周辺監視装置
【課題】車両に搭載されて周囲の対象物体との衝突可能性を判定する周辺監視装置において、処理の高速化（フレームレートの向上）を実現する。
【解決手段】ステレオカメラ１１，１２で得られた時系列画像から時系列情報算出部２１で対応点探索処理によって２次元オプティカルフローを算出すると、先ず対象物体候補領域抽出部２２が対象物体が存在する可能性の高い候補領域を抽出する。その後、３次元情報取得部２３が、ステレオカメラ１１，１２の画像から前記対象物体の候補領域の３次元情報を取得し、得られた３次元情報と、該周辺監視装置１との位置関係から、衝突判定部２４が衝突可能性を判定する。したがって、複雑な物体認識処理や道路モデルなどを必要とせず、時系列画像から算出された２次元オプティカルフローのみを用いて対象物体の候補領域を限定し、３次元での衝突判定を行うことで、処理速度を速くできる。
【解決手段】ステレオカメラ１１，１２で得られた時系列画像から時系列情報算出部２１で対応点探索処理によって２次元オプティカルフローを算出すると、先ず対象物体候補領域抽出部２２が対象物体が存在する可能性の高い候補領域を抽出する。その後、３次元情報取得部２３が、ステレオカメラ１１，１２の画像から前記対象物体の候補領域の３次元情報を取得し、得られた３次元情報と、該周辺監視装置１との位置関係から、衝突判定部２４が衝突可能性を判定する。したがって、複雑な物体認識処理や道路モデルなどを必要とせず、時系列画像から算出された２次元オプティカルフローのみを用いて対象物体の候補領域を限定し、３次元での衝突判定を行うことで、処理速度を速くできる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両やロボットなどの自走する移動体に搭載されて、該移動体の周囲の対象物体を監視する周辺監視装置に関し、特に前記移動体の前記対象物体への衝突判定の方法に関する。
【背景技術】
【０００２】
前記のような衝突判定を行う周辺監視装置として用いることができる典型的な従来技術には、たとえば以下の特許文献１〜３が挙げられる。特許文献１では、単一カメラの時系列２次元画像から縦または横の着目エッジのオプティカルフローを算出し、そのオプティカルフローから衝突時間を算出することで、衝突危険性を高速で検出できるようにした車両用衝突警報方法及び装置が提案されている。
【０００３】
特許文献２も同様に、単一カメラの時系列２次元画像から縦・横エッジのオプティカルフローを算出し、そのオプティカルフロー上での横方向の移動速度成分を用いて対象領域を抽出し、抽出した対象領域に含まれる縦方向の移動速度成分を基に、自車両に到達するまでの時間を算出することで衝突の危険性を判定するようにした衝突判定装置および方法が提案されている。
【０００４】
また、特許文献３には、単一カメラの時系列２次元画像上の同一対象物体に属する任意の２点を評価点として抽出し、画像上に設定された任意の座標軸を基準として、抽出された２点から算出した情報を基に対象物体がカメラの撮像面と衝突するのに要する時間を算出するようにした衝突時間算出装置および障害物検出装置が提案されている。
【０００５】
これらの手法では、１台（単眼）のカメラによって衝突が生じる可能性のある時間を算出することが可能であるが、相対速度が小さい場合や、対象物体が遠くに存在するような場合で、対象物体の画面上での移動速度が小さいと、精度良く検出することができない可能性がある。また、単眼の時系列画像による衝突可能性の判断は、対象物体の種類（車種・人）などの判別や抽出が必要となり、処理も複雑となる。
【０００６】
そこで、このような問題に対応することができる従来技術としては、特許文献４が挙げられる。その従来技術によれば、２台の（ステレオ）カメラによる撮像画像から３次元オプティカルフローを算出し、３次元情報で静止物体と対象物体とを判定している。具体的には、ステレオ画像から距離情報を算出し、道路モデルに基づいて、視差方向において位置的に対応する道路面の高さと比較して、道路面より上にある場合には、その位置のデータを立体物として抽出し、抽出した立体物に対して３次元オプティカルフローを算出し、自走速度と操舵方向とのオプティカルフロー成分を除いた結果、移動ベクトルが残るものを対象物体、そうでない物を静止物体として判定している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−３５３５６５号公報
【特許文献２】特開２００６−９９１５５号公報
【特許文献３】特開２００６−１０７４２２号公報
【特許文献４】特開２００６−１３４０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の従来技術では、先ず基準画像と参照画像との間の対応付け結果に対して、路面モデルを用いて、静止物体と対象物体との両方を抽出し、その後の動きから、いずれの物体であるのかの判定を行う必要がある。したがって、対応付け回数が大幅に削減されたわけではないので、処理の高速化（フレームレートの向上）を実現できないという問題がある。
【０００９】
本発明の目的は、処理の高速化（フレームレートの向上）を実現することができる周辺監視装置および周辺監視方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の周辺監視装置は、移動体に搭載され、該移動体の周囲の対象物体を監視する周辺監視装置において、前記周囲の画像を時系列に取得する画像取得部と、前記画像取得部で得られた時系列画像から移動成分を算出する時系列情報算出部と、前記時系列情報算出部で得られた前記移動成分を基に、前記対象物体が存在する可能性の高い候補領域を抽出する対象物体候補領域抽出部と、前記対象物体候補領域抽出部で算出された前記候補領域の３次元情報を取得する３次元情報取得部と、前記３次元情報取得部で得られた前記候補領域の３次元情報と、該周辺監視装置との位置関係とから、衝突可能性を判定する衝突判定部とを含むことを特徴とする。
【００１１】
上記の構成によれば、移動体に搭載されて周囲の対象物体を監視する周辺監視装置において、単眼またはステレオのカメラなどの画像取得部で前記周囲の画像を時系列に取得し、得られた時系列画像から時系列情報算出部が２次元オプティカルフローなどの移動成分を算出すると、先ず対象物体候補領域抽出部が、前記移動成分を基に、前記対象物体が存在する可能性の高い候補領域を抽出する。その後、その候補領域に対して、３次元情報取得部が、前記単眼のカメラとは別途設けた距離測定部などで距離を算出することで、前記対象物体の候補領域の３次元（実空間上における位置）情報を取得する。或いは、前記ステレオカメラの場合、前記移動成分の算出に用いられた撮像画像を基準画像とするとき、もう１台のカメラによる撮像画像を参照画像として、前記対象物体の候補領域の３次元（実空間上における位置）情報を取得する。こうして得られた前記対象物体の候補領域の３次元情報と、該周辺監視装置との位置関係から、衝突判定部が衝突可能性を判定する。
【００１２】
したがって、先ず対象物体候補領域抽出部が、時系列画像から算出された移動成分から、側方飛び出しなどの衝突予測が難しい対象物体が存在する可能性の高い候補領域を限定し、次に３次元情報取得部が、その候補領域だけの３次元情報を算出し、衝突判定部でその抽出された対象物体の候補領域と監視装置との関係から衝突可能性の判定を行う。すなわち、自走状態で撮影された２次元時系列画像から、衝突予測が難しい対象物体候補領域のみに対し、詳しい３次元情報を求めて衝突危険性を判定する。こうして、複雑な物体認識処理や道路モデルなどを必要とせず、時系列画像から算出された情報のみを用いて対象物体の候補領域を限定することで、処理速度を速く（フレームレートを向上）することができる。
【００１３】
また、本発明の周辺監視装置では、前記時系列情報算出部は、前記画像取得部で得られた時系列画像の対応点探索処理によって、２次元オプティカルフローを前記移動成分として算出することを特徴とする。
【００１４】
上記の構成によれば、前記移動成分として、対応点探索処理によって求めた２次元オプティカルフローを用いることで、画素単位の高精度な移動成分を求めることができる。
【００１５】
さらにまた、本発明の周辺監視装置では、前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローが予め定める値以上の大きさの領域を前記候補領域として抽出し、かつ前記２次元オプティカルフローが予め定める値未満であっても、移動速度が予め定める値以下である場合は、前記候補領域として抽出することを特徴とする。
【００１６】
上記の構成によれば、前記３次元情報取得部で前記対象物体の候補領域と判断された位置に対応する３次元（実空間上における位置）情報を取得するにあたって、その候補領域を抽出する該対象物体候補領域抽出部は、２次元オプティカルフローが予め定める値以上の大きさの領域を抽出し演算処理を抑えるようにする。しかしながら、対象物体が正面に位置するような場合では、前記２次元オプティカルフローは小さくなり、相対速度が大きい場合には衝突の可能性が生じるので、該対象物体候補領域抽出部は、前記２次元オプティカルフローが予め定める値未満であっても、移動速度が予め定める値以上である場合は、前記候補領域として抽出する。
【００１７】
したがって、演算処理量を抑えつつ、衝突の可能性のある対象物体を漏れなく抽出することができる。
【００１８】
また、本発明の周辺監視装置では、前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローを延長した直線の消失点の中から、最もフローが集まる領域を除外した領域を前記候補領域として抽出することを特徴とする。
【００１９】
上記の構成によれば、移動体に搭載したカメラの時系列画像間に生じる２次元オプティカルフローの中で、その２次元オプティカルフローの延長線の最も集まる消失点は移動体の移動方向に応じて定まり、しかも道路などの静止物体の２次元オプティカルフローが集まる。
【００２０】
したがって、この領域を除外した領域を前記対象物体の候補領域として抽出することで、より効率的に、移動する対象物体のみを抽出することができる。
【００２１】
また、本発明の周辺監視装置では、前記３次元情報取得部は、前記画像取得部をステレオカメラとして得られたステレオ画像から、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元（実空間上における位置）情報を、前記ステレオ画像間の対応点探索処理によって算出することを特徴とする。
【００２２】
上記の構成によれば、別途距離情報を得る手段を用いることなく、画像のみの情報から距離情報を算出することができるので、シンプルな構成で衝突判定システムを構築することができる。
【００２３】
さらにまた、本発明の周辺監視装置では、前記３次元情報取得部は、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元（実空間上における位置）情報を取得する距離センサであることを特徴とする。
【００２４】
上記の構成によれば、ミリ波レーダなどの別途距離情報を得る手段を用いることで、特別な計算を行うことなく、前記距離情報を求めることができる。
【００２５】
また、本発明の周辺監視装置では、前記衝突判定部は、前記時系列情報算出部で得られた前記移動成分と、前記３次元情報取得部で得られた前記候補領域の３次元情報とを用いて、前記候補領域の３次元オプティカルフローを算出する３次元オプティカルフロー算出部を備え、該３次元オプティカルフロー算出部で算出された３次元オプティカルフローと、該周辺監視装置との位置関係とから、衝突可能性を判定することを特徴とする。
【００２６】
上記の構成によれば、３次元オプティカルフローと、該周辺監視装置との位置関係とから、衝突可能性を判定するので、判定処理が簡単である。
【００２７】
さらにまた、本発明の周辺監視装置では、前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの向きおよび長さと、該周辺監視装置との交差判定によって衝突判定を行うことを特徴とする。
【００２８】
上記の構成によれば、前記３次元オプティカルフローの向きおよび長さの２つのパラメータを算出できれば、交差判定によって、対象物体が該周辺監視装置に向ってきているかどうかから、衝突可能性の有無を判定することができる。
【００２９】
また、本発明の周辺監視装置では、前記衝突判定部は、前記移動体の速度に対応して、衝突判定を行う対象距離を変更することを特徴とする。
【００３０】
上記の構成によれば、衝突判定を行う対象距離を固定するのではなく、現在の移動体の速度からして、安全と考えられる範囲、たとえば前記速度に対応した停止可能距離の範囲は除外するので、判定処理を軽減することができる。
【００３１】
さらにまた、本発明の周辺監視装置では、前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの長さが予め定める閾値以上大きい場合には衝突可能性領域と判定することを特徴とする。
【００３２】
上記の構成によれば、上述のようにして前記３次元オプティカルフローと該周辺監視装置との関係から衝突判定を行うにあたって、上述の判定で衝突可能性が低いと判定される領域でも、３次元オプティカルフローの長さが予め定める閾値以上大きい場合には、衝突可能性領域と判定する。
【００３３】
したがって、３次元オプティカルフローの長さは対象物体の単位時間当りの相対的な移動量を表すので、それが前記閾値以上大きい場合には、急速に近付いている可能性があるので、衝突可能性領域と判定しておくことで、判定遅れとなることを回避することができる。
【００３４】
また、本発明の周辺監視装置では、前記時系列情報算出部は、計測点毎に対応点探索処理を行うことを特徴とする。
【００３５】
上記の構成によれば、前記移動成分としての２次元オプティカルフローを求めるにあたって、対応点探索処理を画素単位毎に行うことで、対象物体候補領域抽出部は、背景や路面を含まない対象物候補領域を詳細に抽出することができる。
【００３６】
さらにまた、本発明の周辺監視装置では、前記対象物体候補領域抽出部は、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行うことで、対象物体候補領域として抽出するか否かを判断することを特徴とする。
【００３７】
上記の構成によれば、対象物体候補領域への切出しを行うにあたって、全ての計測点毎に２次元オプティカルフローを計算するのではなく、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行う。
【００３８】
したがって、計測点数を減らすことが可能となり、より高速な処理が可能になる。
【発明の効果】
【００３９】
本発明の周辺監視装置は、以上のように、移動体に搭載されて周囲の対象物体を監視する周辺監視装置において、時系列画像から２次元オプティカルフローなどの移動成分を算出して、その移動成分を基に衝突対象物体が存在する可能性の高い候補領域を抽出し、その候補領域の３次元情報と、該周辺監視装置との位置関係から、衝突可能性を判定する。
【００４０】
それゆえ、時系列画像から算出された移動成分から、側方飛び出しなどの衝突予測が難しい対象物体が存在する可能性の高い候補領域を限定し、その候補領域だけの３次元情報を算出するので、複雑な物体認識処理や道路モデルなどを必要とせず、処理速度を速く（フレームレートを向上）することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の一形態に係る周辺監視装置の概略構成図である。
【図２】衝突可能性の解析にあたっての対象物体の距離と移動量との一般的な求め方を説明するための図である。
【図３】前記周辺監視装置におけるコントローラの一構成例を示すブロック図である。
【図４】前記コントローラの動作を説明するためのフローチャートである。
【図５】時系列画像から２次元オプティカルフローを求める様子を説明するための図である。
【図６】衝突の可能性のある対象物体が存在する可能性の高い候補領域を説明するための図である。
【図７】前記候補領域を３次元空間上に示す図である。
【図８】前記対象物体が静止物体であるか移動物体であるかを旧来の方法で判定した結果を示す図である。
【図９】前記対象物体が静止物体であるか移動物体であるかを本実施の形態で判定した結果を示す図である。
【図１０】静止物体の２次元オプティカルフローの例を示す図である。
【図１１】移動物体と静止物体とが混在する場合の２次元オプティカルフローの例を示す図である。
【図１２】路面の２次元オプティカルフローの例を示す図である。
【図１３】２次元オプティカルフローの計算にあたっての画面の領域分割の一例を説明するための図である。
【図１４】２次元オプティカルフローの計算にあたっての画面の領域分割の他の例を説明するための図である。
【図１５】対象物体までの距離測定の他の例を説明するための図である。
【図１６】衝突判定の他の例を説明するための図である。
【図１７】対応点探索処理時に用いる多重解像度の手法を説明するための図である。
【図１８】衝突判定の一例を説明するための図である。
【発明を実施するための形態】
【００４２】
図１は、本発明の実施の一形態に係る周辺監視装置１の概略構成図である。この周辺監視装置１は、車両２に搭載されて被写体の２次元入力画像をそれぞれ得るステレオカメラ１１，１２に、取得したステレオ画像から３次元画像を得て、路面３上に存在する対象物体４，５に対する衝突危険度を判定し、危険度が高い場合に、ブザー６を鳴動して警告を行うコントローラ１３を備えて構成され、衝突判定システムに使用される。他にも、警告処理としては、運転者に回避処置を促すように表示ディスプレイに情報を表示したり、衝突対象までの距離や時間、或いは対象の大きさを表示する等の動作を、単独、或いは複数組合わせて行うことができる。一方、前記ブザー６に代えて、記録部が設けられると、前記危険度が高い場合にそのシーンを自動記録するドライブレコーダを実現することができ、ブレーキ装置が設けられると、前記危険度が高い場合に自動的にブレーキを掛ける衝突防止システムを実現することができる。
【００４３】
前記ステレオカメラ１１，１２は、被写体を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する。本実施の形態においては、説明の簡単化の為に、ステレオカメラ１１，１２の収差は良好に補正されており、かつ相互に平行に設置されているものとする。また、実際のハードがこのような条件に無くても、画像処理によって、同等の画像に変換することも可能である。ステレオカメラ１１，１２からは、前記ステレオ画像が前記コントローラ１３に通信線を介して送信される。ステレオカメラ１１，１２とコントローラ１３との間での画像データの通信方式は、有線方式に限定されず、無線方式であってもよい。
【００４４】
ここで、前記特許文献４のように、３次元移動成分を用いた衝突可能性の解析の利点は、対象物体４，５と自車両２との衝突可能性の判定を高精度に行うことが可能である点である。しかしながら、図２で示すように、ステレオカメラ１１，１２の撮像画像から３次元移動成分を算出する場合、画像間の対応付け回数が大きくなり、計算コストが大幅に掛かるという問題点がある。
【００４５】
図２は、前記衝突可能性の解析にあたっての前記対象物体４，５の距離と移動量との一般的な求め方を説明するための図である。ステレオカメラ１１，１２の一方による画像を基準画像Ｉ１とし、他方を参照画像Ｉ２とし、時刻ｔおよびそれからΔｔ（１フレーム期間）経過した後の計４枚の画像を得ている。この場合、先ず時刻ｔにおける基準画像Ｉ１ｔ上の画素Ｐ１（ｉ，ｊ，ｔ）に対し、対応点探索処理によって、参照画像Ｉ２ｔ上の対応点Ｐ２（ｉ，ｊ，ｔ）を算出し、３次元情報Ｆ（ｉ，ｊ，ｔ）が求められ、前記対象物体４，５までの距離が分る。同様に、時刻ｔ＋Δｔにおける基準画像Ｉ１ｔ＋Δｔ上の画素Ｐ（ｉ，ｊ，ｔ＋Δｔ）に対し、対応点探索処理によって、参照画像Ｉ２ｔ＋Δｔ上の対応点Ｐ２（ｉ，ｊ，ｔ＋Δｔ）を算出し、３次元情報Ｆ（ｉ，ｊ，ｔ＋Δｔ）が求められる。続いて、基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ同士で対応点探索処理が行われ、画素Ｐ１（ｉ，ｊ，ｔ），Ｐ１（ｉ，ｊ，ｔ＋Δｔ）間の対応付けが行われる。これによって、３次元情報Ｆ（ｉ，ｊ，ｔ），Ｆ（ｉ，ｊ，ｔ＋Δｔ）間も対応付けが行われ、前記対象物体４，５の移動量が算出できる。
【００４６】
しかしながら、ステレオカメラ１１，１２による３次元計測で最も時間の掛かるのは、この対応付けであり、それを減らす程、処理速度が速くなる（フレームレートを上げることができる）。そこで、本実施の形態では、先ず基準の時系列画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間で、対象物体４，５の距離と移動量とを用いた３次元移動成分から、これらの対象物体４，５が衝突の可能性の高い候補領域に有るかを判定する。
【００４７】
図３は、前記コントローラ１３の一構成例を示すブロック図であり、図４はその動作を説明するためのフローチャートである。コントローラ１３は、時系列情報算出部２１と、対象物体候補領域抽出部２２と、３次元情報取得部２３と、衝突可能性判定部２４とを備えて構成される。画像取得部である前記ステレオカメラ１１，１２は、ステップＳ１で、車両２の周囲の画像を時系列に取得し、得られた時系列画像から、注目すべきは、先ず時系列情報算出部２１は、ステップＳ２で、図５で示すように、前記基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間の対応点探索処理によって、画素単位の高精度な２次元オプティカルフローなどの移動（ベクトル）成分ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）を算出することである。すなわち、
ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）＝Ｐ１（ｉ，ｊ，ｔ＋Δｔ）−Ｐ（ｉ，ｊ，ｔ）
である。
【００４８】
前記２次元オプティカルフローの算出方法としては、勾配法や相関演算法などを用いることができる。前記勾配法は、画像の時空間微分の拘束方程式による条件から２次元オプティカルフローを推定する一般的な手法である。また、前記相関演算法は、ウィンドウ内の相関演算によって対応点探索処理を行うものであり、既に確立されている一般的な手法である。ただし、この前記相関演算法の中でも、２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル単位で対応位置を演算することができるＰＯＣ（位相限定相関法）を用いることによって、前記基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間の輝度差やノイズの影響を受け難くなり、それらの対応付けを、安定かつ高精度に行うことが可能となる。前記ウィンドウ内のパターンを周波数分解する方法としては、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換、アダマール変換などの既に確立されている方法を用いることができ、これらの方法で周波数分解を確実に行うことができる。このように２次元オプティカルフローを求めるにあたって、対応点探索処理を画素単位毎に行うことで、後続の対象物体候補領域抽出部２２は、背景や路面３を含まない対象物候補領域を詳細に抽出することができるようになる。
【００４９】
続いて、対象物体候補領域抽出部２２が、ステップＳ３で、前記移動成分ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）を基に、図６で示すように、前記対象物体４，５が存在する可能性の高い候補領域ＯＢ（ｔ，ｎ）を抽出する。ｎは、１，２，・・・で、グループ化された候補領域（対象物体）の番号であるが、グループ化しない場合は静止物体か対象物体かのフラグとして使用してもよい。図６の例では、時刻ｔにおける１番目の候補領域ＯＢ（ｔ，１）で、それを構成する画素は、Ｐ１（２，２，ｔ），Ｐ１（３，２，ｔ），Ｐ１（２，３，ｔ），Ｐ１（３，３，ｔ），Ｐ１（２，４，ｔ），Ｐ１（３，４，ｔ）である。
【００５０】
こうして候補領域ＯＢ（ｔ，１）が抽出されると、３次元情報取得部２３が、ステップＳ４で、それを構成する画素Ｐ１（２，２，ｔ），Ｐ１（３，２，ｔ），Ｐ１（２，３，ｔ），Ｐ１（３，３，ｔ），Ｐ１（２，４，ｔ），Ｐ１（３，４，ｔ）に対して、参照画像Ｉ２ｔ上の対応点Ｐ２（ｉ，ｊ，ｔ）を対応点探索し、さらに対応する画素間の視差情報から、図７で示すような３次元（実空間上における位置）情報ＸＹＺ（ｉ，ｊ，ｔ）（図６の場合には、ＸＹＺ（２，２，ｔ，１），ＸＹＺ（３，２，ｔ，１），ＸＹＺ（２，３，ｔ，１），ＸＹＺ（３，３，ｔ，１），ＸＹＺ（２，４，ｔ，１），ＸＹＺ（３，４，ｔ，１））を求める。同様に、Δｔ後の基準画像Ｉ１ｔ＋Δｔについても、前記３次元情報取得部２３は、前記候補領域ＯＢ（ｔ，１）に対応する候補領域ＯＢ（ｔ＋Δｔ，１）の３次元情報ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ）を求める。
【００５１】
こうして求められた同じ対象物体に対する時系列の３次元情報ＸＹＺ（ｉ，ｊ，ｔ），ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ）による３次元移動成分から、衝突判定部２４は、その３次元オプティカルフロー算出部２４ａにおいて、ステップＳ５で、３次元オプティカルフローＯＦ３を求め、その３次元オプティカルフローＯＦ３と自車両２との位置関係から衝突可能性を判定し、ステップＳ６で衝突の可能性があれば、ステップＳ７でブザー６を鳴動して、時間Δｔ後に前記ステップＳ１に戻り、衝突の可能性が無ければ、そのまま時間Δｔ後に前記ステップＳ１に戻る。
【００５２】
前記衝突可能性の判定は、図１８に示すように、前記３次元オプティカルフローＯＦ３を用いることで、簡単で、高精度な判定を行うことができる。具体的には、その３次元オプティカルフローＯＦ３の延長線と、自車両２とが交差するか否かを判定することで、該自車両２の前方に位置する対象物体４，５が衝突する可能性のある物体であるか否かを判定する。したがって、前記３次元オプティカルフローＯＦ３の向きおよび長さの２つのパラメータを算出できれば、前記延長線を作成でき、その延長線と自車両２との交差判定によって、対象物体４，５が該周辺監視装置１に向ってきているかどうかから、衝突可能性の有無を判定することができる。図１８では、自車両２の進路上にある路上障害物（静止体）から成る対象物体５および先行車両から成る対象物体４に加えて、前記進路上にはないものの、車線を横切ることで、前記３次元オプティカルフローＯＦ３が交差する人物から成る対象物体７も、衝突物体と判定される。このように、３次元オプティカルフローＯＦ３は自車両２の速度と対象物体４，５，７の速度との合成ベクトルによって表され、対象物体４，５，７の動きを３次元的に解析することができるので、衝突判定処理を精度良く行うことができ、好適である。この衝突判定処理の詳しくは、本件出願人による特願２００８−２４４７８号に詳しく記載されている。
【００５３】
また好ましくは、前記衝突判定部２４は、上述のようにして３次元オプティカルフローＯＦ３と自車両２との関係から衝突判定を行うにあたって、上述の判定で衝突可能性が低いと判定される領域でも、前記３次元オプティカルフロー算出部２４ａで算出された前記候補領域の３次元オプティカルフローＯＦ３の長さが予め定める閾値以上大きい場合には衝突可能性領域と判定する。したがって、３次元オプティカルフローＯＦ３の長さは対象物体４，５，６の単位時間当りの相対的な移動量を表すので、それが前記閾値以上大きい場合には、急速に近付いている可能性があるので、衝突可能性領域と判定しておくことで、判定遅れとなることを回避することができる。
【００５４】
ここで、画像から算出された２次元オプティカルフローから、対象物体が静止物体であるか、移動物体であるかを判定した場合、その結果は、図８で示すようになる。すなわち、２次元オプティカルフローの大きさが或るレベルＯＦ１を超えると、対象物体の速度が或るレベルＶ１を境に、大きければ移動物体の候補、小さければ静止物体の候補と明確に判定できるが、前記２次元オプティカルフローの大きさが前記レベルＯＦ１以下であると、対象物体が移動物体の候補であるのか、静止物体の候補であるのかの切り分けが困難になってしまう。すなわち、たとえば対象物体が自車両２の比較的正面にあるような場合には、相対速度が大きくても、前記２次元でのオプティカルフローは小さくなってしまう。したがって、このオプティカルフローが小さいような場合においても、衝突の危険性が多く含まれていることから、対象物体を含むような領域を、漏れの無いように抽出する必要がある。そこで、本実施の形態では、前記対象物体候補領域抽出部２２に、以下の２つの対象物候補領域抽出方法を用いることで、図９で示すように、前記２次元オプティカルフローの大きさが前記レベルＯＦ１未満であっても、移動速度が予め定める値Ｖ１以下である場合は前記候補領域として抽出することで、演算処理量を抑えつつ、そのような抽出の漏れを無くす。
【００５５】
先ず、前記２次元オプティカルフローの大きさが前記レベルＯＦ１以上であり、かつ対称物体の移動速度が予め定める値Ｖ１より大きい場合に適用される第１の対象物候補領域抽出方法では、以下の３つの物体の切出し方法を用い、衝突判定を行うべき移動物体であるか、衝突判定の必要のない静止物体であるのかの切分けを行い、対象物体の領域を対象物体候補領域として抽出する。第１の切出し方法では、ステレオカメラ１１，１２が前方へ向けて取付けられ、自車両２が前方へ直進移動する場合、図１０で示すように、静止物体８の２次元オプティカルフローＯＦＳを延長した直線ＯＦＳａは、或る１点で交わることを利用するものである。この点は、消失点（ＦＯＥ：Focus of Expansion）と呼ばれ、自車両２の移動方向に応じて定まる定点となる。たとえば、この図１０のように静止物体８だけ存在するシーンにおいて、時刻ｔとｔ＋Δｔとの時系列画像から算出された２次元オプティカルフローＯＦＳの延長線ＯＦＳａは、画像の中央付近に定まる。
【００５６】
これに対して、図１１のように移動物体７と静止物体８とが混在するようなシーンのＦＯＥは、静止物体８のＦＯＥが、前述のように画像の中央付近に定まるのに対し、移動物体７の２次元オプティカルフローＯＦＭの延長線ＯＦＭａのＦＯＥは、前記画像中央とは限らず、任意に散在する。つまり静止物体８以外の対象物体においては、それぞれ独立のＦＯＥが存在する。第１の切出し方法では、このＦＯＥの特徴を用いて、対象物候補領域を抽出する。
【００５７】
抽出方法としては、単純に、各ＦＯＥに集まる計測点の数から算出することができる。たとえば、２次元オプティカルフローＯＦＭ，ＯＦＳの計測点数がＮ点存在した中で、最も集まっているＦＯＥを算出し、そのＦＯＥに集まる計測点を除外することで、移動物体７の候補領域を抽出することができる。すなわち、移動体に搭載したカメラ１１，１２の時系列画像間に生じる２次元オプティカルフローＯＦＳ，ＯＦＭの中で、その２次元オプティカルフローＯＦＳ，ＯＦＭの延長線ＯＦＳａ，ＯＦＭａの最も集まる消失点（ＦＯＥ）は移動体の移動方向に応じて定まり、しかも道路などの静止物体８の２次元オプティカルフローが集まるので、この領域を除外した領域を前記対象物体４，５（移動物体７）の候補領域として抽出することで、より効率的に、移動する対象物体のみを抽出することができる。
【００５８】
そして、移動物体７が複数存在する場合にも、同様に移動している物体はＦＯＥが略一致するので、ＦＯＥ毎に複数の物体をグループ化することが可能である。また、図１２のように路面３における２次元オプティカルフローＯＦＲの延長線ＯＦＲａのＦＯＥも、静止物体８と同様の画像中央のＦＯＥに集まることから、この方法によって路面３を含んだ静止物体８と、それ以外の移動物体との判別を行うことが可能となる。
【００５９】
一方、第２の切出し方法では、上述のように全ての計測点毎に２次元オプティカルフローを計算するのではなく、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行う。具体的には図１３で示すように、画像領域１０を、等間隔の局所領域Ａに分割し、それぞれの局所領域の代表計測点ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）の結果から、対象物体候補の抽出を行う。この方法の利点は、計測点数を減らすことが可能となり、より高速な処理が可能なことである。
【００６０】
なお、各局所領域Ａの設定方法としては、上述のような等間隔となるようにしてもよいが、図１４で示すような、不等間隔であてもよい。この図１４の例では、自車両２の近傍（画面下部）側の局所領域Ａ１が大きく、遠去かる（画面上部に行く）程、参照符号Ａ２，Ａ３，・・・というように、小さくなっている。これは、車載カメラの場合、画像上部に行くに従ってより距離が遠くなる、つまり画像上で対象物体が小さくなることからである。これによって、計測点数を一層減らすことが可能となり、より高速な処理が可能になる。
【００６１】
さらにまた、第３の切出し方法は、たとえば（「主成分分析を用いた移動物体認識法の検討」情報処理学会研究報告、コンピュータビジョン研究会報告 ＩＰＳＪ ＳＩＧ Ｎｏｔｅｓ ９６（３１） ｐｐ，５１−５８ １９９６０３２１）で示されるように既存技術であり、局所領域に切分けた領域毎にＦＯＥを推定する際の推定誤差を加算、閾値処理することによって、対象物体を検出するような手法（消失点推定残差法）である。この手法は、歩行者を含む領域における推定残差は、背景における推定残差に比べ大きな値となることから、推定誤差が大きい領域を対象物候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）として検出することができる。これら第１〜第３の切出し方法を用いて、第１の対象物候補領域抽出方法を実現することができる。
【００６２】
これに対して、前記２次元オプティカルフローの大きさが前記レベルＯＦ１未満の場合に適用される第２の対象物候補領域抽出方法では、前述のようにして算出された２次元オプティカルフロー（移動成分）ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）のベクトルの大きさがある範囲より小さいものだけを抽出し、抽出された領域を対象物候補ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）の存在する領域として抽出する。つまり、２次元画像から算出したオプティカルフローＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）がある程度大きなフローとして算出することができ（図８，９でＯＦ１を超えるもの）、路面３との切り分けが容易に行える場合においては、その２次元オプティカルフローＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）で衝突可能性の判断を行うことができるが、小さい場合（図８，９でＯＦ１以下のもの）は、対象物体の移動成分が、自車両２の走行によって発生しているのか、対象物体自体の移動によるものを含んでいるのかの切り分けが難しい。そこで、小さいものだけに対して３次元オプティカルフローを算出し、衝突の有無を判断することで、前述のように演算量を減らし、精度良く判定を行うことが可能である。
【００６３】
以上のようにして、前記ステップＳ３での対象物候補抽出部２２による対象物候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）の抽出が終了すると、前記ステップＳ４で、３次元情報取得部２３が、該対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）に対応する時刻ｔの撮影画像Ｉ１（ｉ，ｊ，ｔ）と位置的な対応関係を持つ３次元情報ＸＹＺ（ｉ，ｊ，ｔ，ｎ）と、時刻ｔ＋Δｔの撮影画像Ｉ１（ｉ，ｊ，ｔ＋Δｔ）と、位置的な対応関係を持つ３次元情報ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ，ｎ）とを算出する。
【００６４】
その算出にあたっては、上述の説明では、画像取得手段をステレオカメラ１１，１２として、３次元情報取得部２３では、そのステレオ画像から、前記対象物体候補領域抽出部２２で算出された前記対象物体の候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）と判断された位置に対応する３次元（実空間上における位置）情報を、前記ステレオ画像間の対応点探索処理によって算出する。この場合は、別途距離情報を得る手段を用いることなく、画像のみの情報から距離情報を算出することができるので、シンプルな構成で衝突判定システムを構築することができる。
【００６５】
しかしながら、本実施の形態で３次元情報を求めるには、対象物体までの距離情報が分ればよいので、カメラをモノラル（単眼）のカメラとし、外部の距離計測手段との組合わせに置換えてもよい。
【００６６】
前記距離計測手段としては、たとえば図１５で示すように、ＣＭＯＳセンサ５１の周辺に装着されたＬＥＤ５２から近赤外線を照射し、被写体５３に当って帰ってくる反射光をＣＭＯＳセンサ５１が受光するまでの時間をタイマ５４で計測する、いわゆるＴＯＦ（time of flight）方式で実現することができる。ＣＭＯＳセンサ５１の各画素での受光結果が、画像１０上の各領域Ａに存在する対象物体までの距離情報となり、こうして前記３次元情報を取得することができる。このような構成の代表的なものとしては、Ｃａｎｅｓｔａ社によるレーザレンジファインダがあり、３次元計測結果を出力する。この３次元情報を用いることで、前記ステップＳ３で抽出された各対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）に対応する３次元情報の位置的な対応関係を取得することができる。
【００６７】
また、別の方法としては、レーダ電波を出射し、対象物体から反射してきた反射波を受信し、伝搬時間やドップラー効果によって生じる周波数差などを基に、前方の障害物までの距離を測定するものがある。代表的なものとしては、ミリ波レーダなどである。これら別機器によって取得された３次元情報取得とカメラ１１，１２による撮像画像との対応関係は、たとえば特開２０００−３４８１９９号公報（テクスチャマッピング方法及び装置）のような手法を用い、対応関係を記憶させておけば、カメラの画角とミリ波の物体検知角度とによって、対応関係を得ることは可能である。このように別途距離計測手段を設けた場合、特別な計算を行うことなく、前記距離情報を求めることができる。
【００６８】
このようにして、各対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）に対応する３次元情報が得られると、前述のようにステップＳ６で、衝突可能性判定部２４は、対象物体４，５が自車両２に衝突するか否かを判定する。それには、ステップＳ５で算出された２次元オプティカルフロー（移動成分）ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）の向きおよび長さならびに自車両２の速度と、上述のようにして求められた各対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）までの距離ＸＹＺ（ｉ，ｊ，ｔ，ｎ），ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ，ｎ）から、衝突判定を行う。前記速度の情報は、車両２側から得てもよいが、予め定める領域、たとえば正面下方の路面３のオプティカルフローの長さから求めることができる。
【００６９】
好ましくは、前記衝突判定部２４は、衝突判定を行う対象距離を固定するのではなく、現在の自車両２の速度に対応して、変更するようにすればよい。このように構成することで、自車両２の速度からして、安全と考えられる範囲、たとえば前記速度に対応した停止可能距離（＝空走距離＋制動距離）や、ハンドルでの回避距離（運転者の操作遅れに、ステアリング機構の応答遅れ時間を考慮してもハンドル操作で安全に回避できる距離）の範囲は除外するので、判定処理を軽減することができる。
【００７０】
また、前記衝突可能性判定部２４が、衝突判定を行うにあたって、図１６で示すように、自車両２のハンドル操作が行われている際には、その操舵による移動方向を加味して衝突判定を行うことが好ましい。詳しくは、移動物体７が矢符Ｆ１で示すように直進しているところ、自車両２が矢符Ｆ２で示すように、角度θで曲がっていると、見掛け上、移動物体７が矢符Ｆ３で示すように前記角度θで曲がって接近して来るものと判定し、自車両２については、矢符Ｆ４の直進として、衝突判定を行う。すなわち、移動物体７の２次元オプティカルフローについては、実際に時系列画像Ｉ１ｔ，Ｉ１ｔ＋Δｔから求められた２次元オプティカルフローＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）に、前記角度θ分の補正が加えられる。前記角度θは、車体制御のＥＣＵなどから、ステアリングセンサ出力などとして取込むことができる。
【００７１】
さらにまた、好ましくは、前記時系列情報算出部２１は、前記ステレオカメラ１１，１２で得られた時系列画像の対応点の探索処理に、図１７で示すような多重解像度を用いる。具体的には、上述の説明では、図５で示すように、時刻ｔの基準画像Ｉ１ｔに対して、時刻ｔ＋Δｔの基準画像Ｉ１ｔ＋Δｔでの対応点を探索しているので、本来の高解像度の前記基準画像Ｉ１ｔ＋Δｔに対応する１または複数の階層の低解像度の画像（図１７の例ではＩ１’ｔ＋Δｔ，Ｉ１''ｔ＋Δｔ）を作成し、最も低解像度の画像Ｉ１''ｔ＋Δｔから、Ｉ１’ｔ＋Δｔ，Ｉ１ｔ＋Δｔへと、順次解像度を上げて対応点Ｑを探してゆくものである。このような手法を採用することで、２つの基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間で対応点の位置が離れていても、効率的、かつ高精度に対応点を探索することができる。
【００７２】
以上のように、本実施の形態の周辺監視装置１では、車両２に搭載されて周囲の対象物体４，５を監視する周辺監視装置において、単眼またはステレオのカメラ１１，１２などの画像取得部で前記周囲の画像を時系列に取得し、得られた時系列画像から時系列情報算出部２１が２次元オプティカルフローなどの移動成分を算出すると、先ず対象物体候補領域抽出部２２が、前記移動成分を基に、前記対象物体４，５が存在する可能性の高い候補領域を抽出し、その後、その候補領域に対して、３次元情報取得部２３が前記対象物体４，５の候補領域の３次元（実空間上における位置）情報を取得し、得られた前記対象物体４，５の候補領域の３次元情報と、該周辺監視装置１との位置関係から、衝突判定部２４が衝突可能性を判定する。
【００７３】
したがって、先ず対象物体候補領域抽出部２２が、時系列画像から算出された移動成分から、側方飛び出しなどの衝突予測が難しい対象物体４，５が存在する可能性の高い候補領域を限定し、次に３次元情報取得部２３が、その候補領域だけの３次元情報を算出し、衝突判定部２４でその抽出された対象物体の候補領域と監視装置１との関係から衝突可能性の判定を行う、すなわち自走状態で撮影された２次元時系列画像から、衝突予測が難しい対象物体候補領域のみに対し、詳しい３次元情報を求めて衝突危険性を判定するので、複雑な物体認識処理や道路モデルなどを必要とせず、時系列画像から算出された情報のみを用いて対象物体４，５の候補領域を限定することで、処理速度を速く（フレームレートを向上）することができる。
【００７４】
また、前記時系列情報算出部２１は、前記画像取得部で得られた時系列画像の対応点探索処理によって、２次元オプティカルフローを前記移動成分として算出するので、画素単位の高精度な移動成分を求めることができる。
【符号の説明】
【００７５】
１ 周辺監視装置
２ 車両
３ 路面
４，５ 対象物体
６ ブザー
７ 移動物体
８ 静止物体
１１，１２ ステレオカメラ
１３ コントローラ
２１ 時系列情報算出部
２２ 対象物体候補領域抽出部
２３ ３次元情報取得部
２４ 衝突可能性判定部
２４ａ ３次元オプティカルフロー算出部
５１ ＣＭＯＳセンサ
５２ ＬＥＤ
５３ 被写体
５４ タイマ
【技術分野】
【０００１】
本発明は、車両やロボットなどの自走する移動体に搭載されて、該移動体の周囲の対象物体を監視する周辺監視装置に関し、特に前記移動体の前記対象物体への衝突判定の方法に関する。
【背景技術】
【０００２】
前記のような衝突判定を行う周辺監視装置として用いることができる典型的な従来技術には、たとえば以下の特許文献１〜３が挙げられる。特許文献１では、単一カメラの時系列２次元画像から縦または横の着目エッジのオプティカルフローを算出し、そのオプティカルフローから衝突時間を算出することで、衝突危険性を高速で検出できるようにした車両用衝突警報方法及び装置が提案されている。
【０００３】
特許文献２も同様に、単一カメラの時系列２次元画像から縦・横エッジのオプティカルフローを算出し、そのオプティカルフロー上での横方向の移動速度成分を用いて対象領域を抽出し、抽出した対象領域に含まれる縦方向の移動速度成分を基に、自車両に到達するまでの時間を算出することで衝突の危険性を判定するようにした衝突判定装置および方法が提案されている。
【０００４】
また、特許文献３には、単一カメラの時系列２次元画像上の同一対象物体に属する任意の２点を評価点として抽出し、画像上に設定された任意の座標軸を基準として、抽出された２点から算出した情報を基に対象物体がカメラの撮像面と衝突するのに要する時間を算出するようにした衝突時間算出装置および障害物検出装置が提案されている。
【０００５】
これらの手法では、１台（単眼）のカメラによって衝突が生じる可能性のある時間を算出することが可能であるが、相対速度が小さい場合や、対象物体が遠くに存在するような場合で、対象物体の画面上での移動速度が小さいと、精度良く検出することができない可能性がある。また、単眼の時系列画像による衝突可能性の判断は、対象物体の種類（車種・人）などの判別や抽出が必要となり、処理も複雑となる。
【０００６】
そこで、このような問題に対応することができる従来技術としては、特許文献４が挙げられる。その従来技術によれば、２台の（ステレオ）カメラによる撮像画像から３次元オプティカルフローを算出し、３次元情報で静止物体と対象物体とを判定している。具体的には、ステレオ画像から距離情報を算出し、道路モデルに基づいて、視差方向において位置的に対応する道路面の高さと比較して、道路面より上にある場合には、その位置のデータを立体物として抽出し、抽出した立体物に対して３次元オプティカルフローを算出し、自走速度と操舵方向とのオプティカルフロー成分を除いた結果、移動ベクトルが残るものを対象物体、そうでない物を静止物体として判定している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−３５３５６５号公報
【特許文献２】特開２００６−９９１５５号公報
【特許文献３】特開２００６−１０７４２２号公報
【特許文献４】特開２００６−１３４０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の従来技術では、先ず基準画像と参照画像との間の対応付け結果に対して、路面モデルを用いて、静止物体と対象物体との両方を抽出し、その後の動きから、いずれの物体であるのかの判定を行う必要がある。したがって、対応付け回数が大幅に削減されたわけではないので、処理の高速化（フレームレートの向上）を実現できないという問題がある。
【０００９】
本発明の目的は、処理の高速化（フレームレートの向上）を実現することができる周辺監視装置および周辺監視方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の周辺監視装置は、移動体に搭載され、該移動体の周囲の対象物体を監視する周辺監視装置において、前記周囲の画像を時系列に取得する画像取得部と、前記画像取得部で得られた時系列画像から移動成分を算出する時系列情報算出部と、前記時系列情報算出部で得られた前記移動成分を基に、前記対象物体が存在する可能性の高い候補領域を抽出する対象物体候補領域抽出部と、前記対象物体候補領域抽出部で算出された前記候補領域の３次元情報を取得する３次元情報取得部と、前記３次元情報取得部で得られた前記候補領域の３次元情報と、該周辺監視装置との位置関係とから、衝突可能性を判定する衝突判定部とを含むことを特徴とする。
【００１１】
上記の構成によれば、移動体に搭載されて周囲の対象物体を監視する周辺監視装置において、単眼またはステレオのカメラなどの画像取得部で前記周囲の画像を時系列に取得し、得られた時系列画像から時系列情報算出部が２次元オプティカルフローなどの移動成分を算出すると、先ず対象物体候補領域抽出部が、前記移動成分を基に、前記対象物体が存在する可能性の高い候補領域を抽出する。その後、その候補領域に対して、３次元情報取得部が、前記単眼のカメラとは別途設けた距離測定部などで距離を算出することで、前記対象物体の候補領域の３次元（実空間上における位置）情報を取得する。或いは、前記ステレオカメラの場合、前記移動成分の算出に用いられた撮像画像を基準画像とするとき、もう１台のカメラによる撮像画像を参照画像として、前記対象物体の候補領域の３次元（実空間上における位置）情報を取得する。こうして得られた前記対象物体の候補領域の３次元情報と、該周辺監視装置との位置関係から、衝突判定部が衝突可能性を判定する。
【００１２】
したがって、先ず対象物体候補領域抽出部が、時系列画像から算出された移動成分から、側方飛び出しなどの衝突予測が難しい対象物体が存在する可能性の高い候補領域を限定し、次に３次元情報取得部が、その候補領域だけの３次元情報を算出し、衝突判定部でその抽出された対象物体の候補領域と監視装置との関係から衝突可能性の判定を行う。すなわち、自走状態で撮影された２次元時系列画像から、衝突予測が難しい対象物体候補領域のみに対し、詳しい３次元情報を求めて衝突危険性を判定する。こうして、複雑な物体認識処理や道路モデルなどを必要とせず、時系列画像から算出された情報のみを用いて対象物体の候補領域を限定することで、処理速度を速く（フレームレートを向上）することができる。
【００１３】
また、本発明の周辺監視装置では、前記時系列情報算出部は、前記画像取得部で得られた時系列画像の対応点探索処理によって、２次元オプティカルフローを前記移動成分として算出することを特徴とする。
【００１４】
上記の構成によれば、前記移動成分として、対応点探索処理によって求めた２次元オプティカルフローを用いることで、画素単位の高精度な移動成分を求めることができる。
【００１５】
さらにまた、本発明の周辺監視装置では、前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローが予め定める値以上の大きさの領域を前記候補領域として抽出し、かつ前記２次元オプティカルフローが予め定める値未満であっても、移動速度が予め定める値以下である場合は、前記候補領域として抽出することを特徴とする。
【００１６】
上記の構成によれば、前記３次元情報取得部で前記対象物体の候補領域と判断された位置に対応する３次元（実空間上における位置）情報を取得するにあたって、その候補領域を抽出する該対象物体候補領域抽出部は、２次元オプティカルフローが予め定める値以上の大きさの領域を抽出し演算処理を抑えるようにする。しかしながら、対象物体が正面に位置するような場合では、前記２次元オプティカルフローは小さくなり、相対速度が大きい場合には衝突の可能性が生じるので、該対象物体候補領域抽出部は、前記２次元オプティカルフローが予め定める値未満であっても、移動速度が予め定める値以上である場合は、前記候補領域として抽出する。
【００１７】
したがって、演算処理量を抑えつつ、衝突の可能性のある対象物体を漏れなく抽出することができる。
【００１８】
また、本発明の周辺監視装置では、前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローを延長した直線の消失点の中から、最もフローが集まる領域を除外した領域を前記候補領域として抽出することを特徴とする。
【００１９】
上記の構成によれば、移動体に搭載したカメラの時系列画像間に生じる２次元オプティカルフローの中で、その２次元オプティカルフローの延長線の最も集まる消失点は移動体の移動方向に応じて定まり、しかも道路などの静止物体の２次元オプティカルフローが集まる。
【００２０】
したがって、この領域を除外した領域を前記対象物体の候補領域として抽出することで、より効率的に、移動する対象物体のみを抽出することができる。
【００２１】
また、本発明の周辺監視装置では、前記３次元情報取得部は、前記画像取得部をステレオカメラとして得られたステレオ画像から、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元（実空間上における位置）情報を、前記ステレオ画像間の対応点探索処理によって算出することを特徴とする。
【００２２】
上記の構成によれば、別途距離情報を得る手段を用いることなく、画像のみの情報から距離情報を算出することができるので、シンプルな構成で衝突判定システムを構築することができる。
【００２３】
さらにまた、本発明の周辺監視装置では、前記３次元情報取得部は、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元（実空間上における位置）情報を取得する距離センサであることを特徴とする。
【００２４】
上記の構成によれば、ミリ波レーダなどの別途距離情報を得る手段を用いることで、特別な計算を行うことなく、前記距離情報を求めることができる。
【００２５】
また、本発明の周辺監視装置では、前記衝突判定部は、前記時系列情報算出部で得られた前記移動成分と、前記３次元情報取得部で得られた前記候補領域の３次元情報とを用いて、前記候補領域の３次元オプティカルフローを算出する３次元オプティカルフロー算出部を備え、該３次元オプティカルフロー算出部で算出された３次元オプティカルフローと、該周辺監視装置との位置関係とから、衝突可能性を判定することを特徴とする。
【００２６】
上記の構成によれば、３次元オプティカルフローと、該周辺監視装置との位置関係とから、衝突可能性を判定するので、判定処理が簡単である。
【００２７】
さらにまた、本発明の周辺監視装置では、前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの向きおよび長さと、該周辺監視装置との交差判定によって衝突判定を行うことを特徴とする。
【００２８】
上記の構成によれば、前記３次元オプティカルフローの向きおよび長さの２つのパラメータを算出できれば、交差判定によって、対象物体が該周辺監視装置に向ってきているかどうかから、衝突可能性の有無を判定することができる。
【００２９】
また、本発明の周辺監視装置では、前記衝突判定部は、前記移動体の速度に対応して、衝突判定を行う対象距離を変更することを特徴とする。
【００３０】
上記の構成によれば、衝突判定を行う対象距離を固定するのではなく、現在の移動体の速度からして、安全と考えられる範囲、たとえば前記速度に対応した停止可能距離の範囲は除外するので、判定処理を軽減することができる。
【００３１】
さらにまた、本発明の周辺監視装置では、前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの長さが予め定める閾値以上大きい場合には衝突可能性領域と判定することを特徴とする。
【００３２】
上記の構成によれば、上述のようにして前記３次元オプティカルフローと該周辺監視装置との関係から衝突判定を行うにあたって、上述の判定で衝突可能性が低いと判定される領域でも、３次元オプティカルフローの長さが予め定める閾値以上大きい場合には、衝突可能性領域と判定する。
【００３３】
したがって、３次元オプティカルフローの長さは対象物体の単位時間当りの相対的な移動量を表すので、それが前記閾値以上大きい場合には、急速に近付いている可能性があるので、衝突可能性領域と判定しておくことで、判定遅れとなることを回避することができる。
【００３４】
また、本発明の周辺監視装置では、前記時系列情報算出部は、計測点毎に対応点探索処理を行うことを特徴とする。
【００３５】
上記の構成によれば、前記移動成分としての２次元オプティカルフローを求めるにあたって、対応点探索処理を画素単位毎に行うことで、対象物体候補領域抽出部は、背景や路面を含まない対象物候補領域を詳細に抽出することができる。
【００３６】
さらにまた、本発明の周辺監視装置では、前記対象物体候補領域抽出部は、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行うことで、対象物体候補領域として抽出するか否かを判断することを特徴とする。
【００３７】
上記の構成によれば、対象物体候補領域への切出しを行うにあたって、全ての計測点毎に２次元オプティカルフローを計算するのではなく、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行う。
【００３８】
したがって、計測点数を減らすことが可能となり、より高速な処理が可能になる。
【発明の効果】
【００３９】
本発明の周辺監視装置は、以上のように、移動体に搭載されて周囲の対象物体を監視する周辺監視装置において、時系列画像から２次元オプティカルフローなどの移動成分を算出して、その移動成分を基に衝突対象物体が存在する可能性の高い候補領域を抽出し、その候補領域の３次元情報と、該周辺監視装置との位置関係から、衝突可能性を判定する。
【００４０】
それゆえ、時系列画像から算出された移動成分から、側方飛び出しなどの衝突予測が難しい対象物体が存在する可能性の高い候補領域を限定し、その候補領域だけの３次元情報を算出するので、複雑な物体認識処理や道路モデルなどを必要とせず、処理速度を速く（フレームレートを向上）することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の一形態に係る周辺監視装置の概略構成図である。
【図２】衝突可能性の解析にあたっての対象物体の距離と移動量との一般的な求め方を説明するための図である。
【図３】前記周辺監視装置におけるコントローラの一構成例を示すブロック図である。
【図４】前記コントローラの動作を説明するためのフローチャートである。
【図５】時系列画像から２次元オプティカルフローを求める様子を説明するための図である。
【図６】衝突の可能性のある対象物体が存在する可能性の高い候補領域を説明するための図である。
【図７】前記候補領域を３次元空間上に示す図である。
【図８】前記対象物体が静止物体であるか移動物体であるかを旧来の方法で判定した結果を示す図である。
【図９】前記対象物体が静止物体であるか移動物体であるかを本実施の形態で判定した結果を示す図である。
【図１０】静止物体の２次元オプティカルフローの例を示す図である。
【図１１】移動物体と静止物体とが混在する場合の２次元オプティカルフローの例を示す図である。
【図１２】路面の２次元オプティカルフローの例を示す図である。
【図１３】２次元オプティカルフローの計算にあたっての画面の領域分割の一例を説明するための図である。
【図１４】２次元オプティカルフローの計算にあたっての画面の領域分割の他の例を説明するための図である。
【図１５】対象物体までの距離測定の他の例を説明するための図である。
【図１６】衝突判定の他の例を説明するための図である。
【図１７】対応点探索処理時に用いる多重解像度の手法を説明するための図である。
【図１８】衝突判定の一例を説明するための図である。
【発明を実施するための形態】
【００４２】
図１は、本発明の実施の一形態に係る周辺監視装置１の概略構成図である。この周辺監視装置１は、車両２に搭載されて被写体の２次元入力画像をそれぞれ得るステレオカメラ１１，１２に、取得したステレオ画像から３次元画像を得て、路面３上に存在する対象物体４，５に対する衝突危険度を判定し、危険度が高い場合に、ブザー６を鳴動して警告を行うコントローラ１３を備えて構成され、衝突判定システムに使用される。他にも、警告処理としては、運転者に回避処置を促すように表示ディスプレイに情報を表示したり、衝突対象までの距離や時間、或いは対象の大きさを表示する等の動作を、単独、或いは複数組合わせて行うことができる。一方、前記ブザー６に代えて、記録部が設けられると、前記危険度が高い場合にそのシーンを自動記録するドライブレコーダを実現することができ、ブレーキ装置が設けられると、前記危険度が高い場合に自動的にブレーキを掛ける衝突防止システムを実現することができる。
【００４３】
前記ステレオカメラ１１，１２は、被写体を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する。本実施の形態においては、説明の簡単化の為に、ステレオカメラ１１，１２の収差は良好に補正されており、かつ相互に平行に設置されているものとする。また、実際のハードがこのような条件に無くても、画像処理によって、同等の画像に変換することも可能である。ステレオカメラ１１，１２からは、前記ステレオ画像が前記コントローラ１３に通信線を介して送信される。ステレオカメラ１１，１２とコントローラ１３との間での画像データの通信方式は、有線方式に限定されず、無線方式であってもよい。
【００４４】
ここで、前記特許文献４のように、３次元移動成分を用いた衝突可能性の解析の利点は、対象物体４，５と自車両２との衝突可能性の判定を高精度に行うことが可能である点である。しかしながら、図２で示すように、ステレオカメラ１１，１２の撮像画像から３次元移動成分を算出する場合、画像間の対応付け回数が大きくなり、計算コストが大幅に掛かるという問題点がある。
【００４５】
図２は、前記衝突可能性の解析にあたっての前記対象物体４，５の距離と移動量との一般的な求め方を説明するための図である。ステレオカメラ１１，１２の一方による画像を基準画像Ｉ１とし、他方を参照画像Ｉ２とし、時刻ｔおよびそれからΔｔ（１フレーム期間）経過した後の計４枚の画像を得ている。この場合、先ず時刻ｔにおける基準画像Ｉ１ｔ上の画素Ｐ１（ｉ，ｊ，ｔ）に対し、対応点探索処理によって、参照画像Ｉ２ｔ上の対応点Ｐ２（ｉ，ｊ，ｔ）を算出し、３次元情報Ｆ（ｉ，ｊ，ｔ）が求められ、前記対象物体４，５までの距離が分る。同様に、時刻ｔ＋Δｔにおける基準画像Ｉ１ｔ＋Δｔ上の画素Ｐ（ｉ，ｊ，ｔ＋Δｔ）に対し、対応点探索処理によって、参照画像Ｉ２ｔ＋Δｔ上の対応点Ｐ２（ｉ，ｊ，ｔ＋Δｔ）を算出し、３次元情報Ｆ（ｉ，ｊ，ｔ＋Δｔ）が求められる。続いて、基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ同士で対応点探索処理が行われ、画素Ｐ１（ｉ，ｊ，ｔ），Ｐ１（ｉ，ｊ，ｔ＋Δｔ）間の対応付けが行われる。これによって、３次元情報Ｆ（ｉ，ｊ，ｔ），Ｆ（ｉ，ｊ，ｔ＋Δｔ）間も対応付けが行われ、前記対象物体４，５の移動量が算出できる。
【００４６】
しかしながら、ステレオカメラ１１，１２による３次元計測で最も時間の掛かるのは、この対応付けであり、それを減らす程、処理速度が速くなる（フレームレートを上げることができる）。そこで、本実施の形態では、先ず基準の時系列画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間で、対象物体４，５の距離と移動量とを用いた３次元移動成分から、これらの対象物体４，５が衝突の可能性の高い候補領域に有るかを判定する。
【００４７】
図３は、前記コントローラ１３の一構成例を示すブロック図であり、図４はその動作を説明するためのフローチャートである。コントローラ１３は、時系列情報算出部２１と、対象物体候補領域抽出部２２と、３次元情報取得部２３と、衝突可能性判定部２４とを備えて構成される。画像取得部である前記ステレオカメラ１１，１２は、ステップＳ１で、車両２の周囲の画像を時系列に取得し、得られた時系列画像から、注目すべきは、先ず時系列情報算出部２１は、ステップＳ２で、図５で示すように、前記基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間の対応点探索処理によって、画素単位の高精度な２次元オプティカルフローなどの移動（ベクトル）成分ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）を算出することである。すなわち、
ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）＝Ｐ１（ｉ，ｊ，ｔ＋Δｔ）−Ｐ（ｉ，ｊ，ｔ）
である。
【００４８】
前記２次元オプティカルフローの算出方法としては、勾配法や相関演算法などを用いることができる。前記勾配法は、画像の時空間微分の拘束方程式による条件から２次元オプティカルフローを推定する一般的な手法である。また、前記相関演算法は、ウィンドウ内の相関演算によって対応点探索処理を行うものであり、既に確立されている一般的な手法である。ただし、この前記相関演算法の中でも、２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル単位で対応位置を演算することができるＰＯＣ（位相限定相関法）を用いることによって、前記基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間の輝度差やノイズの影響を受け難くなり、それらの対応付けを、安定かつ高精度に行うことが可能となる。前記ウィンドウ内のパターンを周波数分解する方法としては、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換、アダマール変換などの既に確立されている方法を用いることができ、これらの方法で周波数分解を確実に行うことができる。このように２次元オプティカルフローを求めるにあたって、対応点探索処理を画素単位毎に行うことで、後続の対象物体候補領域抽出部２２は、背景や路面３を含まない対象物候補領域を詳細に抽出することができるようになる。
【００４９】
続いて、対象物体候補領域抽出部２２が、ステップＳ３で、前記移動成分ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）を基に、図６で示すように、前記対象物体４，５が存在する可能性の高い候補領域ＯＢ（ｔ，ｎ）を抽出する。ｎは、１，２，・・・で、グループ化された候補領域（対象物体）の番号であるが、グループ化しない場合は静止物体か対象物体かのフラグとして使用してもよい。図６の例では、時刻ｔにおける１番目の候補領域ＯＢ（ｔ，１）で、それを構成する画素は、Ｐ１（２，２，ｔ），Ｐ１（３，２，ｔ），Ｐ１（２，３，ｔ），Ｐ１（３，３，ｔ），Ｐ１（２，４，ｔ），Ｐ１（３，４，ｔ）である。
【００５０】
こうして候補領域ＯＢ（ｔ，１）が抽出されると、３次元情報取得部２３が、ステップＳ４で、それを構成する画素Ｐ１（２，２，ｔ），Ｐ１（３，２，ｔ），Ｐ１（２，３，ｔ），Ｐ１（３，３，ｔ），Ｐ１（２，４，ｔ），Ｐ１（３，４，ｔ）に対して、参照画像Ｉ２ｔ上の対応点Ｐ２（ｉ，ｊ，ｔ）を対応点探索し、さらに対応する画素間の視差情報から、図７で示すような３次元（実空間上における位置）情報ＸＹＺ（ｉ，ｊ，ｔ）（図６の場合には、ＸＹＺ（２，２，ｔ，１），ＸＹＺ（３，２，ｔ，１），ＸＹＺ（２，３，ｔ，１），ＸＹＺ（３，３，ｔ，１），ＸＹＺ（２，４，ｔ，１），ＸＹＺ（３，４，ｔ，１））を求める。同様に、Δｔ後の基準画像Ｉ１ｔ＋Δｔについても、前記３次元情報取得部２３は、前記候補領域ＯＢ（ｔ，１）に対応する候補領域ＯＢ（ｔ＋Δｔ，１）の３次元情報ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ）を求める。
【００５１】
こうして求められた同じ対象物体に対する時系列の３次元情報ＸＹＺ（ｉ，ｊ，ｔ），ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ）による３次元移動成分から、衝突判定部２４は、その３次元オプティカルフロー算出部２４ａにおいて、ステップＳ５で、３次元オプティカルフローＯＦ３を求め、その３次元オプティカルフローＯＦ３と自車両２との位置関係から衝突可能性を判定し、ステップＳ６で衝突の可能性があれば、ステップＳ７でブザー６を鳴動して、時間Δｔ後に前記ステップＳ１に戻り、衝突の可能性が無ければ、そのまま時間Δｔ後に前記ステップＳ１に戻る。
【００５２】
前記衝突可能性の判定は、図１８に示すように、前記３次元オプティカルフローＯＦ３を用いることで、簡単で、高精度な判定を行うことができる。具体的には、その３次元オプティカルフローＯＦ３の延長線と、自車両２とが交差するか否かを判定することで、該自車両２の前方に位置する対象物体４，５が衝突する可能性のある物体であるか否かを判定する。したがって、前記３次元オプティカルフローＯＦ３の向きおよび長さの２つのパラメータを算出できれば、前記延長線を作成でき、その延長線と自車両２との交差判定によって、対象物体４，５が該周辺監視装置１に向ってきているかどうかから、衝突可能性の有無を判定することができる。図１８では、自車両２の進路上にある路上障害物（静止体）から成る対象物体５および先行車両から成る対象物体４に加えて、前記進路上にはないものの、車線を横切ることで、前記３次元オプティカルフローＯＦ３が交差する人物から成る対象物体７も、衝突物体と判定される。このように、３次元オプティカルフローＯＦ３は自車両２の速度と対象物体４，５，７の速度との合成ベクトルによって表され、対象物体４，５，７の動きを３次元的に解析することができるので、衝突判定処理を精度良く行うことができ、好適である。この衝突判定処理の詳しくは、本件出願人による特願２００８−２４４７８号に詳しく記載されている。
【００５３】
また好ましくは、前記衝突判定部２４は、上述のようにして３次元オプティカルフローＯＦ３と自車両２との関係から衝突判定を行うにあたって、上述の判定で衝突可能性が低いと判定される領域でも、前記３次元オプティカルフロー算出部２４ａで算出された前記候補領域の３次元オプティカルフローＯＦ３の長さが予め定める閾値以上大きい場合には衝突可能性領域と判定する。したがって、３次元オプティカルフローＯＦ３の長さは対象物体４，５，６の単位時間当りの相対的な移動量を表すので、それが前記閾値以上大きい場合には、急速に近付いている可能性があるので、衝突可能性領域と判定しておくことで、判定遅れとなることを回避することができる。
【００５４】
ここで、画像から算出された２次元オプティカルフローから、対象物体が静止物体であるか、移動物体であるかを判定した場合、その結果は、図８で示すようになる。すなわち、２次元オプティカルフローの大きさが或るレベルＯＦ１を超えると、対象物体の速度が或るレベルＶ１を境に、大きければ移動物体の候補、小さければ静止物体の候補と明確に判定できるが、前記２次元オプティカルフローの大きさが前記レベルＯＦ１以下であると、対象物体が移動物体の候補であるのか、静止物体の候補であるのかの切り分けが困難になってしまう。すなわち、たとえば対象物体が自車両２の比較的正面にあるような場合には、相対速度が大きくても、前記２次元でのオプティカルフローは小さくなってしまう。したがって、このオプティカルフローが小さいような場合においても、衝突の危険性が多く含まれていることから、対象物体を含むような領域を、漏れの無いように抽出する必要がある。そこで、本実施の形態では、前記対象物体候補領域抽出部２２に、以下の２つの対象物候補領域抽出方法を用いることで、図９で示すように、前記２次元オプティカルフローの大きさが前記レベルＯＦ１未満であっても、移動速度が予め定める値Ｖ１以下である場合は前記候補領域として抽出することで、演算処理量を抑えつつ、そのような抽出の漏れを無くす。
【００５５】
先ず、前記２次元オプティカルフローの大きさが前記レベルＯＦ１以上であり、かつ対称物体の移動速度が予め定める値Ｖ１より大きい場合に適用される第１の対象物候補領域抽出方法では、以下の３つの物体の切出し方法を用い、衝突判定を行うべき移動物体であるか、衝突判定の必要のない静止物体であるのかの切分けを行い、対象物体の領域を対象物体候補領域として抽出する。第１の切出し方法では、ステレオカメラ１１，１２が前方へ向けて取付けられ、自車両２が前方へ直進移動する場合、図１０で示すように、静止物体８の２次元オプティカルフローＯＦＳを延長した直線ＯＦＳａは、或る１点で交わることを利用するものである。この点は、消失点（ＦＯＥ：Focus of Expansion）と呼ばれ、自車両２の移動方向に応じて定まる定点となる。たとえば、この図１０のように静止物体８だけ存在するシーンにおいて、時刻ｔとｔ＋Δｔとの時系列画像から算出された２次元オプティカルフローＯＦＳの延長線ＯＦＳａは、画像の中央付近に定まる。
【００５６】
これに対して、図１１のように移動物体７と静止物体８とが混在するようなシーンのＦＯＥは、静止物体８のＦＯＥが、前述のように画像の中央付近に定まるのに対し、移動物体７の２次元オプティカルフローＯＦＭの延長線ＯＦＭａのＦＯＥは、前記画像中央とは限らず、任意に散在する。つまり静止物体８以外の対象物体においては、それぞれ独立のＦＯＥが存在する。第１の切出し方法では、このＦＯＥの特徴を用いて、対象物候補領域を抽出する。
【００５７】
抽出方法としては、単純に、各ＦＯＥに集まる計測点の数から算出することができる。たとえば、２次元オプティカルフローＯＦＭ，ＯＦＳの計測点数がＮ点存在した中で、最も集まっているＦＯＥを算出し、そのＦＯＥに集まる計測点を除外することで、移動物体７の候補領域を抽出することができる。すなわち、移動体に搭載したカメラ１１，１２の時系列画像間に生じる２次元オプティカルフローＯＦＳ，ＯＦＭの中で、その２次元オプティカルフローＯＦＳ，ＯＦＭの延長線ＯＦＳａ，ＯＦＭａの最も集まる消失点（ＦＯＥ）は移動体の移動方向に応じて定まり、しかも道路などの静止物体８の２次元オプティカルフローが集まるので、この領域を除外した領域を前記対象物体４，５（移動物体７）の候補領域として抽出することで、より効率的に、移動する対象物体のみを抽出することができる。
【００５８】
そして、移動物体７が複数存在する場合にも、同様に移動している物体はＦＯＥが略一致するので、ＦＯＥ毎に複数の物体をグループ化することが可能である。また、図１２のように路面３における２次元オプティカルフローＯＦＲの延長線ＯＦＲａのＦＯＥも、静止物体８と同様の画像中央のＦＯＥに集まることから、この方法によって路面３を含んだ静止物体８と、それ以外の移動物体との判別を行うことが可能となる。
【００５９】
一方、第２の切出し方法では、上述のように全ての計測点毎に２次元オプティカルフローを計算するのではなく、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行う。具体的には図１３で示すように、画像領域１０を、等間隔の局所領域Ａに分割し、それぞれの局所領域の代表計測点ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）の結果から、対象物体候補の抽出を行う。この方法の利点は、計測点数を減らすことが可能となり、より高速な処理が可能なことである。
【００６０】
なお、各局所領域Ａの設定方法としては、上述のような等間隔となるようにしてもよいが、図１４で示すような、不等間隔であてもよい。この図１４の例では、自車両２の近傍（画面下部）側の局所領域Ａ１が大きく、遠去かる（画面上部に行く）程、参照符号Ａ２，Ａ３，・・・というように、小さくなっている。これは、車載カメラの場合、画像上部に行くに従ってより距離が遠くなる、つまり画像上で対象物体が小さくなることからである。これによって、計測点数を一層減らすことが可能となり、より高速な処理が可能になる。
【００６１】
さらにまた、第３の切出し方法は、たとえば（「主成分分析を用いた移動物体認識法の検討」情報処理学会研究報告、コンピュータビジョン研究会報告 ＩＰＳＪ ＳＩＧ Ｎｏｔｅｓ ９６（３１） ｐｐ，５１−５８ １９９６０３２１）で示されるように既存技術であり、局所領域に切分けた領域毎にＦＯＥを推定する際の推定誤差を加算、閾値処理することによって、対象物体を検出するような手法（消失点推定残差法）である。この手法は、歩行者を含む領域における推定残差は、背景における推定残差に比べ大きな値となることから、推定誤差が大きい領域を対象物候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）として検出することができる。これら第１〜第３の切出し方法を用いて、第１の対象物候補領域抽出方法を実現することができる。
【００６２】
これに対して、前記２次元オプティカルフローの大きさが前記レベルＯＦ１未満の場合に適用される第２の対象物候補領域抽出方法では、前述のようにして算出された２次元オプティカルフロー（移動成分）ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）のベクトルの大きさがある範囲より小さいものだけを抽出し、抽出された領域を対象物候補ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）の存在する領域として抽出する。つまり、２次元画像から算出したオプティカルフローＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）がある程度大きなフローとして算出することができ（図８，９でＯＦ１を超えるもの）、路面３との切り分けが容易に行える場合においては、その２次元オプティカルフローＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）で衝突可能性の判断を行うことができるが、小さい場合（図８，９でＯＦ１以下のもの）は、対象物体の移動成分が、自車両２の走行によって発生しているのか、対象物体自体の移動によるものを含んでいるのかの切り分けが難しい。そこで、小さいものだけに対して３次元オプティカルフローを算出し、衝突の有無を判断することで、前述のように演算量を減らし、精度良く判定を行うことが可能である。
【００６３】
以上のようにして、前記ステップＳ３での対象物候補抽出部２２による対象物候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）の抽出が終了すると、前記ステップＳ４で、３次元情報取得部２３が、該対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）に対応する時刻ｔの撮影画像Ｉ１（ｉ，ｊ，ｔ）と位置的な対応関係を持つ３次元情報ＸＹＺ（ｉ，ｊ，ｔ，ｎ）と、時刻ｔ＋Δｔの撮影画像Ｉ１（ｉ，ｊ，ｔ＋Δｔ）と、位置的な対応関係を持つ３次元情報ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ，ｎ）とを算出する。
【００６４】
その算出にあたっては、上述の説明では、画像取得手段をステレオカメラ１１，１２として、３次元情報取得部２３では、そのステレオ画像から、前記対象物体候補領域抽出部２２で算出された前記対象物体の候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）と判断された位置に対応する３次元（実空間上における位置）情報を、前記ステレオ画像間の対応点探索処理によって算出する。この場合は、別途距離情報を得る手段を用いることなく、画像のみの情報から距離情報を算出することができるので、シンプルな構成で衝突判定システムを構築することができる。
【００６５】
しかしながら、本実施の形態で３次元情報を求めるには、対象物体までの距離情報が分ればよいので、カメラをモノラル（単眼）のカメラとし、外部の距離計測手段との組合わせに置換えてもよい。
【００６６】
前記距離計測手段としては、たとえば図１５で示すように、ＣＭＯＳセンサ５１の周辺に装着されたＬＥＤ５２から近赤外線を照射し、被写体５３に当って帰ってくる反射光をＣＭＯＳセンサ５１が受光するまでの時間をタイマ５４で計測する、いわゆるＴＯＦ（time of flight）方式で実現することができる。ＣＭＯＳセンサ５１の各画素での受光結果が、画像１０上の各領域Ａに存在する対象物体までの距離情報となり、こうして前記３次元情報を取得することができる。このような構成の代表的なものとしては、Ｃａｎｅｓｔａ社によるレーザレンジファインダがあり、３次元計測結果を出力する。この３次元情報を用いることで、前記ステップＳ３で抽出された各対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）に対応する３次元情報の位置的な対応関係を取得することができる。
【００６７】
また、別の方法としては、レーダ電波を出射し、対象物体から反射してきた反射波を受信し、伝搬時間やドップラー効果によって生じる周波数差などを基に、前方の障害物までの距離を測定するものがある。代表的なものとしては、ミリ波レーダなどである。これら別機器によって取得された３次元情報取得とカメラ１１，１２による撮像画像との対応関係は、たとえば特開２０００−３４８１９９号公報（テクスチャマッピング方法及び装置）のような手法を用い、対応関係を記憶させておけば、カメラの画角とミリ波の物体検知角度とによって、対応関係を得ることは可能である。このように別途距離計測手段を設けた場合、特別な計算を行うことなく、前記距離情報を求めることができる。
【００６８】
このようにして、各対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）に対応する３次元情報が得られると、前述のようにステップＳ６で、衝突可能性判定部２４は、対象物体４，５が自車両２に衝突するか否かを判定する。それには、ステップＳ５で算出された２次元オプティカルフロー（移動成分）ＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）の向きおよび長さならびに自車両２の速度と、上述のようにして求められた各対象物体候補領域ＯＢ（ｉ，ｊ，ｔ＋Δｔ，ｎ）までの距離ＸＹＺ（ｉ，ｊ，ｔ，ｎ），ＸＹＺ（ｉ，ｊ，ｔ＋Δｔ，ｎ）から、衝突判定を行う。前記速度の情報は、車両２側から得てもよいが、予め定める領域、たとえば正面下方の路面３のオプティカルフローの長さから求めることができる。
【００６９】
好ましくは、前記衝突判定部２４は、衝突判定を行う対象距離を固定するのではなく、現在の自車両２の速度に対応して、変更するようにすればよい。このように構成することで、自車両２の速度からして、安全と考えられる範囲、たとえば前記速度に対応した停止可能距離（＝空走距離＋制動距離）や、ハンドルでの回避距離（運転者の操作遅れに、ステアリング機構の応答遅れ時間を考慮してもハンドル操作で安全に回避できる距離）の範囲は除外するので、判定処理を軽減することができる。
【００７０】
また、前記衝突可能性判定部２４が、衝突判定を行うにあたって、図１６で示すように、自車両２のハンドル操作が行われている際には、その操舵による移動方向を加味して衝突判定を行うことが好ましい。詳しくは、移動物体７が矢符Ｆ１で示すように直進しているところ、自車両２が矢符Ｆ２で示すように、角度θで曲がっていると、見掛け上、移動物体７が矢符Ｆ３で示すように前記角度θで曲がって接近して来るものと判定し、自車両２については、矢符Ｆ４の直進として、衝突判定を行う。すなわち、移動物体７の２次元オプティカルフローについては、実際に時系列画像Ｉ１ｔ，Ｉ１ｔ＋Δｔから求められた２次元オプティカルフローＯＦＸＹ（ｉ，ｊ，ｔ＋Δｔ）に、前記角度θ分の補正が加えられる。前記角度θは、車体制御のＥＣＵなどから、ステアリングセンサ出力などとして取込むことができる。
【００７１】
さらにまた、好ましくは、前記時系列情報算出部２１は、前記ステレオカメラ１１，１２で得られた時系列画像の対応点の探索処理に、図１７で示すような多重解像度を用いる。具体的には、上述の説明では、図５で示すように、時刻ｔの基準画像Ｉ１ｔに対して、時刻ｔ＋Δｔの基準画像Ｉ１ｔ＋Δｔでの対応点を探索しているので、本来の高解像度の前記基準画像Ｉ１ｔ＋Δｔに対応する１または複数の階層の低解像度の画像（図１７の例ではＩ１’ｔ＋Δｔ，Ｉ１''ｔ＋Δｔ）を作成し、最も低解像度の画像Ｉ１''ｔ＋Δｔから、Ｉ１’ｔ＋Δｔ，Ｉ１ｔ＋Δｔへと、順次解像度を上げて対応点Ｑを探してゆくものである。このような手法を採用することで、２つの基準画像Ｉ１ｔ，Ｉ１ｔ＋Δｔ間で対応点の位置が離れていても、効率的、かつ高精度に対応点を探索することができる。
【００７２】
以上のように、本実施の形態の周辺監視装置１では、車両２に搭載されて周囲の対象物体４，５を監視する周辺監視装置において、単眼またはステレオのカメラ１１，１２などの画像取得部で前記周囲の画像を時系列に取得し、得られた時系列画像から時系列情報算出部２１が２次元オプティカルフローなどの移動成分を算出すると、先ず対象物体候補領域抽出部２２が、前記移動成分を基に、前記対象物体４，５が存在する可能性の高い候補領域を抽出し、その後、その候補領域に対して、３次元情報取得部２３が前記対象物体４，５の候補領域の３次元（実空間上における位置）情報を取得し、得られた前記対象物体４，５の候補領域の３次元情報と、該周辺監視装置１との位置関係から、衝突判定部２４が衝突可能性を判定する。
【００７３】
したがって、先ず対象物体候補領域抽出部２２が、時系列画像から算出された移動成分から、側方飛び出しなどの衝突予測が難しい対象物体４，５が存在する可能性の高い候補領域を限定し、次に３次元情報取得部２３が、その候補領域だけの３次元情報を算出し、衝突判定部２４でその抽出された対象物体の候補領域と監視装置１との関係から衝突可能性の判定を行う、すなわち自走状態で撮影された２次元時系列画像から、衝突予測が難しい対象物体候補領域のみに対し、詳しい３次元情報を求めて衝突危険性を判定するので、複雑な物体認識処理や道路モデルなどを必要とせず、時系列画像から算出された情報のみを用いて対象物体４，５の候補領域を限定することで、処理速度を速く（フレームレートを向上）することができる。
【００７４】
また、前記時系列情報算出部２１は、前記画像取得部で得られた時系列画像の対応点探索処理によって、２次元オプティカルフローを前記移動成分として算出するので、画素単位の高精度な移動成分を求めることができる。
【符号の説明】
【００７５】
１ 周辺監視装置
２ 車両
３ 路面
４，５ 対象物体
６ ブザー
７ 移動物体
８ 静止物体
１１，１２ ステレオカメラ
１３ コントローラ
２１ 時系列情報算出部
２２ 対象物体候補領域抽出部
２３ ３次元情報取得部
２４ 衝突可能性判定部
２４ａ ３次元オプティカルフロー算出部
５１ ＣＭＯＳセンサ
５２ ＬＥＤ
５３ 被写体
５４ タイマ
【特許請求の範囲】
【請求項１】
移動体に搭載され、該移動体の周囲の対象物体を監視する周辺監視装置において、
前記周囲の画像を時系列に取得する画像取得部と、
前記画像取得部で得られた時系列画像から移動成分を算出する時系列情報算出部と、
前記時系列情報算出部で得られた前記移動成分を基に、前記対象物体が存在する可能性の高い候補領域を抽出する対象物体候補領域抽出部と、
前記対象物体候補領域抽出部で算出された前記候補領域の３次元情報を取得する３次元情報取得部と、
前記３次元情報取得部で得られた前記候補領域の３次元情報と、該周辺監視装置との位置関係とから、衝突可能性を判定する衝突判定部とを含むことを特徴とする周辺監視装置。
【請求項２】
前記時系列情報算出部は、前記画像取得部で得られた時系列画像の対応点探索処理によって、２次元オプティカルフローを前記移動成分として算出することを特徴とする請求項１記載の周辺監視装置。
【請求項３】
前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローが予め定める値以上の大きさの領域を前記候補領域として抽出し、かつ前記２次元オプティカルフローが予め定める値未満であっても、移動速度が予め定める値以下である場合は、前記候補領域として抽出することを特徴とする請求項２記載の周辺監視装置。
【請求項４】
前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローを延長した直線の消失点の中から、最もフローが集まる領域を除外した領域を前記候補領域として抽出することを特徴とする請求項２記載の周辺監視装置。
【請求項５】
前記３次元情報取得部は、前記画像取得部をステレオカメラとして得られたステレオ画像から、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元情報を、前記ステレオ画像間の対応点探索処理によって算出することを特徴とする請求項３または４記載の周辺監視装置。
【請求項６】
前記３次元情報取得部は、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元情報を取得する距離センサであることを特徴とする請求項３または４記載の周辺監視装置。
【請求項７】
前記衝突判定部は、前記時系列情報算出部で得られた前記移動成分と、前記３次元情報取得部で得られた前記候補領域の３次元情報とを用いて、前記候補領域の３次元オプティカルフローを算出する３次元オプティカルフロー算出部を備え、該３次元オプティカルフロー算出部で算出された３次元オプティカルフローと、該周辺監視装置との位置関係とから、衝突可能性を判定することを特徴とする請求項１〜６のいずれか１項に記載の周辺監視装置。
【請求項８】
前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの向きおよび長さと、該周辺監視装置との交差判定によって衝突判定を行うことを特徴とする請求項７記載の周辺監視装置。
【請求項９】
前記衝突判定部は、前記移動体の速度に対応して、衝突判定を行う対象距離を変更することを特徴とする請求項１〜８のいずれか１項に記載の周辺監視装置。
【請求項１０】
前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの長さが予め定める閾値以上大きい場合には衝突可能性領域と判定することを特徴とする請求項８または９記載の周辺監視装置。
【請求項１１】
前記時系列情報算出部は、計測点毎に対応点探索処理を行うことを特徴とする請求項１〜５のいずれか１項に記載の周辺監視装置。
【請求項１２】
前記対象物体候補領域抽出部は、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行うことで、対象物体候補領域として抽出するか否かを判断することを特徴とする請求項１〜５のいずれか１項に記載の周辺監視装置。
【請求項１】
移動体に搭載され、該移動体の周囲の対象物体を監視する周辺監視装置において、
前記周囲の画像を時系列に取得する画像取得部と、
前記画像取得部で得られた時系列画像から移動成分を算出する時系列情報算出部と、
前記時系列情報算出部で得られた前記移動成分を基に、前記対象物体が存在する可能性の高い候補領域を抽出する対象物体候補領域抽出部と、
前記対象物体候補領域抽出部で算出された前記候補領域の３次元情報を取得する３次元情報取得部と、
前記３次元情報取得部で得られた前記候補領域の３次元情報と、該周辺監視装置との位置関係とから、衝突可能性を判定する衝突判定部とを含むことを特徴とする周辺監視装置。
【請求項２】
前記時系列情報算出部は、前記画像取得部で得られた時系列画像の対応点探索処理によって、２次元オプティカルフローを前記移動成分として算出することを特徴とする請求項１記載の周辺監視装置。
【請求項３】
前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローが予め定める値以上の大きさの領域を前記候補領域として抽出し、かつ前記２次元オプティカルフローが予め定める値未満であっても、移動速度が予め定める値以下である場合は、前記候補領域として抽出することを特徴とする請求項２記載の周辺監視装置。
【請求項４】
前記対象物体候補領域抽出部は、前記時系列情報算出部において、前記移動成分として算出された２次元オプティカルフローを延長した直線の消失点の中から、最もフローが集まる領域を除外した領域を前記候補領域として抽出することを特徴とする請求項２記載の周辺監視装置。
【請求項５】
前記３次元情報取得部は、前記画像取得部をステレオカメラとして得られたステレオ画像から、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元情報を、前記ステレオ画像間の対応点探索処理によって算出することを特徴とする請求項３または４記載の周辺監視装置。
【請求項６】
前記３次元情報取得部は、前記対象物体候補領域抽出部で算出された前記対象物体の候補領域と判断された位置に対応する３次元情報を取得する距離センサであることを特徴とする請求項３または４記載の周辺監視装置。
【請求項７】
前記衝突判定部は、前記時系列情報算出部で得られた前記移動成分と、前記３次元情報取得部で得られた前記候補領域の３次元情報とを用いて、前記候補領域の３次元オプティカルフローを算出する３次元オプティカルフロー算出部を備え、該３次元オプティカルフロー算出部で算出された３次元オプティカルフローと、該周辺監視装置との位置関係とから、衝突可能性を判定することを特徴とする請求項１〜６のいずれか１項に記載の周辺監視装置。
【請求項８】
前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの向きおよび長さと、該周辺監視装置との交差判定によって衝突判定を行うことを特徴とする請求項７記載の周辺監視装置。
【請求項９】
前記衝突判定部は、前記移動体の速度に対応して、衝突判定を行う対象距離を変更することを特徴とする請求項１〜８のいずれか１項に記載の周辺監視装置。
【請求項１０】
前記衝突判定部は、前記３次元オプティカルフロー算出部で算出された前記候補領域の３次元オプティカルフローの長さが予め定める閾値以上大きい場合には衝突可能性領域と判定することを特徴とする請求項８または９記載の周辺監視装置。
【請求項１１】
前記時系列情報算出部は、計測点毎に対応点探索処理を行うことを特徴とする請求項１〜５のいずれか１項に記載の周辺監視装置。
【請求項１２】
前記対象物体候補領域抽出部は、画面を予め複数の領域に分割しておき、その各領域の代表点に対して計測を行うことで、対象物体候補領域として抽出するか否かを判断することを特徴とする請求項１〜５のいずれか１項に記載の周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−２８６９２６（Ｐ２０１０−２８６９２６Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１３８６９２（Ｐ２００９−１３８６９２）
【出願日】平成２１年６月９日（２００９．６．９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月９日（２００９．６．９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]