動きベクトル算出装置、障害物検出装置および動きベクトル算出方法
【課題】１台のカメラのみを用いて障害物を検出する場合、車両が低速走行しているときでも、車両の動きベクトルを正確に算出することを可能にする「動きベクトル算出装置、障害物検出装置および動きベクトル算出方法」を提供する。
【解決手段】車載カメラ１４０によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出するトラッキング対象画像抽出部３４０と、当該複数の車両周囲画像のそれぞれにおいて位置検出部３６０が検出したトラッキング対象画像の位置の変化に基づいて車両の動きベクトルを算出する動きベクトル算出部３８０とを備え、車速センサの検出結果を使用しなくても、画像処理によって車両の動きベクトルを算出することができるようにする。
【解決手段】車載カメラ１４０によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出するトラッキング対象画像抽出部３４０と、当該複数の車両周囲画像のそれぞれにおいて位置検出部３６０が検出したトラッキング対象画像の位置の変化に基づいて車両の動きベクトルを算出する動きベクトル算出部３８０とを備え、車速センサの検出結果を使用しなくても、画像処理によって車両の動きベクトルを算出することができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル算出装置、障害物検出装置および動きベクトル算出方法に関し、特に、所定時間における車両の画像上の動きベクトルを算出する技術および算出した動きベクトルから障害物を検出する技術に関する。
【背景技術】
【０００２】
従来、駐車を行う場合の運転支援システムとして、車両の後方を監視する車載カメラによって撮像された画像を俯瞰画像に変換する機能を備え、異なる２地点において得られた俯瞰画像から障害物を検出し、検出した障害物をモニタに表示するシステムが開発されている。しかしながら、このシステムでは、障害物を検出するためには、車両が静止状態でないことが必要であるとともに、車速センサ、操舵角センサ等を用いて所定時間における車両の動きベクトル（移動量および移動方向）をリアルタイムに正確に計測することが必要となる。
【０００３】
また、ステレオカメラを用いて障害物を検出する技術も開発されている。しかしながら、ステレオカメラを用いて障害物を検出するには、２台のカメラが必要であるためコストがかかるとともに、２台のカメラで撮像された画像間のマッチング処理が必要となるため、計算量が莫大となる。そこで、１台のカメラのみを用いて障害物を検出する手法が提案されている（例えば、特許文献１を参照）。
【特許文献１】特開２００８−４８０９４号公報
【０００４】
特許文献１に記載の技術では、時刻（ｔ−Δｔ）にカメラで車両の後方を撮像した画像を２次元変換して第１の俯瞰画像を生成するとともに、時刻ｔにカメラで撮像された画像を２次元変換して第２の俯瞰画像を生成する。そして、第１の俯瞰画像を車両の移動量に基づいてシフトし、シフトした第１の俯瞰画像と、第２の俯瞰画像との差分を抽出して差分俯瞰画像を生成し、この差分俯瞰画像より障害物を検出している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載の技術では、車速信号に基づいて、所定時間（Δｔ）における車両の移動量を求めている。したがって、車速センサに検出誤差が生じる（すなわち、車両の移動量に誤差が生じる）と、障害物を検出するために生成する差分俯瞰画像の元となる第１の俯瞰画像にも誤差が生じ、実際には障害物でないものを障害物と誤って検出してしまう場合がある。特に駐車を行う場合等の低速走行時には、タイヤの回転数が少なくなり車速センサの検出精度が低下するため、車速センサの検出値に誤差が生じやすく、実際には障害物でないものを障害物と誤って検出しやすくなるという問題がある。
【０００６】
本発明は、このような問題を解決するために成されたものであり、１台のカメラのみを用いて障害物を検出する場合、車両が低速走行しているときでも、所定時間における車両の動きベクトル（移動量および移動方向）を正確に算出できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために、本発明では、車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出し、撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれから当該抽出したトラッキング対象画像の位置を検出し、その検出したトラッキング対象画像の位置の変化に基づいて、車両の動きベクトルを算出するようにしている。
【発明の効果】
【０００８】
上記のように構成した本発明によれば、撮像装置により逐次撮像された車両周囲画像に基づいて、所定時間における車両の動きベクトルが算出されるため、車速センサの検出結果を使用しなくても車両の動きベクトルを算出することができる。これにより、車速センサの検出精度が低下する車両の低速走行時でも、車両の動きベクトルを正確に算出することができる。よって、車両が低速走行している場合でも、正確に算出した動きベクトルに基づいて正確な差分画像を生成することができ、実際には障害物でないものを障害物と誤って検出することを確実に防止することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態について図面に基づいて説明する。図１は、本実施形態による障害物検出装置１００の構成例を示すブロック図である。障害物検出装置１００は、車両に搭載される。障害物検出装置１００は、車載カメラ１４０（本願発明の撮像装置に対応）およびモニタ１６０と車載ネットワークを介して接続されている。障害物検出装置１００は、図１に示すように、動きベクトル算出装置２００、差分画像生成部２２０、障害物検出部２４０、表示画面生成部２６０、出力バッファ２７０および表示制御部２８０を備えて構成されている。なお、車載カメラ１４０は、所定の撮像時間間隔Δｔ（例えば、１／３０秒）で車両の後方周辺を逐次撮像する。また、Δｔの前の方のタイミングをｔ、後の方のタイミングを（ｔ＋Δｔ）で表すものとする。
【００１０】
動きベクトル算出装置２００は、車載カメラ１４０により撮像された撮像画像（以下、「車両周囲画像」という）を用いて、撮像時間間隔Δｔにおける車両周囲画像から車両の動きベクトルを算出する。動きベクトル算出装置２００は、図１に示すように、撮像画像取得部３００、歪補正部３２０、入力バッファ３３０、トラッキング対象画像抽出部３４０、位置検出部３６０および動きベクトル算出部３８０を備えて構成されている。
【００１１】
撮像画像取得部３００は、車載カメラ１４０によって撮像された車両周囲画像を逐次取得し、歪補正部３２０に逐次出力する。歪補正部３２０は、撮像画像取得部３００から取得した車両周囲画像について、各画素の値を補正して車載カメラ１４０のレンズ歪による影響を補正する。具体的には、歪補正部３２０は、車載カメラ１４０によって撮像された車両周囲画像のある画素が補正後の車両周囲画像のどの画素に対応するかを記載したマッピングテーブルを用いて、車両周囲画像における各画素の値を補正する。歪補正部３２０は、車両周囲画像に対して補正処理を行った後に、補正した車両周囲画像を入力バッファ３３０に逐次記憶させる。
【００１２】
トラッキング対象画像抽出部３４０は、入力バッファ３３０に記憶された車両周囲画像を読み出して、その読み出した車両周囲画像から予め定めた３つの位置の部分画像（例えば、１６×１６画素からなる部分画像）を３つのトラッキング対象画像として抽出する。トラッキング対象画像抽出部３４０は、入力バッファ３３０に最初に車両周囲画像が記憶されたとき、その記憶された車両周囲画像から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として抽出する。また、トラッキング対象画像抽出部３４０は、後述する消失点算出部４００が消失点を算出することができなかったとき、最新の車両周囲画像上から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として新たに抽出する。また、トラッキング対象画像抽出部３４０は、消失点算出部４００が消失点を算出することができた場合でも、算出した消失点を通らない延長線が１つでも存在するときには、その消失点を通らない延長線を形成するトラッキング対象画像に替えて、最新の車両周囲画像から予め定めた１つの位置の部分画像をトラッキング対象画像として抽出する。トラッキング対象画像抽出部３４０は、抽出したトラッキング対象画像を位置検出部３６０および動きベクトル算出部３８０に出力する。なお、消失点や延長線の詳細は後述する。
【００１３】
位置検出部３６０は、入力バッファ３３０に記憶された車両周囲画像を逐次読み出して、読み出した車両周囲画像上のそれぞれにおいて、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像の位置を検出する。具体的には、位置検出部３６０は、入力バッファ３３０から読み出した車両周囲画像から、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像と同一の部分画像を探し出して、その部分画像の車両周囲画像上における位置座標をトラッキング対象画像の位置として検出する。ここで、トラッキング対象画像と同一か否かの判定は、例えば、色分布の特性や輝度の値などの画像の特徴量を用いた相関演算により行う。実際には、位置検出部３６０は、類似度が一定値以上の部分画像を同一であるとみなしてトラッキング対象画像の位置を検出する。位置検出部３６０は、入力バッファ３３０から読み出した車両周囲画像上における３つのトラッキング対象画像の位置を検出する度に、検出した３つのトラッキング対象画像の位置を動きベクトル算出部３８０に出力する。
【００１４】
動きベクトル算出部３８０は、撮像タイミングが連続する撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で車載カメラ１４０によって撮像された車両周囲画像において位置検出部３６０により検出された３つのトラッキング対象画像の位置の変化に基づいて、撮像時間間隔Δｔにおける車両の動きベクトルを算出する。撮像時刻ｔから撮像時刻（ｔ＋Δｔ）までの間に車両が移動していれば、撮像時刻ｔでのトラッキング対象画像の検出位置と、撮像時刻（ｔ＋Δｔ）でのトラッキング対象画像の検出位置とに差が生じる。動きベクトル算出部３８０は、その差を動きベクトルとして検出する。そのための具体的な構成として、動きベクトル算出部３８０は、消失点算出部４００、俯瞰画像生成部４２０、第２の位置検出部４４０および算出部４６０を備えて構成されている。
【００１５】
消失点算出部４００は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像のそれぞれにおいて位置検出部３６０により検出された３つのトラッキング対象画像の位置であって同じトラッキング対象画像どうしの位置を結ぶ線の延長線をそれぞれ求め、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上においてその求めた延長線が交わる消失点の算出を試みる。消失点算出部４００は、消失点を算出することができた場合（３つの延長線が１点で交わった場合）、その旨を俯瞰画像生成部４２０に通知する。また、消失点算出部４００は、消失点を算出することができた場合（２つの延長線が１点で交わった場合）、その旨およびどのトラッキング対象画像の延長線が交わったかを俯瞰画像生成部４２０に通知する。
【００１６】
また、消失点算出部４００は、消失点を算出することができなかった場合、その旨をトラッキング対象画像抽出部３４０に通知する。トラッキング対象画像抽出部３４０は、消失点算出部４００から消失点を算出することができなかった旨の通知を受けて、入力バッファ３３０から撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を読み出す。そして、トラッキング対象画像抽出部３４０は、その読み出した車両周囲画像から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として新たに抽出して位置検出部３６０に出力する。位置検出部３６０は、それ以降入力バッファ３３０に記憶される車両周囲画像上において、トラッキング対象画像抽出部３４０から新たに出力された３つのトラッキング対象画像の位置を検出して動きベクトル算出部３８０に出力する。
【００１７】
消失点算出部４００は、消失点を算出することができた場合でも、算出した消失点を通らない延長線が１つでも存在するとき（本実施形態では、３つの延長線のうち１つの延長線のみが消失点を通らないとき）には、その消失点を通らない延長線を形成するトラッキング対象画像を特定する情報（以下、「トラッキング対象画像特定情報」という）をトラッキング対象画像抽出部３４０に出力する。このトラッキング対象画像特定情報を取得したトラッキング対象画像抽出部３４０は、入力バッファ３３０から撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を読み出す。そして、トラッキング対象画像抽出部３４０は、取得したトラッキング対象画像特定情報により示されるトラッキング対象画像に替えて、入力バッファ３３０から読み出した車両周囲画像から予め定めた１つの位置の部分画像を１つのトラッキング対象画像として新たに抽出して位置検出部３６０に出力する。位置検出部３６０は、それ以降入力バッファ３３０に記憶される車両周囲画像上において、新たに抽出された１つのトラッキング対象画像を含む３つのトラッキング対象画像の位置を検出して動きベクトル算出部３８０に出力する。
【００１８】
俯瞰画像生成部４２０は、消失点を算出することができた旨の通知を消失点算出部４００から受けて、撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲画像を入力バッファ３３０から読み出す。俯瞰画像生成部４２０は、車載カメラ１４０により撮像された車両周囲画像の画素と車両の後方周辺を上方の仮想視点から見た車両周囲俯瞰画像の画素との対応関係を記載した視点変換情報を用いて、読み出した車両周囲画像を視点変換処理することによって、車両の上方の仮想視点から見た車両周囲俯瞰画像をそれぞれ生成する。俯瞰画像生成部４２０は、その生成した車両周囲俯瞰画像を第２の位置検出部４４０および差分画像生成部２２０に出力する。
【００１９】
第２の位置検出部４４０は、俯瞰画像生成部４２０から出力された撮像時刻ｔ、撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像上のそれぞれにおいて、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像の位置を検出する。具体的には、第２の位置検出部４４０は、俯瞰画像生成部４２０から出力された車両周囲俯瞰画像から、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像を視点変換処理したものと同一の部分画像を探し出して、その部分画像の車両周囲俯瞰画像上における位置座標をトラッキング対象画像の位置として検出する。第２の位置検出部４４０は、検出した３つのトラッキング対象画像の位置を算出部４６０に出力する。
【００２０】
算出部４６０は、第２の位置検出部４４０から出力されたトラッキング対象画像の位置を取得する。そして、算出部４６０は、第２の位置検出部４４０から今回（撮像時刻ｔ＋Δｔ）取得した車両周囲俯瞰画像上におけるトラッキング対象画像の位置と前回（撮像時刻ｔ）取得した車両周囲俯瞰画像上におけるトラッキング対象画像の位置とから、当該トラッキング対象画像の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する。算出部４６０は、算出した撮像時間間隔Δｔにおける車両の動きベクトルを差分画像生成部２２０に出力する。
【００２１】
次に、車載カメラ１４０により連続撮像された車両周囲画像から所定時間における車両の動きベクトルを算出する動作例について図２を参照しながら説明する。図２（ａ）は、車載カメラ１４０によりある撮像タイミング（撮像時刻ｔ）で撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示す図である。図２（ａ）において、５０２、５０４および５０６は、車載カメラ１４０により撮像された車両周囲画像からトラッキング対象画像抽出部３４０が抽出した３つのトラッキング対象画像である。この３つのトラッキング対象画像の位置は、道路が写っている可能性が高く、消失点を求めることが可能な位置である。したがって、３つのトラッキング対象画像の位置は、車両周囲画像上において、水平線より下側、かつ、同じ水平ライン上で等間隔に位置することになる。なお、道路上の画像は見た目に大きな特徴はないが、隣接画素間の値に差があるので、特徴量として利用することができる。
【００２２】
図２（ｂ）は、図２（ａ）の撮像タイミングより後の撮像タイミング（撮像時刻（ｔ＋Δｔ））で車載カメラ１４０により撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示している。図２（ｂ）において、５０２（Δｔ）、５０４（Δｔ）および５０６（Δｔ）は、図２（ａ）の撮像タイミングよりΔｔ後の撮像タイミングで撮像された車両周囲画像から、図２（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像５０２、５０４、５０６と同一であると位置検出部３６０が判断した部分画像（以下、移動後のトラッキング対象画像という）である。なお、図２（ｂ）には、図２（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像５０２、５０４、５０６を重ねて表示している。すなわち、撮像時刻ｔから撮像時刻（ｔ＋Δｔ）までの時間Δｔの間に車両が後方に進むことにより、図２（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像５０２、５０４、５０６の位置が移動後のトラッキング対象画像５０２（Δｔ）、５０４（Δｔ）、５０６（Δｔ）の位置まで移動していることがわかる。
【００２３】
図２（ｃ）には、消失点算出部４００により算出することができた消失点５３０を示している。具体的には、消失点算出部４００は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図２（ａ）、（ｂ）の車両周囲画像のそれぞれにおいて位置検出部３６０により検出されたトラッキング対象画像５０２、５０４、５０６の位置であって、同じトラッキング対象画像５０２、５０４、５０６どうしの位置（すなわち、トラッキング対象画像５０２の位置と移動後のトラッキング対象画像５０２（Δｔ）の位置、トラッキング対象画像５０４と移動後のトラッキング対象画像５０４（Δｔ）の位置、トラッキング対象画像５０６の位置と移動後のトラッキング対象画像５０６（Δｔ）の位置）を結ぶ３本の延長線５２０、５２２、５２４をそれぞれ求め、その求めた延長線５２０、５２２、５２４が交わる点を消失点５３０として算出する。
【００２４】
この後の動きベクトル算出部３８０の動作として、俯瞰画像生成部４２０は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図２（ａ）、（ｂ）の車両周囲画像をそれぞれ視点変換処理することによって、車両の上方の仮想視点から見た車両周囲俯瞰画像をそれぞれ生成する。その後、第２の位置検出部４４０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて、トラッキング対象画像５０２、５０４、５０６および移動後のトラッキング対象画像５０２（Δｔ）、５０４（Δｔ）、５０６（Δｔ）の位置を検出する。最後に、算出部４６０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて第２の位置検出部４４０により検出されたトラッキング対象画像５０２、５０４、５０６および移動後のトラッキング対象画像５０２（Δｔ）、５０４（Δｔ）、５０６（Δｔ）の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する。
【００２５】
図２（ｄ）には、算出部４６０により算出された撮像時間間隔Δｔにおける車両の動きベクトル５５０、５５２、５５４（トラッキング対象画像５０２、５０４、５０６にそれぞれ対応）を示している。図２（ｃ）に示すように、消失点算出部４００により算出された消失点５３０を延長線５２０、５２２、５２４が全て通る場合には、その消失点５３０を通る延長線５２０、５２２、５２４を形成するトラッキング対象画像５０２、５０４、５０６の車両周囲俯瞰画像上における位置の変化に基づいて算出された車両の動きベクトル５５０、５５２、５５４は大きさ、方向ともに一致する。
【００２６】
次に、車載カメラ１４０により連続撮像された車両周囲画像から所定時間における車両の動きベクトルを算出する他の動作例について図３を参照しながら説明する。図３（ａ）は、車載カメラ１４０によりある撮像タイミング（撮像時刻ｔ）で撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示す図である。図３（ａ）において、６０２、６０４および６０６は、車載カメラ１４０により撮像された車両周囲画像からトラッキング対象画像抽出部３４０が抽出した３つのトラッキング対象画像である。
【００２７】
図３（ｂ）は、図３（ａ）の撮像タイミングより後の撮像タイミング（撮像時刻（ｔ＋Δｔ））で車載カメラ１４０により撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示している。図３（ｂ）において、６０２（Δｔ）、６０４（Δｔ）および６０６（Δｔ）は、図２（ａ）の撮像タイミングよりΔｔ後の撮像タイミングで撮像された車両周囲画像から、図３（ａ）においてトラッキング対象画像抽出部３４０に抽出された３つのトラッキング対象画像６０２、６０４、６０６と同一であると位置検出部３６０が判断した部分画像（移動後のトラッキング対象画像）である。なお、図３（ｂ）には、図３（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像６０２、６０４、６０６を重ねて表示している。すなわち、撮像時刻ｔから撮像時刻（ｔ＋Δｔ）までの時間Δｔの間に、車両が後方に進むことにより、図３（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像６０２、６０４、６０６の位置が移動後のトラッキング対象画像６０２（Δｔ）、６０４（Δｔ）、６０６（Δｔ）の位置まで移動していることがわかる。
【００２８】
ただし、トラッキング対象画像６０６の位置だけは、図２（ｂ）に示す例とは異なり、図３（ｂ）の車両周囲画像に新たに写りこんできた影６１０の影響を受けて影６１０を避ける位置に移動している。これは、トラッキング対象画像抽出部３４０から出力されたトラッキング対象画像に該当する道路の位置が影６１０の範囲に含まれ、影６１０の影響を受けてその道路位置の画素値が大きく変わってしまうため、同じ道路位置が相関演算で抽出されなくなってしまうからである。すなわち、車両周囲画像から影６１０を除いた範囲内でトラッキング対象画像と同一の部分画像が探し出され、その部分画像の車両周囲画像上における位置座標がトラッキング対象画像の位置として検出されてしまう。
【００２９】
図３（ｃ）には、消失点算出部４００により算出することができた消失点６３０を示している。具体的には、消失点算出部４００は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図３（ａ）、（ｂ）の車両周囲画像のそれぞれにおいて位置検出部３６０により検出されたトラッキング対象画像６０２、６０４、６０６の位置であって、同じトラッキング対象画像６０２、６０４、６０６どうしの位置（すなわち、トラッキング対象画像６０２の位置と移動後のトラッキング対象画像６０２（Δｔ）の位置、トラッキング対象画像６０４と移動後のトラッキング対象画像６０４（Δｔ）の位置、トラッキング対象画像６０６の位置と移動後のトラッキング対象画像６０６（Δｔ）の位置）を結ぶ３本の延長線６２０、６２２、６２４をそれぞれ求め、その求めた延長線６２０、６２２、６２４のうち２本の延長線６２０、６２２が交わる点を消失点６３０として算出する。ここで、トラッキング対象画像６０６、６０６（Δｔ）の位置から形成される延長線６２４だけは、図３（ｂ）の車両周囲画像に写りこんできた影６１０の影響により消失点６３０を通らない。この場合、トラッキング対象画像抽出部３４０は、撮像時刻ｔで撮像された車両周囲画像から抽出されたトラッキング対象画像６０６に替えて、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上において同じ位置から新たなトラッキング対象画像を抽出する。
【００３０】
この後の動きベクトル算出部３８０の動作として、俯瞰画像生成部４２０は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図３（ａ）、（ｂ）の車両周囲画像をそれぞれ視点変換処理することによって、車両の上方の仮想視点から見た２つの車両周囲俯瞰画像をそれぞれ生成する。その後、第２の位置検出部４４０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて、消失点６３０を通る延長線６０２、６２２を形成するトラッキング対象画像６０２、６０４および移動後のトラッキング対象画像６０２（Δｔ）、６０４（Δｔ）の位置を検出する。最後に、算出部４６０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて第２の位置検出部４４０により検出されたトラッキング対象画像６０２、６０４および移動後のトラッキング対象画像６０２（Δｔ）、６０４（Δｔ）の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する。
【００３１】
図３（ｄ）には、算出部４６０により算出された撮像時間間隔Δｔにおける車両の動きベクトル６５０、６５２（トラッキング対象画像６０２、６０４にそれぞれ対応）を示している。図３（ｃ）に示すように、消失点算出部４００により算出された消失点６３０を延長線６２０、６２２が通る場合には、その消失点６３０を通る延長線６２０、６２２を形成するトラッキング対象画像６０２、６０４の車両周囲俯瞰画像上における位置の変化に基づいて算出された車両の動きベクトル６５０、６５２は大きさ、方向ともに一致する。ここで、図３（ｃ）に示すように、消失点６３０を通らない延長線６２４を形成するトラッキング対象画像６０６，６０６（Δｔ）は、算出部４６０による車両の動きベクトルの算出に使用しないため、トラッキング対象画像６０６，６０６（Δｔ）に対応する動きベクトルは図３（ｄ）には示していない。
【００３２】
差分画像生成部２２０は、算出部４６０から出力された撮像時間間隔Δｔにおける車両の動きベクトルを取得する。また、差分画像生成部２２０は、俯瞰画像生成部４２０から出力された撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像を取得する。また、差分画像生成部２２０は、取得した撮像時間間隔Δｔにおける車両の動きベクトルに基づいて、撮像時刻ｔの車両周囲俯瞰画像を動きベクトルの分だけ移動させる。そして、この移動させた車両周囲俯瞰画像と、撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像との画素毎の差分を抽出して差分画像を生成する。差分画像生成部２２０は、生成した差分画像を障害物検出部２４０に出力する。
【００３３】
障害物検出部２４０は、差分画像生成部２２０から出力された差分画像を画像解析して、車両の後方に存在する障害物の検出を試みる。具体的には、障害物検出部２４０は、差分画像から予め設定しておいた閾値以上の画素値を持つ領域のみを抽出し、その抽出した領域を障害物として検出する。障害物検出部２４０は、障害物を検出した場合、その旨を表示画面生成部２６０に通知する。また、障害物検出部２４０は、検出した障害物の車両周囲画像上における位置を検出する。具体的には、障害物検出部２４０は、自身が有する視点変換情報を参照して、検出した障害物の差分画像（撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像に基づいて生成された車両周囲俯瞰画像の差分）上における位置から、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上における当該障害物の位置を算出し、表示画面生成部２６０に出力する。また、障害物検出部２４０は、障害物を検出しなかった場合、その旨を表示画面生成部２６０に通知する。
【００３４】
表示画面生成部２６０は、障害物を検出した旨の通知を障害物検出部２４０から受けた場合、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を入力バッファ３３０から読み出す。また、表示画面生成部２６０は、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上における障害物の位置を障害物検出部２４０から取得する。そして、表示画面生成部２６０は、入力バッファ３３０から読み出した車両周囲画像と障害物検出部２４０から取得した障害物の位置とから、車両の後方に障害物が存在することを運転者に報知するための警告表示画面を生成する。表示画面生成部２６０により生成された警告表示画面では、障害物検出部２４０により検出された障害物の存在を強調するために、当該障害物が存在する位置を所定サイズの枠で囲むとともに、その所定サイズの枠を所定の時間間隔で点滅させるようになっている。また、表示画面生成部２６０は、生成した警告表示画面を出力バッファ２７０に記憶させる。
【００３５】
また、表示画面生成部２６０は、障害物検出部２４０から障害物を検出しなかった旨の通知を受けた場合には、入力バッファ３３０から読み出した車両周囲画像から車両後方の様子を表す通常表示画面を生成する。表示画面生成部２６０は、生成した通常表示画面を出力バッファ２７０に記憶させる。
【００３６】
表示制御部２８０は、出力バッファ２７０に記憶される警告表示画面を読み出して、読み出した警告表示画面をモニタ１６０に表示する。また、表示制御部２８０は、出力バッファ２７０に記憶される通常表示画面を読み出して、読み出した通常表示画面をモニタ１６０に表示する。運転者は、モニタ１６０に表示された警告表示画面を確認することによって、車両後方に存在する障害物を認識し、その後の適切な対処を行うことができる。
【００３７】
次に、本実施形態による障害物検出装置１００の表示制御部２８０による表示動作について図４を用いて説明する。図４は、本実施形態による障害物検出装置１００の表示制御部２８０によってモニタ１６０に表示される警告表示画面の例を示す図である。
【００３８】
図４（ａ）は、車載カメラ１４０によってある撮像タイミング（撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を示している。図４（ａ）に示すように、車両後方には、駐車車両やコーン等の障害物７００、７０２、７０４が存在している。上述したように、車両周囲画像上の障害物７００、７０２、７０４は、障害物検出装置１００の動作により検出される。
【００３９】
図４（ｂ）は、図４（ａ）の車両周囲画像に基づいて生成された警告表示画面の例を示す図である。この警告表示画面では、車載カメラ１４０によって撮像された車両周囲画像の全体をカラー映像で表示するとともに、障害物検出部２４０により検出された障害物７００、７０２、７０４の存在を強調するために、障害物７００、７０２、７０４が存在する位置を所定サイズの枠７０８、７１０、７１２でそれぞれ囲むとともに、その所定サイズの枠７０８、７１０、７１２を所定の時間間隔（例えば、１秒）で点滅させる態様で付加的に表示するようになっている。
【００４０】
なお、警告表示画面において、障害物７００、７０２、７０４の存在を強調する態様は、上述の例に限らない。例えば、障害物７００、７０２、７０４に対応する部分のみをカラー映像として表示し、それ以外の部分をモノクロ画像として表示することにより障害物とその他の部分とを明瞭に認識できるように表示しても良い。
【００４１】
次に、本実施形態における障害物検出装置１００の動作について詳しく説明する。図５は、本実施形態による障害物検出装置１００の動作例を示すフローチャートである。図５におけるステップＳ１００の処理は、例えば、車両のイグニッションキー（図示せず）がユーザによって操作されて障害物検出装置１００に電源が投入されたことにより開始する。
【００４２】
まず、障害物検出装置１００は、シフトレバーがＲ（後退）に入ったか否かについて判定する（ステップＳ１００）。もし、シフトレバーがＲ（後退）に入っていないと障害物検出装置１００にて判定した場合（ステップＳ１００にてＮＯ）、障害物検出装置１００は、前回シフトレバーがＲ（後退）に入ってから所定時間が経過したか否かについて判定する（ステップＳ１２０）。もし、所定時間が経過したと障害物検出装置１００にて判定した場合（ステップＳ１２０にてＹＥＳ）、図５における処理を終了する。一方、所定時間が経過していないと障害物検出装置１００にて判定した場合（ステップＳ１２０にてＮＯ）、処理はステップＳ１４０に遷移する。
【００４３】
一方、シフトレバーがＲ（後退）に入ったと障害物検出装置１００にて判定した場合（ステップＳ１００にてＹＥＳ）、動きベクトル算出装置２００は撮像時間間隔Δｔにおける車両の動きベクトルを算出する処理を行う（ステップＳ１４０）。図６は、本実施形態による動きベクトル算出装置２００の動きベクトル算出処理の流れの例を示すフローチャートである。まず、撮像画像取得部３００は、車載カメラ１４０によって撮像された車両周囲画像を取得する（ステップＳ３００）。そして、撮像画像取得部３００は、車載カメラ１４０から取得した車両周囲画像を歪補正部３２０に出力する。歪補正部３２０は、撮像画像取得部３００から出力された車両周囲画像について、車載カメラ１４０のレンズ歪による影響を補正する（ステップＳ３２０）。そして、歪補正部３２０は、補正した車両周囲画像を入力バッファ３３０に記憶させる。
【００４４】
次に、トラッキング対象画像抽出部３４０は、車両周囲画像からトラッキング対象画像が既に抽出されている否かを判定する（ステップＳ３４０）。もし、まだ抽出されていない場合（ステップＳ３４０にてＮＯ）、すなわちシフトレバーがＲ（後退）に入ってから動きベクトル算出装置２００の最初の処理タイミング（最初の車両周囲画像を処理するタイミング）では、トラッキング対象画像抽出部３４０は、入力バッファ３３０に記憶された車両周囲画像を読み出して、車両周囲画像から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として抽出する（ステップＳ３６０）。そして、トラッキング対象画像抽出部３４０は、抽出した３つのトラッキング対象画像を位置検出部３６０および動きベクトル算出部３８０に出力する。動きベクトル算出部３８０には、抽出した３つのトラッキング対象画像の位置も出力する。その後、処理はステップＳ３００に遷移する。
【００４５】
一方、車両周囲画像からトラッキング対象画像が既に抽出されている場合（ステップＳ３４０にてＹＥＳ）、すなわちシフトレバーがＲ（後退）に入ってから動きベクトル算出装置２００の２回目以降の処理タイミング（２枚目以降の車両周囲画像を処理するタイミング）では、位置検出部３６０は、ステップＳ３２０の処理後に入力バッファ３３０に記憶された最新の車両周囲画像を読み出して、その読み出した車両周囲画像上において、ステップＳ３６０にてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像の位置を検出する（ステップＳ３８０）。そして、位置検出部３６０は、検出した３つのトラッキング対象画像の位置を動きベクトル算出部３８０に出力する。
【００４６】
次に、消失点算出部４００は、車載カメラ１４０によって連続する撮像タイミング（例えば、撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ））で撮像された車両周囲画像のそれぞれにおいて位置検出部３６０により検出された３つのトラッキング対象画像の位置から消失点の算出を試みる（ステップＳ４００）。
【００４７】
もし、消失点を算出することができなかった場合（ステップＳ４２０にてＮＯ）、消失点算出部４００は、その旨をトラッキング対象画像抽出部３４０に通知する。トラッキング対象画像抽出部３４０は、消失点算出部４００から消失点を算出することができなかった旨の通知を受けて、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を入力バッファ３３０から読み出して、読み出した車両周囲画像上の異なる位置から、前回抽出した３つのトラッキング対象画像に替えて、新たに３つのトラッキング対象画像を抽出する（ステップＳ４４０）。そして、トラッキング対象画像抽出部３４０は、新たに抽出した３つのトラッキング対象画像を位置検出部３６０に出力する。
【００４８】
一方、消失点を算出することができた場合（ステップＳ４２０にてＹＥＳ）、消失点算出部４００は、算出することができた消失点を通らない延長線が１つでも存在するか否かについて判定する（ステップＳ４６０）。もし、消失点を通らない延長線が存在すると消失点算出部４００にて判定した場合（ステップＳ４６０にてＹＥＳ）、消失点算出部４００は、その消失点を通らない延長線を形成するトラッキング対象画像を特定するトラッキング対象画像特定情報をトラッキング対象画像抽出部３４０に出力する。
【００４９】
トラッキング対象画像特定情報を取得したトラッキング対象画像抽出部３４０は、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を入力バッファ３３０から読み出して、その読み出した車両周囲画像上から、当該トラッキング対象画像特定情報により示されるトラッキング対象画像に替えて、新たにトラッキング対象画像を抽出する（ステップＳ４８０）。そして、トラッキング対象画像抽出部３４０は、新たに抽出したトラッキング対象画像を位置検出部３６０に出力する。その後、処理はステップＳ５６０に遷移する。一方、消失点を通らない延長線は存在しない（すなわち、全ての延長線が消失点を通る）と消失点算出部４００にて判定した場合（ステップＳ４６０にてＮＯ）、処理はステップＳ５００に遷移する。
【００５０】
ステップＳ５００では、俯瞰画像生成部４２０は、消失点を算出することができた旨の通知を消失点算出部４００から受けて、車載カメラ１４０によって撮像された撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲画像を入力バッファ３３０から読み出して、その読み出した車両周囲画像を視点変換処理することによって、車両の上方の仮想視点から見た車両周囲俯瞰画像を生成する。そして、俯瞰画像生成部４２０は、その生成した車両周囲俯瞰画像を第２の位置検出部４４０および差分画像生成部２２０に出力する。
【００５１】
次に、第２の位置検出部４４０は、俯瞰画像生成部４２０から出力された撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像上のそれぞれにおいて、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像の位置を検出する（ステップＳ５２０）。そして、第２の位置検出部４４０は、検出した３つのトラッキング対象画像の位置を算出部４６０に出力する。次に、算出部４６０は、第２の位置検出部４４０から出力されたトラッキング対象画像の位置を取得して、撮像時刻ｔの車両周囲俯瞰画像上における３つのトラッキング対象画像の位置と撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像上におけるトラッキング対象画像の位置とから、当該トラッキング対象画像の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する（ステップＳ５４０）。そして、算出部４６０は、算出した撮像時間間隔Δｔにおける車両の動きベクトルを差分画像生成部２２０に出力する。その後、動きベクトル算出装置２００は図６における処理を終了し、図５のステップＳ１６０に進む。
【００５２】
図５のステップＳ１６０では、差分画像生成部２２０は、算出部４６０から出力された撮像時間間隔Δｔにおける車両の動きベクトルに基づいて、俯瞰画像生成部２２０から出力された撮像時刻ｔの車両周囲俯瞰画像を動きベクトルの分だけ移動させる。そして、この移動させた撮像時刻ｔの車両周囲俯瞰画像と、俯瞰画像生成部２２０から出力された撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像との差分を抽出して差分画像を生成する。
【００５３】
次に、障害物検出部２４０は、差分画像生成部２２０から出力された差分画像を画像解析して、車両の後方に存在する障害物の検出を試みる（ステップＳ１８０）。もし、障害物検出部２４０が障害物を検出しなかった場合（ステップＳ２００にてＮＯ）、表示画面生成部２６０は、障害物検出部２４０から障害物を検出しなかった旨の通知を受けて、入力バッファ３３０から読み出した車両周囲画像から車両後方の様子を表す通常表示画面を生成する（ステップＳ２２０）。そして、表示画面生成部２６０は、生成した通常表示画面を出力バッファ２７０に記憶させる。最後に、表示制御部２８０は、出力バッファ２７０に記憶された通常表示画面を読み出して、読み出した通常表示画面をモニタ１６０に表示する（ステップＳ２４０）。
【００５４】
一方、障害物検出部２４０が障害物を検出した場合（ステップＳ２００にてＹＥＳ）、障害物検出部２４０は、検出した障害物の車両周囲画像上における位置を検出する。そして、障害物検出部２４０は、検出した車両周囲画像上における障害物の位置を表示画面生成部２６０に出力する。
【００５５】
次に、表示画面生成部２６０は、障害物検出部２４０から障害物を検出した旨の通知を受けて、入力バッファ３３０から読み出した車両周囲画像と障害物検出部２４０から取得した障害物の位置とから、車両の後方に障害物が存在することを運転者に報知するための警告表示画面を生成する（ステップＳ２６０）。そして、表示画面生成部２６０は、生成した警告表示画面を出力バッファ２７０に記憶させる。最後に、表示制御部２８０は、出力バッファ２７０に記憶された警告表示画面を読み出して、読み出した警告表示画面をモニタ１６０に表示する（ステップＳ２８０）。なお、ステップＳ２４０またはステップＳ２８０における表示処理が終了することにより、処理はステップＳ１００に遷移する。
【００５６】
以上詳しく説明したように、本実施形態では、トラッキング対象画像抽出部３４０が、車載カメラ１４０によって撮像された車両周囲画像内の予め定めた３つの位置の部分画像をトラッキング対象画像として抽出し、車載カメラ１４０によって連続撮像された２つの車両周囲画像のそれぞれにおいて、位置検出部３６０がトラッキング対象画像の位置を検出する。そして、動きベクトル算出部３８０が、位置検出部３６０にて検出したトラッキング対象画像の位置の変化に基づいて、所定時間（撮像時間間隔Δｔ）における車両の動きベクトルを算出する。
【００５７】
これにより、車載カメラ１４０により連続撮像された車両周囲画像に基づいて車両の動きベクトルが算出されるため、車速センサの検出結果を使用しなくても車両の動きベクトルを算出することができる。すなわち、車速センサの検出精度が低下する車両の低速走行時でも、車載カメラ１４０により連続撮像された車両周囲画像上における車両の移動量（ピクセル）さえ分かれば、車両の動きベクトルを正確に算出することができる。よって、車両が低速走行している場合でも、正確に算出した動きベクトルに基づいて正確な差分画像を生成することができ、実際には障害物でないものを障害物と誤って検出することを確実に防止することができる。
【００５８】
また、本実施形態では、動きベクトル算出部３８０は、消失点を算出できた場合に限って、当該消失点を通る延長線を形成するトラッキング対象画像の位置の変化に基づいて、車両の動きベクトルを算出する。車両周囲画像上で消失点を求めることなく、車両周囲俯瞰画像上から動きベクトルを求めるようにしても良いが、消失点が求まるか否かを確認することにより、正確でない車両の動きベクトルが誤って算出されることを回避することができる。例えば、路面上に存在する影の影響を受けて、車両周囲画像上におけるトラッキング対象画像の位置を正しく検出できなくなると、消失点が算出できなくなるので、消失点を求めることは、正しい動きベクトルを算出できるか否かの判定として有効である。
【００５９】
また、本実施形態では、消失点を通らない延長線が存在した場合でも、その延長線を形成するトラッキング対象画像に替えて最新の車両周囲画像から新たなトラッキング対象画像を抽出する。新たにトラッキング対象画像を抽出しない態様でも良いが、それだと延長線が消失点を通らない状態が続いてしまう。これに対して、新たに抽出すれば、次回以降の撮像タイミングにおいて、新たにトラッキング対象画像を抽出したトラッキング対象画像の位置により形成される延長線が消失点を通る可能性を復活させることができる。
【００６０】
また、本実施形態では、トラッキング対象画像抽出部３４０が車両周囲画像内の予め定めた位置からトラッキング対象画像を抽出する。これにより、位置検出部３６０による相関演算の前提として、車両周囲画像内からエッジ部分等の特徴点を探し出して抽出する画像処理が不要になる。したがって、車両の動きベクトル算出処理の負荷が低くなり、高速処理が可能になる。
【００６１】
なお、本実施形態では、トラッキング対象画像抽出部３４０が車両周囲画像内の予め定めた位置からトラッキング対象画像を抽出する例について説明したが、これに限定されない。例えば、トラッキング対象画像抽出部３４０は、車両周囲画像について各画素のエッジ強度を算出し、当該算出したエッジ強度が第１の所定値以上であり、かつ、第１の所定値より高い第２の所定値未満である部分画像をトラッキング対象画像として抽出しても良い。このようにすれば、画像内の明るさが急激に変化する点（例えば人や車両など、自車とは独立に移動する可能性が高いために動きベクトルが自車の動きと無関係になりやすい点）、または画像内の明るさがほとんど変化しない点（すなわち、画像としての特徴がほとんどないために車両周囲画像上におけるトラッキング対象画像の位置検出の誤差が生じやすい点）がトラッキング対象画像として選択されなくなるため、車両周囲画像上におけるトラッキング対象画像の位置検出の誤差が生じることをなるべく防ぐことができる。なお、この例の場合、消失点は求まらない可能性がある。したがって、消失点が求まるか否かによるトラッキング対象画像の取り直しの処理は行わない方が良い。
【００６２】
また、本実施形態において、動きベクトル算出部３８０は、前回算出した動きベクトルにより示される方向と、今回算出した動きベクトルにより示される方向との成す角度を算出し、当該算出した角度が所定値未満である場合に限って、今回算出した動きベクトルを採用するようにしても良い。これにより、前回算出した動きベクトルにより示される方向と今回算出した動きベクトルにより示される方向との成す角度が大きくなる場合（例えば、路面上に存在する影の影響を受けて車両周囲画像上におけるトラッキング対象画像の位置が大きく変化した場合）、あえて今回算出した車両の動きベクトルを採用しないことにより、正確でない車両の動きベクトルを誤って採用することを回避することができる。
【００６３】
また、本実施形態では、車載カメラ１４０によって連続撮像された車両周辺画像のそれぞれにおいてトラッキング対象画像の位置を検出し、その検出したトラッキング対象画像の位置の変化に基づいて所定時間（撮像時間間隔Δｔ）における車両の動きベクトルを算出する例について説明したが、撮像タイミングが連続しない２つの車両周囲画像のそれぞれにおいてトラッキング対象画像の位置を検出し、その検出したトラッキング対象画像の位置の変化に基づいて、所定時間（各車両周辺画像の撮像時刻の間）における車両の動きベクトルを算出するようにしても良い。
【００６４】
また、本実施形態では、トラッキング対象画像抽出部３４０が車両周囲画像から３つのトラッキング対象画像を抽出する例について説明したが、当該車両周囲画像から２つのトラッキング対象画像を抽出するようにしても良い。ただし、本実施形態のように、車両周囲画像から３つのトラッキング対象画像を抽出する方が消失点を算出できる可能性が高くなる観点からは好ましい。なお、消失点を算出できる可能性をより高くする観点から、車両周囲画像から４つ以上のトラッキング対象画像を抽出するようにしても良い。
【００６５】
また、本実施形態では、俯瞰画像生成部４２０により生成された車両周囲俯瞰画像において、第２の位置検出部４４０がトラッキング対象画像の位置を検出する例について説明したが、第２の位置検出部４４０は、位置検出部３６０により検出された車両周囲画像上におけるトラッキング対象画像の位置と俯瞰画像生成部４２０自身が有する視点変換用のマッピングテーブルとから、当該車両周囲画像をそれぞれ視点変換処理することによって得られたであろう車両周囲俯瞰画像におけるトラッキング対象画像の位置を検出するようにしても良い。
【００６６】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００６７】
【図１】本実施形態による障害物検出装置の構成例を説明するブロック図である。
【図２】本実施形態による動きベクトル算出装置の動作の一例を説明する説明図である。
【図３】本実施形態による動きベクトル算出装置の動作の一例を説明する説明図である。
【図４】本実施形態によるモニタに表示される警告表示画面の例を示す図である。
【図５】本実施形態による障害物検出装置の動作例を示すフローチャートである。
【図６】本実施形態による動きベクトル算出装置の動作例を示すフローチャートである。
【符号の説明】
【００６８】
１００ 障害物検出装置
２００ 動きベクトル算出装置
２２０ 差分画像生成部
２４０ 障害物検出部
３４０ トラッキング対象画像抽出部
３６０ 位置検出部
３８０ 動きベクトル算出部
４００ 消失点算出部
４２０ 俯瞰画像生成部
４４０ 第２の位置検出部
【技術分野】
【０００１】
本発明は、動きベクトル算出装置、障害物検出装置および動きベクトル算出方法に関し、特に、所定時間における車両の画像上の動きベクトルを算出する技術および算出した動きベクトルから障害物を検出する技術に関する。
【背景技術】
【０００２】
従来、駐車を行う場合の運転支援システムとして、車両の後方を監視する車載カメラによって撮像された画像を俯瞰画像に変換する機能を備え、異なる２地点において得られた俯瞰画像から障害物を検出し、検出した障害物をモニタに表示するシステムが開発されている。しかしながら、このシステムでは、障害物を検出するためには、車両が静止状態でないことが必要であるとともに、車速センサ、操舵角センサ等を用いて所定時間における車両の動きベクトル（移動量および移動方向）をリアルタイムに正確に計測することが必要となる。
【０００３】
また、ステレオカメラを用いて障害物を検出する技術も開発されている。しかしながら、ステレオカメラを用いて障害物を検出するには、２台のカメラが必要であるためコストがかかるとともに、２台のカメラで撮像された画像間のマッチング処理が必要となるため、計算量が莫大となる。そこで、１台のカメラのみを用いて障害物を検出する手法が提案されている（例えば、特許文献１を参照）。
【特許文献１】特開２００８−４８０９４号公報
【０００４】
特許文献１に記載の技術では、時刻（ｔ−Δｔ）にカメラで車両の後方を撮像した画像を２次元変換して第１の俯瞰画像を生成するとともに、時刻ｔにカメラで撮像された画像を２次元変換して第２の俯瞰画像を生成する。そして、第１の俯瞰画像を車両の移動量に基づいてシフトし、シフトした第１の俯瞰画像と、第２の俯瞰画像との差分を抽出して差分俯瞰画像を生成し、この差分俯瞰画像より障害物を検出している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載の技術では、車速信号に基づいて、所定時間（Δｔ）における車両の移動量を求めている。したがって、車速センサに検出誤差が生じる（すなわち、車両の移動量に誤差が生じる）と、障害物を検出するために生成する差分俯瞰画像の元となる第１の俯瞰画像にも誤差が生じ、実際には障害物でないものを障害物と誤って検出してしまう場合がある。特に駐車を行う場合等の低速走行時には、タイヤの回転数が少なくなり車速センサの検出精度が低下するため、車速センサの検出値に誤差が生じやすく、実際には障害物でないものを障害物と誤って検出しやすくなるという問題がある。
【０００６】
本発明は、このような問題を解決するために成されたものであり、１台のカメラのみを用いて障害物を検出する場合、車両が低速走行しているときでも、所定時間における車両の動きベクトル（移動量および移動方向）を正確に算出できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために、本発明では、車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出し、撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれから当該抽出したトラッキング対象画像の位置を検出し、その検出したトラッキング対象画像の位置の変化に基づいて、車両の動きベクトルを算出するようにしている。
【発明の効果】
【０００８】
上記のように構成した本発明によれば、撮像装置により逐次撮像された車両周囲画像に基づいて、所定時間における車両の動きベクトルが算出されるため、車速センサの検出結果を使用しなくても車両の動きベクトルを算出することができる。これにより、車速センサの検出精度が低下する車両の低速走行時でも、車両の動きベクトルを正確に算出することができる。よって、車両が低速走行している場合でも、正確に算出した動きベクトルに基づいて正確な差分画像を生成することができ、実際には障害物でないものを障害物と誤って検出することを確実に防止することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態について図面に基づいて説明する。図１は、本実施形態による障害物検出装置１００の構成例を示すブロック図である。障害物検出装置１００は、車両に搭載される。障害物検出装置１００は、車載カメラ１４０（本願発明の撮像装置に対応）およびモニタ１６０と車載ネットワークを介して接続されている。障害物検出装置１００は、図１に示すように、動きベクトル算出装置２００、差分画像生成部２２０、障害物検出部２４０、表示画面生成部２６０、出力バッファ２７０および表示制御部２８０を備えて構成されている。なお、車載カメラ１４０は、所定の撮像時間間隔Δｔ（例えば、１／３０秒）で車両の後方周辺を逐次撮像する。また、Δｔの前の方のタイミングをｔ、後の方のタイミングを（ｔ＋Δｔ）で表すものとする。
【００１０】
動きベクトル算出装置２００は、車載カメラ１４０により撮像された撮像画像（以下、「車両周囲画像」という）を用いて、撮像時間間隔Δｔにおける車両周囲画像から車両の動きベクトルを算出する。動きベクトル算出装置２００は、図１に示すように、撮像画像取得部３００、歪補正部３２０、入力バッファ３３０、トラッキング対象画像抽出部３４０、位置検出部３６０および動きベクトル算出部３８０を備えて構成されている。
【００１１】
撮像画像取得部３００は、車載カメラ１４０によって撮像された車両周囲画像を逐次取得し、歪補正部３２０に逐次出力する。歪補正部３２０は、撮像画像取得部３００から取得した車両周囲画像について、各画素の値を補正して車載カメラ１４０のレンズ歪による影響を補正する。具体的には、歪補正部３２０は、車載カメラ１４０によって撮像された車両周囲画像のある画素が補正後の車両周囲画像のどの画素に対応するかを記載したマッピングテーブルを用いて、車両周囲画像における各画素の値を補正する。歪補正部３２０は、車両周囲画像に対して補正処理を行った後に、補正した車両周囲画像を入力バッファ３３０に逐次記憶させる。
【００１２】
トラッキング対象画像抽出部３４０は、入力バッファ３３０に記憶された車両周囲画像を読み出して、その読み出した車両周囲画像から予め定めた３つの位置の部分画像（例えば、１６×１６画素からなる部分画像）を３つのトラッキング対象画像として抽出する。トラッキング対象画像抽出部３４０は、入力バッファ３３０に最初に車両周囲画像が記憶されたとき、その記憶された車両周囲画像から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として抽出する。また、トラッキング対象画像抽出部３４０は、後述する消失点算出部４００が消失点を算出することができなかったとき、最新の車両周囲画像上から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として新たに抽出する。また、トラッキング対象画像抽出部３４０は、消失点算出部４００が消失点を算出することができた場合でも、算出した消失点を通らない延長線が１つでも存在するときには、その消失点を通らない延長線を形成するトラッキング対象画像に替えて、最新の車両周囲画像から予め定めた１つの位置の部分画像をトラッキング対象画像として抽出する。トラッキング対象画像抽出部３４０は、抽出したトラッキング対象画像を位置検出部３６０および動きベクトル算出部３８０に出力する。なお、消失点や延長線の詳細は後述する。
【００１３】
位置検出部３６０は、入力バッファ３３０に記憶された車両周囲画像を逐次読み出して、読み出した車両周囲画像上のそれぞれにおいて、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像の位置を検出する。具体的には、位置検出部３６０は、入力バッファ３３０から読み出した車両周囲画像から、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像と同一の部分画像を探し出して、その部分画像の車両周囲画像上における位置座標をトラッキング対象画像の位置として検出する。ここで、トラッキング対象画像と同一か否かの判定は、例えば、色分布の特性や輝度の値などの画像の特徴量を用いた相関演算により行う。実際には、位置検出部３６０は、類似度が一定値以上の部分画像を同一であるとみなしてトラッキング対象画像の位置を検出する。位置検出部３６０は、入力バッファ３３０から読み出した車両周囲画像上における３つのトラッキング対象画像の位置を検出する度に、検出した３つのトラッキング対象画像の位置を動きベクトル算出部３８０に出力する。
【００１４】
動きベクトル算出部３８０は、撮像タイミングが連続する撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で車載カメラ１４０によって撮像された車両周囲画像において位置検出部３６０により検出された３つのトラッキング対象画像の位置の変化に基づいて、撮像時間間隔Δｔにおける車両の動きベクトルを算出する。撮像時刻ｔから撮像時刻（ｔ＋Δｔ）までの間に車両が移動していれば、撮像時刻ｔでのトラッキング対象画像の検出位置と、撮像時刻（ｔ＋Δｔ）でのトラッキング対象画像の検出位置とに差が生じる。動きベクトル算出部３８０は、その差を動きベクトルとして検出する。そのための具体的な構成として、動きベクトル算出部３８０は、消失点算出部４００、俯瞰画像生成部４２０、第２の位置検出部４４０および算出部４６０を備えて構成されている。
【００１５】
消失点算出部４００は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像のそれぞれにおいて位置検出部３６０により検出された３つのトラッキング対象画像の位置であって同じトラッキング対象画像どうしの位置を結ぶ線の延長線をそれぞれ求め、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上においてその求めた延長線が交わる消失点の算出を試みる。消失点算出部４００は、消失点を算出することができた場合（３つの延長線が１点で交わった場合）、その旨を俯瞰画像生成部４２０に通知する。また、消失点算出部４００は、消失点を算出することができた場合（２つの延長線が１点で交わった場合）、その旨およびどのトラッキング対象画像の延長線が交わったかを俯瞰画像生成部４２０に通知する。
【００１６】
また、消失点算出部４００は、消失点を算出することができなかった場合、その旨をトラッキング対象画像抽出部３４０に通知する。トラッキング対象画像抽出部３４０は、消失点算出部４００から消失点を算出することができなかった旨の通知を受けて、入力バッファ３３０から撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を読み出す。そして、トラッキング対象画像抽出部３４０は、その読み出した車両周囲画像から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として新たに抽出して位置検出部３６０に出力する。位置検出部３６０は、それ以降入力バッファ３３０に記憶される車両周囲画像上において、トラッキング対象画像抽出部３４０から新たに出力された３つのトラッキング対象画像の位置を検出して動きベクトル算出部３８０に出力する。
【００１７】
消失点算出部４００は、消失点を算出することができた場合でも、算出した消失点を通らない延長線が１つでも存在するとき（本実施形態では、３つの延長線のうち１つの延長線のみが消失点を通らないとき）には、その消失点を通らない延長線を形成するトラッキング対象画像を特定する情報（以下、「トラッキング対象画像特定情報」という）をトラッキング対象画像抽出部３４０に出力する。このトラッキング対象画像特定情報を取得したトラッキング対象画像抽出部３４０は、入力バッファ３３０から撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を読み出す。そして、トラッキング対象画像抽出部３４０は、取得したトラッキング対象画像特定情報により示されるトラッキング対象画像に替えて、入力バッファ３３０から読み出した車両周囲画像から予め定めた１つの位置の部分画像を１つのトラッキング対象画像として新たに抽出して位置検出部３６０に出力する。位置検出部３６０は、それ以降入力バッファ３３０に記憶される車両周囲画像上において、新たに抽出された１つのトラッキング対象画像を含む３つのトラッキング対象画像の位置を検出して動きベクトル算出部３８０に出力する。
【００１８】
俯瞰画像生成部４２０は、消失点を算出することができた旨の通知を消失点算出部４００から受けて、撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲画像を入力バッファ３３０から読み出す。俯瞰画像生成部４２０は、車載カメラ１４０により撮像された車両周囲画像の画素と車両の後方周辺を上方の仮想視点から見た車両周囲俯瞰画像の画素との対応関係を記載した視点変換情報を用いて、読み出した車両周囲画像を視点変換処理することによって、車両の上方の仮想視点から見た車両周囲俯瞰画像をそれぞれ生成する。俯瞰画像生成部４２０は、その生成した車両周囲俯瞰画像を第２の位置検出部４４０および差分画像生成部２２０に出力する。
【００１９】
第２の位置検出部４４０は、俯瞰画像生成部４２０から出力された撮像時刻ｔ、撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像上のそれぞれにおいて、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像の位置を検出する。具体的には、第２の位置検出部４４０は、俯瞰画像生成部４２０から出力された車両周囲俯瞰画像から、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像を視点変換処理したものと同一の部分画像を探し出して、その部分画像の車両周囲俯瞰画像上における位置座標をトラッキング対象画像の位置として検出する。第２の位置検出部４４０は、検出した３つのトラッキング対象画像の位置を算出部４６０に出力する。
【００２０】
算出部４６０は、第２の位置検出部４４０から出力されたトラッキング対象画像の位置を取得する。そして、算出部４６０は、第２の位置検出部４４０から今回（撮像時刻ｔ＋Δｔ）取得した車両周囲俯瞰画像上におけるトラッキング対象画像の位置と前回（撮像時刻ｔ）取得した車両周囲俯瞰画像上におけるトラッキング対象画像の位置とから、当該トラッキング対象画像の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する。算出部４６０は、算出した撮像時間間隔Δｔにおける車両の動きベクトルを差分画像生成部２２０に出力する。
【００２１】
次に、車載カメラ１４０により連続撮像された車両周囲画像から所定時間における車両の動きベクトルを算出する動作例について図２を参照しながら説明する。図２（ａ）は、車載カメラ１４０によりある撮像タイミング（撮像時刻ｔ）で撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示す図である。図２（ａ）において、５０２、５０４および５０６は、車載カメラ１４０により撮像された車両周囲画像からトラッキング対象画像抽出部３４０が抽出した３つのトラッキング対象画像である。この３つのトラッキング対象画像の位置は、道路が写っている可能性が高く、消失点を求めることが可能な位置である。したがって、３つのトラッキング対象画像の位置は、車両周囲画像上において、水平線より下側、かつ、同じ水平ライン上で等間隔に位置することになる。なお、道路上の画像は見た目に大きな特徴はないが、隣接画素間の値に差があるので、特徴量として利用することができる。
【００２２】
図２（ｂ）は、図２（ａ）の撮像タイミングより後の撮像タイミング（撮像時刻（ｔ＋Δｔ））で車載カメラ１４０により撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示している。図２（ｂ）において、５０２（Δｔ）、５０４（Δｔ）および５０６（Δｔ）は、図２（ａ）の撮像タイミングよりΔｔ後の撮像タイミングで撮像された車両周囲画像から、図２（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像５０２、５０４、５０６と同一であると位置検出部３６０が判断した部分画像（以下、移動後のトラッキング対象画像という）である。なお、図２（ｂ）には、図２（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像５０２、５０４、５０６を重ねて表示している。すなわち、撮像時刻ｔから撮像時刻（ｔ＋Δｔ）までの時間Δｔの間に車両が後方に進むことにより、図２（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像５０２、５０４、５０６の位置が移動後のトラッキング対象画像５０２（Δｔ）、５０４（Δｔ）、５０６（Δｔ）の位置まで移動していることがわかる。
【００２３】
図２（ｃ）には、消失点算出部４００により算出することができた消失点５３０を示している。具体的には、消失点算出部４００は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図２（ａ）、（ｂ）の車両周囲画像のそれぞれにおいて位置検出部３６０により検出されたトラッキング対象画像５０２、５０４、５０６の位置であって、同じトラッキング対象画像５０２、５０４、５０６どうしの位置（すなわち、トラッキング対象画像５０２の位置と移動後のトラッキング対象画像５０２（Δｔ）の位置、トラッキング対象画像５０４と移動後のトラッキング対象画像５０４（Δｔ）の位置、トラッキング対象画像５０６の位置と移動後のトラッキング対象画像５０６（Δｔ）の位置）を結ぶ３本の延長線５２０、５２２、５２４をそれぞれ求め、その求めた延長線５２０、５２２、５２４が交わる点を消失点５３０として算出する。
【００２４】
この後の動きベクトル算出部３８０の動作として、俯瞰画像生成部４２０は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図２（ａ）、（ｂ）の車両周囲画像をそれぞれ視点変換処理することによって、車両の上方の仮想視点から見た車両周囲俯瞰画像をそれぞれ生成する。その後、第２の位置検出部４４０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて、トラッキング対象画像５０２、５０４、５０６および移動後のトラッキング対象画像５０２（Δｔ）、５０４（Δｔ）、５０６（Δｔ）の位置を検出する。最後に、算出部４６０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて第２の位置検出部４４０により検出されたトラッキング対象画像５０２、５０４、５０６および移動後のトラッキング対象画像５０２（Δｔ）、５０４（Δｔ）、５０６（Δｔ）の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する。
【００２５】
図２（ｄ）には、算出部４６０により算出された撮像時間間隔Δｔにおける車両の動きベクトル５５０、５５２、５５４（トラッキング対象画像５０２、５０４、５０６にそれぞれ対応）を示している。図２（ｃ）に示すように、消失点算出部４００により算出された消失点５３０を延長線５２０、５２２、５２４が全て通る場合には、その消失点５３０を通る延長線５２０、５２２、５２４を形成するトラッキング対象画像５０２、５０４、５０６の車両周囲俯瞰画像上における位置の変化に基づいて算出された車両の動きベクトル５５０、５５２、５５４は大きさ、方向ともに一致する。
【００２６】
次に、車載カメラ１４０により連続撮像された車両周囲画像から所定時間における車両の動きベクトルを算出する他の動作例について図３を参照しながら説明する。図３（ａ）は、車載カメラ１４０によりある撮像タイミング（撮像時刻ｔ）で撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示す図である。図３（ａ）において、６０２、６０４および６０６は、車載カメラ１４０により撮像された車両周囲画像からトラッキング対象画像抽出部３４０が抽出した３つのトラッキング対象画像である。
【００２７】
図３（ｂ）は、図３（ａ）の撮像タイミングより後の撮像タイミング（撮像時刻（ｔ＋Δｔ））で車載カメラ１４０により撮像された車両周囲画像（ここでは、歪補正部３２０による補正処理が既に行われたものとする）を示している。図３（ｂ）において、６０２（Δｔ）、６０４（Δｔ）および６０６（Δｔ）は、図２（ａ）の撮像タイミングよりΔｔ後の撮像タイミングで撮像された車両周囲画像から、図３（ａ）においてトラッキング対象画像抽出部３４０に抽出された３つのトラッキング対象画像６０２、６０４、６０６と同一であると位置検出部３６０が判断した部分画像（移動後のトラッキング対象画像）である。なお、図３（ｂ）には、図３（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像６０２、６０４、６０６を重ねて表示している。すなわち、撮像時刻ｔから撮像時刻（ｔ＋Δｔ）までの時間Δｔの間に、車両が後方に進むことにより、図３（ａ）においてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像６０２、６０４、６０６の位置が移動後のトラッキング対象画像６０２（Δｔ）、６０４（Δｔ）、６０６（Δｔ）の位置まで移動していることがわかる。
【００２８】
ただし、トラッキング対象画像６０６の位置だけは、図２（ｂ）に示す例とは異なり、図３（ｂ）の車両周囲画像に新たに写りこんできた影６１０の影響を受けて影６１０を避ける位置に移動している。これは、トラッキング対象画像抽出部３４０から出力されたトラッキング対象画像に該当する道路の位置が影６１０の範囲に含まれ、影６１０の影響を受けてその道路位置の画素値が大きく変わってしまうため、同じ道路位置が相関演算で抽出されなくなってしまうからである。すなわち、車両周囲画像から影６１０を除いた範囲内でトラッキング対象画像と同一の部分画像が探し出され、その部分画像の車両周囲画像上における位置座標がトラッキング対象画像の位置として検出されてしまう。
【００２９】
図３（ｃ）には、消失点算出部４００により算出することができた消失点６３０を示している。具体的には、消失点算出部４００は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図３（ａ）、（ｂ）の車両周囲画像のそれぞれにおいて位置検出部３６０により検出されたトラッキング対象画像６０２、６０４、６０６の位置であって、同じトラッキング対象画像６０２、６０４、６０６どうしの位置（すなわち、トラッキング対象画像６０２の位置と移動後のトラッキング対象画像６０２（Δｔ）の位置、トラッキング対象画像６０４と移動後のトラッキング対象画像６０４（Δｔ）の位置、トラッキング対象画像６０６の位置と移動後のトラッキング対象画像６０６（Δｔ）の位置）を結ぶ３本の延長線６２０、６２２、６２４をそれぞれ求め、その求めた延長線６２０、６２２、６２４のうち２本の延長線６２０、６２２が交わる点を消失点６３０として算出する。ここで、トラッキング対象画像６０６、６０６（Δｔ）の位置から形成される延長線６２４だけは、図３（ｂ）の車両周囲画像に写りこんできた影６１０の影響により消失点６３０を通らない。この場合、トラッキング対象画像抽出部３４０は、撮像時刻ｔで撮像された車両周囲画像から抽出されたトラッキング対象画像６０６に替えて、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上において同じ位置から新たなトラッキング対象画像を抽出する。
【００３０】
この後の動きベクトル算出部３８０の動作として、俯瞰画像生成部４２０は、車載カメラ１４０によって撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された図３（ａ）、（ｂ）の車両周囲画像をそれぞれ視点変換処理することによって、車両の上方の仮想視点から見た２つの車両周囲俯瞰画像をそれぞれ生成する。その後、第２の位置検出部４４０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて、消失点６３０を通る延長線６０２、６２２を形成するトラッキング対象画像６０２、６０４および移動後のトラッキング対象画像６０２（Δｔ）、６０４（Δｔ）の位置を検出する。最後に、算出部４６０は、俯瞰画像生成部４２０により生成された２つの車両周囲俯瞰画像上のそれぞれにおいて第２の位置検出部４４０により検出されたトラッキング対象画像６０２、６０４および移動後のトラッキング対象画像６０２（Δｔ）、６０４（Δｔ）の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する。
【００３１】
図３（ｄ）には、算出部４６０により算出された撮像時間間隔Δｔにおける車両の動きベクトル６５０、６５２（トラッキング対象画像６０２、６０４にそれぞれ対応）を示している。図３（ｃ）に示すように、消失点算出部４００により算出された消失点６３０を延長線６２０、６２２が通る場合には、その消失点６３０を通る延長線６２０、６２２を形成するトラッキング対象画像６０２、６０４の車両周囲俯瞰画像上における位置の変化に基づいて算出された車両の動きベクトル６５０、６５２は大きさ、方向ともに一致する。ここで、図３（ｃ）に示すように、消失点６３０を通らない延長線６２４を形成するトラッキング対象画像６０６，６０６（Δｔ）は、算出部４６０による車両の動きベクトルの算出に使用しないため、トラッキング対象画像６０６，６０６（Δｔ）に対応する動きベクトルは図３（ｄ）には示していない。
【００３２】
差分画像生成部２２０は、算出部４６０から出力された撮像時間間隔Δｔにおける車両の動きベクトルを取得する。また、差分画像生成部２２０は、俯瞰画像生成部４２０から出力された撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像を取得する。また、差分画像生成部２２０は、取得した撮像時間間隔Δｔにおける車両の動きベクトルに基づいて、撮像時刻ｔの車両周囲俯瞰画像を動きベクトルの分だけ移動させる。そして、この移動させた車両周囲俯瞰画像と、撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像との画素毎の差分を抽出して差分画像を生成する。差分画像生成部２２０は、生成した差分画像を障害物検出部２４０に出力する。
【００３３】
障害物検出部２４０は、差分画像生成部２２０から出力された差分画像を画像解析して、車両の後方に存在する障害物の検出を試みる。具体的には、障害物検出部２４０は、差分画像から予め設定しておいた閾値以上の画素値を持つ領域のみを抽出し、その抽出した領域を障害物として検出する。障害物検出部２４０は、障害物を検出した場合、その旨を表示画面生成部２６０に通知する。また、障害物検出部２４０は、検出した障害物の車両周囲画像上における位置を検出する。具体的には、障害物検出部２４０は、自身が有する視点変換情報を参照して、検出した障害物の差分画像（撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像に基づいて生成された車両周囲俯瞰画像の差分）上における位置から、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上における当該障害物の位置を算出し、表示画面生成部２６０に出力する。また、障害物検出部２４０は、障害物を検出しなかった場合、その旨を表示画面生成部２６０に通知する。
【００３４】
表示画面生成部２６０は、障害物を検出した旨の通知を障害物検出部２４０から受けた場合、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を入力バッファ３３０から読み出す。また、表示画面生成部２６０は、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像上における障害物の位置を障害物検出部２４０から取得する。そして、表示画面生成部２６０は、入力バッファ３３０から読み出した車両周囲画像と障害物検出部２４０から取得した障害物の位置とから、車両の後方に障害物が存在することを運転者に報知するための警告表示画面を生成する。表示画面生成部２６０により生成された警告表示画面では、障害物検出部２４０により検出された障害物の存在を強調するために、当該障害物が存在する位置を所定サイズの枠で囲むとともに、その所定サイズの枠を所定の時間間隔で点滅させるようになっている。また、表示画面生成部２６０は、生成した警告表示画面を出力バッファ２７０に記憶させる。
【００３５】
また、表示画面生成部２６０は、障害物検出部２４０から障害物を検出しなかった旨の通知を受けた場合には、入力バッファ３３０から読み出した車両周囲画像から車両後方の様子を表す通常表示画面を生成する。表示画面生成部２６０は、生成した通常表示画面を出力バッファ２７０に記憶させる。
【００３６】
表示制御部２８０は、出力バッファ２７０に記憶される警告表示画面を読み出して、読み出した警告表示画面をモニタ１６０に表示する。また、表示制御部２８０は、出力バッファ２７０に記憶される通常表示画面を読み出して、読み出した通常表示画面をモニタ１６０に表示する。運転者は、モニタ１６０に表示された警告表示画面を確認することによって、車両後方に存在する障害物を認識し、その後の適切な対処を行うことができる。
【００３７】
次に、本実施形態による障害物検出装置１００の表示制御部２８０による表示動作について図４を用いて説明する。図４は、本実施形態による障害物検出装置１００の表示制御部２８０によってモニタ１６０に表示される警告表示画面の例を示す図である。
【００３８】
図４（ａ）は、車載カメラ１４０によってある撮像タイミング（撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を示している。図４（ａ）に示すように、車両後方には、駐車車両やコーン等の障害物７００、７０２、７０４が存在している。上述したように、車両周囲画像上の障害物７００、７０２、７０４は、障害物検出装置１００の動作により検出される。
【００３９】
図４（ｂ）は、図４（ａ）の車両周囲画像に基づいて生成された警告表示画面の例を示す図である。この警告表示画面では、車載カメラ１４０によって撮像された車両周囲画像の全体をカラー映像で表示するとともに、障害物検出部２４０により検出された障害物７００、７０２、７０４の存在を強調するために、障害物７００、７０２、７０４が存在する位置を所定サイズの枠７０８、７１０、７１２でそれぞれ囲むとともに、その所定サイズの枠７０８、７１０、７１２を所定の時間間隔（例えば、１秒）で点滅させる態様で付加的に表示するようになっている。
【００４０】
なお、警告表示画面において、障害物７００、７０２、７０４の存在を強調する態様は、上述の例に限らない。例えば、障害物７００、７０２、７０４に対応する部分のみをカラー映像として表示し、それ以外の部分をモノクロ画像として表示することにより障害物とその他の部分とを明瞭に認識できるように表示しても良い。
【００４１】
次に、本実施形態における障害物検出装置１００の動作について詳しく説明する。図５は、本実施形態による障害物検出装置１００の動作例を示すフローチャートである。図５におけるステップＳ１００の処理は、例えば、車両のイグニッションキー（図示せず）がユーザによって操作されて障害物検出装置１００に電源が投入されたことにより開始する。
【００４２】
まず、障害物検出装置１００は、シフトレバーがＲ（後退）に入ったか否かについて判定する（ステップＳ１００）。もし、シフトレバーがＲ（後退）に入っていないと障害物検出装置１００にて判定した場合（ステップＳ１００にてＮＯ）、障害物検出装置１００は、前回シフトレバーがＲ（後退）に入ってから所定時間が経過したか否かについて判定する（ステップＳ１２０）。もし、所定時間が経過したと障害物検出装置１００にて判定した場合（ステップＳ１２０にてＹＥＳ）、図５における処理を終了する。一方、所定時間が経過していないと障害物検出装置１００にて判定した場合（ステップＳ１２０にてＮＯ）、処理はステップＳ１４０に遷移する。
【００４３】
一方、シフトレバーがＲ（後退）に入ったと障害物検出装置１００にて判定した場合（ステップＳ１００にてＹＥＳ）、動きベクトル算出装置２００は撮像時間間隔Δｔにおける車両の動きベクトルを算出する処理を行う（ステップＳ１４０）。図６は、本実施形態による動きベクトル算出装置２００の動きベクトル算出処理の流れの例を示すフローチャートである。まず、撮像画像取得部３００は、車載カメラ１４０によって撮像された車両周囲画像を取得する（ステップＳ３００）。そして、撮像画像取得部３００は、車載カメラ１４０から取得した車両周囲画像を歪補正部３２０に出力する。歪補正部３２０は、撮像画像取得部３００から出力された車両周囲画像について、車載カメラ１４０のレンズ歪による影響を補正する（ステップＳ３２０）。そして、歪補正部３２０は、補正した車両周囲画像を入力バッファ３３０に記憶させる。
【００４４】
次に、トラッキング対象画像抽出部３４０は、車両周囲画像からトラッキング対象画像が既に抽出されている否かを判定する（ステップＳ３４０）。もし、まだ抽出されていない場合（ステップＳ３４０にてＮＯ）、すなわちシフトレバーがＲ（後退）に入ってから動きベクトル算出装置２００の最初の処理タイミング（最初の車両周囲画像を処理するタイミング）では、トラッキング対象画像抽出部３４０は、入力バッファ３３０に記憶された車両周囲画像を読み出して、車両周囲画像から予め定めた３つの位置の部分画像を３つのトラッキング対象画像として抽出する（ステップＳ３６０）。そして、トラッキング対象画像抽出部３４０は、抽出した３つのトラッキング対象画像を位置検出部３６０および動きベクトル算出部３８０に出力する。動きベクトル算出部３８０には、抽出した３つのトラッキング対象画像の位置も出力する。その後、処理はステップＳ３００に遷移する。
【００４５】
一方、車両周囲画像からトラッキング対象画像が既に抽出されている場合（ステップＳ３４０にてＹＥＳ）、すなわちシフトレバーがＲ（後退）に入ってから動きベクトル算出装置２００の２回目以降の処理タイミング（２枚目以降の車両周囲画像を処理するタイミング）では、位置検出部３６０は、ステップＳ３２０の処理後に入力バッファ３３０に記憶された最新の車両周囲画像を読み出して、その読み出した車両周囲画像上において、ステップＳ３６０にてトラッキング対象画像抽出部３４０により抽出された３つのトラッキング対象画像の位置を検出する（ステップＳ３８０）。そして、位置検出部３６０は、検出した３つのトラッキング対象画像の位置を動きベクトル算出部３８０に出力する。
【００４６】
次に、消失点算出部４００は、車載カメラ１４０によって連続する撮像タイミング（例えば、撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ））で撮像された車両周囲画像のそれぞれにおいて位置検出部３６０により検出された３つのトラッキング対象画像の位置から消失点の算出を試みる（ステップＳ４００）。
【００４７】
もし、消失点を算出することができなかった場合（ステップＳ４２０にてＮＯ）、消失点算出部４００は、その旨をトラッキング対象画像抽出部３４０に通知する。トラッキング対象画像抽出部３４０は、消失点算出部４００から消失点を算出することができなかった旨の通知を受けて、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を入力バッファ３３０から読み出して、読み出した車両周囲画像上の異なる位置から、前回抽出した３つのトラッキング対象画像に替えて、新たに３つのトラッキング対象画像を抽出する（ステップＳ４４０）。そして、トラッキング対象画像抽出部３４０は、新たに抽出した３つのトラッキング対象画像を位置検出部３６０に出力する。
【００４８】
一方、消失点を算出することができた場合（ステップＳ４２０にてＹＥＳ）、消失点算出部４００は、算出することができた消失点を通らない延長線が１つでも存在するか否かについて判定する（ステップＳ４６０）。もし、消失点を通らない延長線が存在すると消失点算出部４００にて判定した場合（ステップＳ４６０にてＹＥＳ）、消失点算出部４００は、その消失点を通らない延長線を形成するトラッキング対象画像を特定するトラッキング対象画像特定情報をトラッキング対象画像抽出部３４０に出力する。
【００４９】
トラッキング対象画像特定情報を取得したトラッキング対象画像抽出部３４０は、撮像時刻（ｔ＋Δｔ）で撮像された車両周囲画像を入力バッファ３３０から読み出して、その読み出した車両周囲画像上から、当該トラッキング対象画像特定情報により示されるトラッキング対象画像に替えて、新たにトラッキング対象画像を抽出する（ステップＳ４８０）。そして、トラッキング対象画像抽出部３４０は、新たに抽出したトラッキング対象画像を位置検出部３６０に出力する。その後、処理はステップＳ５６０に遷移する。一方、消失点を通らない延長線は存在しない（すなわち、全ての延長線が消失点を通る）と消失点算出部４００にて判定した場合（ステップＳ４６０にてＮＯ）、処理はステップＳ５００に遷移する。
【００５０】
ステップＳ５００では、俯瞰画像生成部４２０は、消失点を算出することができた旨の通知を消失点算出部４００から受けて、車載カメラ１４０によって撮像された撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲画像を入力バッファ３３０から読み出して、その読み出した車両周囲画像を視点変換処理することによって、車両の上方の仮想視点から見た車両周囲俯瞰画像を生成する。そして、俯瞰画像生成部４２０は、その生成した車両周囲俯瞰画像を第２の位置検出部４４０および差分画像生成部２２０に出力する。
【００５１】
次に、第２の位置検出部４４０は、俯瞰画像生成部４２０から出力された撮像時刻ｔおよび撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像上のそれぞれにおいて、トラッキング対象画像抽出部３４０から出力された３つのトラッキング対象画像の位置を検出する（ステップＳ５２０）。そして、第２の位置検出部４４０は、検出した３つのトラッキング対象画像の位置を算出部４６０に出力する。次に、算出部４６０は、第２の位置検出部４４０から出力されたトラッキング対象画像の位置を取得して、撮像時刻ｔの車両周囲俯瞰画像上における３つのトラッキング対象画像の位置と撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像上におけるトラッキング対象画像の位置とから、当該トラッキング対象画像の位置の変化を撮像時間間隔Δｔにおける車両の動きベクトルとして算出する（ステップＳ５４０）。そして、算出部４６０は、算出した撮像時間間隔Δｔにおける車両の動きベクトルを差分画像生成部２２０に出力する。その後、動きベクトル算出装置２００は図６における処理を終了し、図５のステップＳ１６０に進む。
【００５２】
図５のステップＳ１６０では、差分画像生成部２２０は、算出部４６０から出力された撮像時間間隔Δｔにおける車両の動きベクトルに基づいて、俯瞰画像生成部２２０から出力された撮像時刻ｔの車両周囲俯瞰画像を動きベクトルの分だけ移動させる。そして、この移動させた撮像時刻ｔの車両周囲俯瞰画像と、俯瞰画像生成部２２０から出力された撮像時刻（ｔ＋Δｔ）の車両周囲俯瞰画像との差分を抽出して差分画像を生成する。
【００５３】
次に、障害物検出部２４０は、差分画像生成部２２０から出力された差分画像を画像解析して、車両の後方に存在する障害物の検出を試みる（ステップＳ１８０）。もし、障害物検出部２４０が障害物を検出しなかった場合（ステップＳ２００にてＮＯ）、表示画面生成部２６０は、障害物検出部２４０から障害物を検出しなかった旨の通知を受けて、入力バッファ３３０から読み出した車両周囲画像から車両後方の様子を表す通常表示画面を生成する（ステップＳ２２０）。そして、表示画面生成部２６０は、生成した通常表示画面を出力バッファ２７０に記憶させる。最後に、表示制御部２８０は、出力バッファ２７０に記憶された通常表示画面を読み出して、読み出した通常表示画面をモニタ１６０に表示する（ステップＳ２４０）。
【００５４】
一方、障害物検出部２４０が障害物を検出した場合（ステップＳ２００にてＹＥＳ）、障害物検出部２４０は、検出した障害物の車両周囲画像上における位置を検出する。そして、障害物検出部２４０は、検出した車両周囲画像上における障害物の位置を表示画面生成部２６０に出力する。
【００５５】
次に、表示画面生成部２６０は、障害物検出部２４０から障害物を検出した旨の通知を受けて、入力バッファ３３０から読み出した車両周囲画像と障害物検出部２４０から取得した障害物の位置とから、車両の後方に障害物が存在することを運転者に報知するための警告表示画面を生成する（ステップＳ２６０）。そして、表示画面生成部２６０は、生成した警告表示画面を出力バッファ２７０に記憶させる。最後に、表示制御部２８０は、出力バッファ２７０に記憶された警告表示画面を読み出して、読み出した警告表示画面をモニタ１６０に表示する（ステップＳ２８０）。なお、ステップＳ２４０またはステップＳ２８０における表示処理が終了することにより、処理はステップＳ１００に遷移する。
【００５６】
以上詳しく説明したように、本実施形態では、トラッキング対象画像抽出部３４０が、車載カメラ１４０によって撮像された車両周囲画像内の予め定めた３つの位置の部分画像をトラッキング対象画像として抽出し、車載カメラ１４０によって連続撮像された２つの車両周囲画像のそれぞれにおいて、位置検出部３６０がトラッキング対象画像の位置を検出する。そして、動きベクトル算出部３８０が、位置検出部３６０にて検出したトラッキング対象画像の位置の変化に基づいて、所定時間（撮像時間間隔Δｔ）における車両の動きベクトルを算出する。
【００５７】
これにより、車載カメラ１４０により連続撮像された車両周囲画像に基づいて車両の動きベクトルが算出されるため、車速センサの検出結果を使用しなくても車両の動きベクトルを算出することができる。すなわち、車速センサの検出精度が低下する車両の低速走行時でも、車載カメラ１４０により連続撮像された車両周囲画像上における車両の移動量（ピクセル）さえ分かれば、車両の動きベクトルを正確に算出することができる。よって、車両が低速走行している場合でも、正確に算出した動きベクトルに基づいて正確な差分画像を生成することができ、実際には障害物でないものを障害物と誤って検出することを確実に防止することができる。
【００５８】
また、本実施形態では、動きベクトル算出部３８０は、消失点を算出できた場合に限って、当該消失点を通る延長線を形成するトラッキング対象画像の位置の変化に基づいて、車両の動きベクトルを算出する。車両周囲画像上で消失点を求めることなく、車両周囲俯瞰画像上から動きベクトルを求めるようにしても良いが、消失点が求まるか否かを確認することにより、正確でない車両の動きベクトルが誤って算出されることを回避することができる。例えば、路面上に存在する影の影響を受けて、車両周囲画像上におけるトラッキング対象画像の位置を正しく検出できなくなると、消失点が算出できなくなるので、消失点を求めることは、正しい動きベクトルを算出できるか否かの判定として有効である。
【００５９】
また、本実施形態では、消失点を通らない延長線が存在した場合でも、その延長線を形成するトラッキング対象画像に替えて最新の車両周囲画像から新たなトラッキング対象画像を抽出する。新たにトラッキング対象画像を抽出しない態様でも良いが、それだと延長線が消失点を通らない状態が続いてしまう。これに対して、新たに抽出すれば、次回以降の撮像タイミングにおいて、新たにトラッキング対象画像を抽出したトラッキング対象画像の位置により形成される延長線が消失点を通る可能性を復活させることができる。
【００６０】
また、本実施形態では、トラッキング対象画像抽出部３４０が車両周囲画像内の予め定めた位置からトラッキング対象画像を抽出する。これにより、位置検出部３６０による相関演算の前提として、車両周囲画像内からエッジ部分等の特徴点を探し出して抽出する画像処理が不要になる。したがって、車両の動きベクトル算出処理の負荷が低くなり、高速処理が可能になる。
【００６１】
なお、本実施形態では、トラッキング対象画像抽出部３４０が車両周囲画像内の予め定めた位置からトラッキング対象画像を抽出する例について説明したが、これに限定されない。例えば、トラッキング対象画像抽出部３４０は、車両周囲画像について各画素のエッジ強度を算出し、当該算出したエッジ強度が第１の所定値以上であり、かつ、第１の所定値より高い第２の所定値未満である部分画像をトラッキング対象画像として抽出しても良い。このようにすれば、画像内の明るさが急激に変化する点（例えば人や車両など、自車とは独立に移動する可能性が高いために動きベクトルが自車の動きと無関係になりやすい点）、または画像内の明るさがほとんど変化しない点（すなわち、画像としての特徴がほとんどないために車両周囲画像上におけるトラッキング対象画像の位置検出の誤差が生じやすい点）がトラッキング対象画像として選択されなくなるため、車両周囲画像上におけるトラッキング対象画像の位置検出の誤差が生じることをなるべく防ぐことができる。なお、この例の場合、消失点は求まらない可能性がある。したがって、消失点が求まるか否かによるトラッキング対象画像の取り直しの処理は行わない方が良い。
【００６２】
また、本実施形態において、動きベクトル算出部３８０は、前回算出した動きベクトルにより示される方向と、今回算出した動きベクトルにより示される方向との成す角度を算出し、当該算出した角度が所定値未満である場合に限って、今回算出した動きベクトルを採用するようにしても良い。これにより、前回算出した動きベクトルにより示される方向と今回算出した動きベクトルにより示される方向との成す角度が大きくなる場合（例えば、路面上に存在する影の影響を受けて車両周囲画像上におけるトラッキング対象画像の位置が大きく変化した場合）、あえて今回算出した車両の動きベクトルを採用しないことにより、正確でない車両の動きベクトルを誤って採用することを回避することができる。
【００６３】
また、本実施形態では、車載カメラ１４０によって連続撮像された車両周辺画像のそれぞれにおいてトラッキング対象画像の位置を検出し、その検出したトラッキング対象画像の位置の変化に基づいて所定時間（撮像時間間隔Δｔ）における車両の動きベクトルを算出する例について説明したが、撮像タイミングが連続しない２つの車両周囲画像のそれぞれにおいてトラッキング対象画像の位置を検出し、その検出したトラッキング対象画像の位置の変化に基づいて、所定時間（各車両周辺画像の撮像時刻の間）における車両の動きベクトルを算出するようにしても良い。
【００６４】
また、本実施形態では、トラッキング対象画像抽出部３４０が車両周囲画像から３つのトラッキング対象画像を抽出する例について説明したが、当該車両周囲画像から２つのトラッキング対象画像を抽出するようにしても良い。ただし、本実施形態のように、車両周囲画像から３つのトラッキング対象画像を抽出する方が消失点を算出できる可能性が高くなる観点からは好ましい。なお、消失点を算出できる可能性をより高くする観点から、車両周囲画像から４つ以上のトラッキング対象画像を抽出するようにしても良い。
【００６５】
また、本実施形態では、俯瞰画像生成部４２０により生成された車両周囲俯瞰画像において、第２の位置検出部４４０がトラッキング対象画像の位置を検出する例について説明したが、第２の位置検出部４４０は、位置検出部３６０により検出された車両周囲画像上におけるトラッキング対象画像の位置と俯瞰画像生成部４２０自身が有する視点変換用のマッピングテーブルとから、当該車両周囲画像をそれぞれ視点変換処理することによって得られたであろう車両周囲俯瞰画像におけるトラッキング対象画像の位置を検出するようにしても良い。
【００６６】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００６７】
【図１】本実施形態による障害物検出装置の構成例を説明するブロック図である。
【図２】本実施形態による動きベクトル算出装置の動作の一例を説明する説明図である。
【図３】本実施形態による動きベクトル算出装置の動作の一例を説明する説明図である。
【図４】本実施形態によるモニタに表示される警告表示画面の例を示す図である。
【図５】本実施形態による障害物検出装置の動作例を示すフローチャートである。
【図６】本実施形態による動きベクトル算出装置の動作例を示すフローチャートである。
【符号の説明】
【００６８】
１００ 障害物検出装置
２００ 動きベクトル算出装置
２２０ 差分画像生成部
２４０ 障害物検出部
３４０ トラッキング対象画像抽出部
３６０ 位置検出部
３８０ 動きベクトル算出部
４００ 消失点算出部
４２０ 俯瞰画像生成部
４４０ 第２の位置検出部
【特許請求の範囲】
【請求項１】
車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出するトラッキング対象画像抽出部と、
前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記トラッキング対象画像の位置を検出する位置検出部と、
前記位置検出部により前記複数の車両周囲画像において検出された前記トラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出する動きベクトル算出部とを備えたことを特徴とする動きベクトル算出装置。
【請求項２】
請求項１に記載の動きベクトル算出装置において、
前記トラッキング対象画像抽出部は、前記車両周囲画像内の予め定めた複数の位置から複数の前記トラッキング対象画像を抽出し、
前記位置検出部は、前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記複数のトラッキング対象画像の位置をそれぞれ検出し、
前記動きベクトル算出部は、前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて前記位置検出部により検出された前記複数のトラッキング対象画像の位置であって同じトラッキング対象画像どうしの位置を結ぶ線の延長線をそれぞれ求め、その求めた複数の延長線が交わる消失点を算出できるかどうかを判定し、前記消失点が算出できた場合に限って、前記複数のトラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出することを特徴とする動きベクトル算出装置。
【請求項３】
請求項２に記載の動きベクトル算出装置において、
前記動きベクトル算出部は、前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて前記位置検出部により検出された前記複数のトラッキング対象画像の位置であって同じトラッキング対象画像どうしの位置を結ぶ線の延長線をそれぞれ求め、その求めた複数の延長線が交わる消失点を算出する消失点算出部と、
前記消失点算出部により前記消失点が算出できた場合に限って、前記撮像装置によって逐次撮像された複数の車両周囲画像をそれぞれ視点変換処理することによって、前記車両の上方の仮想視点から見た車両周囲俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部により前記複数の車両周囲画像から生成された複数の前記車両周囲俯瞰画像のそれぞれにおいて、前記複数のトラッキング対象画像の位置を検出する第２の位置検出部とを備え、
前記第２の位置検出部により前記複数の車両周囲俯瞰画像において検出された前記トラッキング対象画像の位置の変化から、前記車両の動きベクトルを算出することを特徴とする動きベクトル算出装置。
【請求項４】
請求項３に記載の動きベクトル算出装置において、
前記第２の位置検出部は、前記消失点算出部により算出できた前記消失点を通らない延長線が存在する場合、前記俯瞰画像生成部により前記複数の車両周囲画像から生成された複数の前記車両周囲俯瞰画像のそれぞれにおいて、前記複数のトラッキング対象画像のうち、前記消失点を通る延長線を形成するトラッキング対象画像のみの位置を検出し、
前記動きベクトル算出部は、前記第２の位置検出部により前記複数の車両周囲俯瞰画像において検出された前記トラッキング対象画像の位置の変化から、前記車両の動きベクトルを算出することを特徴とする動きベクトル算出装置。
【請求項５】
請求項４に記載の動きベクトル算出装置において、
前記トラッキング対象画像抽出部は、前記消失点算出部により算出できた前記消失点を通らない延長線が存在する場合、前記複数のトラッキング対象画像のうち、前記消失点を通らない延長線を形成するトラッキング対象画像を新たに抽出し直すことを特徴とする動きベクトル算出装置。
【請求項６】
請求項１に記載の動きベクトル算出装置において、
前記トラッキング対象画像抽出部は、前記車両周囲画像内の予め定めた位置から前記トラッキング対象画像を抽出することに代えて、前記車両周囲画像について各画素のエッジ強度を算出し、当該算出したエッジ強度が第１の所定値以上であり、かつ、前記第１の所定値より大きい第２の所定値未満である部分画像を前記トラッキング対象画像として抽出することを特徴とする動きベクトル算出装置。
【請求項７】
請求項１〜６のいずれか１項に記載の動きベクトル算出装置において、
前記動きベクトル算出部は、前記撮像装置によって第１のタイミングで撮像された複数の車両周囲画像から前回算出した動きベクトルにより示される方向と、前記撮像装置によって前記第１のタイミングより遅い第２のタイミングで撮像された車両周囲画像を含む複数の車両周囲画像から今回算出した動きベクトルにより示される方向との成す角度を算出し、当該算出した角度が所定値未満である場合に限って、前記今回算出した動きベクトルを採用することを特徴とする動きベクトル算出装置。
【請求項８】
車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出するトラッキング対象画像抽出部と、
前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記トラッキング対象画像の位置を検出する位置検出部と、
あるタイミングからそれより遅いタイミングまで前記撮像装置によって撮像された前記複数の車両周囲画像において前記位置検出部により検出された前記トラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出する動きベクトル算出部と、
前記撮像装置によって逐次撮像された複数の車両周囲画像をそれぞれ視点変換処理することによって、前記車両の上方の仮想視点から見た車両周囲俯瞰画像を生成する俯瞰画像生成部と、
前記動きベクトル算出部によって算出された前記車両の動きベクトルに基づいて、前記撮像装置によってあるタイミングで撮像された車両周囲画像から前記俯瞰画像生成部により生成された前記車両周囲俯瞰画像を移動させ、この移動させた前記車両周囲俯瞰画像と、前記撮像装置によって前記遅いタイミングで撮像された車両周囲画像から生成された前記車両周囲俯瞰画像との差分を抽出して差分画像を生成する差分画像生成部と、
前記差分画像生成部により生成された前記差分画像から障害物を検出する障害物検出部とを備えたことを特徴とする障害物検出装置。
【請求項９】
車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出する第１のステップと、
前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記トラッキング対象画像の位置を検出する第２のステップと、
前記第２のステップにより前記複数の車両周囲画像において検出された前記トラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出する第３のステップとを備えたことを特徴とする動きベクトル算出方法。
【請求項１】
車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出するトラッキング対象画像抽出部と、
前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記トラッキング対象画像の位置を検出する位置検出部と、
前記位置検出部により前記複数の車両周囲画像において検出された前記トラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出する動きベクトル算出部とを備えたことを特徴とする動きベクトル算出装置。
【請求項２】
請求項１に記載の動きベクトル算出装置において、
前記トラッキング対象画像抽出部は、前記車両周囲画像内の予め定めた複数の位置から複数の前記トラッキング対象画像を抽出し、
前記位置検出部は、前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記複数のトラッキング対象画像の位置をそれぞれ検出し、
前記動きベクトル算出部は、前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて前記位置検出部により検出された前記複数のトラッキング対象画像の位置であって同じトラッキング対象画像どうしの位置を結ぶ線の延長線をそれぞれ求め、その求めた複数の延長線が交わる消失点を算出できるかどうかを判定し、前記消失点が算出できた場合に限って、前記複数のトラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出することを特徴とする動きベクトル算出装置。
【請求項３】
請求項２に記載の動きベクトル算出装置において、
前記動きベクトル算出部は、前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて前記位置検出部により検出された前記複数のトラッキング対象画像の位置であって同じトラッキング対象画像どうしの位置を結ぶ線の延長線をそれぞれ求め、その求めた複数の延長線が交わる消失点を算出する消失点算出部と、
前記消失点算出部により前記消失点が算出できた場合に限って、前記撮像装置によって逐次撮像された複数の車両周囲画像をそれぞれ視点変換処理することによって、前記車両の上方の仮想視点から見た車両周囲俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部により前記複数の車両周囲画像から生成された複数の前記車両周囲俯瞰画像のそれぞれにおいて、前記複数のトラッキング対象画像の位置を検出する第２の位置検出部とを備え、
前記第２の位置検出部により前記複数の車両周囲俯瞰画像において検出された前記トラッキング対象画像の位置の変化から、前記車両の動きベクトルを算出することを特徴とする動きベクトル算出装置。
【請求項４】
請求項３に記載の動きベクトル算出装置において、
前記第２の位置検出部は、前記消失点算出部により算出できた前記消失点を通らない延長線が存在する場合、前記俯瞰画像生成部により前記複数の車両周囲画像から生成された複数の前記車両周囲俯瞰画像のそれぞれにおいて、前記複数のトラッキング対象画像のうち、前記消失点を通る延長線を形成するトラッキング対象画像のみの位置を検出し、
前記動きベクトル算出部は、前記第２の位置検出部により前記複数の車両周囲俯瞰画像において検出された前記トラッキング対象画像の位置の変化から、前記車両の動きベクトルを算出することを特徴とする動きベクトル算出装置。
【請求項５】
請求項４に記載の動きベクトル算出装置において、
前記トラッキング対象画像抽出部は、前記消失点算出部により算出できた前記消失点を通らない延長線が存在する場合、前記複数のトラッキング対象画像のうち、前記消失点を通らない延長線を形成するトラッキング対象画像を新たに抽出し直すことを特徴とする動きベクトル算出装置。
【請求項６】
請求項１に記載の動きベクトル算出装置において、
前記トラッキング対象画像抽出部は、前記車両周囲画像内の予め定めた位置から前記トラッキング対象画像を抽出することに代えて、前記車両周囲画像について各画素のエッジ強度を算出し、当該算出したエッジ強度が第１の所定値以上であり、かつ、前記第１の所定値より大きい第２の所定値未満である部分画像を前記トラッキング対象画像として抽出することを特徴とする動きベクトル算出装置。
【請求項７】
請求項１〜６のいずれか１項に記載の動きベクトル算出装置において、
前記動きベクトル算出部は、前記撮像装置によって第１のタイミングで撮像された複数の車両周囲画像から前回算出した動きベクトルにより示される方向と、前記撮像装置によって前記第１のタイミングより遅い第２のタイミングで撮像された車両周囲画像を含む複数の車両周囲画像から今回算出した動きベクトルにより示される方向との成す角度を算出し、当該算出した角度が所定値未満である場合に限って、前記今回算出した動きベクトルを採用することを特徴とする動きベクトル算出装置。
【請求項８】
車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出するトラッキング対象画像抽出部と、
前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記トラッキング対象画像の位置を検出する位置検出部と、
あるタイミングからそれより遅いタイミングまで前記撮像装置によって撮像された前記複数の車両周囲画像において前記位置検出部により検出された前記トラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出する動きベクトル算出部と、
前記撮像装置によって逐次撮像された複数の車両周囲画像をそれぞれ視点変換処理することによって、前記車両の上方の仮想視点から見た車両周囲俯瞰画像を生成する俯瞰画像生成部と、
前記動きベクトル算出部によって算出された前記車両の動きベクトルに基づいて、前記撮像装置によってあるタイミングで撮像された車両周囲画像から前記俯瞰画像生成部により生成された前記車両周囲俯瞰画像を移動させ、この移動させた前記車両周囲俯瞰画像と、前記撮像装置によって前記遅いタイミングで撮像された車両周囲画像から生成された前記車両周囲俯瞰画像との差分を抽出して差分画像を生成する差分画像生成部と、
前記差分画像生成部により生成された前記差分画像から障害物を検出する障害物検出部とを備えたことを特徴とする障害物検出装置。
【請求項９】
車両に設置された撮像装置によって撮像された車両周囲画像内の予め定めた位置の部分画像をトラッキング対象画像として抽出する第１のステップと、
前記撮像装置によって逐次撮像された複数の車両周囲画像のそれぞれにおいて、前記トラッキング対象画像の位置を検出する第２のステップと、
前記第２のステップにより前記複数の車両周囲画像において検出された前記トラッキング対象画像の位置の変化に基づいて、前記車両の動きベクトルを算出する第３のステップとを備えたことを特徴とする動きベクトル算出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２９８５（Ｐ２０１０−２９８５Ａ）
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願番号】特願２００８−１５９２６４（Ｐ２００８−１５９２６４）
【出願日】平成２０年６月１８日（２００８．６．１８）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願日】平成２０年６月１８日（２００８．６．１８）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]