車両周辺監視装置
【課題】俯瞰画像上で全体が表示されていない目標物に対し、俯瞰画像上の境界線を変更し全体を表示できるようにした車両周辺監視装置を提供すること。
【解決手段】複数の撮像装置が互いに共通する視野領域とする俯瞰画像の共通領域に位置する障害物と判定された画像から抽出された複数の特徴点に対し、三次元計測処理部４３において得られた相対運動情報による一定の経過時間を想定したときの予想軌跡と時刻変化をもとに、前記共通領域を互いに共通する視野領域とする各カメラについて“前記特徴点が写る／写らない”を予測しその予測結果を得る。そして、前記予測結果から、前記俯瞰画像の共通領域について、前記特徴点が抽出された障害物１３１をより広範囲に写すことの可能なカメラによる部分俯瞰画像を優先させ、フィードフォワード的に俯瞰画像の繋ぎ目、境界線を変更し、障害物１３１がより広範囲に俯瞰画像に表示されるようにする。
【解決手段】複数の撮像装置が互いに共通する視野領域とする俯瞰画像の共通領域に位置する障害物と判定された画像から抽出された複数の特徴点に対し、三次元計測処理部４３において得られた相対運動情報による一定の経過時間を想定したときの予想軌跡と時刻変化をもとに、前記共通領域を互いに共通する視野領域とする各カメラについて“前記特徴点が写る／写らない”を予測しその予測結果を得る。そして、前記予測結果から、前記俯瞰画像の共通領域について、前記特徴点が抽出された障害物１３１をより広範囲に写すことの可能なカメラによる部分俯瞰画像を優先させ、フィードフォワード的に俯瞰画像の繋ぎ目、境界線を変更し、障害物１３１がより広範囲に俯瞰画像に表示されるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両に対する俯瞰画像上の障害物を表示し運転支援を行う車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、自動車に複数の撮像装置を設け、各撮像装置により撮像した画像を合成し、自動車の周囲全周の俯瞰画像を生成し運転席のモニタに表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした車両周辺監視装置がある。
このような従来の車両周辺監視装置では、車両に前方カメラ、後方カメラ、右カメラおよび左カメラが取り付けられている。
そして、これら前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して俯瞰画像を生成する。
このようにして生成された俯瞰画像は俯瞰画像表示画面へ表示され、運転操作の支援に活用される。
【０００３】
このような車両周辺監視装置として、撮像部と、運転者に情報を提供する表示部とを有し、始動シーン選択部と、車速センサと、シフト位置検出部と、ウインカー検出部と、操舵角センサと、画面モード切替部とを備えたものが提供されている。
そして、この車両周辺監視装置は、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
なお、前記撮像部は、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像し、前記表示部は運転者に情報を提供するものである。
また、前記始動シーン選択部は、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択し、前記車速センサでは車速を検出し、前記シフト位置検出部ではシフト位置を検出するものである。
前記ウインカー検出部は、ウインカーの方向を検出し、前記操舵角センサはハンドルの操舵角を検出し、前記画面モード切替部では各センサおよび各検出部により検出された情報より表示画面構成を切り替える。（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１０９６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、従来の車両周辺監視装置では、視点変換され画像合成された俯瞰画像上の境界付近の着目したい目標物、特に立体的な目標物に関しては、画像合成の処理段階において瞰映像上の境界で画像がほとんど表示されない状態が生じる。そのため、瞰映像上の境界付近の目標物が俯瞰画像表示画面上で見落とされてしまうという課題があった。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、俯瞰画像上で全体が表示されていない目標物に対し、俯瞰画像上の境界線を変更し全体を表示できるようにした車両周辺監視装置を提供することを目的とする。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、前記障害物検知処理部により検知した障害物の位置が前記複数の撮像装置が互いに共通する視野領域とする前記俯瞰画像上の共通領域に含まれるか否かを判定する障害物表示領域判定部と、前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物についての前記特徴点の予想軌跡と、前記共通領域を互いに共通する前記視野領域とする各撮像装置に、前記予想軌跡で移動する前記障害物が“写る／写らない”の予測結果とをもとに、前記共通領域について前記障害物をより広範囲に写す撮像装置による部分俯瞰画像を優先させた俯瞰画像を前記俯瞰画像合成処理部に再合成させ、前記俯瞰画像表示手段に再表示させるカメラ画像優先処理部とを備えたことを特徴とする。
【０００８】
請求項４に記載の発明は、車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、車速、ハンドル操作角、トランスミッションのシフト位置、アクセル開度の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、予想経路判定処理部で判定した前記車両の予想経路上に、障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、瞰映像上の境界付近に位置し俯瞰画像上で全体が表示されていない目標物に対し、俯瞰画像上の境界線を変更し全体を表示でき、適切な運転支援を行うことのできる車両周辺監視装置を提供できる効果がある。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供できる効果がある。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。
【図２】本発明の実施の形態の車両周辺監視装置の各カメラの撮像範囲と、これら撮像範囲の画像を視点変換し画像合成して生成された俯瞰画像を示す説明図である。
【図３】本発明の実施の形態の車両周辺監視装置における俯瞰画像の境界線を変更したときの俯瞰画像の一例を示す説明図である。
【図４】本発明の実施の形態の車両周辺監視装置における共通領域内に位置している障害物が予想経路内に含まれるときの俯瞰画像を示す説明図である。
【図５】本発明の実施の形態の車両周辺監視装置における障害物が共通領域外に位置してるときの俯瞰画像を示す説明図である。
【図６】本発明の実施の形態の車両周辺監視装置における障害物検知を説明するための対象物の三次元空間座標と俯瞰画像上の位置との関係を示す説明図である。
【図７】本発明の実施の形態の車両周辺監視装置における時刻ｔと時刻ｔ＋ＦΔｔにおける俯瞰画像の一例を示す説明図である。
【図８】本発明の実施の形態の車両周辺監視装置における俯瞰画像から抽出した特徴点の動きをベクトルで示した説明図である。
【図９】本発明の実施の形態の車両周辺監視装置の動作を示すフローチャートである。
【図１０】本発明の実施の形態の車両周辺監視装置の動作を示すフローチャートである。
【図１１】本発明の実施の形態の車両周辺監視装置における自車両の正面を通過する接近移動物体を示す説明図である。
【図１２】本発明の実施の形態の車両周辺監視装置における距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。
【図１３】本発明の実施の形態の車両周辺監視装置における三次元計測処理部および障害物検知処理部の動作を示すフローチャートである。
【図１４】拘束行列に関する数式および行列を示す図である。
【図１５】本発明の実施の形態の車両周辺監視装置における予想経路判定処理部において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部の動作説明図である。
【図１６】本発明の実施の形態の車両周辺監視装置における予想経路判定処理部において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部および俯瞰画像表示部の動作説明図である。
【図１７】本発明の実施の形態の車両周辺監視装置における予想経路判定処理部において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部および俯瞰画像表示部の動作説明図である。
【図１８】偏微分Ａ、Ｂの説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について説明する。図１は、本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。この車両周辺監視装置は、前方カメラ１、後方カメラ２、右カメラ３および左カメラ４と、フレームメモリ１１，１２，１３，１４と、視点変換部２１，２２，２３，２４と、俯瞰画像合成処理部３１を備えている。
また、特徴点抽出部４１、特徴点追跡処理部４２、三次元計測処理部４３、障害物検知処理部４４、障害物境界領域判定部４５およびカメラ画像優先処理部４６を備えている。
また、予想経路判定処理部５１、予想経路上障害物判定処理部５２、警告出力制御部５３、警告音出力部５４、ブザー５５、俯瞰画像表示部５６、ディスプレイ５７および急加速抑制制御部５９を備えている。
前方カメラ１は、例えば車両前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ２は、例えばリアウィンドウが設けられた車両後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ３は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の右側方を撮像するカメラである。
左カメラ４は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の左側方を撮像するカメラである。
フレームメモリ１１は、前方カメラ１により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ１２は、後方カメラ２により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ１３は、右カメラ３により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ１４は、左カメラ４により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
視点変換部２１は，前方カメラ１により撮像した画像の視点位置を、前方カメラ１の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部２２は，後方カメラ２により撮像した画像の視点位置を、後方カメラ２の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部２３は，右カメラ３により撮像した画像の視点位置を、右カメラ３の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部２４は，左カメラ４により撮像した画像の視点位置を、左カメラ４の取り付け位置から自車両上方の仮想視点位置へ変換する。
俯瞰画像合成処理部３１は、前方カメラ１により撮像され視点変換部２１により視点変化された画像と、後方カメラ２により撮像され視点変換部２２により視点変化された画像と、右カメラ３により撮像され視点変換部２３により視点変化された画像と、左カメラ４により撮像され視点変換部２４により視点変化された画像とを合成し、自車両を前記仮想視点位置から見たときの俯瞰画像を生成する。
【００１２】
図２は、車両１０１に取り付けられた前方カメラ１、後方カメラ２、右カメラ３および左カメラ４により撮像される撮像範囲と、これら撮像範囲の画像を視点変換し画像合成して生成された、自車両１０１を中心としてモニタ装置のディスプレイ５７に表示される俯瞰画像を示す説明図である。
図中、符号１１１は前方カメラ１による撮像範囲、符号１１２は後方カメラ２による撮像範囲、符号１１３は右カメラ３による撮像範囲、符号１１４は左カメラ４による撮像範囲を示す。
また、符号１１６は、前方カメラ１の撮像範囲と右カメラ３の撮像範囲とが重なっている領域である共有視野領域を示している。また、符号１１７は、右カメラ３の撮像範囲と後方カメラ２の撮像範囲とが重なっている共有視野領域を示している。また、符号１１８は、後方カメラ２の撮像範囲と左カメラ４の撮像範囲とが重なっている共有視野領域を示している。また、符号１１９は、左カメラ４の撮像範囲と前方カメラ１の撮像範囲とが重なっている共有視野領域を示している。
符号１２１は前方カメラ１の撮像範囲１１１の画像から視点変換部２１により視点変換され前記モニタ装置のディスプレイ５７に表示された前方部分俯瞰画像を示す。
符号１２２は後方カメラ２の撮像範囲１１２の画像から同様に視点変換され前記モニタ装置のディスプレイ５７に表示された右側方部分俯瞰画像を示す。
符号１２３は右カメラ３の撮像範囲１１３の画像から同様に視点変換され前記モニタ装置のディスプレイ５７に表示された後方部分俯瞰画像を示す。
符号１２４は左カメラ４の撮像範囲１１４の画像から同様に視点変換され前記モニタ装置のディスプレイ５７に表示された左側方部分俯瞰画像を示す。
これら前方部分俯瞰画像１２１、右側方部分俯瞰画像１２３、後方部分俯瞰画像１２２および左側方部分俯瞰画像１２４は、自車両１０１を中心として前記仮想視点位置から自車両周囲を俯瞰したときの俯瞰画像として俯瞰画像合成部３１により画像合成される。
また、図２において、符号１２６は前方部分俯瞰画像１２１と右側方部分俯瞰画像１２３とが重畳する共通領域、符号１２７は右側方部分俯瞰画像１２３と後方部分俯瞰画像１２２とが重畳する共通領域、符号１２８は後方部分俯瞰画像１２２と左側方部分俯瞰画像１２４とが重畳する共通領域、符号１２９は前方部分俯瞰画像１２１と左側方部分俯瞰画像１２４とが重畳する共通領域を示す。
【００１３】
図１に戻り、特徴点抽出部４１は、俯瞰画像合成処理部３１により合成した前記俯瞰画像に対し、たとえば画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する。
特徴点追跡処理部４２は、前記俯瞰画像の時刻変化に伴う特徴点の移動位置の変化を追跡する。
三次元計測処理部４３は、前記俯瞰映像上における前記特徴点の移動位置の変化からその特徴点の相対運動情報および三次元座標情報を算出する。
この相対運動情報および三次元座標情報は、次に示す俯瞰画像上の対象物体の動きをモデル化した式（１）、（２）を用いて算出する。
【００１４】
【数１】
【００１５】
【数２】
【００１６】
障害物検知処理部４４は、前記算出した相対運動情報および三次元座標情報をもとに障害物を判定する。この障害物の判定は、自車両に対する距離による障害物エリアと、衝突予想時間による障害物エリアとにおける特徴点から障害物の検知を行う。
【００１７】
障害物表示領域判定部４５は、障害物検知処理部４４により検知した障害物の位置が図２で説明した俯瞰画像の共通領域１２６，１２７，１２８，１２９に含まれるか、さらに前記共通領域のうちのどの共通領域に入っているかを判定する。
カメラ画像優先処理部４６は、前記共通領域の特徴点について三次元計測処理部４３で算出された相対運動情報および三次元座標情報をもとに、一定の経過時間を想定したときの前記特徴点の予想軌跡を求める。
そして、この予想軌跡で前記障害物が移動したときの、障害物表示領域判定部４５で判定した前記共通領域を互いに視野領域とするカメラ、たとえは共通領域１２９であれば前方カメラ１と左カメラ４のように撮像範囲が重畳する各カメラに写る／写らないの予測結果を得る。
さらに、前記共通領域について、前記障害物をより広範囲に写すカメラの部分俯瞰画像を優先させ、俯瞰画像合成処理部３１に俯瞰画像を画像合成させる。
予想経路判定処理部５１は、車速、ハンドル操作角、トランスミッションのシフト位置およびアクセル開度の各パラメータの全て、あるいは前記各パラメータのいずれか１つを含む自車両の状態情報をもとに自車両の予想経路の判定を行う。
予想経路上障害物判定処理部５２は、予想経路判定処理部５１で判定した自車両の予想経路上に、障害物検知処理部４４で検知された障害物が位置しているか否かを判定する。
警告出力制御部５３は、予想経路上障害物判定処理部５２において自車両の予想経路上に障害物が位置していると判定されると、警告音出力部５４へ警報音の出力を指示する警報音出力制御信号を出力する。
また、俯瞰画像を表示してるモニタ装置のディスプレイ５７へ自車両の予想経路上に障害物が位置している旨の警告表示を行うための警告表示制御信号を俯瞰画像表示部５６へ出力する。
警告音出力部５４は、前記警報音出力制御信号をもとにブザー５５を動作させて警報音を出力させる。
俯瞰画像表示部５６は、俯瞰画像合成処理部３１で合成した俯瞰画像をディスプレイ５７へ表示し、また警告出力制御部５３から出力される前記警告表示制御信号をもとに、ディスプレイ５７へ警告表示を行う。
急加速抑制制御部５９は、予想経路上障害物判定処理部５２で自車両の予想経路上に障害物が位置していると判定されたときに急激なアクセル操作があると急加速を抑制する急加速抑制要求をエンジンＥＣＵ６０へ出力してエンジンを制御させ、急加速を抑制させる。
この急激なアクセル操作の検出は、たとえば、次のように実現することができる。
すなわち、アクセル開度の変化率がある基準値を超えるか否かを判定し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路をアクセル操作検出手段として設ける。
あるいは、アクセル操作検出手段としてキックダウンスイッチの出力をもとに急激なアクセル操作があったか否かを検出することも可能である。
視点変換部２１，２２，２３，２４および俯瞰画像合成処理部３１、特徴点抽出部４１、特徴点追跡処理部４２、三次元計測処理部４３、障害物検知処理部４４、障害物表示領域判定部４５は、マイクロコンピュータを主要な構成とするＥＣＵにより実現される。
また、カメラ画像優先処理部４６、予想経路判定処理部５１、予想経路上障害物判定処理部５２、警告出力制御部５３、俯瞰画像表示部５６および急加速抑制制御部５９は、マイクロコンピュータを主要な構成とするＥＣＵにより実現される。
このＥＣＵは、前方カメラ１、後方カメラ２、右カメラ３および左カメラ４により撮像した画像の視点変換処理および画像合成処理を含む、この車両周辺監視装置特有の機能を実現するための各種処理を行う。
【００１８】
ここで、三次元計測処理部４３、障害物検知処理部４４により障害物を検知するときの俯瞰映像上の３次元物体の動きモデルを示す式（２）の導出と、式（２）から式（３）の導出について説明する。
【００１９】
【数３】
【００２０】
図６に示すように、特徴点ｐの３次元実空間上の位置ベクトルＸｐを［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔ とし、時刻ｔにてカメラは[０，０，Ｈ]の位置にあるとする。ここで，Ｈはカメラの路面に対する高さである。
特徴点ｐの俯瞰映像上の位置ベクトルｘｐ を［ｘｐ ，ｙｐ ，０］Ｔ としたとき、ベクトルＸｐ＝［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔ とベクトルｘｐ ＝［ｘｐ ，ｙｐ ，０］Ｔ との間には式（１）が成立する。
ここでｋｐ ＝Ｈ/（Ｈ−Ｚｐ ）とおけば、式（１）は以下に示す式（４）のように書き換えることができる。
【００２１】
【数４】
【００２２】
一方、真の俯瞰映像とはカメラは無限の高さにあるときで（Ｈ＝∞）、ｋｐ ＝１となり、式(４)より、式（５）のようになる。
【００２３】
【数５】
【００２４】
つまり、俯瞰映像に映る特徴点位置ベクトルｘｐ ＝［ｘｐ ，ｙｐ ，０］Ｔ は、真の俯瞰映像の位置［Ｘｐ ，Ｙｐ ，０］Ｔ に対して、カメラ高と特徴点の高さに応じた係数ｋｐ だけ乗じたものである。
今、対象物ｐはカメラに対して、時刻ｔにおいて３次元実空間ではベクトルＸｐ＝［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔ の位置にあり、ヨーレートω、相対速度ＶＸ 、ＶＹ の相対運動で移動していたとする。なお、バウンシング・ロール・ピッチング運動はなかったとする。
このとき、時刻ｔ+Δｔでの対象物ｐの３次元実空間上の位置ベクトルＸｐ（ｔ+Δｔ）＝［Ｘｐ （ｔ+Δｔ），Ｙｐ （ｔ+Δｔ），Ｚｐ （ｔ+Δｔ）］Ｔ は、以下のように式（６）で与えられる。
【００２５】
【数６】
【００２６】
式(６)より、バウンシング・ロール・ピッチング運動がなかったとすれば、Ｚｐ （ｔ）＝Ｚｐ （ｔ+Δｔ）であり、ｋｐ ＝Ｈ/（Ｈ−Ｚｐ ）より、係数ｋｐ は時間によらず一定となる。式(６)は以下のように式（７）のように書き換えることができる。
【００２７】
【数７】
【００２８】
ところで、時刻ｔとｔ＋Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘｐ ＝［ｘｐ （ｔ），ｙｐ （ｔ），０］Ｔ 、ベクトルｘｐ ＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ は、係数ｋｐ は時間によらず一定となるため、式(５)より以下の式（８）のように与えられる。
【００２９】
【数８】
【００３０】
時刻ｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘｐ （ｔ+Δｔ）＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ を、式(７),(８)に代入すると、式（９）に示すようになる。
【００３１】
【数９】
【００３２】
この結果、時刻ｔとｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘｐ （ｔ）＝［ｘｐ （ｔ），ｙｐ （ｔ），０］Ｔ 、ベクトルｘｐ （ｔ+Δｔ）＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ には、以下の関係式（１０）が成立する。
【００３３】
【数１０】
【００３４】
さて、対象物ｐのカメラに対する相対運動は、実際には対象物ｐは静止物であり、カメラが移動して生じたものとする。つまり、自車両の動きによって生じたものとする。また、俯瞰映像に映る静止物中の特徴点は、対象物ｐの他に、全部でＰ個あったとする。
このとき、静止物に対する相対運動は共通であるため、時刻ｔとｔ+Δｔでの特徴点の俯瞰映像上の位置ベクトルｘｐ （ｔ）＝［ｘｐ （ｔ），ｙｐ （ｔ），０］Ｔ 、ベクトルｘｐ （ｔ+Δｔ）＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ 、１＜ｐ＜Ｐは式(１０)より以下のように式（１１）で与えられる。
【００３５】
【数１１】
【００３６】
式(１１)は以下のように式(１２)に書き換えることができる。
【００３７】
【数１２】
【００３８】
ここで、次に示す式（１３）、式（１４）であり、ベクトルｍ（ｔ+Δｔ）、ｎ（ｔ+Δｔ）およびｃｘ （ｔ+Δｔ）、ｃｙ （ｔ+Δｔ）は時刻ｔから時刻ｔ+Δｔでのカメラと対象物との回転運動と併進運動の相対運動を示し、ベクトルｓｐ （ｔ）は式（４）から実質上は時刻ｔでの特徴点ｐの３次元実空間上の位置と見なすことができる。
【００３９】
【数１３】
【００４０】
【数１４】
【００４１】
ところで、時刻ｔから時刻ｔ+２Δｔでのカメラと対象物との相対運動情報ｍ（ｔ+２Δｔ）、ｎ（ｔ+２Δｔ）、ｃｘ （ｔ+２Δｔ）、ｃｙ （ｔ+２Δｔ）を得たならば、時刻ｔ+２Δｔでの、俯瞰映像上の特徴点の位置ベクトルｘｐ （ｔ+２Δｔ）＝［ｘｐ （ｔ+２Δｔ），ｙｐ （ｔ+２Δｔ），０］Ｔ 、１＜ｐ＜Ｐは式（１２）より、以下のように式（１５）で与えられる。
【００４２】
【数１５】
【００４３】
式(１２)、(１５)をまとめると、次に示す式（１６）となる。
【００４４】
【数１６】
【００４５】
今、時間間隔Δｔで時刻ｔからｔ+ＦΔｔにわたり、俯瞰映像上において、全部でＰ個の特徴点の位置が観測されたとする。なお、この観測は特徴点抽出・追跡にて行う。すると式(１６)を拡張して、以下の関係式（１７）が得られる。
【００４６】
【数１７】
【００４７】
式(１７)が俯瞰映像上の３次元物体の動きの数式モデルである。
なお、式(１７)は以下に示す式（１８）のように行列の積として書き換えることができる。
【００４８】
【数１８】
【００４９】
ここで、行列Ｗ、Ｍ、Ｓは以下に示す式（１９）のように与えられ、行列Ｗは特徴点抽出・追跡で得られた時刻ｔからｔ+ＦΔｔの俯瞰映像上の各特徴点の位置を示し、行列Ｍは時刻ｔからｔ+ＦΔｔの相対運動を示し、行列Ｓは時刻ｔでの各特徴点の３次元実空間上の位置を示す。
【００５０】
【数１９】
【００５１】
式(１８)の関係式を利用して、俯瞰映像上の特徴点の位置の変化から、相対運動と３次元実空間の位置を得る。
【００５２】
次に、モデル推定方法の概略について説明する。
式（１８）に示すＷ＝ＭＳより、俯瞰映像上の特徴点の位置の変化を示す行列Ｗから、相対運動を示す行列Ｍと３次元形状を示す行列Ｓに分割するには以下の手順で行う。
式（１９）より、行列Ｗは２Ｆ×Ｐの大きさの行列である。行列Ｍは、ベクトルｍ、ｎが２次元であるため２Ｆ×３の大きさの行列であり、行列Ｓはベクトルｓが３次元であるため３×Ｐの大きさの行列である。つまり、行列Ｗは階数３の行列である。そこで、以下のように、一旦、行列Ｗに対して特異値分解を行う。
【００５３】
【数２０】
【００５４】
ここで、Ｕは２Ｆ×Ｈの直交行列、ΣはＨ×Ｈの対角行列、ＶＴ はＨ×Ｐの直交行列であり、ＨはＨ＝ｍｉｎ｛２Ｆ，Ｐ｝と与えられる。また、Σの対角要素は
σ１ ＞σ２ ＞…σｐ と降順に並んでいるとする。
行列Ｗは階数３の行列となるため、σ４ 以降はノイズ成分とみなせることより、式（２１）に示すように行列Ｕの３列分を抽出する。
【００５５】
【数２１】
【００５６】
ここから、式（２２）に示すように仮の分解結果を得ることができる。
【００５７】
【数２２】
【００５８】
次に拘束行列の計算を行う。式（２２）の分解結果は図１４の（式１）を満たすが、得られた図１４の行列（１）は、一般には図１４の（式２）を満たさない。例えば、適当な３×３の大きさの行列Ａを用いて、図１４の（行列１）を以下に示す式（２３）のように変換しても、Ｗ＝ＭＳを満たしてしまう。つまり、行列Ａを適切に選択する必要がある。
【００５９】
【数２３】
【００６０】
行列Ａを適切に選択するため、以下の拘束条件を導入する。
（ａ）回転成分の拘束条件
式（１９）より行列Ｍは以下の式（２４）で示すように構成される。
【００６１】
【数２４】
【００６２】
ここで、ベクトルｍｎは式（１３）を例に示すとおり、回転成分を示すため、以下の拘束条件が存在する。
【００６３】
【数２５】
【００６４】
（ｂ）路面の拘束条件
式（１９）より行列Ｓは以下のように構成される。
【００６５】
【数２６】
【００６６】
また、ベクトルＳＰ （ｔ）は式（１４）よりＳＰ （ｔ）＝［ｘｐ （ｔ） ｙｐ （ｔ） ｋｐ ］Ｔ であり、ｋｐ はｋｐ ＝Ｈ/（Ｈ-Ｚｐ ）と与えられる。ここで、ｋｐ はＺｐ ＜Ｈの条件で、Ｚｐ が増加すれば、ｋｐ も増加する。つまり対象物がカメラより下にある限り、対象物が高ければ高いほど、ｋｐ は大きな値を有する。
ｋｐ が最小となるのは、対象物が路面にあるとき、つまりＺｐ ＝０であり、そのときｋｐ ＝１となる。俯瞰映像は常時路面を撮影しているため、俯瞰映像上には、ｋｐ ＝１を満たす特徴点が必ず存在する。すなわち、ｋｐ に対して以下の拘束条件が存在する。
【００６７】
【数２７】
【００６８】
以上、式（２５）および式（２７）を満たすように、行列Ａを定めればよい。
【００６９】
次に動作について説明する。
図６は、この実施の形態の車両周辺監視装置における障害物検知を説明するための対象物の三次元空間座標と俯瞰画像上の位置との関係を示す説明図である。
図６に示すように、カメラ２０１はｚ軸上の高さＨの位置に配置されている。図６において、符号３００は対象物を示しその三次元空間座標は［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔである。また、符号３０１は俯瞰画像上の対象物映像であり、その三次元空間座標は［ｘｐ ，ｙｐ ，０］Ｔである。また、符号３０２は撮像された対象物が含まれた平面的な俯瞰映像を示している。
対象物と自車両とが相対速度［ＶＸ，ＶＹ］Ｔ、ヨーレートωで相対運動をしていたとき、上述した式（２）で示す関係が成立する。
式（２）のベクトルｍ（ｔ＋Δｔ）、ｎ（ｔ＋Δｔ）は相対速度とヨーレートとを格納する相対運動であり、ベクトルＳＰは上述した式（１）から、特徴点Ｐの三次元座標への変換が一意に可能である。
この実施の形態では、式（１）および式（２）の関係を用いて、俯瞰画像上の特徴点Ｐを三次元座標へ変換し、自車両に対する立体物を判定して障害物の検知を行う。そして、前記検知した障害物が前記俯瞰画像上の前記共通領域内にあってその画像が俯瞰画像上で全体表示されていない場合、前記障害物の予想軌跡から前記障害物をより広範囲に写すことのできるカメラの画像を優先させ、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更し、俯瞰画像を再表示する。
また、前記検知した障害物が自車両の予想経路上にあるか否かを判定し、予想経路上にある場合には表示や音で注意喚起し、さらに急なアクセル操作があると急加速を抑制するエンジン制御を実現する。
【００７０】
以下、図９に示すフローチャートを参照し、この実施の形態の車両周辺監視装置における障害物の検知と、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更し、俯瞰画像を再表示するときの動作について説明する。
図２に示すように前方カメラ１、後方カメラ２、右カメラ３および左カメラ４によりそれぞれ撮像された画像は、視点変換部２１，２２，２３，２４により視点変換され、さらに俯瞰画像合成処理部３１により画像合成され俯瞰画像が生成される。この俯瞰画像は、一定の時間間隔Δｔごとに生成され俯瞰画像合成処理部３１から出力される（ステップＳ１）。俯瞰画像合成処理部３１から出力された俯瞰画像は俯瞰画像表示部５６によりディスプレイ５７へ表示出力される。一方、また、俯瞰画像合成処理部３１から出力された俯瞰画像は特徴点抽出部４１へ供給され特徴点Ｐが抽出される（ステップＳ２）。特徴点抽出部４１における特徴点Ｐの抽出は、たとえば画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点Ｐとして抽出する。
【００７１】
図７は、この実施の形態の車両周辺監視装置における時刻ｔと時刻ｔ＋ＦΔｔにおける俯瞰画像の一例を示す説明図である。図７において符号Ｐは特徴点抽出部４１において抽出される特徴点を示している。
図７（Ａ）、（Ｂ）に示されているように、特徴点抽出部４１において抽出された特徴点Ｐがどのような動きをするかを特徴点追跡処理部４２において追跡処理する。
この特徴点追跡処理部４２の追跡処理は次のように行う。
つまり、図７（Ａ）に示す時刻ｔにおける俯瞰画像上の特徴点Ｐと、同図（Ｂ）に示す時刻ｔ＋ＦΔｔにおける俯瞰画像上の特徴点Ｐとの位置関係から、特徴点Ｐがどのような動きをしてどのような位置へ移動したかを追跡処理する（ステップＳ３）。
この特徴点Ｐの追跡処理では、特徴点Ｐのオプティカルフローを計算することで、その動きベクトルを求める。
図８は、図７に示す俯瞰画像から抽出した特徴点の動きベクトルを示す説明図である。
特徴点Ｐのオプティカルフローの計算処理は次のように行う。
所定の周期、時間間隔で撮像された前記俯瞰画像上の、互いに共通する特徴点Ｐの座標変化を検出し、その特徴点Ｐが移動しているか否か、座標が変化している場合には、特徴点Ｐの移動、座標変化の向きとその大きさがどの程度かをそれぞれ計算する。
【００７２】
次に、三次元計測処理部４３において、式（２）を用いて俯瞰画像上の特徴点Ｐの位置の変化から自車両と特徴点Ｐとの相対運動情報と、前記特徴点Ｐの三次元座標情報を算出する（ステップＳ４）。
さらに、障害物検知処理部４４において、前記三次元計測処理部４３で算出した前記相対運動情報と前記三次元座標情報とから障害物を検知する（ステップＳ５）。
【００７３】
ここで、三次元計測処理部４３の三次元計測処理および障害物検知処理部４４の障害物検知処理についてさらに説明する。
図１２は、俯瞰画像から得られた立体物の三次元情報と相対運動情報とから検知した自車両１０１に対する距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。
図１３は、この実施の形態の車両周辺監視装置における三次元計測処理部４３、障害物検知処理部４４および予想経路判定処理部５１の動作を示すフローチャートである。
図１５は予想経路判定処理部５１において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部５３の動作説明図である。
図１６、図１７は、予想経路判定処理部５１において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部５３および俯瞰画像表示部５６の動作説明図である。
三次元計測処理部４３の三次元計測処理では、俯瞰画像上の特徴点の三次元座標情報と、前記特徴点と自車両１１との相対運動情報とを前述したように式（１）および式（２）から算出する（ステップＳ４１）。
この特徴点の三次元座標情報は、三次元位置行列Ｓとして求められ（ステップＳ４２）、また前記特徴点と自車両１０１との相対運動情報とは、相対運動行列Ｍとして求められる（ステップＳ４３）。
そして、三次元位置行列Ｓとして求めた特徴点の三次元座標情報に対してはｚ軸方向の高さによる閾値処理を行う（ステップＳ４４）。
この閾値処理では、ｚ軸方向の高さ情報が零でなくある値を有している特徴点を所定の高さ基準値をもとに障害物候補特徴点とし（ステップＳ４５）、またｚ軸方向の高さ情報が零である特徴点を非障害物特徴点とする（ステップＳ４６）。
そして、前記障害物候補特徴点については、その特徴点の三次元座標情報をもとに自車両１０１との間の距離が明らかになることから、自車両１０１と障害物候補特徴点との間の距離に対し所定の距離基準値をもとに閾値処理を行う（ステップＳ４７）。そして、遠距離障害物特徴点と近距離障害物特徴点とに識別を行う（ステップＳ４８、ステップＳ４９）。
近距離障害物特徴点として識別した特徴点は、例えば図１２に示す障害物エリアＡに含まれる特徴点である。
【００７４】
また、遠距離障害物特徴点として識別した特徴点については、ステップＳ４３において求めた相対運動行列Ｍをもとに、衝突予想時間に対し所定の衝突予想時間基準値をもとに閾値処理を行う（ステップＳ５１）。そして、低危険度障害物特徴点と早期到達障害物特徴点とに識別する（ステップＳ５２、ステップＳ５３）。
早期到達障害物特徴点は、例えば図１２に示す障害物エリアＢに含まれる特徴点である。
続くステップＳ６１、ステップＳ６２、ステップＳ７１、ステップＳ７２、ステップＳ８１は予想経路判定処理部５１における自車両の予想経路、特徴点の予想軌跡の判定処理を示している。
予想経路判定処理部５１では自車両の予想経路、特徴点の予想軌跡の判定結果をもとに警告を出力するか否か、どのカメラの画像を優先させ、俯瞰画像の境界線を変更するかを判定する。
警告出力制御部５３では、図１５に示すように予想経路判定処理部５１の前記判定結果をもとに警告出力の制御を行い、俯瞰画像表示部５６では、図１６、図１７に示すように予想経路判定処理部５１の前記判定結果をもとに俯瞰画像の境界線を変更する。
すなわち、予想経路判定処理部５１は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、前記三次元計測処理部４３で算出された前記特徴点の相対運動情報とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部５２は、予想経路判定処理部５１で判定した自車両の予想経路上に、同じく予想経路判定処理部５１で予想軌跡が判定され、障害物検知処理部４４で障害物として検知された特徴点が位置しているか否かを判定する。
【００７５】
また、図１７に示すように、特徴点、障害物が同じ相対運動であっても、特徴点、障害物と自車両との位置関係によって警告を出力するか否か、俯瞰画像の境界線の変更についての判定結果は異なってくる。
したがって、予想経路判定処理部５１は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、三次元計測処理部４３で算出された前記特徴点の相対運動情報と、自車両と前記特徴点との位置関係とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部５２は、予想経路判定処理部５１で判定した自車両の予想経路上に、同じく予想経路判定処理部５１で予想軌跡が判定され、障害物検知処理部４４で障害物として検知された特徴点が位置しているか否かを判定する。
【００７６】
図９のフローチャートに戻り、前記検知した障害物について障害物表示領域判定部４５により俯瞰画像上の前記障害物が、図２に示す共通領域１２６，１２７，１２８，１２９のうちのどの共通領域に含まれているかを、前記障害物の特徴点から判定する（ステップＳ６）。
障害物表示領域判定部４５により、前記障害物の特徴点が共通領域１２６，１２７，１２８，１２９のいずれかの共通領域、たとえば共通領域１２９に含まれていると判定されると、カメラ画像優先処理部４６は、次のように動作する。
カメラ画像優先処理部４６は、三次元計測処理部４３において算出した自車両と前記障害物の特徴点Ｐとの相対運動情報と、前記障害物の特徴点Ｐの三次元位置情報とから、時間Δｔが経過したときの前記障害物の特徴点Ｐの三次元位置、予想軌跡を算出する。
そして、前記障害物の特徴点が含まれていると判定された共通領域１２９を互いに共通する視野領域とする前方カメラ１と左カメラ４について、前記算出した三次元位置において前記障害物が写っているか否かを一定の経過時間を想定して前記障害物の特徴点について判定する。
そして、前記想定した一定の経過時間での前方カメラ１にしか写っていない前記特徴点の重み付け平均と、左カメラ４にしか写っていない前記特徴点の重み付け平均との大小関係から、前記障害物をより広範囲に写すことのできるカメラの画像を決定する。
さらに、前記障害物全体が表示されるように、前記俯瞰画像の共通領域について前記決定したカメラの画像を優先させ、俯瞰画像の境界線を変更する（ステップＳ７）。
そして、俯瞰画像合成処理部３１において前記障害物の全体が含まれる俯瞰画像を再表示する（ステップＳ８）。
【００７７】
図３は、俯瞰画像上で障害物の全体が表示されない場合、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更したときの、俯瞰画像の一例を示す説明図である。
図３（Ａ）は障害物の全体が表示されていない俯瞰画像を示し、符号１３１は全体が表示されていない障害物を示している。
前方カメラ１には全体像がほとんど写らないが、左カメラ４にはその全体像が写る共通領域１２９に障害物があるとき、一例を示すと図２で符号１３２で示す位置に障害物が位置している場合について説明する。
このとき、俯瞰画像の境界線で規定される各領域の配置形態が図３（Ａ）に示す構成であると障害物１３１は俯瞰画像上にその一部が表示されるだけである。
なお、前記俯瞰画像の境界線で規定される各領域とは、図２の前方部分俯瞰画像１２１、後方部分俯瞰画像１２２、右側方部分俯瞰画像１２３、左側方部分俯瞰画像１２４の領域である。
このような現象は、図２の符号１１６，１１７，１１８，１１９で示す共有視野領域の周辺の障害物１３１の位置と、このときの前記部分俯瞰画像の各領域の配置形態とに応じて発生し、図３に示すように障害物１３１は俯瞰画像上にその一部が表示されるだけとなる。
このため、図２に示す前記共有視野領域をカバーする前記共通領域１２６，１２７，１２８，１２９に障害物１３１が位置していると、自車両と前記障害物の特徴点Ｐとの相対運動情報、前記障害物の三次元位置情報をもとに求めた、一定の経過時間を想定したときの予想軌跡から前記障害物の予想位置を算出する。
そして、前記算出した予想位置の前記障害物が前記共通領域を互いに共通する視野領域とする各カメラに写るか写らないかの予測結果から、前記共通領域について、前記障害物をより広範囲に写すことのできるカメラの部分俯瞰画像を決定する。
さらに、前記共通領域について前記決定したカメラの部分俯瞰画像を優先させ、俯瞰画像を再表示する。
この結果、前方部分俯瞰画像１２１、後方部分俯瞰画像１２２、右側方部分俯瞰画像１２３、左側方部分俯瞰画像１２４の配置形態が変更され、前記共通領域１２９について前記障害物をより広範囲に写すことのできる左カメラ４の部分俯瞰画像が優先され、図３（Ｂ）に示すように前記障害物の全体が含まれる俯瞰画像が再表示される。
つまり、図３（Ａ）の前記部分俯瞰画像の各領域の配置形態では障害物１３１はその一部しか俯瞰画像に表示されていないのに対し、同図（Ｂ）では障害物１３１はその全体が表示される。
すなわち、自車両と前記障害物の特徴点Ｐとの相対運動情報、前記障害物の三次元位置情報をもとに一定の経過時間について想定した前記障害物の予想軌跡から、前記共通領域を互いに共通する視野領域とする各カメラについて“障害物１３１を写せる”、あるいは“写せない”を予測する。
そして、前記共通領域について、前記予測結果から“障害物１３１をより広範囲に写せる”と予測したカメラの部分俯瞰画像を優先させ、俯瞰画像の境界を変更する。
【００７８】
ここで、俯瞰画像の境界線を変更するためのカメラ画像優先処理についてさらに説明する。
このカメラ画像優先処理は、共通領域に位置する障害物と判定された画像から抽出された複数の特徴点に対し、その予想軌跡、時刻変化をもとに、前記共通領域を互いに共通する視野領域とする各カメラについて“前記特徴点が写る／写らない”を予測し、その予測結果を得る。
前記予想軌跡、時刻変化は、三次元計測処理部４３において得られた相対運動情報による一定の経過時間を想定したときの予想軌跡と時刻変化である。
そして、この予測結果から、前記特徴点が抽出された障害物１３１の全体像、あるいは、より広範囲に前記障害物を写している左カメラ４による左側方部分俯瞰画像１２４を優先させ、フィードフォワード的に俯瞰画像の繋ぎ目、境界線を変更する。
このための処理手順は次のようなものである。
まず、特徴点ｉがカメラＡとカメラＢの共有視野範囲にあるとして、三次元計測結果から特徴点ｉの三次元位置をベクトルＸｉ ＝［Ｘｉ ，Ｙｉ ，Ｚｉ ］とし、ベクトルＶ＝［Ｖｘ ，Ｖｙ ］，ωを相対速度およびヨーレートとする（ステップＳ２１）。次に、相対運動情報Ｖ，ωと三次元位置から、計測してから時間ｔだけ経過したときの特徴点ｉの三次元位置ベクトルＸ´ｉ （ｔ）＝［Ｘ´ｉ （ｔ），Ｙ´ｉ （ｔ），Ｚ´ｉ （ｔ）］を求める（ステップＳ２２）。
さらに、時刻ｔでの特徴点ｉの三次元座標ベクトルＸ´ｉ （ｔ）から、時刻ｔでのカメラＡおよびカメラＢによる特徴点ｉの俯瞰画像上の位置ベクトルｘ（ａ）ｉ （ｔ），ベクトルｘ（ｂ）ｉ （ｔ）を求める（ステップＳ２３）。
そして、ベクトルｘ（ａ）ｉ （ｔ），ベクトルｘ（ｂ）ｉ （ｔ）から、特徴点ｉがカメラＡ、カメラＢの俯瞰画像に映っているかいないかを判定し、式（２８）、（２９）で示す関数Ｒａ （ベクトルｘ（ａ）ｉ （ｔ）），Ｒｂ （ベクトルｘ（ｂ）ｉ （ｔ））を得る（ステップＳ２４）。ここで関数Ｒａ （ベクトルｘ（ａ）ｉ （ｔ）），Ｒｂ （ベクトルｘ（ｂ）ｉ （ｔ））は見えやすさに応じて“０”以上“１”以下の実数を与えてもよい。
次に、関数Ｒａ （ベクトルｘ（ａ）ｉ （ｔ）），Ｒｂ （ベクトルｘ（ｂ）ｉ （ｔ））から、特徴点ｉがカメラＡにしか映っていないことを示す式（３０）で示す関数Ｓａ （ベクトルｘ（ａ）ｉ （ｔ））と、カメラＢにしか映っていないことを示す式（３１）で示すＳｂ （ベクトルｘ（ｂ）ｉ （ｔ））を得る（ステップＳ２５）。
続いて、関数Ｓａ （ベクトルｘ（ａ）ｉ （ｔ））とＳｂ （ベクトルｘ（ｂ）ｉ （ｔ））とから、式（３２）で示す計測してから時間Ｔ経過するまでのカメラＡにしか映っていない特徴点数の重み付け平均Ｎａ と、式（３３）で示すカメラＢにしか映っていない特徴点数の重み付け平均Ｎｂ を求める。ここでｗ（ｔ）はｗ（０）＝１，ｗ（Ｔ）＝０を満たす、時間経過に応じて減少する重み関数である（ステップＳ２６）。
そして、Ｎａ とＮｂ の大小関係から、Ｎａ ＞Ｎｂ のとき共通領域にはカメラＡの俯瞰画像を使用する。また、Ｎａ ＝Ｎｂ のとき共通領域にはカメラＡとカメラＢのうちのデフォルト値として定めたカメラの俯瞰画像を使用する。また、Ｎａ ＜Ｎｂ のとき共通領域にはカメラＢの俯瞰画像を使用する。
なお、共通領域はカメラＡ、カメラＢの俯瞰画像の輝度の重み付け合成するようにしてもよい。すなわち、Ｎａ ／Ｎｂ ＞ｋのとき共通領域はカメラＡの俯瞰画像を適用する。また、１／ｋ≦Ｎａ ／Ｎｂ ≦ｋのとき共通領域はカメラＡ、カメラＢの俯瞰画像の重み付け平均を適用する。この俯瞰画像の重み付け平均は、式（３４）、式（３５）に示すようになる。このときＩａ がカメラＡの俯瞰画像、Ｉｂ がカメラＢの俯瞰画像であり、ｋはｋ＞１を満たす適当な定数であり、Ｉは合成後の俯瞰画像である。また、Ｎａ ／Ｎｂ ＜１／ｋのとき共通領域はカメラＢの俯瞰画像を適用する。
【００７９】
次に、図１０に示すフローチャートを参照し、自車両の予想経路上に障害物があるときの警告表示あるいは警告音による注意喚起と、急なアクセル操作に対する急加速抑制動作について説明する。
なお、図１０において図９と同一または相当の処理については同一の符号を付し説明を省略する。
ステップＳ１、ステップＳ２、ステップＳ３、ステップＳ４およびステップＳ５の各処理については図９の説明と同等である。
続く予想経路判定処理では、予想経路判定処理部５１において自車両の車両情報から一定の時間Δｔ経過後の自車両１０１の位置、車速、進行方向、向きを含む状態情報、車両１０１の予想軌跡を計算し、予想経路１５１を判定する（ステップＳ１６）。
なお、前記車両情報は、現在の車速、ハンドル操作角、トランスミッションのシフト位置、アクセル開度、車両寸法の全て、あるいはいづれか１つを含む。
続いて予想経路上障害物判定処理部５２において、障害物検知処理部４４で検知した障害物について前記予想経路１５１上にあるか否かを判定する（ステップＳ１７）。
この予想経路上にあるか否かの判定は、三次元計測処理部４３において前記障害物の特徴点の三次元位置情報が得られていることから、この特徴点の三次元位置情報が前記予想経路１５１内に含まれるか否かを判定することで可能になる。
【００８０】
図４は、共通領域内に位置している障害物が予想経路１５１内に含まれるときの俯瞰画像を示す説明図である。
図４に示すように、障害物１３１が共通領域１２９内に位置していると、カメラ画像優先処理部４６は前記共通領域１２９にある特徴点に対し、三次元計測処理部４３において得られた相対運動情報をもとに一定の経過時間を想定したときの予想軌跡を求める。
そして、時刻変化をもとに、前記共通領域１２９を互いに共通する視野領域とする各カメラについて“障害物１３１を写せる”、あるいは“写せない”との予測結果を得る。
さらに、前記障害物１３１の全体像が映し出されるように、前記予測結果をもとに、前記各カメラについて前記障害物１３１をより広範囲に写すことの出来るカメラを決定する。
図４に示す例では、共通領域１２９を互いに共通する視野領域とするカメラは前方カメラ１と左カメラ４であり、障害物１３１をより広範囲に写すことの出来るカメラは左カメラ４である。
そして、前記共通領域の俯瞰画像として左カメラ４による左側方部分俯瞰画像１２４を優先させる。
図４に示す俯瞰画像では、さらに障害物１３１が予測経路１５１内に位置していると、予想経路上障害物判定処理部５２において障害物が予想経路１５１上にあると判定され、警告出力制御部５３は、警告音出力部５４によりブザー５５を駆動させ警報音を出力する。
さらに、警告出力制御部５３は、俯瞰画像表示部５６によりディスプレイ５７へ警告を表示させる（ステップＳ１８）。
【００８１】
図５は、障害物が共通領域外に位置しているときの俯瞰画像を示す説明図である。
図５に示すように障害物が共通領域内に位置していないときには俯瞰画像の境界線の変更は行われず、また警告表示や警告音も出力されない。
続いて、急激なアクセル操作が行われたか否かを判定する（ステップＳ１９）。
この急激なアクセル操作の判定は、たとえばアクセル開度の変化率がある基準値を超えるか超えないかを検出し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路（アクセル操作検出手段）により実現可能である。
あるいは、キックダウンスイッチの出力をもとに検出することも可能である。
そして、障害物検知処理部４４で検知した障害物が予想経路１５１上にあると判定されると、急加速抑制制御部５９は、前記センサ回路から出力された急加速アクセル操作判定信号をもとにエンジンＥＣＵ６０へ急加速抑制要求を出力し、車両の急加速を抑制する（ステップＳ２０）。
この結果、障害物が予想経路１５１上にあると急激なアクセル操作が行われても車両の急加速が抑制される。
【００８２】
ここで特徴点抽出処理部４１における特徴点Ｐの抽出についてさらに説明を行う。
図１１は、俯瞰画像上の画像の一例を示す説明図である。
例えばカメラによって撮像された俯瞰画像上の画像が図１１に示すように画像データの左上を原点として横軸をｘ軸、縦軸をｙ軸と定めた座標上にあるものとする。
まず特徴点抽出処理部３は、図１８に示すように画像Ｉのｘ軸およびｙ軸方向に対する偏微分Ａおよび偏微分Ｂをそれぞれ求める。次いでこの画像Ｉでの全ての画素における空間配列行列を求める。
そして特徴点抽出処理部４は、空間配列行列に対する固有値λｍｉｎ（ｐ）およびλｍａｘ（ｐ）を計算し、特徴を有すると認められる所定の値を抽出して特徴点と定める。
【００８３】
次いで上述したようにして得られた俯瞰画像上の画像における特徴点の時間変化を特徴点追跡処理部４２が追跡する。
【００８４】
従ってこの実施の形態の車両周辺監視装置では、自車両と前記障害物の特徴点Ｐとの相対運動情報、前記障害物の三次元位置情報をもとに決定した、障害物１３１全体を写し出すカメラの部分俯瞰画像を優先させた俯瞰画像上へ、本来ほとんど表示されなかった共通領域に位置する障害物の全体像を表示できる。
【００８５】
この実施の形態によれば、予想経路上に障害物が位置していると、俯瞰画像上で前記障害物を検知し、視覚的あるいは聴覚的に表示や音で運転者に注意を喚起し、さらに急なアクセル操作があると急加速を抑制するエンジン制御を実現できる。
【符号の説明】
【００８６】
１……前方カメラ（撮像装置）、２……後方カメラ（撮像装置）、３……右カメラ（撮像装置）、４……左カメラ（撮像装置）、２１，２２，２３，２４……視点変換部、３１……俯瞰画像合成処理部、４１……特徴点抽出処理部、４２……特徴点追跡処理部、４３……三次元計測処理部、４４……障害物検知処理部、４５……障害物表示領域判定部、４６……カメラ画像優先処理部、５１……予想経路判定処理部、５２……予想経路上障害物判定処理部、５３……警告出力制御部（警報出力手段）、５４……警告音出力部（警報出力手段）、５５……ブザー（警報出力手段）、５７……ディスプレイ（警報出力手段）、５６……俯瞰画像表示部（俯瞰画像表示手段）、５９……急加速抑制制御部、６０……エンジンＥＣＵ、１０１……自車両（車両）、１３１……障害物。
【技術分野】
【０００１】
本発明は、自車両に対する俯瞰画像上の障害物を表示し運転支援を行う車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、自動車に複数の撮像装置を設け、各撮像装置により撮像した画像を合成し、自動車の周囲全周の俯瞰画像を生成し運転席のモニタに表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした車両周辺監視装置がある。
このような従来の車両周辺監視装置では、車両に前方カメラ、後方カメラ、右カメラおよび左カメラが取り付けられている。
そして、これら前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して俯瞰画像を生成する。
このようにして生成された俯瞰画像は俯瞰画像表示画面へ表示され、運転操作の支援に活用される。
【０００３】
このような車両周辺監視装置として、撮像部と、運転者に情報を提供する表示部とを有し、始動シーン選択部と、車速センサと、シフト位置検出部と、ウインカー検出部と、操舵角センサと、画面モード切替部とを備えたものが提供されている。
そして、この車両周辺監視装置は、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
なお、前記撮像部は、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像し、前記表示部は運転者に情報を提供するものである。
また、前記始動シーン選択部は、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択し、前記車速センサでは車速を検出し、前記シフト位置検出部ではシフト位置を検出するものである。
前記ウインカー検出部は、ウインカーの方向を検出し、前記操舵角センサはハンドルの操舵角を検出し、前記画面モード切替部では各センサおよび各検出部により検出された情報より表示画面構成を切り替える。（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１０９６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、従来の車両周辺監視装置では、視点変換され画像合成された俯瞰画像上の境界付近の着目したい目標物、特に立体的な目標物に関しては、画像合成の処理段階において瞰映像上の境界で画像がほとんど表示されない状態が生じる。そのため、瞰映像上の境界付近の目標物が俯瞰画像表示画面上で見落とされてしまうという課題があった。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、俯瞰画像上で全体が表示されていない目標物に対し、俯瞰画像上の境界線を変更し全体を表示できるようにした車両周辺監視装置を提供することを目的とする。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、前記障害物検知処理部により検知した障害物の位置が前記複数の撮像装置が互いに共通する視野領域とする前記俯瞰画像上の共通領域に含まれるか否かを判定する障害物表示領域判定部と、前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物についての前記特徴点の予想軌跡と、前記共通領域を互いに共通する前記視野領域とする各撮像装置に、前記予想軌跡で移動する前記障害物が“写る／写らない”の予測結果とをもとに、前記共通領域について前記障害物をより広範囲に写す撮像装置による部分俯瞰画像を優先させた俯瞰画像を前記俯瞰画像合成処理部に再合成させ、前記俯瞰画像表示手段に再表示させるカメラ画像優先処理部とを備えたことを特徴とする。
【０００８】
請求項４に記載の発明は、車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、車速、ハンドル操作角、トランスミッションのシフト位置、アクセル開度の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、予想経路判定処理部で判定した前記車両の予想経路上に、障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、瞰映像上の境界付近に位置し俯瞰画像上で全体が表示されていない目標物に対し、俯瞰画像上の境界線を変更し全体を表示でき、適切な運転支援を行うことのできる車両周辺監視装置を提供できる効果がある。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供できる効果がある。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。
【図２】本発明の実施の形態の車両周辺監視装置の各カメラの撮像範囲と、これら撮像範囲の画像を視点変換し画像合成して生成された俯瞰画像を示す説明図である。
【図３】本発明の実施の形態の車両周辺監視装置における俯瞰画像の境界線を変更したときの俯瞰画像の一例を示す説明図である。
【図４】本発明の実施の形態の車両周辺監視装置における共通領域内に位置している障害物が予想経路内に含まれるときの俯瞰画像を示す説明図である。
【図５】本発明の実施の形態の車両周辺監視装置における障害物が共通領域外に位置してるときの俯瞰画像を示す説明図である。
【図６】本発明の実施の形態の車両周辺監視装置における障害物検知を説明するための対象物の三次元空間座標と俯瞰画像上の位置との関係を示す説明図である。
【図７】本発明の実施の形態の車両周辺監視装置における時刻ｔと時刻ｔ＋ＦΔｔにおける俯瞰画像の一例を示す説明図である。
【図８】本発明の実施の形態の車両周辺監視装置における俯瞰画像から抽出した特徴点の動きをベクトルで示した説明図である。
【図９】本発明の実施の形態の車両周辺監視装置の動作を示すフローチャートである。
【図１０】本発明の実施の形態の車両周辺監視装置の動作を示すフローチャートである。
【図１１】本発明の実施の形態の車両周辺監視装置における自車両の正面を通過する接近移動物体を示す説明図である。
【図１２】本発明の実施の形態の車両周辺監視装置における距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。
【図１３】本発明の実施の形態の車両周辺監視装置における三次元計測処理部および障害物検知処理部の動作を示すフローチャートである。
【図１４】拘束行列に関する数式および行列を示す図である。
【図１５】本発明の実施の形態の車両周辺監視装置における予想経路判定処理部において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部の動作説明図である。
【図１６】本発明の実施の形態の車両周辺監視装置における予想経路判定処理部において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部および俯瞰画像表示部の動作説明図である。
【図１７】本発明の実施の形態の車両周辺監視装置における予想経路判定処理部において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部および俯瞰画像表示部の動作説明図である。
【図１８】偏微分Ａ、Ｂの説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について説明する。図１は、本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。この車両周辺監視装置は、前方カメラ１、後方カメラ２、右カメラ３および左カメラ４と、フレームメモリ１１，１２，１３，１４と、視点変換部２１，２２，２３，２４と、俯瞰画像合成処理部３１を備えている。
また、特徴点抽出部４１、特徴点追跡処理部４２、三次元計測処理部４３、障害物検知処理部４４、障害物境界領域判定部４５およびカメラ画像優先処理部４６を備えている。
また、予想経路判定処理部５１、予想経路上障害物判定処理部５２、警告出力制御部５３、警告音出力部５４、ブザー５５、俯瞰画像表示部５６、ディスプレイ５７および急加速抑制制御部５９を備えている。
前方カメラ１は、例えば車両前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ２は、例えばリアウィンドウが設けられた車両後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ３は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の右側方を撮像するカメラである。
左カメラ４は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の左側方を撮像するカメラである。
フレームメモリ１１は、前方カメラ１により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ１２は、後方カメラ２により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ１３は、右カメラ３により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ１４は、左カメラ４により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
視点変換部２１は，前方カメラ１により撮像した画像の視点位置を、前方カメラ１の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部２２は，後方カメラ２により撮像した画像の視点位置を、後方カメラ２の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部２３は，右カメラ３により撮像した画像の視点位置を、右カメラ３の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部２４は，左カメラ４により撮像した画像の視点位置を、左カメラ４の取り付け位置から自車両上方の仮想視点位置へ変換する。
俯瞰画像合成処理部３１は、前方カメラ１により撮像され視点変換部２１により視点変化された画像と、後方カメラ２により撮像され視点変換部２２により視点変化された画像と、右カメラ３により撮像され視点変換部２３により視点変化された画像と、左カメラ４により撮像され視点変換部２４により視点変化された画像とを合成し、自車両を前記仮想視点位置から見たときの俯瞰画像を生成する。
【００１２】
図２は、車両１０１に取り付けられた前方カメラ１、後方カメラ２、右カメラ３および左カメラ４により撮像される撮像範囲と、これら撮像範囲の画像を視点変換し画像合成して生成された、自車両１０１を中心としてモニタ装置のディスプレイ５７に表示される俯瞰画像を示す説明図である。
図中、符号１１１は前方カメラ１による撮像範囲、符号１１２は後方カメラ２による撮像範囲、符号１１３は右カメラ３による撮像範囲、符号１１４は左カメラ４による撮像範囲を示す。
また、符号１１６は、前方カメラ１の撮像範囲と右カメラ３の撮像範囲とが重なっている領域である共有視野領域を示している。また、符号１１７は、右カメラ３の撮像範囲と後方カメラ２の撮像範囲とが重なっている共有視野領域を示している。また、符号１１８は、後方カメラ２の撮像範囲と左カメラ４の撮像範囲とが重なっている共有視野領域を示している。また、符号１１９は、左カメラ４の撮像範囲と前方カメラ１の撮像範囲とが重なっている共有視野領域を示している。
符号１２１は前方カメラ１の撮像範囲１１１の画像から視点変換部２１により視点変換され前記モニタ装置のディスプレイ５７に表示された前方部分俯瞰画像を示す。
符号１２２は後方カメラ２の撮像範囲１１２の画像から同様に視点変換され前記モニタ装置のディスプレイ５７に表示された右側方部分俯瞰画像を示す。
符号１２３は右カメラ３の撮像範囲１１３の画像から同様に視点変換され前記モニタ装置のディスプレイ５７に表示された後方部分俯瞰画像を示す。
符号１２４は左カメラ４の撮像範囲１１４の画像から同様に視点変換され前記モニタ装置のディスプレイ５７に表示された左側方部分俯瞰画像を示す。
これら前方部分俯瞰画像１２１、右側方部分俯瞰画像１２３、後方部分俯瞰画像１２２および左側方部分俯瞰画像１２４は、自車両１０１を中心として前記仮想視点位置から自車両周囲を俯瞰したときの俯瞰画像として俯瞰画像合成部３１により画像合成される。
また、図２において、符号１２６は前方部分俯瞰画像１２１と右側方部分俯瞰画像１２３とが重畳する共通領域、符号１２７は右側方部分俯瞰画像１２３と後方部分俯瞰画像１２２とが重畳する共通領域、符号１２８は後方部分俯瞰画像１２２と左側方部分俯瞰画像１２４とが重畳する共通領域、符号１２９は前方部分俯瞰画像１２１と左側方部分俯瞰画像１２４とが重畳する共通領域を示す。
【００１３】
図１に戻り、特徴点抽出部４１は、俯瞰画像合成処理部３１により合成した前記俯瞰画像に対し、たとえば画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する。
特徴点追跡処理部４２は、前記俯瞰画像の時刻変化に伴う特徴点の移動位置の変化を追跡する。
三次元計測処理部４３は、前記俯瞰映像上における前記特徴点の移動位置の変化からその特徴点の相対運動情報および三次元座標情報を算出する。
この相対運動情報および三次元座標情報は、次に示す俯瞰画像上の対象物体の動きをモデル化した式（１）、（２）を用いて算出する。
【００１４】
【数１】
【００１５】
【数２】
【００１６】
障害物検知処理部４４は、前記算出した相対運動情報および三次元座標情報をもとに障害物を判定する。この障害物の判定は、自車両に対する距離による障害物エリアと、衝突予想時間による障害物エリアとにおける特徴点から障害物の検知を行う。
【００１７】
障害物表示領域判定部４５は、障害物検知処理部４４により検知した障害物の位置が図２で説明した俯瞰画像の共通領域１２６，１２７，１２８，１２９に含まれるか、さらに前記共通領域のうちのどの共通領域に入っているかを判定する。
カメラ画像優先処理部４６は、前記共通領域の特徴点について三次元計測処理部４３で算出された相対運動情報および三次元座標情報をもとに、一定の経過時間を想定したときの前記特徴点の予想軌跡を求める。
そして、この予想軌跡で前記障害物が移動したときの、障害物表示領域判定部４５で判定した前記共通領域を互いに視野領域とするカメラ、たとえは共通領域１２９であれば前方カメラ１と左カメラ４のように撮像範囲が重畳する各カメラに写る／写らないの予測結果を得る。
さらに、前記共通領域について、前記障害物をより広範囲に写すカメラの部分俯瞰画像を優先させ、俯瞰画像合成処理部３１に俯瞰画像を画像合成させる。
予想経路判定処理部５１は、車速、ハンドル操作角、トランスミッションのシフト位置およびアクセル開度の各パラメータの全て、あるいは前記各パラメータのいずれか１つを含む自車両の状態情報をもとに自車両の予想経路の判定を行う。
予想経路上障害物判定処理部５２は、予想経路判定処理部５１で判定した自車両の予想経路上に、障害物検知処理部４４で検知された障害物が位置しているか否かを判定する。
警告出力制御部５３は、予想経路上障害物判定処理部５２において自車両の予想経路上に障害物が位置していると判定されると、警告音出力部５４へ警報音の出力を指示する警報音出力制御信号を出力する。
また、俯瞰画像を表示してるモニタ装置のディスプレイ５７へ自車両の予想経路上に障害物が位置している旨の警告表示を行うための警告表示制御信号を俯瞰画像表示部５６へ出力する。
警告音出力部５４は、前記警報音出力制御信号をもとにブザー５５を動作させて警報音を出力させる。
俯瞰画像表示部５６は、俯瞰画像合成処理部３１で合成した俯瞰画像をディスプレイ５７へ表示し、また警告出力制御部５３から出力される前記警告表示制御信号をもとに、ディスプレイ５７へ警告表示を行う。
急加速抑制制御部５９は、予想経路上障害物判定処理部５２で自車両の予想経路上に障害物が位置していると判定されたときに急激なアクセル操作があると急加速を抑制する急加速抑制要求をエンジンＥＣＵ６０へ出力してエンジンを制御させ、急加速を抑制させる。
この急激なアクセル操作の検出は、たとえば、次のように実現することができる。
すなわち、アクセル開度の変化率がある基準値を超えるか否かを判定し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路をアクセル操作検出手段として設ける。
あるいは、アクセル操作検出手段としてキックダウンスイッチの出力をもとに急激なアクセル操作があったか否かを検出することも可能である。
視点変換部２１，２２，２３，２４および俯瞰画像合成処理部３１、特徴点抽出部４１、特徴点追跡処理部４２、三次元計測処理部４３、障害物検知処理部４４、障害物表示領域判定部４５は、マイクロコンピュータを主要な構成とするＥＣＵにより実現される。
また、カメラ画像優先処理部４６、予想経路判定処理部５１、予想経路上障害物判定処理部５２、警告出力制御部５３、俯瞰画像表示部５６および急加速抑制制御部５９は、マイクロコンピュータを主要な構成とするＥＣＵにより実現される。
このＥＣＵは、前方カメラ１、後方カメラ２、右カメラ３および左カメラ４により撮像した画像の視点変換処理および画像合成処理を含む、この車両周辺監視装置特有の機能を実現するための各種処理を行う。
【００１８】
ここで、三次元計測処理部４３、障害物検知処理部４４により障害物を検知するときの俯瞰映像上の３次元物体の動きモデルを示す式（２）の導出と、式（２）から式（３）の導出について説明する。
【００１９】
【数３】
【００２０】
図６に示すように、特徴点ｐの３次元実空間上の位置ベクトルＸｐを［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔ とし、時刻ｔにてカメラは[０，０，Ｈ]の位置にあるとする。ここで，Ｈはカメラの路面に対する高さである。
特徴点ｐの俯瞰映像上の位置ベクトルｘｐ を［ｘｐ ，ｙｐ ，０］Ｔ としたとき、ベクトルＸｐ＝［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔ とベクトルｘｐ ＝［ｘｐ ，ｙｐ ，０］Ｔ との間には式（１）が成立する。
ここでｋｐ ＝Ｈ/（Ｈ−Ｚｐ ）とおけば、式（１）は以下に示す式（４）のように書き換えることができる。
【００２１】
【数４】
【００２２】
一方、真の俯瞰映像とはカメラは無限の高さにあるときで（Ｈ＝∞）、ｋｐ ＝１となり、式(４)より、式（５）のようになる。
【００２３】
【数５】
【００２４】
つまり、俯瞰映像に映る特徴点位置ベクトルｘｐ ＝［ｘｐ ，ｙｐ ，０］Ｔ は、真の俯瞰映像の位置［Ｘｐ ，Ｙｐ ，０］Ｔ に対して、カメラ高と特徴点の高さに応じた係数ｋｐ だけ乗じたものである。
今、対象物ｐはカメラに対して、時刻ｔにおいて３次元実空間ではベクトルＸｐ＝［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔ の位置にあり、ヨーレートω、相対速度ＶＸ 、ＶＹ の相対運動で移動していたとする。なお、バウンシング・ロール・ピッチング運動はなかったとする。
このとき、時刻ｔ+Δｔでの対象物ｐの３次元実空間上の位置ベクトルＸｐ（ｔ+Δｔ）＝［Ｘｐ （ｔ+Δｔ），Ｙｐ （ｔ+Δｔ），Ｚｐ （ｔ+Δｔ）］Ｔ は、以下のように式（６）で与えられる。
【００２５】
【数６】
【００２６】
式(６)より、バウンシング・ロール・ピッチング運動がなかったとすれば、Ｚｐ （ｔ）＝Ｚｐ （ｔ+Δｔ）であり、ｋｐ ＝Ｈ/（Ｈ−Ｚｐ ）より、係数ｋｐ は時間によらず一定となる。式(６)は以下のように式（７）のように書き換えることができる。
【００２７】
【数７】
【００２８】
ところで、時刻ｔとｔ＋Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘｐ ＝［ｘｐ （ｔ），ｙｐ （ｔ），０］Ｔ 、ベクトルｘｐ ＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ は、係数ｋｐ は時間によらず一定となるため、式(５)より以下の式（８）のように与えられる。
【００２９】
【数８】
【００３０】
時刻ｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘｐ （ｔ+Δｔ）＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ を、式(７),(８)に代入すると、式（９）に示すようになる。
【００３１】
【数９】
【００３２】
この結果、時刻ｔとｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘｐ （ｔ）＝［ｘｐ （ｔ），ｙｐ （ｔ），０］Ｔ 、ベクトルｘｐ （ｔ+Δｔ）＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ には、以下の関係式（１０）が成立する。
【００３３】
【数１０】
【００３４】
さて、対象物ｐのカメラに対する相対運動は、実際には対象物ｐは静止物であり、カメラが移動して生じたものとする。つまり、自車両の動きによって生じたものとする。また、俯瞰映像に映る静止物中の特徴点は、対象物ｐの他に、全部でＰ個あったとする。
このとき、静止物に対する相対運動は共通であるため、時刻ｔとｔ+Δｔでの特徴点の俯瞰映像上の位置ベクトルｘｐ （ｔ）＝［ｘｐ （ｔ），ｙｐ （ｔ），０］Ｔ 、ベクトルｘｐ （ｔ+Δｔ）＝［ｘｐ （ｔ+Δｔ），ｙｐ （ｔ+Δｔ），０］Ｔ 、１＜ｐ＜Ｐは式(１０)より以下のように式（１１）で与えられる。
【００３５】
【数１１】
【００３６】
式(１１)は以下のように式(１２)に書き換えることができる。
【００３７】
【数１２】
【００３８】
ここで、次に示す式（１３）、式（１４）であり、ベクトルｍ（ｔ+Δｔ）、ｎ（ｔ+Δｔ）およびｃｘ （ｔ+Δｔ）、ｃｙ （ｔ+Δｔ）は時刻ｔから時刻ｔ+Δｔでのカメラと対象物との回転運動と併進運動の相対運動を示し、ベクトルｓｐ （ｔ）は式（４）から実質上は時刻ｔでの特徴点ｐの３次元実空間上の位置と見なすことができる。
【００３９】
【数１３】
【００４０】
【数１４】
【００４１】
ところで、時刻ｔから時刻ｔ+２Δｔでのカメラと対象物との相対運動情報ｍ（ｔ+２Δｔ）、ｎ（ｔ+２Δｔ）、ｃｘ （ｔ+２Δｔ）、ｃｙ （ｔ+２Δｔ）を得たならば、時刻ｔ+２Δｔでの、俯瞰映像上の特徴点の位置ベクトルｘｐ （ｔ+２Δｔ）＝［ｘｐ （ｔ+２Δｔ），ｙｐ （ｔ+２Δｔ），０］Ｔ 、１＜ｐ＜Ｐは式（１２）より、以下のように式（１５）で与えられる。
【００４２】
【数１５】
【００４３】
式(１２)、(１５)をまとめると、次に示す式（１６）となる。
【００４４】
【数１６】
【００４５】
今、時間間隔Δｔで時刻ｔからｔ+ＦΔｔにわたり、俯瞰映像上において、全部でＰ個の特徴点の位置が観測されたとする。なお、この観測は特徴点抽出・追跡にて行う。すると式(１６)を拡張して、以下の関係式（１７）が得られる。
【００４６】
【数１７】
【００４７】
式(１７)が俯瞰映像上の３次元物体の動きの数式モデルである。
なお、式(１７)は以下に示す式（１８）のように行列の積として書き換えることができる。
【００４８】
【数１８】
【００４９】
ここで、行列Ｗ、Ｍ、Ｓは以下に示す式（１９）のように与えられ、行列Ｗは特徴点抽出・追跡で得られた時刻ｔからｔ+ＦΔｔの俯瞰映像上の各特徴点の位置を示し、行列Ｍは時刻ｔからｔ+ＦΔｔの相対運動を示し、行列Ｓは時刻ｔでの各特徴点の３次元実空間上の位置を示す。
【００５０】
【数１９】
【００５１】
式(１８)の関係式を利用して、俯瞰映像上の特徴点の位置の変化から、相対運動と３次元実空間の位置を得る。
【００５２】
次に、モデル推定方法の概略について説明する。
式（１８）に示すＷ＝ＭＳより、俯瞰映像上の特徴点の位置の変化を示す行列Ｗから、相対運動を示す行列Ｍと３次元形状を示す行列Ｓに分割するには以下の手順で行う。
式（１９）より、行列Ｗは２Ｆ×Ｐの大きさの行列である。行列Ｍは、ベクトルｍ、ｎが２次元であるため２Ｆ×３の大きさの行列であり、行列Ｓはベクトルｓが３次元であるため３×Ｐの大きさの行列である。つまり、行列Ｗは階数３の行列である。そこで、以下のように、一旦、行列Ｗに対して特異値分解を行う。
【００５３】
【数２０】
【００５４】
ここで、Ｕは２Ｆ×Ｈの直交行列、ΣはＨ×Ｈの対角行列、ＶＴ はＨ×Ｐの直交行列であり、ＨはＨ＝ｍｉｎ｛２Ｆ，Ｐ｝と与えられる。また、Σの対角要素は
σ１ ＞σ２ ＞…σｐ と降順に並んでいるとする。
行列Ｗは階数３の行列となるため、σ４ 以降はノイズ成分とみなせることより、式（２１）に示すように行列Ｕの３列分を抽出する。
【００５５】
【数２１】
【００５６】
ここから、式（２２）に示すように仮の分解結果を得ることができる。
【００５７】
【数２２】
【００５８】
次に拘束行列の計算を行う。式（２２）の分解結果は図１４の（式１）を満たすが、得られた図１４の行列（１）は、一般には図１４の（式２）を満たさない。例えば、適当な３×３の大きさの行列Ａを用いて、図１４の（行列１）を以下に示す式（２３）のように変換しても、Ｗ＝ＭＳを満たしてしまう。つまり、行列Ａを適切に選択する必要がある。
【００５９】
【数２３】
【００６０】
行列Ａを適切に選択するため、以下の拘束条件を導入する。
（ａ）回転成分の拘束条件
式（１９）より行列Ｍは以下の式（２４）で示すように構成される。
【００６１】
【数２４】
【００６２】
ここで、ベクトルｍｎは式（１３）を例に示すとおり、回転成分を示すため、以下の拘束条件が存在する。
【００６３】
【数２５】
【００６４】
（ｂ）路面の拘束条件
式（１９）より行列Ｓは以下のように構成される。
【００６５】
【数２６】
【００６６】
また、ベクトルＳＰ （ｔ）は式（１４）よりＳＰ （ｔ）＝［ｘｐ （ｔ） ｙｐ （ｔ） ｋｐ ］Ｔ であり、ｋｐ はｋｐ ＝Ｈ/（Ｈ-Ｚｐ ）と与えられる。ここで、ｋｐ はＺｐ ＜Ｈの条件で、Ｚｐ が増加すれば、ｋｐ も増加する。つまり対象物がカメラより下にある限り、対象物が高ければ高いほど、ｋｐ は大きな値を有する。
ｋｐ が最小となるのは、対象物が路面にあるとき、つまりＺｐ ＝０であり、そのときｋｐ ＝１となる。俯瞰映像は常時路面を撮影しているため、俯瞰映像上には、ｋｐ ＝１を満たす特徴点が必ず存在する。すなわち、ｋｐ に対して以下の拘束条件が存在する。
【００６７】
【数２７】
【００６８】
以上、式（２５）および式（２７）を満たすように、行列Ａを定めればよい。
【００６９】
次に動作について説明する。
図６は、この実施の形態の車両周辺監視装置における障害物検知を説明するための対象物の三次元空間座標と俯瞰画像上の位置との関係を示す説明図である。
図６に示すように、カメラ２０１はｚ軸上の高さＨの位置に配置されている。図６において、符号３００は対象物を示しその三次元空間座標は［Ｘｐ ，Ｙｐ ，Ｚｐ ］Ｔである。また、符号３０１は俯瞰画像上の対象物映像であり、その三次元空間座標は［ｘｐ ，ｙｐ ，０］Ｔである。また、符号３０２は撮像された対象物が含まれた平面的な俯瞰映像を示している。
対象物と自車両とが相対速度［ＶＸ，ＶＹ］Ｔ、ヨーレートωで相対運動をしていたとき、上述した式（２）で示す関係が成立する。
式（２）のベクトルｍ（ｔ＋Δｔ）、ｎ（ｔ＋Δｔ）は相対速度とヨーレートとを格納する相対運動であり、ベクトルＳＰは上述した式（１）から、特徴点Ｐの三次元座標への変換が一意に可能である。
この実施の形態では、式（１）および式（２）の関係を用いて、俯瞰画像上の特徴点Ｐを三次元座標へ変換し、自車両に対する立体物を判定して障害物の検知を行う。そして、前記検知した障害物が前記俯瞰画像上の前記共通領域内にあってその画像が俯瞰画像上で全体表示されていない場合、前記障害物の予想軌跡から前記障害物をより広範囲に写すことのできるカメラの画像を優先させ、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更し、俯瞰画像を再表示する。
また、前記検知した障害物が自車両の予想経路上にあるか否かを判定し、予想経路上にある場合には表示や音で注意喚起し、さらに急なアクセル操作があると急加速を抑制するエンジン制御を実現する。
【００７０】
以下、図９に示すフローチャートを参照し、この実施の形態の車両周辺監視装置における障害物の検知と、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更し、俯瞰画像を再表示するときの動作について説明する。
図２に示すように前方カメラ１、後方カメラ２、右カメラ３および左カメラ４によりそれぞれ撮像された画像は、視点変換部２１，２２，２３，２４により視点変換され、さらに俯瞰画像合成処理部３１により画像合成され俯瞰画像が生成される。この俯瞰画像は、一定の時間間隔Δｔごとに生成され俯瞰画像合成処理部３１から出力される（ステップＳ１）。俯瞰画像合成処理部３１から出力された俯瞰画像は俯瞰画像表示部５６によりディスプレイ５７へ表示出力される。一方、また、俯瞰画像合成処理部３１から出力された俯瞰画像は特徴点抽出部４１へ供給され特徴点Ｐが抽出される（ステップＳ２）。特徴点抽出部４１における特徴点Ｐの抽出は、たとえば画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点Ｐとして抽出する。
【００７１】
図７は、この実施の形態の車両周辺監視装置における時刻ｔと時刻ｔ＋ＦΔｔにおける俯瞰画像の一例を示す説明図である。図７において符号Ｐは特徴点抽出部４１において抽出される特徴点を示している。
図７（Ａ）、（Ｂ）に示されているように、特徴点抽出部４１において抽出された特徴点Ｐがどのような動きをするかを特徴点追跡処理部４２において追跡処理する。
この特徴点追跡処理部４２の追跡処理は次のように行う。
つまり、図７（Ａ）に示す時刻ｔにおける俯瞰画像上の特徴点Ｐと、同図（Ｂ）に示す時刻ｔ＋ＦΔｔにおける俯瞰画像上の特徴点Ｐとの位置関係から、特徴点Ｐがどのような動きをしてどのような位置へ移動したかを追跡処理する（ステップＳ３）。
この特徴点Ｐの追跡処理では、特徴点Ｐのオプティカルフローを計算することで、その動きベクトルを求める。
図８は、図７に示す俯瞰画像から抽出した特徴点の動きベクトルを示す説明図である。
特徴点Ｐのオプティカルフローの計算処理は次のように行う。
所定の周期、時間間隔で撮像された前記俯瞰画像上の、互いに共通する特徴点Ｐの座標変化を検出し、その特徴点Ｐが移動しているか否か、座標が変化している場合には、特徴点Ｐの移動、座標変化の向きとその大きさがどの程度かをそれぞれ計算する。
【００７２】
次に、三次元計測処理部４３において、式（２）を用いて俯瞰画像上の特徴点Ｐの位置の変化から自車両と特徴点Ｐとの相対運動情報と、前記特徴点Ｐの三次元座標情報を算出する（ステップＳ４）。
さらに、障害物検知処理部４４において、前記三次元計測処理部４３で算出した前記相対運動情報と前記三次元座標情報とから障害物を検知する（ステップＳ５）。
【００７３】
ここで、三次元計測処理部４３の三次元計測処理および障害物検知処理部４４の障害物検知処理についてさらに説明する。
図１２は、俯瞰画像から得られた立体物の三次元情報と相対運動情報とから検知した自車両１０１に対する距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。
図１３は、この実施の形態の車両周辺監視装置における三次元計測処理部４３、障害物検知処理部４４および予想経路判定処理部５１の動作を示すフローチャートである。
図１５は予想経路判定処理部５１において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部５３の動作説明図である。
図１６、図１７は、予想経路判定処理部５１において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部５３および俯瞰画像表示部５６の動作説明図である。
三次元計測処理部４３の三次元計測処理では、俯瞰画像上の特徴点の三次元座標情報と、前記特徴点と自車両１１との相対運動情報とを前述したように式（１）および式（２）から算出する（ステップＳ４１）。
この特徴点の三次元座標情報は、三次元位置行列Ｓとして求められ（ステップＳ４２）、また前記特徴点と自車両１０１との相対運動情報とは、相対運動行列Ｍとして求められる（ステップＳ４３）。
そして、三次元位置行列Ｓとして求めた特徴点の三次元座標情報に対してはｚ軸方向の高さによる閾値処理を行う（ステップＳ４４）。
この閾値処理では、ｚ軸方向の高さ情報が零でなくある値を有している特徴点を所定の高さ基準値をもとに障害物候補特徴点とし（ステップＳ４５）、またｚ軸方向の高さ情報が零である特徴点を非障害物特徴点とする（ステップＳ４６）。
そして、前記障害物候補特徴点については、その特徴点の三次元座標情報をもとに自車両１０１との間の距離が明らかになることから、自車両１０１と障害物候補特徴点との間の距離に対し所定の距離基準値をもとに閾値処理を行う（ステップＳ４７）。そして、遠距離障害物特徴点と近距離障害物特徴点とに識別を行う（ステップＳ４８、ステップＳ４９）。
近距離障害物特徴点として識別した特徴点は、例えば図１２に示す障害物エリアＡに含まれる特徴点である。
【００７４】
また、遠距離障害物特徴点として識別した特徴点については、ステップＳ４３において求めた相対運動行列Ｍをもとに、衝突予想時間に対し所定の衝突予想時間基準値をもとに閾値処理を行う（ステップＳ５１）。そして、低危険度障害物特徴点と早期到達障害物特徴点とに識別する（ステップＳ５２、ステップＳ５３）。
早期到達障害物特徴点は、例えば図１２に示す障害物エリアＢに含まれる特徴点である。
続くステップＳ６１、ステップＳ６２、ステップＳ７１、ステップＳ７２、ステップＳ８１は予想経路判定処理部５１における自車両の予想経路、特徴点の予想軌跡の判定処理を示している。
予想経路判定処理部５１では自車両の予想経路、特徴点の予想軌跡の判定結果をもとに警告を出力するか否か、どのカメラの画像を優先させ、俯瞰画像の境界線を変更するかを判定する。
警告出力制御部５３では、図１５に示すように予想経路判定処理部５１の前記判定結果をもとに警告出力の制御を行い、俯瞰画像表示部５６では、図１６、図１７に示すように予想経路判定処理部５１の前記判定結果をもとに俯瞰画像の境界線を変更する。
すなわち、予想経路判定処理部５１は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、前記三次元計測処理部４３で算出された前記特徴点の相対運動情報とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部５２は、予想経路判定処理部５１で判定した自車両の予想経路上に、同じく予想経路判定処理部５１で予想軌跡が判定され、障害物検知処理部４４で障害物として検知された特徴点が位置しているか否かを判定する。
【００７５】
また、図１７に示すように、特徴点、障害物が同じ相対運動であっても、特徴点、障害物と自車両との位置関係によって警告を出力するか否か、俯瞰画像の境界線の変更についての判定結果は異なってくる。
したがって、予想経路判定処理部５１は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、三次元計測処理部４３で算出された前記特徴点の相対運動情報と、自車両と前記特徴点との位置関係とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部５２は、予想経路判定処理部５１で判定した自車両の予想経路上に、同じく予想経路判定処理部５１で予想軌跡が判定され、障害物検知処理部４４で障害物として検知された特徴点が位置しているか否かを判定する。
【００７６】
図９のフローチャートに戻り、前記検知した障害物について障害物表示領域判定部４５により俯瞰画像上の前記障害物が、図２に示す共通領域１２６，１２７，１２８，１２９のうちのどの共通領域に含まれているかを、前記障害物の特徴点から判定する（ステップＳ６）。
障害物表示領域判定部４５により、前記障害物の特徴点が共通領域１２６，１２７，１２８，１２９のいずれかの共通領域、たとえば共通領域１２９に含まれていると判定されると、カメラ画像優先処理部４６は、次のように動作する。
カメラ画像優先処理部４６は、三次元計測処理部４３において算出した自車両と前記障害物の特徴点Ｐとの相対運動情報と、前記障害物の特徴点Ｐの三次元位置情報とから、時間Δｔが経過したときの前記障害物の特徴点Ｐの三次元位置、予想軌跡を算出する。
そして、前記障害物の特徴点が含まれていると判定された共通領域１２９を互いに共通する視野領域とする前方カメラ１と左カメラ４について、前記算出した三次元位置において前記障害物が写っているか否かを一定の経過時間を想定して前記障害物の特徴点について判定する。
そして、前記想定した一定の経過時間での前方カメラ１にしか写っていない前記特徴点の重み付け平均と、左カメラ４にしか写っていない前記特徴点の重み付け平均との大小関係から、前記障害物をより広範囲に写すことのできるカメラの画像を決定する。
さらに、前記障害物全体が表示されるように、前記俯瞰画像の共通領域について前記決定したカメラの画像を優先させ、俯瞰画像の境界線を変更する（ステップＳ７）。
そして、俯瞰画像合成処理部３１において前記障害物の全体が含まれる俯瞰画像を再表示する（ステップＳ８）。
【００７７】
図３は、俯瞰画像上で障害物の全体が表示されない場合、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更したときの、俯瞰画像の一例を示す説明図である。
図３（Ａ）は障害物の全体が表示されていない俯瞰画像を示し、符号１３１は全体が表示されていない障害物を示している。
前方カメラ１には全体像がほとんど写らないが、左カメラ４にはその全体像が写る共通領域１２９に障害物があるとき、一例を示すと図２で符号１３２で示す位置に障害物が位置している場合について説明する。
このとき、俯瞰画像の境界線で規定される各領域の配置形態が図３（Ａ）に示す構成であると障害物１３１は俯瞰画像上にその一部が表示されるだけである。
なお、前記俯瞰画像の境界線で規定される各領域とは、図２の前方部分俯瞰画像１２１、後方部分俯瞰画像１２２、右側方部分俯瞰画像１２３、左側方部分俯瞰画像１２４の領域である。
このような現象は、図２の符号１１６，１１７，１１８，１１９で示す共有視野領域の周辺の障害物１３１の位置と、このときの前記部分俯瞰画像の各領域の配置形態とに応じて発生し、図３に示すように障害物１３１は俯瞰画像上にその一部が表示されるだけとなる。
このため、図２に示す前記共有視野領域をカバーする前記共通領域１２６，１２７，１２８，１２９に障害物１３１が位置していると、自車両と前記障害物の特徴点Ｐとの相対運動情報、前記障害物の三次元位置情報をもとに求めた、一定の経過時間を想定したときの予想軌跡から前記障害物の予想位置を算出する。
そして、前記算出した予想位置の前記障害物が前記共通領域を互いに共通する視野領域とする各カメラに写るか写らないかの予測結果から、前記共通領域について、前記障害物をより広範囲に写すことのできるカメラの部分俯瞰画像を決定する。
さらに、前記共通領域について前記決定したカメラの部分俯瞰画像を優先させ、俯瞰画像を再表示する。
この結果、前方部分俯瞰画像１２１、後方部分俯瞰画像１２２、右側方部分俯瞰画像１２３、左側方部分俯瞰画像１２４の配置形態が変更され、前記共通領域１２９について前記障害物をより広範囲に写すことのできる左カメラ４の部分俯瞰画像が優先され、図３（Ｂ）に示すように前記障害物の全体が含まれる俯瞰画像が再表示される。
つまり、図３（Ａ）の前記部分俯瞰画像の各領域の配置形態では障害物１３１はその一部しか俯瞰画像に表示されていないのに対し、同図（Ｂ）では障害物１３１はその全体が表示される。
すなわち、自車両と前記障害物の特徴点Ｐとの相対運動情報、前記障害物の三次元位置情報をもとに一定の経過時間について想定した前記障害物の予想軌跡から、前記共通領域を互いに共通する視野領域とする各カメラについて“障害物１３１を写せる”、あるいは“写せない”を予測する。
そして、前記共通領域について、前記予測結果から“障害物１３１をより広範囲に写せる”と予測したカメラの部分俯瞰画像を優先させ、俯瞰画像の境界を変更する。
【００７８】
ここで、俯瞰画像の境界線を変更するためのカメラ画像優先処理についてさらに説明する。
このカメラ画像優先処理は、共通領域に位置する障害物と判定された画像から抽出された複数の特徴点に対し、その予想軌跡、時刻変化をもとに、前記共通領域を互いに共通する視野領域とする各カメラについて“前記特徴点が写る／写らない”を予測し、その予測結果を得る。
前記予想軌跡、時刻変化は、三次元計測処理部４３において得られた相対運動情報による一定の経過時間を想定したときの予想軌跡と時刻変化である。
そして、この予測結果から、前記特徴点が抽出された障害物１３１の全体像、あるいは、より広範囲に前記障害物を写している左カメラ４による左側方部分俯瞰画像１２４を優先させ、フィードフォワード的に俯瞰画像の繋ぎ目、境界線を変更する。
このための処理手順は次のようなものである。
まず、特徴点ｉがカメラＡとカメラＢの共有視野範囲にあるとして、三次元計測結果から特徴点ｉの三次元位置をベクトルＸｉ ＝［Ｘｉ ，Ｙｉ ，Ｚｉ ］とし、ベクトルＶ＝［Ｖｘ ，Ｖｙ ］，ωを相対速度およびヨーレートとする（ステップＳ２１）。次に、相対運動情報Ｖ，ωと三次元位置から、計測してから時間ｔだけ経過したときの特徴点ｉの三次元位置ベクトルＸ´ｉ （ｔ）＝［Ｘ´ｉ （ｔ），Ｙ´ｉ （ｔ），Ｚ´ｉ （ｔ）］を求める（ステップＳ２２）。
さらに、時刻ｔでの特徴点ｉの三次元座標ベクトルＸ´ｉ （ｔ）から、時刻ｔでのカメラＡおよびカメラＢによる特徴点ｉの俯瞰画像上の位置ベクトルｘ（ａ）ｉ （ｔ），ベクトルｘ（ｂ）ｉ （ｔ）を求める（ステップＳ２３）。
そして、ベクトルｘ（ａ）ｉ （ｔ），ベクトルｘ（ｂ）ｉ （ｔ）から、特徴点ｉがカメラＡ、カメラＢの俯瞰画像に映っているかいないかを判定し、式（２８）、（２９）で示す関数Ｒａ （ベクトルｘ（ａ）ｉ （ｔ）），Ｒｂ （ベクトルｘ（ｂ）ｉ （ｔ））を得る（ステップＳ２４）。ここで関数Ｒａ （ベクトルｘ（ａ）ｉ （ｔ）），Ｒｂ （ベクトルｘ（ｂ）ｉ （ｔ））は見えやすさに応じて“０”以上“１”以下の実数を与えてもよい。
次に、関数Ｒａ （ベクトルｘ（ａ）ｉ （ｔ）），Ｒｂ （ベクトルｘ（ｂ）ｉ （ｔ））から、特徴点ｉがカメラＡにしか映っていないことを示す式（３０）で示す関数Ｓａ （ベクトルｘ（ａ）ｉ （ｔ））と、カメラＢにしか映っていないことを示す式（３１）で示すＳｂ （ベクトルｘ（ｂ）ｉ （ｔ））を得る（ステップＳ２５）。
続いて、関数Ｓａ （ベクトルｘ（ａ）ｉ （ｔ））とＳｂ （ベクトルｘ（ｂ）ｉ （ｔ））とから、式（３２）で示す計測してから時間Ｔ経過するまでのカメラＡにしか映っていない特徴点数の重み付け平均Ｎａ と、式（３３）で示すカメラＢにしか映っていない特徴点数の重み付け平均Ｎｂ を求める。ここでｗ（ｔ）はｗ（０）＝１，ｗ（Ｔ）＝０を満たす、時間経過に応じて減少する重み関数である（ステップＳ２６）。
そして、Ｎａ とＮｂ の大小関係から、Ｎａ ＞Ｎｂ のとき共通領域にはカメラＡの俯瞰画像を使用する。また、Ｎａ ＝Ｎｂ のとき共通領域にはカメラＡとカメラＢのうちのデフォルト値として定めたカメラの俯瞰画像を使用する。また、Ｎａ ＜Ｎｂ のとき共通領域にはカメラＢの俯瞰画像を使用する。
なお、共通領域はカメラＡ、カメラＢの俯瞰画像の輝度の重み付け合成するようにしてもよい。すなわち、Ｎａ ／Ｎｂ ＞ｋのとき共通領域はカメラＡの俯瞰画像を適用する。また、１／ｋ≦Ｎａ ／Ｎｂ ≦ｋのとき共通領域はカメラＡ、カメラＢの俯瞰画像の重み付け平均を適用する。この俯瞰画像の重み付け平均は、式（３４）、式（３５）に示すようになる。このときＩａ がカメラＡの俯瞰画像、Ｉｂ がカメラＢの俯瞰画像であり、ｋはｋ＞１を満たす適当な定数であり、Ｉは合成後の俯瞰画像である。また、Ｎａ ／Ｎｂ ＜１／ｋのとき共通領域はカメラＢの俯瞰画像を適用する。
【００７９】
次に、図１０に示すフローチャートを参照し、自車両の予想経路上に障害物があるときの警告表示あるいは警告音による注意喚起と、急なアクセル操作に対する急加速抑制動作について説明する。
なお、図１０において図９と同一または相当の処理については同一の符号を付し説明を省略する。
ステップＳ１、ステップＳ２、ステップＳ３、ステップＳ４およびステップＳ５の各処理については図９の説明と同等である。
続く予想経路判定処理では、予想経路判定処理部５１において自車両の車両情報から一定の時間Δｔ経過後の自車両１０１の位置、車速、進行方向、向きを含む状態情報、車両１０１の予想軌跡を計算し、予想経路１５１を判定する（ステップＳ１６）。
なお、前記車両情報は、現在の車速、ハンドル操作角、トランスミッションのシフト位置、アクセル開度、車両寸法の全て、あるいはいづれか１つを含む。
続いて予想経路上障害物判定処理部５２において、障害物検知処理部４４で検知した障害物について前記予想経路１５１上にあるか否かを判定する（ステップＳ１７）。
この予想経路上にあるか否かの判定は、三次元計測処理部４３において前記障害物の特徴点の三次元位置情報が得られていることから、この特徴点の三次元位置情報が前記予想経路１５１内に含まれるか否かを判定することで可能になる。
【００８０】
図４は、共通領域内に位置している障害物が予想経路１５１内に含まれるときの俯瞰画像を示す説明図である。
図４に示すように、障害物１３１が共通領域１２９内に位置していると、カメラ画像優先処理部４６は前記共通領域１２９にある特徴点に対し、三次元計測処理部４３において得られた相対運動情報をもとに一定の経過時間を想定したときの予想軌跡を求める。
そして、時刻変化をもとに、前記共通領域１２９を互いに共通する視野領域とする各カメラについて“障害物１３１を写せる”、あるいは“写せない”との予測結果を得る。
さらに、前記障害物１３１の全体像が映し出されるように、前記予測結果をもとに、前記各カメラについて前記障害物１３１をより広範囲に写すことの出来るカメラを決定する。
図４に示す例では、共通領域１２９を互いに共通する視野領域とするカメラは前方カメラ１と左カメラ４であり、障害物１３１をより広範囲に写すことの出来るカメラは左カメラ４である。
そして、前記共通領域の俯瞰画像として左カメラ４による左側方部分俯瞰画像１２４を優先させる。
図４に示す俯瞰画像では、さらに障害物１３１が予測経路１５１内に位置していると、予想経路上障害物判定処理部５２において障害物が予想経路１５１上にあると判定され、警告出力制御部５３は、警告音出力部５４によりブザー５５を駆動させ警報音を出力する。
さらに、警告出力制御部５３は、俯瞰画像表示部５６によりディスプレイ５７へ警告を表示させる（ステップＳ１８）。
【００８１】
図５は、障害物が共通領域外に位置しているときの俯瞰画像を示す説明図である。
図５に示すように障害物が共通領域内に位置していないときには俯瞰画像の境界線の変更は行われず、また警告表示や警告音も出力されない。
続いて、急激なアクセル操作が行われたか否かを判定する（ステップＳ１９）。
この急激なアクセル操作の判定は、たとえばアクセル開度の変化率がある基準値を超えるか超えないかを検出し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路（アクセル操作検出手段）により実現可能である。
あるいは、キックダウンスイッチの出力をもとに検出することも可能である。
そして、障害物検知処理部４４で検知した障害物が予想経路１５１上にあると判定されると、急加速抑制制御部５９は、前記センサ回路から出力された急加速アクセル操作判定信号をもとにエンジンＥＣＵ６０へ急加速抑制要求を出力し、車両の急加速を抑制する（ステップＳ２０）。
この結果、障害物が予想経路１５１上にあると急激なアクセル操作が行われても車両の急加速が抑制される。
【００８２】
ここで特徴点抽出処理部４１における特徴点Ｐの抽出についてさらに説明を行う。
図１１は、俯瞰画像上の画像の一例を示す説明図である。
例えばカメラによって撮像された俯瞰画像上の画像が図１１に示すように画像データの左上を原点として横軸をｘ軸、縦軸をｙ軸と定めた座標上にあるものとする。
まず特徴点抽出処理部３は、図１８に示すように画像Ｉのｘ軸およびｙ軸方向に対する偏微分Ａおよび偏微分Ｂをそれぞれ求める。次いでこの画像Ｉでの全ての画素における空間配列行列を求める。
そして特徴点抽出処理部４は、空間配列行列に対する固有値λｍｉｎ（ｐ）およびλｍａｘ（ｐ）を計算し、特徴を有すると認められる所定の値を抽出して特徴点と定める。
【００８３】
次いで上述したようにして得られた俯瞰画像上の画像における特徴点の時間変化を特徴点追跡処理部４２が追跡する。
【００８４】
従ってこの実施の形態の車両周辺監視装置では、自車両と前記障害物の特徴点Ｐとの相対運動情報、前記障害物の三次元位置情報をもとに決定した、障害物１３１全体を写し出すカメラの部分俯瞰画像を優先させた俯瞰画像上へ、本来ほとんど表示されなかった共通領域に位置する障害物の全体像を表示できる。
【００８５】
この実施の形態によれば、予想経路上に障害物が位置していると、俯瞰画像上で前記障害物を検知し、視覚的あるいは聴覚的に表示や音で運転者に注意を喚起し、さらに急なアクセル操作があると急加速を抑制するエンジン制御を実現できる。
【符号の説明】
【００８６】
１……前方カメラ（撮像装置）、２……後方カメラ（撮像装置）、３……右カメラ（撮像装置）、４……左カメラ（撮像装置）、２１，２２，２３，２４……視点変換部、３１……俯瞰画像合成処理部、４１……特徴点抽出処理部、４２……特徴点追跡処理部、４３……三次元計測処理部、４４……障害物検知処理部、４５……障害物表示領域判定部、４６……カメラ画像優先処理部、５１……予想経路判定処理部、５２……予想経路上障害物判定処理部、５３……警告出力制御部（警報出力手段）、５４……警告音出力部（警報出力手段）、５５……ブザー（警報出力手段）、５７……ディスプレイ（警報出力手段）、５６……俯瞰画像表示部（俯瞰画像表示手段）、５９……急加速抑制制御部、６０……エンジンＥＣＵ、１０１……自車両（車両）、１３１……障害物。
【特許請求の範囲】
【請求項１】
車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
前記障害物検知処理部により検知した障害物の位置が前記複数の撮像装置が互いに共通する視野領域とする前記俯瞰画像上の共通領域に含まれるか否かを判定する障害物表示領域判定部と、
前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物についての前記特徴点の予想軌跡と、前記共通領域を互いに共通する前記視野領域とする各撮像装置に、前記予想軌跡で移動する前記障害物が“写る／写らない”の予測結果とをもとに、前記共通領域について前記障害物をより広範囲に写す撮像装置による部分俯瞰画像を優先させた俯瞰画像を前記俯瞰画像合成処理部に再合成させ、前記俯瞰画像表示手段に再表示させるカメラ画像優先処理部と、
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
前記特徴点の予想軌跡は、前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物について、前記三次元計測処理部で算出された前記共通領域の特徴点についての相対運動情報および三次元座標情報をもとに一定の経過時間を想定して得られることを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、
前記予想経路判定処理部で判定した前記車両の予想経路上に、前記障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする請求項１記載の車両周辺監視装置。
【請求項４】
車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、
予想経路判定処理部で判定した前記車両の予想経路上に、障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする車両周辺監視装置。
【請求項５】
急激なアクセル操作を検出するアクセル操作検出手段を備え、前記予想経路上障害物判定処理部で前記車両の予想経路上に障害物が位置していると判定されたときに前記アクセル操作検出手段により急激なアクセル操作が検出されると急加速を抑制する急加速抑制要求をエンジンＥＣＵへ出力しエンジンを制御させ、急加速を抑制させる急加速抑制制御部を備えたことを特徴とする請求項３または４記載の車両周辺監視装置。
【請求項６】
前記予想経路判定処理部は、前記車両の状態情報と、前記三次元計測処理部で算出された前記特徴点の相対運動情報とをもとに、前記車両の予想経路および前記特徴点の予想軌跡の判定を行い、前記予想経路上障害物判定処理部は、前記予想経路判定処理部で判定した前記車両の予想経路上に、同じく前記予想経路判定処理部で予想軌跡が判定され、前記障害物検知処理部で障害物として検知された特徴点が位置しているか否かを判定することを特徴とする請求項４記載の車両周辺監視装置。
【請求項７】
前記予想経路判定処理部は、前記車両の状態情報と、前記三次元計測処理部で算出された前記特徴点の相対運動情報と、前記車両と前記特徴点との位置関係とをもとに、前記車両の予想経路および前記特徴点の予想軌跡の判定を行い、前記予想経路上障害物判定処理部は、前記予想経路判定処理部で判定した前記車両の予想経路上に、同じく前記予想経路判定処理部で予想軌跡が判定され、前記障害物検知処理部で障害物として検知された特徴点が位置しているか否かを判定することを特徴とする請求項４記載の車両周辺監視装置。
【請求項１】
車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
前記障害物検知処理部により検知した障害物の位置が前記複数の撮像装置が互いに共通する視野領域とする前記俯瞰画像上の共通領域に含まれるか否かを判定する障害物表示領域判定部と、
前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物についての前記特徴点の予想軌跡と、前記共通領域を互いに共通する前記視野領域とする各撮像装置に、前記予想軌跡で移動する前記障害物が“写る／写らない”の予測結果とをもとに、前記共通領域について前記障害物をより広範囲に写す撮像装置による部分俯瞰画像を優先させた俯瞰画像を前記俯瞰画像合成処理部に再合成させ、前記俯瞰画像表示手段に再表示させるカメラ画像優先処理部と、
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
前記特徴点の予想軌跡は、前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物について、前記三次元計測処理部で算出された前記共通領域の特徴点についての相対運動情報および三次元座標情報をもとに一定の経過時間を想定して得られることを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、
前記予想経路判定処理部で判定した前記車両の予想経路上に、前記障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする請求項１記載の車両周辺監視装置。
【請求項４】
車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、
予想経路判定処理部で判定した前記車両の予想経路上に、障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする車両周辺監視装置。
【請求項５】
急激なアクセル操作を検出するアクセル操作検出手段を備え、前記予想経路上障害物判定処理部で前記車両の予想経路上に障害物が位置していると判定されたときに前記アクセル操作検出手段により急激なアクセル操作が検出されると急加速を抑制する急加速抑制要求をエンジンＥＣＵへ出力しエンジンを制御させ、急加速を抑制させる急加速抑制制御部を備えたことを特徴とする請求項３または４記載の車両周辺監視装置。
【請求項６】
前記予想経路判定処理部は、前記車両の状態情報と、前記三次元計測処理部で算出された前記特徴点の相対運動情報とをもとに、前記車両の予想経路および前記特徴点の予想軌跡の判定を行い、前記予想経路上障害物判定処理部は、前記予想経路判定処理部で判定した前記車両の予想経路上に、同じく前記予想経路判定処理部で予想軌跡が判定され、前記障害物検知処理部で障害物として検知された特徴点が位置しているか否かを判定することを特徴とする請求項４記載の車両周辺監視装置。
【請求項７】
前記予想経路判定処理部は、前記車両の状態情報と、前記三次元計測処理部で算出された前記特徴点の相対運動情報と、前記車両と前記特徴点との位置関係とをもとに、前記車両の予想経路および前記特徴点の予想軌跡の判定を行い、前記予想経路上障害物判定処理部は、前記予想経路判定処理部で判定した前記車両の予想経路上に、同じく前記予想経路判定処理部で予想軌跡が判定され、前記障害物検知処理部で障害物として検知された特徴点が位置しているか否かを判定することを特徴とする請求項４記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−９３８６５（Ｐ２０１３−９３８６５Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１２−２６８３７３（Ｐ２０１２−２６８３７３）
【出願日】平成２４年１２月７日（２０１２．１２．７）
【分割の表示】特願２００９−２２３５１３（Ｐ２００９−２２３５１３）の分割
【原出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（０００００６２８６）三菱自動車工業株式会社 (2,892)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２４年１２月７日（２０１２．１２．７）
【分割の表示】特願２００９−２２３５１３（Ｐ２００９−２２３５１３）の分割
【原出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（０００００６２８６）三菱自動車工業株式会社 (2,892)
【Ｆターム（参考）】
[ Back to top ]