車載カメラを用いた測距装置
【課題】単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできる測距装置を提供する。
【解決手段】車載カメラ２により異なる時刻で取得された第１撮像画像と第２撮像画像のうちの第１撮像画像において、移動体Ｍの路面に対する接地点Ｐに対応する画像上移動体接地点Ｐ１を特定し、車両との間の距離が移動体Ｍの接地点Ｐと同一の距離となる静止点Ｑに対応する第１撮像画像上の点Ｑ１と第２撮像画像上点Ｑ２とを第１撮像画像及び第２撮像画像から抽出する。抽出した点Ｑ１，Ｑ２を用いて、モーションステレオの手法によって、静止点Ｑと車両との間の距離と算出し、算出した距離を移動体Ｍと車両との間の距離として決定する。
【解決手段】車載カメラ２により異なる時刻で取得された第１撮像画像と第２撮像画像のうちの第１撮像画像において、移動体Ｍの路面に対する接地点Ｐに対応する画像上移動体接地点Ｐ１を特定し、車両との間の距離が移動体Ｍの接地点Ｐと同一の距離となる静止点Ｑに対応する第１撮像画像上の点Ｑ１と第２撮像画像上点Ｑ２とを第１撮像画像及び第２撮像画像から抽出する。抽出した点Ｑ１，Ｑ２を用いて、モーションステレオの手法によって、静止点Ｑと車両との間の距離と算出し、算出した距離を移動体Ｍと車両との間の距離として決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラによって取得した車両周辺の撮像画像を基に、該撮像画像中の移動物体の距離を測定する装置に関する。
【背景技術】
【０００２】
車両の走行支援等を目的として、車両前部等に搭載される車載カメラによって車両周辺の撮像画像を取得し、その撮像画像を基に、車両の外部の静止物体に対する自車両の運動（車載カメラの運動）を把握したり、車両の外部の物体と自車両との距離を把握する技術が従来より知られている。
【０００３】
例えば特許文献１には、単一の車載カメラによって互いに異なる時刻で取得された２つの撮像画像を基に、道路平面に対する自車両の運動を把握する技術が開示されている。
【０００４】
また、例えば特許文献２には、単一の車載カメラによって互いに異なる時刻で取得された２つの撮像画像中の同一物体の距離（自車両との距離）を複数種類の値に仮定し、これらの各値の距離のうち、該距離と、一方の撮像画像とから推定される他方の撮像画像中での該物体の位置（これは互いに異なる時刻の２つの撮像画像をステレオ画像と見なして推定される）が、該他方の撮像画像中での該物体の実際位置に一致する距離を、該物体の距離として決定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００３−５１５８２７号公報
【特許文献２】特開２００６−３４９５５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両の走行支援技術において、車両とその外部の物体との接触を回避するための警報や車両の制動制御等を適切に行なうためには、一般に、車両の外部に存在する歩行者等の移動体（車両が走行する路面に対して移動する物体）と自車両との距離を適宜把握することが必要となる。
【０００７】
ここで、車載カメラによる撮像画像を利用した測距技術としては、車両に２台の車載カメラを搭載した場合には、それらの車載カメラによって同時に取得される２つの撮像画像（ステレオ画像）から三角測量の手法によって、車両の外部の物体の距離を測定する技術が一般に知られている。
【０００８】
但し、この測距技術では、２台の車載カメラを必要とするために、これらの車載カメラを含めた装置が高価なものとなり、コスト的に不利なものとなりやすい。また、物体の距離等を精度よく認識するためには、２台の車載カメラの光軸の向きや位置関係を高精度に設定しておく必要があるので、それらの車載カメラの組付け作業に手間がかかりやすい。
【０００９】
従って、単一の車載カメラによって時系列的に取得される撮像画像を基に、車両の外部の移動体の距離を測定し得る技術が望まれる。
【００１０】
この場合、前記特許文献１、２に見られる如き従来の技術は、車両の運動や、車両からの物体の距離を把握するために用いる物体の撮像画像が、路面に対して静止した静止物体であることを前提とする技術である。このため、前記特許文献１、２に見られる如き従来の技術は、車両が走行する路面に対して移動する移動体の距離を、単一の車載カメラによって取得される撮像画像から測定することができないものとなっていた。
【００１１】
本発明はかかる背景に鑑みてなされたものであり、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできる測距装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の車載カメラを用いた測距装置は、２つの態様があり、その第１の態様は、車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第１撮像画像及び第２撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点を前記第１撮像画像及び第２撮像画像から抽出する静止特徴点抽出手段と、前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする。
【００１３】
かかる第１の態様の本発明によれば、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータが前記カメラ運動計測手段により計測される。該カメラ運動パラメータは、車載カメラの並進運動の移動方向（車載カメラの基準点の移動方向）と該車載カメラの姿勢の角度変化量とを特定し得るパラメータであればよく、例えば、該移動方向を示す並進ベクトルと、該角度変化量による回転変換を表す回転行列とを用いることができる。
【００１４】
また、前記第１撮像画像において、車両との間の距離を測定しようとする移動体の路面に対する接地点を該第１撮像画像に投影してなる画像上移動体接地点が前記画像上移動体接地点特定手段によって特定される。
【００１５】
さらに、前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第１撮像画像及び第２撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点が、前記静止特徴点抽出手段によって前記第１撮像画像及び第２撮像画像から抽出される。
【００１６】
ここで、各撮像画像から抽出される上記静止特徴点は、換言すれば、前記路面に対して静止した実際の物体に含まれる、ある１つの点（実空間上の点）を、各撮像画像に投影してなる点であり、且つ、各撮像画像において、ある特徴（輝度成分やエッジ形状等の特徴）を有する点であり、且つ、該静止特徴点に対応する実際の物体上での点と前記車両との距離が、前記特定された画像上移動体接地点に対応する前記移動体の実際の接地点の距離（前記車両との距離）と同一になるような各撮像画像上の点を意味する。なお、前記路面に対して静止した物体は、路面と異なる物体である必要はなく、該路面そのものであってもよい。
【００１７】
そして、このような静止特徴点が、その特徴などに基づいて、第１撮像画像と第２撮像画像との両方から抽出される。
【００１８】
補足すると、車両に対する車載カメラの搭載位置及び姿勢はあらかじめ定まっているので、第１撮像画像における上記静止特徴点は、例えば、該第１撮像画像上で前記移動体接地点を通って所定の方向（車両に対する車載カメラの搭載位置及び姿勢に応じて規定される方向）に延在する直線上に存在する路面上の特徴点（路面に含まれる特徴点）として抽出することが可能である。そして、この場合、第２撮像画像における上記静止特徴点は、例えば特徴点マッチングの手法によって、第２撮像画像から抽出することが可能である。
【００１９】
次いで、前記移動体距離算出手段の処理が実行され、前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離が算出される。
【００２０】
すなわち、第１撮像画像と第２撮像画像とをステレオ画像として用いるモーションステレオの手法によって、これらの撮像画像における静止特徴点に対応する実空間上の点と前記車両との間の距離が算出される。
【００２１】
この場合、前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差がステレオ画像における視差に相当するものとして使用されることとなる。また、第１撮像画像及び第２撮像画像のそれぞれの撮像時刻における前記車載カメラ間の相対的な位置及び姿勢関係が、前記計測されたカメラ運動パラメータとに基づいて把握され、その把握される位置及び姿勢関係が、ステレオ画像における２台のカメラ間の相対的な位置及び姿勢関係に相当するものとして使用されることとなる。
【００２２】
ここで、静止特徴点に対応する実空間上の点は、路面に対して静止した点であるので、撮像時刻が異なる第１撮像画像及び第２撮像画像から、モーションステレオの手法によって、該点と、車両との間の距離を適切に算出することができる。
【００２３】
そして、該静止特徴点に対応する実空間上の点は、前記車両との間の距離が、前記第１撮像画像の撮像時刻において、前記移動体の接地点と前記車両との間の距離に一致するような点である。従って、該静止特徴点に対応する実空間上の点と前記車両との間の距離をモーションステレオの手法によって算出することによって、前記第１撮像画像の撮像時刻における前記移動体の接地点と車両との間の距離、すなわち、該移動体と車両との間の距離を間接的に測定できることとなる。
【００２４】
従って、第１の態様の本発明によれば、第１撮像画像の撮像時刻における前記移動体の接地点と前記車両との間の距離を、前記静止特徴点に対応する実空間上の静止点と車両との間の距離に置き換えて、該静止特徴点に対応する実空間上の静止点と車両との間の距離をモーションステレオの手法により算出することによって、該移動体と車両との間の距離が間接的に測定されることとなる。
【００２５】
これにより、第１の態様の本発明によれば、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできる。
【００２６】
次に、第２の態様の本発明は、車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、前記第１撮像画像における前記移動体が存在する路面と前記第２撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列を前記計測されたカメラ運動パラメータを用いて算出する投影行列算出手段と、前記第１撮像画像における前記特定された画像上移動体接地点を、前記算出された投影行列により前記第２撮像画像上の点に変換してなる変換接地点を算出する変換接地点算出手段と、前記第１撮像画像における前記画像上移動体接地点の位置と前記第２撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする。
【００２７】
かかる第２の態様の本発明によれば、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータが、前記第１の態様と同様に前記カメラ運動計測手段により計測される。
【００２８】
また、前記第１撮像画像において、車両との間の距離を測定しようとする移動体の路面に対する接地点を該第１撮像画像に投影してなる画像上移動体接地点が、第１の態様と同様に前記画像上移動体接地点特定手段によって特定される。
【００２９】
さらに、前記第１撮像画像における前記移動体が存在する路面と前記第２撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列（ホモグラフィ行列）が、前記投影行列算出手段によって算出される。
【００３０】
ここで、前記投影行列（ホモグラフィ行列）は、換言すれば、第１撮像画像における路面の任意の点の該第１撮像画像での位置と、それに対応する第２撮像画像における路面上の点の該第２撮像画像での位置との間の座標変換を行なう行列である。
【００３１】
このような投影行列は、第１撮像画像の撮像時刻における車載カメラと第２撮像画像の撮像時刻における車載カメラとの間の相対的な位置、姿勢及び路面の法線ベクトルに依存するので、前記計測されたカメラ運動パラメータを用いることで算出することができる。例えば、後述する式（１）により投影行列を算出することができる。
【００３２】
次いで、前記算出された投影行列により前記第２撮像画像上の点に変換してなる変換接地点が、前記変換接地点算出手段によって算出される。このように算出される変換接地点は、第１撮像画像の撮像時刻において前記移動体の接地点となる路面上の点（路面に含まれる点）を、第２撮像画像の撮像時刻において該撮像画像に投影してなる点の推定位置を示すものとしての意味を持つ。
【００３３】
次いで、前記移動体距離算出手段の処理が実行され、前記第１撮像画像における前記画像上移動体接地点の位置と前記第２撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離が算出される。
【００３４】
すなわち、第１撮像画像と第２撮像画像とをステレオ画像として用いるモーションステレオの手法によって、第１撮像画像における画像上移動体接地点と第２撮像画像における変換接地点とに対応する実空間上の点（第１撮像画像の撮像時刻において前記移動体の接地点となる路面上の静止点）と前記車両との間の距離が算出される。
【００３５】
この場合、前記第１撮像画像における画像上移動体接地点に位置と、前記第２撮像画像における変換接地点の位置との間の位置偏差がステレオ画像における視差に相当するものとして使用されることとなる。また、前記第１の態様と同様に、第１撮像画像及び第２撮像画像のそれぞれの撮像時刻における前記車載カメラ間の相対的な位置及び姿勢関係が、前記計測されたカメラ運動パラメータとに基づいて把握され、その把握される位置及び姿勢関係が、ステレオ画像における２台のカメラ間の相対的な位置及び姿勢関係に相当するものとして使用されることとなる。
【００３６】
ここで、前記画像上移動体接地点及び変換接地点に対応する実空間上の点は、路面上の点（路面に含まれる点）であるので、撮像時刻が異なる第１撮像画像及び第２撮像画像から、モーションステレオの手法によって、該点と、車両との間の距離を適切に算出することができる。
【００３７】
そして、前記画像上移動体接地点及び変換接地点に対応する実空間上の点は、第１撮像画像の撮像時刻において前記移動体の接地点となる点であるので、該画像上移動体接地点及び変換接地点に対応する実空間上の点と前記車両との間の距離をモーションステレオの手法によって算出することによって、前記第１撮像画像の撮像時刻における前記移動体の接地点と車両との間の距離、すなわち、該移動体と車両との間の距離を間接的に測定できることとなる。
【００３８】
従って、第２の態様の本発明によれば、第１撮像画像の撮像時刻において前記移動体の接地点となる路面上の点と車両との間の距離をモーションステレオの手法により算出することによって、該移動体と車両との間の距離が間接的に測定されることとなる。
【００３９】
これにより、第２の態様の本発明によれば、第１の態様と同様に、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできることとなる。
【００４０】
さらに、第２の態様の本発明によれば、第１撮像画像における画像上移動体接地点に対応する第２撮像画像における点としての変換接地点は、第２撮像画像における探索処理を必要とすることなく決定される。このため、第２撮像画像における変換接地点に相当する点及びその周辺の画像が格別な特徴を持たないような場合、あるいは、該変換接地点が第２撮像画像上で他の物体の背後に隠れてしまうような場合であっても、第１撮像画像画像における画像上移動体接地点に対応する第２撮像画像における点としての変換接地点を確実に特定できることとなる。
【００４１】
ひいては、高いロバスト性で安定に、第１撮像画像における画像上移動体接地点と、それに対応する第２撮像画像における点としての変換接地点との組を取得することができる。その結果、高いロバスト性で安定に、前記移動体と車両との距離を測定できることとなる。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１実施形態における測距装置の構成を示すブロック図。
【図２】図１に示す演算処理ユニットの処理を説明するための図。
【図３】車載カメラによる撮像画像の例を示す図。
【図４】第１実施形態の測距装置による測定データを示す図。
【図５】本発明の第２実施形態における測距装置の構成を示すブロック図。
【図６】図５に示す演算処理ユニットの処理を説明するための図。
【図７】第２実施形態の測距装置による測定データを示す図。
【発明を実施するための形態】
【００４３】
［第１実施形態］
本発明の第１実施形態を図１〜図４を参照して説明する。
【００４４】
図１を参照して、本実施形態の測距装置１は、車両（図示省略）に搭載されたものであり、車載カメラ２と、演算処理ユニット３とを備える。
【００４５】
車載カメラ２は、車両の周辺、例えば車両の前方を監視するために車両の前部に搭載されており、車両前方の画像を撮像する。この車載カメラ２は、ＣＣＤカメラ等により構成され、撮像画像の画像信号を生成して出力する。なお、撮像画像は、カラー画像、モノトーン画像のいずれであってもよい。また、車載カメラ２は、車両の後方又は側方の画像を撮像するカメラであってもよい。
【００４６】
演算処理ユニット３は、図示を省略するＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットであり、車載カメラ２で生成された画像信号が入力されると共に、図示しない車速センサで検出された車両の車速が入力される。
【００４７】
この演算処理ユニット３は、実装されたプログラムを実行することによって実現される機能として、画像取得部４、カメラ運動推定部５、画像上移動体接地点特定部６、第１画像側路面静止点探索部７、第２画像側路面静止点探索部８、及び移動体距離算出部９を備える。該演算処理ユニット３は、所定の演算処理周期でこれらの各機能部の処理を逐次実行することによって、車載カメラ２の撮像画像中に含まれる所定種類の移動体の自車両との間の距離（車両の進行方向の距離）を逐次測定する。
【００４８】
以下に、演算処理ユニット３の各機能部の処理を含めて、該演算処理ユニット３の全体処理の詳細を説明する。
【００４９】
車載カメラ２は、演算処理ユニット３から所定の演算処理周期で指示されるタイミングで車両前方の画像を撮像する。そして、その撮像により生成された画像信号が、車載カメラ２から演算処理ユニット３の画像取得部４に逐次取り込まれる。この画像取得部４は、車載カメラ２から入力されるアナログ信号である画像信号（各画素毎の画像信号）をデジタルデータに変換し、図示しない画像メモリに記憶保持する。
【００５０】
この場合、車載カメラ２によって互いに異なる時刻（所定の演算処理周期の時間間隔毎の時刻）で撮像された２つの撮像画像が定期的に更新されつつ、画像メモリに記憶保持される。
【００５１】
以降の説明では、画像メモリに記憶保持される２つの撮像画像のうち、撮像時刻の遅い方の（最新の）撮像画像を第１撮像画像、撮像時刻の早い方の撮像画像（第１撮像画像よりも若干、早い時刻で撮像された撮像画像）を第２撮像画像という。そして、第１撮像画像及び第２撮像画像のそれぞれの撮像時刻を時刻t1、t2（t1＞t2）とする。
【００５２】
画像取得部４の処理によって画像メモリに記憶保持された２つの撮像画像（第１撮像画像、第２撮像画像）は、カメラ運動推定部５に与えられ、該カメラ運動推定部５の処理が実行される。
【００５３】
カメラ運動推定部５は、本発明におけるカメラ運動計測手段としての機能を有するものである。このカメラ運動推定部５は、与えられた２つの撮像画像から、例えば、Structure from Motion（以下ＳｆＭという）に基づく公知の手法を用いて、２つの撮像画像の撮像時刻t1，t2間の時間間隔における車載カメラ２の空間的な移動方向を示す並進ベクトルＴvと、該時間間隔における車載カメラ２の空間的な姿勢の角度変化量を示す回転行列Ｒとの組（Ｔv，Ｒ）を、該時間間隔における車載カメラ２の運動（並進運動及び回転運動）を表すカメラ運動パラメータとして算出する。
【００５４】
図２を参照して、上記並進ベクトルＴvは、撮像時刻t1での車載カメラ２の光学中心Ｃ１と撮像時刻t2での車載カメラ２の光学中心Ｃ２とを結ぶ直線と同方向のベクトルであり、回転行列Ｒは、撮像時刻t1での車載カメラ２のカメラ座標系（時刻t1でのＸＹＺ座標系）と、撮像時刻t2での車載カメラ２のカメラ座標系（時刻t2でのＸＹＺ座標系）との間の姿勢回転の座標変換を表す行列である。なお、カメラ座標系は、車載カメラ２に対して固定された座標系である。
【００５５】
これらの並進ベクトルＴvと回転行列Ｒとは、第１撮像画像における静止物体の特徴点と、第２撮像画像における該静止物体の特徴点とから得られるオプティカルフローに関するＳｆＭに基づく公知の手法（例えば、「Structure from Motion without Correspondence」／Frank Dellaert, Steven M.Seitz, Charles E.Thorpe, Sebastian Thrun／Computer Sience Department & Robotics Institute Canegie Mellon University, Pittsborgh PA 15213を参照）によって算出される。
【００５６】
なお、上記ＳｆＭ以外の手法を用いて、カメラ運動パラメータ（Ｔv，Ｒ）を求めるようにしてもよい。例えば、所謂、直接法（Direct Method）を用いてカメラ運動パラメータを算出するようにしてもよい。あるいは、ジャイロセンサー等のセンサの検出信号を用いてカメラ運動パラメータを求めるようにしてもよい。
【００５７】
また、画像取得部４の処理によって画像メモリに記憶保持された２つの撮像画像のうちの第１撮像画像が画像上移動体接地点特定部６と第１画像側路面静止点探索部７とに与えられ、該画像上移動体接地点特定部６及び第１画像側路面静止点探索部７の処理が順次実行される。
【００５８】
画像上移動体接地点特定部６は、本発明における画像上移動体接地点特定手段としての機能を有するものであり、与えられた第１撮像画像に、自車両との距離の測定対象とする所定種類の移動体（路面上を移動可能な所定種類の移動体）が含まれている場合に、該移動体を第１撮像画像から抽出する。そして、画像上移動体接地点特定部６は、第１撮像画像において、抽出した移動体の路面に対する接地点である画像上移動体接地点Ｐ（詳しくは、車両の外部の実空間における実際の移動体の接地点の第１撮像画像に対する投影点）を特定する。なお、上記路面は、車両の走行路の路面に限らず、歩道等の路面であってもよい。
【００５９】
さらに詳細には、本実施形態では、自車両との距離の測定対象とする所定種類の移動体は、例えば歩行者（人）である。そして、画像上移動体接地点特定部６は、第１撮像画像から、歩行者に特徴的な形状パターン等を有する画像部分を探索することで、該第１撮像画像に含まれる歩行者を抽出する。なお、撮像画像から、歩行者を探索する手法は種々様々な手法が公知となっており、その公知の手法を用いて第１撮像画像から歩行者を抽出するようにすればよい。
【００６０】
さらに画像上移動体接地点特定部６は、上記の如く抽出した第１撮像画像中の歩行者の実際の路面に対する接地点（図２に示す実空間上の点Ｐ。以降、実接地点Ｐという）を図２に示す如く第１撮像画像に投影してなる点Ｐ１を、該歩行者の画像上移動体接地点Ｐ１として特定する（第１撮像画像における画像上移動体接地点Ｐ１の位置を特定する）。この場合、例えば第１撮像画像中の歩行者の画像の最下点が該歩行者の画像上移動体接地点Ｐ１として特定される。
【００６１】
なお、歩行者の脚の先端部の画像が明瞭に得られないような場合には、例えば、該歩行者の体型が標準的な体型であると仮定して、第１撮像画像における該歩行者の頭部や肩部の位置から画像上移動体接地点Ｐ１の位置を推定するようにしてもよい。
【００６２】
図３は、車載カメラ２による撮像画像（第１撮像画像）の一例を示している。この撮像画像においては、四角枠で囲んだ領域Ａに歩行者Ｍの画像が存在する。この場合、図中の点Ｐ１が第１撮像画像における歩行者の画像上移動体接地点Ｐ１として特定される。
【００６３】
上記の如く特定された画像上移動体接地点Ｐ１は、画像上移動体接地点特定部６から第１画像側路面静止点探索部７に与えられ、該第１画像側路面静止点探索部７の処理が次に実行される。
【００６４】
第１画像側路面静止点探索部７は、画像取得部４から与えられた第１撮像画像において、自車両との距離が前記画像上移動体接地点Ｐ１が特定された歩行者の実接地点Ｐと同一の距離となり、且つ、路面に対して静止した静止物体に含まれる点（図２に例示する点Ｑ）を図２に示す如く第１撮像画像に投影してなる点Ｑ１（以下、第１画像側路面静止点Ｑ１という）を探索して抽出する。
【００６５】
より詳しくは、本実施形態では、実接地点Ｐが存在する路面そのものを上記静止物体として、第１撮像画像における該路面上で、自車両との距離が実接地点Ｐと同一の距離となる特徴点（より詳しくは、自車両との距離が実接地点Ｐと同一となる路面上のある点Ｑ（実空間上の点）を第１撮像画像に投影してなる点で、且つ、第１撮像画像上である特徴を有する点）を探索し、その探索した特徴点を第１画像側路面静止点Ｑ１として抽出する。
【００６６】
この場合、本実施形態では、車載カメラ２は、水平な路面上に車両が存在する状態において、撮像画像の横方向（カメラ座標系のＸ軸方向）が水平方向となると共に、車載カメラ２の光軸方向（カメラ座標系のＺ軸方向）が車両前方に向かって水平方向に延在するように車載に搭載されている。
【００６７】
このため、第１撮像画像において、自車両との距離が実接地点Ｐと同一の距離となる点は、基本的には、図２及び図３に示す如く、実接地点Ｐの投影点である画像上移動体接地点Ｐ１を通って水平方向に延在する直線Ｌa上に存在すると考えられる。
【００６８】
そこで、第１画像側路面静止点探索部７は、この直線Ｌａ上で路面上に存在する特徴点を探索する。例えば、図３に示す如く、路面の走行区分線（図３では白線）のエッジ点Ｑ１が、直線Ｌａ上の、走行区分線が存在すると予想される領域内で探索され、その探索されたエッジ点Ｑ１が、第１画像側路面静止点Ｑ１として抽出される。
【００６９】
なお、第１画像側路面静止点Ｑ１は、走行区分線のエッジ点に限らず、例えば、路面の右側もしくは左側の境界上の点などであってもよい。該第１画像側路面静止点Ｑ１は、自車両との距離が実接地点Ｐと同一の距離となる位置で路面に対して静止しており、且つ、第１撮像画像におけるその点及びその周辺の輝度成分や、色相成分、彩度成分、エッジ形状等の特徴に基づいて、他の点と区別して抽出し得る静止点であればよい。
【００７０】
以上の第１画像側路面静止点探索部７の処理によって抽出された第１画像側路面静止点Ｑ１の位置（第１撮像画像上での位置）及び該Ｑ１に関する特徴（例えばＱ１の周辺の輝度分布等）は、第１画像側路面静止点探索部７から第２画像側路面静止点探索部８に与えられる。また、第２画像側路面静止点探索部８には、画像取得部４から第２撮像画像が与えられると共に、カメラ運動推定部５からカメラ運動パラメータ（Ｔv，Ｒ）が与えられる。そして、第２画像側路面静止点探索部８の処理が次に実行される。
【００７１】
この第２画像側路面静止点探索部８は、第２撮像画像内において、前記第１画像側路面静止点Ｑ１に対応する特徴点（詳しくは、Ｑ１に対応する実際の路面上の点Ｑを第２撮像画像に投影してなる点）を、所謂、特徴点マッチングの手法によって探索し、その探索した特徴点を第２画像側路面静止点Ｑ２として抽出する。
【００７２】
例えば、第１撮像画像における第１画像側路面静止点Ｑ１の周辺の輝度成分やエッジ形状等の特徴とほぼ一致する点が第２撮像画像において探索され、その探索された点が第２画像側路面静止点Ｑ２として抽出される。
【００７３】
この場合、本実施形態では、第２画像側路面静止点探索部８は、上記の如く第２画像側路面静止点Ｑ２を抽出した後に、第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２に対応する実際の路面上の点Ｑ（以降、実路面静止点Ｑという）が路面に対して実際に静止した静止点であるか否かの判断（確認）も行う。そして、この判断結果が否定的となる場合には、先に抽出された第１撮像画像上の点Ｑ１とは異なる第１画像側路面静止点Ｑ１を前記直線Ｌａ上で探索して抽出する処理と、その新たに抽出されたＱ１に対応する第２撮像画像上の第２画像側路面静止点Ｑ２を探索して抽出する処理とが、それぞれ、第１画像側路面静止点探索部７と第２画像側路面静止点探索部８とにより改めて実行される。
【００７４】
上記判断は例えば次のように行なわれる。図２を参照して、第１撮像画像の撮像面におけるエピポール（光学中心Ｃ１，Ｃ２を結ぶ直線と該撮像面との交点）をＥＰ１、第２撮像画像の撮像面におけるエピポール（光学中心Ｃ１，Ｃ２を結ぶ直線と該撮像面との交点）をＥＰ２とおく。
【００７５】
この場合、実路面静止点Ｑが路面に対して実際に静止している点である場合には、その点を第１撮像画像及び第２撮像画像にそれぞれ投影してなる点Ｑ１，Ｑ２は、点Ｑ，Ｃ１，Ｃ２を含む平面であるエピポーラ平面上に存在するので、実路面静止点Ｑの第１撮像画像への投影点としての第１画像側路面静止点Ｑ１は、第２撮像画像側の点Ｃ２、Ｑ２、ＥＰ２を含むエピポーラ平面と第１撮像画像の撮像面との交線であるエピポーラ線Ｌep1上に存在するはずである。あるいは、実路面静止点Ｑの第２撮像画像への投影点としての第２画像側路面静止点Ｑ２は、第１撮像画像側の点Ｃ１、Ｑ１、ＥＰ１を含むエピポーラ平面と第２撮像画像の撮像面との交線であるエピポーラ線Ｌep2上に存在するはずである。
【００７６】
そこで、本実施形態では、第２画像側路面静止点探索部８は、上記判断処理においては、まず、カメラ運動推定部５から与えられたカメラ運動パラメータ（Ｔv，Ｒ）を基に、点Ｃ１，Ｃ２を通る直線と第２撮像画像の撮像面との交点としての前記エピポールＥＰ２を求める。
【００７７】
次いで、第２画像側路面静止点探索部８は、撮像時刻t2での車載カメラ２の光学中心Ｃ２と第２画像側路面静止点Ｑ２とエピポールＥＰ２との相互の位置関係から、点Ｃ１，Ｑ２，ＥＰ２を含むエピポール平面を求め、さらに、このエピポール平面と、第１撮像画像の撮像面との交線を、第１撮像画像におけるエピポーラ線Ｌep1として算出する。
【００７８】
そして、第２画像側路面静止点探索部８は、このエピポーラ線Ｌep1上に第１画像側路面静止点Ｑ１が存在するか否かを判断することによって、点Ｑ１，Ｑ２が同一のエピポーラ平面上に存在するか否かを判断する。これにより、第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２に対応する実路面静止点Ｑが路面に対して実際に静止した静止点であるか否かが判断（確認）されることとなる。
【００７９】
なお、撮像時刻t1での車載カメラ２の光学中心Ｃ１と、第１画像側路面静止点Ｑ１と、第１撮像画像におけるエピポールＥＰ１とを含むエピポーラ平面を求め、このエピポーラ平面と第２撮像画像の撮像面との交線としてのエピポーラ線Ｌep2上に第２画像側路面静止点Ｑ２が存在するか否かを判断することによって、点Ｑ１，Ｑ２が同一のエピポーラ平面上に存在するか否かを判断するようにしてもよく、つまりはエピポーラ拘束による関係から導かれればよい。
【００８０】
以上説明した第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の処理によって、図２に示す如く、撮像時刻が異なる第１撮像画像と第２撮像画像との２つの撮像画像において、路面上の同じ静止点（実路面静止点Ｑ）に対応する第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２が抽出されることとなる。
【００８１】
補足すると、本実施形態では、第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の処理によって、本発明における静止特徴点抽出手段が実現される。この場合、本実施形態では、第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２がそれぞれ本発明における静止特徴点に相当する。
【００８２】
第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の処理によって上記の如く抽出された第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２は、移動体距離算出部９に与えられる。また、移動体距離算出部９には、カメラ運動推定部５からカメラ運動パラメータ（Ｔv，Ｒ）が与えられると共に、図示しない車速センサで検出された車速が与えられる。そして、移動体距離算出部９の処理が次に実行される。
【００８３】
この移動体距離算出部９は、本発明における移動体距離算出手段としての機能を有するものであり、互いに異なる時刻t1，t2で撮像された第１撮像画像及び第２撮像画像をステレオ画像として用いるモーションステレオの手法によって、移動体接地点特定部６によって測定対象の移動体として抽出された歩行者Ｍと自車両との間の距離（以下、移動体距離という）を算出する。
【００８４】
ここで、図２を参照して、本実施形態では、第１撮像画像及び第２撮像画像において抽出される第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２に対応する実路面静止点Ｑは、第１撮像画像の撮像時刻t1において、自車両からの距離が、歩行者Ｍの実接地点Ｐと同じ距離の位置に存在する点であるので、撮像時刻t1での実路面静止点Ｑと自車両との間の距離が、該撮像時刻t1での歩行者Ｍと自車両との間の距離（移動体距離）に一致することとなる。そして、実路面静止点Ｑは、路面に対して静止した静止点（不動点）であるから、第１撮像画像及び第２撮像画像をステレオ画像として用いるモーションステレオの手法によって、時刻t1での実路面静止点Ｑと自車両との間の距離を測定できる。
【００８５】
そこで、本実施形態では、移動体距離算出部９は、第１撮像画像及び第２撮像画像をステレオ画像として用いて、撮像時刻t1での実路面静止点Ｑと自車両との間の距離を算出し、その算出した距離を歩行者Ｍの移動体距離として決定する。
【００８６】
具体的には、移動体距離算出部９は、与えられたカメラ運動パラメータ（Ｔv，Ｒ）と、車速の検出値とに基づいて、撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の相対的な位置及び姿勢関係を特定する。この場合、カメラ運動パラメータ（Ｔv，Ｒ）のうちの並進ベクトルＴvによって表される車載カメラ２の移動方向と車速の検出値とから撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の相対的な位置関係が特定される。また、カメラ運動パラメータ（Ｔv，Ｒ）のうちの回転行列Ｒによって、撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の相対的な姿勢関係（姿勢の角度変化量）が特定される。このように特定される撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の位置及び姿勢関係は、２台のステレオカメラの相互の位置及び姿勢関係に相当するものである。
【００８７】
そして、移動体距離算出部９は、このように特定した撮像時刻t1，t2の車載カメラ２の相対的な位置及び姿勢関係と、第１撮像画像上での第１画像側路面静止点Ｑ１と第２撮像画像上での第２画像側路面静止点Ｑ２との間の位置偏差（これはステレオ画像における視差に相当する）とから、モーションステレオの手法による公知の演算式によって、撮像時刻t1での実路面静止点Ｑと自車両との間の距離（車両の進行方向での距離）を算出し、その算出した距離を撮像時刻t1での歩行者Ｍ（移動体）の移動体距離として決定する。
【００８８】
なお、このように算出された移動体距離は、例えば、歩行者Ｍと自車両との将来の接触の可能性を判断したり、運転者に対する警報を行なうか否か、あるいは、歩行者Ｍとの接触を回避するための自車両の制動制御を行うか否か等を判断するために使用することができる。
【００８９】
以上が本実施形態における演算処理ユニット３が実行する処理の詳細である。かかる本実施形態によれば、自車両との距離を測定しようとする測定対象の移動体（歩行者Ｍ）の実接地点Ｐに対応する画像上移動体接地点Ｐ１が第１撮像画像において特定される。さらに、撮像時刻t1における自車両との距離が実接地点Ｐと同一となる実路面静止点Ｑを第１撮像画像及び第２撮像画像にそれぞれ投影してなる特徴点としての第１画像側路面静止点Ｑ１と第２画像側路面静止点Ｑ２とが、それぞれ第１撮像画像、第２撮像画像から抽出される。
【００９０】
そして、第１画像側路面静止点Ｑ１と第２画像側路面静止点Ｑ２との間の位置偏差と、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって実路面静止点Ｑと自車両との距離が算出され、この算出された距離が測定対象の移動体（歩行者Ｍ）の移動体距離として決定される。
【００９１】
従って、撮像時刻t1での移動体（歩行者Ｍ）の移動体距離を、実路面静止点Ｑと自車両との間の距離に置き換えることによって、モーションステレオの手法を適用し、該移動体距離が間接的に測定されることとなる。
【００９２】
これにより、本実施形態によれば、単一の車載カメラ２によって取得される撮像画像を基に、移動体と自車両との距離をモーションステレオの手法を用いて測定できることとなる。
【００９３】
かかる本実施形態の測距装置１による移動体距離の実測データの例を図４に示す。この実測データは、移動体としての歩行者Ｍの移動方向、移動速度及び車速を種々様々な値に設定して、本実施形態の演算処理ユニット３の処理によって算出した移動体距離の測定値と、実際の移動体距離（移動体距離の真値）との関係を示すものである。この場合、図中の実線ａ１が、測定値と真値とが一致する場合のラインを示しており、２つの二点鎖線ａ２，ａ３の間の範囲が測定値の望ましい許容範囲の例を示している。
【００９４】
図示の如く、多くの測定点は許容範囲内に収まり、実線ａ１の近辺に分布している。従って、本実施形態の手法によって、移動体距離を適切に測定できることが判る。
【００９５】
［第２実施形態］
次に、本発明の第２実施形態を図５〜図７を参照して説明する。なお、本実施形態では、前記第１実施形態と相違する部分を中心に説明し、第１実施形態と同一の構成及び処理については詳細な説明を省略する。
【００９６】
図５を参照して、本実施形態の測距装置１１は、第１実施形態と同様に、車載カメラ２と演算処理ユニット３とを備える。この場合、車載カメラ２は、第１実施形態のものと同じである。
【００９７】
一方、演算処理ユニット３は、第１実施形態のものと同様の電子回路ユニットであるが、実装されるプログラムにより実現される機能の一部が第１実施形態と相違する。
【００９８】
すなわち、本実施形態の演算処理ユニット３は、その機能として、第１実施形態と同じ処理を実行する画像取得部４、カメラ運動推定部５、画像上移動体接地点特定部６及び移動体距離算出部９を備える一方、第１実施形態における第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の代わりに、投影行列算出部１２及び変換接地点算出部１３を備える。
【００９９】
以下に、上記投影行列算出部１２及び変換接地点算出部１３の処理を中心に、本実施形態における演算処理ユニット３の処理を説明する。
【０１００】
本実施形態では、画像取得部４、カメラ運動推定部５及び画像上移動体接地点特定部６の処理が第１実施形態と同様に実行された後、投影行列算出部１２の処理が実行される。なお、投影行列算出部１２の処理は、移動体接地点特定部６の処理の前に、あるいは、該処理と並行して実行するようにしてもよい。
【０１０１】
この投影行列算出部１２は、本発明における投影行列算出手段としての機能を有するものであり、第１撮像画像における路面（平面）の画像を、第２撮像画像における路面（平面）の画像に変換する射影変換を表す投影行列（ホモグラフィ行列）Ｈを算出する。投影行列Ｈは、換言すれば、第１撮像画像における路面の任意の点の該第１撮像画像での位置と、それに対応する第２撮像画像における路面上の点の該第２撮像画像での位置との間の座標変換を行なう行列である。
【０１０２】
この投影行列Ｈは、第１撮像画像の撮像時刻t1での車載カメラ２のカメラ座標系（図６の時刻t1でのＸＹＺ座標系）で見た路面の法線方向の単位ベクトルを↑ｎ、第１撮像画像の撮像時刻t1での車載カメラ２の光学中心Ｃ１から第２撮像画像の撮像時刻t2での車載カメラ２の光学中心Ｃ２への移動ベクトル（Ｃ１に対するＣ２の位置ベクトル）を↑ｔv、撮像時刻t1での車載カメラ２の光学中心Ｃ１の路面からの高さ（以下、カメラ高という）をｄとおくと、これらの↑ｎ、↑ｔv及びｄと前記カメラ運動パラメータのうちの回転行列Ｒとの間に次式（１）の関係が成立する行列である。なお、式（１）の↑ｎ及び（↑ｎ／ｄ）は列ベクトル、↑ｔvは行ベクトルである。
【０１０３】
Ｈ＝Ｒ−（↑ｎ／ｄ）・↑tv ……（１）
そこで、投影行列算出部１２は、上記式（１）に基づいて投影行列Ｈを算出する。この場合、その算出を行なうために、投影行列算出部１２には、カメラ運動推定部５からカメラ運動パラメータ（Ｔv，Ｒ）が与えられると共に、図示しない車速センサにより検出された車速と、あらかじめメモリに記憶保持されたカメラ高ｄとが与えられる。
【０１０４】
なお、メモリに記憶保持されたカメラ高ｄの値は、車両の設計上の値（設計値）、あるいは、車載カメラ２のエイミング等の際に実測された値である。
【０１０５】
そして、本実施形態では、投影行列算出部１２は、与えられたカメラ運動パラメータ（Ｔv，Ｒ）のうちの並進ベクトルＴvと、車速の検出値とから、前記ベクトル↑ｔvを算出する。なお、この算出は、カメラ運動推定部５で行なうようにしてもよい。
【０１０６】
さらに、投影行列算出部１２は、上記ベクトル↑ｔvと、第１撮像画像の縦方向（図６の時刻t1でのカメラ座標系のＹ軸方向）が路面の法線方向に近似的に一致するものとしてあらかじめ決定された該法線方向の単位ベクトル↑ｎ（図６の時刻t1でのカメラ座標系のＹ軸方向成分以外の成分値が“０”となる単位ベクトル）と、与えられたカメラ高ｄと、与えられたカメラ運動パラメータ（Ｔv，Ｒ）のうちの回転行列Ｒとから、上記式（１）の右辺の演算を行なうことによって投影行列Ｈを算出する。
【０１０７】
なお、本実施形態では、路面の法線方向が第１撮像画像の縦方向（カメラ座標系のＹ軸方向）に近似的に一致するものとして上記単位ベクトル↑ｎを決定したが、車両のピッチ角（路面に対するピッチング方向の傾斜角）を計測する手段を車両に備えている場合には、路面の法線方向の精度をより一層高めるために、例えば、計測されたピッチ角だけカメラ座標系のＹ軸方向に対してピッチング方向（Ｘ軸周り方向）に傾いた方向を路面の法線方向として、上記単位ベクトル↑ｎを決定するようにしてもよい。この場合、車両のピッチ角の計測は、公知の手法等によって行なえばよい。
【０１０８】
以上説明した投影行列算出部１２の処理によって算出された投影行列Ｈは、変換接地点算出部１３に与えられる。また、変換接地点算出部１３には画像上移動体接地点特定部６から前記した如く特定された画像上移動体接地点Ｐ１が与えられる。そして、該変換接地点算出部１３の処理が次に実行される。
【０１０９】
この変換接地点算出部１３は、本発明における変換接地点算出手段としての機能を有するものであり、与えられた移動体接地点Ｐ１を第２撮像画像上の点Ｐ２に変換する。この場合、具体的には、変換接地点算出部１３は、次式（２）に示す如く、与えられた移動体接地点Ｐ１の位置（第１撮像画像上での位置）に、与えられた投影行列Ｈを乗じることによって、移動体接地点Ｐ１に対応する第２撮像画像上での点としての変換接地点Ｐ２の位置を算出する。
【０１１０】
Ｐ２＝Ｈ・Ｐ１ ……（２）
この演算は、換言すれば、第１撮像画像の撮像時刻t1において、移動体接地点Ｐ１として第１撮像画像に投影された路面上の実接地点Ｐ（静止物体である路面に含まれる点）を、第２撮像画像の撮像時刻t2において該第２撮像画像に投影してなる点Ｐ２の位置に変換する演算である。
【０１１１】
この演算により、撮像時刻t1における移動体（歩行者Ｍ）の実接地点Ｐが、撮像時刻t2における第２撮像画像において格別な特徴を有しないような点となっていたり、あるいは、該第２撮像画像において歩行者Ｍの脚等、他の物体の背後に隠れてしまうような点となっていても、第１撮像画像における画像上移動体接地点Ｐ１に対応する実接地点Ｐの第２撮像画像への投影点としての変換接地点Ｐ２の位置を特定できることとなる。
【０１１２】
本実施形態では、画像上移動体接地点特定部６により特定された画像上移動体接地点Ｐ１の位置（第１撮像画像上での位置）と、変換接地点算出部１３により上記の如く算出された変換接地点Ｐ２の位置（第２撮像画像上での位置）とが第１実施形態における点Ｑ１，Ｑ２の代わりに、移動体距離算出部９に与えられる。
【０１１３】
そして、該移動体距離算出部９においては、前記第１実施形態と同様に、移動体接地点Ｐ１と変換接地点Ｐ２との間の位置偏差と、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって撮像時刻t1での歩行者Ｍの実接地点Ｐと自車両との距離が算出され、この算出された距離が測定対象の歩行者Ｍ（移動体）の移動体距離として決定される。この場合、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係は、第１実施形態と同様に、カメラ運動パラメータ（Ｔv，Ｒ）と車速の検出値とに基づき特定される。
【０１１４】
本実施形態では、以上説明した以外の演算処理ユニット３の処理は、前記第１実施形態と同じである。かかる本実施形態によれば、自車両との距離を測定しようとする測定対象の移動体（歩行者Ｍ）の実接地点Ｐを第１撮像画像に投影してなる移動体接地点Ｐ１が、該第１撮像画像において特定され、この移動体接地点Ｐ１を投影行列Ｈにより変換することによって、実接地点Ｐを第２撮像画像に投影してなる点の推定値としての変換接地点Ｐ２が算出される。
【０１１５】
そして、移動体接地点Ｐ１と変換接地点Ｐ２との間の位置偏差と、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって実接地点Ｐと自車両との距離が算出され、この算出された距離が測定対象の移動体（歩行者Ｍ）の移動体距離として決定される。
【０１１６】
従って、撮像時刻t1での移動体（歩行者Ｍ）の移動体距離を、撮像時刻t1，t2の間の期間で路面に対して静止し、且つ、撮像時刻t1で実接地点Ｐに一致するような点と、自車両との間の距離に置き換えることによって、モーションステレオの手法を適用し、該移動体距離が間接的に測定されることとなる。
【０１１７】
これにより、本実施形態によれば、第１実施形態と同様に、単一の車載カメラ２によって取得される撮像画像を基に、移動体と自車両との距離をモーションステレオの手法を用いて測定できることとなる。
【０１１８】
加えて、本実施形態では、第１撮像画像における画像上移動体接地点Ｐ１に対応する実接地点Ｐを第２撮像画像に投影してなる点の推定値としての変換接地点Ｐ２は、第２撮像画像内で該変換接地点Ｐ２に相当する点を探索する処理を必要とすることなく前記式（２）の演算によって決定できる。
【０１１９】
従って、第２撮像画像における該変換接地点Ｐ２及びその周辺での画像の輝度成分等が特徴を持たないような場合や、第２撮像画像上で該変換接地点Ｐ２が、他の物体の背後に隠れてしまうような場合であっても、該変換接地点Ｐ２を特定できることとなる。
【０１２０】
従って、第１撮像画像での画像上移動体接地点Ｐ１を特定すれば、それに対応する第２撮像画像上の変換接地点Ｐ２を確実に特定できることとなる。ひいては、高いロバスト性で安定に移動体（歩行者Ｍ）と自車両との距離を測定できることとなる。
【０１２１】
本実施形態の測距装置１１による移動体距離の実測データの例を図７に示す。この実測データは、図４に示したものと同様に、移動体としての歩行者Ｍの移動方向、移動速度及び車速を種々様々な値に設定して、本実施形態の演算処理ユニット３の処理によって算出した移動体距離の測定値と、実際の移動体距離（移動体距離の真値）との関係を示すものである。この場合、図中の実線ａ１、二点鎖線ａ２，ａ３は、第１実施形態のものと同じである。
【０１２２】
図示の如く、ほとんどの測定点が許容範囲内に収まり、しかも、実線ａ１に対する分散が十分に小さいものとなっている。従って、本実施形態の手法によって、移動体距離を高いロバスト性で精度よく測定できることが判る。
【０１２３】
なお、以上説明した第１及び第２実施形態では、自車両との間の距離を測定しようとする測定対象の移動体を歩行者Ｍとした場合を例にとって説明したが、測定対象の移動体は歩行者以外の移動体、例えば、他の車両や自転車、あるいは、人以外の動物であってもよい。
【０１２４】
また、前記第１及び第２実施形態では、２つの撮像画像のうち、撮像時刻の遅い方の撮像画像を第１撮像画像、撮像時刻の早い方の撮像画像を第２撮像画像として移動体と自車両との距離を測定する場合を例にとって説明したが、撮像時刻の早い方の撮像画像を第１撮像画像、撮像時刻の遅い方の撮像画像を第２撮像画像として、前記各実施形態と同様に移動体と自車両との距離を測定するようにしてもよい。
【符号の説明】
【０１２５】
１，１１…測距装置、２…車載カメラ、５…カメラ運動推定部（カメラ運動計測手段）、６…画像上移動体接地点特定部（画像上移動体接地点特定手段）、７…第１画像側路面静止点探索部（静止特徴点抽出手段）、８…第２画像側路面静止点探索部（静止特徴点抽出手段）、９…移動体距離算出部（移動体距離算出手段）、１２…投影行列算出部（投影行列算出手段）、１３…変換接地点算出部（変換接地点算出手段）。
【技術分野】
【０００１】
本発明は、車載カメラによって取得した車両周辺の撮像画像を基に、該撮像画像中の移動物体の距離を測定する装置に関する。
【背景技術】
【０００２】
車両の走行支援等を目的として、車両前部等に搭載される車載カメラによって車両周辺の撮像画像を取得し、その撮像画像を基に、車両の外部の静止物体に対する自車両の運動（車載カメラの運動）を把握したり、車両の外部の物体と自車両との距離を把握する技術が従来より知られている。
【０００３】
例えば特許文献１には、単一の車載カメラによって互いに異なる時刻で取得された２つの撮像画像を基に、道路平面に対する自車両の運動を把握する技術が開示されている。
【０００４】
また、例えば特許文献２には、単一の車載カメラによって互いに異なる時刻で取得された２つの撮像画像中の同一物体の距離（自車両との距離）を複数種類の値に仮定し、これらの各値の距離のうち、該距離と、一方の撮像画像とから推定される他方の撮像画像中での該物体の位置（これは互いに異なる時刻の２つの撮像画像をステレオ画像と見なして推定される）が、該他方の撮像画像中での該物体の実際位置に一致する距離を、該物体の距離として決定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００３−５１５８２７号公報
【特許文献２】特開２００６−３４９５５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両の走行支援技術において、車両とその外部の物体との接触を回避するための警報や車両の制動制御等を適切に行なうためには、一般に、車両の外部に存在する歩行者等の移動体（車両が走行する路面に対して移動する物体）と自車両との距離を適宜把握することが必要となる。
【０００７】
ここで、車載カメラによる撮像画像を利用した測距技術としては、車両に２台の車載カメラを搭載した場合には、それらの車載カメラによって同時に取得される２つの撮像画像（ステレオ画像）から三角測量の手法によって、車両の外部の物体の距離を測定する技術が一般に知られている。
【０００８】
但し、この測距技術では、２台の車載カメラを必要とするために、これらの車載カメラを含めた装置が高価なものとなり、コスト的に不利なものとなりやすい。また、物体の距離等を精度よく認識するためには、２台の車載カメラの光軸の向きや位置関係を高精度に設定しておく必要があるので、それらの車載カメラの組付け作業に手間がかかりやすい。
【０００９】
従って、単一の車載カメラによって時系列的に取得される撮像画像を基に、車両の外部の移動体の距離を測定し得る技術が望まれる。
【００１０】
この場合、前記特許文献１、２に見られる如き従来の技術は、車両の運動や、車両からの物体の距離を把握するために用いる物体の撮像画像が、路面に対して静止した静止物体であることを前提とする技術である。このため、前記特許文献１、２に見られる如き従来の技術は、車両が走行する路面に対して移動する移動体の距離を、単一の車載カメラによって取得される撮像画像から測定することができないものとなっていた。
【００１１】
本発明はかかる背景に鑑みてなされたものであり、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできる測距装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の車載カメラを用いた測距装置は、２つの態様があり、その第１の態様は、車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第１撮像画像及び第２撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点を前記第１撮像画像及び第２撮像画像から抽出する静止特徴点抽出手段と、前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする。
【００１３】
かかる第１の態様の本発明によれば、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータが前記カメラ運動計測手段により計測される。該カメラ運動パラメータは、車載カメラの並進運動の移動方向（車載カメラの基準点の移動方向）と該車載カメラの姿勢の角度変化量とを特定し得るパラメータであればよく、例えば、該移動方向を示す並進ベクトルと、該角度変化量による回転変換を表す回転行列とを用いることができる。
【００１４】
また、前記第１撮像画像において、車両との間の距離を測定しようとする移動体の路面に対する接地点を該第１撮像画像に投影してなる画像上移動体接地点が前記画像上移動体接地点特定手段によって特定される。
【００１５】
さらに、前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第１撮像画像及び第２撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点が、前記静止特徴点抽出手段によって前記第１撮像画像及び第２撮像画像から抽出される。
【００１６】
ここで、各撮像画像から抽出される上記静止特徴点は、換言すれば、前記路面に対して静止した実際の物体に含まれる、ある１つの点（実空間上の点）を、各撮像画像に投影してなる点であり、且つ、各撮像画像において、ある特徴（輝度成分やエッジ形状等の特徴）を有する点であり、且つ、該静止特徴点に対応する実際の物体上での点と前記車両との距離が、前記特定された画像上移動体接地点に対応する前記移動体の実際の接地点の距離（前記車両との距離）と同一になるような各撮像画像上の点を意味する。なお、前記路面に対して静止した物体は、路面と異なる物体である必要はなく、該路面そのものであってもよい。
【００１７】
そして、このような静止特徴点が、その特徴などに基づいて、第１撮像画像と第２撮像画像との両方から抽出される。
【００１８】
補足すると、車両に対する車載カメラの搭載位置及び姿勢はあらかじめ定まっているので、第１撮像画像における上記静止特徴点は、例えば、該第１撮像画像上で前記移動体接地点を通って所定の方向（車両に対する車載カメラの搭載位置及び姿勢に応じて規定される方向）に延在する直線上に存在する路面上の特徴点（路面に含まれる特徴点）として抽出することが可能である。そして、この場合、第２撮像画像における上記静止特徴点は、例えば特徴点マッチングの手法によって、第２撮像画像から抽出することが可能である。
【００１９】
次いで、前記移動体距離算出手段の処理が実行され、前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離が算出される。
【００２０】
すなわち、第１撮像画像と第２撮像画像とをステレオ画像として用いるモーションステレオの手法によって、これらの撮像画像における静止特徴点に対応する実空間上の点と前記車両との間の距離が算出される。
【００２１】
この場合、前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差がステレオ画像における視差に相当するものとして使用されることとなる。また、第１撮像画像及び第２撮像画像のそれぞれの撮像時刻における前記車載カメラ間の相対的な位置及び姿勢関係が、前記計測されたカメラ運動パラメータとに基づいて把握され、その把握される位置及び姿勢関係が、ステレオ画像における２台のカメラ間の相対的な位置及び姿勢関係に相当するものとして使用されることとなる。
【００２２】
ここで、静止特徴点に対応する実空間上の点は、路面に対して静止した点であるので、撮像時刻が異なる第１撮像画像及び第２撮像画像から、モーションステレオの手法によって、該点と、車両との間の距離を適切に算出することができる。
【００２３】
そして、該静止特徴点に対応する実空間上の点は、前記車両との間の距離が、前記第１撮像画像の撮像時刻において、前記移動体の接地点と前記車両との間の距離に一致するような点である。従って、該静止特徴点に対応する実空間上の点と前記車両との間の距離をモーションステレオの手法によって算出することによって、前記第１撮像画像の撮像時刻における前記移動体の接地点と車両との間の距離、すなわち、該移動体と車両との間の距離を間接的に測定できることとなる。
【００２４】
従って、第１の態様の本発明によれば、第１撮像画像の撮像時刻における前記移動体の接地点と前記車両との間の距離を、前記静止特徴点に対応する実空間上の静止点と車両との間の距離に置き換えて、該静止特徴点に対応する実空間上の静止点と車両との間の距離をモーションステレオの手法により算出することによって、該移動体と車両との間の距離が間接的に測定されることとなる。
【００２５】
これにより、第１の態様の本発明によれば、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできる。
【００２６】
次に、第２の態様の本発明は、車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、前記第１撮像画像における前記移動体が存在する路面と前記第２撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列を前記計測されたカメラ運動パラメータを用いて算出する投影行列算出手段と、前記第１撮像画像における前記特定された画像上移動体接地点を、前記算出された投影行列により前記第２撮像画像上の点に変換してなる変換接地点を算出する変換接地点算出手段と、前記第１撮像画像における前記画像上移動体接地点の位置と前記第２撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする。
【００２７】
かかる第２の態様の本発明によれば、前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータが、前記第１の態様と同様に前記カメラ運動計測手段により計測される。
【００２８】
また、前記第１撮像画像において、車両との間の距離を測定しようとする移動体の路面に対する接地点を該第１撮像画像に投影してなる画像上移動体接地点が、第１の態様と同様に前記画像上移動体接地点特定手段によって特定される。
【００２９】
さらに、前記第１撮像画像における前記移動体が存在する路面と前記第２撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列（ホモグラフィ行列）が、前記投影行列算出手段によって算出される。
【００３０】
ここで、前記投影行列（ホモグラフィ行列）は、換言すれば、第１撮像画像における路面の任意の点の該第１撮像画像での位置と、それに対応する第２撮像画像における路面上の点の該第２撮像画像での位置との間の座標変換を行なう行列である。
【００３１】
このような投影行列は、第１撮像画像の撮像時刻における車載カメラと第２撮像画像の撮像時刻における車載カメラとの間の相対的な位置、姿勢及び路面の法線ベクトルに依存するので、前記計測されたカメラ運動パラメータを用いることで算出することができる。例えば、後述する式（１）により投影行列を算出することができる。
【００３２】
次いで、前記算出された投影行列により前記第２撮像画像上の点に変換してなる変換接地点が、前記変換接地点算出手段によって算出される。このように算出される変換接地点は、第１撮像画像の撮像時刻において前記移動体の接地点となる路面上の点（路面に含まれる点）を、第２撮像画像の撮像時刻において該撮像画像に投影してなる点の推定位置を示すものとしての意味を持つ。
【００３３】
次いで、前記移動体距離算出手段の処理が実行され、前記第１撮像画像における前記画像上移動体接地点の位置と前記第２撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離が算出される。
【００３４】
すなわち、第１撮像画像と第２撮像画像とをステレオ画像として用いるモーションステレオの手法によって、第１撮像画像における画像上移動体接地点と第２撮像画像における変換接地点とに対応する実空間上の点（第１撮像画像の撮像時刻において前記移動体の接地点となる路面上の静止点）と前記車両との間の距離が算出される。
【００３５】
この場合、前記第１撮像画像における画像上移動体接地点に位置と、前記第２撮像画像における変換接地点の位置との間の位置偏差がステレオ画像における視差に相当するものとして使用されることとなる。また、前記第１の態様と同様に、第１撮像画像及び第２撮像画像のそれぞれの撮像時刻における前記車載カメラ間の相対的な位置及び姿勢関係が、前記計測されたカメラ運動パラメータとに基づいて把握され、その把握される位置及び姿勢関係が、ステレオ画像における２台のカメラ間の相対的な位置及び姿勢関係に相当するものとして使用されることとなる。
【００３６】
ここで、前記画像上移動体接地点及び変換接地点に対応する実空間上の点は、路面上の点（路面に含まれる点）であるので、撮像時刻が異なる第１撮像画像及び第２撮像画像から、モーションステレオの手法によって、該点と、車両との間の距離を適切に算出することができる。
【００３７】
そして、前記画像上移動体接地点及び変換接地点に対応する実空間上の点は、第１撮像画像の撮像時刻において前記移動体の接地点となる点であるので、該画像上移動体接地点及び変換接地点に対応する実空間上の点と前記車両との間の距離をモーションステレオの手法によって算出することによって、前記第１撮像画像の撮像時刻における前記移動体の接地点と車両との間の距離、すなわち、該移動体と車両との間の距離を間接的に測定できることとなる。
【００３８】
従って、第２の態様の本発明によれば、第１撮像画像の撮像時刻において前記移動体の接地点となる路面上の点と車両との間の距離をモーションステレオの手法により算出することによって、該移動体と車両との間の距離が間接的に測定されることとなる。
【００３９】
これにより、第２の態様の本発明によれば、第１の態様と同様に、単一の車載カメラによって取得される撮像画像を基に、車両の外部の移動体と自車両との間の距離を測定することできることとなる。
【００４０】
さらに、第２の態様の本発明によれば、第１撮像画像における画像上移動体接地点に対応する第２撮像画像における点としての変換接地点は、第２撮像画像における探索処理を必要とすることなく決定される。このため、第２撮像画像における変換接地点に相当する点及びその周辺の画像が格別な特徴を持たないような場合、あるいは、該変換接地点が第２撮像画像上で他の物体の背後に隠れてしまうような場合であっても、第１撮像画像画像における画像上移動体接地点に対応する第２撮像画像における点としての変換接地点を確実に特定できることとなる。
【００４１】
ひいては、高いロバスト性で安定に、第１撮像画像における画像上移動体接地点と、それに対応する第２撮像画像における点としての変換接地点との組を取得することができる。その結果、高いロバスト性で安定に、前記移動体と車両との距離を測定できることとなる。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１実施形態における測距装置の構成を示すブロック図。
【図２】図１に示す演算処理ユニットの処理を説明するための図。
【図３】車載カメラによる撮像画像の例を示す図。
【図４】第１実施形態の測距装置による測定データを示す図。
【図５】本発明の第２実施形態における測距装置の構成を示すブロック図。
【図６】図５に示す演算処理ユニットの処理を説明するための図。
【図７】第２実施形態の測距装置による測定データを示す図。
【発明を実施するための形態】
【００４３】
［第１実施形態］
本発明の第１実施形態を図１〜図４を参照して説明する。
【００４４】
図１を参照して、本実施形態の測距装置１は、車両（図示省略）に搭載されたものであり、車載カメラ２と、演算処理ユニット３とを備える。
【００４５】
車載カメラ２は、車両の周辺、例えば車両の前方を監視するために車両の前部に搭載されており、車両前方の画像を撮像する。この車載カメラ２は、ＣＣＤカメラ等により構成され、撮像画像の画像信号を生成して出力する。なお、撮像画像は、カラー画像、モノトーン画像のいずれであってもよい。また、車載カメラ２は、車両の後方又は側方の画像を撮像するカメラであってもよい。
【００４６】
演算処理ユニット３は、図示を省略するＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットであり、車載カメラ２で生成された画像信号が入力されると共に、図示しない車速センサで検出された車両の車速が入力される。
【００４７】
この演算処理ユニット３は、実装されたプログラムを実行することによって実現される機能として、画像取得部４、カメラ運動推定部５、画像上移動体接地点特定部６、第１画像側路面静止点探索部７、第２画像側路面静止点探索部８、及び移動体距離算出部９を備える。該演算処理ユニット３は、所定の演算処理周期でこれらの各機能部の処理を逐次実行することによって、車載カメラ２の撮像画像中に含まれる所定種類の移動体の自車両との間の距離（車両の進行方向の距離）を逐次測定する。
【００４８】
以下に、演算処理ユニット３の各機能部の処理を含めて、該演算処理ユニット３の全体処理の詳細を説明する。
【００４９】
車載カメラ２は、演算処理ユニット３から所定の演算処理周期で指示されるタイミングで車両前方の画像を撮像する。そして、その撮像により生成された画像信号が、車載カメラ２から演算処理ユニット３の画像取得部４に逐次取り込まれる。この画像取得部４は、車載カメラ２から入力されるアナログ信号である画像信号（各画素毎の画像信号）をデジタルデータに変換し、図示しない画像メモリに記憶保持する。
【００５０】
この場合、車載カメラ２によって互いに異なる時刻（所定の演算処理周期の時間間隔毎の時刻）で撮像された２つの撮像画像が定期的に更新されつつ、画像メモリに記憶保持される。
【００５１】
以降の説明では、画像メモリに記憶保持される２つの撮像画像のうち、撮像時刻の遅い方の（最新の）撮像画像を第１撮像画像、撮像時刻の早い方の撮像画像（第１撮像画像よりも若干、早い時刻で撮像された撮像画像）を第２撮像画像という。そして、第１撮像画像及び第２撮像画像のそれぞれの撮像時刻を時刻t1、t2（t1＞t2）とする。
【００５２】
画像取得部４の処理によって画像メモリに記憶保持された２つの撮像画像（第１撮像画像、第２撮像画像）は、カメラ運動推定部５に与えられ、該カメラ運動推定部５の処理が実行される。
【００５３】
カメラ運動推定部５は、本発明におけるカメラ運動計測手段としての機能を有するものである。このカメラ運動推定部５は、与えられた２つの撮像画像から、例えば、Structure from Motion（以下ＳｆＭという）に基づく公知の手法を用いて、２つの撮像画像の撮像時刻t1，t2間の時間間隔における車載カメラ２の空間的な移動方向を示す並進ベクトルＴvと、該時間間隔における車載カメラ２の空間的な姿勢の角度変化量を示す回転行列Ｒとの組（Ｔv，Ｒ）を、該時間間隔における車載カメラ２の運動（並進運動及び回転運動）を表すカメラ運動パラメータとして算出する。
【００５４】
図２を参照して、上記並進ベクトルＴvは、撮像時刻t1での車載カメラ２の光学中心Ｃ１と撮像時刻t2での車載カメラ２の光学中心Ｃ２とを結ぶ直線と同方向のベクトルであり、回転行列Ｒは、撮像時刻t1での車載カメラ２のカメラ座標系（時刻t1でのＸＹＺ座標系）と、撮像時刻t2での車載カメラ２のカメラ座標系（時刻t2でのＸＹＺ座標系）との間の姿勢回転の座標変換を表す行列である。なお、カメラ座標系は、車載カメラ２に対して固定された座標系である。
【００５５】
これらの並進ベクトルＴvと回転行列Ｒとは、第１撮像画像における静止物体の特徴点と、第２撮像画像における該静止物体の特徴点とから得られるオプティカルフローに関するＳｆＭに基づく公知の手法（例えば、「Structure from Motion without Correspondence」／Frank Dellaert, Steven M.Seitz, Charles E.Thorpe, Sebastian Thrun／Computer Sience Department & Robotics Institute Canegie Mellon University, Pittsborgh PA 15213を参照）によって算出される。
【００５６】
なお、上記ＳｆＭ以外の手法を用いて、カメラ運動パラメータ（Ｔv，Ｒ）を求めるようにしてもよい。例えば、所謂、直接法（Direct Method）を用いてカメラ運動パラメータを算出するようにしてもよい。あるいは、ジャイロセンサー等のセンサの検出信号を用いてカメラ運動パラメータを求めるようにしてもよい。
【００５７】
また、画像取得部４の処理によって画像メモリに記憶保持された２つの撮像画像のうちの第１撮像画像が画像上移動体接地点特定部６と第１画像側路面静止点探索部７とに与えられ、該画像上移動体接地点特定部６及び第１画像側路面静止点探索部７の処理が順次実行される。
【００５８】
画像上移動体接地点特定部６は、本発明における画像上移動体接地点特定手段としての機能を有するものであり、与えられた第１撮像画像に、自車両との距離の測定対象とする所定種類の移動体（路面上を移動可能な所定種類の移動体）が含まれている場合に、該移動体を第１撮像画像から抽出する。そして、画像上移動体接地点特定部６は、第１撮像画像において、抽出した移動体の路面に対する接地点である画像上移動体接地点Ｐ（詳しくは、車両の外部の実空間における実際の移動体の接地点の第１撮像画像に対する投影点）を特定する。なお、上記路面は、車両の走行路の路面に限らず、歩道等の路面であってもよい。
【００５９】
さらに詳細には、本実施形態では、自車両との距離の測定対象とする所定種類の移動体は、例えば歩行者（人）である。そして、画像上移動体接地点特定部６は、第１撮像画像から、歩行者に特徴的な形状パターン等を有する画像部分を探索することで、該第１撮像画像に含まれる歩行者を抽出する。なお、撮像画像から、歩行者を探索する手法は種々様々な手法が公知となっており、その公知の手法を用いて第１撮像画像から歩行者を抽出するようにすればよい。
【００６０】
さらに画像上移動体接地点特定部６は、上記の如く抽出した第１撮像画像中の歩行者の実際の路面に対する接地点（図２に示す実空間上の点Ｐ。以降、実接地点Ｐという）を図２に示す如く第１撮像画像に投影してなる点Ｐ１を、該歩行者の画像上移動体接地点Ｐ１として特定する（第１撮像画像における画像上移動体接地点Ｐ１の位置を特定する）。この場合、例えば第１撮像画像中の歩行者の画像の最下点が該歩行者の画像上移動体接地点Ｐ１として特定される。
【００６１】
なお、歩行者の脚の先端部の画像が明瞭に得られないような場合には、例えば、該歩行者の体型が標準的な体型であると仮定して、第１撮像画像における該歩行者の頭部や肩部の位置から画像上移動体接地点Ｐ１の位置を推定するようにしてもよい。
【００６２】
図３は、車載カメラ２による撮像画像（第１撮像画像）の一例を示している。この撮像画像においては、四角枠で囲んだ領域Ａに歩行者Ｍの画像が存在する。この場合、図中の点Ｐ１が第１撮像画像における歩行者の画像上移動体接地点Ｐ１として特定される。
【００６３】
上記の如く特定された画像上移動体接地点Ｐ１は、画像上移動体接地点特定部６から第１画像側路面静止点探索部７に与えられ、該第１画像側路面静止点探索部７の処理が次に実行される。
【００６４】
第１画像側路面静止点探索部７は、画像取得部４から与えられた第１撮像画像において、自車両との距離が前記画像上移動体接地点Ｐ１が特定された歩行者の実接地点Ｐと同一の距離となり、且つ、路面に対して静止した静止物体に含まれる点（図２に例示する点Ｑ）を図２に示す如く第１撮像画像に投影してなる点Ｑ１（以下、第１画像側路面静止点Ｑ１という）を探索して抽出する。
【００６５】
より詳しくは、本実施形態では、実接地点Ｐが存在する路面そのものを上記静止物体として、第１撮像画像における該路面上で、自車両との距離が実接地点Ｐと同一の距離となる特徴点（より詳しくは、自車両との距離が実接地点Ｐと同一となる路面上のある点Ｑ（実空間上の点）を第１撮像画像に投影してなる点で、且つ、第１撮像画像上である特徴を有する点）を探索し、その探索した特徴点を第１画像側路面静止点Ｑ１として抽出する。
【００６６】
この場合、本実施形態では、車載カメラ２は、水平な路面上に車両が存在する状態において、撮像画像の横方向（カメラ座標系のＸ軸方向）が水平方向となると共に、車載カメラ２の光軸方向（カメラ座標系のＺ軸方向）が車両前方に向かって水平方向に延在するように車載に搭載されている。
【００６７】
このため、第１撮像画像において、自車両との距離が実接地点Ｐと同一の距離となる点は、基本的には、図２及び図３に示す如く、実接地点Ｐの投影点である画像上移動体接地点Ｐ１を通って水平方向に延在する直線Ｌa上に存在すると考えられる。
【００６８】
そこで、第１画像側路面静止点探索部７は、この直線Ｌａ上で路面上に存在する特徴点を探索する。例えば、図３に示す如く、路面の走行区分線（図３では白線）のエッジ点Ｑ１が、直線Ｌａ上の、走行区分線が存在すると予想される領域内で探索され、その探索されたエッジ点Ｑ１が、第１画像側路面静止点Ｑ１として抽出される。
【００６９】
なお、第１画像側路面静止点Ｑ１は、走行区分線のエッジ点に限らず、例えば、路面の右側もしくは左側の境界上の点などであってもよい。該第１画像側路面静止点Ｑ１は、自車両との距離が実接地点Ｐと同一の距離となる位置で路面に対して静止しており、且つ、第１撮像画像におけるその点及びその周辺の輝度成分や、色相成分、彩度成分、エッジ形状等の特徴に基づいて、他の点と区別して抽出し得る静止点であればよい。
【００７０】
以上の第１画像側路面静止点探索部７の処理によって抽出された第１画像側路面静止点Ｑ１の位置（第１撮像画像上での位置）及び該Ｑ１に関する特徴（例えばＱ１の周辺の輝度分布等）は、第１画像側路面静止点探索部７から第２画像側路面静止点探索部８に与えられる。また、第２画像側路面静止点探索部８には、画像取得部４から第２撮像画像が与えられると共に、カメラ運動推定部５からカメラ運動パラメータ（Ｔv，Ｒ）が与えられる。そして、第２画像側路面静止点探索部８の処理が次に実行される。
【００７１】
この第２画像側路面静止点探索部８は、第２撮像画像内において、前記第１画像側路面静止点Ｑ１に対応する特徴点（詳しくは、Ｑ１に対応する実際の路面上の点Ｑを第２撮像画像に投影してなる点）を、所謂、特徴点マッチングの手法によって探索し、その探索した特徴点を第２画像側路面静止点Ｑ２として抽出する。
【００７２】
例えば、第１撮像画像における第１画像側路面静止点Ｑ１の周辺の輝度成分やエッジ形状等の特徴とほぼ一致する点が第２撮像画像において探索され、その探索された点が第２画像側路面静止点Ｑ２として抽出される。
【００７３】
この場合、本実施形態では、第２画像側路面静止点探索部８は、上記の如く第２画像側路面静止点Ｑ２を抽出した後に、第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２に対応する実際の路面上の点Ｑ（以降、実路面静止点Ｑという）が路面に対して実際に静止した静止点であるか否かの判断（確認）も行う。そして、この判断結果が否定的となる場合には、先に抽出された第１撮像画像上の点Ｑ１とは異なる第１画像側路面静止点Ｑ１を前記直線Ｌａ上で探索して抽出する処理と、その新たに抽出されたＱ１に対応する第２撮像画像上の第２画像側路面静止点Ｑ２を探索して抽出する処理とが、それぞれ、第１画像側路面静止点探索部７と第２画像側路面静止点探索部８とにより改めて実行される。
【００７４】
上記判断は例えば次のように行なわれる。図２を参照して、第１撮像画像の撮像面におけるエピポール（光学中心Ｃ１，Ｃ２を結ぶ直線と該撮像面との交点）をＥＰ１、第２撮像画像の撮像面におけるエピポール（光学中心Ｃ１，Ｃ２を結ぶ直線と該撮像面との交点）をＥＰ２とおく。
【００７５】
この場合、実路面静止点Ｑが路面に対して実際に静止している点である場合には、その点を第１撮像画像及び第２撮像画像にそれぞれ投影してなる点Ｑ１，Ｑ２は、点Ｑ，Ｃ１，Ｃ２を含む平面であるエピポーラ平面上に存在するので、実路面静止点Ｑの第１撮像画像への投影点としての第１画像側路面静止点Ｑ１は、第２撮像画像側の点Ｃ２、Ｑ２、ＥＰ２を含むエピポーラ平面と第１撮像画像の撮像面との交線であるエピポーラ線Ｌep1上に存在するはずである。あるいは、実路面静止点Ｑの第２撮像画像への投影点としての第２画像側路面静止点Ｑ２は、第１撮像画像側の点Ｃ１、Ｑ１、ＥＰ１を含むエピポーラ平面と第２撮像画像の撮像面との交線であるエピポーラ線Ｌep2上に存在するはずである。
【００７６】
そこで、本実施形態では、第２画像側路面静止点探索部８は、上記判断処理においては、まず、カメラ運動推定部５から与えられたカメラ運動パラメータ（Ｔv，Ｒ）を基に、点Ｃ１，Ｃ２を通る直線と第２撮像画像の撮像面との交点としての前記エピポールＥＰ２を求める。
【００７７】
次いで、第２画像側路面静止点探索部８は、撮像時刻t2での車載カメラ２の光学中心Ｃ２と第２画像側路面静止点Ｑ２とエピポールＥＰ２との相互の位置関係から、点Ｃ１，Ｑ２，ＥＰ２を含むエピポール平面を求め、さらに、このエピポール平面と、第１撮像画像の撮像面との交線を、第１撮像画像におけるエピポーラ線Ｌep1として算出する。
【００７８】
そして、第２画像側路面静止点探索部８は、このエピポーラ線Ｌep1上に第１画像側路面静止点Ｑ１が存在するか否かを判断することによって、点Ｑ１，Ｑ２が同一のエピポーラ平面上に存在するか否かを判断する。これにより、第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２に対応する実路面静止点Ｑが路面に対して実際に静止した静止点であるか否かが判断（確認）されることとなる。
【００７９】
なお、撮像時刻t1での車載カメラ２の光学中心Ｃ１と、第１画像側路面静止点Ｑ１と、第１撮像画像におけるエピポールＥＰ１とを含むエピポーラ平面を求め、このエピポーラ平面と第２撮像画像の撮像面との交線としてのエピポーラ線Ｌep2上に第２画像側路面静止点Ｑ２が存在するか否かを判断することによって、点Ｑ１，Ｑ２が同一のエピポーラ平面上に存在するか否かを判断するようにしてもよく、つまりはエピポーラ拘束による関係から導かれればよい。
【００８０】
以上説明した第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の処理によって、図２に示す如く、撮像時刻が異なる第１撮像画像と第２撮像画像との２つの撮像画像において、路面上の同じ静止点（実路面静止点Ｑ）に対応する第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２が抽出されることとなる。
【００８１】
補足すると、本実施形態では、第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の処理によって、本発明における静止特徴点抽出手段が実現される。この場合、本実施形態では、第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２がそれぞれ本発明における静止特徴点に相当する。
【００８２】
第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の処理によって上記の如く抽出された第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２は、移動体距離算出部９に与えられる。また、移動体距離算出部９には、カメラ運動推定部５からカメラ運動パラメータ（Ｔv，Ｒ）が与えられると共に、図示しない車速センサで検出された車速が与えられる。そして、移動体距離算出部９の処理が次に実行される。
【００８３】
この移動体距離算出部９は、本発明における移動体距離算出手段としての機能を有するものであり、互いに異なる時刻t1，t2で撮像された第１撮像画像及び第２撮像画像をステレオ画像として用いるモーションステレオの手法によって、移動体接地点特定部６によって測定対象の移動体として抽出された歩行者Ｍと自車両との間の距離（以下、移動体距離という）を算出する。
【００８４】
ここで、図２を参照して、本実施形態では、第１撮像画像及び第２撮像画像において抽出される第１画像側路面静止点Ｑ１及び第２画像側路面静止点Ｑ２に対応する実路面静止点Ｑは、第１撮像画像の撮像時刻t1において、自車両からの距離が、歩行者Ｍの実接地点Ｐと同じ距離の位置に存在する点であるので、撮像時刻t1での実路面静止点Ｑと自車両との間の距離が、該撮像時刻t1での歩行者Ｍと自車両との間の距離（移動体距離）に一致することとなる。そして、実路面静止点Ｑは、路面に対して静止した静止点（不動点）であるから、第１撮像画像及び第２撮像画像をステレオ画像として用いるモーションステレオの手法によって、時刻t1での実路面静止点Ｑと自車両との間の距離を測定できる。
【００８５】
そこで、本実施形態では、移動体距離算出部９は、第１撮像画像及び第２撮像画像をステレオ画像として用いて、撮像時刻t1での実路面静止点Ｑと自車両との間の距離を算出し、その算出した距離を歩行者Ｍの移動体距離として決定する。
【００８６】
具体的には、移動体距離算出部９は、与えられたカメラ運動パラメータ（Ｔv，Ｒ）と、車速の検出値とに基づいて、撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の相対的な位置及び姿勢関係を特定する。この場合、カメラ運動パラメータ（Ｔv，Ｒ）のうちの並進ベクトルＴvによって表される車載カメラ２の移動方向と車速の検出値とから撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の相対的な位置関係が特定される。また、カメラ運動パラメータ（Ｔv，Ｒ）のうちの回転行列Ｒによって、撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の相対的な姿勢関係（姿勢の角度変化量）が特定される。このように特定される撮像時刻t1での車載カメラ２と撮像時刻t2での車載カメラ２との間の位置及び姿勢関係は、２台のステレオカメラの相互の位置及び姿勢関係に相当するものである。
【００８７】
そして、移動体距離算出部９は、このように特定した撮像時刻t1，t2の車載カメラ２の相対的な位置及び姿勢関係と、第１撮像画像上での第１画像側路面静止点Ｑ１と第２撮像画像上での第２画像側路面静止点Ｑ２との間の位置偏差（これはステレオ画像における視差に相当する）とから、モーションステレオの手法による公知の演算式によって、撮像時刻t1での実路面静止点Ｑと自車両との間の距離（車両の進行方向での距離）を算出し、その算出した距離を撮像時刻t1での歩行者Ｍ（移動体）の移動体距離として決定する。
【００８８】
なお、このように算出された移動体距離は、例えば、歩行者Ｍと自車両との将来の接触の可能性を判断したり、運転者に対する警報を行なうか否か、あるいは、歩行者Ｍとの接触を回避するための自車両の制動制御を行うか否か等を判断するために使用することができる。
【００８９】
以上が本実施形態における演算処理ユニット３が実行する処理の詳細である。かかる本実施形態によれば、自車両との距離を測定しようとする測定対象の移動体（歩行者Ｍ）の実接地点Ｐに対応する画像上移動体接地点Ｐ１が第１撮像画像において特定される。さらに、撮像時刻t1における自車両との距離が実接地点Ｐと同一となる実路面静止点Ｑを第１撮像画像及び第２撮像画像にそれぞれ投影してなる特徴点としての第１画像側路面静止点Ｑ１と第２画像側路面静止点Ｑ２とが、それぞれ第１撮像画像、第２撮像画像から抽出される。
【００９０】
そして、第１画像側路面静止点Ｑ１と第２画像側路面静止点Ｑ２との間の位置偏差と、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって実路面静止点Ｑと自車両との距離が算出され、この算出された距離が測定対象の移動体（歩行者Ｍ）の移動体距離として決定される。
【００９１】
従って、撮像時刻t1での移動体（歩行者Ｍ）の移動体距離を、実路面静止点Ｑと自車両との間の距離に置き換えることによって、モーションステレオの手法を適用し、該移動体距離が間接的に測定されることとなる。
【００９２】
これにより、本実施形態によれば、単一の車載カメラ２によって取得される撮像画像を基に、移動体と自車両との距離をモーションステレオの手法を用いて測定できることとなる。
【００９３】
かかる本実施形態の測距装置１による移動体距離の実測データの例を図４に示す。この実測データは、移動体としての歩行者Ｍの移動方向、移動速度及び車速を種々様々な値に設定して、本実施形態の演算処理ユニット３の処理によって算出した移動体距離の測定値と、実際の移動体距離（移動体距離の真値）との関係を示すものである。この場合、図中の実線ａ１が、測定値と真値とが一致する場合のラインを示しており、２つの二点鎖線ａ２，ａ３の間の範囲が測定値の望ましい許容範囲の例を示している。
【００９４】
図示の如く、多くの測定点は許容範囲内に収まり、実線ａ１の近辺に分布している。従って、本実施形態の手法によって、移動体距離を適切に測定できることが判る。
【００９５】
［第２実施形態］
次に、本発明の第２実施形態を図５〜図７を参照して説明する。なお、本実施形態では、前記第１実施形態と相違する部分を中心に説明し、第１実施形態と同一の構成及び処理については詳細な説明を省略する。
【００９６】
図５を参照して、本実施形態の測距装置１１は、第１実施形態と同様に、車載カメラ２と演算処理ユニット３とを備える。この場合、車載カメラ２は、第１実施形態のものと同じである。
【００９７】
一方、演算処理ユニット３は、第１実施形態のものと同様の電子回路ユニットであるが、実装されるプログラムにより実現される機能の一部が第１実施形態と相違する。
【００９８】
すなわち、本実施形態の演算処理ユニット３は、その機能として、第１実施形態と同じ処理を実行する画像取得部４、カメラ運動推定部５、画像上移動体接地点特定部６及び移動体距離算出部９を備える一方、第１実施形態における第１画像側路面静止点探索部７及び第２画像側路面静止点探索部８の代わりに、投影行列算出部１２及び変換接地点算出部１３を備える。
【００９９】
以下に、上記投影行列算出部１２及び変換接地点算出部１３の処理を中心に、本実施形態における演算処理ユニット３の処理を説明する。
【０１００】
本実施形態では、画像取得部４、カメラ運動推定部５及び画像上移動体接地点特定部６の処理が第１実施形態と同様に実行された後、投影行列算出部１２の処理が実行される。なお、投影行列算出部１２の処理は、移動体接地点特定部６の処理の前に、あるいは、該処理と並行して実行するようにしてもよい。
【０１０１】
この投影行列算出部１２は、本発明における投影行列算出手段としての機能を有するものであり、第１撮像画像における路面（平面）の画像を、第２撮像画像における路面（平面）の画像に変換する射影変換を表す投影行列（ホモグラフィ行列）Ｈを算出する。投影行列Ｈは、換言すれば、第１撮像画像における路面の任意の点の該第１撮像画像での位置と、それに対応する第２撮像画像における路面上の点の該第２撮像画像での位置との間の座標変換を行なう行列である。
【０１０２】
この投影行列Ｈは、第１撮像画像の撮像時刻t1での車載カメラ２のカメラ座標系（図６の時刻t1でのＸＹＺ座標系）で見た路面の法線方向の単位ベクトルを↑ｎ、第１撮像画像の撮像時刻t1での車載カメラ２の光学中心Ｃ１から第２撮像画像の撮像時刻t2での車載カメラ２の光学中心Ｃ２への移動ベクトル（Ｃ１に対するＣ２の位置ベクトル）を↑ｔv、撮像時刻t1での車載カメラ２の光学中心Ｃ１の路面からの高さ（以下、カメラ高という）をｄとおくと、これらの↑ｎ、↑ｔv及びｄと前記カメラ運動パラメータのうちの回転行列Ｒとの間に次式（１）の関係が成立する行列である。なお、式（１）の↑ｎ及び（↑ｎ／ｄ）は列ベクトル、↑ｔvは行ベクトルである。
【０１０３】
Ｈ＝Ｒ−（↑ｎ／ｄ）・↑tv ……（１）
そこで、投影行列算出部１２は、上記式（１）に基づいて投影行列Ｈを算出する。この場合、その算出を行なうために、投影行列算出部１２には、カメラ運動推定部５からカメラ運動パラメータ（Ｔv，Ｒ）が与えられると共に、図示しない車速センサにより検出された車速と、あらかじめメモリに記憶保持されたカメラ高ｄとが与えられる。
【０１０４】
なお、メモリに記憶保持されたカメラ高ｄの値は、車両の設計上の値（設計値）、あるいは、車載カメラ２のエイミング等の際に実測された値である。
【０１０５】
そして、本実施形態では、投影行列算出部１２は、与えられたカメラ運動パラメータ（Ｔv，Ｒ）のうちの並進ベクトルＴvと、車速の検出値とから、前記ベクトル↑ｔvを算出する。なお、この算出は、カメラ運動推定部５で行なうようにしてもよい。
【０１０６】
さらに、投影行列算出部１２は、上記ベクトル↑ｔvと、第１撮像画像の縦方向（図６の時刻t1でのカメラ座標系のＹ軸方向）が路面の法線方向に近似的に一致するものとしてあらかじめ決定された該法線方向の単位ベクトル↑ｎ（図６の時刻t1でのカメラ座標系のＹ軸方向成分以外の成分値が“０”となる単位ベクトル）と、与えられたカメラ高ｄと、与えられたカメラ運動パラメータ（Ｔv，Ｒ）のうちの回転行列Ｒとから、上記式（１）の右辺の演算を行なうことによって投影行列Ｈを算出する。
【０１０７】
なお、本実施形態では、路面の法線方向が第１撮像画像の縦方向（カメラ座標系のＹ軸方向）に近似的に一致するものとして上記単位ベクトル↑ｎを決定したが、車両のピッチ角（路面に対するピッチング方向の傾斜角）を計測する手段を車両に備えている場合には、路面の法線方向の精度をより一層高めるために、例えば、計測されたピッチ角だけカメラ座標系のＹ軸方向に対してピッチング方向（Ｘ軸周り方向）に傾いた方向を路面の法線方向として、上記単位ベクトル↑ｎを決定するようにしてもよい。この場合、車両のピッチ角の計測は、公知の手法等によって行なえばよい。
【０１０８】
以上説明した投影行列算出部１２の処理によって算出された投影行列Ｈは、変換接地点算出部１３に与えられる。また、変換接地点算出部１３には画像上移動体接地点特定部６から前記した如く特定された画像上移動体接地点Ｐ１が与えられる。そして、該変換接地点算出部１３の処理が次に実行される。
【０１０９】
この変換接地点算出部１３は、本発明における変換接地点算出手段としての機能を有するものであり、与えられた移動体接地点Ｐ１を第２撮像画像上の点Ｐ２に変換する。この場合、具体的には、変換接地点算出部１３は、次式（２）に示す如く、与えられた移動体接地点Ｐ１の位置（第１撮像画像上での位置）に、与えられた投影行列Ｈを乗じることによって、移動体接地点Ｐ１に対応する第２撮像画像上での点としての変換接地点Ｐ２の位置を算出する。
【０１１０】
Ｐ２＝Ｈ・Ｐ１ ……（２）
この演算は、換言すれば、第１撮像画像の撮像時刻t1において、移動体接地点Ｐ１として第１撮像画像に投影された路面上の実接地点Ｐ（静止物体である路面に含まれる点）を、第２撮像画像の撮像時刻t2において該第２撮像画像に投影してなる点Ｐ２の位置に変換する演算である。
【０１１１】
この演算により、撮像時刻t1における移動体（歩行者Ｍ）の実接地点Ｐが、撮像時刻t2における第２撮像画像において格別な特徴を有しないような点となっていたり、あるいは、該第２撮像画像において歩行者Ｍの脚等、他の物体の背後に隠れてしまうような点となっていても、第１撮像画像における画像上移動体接地点Ｐ１に対応する実接地点Ｐの第２撮像画像への投影点としての変換接地点Ｐ２の位置を特定できることとなる。
【０１１２】
本実施形態では、画像上移動体接地点特定部６により特定された画像上移動体接地点Ｐ１の位置（第１撮像画像上での位置）と、変換接地点算出部１３により上記の如く算出された変換接地点Ｐ２の位置（第２撮像画像上での位置）とが第１実施形態における点Ｑ１，Ｑ２の代わりに、移動体距離算出部９に与えられる。
【０１１３】
そして、該移動体距離算出部９においては、前記第１実施形態と同様に、移動体接地点Ｐ１と変換接地点Ｐ２との間の位置偏差と、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって撮像時刻t1での歩行者Ｍの実接地点Ｐと自車両との距離が算出され、この算出された距離が測定対象の歩行者Ｍ（移動体）の移動体距離として決定される。この場合、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係は、第１実施形態と同様に、カメラ運動パラメータ（Ｔv，Ｒ）と車速の検出値とに基づき特定される。
【０１１４】
本実施形態では、以上説明した以外の演算処理ユニット３の処理は、前記第１実施形態と同じである。かかる本実施形態によれば、自車両との距離を測定しようとする測定対象の移動体（歩行者Ｍ）の実接地点Ｐを第１撮像画像に投影してなる移動体接地点Ｐ１が、該第１撮像画像において特定され、この移動体接地点Ｐ１を投影行列Ｈにより変換することによって、実接地点Ｐを第２撮像画像に投影してなる点の推定値としての変換接地点Ｐ２が算出される。
【０１１５】
そして、移動体接地点Ｐ１と変換接地点Ｐ２との間の位置偏差と、撮像時刻t1，t2の車載カメラ２の相互の相対的な位置及び姿勢関係とに基づいて、モーションステレオの手法によって実接地点Ｐと自車両との距離が算出され、この算出された距離が測定対象の移動体（歩行者Ｍ）の移動体距離として決定される。
【０１１６】
従って、撮像時刻t1での移動体（歩行者Ｍ）の移動体距離を、撮像時刻t1，t2の間の期間で路面に対して静止し、且つ、撮像時刻t1で実接地点Ｐに一致するような点と、自車両との間の距離に置き換えることによって、モーションステレオの手法を適用し、該移動体距離が間接的に測定されることとなる。
【０１１７】
これにより、本実施形態によれば、第１実施形態と同様に、単一の車載カメラ２によって取得される撮像画像を基に、移動体と自車両との距離をモーションステレオの手法を用いて測定できることとなる。
【０１１８】
加えて、本実施形態では、第１撮像画像における画像上移動体接地点Ｐ１に対応する実接地点Ｐを第２撮像画像に投影してなる点の推定値としての変換接地点Ｐ２は、第２撮像画像内で該変換接地点Ｐ２に相当する点を探索する処理を必要とすることなく前記式（２）の演算によって決定できる。
【０１１９】
従って、第２撮像画像における該変換接地点Ｐ２及びその周辺での画像の輝度成分等が特徴を持たないような場合や、第２撮像画像上で該変換接地点Ｐ２が、他の物体の背後に隠れてしまうような場合であっても、該変換接地点Ｐ２を特定できることとなる。
【０１２０】
従って、第１撮像画像での画像上移動体接地点Ｐ１を特定すれば、それに対応する第２撮像画像上の変換接地点Ｐ２を確実に特定できることとなる。ひいては、高いロバスト性で安定に移動体（歩行者Ｍ）と自車両との距離を測定できることとなる。
【０１２１】
本実施形態の測距装置１１による移動体距離の実測データの例を図７に示す。この実測データは、図４に示したものと同様に、移動体としての歩行者Ｍの移動方向、移動速度及び車速を種々様々な値に設定して、本実施形態の演算処理ユニット３の処理によって算出した移動体距離の測定値と、実際の移動体距離（移動体距離の真値）との関係を示すものである。この場合、図中の実線ａ１、二点鎖線ａ２，ａ３は、第１実施形態のものと同じである。
【０１２２】
図示の如く、ほとんどの測定点が許容範囲内に収まり、しかも、実線ａ１に対する分散が十分に小さいものとなっている。従って、本実施形態の手法によって、移動体距離を高いロバスト性で精度よく測定できることが判る。
【０１２３】
なお、以上説明した第１及び第２実施形態では、自車両との間の距離を測定しようとする測定対象の移動体を歩行者Ｍとした場合を例にとって説明したが、測定対象の移動体は歩行者以外の移動体、例えば、他の車両や自転車、あるいは、人以外の動物であってもよい。
【０１２４】
また、前記第１及び第２実施形態では、２つの撮像画像のうち、撮像時刻の遅い方の撮像画像を第１撮像画像、撮像時刻の早い方の撮像画像を第２撮像画像として移動体と自車両との距離を測定する場合を例にとって説明したが、撮像時刻の早い方の撮像画像を第１撮像画像、撮像時刻の遅い方の撮像画像を第２撮像画像として、前記各実施形態と同様に移動体と自車両との距離を測定するようにしてもよい。
【符号の説明】
【０１２５】
１，１１…測距装置、２…車載カメラ、５…カメラ運動推定部（カメラ運動計測手段）、６…画像上移動体接地点特定部（画像上移動体接地点特定手段）、７…第１画像側路面静止点探索部（静止特徴点抽出手段）、８…第２画像側路面静止点探索部（静止特徴点抽出手段）、９…移動体距離算出部（移動体距離算出手段）、１２…投影行列算出部（投影行列算出手段）、１３…変換接地点算出部（変換接地点算出手段）。
【特許請求の範囲】
【請求項１】
車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、
前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、
前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、
前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第１撮像画像及び第２撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点を前記第１撮像画像及び第２撮像画像から抽出する静止特徴点抽出手段と、
前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする車載カメラを用いた測距装置。
【請求項２】
車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、
前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、
前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、
前記第１撮像画像における前記移動体が存在する路面と前記第２撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列を前記計測された車載カメラの位置及び姿勢の変化量を用いて算出する投影行列算出手段と、
前記第１撮像画像における前記特定された画像上移動体接地点を、前記算出された投影行列により前記第２撮像画像上の点に変換してなる変換接地点を算出する変換接地点算出手段と、
前記第１撮像画像における前記画像上移動体接地点の位置と前記第２撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする車載カメラを用いた測距装置。
【請求項１】
車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、
前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、
前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、
前記車両からの距離が前記特定された画像上移動体接地点に対応する前記移動体の接地点と同一の距離となる位置に存在し、且つ、前記第１撮像画像及び第２撮像画像において、前記路面に対して静止した物体に含まれる互いに同一の特徴点である静止特徴点を前記第１撮像画像及び第２撮像画像から抽出する静止特徴点抽出手段と、
前記第１撮像画像における前記静止特徴点の位置と前記第２撮像画像における前記静止特徴点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記静止特徴点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする車載カメラを用いた測距装置。
【請求項２】
車両周辺を撮像する車載カメラによって互いに異なる時刻に取得された２つの撮像画像である第１撮像画像及び第２撮像画像を基に、車両の外部で路面上を移動可能な移動体と該車両との間の距離を測定する測距装置であって、
前記第１撮像画像及び第２撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを計測するカメラ運動計測手段と、
前記第１撮像画像及び第２撮像画像のうちの第１撮像画像から前記車両との間の距離を測定しようとする前記移動体を抽出し、該移動体の路面に対する接地点を該第１撮像画像に投影してなる点である画像上移動体接地点を特定する画像上移動体接地点特定手段と、
前記第１撮像画像における前記移動体が存在する路面と前記第２撮像画像における前記移動体が存在する路面との間の射影変換を表す投影行列を前記計測された車載カメラの位置及び姿勢の変化量を用いて算出する投影行列算出手段と、
前記第１撮像画像における前記特定された画像上移動体接地点を、前記算出された投影行列により前記第２撮像画像上の点に変換してなる変換接地点を算出する変換接地点算出手段と、
前記第１撮像画像における前記画像上移動体接地点の位置と前記第２撮像画像における前記変換接地点の位置との間の位置偏差と前記計測されたカメラ運動パラメータとに基づいて、モーションステレオの手法により前記移動体の接地点と前記車両との間の距離を算出し、該算出した距離を前記移動体と前記車両との間の距離の測定値として決定する移動体距離算出手段とを備えることを特徴とする車載カメラを用いた測距装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−５２８８４（Ｐ２０１２−５２８８４Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９４９５７（Ｐ２０１０−１９４９５７）
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]