衝突時間算出装置、衝突時間算出方法及びプログラム
【課題】適切なタイミングで、ドライバーに警報を発する。
【解決手段】自車に接近する接近車両についてのオプティカルフローを用いて、接近車両が、自車に搭載された撮影装置２０の光学中心を含む面に到達するまでの到達時間を算出する。そして、この到達時間に基づいて、接近車両が自車に衝突するまでの衝突予測時間を算出する。この衝突予測時間は、接近車両が自車から離れていても、接近車両の移動軌跡を示すベクトルの大きさと、オプティカルフローの大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に自車と接近車両とが衝突するまでの衝突予測時間を算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【解決手段】自車に接近する接近車両についてのオプティカルフローを用いて、接近車両が、自車に搭載された撮影装置２０の光学中心を含む面に到達するまでの到達時間を算出する。そして、この到達時間に基づいて、接近車両が自車に衝突するまでの衝突予測時間を算出する。この衝突予測時間は、接近車両が自車から離れていても、接近車両の移動軌跡を示すベクトルの大きさと、オプティカルフローの大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に自車と接近車両とが衝突するまでの衝突予測時間を算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、衝突時間算出装置、衝突時間算出方法及びプログラムに関し、更に詳しくは、接近する物体と衝突するまでの衝突予測時間を算出する衝突時間算出装置、接近する物体と衝突するまでの衝突予測時間を算出するための衝突時間算出方法及びプログラムに関する。
【背景技術】
【０００２】
近年、車内に設置されたカメラから出力される画像に基づいて、自車に接近する車両などの物体を検出する運転支援システムの実用化が進められている。この種の運転支援システムは、画像に含まれる特徴点の時系列的な位置変化を示すベクトル（オプティカルフロー）の大きさに基づいて、自車に接近する物体を検出する（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２５９６３４号公報
【特許文献２】特開平９−０１８８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載された装置は、自車と自車に接近する物体との位置関係に相関のある、オプティカルフローの大きさの平均値を常時監視する。そして、オプティカルフローの大きさの平均値が閾値を超えた場合に、ドライバーに警報を発する。
【０００５】
オプティカルフローは、実際に存在する物体の特徴的な部分に対応する画像上の点（特徴点）の軌跡を表すものである。このため、自車と物体との位置関係によっては、画像上の特徴点の軌跡と、実世界での特徴的な部分の軌跡との間に誤差が生じる場合がある。このため、上述の装置では、警報を発するタイミングが不安定になることが考えられる。
【０００６】
本発明は、上述の事情の下になされたもので、適切なタイミングで、ドライバーに警報を発することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る衝突時間算出装置は、
車両に搭載された撮影手段によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出手段と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測手段と、
を備える。
【０００８】
前記予測手段は、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出することとしてもよい。
【０００９】
また、前記予測手段は、
前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出することとしてもよい。
【００１０】
また、前記予測手段は、
前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
【００１１】
また、前記予測手段は、
前記車両の前記特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
【００１２】
また、前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
【数１】
【００１３】
また、前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
【数２】
【００１４】
また、前記予測手段は、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
【数３】
【００１５】
また、前記予測手段は、
前記撮影手段の焦点距離をｆとし、前記画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影手段との距離をｈとし、前記画像における前記消失点と前記路面との距離をｙｂとして、
次式を用いて、前記距離Ｚ１を算出することとしてもよい。
【数４】
【００１６】
また、前記予測手段は、
前記車両の幅をＷＶとし、前記画像における前記車両の幅をｗｖとし、前記画像の幅をｗｃとし、前記画像に対応する前記撮影手段の視野角をＦＯＶとして、
次式を用いて、前記距離Ｚ１を算出することとしてもよい。
【数５】
【００１７】
本発明の第２の観点に係る衝突時間算出方法は、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
を含む。
【００１８】
前記第３工程では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出することとしてもよい。
【００１９】
衝突時間算出方法は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含むこととしてもよい。
【数６】
【００２０】
また、衝突時間算出方法は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含むこととしてもよい。
【数７】
【００２１】
前記第３工程では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
【数８】
【００２２】
本発明の第３の観点に係るプログラムは、
コンピュータに、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
を実行させる。
【００２３】
前記第３手順では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出することとしてもよい。
【００２４】
本プログラムは、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
コンピュータに、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させることとしてもよい。
【数９】
【００２５】
本プログラムは、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
コンピュータに、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させることとしてもよい。
【数１０】
【００２６】
前記第３手順では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
【数１１】
【発明の効果】
【００２７】
本発明によれば、車両に対して相対的に移動する物体が、撮影装置の光学中心を含む面に到達するまでの時間に基づいて、物体が車両に衝突するまでの衝突予測時間が算出される。この衝突予測時間は、車両と物体とが離れていても、誤差の影響を大きく受けることなく算出することができる。したがって、この衝突予測時間に基づいて、適切なタイミングでドライバーに警報を発することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】第１の実施形態に係る衝突時間算出システムのブロック図である。
【図２】撮影装置の取り付け位置を説明するための図である。
【図３】自車と接近車両との相対的な位置関係を示す図である。
【図４】撮影装置によって撮影された画像を示す図（その１）である。
【図５】撮影装置によって撮影された画像を示す図（その２）である。
【図６】オプティカルフローを示す図である。
【図７】衝突予測時間を算出するための処理を説明するための図である。
【図８】第２の実施形態における、自車と接近車両との相対的な位置関係を示す図である。
【図９】オプティカルフローを示す図である。
【図１０】衝突予測時間を算出するための処理を説明するための図である。
【図１１】第３の実施形態に係る衝突時間算出システムのブロック図である。
【図１２】衝突時間算出装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００２９】
《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る衝突時間算出システム１０の概略的な構成を示すブロック図である。衝突時間算出システム１０は、自車に接近する接近車両などの物体が、自車に衝突するまでの時間を算出するシステムである。この衝突時間算出システム１０は、図１に示されるように、撮影装置２０と、衝突時間算出装置３０とを有している。
【００３０】
撮影装置２０は、被写体を撮影することにより取得した画像を、電気信号に変換して出力する装置である。撮影装置２０は、例えば図２に示されるように、車両１００のフロントウインド上部に取り付けられている。この撮影装置２０は、車両１００の前方を撮影する。そして、撮影により取得した画像に関する情報を衝突時間算出装置３０へ出力する。
【００３１】
図３は、車両１００と車両１０１との相対的な位置関係を示す図である。例えば、車両１００の前方を走行する車両１０１が、車両１００に相対的に接近している場合を考える。図３を参照するとわかるように、矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
【００３２】
図４は、矢印ａ１に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ１を示す図である。また、図５は、矢印ａ２に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ２を示す図である。撮影装置２０は、画像ＰＨ１，ＰＨ２を撮影すると、画像ＰＨ１，ＰＨ２に関する情報を、衝突時間算出装置３０へ出力する。
【００３３】
本実施形態では、上述の画像ＰＨ１，ＰＨ２について、撮影装置２０の光学中心に対応する点（撮影装置２０の光軸とその画像面との交点である画像中心）を原点Ｘｃ（ＦＯＥ：Focus of Expansion）とするｘｙ座標系を定義する。このｘｙ座標系の原点Ｘｃは、画像ＰＨ１，ＰＨ２の中心と一致する。
【００３４】
図１に戻り、衝突時間算出装置３０は、撮影装置２０から出力される画像（例えば画像ＰＨ１，ＰＨ２）に基づいて、自車（車両１００）に対して相対的に接近する接近車両（車両１０１）などが、自車に衝突するまでの時間を算出する装置である。図１に示されるように、衝突時間算出装置３０は、記憶部３１、特徴点抽出部３２、相関値演算部３３、オプティカルフロー規定部３４、グルーピング処理部３５、衝突予測時間算出部３６を有している。
【００３５】
記憶部３１は、撮影装置２０から順次出力される画像に関する情報を時系列的に記憶する。また、上記各部３２〜３６の処理結果としての情報を順次記憶する。
【００３６】
特徴点抽出部３２は、記憶部３１に記憶された画像を構成する画素それぞれについての特徴量を算出する。そして、この特徴量に基づいて画像に含まれる特徴点を抽出する。例えば、図４に示されるように、画像ＰＨ１上に規定されたｘｙ座標系で示される画素Ｍ（ｘ、ｙ）の特徴量ｆ（ｘ、ｙ）は、画像の輝度勾配を示す関数Ｉ（ｘ、ｙ）を用いると次式（１）によって表される。
【００３７】
【数１２】
【００３８】
ただし、Ｉｘｘ、Ｉｙｙ、Ｉｘｙはそれぞれ次式（２）〜（３）によってそれぞれ表される。また、ｋは定数である。
【００３９】
【数１３】
【００４０】
【数１４】
【００４１】
【数１５】
【００４２】
特徴点抽出部３２は、まず、式（１）を用いて画像ＰＨ１を構成する画素Ｍ（ｘ、ｙ）に対する特徴量ｆ（ｘ、ｙ）をそれぞれ算出する。次に、特徴点抽出部３２は、画素Ｍ（ｘ、ｙ）の周囲にある画素の輝度の平均値ＡＶＧ（ｘ、ｙ）を算出し、特徴量ｆ（ｘ、ｙ）を、輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する。特徴点抽出部３２は、これにより得られた比較値Ｖ（＝ｆ（ｘ、ｙ）／ＡＶＧ（ｘ、ｙ）４）を、予め設定された閾値と比較して、比較値Ｖが閾値以上の場合に、このときの画素Ｍ（ｘ、ｙ）を特徴点として抽出する。ここで、特徴量ｆ（ｘ、ｙ）を輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する理由は、特徴量ｆ（ｘ、ｙ）を輝度に関して正規化するためである。
【００４３】
図４には、画像ＰＨ１から抽出された車両１０１に関連する特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が示されている。また、図５には、画像ＰＨ２から抽出された特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が示されている。画像ＰＨ１及び画像ＰＨ２を参照するとわかるように、特徴点抽出部３２は、画像ＰＨ１，ＰＨ２に写り込んだ車両１０１の輪郭が急峻に変化する不連続点や、車両１０１を構成するパーツの形状が不連続に変化する点などを特徴点として抽出する。
【００４４】
特徴点抽出部３２は、画像ＰＨ１，ＰＨ２についての特徴点の抽出が完了すると、抽出した特徴点に関する情報を記憶部３１へ出力するとともに、特徴点の抽出が完了したことを相関値演算部３３へ通知する。なお、ここでは説明の便宜上、特徴点が４つ抽出された場合について述べているが、実際は、１枚の画像から複数の特徴点が抽出される。
【００４５】
図１に戻り、相関値演算部３３は、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を順次選択する。そして、この選択した特徴点と、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の相関値を算出する。
【００４６】
具体的には、図４に示されるように、相関値演算部３３は、画像ＰＨ１の特徴点Ｐ１を中心とする長方形の画像（画像ＰＨ１の部分画像）をテンプレートＴＦ１として規定する。このテンプレートＴＦ１は、Ｍ行Ｎ列のマトリクス状に配置された画素からなる画像である。また、以下の説明では、テンプレートＴＦ１の座標とは、テンプレートの中心の座標をいうものとする。
【００４７】
次に、相関値演算部３３は、テンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。この相関値Ｒの算出は、例えば正規化相互相関を示す下記の式（５）を用いることができる。なお、Ｔ（ｉ，ｊ）は、テンプレートＴＦ１のｉ行目かつｊ列目に位置する画素の輝度である。また、Ｉ（ｉ，ｊ）は、テンプレートＴＦ１と重なる画像ＰＨ２の部分画像のｉ行目かつｊ列目に位置する画素の輝度である。また、ＩＡＶＧは、上記部分画像を構成する画素の輝度の平均値である。また、ＴＡＶＧは、テンプレートを構成する画素の輝度の平均値である。ＩＡＶＧ及びＴＡＶＧは下記の式（６）及び式（７）で示される。
【００４８】
【数１６】
【００４９】
【数１７】
【００５０】
【数１８】
【００５１】
相関値演算部３３は、相関値Ｒを、上記式（５）に基づいて算出すると、この相関値Ｒに関する情報を、テンプレートＴＦ１のｘｙ座標系における位置座標と関連付けて、記憶部３１へ記憶する。相関値演算部３３は、画像ＰＨ１の特徴点Ｐ２，Ｐ３，Ｐ４についても、上述と同様の処理を実行する。そして、すべての特徴点Ｐ１〜Ｐ４についての相関値Ｒを算出すると、相関値の算出が完了したことをオプティカルフロー規定部３４へ通知する。
【００５２】
図１に戻り、オプティカルフロー規定部３４は、相関値演算部３３によって算出された相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１〜Ｑ４を終点とするオプティカルフローを規定する。
【００５３】
例えば、オプティカルフロー規定部３４は、特徴点Ｐ１についてのテンプレートＴＦ１を用いて算出した相関値Ｒが最大となったときの、テンプレートＴＦ１の座標に最も近い画像ＰＨ２の特徴点Ｑ１〜Ｑ４を特定する。特徴点Ｐ１は、車両１０１の後部バンパーの右側端部に対応する特徴点である。このため、テンプレートＴＦ１を用いて算出した相関値Ｒは、テンプレートＴＦ１の中心が、画像ＰＨ２の特徴点Ｑ１にほぼ一致するときに最大となる。したがって、ここでは、特徴点Ｐ１に対応する特徴点として、特徴点Ｑ１が特定される。
【００５４】
この場合、図６に示されるように、オプティカルフロー規定部３４は、ｘｙ座標系において、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１を規定する。
【００５５】
オプティカルフロー規定部３４は、上述した手順で同様に、特徴点Ｐ２を始点とし、特徴点Ｑ２を終点とするオプティカルフローＯＰ２を規定する。また、特徴点Ｐ３を始点とし、特徴点Ｑ３を終点とするオプティカルフローＯＰ３を規定する。また、特徴点Ｐ４を始点とし、特徴点Ｑ４を終点とするオプティカルフローＯＰ４を規定する。
【００５６】
オプティカルフロー規定部３４は、すべての特徴点Ｐ１〜Ｐ４についてのオプティカルフローＯＰ１〜ＯＰ４を規定すると、このオプティカルフローＯＰ１〜ＯＰ４に関する情報を記憶部３１へ出力するとともに、オプティカルフローの規定が完了したことをグルーピング処理部３５へ通知する。
【００５７】
グルーピング処理部３５は、規定された１群のオプティカルフローのグルーピングを行う。図６に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
【００５８】
グルーピング処理部３５は、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線それぞれは消失点ＶＰで交わるはずである。そこで、グルーピング処理部３５は、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合に、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
【００５９】
グルーピング処理部３５は、オプティカルフローのグルーピングが完了すると、グルーピングしたオプティカルフローに関する情報を記憶部３１へ出力するとともに、グルーピングが完了したことを、衝突予測時間算出部３６へ通知する。
【００６０】
衝突予測時間算出部３６は、オプティカルフローＯＰ１〜ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
【００６１】
図７は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図７における点ＲＰ１は、図３において矢印ａ１に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。そして、図７における点ＲＱ１は、図３において矢印ａ２に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。この点ＲＰ１は、特徴点Ｐ１に対応し、点ＲＱ１は、特徴点Ｑ１に対応している。以下、説明の便宜上、点ＲＰ１、点ＲＱ１それぞれを、対応点ＲＰ１、対応点ＲＱ１ともいう。また、車両１０１を構成する後部バンパーの右側端部を便宜上指標点ともいう。
【００６２】
図７におけるＸＹＺ座標系は、車両１００に搭載された撮影装置２０の光学中心を原点Ｏとする直交座標系である。このＸＹＺ座標系におけるＺ軸は、撮影装置２０の光軸と一致する。また、Ｙ軸は、図７では不図示であるが、Ｘ軸及びＺ軸と直交する。またＸＹＺ座標系におけるＸ座標及びＹ座標は、画像ＰＨ１，ＰＨ２に規定されたｘｙ座標系におけるｘ座標及びｙ座標と一致する。また、図７における直線ＬＮ１は、撮影装置２０の画像面ＩＭを含む平面を示している。そして、直線ＬＮ２は、車両１００の最も＋Ｚ側にある部分を含む衝突面を示している。
【００６３】
本実施形態では、ＸＹＺ座標系の原点Ｏは、撮影装置２０の光学中心と一致する。したがってＸＹＺ座標系の原点Ｏから直線ＬＮ１までの距離は、撮影装置２０の焦点距離ｆと等しい。また、原点Ｏと直線ＬＮ２との距離はＬであるものとする。
【００６４】
画像ＰＨ１が撮影されたときに、図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に移動している。この場合、図７を参照するとわかるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
【００６５】
オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
【００６６】
したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、次式（８）で示される。
【００６７】
【数１９】
【００６８】
ここで、ベクトルＭＶ０の大きさ｜ＭＶ０｜は、画像ＰＨ１が撮像された時刻から画像ＰＨ２が撮像された時刻までの時間Δｔと、車両１００に対する車両１０１の相対移動速度Ｖとの積（＝Ｖ・Δｔ）である。また、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。
【００６９】
そこで、上記式（８）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ０｜に（Ｖ・Δｔ）を代入して、両辺を相対移動速度Ｖで除することで、次式（９）が導かれる。
【００７０】
【数２０】
【００７１】
また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると次式（１０）で示される。
【００７２】
【数２１】
【００７３】
ここで、上述したように、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。また、ベクトルＭＶ１の大きさ｜ＭＶ１｜は、指標点が対応点ＲＱ１から直線ＬＮ２上の点ＣＰ２に到達するまでの衝突予測時間ＴＴＣと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣ）である。
【００７４】
相対移動速度Ｖは、オプティカルフローＯＰ１〜ＯＰ４に関する情報を用いても求めることができない。そこで、上記式（１０）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ１｜に（Ｖ・ＴＴＣ）を代入して、両辺を相対移動速度Ｖで除することで、相対移動速度Ｖを含む項を含まない次式（１１）を導く。
【００７５】
【数２２】
【００７６】
上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。
【００７７】
そこで、衝突予測時間算出部３６は、次式（１２）を用いて距離Ｚ１を算出する。なお、ｆは撮影装置２０の焦点距離である。また、δは、画像ＰＨ１，ＰＨ２を構成する画素のｙ軸方向の配列間隔である。また、ｈは、車両１００が走行する路面と撮影装置２０との距離である。また、ｙｂは、図５に示されるように、画像ＰＨ２における、特徴点Ｑ１と車両１００が走行する路面との距離である。
【００７８】
【数２３】
【００７９】
衝突予測時間算出部３６は、上記式（１２）を用いて、距離Ｚ１を算出すると、算出した距離Ｚ１を上記式（１１）に代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、この衝突予測時間ＴＴＣを外部装置等へ出力する。
【００８０】
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
【００８１】
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【００８２】
オプティカルフローを用いて算出された衝突予測時間ＴＴＣは、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃを、撮影装置２０の光学中心から衝突面までの距離Ｌを考慮して補正することにより得られる。この補正を行う際には、検出誤差を多く含む距離Ｚ１が用いられる。しかしながら、この距離Ｚ１に含まれる誤差は、車両１００と車両１０１とが近づくほど小さくなるため、衝突予測時間ＴＴＣの信頼性は十分維持される。
《第２の実施形態》
次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。本実施形態では、車両１００の進行方向と、車両１０１との進行方向が交差する場合における衝突予測時間の算出手順について説明する。
【００８３】
例えば、車両１００が＋Ｚ方向へ進行し、車両１０１がＺ軸と交差する方向へ進行する場合を考える。この場合、撮影装置２０の光学中心を原点ＯとするＸＹＺ座標系では、車両１０１は、車両１００の進行方向と車両１０１の進行方向とが合成された方向へ、相対的に移動することになる。
【００８４】
図８の矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
【００８５】
図９には、オプティカルフロー規定部３４によって規定されたオプティカルフローＯＰ１〜ＯＰ４が示されている。本実施形態では、車両１０１は、車両１００に対してＹ軸に交差する方向へ相対的に移動することにより、車両１００に接近する。このため、オプティカルフローＯＰ１〜ＯＰ４の消失点ＶＰは、ｘｙ座標系の原点Ｏと一致しない。
【００８６】
しかしながら、図１０を参照するとわかるように、車両１００の進行方向と車両１０１の進行方向が交差する場合にも、オプティカルフローＯＰ１、ベクトルＭＶ０、ベクトルＭＶ２相互間の幾何学的関係は、第１の実施形態におけるオプティカルフローＯＰ１等との関係と等価である。このため、上記式（８）は成立する。したがって、図８における矢印ａ２に示される位置にある車両１０１が、車両１００に衝突するまでの衝突予測時間ＴＴＣは、上記式（１１）で表される。
【００８７】
図１０は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図１０に示されるように、直線ＬＮ５は、原点を通り、ベクトルＭＶ０と直交する直線である。また、点ＣＰ３は、対応点ＲＱ１と点ＣＰ１とを通る直線と、直線ＬＮ５との交点である。説明の便宜上、図１０では、点ＣＰ３と点ＣＰ１とが、ある程度離間して記載されている。しかしながら、実際には、点ＣＰ３と点ＣＰ１との距離は、原点Ｏと直線ＬＮ２で示される衝突面との距離Ｌ等に比べて著しく小さい。このため、ベクトルＭＶ２と平行で、対応点ＲＱ１を始点とし、点ＣＰ３を終点とするベクトルＭＶ３は、ベクトルＭＶ２と大きさが等価であるものとして取り扱っても差し支えない。
【００８８】
そこで、衝突予測時間算出部３６は、車両１０１が直線ＬＮ５によって示される面に衝突するまでに時間ＴＴＣｃ０を、時間ＴＴＣｃの近似値として、次式（１３）に基づいて算出する。なお、ｘｖｐは消失点ＶＰのＸ座標である。
【００８９】
【数２４】
【００９０】
次に、衝突予測時間算出部３６は、上記式（１３）で算出した時間ＴＴＣｃ０を、時間ＴＴＣｃとして、上記式（１１）へ代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、衝突予測時間算出部３６は、算出した衝突予測時間ＴＴＣを外部装置等へ出力する。
【００９１】
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
【００９２】
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が直線ＬＮ５上にある点ＣＰ３に到達するまでの時間ＴＴＣｃ０が、時間ＴＴＣｃの近似値として算出される。そして、時間ＴＴＣｃ０に基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【００９３】
また、上記式（１３）は、図３に示されるように、車両１００の進行方向と、車両１０１の進行方向とが平行な場合や、消失点ＶＰがＸＹＺ座標系の原点Ｏと一致する場合にも成立する。この場合はｘｖｐの値が０となる。そして、車両１００の進行方向と、車両１０１の進行方向とが平行な場合は、時間ＴＴＣｃ０は、時間ＴＴＣｃと一致する。
【００９４】
《第３の実施形態》
次に、本発明の第３の実施形態を、図面を参照しつつ説明する。なお、上記各実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００９５】
本実施形態に係る衝突時間算出システム１０は、衝突時間算出装置３０が、一般的なコンピュータ、又はマイクロコンピュータなどの装置と同様の構成によって実現されている点で、上記各実施形態に係る衝突時間算出システム１０と相違している。
【００９６】
図１１は、衝突時間算出システム１０の物理的な構成を示すブロック図である。図１１に示されるように、衝突時間算出システム１０は、撮影装置２０と、コンピュータからなる衝突時間算出装置３０とから構成されている。
【００９７】
衝突時間算出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００９８】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮影装置２０によって取得された画像に対して後述する処理を実行する。
【００９９】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【０１００】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置２０から出力される画像に関する情報、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
【０１０１】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。
【０１０２】
入力部３０ｅは、キースイッチやポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【０１０３】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【０１０４】
図１２のフローチャートは、ＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１２を参照しつつ、衝突時間算出装置３０が実行する処理について説明する。なお、この処理は、衝突時間算出システム１０が起動され、撮影装置２０によって撮影された画像に関する情報が出力されたことをトリガとして実行される。また、前提として、撮影装置２０からは、図４に示される画像ＰＨ１、及び図５に示される画像ＰＨ２が順次出力されるものとする。
【０１０５】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、記憶部３１に記憶された画像ＰＨ１，ＰＨ２を構成する画素それぞれについての特徴量を算出し、この特徴量に基づいて画像に含まれる特徴点を抽出する。図４に示されるように、ここでは画像ＰＨ１について、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が抽出される。また、図５に示されるように、画像ＰＨ２について、特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が抽出される。
【０１０６】
次のステップＳ１０２では、ＣＰＵ３０ａは、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を順次選択する。そして、この選択した特徴点と、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の相関値を算出する。例えば、ＣＰＵ３０ａは、まず画像ＰＨ１の特徴点Ｐ１を中心とするテンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。ＣＰＵ３０ａは、上述の処理を、特徴点Ｐ２〜Ｐ４についても行う。
【０１０７】
次のステップＳ１０３では、ＣＰＵ３０ａは、図６を参照するとわかるように、算出した相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１〜Ｑ４を終点とするオプティカルフローＯＰ１〜ＯＰ４を規定する。
【０１０８】
次のステップＳ１０４では、ＣＰＵ３０ａは、規定された１群のオプティカルフローのグルーピングを行う。図６に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
【０１０９】
ＣＰＵ３０ａは、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線は消失点ＶＰで交わるはずである。そこで、ＣＰＵ３０ａは、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合には、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
【０１１０】
次のステップＳ１０５では、ＣＰＵ３０ａは、オプティカルフローＯＰ１〜ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
【０１１１】
画像ＰＨ１が撮影されたときに、例えば図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に相対的に移動している。この場合、図７に示されるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
【０１１２】
オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
【０１１３】
したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、上記式（８）で示される。そして、上記式（８）から上記式（９）が導かれる。
【０１１４】
また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると上記式（１０）で示される。そして、上記式（１０）から上記式（１１）が導かれる。
【０１１５】
上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。そこで、ＣＰＵ３０ａは、上記式（１２）を用いて距離Ｚ１を算出する。そして、算出した距離Ｚ１を、上記式（１１）に代入して、衝突予測時間ＴＴＣを算出する。ＣＰＵ３０ａは、衝突予測時間ＴＴＣを算出すると、この衝突予測時間ＴＴＣを外部装置等へ出力する。
【０１１６】
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
【０１１７】
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【０１１８】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【０１１９】
例えば、上記実施形態では、式（１２）を用いて、距離Ｚ１を算出した。これに限らず、距離Ｚ１を次式（１４）を用いて算出してもよい。なお、ＷＶは、車両１０１の車幅である。また、ｗｖは、画像ＰＨ２における車両１０１の車幅である。また、ｗｃは、画像ＰＨ２の水平方向の幅である。また、ＦＯＶは、画像ＰＨ２に対応する撮影装置２０の視野角である。
【０１２０】
【数２５】
【０１２１】
また、オプティカルフローのグルーピングに関しては、例えば特開２００８−９７１２６号公報に、次式（１５）で示される指標Ｃ０が、ある誤差を許容して相互に等しいオプティカルフロー同士をグルーピングすることが開示されている（特に図９参照）。幾何学的な相似の関係から次式（１５）が成立する場合には、次式（１６）も成立する。この式（１６）に基づいて、グルーピングする過程で、特開２００８−９７１２６号公報に開示される技術における指標Ｃ０の算出と同様にして、次式（１６）で示される指標Ｃ１が算出される。式（１６）は、消失点ＶＰが画像中心Ｘｃと等しくなるような場合（撮影装置２０の光軸方向と、車両１０１の車両１００に対する相対的な移動方向とが平行である場合など）には、次式（１７）のように変形することができる。この式（１７）の右辺は、上記式（９）の左辺の分母と等価である。したがって、特開２００８−９７１２６号公報に開示される技術によるオプティカルフローのグルーピングを行った場合には、グルーピングを行った過程で算出された結果を用いることで、衝突予測時間ＴＴＣを算出するための処理を短時間に行うことができる。また、ある誤差を許容してグルーピングを行う過程で算出される指標Ｃ１を用いることは、移動物体の平均的な指標Ｃ１の値を用いることとなり、例えば移動物体のある特定の１点における指標Ｃ１の値を用いる場合に比べてノイズに強くなる。
【０１２２】
【数２６】
【０１２３】
【数２７】
【０１２４】
【数２８】
【０１２５】
また、上記各実施形態では、特徴点Ｐ１及び特徴点Ｑ１によって規定されたオプティカルフローＯＰ１を用いて、衝突予測時間を算出する場合について説明した。これに限らず、オプティカルフローＯＰ１以外の他のオプティカルフローを用いて、衝突予測時間を算出してもよい。また、それぞれのオプティカルフローＯＰ１〜ＯＰ４を用いて算出した衝突予測時間の平均値を、最終的な衝突予測時間として外部装置等へ出力することとしてもよい。
【０１２６】
また、本実施形態では、撮影装置２０が図２に示されるように、フロントウインド上部に取り付けられている場合について説明した。これに限らず、撮影装置２０は、フロントバンパーの近傍に配置されるカメラを有していてもよい。この場合は、時間ＴＴＣｃが衝突予測時間ＴＴＣと等価となる。
【０１２７】
また、上記各実施形態では、式（１）を用いて特徴量ｆ（ｘ、ｙ）を算出したが、本発明はこれに限定されるものではない。例えば、特徴量は、いわゆるＫＬＴ特徴量ｍｉｎ（λ１、λ２）であってもよい。この場合は、特徴量を上述した平均値ＡＶＧ（ｘ、ｙ）を２乗したもので除することで比較値Ｖを算出することができる。なお、λ１及びλ２は、それぞれ下記の式（１８）及び式（１９）で示される。
【０１２８】
【数２９】
【０１２９】
【数３０】
【０１３０】
なお、Ａ〜Ｃは下記の式（２０）で表される。ただし、Ｉｘ、Ｉｙは、画像上の位置（ｘ、ｙ）における輝度Ｉ（ｘ、ｙ）のＸ軸方向及びＹ軸方向の勾配を示す。具体的には、下記の式（２１）及び式（２２）で表される。
【０１３１】
【数３１】
【０１３２】
【数３２】
【０１３３】
【数３３】
【０１３４】
また、上記各実施形態に係る衝突時間算出装置３０の機能は、専用のハードウェアによっても、通常のコンピュータシステムによっても実現することができる。
【０１３５】
また、第３の実施形態において衝突時間算出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【０１３６】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【０１３７】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【０１３８】
本発明の衝突時間算出装置、衝突時間算出方法及びプログラムは、衝突時間の算出に適している。
【符号の説明】
【０１３９】
１０ 衝突時間算出システム
２０ 撮影装置
３０ 衝突時間算出装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 記憶部
３２ 特徴点抽出部
３３ 相関値演算部
３４ オプティカルフロー規定部
３５ グルーピング処理部
３６ 衝突予測時間算出部
１００，１０１ 車両
ＣＰ１〜ＣＰ３ 点
ＩＭ 画像面
ＭＶ０〜ＭＶ３ ベクトル
ＯＰ１〜ＯＰ４ オプティカルフロー
Ｐ１〜Ｐ４，Ｑ１〜Ｑ４ 特徴点
ＰＨ１，ＰＨ２ 画像
ＲＰ１，ＲＱ１ 対応点
ＴＦ１ テンプレート
ＶＰ 消失点
【技術分野】
【０００１】
本発明は、衝突時間算出装置、衝突時間算出方法及びプログラムに関し、更に詳しくは、接近する物体と衝突するまでの衝突予測時間を算出する衝突時間算出装置、接近する物体と衝突するまでの衝突予測時間を算出するための衝突時間算出方法及びプログラムに関する。
【背景技術】
【０００２】
近年、車内に設置されたカメラから出力される画像に基づいて、自車に接近する車両などの物体を検出する運転支援システムの実用化が進められている。この種の運転支援システムは、画像に含まれる特徴点の時系列的な位置変化を示すベクトル（オプティカルフロー）の大きさに基づいて、自車に接近する物体を検出する（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２５９６３４号公報
【特許文献２】特開平９−０１８８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載された装置は、自車と自車に接近する物体との位置関係に相関のある、オプティカルフローの大きさの平均値を常時監視する。そして、オプティカルフローの大きさの平均値が閾値を超えた場合に、ドライバーに警報を発する。
【０００５】
オプティカルフローは、実際に存在する物体の特徴的な部分に対応する画像上の点（特徴点）の軌跡を表すものである。このため、自車と物体との位置関係によっては、画像上の特徴点の軌跡と、実世界での特徴的な部分の軌跡との間に誤差が生じる場合がある。このため、上述の装置では、警報を発するタイミングが不安定になることが考えられる。
【０００６】
本発明は、上述の事情の下になされたもので、適切なタイミングで、ドライバーに警報を発することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る衝突時間算出装置は、
車両に搭載された撮影手段によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出手段と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測手段と、
を備える。
【０００８】
前記予測手段は、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出することとしてもよい。
【０００９】
また、前記予測手段は、
前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出することとしてもよい。
【００１０】
また、前記予測手段は、
前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
【００１１】
また、前記予測手段は、
前記車両の前記特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出することとしてもよい。
【００１２】
また、前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
【数１】
【００１３】
また、前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出することとしてもよい。
【数２】
【００１４】
また、前記予測手段は、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
【数３】
【００１５】
また、前記予測手段は、
前記撮影手段の焦点距離をｆとし、前記画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影手段との距離をｈとし、前記画像における前記消失点と前記路面との距離をｙｂとして、
次式を用いて、前記距離Ｚ１を算出することとしてもよい。
【数４】
【００１６】
また、前記予測手段は、
前記車両の幅をＷＶとし、前記画像における前記車両の幅をｗｖとし、前記画像の幅をｗｃとし、前記画像に対応する前記撮影手段の視野角をＦＯＶとして、
次式を用いて、前記距離Ｚ１を算出することとしてもよい。
【数５】
【００１７】
本発明の第２の観点に係る衝突時間算出方法は、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
を含む。
【００１８】
前記第３工程では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出することとしてもよい。
【００１９】
衝突時間算出方法は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含むこととしてもよい。
【数６】
【００２０】
また、衝突時間算出方法は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含むこととしてもよい。
【数７】
【００２１】
前記第３工程では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
【数８】
【００２２】
本発明の第３の観点に係るプログラムは、
コンピュータに、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
を実行させる。
【００２３】
前記第３手順では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出することとしてもよい。
【００２４】
本プログラムは、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
コンピュータに、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させることとしてもよい。
【数９】
【００２５】
本プログラムは、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
コンピュータに、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させることとしてもよい。
【数１０】
【００２６】
前記第３手順では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出することとしてもよい。
【数１１】
【発明の効果】
【００２７】
本発明によれば、車両に対して相対的に移動する物体が、撮影装置の光学中心を含む面に到達するまでの時間に基づいて、物体が車両に衝突するまでの衝突予測時間が算出される。この衝突予測時間は、車両と物体とが離れていても、誤差の影響を大きく受けることなく算出することができる。したがって、この衝突予測時間に基づいて、適切なタイミングでドライバーに警報を発することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】第１の実施形態に係る衝突時間算出システムのブロック図である。
【図２】撮影装置の取り付け位置を説明するための図である。
【図３】自車と接近車両との相対的な位置関係を示す図である。
【図４】撮影装置によって撮影された画像を示す図（その１）である。
【図５】撮影装置によって撮影された画像を示す図（その２）である。
【図６】オプティカルフローを示す図である。
【図７】衝突予測時間を算出するための処理を説明するための図である。
【図８】第２の実施形態における、自車と接近車両との相対的な位置関係を示す図である。
【図９】オプティカルフローを示す図である。
【図１０】衝突予測時間を算出するための処理を説明するための図である。
【図１１】第３の実施形態に係る衝突時間算出システムのブロック図である。
【図１２】衝突時間算出装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００２９】
《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る衝突時間算出システム１０の概略的な構成を示すブロック図である。衝突時間算出システム１０は、自車に接近する接近車両などの物体が、自車に衝突するまでの時間を算出するシステムである。この衝突時間算出システム１０は、図１に示されるように、撮影装置２０と、衝突時間算出装置３０とを有している。
【００３０】
撮影装置２０は、被写体を撮影することにより取得した画像を、電気信号に変換して出力する装置である。撮影装置２０は、例えば図２に示されるように、車両１００のフロントウインド上部に取り付けられている。この撮影装置２０は、車両１００の前方を撮影する。そして、撮影により取得した画像に関する情報を衝突時間算出装置３０へ出力する。
【００３１】
図３は、車両１００と車両１０１との相対的な位置関係を示す図である。例えば、車両１００の前方を走行する車両１０１が、車両１００に相対的に接近している場合を考える。図３を参照するとわかるように、矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
【００３２】
図４は、矢印ａ１に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ１を示す図である。また、図５は、矢印ａ２に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ２を示す図である。撮影装置２０は、画像ＰＨ１，ＰＨ２を撮影すると、画像ＰＨ１，ＰＨ２に関する情報を、衝突時間算出装置３０へ出力する。
【００３３】
本実施形態では、上述の画像ＰＨ１，ＰＨ２について、撮影装置２０の光学中心に対応する点（撮影装置２０の光軸とその画像面との交点である画像中心）を原点Ｘｃ（ＦＯＥ：Focus of Expansion）とするｘｙ座標系を定義する。このｘｙ座標系の原点Ｘｃは、画像ＰＨ１，ＰＨ２の中心と一致する。
【００３４】
図１に戻り、衝突時間算出装置３０は、撮影装置２０から出力される画像（例えば画像ＰＨ１，ＰＨ２）に基づいて、自車（車両１００）に対して相対的に接近する接近車両（車両１０１）などが、自車に衝突するまでの時間を算出する装置である。図１に示されるように、衝突時間算出装置３０は、記憶部３１、特徴点抽出部３２、相関値演算部３３、オプティカルフロー規定部３４、グルーピング処理部３５、衝突予測時間算出部３６を有している。
【００３５】
記憶部３１は、撮影装置２０から順次出力される画像に関する情報を時系列的に記憶する。また、上記各部３２〜３６の処理結果としての情報を順次記憶する。
【００３６】
特徴点抽出部３２は、記憶部３１に記憶された画像を構成する画素それぞれについての特徴量を算出する。そして、この特徴量に基づいて画像に含まれる特徴点を抽出する。例えば、図４に示されるように、画像ＰＨ１上に規定されたｘｙ座標系で示される画素Ｍ（ｘ、ｙ）の特徴量ｆ（ｘ、ｙ）は、画像の輝度勾配を示す関数Ｉ（ｘ、ｙ）を用いると次式（１）によって表される。
【００３７】
【数１２】
【００３８】
ただし、Ｉｘｘ、Ｉｙｙ、Ｉｘｙはそれぞれ次式（２）〜（３）によってそれぞれ表される。また、ｋは定数である。
【００３９】
【数１３】
【００４０】
【数１４】
【００４１】
【数１５】
【００４２】
特徴点抽出部３２は、まず、式（１）を用いて画像ＰＨ１を構成する画素Ｍ（ｘ、ｙ）に対する特徴量ｆ（ｘ、ｙ）をそれぞれ算出する。次に、特徴点抽出部３２は、画素Ｍ（ｘ、ｙ）の周囲にある画素の輝度の平均値ＡＶＧ（ｘ、ｙ）を算出し、特徴量ｆ（ｘ、ｙ）を、輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する。特徴点抽出部３２は、これにより得られた比較値Ｖ（＝ｆ（ｘ、ｙ）／ＡＶＧ（ｘ、ｙ）４）を、予め設定された閾値と比較して、比較値Ｖが閾値以上の場合に、このときの画素Ｍ（ｘ、ｙ）を特徴点として抽出する。ここで、特徴量ｆ（ｘ、ｙ）を輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する理由は、特徴量ｆ（ｘ、ｙ）を輝度に関して正規化するためである。
【００４３】
図４には、画像ＰＨ１から抽出された車両１０１に関連する特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が示されている。また、図５には、画像ＰＨ２から抽出された特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が示されている。画像ＰＨ１及び画像ＰＨ２を参照するとわかるように、特徴点抽出部３２は、画像ＰＨ１，ＰＨ２に写り込んだ車両１０１の輪郭が急峻に変化する不連続点や、車両１０１を構成するパーツの形状が不連続に変化する点などを特徴点として抽出する。
【００４４】
特徴点抽出部３２は、画像ＰＨ１，ＰＨ２についての特徴点の抽出が完了すると、抽出した特徴点に関する情報を記憶部３１へ出力するとともに、特徴点の抽出が完了したことを相関値演算部３３へ通知する。なお、ここでは説明の便宜上、特徴点が４つ抽出された場合について述べているが、実際は、１枚の画像から複数の特徴点が抽出される。
【００４５】
図１に戻り、相関値演算部３３は、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を順次選択する。そして、この選択した特徴点と、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の相関値を算出する。
【００４６】
具体的には、図４に示されるように、相関値演算部３３は、画像ＰＨ１の特徴点Ｐ１を中心とする長方形の画像（画像ＰＨ１の部分画像）をテンプレートＴＦ１として規定する。このテンプレートＴＦ１は、Ｍ行Ｎ列のマトリクス状に配置された画素からなる画像である。また、以下の説明では、テンプレートＴＦ１の座標とは、テンプレートの中心の座標をいうものとする。
【００４７】
次に、相関値演算部３３は、テンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。この相関値Ｒの算出は、例えば正規化相互相関を示す下記の式（５）を用いることができる。なお、Ｔ（ｉ，ｊ）は、テンプレートＴＦ１のｉ行目かつｊ列目に位置する画素の輝度である。また、Ｉ（ｉ，ｊ）は、テンプレートＴＦ１と重なる画像ＰＨ２の部分画像のｉ行目かつｊ列目に位置する画素の輝度である。また、ＩＡＶＧは、上記部分画像を構成する画素の輝度の平均値である。また、ＴＡＶＧは、テンプレートを構成する画素の輝度の平均値である。ＩＡＶＧ及びＴＡＶＧは下記の式（６）及び式（７）で示される。
【００４８】
【数１６】
【００４９】
【数１７】
【００５０】
【数１８】
【００５１】
相関値演算部３３は、相関値Ｒを、上記式（５）に基づいて算出すると、この相関値Ｒに関する情報を、テンプレートＴＦ１のｘｙ座標系における位置座標と関連付けて、記憶部３１へ記憶する。相関値演算部３３は、画像ＰＨ１の特徴点Ｐ２，Ｐ３，Ｐ４についても、上述と同様の処理を実行する。そして、すべての特徴点Ｐ１〜Ｐ４についての相関値Ｒを算出すると、相関値の算出が完了したことをオプティカルフロー規定部３４へ通知する。
【００５２】
図１に戻り、オプティカルフロー規定部３４は、相関値演算部３３によって算出された相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１〜Ｑ４を終点とするオプティカルフローを規定する。
【００５３】
例えば、オプティカルフロー規定部３４は、特徴点Ｐ１についてのテンプレートＴＦ１を用いて算出した相関値Ｒが最大となったときの、テンプレートＴＦ１の座標に最も近い画像ＰＨ２の特徴点Ｑ１〜Ｑ４を特定する。特徴点Ｐ１は、車両１０１の後部バンパーの右側端部に対応する特徴点である。このため、テンプレートＴＦ１を用いて算出した相関値Ｒは、テンプレートＴＦ１の中心が、画像ＰＨ２の特徴点Ｑ１にほぼ一致するときに最大となる。したがって、ここでは、特徴点Ｐ１に対応する特徴点として、特徴点Ｑ１が特定される。
【００５４】
この場合、図６に示されるように、オプティカルフロー規定部３４は、ｘｙ座標系において、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１を規定する。
【００５５】
オプティカルフロー規定部３４は、上述した手順で同様に、特徴点Ｐ２を始点とし、特徴点Ｑ２を終点とするオプティカルフローＯＰ２を規定する。また、特徴点Ｐ３を始点とし、特徴点Ｑ３を終点とするオプティカルフローＯＰ３を規定する。また、特徴点Ｐ４を始点とし、特徴点Ｑ４を終点とするオプティカルフローＯＰ４を規定する。
【００５６】
オプティカルフロー規定部３４は、すべての特徴点Ｐ１〜Ｐ４についてのオプティカルフローＯＰ１〜ＯＰ４を規定すると、このオプティカルフローＯＰ１〜ＯＰ４に関する情報を記憶部３１へ出力するとともに、オプティカルフローの規定が完了したことをグルーピング処理部３５へ通知する。
【００５７】
グルーピング処理部３５は、規定された１群のオプティカルフローのグルーピングを行う。図６に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
【００５８】
グルーピング処理部３５は、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線それぞれは消失点ＶＰで交わるはずである。そこで、グルーピング処理部３５は、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合に、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
【００５９】
グルーピング処理部３５は、オプティカルフローのグルーピングが完了すると、グルーピングしたオプティカルフローに関する情報を記憶部３１へ出力するとともに、グルーピングが完了したことを、衝突予測時間算出部３６へ通知する。
【００６０】
衝突予測時間算出部３６は、オプティカルフローＯＰ１〜ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
【００６１】
図７は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図７における点ＲＰ１は、図３において矢印ａ１に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。そして、図７における点ＲＱ１は、図３において矢印ａ２に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。この点ＲＰ１は、特徴点Ｐ１に対応し、点ＲＱ１は、特徴点Ｑ１に対応している。以下、説明の便宜上、点ＲＰ１、点ＲＱ１それぞれを、対応点ＲＰ１、対応点ＲＱ１ともいう。また、車両１０１を構成する後部バンパーの右側端部を便宜上指標点ともいう。
【００６２】
図７におけるＸＹＺ座標系は、車両１００に搭載された撮影装置２０の光学中心を原点Ｏとする直交座標系である。このＸＹＺ座標系におけるＺ軸は、撮影装置２０の光軸と一致する。また、Ｙ軸は、図７では不図示であるが、Ｘ軸及びＺ軸と直交する。またＸＹＺ座標系におけるＸ座標及びＹ座標は、画像ＰＨ１，ＰＨ２に規定されたｘｙ座標系におけるｘ座標及びｙ座標と一致する。また、図７における直線ＬＮ１は、撮影装置２０の画像面ＩＭを含む平面を示している。そして、直線ＬＮ２は、車両１００の最も＋Ｚ側にある部分を含む衝突面を示している。
【００６３】
本実施形態では、ＸＹＺ座標系の原点Ｏは、撮影装置２０の光学中心と一致する。したがってＸＹＺ座標系の原点Ｏから直線ＬＮ１までの距離は、撮影装置２０の焦点距離ｆと等しい。また、原点Ｏと直線ＬＮ２との距離はＬであるものとする。
【００６４】
画像ＰＨ１が撮影されたときに、図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に移動している。この場合、図７を参照するとわかるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
【００６５】
オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
【００６６】
したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、次式（８）で示される。
【００６７】
【数１９】
【００６８】
ここで、ベクトルＭＶ０の大きさ｜ＭＶ０｜は、画像ＰＨ１が撮像された時刻から画像ＰＨ２が撮像された時刻までの時間Δｔと、車両１００に対する車両１０１の相対移動速度Ｖとの積（＝Ｖ・Δｔ）である。また、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。
【００６９】
そこで、上記式（８）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ０｜に（Ｖ・Δｔ）を代入して、両辺を相対移動速度Ｖで除することで、次式（９）が導かれる。
【００７０】
【数２０】
【００７１】
また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると次式（１０）で示される。
【００７２】
【数２１】
【００７３】
ここで、上述したように、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。また、ベクトルＭＶ１の大きさ｜ＭＶ１｜は、指標点が対応点ＲＱ１から直線ＬＮ２上の点ＣＰ２に到達するまでの衝突予測時間ＴＴＣと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣ）である。
【００７４】
相対移動速度Ｖは、オプティカルフローＯＰ１〜ＯＰ４に関する情報を用いても求めることができない。そこで、上記式（１０）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ１｜に（Ｖ・ＴＴＣ）を代入して、両辺を相対移動速度Ｖで除することで、相対移動速度Ｖを含む項を含まない次式（１１）を導く。
【００７５】
【数２２】
【００７６】
上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。
【００７７】
そこで、衝突予測時間算出部３６は、次式（１２）を用いて距離Ｚ１を算出する。なお、ｆは撮影装置２０の焦点距離である。また、δは、画像ＰＨ１，ＰＨ２を構成する画素のｙ軸方向の配列間隔である。また、ｈは、車両１００が走行する路面と撮影装置２０との距離である。また、ｙｂは、図５に示されるように、画像ＰＨ２における、特徴点Ｑ１と車両１００が走行する路面との距離である。
【００７８】
【数２３】
【００７９】
衝突予測時間算出部３６は、上記式（１２）を用いて、距離Ｚ１を算出すると、算出した距離Ｚ１を上記式（１１）に代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、この衝突予測時間ＴＴＣを外部装置等へ出力する。
【００８０】
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
【００８１】
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【００８２】
オプティカルフローを用いて算出された衝突予測時間ＴＴＣは、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃを、撮影装置２０の光学中心から衝突面までの距離Ｌを考慮して補正することにより得られる。この補正を行う際には、検出誤差を多く含む距離Ｚ１が用いられる。しかしながら、この距離Ｚ１に含まれる誤差は、車両１００と車両１０１とが近づくほど小さくなるため、衝突予測時間ＴＴＣの信頼性は十分維持される。
《第２の実施形態》
次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。本実施形態では、車両１００の進行方向と、車両１０１との進行方向が交差する場合における衝突予測時間の算出手順について説明する。
【００８３】
例えば、車両１００が＋Ｚ方向へ進行し、車両１０１がＺ軸と交差する方向へ進行する場合を考える。この場合、撮影装置２０の光学中心を原点ＯとするＸＹＺ座標系では、車両１０１は、車両１００の進行方向と車両１０１の進行方向とが合成された方向へ、相対的に移動することになる。
【００８４】
図８の矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。
【００８５】
図９には、オプティカルフロー規定部３４によって規定されたオプティカルフローＯＰ１〜ＯＰ４が示されている。本実施形態では、車両１０１は、車両１００に対してＹ軸に交差する方向へ相対的に移動することにより、車両１００に接近する。このため、オプティカルフローＯＰ１〜ＯＰ４の消失点ＶＰは、ｘｙ座標系の原点Ｏと一致しない。
【００８６】
しかしながら、図１０を参照するとわかるように、車両１００の進行方向と車両１０１の進行方向が交差する場合にも、オプティカルフローＯＰ１、ベクトルＭＶ０、ベクトルＭＶ２相互間の幾何学的関係は、第１の実施形態におけるオプティカルフローＯＰ１等との関係と等価である。このため、上記式（８）は成立する。したがって、図８における矢印ａ２に示される位置にある車両１０１が、車両１００に衝突するまでの衝突予測時間ＴＴＣは、上記式（１１）で表される。
【００８７】
図１０は、衝突予測時間算出部３６によって実行される処理を説明するための図である。図１０に示されるように、直線ＬＮ５は、原点を通り、ベクトルＭＶ０と直交する直線である。また、点ＣＰ３は、対応点ＲＱ１と点ＣＰ１とを通る直線と、直線ＬＮ５との交点である。説明の便宜上、図１０では、点ＣＰ３と点ＣＰ１とが、ある程度離間して記載されている。しかしながら、実際には、点ＣＰ３と点ＣＰ１との距離は、原点Ｏと直線ＬＮ２で示される衝突面との距離Ｌ等に比べて著しく小さい。このため、ベクトルＭＶ２と平行で、対応点ＲＱ１を始点とし、点ＣＰ３を終点とするベクトルＭＶ３は、ベクトルＭＶ２と大きさが等価であるものとして取り扱っても差し支えない。
【００８８】
そこで、衝突予測時間算出部３６は、車両１０１が直線ＬＮ５によって示される面に衝突するまでに時間ＴＴＣｃ０を、時間ＴＴＣｃの近似値として、次式（１３）に基づいて算出する。なお、ｘｖｐは消失点ＶＰのＸ座標である。
【００８９】
【数２４】
【００９０】
次に、衝突予測時間算出部３６は、上記式（１３）で算出した時間ＴＴＣｃ０を、時間ＴＴＣｃとして、上記式（１１）へ代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。そして、衝突予測時間算出部３６は、算出した衝突予測時間ＴＴＣを外部装置等へ出力する。
【００９１】
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
【００９２】
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が直線ＬＮ５上にある点ＣＰ３に到達するまでの時間ＴＴＣｃ０が、時間ＴＴＣｃの近似値として算出される。そして、時間ＴＴＣｃ０に基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【００９３】
また、上記式（１３）は、図３に示されるように、車両１００の進行方向と、車両１０１の進行方向とが平行な場合や、消失点ＶＰがＸＹＺ座標系の原点Ｏと一致する場合にも成立する。この場合はｘｖｐの値が０となる。そして、車両１００の進行方向と、車両１０１の進行方向とが平行な場合は、時間ＴＴＣｃ０は、時間ＴＴＣｃと一致する。
【００９４】
《第３の実施形態》
次に、本発明の第３の実施形態を、図面を参照しつつ説明する。なお、上記各実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００９５】
本実施形態に係る衝突時間算出システム１０は、衝突時間算出装置３０が、一般的なコンピュータ、又はマイクロコンピュータなどの装置と同様の構成によって実現されている点で、上記各実施形態に係る衝突時間算出システム１０と相違している。
【００９６】
図１１は、衝突時間算出システム１０の物理的な構成を示すブロック図である。図１１に示されるように、衝突時間算出システム１０は、撮影装置２０と、コンピュータからなる衝突時間算出装置３０とから構成されている。
【００９７】
衝突時間算出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００９８】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮影装置２０によって取得された画像に対して後述する処理を実行する。
【００９９】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【０１００】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置２０から出力される画像に関する情報、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
【０１０１】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。
【０１０２】
入力部３０ｅは、キースイッチやポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【０１０３】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【０１０４】
図１２のフローチャートは、ＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１２を参照しつつ、衝突時間算出装置３０が実行する処理について説明する。なお、この処理は、衝突時間算出システム１０が起動され、撮影装置２０によって撮影された画像に関する情報が出力されたことをトリガとして実行される。また、前提として、撮影装置２０からは、図４に示される画像ＰＨ１、及び図５に示される画像ＰＨ２が順次出力されるものとする。
【０１０５】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、記憶部３１に記憶された画像ＰＨ１，ＰＨ２を構成する画素それぞれについての特徴量を算出し、この特徴量に基づいて画像に含まれる特徴点を抽出する。図４に示されるように、ここでは画像ＰＨ１について、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４が抽出される。また、図５に示されるように、画像ＰＨ２について、特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４が抽出される。
【０１０６】
次のステップＳ１０２では、ＣＰＵ３０ａは、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を順次選択する。そして、この選択した特徴点と、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の相関値を算出する。例えば、ＣＰＵ３０ａは、まず画像ＰＨ１の特徴点Ｐ１を中心とするテンプレートＴＦ１を、画像ＰＨ２の特徴点Ｑ１〜Ｑ４の近傍で移動させながら、画像ＰＨ２に対するテンプレートＴＦ１の相関値Ｒを順次算出する。ＣＰＵ３０ａは、上述の処理を、特徴点Ｐ２〜Ｐ４についても行う。
【０１０７】
次のステップＳ１０３では、ＣＰＵ３０ａは、図６を参照するとわかるように、算出した相関値Ｒに基づいて、画像ＰＨ１の特徴点Ｐ１〜Ｐ４を始点とし、画像ＰＨ２の特徴点Ｑ１〜Ｑ４を終点とするオプティカルフローＯＰ１〜ＯＰ４を規定する。
【０１０８】
次のステップＳ１０４では、ＣＰＵ３０ａは、規定された１群のオプティカルフローのグルーピングを行う。図６に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点を抽出することができる。そして、数十或いは数百本のオプティカルフローを規定することができる。
【０１０９】
ＣＰＵ３０ａは、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線は消失点ＶＰで交わるはずである。そこで、ＣＰＵ３０ａは、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合には、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。
【０１１０】
次のステップＳ１０５では、ＣＰＵ３０ａは、オプティカルフローＯＰ１〜ＯＰ４を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。
【０１１１】
画像ＰＨ１が撮影されたときに、例えば図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に相対的に移動している。この場合、図７に示されるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。
【０１１２】
オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。本実施形態では、車両１０１は、Ｚ軸に平行に相対移動するため、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置されている。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置されている。
【０１１３】
したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、上記式（８）で示される。そして、上記式（８）から上記式（９）が導かれる。
【０１１４】
また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると上記式（１０）で示される。そして、上記式（１０）から上記式（１１）が導かれる。
【０１１５】
上記式（１１）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、衝突予測時間算出部３６は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（１１）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。そこで、ＣＰＵ３０ａは、上記式（１２）を用いて距離Ｚ１を算出する。そして、算出した距離Ｚ１を、上記式（１１）に代入して、衝突予測時間ＴＴＣを算出する。ＣＰＵ３０ａは、衝突予測時間ＴＴＣを算出すると、この衝突予測時間ＴＴＣを外部装置等へ出力する。
【０１１６】
これにより、外部装置等は、例えば衝突予測時間ＴＴＣが閾値以下となった場合に、ドライバーに衝突を回避するための警報を発することが可能となる。
【０１１７】
以上説明したように、本実施形態では、車両１００についてのオプティカルフローを用いて、車両１０１が撮影装置２０の光学中心を含む面に到達するまでの時間ＴＴＣｃが算出される。そして、この時間ＴＴＣｃに基づいて、車両１０１が車両１００の衝突面に衝突するまでの衝突予測時間ＴＴＣが算出される。この衝突予測時間ＴＴＣは、車両１０１が車両１００から離れていても、車両１０１の指標点の軌跡を示すベクトルＭＶ０の大きさと、オプティカルフローＯＰ１の大きさとの間に生じる誤差の影響を大きく受けることなく算出される。したがって、事前に車両１００と車両１０１とが衝突するまでの衝突予測時間ＴＴＣを算出することで、適切なタイミングで、ドライバーに衝突を回避するための警報を発することが可能となる。
【０１１８】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【０１１９】
例えば、上記実施形態では、式（１２）を用いて、距離Ｚ１を算出した。これに限らず、距離Ｚ１を次式（１４）を用いて算出してもよい。なお、ＷＶは、車両１０１の車幅である。また、ｗｖは、画像ＰＨ２における車両１０１の車幅である。また、ｗｃは、画像ＰＨ２の水平方向の幅である。また、ＦＯＶは、画像ＰＨ２に対応する撮影装置２０の視野角である。
【０１２０】
【数２５】
【０１２１】
また、オプティカルフローのグルーピングに関しては、例えば特開２００８−９７１２６号公報に、次式（１５）で示される指標Ｃ０が、ある誤差を許容して相互に等しいオプティカルフロー同士をグルーピングすることが開示されている（特に図９参照）。幾何学的な相似の関係から次式（１５）が成立する場合には、次式（１６）も成立する。この式（１６）に基づいて、グルーピングする過程で、特開２００８−９７１２６号公報に開示される技術における指標Ｃ０の算出と同様にして、次式（１６）で示される指標Ｃ１が算出される。式（１６）は、消失点ＶＰが画像中心Ｘｃと等しくなるような場合（撮影装置２０の光軸方向と、車両１０１の車両１００に対する相対的な移動方向とが平行である場合など）には、次式（１７）のように変形することができる。この式（１７）の右辺は、上記式（９）の左辺の分母と等価である。したがって、特開２００８−９７１２６号公報に開示される技術によるオプティカルフローのグルーピングを行った場合には、グルーピングを行った過程で算出された結果を用いることで、衝突予測時間ＴＴＣを算出するための処理を短時間に行うことができる。また、ある誤差を許容してグルーピングを行う過程で算出される指標Ｃ１を用いることは、移動物体の平均的な指標Ｃ１の値を用いることとなり、例えば移動物体のある特定の１点における指標Ｃ１の値を用いる場合に比べてノイズに強くなる。
【０１２２】
【数２６】
【０１２３】
【数２７】
【０１２４】
【数２８】
【０１２５】
また、上記各実施形態では、特徴点Ｐ１及び特徴点Ｑ１によって規定されたオプティカルフローＯＰ１を用いて、衝突予測時間を算出する場合について説明した。これに限らず、オプティカルフローＯＰ１以外の他のオプティカルフローを用いて、衝突予測時間を算出してもよい。また、それぞれのオプティカルフローＯＰ１〜ＯＰ４を用いて算出した衝突予測時間の平均値を、最終的な衝突予測時間として外部装置等へ出力することとしてもよい。
【０１２６】
また、本実施形態では、撮影装置２０が図２に示されるように、フロントウインド上部に取り付けられている場合について説明した。これに限らず、撮影装置２０は、フロントバンパーの近傍に配置されるカメラを有していてもよい。この場合は、時間ＴＴＣｃが衝突予測時間ＴＴＣと等価となる。
【０１２７】
また、上記各実施形態では、式（１）を用いて特徴量ｆ（ｘ、ｙ）を算出したが、本発明はこれに限定されるものではない。例えば、特徴量は、いわゆるＫＬＴ特徴量ｍｉｎ（λ１、λ２）であってもよい。この場合は、特徴量を上述した平均値ＡＶＧ（ｘ、ｙ）を２乗したもので除することで比較値Ｖを算出することができる。なお、λ１及びλ２は、それぞれ下記の式（１８）及び式（１９）で示される。
【０１２８】
【数２９】
【０１２９】
【数３０】
【０１３０】
なお、Ａ〜Ｃは下記の式（２０）で表される。ただし、Ｉｘ、Ｉｙは、画像上の位置（ｘ、ｙ）における輝度Ｉ（ｘ、ｙ）のＸ軸方向及びＹ軸方向の勾配を示す。具体的には、下記の式（２１）及び式（２２）で表される。
【０１３１】
【数３１】
【０１３２】
【数３２】
【０１３３】
【数３３】
【０１３４】
また、上記各実施形態に係る衝突時間算出装置３０の機能は、専用のハードウェアによっても、通常のコンピュータシステムによっても実現することができる。
【０１３５】
また、第３の実施形態において衝突時間算出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【０１３６】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【０１３７】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【０１３８】
本発明の衝突時間算出装置、衝突時間算出方法及びプログラムは、衝突時間の算出に適している。
【符号の説明】
【０１３９】
１０ 衝突時間算出システム
２０ 撮影装置
３０ 衝突時間算出装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 記憶部
３２ 特徴点抽出部
３３ 相関値演算部
３４ オプティカルフロー規定部
３５ グルーピング処理部
３６ 衝突予測時間算出部
１００，１０１ 車両
ＣＰ１〜ＣＰ３ 点
ＩＭ 画像面
ＭＶ０〜ＭＶ３ ベクトル
ＯＰ１〜ＯＰ４ オプティカルフロー
Ｐ１〜Ｐ４，Ｑ１〜Ｑ４ 特徴点
ＰＨ１，ＰＨ２ 画像
ＲＰ１，ＲＱ１ 対応点
ＴＦ１ テンプレート
ＶＰ 消失点
【特許請求の範囲】
【請求項１】
車両に搭載された撮影手段によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出手段と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測手段と、
を備える衝突時間算出装置。
【請求項２】
前記予測手段は、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出する請求項１に記載の衝突時間算出装置。
【請求項３】
前記予測手段は、
前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出する請求項２に記載の衝突時間算出装置。
【請求項４】
前記予測手段は、
前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２又は３に記載の衝突時間算出装置。
【請求項５】
前記予測手段は、
前記車両の前記特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２乃至４のいずれか一項に記載の衝突時間算出装置。
【請求項６】
前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２乃至５のいずれか一項に記載の衝突時間算出装置。
【数１】
【請求項７】
前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２乃至５のいずれか一項に記載の衝突時間算出装置。
【数２】
【請求項８】
前記予測手段は、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出する請求項６又は７に記載の衝突時間算出装置。
【数３】
【請求項９】
前記予測手段は、
前記撮影手段の焦点距離をｆとし、前記画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影手段との距離をｈとし、前記画像における前記消失点と前記路面との距離をｙｂとして、
次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
【数４】
【請求項１０】
前記予測手段は、
前記車両の幅をＷＶとし、前記画像における前記車両の幅をｗｖとし、前記画像の幅をｗｃとし、前記画像に対応する前記撮影手段の視野角をＦＯＶとして、
次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
【数５】
【請求項１１】
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
を含む衝突時間算出方法。
【請求項１２】
前記第３工程では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出する請求項１１に記載の衝突時間算出方法。
【請求項１３】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含む請求項１２に記載の衝突時間算出方法。
【数６】
【請求項１４】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含む請求項１２に記載の衝突時間算出方法。
【数７】
【請求項１５】
前記第３工程では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出する請求項１２乃至１４のいずれか一項に記載の衝突時間算出方法。
【数８】
【請求項１６】
コンピュータに、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
を実行させるためのプログラム。
【請求項１７】
前記第３手順では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出する請求項１６に記載のプログラム。
【請求項１８】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
コンピュータに、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させる請求項１７に記載のプログラム。
【数９】
【請求項１９】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
コンピュータに、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させる請求項１７に記載のプログラム。
【数１０】
【請求項２０】
前記第３手順では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出する請求項１７乃至１９のいずれか一項に記載のプログラム。
【数１１】
【請求項１】
車両に搭載された撮影手段によって撮影された第１画像に含まれる第１特徴点と、第２画像に含まれる、前記第１特徴点に対応する第２特徴点とを抽出する抽出手段と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する予測手段と、
を備える衝突時間算出装置。
【請求項２】
前記予測手段は、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を用いて、前記第１予測時間を算出する請求項１に記載の衝突時間算出装置。
【請求項３】
前記予測手段は、
前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離と、前記オプティカルフローの大きさとの比を用いて、前記第２予測時間を算出する請求項２に記載の衝突時間算出装置。
【請求項４】
前記予測手段は、
前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２又は３に記載の衝突時間算出装置。
【請求項５】
前記予測手段は、
前記車両の前記特徴点に対応する部分と、前記第１面との距離を用いて、前記第１予測時間を算出する請求項２乃至４のいずれか一項に記載の衝突時間算出装置。
【請求項６】
前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２乃至５のいずれか一項に記載の衝突時間算出装置。
【数１】
【請求項７】
前記予測手段は、
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する請求項２乃至５のいずれか一項に記載の衝突時間算出装置。
【数２】
【請求項８】
前記予測手段は、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出する請求項６又は７に記載の衝突時間算出装置。
【数３】
【請求項９】
前記予測手段は、
前記撮影手段の焦点距離をｆとし、前記画像を構成する画素の配列間隔をδとし、前記車両が走行する路面と前記撮影手段との距離をｈとし、前記画像における前記消失点と前記路面との距離をｙｂとして、
次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
【数４】
【請求項１０】
前記予測手段は、
前記車両の幅をＷＶとし、前記画像における前記車両の幅をｗｖとし、前記画像の幅をｗｃとし、前記画像に対応する前記撮影手段の視野角をＦＯＶとして、
次式を用いて、前記距離Ｚ１を算出する請求項８に記載の衝突時間算出装置。
【数５】
【請求項１１】
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１工程と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２工程と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３工程と、
を含む衝突時間算出方法。
【請求項１２】
前記第３工程では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出する請求項１１に記載の衝突時間算出方法。
【請求項１３】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含む請求項１２に記載の衝突時間算出方法。
【数６】
【請求項１４】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する工程を含む請求項１２に記載の衝突時間算出方法。
【数７】
【請求項１５】
前記第３工程では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出する請求項１２乃至１４のいずれか一項に記載の衝突時間算出方法。
【数８】
【請求項１６】
コンピュータに、
車両に搭載された撮影手段によって撮影された、第１画像に含まれる第１特徴点を抽出する第１手順と、
前記撮影手段によって撮影された、第２画像に含まれる、前記第１特徴点に対応する第２特徴点を抽出する第２手順と、
前記第１特徴点を始点とし、前記第２特徴点を終点とするオプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの第１予測時間を算出する第３手順と、
を実行させるためのプログラム。
【請求項１７】
前記第３手順では、
前記撮影手段の光学中心を含み、前記撮影手段の光軸に垂直な第１面に、前記物体が衝突するまでの第２予測時間を更に用いて、前記第１予測時間を算出する請求項１６に記載のプログラム。
【請求項１８】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記オプティカルフローの消失点と前記オプティカルフローの始点までの距離をｘ２とし、前記オプティカルフローの消失点と前記オプティカルフローの終点までの距離をｘ１として、
コンピュータに、
次式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させる請求項１７に記載のプログラム。
【数９】
【請求項１９】
前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間をΔｔとし、前記第１面に含まれるＸＹ座標系における前記消失点のＸ座標をｘｖｐとし、前記オプティカルフローの始点のＸ座標をｘ１とし、前記オプティカルフローの終点のＸ座標をｘ２とし、前記撮影手段の焦点距離をｆとして、
コンピュータに、
次式に示される近似式を用いて、前記第２予測時間ＴＴＣｃを算出する手順を実行させる請求項１７に記載のプログラム。
【数１０】
【請求項２０】
前記第３手順では、
前記第２予測時間をＴＴＣｃとし、前記第１面と、前記車両の最前の点を含み、前記撮影手段の光軸と直交する第２面との距離をＬとし、前記車両の前記特徴点に対応する部分と前記第１面との距離をＺ１として、
次式を用いて、前記第１予測時間ＴＴＣを算出する請求項１７乃至１９のいずれか一項に記載のプログラム。
【数１１】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１８６３７（Ｐ２０１２−１８６３７Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５７１８２（Ｐ２０１０−１５７１８２）
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]