説明

接触可能性検知装置、接触可能性検知方法、及びプログラム

【課題】対象車両の自車両への接触の可能性の有無の判定精度を向上させる。
【解決手段】測距部11は、自車両と対象車両との間の距離の計測を行う。方位角変化率算出部12は、自車両に搭載されている車載カメラ2が対象車両を撮像して得た時系列の撮像画像に基づいて、当該対象車両の水平線方向の端部を当該自車両から見たときの方位角の時間変化率を算出する。そして、判定部13は、測距部11により計測された距離と、方位角変化率算出部12により算出された、前述の方位角の時間変化率とに基づいて、対象車両の自車両への接触の可能性の有無を判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本明細書で議論される実施態様は、対象車両の自車両への接触の可能性を検知する技術に関する。
【背景技術】
【0002】
自車両の追い越し等のために後方から接近してくる接近車両の存在を通知する接近車両検知装置が知られている。この装置は、例えば、自車両に搭載したカメラで撮像した動画像に対して画像認識処理を施して当該接近車両の存在を事前に検知するものである。また、自車両と接近車両との衝突の危険の高さを表す指標である、自車両と接近車両との衝突が予測されるまでの余裕時間TTC(Time To Collision )を求め、このTTCが所定の時間(例えば3秒)よりも短い場合に警告を発する装置も知られている。
【0003】
このような接近車両検知装置で採用されている画像認識処理技術として、オプティカルフローに基づいた接近車両の像の認識の技術が知られている。この技術は、動画像を構成している時系列の画像から、オプティカルフローが当該画像の中央より放射状に広がっている画素を抽出し、抽出された画素の周辺の領域の画像を、接近車両の像として認識するというものである。
【0004】
オプティカルフローとは、例えば、時系列の画像における2枚の画像間においての同一の対象の対応箇所を探索することで求められる、画像内における当該対象の見かけの動きを表現している動きベクトル情報である。従って、このオプティカルフローから直接得られる情報は、画像内における動きの情報に限られており、画像を撮像したカメラから対象までの実際の距離の情報や、当該カメラに対する当該対象の相対速度の情報を、オプティカルフローから直接得ることはできない。
【0005】
このため、前述の技術では、接近車両と当該接近車両が走行している路面との境界位置を撮像画像から検出する画像処理が行われる。そして、検出された境界位置の情報が、カメラの特性(画素数やレンズ歪など)や当該カメラの路面に対する位置・姿勢などに基づき、自車両から接近車両までの距離に変換される。更に、カルマンフィルタ等を使用して、当該距離の時間変化に基づく接近車両の自車両に対する相対速度の推定が行われ、推定された距離と相対速度を用いて前述のTTCの算出が行われる。
【0006】
また、この他の背景技術として、移動物を動画像から検出するときに、近距離の移動物の検出精度を維持しつつ、遠方の移動物の検出精度を、省メモリ、省計算量で向上させることのできる技術が知られている。この技術は、移動物の像についてのオプティカルフローを求めるときに使用する動画像のフレームレートを制御するというものである。
【0007】
この技術では、まず、時刻tに取得した画像フレームと時刻t−1に取得した画像フレームとに基づいて、時刻t−1に取得した画像フレーム内の各特徴点についての移動量(パーティカルフロー)が求められる。次に、求められた移動量の大きさが所定値よりも小さい特徴点について、前述の時刻t−1に取得した画像フレームと、時刻t+m(m>0)に取得した画像フレームとに基づいて、時刻t−1に取得した画像フレーム内の当該特徴点についての移動量が求められる。
【0008】
例えば、ある特徴点のオプティカルフローを求めた結果、1ピクセル以上の移動量が得られなかった場合には、当該特徴点について、大きさが1ピクセル以上の動きベクトルが得られるまで、次時刻以降の画像を用いてオプティカルフローを求める処理を繰り返す。ここで、この処理を所定回数繰り返しても、1ピクセル以上の移動量が得られなかった場合には、当該特徴点については移動物についてのものではないとの判定を下す。
【0009】
この技術では、このような可変フレームレート制御を行ってオプティカルフローを求めることで、撮像画像上での移動量が極めて少ない、遠方の移動物についての像の検知を可能としている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】国際公開第2009/078056号
【非特許文献】
【0011】
【非特許文献1】秋田時彦、林啓太、「後方モニターカメラを利用した後側方接近車警報システムの開発」、学術講演会前刷集、社団法人自動車技術会、2007年5月、No.1−07、p.9−12
【発明の概要】
【発明が解決しようとする課題】
【0012】
前述の技術において行われている、接近車両と路面との境界を検出する画像処理において、路面上に映る接近車両の影などの影響によって当該境界が撮像画像上で不鮮明な場合には、当該境界の位置検出の精度が低下することがある。この精度の低下は、自車両から接近車両までの距離の推定精度を低下させるため、その結果として、算出されるTTCの精度の低下に繋がる。
【0013】
本明細書で後述する接触可能性検知装置は、上述した問題に鑑み、対象車両の自車両への接触の可能性の有無の判定精度を向上させることを課題としている。
【課題を解決するための手段】
【0014】
本明細書で後述する接触可能性検知装置は、対象車両の自車両への接触の可能性の有無を検知する装置である。この接触可能性検知装置のひとつに、測距部と、方位角変化率算出部と、判定部とを備えるというものがある。ここで、測距部は、自車両と対象車両との間の距離の計測を行う。方位角変化率算出部は、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像に基づいて、当該対象車両の水平線方向の端部を当該自車両から見たときの方位角の時間変化率を算出する。そして、判定部は、測距部により計測された距離と、方位角変化率算出部により算出された、前述の方位角の時間変化率とに基づいて、対象車両の自車両への接触の可能性の有無を判定する。
【0015】
また、本明細書で後述する接触可能性検知方法は、対象車両の自車両への接触の可能性の有無を検知する方法である。この接触可能性検知方法のひとつは、まず、自車両と対象車両との間の距離の計測を測距部が行う。次に、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像に基づいた、当該対象車両の水平線方向の端部を当該自車両から見たときの方位角の時間変化率の算出を方位角変化率算出部が行う。そして、測距部が前述の計測により得た前述の距離と、方位角変化率算出部が前述の算出により得た前述の方位角の時間変化率とに基づいて、対象車両の自車両への接触の可能性の有無を判定する。
【0016】
また、本明細書で後述するプログラムは、対象車両の自車両への接触の可能性の有無の検知をコンピュータに行わせるためのプログラムである。このプログラムのひとつは、以下の処理をコンピュータに実行させる。すなわち、まず、自車両と対象車両との間の距離を計測する処理を行う。次に、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像に基づいた、当該対象車両の水平線方向の端部を当該自車両から見たときの方位角の時間変化率を算出する処理を行う。そして、前述の計測の処理により得た前記距離と、前述の算出の処理により得た前記方位角の時間変化率とに基づいて、対象車両の自車両への接触の可能性の有無を判定する処理を行う。
【0017】
また、本明細書で後述する接触可能性検知装置の別のひとつに、複数の検知部と統合判定部とを備えるものがある。ここで、当該複数の検知部は、上述の接触の可能性の有無を検知するものであって、当該検知を行う対象とする対象車両が位置している自車両からの距離の範囲が互いに異なっている。また、統合判定部は、この複数の検知部のうちで、前述の接触の可能性があるとの判定を下したものがあるか否かを判定して、その判定結果を、この接触可能性検知装置としての当該接触の可能性の有無の検知結果とする。この接触可能性検知装置における前述の複数の検知部の各々は、設定部と、オプティカルフロー獲得部と、判定部とを備えている。ここで、設定部は、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像上に、監視領域として設定する。なお、この監視領域は、当該撮像画像における消失点を中心とし、この検知部自身が前述の検知を行う対象とする前述の距離の範囲に応じて設定される大きさであって所定の縦横比である矩形内の領域である。また、オプティカルフロー獲得部は、前述の監視領域内の特徴点のオプティカルフローを求める。このオプティカルフローは、前述の時系列の撮像画像のうちの、検知部自身が前述の検知を行う対象とする前述の距離の範囲に応じて設定される時間間隔閾値以内の撮像時間間隔を隔てて撮像された2枚の撮像画像に基づいて求められる。そして、判定部は、オプティカルフロー獲得部がオプティカルフローを求めることができたか否かに基づいて、対象車両の自車両への接触の可能性の有無を判定し、この判定結果を、検知部自身での前述の接触の可能性の有無の判定結果として出力する。
【発明の効果】
【0018】
本明細書で後述する接触可能性検知装置は、対象車両の自車両への接触の可能性の有無の判定を、高い精度で行うことができるという効果を奏する。
【図面の簡単な説明】
【0019】
【図1】接触可能性検知装置の使用例を表した図である。
【図2】接触可能性検知装置の一実施例の機能ブロック図である。
【図3】所定方位の定義を説明する図である。
【図4】オプティカルフロー獲得部及び画像領域検出部の動作を説明する図である。
【図5】方位角変化率算出部の動作を説明する図である。
【図6】特徴点の撮像画像上の位置から現実の方位への変換を説明する図である。
【図7】方位角の時間変化率の算出を説明する図である。
【図8】測距部の動作を説明する図である。
【図9】自車両から対象車両までの距離と方位角の時間変化率の閾値との関係を表した曲線の例である。
【図10】図2の接触可能性検知装置で行われる接触可能性検知処理の処理手順を図解したフローチャートである。
【図11】接触可能性検知装置の別の一実施例の機能ブロック図である。
【図12】図11における検知部の機能ブロック図である。
【図13】設定部による監視領域の設定結果の例である。
【図14】図11の接触可能性検知装置で行われる接触可能性検知処理の処理手順を図解したフローチャートである。
【図15】図11における検知部で行われる検知処理の処理手順を図解したフローチャートである。
【図16】コンピュータのハードウェア構成例である。
【発明を実施するための形態】
【0020】
まず図1について説明する。図1は、接触可能性検知装置の使用例を表した図である。
図1の使用例では、接触可能性検知装置1は、車載カメラ2及び警告部3と共に自車両(自動車)4に搭載して使用する。この接触可能性検知装置1は、自車両4と同一方向に走行している、自車両4の後続の対象車両についての自車両4への接触の可能性の有無の検知を行う。
【0021】
自車両4の後部に搭載されている車載カメラ2は、自車両4の真後ろの方向の動画像を撮像する撮像装置の一例である。この車載カメラ2により得られる動画像、すなわち、一定の時間間隔で撮像される時系列の撮像画像には、自車両4の後方の景色の水平線が当該画像の水平方向に映り込むように車載カメラ2の視野を設定しておく。従って、この撮像画像には、その景色の像における、透視図(perspective drawing )でいうところの消失点が含まれる。また、対象車両が存在する場合には、その対象車両の前部の像がこの撮像画像に含まれる。
【0022】
警告部3は、例えばLED(発光ダイオード)やブザーであり、対象車両の自車両4への接触の可能性があることを接触可能性検知装置1が検知したときに、発光動作あるいは発音動作を行って、その旨の警告を自車両4の運転者に通知する。
【0023】
次に図2について説明する。図2は、接触可能性検知装置1の一実施例の機能ブロック図である。
図2に図解されているように、この接触可能性検知装置1は、測距部11、方位角変化率算出部12、判定部13、オプティカルフロー獲得部14、及び画像領域検出部15を備えて構成されている。
【0024】
測距部11は、自車両4と対象車両との間の距離の計測を行う。
方位角変化率算出部12は、自車両4に搭載されている車載カメラ2が対象車両を撮像して得た時系列の撮像画像に基づいて、当該対象車両の水平線方向の端部を自車両4から見たときの方位角の時間変化率を算出する。
【0025】
判定部13は、測距部11により計測された距離と、方位角変化率算出部12により算出された方位角の時間変化率とに基づいて、対象車両の自車両4への接触の可能性の有無を判定する。より具体的には、判定部13は、まず、測距部11により計測された距離に基づき、当該距離に対応付けられている、前述の方位角の時間変化率の閾値を獲得する。そして、獲得した閾値と、方位角変化率算出部12により算出された方位角の時間変化率との大小比較の結果に基づいて、対象車両の自車両4への接触の可能性の有無を判定する。
【0026】
オプティカルフロー獲得部14は、車載カメラ2が得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める。
画像領域検出部15は、車載カメラ2が得た撮像画像を構成している各画素を、オプティカルフロー獲得部14が求めたオプティカルフローの方向に基づき分類し、その分類の結果に基づいて、当該撮像画像から対象車両の像の領域を検出する。
【0027】
本実施例において、方位角変化率算出部12による方位角の時間変化率の算出は、以下のようにして行われる。すなわち、方位角変化率算出部12は、まず、車載カメラ2が得た撮像画像から画像領域検出部15が検出した領域における当該撮像画像での水平線方向の端部についての当該撮像画像上での位置に基づいて、前述の方位角を求める。そして、車載カメラ2が時系列の撮像画像を撮像したときの撮像間隔時間と、各撮像画像について方位角変化率算出部12が求めた該方位角とに基づいて、前述の方位角の時間変化率を算出する。
【0028】
また、本実施例において、車載カメラ2が得た撮像画像に映る、対象車両の前部の横幅の実際の長さ、すなわち、自車両4に向いている側の対象車両の水平線方向の幅の長さは既知であるとする。このとき、測距部11は、対象車両についての上述の幅の長さと、撮像画像から画像領域検出部15が検出した領域の撮像画像上での位置と、当該領域における撮像画像での水平線方向の両端間の距離とに基づいて、自車両4と対象車両との間の距離の計測を行う。
【0029】
次に、図2に図解した接触可能性検知装置1の各機能ブロックの動作について、更に詳細に説明する。
まず、所定方位を定義する。以降の説明では、所定方位とは、図3に図解されているように、自車両4の通常の前進走行における走行方向の逆方向、すなわち、自車両4の真後ろの方向をいうものとする。
【0030】
まず、オプティカルフロー獲得部14及び画像領域検出部15の動作について図4を用いて説明する。
図4の[1]の画像例で図解されているように、車載カメラ2での撮像により得られる撮像画像5には、予め位置・形状が定められている範囲に監視領域6が設定される。なお、この監視領域6は、撮像画像5に映る背景における水平線と所定方位との交点、すなわち、撮像画像における前述の消失点が含まれるように設定される。
【0031】
オプティカルフロー獲得部14は、車載カメラ2が得た時系列の撮像画像5の監視領域6内に共通して存在する特徴点を、例えばブロックマッチングによって抽出する。そして、抽出した特徴点(画素)について、2枚の撮像画像5間での動きベクトルの成分を計算することで、当該特徴点についてのオプティカルフローを求める。
【0032】
なお、オプティカルフローの獲得に用いる2枚の撮像画像5は、時系列の撮像画像5から順序が連続しているものを選択することが一般的である。これに対し、本実施例のオプティカルフロー獲得部14は、前述した可変フレームレート制御を行ってオプティカルフローを求める。すなわち、本実施例のオプティカルフロー獲得部14では、オプティカルフローの獲得に用いる2枚の撮像画像5を、時系列の撮像画像5のうちから、所定の閾値枚数範囲内で順序が連続していない(離れている)ものを選択することを許容している。従って、時系列で連続している2枚の撮像画像を用いる場合よりも、移動速度が遅い特徴点についてのオプティカルフローを求めることができる。
【0033】
図4の[1]の画像例に描かれている、監視領域6内の黒丸から伸びている矢印は、当該黒丸の位置の特徴点(画素)についてオプティカルフロー獲得部14が求めたオプティカルフローの向き及び大きさ(移動量)を表現している。ここで、このオプティカルフローの向きに注目すると、各特徴点は、オプティカルフローが消失点から離れる向きに向いているものと、消失点に向かう向きに向いているものとがあることが分かる。
【0034】
ここで、自車両4は所定方位とは逆向きに走行していることから、撮像画像5における景色の像を構成している画素は、オプティカルフローが消失点に向かう向きに向く。一方、撮像画像5において自車両4に接近する対象車両7の像を構成している画素は、オプティカルフローが消失点から離れる向きに向く。
【0035】
そこで、画像領域検出部15は、撮像画像5における監視領域6内の画像を構成している画素を、オプティカルフロー獲得部14が求めたオプティカルフローの方向に基づき、その方向が消失点に向かう向きであるか離れる向きであるかによって分類する。そして、その分類の結果に基づき、オプティカルフローの方向が消失点から離れる向きである画素の集合を含む画像領域を、対象車両7の像が含まれている領域である、検出領域8として検出する。なお、本実施例では、画像領域検出部15は、検出領域8を、対象車両7の撮像画像上での像における車高と車幅との比率に近い縦横比である矩形の領域として検出するようにしている。
【0036】
なお、前述したオプティカルフローの消失点は、撮像画像5における景色の像を構成している画素のオプティカルフローが向いている一点を特定することで求まる。若しくは、車載カメラ2の光軸が自車両4の直進方向と平行になるように車載カメラ2を設置して、オプティカルフローの消失点の水平座標が画像中央となり、その垂直座標が水平線の垂直座標に一致するようにしてもよい。
【0037】
次に、方位角変化率算出部12の動作について、図5、図6、及び図7を用いて説明する。
画像領域検出部15は、前述のようにして検出した検出領域8を特定する検出領域情報を出力する。この検出領域情報には、検出領域8の撮像画像5上での位置を特定する座標の情報と、検出領域8の境界を表している矩形の縦横の長さの情報とが含まれている。
【0038】
更に、画像領域検出部15は、検出領域8内の各特徴点についてオプティカルフロー獲得部14が求めた情報を、検出領域内オプティカルフロー情報9として出力する。この情報には、各特徴点についての撮像画像5上での位置を特定する座標の情報とオプティカルフローについての情報とが含まれている。更に、検出領域内オプティカルフロー情報9には、オプティカルフロー獲得部14がオプティカルフローの獲得に用いた2枚の撮像画像5間のフレーム間隔の情報も含まれている。
【0039】
例えば、図5に表されている検出領域内オプティカルフロー情報9における、特徴点を特定する情報である特徴点ID(Identification)が『1』である特徴点の情報に注目する。この特徴点『1』の情報では、この特徴点が撮像画像5上における座標『(x1,y1)』の位置の画素であること、及び、この画素についてオプティカルフロー獲得部14が算出したオプティカルフローの成分が『(vx1,vy1)』であったことが示されている。更に、この特徴点『1』の情報では、時系列の撮像画像5において『N1』フレーム分離れた2枚の撮像画像5を使用して、この画素についてのオプティカルフローの算出をオプティカルフロー獲得部14が行ったことが示されている。なお、撮像画像5において、水平方向(横方向)を二次元直交座標系におけるx軸方向とし、垂直方向(縦方向)を当該座標系におけるy軸方向とする。
【0040】
方位角変化率算出部12は、上述した検出領域情報と検出領域内オプティカルフロー情報9とに基づいて、対象車両7の水平線方向の端部を自車両4から見たときの方位角θの時間変化率dθ/dtを算出する。この時間変化率dθ/dtの算出は、以下のようにして行われる。
【0041】
まず、方位角変化率算出部12は、検出領域情報を用いて、撮像画像5の検出領域8内に存在する特徴点のうち、最左端及び最右端である特徴点についての情報を、検出領域内オプティカルフロー情報9から抽出する。このときに抽出された最左端の及び最右端の特徴点を、それぞれ最左端特徴点L及び最右端特徴点Rとする。
【0042】
次に、方位角変化率算出部12は、最左端特徴点Lを始点としたオプティカルフローにおける当該始点及び終点についての、撮像画像5上での位置にそれぞれ対応する自車両4後方の実際の位置の、自車両4の座標系での方位(方位角θ及び仰角φ)を算出する。また、方位角変化率算出部12は、最右端特徴点Rについても、同様の方位の算出を行う。
【0043】
最左端特徴点L及び最右端特徴点Rの撮像画像5上での位置の座標の情報は、検出領域内オプティカルフロー情報9に含まれている。これらの座標の情報が、最左端特徴点L及び最右端特徴点Rを始点としたオプティカルフローにおける当該始点の撮像画像5上での位置の情報となる。また、オプティカルフローにおける終点の撮像画像5上での位置の情報は、当該オプティカルフローにおける始点の位置の座標の情報に、当該オプティカルフローの成分の情報を成分毎に加算することで求めることができる。なお、オプティカルフローの成分の情報も、前述したように、検出領域内オプティカルフロー情報9に含まれている。
【0044】
次に、撮像画像5上の点に対応する自車両4後方の実際の位置の、自車両4の座標系での方位の算出の手法について、図6を用いて説明する。
本実施例において、自車両4の座標系である車両座標系として、車載カメラ2の視点を原点とし、前述の所定方位の方向をZ’軸方向とし、水平線と平行な方向をX’軸方向とし、Z’軸及びX’軸と直交する方向をY’軸方向とする三次元直交座標を定義する。ここで、対象点の方位を、対象点と原点とを結ぶ直線についての、Z’X’平面への射影とZ’軸とのなす角である方位角θと、当該直線についてのY’Z’平面への射影とZ’軸とのなす角である仰角φとにより表すものとする。
【0045】
まず、図6の[1]に図解されているように、撮像画像5上の点p(x,y)を車載カメラ2の視点から貫く向きの単位ベクトルである視線ベクトルP(X,Y,Z)を取得する。ここで求める視線ベクトルPの各成分はカメラ座標系におけるものである。カメラ座標系は、車載カメラ2の視点を原点とし、撮像画像5の横方向及び縦方向をそれぞれX軸方向及びY軸方向とし、撮像画像5の矩形の中心(対角線の交点)を原点から貫く方向をZ軸方向とする三次元直交座標系として定義したものである。なお、この視線ベクトルP(X,Y,Z)の各成分は、車載カメラ2の特性(画素数やレンズ歪など)に応じて求まる定数と、撮像画像5上の点p(x,y)の座標の情報とに基づく計算によって算出することができる。
【0046】
次に、図6の[2]に図解されているように、カメラ座標系の成分で表現されている視線ベクトルP(X,Y,Z)を、前述の車両座標系での単位ベクトルである視線ベクトルP’(X’,Y’,Z’)に変換する。
【0047】
ここで、車載カメラ2の自車両4に対する設置姿勢をαとする。この姿勢αは、車載カメラ2の光軸が、所定方位方向の水平線に対してどの程度傾いているかを表している角度で表されており、車両座標系におけるZ’軸に対するカメラ座標系のZ軸のなす角度に相当する。この姿勢αの値は既知であるので、視線ベクトルP’の各成分は、視線ベクトルPの各成分と、回転行列R(α)とを用いて、P’=R(α)・Pの演算を行うことで算出することができる。
【0048】
次に、図6の[3]に図解されているように、上述したようにして算出された視線ベクトルP’についての三次元直交座標系での成分表現P’(X’,Y’,Z’)を、極座標系での成分表現P’(r,θ,φ)に変換する。但し、視線ベクトルP’は単位ベクトルであるので、r=1である。こうして、撮像画像5上の点に対応する自車両4後方の実際の位置の、自車両4の座標系での方位(方位角θ及び仰角φ)が求まる。
【0049】
以上のようにして、最左端特徴点L及び最右端特徴点Rについてのそれぞれのオプティカルフローにおける始点及び終点に対応する実際の位置の、車両座標系での方位角θが求まる。次に、方位角変化率算出部12は、最左端特徴点L及び最右端特徴点Rの各々についての方位角の時間変化率dθ/dtを求める。この時間変化率dθ/dtの算出について、図7を参照しながら説明する。
【0050】
図7は、自車両4と同一方向に走行している、自車両4の後続の対象車両7が、自車両4に接近している様子を表現している。この図7において、方位角θ1は、最左端特徴点Lについてのオプティカルフローにおける始点に対応する実際の位置の、車両座標系での方位角である。また、方位角θ2は、当該オプティカルフローにおける終点に対応する実際の位置の、車両座標系での方位角である。このとき、この方位角の時間変化率dθ/dtは、下記の式
dθ/dt=(θ2−θ1)/(NL/FR)
を計算することにより求めることができる。ここで、NLは、オプティカルフロー獲得部14が最左端特徴点Lのオプティカルフローの獲得に用いた2枚の撮像画像5間のフレーム間隔の情報であり、検出領域内オプティカルフロー情報9に含まれている情報である。また、FRは、車載カメラ2での時系列の撮像画像(すなわち動画像)の撮影におけるフレームレートであり、例えば30[フレーム/秒]である。
【0051】
最左端特徴点Lについての方位角の時間変化率dθ/dtは以上のようにして求められる。方位角変化率算出部12は、最右端特徴点Rについての方位角の時間変化率dθ/dtも、同様にして求める。
【0052】
次に、方位角変化率算出部12は、最左端特徴点L及び最右端特徴点Rの各々についての方位角の時間変化率dθ/dtを統合して、対象車両7の水平線方向の端部を自車両4から見たときの方位角の時間変化率の算出結果とする。その統合の手法としては、例えば、2つの時間変化率dθ/dtのうちの大きい方の値をその算出結果として選択するようにしてもよいし、また、2つの時間変化率dθ/dtの平均値をその算出結果として選択するようにしてもよい。
【0053】
方位角変化率算出部12は、以上のようにして、対象車両7の水平線方向の端部を自車両4から見たときの方位角の時間変化率の算出を行う。
なお、自車両4が旋回中の場合には、車両座標系が旋回する分だけ過剰気味に、若しくは不足気味に方位角の変位が観測されることになる。この変位を補正するために自車両4にヨーレートセンサを設置し、このヨーレートセンサから得られる角速度wを用いて算出値の補正を行うようにして、あたかも旋回運動がない状態での対象車両7の車両端の方位角の時間変化率を得るようにしてもよい。
【0054】
次に、測距部11の動作について、図8を用いて説明する。
測距部11は、まず、撮像画像5における対象車両7の前部の横幅についての撮像画像5上での長さ、すなわち、前述した最左端特徴点Lと最右端特徴点Rとの間の水平方向の長さを、それらの位置を示す座標の情報から算出する。この撮像画像5上での対象車両7の前部の横幅の長さをwとする。
【0055】
次に、測距部11は、撮像画像5における対象車両7の前部が映っている位置の座標の情報を取得する。このために、測距部11は、例えば、検出領域8内における特定の距離算出対象特徴点(例えば、検出領域8を表している矩形の中心に最も近い特徴点)の撮像画像5上における座標の情報を検出領域内オプティカルフロー情報9から取得する。そして、撮像画像5上の座標の情報で表されている、当該距離算出対象特徴点の位置情報を、車載カメラ2の特性に応じて求まる前述の定数と、車載カメラ2の姿勢αとに基づき、前述の車両座標系における三次元の位置情報に変換する。
【0056】
次に、測距部11は、この距離算出対象特徴点についての三次元位置情報に基づき、当該距離算出対象特徴点についての車両座標系の原点からの距離を算出し、その距離についての、対象車両7の前部の横幅についての撮像画像5上での長さwに対する比を求める。
【0057】
前述したように、本実施例においては、撮像画像5に映る対象車両7前部の横幅の実際の長さ、すなわち、自車両4に向いている側の対象車両7の水平線方向の幅の長さは既知であるとしている。ここで、この幅の長さをWとする。
【0058】
測距部11は、この既知である幅の長さWに対して、前述のようにして求めた比を乗算して、車両座標系の原点(すなわち自車両4)から距離算出対象特徴点までの距離Dを得る。
【0059】
測距部11は、以上のようにして、自車両4と対象車両7との間の距離の計測を行う。この計測においては、前述したような、自車両4の影の影響で不鮮明になりがちな、対象車両7と対象車両7が走行している路面との接点に関する情報は一切使用していない。その代わりに、深度が顕著に異なっている対象車両7とその背景との視差によって鮮明である自車両4の側端の像から得られる長さ情報Wを用いてこの距離の計測が行われるので、良好な測距精度が得られる。
【0060】
なお、ここで、距離算出対象特徴点が常に撮像画像5上の特定の位置(例えば、矩形である撮像画像5の中心)となるように車載カメラ2を自車両4に設置すれば、車両座標系の原点から距離算出対象特徴点までの距離は定数値となる。従って、この場合には、図8のグラフで表されているように、測距部11による算出対象である距離Dは、対象車両7の前部の横幅についての撮像画像5上での長さwによって定まる関数となる。そこで、この図8のグラフに相当する、対象車両7の前部の横幅についての撮像画像5上での長さwと、距離Dとの関係を予め求めておいてテーブル化し、測距部11に備えておくようにする。そして、距離Dの計測時には、測距部11は、このテーブルを参照することで、対象車両7の前部の横幅についての撮像画像5上での長さwから、距離Dを求めるようにしてもよい。
【0061】
次に、判定部13の動作について、図9を用いて説明する。
前述したように、判定部13は、まず、測距部11により計測された前述の距離Dに基づき、当該距離Dに対応付けられている、前述の方位角の時間変化率の閾値Thを獲得する。そして、この閾値Thと、方位角変化率算出部12により算出された方位角の時間変化率dθ/dtとの大小比較を行い、その比較結果に基づいて、対象車両の自車両4への接触の可能性の有無を判定する。
【0062】
まず、この閾値Thについての本実施例での設定手法について説明する。
まず、測距部11により計測された距離Dと、対象車両7前部の横幅の実際の長さWと、前述の方位角θとは、下記の[数1]式の関係を有していることは明らかである。
【数1】

【0063】
この[数1]式の両辺を時間tで微分すると、
【数2】

となる。
【0064】
この[数2]式を変形すると下記の[数3]式が得られる。
【数3】

【0065】
なお、[数3]式において、Tは前述したTTCであり、T=D/Vである。なお、Vは対象車両7の自車両4への接近速度であり、下記の[数4]式の関係を有している。
【数4】

【0066】
なお、[数3]式におけるθは、
【数5】

が成立する。
【0067】
ここで、[数3]式のTには、警告を発する条件として使用するTTCの値が予め設定される。判定部13は、測距部11により計測される距離Dに応じて求まる、[数3]式の右辺の値を、閾値Thとして使用する。
【0068】
図9のグラフに描かれている曲線は、この閾値Thについての、距離Dと方位角の時間変化率dθ/dtとの関係を表したものである。この図9における、この曲線を境界とする2つの領域のうちで、斜線が付されている領域では、対象車両7の自車両4に対するTTCが上述のTよりも短くなっている。そこで、判定部13は、方位角の時間変化率dθ/dtがこの閾値Th以上である場合には、対象車両7の自車両4への接触の可能性があるとの判定を下し、その他の場合には、その接触の可能性はないとの判定を下す。
【0069】
なお、この図9のグラフに相当する、測距部11により計測される距離Dと閾値Thとの関係を予め求めておいてテーブル化し、判定部13に備えておくようにする。そして、接触可能性の有無の判定時には、判定部13は、このテーブルを参照することで、測距部11により計測される距離Dから閾値Thを求め、この閾値Thを用いて判定を行うようにしてもよい。
【0070】
前述したように、TTCは、接近物までの距離Dと接近物との相対速度Vとから、D/Vの計算を行うことによって算出される。しかしながら、前述したように、影等の影響による路面境界の不鮮明さに起因した精度の悪い距離Dと、その距離Dの時間変動から推定される相対速度VとからTTCを導いても、その精度は期待できない。これに対し、本実施例における接触可能性検知装置1では、撮像画像5上での位置特定が路面境界よりも精度良く行える対象車両7の前部の横端の位置、すなわち方位の情報を用いて接触可能性の有無の判定を行うので、高い判定精度を提供することができる。
図2に図解した、接触可能性検知装置1を構成している各部は、以上のように動作する。
【0071】
次に図10について説明する。図10は、図2の接触可能性検知装置1において行われる、接触可能性検知処理の処理手順を図解したフローチャートである。
図10の処理が開始されると、まず、S101において、車載カメラ2での撮像により得られた時系列の撮像画像5(すなわち、自車両4の真後ろの方向の動画像)を取得する処理を、オプティカルフロー獲得部14が行う。
【0072】
次に、S102では、S101の処理で取得した時系列の撮像画像5においての監視領域6内に共通して存在する特徴点を抽出する処理を、オプティカルフロー獲得部14が前述のようにして行う。
【0073】
次に、S103では、S102の処理により抽出した特徴点(画素)の2枚の撮像画像5間での動きベクトルの成分を計算して、各特徴点についてのオプティカルフローを求める処理を、オプティカルフロー獲得部14が行う。
【0074】
次に、S104では、S103の処理でオプティカルフローを求めた特徴点を、そのオプティカルフローの向きに基づき分類し、オプティカルフローの方向が消失点から離れる向きに分類された特徴点を抽出する処理を、画像領域検出部15が行う。
【0075】
次に、S105では、S104の処理により抽出された特徴点の集合を含む、所定の縦横比の矩形形状の画像領域を、対象車両7の像が含まれている検出領域8として、撮像画像5から検出する処理を、画像領域検出部15が行う。なお、画像領域検出部15は、この処理において、前述した検出領域情報及び検出領域内オプティカルフロー情報9を出力する処理も行う。
【0076】
次に、S106では、検出領域情報を用いて、撮像画像5の検出領域8内に存在する特徴点のうちの、前述した最左端特徴点L及び最右端特徴点Rについての情報を、検出領域内オプティカルフロー情報9から抽出する処理を、方位角変化率算出部12が行う。
【0077】
次に、S107では、最左端特徴点L及び最右端特徴点R各々のオプティカルフローの始点及び終点の、撮像画像5上での位置にそれぞれ対応する自車両4後方の実際の位置についての方位角θを算出する処理を、方位角変化率算出部12が前述のようにして行う。
【0078】
次に、S108では、S107の処理で算出した最左端特徴点L及び最右端特徴点R各々の方位角について、その時間変化率dθ/dtの算出を、方位角変化率算出部12が前述のようにして行う。
【0079】
次に、S109では、S108の処理により算出した、最左端特徴点L及び最右端特徴点Rの各々についての方位角の時間変化率dθ/dtを統合する処理を、方位角変化率算出部12が前述のようにして行う。方位角変化率算出部12は、この統合処理の結果を、対象車両7の水平線方向の端部についての方位角の時間変化率の算出結果として出力する。
【0080】
次に、S110では、対象車両7の前部の横幅についての撮像画像5上での長さを算出する処理を、測距部11が前述のようにして行う。
次に、S111では、検出領域8内における特定の距離算出対象特徴点の撮像画像5上における座標(すなわち、撮像画像5における対象車両7の前部が映っている位置の座標)を検出領域内オプティカルフロー情報9から取得する処理を測距部11が行う。
【0081】
次に、S112では、自車両4と対象車両7との間の距離Dの計測を行う処理を測距部11が行う。この処理は、S110の処理により算出した対象車両7の前部の横幅についての撮像画像5上での長さと、S111の処理により取得した撮像画像5における対象車両7の前部が映っている位置の座標とに基づき、前述のようにして行われる。
【0082】
次に、S113では、S112の処理により計測された距離Dに対応付けられている、方位角の時間変化率の閾値Thを獲得する処理を、判定部13が前述のようにして行う。
次に、S114では、S109の処理により方位角変化率算出部12から出力された対象車両7の水平線方向の端部についての方位角の時間変化率dθ/dtと、S113の処理により獲得した閾値Thとの大小比較を行う処理を判定部13が行う。
【0083】
次に、S115では、S114の大小比較処理において、方位角の時間変化率dθ/dtが閾値Th以上であったか否かを判定する処理を判定部13が行う。ここで、方位角の時間変化率dθ/dtが閾値Th以上であったと判定したとき(判定結果がYesのとき)には、S116に処理が進む。一方、方位角の時間変化率dθ/dtが閾値Th未満であったと判定したとき(判定結果がNoのとき)には、S101に処理が戻って上述した処理が改めて実行される。
【0084】
S116では、警告実行の指示を警告部3に与えて、対象車両7の自車両4への接触の可能性がある旨の警告を自車両4の運転者に通知させる処理を判定部13が行い、その後はS101に処理が戻って上述した処理が改めて実行される。
【0085】
図2の接触可能性検知装置1は、以上の接触可能性検知処理を行うことで、対象車両7の自車両4への接触の可能性の有無の検知を行う。
次に図11について説明する。図11は、接触可能性検知装置1の別の一実施例の機能ブロック図である。
【0086】
図11に図解されているように、この接触可能性検知装置1は、複数の検知部20−1、20−2、20−3、…、20−nと、統合判定部30とを備えている。
検知部20−1、20−2、20−3、…、20−nは、いずれも、対象車両7の自車両4への接触の可能性の有無の検知を行う。但し、検知部20−1、20−2、20−3、…、20−nは、その検知を行う対象とする対象車両7が位置している自車両4からの距離の範囲が、互いに異なっている。すなわち、図11の構成では、例えば、検知部20−1は、自車両4からの距離が2〜4mの範囲に位置している対象車両7を対象として接触の可能性の有無の検知を行う。また、例えば、検知部20−2は、自車両4からの距離が4〜8mの範囲に位置している対象車両7を対象として接触の可能性の有無の検知を行う。
【0087】
なお、以下の説明では、検知部20−1、20−2、20−3、…、20−nの各々を特に区別する必要がない場合には、これらを「検知部20」と総称することとする。
統合判定部30は、複数の検知部20のうちで、対象車両7の自車両4への接触の可能性があるとの判定を下したものがあるか否かを判定して、その判定結果を、接触可能性検知装置1としての接触の可能性の有無の検知結果とする。
【0088】
次に図12について説明する。図12は、図11の検知部20の機能ブロック図である。
図12に図解されているように、この検知部20は、設定部21、オプティカルフロー獲得部22、及び判定部23を各々備えている。
【0089】
設定部21は、自車両4に搭載されている車載カメラ2が対象車両7を撮像して得た時系列の撮像画像5上に、撮像画像5における消失点を中心とする矩形内の領域を、監視領域6として設定する。この矩形は、所定の縦横比であり、その大きさは、この検知部20自身が検知を行う対象とする前述の距離の範囲に応じて設定される。
【0090】
例えば、2〜4mの距離を検知対象範囲としている検知部20−1の設定部21は、撮像画像5上において、消失点を中心(対角線の交点)とし、自車両4からの距離が2mの位置に相当するY座標の位置を下辺とする矩形の領域を、監視領域6として設定する。また、例えば、4〜8mの距離を検知対象範囲としている検知部20−2の設定部21は、撮像画像5上において、消失点を中心)とし、自車両4からの距離が4mの位置に相当するY座標の位置を下辺とする矩形の領域を、監視領域6として設定する。このように、本実施例では、検知部20による検知対象範囲における最近距離の位置に相当するY座標の位置を下辺とする矩形の領域を、監視領域6として設定する。
【0091】
なお、監視領域6を囲む矩形の縦横の長さは、例えば、検知部20による検知対象範囲における最近距離に位置している標準的な大きさの自動車(例えば車高1.5m、車幅1.8m)についての撮像画像5上での像における車高と車幅に近い長さとする。
【0092】
図13は、検知部20の各々が備えている設定部21による監視領域6の設定結果の例を図解したものである。図13において、監視領域6−1、6−2、6−3、…は、それぞれ、検知部20−1、20−2、20−3、…の各々の設定部21により撮像画像5上に設定された領域を表現している。
【0093】
図12の説明に戻る。オプティカルフロー獲得部22は、車載カメラ2が得た時系列の撮像画像5のうちの2枚を用いて、設定部21が設定した監視領域6内の特徴点についてのオプティカルフローを求める。但し、オプティカルフロー獲得部22は、時系列の撮像画像5のうちの、この検知部20自身が検知を行う対象とする距離の範囲に応じて設定される時間間隔閾値以内の撮像時間間隔を隔てて撮像された2枚の撮像画像に基づいて、このオプティカルフローを求める。
【0094】
このオプティカルフロー獲得部22は、前述した可変フレームレート制御を行ってオプティカルフローを求める。
すなわち、オプティカルフロー獲得部22は、まず、車載カメラ2が得た時系列の撮像画像5の監視領域6内に共通して存在する特徴点を、例えばブロックマッチングによって抽出する。
【0095】
次に、オプティカルフロー獲得部22は、抽出した特徴点(画素)について、時系列の撮像画像5において順序が連続している2枚の撮像画像5間での動きベクトルの成分を計算して、当該特徴点についてのオプティカルフローを求める。
【0096】
但し、この計算によってオプティカルフローが得られなかった(すなわち、移動量が1画素分に満たない)特徴点については、時系列の撮像画像5において順序が1つ離れている2枚の撮像画像5を用いて、当該特徴点についてのオプティカルフローを求める。
【0097】
ここで、なおもオプティカルフローが得られなかった特徴点については、時系列の撮像画像5において順序が更にもう1つ離れている2枚の撮像画像5を用いて、当該特徴点についてのオプティカルフローを求める。
【0098】
この後も、オプティカルフローが得られなかった特徴点については、上述した手順を繰り返してオプティカルフローの獲得を試みる。そして、前述の時間間隔閾値に相当する閾値枚数分(例えば、32フレーム)だけ順序が離れている2枚の撮像画像5を用いてもオプティカルフローが求まらなかった特徴点については、移動をしていないものと判断する。
【0099】
なお、上述の時間間隔閾値に相当する閾値枚数は、検知部20自身が検知を行う対象とする距離の範囲に応じて、例えば以下のようにして設定される。
まず、距離Dとして、検知部20による検知対象範囲における中央値を設定する。例えば、2〜4mの距離を検知対象範囲としている検知部20−1では、この距離Dを3mに設定する。
【0100】
次に、この距離Dの値を、前掲した[数3]式の右辺に代入して、前述した、方位角の時間変化率の閾値Thの値を算出する。
次に、この距離Dにおいての方位角の時間変化率の閾値Thを、撮像画像5上での横方向(x軸方向)移動量の時間変化率(すなわち、接近する対象車両7の像の撮像画像5上での拡大速度)の閾値Th2に変換する。なお、この変換は、前掲した[数1]式の関係を考慮することで、容易に行うことができる。
【0101】
次に、前述の時間間隔閾値に相当する、撮像画像5の閾値枚数Nthを、
1/(Nth/FR)<Th2
を満たす最大の整数とする。但し、FRは、車載カメラ2での時系列の撮像画像(すなわち動画像)の撮影におけるフレームレートであり、例えば30[フレーム/秒]である。
【0102】
オプティカルフロー獲得部22には、以上のようにして、検知部20自身が検知を行う対象とする距離の範囲に応じて算出される、上述の、時間間隔閾値に相当する閾値枚数Nthを予め設定しておく。そして、この閾値枚数Nthに従って、前述のようにして、各特徴点についてのオプティカルフローを求める。
【0103】
以上のようにすることで、オプティカルフロー獲得部22がオプティカルフローを求めることができる特徴点は、移動量が顕著に大きなもののみに限定される。より具体的には、オプティカルフロー獲得部22がオプティカルフローを求めることができる特徴点は、警告を発する条件として使用するTTCの値以下の時間で自車両4に接触する可能性を有している対象車両7の像についてのもののみとなる。
【0104】
判定部23は、設定部21が設定した監視領域6内の特徴点について、オプティカルフローをオプティカルフロー獲得部22を求めることができたか否かを判定し、この判定結果に基づいて、対象車両7の自車両7への接触の可能性の有無を判定する。より具体的には、オプティカルフロー獲得部22を求めることができた特徴点が一つでも存在した場合には、判定部23は、対象車両7の自車両4への接触の可能性があるとの判定を下す。一方、オプティカルフロー獲得部22を求めることができた特徴点が一つも存在しない場合には、判定部23は、対象車両7の自車両4への接触の可能性はないとの判定を下す。判定部23は、この判定結果を、検知部20自身での、対象車両7の自車両4への接触の可能性の有無の判定結果として出力する。
【0105】
以上のように、図11の接触可能性検知装置1は、同一の機能を提供する検知部20を、その設定を異ならせて複数備えることで、対象車両7の自車両4への接触の可能性の有無の判定を、良好な精度で行うことができる。
【0106】
次に図14について説明する。図14は、図11の接触可能性検知装置1において行われる、接触可能性検知処理の処理手順を図解したフローチャートである。
図14の処理が開始されると、まず、S201において、検知処理を検知部20が行う。この検知処理の処理手順については後述する。
【0107】
次に、S202では、複数の検知部20のうちで、対象車両7の自車両4への接触の可能性があるとの判定結果を出力したものがあるか否かを判定する処理を統合判定部30が行う。ここで、接触の可能性があるとの判定結果を出力したものがあると判定したとき(判定結果がYesのとき)には、統合判定部30は、接触可能性検知装置1としての判定結果を、対象車両7の自車両4への接触の可能性ありとして、S203に処理が進む。一方、接触の可能性があるとの判定結果を出力したものがないと判定したとき(判定結果がNoのとき)には、統合判定部30は、接触可能性検知装置1としての判定結果を、対象車両7の自車両4への接触の可能性なしとし、S201に処理が戻る。
【0108】
S203では、警告実行の指示を警告部3に与えて、対象車両7の自車両4への接触の可能性がある旨の警告を自車両4の運転者に通知させる処理を統合判定部30が行い、その後はS201に処理が戻って上述した処理が改めて実行される。
【0109】
図11の接触可能性検知装置1は、以上の接触可能性検知処理を行うことで、対象車両7の自車両4への接触の可能性の有無の検知を行う。
次に図15について説明する。図15は、図14のS201の処理である、図11における検知部20の各々で行われる検知処理の処理手順を図解したフローチャートである。
【0110】
図15の処理が開始されると、まず、S211において、車載カメラ2での撮像により得られた時系列の撮像画像5(すなわち、自車両4の真後ろの方向の動画像)を取得する処理を、設定部21が行う。
【0111】
次に、S212では、S211の処理で取得した時系列の撮像画像5上に、消失点を中心とし、検知部20自身の検知対象の距離の範囲に応じた大きさで所定の縦横比である矩形の領域を、監視領域6として設定する処理を、設定部21が前述のようにして行う。
【0112】
次に、S213では、S202の処理により時系列の撮像画像5に設定した監視領域6内に共通して存在する特徴点を抽出する処理を、オプティカルフロー獲得部22が前述のようにして行う。
【0113】
次に、S214では、S211の処理で取得した時系列の撮像画像5のうちの1枚を、基準撮像画像として選択する処理をオプティカルフロー獲得部22が行う。
次に、S215では、S211の処理で取得した時系列の撮像画像5から、S214の処理で選択した基準撮像画像の次の順序のものを選択する処理を、オプティカルフロー獲得部22が行う。
【0114】
次に、S216では、この処理の実行時点で選択中の撮像画像5と、S214の処理で選択した基準撮像画像とを用いて、S213の処理で抽出した特徴点についてのオプティカルフローを獲得する処理を、オプティカルフロー獲得部22が行う。
【0115】
次に、S217では、S216の処理によって、オプティカルフローを獲得できた(すなわち、オプティカルフローの大きさがゼロでない)特徴点があったか否かを判定する処理を、判定部23が行う。ここで、オプティカルフローを獲得できた特徴点があったと判定したとき(判定結果がYesのとき)には、S218に処理が進む。一方、オプティカルフローを獲得できた特徴点はなかったと判定したとき(判定結果がNoのとき)には、S219に処理が進む。
【0116】
S218では、対象車両7の自車両4への接触の可能性があるとの判定結果を出力する処理を判定部23が行い、その後はこの検知処理が終了し、処理が図14の接触可能性検知処理に戻る。
【0117】
一方、S219では、撮像画像5の選択を、この処理時点で選択中のものから、S211の処理で取得した時系列の撮像画像5のうちで当該選択中のものの次の順序の撮像画像5に改める処理を、オプティカルフロー獲得部22が行う。
【0118】
S220では、S219の処理で選択した撮像画像5の順序が、S214の処理で選択した基準撮像画像の順序から、前述の閾値枚数Nth以上離れているか否かを判定する処理をオプティカルフロー獲得部22が行う。ここで、撮像画像5の順序が閾値枚数Nth以上離れていると判定したとき(判定結果がYesのとき)にはS221に処理が進む。一方、撮像画像5の順序が閾値枚数Nthまでは離れていないと判定したとき(判定結果がNoのとき)にはS216に処理が戻り、前述した処理を改めて実行する。
【0119】
S221では、対象車両7の自車両4への接触の可能性はないとの判定結果を出力する処理を判定部23が行い、その後はこの検知処理が終了し、処理が図14の接触可能性検知処理に戻る。
【0120】
検知部20が以上の検知処理を行うことで、対象車両7の自車両4への接触の可能性の有無の検知を行う。図11の接触可能性検知装置1における統合判定部30は、複数の検知部20のうちで、対象車両7の自車両4への接触の可能性があるとの判定結果を出力したものがあるか否かを判定する。そして、この判定結果を、接触可能性検知装置1としての該接触の可能性の有無の検知結果とする。
【0121】
なお、図2及び図11に機能ブロックを図解した接触可能性検知装置1を、標準的なハードウェア構成のコンピュータを用いて構成してもよい。
【0122】
ここで図16について説明する。図16は、コンピュータのハードウェア構成例であり、図2及び図11に機能ブロックを図解した接触可能性検知装置1を構成することができるものの一例である。
【0123】
このコンピュータ40は、MPU41、ROM42、RAM43、ハードディスク装置44、入力装置45、表示装置46、インタフェース装置47、及び記録媒体駆動装置48を備えている。なお、これらの構成要素はバスライン49を介して接続されており、MPU41の管理の下で各種のデータを相互に授受することができる。
【0124】
MPU(Micro Processing Unit)41は、このコンピュータ40全体の動作を制御する演算処理装置である。
ROM(Read Only Memory)42は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。MPU41は、この基本制御プログラムをコンピュータ40の起動時に読み出して実行することにより、このコンピュータ40の各構成要素の動作制御が可能になる。
【0125】
RAM(Random Access Memory)43は、MPU41が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【0126】
ハードディスク装置44は、MPU41によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。MPU41は、ハードディスク装置44に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【0127】
入力装置45は、例えばキーボード装置やマウス装置であり、コンピュータ40の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をMPU41に送付する。
【0128】
表示装置46は例えば液晶ディスプレイであり、MPU41から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置47は、このコンピュータ40に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、車載カメラ2から送られてくる時系列の撮像画像(動画像)の取り込みや、警告部3への警告実行指示信号の送出などを行う。
【0129】
記録媒体駆動装置48は、可搬型記録媒体50に記録されている各種の制御プログラムやデータの読み出しを行う装置である。MPU41は、可搬型記録媒体50に記録されている所定の制御プログラムを、記録媒体駆動装置48を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体50としては、例えばUSB(Universal Serial Bus)規格のコネクタが備えられているフラッシュメモリ、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)などがある。
【0130】
このようなコンピュータ40を接触可能性検知装置1として動作させるには、まず、図10や図14に図解した接触可能性検知処理や、図15に図解した検知処理の処理内容をMPU41に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置44若しくは可搬型記録媒体50に予め格納しておく。そして、MPU41に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、MPU41が、図2や図11に図解した各機能ブロックとして機能し、このコンピュータ20が接触可能性検知装置1として動作するようになる。
【0131】
また、端末装置と、当該端末装置との間で各種データの授受を行うことのできるサーバ装置とからなるコンピュータシステムにより、前述した各実施例に係る位置特定装置1を構成してもよい。例えば、このコンピュータシステムで図2や図11の接触可能性検知装置1を構成する場合には、自車両4に設置される端末装置にサーバ装置との通信用の通信装置を備えると共に、図1の車載カメラ2及び警告部3を接続する。一方、サーバ装置には、例えば図16のコンピュータ40の構成を備える。但し、インタフェース装置47には、端末装置の通信装置との間でのデータ通信を管理する通信装置を備える。そして、端末装置は、車載カメラ2が得た時系列の撮像画像5(すなわち動画像)をサーバ装置に送付する。一方、サーバ装置では、端末装置から受け取った撮像画像5に基づき、前述した接触可能性検知処理を行い、その結果を端末装置に送付して警告部3の動作制御を行わせる。このようにして、コンピュータシステムにより、前述した各実施例に係る位置特定装置1を構成してもよい。
【符号の説明】
【0132】
1 接触可能性検知装置
2 車載カメラ
3 警告部
4 自車両
5 撮像画像
6、6−1、6−2、6−3 監視領域
7 対象車両
8 検出領域
9 検出領域内オプティカルフロー情報
11 測距部
12 方位角変化率算出部
13、23 判定部
14、22 オプティカルフロー獲得部
15 画像領域検出部
20、20−1、20−2、20−3、20−n 検知部
21 設定部
30 統合判定部
40 コンピュータ
41 MPU
42 ROM
43 RAM
44 ハードディスク装置
45 入力装置
46 表示装置
47 インタフェース装置
48 記録媒体駆動装置
49 バスライン
50 可搬型記録媒体

【特許請求の範囲】
【請求項1】
対象車両の自車両への接触の可能性の有無を検知する接触可能性検知装置であって、
前記自車両と前記対象車両との間の距離の計測を行う測距部と、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像に基づいて、該対象車両の水平線方向の端部を該自車両から見たときの方位角の時間変化率を算出する方位角変化率算出部と、
前記測距部により計測された距離と、前記方位角変化率算出部により算出された前記方位角の時間変化率とに基づいて、前記対象車両の前記自車両への接触の可能性の有無を判定する判定部と、
を備えることを特徴とする接触可能性検知装置。
【請求項2】
前記時系列の撮像画像から、該撮像画像を構成している画素についてのオプティカルフローを求めるオプティカルフロー獲得部と、
前記撮像画像を構成している各画素を前記オプティカルフローの方向に基づき分類し、該分類の結果に基づいて、該撮像画像から前記対象車両の像の領域を検出する画像領域検出部と、
を更に備え、
前記方位角変化率算出部は、前記撮像画像から前記画像領域検出部が検出した領域における該撮像画像での水平線方向の端部についての該撮像画像上での位置に基づいて、前記方位角を求め、前記時系列の撮像画像の撮像間隔時間と各撮像画像について求めた該方位角とに基づいて前記方位角の時間変化率を算出する
ことを特徴とする請求項1に記載の接触可能性検知装置。
【請求項3】
前記対象車両は、前記自車両の後方を該自車両と同一の方向に走行しており、
前記自車両に向いている側の前記対象車両の水平線方向の幅の長さは既知であり、
前記測距部は、前記対象車両についての前記幅の長さと、前記撮像画像から前記画像領域検出部が検出した領域の該撮像画像上での位置と、該領域における該撮像画像での水平線方向の両端間の距離とに基づいて、前記自車両と該対象車両との間の距離の計測を行う
ことを特徴とする請求項2に記載の接触可能性検知装置。
【請求項4】
前記判定部は、前記測距部により計測された距離に基づき該距離に対応付けられている前記方位角の時間変化率の閾値を獲得し、該獲得した閾値と前記方位角変化率算出部により算出された前記方位角の時間変化率との大小比較の結果に基づいて、前記対象車両の前記自車両への接触の可能性の有無を判定することを特徴とする請求項1から3のうちのいずれか1項に記載の接触可能性検知装置。
【請求項5】
対象車両の自車両への接触の可能性の有無を検知する接触可能性検知方法であって、
前記自車両と前記対象車両との間の距離の計測を測距部が行い、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像に基づいた、該対象車両の水平線方向の端部を該自車両から見たときの方位角の時間変化率の算出を方位角変化率算出部が行い、
前記測距部が前記計測により得た前記距離と、前記方位角変化率算出部が前記算出により得た前記方位角の時間変化率とに基づいて、前記対象車両の前記自車両への接触の可能性の有無を判定する、
ことを特徴とする接触可能性検知方法。
【請求項6】
対象車両の自車両への接触の可能性の有無の検知をコンピュータに行わせるためのプログラムであって、
前記自車両と前記対象車両との間の距離の計測を行い、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像に基づいた、該対象車両の水平線方向の端部を該自車両から見たときの方位角の時間変化率の算出を行い、
前記計測により得た前記距離と、前記算出により得た前記方位角の時間変化率とに基づいて、前記対象車両の前記自車両への接触の可能性の有無を判定する、
処理を前記コンピュータに実行させるプログラム。
【請求項7】
対象車両の自車両への接触の可能性の有無を検知する接触可能性検知装置であって、
前記接触の可能性の有無を検知し、該検知を行う対象とする前記対象車両が位置している前記自車両からの距離の範囲が互いに異なっている複数の検知部と、
前記複数の検知部のうちで、前記接触の可能性があるとの判定を下したものがあるか否かを判定して、該判定の結果を、該接触可能性検知装置としての該接触の可能性の有無の検知結果とする統合判定部と、
を備えており、
前記複数の検知部の各々は、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像上に、該撮像画像における消失点を中心とし、該検知部自身が該検知を行う対象とする前記距離の範囲に応じて設定される大きさであって所定の縦横比である矩形内の領域を、監視領域として設定する設定部と、
前記時系列の撮像画像のうちの、該検知部自身が該検知を行う対象とする前記距離の範囲に応じて設定される時間間隔閾値以内の撮像時間間隔を隔てて撮像された2枚の撮像画像に基づいて、前記監視領域内の特徴点のオプティカルフローを求めるオプティカルフロー獲得部と、
前記オプティカルフロー獲得部が前記オプティカルフローを求めることができたか否かに基づいて、前記対象車両の前記自車両への接触の可能性の有無を判定し、該判定結果を、該検知部自身での前記接触の可能性の有無の判定結果として出力する判定部と、
を備えている
ことを特徴とする接触可能性検知装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図7】
image rotate


【公開番号】特開2012−113573(P2012−113573A)
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願番号】特願2010−262924(P2010−262924)
【出願日】平成22年11月25日(2010.11.25)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】