接触可能性検知装置、接触可能性検知方法、及びプログラム
【課題】対象車両を撮像した画像の特徴点のオプティカルフローを利用して行う対象車両の自車両への接触の可能性の有無の判定の誤りを防止する。
【解決手段】検出部１１は、自車両の車載カメラ２が対象車両を撮像して得た時系列の撮像画像から、撮像画像を構成している画素のオプティカルフローを求める。そして、このオプティカルフローの向きが、撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される検出領域を、撮像画像から検出する。方位角変化率算出部１２は、前述の時系列の撮像画像に基づいて、検出領域についての撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率を算出する。判定部１３は、この方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての自車両への接触の可能性の有無を判定する。
【解決手段】検出部１１は、自車両の車載カメラ２が対象車両を撮像して得た時系列の撮像画像から、撮像画像を構成している画素のオプティカルフローを求める。そして、このオプティカルフローの向きが、撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される検出領域を、撮像画像から検出する。方位角変化率算出部１２は、前述の時系列の撮像画像に基づいて、検出領域についての撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率を算出する。判定部１３は、この方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての自車両への接触の可能性の有無を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、対象車両の自車両への接触の可能性を検知する技術に関する。
【背景技術】
【０００２】
自車両の追い越し等のために後方から接近してくる接近車両の存在を通知する接近車両検知装置が知られている。この装置は、例えば、自車両に搭載したカメラで撮像した動画像に対して画像認識処理を施して当該接近車両の存在を事前に検知するものである。また、自車両と接近車両との衝突の危険の高さを表す指標である、自車両と接近車両との衝突が予測されるまでの余裕時間ＴＴＣ（Time To Collision ）を求め、このＴＴＣが所定の時間（例えば３秒）よりも短い場合に警告を発する装置も知られている。
【０００３】
このような接近車両検知装置で採用されている画像認識処理技術として、オプティカルフローに基づいた接近車両の像の認識の技術が知られている。この技術は、動画像を構成している時系列の画像から、オプティカルフローが当該画像の中央より放射状に広がっている画素を抽出し、抽出された画素の周辺の領域の画像を、接近車両の像として認識するというものである。なお、オプティカルフローとは、例えば、時系列の画像における２枚の画像間においての同一の対象の対応箇所を探索することで求められる、画像内における当該対象の見かけの動きを表現している動きベクトル情報である。
【０００４】
また、この他の背景技術として、移動物を動画像から検出するときに、近距離の移動物の検出精度を維持しつつ、遠方の移動物の検出精度を、省メモリ、省計算量で向上させることのできる技術が知られている。この技術は、移動物の像についてのオプティカルフローを求めるときに使用する動画像のフレームレートを制御するというものである。
【０００５】
この技術では、まず、時刻ｔに取得した画像フレームと時刻ｔ−１に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の各特徴点についての移動量（パーティカルフロー）が求められる。次に、求められた移動量の大きさが所定値よりも小さい特徴点について、前述の時刻ｔ−１に取得した画像フレームと、時刻ｔ＋ｍ（ｍ＞０）に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の当該特徴点についての移動量が求められる。
【０００６】
例えば、ある特徴点のオプティカルフローを求めた結果、１ピクセル以上の移動量が得られなかった場合には、当該特徴点について、大きさが１ピクセル以上の動きベクトルが得られるまで、次時刻以降の画像を用いてオプティカルフローを求める処理を繰り返す。ここで、この処理を所定回数繰り返しても、１ピクセル以上の移動量が得られなかった場合には、当該特徴点については移動物についてのものではないとの判定を下す。
【０００７】
この技術では、このような可変フレームレート制御を行ってオプティカルフローを求めることで、撮像画像上での移動量が極めて少ない、遠方の移動物についての像の検知を可能としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００９／０７８０５６号
【非特許文献】
【０００９】
【非特許文献１】秋田時彦、林啓太、「後方モニターカメラを利用した後側方接近車警報システムの開発」、学術講演会前刷集、社団法人自動車技術会、２００７年５月、Ｎｏ．１−０７、ｐ．９−１２
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述の技術において行われている、オプティカルフローに基づいた接近車両の像の認識では、動画像を構成している時系列の画像から、接近車両ではない他車の像を、接近車両の像として誤検知してしまうことが考えられる。例えば、自車両から見て接近車両よりも更に後方で、自車両の進行方向に対して直交する方向に走行している他車の像は、当該像を構成している画素のオプティカルフローの向きが、当該画像の中央から概ね真横の方向に向く。このため、この像を、接近車両の像として誤検知してしまうことがあり得る。
【００１１】
本明細書で後述する接触可能性検知装置は、上述した問題に鑑み、対象車両を撮像した画像の特徴点のオプティカルフローを利用して行う対象車両の自車両への接触の可能性の有無の判定の誤りを防止することを課題としている。
【課題を解決するための手段】
【００１２】
本明細書で後述する接触可能性検知装置は、対象車両の自車両への接触の可能性の有無を検知する装置である。この接触可能性検知装置のひとつに、検出部と、方位角変化率算出部と、判定部とを備えるというものがある。ここで、検出部は、まず、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める。そして、当該オプティカルフローの向きが、当該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する。また、方位角変化率算出部は、前述の時系列の撮像画像に基づいて、当該検出領域についての当該撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率を算出する。そして、判定部は、方位角変化率算出部が算出した方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての当該自車両への接触の可能性の有無を判定する。
【００１３】
また、本明細書で後述する接触可能性検知方法は、対象車両の自車両への接触の可能性の有無を検知する方法である。この接触可能性検知方法のひとつは、まず、検出部が、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める。そして、当該オプティカルフローの向きが、当該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する。次に、時系列の撮像画像に基づいて、前述の検出領域についての当該撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率の算出を方位角変化率算出部が行う。そして、方位角変化率算出部が算出した方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての自車両への接触の可能性の有無の判定を判定部が行う。
【００１４】
また、本明細書で後述するプログラムは、対象車両の自車両への接触の可能性の有無の検知をコンピュータに行わせるためのプログラムである。このプログラムのひとつは、以下の処理をコンピュータに実行させる。すなわち、まず、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める処理を行う。次に、このオプティカルフローの向きが、撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する処理を行う。次に、前述の時系列の撮像画像に基づいて、前述の検出領域についての当該撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率を算出する処理を行う。そして、次に、この算出の処理により得た方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての自車両への接触の可能性の有無を判定する処理を行う。
【発明の効果】
【００１５】
本明細書で後述する接触可能性検知装置は、対象車両を撮像した画像の特徴点のオプティカルフローを利用して行う対象車両の自車両への接触の可能性の有無の判定の誤りを防止する効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】接触可能性検知装置の使用例を表した図である。
【図２】接触可能性検知装置の一実施例の機能ブロック図である。
【図３】所定方位の定義を説明する図である。
【図４】検出部の動作を説明する図である。
【図５】方位角変化率算出部の動作を説明する図である。
【図６】特徴点の撮像画像上の位置から現実の方位への変換を説明する図である。
【図７】方位角の時間変化率の算出を説明する図である。
【図８】自車両に接近する方向に対して直交する方向に対象車両が移動している場合における距離Ｄと位置ｘの定義を説明する図である。
【図９】方位角の時間変化率の時間変化を表した曲線の例である。
【図１０】図２の接触可能性検知装置で行われる接触可能性検知処理の処理手順を図解したフローチャートである。
【図１１】コンピュータのハードウェア構成例である。
【発明を実施するための形態】
【００１７】
まず図１について説明する。図１は、接触可能性検知装置の使用例を表した図である。
図１の使用例では、接触可能性検知装置１は、車載カメラ２及び警告部３と共に自車両（自動車）４に搭載して使用する。この接触可能性検知装置１は、自車両４と同一方向に走行している、自車両４の後続の対象車両についての自車両４への接触の可能性の有無の検知を行う。
【００１８】
自車両４の後部に搭載されている車載カメラ２は、自車両４の真後ろの方向の動画像を撮像する撮像装置の一例である。この車載カメラ２により得られる動画像、すなわち、一定の時間間隔で撮像される時系列の撮像画像には、自車両４の後方の景色の水平線が当該画像の水平方向に映り込むように車載カメラ２の視野を設定しておく。従って、この撮像画像には、その景色の像における、透視図（perspective drawing ）でいうところの消失点が含まれる。また、対象車両が存在する場合には、その対象車両の前部の像がこの撮像画像に含まれる。
【００１９】
警告部３は、例えばＬＥＤ（発光ダイオード）やブザーであり、対象車両の自車両４への接触の可能性があることを接触可能性検知装置１が検知したときに、発光動作あるいは発音動作を行って、その旨の警告を自車両４の運転者に通知する。
【００２０】
次に図２について説明する。図２は、接触可能性検知装置１の一実施例の機能ブロック図である。
図２に図解されているように、この接触可能性検知装置１は、検出部１１、方位角変化率算出部１２、及び判定部１３を備えて構成されている。
【００２１】
検出部１１は、まず、自車両４に搭載されている車載カメラ２が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める。そして、求めたオプティカルフローの向きが、撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する。
【００２２】
方位角変化率算出部１２は、前述の時系列の撮像画像に基づいて、検出部１１が検出した検出領域についての当該撮像画像での水平線方向の端部を自車両４から見たときの方位角の時間変化率を算出する。
【００２３】
判定部１３は、方位角変化率算出部１２が算出した前述の方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、検出部１１が検出した検出領域に映っている対象車両についての自車両４への接触の可能性の有無を判定する。より具体的には、判定部１３は、上述の検出領域に映っている対象車両が、自車両４に接近する方向に対して直交する方向（すなわち、自車両４に接近する方向に対して横切る方向）に移動しているのか否かを、上述の大小比較の結果に基づいて判定する。
【００２４】
なお、方位角変化率算出部１２は、前述の方位角の時間変化率の算出を、前述の時系列の撮像画像に従って順次繰り返すようにしてもよい。このようにする場合には、判定部１３は、方位角変化率算出部１２が算出した方位角の時間変化率が、所定の時間に亘って前述の時間変化率閾値よりも小さいときには、前述の接触の可能性がないとの判定を下す。一方、その他のときには、判定部１３は、その接触の可能性があるとの判定を下す、
次に、図２に図解した接触可能性検知装置１の各機能ブロックの動作について、更に詳細に説明する。
【００２５】
まず、所定方位を定義する。以降の説明では、所定方位とは、図３に図解されているように、自車両４の通常の前進走行における走行方向の逆方向、すなわち、自車両４の真後ろの方向をいうものとする。
【００２６】
まず、検出部１１の動作について図４を用いて説明する。
図４の［１］の画像例で図解されているように、車載カメラ２での撮像により得られる撮像画像５には、予め位置・形状が定められている範囲に監視領域６が設定される。なお、この監視領域６は、撮像画像５に映る背景における水平線と所定方位との交点、すなわち、撮像画像における前述の消失点が含まれるように設定される。
【００２７】
検出部１１は、車載カメラ２が得た時系列の撮像画像５の監視領域６内に共通して存在する特徴点を、例えばブロックマッチングによって抽出する。そして、抽出した特徴点（画素）について、２枚の撮像画像５間での動きベクトルの成分を計算することで、当該特徴点についてのオプティカルフローを求める。
【００２８】
なお、オプティカルフローの獲得に用いる２枚の撮像画像５は、時系列の撮像画像５から順序が連続しているものを選択することが一般的である。これに対し、本実施例では、前述した可変フレームレート制御を検出部１１が行ってオプティカルフローを求める。すなわち、検出部１１では、オプティカルフローの獲得に用いる２枚の撮像画像５を、時系列の撮像画像５のうちから、所定の閾値枚数範囲内で順序が連続していない（離れている）ものを選択することを許容している。従って、時系列で連続している２枚の撮像画像を用いる場合よりも、移動速度が遅い特徴点についてのオプティカルフローを求めることができる。
【００２９】
図４の［１］の画像例に描かれている、監視領域６内の黒丸から伸びている矢印は、当該黒丸の位置の特徴点（画素）について検出部１１が求めたオプティカルフローの向き及び大きさ（移動量）を表現している。ここで、このオプティカルフローの向きに注目すると、各特徴点は、オプティカルフローが消失点から離れる向きに向いているものと、消失点に向かう向きに向いているものとがあることが分かる。
【００３０】
ここで、自車両４は所定方位とは逆向きに走行していることから、撮像画像５における景色の像を構成している画素は、オプティカルフローが消失点に向かう向きに向く。一方、撮像画像５において自車両４に接近する対象車両７の像を構成している画素は、オプティカルフローが消失点から離れる向きに向く。
【００３１】
そこで、検出部１１は、撮像画像５における監視領域６内の画像を構成している各画素を、当該各画素のオプティカルフローの方向に基づき、その方向が消失点に向かう向きであるか離れる向きであるかによって分類する。そして、その分類の結果に基づき、オプティカルフローの方向が消失点から離れる向きである画素の集合を含む画像領域を、対象車両７の像が含まれている領域である、検出領域８として検出する。なお、本実施例では、検出部１１は、検出領域８を、対象車両７の撮像画像上での像における車高と車幅との比率に近い縦横比である矩形の領域として検出するようにしている。
【００３２】
なお、前述したオプティカルフローの消失点は、撮像画像５における景色の像を構成している画素のオプティカルフローが向いている一点を特定することで求まる。若しくは、車載カメラ２の光軸が自車両４の直進方向と平行になるように車載カメラ２を設置して、オプティカルフローの消失点の水平座標が画像中央となり、その垂直座標が水平線の垂直座標に一致するようにしてもよい。
【００３３】
次に、方位角変化率算出部１２の動作について、図５、図６、及び図７を用いて説明する。
検出部１１は、前述のようにして検出した検出領域８を特定する検出領域情報を出力する。この検出領域情報には、検出領域８の撮像画像５上での位置を特定する座標の情報と、検出領域８の境界を表している矩形の縦横の長さの情報とが含まれている。
【００３４】
更に、検出部１１は、検出領域８内の各特徴点について検出部１１が求めた情報を、検出領域内オプティカルフロー情報９として出力する。この情報には、各特徴点についての撮像画像５上での位置を特定する座標の情報とオプティカルフローについての情報とが含まれている。更に、検出領域内オプティカルフロー情報９には、検出部１１がオプティカルフローの獲得に用いた２枚の撮像画像５間のフレーム間隔の情報も含まれている。
【００３５】
例えば、図５に表されている検出領域内オプティカルフロー情報９における、特徴点を特定する情報である特徴点ＩＤ（Identification）が『１』である特徴点の情報に注目する。この特徴点『１』の情報では、この特徴点が撮像画像５上における座標『（ｘ１，ｙ１）』の位置の画素であること、及び、この画素について検出部１１が算出したオプティカルフローの成分が『（ｖｘ１，ｖｙ１）』であったことが示されている。更に、この特徴点『１』の情報では、時系列の撮像画像５において『Ｎ１』フレーム分離れた２枚の撮像画像５を使用して、この画素についてのオプティカルフローの算出を検出部１１が行ったことが示されている。なお、撮像画像５において、水平方向（横方向）を二次元直交座標系におけるｘ軸方向とし、垂直方向（縦方向）を当該座標系におけるｙ軸方向とする。
【００３６】
方位角変化率算出部１２は、上述した検出領域情報と検出領域内オプティカルフロー情報９とに基づいて、対象車両７の水平線方向の端部を自車両４から見たときの方位角θの時間変化率ｄθ／ｄｔを算出する。この時間変化率ｄθ／ｄｔの算出は、以下のようにして行われる。
【００３７】
まず、方位角変化率算出部１２は、検出領域情報を用いて、撮像画像５の検出領域８内に存在する特徴点のうち、最左端及び最右端である特徴点についての情報を、検出領域内オプティカルフロー情報９から抽出する。このときに抽出された最左端の及び最右端の特徴点を、それぞれ最左端特徴点Ｌ及び最右端特徴点Ｒとする。
【００３８】
次に、方位角変化率算出部１２は、最左端特徴点Ｌを始点としたオプティカルフローにおける当該始点及び終点についての、撮像画像５上での位置にそれぞれ対応する自車両４後方の実際の位置の、自車両４の座標系での方位（方位角θ及び仰角φ）を算出する。また、方位角変化率算出部１２は、最右端特徴点Ｒについても、同様の方位の算出を行う。
【００３９】
最左端特徴点Ｌ及び最右端特徴点Ｒの撮像画像５上での位置の座標の情報は、検出領域内オプティカルフロー情報９に含まれている。これらの座標の情報が、最左端特徴点Ｌ及び最右端特徴点Ｒを始点としたオプティカルフローにおける当該始点の撮像画像５上での位置の情報となる。また、オプティカルフローにおける終点の撮像画像５上での位置の情報は、当該オプティカルフローにおける始点の位置の座標の情報に、当該オプティカルフローの成分の情報を成分毎に加算することで求めることができる。なお、オプティカルフローの成分の情報も、前述したように、検出領域内オプティカルフロー情報９に含まれている。
【００４０】
次に、撮像画像５上の点に対応する自車両４後方の実際の位置の、自車両４の座標系での方位の算出の手法について、図６を用いて説明する。
本実施例において、自車両４の座標系である車両座標系として、車載カメラ２の視点を原点とし、前述の所定方位の方向をＺ’軸方向とし、水平線と平行な方向をＸ’軸方向とし、Ｚ’軸及びＸ’軸と直交する方向をＹ’軸方向とする三次元直交座標を定義する。ここで、対象点の方位を、対象点と原点とを結ぶ直線についての、Ｚ’Ｘ’平面への射影とＺ’軸とのなす角である方位角θと、当該直線についてのＹ’Ｚ’平面への射影とＺ’軸とのなす角である仰角φとにより表すものとする。
【００４１】
まず、図６の［１］に図解されているように、撮像画像５上の点ｐ（ｘ，ｙ）を車載カメラ２の視点から貫く向きの単位ベクトルである視線ベクトルＰ（Ｘ，Ｙ，Ｚ）を取得する。ここで求める視線ベクトルＰの各成分はカメラ座標系におけるものである。カメラ座標系は、車載カメラ２の視点を原点とし、撮像画像５の横方向及び縦方向をそれぞれＸ軸方向及びＹ軸方向とし、撮像画像５の矩形の中心（対角線の交点）を原点から貫く方向をＺ軸方向とする三次元直交座標系として定義したものである。なお、この視線ベクトルＰ（Ｘ，Ｙ，Ｚ）の各成分は、車載カメラ２の特性（画素数やレンズ歪など）に応じて求まる定数と、撮像画像５上の点ｐ（ｘ，ｙ）の座標の情報とに基づく計算によって算出することができる。
【００４２】
次に、図６の［２］に図解されているように、カメラ座標系の成分で表現されている視線ベクトルＰ（Ｘ，Ｙ，Ｚ）を、前述の車両座標系での単位ベクトルである視線ベクトルＰ’（Ｘ’，Ｙ’，Ｚ’）に変換する。
【００４３】
ここで、車載カメラ２の自車両４に対する設置姿勢をαとする。この姿勢αは、車載カメラ２の光軸が、所定方位方向の水平線に対してどの程度傾いているかを表している角度で表されており、車両座標系におけるＺ’軸に対するカメラ座標系のＺ軸のなす角度に相当する。この姿勢αの値は既知であるので、視線ベクトルＰ’の各成分は、視線ベクトルＰの各成分と、回転行列Ｒ（α）とを用いて、Ｐ’＝Ｒ（α）・Ｐの演算を行うことで算出することができる。
【００４４】
次に、図６の［３］に図解されているように、上述したようにして算出された視線ベクトルＰ’についての三次元直交座標系での成分表現Ｐ’（Ｘ’，Ｙ’，Ｚ’）を、極座標系での成分表現Ｐ’（ｒ，θ，φ）に変換する。但し、視線ベクトルＰ’は単位ベクトルであるので、ｒ＝１である。こうして、撮像画像５上の点に対応する自車両４後方の実際の位置の、自車両４の座標系での方位（方位角θ及び仰角φ）が求まる。
【００４５】
以上のようにして、最左端特徴点Ｌ及び最右端特徴点Ｒについてのそれぞれのオプティカルフローにおける始点及び終点に対応する実際の位置の、車両座標系での方位角θが求まる。次に、方位角変化率算出部１２は、最左端特徴点Ｌ及び最右端特徴点Ｒの各々についての方位角の時間変化率ｄθ／ｄｔを求める。この時間変化率ｄθ／ｄｔの算出について、図７を参照しながら説明する。
【００４６】
図７は、自車両４と同一方向に走行している、自車両４の後続の対象車両７が、自車両４に接近している様子を表現している。この図７において、方位角θ１は、最左端特徴点Ｌについてのオプティカルフローにおける始点に対応する実際の位置の、車両座標系での方位角である。また、方位角θ２は、当該オプティカルフローにおける終点に対応する実際の位置の、車両座標系での方位角である。このとき、この方位角の時間変化率ｄθ／ｄｔは、下記の式
ｄθ／ｄｔ＝（θ２−θ１）／（ＮＬ／ＦＲ）
を計算することにより求めることができる。ここで、ＮＬは、検出部１１が最左端特徴点Ｌのオプティカルフローの獲得に用いた２枚の撮像画像５間のフレーム間隔の情報であり、検出領域内オプティカルフロー情報９に含まれている情報である。また、ＦＲは、車載カメラ２での時系列の撮像画像（すなわち動画像）の撮影におけるフレームレートであり、例えば３０［フレーム／秒］である。
【００４７】
最左端特徴点Ｌについての方位角の時間変化率ｄθ／ｄｔは以上のようにして求められる。方位角変化率算出部１２は、最右端特徴点Ｒについての方位角の時間変化率ｄθ／ｄｔも、同様にして求める。
【００４８】
次に、方位角変化率算出部１２は、最左端特徴点Ｌ及び最右端特徴点Ｒの各々についての方位角の時間変化率ｄθ／ｄｔを統合して、対象車両７の水平線方向の端部を自車両４から見たときの方位角の時間変化率の算出結果とする。その統合の手法としては、例えば、２つの時間変化率ｄθ／ｄｔのうちの絶対値の大きい方の値をその算出結果として選択するようにしてもよいし、また、２つの時間変化率ｄθ／ｄｔの絶対値の平均値をその算出結果として選択するようにしてもよい。
【００４９】
方位角変化率算出部１２は、以上のようにして、対象車両７の水平線方向の端部を自車両４から見たときの方位角の時間変化率の算出を行う。
なお、自車両４が旋回中の場合には、車両座標系が旋回する分だけ過剰気味に、若しくは不足気味に方位角の変位が観測されることになる。この変位を補正するために自車両４にヨーレートセンサを設置し、このヨーレートセンサから得られる角速度ｗを用いて算出値の補正を行うようにして、あたかも旋回運動がない状態での対象車両７の車両端の方位角の時間変化率を得るようにしてもよい。
【００５０】
次に、判定部１３の動作について、図８及び図９を用いて説明する。
前述したように、判定部１３は、方位角変化率算出部１２が算出した前述の方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、検出部１１が検出した検出領域に映っている対象車両７についての自車両４への接触の可能性の有無を判定する。この時間変化率閾値Ｔｈについての本実施例での設定手法について説明する。
【００５１】
まず、時刻ｔにおける自車両４から対象車両７までの距離をＤとし、車載カメラ２により得られる撮像画像５に映る、対象車両７前部の横幅の実際の長さをＷとする。このとき、距離Ｄと、対象車両７前部の横幅の実際の長さＷと、前述の方位角θとは、下記の［数１］式の関係を有していることは明らかである。
【００５２】
【数１】
【００５３】
この［数１］式の両辺を時間ｔで微分すると、
【００５４】
【数２】
【００５５】
となる。ここで、対象車両７の自車両４への接近速度をＶとすると、このＶは、
【００５６】
【数３】
【００５７】
であるので、この［数３］式の関係を用いて［数２］式を変形すると、下記の［数４］式の関係が得られる。
【００５８】
【数４】
【００５９】
なお、［数４］式におけるθは、
【００６０】
【数５】
【００６１】
が成立する。この［数４］式は、対象車両７が自車両４の後方から接近する方向に移動している場合における、前述の方位角の時間変化率ｄθ／ｄｔを表している。
【００６２】
次に、自車両４の後方の対象車両７が、自車両４に接近する方向に対して直交する方向（すなわち、撮像画像５に映る水平線に平行な方向）に移動している場合における、前述の方位角の時間変化率ｄθ／ｄｔについて考える。
【００６３】
まず、図８に図解するように、距離Ｄ及び位置ｘを定義する。すなわち、時刻ｔにおける自車両４から対象車両７までの距離（所定方位方向の距離）をＤとする。そして、上述の方向（図８では左方向）に移動している対象車両７の側面側（自車両４に対向する側）における、進行方向の前端の位置（所定方向からの変位）をｘとする。なお、この位置は、自車両４から見たときの対象車両７の水平線方向の端部の位置であり、自車両４から見たときの、この位置と所定方向とのなす角θが、この場合における前述の方位角になる。
【００６４】
このとき、距離Ｄと、変位ｘと、方位角θとが下記の［数６］式の関係を有していることは、図８から明らかである。
【００６５】
【数６】
【００６６】
この［数６］式の両辺を時間ｔで微分すると、
【００６７】
【数７】
【００６８】
となる。ここで、対象車両７の速度をＶとすると、
【００６９】
【数８】
【００７０】
であるので、この［数８］式を［数７］式に代入して変形すると、下記の［数４］式の関係が得られる。
【００７１】
【数９】
【００７２】
図９のグラフに描かれている曲線例は、上記の［数４］式及び［数９］式を用いて、方位角の時間変化率ｄθ／ｄｔの時間変化を表したものである。なお、図９のグラフにおいて、『ｖ１』の曲線は、対象車両７が自車両４の後方から接近する方向に移動している場合の曲線例であり、『ｖ２』の曲線は、自車両４に接近する方向に対して直交する方向に対象車両７が移動している場合の曲線例である。
【００７３】
図９の曲線例から分かるように、検出開始直後である距離Ｄが極めて遠い期間では、ｄθ／ｄｔの値は、接近方向に対する直交方向に移動している対象車両７についてのものの方が、接近方向に移動している対象車両７についてのものよりも顕著に大きい。その後、接近方向に移動している対象車両７についてのｄθ／ｄｔの値は急激に増加するが、接近方向に対する直交方向に移動している対象車両７についてのｄθ／ｄｔの値は極めて緩やかに減少する。
【００７４】
そこで、検出開始直後である距離Ｄが極めて遠い期間において、図９のような時間変化率閾値Ｔｈを設定する。設定した時間変化率閾値Ｔｈは、判定部１３が有している不図示の記憶部に予め記憶させておくようにする。
【００７５】
判定部１３は、方位角変化率算出部１２が算出した前述の方位角の時間変化率ｄθ／ｄｔと、この時間変化率閾値Ｔｈとの大小比較を行う。ここで、方位角変化率算出部１２が算出した方位角の時間変化率ｄθ／ｄｔが、時間変化率閾値Ｔｈよりも大きければ、対象車両７は接近方向に対する直交方向に移動しているものとし、対象車両７の自車両４への接触の可能性はないとの判定を判定部１３は下す。一方、方位角変化率算出部１２が算出した方位角の時間変化率ｄθ／ｄｔが、時間変化率閾値Ｔｈよりも小さければ、対象車両７は接近方向に移動しているものとし、対象車両７の自車両４への接触の可能性はあるとの判定を判定部１３は下す。
【００７６】
なお、本実施例では、方位角変化率算出部１２は、前述の方位角の時間変化率の算出を、前述の時系列の撮像画像に従って順次繰り返す。そして、判定部１３は、方位角変化率算出部１２が算出した方位角の時間変化率が、所定の時間（図９における時間Ｔ）に亘って前述の時間変化率閾値よりも小さいときには、前述の接触の可能性がないとの判定を下す。
【００７７】
図９の曲線例では、対象車両７の検知開始後の１秒間における時間変化率閾値Ｔｈを０．０５［ｄｅｇ／秒］に設定しており、これによって『Ｖ１＝１００ｋｍ／ｈ』の曲線と『Ｖ２＝３０ｋｍ／ｈ』との曲線の識別を可能としている。なお、『Ｖ１＝１００ｋｍ／ｈ』の曲線は、対象車両７の自車両４からの距離Ｄを６０［ｍ］とし、対象車両７の自車両４への接近速度を１００［ｋｍ／ｈ］としたときの曲線である。また、『Ｖ２＝３０ｋｍ／ｈ』の曲線は、対象車両７の自車両４からの距離Ｄを１００［ｍ］とし、対象車両７の速度を３０［ｋｍ／ｈ］としたときの曲線である。従って、時間変化率閾値Ｔｈをこのように設定すると、６０［ｍ］離れた位置で検知する、１００［ｋｍ／ｈ］以下の速度で接近する対象車両７と、１００［ｍ］離れた位置を３０［ｋｍ／ｈ］以上の速度で横切る対象車両７との区別が可能になる。
【００７８】
次に図１０について説明する。図１０は、図２の接触可能性検知装置１において行われる、接触可能性検知処理の処理手順を図解したフローチャートである。
図１０の処理が開始されると、まず、Ｓ１０１において、判定部１３が備えている、経過時間の計時を行うための不図示のタイマを起動させて、この接触可能性検知処理の処理開始から経過時間を計時させる処理を判定部１３が行う。
【００７９】
次に、Ｓ１０２では、車載カメラ２での撮像により得られた時系列の撮像画像５（すなわち、自車両４の真後ろの方向の動画像）を取得する処理を、検出部１１が行う。
次に、Ｓ１０３では、Ｓ１０２の処理で取得した時系列の撮像画像５においての監視領域６内に共通して存在する特徴点を抽出する処理を、検出部１１が前述のようにして行う。
【００８０】
次に、Ｓ１０４では、Ｓ１０３の処理により抽出した特徴点（画素）の２枚の撮像画像５間での動きベクトルの成分を計算して、各特徴点についてのオプティカルフローを求める処理を、検出部１１が行う。
【００８１】
次に、Ｓ１０５では、Ｓ１０４の処理でオプティカルフローを求めた特徴点を、そのオプティカルフローの向きに基づき分類し、オプティカルフローの方向が消失点から離れる向きに分類された特徴点を抽出する処理を、検出部１１が行う。
【００８２】
次に、Ｓ１０６では、Ｓ１０５の処理により抽出された特徴点の集合を含む、所定の縦横比の矩形形状の画像領域を、対象車両７の像が含まれている検出領域８として、撮像画像５から検出する処理を、検出部１１が行う。なお、検出部１１は、この処理において、前述した検出領域情報及び検出領域内オプティカルフロー情報９を出力する処理も行う。
【００８３】
次に、Ｓ１０７では、検出領域情報を用いて、撮像画像５の検出領域８内に存在する特徴点のうちの、前述した最左端特徴点Ｌ及び最右端特徴点Ｒについての情報を、検出領域内オプティカルフロー情報９から抽出する処理を、方位角変化率算出部１２が行う。
【００８４】
次に、Ｓ１０８では、最左端特徴点Ｌ及び最右端特徴点Ｒ各々のオプティカルフローの始点及び終点の、撮像画像５上での位置にそれぞれ対応する自車両４後方の実際の位置についての方位角θを算出する処理を、方位角変化率算出部１２が前述のようにして行う。
【００８５】
次に、Ｓ１０９では、Ｓ１０８の処理で算出した最左端特徴点Ｌ及び最右端特徴点Ｒ各々の方位角について、その時間変化率ｄθ／ｄｔの算出を、方位角変化率算出部１２が前述のようにして行う。
【００８６】
次に、Ｓ１１０では、Ｓ１０９の処理により算出した、最左端特徴点Ｌ及び最右端特徴点Ｒの各々についての方位角の時間変化率ｄθ／ｄｔを統合する処理を、方位角変化率算出部１２が前述のようにして行う。方位角変化率算出部１２は、この統合処理の結果を、対象車両７の水平線方向の端部についての方位角の時間変化率の算出結果として出力する。
【００８７】
次に、Ｓ１１１では、Ｓ１１０の処理により方位角変化率算出部１２から出力された上述の方位角の時間変化率ｄθ／ｄｔと、判定部１３が有している記憶部に予め記憶させておいた前述の時間変化率閾値Ｔｈとの大小比較を行う処理を判定部１３が行う。
【００８８】
次に、Ｓ１１２では、Ｓ１１１の大小比較処理において、方位角の時間変化率ｄθ／ｄｔが時間変化率閾値Ｔｈよりも小さいか否かを判定する処理を判定部１３が行う。ここで、方位角の時間変化率ｄθ／ｄｔが時間変化率閾値Ｔｈよりも小さいと判定したとき（判定結果がＹｅｓのとき）には、Ｓ１１４に処理が進む。一方、方位角の時間変化率ｄθ／ｄｔが時間変化率閾値Ｔｈ以上であったと判定したとき（判定結果がＮｏのとき）には、Ｓ１１３に処理が進む。
【００８９】
Ｓ１１３では、警告実行の指示を警告部３に与えて、対象車両７の自車両４への接触の可能性がある旨の警告を自車両４の運転者に通知させる処理を判定部１３が行い、その後はこの接触可能性検知処理を終了する。
【００９０】
一方、Ｓ１１４では、Ｓ１０１の処理により起動させたタイマを参照して、この接触可能性検知処理の処理開始からの経過時間が所定の時間（図９における時間Ｔ）を経過したか否かを判定する処理を判定部１３が行う。ここで、接触可能性検知処理の処理開始からの経過時間が所定の時間を過ぎたと判定したとき（判定結果がＹｅｓのとき）には、対象車両７の自車両４への接触の可能性はないと判断し、この接触可能性検知処理を終了する。一方、接触可能性検知処理の処理開始からの経過時間が所定の時間を未だ過ぎていない判定したとき（判定結果がＮｏとき）には、Ｓ１０２に処理が戻って上述した処理が改めて実行される。
【００９１】
図２の接触可能性検知装置１は、以上の接触可能性検知処理を行うことで、対象車両７の自車両４への接触の可能性の有無の検知を行う。この処理において、判定部１３による当該接触の可能性の有無の判定が、方位角変化率算出部１２が算出した前述の方位角の時間変化率ｄθ／ｄｔと前述の時間変化率閾値Ｔｈとの大小比較の結果に基づいて行われる。従って、対象車両７を撮像した画像の特徴点のオプティカルフローを利用して当該接触の可能性の有無の判定を行っても、その判定の誤りが未然に防止される。
【００９２】
なお、図２に機能ブロックを図解した接触可能性検知装置１を、標準的なハードウェア構成のコンピュータを用いて構成してもよい。
【００９３】
ここで図１１について説明する。図１１は、コンピュータのハードウェア構成例であり、図２に機能ブロックを図解した接触可能性検知装置１を構成することができるものの一例である。
【００９４】
このコンピュータ２０は、ＭＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスク装置２４、入力装置２５、表示装置２６、インタフェース装置２７、及び記録媒体駆動装置２８を備えている。なお、これらの構成要素はバスライン２９を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。
【００９５】
ＭＰＵ（Micro Processing Unit）２１は、このコンピュータ２０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）２２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、この基本制御プログラムをコンピュータ２０の起動時に読み出して実行することにより、このコンピュータ２０の各構成要素の動作制御が可能になる。
【００９６】
ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００９７】
ハードディスク装置２４は、ＭＰＵ２１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ２１は、ハードディスク装置２４に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【００９８】
入力装置２５は、例えばキーボード装置やマウス装置であり、コンピュータ２０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ２１に送付する。
【００９９】
表示装置２６は例えば液晶ディスプレイであり、ＭＰＵ２１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置２７は、このコンピュータ２０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、車載カメラ２から送られてくる時系列の撮像画像（動画像）の取り込みや、警告部３への警告実行指示信号の送出などを行う。
【０１００】
記録媒体駆動装置２８は、可搬型記録媒体２０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ２１は、可搬型記録媒体３０に記録されている所定の制御プログラムを、記録媒体駆動装置２８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体３０としては、例えばＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【０１０１】
このようなコンピュータ２０を接触可能性検知装置１として動作させるには、まず、図１０に図解した接触可能性検知処理の処理内容をＭＰＵ２１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２４若しくは可搬型記録媒体３０に予め格納しておく。そして、ＭＰＵ２１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ２１が、図２に図解した各機能ブロックとして機能し、このコンピュータ２０が接触可能性検知装置１として動作するようになる。
【０１０２】
また、端末装置と、当該端末装置との間で各種データの授受を行うことのできるサーバ装置とからなるコンピュータシステムにより、前述した各実施例に係る位置特定装置１を構成してもよい。このコンピュータシステムで図２の接触可能性検知装置１を構成する場合には、例えば、自車両４に設置される端末装置にサーバ装置との通信用の通信装置を備えると共に、図１の車載カメラ２及び警告部３を接続する。一方、サーバ装置には、例えば図１１のコンピュータ２０の構成を備える。但し、インタフェース装置２７には、端末装置の通信装置との間でのデータ通信を管理する通信装置を備える。そして、端末装置は、車載カメラ２が得た時系列の撮像画像５（すなわち動画像）をサーバ装置に送付する。一方、サーバ装置では、端末装置から受け取った撮像画像５に基づき、前述した接触可能性検知処理を行い、その結果を端末装置に送付して警告部３の動作制御を行わせる。このようにして、コンピュータシステムにより、前述した各実施例に係る位置特定装置１を構成してもよい。
【符号の説明】
【０１０３】
１ 接触可能性検知装置
２ 車載カメラ
３ 警告部
４ 自車両
５ 撮像画像
６ 監視領域
７ 対象車両
８ 検出領域
９ 検出領域内オプティカルフロー情報
１１ 検出部
１２ 方位角変化率算出部
１３ 判定部
２０ コンピュータ
２１ ＭＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク装置
２５ 入力装置
２６ 表示装置
２７ インタフェース装置
２８ 記録媒体駆動装置
２９ バスライン
３０ 可搬型記録媒体
【技術分野】
【０００１】
本明細書で議論される実施態様は、対象車両の自車両への接触の可能性を検知する技術に関する。
【背景技術】
【０００２】
自車両の追い越し等のために後方から接近してくる接近車両の存在を通知する接近車両検知装置が知られている。この装置は、例えば、自車両に搭載したカメラで撮像した動画像に対して画像認識処理を施して当該接近車両の存在を事前に検知するものである。また、自車両と接近車両との衝突の危険の高さを表す指標である、自車両と接近車両との衝突が予測されるまでの余裕時間ＴＴＣ（Time To Collision ）を求め、このＴＴＣが所定の時間（例えば３秒）よりも短い場合に警告を発する装置も知られている。
【０００３】
このような接近車両検知装置で採用されている画像認識処理技術として、オプティカルフローに基づいた接近車両の像の認識の技術が知られている。この技術は、動画像を構成している時系列の画像から、オプティカルフローが当該画像の中央より放射状に広がっている画素を抽出し、抽出された画素の周辺の領域の画像を、接近車両の像として認識するというものである。なお、オプティカルフローとは、例えば、時系列の画像における２枚の画像間においての同一の対象の対応箇所を探索することで求められる、画像内における当該対象の見かけの動きを表現している動きベクトル情報である。
【０００４】
また、この他の背景技術として、移動物を動画像から検出するときに、近距離の移動物の検出精度を維持しつつ、遠方の移動物の検出精度を、省メモリ、省計算量で向上させることのできる技術が知られている。この技術は、移動物の像についてのオプティカルフローを求めるときに使用する動画像のフレームレートを制御するというものである。
【０００５】
この技術では、まず、時刻ｔに取得した画像フレームと時刻ｔ−１に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の各特徴点についての移動量（パーティカルフロー）が求められる。次に、求められた移動量の大きさが所定値よりも小さい特徴点について、前述の時刻ｔ−１に取得した画像フレームと、時刻ｔ＋ｍ（ｍ＞０）に取得した画像フレームとに基づいて、時刻ｔ−１に取得した画像フレーム内の当該特徴点についての移動量が求められる。
【０００６】
例えば、ある特徴点のオプティカルフローを求めた結果、１ピクセル以上の移動量が得られなかった場合には、当該特徴点について、大きさが１ピクセル以上の動きベクトルが得られるまで、次時刻以降の画像を用いてオプティカルフローを求める処理を繰り返す。ここで、この処理を所定回数繰り返しても、１ピクセル以上の移動量が得られなかった場合には、当該特徴点については移動物についてのものではないとの判定を下す。
【０００７】
この技術では、このような可変フレームレート制御を行ってオプティカルフローを求めることで、撮像画像上での移動量が極めて少ない、遠方の移動物についての像の検知を可能としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００９／０７８０５６号
【非特許文献】
【０００９】
【非特許文献１】秋田時彦、林啓太、「後方モニターカメラを利用した後側方接近車警報システムの開発」、学術講演会前刷集、社団法人自動車技術会、２００７年５月、Ｎｏ．１−０７、ｐ．９−１２
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述の技術において行われている、オプティカルフローに基づいた接近車両の像の認識では、動画像を構成している時系列の画像から、接近車両ではない他車の像を、接近車両の像として誤検知してしまうことが考えられる。例えば、自車両から見て接近車両よりも更に後方で、自車両の進行方向に対して直交する方向に走行している他車の像は、当該像を構成している画素のオプティカルフローの向きが、当該画像の中央から概ね真横の方向に向く。このため、この像を、接近車両の像として誤検知してしまうことがあり得る。
【００１１】
本明細書で後述する接触可能性検知装置は、上述した問題に鑑み、対象車両を撮像した画像の特徴点のオプティカルフローを利用して行う対象車両の自車両への接触の可能性の有無の判定の誤りを防止することを課題としている。
【課題を解決するための手段】
【００１２】
本明細書で後述する接触可能性検知装置は、対象車両の自車両への接触の可能性の有無を検知する装置である。この接触可能性検知装置のひとつに、検出部と、方位角変化率算出部と、判定部とを備えるというものがある。ここで、検出部は、まず、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める。そして、当該オプティカルフローの向きが、当該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する。また、方位角変化率算出部は、前述の時系列の撮像画像に基づいて、当該検出領域についての当該撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率を算出する。そして、判定部は、方位角変化率算出部が算出した方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての当該自車両への接触の可能性の有無を判定する。
【００１３】
また、本明細書で後述する接触可能性検知方法は、対象車両の自車両への接触の可能性の有無を検知する方法である。この接触可能性検知方法のひとつは、まず、検出部が、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める。そして、当該オプティカルフローの向きが、当該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する。次に、時系列の撮像画像に基づいて、前述の検出領域についての当該撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率の算出を方位角変化率算出部が行う。そして、方位角変化率算出部が算出した方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての自車両への接触の可能性の有無の判定を判定部が行う。
【００１４】
また、本明細書で後述するプログラムは、対象車両の自車両への接触の可能性の有無の検知をコンピュータに行わせるためのプログラムである。このプログラムのひとつは、以下の処理をコンピュータに実行させる。すなわち、まず、自車両に搭載されている撮像装置が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める処理を行う。次に、このオプティカルフローの向きが、撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する処理を行う。次に、前述の時系列の撮像画像に基づいて、前述の検出領域についての当該撮像画像での水平線方向の端部を自車両から見たときの方位角の時間変化率を算出する処理を行う。そして、次に、この算出の処理により得た方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前述の検出領域に映っている対象車両についての自車両への接触の可能性の有無を判定する処理を行う。
【発明の効果】
【００１５】
本明細書で後述する接触可能性検知装置は、対象車両を撮像した画像の特徴点のオプティカルフローを利用して行う対象車両の自車両への接触の可能性の有無の判定の誤りを防止する効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】接触可能性検知装置の使用例を表した図である。
【図２】接触可能性検知装置の一実施例の機能ブロック図である。
【図３】所定方位の定義を説明する図である。
【図４】検出部の動作を説明する図である。
【図５】方位角変化率算出部の動作を説明する図である。
【図６】特徴点の撮像画像上の位置から現実の方位への変換を説明する図である。
【図７】方位角の時間変化率の算出を説明する図である。
【図８】自車両に接近する方向に対して直交する方向に対象車両が移動している場合における距離Ｄと位置ｘの定義を説明する図である。
【図９】方位角の時間変化率の時間変化を表した曲線の例である。
【図１０】図２の接触可能性検知装置で行われる接触可能性検知処理の処理手順を図解したフローチャートである。
【図１１】コンピュータのハードウェア構成例である。
【発明を実施するための形態】
【００１７】
まず図１について説明する。図１は、接触可能性検知装置の使用例を表した図である。
図１の使用例では、接触可能性検知装置１は、車載カメラ２及び警告部３と共に自車両（自動車）４に搭載して使用する。この接触可能性検知装置１は、自車両４と同一方向に走行している、自車両４の後続の対象車両についての自車両４への接触の可能性の有無の検知を行う。
【００１８】
自車両４の後部に搭載されている車載カメラ２は、自車両４の真後ろの方向の動画像を撮像する撮像装置の一例である。この車載カメラ２により得られる動画像、すなわち、一定の時間間隔で撮像される時系列の撮像画像には、自車両４の後方の景色の水平線が当該画像の水平方向に映り込むように車載カメラ２の視野を設定しておく。従って、この撮像画像には、その景色の像における、透視図（perspective drawing ）でいうところの消失点が含まれる。また、対象車両が存在する場合には、その対象車両の前部の像がこの撮像画像に含まれる。
【００１９】
警告部３は、例えばＬＥＤ（発光ダイオード）やブザーであり、対象車両の自車両４への接触の可能性があることを接触可能性検知装置１が検知したときに、発光動作あるいは発音動作を行って、その旨の警告を自車両４の運転者に通知する。
【００２０】
次に図２について説明する。図２は、接触可能性検知装置１の一実施例の機能ブロック図である。
図２に図解されているように、この接触可能性検知装置１は、検出部１１、方位角変化率算出部１２、及び判定部１３を備えて構成されている。
【００２１】
検出部１１は、まず、自車両４に搭載されている車載カメラ２が対象車両を撮像して得た時系列の撮像画像から、当該撮像画像を構成している画素についてのオプティカルフローを求める。そして、求めたオプティカルフローの向きが、撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として当該撮像画像から検出する。
【００２２】
方位角変化率算出部１２は、前述の時系列の撮像画像に基づいて、検出部１１が検出した検出領域についての当該撮像画像での水平線方向の端部を自車両４から見たときの方位角の時間変化率を算出する。
【００２３】
判定部１３は、方位角変化率算出部１２が算出した前述の方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、検出部１１が検出した検出領域に映っている対象車両についての自車両４への接触の可能性の有無を判定する。より具体的には、判定部１３は、上述の検出領域に映っている対象車両が、自車両４に接近する方向に対して直交する方向（すなわち、自車両４に接近する方向に対して横切る方向）に移動しているのか否かを、上述の大小比較の結果に基づいて判定する。
【００２４】
なお、方位角変化率算出部１２は、前述の方位角の時間変化率の算出を、前述の時系列の撮像画像に従って順次繰り返すようにしてもよい。このようにする場合には、判定部１３は、方位角変化率算出部１２が算出した方位角の時間変化率が、所定の時間に亘って前述の時間変化率閾値よりも小さいときには、前述の接触の可能性がないとの判定を下す。一方、その他のときには、判定部１３は、その接触の可能性があるとの判定を下す、
次に、図２に図解した接触可能性検知装置１の各機能ブロックの動作について、更に詳細に説明する。
【００２５】
まず、所定方位を定義する。以降の説明では、所定方位とは、図３に図解されているように、自車両４の通常の前進走行における走行方向の逆方向、すなわち、自車両４の真後ろの方向をいうものとする。
【００２６】
まず、検出部１１の動作について図４を用いて説明する。
図４の［１］の画像例で図解されているように、車載カメラ２での撮像により得られる撮像画像５には、予め位置・形状が定められている範囲に監視領域６が設定される。なお、この監視領域６は、撮像画像５に映る背景における水平線と所定方位との交点、すなわち、撮像画像における前述の消失点が含まれるように設定される。
【００２７】
検出部１１は、車載カメラ２が得た時系列の撮像画像５の監視領域６内に共通して存在する特徴点を、例えばブロックマッチングによって抽出する。そして、抽出した特徴点（画素）について、２枚の撮像画像５間での動きベクトルの成分を計算することで、当該特徴点についてのオプティカルフローを求める。
【００２８】
なお、オプティカルフローの獲得に用いる２枚の撮像画像５は、時系列の撮像画像５から順序が連続しているものを選択することが一般的である。これに対し、本実施例では、前述した可変フレームレート制御を検出部１１が行ってオプティカルフローを求める。すなわち、検出部１１では、オプティカルフローの獲得に用いる２枚の撮像画像５を、時系列の撮像画像５のうちから、所定の閾値枚数範囲内で順序が連続していない（離れている）ものを選択することを許容している。従って、時系列で連続している２枚の撮像画像を用いる場合よりも、移動速度が遅い特徴点についてのオプティカルフローを求めることができる。
【００２９】
図４の［１］の画像例に描かれている、監視領域６内の黒丸から伸びている矢印は、当該黒丸の位置の特徴点（画素）について検出部１１が求めたオプティカルフローの向き及び大きさ（移動量）を表現している。ここで、このオプティカルフローの向きに注目すると、各特徴点は、オプティカルフローが消失点から離れる向きに向いているものと、消失点に向かう向きに向いているものとがあることが分かる。
【００３０】
ここで、自車両４は所定方位とは逆向きに走行していることから、撮像画像５における景色の像を構成している画素は、オプティカルフローが消失点に向かう向きに向く。一方、撮像画像５において自車両４に接近する対象車両７の像を構成している画素は、オプティカルフローが消失点から離れる向きに向く。
【００３１】
そこで、検出部１１は、撮像画像５における監視領域６内の画像を構成している各画素を、当該各画素のオプティカルフローの方向に基づき、その方向が消失点に向かう向きであるか離れる向きであるかによって分類する。そして、その分類の結果に基づき、オプティカルフローの方向が消失点から離れる向きである画素の集合を含む画像領域を、対象車両７の像が含まれている領域である、検出領域８として検出する。なお、本実施例では、検出部１１は、検出領域８を、対象車両７の撮像画像上での像における車高と車幅との比率に近い縦横比である矩形の領域として検出するようにしている。
【００３２】
なお、前述したオプティカルフローの消失点は、撮像画像５における景色の像を構成している画素のオプティカルフローが向いている一点を特定することで求まる。若しくは、車載カメラ２の光軸が自車両４の直進方向と平行になるように車載カメラ２を設置して、オプティカルフローの消失点の水平座標が画像中央となり、その垂直座標が水平線の垂直座標に一致するようにしてもよい。
【００３３】
次に、方位角変化率算出部１２の動作について、図５、図６、及び図７を用いて説明する。
検出部１１は、前述のようにして検出した検出領域８を特定する検出領域情報を出力する。この検出領域情報には、検出領域８の撮像画像５上での位置を特定する座標の情報と、検出領域８の境界を表している矩形の縦横の長さの情報とが含まれている。
【００３４】
更に、検出部１１は、検出領域８内の各特徴点について検出部１１が求めた情報を、検出領域内オプティカルフロー情報９として出力する。この情報には、各特徴点についての撮像画像５上での位置を特定する座標の情報とオプティカルフローについての情報とが含まれている。更に、検出領域内オプティカルフロー情報９には、検出部１１がオプティカルフローの獲得に用いた２枚の撮像画像５間のフレーム間隔の情報も含まれている。
【００３５】
例えば、図５に表されている検出領域内オプティカルフロー情報９における、特徴点を特定する情報である特徴点ＩＤ（Identification）が『１』である特徴点の情報に注目する。この特徴点『１』の情報では、この特徴点が撮像画像５上における座標『（ｘ１，ｙ１）』の位置の画素であること、及び、この画素について検出部１１が算出したオプティカルフローの成分が『（ｖｘ１，ｖｙ１）』であったことが示されている。更に、この特徴点『１』の情報では、時系列の撮像画像５において『Ｎ１』フレーム分離れた２枚の撮像画像５を使用して、この画素についてのオプティカルフローの算出を検出部１１が行ったことが示されている。なお、撮像画像５において、水平方向（横方向）を二次元直交座標系におけるｘ軸方向とし、垂直方向（縦方向）を当該座標系におけるｙ軸方向とする。
【００３６】
方位角変化率算出部１２は、上述した検出領域情報と検出領域内オプティカルフロー情報９とに基づいて、対象車両７の水平線方向の端部を自車両４から見たときの方位角θの時間変化率ｄθ／ｄｔを算出する。この時間変化率ｄθ／ｄｔの算出は、以下のようにして行われる。
【００３７】
まず、方位角変化率算出部１２は、検出領域情報を用いて、撮像画像５の検出領域８内に存在する特徴点のうち、最左端及び最右端である特徴点についての情報を、検出領域内オプティカルフロー情報９から抽出する。このときに抽出された最左端の及び最右端の特徴点を、それぞれ最左端特徴点Ｌ及び最右端特徴点Ｒとする。
【００３８】
次に、方位角変化率算出部１２は、最左端特徴点Ｌを始点としたオプティカルフローにおける当該始点及び終点についての、撮像画像５上での位置にそれぞれ対応する自車両４後方の実際の位置の、自車両４の座標系での方位（方位角θ及び仰角φ）を算出する。また、方位角変化率算出部１２は、最右端特徴点Ｒについても、同様の方位の算出を行う。
【００３９】
最左端特徴点Ｌ及び最右端特徴点Ｒの撮像画像５上での位置の座標の情報は、検出領域内オプティカルフロー情報９に含まれている。これらの座標の情報が、最左端特徴点Ｌ及び最右端特徴点Ｒを始点としたオプティカルフローにおける当該始点の撮像画像５上での位置の情報となる。また、オプティカルフローにおける終点の撮像画像５上での位置の情報は、当該オプティカルフローにおける始点の位置の座標の情報に、当該オプティカルフローの成分の情報を成分毎に加算することで求めることができる。なお、オプティカルフローの成分の情報も、前述したように、検出領域内オプティカルフロー情報９に含まれている。
【００４０】
次に、撮像画像５上の点に対応する自車両４後方の実際の位置の、自車両４の座標系での方位の算出の手法について、図６を用いて説明する。
本実施例において、自車両４の座標系である車両座標系として、車載カメラ２の視点を原点とし、前述の所定方位の方向をＺ’軸方向とし、水平線と平行な方向をＸ’軸方向とし、Ｚ’軸及びＸ’軸と直交する方向をＹ’軸方向とする三次元直交座標を定義する。ここで、対象点の方位を、対象点と原点とを結ぶ直線についての、Ｚ’Ｘ’平面への射影とＺ’軸とのなす角である方位角θと、当該直線についてのＹ’Ｚ’平面への射影とＺ’軸とのなす角である仰角φとにより表すものとする。
【００４１】
まず、図６の［１］に図解されているように、撮像画像５上の点ｐ（ｘ，ｙ）を車載カメラ２の視点から貫く向きの単位ベクトルである視線ベクトルＰ（Ｘ，Ｙ，Ｚ）を取得する。ここで求める視線ベクトルＰの各成分はカメラ座標系におけるものである。カメラ座標系は、車載カメラ２の視点を原点とし、撮像画像５の横方向及び縦方向をそれぞれＸ軸方向及びＹ軸方向とし、撮像画像５の矩形の中心（対角線の交点）を原点から貫く方向をＺ軸方向とする三次元直交座標系として定義したものである。なお、この視線ベクトルＰ（Ｘ，Ｙ，Ｚ）の各成分は、車載カメラ２の特性（画素数やレンズ歪など）に応じて求まる定数と、撮像画像５上の点ｐ（ｘ，ｙ）の座標の情報とに基づく計算によって算出することができる。
【００４２】
次に、図６の［２］に図解されているように、カメラ座標系の成分で表現されている視線ベクトルＰ（Ｘ，Ｙ，Ｚ）を、前述の車両座標系での単位ベクトルである視線ベクトルＰ’（Ｘ’，Ｙ’，Ｚ’）に変換する。
【００４３】
ここで、車載カメラ２の自車両４に対する設置姿勢をαとする。この姿勢αは、車載カメラ２の光軸が、所定方位方向の水平線に対してどの程度傾いているかを表している角度で表されており、車両座標系におけるＺ’軸に対するカメラ座標系のＺ軸のなす角度に相当する。この姿勢αの値は既知であるので、視線ベクトルＰ’の各成分は、視線ベクトルＰの各成分と、回転行列Ｒ（α）とを用いて、Ｐ’＝Ｒ（α）・Ｐの演算を行うことで算出することができる。
【００４４】
次に、図６の［３］に図解されているように、上述したようにして算出された視線ベクトルＰ’についての三次元直交座標系での成分表現Ｐ’（Ｘ’，Ｙ’，Ｚ’）を、極座標系での成分表現Ｐ’（ｒ，θ，φ）に変換する。但し、視線ベクトルＰ’は単位ベクトルであるので、ｒ＝１である。こうして、撮像画像５上の点に対応する自車両４後方の実際の位置の、自車両４の座標系での方位（方位角θ及び仰角φ）が求まる。
【００４５】
以上のようにして、最左端特徴点Ｌ及び最右端特徴点Ｒについてのそれぞれのオプティカルフローにおける始点及び終点に対応する実際の位置の、車両座標系での方位角θが求まる。次に、方位角変化率算出部１２は、最左端特徴点Ｌ及び最右端特徴点Ｒの各々についての方位角の時間変化率ｄθ／ｄｔを求める。この時間変化率ｄθ／ｄｔの算出について、図７を参照しながら説明する。
【００４６】
図７は、自車両４と同一方向に走行している、自車両４の後続の対象車両７が、自車両４に接近している様子を表現している。この図７において、方位角θ１は、最左端特徴点Ｌについてのオプティカルフローにおける始点に対応する実際の位置の、車両座標系での方位角である。また、方位角θ２は、当該オプティカルフローにおける終点に対応する実際の位置の、車両座標系での方位角である。このとき、この方位角の時間変化率ｄθ／ｄｔは、下記の式
ｄθ／ｄｔ＝（θ２−θ１）／（ＮＬ／ＦＲ）
を計算することにより求めることができる。ここで、ＮＬは、検出部１１が最左端特徴点Ｌのオプティカルフローの獲得に用いた２枚の撮像画像５間のフレーム間隔の情報であり、検出領域内オプティカルフロー情報９に含まれている情報である。また、ＦＲは、車載カメラ２での時系列の撮像画像（すなわち動画像）の撮影におけるフレームレートであり、例えば３０［フレーム／秒］である。
【００４７】
最左端特徴点Ｌについての方位角の時間変化率ｄθ／ｄｔは以上のようにして求められる。方位角変化率算出部１２は、最右端特徴点Ｒについての方位角の時間変化率ｄθ／ｄｔも、同様にして求める。
【００４８】
次に、方位角変化率算出部１２は、最左端特徴点Ｌ及び最右端特徴点Ｒの各々についての方位角の時間変化率ｄθ／ｄｔを統合して、対象車両７の水平線方向の端部を自車両４から見たときの方位角の時間変化率の算出結果とする。その統合の手法としては、例えば、２つの時間変化率ｄθ／ｄｔのうちの絶対値の大きい方の値をその算出結果として選択するようにしてもよいし、また、２つの時間変化率ｄθ／ｄｔの絶対値の平均値をその算出結果として選択するようにしてもよい。
【００４９】
方位角変化率算出部１２は、以上のようにして、対象車両７の水平線方向の端部を自車両４から見たときの方位角の時間変化率の算出を行う。
なお、自車両４が旋回中の場合には、車両座標系が旋回する分だけ過剰気味に、若しくは不足気味に方位角の変位が観測されることになる。この変位を補正するために自車両４にヨーレートセンサを設置し、このヨーレートセンサから得られる角速度ｗを用いて算出値の補正を行うようにして、あたかも旋回運動がない状態での対象車両７の車両端の方位角の時間変化率を得るようにしてもよい。
【００５０】
次に、判定部１３の動作について、図８及び図９を用いて説明する。
前述したように、判定部１３は、方位角変化率算出部１２が算出した前述の方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、検出部１１が検出した検出領域に映っている対象車両７についての自車両４への接触の可能性の有無を判定する。この時間変化率閾値Ｔｈについての本実施例での設定手法について説明する。
【００５１】
まず、時刻ｔにおける自車両４から対象車両７までの距離をＤとし、車載カメラ２により得られる撮像画像５に映る、対象車両７前部の横幅の実際の長さをＷとする。このとき、距離Ｄと、対象車両７前部の横幅の実際の長さＷと、前述の方位角θとは、下記の［数１］式の関係を有していることは明らかである。
【００５２】
【数１】
【００５３】
この［数１］式の両辺を時間ｔで微分すると、
【００５４】
【数２】
【００５５】
となる。ここで、対象車両７の自車両４への接近速度をＶとすると、このＶは、
【００５６】
【数３】
【００５７】
であるので、この［数３］式の関係を用いて［数２］式を変形すると、下記の［数４］式の関係が得られる。
【００５８】
【数４】
【００５９】
なお、［数４］式におけるθは、
【００６０】
【数５】
【００６１】
が成立する。この［数４］式は、対象車両７が自車両４の後方から接近する方向に移動している場合における、前述の方位角の時間変化率ｄθ／ｄｔを表している。
【００６２】
次に、自車両４の後方の対象車両７が、自車両４に接近する方向に対して直交する方向（すなわち、撮像画像５に映る水平線に平行な方向）に移動している場合における、前述の方位角の時間変化率ｄθ／ｄｔについて考える。
【００６３】
まず、図８に図解するように、距離Ｄ及び位置ｘを定義する。すなわち、時刻ｔにおける自車両４から対象車両７までの距離（所定方位方向の距離）をＤとする。そして、上述の方向（図８では左方向）に移動している対象車両７の側面側（自車両４に対向する側）における、進行方向の前端の位置（所定方向からの変位）をｘとする。なお、この位置は、自車両４から見たときの対象車両７の水平線方向の端部の位置であり、自車両４から見たときの、この位置と所定方向とのなす角θが、この場合における前述の方位角になる。
【００６４】
このとき、距離Ｄと、変位ｘと、方位角θとが下記の［数６］式の関係を有していることは、図８から明らかである。
【００６５】
【数６】
【００６６】
この［数６］式の両辺を時間ｔで微分すると、
【００６７】
【数７】
【００６８】
となる。ここで、対象車両７の速度をＶとすると、
【００６９】
【数８】
【００７０】
であるので、この［数８］式を［数７］式に代入して変形すると、下記の［数４］式の関係が得られる。
【００７１】
【数９】
【００７２】
図９のグラフに描かれている曲線例は、上記の［数４］式及び［数９］式を用いて、方位角の時間変化率ｄθ／ｄｔの時間変化を表したものである。なお、図９のグラフにおいて、『ｖ１』の曲線は、対象車両７が自車両４の後方から接近する方向に移動している場合の曲線例であり、『ｖ２』の曲線は、自車両４に接近する方向に対して直交する方向に対象車両７が移動している場合の曲線例である。
【００７３】
図９の曲線例から分かるように、検出開始直後である距離Ｄが極めて遠い期間では、ｄθ／ｄｔの値は、接近方向に対する直交方向に移動している対象車両７についてのものの方が、接近方向に移動している対象車両７についてのものよりも顕著に大きい。その後、接近方向に移動している対象車両７についてのｄθ／ｄｔの値は急激に増加するが、接近方向に対する直交方向に移動している対象車両７についてのｄθ／ｄｔの値は極めて緩やかに減少する。
【００７４】
そこで、検出開始直後である距離Ｄが極めて遠い期間において、図９のような時間変化率閾値Ｔｈを設定する。設定した時間変化率閾値Ｔｈは、判定部１３が有している不図示の記憶部に予め記憶させておくようにする。
【００７５】
判定部１３は、方位角変化率算出部１２が算出した前述の方位角の時間変化率ｄθ／ｄｔと、この時間変化率閾値Ｔｈとの大小比較を行う。ここで、方位角変化率算出部１２が算出した方位角の時間変化率ｄθ／ｄｔが、時間変化率閾値Ｔｈよりも大きければ、対象車両７は接近方向に対する直交方向に移動しているものとし、対象車両７の自車両４への接触の可能性はないとの判定を判定部１３は下す。一方、方位角変化率算出部１２が算出した方位角の時間変化率ｄθ／ｄｔが、時間変化率閾値Ｔｈよりも小さければ、対象車両７は接近方向に移動しているものとし、対象車両７の自車両４への接触の可能性はあるとの判定を判定部１３は下す。
【００７６】
なお、本実施例では、方位角変化率算出部１２は、前述の方位角の時間変化率の算出を、前述の時系列の撮像画像に従って順次繰り返す。そして、判定部１３は、方位角変化率算出部１２が算出した方位角の時間変化率が、所定の時間（図９における時間Ｔ）に亘って前述の時間変化率閾値よりも小さいときには、前述の接触の可能性がないとの判定を下す。
【００７７】
図９の曲線例では、対象車両７の検知開始後の１秒間における時間変化率閾値Ｔｈを０．０５［ｄｅｇ／秒］に設定しており、これによって『Ｖ１＝１００ｋｍ／ｈ』の曲線と『Ｖ２＝３０ｋｍ／ｈ』との曲線の識別を可能としている。なお、『Ｖ１＝１００ｋｍ／ｈ』の曲線は、対象車両７の自車両４からの距離Ｄを６０［ｍ］とし、対象車両７の自車両４への接近速度を１００［ｋｍ／ｈ］としたときの曲線である。また、『Ｖ２＝３０ｋｍ／ｈ』の曲線は、対象車両７の自車両４からの距離Ｄを１００［ｍ］とし、対象車両７の速度を３０［ｋｍ／ｈ］としたときの曲線である。従って、時間変化率閾値Ｔｈをこのように設定すると、６０［ｍ］離れた位置で検知する、１００［ｋｍ／ｈ］以下の速度で接近する対象車両７と、１００［ｍ］離れた位置を３０［ｋｍ／ｈ］以上の速度で横切る対象車両７との区別が可能になる。
【００７８】
次に図１０について説明する。図１０は、図２の接触可能性検知装置１において行われる、接触可能性検知処理の処理手順を図解したフローチャートである。
図１０の処理が開始されると、まず、Ｓ１０１において、判定部１３が備えている、経過時間の計時を行うための不図示のタイマを起動させて、この接触可能性検知処理の処理開始から経過時間を計時させる処理を判定部１３が行う。
【００７９】
次に、Ｓ１０２では、車載カメラ２での撮像により得られた時系列の撮像画像５（すなわち、自車両４の真後ろの方向の動画像）を取得する処理を、検出部１１が行う。
次に、Ｓ１０３では、Ｓ１０２の処理で取得した時系列の撮像画像５においての監視領域６内に共通して存在する特徴点を抽出する処理を、検出部１１が前述のようにして行う。
【００８０】
次に、Ｓ１０４では、Ｓ１０３の処理により抽出した特徴点（画素）の２枚の撮像画像５間での動きベクトルの成分を計算して、各特徴点についてのオプティカルフローを求める処理を、検出部１１が行う。
【００８１】
次に、Ｓ１０５では、Ｓ１０４の処理でオプティカルフローを求めた特徴点を、そのオプティカルフローの向きに基づき分類し、オプティカルフローの方向が消失点から離れる向きに分類された特徴点を抽出する処理を、検出部１１が行う。
【００８２】
次に、Ｓ１０６では、Ｓ１０５の処理により抽出された特徴点の集合を含む、所定の縦横比の矩形形状の画像領域を、対象車両７の像が含まれている検出領域８として、撮像画像５から検出する処理を、検出部１１が行う。なお、検出部１１は、この処理において、前述した検出領域情報及び検出領域内オプティカルフロー情報９を出力する処理も行う。
【００８３】
次に、Ｓ１０７では、検出領域情報を用いて、撮像画像５の検出領域８内に存在する特徴点のうちの、前述した最左端特徴点Ｌ及び最右端特徴点Ｒについての情報を、検出領域内オプティカルフロー情報９から抽出する処理を、方位角変化率算出部１２が行う。
【００８４】
次に、Ｓ１０８では、最左端特徴点Ｌ及び最右端特徴点Ｒ各々のオプティカルフローの始点及び終点の、撮像画像５上での位置にそれぞれ対応する自車両４後方の実際の位置についての方位角θを算出する処理を、方位角変化率算出部１２が前述のようにして行う。
【００８５】
次に、Ｓ１０９では、Ｓ１０８の処理で算出した最左端特徴点Ｌ及び最右端特徴点Ｒ各々の方位角について、その時間変化率ｄθ／ｄｔの算出を、方位角変化率算出部１２が前述のようにして行う。
【００８６】
次に、Ｓ１１０では、Ｓ１０９の処理により算出した、最左端特徴点Ｌ及び最右端特徴点Ｒの各々についての方位角の時間変化率ｄθ／ｄｔを統合する処理を、方位角変化率算出部１２が前述のようにして行う。方位角変化率算出部１２は、この統合処理の結果を、対象車両７の水平線方向の端部についての方位角の時間変化率の算出結果として出力する。
【００８７】
次に、Ｓ１１１では、Ｓ１１０の処理により方位角変化率算出部１２から出力された上述の方位角の時間変化率ｄθ／ｄｔと、判定部１３が有している記憶部に予め記憶させておいた前述の時間変化率閾値Ｔｈとの大小比較を行う処理を判定部１３が行う。
【００８８】
次に、Ｓ１１２では、Ｓ１１１の大小比較処理において、方位角の時間変化率ｄθ／ｄｔが時間変化率閾値Ｔｈよりも小さいか否かを判定する処理を判定部１３が行う。ここで、方位角の時間変化率ｄθ／ｄｔが時間変化率閾値Ｔｈよりも小さいと判定したとき（判定結果がＹｅｓのとき）には、Ｓ１１４に処理が進む。一方、方位角の時間変化率ｄθ／ｄｔが時間変化率閾値Ｔｈ以上であったと判定したとき（判定結果がＮｏのとき）には、Ｓ１１３に処理が進む。
【００８９】
Ｓ１１３では、警告実行の指示を警告部３に与えて、対象車両７の自車両４への接触の可能性がある旨の警告を自車両４の運転者に通知させる処理を判定部１３が行い、その後はこの接触可能性検知処理を終了する。
【００９０】
一方、Ｓ１１４では、Ｓ１０１の処理により起動させたタイマを参照して、この接触可能性検知処理の処理開始からの経過時間が所定の時間（図９における時間Ｔ）を経過したか否かを判定する処理を判定部１３が行う。ここで、接触可能性検知処理の処理開始からの経過時間が所定の時間を過ぎたと判定したとき（判定結果がＹｅｓのとき）には、対象車両７の自車両４への接触の可能性はないと判断し、この接触可能性検知処理を終了する。一方、接触可能性検知処理の処理開始からの経過時間が所定の時間を未だ過ぎていない判定したとき（判定結果がＮｏとき）には、Ｓ１０２に処理が戻って上述した処理が改めて実行される。
【００９１】
図２の接触可能性検知装置１は、以上の接触可能性検知処理を行うことで、対象車両７の自車両４への接触の可能性の有無の検知を行う。この処理において、判定部１３による当該接触の可能性の有無の判定が、方位角変化率算出部１２が算出した前述の方位角の時間変化率ｄθ／ｄｔと前述の時間変化率閾値Ｔｈとの大小比較の結果に基づいて行われる。従って、対象車両７を撮像した画像の特徴点のオプティカルフローを利用して当該接触の可能性の有無の判定を行っても、その判定の誤りが未然に防止される。
【００９２】
なお、図２に機能ブロックを図解した接触可能性検知装置１を、標準的なハードウェア構成のコンピュータを用いて構成してもよい。
【００９３】
ここで図１１について説明する。図１１は、コンピュータのハードウェア構成例であり、図２に機能ブロックを図解した接触可能性検知装置１を構成することができるものの一例である。
【００９４】
このコンピュータ２０は、ＭＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスク装置２４、入力装置２５、表示装置２６、インタフェース装置２７、及び記録媒体駆動装置２８を備えている。なお、これらの構成要素はバスライン２９を介して接続されており、ＭＰＵ２１の管理の下で各種のデータを相互に授受することができる。
【００９５】
ＭＰＵ（Micro Processing Unit）２１は、このコンピュータ２０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）２２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ２１は、この基本制御プログラムをコンピュータ２０の起動時に読み出して実行することにより、このコンピュータ２０の各構成要素の動作制御が可能になる。
【００９６】
ＲＡＭ（Random Access Memory）２３は、ＭＰＵ２１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００９７】
ハードディスク装置２４は、ＭＰＵ２１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ２１は、ハードディスク装置２４に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【００９８】
入力装置２５は、例えばキーボード装置やマウス装置であり、コンピュータ２０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ２１に送付する。
【００９９】
表示装置２６は例えば液晶ディスプレイであり、ＭＰＵ２１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置２７は、このコンピュータ２０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、車載カメラ２から送られてくる時系列の撮像画像（動画像）の取り込みや、警告部３への警告実行指示信号の送出などを行う。
【０１００】
記録媒体駆動装置２８は、可搬型記録媒体２０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ２１は、可搬型記録媒体３０に記録されている所定の制御プログラムを、記録媒体駆動装置２８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体３０としては、例えばＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【０１０１】
このようなコンピュータ２０を接触可能性検知装置１として動作させるには、まず、図１０に図解した接触可能性検知処理の処理内容をＭＰＵ２１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置２４若しくは可搬型記録媒体３０に予め格納しておく。そして、ＭＰＵ２１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ２１が、図２に図解した各機能ブロックとして機能し、このコンピュータ２０が接触可能性検知装置１として動作するようになる。
【０１０２】
また、端末装置と、当該端末装置との間で各種データの授受を行うことのできるサーバ装置とからなるコンピュータシステムにより、前述した各実施例に係る位置特定装置１を構成してもよい。このコンピュータシステムで図２の接触可能性検知装置１を構成する場合には、例えば、自車両４に設置される端末装置にサーバ装置との通信用の通信装置を備えると共に、図１の車載カメラ２及び警告部３を接続する。一方、サーバ装置には、例えば図１１のコンピュータ２０の構成を備える。但し、インタフェース装置２７には、端末装置の通信装置との間でのデータ通信を管理する通信装置を備える。そして、端末装置は、車載カメラ２が得た時系列の撮像画像５（すなわち動画像）をサーバ装置に送付する。一方、サーバ装置では、端末装置から受け取った撮像画像５に基づき、前述した接触可能性検知処理を行い、その結果を端末装置に送付して警告部３の動作制御を行わせる。このようにして、コンピュータシステムにより、前述した各実施例に係る位置特定装置１を構成してもよい。
【符号の説明】
【０１０３】
１ 接触可能性検知装置
２ 車載カメラ
３ 警告部
４ 自車両
５ 撮像画像
６ 監視領域
７ 対象車両
８ 検出領域
９ 検出領域内オプティカルフロー情報
１１ 検出部
１２ 方位角変化率算出部
１３ 判定部
２０ コンピュータ
２１ ＭＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク装置
２５ 入力装置
２６ 表示装置
２７ インタフェース装置
２８ 記録媒体駆動装置
２９ バスライン
３０ 可搬型記録媒体
【特許請求の範囲】
【請求項１】
対象車両の自車両への接触の可能性の有無を検知する接触可能性検知装置であって、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像から、該撮像画像を構成している画素についてのオプティカルフローを求め、該オプティカルフローの向きが、該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として該撮像画像から検出する検出部と、
前記時系列の撮像画像に基づいて、前記検出領域についての該撮像画像での水平線方向の端部を前記自車両から見たときの方位角の時間変化率を算出する方位角変化率算出部と、
前記方位角変化率算出部が算出した前記方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前記検出領域に映っている前記対象車両についての前記自車両への接触の可能性の有無を判定する判定部と、
を備えることを特徴とする接触可能性検知装置。
【請求項２】
前記判定部は、前記検出領域に映っている前記対象車両が、前記自車両に接近する方向に対して直交する方向に移動しているのか否かを、前記大小比較の結果に基づいて判定することを特徴とする請求項１に記載の接触可能性検知装置。
【請求項３】
前記方位角変化率算出部は、前記方位角の時間変化率の算出を、前記時系列の撮像画像に従って順次繰り返し、
前記判定部は、前記方位角変化率算出部が算出した前記方位角の時間変化率が、所定の時間に亘って前記時間変化率閾値よりも小さい場合には、前記接触の可能性がないとの判定を下し、その他の場合には、該接触の可能性があるとの判定を下す、
ことを特徴とする請求項１又は２に記載の接触可能性検知装置。
【請求項４】
対象車両の自車両への接触の可能性の有無を検知する接触可能性検知方法であって、
検出部が、前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像から、該撮像画像を構成している画素についてのオプティカルフローを求めて、該オプティカルフローの向きが、該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として該撮像画像から検出し、
前記時系列の撮像画像に基づいて、前記検出領域についての該撮像画像での水平線方向の端部を前記自車両から見たときの方位角の時間変化率の算出を方位角変化率算出部が行い、
前記方位角変化率算出部が算出した前記方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前記検出領域に映っている前記対象車両についての前記自車両への接触の可能性の有無の判定を判定部が行う、
ことを特徴とする接触可能性検知方法。
【請求項５】
対象車両の自車両への接触の可能性の有無の検知をコンピュータに行わせるためのプログラムであって、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像から、該撮像画像を構成している画素についてのオプティカルフローを求め、
前記オプティカルフローの向きが、前記撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として該撮像画像から検出し、
前記時系列の撮像画像に基づいて、前記検出領域についての該撮像画像での水平線方向の端部を前記自車両から見たときの方位角の時間変化率の算出を行い、
前記算出により得た前記方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前記検出領域に映っている前記対象車両についての前記自車両への接触の可能性の有無を判定する、
処理を前記コンピュータに実行させるプログラム。
【請求項１】
対象車両の自車両への接触の可能性の有無を検知する接触可能性検知装置であって、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像から、該撮像画像を構成している画素についてのオプティカルフローを求め、該オプティカルフローの向きが、該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として該撮像画像から検出する検出部と、
前記時系列の撮像画像に基づいて、前記検出領域についての該撮像画像での水平線方向の端部を前記自車両から見たときの方位角の時間変化率を算出する方位角変化率算出部と、
前記方位角変化率算出部が算出した前記方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前記検出領域に映っている前記対象車両についての前記自車両への接触の可能性の有無を判定する判定部と、
を備えることを特徴とする接触可能性検知装置。
【請求項２】
前記判定部は、前記検出領域に映っている前記対象車両が、前記自車両に接近する方向に対して直交する方向に移動しているのか否かを、前記大小比較の結果に基づいて判定することを特徴とする請求項１に記載の接触可能性検知装置。
【請求項３】
前記方位角変化率算出部は、前記方位角の時間変化率の算出を、前記時系列の撮像画像に従って順次繰り返し、
前記判定部は、前記方位角変化率算出部が算出した前記方位角の時間変化率が、所定の時間に亘って前記時間変化率閾値よりも小さい場合には、前記接触の可能性がないとの判定を下し、その他の場合には、該接触の可能性があるとの判定を下す、
ことを特徴とする請求項１又は２に記載の接触可能性検知装置。
【請求項４】
対象車両の自車両への接触の可能性の有無を検知する接触可能性検知方法であって、
検出部が、前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像から、該撮像画像を構成している画素についてのオプティカルフローを求めて、該オプティカルフローの向きが、該撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として該撮像画像から検出し、
前記時系列の撮像画像に基づいて、前記検出領域についての該撮像画像での水平線方向の端部を前記自車両から見たときの方位角の時間変化率の算出を方位角変化率算出部が行い、
前記方位角変化率算出部が算出した前記方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前記検出領域に映っている前記対象車両についての前記自車両への接触の可能性の有無の判定を判定部が行う、
ことを特徴とする接触可能性検知方法。
【請求項５】
対象車両の自車両への接触の可能性の有無の検知をコンピュータに行わせるためのプログラムであって、
前記自車両に搭載されている撮像装置が前記対象車両を撮像して得た時系列の撮像画像から、該撮像画像を構成している画素についてのオプティカルフローを求め、
前記オプティカルフローの向きが、前記撮像画像における消失点から発散する方向に向いている画素の集合に基づき形成される領域を、検出領域として該撮像画像から検出し、
前記時系列の撮像画像に基づいて、前記検出領域についての該撮像画像での水平線方向の端部を前記自車両から見たときの方位角の時間変化率の算出を行い、
前記算出により得た前記方位角の時間変化率と所定の時間変化率閾値との大小比較の結果に基づいて、前記検出領域に映っている前記対象車両についての前記自車両への接触の可能性の有無を判定する、
処理を前記コンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図４】
【図７】
【図８】
【図２】
【図３】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図４】
【図７】
【図８】
【公開番号】特開２０１２−１１８８８６（Ｐ２０１２−１１８８８６Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６９７２４（Ｐ２０１０−２６９７２４）
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]