到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置
【課題】到達時間をより確実に推定することができる到達時間推定装置、到達時間推定方法、到達時間推定プログラム及び情報提示装置を提供する。
【解決手段】画像入力部は、画像信号をフレーム毎に入力し、物体検知部は、画像入力部から入力された画像信号が表す物体を検知し、到達時間算出部は、物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する。
【解決手段】画像入力部は、画像信号をフレーム毎に入力し、物体検知部は、画像入力部から入力された画像信号が表す物体を検知し、到達時間算出部は、物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置に関する。
【背景技術】
【０００２】
路面上を走行する車両を安全に運転するために、車両の周囲の情報を運転者に提示する技術が提案されている。周囲の情報の一形態として、進行方向に位置する障害物を車載カメラが撮影した画像に基づいて検知する方法が提案されている。その中で、撮影した画像が表す被写体上の特徴点を複数個抽出し、抽出した特徴点間の距離変化を算出して被写体までの到達時間を推定する技術がある。
例えば、特許文献１に記載の衝突時間算出装置は、カメラにより撮像された画像上の同一対象物に属する任意の２点を評価点として抽出し、画像上に設定された任意の座標軸を基準として、抽出された２点の座標値の差分の絶対値の時間微分値を算出するとともに、２点の座標値の差分の絶対値と、時間微分値とに基づいて、抽出された２点を含む対象物がカメラの撮像面と衝突までに要する時間を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０７４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の衝突時間算出装置によれば、抽出された２点が同一の対象物上にあり、カメラから等距離になければならない。また、対象物が小さい場合、２点以上の評価点が得られない場合があった。そのため、対象物までの到達時間を確実に推定することができなかった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、物体までの到達時間をより確実に推定することができる到達時間推定装置、到達時間推定方法、到達時間推定プログラム及び情報提示装置を提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像信号をフレーム毎に入力する画像入力部と、前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と、を備えることを特徴とする到達時間推定装置である。
【０００７】
（２）本発明のその他の態様は、上述の到達時間推定装置であって、前記画像入力部から入力された画像信号から前記物体検知部が検知した物体上の特徴点を抽出する特徴点抽出部を備え、前記到達時間算出部は、前記特徴点抽出部が抽出した特徴点の方向を、前記物体までの方向として前記到達時間を算出することを特徴とする。
【０００８】
（３）本発明のその他の態様は、画像信号をフレーム毎に入力する画像入力部と、前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と前記到達時間算出部が算出した到達時間に基づいて、前記物体検知部が検知した物体に到達することを表す情報を出力するか否かを判断する出力判定部を備えることを特徴とする情報提示装置である。
【０００９】
（４）本発明のその他の態様は、到達時間推定装置における到達時間推定方法において、 前記到達時間推定装置が、画像信号をフレーム毎に入力する過程と、前記到達時間推定装置が、前記入力された画像信号が表す物体を検知する過程と、前記到達時間推定装置が、前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する過程と、を有することを特徴とする到達時間推定方法である。
【００１０】
（５）本発明のその他の態様は、到達時間推定装置のコンピュータに、画像信号をフレーム毎に入力する手順と、前記入力された画像信号が表す物体を検知する手順と、前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する手順と、を実行させるための到達時間推定プログラムである。
【発明の効果】
【００１１】
本発明によれば、物体までの到達時間をより確実に推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る情報提示装置の構成を示す概略図である。
【図２】本実施形態に係る画像信号の一例を表す概念図である。
【図３】本実施形態に係る自車両と特徴点の位置関係の一例を表す概念図である。
【図４】本実施形態に係るカメラの撮像面と特徴点の位置関係の一例を表す概念図である。
【図５】本実施形態に係るカメラ座標系の時間変化の一例を表す概念図である。
【図６】本実施形態に係る情報提示処理を表すフローチャートである。
【図７】本実施形態に係る特徴点探索処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
本実施形態に係る到達時間推定装置は、画像信号をフレーム毎に入力し、入力された画像信号が表す物体を検知する。また、当該到達時間推定装置は、検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する。また、本実施形態に係る情報提示装置は、当該到達時間推定装置の構成を備え、算出した到達時間に基づいて、検知した物体に到達することを表す情報を出力するか否かを判断する。
【００１４】
図１は、本実施形態に係る情報提示装置１１の構成を示す概略図である。
情報提示装置１１は、到達時間推定部１２、警報判定部１２４及び警報出力部１２５を含んで構成される。
カメラ２は、周囲の画像を予め定められた時間間隔（例えば、１／３０秒）で撮影し、撮影した画像信号を到達時間推定部１２に出力する。フレームとは、１枚の画像を表す画像信号の単位である。１フレームの画像信号は、画素毎の輝度値を含んで構成される。カメラ２は、例えば、光軸の方向が情報提示装置１１を搭載する自車両の正面前方になるように設置された車載用ビデオカメラである。これにより、カメラ２は、車両の正面前方の画像を撮影して画像信号を生成する。
【００１５】
到達時間推定部１２は、カメラ２から前述の時間間隔で画像信号をフレーム毎に入力される。到達時間推定部１２は、入力された画像信号が表す物体を検知し、検知した物体に到達するまでの到達時間を算出する。到達時間推定部１２が到達時間を算出する処理については後述する。到達時間推定部１２は、算出した到達時間を表す到達時間情報を警報判定部１２４に出力する。到達時間推定部１２の構成については、後述する。
【００１６】
警報判定部１２４は、到達時間推定部１２から入力された到達時間情報に基づいて前述の検知した物体に到達することを表す警報を出力するか否か判断する。警報判定部１２４は、例えば、入力された到達時間情報が予め設定された時間（例えば、３０秒）よりも小さくなったとき、その警報を出力すると判断する。警報判定部１２４は、警報を出力すると判断したとき、警報を出力することを表す警報出力要求信号を生成し、生成した警報出力要求信号を警報出力部１２５に出力する。
【００１７】
警報出力部１２５は、警報判定部１２４から警報を出力することを表す警報出力要求信号が入力されたとき、警報情報を利用者が認知できる態様で表示する。例えば、警報出力部１２５は、自部が備える記憶部に予め警報情報を記憶させておく。
記憶させておく警報情報の一例は、例えば物体に接近したことを表す警告音を表す音声信号である。警報出力部１２５は、警報出力要求信号が入力されたとき、記憶部からその音声信号を読み出し、読み出した音声信号が表す警告音を再生する。
記憶させておく警報情報のその他の例は、例えば利用者に周囲への注意を促すことを表す警告画面を表す画像信号である。警報出力部１２５は、警報出力要求信号が入力されたとき、記憶部からその画像信号を読み出し、読み出した画像信号が表す警告画面を表示する。これにより、利用者、例えば運転者に対して周囲への注意を喚起することができ、走行の安全を確保することができる。
【００１８】
次に、到達時間推定部１２の構成について説明する。
到達時間推定部１２は、物体検知部１２１、特徴点抽出部１２２及び到達時間算出部１２３を含んで構成される。
【００１９】
物体検知部１２１は、カメラ２から入力された画像信号が表す物体（例えば、先行車両、障害物、等）を検知し、検知した物体が表された領域を示す物体情報を生成する。物体検知部１２１は、物体情報を生成するために、例えば、エッジ検出を行う。エッジ検出を行う場合、物体検知部１２１は、入力した画像信号を空間的に平滑化して空間周波数が予め設定された閾値よりも高い成分を除去する。物体検知部１２１は、平滑化した画像信号に含まれる隣接画素間の勾配（水平方向、垂直方向）の絶対値を指標値として画素毎に算出する。物体検知部１２１は、算出した指標値があらかじめ設定された閾値よりも大きい画素をエッジとして検出する。物体検知部１２１は、検出したエッジが空間的に囲む領域を一つの物体が占める領域と定め、定めた領域毎に各物体を識別する情報を物体情報として生成する。
【００２０】
物体検知部１２１は、生成した物体情報から観測対象とする物体（例えば、先行車両）の物体情報を抽出する。物体検知部１２１は、例えば、画像信号の予め設定された領域（例えば、フレームの中心部にある画素及びこの画素に隣接する予め設定された数の画素からなる領域）を占める物体の物体情報を抽出する。物体検知部１２１は、抽出した物体の物体情報を特徴点抽出部１２２に出力する。
【００２１】
特徴点抽出部１２２は、カメラ２から画像信号をフレーム毎に入力され、物体検知部１２１から物体情報を入力される。
特徴点抽出部１２２は、画像信号から、物体情報が表す物体が占める領域の特徴点を抽出する。特徴点とは、画像中で近傍への移動先を一意に決定可能な点である。特徴点は、例えば、輝度のピーク点や輪郭のコーナー点が該当する。特徴点抽出部１２１は、例えばＨａｒｒｉｓ法（参考文献；Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈａｎｓ，“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，” Ｐｒｏｃ． ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．， ｐｐ．１４７−１５１，Ｍａｎｃｈｅｓｔｅｒ， Ｕ．Ｋ．， Ａｕｇ． １９８８）を利用して特徴点を抽出してもよい。Ｈａｒｒｉｓ法を用いる場合、特徴点抽出部１２２は、画像信号の各座標（ｉ，ｊ）における勾配の大きさを表す指標値としてＨａｒｒｉｓ作用素Ｍｃを算出する。Ｈａｒｒｉｓ作用素Ｍｃは、式（１）で表される。
【００２２】
【数１】
【００２３】
式（１）において、ｄｅｔ（Ａ）は、行列Ａの行列式である。ｔｒａｃｅ（Ａ）は、行列Ａのトレース、即ち対角成分の総和である。κは、予め定められた実数、例えば０．０４である。行列Ａは、Ｈａｒｒｉｓ行列である。Ｈａｒｒｉｓ行列Ａの各成分は、例えば式（２）で示される。
【００２４】
【数２】
【００２５】
式（２）において、ｗ（ｕ，ｖ）は、各座標（ｉ，ｊ）から（ｕ，ｖ）だけずれた座標における重みを表す窓関数である。Ｉｘは、座標（ｉ，ｊ）における輝度値の水平方向（ｘ方向）への差分値である。座標Ｉｙは、座標（ｉ，ｊ）における輝度値の垂直方向（ｙ方向）への差分値である。
【００２６】
特徴点抽出部１２２は、算出した指標値が最も大きい点から予め設定された数（例えば、１０個）の座標を特徴点として抽出する。なお、特徴点抽出部１２２は、算出した指標値が予め設定された値よりも大きい座標を特徴点として抽出してもよい。
特徴点抽出部１２２は、抽出した特徴点の座標を表す特徴点情報を到達時間算出部１２３に出力する
【００２７】
到達時間算出部１２３は、特徴点抽出部１２２から特徴点情報をフレーム毎に入力される。ここで、到達時間算出部１２３は、前フレームｋ−１（ｋは、フレーム時刻を表す整数）の特徴点情報が表す特徴点に対応する特徴点を、現フレームｋの特徴点情報が表す特徴点から選択する。本実施形態に係る特徴点選択処理の一例については後述する。
到達時間算出部１２３は、前フレームｋ−１における、選択された特徴点までの方向ベクトルｐｋ−１と、現フレームｋの対応する特徴点までの方向ベクトルｐｋを算出する。到達時間算出部１２３が算出する方向ベクトルｐｋ−１、ｐｋは、例えば式（３）に示すようにカメラ２を基準としたカメラ座標系で表される。この座標系は、カメラ２が設置された位置を原点とし、撮像素子に結像した画像の水平方向ならびに垂直方向、及び光軸方向の座標軸を有する３次元直交座標系である。従って、車両の走行に伴い、座標系の原点の位置が変化する。
【００２８】
【数３】
【００２９】
式（３）において、ｘは、前フレームｋ−１における特徴点の水平方向の座標（画素のインデックス）に、カメラ２の画素間間隔ｄを焦点距離ｆで除算して得られた補正係数ｎｆを乗じて正規化された座標値である。ｙは、前フレームｋ−１における特徴点の水平方向の座標に補正係数ｎｆを乗じて正規化された座標値である。ｘ’は、現フレームｋにおける特徴点の水平方向の座標に補正係数ｎｆを乗じて正規化された座標値である。ｙ’は、現フレームｋにおける特徴点の垂直方向の座標に補正係数ｎｆを乗じて正規化された座標値である。到達時間算出部１２３には、画素間間隔ｄ、焦点距離ｆもしくは補正係数ｎｆを、カメラ２のカメラパラメータとして予め設定させておく。
【００３０】
ここで、特徴点の位置の変化について説明する。
図２は、画像信号の一例を表す概念図である。
図２において、左右方向が水平方向（ｘ軸）を表し、上下方向が垂直方向（ｙ軸）を表す。図２は、前フレームｋ−１において撮影された画像と現フレームｋにおいて撮影された画像を重ね合わせて表示した画像を表す。
図２の中央上方に破線で示す図形は、前フレームｋ−１において撮影された被写体として先行車両４を表す画像を表す。先行車両４は、情報提示装置１及びカメラ２を搭載する自自車両３の進行方向を走行している車両である。白抜きの丸印は、前フレームｋ−１における特徴点を表す。図２の中央下方に実線で示す図形は、現フレームｋにおいて撮影された被写体として前方車両を表す画像を表す。黒塗りの丸印は、現フレームｋにおける特徴点である。白抜きの丸印から黒塗りの丸印に向かう矢印は、白抜きの丸印が表す特徴点が黒塗りの丸印が表す特徴点に対応することを表す。即ち、前フレームｋ−１から現フレームｋへの特徴点の移動を表す。なお、図２の左下に示す上方へ向かう矢印は、法線ベクトルｎを表す。法線ベクトルｎは、自車両３が走行する路面に対して垂直な方向を表すベクトルである。本実施形態では、到達時間算出部１２３に予め法線ベクトルｎを設定させておく。
【００３１】
図１に戻り、到達時間算出部１２３は、算出した方向ベクトルｐｋ−１、ｐｋに基づいて、回転行列Ｒを算出する。回転行列Ｒは、前フレームｋ−１におけるカメラ座標系の座標軸を、現フレームｋにおけるカメラ座標系の座標軸への回転を表す行列である。なお、本実施形態における回転行列Ｒの算出方法の一例について、後述する。
【００３２】
次に、方向ベクトルｐｋ−１、ｐｋと回転行列Ｒの関係について説明する。
図３は、本実施形態に係る自車両３と特徴点の位置関係の一例を表す概念図である。
図３の左右方向は、現フレームｋにおけるカメラ２の光軸方向と垂直であって路面と平行な方向（Ｘ’方向）を表す。図３の上下方向は、現フレームｋにおけるカメラ２の光軸方向（Ｚ’方向）を表す。
図３の下方に示される図形は、前フレームｋ−１における自車両３を示す。ｏｋ−１は、前フレームｋ−１における座標の原点、つまりカメラ２の位置を示す。ｏｋ−１を起点とする左上方に向かう矢印は、方向ベクトルｐｋ−１を表す。図３の中央に示す図形は、現フレームｋにおける自車両３を示す。ｏｋは、現フレームｋにおける座標の原点、つまりカメラ２の位置を示す。ｏｋを起点とする左上方に向かう矢印は、方向ベクトルｐｋを表す。図３の左上方に示す黒丸は、特徴点Ａを示す。ｏｋ−１からｏｋに向かう矢印は、並進ベクトルｔを示す。即ち、図３では特徴点Ａが静止し、カメラ２が相対的に移動していることを表す。
【００３３】
次に、方向ベクトルｐｋ−１、ｐｋと特徴点Ａを表す画像との関係について説明する。
図４は、本実施形態に係るカメラ２の撮像面と特徴点の位置関係の一例を表す概念図である。
図４に示される上下、左右方向、特徴点Ａ、原点ｏｋ−１、ｏｋ、方向ベクトルｐｋ−１、ｐｋ、並進ベクトルｔは、図３と同様である。
ここで、方向ベクトルｐｋ−１の終点にある×印は、撮像面Ｉｋ−１における特徴点Ａの位置を表す。撮像面Ｉｋ−１は、前フレームｋ−１においてカメラ２が撮影した画像である。ｘは、上述のように特徴点Ａの水平方向の正規化された座標である。ｙは、上述のように特徴点Ａの垂直方向の正規化された座標である。
ここで、方向ベクトルｐｋの終点にある×印は、撮像面Ｉｋにおける特徴点Ａの位置を表す。撮像面Ｉｋは、現フレームｋにおいてカメラ２が撮影した画像である。ｘ’は、上述のように特徴点Ａの水平方向の正規化された座標である。ｙ‘は、上述のように特徴点Ａの垂直方向の正規化された座標である。
【００３４】
次に、上述のカメラ座標系の時間変化について説明する。
図５は、本実施形態に係るカメラ座標系の時間変化の一例を表す概念図である。
図５に示される上下、左右方向、原点ｏｋ−１、ｏｋ、並進ベクトルｔは、図３、４と同様である。
図５の下方中央は、前フレームｋ−１におけるカメラ２のカメラ座標系の座標軸を表す。Ｚ軸方向は、カメラ２の光軸方向を表す。Ｘ軸方向は、カメラ２の光軸方向に垂直であって水平面に平行な方向を表す。Ｙ軸方向は、カメラ２の光軸方向に垂直であってＸ軸方向に垂直な方向を表す。
図５の中央は、現フレームｋにおけるカメラ２のカメラ座標系の座標軸を表す。Ｘ’、Ｙ’、Ｚ’各軸方向は、図３と同様である。
並進ベクトルｔの左方にある左回りの矢印は、カメラ座標系が前フレームｋ−１から現フレームｋにかけて回転する方向を表す矢印である。回転行列Ｒは、この回転を定量的に表す行列である。
【００３５】
図３に示されるように、方向ベクトルｐｋは、回転行列Ｒと方向ベクトルｐｋ−１との間で、次式の関係を満足する。
【００３６】
【数４】
【００３７】
式（４）において、Ｚは、前フレームｋ−１におけるカメラ２の光軸方向の座標である。Ｚ’は、現フレームｋにおけるカメラ２の光軸方向の座標である。ｔは、前フレームｋ−１における原点ｏｋ−１と、現フレームｋにおける原点ｏｋの差分、つまり、カメラ２の位置の差分を表す並進ベクトルである。
【００３８】
到達時間算出部１２３は、算出した回転行列Ｒに基づいて、現フレームｋにおける距離Ｚ’の前フレームｋ−１における距離Ｚに対する比Ｚ’／Ｚを算出する。ここで、距離Ｚ’は、現フレームｋにおける特徴点のカメラ２の光軸方向の座標値である。距離Ｚは、前フレームｋ−１における特徴点のカメラ２の光軸方向の座標値である。
つまり、距離比Ｚ’／Ｚは、前フレームｋ−１から現フレームｋへの特徴点、即ちカメラ２から被写体までの距離の変化率を表す指標値である。距離比Ｚ’／Ｚが０より大きく１よりも小さい値をとるとき、被写体に接近することを示す。ここで、距離比Ｚ／Ｚ’が小さいほど、被写体により早く接近することを示す。距離比Ｚ’／Ｚが１の場合は、被写体までの距離が変化しないことを示す。距離比Ｚ’／Ｚが１より大きい場合は、被写体から遠ざかることを示す。なお、到達時間算出部１２３は、距離比が０又は負の値をとる場合には、エラーと判定し、現フレームｋにおける処理を中止する。
距離比Ｚ’／Ｚを算出する際、到達時間算出部１２３は、例えば式（５）を用いる。
【００３９】
【数５】
【００４０】
式（５）において、Ｔはベクトル又は行列の転置を表す演算子である。式（５）は、方向ベクトルｐｋ−１に回転行列Ｒを乗じて補正されたベクトルＲｐｋ−１と法線ベクトルｎとの内積を、方向ベクトルｐｋと法線ベクトルｎとの内積に対する比を、距離比Ｚ’／Ｚとして算出することを示す。
式（５）を用いて、距離比Ｚ’／Ｚを算出する原理については後述する。
到達時間算出部１２３は、到達時間ＴＴＣを距離比Ｚ’／Ｚに基づいて、例えば式（６）を用いて算出する。
【００４１】
【数６】
【００４２】
式（６）において、ΔＴは、フレーム間の時間間隔を示す。式（６）の分子は、フレーム間の間隔毎の、カメラ２から物体上の特徴点までの距離の変化率を表す。即ち、式（６）は、カメラ２が特徴点に到達するまでのフレーム数をフレーム間の時間間隔で正規化して、つまり到達時間として算出することを表す。
到達時間算出部１２３は、算出した到達時間を表す到達時間情報を警報判定部１２４に出力する。
【００４３】
次に、本実施形態に係る情報提示処理について説明する。
図６は、本実施形態に係る情報提示処理を表すフローチャートである。
（ステップＳ１０１）物体検知部１２１及び特徴点抽出部１２２は、カメラ２から各々フレーム毎に画像信号を入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）物体検知部１２１は、画像信号が表す物体を検知し、検知した物体が表された領域を示す物体情報を生成する。その後、ステップＳ１０３に進む。
（ステップＳ１０３）物体検知部１２１は、生成した物体情報から観測対象とする物体（例えば、先行車両）の物体情報を抽出する。物体検知部１２１は、抽出した物体の物体情報を特徴点抽出部１２２に出力する。その後、ステップＳ１０３に進む。
【００４４】
（ステップＳ１０４）特徴点抽出部１２２は、カメラ２から入力された画像信号から、物体検知部１２１から入力された物体情報が表す物体が表す領域の特徴点を抽出する。特徴点抽出部１２２は、抽出した特徴点の座標を表す特徴点情報を到達時間算出部１２３に出力する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）到達時間算出部１２３は、特徴点抽出部１２２から入力された現フレームｋの特徴点情報が表す特徴点から、前フレームｋ−１の特徴点情報が表す特徴点に対応する特徴点を選択する。本実施形態に係る特徴点選択処理の一例については後述する。
その後、ステップＳ１０６に進む。
【００４５】
（ステップＳ１０６）到達時間算出部１２３は、前フレームｋ−１における選択された特徴点までの方向ベクトルｐｋ−１と、現フレームｋの対応する特徴点までの方向ベクトルｐｋを算出する。到達時間算出部１２３は、算出した方向ベクトルｐｋ−１、ｐｋに基づいて、回転行列Ｒを算出する。その後、ステップＳ１０７に進む。
（ステップＳ１０７）到達時間算出部１２３は、算出した方向ベクトルｐｋ−１、ｐｋ、回転行列Ｒ及び予め設定された法線ベクトルｎに基づいて、例えば式（５）を用いて距離比Ｚ’／Ｚを算出する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）到達時間算出部１２３は、算出した距離比Ｚ’／Ｚに基づいて、例えば式（６）を用いて到達時間ＴＴＣを算出する。到達時間算出部１２３は、算出した到達時間ＴＴＣを表す到達時間情報を警報判定部１２４に出力する。その後、ステップＳ１０９に進む。
【００４６】
（ステップＳ１０９）警報判定部１２４は、到達時間算出部１２３から入力された到達時間情報に基づいて検知した物体に到達することを表す警報を出力するか否か判断する。警報を出力すると判断された場合（ステップＳ１０９ Ｙ）、ステップＳ１１０に進む。警報を出力しないと判断された場合（ステップＳ１０９ Ｎ）、処理を終了する。
（ステップＳ１１０）警報判定部１２４は、警報を出力すると判断したとき、警報出力要求信号を生成し、生成した警報出力要求信号を警報出力部１２５に出力する。警報出力部１２５は、警報判定部１２４から警報出力要求信号が入力されたとき、警報情報を利用者が認知できる態様で表示する。その後、処理を終了する。
なお、上述のステップのうちステップＳ１０１−Ｓ１０８は、本実施形態に係る到達時間算出処理に該当する。
【００４７】
次に、本実施形態において、到達時間算出部１２３が行う現フレームｋにおける特徴点に対応する前フレームｋ−１における特徴点を探索する処理について説明する。
図７は、本実施形態に係る特徴点探索処理を示すフローチャートである。
（ステップＳ２０１）到達時間算出部１２３は、前フレームｋ−１から現フレームｋまでの各特徴点の物体毎の並進ベクトルの初期値を、例えばゼロと設定する。到達時間算出部１２３は、この初期値を、ゼロの代わりに前回算出した並進移動量（例えば、フレームｋ−２からフレームｋ−１までの特徴量間の並進移動量）を設定してもよい。また、到達時間算出部１２３は、現フレームｋの特徴点から前フレームｋ−１の特徴点を探索する範囲を設定する。その後、ステップＳ２０２に進む。
【００４８】
（ステップＳ２０２）到達時間算出部１２３は、各特徴点の物体毎の並進移動量が設定した値の範囲内か否かを判断する。到達時間算出部１２３は、並進移動量が設定した値の範囲内と判断したとき（ステップＳ２０２ Ｙ）、ステップＳ２０６に進む。到達時間算出部１２３は、物体毎の並進移動量が設定した値の範囲内ではないと判断したとき（ステップＳ２０２ Ｎ）、ステップＳ２０３に進む。
【００４９】
（ステップＳ２０３）到達時間算出部１２３は、前フレームｋ−１の各特徴点の座標に、物体毎の並進移動量を加算して現フレームｋの各特徴点の座標を推定する。その後、ステップＳ２０４に進む。
（ステップＳ２０４）到達時間算出部１２３は、ステップＳ２０３において推定した現フレームｋの特徴点から予め設定された距離よりも近接する領域（特徴点近傍）にあるサンプル点の補間画素値と前フレームｋ−１での特徴点近傍にあるサンプル点の補間画素値の差分を、各サンプル点について算出する。前フレームｋ−１のサンプル点は、例えば、前フレームｔ−１での特徴点近傍に含まれる各画素の中心点である。現フレームｋのサンプル点は、前フレームｋ−１でのサンプル点に並進移動量を加算して推定した座標である。特徴点は必ずしも各画素の中心点上にあるとは限らないため、到達時間算出部１２３は、各フレームにおいて当該補間画素値を、特徴点近傍にある各画素の中心点と特徴点の位置関係に基づいて算出する。その後、ステップＳ２０５に進む。
（ステップＳ２０５）到達時間算出部１２３は、ステップＳ２０４において算出した差分について、その二乗和を最小化する並進移動量を、例えば非線形最小二乗法を用いて算出することで並進移動量を更新する。その後、ステップＳ２０２に進む。
【００５０】
（ステップＳ２０６）到達時間算出部１２３は、ステップＳ２０５において算出した差分に基づく二乗和を最小化する前フレームｋ−１の特徴点を、現フレームｋの特徴点に各々対応する前フレームｋ−１の特徴点と決定する。なお、到達時間算出部１２３は、この過程で得られた並進移動量を並進ベクトルｔと定める。その後、処理を終了する。
【００５１】
次に、本実施形態において、回転行列Ｒを算出する方法の一例について説明する。
回転行列Ｒは、例えば、式（７）で示される３行３列の行列である。
【００５２】
【数７】
【００５３】
式（７）において、θＺは、現フレームｋにおけるカメラ２の光軸方向の座標軸（Ｚ’軸）回りの回転角である。θＸは、現フレームｋにおけるカメラ２の光軸と垂直であって、水平面に平行な座標軸（Ｘ’軸）回りの回転角である。θＹは、フレームｋにおけるカメラ２の光軸と垂直であって、Ｘ’軸と垂直な座標軸（Ｙ’軸）回りの回転角である。従って、式（７）に示される回転行列Ｒの行列式は１となる。
そして、方向ベクトルｐｋ−１、ｐｋと回転行列Ｒ並びに並進ベクトルｔは、式（８）で表される関係がある。
【００５４】
【数８】
【００５５】
式（８）において、×は、３次元ベクトルの外積を表す。式（８）で表される関係はエピポーラ条件と呼ばれる。即ち、式（８）は、３つの３次元ベクトルＲｐｋ−１、ｐｋ及び並進ベクトルｔが同一平面上にあるときの条件を表す。外積ｔ×Ｒｐｋ−１は、ベクトルｔとＲｐｋ−１に張られる平面の法線を表し、方向ベクトルｐｋもこの平面に含まれるならば法線との内積が０となることを表す。
そこで、到達時間算出部１２３は、５個以上の特徴点について、例えば式（８）の左辺の二乗和が最小となるような回転行列Ｒと並進ベクトルを非線形最小二乗法を用いて算出する。但し、算出過程において、回転行列Ｒの各成分が、例えば式（７）に示す関係を保つようにする。このようにして、到達時間算出部１２３は、回転行列Ｒを算出することができる。
【００５６】
次に、到達時間算出部１２３が、式（５）を用いて距離比Ｚ’／Ｚを算出する原理について説明する。
並進ベクトルｔは、前フレームｋ−１における自車両３の位置と現フレームｋにおける自車両３の位置との差を表す。従って、並進ベクトルｔは、自車両３が走行する路面に垂直な方向を表す法線ベクトルｎと近似的に直交する。
従って、式（４）の両辺に法線ベクトルｎとの内積をとると、式（４）の右辺第２項がゼロとなり、式（９）が導かれる。
【００５７】
【数９】
【００５８】
そして、式（９）の両辺をＺ・ｎＴｐｋで除算すれば式（２）を導くことができる。
【００５９】
上述では、現フレームの画像信号と、１フレーム過去に撮影された前フレームの画像信号（計２フレーム）を用いて、到達時間算出部１２３が物体に到達するまでの到達時間を算出する例について説明した。本実施形態では、これには限られない。例えば、到達時間算出部１２３が算出した現フレーム時刻ｋにおける到達時間ＴＴＣ（ｋ）から（Ｍ−１）フレームだけ過去の時刻ｋ−（Ｍ−１）における到達時間ＴＴＣ（ｋ−（Ｍ−１））の平均値（例えば、移動平均値）を、現フレーム時刻ｋにおける到達時間ＴＴＣ（ｋ）として算出してもよい。これによって、到達時間算出部１２３を備える自車両３が位置する路面の凸凹や物体（被写体）が走行する路面の凸凹による影響が平滑化され、より高い精度で到達時間ＴＴＣを算出することができる。
【００６０】
このように、本実施形態では、画像信号をフレーム毎に入力し、入力された画像信号が表す物体を検知し、検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出する。これにより、物体が進行方向の遠方にあっても、物体の方向の変化に基づく誤差が抑制される。そのため、障害物等の物体までの到達時間の推定精度を向上することができる。
【００６１】
また、本実施形態では、算出した到達時間に基づいて、検知した物体に到達することを表す情報を出力するか否かを判断する。
これにより、検知された物体に到達する可能性やその時刻を利用者に対してより確実に通知することができる。
【００６２】
なお、上述した実施形態における情報提示装置１１の一部、例えば、物体検知部１２１、特徴点抽出部１２２、到達時間算出部１２３及び警報判定部１２４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、情報提示装置１１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における情報提示装置１１装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。情報提示装置１１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００６３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６４】
１１…情報提示装置、１２…到達時間推定部、１２１…物体検知部、
１２２…特徴点抽出部、１２３…到達時間算出部、１２４…警報判定部、
１２５…警報出力部
【技術分野】
【０００１】
本発明は、到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置に関する。
【背景技術】
【０００２】
路面上を走行する車両を安全に運転するために、車両の周囲の情報を運転者に提示する技術が提案されている。周囲の情報の一形態として、進行方向に位置する障害物を車載カメラが撮影した画像に基づいて検知する方法が提案されている。その中で、撮影した画像が表す被写体上の特徴点を複数個抽出し、抽出した特徴点間の距離変化を算出して被写体までの到達時間を推定する技術がある。
例えば、特許文献１に記載の衝突時間算出装置は、カメラにより撮像された画像上の同一対象物に属する任意の２点を評価点として抽出し、画像上に設定された任意の座標軸を基準として、抽出された２点の座標値の差分の絶対値の時間微分値を算出するとともに、２点の座標値の差分の絶対値と、時間微分値とに基づいて、抽出された２点を含む対象物がカメラの撮像面と衝突までに要する時間を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０７４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の衝突時間算出装置によれば、抽出された２点が同一の対象物上にあり、カメラから等距離になければならない。また、対象物が小さい場合、２点以上の評価点が得られない場合があった。そのため、対象物までの到達時間を確実に推定することができなかった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、物体までの到達時間をより確実に推定することができる到達時間推定装置、到達時間推定方法、到達時間推定プログラム及び情報提示装置を提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像信号をフレーム毎に入力する画像入力部と、前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と、を備えることを特徴とする到達時間推定装置である。
【０００７】
（２）本発明のその他の態様は、上述の到達時間推定装置であって、前記画像入力部から入力された画像信号から前記物体検知部が検知した物体上の特徴点を抽出する特徴点抽出部を備え、前記到達時間算出部は、前記特徴点抽出部が抽出した特徴点の方向を、前記物体までの方向として前記到達時間を算出することを特徴とする。
【０００８】
（３）本発明のその他の態様は、画像信号をフレーム毎に入力する画像入力部と、前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と前記到達時間算出部が算出した到達時間に基づいて、前記物体検知部が検知した物体に到達することを表す情報を出力するか否かを判断する出力判定部を備えることを特徴とする情報提示装置である。
【０００９】
（４）本発明のその他の態様は、到達時間推定装置における到達時間推定方法において、 前記到達時間推定装置が、画像信号をフレーム毎に入力する過程と、前記到達時間推定装置が、前記入力された画像信号が表す物体を検知する過程と、前記到達時間推定装置が、前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する過程と、を有することを特徴とする到達時間推定方法である。
【００１０】
（５）本発明のその他の態様は、到達時間推定装置のコンピュータに、画像信号をフレーム毎に入力する手順と、前記入力された画像信号が表す物体を検知する手順と、前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する手順と、を実行させるための到達時間推定プログラムである。
【発明の効果】
【００１１】
本発明によれば、物体までの到達時間をより確実に推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る情報提示装置の構成を示す概略図である。
【図２】本実施形態に係る画像信号の一例を表す概念図である。
【図３】本実施形態に係る自車両と特徴点の位置関係の一例を表す概念図である。
【図４】本実施形態に係るカメラの撮像面と特徴点の位置関係の一例を表す概念図である。
【図５】本実施形態に係るカメラ座標系の時間変化の一例を表す概念図である。
【図６】本実施形態に係る情報提示処理を表すフローチャートである。
【図７】本実施形態に係る特徴点探索処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
本実施形態に係る到達時間推定装置は、画像信号をフレーム毎に入力し、入力された画像信号が表す物体を検知する。また、当該到達時間推定装置は、検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する。また、本実施形態に係る情報提示装置は、当該到達時間推定装置の構成を備え、算出した到達時間に基づいて、検知した物体に到達することを表す情報を出力するか否かを判断する。
【００１４】
図１は、本実施形態に係る情報提示装置１１の構成を示す概略図である。
情報提示装置１１は、到達時間推定部１２、警報判定部１２４及び警報出力部１２５を含んで構成される。
カメラ２は、周囲の画像を予め定められた時間間隔（例えば、１／３０秒）で撮影し、撮影した画像信号を到達時間推定部１２に出力する。フレームとは、１枚の画像を表す画像信号の単位である。１フレームの画像信号は、画素毎の輝度値を含んで構成される。カメラ２は、例えば、光軸の方向が情報提示装置１１を搭載する自車両の正面前方になるように設置された車載用ビデオカメラである。これにより、カメラ２は、車両の正面前方の画像を撮影して画像信号を生成する。
【００１５】
到達時間推定部１２は、カメラ２から前述の時間間隔で画像信号をフレーム毎に入力される。到達時間推定部１２は、入力された画像信号が表す物体を検知し、検知した物体に到達するまでの到達時間を算出する。到達時間推定部１２が到達時間を算出する処理については後述する。到達時間推定部１２は、算出した到達時間を表す到達時間情報を警報判定部１２４に出力する。到達時間推定部１２の構成については、後述する。
【００１６】
警報判定部１２４は、到達時間推定部１２から入力された到達時間情報に基づいて前述の検知した物体に到達することを表す警報を出力するか否か判断する。警報判定部１２４は、例えば、入力された到達時間情報が予め設定された時間（例えば、３０秒）よりも小さくなったとき、その警報を出力すると判断する。警報判定部１２４は、警報を出力すると判断したとき、警報を出力することを表す警報出力要求信号を生成し、生成した警報出力要求信号を警報出力部１２５に出力する。
【００１７】
警報出力部１２５は、警報判定部１２４から警報を出力することを表す警報出力要求信号が入力されたとき、警報情報を利用者が認知できる態様で表示する。例えば、警報出力部１２５は、自部が備える記憶部に予め警報情報を記憶させておく。
記憶させておく警報情報の一例は、例えば物体に接近したことを表す警告音を表す音声信号である。警報出力部１２５は、警報出力要求信号が入力されたとき、記憶部からその音声信号を読み出し、読み出した音声信号が表す警告音を再生する。
記憶させておく警報情報のその他の例は、例えば利用者に周囲への注意を促すことを表す警告画面を表す画像信号である。警報出力部１２５は、警報出力要求信号が入力されたとき、記憶部からその画像信号を読み出し、読み出した画像信号が表す警告画面を表示する。これにより、利用者、例えば運転者に対して周囲への注意を喚起することができ、走行の安全を確保することができる。
【００１８】
次に、到達時間推定部１２の構成について説明する。
到達時間推定部１２は、物体検知部１２１、特徴点抽出部１２２及び到達時間算出部１２３を含んで構成される。
【００１９】
物体検知部１２１は、カメラ２から入力された画像信号が表す物体（例えば、先行車両、障害物、等）を検知し、検知した物体が表された領域を示す物体情報を生成する。物体検知部１２１は、物体情報を生成するために、例えば、エッジ検出を行う。エッジ検出を行う場合、物体検知部１２１は、入力した画像信号を空間的に平滑化して空間周波数が予め設定された閾値よりも高い成分を除去する。物体検知部１２１は、平滑化した画像信号に含まれる隣接画素間の勾配（水平方向、垂直方向）の絶対値を指標値として画素毎に算出する。物体検知部１２１は、算出した指標値があらかじめ設定された閾値よりも大きい画素をエッジとして検出する。物体検知部１２１は、検出したエッジが空間的に囲む領域を一つの物体が占める領域と定め、定めた領域毎に各物体を識別する情報を物体情報として生成する。
【００２０】
物体検知部１２１は、生成した物体情報から観測対象とする物体（例えば、先行車両）の物体情報を抽出する。物体検知部１２１は、例えば、画像信号の予め設定された領域（例えば、フレームの中心部にある画素及びこの画素に隣接する予め設定された数の画素からなる領域）を占める物体の物体情報を抽出する。物体検知部１２１は、抽出した物体の物体情報を特徴点抽出部１２２に出力する。
【００２１】
特徴点抽出部１２２は、カメラ２から画像信号をフレーム毎に入力され、物体検知部１２１から物体情報を入力される。
特徴点抽出部１２２は、画像信号から、物体情報が表す物体が占める領域の特徴点を抽出する。特徴点とは、画像中で近傍への移動先を一意に決定可能な点である。特徴点は、例えば、輝度のピーク点や輪郭のコーナー点が該当する。特徴点抽出部１２１は、例えばＨａｒｒｉｓ法（参考文献；Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈａｎｓ，“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，” Ｐｒｏｃ． ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．， ｐｐ．１４７−１５１，Ｍａｎｃｈｅｓｔｅｒ， Ｕ．Ｋ．， Ａｕｇ． １９８８）を利用して特徴点を抽出してもよい。Ｈａｒｒｉｓ法を用いる場合、特徴点抽出部１２２は、画像信号の各座標（ｉ，ｊ）における勾配の大きさを表す指標値としてＨａｒｒｉｓ作用素Ｍｃを算出する。Ｈａｒｒｉｓ作用素Ｍｃは、式（１）で表される。
【００２２】
【数１】
【００２３】
式（１）において、ｄｅｔ（Ａ）は、行列Ａの行列式である。ｔｒａｃｅ（Ａ）は、行列Ａのトレース、即ち対角成分の総和である。κは、予め定められた実数、例えば０．０４である。行列Ａは、Ｈａｒｒｉｓ行列である。Ｈａｒｒｉｓ行列Ａの各成分は、例えば式（２）で示される。
【００２４】
【数２】
【００２５】
式（２）において、ｗ（ｕ，ｖ）は、各座標（ｉ，ｊ）から（ｕ，ｖ）だけずれた座標における重みを表す窓関数である。Ｉｘは、座標（ｉ，ｊ）における輝度値の水平方向（ｘ方向）への差分値である。座標Ｉｙは、座標（ｉ，ｊ）における輝度値の垂直方向（ｙ方向）への差分値である。
【００２６】
特徴点抽出部１２２は、算出した指標値が最も大きい点から予め設定された数（例えば、１０個）の座標を特徴点として抽出する。なお、特徴点抽出部１２２は、算出した指標値が予め設定された値よりも大きい座標を特徴点として抽出してもよい。
特徴点抽出部１２２は、抽出した特徴点の座標を表す特徴点情報を到達時間算出部１２３に出力する
【００２７】
到達時間算出部１２３は、特徴点抽出部１２２から特徴点情報をフレーム毎に入力される。ここで、到達時間算出部１２３は、前フレームｋ−１（ｋは、フレーム時刻を表す整数）の特徴点情報が表す特徴点に対応する特徴点を、現フレームｋの特徴点情報が表す特徴点から選択する。本実施形態に係る特徴点選択処理の一例については後述する。
到達時間算出部１２３は、前フレームｋ−１における、選択された特徴点までの方向ベクトルｐｋ−１と、現フレームｋの対応する特徴点までの方向ベクトルｐｋを算出する。到達時間算出部１２３が算出する方向ベクトルｐｋ−１、ｐｋは、例えば式（３）に示すようにカメラ２を基準としたカメラ座標系で表される。この座標系は、カメラ２が設置された位置を原点とし、撮像素子に結像した画像の水平方向ならびに垂直方向、及び光軸方向の座標軸を有する３次元直交座標系である。従って、車両の走行に伴い、座標系の原点の位置が変化する。
【００２８】
【数３】
【００２９】
式（３）において、ｘは、前フレームｋ−１における特徴点の水平方向の座標（画素のインデックス）に、カメラ２の画素間間隔ｄを焦点距離ｆで除算して得られた補正係数ｎｆを乗じて正規化された座標値である。ｙは、前フレームｋ−１における特徴点の水平方向の座標に補正係数ｎｆを乗じて正規化された座標値である。ｘ’は、現フレームｋにおける特徴点の水平方向の座標に補正係数ｎｆを乗じて正規化された座標値である。ｙ’は、現フレームｋにおける特徴点の垂直方向の座標に補正係数ｎｆを乗じて正規化された座標値である。到達時間算出部１２３には、画素間間隔ｄ、焦点距離ｆもしくは補正係数ｎｆを、カメラ２のカメラパラメータとして予め設定させておく。
【００３０】
ここで、特徴点の位置の変化について説明する。
図２は、画像信号の一例を表す概念図である。
図２において、左右方向が水平方向（ｘ軸）を表し、上下方向が垂直方向（ｙ軸）を表す。図２は、前フレームｋ−１において撮影された画像と現フレームｋにおいて撮影された画像を重ね合わせて表示した画像を表す。
図２の中央上方に破線で示す図形は、前フレームｋ−１において撮影された被写体として先行車両４を表す画像を表す。先行車両４は、情報提示装置１及びカメラ２を搭載する自自車両３の進行方向を走行している車両である。白抜きの丸印は、前フレームｋ−１における特徴点を表す。図２の中央下方に実線で示す図形は、現フレームｋにおいて撮影された被写体として前方車両を表す画像を表す。黒塗りの丸印は、現フレームｋにおける特徴点である。白抜きの丸印から黒塗りの丸印に向かう矢印は、白抜きの丸印が表す特徴点が黒塗りの丸印が表す特徴点に対応することを表す。即ち、前フレームｋ−１から現フレームｋへの特徴点の移動を表す。なお、図２の左下に示す上方へ向かう矢印は、法線ベクトルｎを表す。法線ベクトルｎは、自車両３が走行する路面に対して垂直な方向を表すベクトルである。本実施形態では、到達時間算出部１２３に予め法線ベクトルｎを設定させておく。
【００３１】
図１に戻り、到達時間算出部１２３は、算出した方向ベクトルｐｋ−１、ｐｋに基づいて、回転行列Ｒを算出する。回転行列Ｒは、前フレームｋ−１におけるカメラ座標系の座標軸を、現フレームｋにおけるカメラ座標系の座標軸への回転を表す行列である。なお、本実施形態における回転行列Ｒの算出方法の一例について、後述する。
【００３２】
次に、方向ベクトルｐｋ−１、ｐｋと回転行列Ｒの関係について説明する。
図３は、本実施形態に係る自車両３と特徴点の位置関係の一例を表す概念図である。
図３の左右方向は、現フレームｋにおけるカメラ２の光軸方向と垂直であって路面と平行な方向（Ｘ’方向）を表す。図３の上下方向は、現フレームｋにおけるカメラ２の光軸方向（Ｚ’方向）を表す。
図３の下方に示される図形は、前フレームｋ−１における自車両３を示す。ｏｋ−１は、前フレームｋ−１における座標の原点、つまりカメラ２の位置を示す。ｏｋ−１を起点とする左上方に向かう矢印は、方向ベクトルｐｋ−１を表す。図３の中央に示す図形は、現フレームｋにおける自車両３を示す。ｏｋは、現フレームｋにおける座標の原点、つまりカメラ２の位置を示す。ｏｋを起点とする左上方に向かう矢印は、方向ベクトルｐｋを表す。図３の左上方に示す黒丸は、特徴点Ａを示す。ｏｋ−１からｏｋに向かう矢印は、並進ベクトルｔを示す。即ち、図３では特徴点Ａが静止し、カメラ２が相対的に移動していることを表す。
【００３３】
次に、方向ベクトルｐｋ−１、ｐｋと特徴点Ａを表す画像との関係について説明する。
図４は、本実施形態に係るカメラ２の撮像面と特徴点の位置関係の一例を表す概念図である。
図４に示される上下、左右方向、特徴点Ａ、原点ｏｋ−１、ｏｋ、方向ベクトルｐｋ−１、ｐｋ、並進ベクトルｔは、図３と同様である。
ここで、方向ベクトルｐｋ−１の終点にある×印は、撮像面Ｉｋ−１における特徴点Ａの位置を表す。撮像面Ｉｋ−１は、前フレームｋ−１においてカメラ２が撮影した画像である。ｘは、上述のように特徴点Ａの水平方向の正規化された座標である。ｙは、上述のように特徴点Ａの垂直方向の正規化された座標である。
ここで、方向ベクトルｐｋの終点にある×印は、撮像面Ｉｋにおける特徴点Ａの位置を表す。撮像面Ｉｋは、現フレームｋにおいてカメラ２が撮影した画像である。ｘ’は、上述のように特徴点Ａの水平方向の正規化された座標である。ｙ‘は、上述のように特徴点Ａの垂直方向の正規化された座標である。
【００３４】
次に、上述のカメラ座標系の時間変化について説明する。
図５は、本実施形態に係るカメラ座標系の時間変化の一例を表す概念図である。
図５に示される上下、左右方向、原点ｏｋ−１、ｏｋ、並進ベクトルｔは、図３、４と同様である。
図５の下方中央は、前フレームｋ−１におけるカメラ２のカメラ座標系の座標軸を表す。Ｚ軸方向は、カメラ２の光軸方向を表す。Ｘ軸方向は、カメラ２の光軸方向に垂直であって水平面に平行な方向を表す。Ｙ軸方向は、カメラ２の光軸方向に垂直であってＸ軸方向に垂直な方向を表す。
図５の中央は、現フレームｋにおけるカメラ２のカメラ座標系の座標軸を表す。Ｘ’、Ｙ’、Ｚ’各軸方向は、図３と同様である。
並進ベクトルｔの左方にある左回りの矢印は、カメラ座標系が前フレームｋ−１から現フレームｋにかけて回転する方向を表す矢印である。回転行列Ｒは、この回転を定量的に表す行列である。
【００３５】
図３に示されるように、方向ベクトルｐｋは、回転行列Ｒと方向ベクトルｐｋ−１との間で、次式の関係を満足する。
【００３６】
【数４】
【００３７】
式（４）において、Ｚは、前フレームｋ−１におけるカメラ２の光軸方向の座標である。Ｚ’は、現フレームｋにおけるカメラ２の光軸方向の座標である。ｔは、前フレームｋ−１における原点ｏｋ−１と、現フレームｋにおける原点ｏｋの差分、つまり、カメラ２の位置の差分を表す並進ベクトルである。
【００３８】
到達時間算出部１２３は、算出した回転行列Ｒに基づいて、現フレームｋにおける距離Ｚ’の前フレームｋ−１における距離Ｚに対する比Ｚ’／Ｚを算出する。ここで、距離Ｚ’は、現フレームｋにおける特徴点のカメラ２の光軸方向の座標値である。距離Ｚは、前フレームｋ−１における特徴点のカメラ２の光軸方向の座標値である。
つまり、距離比Ｚ’／Ｚは、前フレームｋ−１から現フレームｋへの特徴点、即ちカメラ２から被写体までの距離の変化率を表す指標値である。距離比Ｚ’／Ｚが０より大きく１よりも小さい値をとるとき、被写体に接近することを示す。ここで、距離比Ｚ／Ｚ’が小さいほど、被写体により早く接近することを示す。距離比Ｚ’／Ｚが１の場合は、被写体までの距離が変化しないことを示す。距離比Ｚ’／Ｚが１より大きい場合は、被写体から遠ざかることを示す。なお、到達時間算出部１２３は、距離比が０又は負の値をとる場合には、エラーと判定し、現フレームｋにおける処理を中止する。
距離比Ｚ’／Ｚを算出する際、到達時間算出部１２３は、例えば式（５）を用いる。
【００３９】
【数５】
【００４０】
式（５）において、Ｔはベクトル又は行列の転置を表す演算子である。式（５）は、方向ベクトルｐｋ−１に回転行列Ｒを乗じて補正されたベクトルＲｐｋ−１と法線ベクトルｎとの内積を、方向ベクトルｐｋと法線ベクトルｎとの内積に対する比を、距離比Ｚ’／Ｚとして算出することを示す。
式（５）を用いて、距離比Ｚ’／Ｚを算出する原理については後述する。
到達時間算出部１２３は、到達時間ＴＴＣを距離比Ｚ’／Ｚに基づいて、例えば式（６）を用いて算出する。
【００４１】
【数６】
【００４２】
式（６）において、ΔＴは、フレーム間の時間間隔を示す。式（６）の分子は、フレーム間の間隔毎の、カメラ２から物体上の特徴点までの距離の変化率を表す。即ち、式（６）は、カメラ２が特徴点に到達するまでのフレーム数をフレーム間の時間間隔で正規化して、つまり到達時間として算出することを表す。
到達時間算出部１２３は、算出した到達時間を表す到達時間情報を警報判定部１２４に出力する。
【００４３】
次に、本実施形態に係る情報提示処理について説明する。
図６は、本実施形態に係る情報提示処理を表すフローチャートである。
（ステップＳ１０１）物体検知部１２１及び特徴点抽出部１２２は、カメラ２から各々フレーム毎に画像信号を入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）物体検知部１２１は、画像信号が表す物体を検知し、検知した物体が表された領域を示す物体情報を生成する。その後、ステップＳ１０３に進む。
（ステップＳ１０３）物体検知部１２１は、生成した物体情報から観測対象とする物体（例えば、先行車両）の物体情報を抽出する。物体検知部１２１は、抽出した物体の物体情報を特徴点抽出部１２２に出力する。その後、ステップＳ１０３に進む。
【００４４】
（ステップＳ１０４）特徴点抽出部１２２は、カメラ２から入力された画像信号から、物体検知部１２１から入力された物体情報が表す物体が表す領域の特徴点を抽出する。特徴点抽出部１２２は、抽出した特徴点の座標を表す特徴点情報を到達時間算出部１２３に出力する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）到達時間算出部１２３は、特徴点抽出部１２２から入力された現フレームｋの特徴点情報が表す特徴点から、前フレームｋ−１の特徴点情報が表す特徴点に対応する特徴点を選択する。本実施形態に係る特徴点選択処理の一例については後述する。
その後、ステップＳ１０６に進む。
【００４５】
（ステップＳ１０６）到達時間算出部１２３は、前フレームｋ−１における選択された特徴点までの方向ベクトルｐｋ−１と、現フレームｋの対応する特徴点までの方向ベクトルｐｋを算出する。到達時間算出部１２３は、算出した方向ベクトルｐｋ−１、ｐｋに基づいて、回転行列Ｒを算出する。その後、ステップＳ１０７に進む。
（ステップＳ１０７）到達時間算出部１２３は、算出した方向ベクトルｐｋ−１、ｐｋ、回転行列Ｒ及び予め設定された法線ベクトルｎに基づいて、例えば式（５）を用いて距離比Ｚ’／Ｚを算出する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）到達時間算出部１２３は、算出した距離比Ｚ’／Ｚに基づいて、例えば式（６）を用いて到達時間ＴＴＣを算出する。到達時間算出部１２３は、算出した到達時間ＴＴＣを表す到達時間情報を警報判定部１２４に出力する。その後、ステップＳ１０９に進む。
【００４６】
（ステップＳ１０９）警報判定部１２４は、到達時間算出部１２３から入力された到達時間情報に基づいて検知した物体に到達することを表す警報を出力するか否か判断する。警報を出力すると判断された場合（ステップＳ１０９ Ｙ）、ステップＳ１１０に進む。警報を出力しないと判断された場合（ステップＳ１０９ Ｎ）、処理を終了する。
（ステップＳ１１０）警報判定部１２４は、警報を出力すると判断したとき、警報出力要求信号を生成し、生成した警報出力要求信号を警報出力部１２５に出力する。警報出力部１２５は、警報判定部１２４から警報出力要求信号が入力されたとき、警報情報を利用者が認知できる態様で表示する。その後、処理を終了する。
なお、上述のステップのうちステップＳ１０１−Ｓ１０８は、本実施形態に係る到達時間算出処理に該当する。
【００４７】
次に、本実施形態において、到達時間算出部１２３が行う現フレームｋにおける特徴点に対応する前フレームｋ−１における特徴点を探索する処理について説明する。
図７は、本実施形態に係る特徴点探索処理を示すフローチャートである。
（ステップＳ２０１）到達時間算出部１２３は、前フレームｋ−１から現フレームｋまでの各特徴点の物体毎の並進ベクトルの初期値を、例えばゼロと設定する。到達時間算出部１２３は、この初期値を、ゼロの代わりに前回算出した並進移動量（例えば、フレームｋ−２からフレームｋ−１までの特徴量間の並進移動量）を設定してもよい。また、到達時間算出部１２３は、現フレームｋの特徴点から前フレームｋ−１の特徴点を探索する範囲を設定する。その後、ステップＳ２０２に進む。
【００４８】
（ステップＳ２０２）到達時間算出部１２３は、各特徴点の物体毎の並進移動量が設定した値の範囲内か否かを判断する。到達時間算出部１２３は、並進移動量が設定した値の範囲内と判断したとき（ステップＳ２０２ Ｙ）、ステップＳ２０６に進む。到達時間算出部１２３は、物体毎の並進移動量が設定した値の範囲内ではないと判断したとき（ステップＳ２０２ Ｎ）、ステップＳ２０３に進む。
【００４９】
（ステップＳ２０３）到達時間算出部１２３は、前フレームｋ−１の各特徴点の座標に、物体毎の並進移動量を加算して現フレームｋの各特徴点の座標を推定する。その後、ステップＳ２０４に進む。
（ステップＳ２０４）到達時間算出部１２３は、ステップＳ２０３において推定した現フレームｋの特徴点から予め設定された距離よりも近接する領域（特徴点近傍）にあるサンプル点の補間画素値と前フレームｋ−１での特徴点近傍にあるサンプル点の補間画素値の差分を、各サンプル点について算出する。前フレームｋ−１のサンプル点は、例えば、前フレームｔ−１での特徴点近傍に含まれる各画素の中心点である。現フレームｋのサンプル点は、前フレームｋ−１でのサンプル点に並進移動量を加算して推定した座標である。特徴点は必ずしも各画素の中心点上にあるとは限らないため、到達時間算出部１２３は、各フレームにおいて当該補間画素値を、特徴点近傍にある各画素の中心点と特徴点の位置関係に基づいて算出する。その後、ステップＳ２０５に進む。
（ステップＳ２０５）到達時間算出部１２３は、ステップＳ２０４において算出した差分について、その二乗和を最小化する並進移動量を、例えば非線形最小二乗法を用いて算出することで並進移動量を更新する。その後、ステップＳ２０２に進む。
【００５０】
（ステップＳ２０６）到達時間算出部１２３は、ステップＳ２０５において算出した差分に基づく二乗和を最小化する前フレームｋ−１の特徴点を、現フレームｋの特徴点に各々対応する前フレームｋ−１の特徴点と決定する。なお、到達時間算出部１２３は、この過程で得られた並進移動量を並進ベクトルｔと定める。その後、処理を終了する。
【００５１】
次に、本実施形態において、回転行列Ｒを算出する方法の一例について説明する。
回転行列Ｒは、例えば、式（７）で示される３行３列の行列である。
【００５２】
【数７】
【００５３】
式（７）において、θＺは、現フレームｋにおけるカメラ２の光軸方向の座標軸（Ｚ’軸）回りの回転角である。θＸは、現フレームｋにおけるカメラ２の光軸と垂直であって、水平面に平行な座標軸（Ｘ’軸）回りの回転角である。θＹは、フレームｋにおけるカメラ２の光軸と垂直であって、Ｘ’軸と垂直な座標軸（Ｙ’軸）回りの回転角である。従って、式（７）に示される回転行列Ｒの行列式は１となる。
そして、方向ベクトルｐｋ−１、ｐｋと回転行列Ｒ並びに並進ベクトルｔは、式（８）で表される関係がある。
【００５４】
【数８】
【００５５】
式（８）において、×は、３次元ベクトルの外積を表す。式（８）で表される関係はエピポーラ条件と呼ばれる。即ち、式（８）は、３つの３次元ベクトルＲｐｋ−１、ｐｋ及び並進ベクトルｔが同一平面上にあるときの条件を表す。外積ｔ×Ｒｐｋ−１は、ベクトルｔとＲｐｋ−１に張られる平面の法線を表し、方向ベクトルｐｋもこの平面に含まれるならば法線との内積が０となることを表す。
そこで、到達時間算出部１２３は、５個以上の特徴点について、例えば式（８）の左辺の二乗和が最小となるような回転行列Ｒと並進ベクトルを非線形最小二乗法を用いて算出する。但し、算出過程において、回転行列Ｒの各成分が、例えば式（７）に示す関係を保つようにする。このようにして、到達時間算出部１２３は、回転行列Ｒを算出することができる。
【００５６】
次に、到達時間算出部１２３が、式（５）を用いて距離比Ｚ’／Ｚを算出する原理について説明する。
並進ベクトルｔは、前フレームｋ−１における自車両３の位置と現フレームｋにおける自車両３の位置との差を表す。従って、並進ベクトルｔは、自車両３が走行する路面に垂直な方向を表す法線ベクトルｎと近似的に直交する。
従って、式（４）の両辺に法線ベクトルｎとの内積をとると、式（４）の右辺第２項がゼロとなり、式（９）が導かれる。
【００５７】
【数９】
【００５８】
そして、式（９）の両辺をＺ・ｎＴｐｋで除算すれば式（２）を導くことができる。
【００５９】
上述では、現フレームの画像信号と、１フレーム過去に撮影された前フレームの画像信号（計２フレーム）を用いて、到達時間算出部１２３が物体に到達するまでの到達時間を算出する例について説明した。本実施形態では、これには限られない。例えば、到達時間算出部１２３が算出した現フレーム時刻ｋにおける到達時間ＴＴＣ（ｋ）から（Ｍ−１）フレームだけ過去の時刻ｋ−（Ｍ−１）における到達時間ＴＴＣ（ｋ−（Ｍ−１））の平均値（例えば、移動平均値）を、現フレーム時刻ｋにおける到達時間ＴＴＣ（ｋ）として算出してもよい。これによって、到達時間算出部１２３を備える自車両３が位置する路面の凸凹や物体（被写体）が走行する路面の凸凹による影響が平滑化され、より高い精度で到達時間ＴＴＣを算出することができる。
【００６０】
このように、本実施形態では、画像信号をフレーム毎に入力し、入力された画像信号が表す物体を検知し、検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出する。これにより、物体が進行方向の遠方にあっても、物体の方向の変化に基づく誤差が抑制される。そのため、障害物等の物体までの到達時間の推定精度を向上することができる。
【００６１】
また、本実施形態では、算出した到達時間に基づいて、検知した物体に到達することを表す情報を出力するか否かを判断する。
これにより、検知された物体に到達する可能性やその時刻を利用者に対してより確実に通知することができる。
【００６２】
なお、上述した実施形態における情報提示装置１１の一部、例えば、物体検知部１２１、特徴点抽出部１２２、到達時間算出部１２３及び警報判定部１２４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、情報提示装置１１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における情報提示装置１１装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。情報提示装置１１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００６３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６４】
１１…情報提示装置、１２…到達時間推定部、１２１…物体検知部、
１２２…特徴点抽出部、１２３…到達時間算出部、１２４…警報判定部、
１２５…警報出力部
【特許請求の範囲】
【請求項１】
画像信号をフレーム毎に入力する画像入力部と、
前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、
前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と、を備えること
を特徴とする到達時間推定装置。
【請求項２】
前記画像入力部から入力された画像信号から前記物体検知部が検知した物体上の特徴点を抽出する特徴点抽出部を備え、
前記到達時間算出部は、前記特徴点抽出部が抽出した特徴点の方向を、前記物体までの方向として前記到達時間を算出すること
を特徴とする請求項１に記載の到達時間推定装置。
【請求項３】
画像信号をフレーム毎に入力する画像入力部と、
前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、
前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と
前記到達時間算出部が算出した到達時間に基づいて、前記物体検知部が検知した物体に到達することを表す情報を出力するか否かを判断する出力判定部を備えること
を特徴とする情報提示装置。
【請求項４】
到達時間推定装置における到達時間推定方法において、
前記到達時間推定装置が、画像信号をフレーム毎に入力する過程と、
前記到達時間推定装置が、前記入力された画像信号が表す物体を検知する過程と、
前記到達時間推定装置が、前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する過程と、を有すること
を特徴とする到達時間推定方法。
【請求項５】
到達時間推定装置のコンピュータに、
画像信号をフレーム毎に入力する手順と、
前記入力された画像信号が表す物体を検知する手順と、
前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する手順と、
を実行させるための到達時間推定プログラム。
【請求項１】
画像信号をフレーム毎に入力する画像入力部と、
前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、
前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と、を備えること
を特徴とする到達時間推定装置。
【請求項２】
前記画像入力部から入力された画像信号から前記物体検知部が検知した物体上の特徴点を抽出する特徴点抽出部を備え、
前記到達時間算出部は、前記特徴点抽出部が抽出した特徴点の方向を、前記物体までの方向として前記到達時間を算出すること
を特徴とする請求項１に記載の到達時間推定装置。
【請求項３】
画像信号をフレーム毎に入力する画像入力部と、
前記画像入力部から入力された画像信号が表す物体を検知する物体検知部と、
前記物体検知部が検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する到達時間算出部と
前記到達時間算出部が算出した到達時間に基づいて、前記物体検知部が検知した物体に到達することを表す情報を出力するか否かを判断する出力判定部を備えること
を特徴とする情報提示装置。
【請求項４】
到達時間推定装置における到達時間推定方法において、
前記到達時間推定装置が、画像信号をフレーム毎に入力する過程と、
前記到達時間推定装置が、前記入力された画像信号が表す物体を検知する過程と、
前記到達時間推定装置が、前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する過程と、を有すること
を特徴とする到達時間推定方法。
【請求項５】
到達時間推定装置のコンピュータに、
画像信号をフレーム毎に入力する手順と、
前記入力された画像信号が表す物体を検知する手順と、
前記検知した物体までの方向を表す方向ベクトルに基づいて前記画像信号を撮影した撮影装置の光軸の回転を表す回転行列を算出し、過去の方向ベクトルに前記算出した回転行列を乗じたベクトルと、現在の方向ベクトルとに基づいて前記物体までの距離の変化を算出し、算出した距離の変化に基づいて当該物体までの到達時間を算出する手順と、
を実行させるための到達時間推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９７６７６（Ｐ２０１３−９７６７６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４１４６６（Ｐ２０１１−２４１４６６）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
[ Back to top ]