勾配推定装置、勾配推定方法、及び勾配推定プログラム
【課題】路面が他の物体に覆われていても路面の勾配を算出することができる勾配推定装置、勾配推定方法、及び勾配推定プログラムを提供する。
【解決手段】特徴点抽出部は、撮影手段が撮影した画像上の特徴点を抽出し、物体検知部は、前記撮影手段が撮影した画像から物体を表す画像を検知し、勾配算出部は、物体検知部が検知した物体を表す画像における特徴点抽出部が抽出した特徴点の座標と、特徴点の座標の予め定められた時間における移動量と、に基づいて、物体が位置する路面の勾配を算出する。
【解決手段】特徴点抽出部は、撮影手段が撮影した画像上の特徴点を抽出し、物体検知部は、前記撮影手段が撮影した画像から物体を表す画像を検知し、勾配算出部は、物体検知部が検知した物体を表す画像における特徴点抽出部が抽出した特徴点の座標と、特徴点の座標の予め定められた時間における移動量と、に基づいて、物体が位置する路面の勾配を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、勾配推定装置、勾配推定方法、及び勾配推定プログラムに関する。
【背景技術】
【０００２】
車両を安全に運転するために、車両の周囲の情報を運転者に提示する技術が提案されている。周囲の情報の一形態として、カメラが撮影した静止物の特徴点の座標や、路面に表された区画線の幅に基づいて路面の勾配を算出する技術がある。
例えば、特許文献１に記載の路面勾配検出装置は、路面を撮像する撮像手段と、前記撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域の対応関係を検出する対応関係検出手段と、前記対応関係検出手段によって検出された対応関係に基づき前記路面の勾配を計算する勾配度検出手段とを備える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３３７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の路面勾配検出装置では、路面の一部又は全部が他の物体（例えば、先行車両）に覆われている場合に、路面を撮影することができず、路面の勾配を算出できないことがあった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、路面が他の物体に覆われていても路面の勾配を算出できる勾配推定装置、勾配推定方法、及び勾配推定プログラムを提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮影手段が撮影した画像上の特徴点を抽出する特徴点抽出部と、前記撮影手段が撮影した画像から物体を表す画像を検知する物体検知部と、前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する勾配算出部と、を備えることを特徴とする勾配推定装置である。
【０００７】
（２）本発明のその他の態様は、前記勾配算出部は、前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量の比を示す座標変化比の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和を、前記移動量の逆数の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和で除算して勾配を算出することを特徴とする（１）の勾配推定装置である。
【０００８】
（３）本発明のその他の態様は、前記物体検知部は、自己との相対速度が予め設定された速度よりも小さい物体を検知することを特徴とする（１）の勾配推定装置である。
【０００９】
（４）本発明のその他の態様は、前記勾配算出部は、前記２つの特徴点間の座標の差分の絶対値が予め設定された閾値よりも大きい特徴点の組を選択することを特徴とする（２）の勾配推定装置である。
【００１０】
（５）本発明のその他の態様は、勾配算出装置における方法において、前記勾配算出装置が、撮影手段が撮影した画像上の特徴点を抽出する第１の過程と、前記勾配算出装置が、前記撮影手段が撮影した画像から物体を表す画像を検知する第２の過程と、前記勾配算出装置が、前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する第３の過程を有することを特徴とする勾配推定方法である。
【００１１】
（６）本発明のその他の態様は、勾配算出装置のコンピュータに、撮影手段が撮影した画像上の特徴点を抽出する手順、前記撮影手段が撮影した画像から物体を表す画像を検知する手順、前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する手順、を実行させるための勾配推定プログラムである。
【発明の効果】
【００１２】
本発明によれば、路面が他の物体に覆われていても路面の勾配を算出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る勾配推定装置１２の構成を示す概略図である。
【図２】本実施形態に係る勾配算出処理の一例を示すフローチャートである。
【図３】本実施形態に係る比相対速度算出方法の一例を示すフローチャートである。
【図４】本実施形態に係る特徴点探索処理を示すフローチャートである。
【図５】本実施形態に係るカメラと被写体の位置関係を示す概念図である。
【図６】本実施形態に係る被写体の位置変化を示す概念図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る勾配推定装置１２の構成を示す概略図である。
本実施形態に係る勾配推定装置１２は、特徴点抽出部１２１、物体検知部１２２、勾配算出部１２３及び情報出力部１２４を含んで構成される。
即ち、勾配推定装置１２は、カメラ１（撮影手段）が撮影した画像上の特徴点を抽出する特徴点抽出部１２１と、カメラ１が撮影した画像から物体を表す画像を検知する物体検知部１２２と、物体検知部１２２が検知した物体を表す画像における特徴点抽出部１が抽出した特徴点の座標と、特徴点の座標の予め定められた時間における移動量と、に基づいて、物体が位置する路面の勾配を算出する勾配算出部１２３とを備える。
【００１５】
ここで、物体検知部１２２は、自己との相対速度が予め設定された速度よりも小さい物体を検知してもよい。
勾配算出部１２３は、物体検知部１２２が検知した物体を表す画像における特徴点抽出部１２１が抽出した特徴点の座標と、特徴点の座標の予め定められた時間における移動量の比を示す座標変化比の２つの特徴点間の差分に対する２つの特徴点の組にわたる総和を、移動量の逆数の２つの特徴点間の差分に対する２つの特徴点の組にわたる総和で除算して勾配を算出する。
また、勾配算出部１２３は、２つの特徴点間の座標の差分の絶対値が予め設定された閾値よりも大きい特徴点の組を選択する。
【００１６】
以下、構成部毎の処理について説明する。
カメラ１１は、車両の周囲、例えば正面前方の画像を撮影して画像信号を生成し、生成した画像信号を勾配推定装置１２の特徴点抽出部１２１に出力する。
カメラ１１は、例えば、光軸の方向が車両の正面前方になるように設置された車載用ビデオカメラである。
特徴点抽出部１２１は、カメラ１１から画像信号を予め設定された時間間隔（例えば、１／３０秒）でフレーム毎に入力される。フレームとは、１枚の画像を表す画像信号の単位であり、１フレームの画像信号には画素毎の輝度値を含む。
【００１７】
特徴点抽出部１２１は、フレーム毎に入力された画像信号から特徴点を抽出する。特徴点とは、画像中で近傍への移動先を一意に決定可能な点である。特徴点は、例えば、輝度のピーク点や輪郭のコーナー点が該当する。特徴点抽出部１２１は、例えばＨａｒｒｉｓ法（参考文献；Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈａｎｓ，“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，” Ｐｒｏｃ． ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．， ｐｐ．１４７−１５１，Ｍａｎｃｈｅｓｔｅｒ， Ｕ．Ｋ．， Ａｕｇ． １９８８）を利用して特徴点を抽出してもよい。Ｈａｒｒｉｓ法を用いる場合、特徴点抽出部１２１は、画像信号の各座標（ｉ，ｊ）における勾配の大きさを表す指標値としてＨａｒｒｉｓ作用素Ｍｃを算出する。Ｈａｒｒｉｓ作用素Ｍｃは、式（１）で表される。
【００１８】
【数１】
【００１９】
式（１）において、ｄｅｔ（Ａ）は、行列Ａの行列式である。ｔｒａｃｅ（Ａ）は、行列Ａのトレース、即ち対角成分の総和である。κは、予め定められた実数、例えば０．０４である。行列Ａは、Ｈａｒｒｉｓ行列である。Ｈａｒｒｉｓ行列Ａの各成分は、例えば式（２）で示される。
【００２０】
【数２】
【００２１】
式（２）において、ｗ（ｕ，ｖ）は、各座標（ｉ，ｊ）から（ｕ，ｖ）だけずれた座標における重みを表す窓関数である。Ｉｘは、座標（ｉ，ｊ）における輝度値の水平方向（ｘ方向）への差分値である。座標Ｉｙは、座標（ｉ，ｊ）における輝度値の垂直方向（ｙ方向）への差分値である。
【００２２】
特徴点抽出部１２１は、算出した指標値が最も大きい点から予め設定された数（例えば、１０個）の座標を特徴点として抽出する。なお、特徴点抽出部１２１は、算出した指標値が予め設定された値よりも大きい座標を特徴点として抽出してもよい。
特徴点抽出部１２１は、抽出した特徴点の座標を表す特徴点情報を物体検知部１２２に出力する
【００２３】
物体検知部１２２は、カメラ１１から入力された画像信号が表す物体（例えば、先行車両、障害物）を検知し、検知した物体が表された領域を示す物体情報を生成する。ここで、物体検知部１２２は、物体情報を生成するために、例えば、エッジ検出を行う。その場合、物体検知部１２２は、入力した画像信号を空間的に平滑化して空間周波数が予め設定された閾値よりも高い成分を除去する。物体検知部１２２は、平滑化した画像信号に含まれる隣接画素間の勾配（水平方向、垂直方向）の絶対値を指標値として画素毎に算出する。物体検知部１２２は、算出した指標値が予め設定された閾値よりも大きい画素をエッジとして検出する。物体検知部１２２は、検出したエッジのうち、空間的に隣接するエッジに囲まれる領域を、物体を表す画像と定め、この画像を占める領域毎に各物体を識別する情報を物体情報として生成する。
【００２４】
物体検知部１２２は、物体を表す画像毎に、その物体のカメラ１１に対する相対速度を表す指標値を算出する。物体検知部１２２は、カメラ１１との間の距離がほぼ一定となる物体に対応する物体情報を選択する。ここで、物体検知部１２２は、特徴点抽出部１２１から入力された特徴点情報に基づき、算出した指標値の絶対値が、予め設定された閾値εよりも小さい物体を表す物体情報を選択する。物体検知部１２２は、相対速度の指標値として、例えば比相対速度を算出する。比相対速度とは、相対速度と定数倍の関係がある変数である。比相対速度は、例えば、物体サイズの時間変化率である。比相対速度の算出方法については後述する。また、選択される物体情報は、例えば勾配推定装置１２を搭載する自車両に先行する先行車両を表す画像である。
【００２５】
物体検知部１２２は、選択した物体情報が表す物体の画像上の特徴点であって、前フレームの画像信号における特徴点と対応関係がある特徴点情報を抽出する。物体検知部１２２は、前フレームの画像信号における特徴点と対応関係がある特徴点情報を確実に抽出するために、物体検知部１２２が、選択された物体情報が表す物体の数が予め定めた閾値ｍ（例えば、ｍ＝２）よりも大きい場合、当該特徴点情報を抽出するようにしてもよい。このような特徴点情報を上述の相対速度算出処理を行う過程で抽出する場合、物体検知部１２２は、その過程で抽出した特徴点情報を保持してもよい。なお、前フレームの画像信号における特徴点と対応関係がある特徴点情報を抽出する特徴点探索処理については、後述する。
物体検知部１２２は、抽出した特徴点情報及び生成した物体情報を勾配算出部１２３に出力する。
【００２６】
勾配算出部１２３は、物体検知部１２２から入力された特徴点情報に基づき、前フレームにおける特徴点の座標から現フレームにおける対応する特徴点の座標を差し引いた値を表す移動ベクトルを算出する。算出した移動ベクトルの垂直成分（ｙ軸成分）を表す要素値を垂直方向移動量と呼ぶ。勾配算出部１２３は、移動ベクトルを算出する際に、前フレームまたは現フレームのいずれかの特徴点座標に対し、カメラ１１の回転に伴う座標の変化を補償してもよい。補償をしない場合には、勾配算出部１２３は、直進時にのみ勾配を算出し（後述）、左折又は右折時には勾配の算出を行わない。勾配算出部１２３は、例えば、車両が搭載するジャイロセンサーにより計測した角速度が予め定めた値よりも小さいことで、車体の回転運動が無いと判断された状態を直進と判断する。あるいは、勾配算出部１２３は、複数の特徴点について移動ベクトルが、車両の直進方向を表す消失点から放射方向であるとき直進と判断する。
【００２７】
勾配算出部１２３は、現フレームにおける特徴点情報が表す特徴点のうち、物体検知部１２２から入力された物体情報が示す各１つの物体の画像が占める領域に含まれる２点の特徴点からなる組を選択する。勾配算出部１２３は、各１つの物体の画像が占める領域に含まれる２点の特徴点からなる組のうち、特徴点間における座標の垂直成分の絶対値が予め設定された閾値よりも大きくなる組だけを選択するようにしてもよい。これにより、特徴点の座標の誤差による影響を低減することができる。
勾配算出部１２３は、選択した組の特徴点ｋ、ｊにおける垂直方向の座標値ｙｋ、ｙｊ、及び垂直方向移動量Δｙｋ、Δｙｊに基づいて、例えば式（３）を用いて勾配ａを算出する。ｋ、ｊは、１又は1よりも大きく、かつＮｏｂｊ又はＮｏｂｊよりも小さい整数である。Ｎｏｂｊは、その物体の画像が占める領域に含まれる特徴点の数である。
【００２８】
【数３】
【００２９】
式（３）において、Σｋ＞ｊは、１つの物体の画像が占める領域に含まれる特徴点ｋ、ｊの組のうち、特徴点ｋ＞ｊとなる特徴点の組にわたる総和を表す。これにより、特徴点の組の重複を避け、特徴点ｋ、ｊの順序が逆転することで、値が相殺することを避けるためである。
式（３）の右辺の分子は、ある特徴点の組に属する一方の特徴点ｋの座標値ｙｋの移動量Δｙｋに対する比（座標変化比）ｙｋ／Δｙｋから、他方の特徴点ｊの座標値ｙｊの移動量Δｙｊに対する比ｙｊ／Δｙｊを減算して得られる第１の差分値の、現フレームにおける特徴点の組にわたる総和である。式（１）の右辺の分母は、ある組に属する一方の特徴点ｋの座標値ｙｋの移動量Δｙｋの逆数１／Δｙｋから、他方の特徴点ｊの移動量Δｙｊの逆数１／Δｙｊを減算して得られる第２の差分値の、現フレームにおける特徴点の組にわたる総和である。
即ち、式（３）によれば、勾配算出部１２３は、第１の差分値の特徴点の組にわたる総和を、第２の差分値の特徴点に組にわたる総和で除算して、勾配ａを算出する。式（３）を用いて勾配ａを算出する原理については、後述する。
勾配算出部１２３は、算出した勾配ａを表す勾配情報を情報出力部１２４に出力する。
【００３０】
情報出力部１２４は、勾配算出部１２３から入力された勾配情報を勾配推定装置１２が備える記憶部（図示せず）に出力して記憶する。情報出力部１２４は、入力された勾配情報に基づいてカメラ１１が撮影する画像情報が表す物体の状態を判定し、判定結果を勾配推定装置１２の外部に出力するようにしてもよい。
【００３１】
例えば、情報出力部１２４は、ある物体が表す画像の垂直方向の座標値と入力された勾配情報に基づいて、その物体までの距離を推定するようにしてもよい。一般に、車載カメラが撮影した画像情報が表す物体までの距離が大きくなるほど垂直方向の座標値が大きくなるが、同時に路面の勾配が急になるほど垂直方向の座標値が大きくなる。そのため、垂直方向の座標値のみに基づいて勾配をもつ路面上の物体までの距離を推定すると、実際の距離よりも小さい距離が推定されることがある。情報出力部１２４は、上述の勾配情報も考慮することで、その物体までの距離を、より正確に推定できる。情報出力部１２４は、推定した距離が予め設定された閾値よりも小さいとき、警告情報（例えば、警告音）を運転者に提示するようにしてもよい。これにより、物体に接近したことに対して運転者に注意を喚起し、走行の安全を確保することができる。
【００３２】
ここで、本実施形態に係る勾配算出処理について説明する。
図２は、本実施形態に係る勾配算出処理の一例を示すフローチャートである。
（ステップＳ１０１）特徴点抽出部１２１及び物体検知部１２２は、カメラ１１から画像信号を予め設定された時間間隔でフレーム毎に入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）特徴点抽出部１２１は、フレーム毎に入力された画像信号から特徴点を抽出する。特徴点抽出部１２１は、抽出した特徴点の座標を表す特徴点情報を物体検知部１２２に出力する。その後、ステップＳ１０３に進む。
【００３３】
（ステップＳ１０３）物体検知部１２２は、入力された画像信号が表す物体の画像を検知し、検知した物体の画像が表された領域を示す物体情報を生成する。その後、ステップＳ１０４に進む。
（ステップＳ１０４）物体検知部１２２は、検知した物体毎のカメラ１１に対する相対速度を表す指標値を算出する。物体検知部１２２は、入力された特徴点情報に基づき、算出した指標値の絶対値が、予め設定された閾値εよりも小さい物体を表す物体情報を選択する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）物体検知部１２２は、選択された物体情報が表す物体の総数が予め定めた閾値ｍよりも大きいか否か判断する。物体検知部１２２は、選択された物体情報が表す物体の総数が予め定めた閾値ｍよりも大きいと判断した場合（ステップＳ１０５ Ｙ）、ステップＳ１０６に進む。
物体検知部１２２は、選択された物体情報が表す物体の総数が予め定めた閾値ｍに等しい、又はｍよりも小さいと判断した場合（ステップＳ１０５ Ｎ）、処理を終了する。
【００３４】
（ステップＳ１０６）物体検知部１２２は、特徴点抽出部１２１から入力された特徴点情報に基づき、選択した物体情報が表す物体の画像上の特徴点であって、現フレームにおける特徴点に対応する前フレームにおける特徴点を抽出する。物体検知部１２２は抽出した特徴点情報と生成した物体情報を勾配算出部１２３に出力する。その後、ステップＳ１０７に進む。
（ステップＳ１０７）勾配算出部１２３は、前フレームにおける特徴点から現フレームにおける対応する特徴点までの座標の差を表す移動ベクトルを算出する。勾配算出部１２３は、現フレームにおける特徴点情報が表す特徴点のうち各１つの物体の画像の領域に含まれる２点の特徴点からなる組を選択する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）勾配算出部１２３は、その物体の画像の領域に含まれる各組の特徴点における垂直方向の座標値及び垂直方向移動量に基づいて、例えば式（１）を用いて勾配ａを算出する。勾配算出部１２３は、算出した勾配ａを表す勾配情報を情報出力部１２４に出力する。その後、処理を終了する。
【００３５】
次に、本実施形態に係る比相対速度算出方法について説明する。
図３は、本実施形態に係る比相対速度算出方法の一例を示すフローチャートである。
（ステップＳ３０１）物体検知部１２２は、検知した物体毎にその物体上の２点を選択する。選択した２点は、例えば、前述の抽出した特徴点のうちの２つである。その後、ステップＳ３０２に進む。
（ステップＳ３０２）物体検知部１２２は、選択した２点間の各座標軸（ｘ軸（水平）方向又はｙ軸（垂直）方向）方向の距離ｄｘ、ｄｙを算出する。その後、ステップＳ３０３に進む。
【００３６】
（ステップＳ３０３）物体検知部１２２は、算出した各座標軸方向の距離に対する微分値ｄ’ｘ、ｄ’ｙを算出する。ここで、物体検知部１２２は、現フレームｔにおける特徴点に対応する前フレームｔ−１における特徴点を探索する。特徴点を探索する処理については後述する。物体検知部１１２は、現フレームｔにおける距離ｄｘ（ｔ）、ｄｙ（ｔ）から前フレームｔ−１における対応する特徴点間の距離ｄｘ（ｔ−１）、ｄｙ（ｔ−１）を各々フレーム間の時間間隔Δｔで、それぞれ除算して微分値ｄ’ｘ、ｄ’ｙを算出する。その後、ステップＳ３０４に進む。
【００３７】
（ステップＳ３０４）物体検知部１２２は、算出した各座標軸方向の距離の微分値（速度）ｄ’ｘ、ｄ’ｙをそれぞれ現フレームｔにおける距離ｄｘ（ｔ）、ｄｙ（ｔ）で正規化した値ｄ’ｘ／ｄｘ（ｔ）、ｄ’ｙ／ｄｙ（ｔ）を算出する。物体検知部１２２は、算出した値ｄ’ｘ／ｄｘ（ｔ）、ｄ’ｙ／ｄｙ（ｔ）の平均値を比相対速度として算出する。この比相対速度は、直接的にはカメラ１１が撮影した物体のサイズの時間変化率を示すが、カメラ１１から物体までの相対速度も示す指標値である。その後、処理を終了する。
【００３８】
次に、本実施形態において、物体検知部１２２が行う現フレームｔにおける特徴点に対応する前フレームｔ−１における特徴点を探索する処理について説明する。
図４は、本実施形態に係る特徴点探索処理を示すフローチャートである。
（ステップＳ４０１）物体検知部１２２は、前フレームｔ−１から現フレームｔまでの各特徴点の物体毎の並進移動量の初期値を、例えばゼロと設定する。物体検知部１２２は、この初期値を、ゼロの代わりに前回算出した並進移動量（例えば、フレームｔ−２からフレームｔ−１までの特徴量間の並進移動量）を設定してもよい。また、物体検知部１２２は、現フレームｔの特徴点から前フレームｔ−１の特徴点を探索する範囲を設定する。その後、ステップＳ４０２に進む。
【００３９】
（ステップＳ４０２）物体検知部１２２は、各特徴点の物体毎の並進移動量が設定した値の範囲内か否かを判断する。物体検知部１２２は、並進移動量が設定した値の範囲内と判断したとき（ステップＳ４０２ Ｙ）、ステップＳ４０３に進む。物体検知部１２２は、物体毎の並進移動量が設定した値の範囲内と判断したとき（ステップＳ４０２ Ｎ）、ステップＳ４０６に進む。
【００４０】
（ステップＳ４０３）物体検知部１２２は、前フレームｔ−１の各特徴点の座標に、物体毎の並進移動量を加算して現フレームｔの各特徴点の座標を推定する。その後、ステップＳ４０４に進む。
（ステップＳ４０４）物体検知部１２２は、ステップＳ４０３において推定した現フレームｔで特徴点から予め設定された距離よりも近接する領域（特徴点近傍）にあるサンプル点の補間画素値と前フレームｔ−１での特徴点近傍にあるサンプル点の補間画素値の差分を、各サンプル点について算出する。前フレームｔ−１のサンプル点は、例えば前フレームｔ−１での特徴点近傍に含まれる各画素の中心点である。現フレームｔでのサンプル点は、前フレームｔ−１のサンプル点に並進移動量を加算して推定した座標である。特徴点は必ずしも各画素の中心点上にあるとは限らないため、物体検知部１２２は、各フレームにおいて当該補間画素値を、特徴点近傍にある各画素の中心点と特徴点の位置関係に基づいて算出する。その後、ステップＳ４０５に進む。
（ステップＳ４０５）物体検知部１２２は、ステップＳ４０４において算出した差分について、その二乗和を最小化する並進移動量を、例えば非線形最小二乗法に基づいて求めることで並進移動量を更新する。その後、ステップＳ４０２に進む。
【００４１】
（ステップＳ４０６）物体検知部１２２は、ステップＳ４０４において算出した差分に基づく二乗誤差が最小となる前フレームｔ−１の特徴点を現フレームｔの特徴点に各々対応する前フレームｔ−１の特徴点と決定する。その後、処理を終了する。
【００４２】
次に、勾配算出部１２３が、式（３）を用いて勾配ａを算出する原理について説明する。
図５は、本実施形態に係るカメラ１１と撮影される物体（被写体）である先行車両２の位置関係を示す概念図である。
図５において、左側に示す車両がカメラ１１を備える自車両１、右側に示す車両がカメラ１１による被写体となる先行車両２である。Ｚ軸はカメラ１１の光軸方向を示し、Ｙ軸はカメラ１１の光軸方向に垂直な方向を示す。
自車両１、先行車両２の右側に示す太い矢印は、それぞれ自車両１の進行方向、先行車両２の信号方向を示す。自車両１の進行方向、先行車両２の進行車両のＺ軸成分は、共にＺ座標の正方向である。また、自車両１が進行する路面の勾配よりも先行車両２が進行する路面の勾配のほうが大きい。
【００４３】
カメラ１１は、少なくとも先行車両２の後部の一部を表す画像を撮影する。先行車両２の後方に示される黒丸は、現フレーム時刻ｔにおける特徴点ｋの位置を示す。特徴点ｋの近傍に示すＹｋは、特徴点ｋにおけるＹ軸成分の座標値を示す。先行車両２の後方に示される黒丸は、前フレーム時刻ｔ−１における特徴点ｋの位置を示す。この黒丸からＺ軸方向に延びる一点破線とｖΔｔは、前フレーム時刻ｔ−１から現フレーム時刻ｔまでの間に特徴点ｋがＺ軸方向に距離ｖΔｔだけ移動することを示す。ここで、ｖは、移動速度、Δｔは、フレーム時間間隔である。この一点破線の終点から特徴点に延びる一点破線とΔＹｋは、前フレーム時刻ｔ−１から現フレーム時刻ｔまでの間に特徴点ｋがＹ軸方向に距離ΔＹｋだけ移動することを示す。即ち、図５は、世界座標系における特徴点ｋの座標変化を示す。
【００４４】
図６は、本実施形態に係る被写体である先行車両２の位置変化を示す概念図である。
図６において中央部の矩形の枠は、カメラ１１が撮影する各フレーム画像の外枠を示す。
図６において、y軸は、図５のＹ軸に平行な垂直方向を示す。ｘ軸は、ｙ軸に対して垂直な水平方向を示す。
図６の中央下側は、前フレーム時刻ｔ−１において先行車両２の後部を表す画像を示し、その右側の黒丸は特徴点ｋを示す。図６の中央は、現フレーム時刻ｔにおいて先行車両２の後部を表す画像を示し、その右側の黒丸は特徴点ｋを示す。その特徴点ｋの近傍のｙｋは、現フレーム時刻ｔにおける特徴点ｋのｙ座標がｙｋであることを示す。
前フレーム時刻ｔ−１における特徴点ｋからｙ軸方向に延びる一点破線とΔｙｋは、前フレーム時刻ｔ−１から現フレーム時刻ｔの間に、特徴点ｋのy座標がΔｙｋだけ変化することを示す。即ち、図６は、カメラ座標系に基づく特徴点ｋの座標変化を示す。
【００４５】
ここで、先行車両２がＺ軸方向に進行するときＹ軸方向の移動量の割合である勾配をａとして、カメラ１１のレンズから撮像面までの距離を１と規格化する。
このとき、フレーム時刻ｔ−１から現フレーム時刻ｔの間に特徴点ｋがＹ軸方向に移動する距離ΔＹｋと、ｙ座標の変化Δｙｋは式（４）に示す関係がある。
【００４６】
【数４】
【００４７】
式（４）において、Ｚｋは、特徴点ｋのＺ軸方向の座標値を示す。
現フレーム時刻ｔにおける特徴点ｋのＹ軸方向の座標値Ｙｋと、Ｚ軸方向の座標値Ｚｋはは式（５）に示す関係がある。
【００４８】
【数５】
【００４９】
式（５）において、ｍは全特徴点ｋ共通のＹ座標の切片を示し、ｈｋは、特徴点ｋ毎のｍを基準にしたＹ座標の切片を示す。ここで、ｍを式（６）のように選択する。
【００５０】
【数６】
【００５１】
式（５）で表される特徴点ｋのＹ座標Ｙｋから特徴点ｊのＹ座標Ｙｊの差分の総和をとり式（６）と連立させると、式（７）に示す関係が得られる。これにより切片ｍとｈｋが相殺する。
【００５２】
【数７】
【００５３】
式（７）の右辺のΔｙｋ等に式（４）を連立させると、式（３）に示す関係が得られる。
即ち、式（３）によれば、特徴点の各組における特徴量ｋの座標ｙｋと、座標ｙｋの予め定められた時間Δｔにおける移動量Δｙｋの比である座標変化比ｙｋ／Δｙｋの特徴点ｋ、ｊ間の差分（ｙｋ／Δｙｋ−ｙｊ／Δｙｊ）に対する組間の総和を、移動量Δｙｋの逆数１／Δｙｋの特徴点ｋ、ｊ間の差分（１／Δｙｋ−１／Δｙｊ）に対する組間の総和で除算して勾配ａを算出することができる。
【００５４】
上述では、現フレームの画像信号と、Δｔだけ過去に撮影された前フレームの画像信号（計２フレーム）を用いて、勾配算出部１２３が現フレーム時刻における物体（被写体）が位置する（物体が車両である場合は、走行することも含む）路面の勾配ａを算出する例について説明した。本実施形態では、これには限られない。例えば、勾配算出部１２３が算出した現フレーム時刻ｔにおける勾配ａ（ｔ）から（Ｍ−１）Δｔだけ過去の時刻ｔ−（Ｍ−１）Δｔにおける勾配ａ（ｔ−（Ｍ−１）Δｔ）の平均値（例えば、移動平均値）を、現フレーム時刻ｔにおける勾配ａ（ｔ）として算出してもよい。これによって、勾配推定装置１２を備える車両が位置する路面の凸凹や物体（被写体）が走行する路面の凸凹が平滑化され、より高い精度で勾配ａを算出することができる。
【００５５】
このように、本実施形態では、撮影手段が撮影した画像信号が表す物体を検知し、検知した物体上の特徴点を抽出し、抽出した特徴点の組を定め、定めた各組における特徴量の座標と、前記座標の予め定められた時間における移動量に基づいて物体が位置する路面の勾配を算出する。これにより、路面上に物体が位置していても、路面の勾配を推定することができる。
また、本実施形態では、さらに自己との相対速度が予め設定された速度よりも小さい物体を検知する。これにより、自己との距離がほぼ一定となる物体が検知され、その物体上の特徴点の位置関係がほぼ一定となる。そのため、勾配の算出において複雑な計算を要さず、演算量を低減できる。
【００５６】
なお、上述した実施形態における勾配推定装置１２の一部、例えば、特徴点抽出部１２１、物体検知部１２２、勾配算出部１２３及び情報出力部１２４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、勾配推定装置１２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における勾配推定装置１２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。勾配推定装置１２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００５７】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００５８】
１２…勾配推定装置、１２１…特徴点抽出部、１２２…物体検知部、１２３…勾配算出部、１２４…情報出力部
【技術分野】
【０００１】
本発明は、勾配推定装置、勾配推定方法、及び勾配推定プログラムに関する。
【背景技術】
【０００２】
車両を安全に運転するために、車両の周囲の情報を運転者に提示する技術が提案されている。周囲の情報の一形態として、カメラが撮影した静止物の特徴点の座標や、路面に表された区画線の幅に基づいて路面の勾配を算出する技術がある。
例えば、特許文献１に記載の路面勾配検出装置は、路面を撮像する撮像手段と、前記撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域の対応関係を検出する対応関係検出手段と、前記対応関係検出手段によって検出された対応関係に基づき前記路面の勾配を計算する勾配度検出手段とを備える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３３７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の路面勾配検出装置では、路面の一部又は全部が他の物体（例えば、先行車両）に覆われている場合に、路面を撮影することができず、路面の勾配を算出できないことがあった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、路面が他の物体に覆われていても路面の勾配を算出できる勾配推定装置、勾配推定方法、及び勾配推定プログラムを提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮影手段が撮影した画像上の特徴点を抽出する特徴点抽出部と、前記撮影手段が撮影した画像から物体を表す画像を検知する物体検知部と、前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する勾配算出部と、を備えることを特徴とする勾配推定装置である。
【０００７】
（２）本発明のその他の態様は、前記勾配算出部は、前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量の比を示す座標変化比の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和を、前記移動量の逆数の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和で除算して勾配を算出することを特徴とする（１）の勾配推定装置である。
【０００８】
（３）本発明のその他の態様は、前記物体検知部は、自己との相対速度が予め設定された速度よりも小さい物体を検知することを特徴とする（１）の勾配推定装置である。
【０００９】
（４）本発明のその他の態様は、前記勾配算出部は、前記２つの特徴点間の座標の差分の絶対値が予め設定された閾値よりも大きい特徴点の組を選択することを特徴とする（２）の勾配推定装置である。
【００１０】
（５）本発明のその他の態様は、勾配算出装置における方法において、前記勾配算出装置が、撮影手段が撮影した画像上の特徴点を抽出する第１の過程と、前記勾配算出装置が、前記撮影手段が撮影した画像から物体を表す画像を検知する第２の過程と、前記勾配算出装置が、前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する第３の過程を有することを特徴とする勾配推定方法である。
【００１１】
（６）本発明のその他の態様は、勾配算出装置のコンピュータに、撮影手段が撮影した画像上の特徴点を抽出する手順、前記撮影手段が撮影した画像から物体を表す画像を検知する手順、前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する手順、を実行させるための勾配推定プログラムである。
【発明の効果】
【００１２】
本発明によれば、路面が他の物体に覆われていても路面の勾配を算出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る勾配推定装置１２の構成を示す概略図である。
【図２】本実施形態に係る勾配算出処理の一例を示すフローチャートである。
【図３】本実施形態に係る比相対速度算出方法の一例を示すフローチャートである。
【図４】本実施形態に係る特徴点探索処理を示すフローチャートである。
【図５】本実施形態に係るカメラと被写体の位置関係を示す概念図である。
【図６】本実施形態に係る被写体の位置変化を示す概念図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る勾配推定装置１２の構成を示す概略図である。
本実施形態に係る勾配推定装置１２は、特徴点抽出部１２１、物体検知部１２２、勾配算出部１２３及び情報出力部１２４を含んで構成される。
即ち、勾配推定装置１２は、カメラ１（撮影手段）が撮影した画像上の特徴点を抽出する特徴点抽出部１２１と、カメラ１が撮影した画像から物体を表す画像を検知する物体検知部１２２と、物体検知部１２２が検知した物体を表す画像における特徴点抽出部１が抽出した特徴点の座標と、特徴点の座標の予め定められた時間における移動量と、に基づいて、物体が位置する路面の勾配を算出する勾配算出部１２３とを備える。
【００１５】
ここで、物体検知部１２２は、自己との相対速度が予め設定された速度よりも小さい物体を検知してもよい。
勾配算出部１２３は、物体検知部１２２が検知した物体を表す画像における特徴点抽出部１２１が抽出した特徴点の座標と、特徴点の座標の予め定められた時間における移動量の比を示す座標変化比の２つの特徴点間の差分に対する２つの特徴点の組にわたる総和を、移動量の逆数の２つの特徴点間の差分に対する２つの特徴点の組にわたる総和で除算して勾配を算出する。
また、勾配算出部１２３は、２つの特徴点間の座標の差分の絶対値が予め設定された閾値よりも大きい特徴点の組を選択する。
【００１６】
以下、構成部毎の処理について説明する。
カメラ１１は、車両の周囲、例えば正面前方の画像を撮影して画像信号を生成し、生成した画像信号を勾配推定装置１２の特徴点抽出部１２１に出力する。
カメラ１１は、例えば、光軸の方向が車両の正面前方になるように設置された車載用ビデオカメラである。
特徴点抽出部１２１は、カメラ１１から画像信号を予め設定された時間間隔（例えば、１／３０秒）でフレーム毎に入力される。フレームとは、１枚の画像を表す画像信号の単位であり、１フレームの画像信号には画素毎の輝度値を含む。
【００１７】
特徴点抽出部１２１は、フレーム毎に入力された画像信号から特徴点を抽出する。特徴点とは、画像中で近傍への移動先を一意に決定可能な点である。特徴点は、例えば、輝度のピーク点や輪郭のコーナー点が該当する。特徴点抽出部１２１は、例えばＨａｒｒｉｓ法（参考文献；Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈａｎｓ，“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，” Ｐｒｏｃ． ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．， ｐｐ．１４７−１５１，Ｍａｎｃｈｅｓｔｅｒ， Ｕ．Ｋ．， Ａｕｇ． １９８８）を利用して特徴点を抽出してもよい。Ｈａｒｒｉｓ法を用いる場合、特徴点抽出部１２１は、画像信号の各座標（ｉ，ｊ）における勾配の大きさを表す指標値としてＨａｒｒｉｓ作用素Ｍｃを算出する。Ｈａｒｒｉｓ作用素Ｍｃは、式（１）で表される。
【００１８】
【数１】
【００１９】
式（１）において、ｄｅｔ（Ａ）は、行列Ａの行列式である。ｔｒａｃｅ（Ａ）は、行列Ａのトレース、即ち対角成分の総和である。κは、予め定められた実数、例えば０．０４である。行列Ａは、Ｈａｒｒｉｓ行列である。Ｈａｒｒｉｓ行列Ａの各成分は、例えば式（２）で示される。
【００２０】
【数２】
【００２１】
式（２）において、ｗ（ｕ，ｖ）は、各座標（ｉ，ｊ）から（ｕ，ｖ）だけずれた座標における重みを表す窓関数である。Ｉｘは、座標（ｉ，ｊ）における輝度値の水平方向（ｘ方向）への差分値である。座標Ｉｙは、座標（ｉ，ｊ）における輝度値の垂直方向（ｙ方向）への差分値である。
【００２２】
特徴点抽出部１２１は、算出した指標値が最も大きい点から予め設定された数（例えば、１０個）の座標を特徴点として抽出する。なお、特徴点抽出部１２１は、算出した指標値が予め設定された値よりも大きい座標を特徴点として抽出してもよい。
特徴点抽出部１２１は、抽出した特徴点の座標を表す特徴点情報を物体検知部１２２に出力する
【００２３】
物体検知部１２２は、カメラ１１から入力された画像信号が表す物体（例えば、先行車両、障害物）を検知し、検知した物体が表された領域を示す物体情報を生成する。ここで、物体検知部１２２は、物体情報を生成するために、例えば、エッジ検出を行う。その場合、物体検知部１２２は、入力した画像信号を空間的に平滑化して空間周波数が予め設定された閾値よりも高い成分を除去する。物体検知部１２２は、平滑化した画像信号に含まれる隣接画素間の勾配（水平方向、垂直方向）の絶対値を指標値として画素毎に算出する。物体検知部１２２は、算出した指標値が予め設定された閾値よりも大きい画素をエッジとして検出する。物体検知部１２２は、検出したエッジのうち、空間的に隣接するエッジに囲まれる領域を、物体を表す画像と定め、この画像を占める領域毎に各物体を識別する情報を物体情報として生成する。
【００２４】
物体検知部１２２は、物体を表す画像毎に、その物体のカメラ１１に対する相対速度を表す指標値を算出する。物体検知部１２２は、カメラ１１との間の距離がほぼ一定となる物体に対応する物体情報を選択する。ここで、物体検知部１２２は、特徴点抽出部１２１から入力された特徴点情報に基づき、算出した指標値の絶対値が、予め設定された閾値εよりも小さい物体を表す物体情報を選択する。物体検知部１２２は、相対速度の指標値として、例えば比相対速度を算出する。比相対速度とは、相対速度と定数倍の関係がある変数である。比相対速度は、例えば、物体サイズの時間変化率である。比相対速度の算出方法については後述する。また、選択される物体情報は、例えば勾配推定装置１２を搭載する自車両に先行する先行車両を表す画像である。
【００２５】
物体検知部１２２は、選択した物体情報が表す物体の画像上の特徴点であって、前フレームの画像信号における特徴点と対応関係がある特徴点情報を抽出する。物体検知部１２２は、前フレームの画像信号における特徴点と対応関係がある特徴点情報を確実に抽出するために、物体検知部１２２が、選択された物体情報が表す物体の数が予め定めた閾値ｍ（例えば、ｍ＝２）よりも大きい場合、当該特徴点情報を抽出するようにしてもよい。このような特徴点情報を上述の相対速度算出処理を行う過程で抽出する場合、物体検知部１２２は、その過程で抽出した特徴点情報を保持してもよい。なお、前フレームの画像信号における特徴点と対応関係がある特徴点情報を抽出する特徴点探索処理については、後述する。
物体検知部１２２は、抽出した特徴点情報及び生成した物体情報を勾配算出部１２３に出力する。
【００２６】
勾配算出部１２３は、物体検知部１２２から入力された特徴点情報に基づき、前フレームにおける特徴点の座標から現フレームにおける対応する特徴点の座標を差し引いた値を表す移動ベクトルを算出する。算出した移動ベクトルの垂直成分（ｙ軸成分）を表す要素値を垂直方向移動量と呼ぶ。勾配算出部１２３は、移動ベクトルを算出する際に、前フレームまたは現フレームのいずれかの特徴点座標に対し、カメラ１１の回転に伴う座標の変化を補償してもよい。補償をしない場合には、勾配算出部１２３は、直進時にのみ勾配を算出し（後述）、左折又は右折時には勾配の算出を行わない。勾配算出部１２３は、例えば、車両が搭載するジャイロセンサーにより計測した角速度が予め定めた値よりも小さいことで、車体の回転運動が無いと判断された状態を直進と判断する。あるいは、勾配算出部１２３は、複数の特徴点について移動ベクトルが、車両の直進方向を表す消失点から放射方向であるとき直進と判断する。
【００２７】
勾配算出部１２３は、現フレームにおける特徴点情報が表す特徴点のうち、物体検知部１２２から入力された物体情報が示す各１つの物体の画像が占める領域に含まれる２点の特徴点からなる組を選択する。勾配算出部１２３は、各１つの物体の画像が占める領域に含まれる２点の特徴点からなる組のうち、特徴点間における座標の垂直成分の絶対値が予め設定された閾値よりも大きくなる組だけを選択するようにしてもよい。これにより、特徴点の座標の誤差による影響を低減することができる。
勾配算出部１２３は、選択した組の特徴点ｋ、ｊにおける垂直方向の座標値ｙｋ、ｙｊ、及び垂直方向移動量Δｙｋ、Δｙｊに基づいて、例えば式（３）を用いて勾配ａを算出する。ｋ、ｊは、１又は1よりも大きく、かつＮｏｂｊ又はＮｏｂｊよりも小さい整数である。Ｎｏｂｊは、その物体の画像が占める領域に含まれる特徴点の数である。
【００２８】
【数３】
【００２９】
式（３）において、Σｋ＞ｊは、１つの物体の画像が占める領域に含まれる特徴点ｋ、ｊの組のうち、特徴点ｋ＞ｊとなる特徴点の組にわたる総和を表す。これにより、特徴点の組の重複を避け、特徴点ｋ、ｊの順序が逆転することで、値が相殺することを避けるためである。
式（３）の右辺の分子は、ある特徴点の組に属する一方の特徴点ｋの座標値ｙｋの移動量Δｙｋに対する比（座標変化比）ｙｋ／Δｙｋから、他方の特徴点ｊの座標値ｙｊの移動量Δｙｊに対する比ｙｊ／Δｙｊを減算して得られる第１の差分値の、現フレームにおける特徴点の組にわたる総和である。式（１）の右辺の分母は、ある組に属する一方の特徴点ｋの座標値ｙｋの移動量Δｙｋの逆数１／Δｙｋから、他方の特徴点ｊの移動量Δｙｊの逆数１／Δｙｊを減算して得られる第２の差分値の、現フレームにおける特徴点の組にわたる総和である。
即ち、式（３）によれば、勾配算出部１２３は、第１の差分値の特徴点の組にわたる総和を、第２の差分値の特徴点に組にわたる総和で除算して、勾配ａを算出する。式（３）を用いて勾配ａを算出する原理については、後述する。
勾配算出部１２３は、算出した勾配ａを表す勾配情報を情報出力部１２４に出力する。
【００３０】
情報出力部１２４は、勾配算出部１２３から入力された勾配情報を勾配推定装置１２が備える記憶部（図示せず）に出力して記憶する。情報出力部１２４は、入力された勾配情報に基づいてカメラ１１が撮影する画像情報が表す物体の状態を判定し、判定結果を勾配推定装置１２の外部に出力するようにしてもよい。
【００３１】
例えば、情報出力部１２４は、ある物体が表す画像の垂直方向の座標値と入力された勾配情報に基づいて、その物体までの距離を推定するようにしてもよい。一般に、車載カメラが撮影した画像情報が表す物体までの距離が大きくなるほど垂直方向の座標値が大きくなるが、同時に路面の勾配が急になるほど垂直方向の座標値が大きくなる。そのため、垂直方向の座標値のみに基づいて勾配をもつ路面上の物体までの距離を推定すると、実際の距離よりも小さい距離が推定されることがある。情報出力部１２４は、上述の勾配情報も考慮することで、その物体までの距離を、より正確に推定できる。情報出力部１２４は、推定した距離が予め設定された閾値よりも小さいとき、警告情報（例えば、警告音）を運転者に提示するようにしてもよい。これにより、物体に接近したことに対して運転者に注意を喚起し、走行の安全を確保することができる。
【００３２】
ここで、本実施形態に係る勾配算出処理について説明する。
図２は、本実施形態に係る勾配算出処理の一例を示すフローチャートである。
（ステップＳ１０１）特徴点抽出部１２１及び物体検知部１２２は、カメラ１１から画像信号を予め設定された時間間隔でフレーム毎に入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）特徴点抽出部１２１は、フレーム毎に入力された画像信号から特徴点を抽出する。特徴点抽出部１２１は、抽出した特徴点の座標を表す特徴点情報を物体検知部１２２に出力する。その後、ステップＳ１０３に進む。
【００３３】
（ステップＳ１０３）物体検知部１２２は、入力された画像信号が表す物体の画像を検知し、検知した物体の画像が表された領域を示す物体情報を生成する。その後、ステップＳ１０４に進む。
（ステップＳ１０４）物体検知部１２２は、検知した物体毎のカメラ１１に対する相対速度を表す指標値を算出する。物体検知部１２２は、入力された特徴点情報に基づき、算出した指標値の絶対値が、予め設定された閾値εよりも小さい物体を表す物体情報を選択する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）物体検知部１２２は、選択された物体情報が表す物体の総数が予め定めた閾値ｍよりも大きいか否か判断する。物体検知部１２２は、選択された物体情報が表す物体の総数が予め定めた閾値ｍよりも大きいと判断した場合（ステップＳ１０５ Ｙ）、ステップＳ１０６に進む。
物体検知部１２２は、選択された物体情報が表す物体の総数が予め定めた閾値ｍに等しい、又はｍよりも小さいと判断した場合（ステップＳ１０５ Ｎ）、処理を終了する。
【００３４】
（ステップＳ１０６）物体検知部１２２は、特徴点抽出部１２１から入力された特徴点情報に基づき、選択した物体情報が表す物体の画像上の特徴点であって、現フレームにおける特徴点に対応する前フレームにおける特徴点を抽出する。物体検知部１２２は抽出した特徴点情報と生成した物体情報を勾配算出部１２３に出力する。その後、ステップＳ１０７に進む。
（ステップＳ１０７）勾配算出部１２３は、前フレームにおける特徴点から現フレームにおける対応する特徴点までの座標の差を表す移動ベクトルを算出する。勾配算出部１２３は、現フレームにおける特徴点情報が表す特徴点のうち各１つの物体の画像の領域に含まれる２点の特徴点からなる組を選択する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）勾配算出部１２３は、その物体の画像の領域に含まれる各組の特徴点における垂直方向の座標値及び垂直方向移動量に基づいて、例えば式（１）を用いて勾配ａを算出する。勾配算出部１２３は、算出した勾配ａを表す勾配情報を情報出力部１２４に出力する。その後、処理を終了する。
【００３５】
次に、本実施形態に係る比相対速度算出方法について説明する。
図３は、本実施形態に係る比相対速度算出方法の一例を示すフローチャートである。
（ステップＳ３０１）物体検知部１２２は、検知した物体毎にその物体上の２点を選択する。選択した２点は、例えば、前述の抽出した特徴点のうちの２つである。その後、ステップＳ３０２に進む。
（ステップＳ３０２）物体検知部１２２は、選択した２点間の各座標軸（ｘ軸（水平）方向又はｙ軸（垂直）方向）方向の距離ｄｘ、ｄｙを算出する。その後、ステップＳ３０３に進む。
【００３６】
（ステップＳ３０３）物体検知部１２２は、算出した各座標軸方向の距離に対する微分値ｄ’ｘ、ｄ’ｙを算出する。ここで、物体検知部１２２は、現フレームｔにおける特徴点に対応する前フレームｔ−１における特徴点を探索する。特徴点を探索する処理については後述する。物体検知部１１２は、現フレームｔにおける距離ｄｘ（ｔ）、ｄｙ（ｔ）から前フレームｔ−１における対応する特徴点間の距離ｄｘ（ｔ−１）、ｄｙ（ｔ−１）を各々フレーム間の時間間隔Δｔで、それぞれ除算して微分値ｄ’ｘ、ｄ’ｙを算出する。その後、ステップＳ３０４に進む。
【００３７】
（ステップＳ３０４）物体検知部１２２は、算出した各座標軸方向の距離の微分値（速度）ｄ’ｘ、ｄ’ｙをそれぞれ現フレームｔにおける距離ｄｘ（ｔ）、ｄｙ（ｔ）で正規化した値ｄ’ｘ／ｄｘ（ｔ）、ｄ’ｙ／ｄｙ（ｔ）を算出する。物体検知部１２２は、算出した値ｄ’ｘ／ｄｘ（ｔ）、ｄ’ｙ／ｄｙ（ｔ）の平均値を比相対速度として算出する。この比相対速度は、直接的にはカメラ１１が撮影した物体のサイズの時間変化率を示すが、カメラ１１から物体までの相対速度も示す指標値である。その後、処理を終了する。
【００３８】
次に、本実施形態において、物体検知部１２２が行う現フレームｔにおける特徴点に対応する前フレームｔ−１における特徴点を探索する処理について説明する。
図４は、本実施形態に係る特徴点探索処理を示すフローチャートである。
（ステップＳ４０１）物体検知部１２２は、前フレームｔ−１から現フレームｔまでの各特徴点の物体毎の並進移動量の初期値を、例えばゼロと設定する。物体検知部１２２は、この初期値を、ゼロの代わりに前回算出した並進移動量（例えば、フレームｔ−２からフレームｔ−１までの特徴量間の並進移動量）を設定してもよい。また、物体検知部１２２は、現フレームｔの特徴点から前フレームｔ−１の特徴点を探索する範囲を設定する。その後、ステップＳ４０２に進む。
【００３９】
（ステップＳ４０２）物体検知部１２２は、各特徴点の物体毎の並進移動量が設定した値の範囲内か否かを判断する。物体検知部１２２は、並進移動量が設定した値の範囲内と判断したとき（ステップＳ４０２ Ｙ）、ステップＳ４０３に進む。物体検知部１２２は、物体毎の並進移動量が設定した値の範囲内と判断したとき（ステップＳ４０２ Ｎ）、ステップＳ４０６に進む。
【００４０】
（ステップＳ４０３）物体検知部１２２は、前フレームｔ−１の各特徴点の座標に、物体毎の並進移動量を加算して現フレームｔの各特徴点の座標を推定する。その後、ステップＳ４０４に進む。
（ステップＳ４０４）物体検知部１２２は、ステップＳ４０３において推定した現フレームｔで特徴点から予め設定された距離よりも近接する領域（特徴点近傍）にあるサンプル点の補間画素値と前フレームｔ−１での特徴点近傍にあるサンプル点の補間画素値の差分を、各サンプル点について算出する。前フレームｔ−１のサンプル点は、例えば前フレームｔ−１での特徴点近傍に含まれる各画素の中心点である。現フレームｔでのサンプル点は、前フレームｔ−１のサンプル点に並進移動量を加算して推定した座標である。特徴点は必ずしも各画素の中心点上にあるとは限らないため、物体検知部１２２は、各フレームにおいて当該補間画素値を、特徴点近傍にある各画素の中心点と特徴点の位置関係に基づいて算出する。その後、ステップＳ４０５に進む。
（ステップＳ４０５）物体検知部１２２は、ステップＳ４０４において算出した差分について、その二乗和を最小化する並進移動量を、例えば非線形最小二乗法に基づいて求めることで並進移動量を更新する。その後、ステップＳ４０２に進む。
【００４１】
（ステップＳ４０６）物体検知部１２２は、ステップＳ４０４において算出した差分に基づく二乗誤差が最小となる前フレームｔ−１の特徴点を現フレームｔの特徴点に各々対応する前フレームｔ−１の特徴点と決定する。その後、処理を終了する。
【００４２】
次に、勾配算出部１２３が、式（３）を用いて勾配ａを算出する原理について説明する。
図５は、本実施形態に係るカメラ１１と撮影される物体（被写体）である先行車両２の位置関係を示す概念図である。
図５において、左側に示す車両がカメラ１１を備える自車両１、右側に示す車両がカメラ１１による被写体となる先行車両２である。Ｚ軸はカメラ１１の光軸方向を示し、Ｙ軸はカメラ１１の光軸方向に垂直な方向を示す。
自車両１、先行車両２の右側に示す太い矢印は、それぞれ自車両１の進行方向、先行車両２の信号方向を示す。自車両１の進行方向、先行車両２の進行車両のＺ軸成分は、共にＺ座標の正方向である。また、自車両１が進行する路面の勾配よりも先行車両２が進行する路面の勾配のほうが大きい。
【００４３】
カメラ１１は、少なくとも先行車両２の後部の一部を表す画像を撮影する。先行車両２の後方に示される黒丸は、現フレーム時刻ｔにおける特徴点ｋの位置を示す。特徴点ｋの近傍に示すＹｋは、特徴点ｋにおけるＹ軸成分の座標値を示す。先行車両２の後方に示される黒丸は、前フレーム時刻ｔ−１における特徴点ｋの位置を示す。この黒丸からＺ軸方向に延びる一点破線とｖΔｔは、前フレーム時刻ｔ−１から現フレーム時刻ｔまでの間に特徴点ｋがＺ軸方向に距離ｖΔｔだけ移動することを示す。ここで、ｖは、移動速度、Δｔは、フレーム時間間隔である。この一点破線の終点から特徴点に延びる一点破線とΔＹｋは、前フレーム時刻ｔ−１から現フレーム時刻ｔまでの間に特徴点ｋがＹ軸方向に距離ΔＹｋだけ移動することを示す。即ち、図５は、世界座標系における特徴点ｋの座標変化を示す。
【００４４】
図６は、本実施形態に係る被写体である先行車両２の位置変化を示す概念図である。
図６において中央部の矩形の枠は、カメラ１１が撮影する各フレーム画像の外枠を示す。
図６において、y軸は、図５のＹ軸に平行な垂直方向を示す。ｘ軸は、ｙ軸に対して垂直な水平方向を示す。
図６の中央下側は、前フレーム時刻ｔ−１において先行車両２の後部を表す画像を示し、その右側の黒丸は特徴点ｋを示す。図６の中央は、現フレーム時刻ｔにおいて先行車両２の後部を表す画像を示し、その右側の黒丸は特徴点ｋを示す。その特徴点ｋの近傍のｙｋは、現フレーム時刻ｔにおける特徴点ｋのｙ座標がｙｋであることを示す。
前フレーム時刻ｔ−１における特徴点ｋからｙ軸方向に延びる一点破線とΔｙｋは、前フレーム時刻ｔ−１から現フレーム時刻ｔの間に、特徴点ｋのy座標がΔｙｋだけ変化することを示す。即ち、図６は、カメラ座標系に基づく特徴点ｋの座標変化を示す。
【００４５】
ここで、先行車両２がＺ軸方向に進行するときＹ軸方向の移動量の割合である勾配をａとして、カメラ１１のレンズから撮像面までの距離を１と規格化する。
このとき、フレーム時刻ｔ−１から現フレーム時刻ｔの間に特徴点ｋがＹ軸方向に移動する距離ΔＹｋと、ｙ座標の変化Δｙｋは式（４）に示す関係がある。
【００４６】
【数４】
【００４７】
式（４）において、Ｚｋは、特徴点ｋのＺ軸方向の座標値を示す。
現フレーム時刻ｔにおける特徴点ｋのＹ軸方向の座標値Ｙｋと、Ｚ軸方向の座標値Ｚｋはは式（５）に示す関係がある。
【００４８】
【数５】
【００４９】
式（５）において、ｍは全特徴点ｋ共通のＹ座標の切片を示し、ｈｋは、特徴点ｋ毎のｍを基準にしたＹ座標の切片を示す。ここで、ｍを式（６）のように選択する。
【００５０】
【数６】
【００５１】
式（５）で表される特徴点ｋのＹ座標Ｙｋから特徴点ｊのＹ座標Ｙｊの差分の総和をとり式（６）と連立させると、式（７）に示す関係が得られる。これにより切片ｍとｈｋが相殺する。
【００５２】
【数７】
【００５３】
式（７）の右辺のΔｙｋ等に式（４）を連立させると、式（３）に示す関係が得られる。
即ち、式（３）によれば、特徴点の各組における特徴量ｋの座標ｙｋと、座標ｙｋの予め定められた時間Δｔにおける移動量Δｙｋの比である座標変化比ｙｋ／Δｙｋの特徴点ｋ、ｊ間の差分（ｙｋ／Δｙｋ−ｙｊ／Δｙｊ）に対する組間の総和を、移動量Δｙｋの逆数１／Δｙｋの特徴点ｋ、ｊ間の差分（１／Δｙｋ−１／Δｙｊ）に対する組間の総和で除算して勾配ａを算出することができる。
【００５４】
上述では、現フレームの画像信号と、Δｔだけ過去に撮影された前フレームの画像信号（計２フレーム）を用いて、勾配算出部１２３が現フレーム時刻における物体（被写体）が位置する（物体が車両である場合は、走行することも含む）路面の勾配ａを算出する例について説明した。本実施形態では、これには限られない。例えば、勾配算出部１２３が算出した現フレーム時刻ｔにおける勾配ａ（ｔ）から（Ｍ−１）Δｔだけ過去の時刻ｔ−（Ｍ−１）Δｔにおける勾配ａ（ｔ−（Ｍ−１）Δｔ）の平均値（例えば、移動平均値）を、現フレーム時刻ｔにおける勾配ａ（ｔ）として算出してもよい。これによって、勾配推定装置１２を備える車両が位置する路面の凸凹や物体（被写体）が走行する路面の凸凹が平滑化され、より高い精度で勾配ａを算出することができる。
【００５５】
このように、本実施形態では、撮影手段が撮影した画像信号が表す物体を検知し、検知した物体上の特徴点を抽出し、抽出した特徴点の組を定め、定めた各組における特徴量の座標と、前記座標の予め定められた時間における移動量に基づいて物体が位置する路面の勾配を算出する。これにより、路面上に物体が位置していても、路面の勾配を推定することができる。
また、本実施形態では、さらに自己との相対速度が予め設定された速度よりも小さい物体を検知する。これにより、自己との距離がほぼ一定となる物体が検知され、その物体上の特徴点の位置関係がほぼ一定となる。そのため、勾配の算出において複雑な計算を要さず、演算量を低減できる。
【００５６】
なお、上述した実施形態における勾配推定装置１２の一部、例えば、特徴点抽出部１２１、物体検知部１２２、勾配算出部１２３及び情報出力部１２４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、勾配推定装置１２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における勾配推定装置１２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。勾配推定装置１２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００５７】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００５８】
１２…勾配推定装置、１２１…特徴点抽出部、１２２…物体検知部、１２３…勾配算出部、１２４…情報出力部
【特許請求の範囲】
【請求項１】
撮影手段が撮影した画像上の特徴点を抽出する特徴点抽出部と、
前記撮影手段が撮影した画像から物体を表す画像を検知する物体検知部と、
前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する勾配算出部と、
を備えることを特徴とする勾配推定装置。
【請求項２】
前記勾配算出部は、前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量の比を示す座標変化比の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和を、前記移動量の逆数の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和で除算して勾配を算出することを特徴とする請求項１に記載の勾配推定装置。
【請求項３】
前記物体検知部は、自己との相対速度が予め設定された速度よりも小さい物体を検知することを特徴とする請求項１に記載の勾配推定装置。
【請求項４】
前記勾配算出部は、前記２つの特徴点間の座標の差分の絶対値が予め設定された閾値よりも大きい特徴点の組を選択することを特徴とする請求項２に記載の勾配推定装置。
【請求項５】
勾配算出装置における方法において、
前記勾配算出装置が、撮影手段が撮影した画像上の特徴点を抽出する第１の過程と、
前記勾配算出装置が、前記撮影手段が撮影した画像から物体を表す画像を検知する第２の過程と、
前記勾配算出装置が、前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する第３の過程を有すること
を特徴とする勾配推定方法。
【請求項６】
勾配算出装置のコンピュータに、
撮影手段が撮影した画像上の特徴点を抽出する手順、
前記撮影手段が撮影した画像から物体を表す画像を検知する手順、
前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する手順、を実行させるための勾配推定プログラム。
【請求項１】
撮影手段が撮影した画像上の特徴点を抽出する特徴点抽出部と、
前記撮影手段が撮影した画像から物体を表す画像を検知する物体検知部と、
前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する勾配算出部と、
を備えることを特徴とする勾配推定装置。
【請求項２】
前記勾配算出部は、前記物体検知部が検知した物体を表す画像における前記特徴点抽出部が抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量の比を示す座標変化比の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和を、前記移動量の逆数の２つの特徴点間の差分に対する前記２つの特徴点の組間の総和で除算して勾配を算出することを特徴とする請求項１に記載の勾配推定装置。
【請求項３】
前記物体検知部は、自己との相対速度が予め設定された速度よりも小さい物体を検知することを特徴とする請求項１に記載の勾配推定装置。
【請求項４】
前記勾配算出部は、前記２つの特徴点間の座標の差分の絶対値が予め設定された閾値よりも大きい特徴点の組を選択することを特徴とする請求項２に記載の勾配推定装置。
【請求項５】
勾配算出装置における方法において、
前記勾配算出装置が、撮影手段が撮影した画像上の特徴点を抽出する第１の過程と、
前記勾配算出装置が、前記撮影手段が撮影した画像から物体を表す画像を検知する第２の過程と、
前記勾配算出装置が、前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する第３の過程を有すること
を特徴とする勾配推定方法。
【請求項６】
勾配算出装置のコンピュータに、
撮影手段が撮影した画像上の特徴点を抽出する手順、
前記撮影手段が撮影した画像から物体を表す画像を検知する手順、
前記検知した物体を表す画像における前記抽出した特徴点の座標と、前記特徴点の座標の予め定められた時間における移動量と、に基づいて、前記物体が位置する路面の勾配を算出する手順、を実行させるための勾配推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−９７６７５（Ｐ２０１３−９７６７５Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４１４６５（Ｐ２０１１−２４１４６５）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
[ Back to top ]