速度計測方法
【課題】不動対象の周期、不動対象の動きベクトル及び移動対象の動きベクトルを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を少ない計算量で高精度に計測する速度計測方法を提供する。
【解決手段】白線画像の画像ピラミッドを作成した(ステップS10)後、車線境界線の周期を検出し(ステップS11)、車線境界線の動きベクトルを検出し(ステップS12)、白線除去画像の画像ピラミッドを作成し(ステップS13)、動物体画像を作成し(ステップS14)、車両の座標及び動きベクトルを検出し(ステップS15)、車両の速度を計算する(ステップS16)。
【解決手段】白線画像の画像ピラミッドを作成した(ステップS10)後、車線境界線の周期を検出し(ステップS11)、車線境界線の動きベクトルを検出し(ステップS12)、白線除去画像の画像ピラミッドを作成し(ステップS13)、動物体画像を作成し(ステップS14)、車両の座標及び動きベクトルを検出し(ステップS15)、車両の速度を計算する(ステップS16)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点線や破線のように周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法に関する。
【背景技術】
【0002】
空撮画像を用いて移動対象(例えば、車両)の速度を計測する速度計測技術は、これまでにも提案されている(例えば、特許文献1)。
【0003】
このような速度計測技術は、航空機に搭載されたカメラから得られる空撮画像から車両(移動対象)と車線境界線(不動対象)とを検出し、車線境界線の画像上の長さからカメラ画角内に映し出された範囲の長さを補正し、車両と車線境界線との画像上の相対的な移動量を路面上の長さに変換し、車両の速度を計算する、という速度計測技術である。
【特許文献1】特開平11−296788号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
要約すれば、特許文献1の速度計測技術は、画像上の長さ及び移動量を実測し、それらの実測結果(実測値)を用いて速度を計算する、という速度計測技術である。このように、計測過程全体が、実測過程と計算過程とに分割できるような場合には、個々の実測の性能が、計測全体の性能を決定づける。例えば、個々の実測結果が高精度であるのなら、計測結果(計測値)も高精度となるし、個々の実測が計算量の少ない処理であるのなら、計測全体も計算量の少ない処理となる。
【0005】
特許文献1の速度計測技術では、車線境界線の移動量を実測する方法として、空撮画像間の相互相関を用いる方法(実測方法1)を採用しており、車両の移動量及び車線境界線の長さを実測する方法として、空撮画像を閾値処理し、閾値処理後の2値画像を画像処理する方法(実測方法2)を採用している。実測方法1の短所は、空撮画像上の車線境界線以外の像が邪魔になり、その像が精度低下の原因になるということ、相互相関は一般的に計算量の多い処理であるということである。実測方法2の短所は、2値画像上の車両及び車線境界線の領域に「欠け」が生じやすく、その「欠け」が精度低下の原因になるということである。
【0006】
本発明の目的は、不動対象の周期、不動対象の動きベクトル及び移動対象の動きベクトルを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を少ない計算量で高精度に計測する速度計測方法を提供することである。
【課題を解決するための手段】
【0007】
請求項1の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像を、前記不動対象画像を用いて作成し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像及び前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする。
【0008】
請求項2の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像及び前記不動対象画像の画像ピラミッドを作成する不動対象画像画像ピラミッド作成ステップと、
前記不動対象の周期を、前記不動対象画像の画像ピラミッドを用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の画像ピラミッドを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像及び前記不動対象除去画像の画像ピラミッドを、前記不動対象画像の画像ピラミッドを用いて作成する不動対象除去画像画像ピラミッド作成ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像の画像ピラミッド及び前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする。
【0009】
請求項3の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする。
【0010】
請求項4の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする。
【0011】
請求項5の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする。
【0012】
請求項6の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象画像画像ピラミッド作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像を再帰的に縮小して前記不動対象画像の画像ピラミッドを作成することを特徴とする。
【0013】
請求項7の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象周期検出ステップが、前記不動対象画像にFFTを適用して前記不動対象画像の周波数特性を作成し、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする。
【0014】
請求項8の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象動きベクトル検出ステップが、前記不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする。
【0015】
請求項9の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象除去画像画像ピラミッド作成ステップが、前記不動対象画像を用いて前記空撮画像から前記不動対象の像を除去して前記不動対象除去画像を作成し、前記不動対象除去画像を再帰的に縮小して前記不動対象除去画像の画像ピラミッドを作成することを特徴とする。
【0016】
請求項10の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする。
【0017】
請求項11の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象座標及び動きベクトル検出ステップが、前記不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し、前記車両テンプレートと前記不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を前記移動対象の仮座標とし、前記移動対象画像において前記移動対象の仮座標周辺の画像の重心を前記移動対象の重心とし、前記移動対象の仮座標と前記移動対象の重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする。
【発明の効果】
【0018】
請求項1の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象の周期を、不動対象画像を用いて検出し、不動対象の動きベクトルを、不動対象画像を用いて検出し、空撮画像から不動対象の像が除去された不動対象除去画像を、不動対象画像を用いて作成し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、不動対象除去画像及び移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【0019】
このように、請求項1の発明では、不動対象の周期を、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、移動対象の動きベクトルを、不動対象除去画像及び移動対象画像を用いて検出しているので、移動対象の速度及び形状の変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【0020】
請求項2の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像及び不動対象画像の画像ピラミッドを作成し、不動対象の周期を、不動対象画像の画像ピラミッドを用いて検出し、不動対象の動きベクトルを、不動対象画像の画像ピラミッドを用いて検出し、空撮画像から不動対象の像が除去された不動対象除去画像及び不動対象除去画像の画像ピラミッドを、不動対象画像の画像ピラミッドを用いて作成し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、不動対象除去画像の画像ピラミッド及び移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【0021】
このように、請求項2の発明では、不動対象の周期を、不動対象画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、移動対象の動きベクトルを、不動対象除去画像の画像ピラミッド及び移動対象画像を用いて検出しているので、移動対象の速度及び形状の変化に対応しながら移動対象以外の像に邪魔されずに、少ない計算量で高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【0022】
請求項3の発明によれば、請求項2の発明に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出している。
【0023】
このように、請求項3の発明では、請求項2の発明の効果に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。
【0024】
請求項4の発明によれば、請求項2の発明に加えて更に、移動対象の速度の平均値を計算している。
【0025】
このように、請求項4の発明では、請求項2の発明の効果に加えて更に、移動対象の速度よりも高精度な(ランダム誤差の小さい)速度である移動対象の速度の平均値が、自動的に得られる。
【0026】
請求項5の発明によれば、請求項2の発明に加えて更に、移動対象の座標の初期値を、前記移動対象画像を用いて検出し、移動対象の速度の平均値を計算している。
【0027】
このように、請求項5の発明では、請求項2の発明の効果に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。また、移動対象の速度よりも高精度な(ランダム誤差の小さい)速度である移動対象の速度の平均値が、自動的に得られる。
【0028】
請求項6の発明によれば、空撮画像をフィルタリングし(手続1)、フィルタリング後の画像を不動対象の領域と不動対象以外の領域とに分別して不動対象画像を作成し(手続2)、不動対象画像を再帰的に縮小して不動対象画像の画像ピラミッドを作成している(手続3)。
【0029】
このように、請求項6の発明では、手続1によって、不動対象の領域と不動対象以外の領域とが大まかに分別され、手続2によって、それらがより細かく分別され、手続1及び手続2によって、雑音の少ない良質な不動対象画像が作成される。手続3によって、少ない計算量で不動対象画像の画像ピラミッドが作成される。
【0030】
請求項7の発明によれば、不動対象画像にFFTを適用して不動対象画像の周波数特性を作成し(手続4)、不動対象画像の周波数特性を用いて不動対象の像の長手方向の角度を検出し(手続5)、不動対象画像を回転させて不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し(手続6)、幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し(手続7)、小画像を用いて不動対象の周期を検出している(手続8)。
【0031】
このように、請求項7の発明では、手続4によって、通常のフーリエ変換よりも少ない計算量で不動対象画像の周波数特性が作成される。手続5によって、不動対象の像を検出しなくても、不動対象の像の長手方向の角度が簡単に検出できる。手続6によって、不動対象の像が水平化又は垂直化されるので、手続7の際に、一本の不動対象の像が二つ以上の小画像間に分割される可能性が低くなる。一つの画像上において、不動対象の像の面積を信号成分Sとし、それ以外の面積を雑音成分Nとすると、手続8は、不動対象画像を用いる方法よりも、S/Nの良い信号処理方法といえる。
【0032】
請求項8の発明によれば、不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを不動対象の動きベクトルとしている(手続9)。
【0033】
このように、請求項8の発明では、手続9によって、通常のテンプレートマッチングよりも少ない計算量で不動対象の動きベクトルが検出される。
【0034】
請求項9の発明によれば、不動対象画像を用いて空撮画像から不動対象の像を除去して不動対象除去画像を作成し(手続10)、不動対象除去画像を再帰的に縮小して不動対象除去画像の画像ピラミッドを作成している(手続11)。
【0035】
このように、請求項9の発明では、手続10によって、少ない計算量で雑音の少ない良質な不動対象除去画像が作成される。手続11によって、少ない計算量で不動対象除去画像の画像ピラミッドが作成される。
【0036】
請求項10の発明によれば、空撮画像を不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ(手続12)、シフト後の画像と空撮画像との差分画像を移動対象画像としている(手続13)。
【0037】
このように、請求項10の発明では、手続12によって、二つの空撮画像間の不動対象の位置が合わされ、手続13によって、それらの差分画像、すなわち移動対象画像が作成され、手続12及び手続13によって、少ない計算量で実用上問題のない品質の移動対象画像が作成される。
【0038】
請求項11の発明によれば、不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し(手続14)、車両テンプレートと不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を移動対象の仮座標とし(手続15)、移動対象画像において移動対象の仮座標周辺の画像の重心を移動対象の重心とし(手続16)、移動対象の仮座標と移動対象の重心との中点を移動対象の座標とし(手続17)、移動対象の座標の位置ベクトル間の差分を移動対象の動きベクトルとしている。
【0039】
このように、請求項11の発明では、手続14及び手続15によって、通常のテンプレートマッチングよりも少ない計算量で移動対象の仮座標が検出され、手続16によって、移動対象の重心が検出され、手続17によって、移動対象の速度及び形状の変化に対応しながら移動対象の座標が高精度に検出される。
【発明を実施するための最良の形態】
【0040】
本発明による速度計測方法の実施の形態を、図面を参照して詳細に説明する。図1は、本発明による速度計測方法の実施の形態の動作を示すフローチャートであり、パーソナルコンピュータのような装置の中で実行される画像処理プログラムのフローチャートである。
【0041】
本実施の形態では、空撮画像fi(図2)は、航空機に搭載されたカメラで、道路上を走行する車両を上空から撮影したときに得られる画像とする。ここで、iはフレーム番号とし、fiの画素値は明度とする。
【0042】
本実施の形態では、白線画像gi,0(図3)は、白線以外の像が除去された空撮画像fiとし、白線画像gi,1,gi,2,・・・gi,jmax(図3)は、白線画像gi,0の画像ピラミッドの上層とし、白線除去画像hi,0(図4)は、白線の像が除去された空撮画像fiとし、白線除去画像hi,1,hi,2,・・・,hi,kmax(図4)は、白線除去画像hi,0の画像ピラミッドの上層とし、動物体画像mi(図5)は、動物体以外の像が除去された空撮画像fiとする。
【0043】
本実施の形態では、空撮画像fiの画素値は、0以上255以下(8ビット)の整数とする。
【0044】
本実施の形態では、白線画像gi,j及び白線除去画像hi,kの画素値は、0以上255以下(8ビット)の整数とし、そのうち0以上254以下を通常値(明度など)とし、255を例外値とする。それらの画像の画素値を更新する際、新しい通常値が0未満になる場合には、その値を0に丸めるものとし、新しい通常値が254を超える場合には、その値を254に丸めるものとする。
【0045】
本実施の形態では、動物体画像miの画素値は、−128以上127以下(8ビット)の整数とする。その画像の画素値を更新する際、新しい画素値が−128未満になる場合には、その値を−128に丸めるものとし、新しい画素値が127を超える場合には、その値を127に丸めるものとする。
【0046】
図1のフローチャートでは、先ず、フレーム番号のカウンタiを−1に初期化する(ステップS1)。
【0047】
次に、カウンタiに1を加算する(ステップS2)。
【0048】
次に、白線画像gi,jの画像ピラミッドgi,0,gi,1,・・・,gi,jmaxを作成する(ステップS3)。
【0049】
次に、カウンタiが1であるか否かを判定し(ステップS4)、カウンタiが1でない場合には、ステップS2に戻り、カウンタiが1である場合には、ステップS5に進む。
【0050】
ステップS5では、車線境界線の動きベクトルbi(図2)を検出する。
【0051】
次に、白線除去画像hi,kの画像ピラミッドhi,0,hi,1,・・・,hi,kmaxを作成する(ステップS6)。
【0052】
次に、動物体画像miを作成する(ステップS7)。
【0053】
次に、車両の座標pi(図2)の初期値p1を検出する(ステップS8)。
【0054】
次に、カウンタiに1を加算する(ステップS9)。
【0055】
次に、白線画像gi,jの画像ピラミッドgi,0,gi,1,・・・,gi,jmaxを作成する(ステップS10)。
【0056】
次に、画像上における車線境界線の周期li(図2)を検出する(ステップS11)。
【0057】
次に、車線境界線の動きベクトルbiを検出する(ステップS12)。
【0058】
次に、白線除去画像hi,kの画像ピラミッドhi,0,hi,1,・・・,hi,kmaxを作成する(ステップS13)。
【0059】
次に、動物体画像miを作成する(ステップS14)。
【0060】
次に、車両の座標pi及び動きベクトルci(図2)を検出する(ステップS15)。
【0061】
次に、車両の速度vi=(|ci−bi|/T)・(L/li)を計算する(ステップS16)。ここで、Tはフレーム間隔とし、Lは道路上における車線境界線の周期の規定値(高速道路の場合、L=20m)とする。
【0062】
次に、カウンタiが上限値nであるか否かを判定し(ステップS17)、カウンタiが上限値nでない場合には、ステップS9に戻り、カウンタiが上限値nである場合には、ステップS18に進む。
【0063】
ステップS18では、車両の速度の平均値v=(v2+v3+・・・+vn)/(n−1)を計算し、このフローチャートを終了する。
【0064】
図6は、白線画像の画像ピラミッドの作成(ステップS3及びステップS10)のフローチャートである。
【0065】
このフローチャートでは、先ず、ピラミッド階層のカウンタjを0に初期化する(ステップS101)。
【0066】
次に、空撮画像fiの複製画像gi,jを作成する(ステップ102)。
【0067】
次に、画像gi,jをラプラシアンオペレータ(図7)でフィルタリングする(ステップS103)。
【0068】
次に、画像gi,j上の微小成分をpタイル法で除去(画素値を0に)する(ステップS104)。
【0069】
次に、画像gi,j上の孤立点を除去(画素値を0に)する(ステップS105)。ここで、画像gi,j上の孤立点は図領域の孤立点とし、図領域は通常値が1以上の領域とする。
【0070】
次に、画像gi,j上の車両領域を例外値化(画素値を255に)し、例外値化後の画像gi,jを白線画像gi,jとする(ステップS106)。ここで、車両領域は矩形領域とし、車両領域の中心は車両の座標pi−1とし、車両領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0071】
次に、カウンタjに1を加算する(ステップS107)。
【0072】
次に、白線画像gi,j−1の縮小画像gi,jを作成する(ステップS108)。ここで、縮小画像gi,jの幅及び高さは、白線画像gi,j−1の幅及び高さの1/2とする。
【0073】
次に、カウンタjが上限値jmaxであるか否かを判定し(ステップS109)、カウンタjが上限値jmaxでない場合には、ステップS107に戻り、カウンタjが上限値jmaxである場合には、このフローチャートを終了する。
【0074】
図8は、車線境界線の周期の検出(ステップS11)のフローチャートである。
【0075】
このフローチャートでは、先ず、FFTなどを用いて例外値を0とみなした白線画像gi,jconst(例えば、jconst=2)の周波数特性を作成する(ステップS201)。
【0076】
周波数特性を振幅特性に変換する(ステップS202)。
【0077】
次に、振幅特性をpタイル法で図領域と地領域(図9)とに分別(2値化)する(ステップS203)。ここで、図領域はpタイル法で決定した閾値以上の領域とし、地領域は閾値未満の領域とする。
【0078】
次に、図領域の角度を検出する(ステップS204)。ここで、図領域の角度は、図領域の各点を位置ベクトルで表現したときの位置ベクトルの角度の平均値とする。
【0079】
次に、白線画像gi,0を回転させて例外値を0にして水平化白線画像(図10)を作成する(ステップS205)。ここで、白線画像gi,0を回転させる角度は、図領域の角度に90゜を加算した角度、又は、図領域の角度から90゜を減算した角度とする。
【0080】
次に、水平化白線画像の水平投影像(図10)を作成する(ステップS206)。
【0081】
次に、FFTなどを用いて水平投影像の自己相関関数(図10)を作成する(ステップS207)。
【0082】
次に、水平投影像の自己相関関数から車線の幅を検出する(ステップS208)。ここで、車線の幅は、自己相関関数の隣接ピーク間隔の平均値とする。
【0083】
次に、水平化白線画像を垂直方向に分割して複数個の小画像を作成する(図11)(ステップS209)。
【0084】
次に、すべての小画像の水平投影像(図12)を作成する(ステップS210)。
【0085】
次に、小画像の水平投影像ごとに水平投影像の最大値を検出する(ステップS211)。
【0086】
次に、水平投影像の最大値が指定値以上になっている小画像だけを選出する(ステップS212)。
【0087】
次に、選出された小画像の垂直投影像(図13)を作成する(ステップS213)。
【0088】
次に、FFTなどを用いてすべての垂直投影像の自己相関関数(図13)を作成する(ステップS214)。
【0089】
次に、垂直投影像の自己相関関数ごとに自己相関関数の諸特性を検出する(ステップS215)。ここで、自己相関関数の諸特性は、自己相関関数のピークの総数、自己相関関数の隣接ピーク間隔の平均値などとする。
【0090】
次に、車線の幅及び指定条件に基づいて(例えば、自己相関関数のピークの総数が指定数以上になっており、自己相関関数の隣接ピーク間隔の平均値が車線の幅の定数倍以上になっている)自己相関関数の諸特性を選出する(ステップS216)。
【0091】
次に、選出された自己相関関数の諸特性から車線境界線の周期liを計算し(ステップS217)、このフローチャートを終了する。ここで、車線境界線の周期liは、自己相関関数の隣接ピーク間隔の平均値(複数個)の平均値(1個)とする。
【0092】
図14は、車線境界線の動きベクトルの検出(ステップS5及びステップS12)のフローチャートである。
【0093】
このフローチャートでは、先ず、ピラミッド階層のカウンタjをjmaxに初期化する(ステップS301)。
【0094】
次に、車線境界線の動きベクトルbiを(0,0)に初期化する(ステップS302)。
【0095】
次に、テンプレートマッチングの探索範囲を初期化する(ステップS303)。ここで、探索範囲の中心はbi/2jとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は指定値とする。
【0096】
次に、テンプレート(白線画像)gi−1,jと被探索画像(白線画像)gi,jとのテンプレートマッチングで、車線境界線の動きベクトルbiを更新(検出)する(図15)(ステップS304)。ここで、座標系の原点は、被探索画像gi,jの左上端とし,テンプレートgi−1,jの座標は、テンプレートgi−1,jの左上端とし、車線境界線の動きベクトルbiは、テンプレートマッチングの類似度が最大になるテンプレートgi−1,jの座標の位置ベクトルとし、類似度は、例えば、差分絶対値の平均値の逆数とし、類似度を計算する部分は、テンプレートgi−1,jと被探索画像gi,jとが重なっている部分、かつ例外値領域に重なっていない部分とする。
【0097】
次に、カウンタjから1を減算する(ステップS305)。
【0098】
次に、テンプレートマッチングの探索範囲を更新する(ステップS306)。ここで、探索範囲の中心は、2biとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は、例えば、それぞれ0、1、0及び1とする。
【0099】
次に、カウンタjが0未満であるか否かを判定し(ステップS307)。カウンタjが0未満でない場合には、ステップS304に戻り、カウンタjが0未満である場合には、このフローチャートを終了する。
【0100】
図16は、白線除去画像の画像ピラミッドの作成(ステップS6及びステップS13)のフローチャートである。
【0101】
このフローチャートでは、先ず、ピラミッド階層のカウンタkを0に初期化する(ステップS401)。
【0102】
次に、空撮画像fiの複製画像hi,kを作成する(ステップS402)。
【0103】
次に、画像hi,k上の白線領域を例外値化(画素値を255に)する(ステップS403)。ここで、白線領域は、白線画像gi,k上の通常値が1以上の領域とする。
【0104】
次に、画像hi,k上の例外値領域を拡大し(ステップS404)、拡大後の画像hi,kを白線除去画像hi,kとする。ここで、例外値領域を拡大する部分は、例外値の画素の4近傍又は8近傍(図17)とする。
【0105】
次に、カウンタkに1を加算する(ステップS405)。
【0106】
次に、白線除去画像hi,k−1の縮小画像hi,kを作成する(ステップS406)。ここで、縮小画像hi,kの幅及び高さは、白線除去画像hi,k−1の幅及び高さの1/2とする。
【0107】
次に、カウンタkが上限値kmaxであるか否かを判定し(ステップS407)、カウンタkが上限値kmaxでない場合には、ステップS405に戻り、カウンタkが上限値kmaxである場合には、このフローチャートを終了する。
【0108】
図18は、動物体画像の作成(ステップS7及びステップS14)のフローチャートである。
【0109】
このフローチャートでは、先ず、空撮画像fi−1を水平方向及び垂直方向にシフトさせる(ステップS501)。ここで、空撮画像fi−1のシフトは、車線境界線の動きベクトルbiの分だけとする。
【0110】
次に、シフト後の空撮画像fi−1と空撮画像fiとの差分画像、すなわち動物体画像miを作成し(図19)(ステップS502)、このフローチャートを終了する。
【0111】
図20は、車両の座標及び動きベクトルの検出(ステップS15)のフローチャートである。
【0112】
このフローチャートでは、先ず、ピラミッド階層のカウンタkをkmaxに初期化する(ステップS601)。
【0113】
次に、車両の仮座標を車両の座標pi−1に初期化する(ステップS602)。
【0114】
次に、テンプレートマッチングの探索範囲を初期化する(ステップS603)。ここで、探索範囲の中心は車両の仮座標の1/2kとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は指定値とする。
【0115】
次に、白線除去画像hi−1,kから車両テンプレートを切り出す(作成する)(図21)(ステップS604)。ここで、車両テンプレートの切り出し元となる矩形領域の中心はpi−1/2kとし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0116】
次に、車両テンプレートと被探索画像(白線除去画像)hi,kとのテンプレートマッチングで、車両の仮座標を更新(検出)する(図22)(ステップS605)。ここで、座標系の原点は、被探索画像hi,kの左上端とし、車両テンプレートの座標は、車両テンプレートの中心とし、車両の仮座標は、テンプレートマッチングの類似度が最大になる車両テンプレートの座標とし、類似度は、例えば、差分絶対値の平均値の逆数とし、類似度を計算する部分は、車両テンプレートと被探索画像hi,kとが重なっている部分、かつ例外値領域に重なっていない部分とする。
【0117】
次に、カウンタkから1を減算する(ステップS606)。
【0118】
次に、テンプレートマッチングの探索範囲を更新する(ステップS607)。ここで、探索範囲の中心は、車両の仮座標の2倍とし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は、例えば、それぞれ0、1、0及び1とする。
【0119】
次に、カウンタkが0未満であるか否かを判定し(ステップS608)、カウンタkが0未満でない場合には、ステップS604に戻り、カウンタkが0未満である場合にはステップS609に進む。
【0120】
ステップS609では、動物体画像mi上に矩形領域を設定する(図23)。ここで、矩形領域の中心は車両の仮座標とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0121】
次に、動物体画像mi上の矩形領域から車両の重心を検出する(ステップS610)。ここで、車両の重心は、矩形領域内の画像(の絶対値)の重心とする。
【0122】
次に、車両の仮座標及び重心から車両の座標piを計算する(ステップS611)。ここで、車両の座標piは、車両の仮座標と車両の重心との中点とする。
【0123】
次に、車両の座標pi−1及び車両の座標piから車両の動きベクトルciを計算し(ステップS612)、このフローチャートを終了する。ここで、車両の動きベクトルciは、車両の座標piの位置ベクトルから車両の座標pi−1の位置ベクトルを減算したものとする。
【0124】
図24は、車両の座標の初期値の検出(ステップS8)のフローチャートである。
【0125】
このフローチャートでは、先ず、動物体画像mi上に矩形領域Aを設定する(図25)(ステップS701)。ここで、矩形領域Aの中心は動物体画像miの中心とし、矩形領域Aの幅及び高さは車両の幅及び高さよりもかなり大きめの指定値とする。
【0126】
次に、動物体画像mi上の矩形領域Aから車両の仮座標を検出する(ステップS702)。ここで、車両の仮座標は、矩形領域A内の画像(の絶対値)の重心とする。
【0127】
次に、動物体画像mi上に矩形領域Bを設定する(図26)(ステップS703)。ここで、矩形領域Bの中心は車両の仮座標とし、矩形領域Bの幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0128】
次に、動物体画像mi上の矩形領域Bから車両の座標piの初期値p1を検出し(ステップS704)、このフローチャートを終了する。ここで、車両の座標piの初期値p1は、矩形領域B内の画像(の絶対値)の重心とする。
【0129】
本実施の形態によれば、車線境界線の周期を、白線画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、車線境界線の動きベクトルを、白線画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、車両の動きベクトルを、白線除去画像の画像ピラミッド及び動物体画像を用いて検出しているので、車両の速度及び形状の変化に対応しながら動物体以外の像に邪魔されずに、少ない計算量で高精度に検出でき、車両の長時間にわたる追跡が可能となる。
【0130】
また、車両の座標の初期値を、動物体画像を用いて検出しているので、動物体以外の像に邪魔されずに、車両の座標の初期値が、自動的に得られる。また、車両の速度よりも高精度な(ランダム誤差の小さい)速度である車両の速度の平均値が、自動的に得られる。
【0131】
また、車線境界線の周期を、自己相関関数を用いて検出しているので、車線境界線の白線部分が薄く消えかかっているような場合であっても、高精度に検出できる。
【0132】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
【0133】
例えば、上記実施の形態では、不動対象を白線(又は車線境界線)とし、移動対象を白線に沿って移動する車両(又は動物体)としたが、不動対象を白線以外のものとすることができるとともに、移動対象を車両以外のものとすることができる。
【0134】
また、上記実施の形態では、ステップS8で車両の座標の初期値を検出したが、車両の座標の初期値が予めわかっている場合には、ステップS8を省略することができる。
【0135】
また、上記実施の形態では、ステップS18で車両の速度の平均値を計算したが、車両の速度の平均値が不必要な場合には、ステップS18を省略することができる。
【産業上の利用可能性】
【0136】
本発明は、速度違反の取締りにおける車両の速度の計測などの車両の速度を計測する種々のアプリケーションに適用することができる。
【図面の簡単な説明】
【0137】
【図1】本発明による速度計測方法の実施の形態の動作を示すフローチャートである。
【図2】空撮画像、車線境界線の周期、車線境界線の動きベクトル、車両の座標及び動きベクトルを示す模式図である。
【図3】白線画像の画像ピラミッドを示す模式図である。
【図4】白線除去画像の画像ピラミッドを示す模式図である。
【図5】動物体画像を示す模式図である。
【図6】白線画像の画像ピラミッドの作成のフローチャートである。
【図7】ラプラシアンオペレータを示す模式図である。
【図8】車線境界線の周期の検出のフローチャートである。
【図9】白線画像の振幅特性の図領域及び地領域を示す模式図である。
【図10】水平化白線画像、水平化白線画像の水平投影像及び水平投影像の自己相関関数を示す模式図である。
【図11】水平化白線画像の分割方法を示す模式図である。
【図12】小画像及び小画像の水平投影像を示す模式図である。
【図13】小画像、小画像の垂直投影像及び垂直投影像の自己相関関数を示す模式図である。
【図14】車線境界線の動きベクトルの検出のフローチャートである。
【図15】白線画像間のテンプレートマッチングを示す模式図である。
【図16】白線除去画像の画像ピラミッドの作成のフローチャートである。
【図17】画素の4近傍及び8近傍を示す模式図である。
【図18】動物体画像の作成のフローチャートである。
【図19】動物体画像の作成方法を示す模式図である。
【図20】車両の座標及び動きベクトルの検出のフローチャートである。
【図21】車両テンプレートの切り出し元となる矩形領域の設定方法を示す模式図である。
【図22】車両テンプレートと白線除去画像とのテンプレートマッチングを示す模式図である。
【図23】矩形領域の設定方法を示す模式図である。
【図24】車両の座標の初期値の検出のフローチャートである。
【図25】矩形領域Aの設定方法を示す模式図である。
【図26】矩形領域Bの設定方法を示す模式図である。
【技術分野】
【0001】
本発明は、点線や破線のように周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法に関する。
【背景技術】
【0002】
空撮画像を用いて移動対象(例えば、車両)の速度を計測する速度計測技術は、これまでにも提案されている(例えば、特許文献1)。
【0003】
このような速度計測技術は、航空機に搭載されたカメラから得られる空撮画像から車両(移動対象)と車線境界線(不動対象)とを検出し、車線境界線の画像上の長さからカメラ画角内に映し出された範囲の長さを補正し、車両と車線境界線との画像上の相対的な移動量を路面上の長さに変換し、車両の速度を計算する、という速度計測技術である。
【特許文献1】特開平11−296788号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
要約すれば、特許文献1の速度計測技術は、画像上の長さ及び移動量を実測し、それらの実測結果(実測値)を用いて速度を計算する、という速度計測技術である。このように、計測過程全体が、実測過程と計算過程とに分割できるような場合には、個々の実測の性能が、計測全体の性能を決定づける。例えば、個々の実測結果が高精度であるのなら、計測結果(計測値)も高精度となるし、個々の実測が計算量の少ない処理であるのなら、計測全体も計算量の少ない処理となる。
【0005】
特許文献1の速度計測技術では、車線境界線の移動量を実測する方法として、空撮画像間の相互相関を用いる方法(実測方法1)を採用しており、車両の移動量及び車線境界線の長さを実測する方法として、空撮画像を閾値処理し、閾値処理後の2値画像を画像処理する方法(実測方法2)を採用している。実測方法1の短所は、空撮画像上の車線境界線以外の像が邪魔になり、その像が精度低下の原因になるということ、相互相関は一般的に計算量の多い処理であるということである。実測方法2の短所は、2値画像上の車両及び車線境界線の領域に「欠け」が生じやすく、その「欠け」が精度低下の原因になるということである。
【0006】
本発明の目的は、不動対象の周期、不動対象の動きベクトル及び移動対象の動きベクトルを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を少ない計算量で高精度に計測する速度計測方法を提供することである。
【課題を解決するための手段】
【0007】
請求項1の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像を、前記不動対象画像を用いて作成し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像及び前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする。
【0008】
請求項2の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像及び前記不動対象画像の画像ピラミッドを作成する不動対象画像画像ピラミッド作成ステップと、
前記不動対象の周期を、前記不動対象画像の画像ピラミッドを用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の画像ピラミッドを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像及び前記不動対象除去画像の画像ピラミッドを、前記不動対象画像の画像ピラミッドを用いて作成する不動対象除去画像画像ピラミッド作成ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像の画像ピラミッド及び前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする。
【0009】
請求項3の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする。
【0010】
請求項4の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする。
【0011】
請求項5の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする。
【0012】
請求項6の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象画像画像ピラミッド作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像を再帰的に縮小して前記不動対象画像の画像ピラミッドを作成することを特徴とする。
【0013】
請求項7の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象周期検出ステップが、前記不動対象画像にFFTを適用して前記不動対象画像の周波数特性を作成し、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする。
【0014】
請求項8の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象動きベクトル検出ステップが、前記不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする。
【0015】
請求項9の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記不動対象除去画像画像ピラミッド作成ステップが、前記不動対象画像を用いて前記空撮画像から前記不動対象の像を除去して前記不動対象除去画像を作成し、前記不動対象除去画像を再帰的に縮小して前記不動対象除去画像の画像ピラミッドを作成することを特徴とする。
【0016】
請求項10の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする。
【0017】
請求項11の発明による速度計測方法は、請求項2の発明の七つのステップを具え、
前記移動対象座標及び動きベクトル検出ステップが、前記不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し、前記車両テンプレートと前記不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を前記移動対象の仮座標とし、前記移動対象画像において前記移動対象の仮座標周辺の画像の重心を前記移動対象の重心とし、前記移動対象の仮座標と前記移動対象の重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする。
【発明の効果】
【0018】
請求項1の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象の周期を、不動対象画像を用いて検出し、不動対象の動きベクトルを、不動対象画像を用いて検出し、空撮画像から不動対象の像が除去された不動対象除去画像を、不動対象画像を用いて作成し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、不動対象除去画像及び移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【0019】
このように、請求項1の発明では、不動対象の周期を、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、移動対象の動きベクトルを、不動対象除去画像及び移動対象画像を用いて検出しているので、移動対象の速度及び形状の変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【0020】
請求項2の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像及び不動対象画像の画像ピラミッドを作成し、不動対象の周期を、不動対象画像の画像ピラミッドを用いて検出し、不動対象の動きベクトルを、不動対象画像の画像ピラミッドを用いて検出し、空撮画像から不動対象の像が除去された不動対象除去画像及び不動対象除去画像の画像ピラミッドを、不動対象画像の画像ピラミッドを用いて作成し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、不動対象除去画像の画像ピラミッド及び移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。
【0021】
このように、請求項2の発明では、不動対象の周期を、不動対象画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、移動対象の動きベクトルを、不動対象除去画像の画像ピラミッド及び移動対象画像を用いて検出しているので、移動対象の速度及び形状の変化に対応しながら移動対象以外の像に邪魔されずに、少ない計算量で高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。
【0022】
請求項3の発明によれば、請求項2の発明に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出している。
【0023】
このように、請求項3の発明では、請求項2の発明の効果に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。
【0024】
請求項4の発明によれば、請求項2の発明に加えて更に、移動対象の速度の平均値を計算している。
【0025】
このように、請求項4の発明では、請求項2の発明の効果に加えて更に、移動対象の速度よりも高精度な(ランダム誤差の小さい)速度である移動対象の速度の平均値が、自動的に得られる。
【0026】
請求項5の発明によれば、請求項2の発明に加えて更に、移動対象の座標の初期値を、前記移動対象画像を用いて検出し、移動対象の速度の平均値を計算している。
【0027】
このように、請求項5の発明では、請求項2の発明の効果に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。また、移動対象の速度よりも高精度な(ランダム誤差の小さい)速度である移動対象の速度の平均値が、自動的に得られる。
【0028】
請求項6の発明によれば、空撮画像をフィルタリングし(手続1)、フィルタリング後の画像を不動対象の領域と不動対象以外の領域とに分別して不動対象画像を作成し(手続2)、不動対象画像を再帰的に縮小して不動対象画像の画像ピラミッドを作成している(手続3)。
【0029】
このように、請求項6の発明では、手続1によって、不動対象の領域と不動対象以外の領域とが大まかに分別され、手続2によって、それらがより細かく分別され、手続1及び手続2によって、雑音の少ない良質な不動対象画像が作成される。手続3によって、少ない計算量で不動対象画像の画像ピラミッドが作成される。
【0030】
請求項7の発明によれば、不動対象画像にFFTを適用して不動対象画像の周波数特性を作成し(手続4)、不動対象画像の周波数特性を用いて不動対象の像の長手方向の角度を検出し(手続5)、不動対象画像を回転させて不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し(手続6)、幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し(手続7)、小画像を用いて不動対象の周期を検出している(手続8)。
【0031】
このように、請求項7の発明では、手続4によって、通常のフーリエ変換よりも少ない計算量で不動対象画像の周波数特性が作成される。手続5によって、不動対象の像を検出しなくても、不動対象の像の長手方向の角度が簡単に検出できる。手続6によって、不動対象の像が水平化又は垂直化されるので、手続7の際に、一本の不動対象の像が二つ以上の小画像間に分割される可能性が低くなる。一つの画像上において、不動対象の像の面積を信号成分Sとし、それ以外の面積を雑音成分Nとすると、手続8は、不動対象画像を用いる方法よりも、S/Nの良い信号処理方法といえる。
【0032】
請求項8の発明によれば、不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを不動対象の動きベクトルとしている(手続9)。
【0033】
このように、請求項8の発明では、手続9によって、通常のテンプレートマッチングよりも少ない計算量で不動対象の動きベクトルが検出される。
【0034】
請求項9の発明によれば、不動対象画像を用いて空撮画像から不動対象の像を除去して不動対象除去画像を作成し(手続10)、不動対象除去画像を再帰的に縮小して不動対象除去画像の画像ピラミッドを作成している(手続11)。
【0035】
このように、請求項9の発明では、手続10によって、少ない計算量で雑音の少ない良質な不動対象除去画像が作成される。手続11によって、少ない計算量で不動対象除去画像の画像ピラミッドが作成される。
【0036】
請求項10の発明によれば、空撮画像を不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ(手続12)、シフト後の画像と空撮画像との差分画像を移動対象画像としている(手続13)。
【0037】
このように、請求項10の発明では、手続12によって、二つの空撮画像間の不動対象の位置が合わされ、手続13によって、それらの差分画像、すなわち移動対象画像が作成され、手続12及び手続13によって、少ない計算量で実用上問題のない品質の移動対象画像が作成される。
【0038】
請求項11の発明によれば、不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し(手続14)、車両テンプレートと不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を移動対象の仮座標とし(手続15)、移動対象画像において移動対象の仮座標周辺の画像の重心を移動対象の重心とし(手続16)、移動対象の仮座標と移動対象の重心との中点を移動対象の座標とし(手続17)、移動対象の座標の位置ベクトル間の差分を移動対象の動きベクトルとしている。
【0039】
このように、請求項11の発明では、手続14及び手続15によって、通常のテンプレートマッチングよりも少ない計算量で移動対象の仮座標が検出され、手続16によって、移動対象の重心が検出され、手続17によって、移動対象の速度及び形状の変化に対応しながら移動対象の座標が高精度に検出される。
【発明を実施するための最良の形態】
【0040】
本発明による速度計測方法の実施の形態を、図面を参照して詳細に説明する。図1は、本発明による速度計測方法の実施の形態の動作を示すフローチャートであり、パーソナルコンピュータのような装置の中で実行される画像処理プログラムのフローチャートである。
【0041】
本実施の形態では、空撮画像fi(図2)は、航空機に搭載されたカメラで、道路上を走行する車両を上空から撮影したときに得られる画像とする。ここで、iはフレーム番号とし、fiの画素値は明度とする。
【0042】
本実施の形態では、白線画像gi,0(図3)は、白線以外の像が除去された空撮画像fiとし、白線画像gi,1,gi,2,・・・gi,jmax(図3)は、白線画像gi,0の画像ピラミッドの上層とし、白線除去画像hi,0(図4)は、白線の像が除去された空撮画像fiとし、白線除去画像hi,1,hi,2,・・・,hi,kmax(図4)は、白線除去画像hi,0の画像ピラミッドの上層とし、動物体画像mi(図5)は、動物体以外の像が除去された空撮画像fiとする。
【0043】
本実施の形態では、空撮画像fiの画素値は、0以上255以下(8ビット)の整数とする。
【0044】
本実施の形態では、白線画像gi,j及び白線除去画像hi,kの画素値は、0以上255以下(8ビット)の整数とし、そのうち0以上254以下を通常値(明度など)とし、255を例外値とする。それらの画像の画素値を更新する際、新しい通常値が0未満になる場合には、その値を0に丸めるものとし、新しい通常値が254を超える場合には、その値を254に丸めるものとする。
【0045】
本実施の形態では、動物体画像miの画素値は、−128以上127以下(8ビット)の整数とする。その画像の画素値を更新する際、新しい画素値が−128未満になる場合には、その値を−128に丸めるものとし、新しい画素値が127を超える場合には、その値を127に丸めるものとする。
【0046】
図1のフローチャートでは、先ず、フレーム番号のカウンタiを−1に初期化する(ステップS1)。
【0047】
次に、カウンタiに1を加算する(ステップS2)。
【0048】
次に、白線画像gi,jの画像ピラミッドgi,0,gi,1,・・・,gi,jmaxを作成する(ステップS3)。
【0049】
次に、カウンタiが1であるか否かを判定し(ステップS4)、カウンタiが1でない場合には、ステップS2に戻り、カウンタiが1である場合には、ステップS5に進む。
【0050】
ステップS5では、車線境界線の動きベクトルbi(図2)を検出する。
【0051】
次に、白線除去画像hi,kの画像ピラミッドhi,0,hi,1,・・・,hi,kmaxを作成する(ステップS6)。
【0052】
次に、動物体画像miを作成する(ステップS7)。
【0053】
次に、車両の座標pi(図2)の初期値p1を検出する(ステップS8)。
【0054】
次に、カウンタiに1を加算する(ステップS9)。
【0055】
次に、白線画像gi,jの画像ピラミッドgi,0,gi,1,・・・,gi,jmaxを作成する(ステップS10)。
【0056】
次に、画像上における車線境界線の周期li(図2)を検出する(ステップS11)。
【0057】
次に、車線境界線の動きベクトルbiを検出する(ステップS12)。
【0058】
次に、白線除去画像hi,kの画像ピラミッドhi,0,hi,1,・・・,hi,kmaxを作成する(ステップS13)。
【0059】
次に、動物体画像miを作成する(ステップS14)。
【0060】
次に、車両の座標pi及び動きベクトルci(図2)を検出する(ステップS15)。
【0061】
次に、車両の速度vi=(|ci−bi|/T)・(L/li)を計算する(ステップS16)。ここで、Tはフレーム間隔とし、Lは道路上における車線境界線の周期の規定値(高速道路の場合、L=20m)とする。
【0062】
次に、カウンタiが上限値nであるか否かを判定し(ステップS17)、カウンタiが上限値nでない場合には、ステップS9に戻り、カウンタiが上限値nである場合には、ステップS18に進む。
【0063】
ステップS18では、車両の速度の平均値v=(v2+v3+・・・+vn)/(n−1)を計算し、このフローチャートを終了する。
【0064】
図6は、白線画像の画像ピラミッドの作成(ステップS3及びステップS10)のフローチャートである。
【0065】
このフローチャートでは、先ず、ピラミッド階層のカウンタjを0に初期化する(ステップS101)。
【0066】
次に、空撮画像fiの複製画像gi,jを作成する(ステップ102)。
【0067】
次に、画像gi,jをラプラシアンオペレータ(図7)でフィルタリングする(ステップS103)。
【0068】
次に、画像gi,j上の微小成分をpタイル法で除去(画素値を0に)する(ステップS104)。
【0069】
次に、画像gi,j上の孤立点を除去(画素値を0に)する(ステップS105)。ここで、画像gi,j上の孤立点は図領域の孤立点とし、図領域は通常値が1以上の領域とする。
【0070】
次に、画像gi,j上の車両領域を例外値化(画素値を255に)し、例外値化後の画像gi,jを白線画像gi,jとする(ステップS106)。ここで、車両領域は矩形領域とし、車両領域の中心は車両の座標pi−1とし、車両領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0071】
次に、カウンタjに1を加算する(ステップS107)。
【0072】
次に、白線画像gi,j−1の縮小画像gi,jを作成する(ステップS108)。ここで、縮小画像gi,jの幅及び高さは、白線画像gi,j−1の幅及び高さの1/2とする。
【0073】
次に、カウンタjが上限値jmaxであるか否かを判定し(ステップS109)、カウンタjが上限値jmaxでない場合には、ステップS107に戻り、カウンタjが上限値jmaxである場合には、このフローチャートを終了する。
【0074】
図8は、車線境界線の周期の検出(ステップS11)のフローチャートである。
【0075】
このフローチャートでは、先ず、FFTなどを用いて例外値を0とみなした白線画像gi,jconst(例えば、jconst=2)の周波数特性を作成する(ステップS201)。
【0076】
周波数特性を振幅特性に変換する(ステップS202)。
【0077】
次に、振幅特性をpタイル法で図領域と地領域(図9)とに分別(2値化)する(ステップS203)。ここで、図領域はpタイル法で決定した閾値以上の領域とし、地領域は閾値未満の領域とする。
【0078】
次に、図領域の角度を検出する(ステップS204)。ここで、図領域の角度は、図領域の各点を位置ベクトルで表現したときの位置ベクトルの角度の平均値とする。
【0079】
次に、白線画像gi,0を回転させて例外値を0にして水平化白線画像(図10)を作成する(ステップS205)。ここで、白線画像gi,0を回転させる角度は、図領域の角度に90゜を加算した角度、又は、図領域の角度から90゜を減算した角度とする。
【0080】
次に、水平化白線画像の水平投影像(図10)を作成する(ステップS206)。
【0081】
次に、FFTなどを用いて水平投影像の自己相関関数(図10)を作成する(ステップS207)。
【0082】
次に、水平投影像の自己相関関数から車線の幅を検出する(ステップS208)。ここで、車線の幅は、自己相関関数の隣接ピーク間隔の平均値とする。
【0083】
次に、水平化白線画像を垂直方向に分割して複数個の小画像を作成する(図11)(ステップS209)。
【0084】
次に、すべての小画像の水平投影像(図12)を作成する(ステップS210)。
【0085】
次に、小画像の水平投影像ごとに水平投影像の最大値を検出する(ステップS211)。
【0086】
次に、水平投影像の最大値が指定値以上になっている小画像だけを選出する(ステップS212)。
【0087】
次に、選出された小画像の垂直投影像(図13)を作成する(ステップS213)。
【0088】
次に、FFTなどを用いてすべての垂直投影像の自己相関関数(図13)を作成する(ステップS214)。
【0089】
次に、垂直投影像の自己相関関数ごとに自己相関関数の諸特性を検出する(ステップS215)。ここで、自己相関関数の諸特性は、自己相関関数のピークの総数、自己相関関数の隣接ピーク間隔の平均値などとする。
【0090】
次に、車線の幅及び指定条件に基づいて(例えば、自己相関関数のピークの総数が指定数以上になっており、自己相関関数の隣接ピーク間隔の平均値が車線の幅の定数倍以上になっている)自己相関関数の諸特性を選出する(ステップS216)。
【0091】
次に、選出された自己相関関数の諸特性から車線境界線の周期liを計算し(ステップS217)、このフローチャートを終了する。ここで、車線境界線の周期liは、自己相関関数の隣接ピーク間隔の平均値(複数個)の平均値(1個)とする。
【0092】
図14は、車線境界線の動きベクトルの検出(ステップS5及びステップS12)のフローチャートである。
【0093】
このフローチャートでは、先ず、ピラミッド階層のカウンタjをjmaxに初期化する(ステップS301)。
【0094】
次に、車線境界線の動きベクトルbiを(0,0)に初期化する(ステップS302)。
【0095】
次に、テンプレートマッチングの探索範囲を初期化する(ステップS303)。ここで、探索範囲の中心はbi/2jとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は指定値とする。
【0096】
次に、テンプレート(白線画像)gi−1,jと被探索画像(白線画像)gi,jとのテンプレートマッチングで、車線境界線の動きベクトルbiを更新(検出)する(図15)(ステップS304)。ここで、座標系の原点は、被探索画像gi,jの左上端とし,テンプレートgi−1,jの座標は、テンプレートgi−1,jの左上端とし、車線境界線の動きベクトルbiは、テンプレートマッチングの類似度が最大になるテンプレートgi−1,jの座標の位置ベクトルとし、類似度は、例えば、差分絶対値の平均値の逆数とし、類似度を計算する部分は、テンプレートgi−1,jと被探索画像gi,jとが重なっている部分、かつ例外値領域に重なっていない部分とする。
【0097】
次に、カウンタjから1を減算する(ステップS305)。
【0098】
次に、テンプレートマッチングの探索範囲を更新する(ステップS306)。ここで、探索範囲の中心は、2biとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は、例えば、それぞれ0、1、0及び1とする。
【0099】
次に、カウンタjが0未満であるか否かを判定し(ステップS307)。カウンタjが0未満でない場合には、ステップS304に戻り、カウンタjが0未満である場合には、このフローチャートを終了する。
【0100】
図16は、白線除去画像の画像ピラミッドの作成(ステップS6及びステップS13)のフローチャートである。
【0101】
このフローチャートでは、先ず、ピラミッド階層のカウンタkを0に初期化する(ステップS401)。
【0102】
次に、空撮画像fiの複製画像hi,kを作成する(ステップS402)。
【0103】
次に、画像hi,k上の白線領域を例外値化(画素値を255に)する(ステップS403)。ここで、白線領域は、白線画像gi,k上の通常値が1以上の領域とする。
【0104】
次に、画像hi,k上の例外値領域を拡大し(ステップS404)、拡大後の画像hi,kを白線除去画像hi,kとする。ここで、例外値領域を拡大する部分は、例外値の画素の4近傍又は8近傍(図17)とする。
【0105】
次に、カウンタkに1を加算する(ステップS405)。
【0106】
次に、白線除去画像hi,k−1の縮小画像hi,kを作成する(ステップS406)。ここで、縮小画像hi,kの幅及び高さは、白線除去画像hi,k−1の幅及び高さの1/2とする。
【0107】
次に、カウンタkが上限値kmaxであるか否かを判定し(ステップS407)、カウンタkが上限値kmaxでない場合には、ステップS405に戻り、カウンタkが上限値kmaxである場合には、このフローチャートを終了する。
【0108】
図18は、動物体画像の作成(ステップS7及びステップS14)のフローチャートである。
【0109】
このフローチャートでは、先ず、空撮画像fi−1を水平方向及び垂直方向にシフトさせる(ステップS501)。ここで、空撮画像fi−1のシフトは、車線境界線の動きベクトルbiの分だけとする。
【0110】
次に、シフト後の空撮画像fi−1と空撮画像fiとの差分画像、すなわち動物体画像miを作成し(図19)(ステップS502)、このフローチャートを終了する。
【0111】
図20は、車両の座標及び動きベクトルの検出(ステップS15)のフローチャートである。
【0112】
このフローチャートでは、先ず、ピラミッド階層のカウンタkをkmaxに初期化する(ステップS601)。
【0113】
次に、車両の仮座標を車両の座標pi−1に初期化する(ステップS602)。
【0114】
次に、テンプレートマッチングの探索範囲を初期化する(ステップS603)。ここで、探索範囲の中心は車両の仮座標の1/2kとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は指定値とする。
【0115】
次に、白線除去画像hi−1,kから車両テンプレートを切り出す(作成する)(図21)(ステップS604)。ここで、車両テンプレートの切り出し元となる矩形領域の中心はpi−1/2kとし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0116】
次に、車両テンプレートと被探索画像(白線除去画像)hi,kとのテンプレートマッチングで、車両の仮座標を更新(検出)する(図22)(ステップS605)。ここで、座標系の原点は、被探索画像hi,kの左上端とし、車両テンプレートの座標は、車両テンプレートの中心とし、車両の仮座標は、テンプレートマッチングの類似度が最大になる車両テンプレートの座標とし、類似度は、例えば、差分絶対値の平均値の逆数とし、類似度を計算する部分は、車両テンプレートと被探索画像hi,kとが重なっている部分、かつ例外値領域に重なっていない部分とする。
【0117】
次に、カウンタkから1を減算する(ステップS606)。
【0118】
次に、テンプレートマッチングの探索範囲を更新する(ステップS607)。ここで、探索範囲の中心は、車両の仮座標の2倍とし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は、例えば、それぞれ0、1、0及び1とする。
【0119】
次に、カウンタkが0未満であるか否かを判定し(ステップS608)、カウンタkが0未満でない場合には、ステップS604に戻り、カウンタkが0未満である場合にはステップS609に進む。
【0120】
ステップS609では、動物体画像mi上に矩形領域を設定する(図23)。ここで、矩形領域の中心は車両の仮座標とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0121】
次に、動物体画像mi上の矩形領域から車両の重心を検出する(ステップS610)。ここで、車両の重心は、矩形領域内の画像(の絶対値)の重心とする。
【0122】
次に、車両の仮座標及び重心から車両の座標piを計算する(ステップS611)。ここで、車両の座標piは、車両の仮座標と車両の重心との中点とする。
【0123】
次に、車両の座標pi−1及び車両の座標piから車両の動きベクトルciを計算し(ステップS612)、このフローチャートを終了する。ここで、車両の動きベクトルciは、車両の座標piの位置ベクトルから車両の座標pi−1の位置ベクトルを減算したものとする。
【0124】
図24は、車両の座標の初期値の検出(ステップS8)のフローチャートである。
【0125】
このフローチャートでは、先ず、動物体画像mi上に矩形領域Aを設定する(図25)(ステップS701)。ここで、矩形領域Aの中心は動物体画像miの中心とし、矩形領域Aの幅及び高さは車両の幅及び高さよりもかなり大きめの指定値とする。
【0126】
次に、動物体画像mi上の矩形領域Aから車両の仮座標を検出する(ステップS702)。ここで、車両の仮座標は、矩形領域A内の画像(の絶対値)の重心とする。
【0127】
次に、動物体画像mi上に矩形領域Bを設定する(図26)(ステップS703)。ここで、矩形領域Bの中心は車両の仮座標とし、矩形領域Bの幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。
【0128】
次に、動物体画像mi上の矩形領域Bから車両の座標piの初期値p1を検出し(ステップS704)、このフローチャートを終了する。ここで、車両の座標piの初期値p1は、矩形領域B内の画像(の絶対値)の重心とする。
【0129】
本実施の形態によれば、車線境界線の周期を、白線画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、車線境界線の動きベクトルを、白線画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、車両の動きベクトルを、白線除去画像の画像ピラミッド及び動物体画像を用いて検出しているので、車両の速度及び形状の変化に対応しながら動物体以外の像に邪魔されずに、少ない計算量で高精度に検出でき、車両の長時間にわたる追跡が可能となる。
【0130】
また、車両の座標の初期値を、動物体画像を用いて検出しているので、動物体以外の像に邪魔されずに、車両の座標の初期値が、自動的に得られる。また、車両の速度よりも高精度な(ランダム誤差の小さい)速度である車両の速度の平均値が、自動的に得られる。
【0131】
また、車線境界線の周期を、自己相関関数を用いて検出しているので、車線境界線の白線部分が薄く消えかかっているような場合であっても、高精度に検出できる。
【0132】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
【0133】
例えば、上記実施の形態では、不動対象を白線(又は車線境界線)とし、移動対象を白線に沿って移動する車両(又は動物体)としたが、不動対象を白線以外のものとすることができるとともに、移動対象を車両以外のものとすることができる。
【0134】
また、上記実施の形態では、ステップS8で車両の座標の初期値を検出したが、車両の座標の初期値が予めわかっている場合には、ステップS8を省略することができる。
【0135】
また、上記実施の形態では、ステップS18で車両の速度の平均値を計算したが、車両の速度の平均値が不必要な場合には、ステップS18を省略することができる。
【産業上の利用可能性】
【0136】
本発明は、速度違反の取締りにおける車両の速度の計測などの車両の速度を計測する種々のアプリケーションに適用することができる。
【図面の簡単な説明】
【0137】
【図1】本発明による速度計測方法の実施の形態の動作を示すフローチャートである。
【図2】空撮画像、車線境界線の周期、車線境界線の動きベクトル、車両の座標及び動きベクトルを示す模式図である。
【図3】白線画像の画像ピラミッドを示す模式図である。
【図4】白線除去画像の画像ピラミッドを示す模式図である。
【図5】動物体画像を示す模式図である。
【図6】白線画像の画像ピラミッドの作成のフローチャートである。
【図7】ラプラシアンオペレータを示す模式図である。
【図8】車線境界線の周期の検出のフローチャートである。
【図9】白線画像の振幅特性の図領域及び地領域を示す模式図である。
【図10】水平化白線画像、水平化白線画像の水平投影像及び水平投影像の自己相関関数を示す模式図である。
【図11】水平化白線画像の分割方法を示す模式図である。
【図12】小画像及び小画像の水平投影像を示す模式図である。
【図13】小画像、小画像の垂直投影像及び垂直投影像の自己相関関数を示す模式図である。
【図14】車線境界線の動きベクトルの検出のフローチャートである。
【図15】白線画像間のテンプレートマッチングを示す模式図である。
【図16】白線除去画像の画像ピラミッドの作成のフローチャートである。
【図17】画素の4近傍及び8近傍を示す模式図である。
【図18】動物体画像の作成のフローチャートである。
【図19】動物体画像の作成方法を示す模式図である。
【図20】車両の座標及び動きベクトルの検出のフローチャートである。
【図21】車両テンプレートの切り出し元となる矩形領域の設定方法を示す模式図である。
【図22】車両テンプレートと白線除去画像とのテンプレートマッチングを示す模式図である。
【図23】矩形領域の設定方法を示す模式図である。
【図24】車両の座標の初期値の検出のフローチャートである。
【図25】矩形領域Aの設定方法を示す模式図である。
【図26】矩形領域Bの設定方法を示す模式図である。
【特許請求の範囲】
【請求項1】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像を、前記不動対象画像を用いて作成し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像及び前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする速度計測方法。
【請求項2】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像及び前記不動対象画像の画像ピラミッドを作成する不動対象画像画像ピラミッド作成ステップと、
前記不動対象の周期を、前記不動対象画像の画像ピラミッドを用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の画像ピラミッドを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像及び前記不動対象除去画像の画像ピラミッドを、前記不動対象画像の画像ピラミッドを用いて作成する不動対象除去画像画像ピラミッド作成ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像の画像ピラミッド及び前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする速度計測方法。
【請求項3】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする請求項2記載の速度計測方法。
【請求項4】
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする請求項2記載の速度計測方法。
【請求項5】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする請求項2記載の速度計測方法。
【請求項6】
前記不動対象画像画像ピラミッド作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像を再帰的に縮小して前記不動対象画像の画像ピラミッドを作成することを特徴とする請求項2記載の速度計測方法。
【請求項7】
前記不動対象周期検出ステップが、前記不動対象画像にFFTを適用して前記不動対象画像の周波数特性を作成し、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする請求項2記載の速度計測方法。
【請求項8】
前記不動対象動きベクトル検出ステップが、前記不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする請求項2記載の速度計測方法。
【請求項9】
前記不動対象除去画像画像ピラミッド作成ステップが、前記不動対象画像を用いて前記空撮画像から前記不動対象の像を除去して前記不動対象除去画像を作成し、前記不動対象除去画像を再帰的に縮小して前記不動対象除去画像の画像ピラミッドを作成することを特徴とする請求項2記載の速度計測方法。
【請求項10】
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする請求項2記載の速度計測方法。
【請求項11】
前記移動対象座標及び動きベクトル検出ステップが、前記不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し、前記車両テンプレートと前記不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を前記移動対象の仮座標とし、前記移動対象画像において前記移動対象の仮座標周辺の画像の重心を前記移動対象の重心とし、前記移動対象の仮座標と前記移動対象の重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする請求項2記載の速度計測方法。
【請求項1】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像を、前記不動対象画像を用いて作成し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像及び前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする速度計測方法。
【請求項2】
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像及び前記不動対象画像の画像ピラミッドを作成する不動対象画像画像ピラミッド作成ステップと、
前記不動対象の周期を、前記不動対象画像の画像ピラミッドを用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の画像ピラミッドを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像及び前記不動対象除去画像の画像ピラミッドを、前記不動対象画像の画像ピラミッドを用いて作成する不動対象除去画像画像ピラミッド作成ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像の画像ピラミッド及び前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする速度計測方法。
【請求項3】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする請求項2記載の速度計測方法。
【請求項4】
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする請求項2記載の速度計測方法。
【請求項5】
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする請求項2記載の速度計測方法。
【請求項6】
前記不動対象画像画像ピラミッド作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像を再帰的に縮小して前記不動対象画像の画像ピラミッドを作成することを特徴とする請求項2記載の速度計測方法。
【請求項7】
前記不動対象周期検出ステップが、前記不動対象画像にFFTを適用して前記不動対象画像の周波数特性を作成し、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする請求項2記載の速度計測方法。
【請求項8】
前記不動対象動きベクトル検出ステップが、前記不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする請求項2記載の速度計測方法。
【請求項9】
前記不動対象除去画像画像ピラミッド作成ステップが、前記不動対象画像を用いて前記空撮画像から前記不動対象の像を除去して前記不動対象除去画像を作成し、前記不動対象除去画像を再帰的に縮小して前記不動対象除去画像の画像ピラミッドを作成することを特徴とする請求項2記載の速度計測方法。
【請求項10】
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする請求項2記載の速度計測方法。
【請求項11】
前記移動対象座標及び動きベクトル検出ステップが、前記不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し、前記車両テンプレートと前記不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を前記移動対象の仮座標とし、前記移動対象画像において前記移動対象の仮座標周辺の画像の重心を前記移動対象の重心とし、前記移動対象の仮座標と前記移動対象の重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする請求項2記載の速度計測方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2009−129181(P2009−129181A)
【公開日】平成21年6月11日(2009.6.11)
【国際特許分類】
【出願番号】特願2007−303367(P2007−303367)
【出願日】平成19年11月22日(2007.11.22)
【出願人】(000209751)池上通信機株式会社 (123)
【Fターム(参考)】
【公開日】平成21年6月11日(2009.6.11)
【国際特許分類】
【出願日】平成19年11月22日(2007.11.22)
【出願人】(000209751)池上通信機株式会社 (123)
【Fターム(参考)】
[ Back to top ]