二輪車検出装置、信号制御システム、二輪車検出システム、二輪車検出方法及びコンピュータプログラム
【課題】環境変化に影響されず、かつ広範囲で従来よりも二輪車を正確に検出することができる二輪車検出装置、該二輪車検出装置を備える信号制御システム、前記二輪車検出装置を備える二輪車検出システム、二輪車検出方法、及び前記二輪車検出装置を実現するコンピュータプログラムを提供する。
【解決手段】ＣＰＵ２８は、撮像画像の画素の動きベクトルの角度差を算出し、算出した角度差が閾値以下であるか否かを判定し、算出された角度差が閾値以下である画素であって、隣接する画素を連結した連結ブロックを特定する。ＣＰＵ２８は、特定された連結ブロックの撮像画像上の座標に基づいて、縦寸法及び横寸法を算出した上で、縦寸法が横寸法より大きいか否かを判定し、縦寸法が横寸法より大きい場合、連結ブロックに対応する移動体を二輪車として検出する。
【解決手段】ＣＰＵ２８は、撮像画像の画素の動きベクトルの角度差を算出し、算出した角度差が閾値以下であるか否かを判定し、算出された角度差が閾値以下である画素であって、隣接する画素を連結した連結ブロックを特定する。ＣＰＵ２８は、特定された連結ブロックの撮像画像上の座標に基づいて、縦寸法及び横寸法を算出した上で、縦寸法が横寸法より大きいか否かを判定し、縦寸法が横寸法より大きい場合、連結ブロックに対応する移動体を二輪車として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を含む領域を撮像装置で撮像して得られた撮像画像を処理して、二輪車を検出する二輪車検出装置、該二輪車検出装置を備える信号制御システム、前記二輪車検出装置を備える二輪車検出システム、二輪車検出方法、及び前記二輪車検出装置を実現するコンピュータプログラムに関する。
【背景技術】
【０００２】
円滑な交通又は交通事故抑止のために、道路上の車両に関する詳細な交通情報を提供するシステムが求められており、特に二輪車の速度、位置などの検出情報を用いて交差点内事故を抑止するシステムの各種実験が行われており、その有効性も実証されつつある。
【０００３】
二輪車が関連する事故としては、交差点で車両が右折する場合に、対向車に隠れた二輪車との衝突事故、交差点で車両が左折する場合に、二輪車を巻き込む事故などがあり、これらの事故は多発している。二輪車の事故を未然に防止するために、交差点に接近する二輪車を検知し、近隣の車両に二輪車の位置又は移動方向などの情報を提供するために二輪車を検出するシステムが提案されている。
【０００４】
例えば、路面上から車線幅方向の1次元の光量信号を得るように路面上方に、１次元ＣＣＤカメラを設置し、路面上には光量信号に変調を与えるようにＣＣＤカメラの視野内で間欠的なマーキングを施しておく。車両がＣＣＤカメラの視野内を通過した場合、マーキングからの光量信号が変調され、その変調の幅が小さい車両を二輪車として検出する車両検出装置が提案されている（特許文献１参照）。
【０００５】
また、予め作成した車両が存在しない道路のみの映像（背景画像）におけるエッジ情報と、車両が存在する場合の映像におけるエッジ情報との差分を算出し、車両のみのエッジ情報を抽出し、抽出したエッジ情報に対して膨張収縮処理等を行った結果に基づいて、車両範囲を検出する。検出された車両範囲の大きさにより二輪車の識別を行うシステムが提案されている（非特許文献１参照）。
【特許文献１】特開平６−２４２２５９号公報
【非特許文献１】電学論Ｃ、１２２巻２号、平成１４年、「交通流計測における適用環境の拡大と二輪車の判別」、小沢慎治、他２名
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の装置にあっては、二輪車を検出することができる範囲が、路面の車線幅方向のごく狭い範囲に限定されているため、交差点のような広範囲で、二輪車を検出することができないという問題があった。
【０００７】
また、非特許文献１のシステムにあっては、交差点付近の事故が発生し易い時間帯の場合、交差点付近を走行する車両数が多いため、背景画像を精度良く作成することが困難である。このため、誤って車両が存在する映像を背景画像とした場合、車両が存在しない場合でも、車両が存在すると誤検出する虞があった。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することにより、環境変化に影響されず、かつ広範囲で従来よりも二輪車を正確に検出することができる二輪車検出装置、二輪車検出方法、及び前記二輪車検出装置を実現するコンピュータプログラムを提供することを目的とする。
【０００９】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出し、前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出することにより、従来よりも二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１０】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出し、算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１１】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出し、算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１２】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出し、算出された距離に基づいて、前記高さ閾値を変更することにより、広範囲に亘って二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１３】
また、本発明の他の目的は、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて第１の動きベクトルを算出し、算出された第１の動きベクトルに対応して移動して得られた新たな撮像画像及び撮像時点が異なる他の撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第２の動きベクトルを算出し、算出された第１及び第２の動きベクトルを合成することにより、二輪車の動きの大小に拘わらず、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１４】
また、本発明の他の目的は、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１５】
また、本発明の他の目的は、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出することにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１６】
また、本発明の他の目的は、前記画素ブロック又は局所領域を横長の矩形状にすることにより、二輪車の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１７】
また、本発明の他の目的は、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことにより、路面上の不要な情報を抑制して精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１８】
また、本発明の他の目的は、撮像画像の画素の動きベクトルを取得する手段を備えることにより、多地点又は遠隔地点における二輪車を集中的に検出することができる二輪車検出装置を提供することにある。
【００１９】
また、本発明の他の目的は、二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置を備えることにより、二輪車事故を抑制することができる信号制御システムを提供することにある。
【００２０】
また、本発明の他の目的は、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの撮像画像上の座標に基づいて、二輪車の位置、速度、又は移動方向を算出し、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定し、判定結果を出力することにより、二輪車事故を抑制することができる二輪車検出システムを提供することにある。
【課題を解決するための手段】
【００２１】
第１発明に係る二輪車検出装置は、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置において、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段とを備えることを特徴とする。
【００２２】
第２発明に係る二輪車検出装置は、第１発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出する算出手段を備え、前記検出手段は、前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出すべくなしてあることを特徴とする。
【００２３】
第３発明に係る二輪車検出装置は、第１発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出する算出手段を備え、前記検出手段は、前記算出手段で算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする。
【００２４】
第４発明に係る二輪車検出装置は、第１発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出する算出手段を備え、前記検出手段は、前記算出手段で算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする。
【００２５】
第５発明に係る二輪車検出装置は、第４発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出する手段と、該手段で算出された距離に基づいて、前記高さ閾値を変更する手段とを備えることを特徴とする。
【００２６】
第６発明に係る二輪車検出装置は、第１発明乃至第５発明のいずれかにおいて、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する手段と、該手段で算出された第１の動きベクトルに応じて前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、前記新たな撮像画像の画素の第２の動きベクトルを算出する手段とを備え、両手段で算出された第１及び第２の動きベクトルの合成ベクトルを撮像画像の画素の動きベクトルとすることを特徴とする。
【００２７】
第７発明に係る二輪車検出装置は、第６発明において、前記画素ブロック又は局所領域の大きさは、撮像画像の遠距離に対応する領域よりも撮像画像の近距離に対応する領域で大きいことを特徴とする。
【００２８】
第８発明に係る二輪車検出装置は、第１発明乃至第５発明のいずれかにおいて、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段とを備え、両手段で算出された動きベクトルを撮像画像の画素の動きベクトルとすることを特徴とする。
【００２９】
第９発明に係る二輪車検出装置は、第６発明乃至第８発明のいずれかにおいて、前記画素ブロック又は局所領域は、横長の矩形状であることを特徴とする。
【００３０】
第１０発明に係る二輪車検出装置は、第９発明において、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことを特徴とする。
【００３１】
第１１発明に係る二輪車検出装置は、第１発明乃至第５発明のいずれかにおいて、撮像画像の画素の動きベクトルを取得する手段を備えることを特徴とする。
【００３２】
第１２発明に係る信号制御システムは、第１発明乃至第１１発明のいずれかに係る二輪車検出装置と、該二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置とを備えることを特徴とする。
【００３３】
第１３発明に係る二輪車検出システムは、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置と、該二輪車検出装置で検出された二輪車に関する情報を報知する報知装置とを備える二輪車検出システムにおいて、前記二輪車検出装置は、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段と、特定された連結ブロックの撮像画像上の座標に基づいて、前記検出手段で検出された二輪車の位置、速度、又は移動方向を算出する手段と、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定する手段と、該手段で判定した判定結果を前記報知装置へ出力する手段とを備え、前記報知装置は、前記判定結果を出力する手段を備えることを特徴とする。
【００３４】
第１４発明に係る二輪車検出方法は、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出方法において、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することを特徴とする。
【００３５】
第１５発明に係るコンピュータプログラムは、コンピュータに、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出させるためのコンピュータプログラムにおいて、コンピュータを、撮像画像の画素の動きベクトルの角度差を算出する手段と、該手段で算出された角度差が閾値以下であるか否かを判定する手段と、前記角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、該手段によって特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する手段として機能させることを特徴とする。
【００３６】
第１発明、第１４発明、及び第１５発明にあっては、撮像画像の画素毎の動きベクトルの角度差が閾値以下である画素を連結した連結ブロックを特定する。これにより、位置変化がない道路上の影、路面標記などを排除して、道路を走行する移動体を特定する。なお、連結ブロックを特定する場合、動きベクトルの角度差が閾値以下であり、かつ隣接した画素を連結することもできる。検出手段は、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する。例えば、連結ブロックが特定された場合、該連結ブロックが所定の寸法より大きい場合、前記連結ブロックに対応する移動体は、二輪車以外の車両であるとし、所定の寸法より小さい場合、二輪車として検出する。
【００３７】
第２発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出する。前記検出手段は、前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出する。二輪車に対応する撮像画像は、縦寸法が横寸法より大きいため、特定された連結ブロックの縦横寸法に応じて二輪車を検出する。
【００３８】
第３発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出する。前記検出手段は、前記算出手段で算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出する。これにより、幅閾値を二輪車の実際の幅程度に予め定めておくことにより、撮像画像上の座標に応じて連結ブロックの大きさが変化する場合であっても、二輪車以外の車両と区別して二輪車を検出する。
【００３９】
第４発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出する。前記検出手段は、前記算出手段で算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出する。これにより、高さ閾値を二輪車の実際の高さ程度に予め定めておくことにより、撮像画像上の座標に応じて連結ブロックの大きさが変化する場合であっても、二輪車以外の車両と区別して二輪車を検出する。
【００４０】
第５発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出し、算出された距離に基づいて、前記高さ閾値を変更する。例えば、移動体が二輪車であるとした場合、二輪車までの距離が近いときには、二輪車の撮像画像上での高さは、二輪車先端部と二輪車後端部との距離に対応する。一方、二輪車までの距離が遠いときには、二輪車の撮像画像上での高さは、二輪車先端部と搭乗者の頭部との距離に対応する。移動体までの距離に応じて、高さ閾値を変更することにより、移動体までの距離に拘わらず広範囲で二輪車以外の車両と区別して二輪車を検出する。
【００４１】
第６発明にあっては、撮像時点の異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロック（例えば、注目画素とその周辺の画素で構成される）を用いたブロックマッチング法に基づいて、画素ブロックの撮像画像での位置変化を求め、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する。算出された第１の動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、局所領域でのオプティカルフローが一定という拘束条件のもと、前記新たな撮像画像の画素の第２の動きベクトルを算出し、ブロックマッチング法及び勾配法により算出された第１及び第２の動きベクトルを合成して動きベクトルを算出する。
【００４２】
第７発明にあっては、撮像画像の遠距離に対応する領域（すなわち、撮像画像において車両までの距離が遠い領域）では、前記画素ブロック又は局所領域の大きさを小さくし、撮像画像の近距離に対応する領域（すなわち、撮像画像において車両までの距離が近い領域）では、前記画素ブロック又は局所領域の大きさを大きくする。これにより、前記画素ブロック又は局所領域の大きさを撮像画像での二輪車の大きさに近づける。
【００４３】
第８発明にあっては、撮像画像の遠距離に対応する領域では、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きが小さく、例えば、１画素未満の微小な動きであっても動きベクトルを算出する。一方、撮像画像の近距離に対応する領域では、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きがより大きい動きベクトルを算出する。
【００４４】
第９発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にする。これにより、連結ブロック内の動きベクトルを算出する場合に、前記画素ブロック又は局所領域の縦方向に応じて変動する二輪車部分の路面からの高さ、又は二輪車部分までの距離の影響を少なくしつつ、所要の画素ブロック又は局所領域の大きさを確保する。
【００４５】
第１０発明にあっては、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しい。これにより、連結ブロック内の動きベクトルを算出する場合に、二輪車部分以外の領域、例えば、路面上の不要な情報が前記画素ブロック又は局所領域内に入ることを抑制する。
【００４６】
第１１発明にあっては、予め算出された動きベクトルを取得する。
【００４７】
第１２発明にあっては、二輪車が検出された検出結果に基づいて信号灯器を制御する。例えば、二輪車が検出された場合、信号灯器の点灯表示を変更することにより、左折車両又は右折車両の進入を抑制する。
【００４８】
第１３発明にあっては、前記二輪車検出装置は、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する。前記二輪車検出装置は、特定された連結ブロックの撮像画像上の座標に基づいて、前記検出手段で検出された二輪車の位置、速度、又は移動方向を算出し、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定する。前記二輪車検出装置は、例えば、前記二輪車が所定の道路領域に閾値時間内に進入する場合、判定結果を前記報知装置へ出力する。該報知装置は、所定の道路領域に二輪車が閾値時間内に進入することを出力することにより、二輪車が近づいていることを報知する。
【発明の効果】
【００４９】
第１発明、第１４発明、及び第１５発明にあっては、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することにより、環境変化に影響されず、かつ広範囲で従来よりも二輪車を正確に検出することができる。
【００５０】
第２発明にあっては、特定された連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【００５１】
第３発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出し、算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【００５２】
第４発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出し、算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【００５３】
第５発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出し、算出された距離に基づいて、前記高さ閾値を変更することにより、広範囲に亘って二輪車を正確に検出することができる。
【００５４】
第６発明にあっては、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像の画素ブロックを用いたブロックマッチング法に基づいて第１の動きベクトルを算出し、算出された第１の動きベクトルに対応して前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第２の動きベクトルを算出し、算出した第１及び第２の動きベクトルを合成して動きベクトルとすることにより、二輪車の動きが大きい場合でも、微小な動きである場合でも、精度良く二輪車を検出することができる。
【００５５】
第７発明にあっては、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる。
【００５６】
第８発明にあっては、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出することにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる。
【００５７】
第９発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にすることにより、二輪車の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く二輪車を検出することができる。
【００５８】
第１０発明にあっては、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことにより、路面上の不要な情報を抑制して精度良く二輪車を検出することができる。
【００５９】
第１１発明にあっては、撮像画像の画素の動きベクトルを取得する手段を備えることにより、多地点又は遠隔地点における二輪車を集中的に検出することができる。また、ビデオカメラの画角等の調整やビデオカメラの保守も集中的に対応できる。このため、システム全体のコスト低減を実現できる。
【００６０】
第１２発明にあっては、二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置を備えることにより、二輪車事故を抑制することができる。
【００６１】
第１３発明にあっては、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの撮像画像上の座標に基づいて、二輪車の位置、速度、又は移動方向を算出し、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定し、判定結果を出力することにより、二輪車事故を抑制することができる。
【発明を実施するための最良の形態】
【００６２】
実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る二輪車検出装置を含む二輪車検出システム及び信号制御システムの概要を示す模式図である。図において、二輪車検出システムは、ビデオカメラ１、二輪車検出装置２、制御装置３、警告表示板６、無線発信装置７などを備えている。また、信号制御システムは、ビデオカメラ１、二輪車検出装置２、制御装置３、信号灯器４などを備えている。
【００６３】
ビデオカメラ１は、交差点近傍に設置され、道路を含む領域を撮像する。ビデオカメラ１の光軸は、例えば、交差点付近の停止線から５０ｍの範囲にある道路（二輪車検出範囲）に存在する二輪車を撮像するように道路方向に沿って配置してある。これにより、ビデオカメラ１は、交差点の上流５０ｍの位置から交差点に向かって走行する二輪車を撮像する。
【００６４】
ビデオカメラ１には、二輪車検出装置２を接続してある。二輪車検出装置２は、ビデオカメラ１で撮像して得られた撮像画像を処理して二輪車を検出するとともに、二輪車の速度、位置、移動方向などを算出する。二輪車検出装置２には、通信線５を介して制御装置３を接続してあり、二輪車の検出結果を制御装置３へ出力する。制御装置３には、信号灯器４、４、警告表示板６、６、無線発信装置７などを接続してある。
【００６５】
制御装置３は、二輪車検出装置２から出力された二輪車の検出結果に基づいて、信号灯器４の表示を制御する。例えば、交差点に二輪車が接近している場合、信号灯の表示時間を変更する。また、制御装置３は、二輪車検出装置２から出力された二輪車の検出結果に基づいて、警告表示板６に文字又は画像などにより、二輪車が交差点付近にいることを報知する。また、制御装置３は、二輪車検出装置２から出力された二輪車の検出結果に基づいて、無線発信装置７を通じて、二輪車が交差点付近にいることを交差点付近の車両に報知する。これにより、交差点で車両が右折する場合に対向車に隠れた二輪車との衝突事故、又は交差点で車両が左折する場合に二輪車を巻き込む事故などを未然に防止する。
【００６６】
図２は二輪車検出装置２及び制御装置３の構成を示すブロック図である。図において、１はビデオカメラである。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力し、Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ２８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ２３へ記憶する。ＣＰＵ２８は、画像入力部２１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ２３に記憶する。
【００６７】
補助記憶部２７は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。ＣＰＵ２８は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。二輪車検出装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２８で実行することにより、後述する動きベクトル算出処理、二輪車検出処理などを実現する。なお、ＣＰＵ２８は、二輪車が二輪車検出範囲に存在する間、所定の処理を繰り返すことができる。
【００６８】
画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶する。
【００６９】
記憶部２６は、コンピュータプログラムＰＧをＣＰＵ２８で実行することにより、得られた動きベクトルの算出結果、二輪車の検出処理結果を各フレームに対応して記憶している。
【００７０】
通信部２５は、二輪車検出装置２で検出した二輪車に関する検出結果（報知情報）を、通信線５を介して制御装置３へ出力する。
【００７１】
制御装置３の通信部３１は、二輪車検出装置２から出力された二輪車の検出結果（報知情報）を受け付け、ＣＰＵ３５の制御のもと、記憶部３２に記憶する。また、通信部３１は、信号灯器４の信号表示を制御するための制御信号を出力する。また、通信部３１は、警告表示板６、及び無線発信装置７で二輪車に関する警告を出力するために必要な制御信号を出力する。
【００７２】
記憶部３２は、信号灯器４の信号表示を制御するために用いられる信号表示データ３２１、信号表示を計画する表示計画データ３２２などを記憶している。信号表示データ３２１は、月日、曜日、時間帯、交差点の交通量などに応じて、信号灯器４の青表示、黄表示、及び赤表示の各表示時間などを設定してある。
【００７３】
ＣＰＵ３５は、補助記憶部３４で読み込まれたコンピュータプログラムをＲＡＭ３３にロードし、該コンピュータプログラムを実行することにより、信号灯器４の制御処理を行う。より具体的には、ＣＰＵ３５は、記憶部３２に記憶された二輪車の検出結果に基づいて、二輪車が交差点を安全に通過できない場合には、黄表示又は赤表示になる時刻を早くする、又は青表示の時刻を延長するよう表示計画を変更して表示計画データ３２２を更新する。また、二輪車が交差点を安全に通過できる場合には、表示計画を変更しない。
【００７４】
図３は撮像画像の一例を示す説明図である。図に示すように、二輪車検出装置２は、例えば、交差点の停止線から５０ｍの範囲であって、片側２車線の道路を走行する車両をビデオカメラ１で撮像して得られた撮像画像に基づいて、二輪車以外の車両と区別して二輪車を検出する。
【００７５】
図４は画素の動きベクトルを示す説明図である。図に示すように、撮像時点ｔkの撮像画像における画素Ｐjの座標が（ｘk、ｙk）、撮像時点ｔk+1の撮像画像における画素Ｐjの座標が（ｘk+1、ｙk+1）である場合、動きベクトルＰＶjは、（ｘk+1−ｘk、ｙk+1−ｙk）となる。異なる撮像時点の時間間隔は、１フレーム間隔でもよく、また、数フレーム間隔であってもよい。なお、上述の画素は、複数の画素で構成される画素ブロックであってもよい。この場合は、画素ブロック毎に動きベクトルが決定される。
【００７６】
図５は本発明に係る二輪車検出装置の動きベクトルの算出例を示す説明図である。動きベクトルの算出方法は、ブロックマッチング法と勾配法とがある。本発明においては、ブロックマッチング法及び勾配法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。
【００７７】
まず、ブロックマッチング法について説明する。ブロックマッチング法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。ブロックマッチング法は、時刻ｔの撮像画像において、注目画素Ｐ１を中心とする横長の矩形領域をテンプレートとして登録し、時刻ｔ＋１の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素位置Ｐ２を検出するものである。
【００７８】
相関値は、数１の式で表される。
【００７９】
【数１】
【００８０】
ここで、矩形領域のサイズをＵｘＷ（Ｕ、Ｗは整数）、時刻ｔにおける撮像画像の座標（ｘ、ｙ）の画素の輝度値をＩ（ｘ、ｙ、ｔ）、−Ｗ／２≦ｉ≦Ｗ／２、−Ｕ／２≦ｊ≦Ｕ／２（ｉ、ｊは整数）であり、−１≦相関値≦１である。また、数２の式は矩形領域内の平均輝度値である。
【００８１】
【数２】
【００８２】
上述の通り、ブロックマッチング法は、横長の矩形領域（画素ブロック）の大きさを適宜変更することにより、動き量が大きい場合の動きベクトルを算出することができる。
【００８３】
次に、勾配法について説明する。勾配法は、動画像の各フレームのオプティカルフロー（動きベクトルの場）を求める方法として、各画素における輝度（明るさ）の空間的勾配と時間的勾配の関係を用いるものである。すなわち、勾配法は、撮像画像の輝度分布が動きに際して不変に保たれると仮定した勾配拘束式（すなわち、輝度の空間的勾配と時間的勾配の関係式）に基づいて、オプティカルフローを求める方法である。勾配法のうち、空間的局所最適化法は、特に計算量が少なく精度良好な方法であり、以下に説明する。
【００８４】
勾配法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。時刻ｔにおける撮像画像の座標（ｘ、ｙ）の画素の輝度をＩ（ｘ、ｙ、ｔ）とする。時刻ｔ＋１（時刻ｔに対してδｔだけ時間が経過したとする）において、座標（ｘ、ｙ）の画素が座標（ｘ＋δｘ、ｙ＋δｙ）に移動したとする。ここで、輝度は変化しないと仮定すると、Ｉ（ｘ、ｙ、ｔ）＝Ｉ（ｘ＋δｘ、ｙ＋δｙ、ｔ＋δｔ）の関係式が成立する。
【００８５】
上式の右辺をテイラー展開すると、数３の式が得られる。
【００８６】
【数３】
【００８７】
ε（ｘ、ｙ、ｔ）は、２次以上の高次の項であり、微小であるためこれを無視するとともに、数３の式の両辺δｔで割り、δｔを０に近づけると、数４の式を得る。この式は、オプティカルフローの勾配拘束式と呼ばれる。
【００８８】
【数４】
【００８９】
ここで、輝度勾配をＩｘ＝∂Ｉ／∂ｘ、Ｉｙ＝∂Ｉ／∂ｙ、時間勾配をＩｔ＝∂Ｉ／∂ｔとし、オプティカルフローをｕ＝δｘ／δｔ、ｖ＝δｙ／δｔとする。
【００９０】
所要の横長の局所領域（Ｍ×Ｎ）（Ｍ、Ｎは整数）でオプティカルフローが一定であるという拘束条件を付加すると、前記局所領域で得られるオプティカルフローは、同一の解を持つと仮定するので、誤差Ｅは数５の式で表される。ここで、−Ｍ／２≦ｉ≦Ｍ／２、−Ｎ／２≦ｊ≦Ｎ／２（ｉ、ｊは整数）は前記局所領域内の座標である。
【００９１】
【数５】
【００９２】
最小２乗法の考え方から、∂Ｅ／∂ｕ＝０、∂Ｅ／∂ｖ＝０を算出し、前記局所領域内で重み付け平滑化すると、数６の（１）式及び（２）式を得る。ここでｗi,jは重み付けマトリクスであり、前記局所領域の中央部ほど重み付けが大きくなるような分布を持つマトリクスを使用することができる。
【００９３】
【数６】
【００９４】
数６の式を解くことにより、オプティカルフロー（ｕ、ｖ）、すなわち、動きベクトルが数７の（３）式、（４）式、及び（５）式のように得られる。
【００９５】
【数７】
【００９６】
上述の通り、勾配法は、ブロックマッチング法のように画素ブロックを用いる必要がないため、１画素未満の微小な動きベクトルであっても算出することができる。
【００９７】
図５に示すように、本発明に係る二輪車検出装置の動きベクトルの算出法は、まずブロックマッチング法により、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いて前記第１の撮像時点における撮像画像の画素の大きな動きベクトル（第１の動きベクトル）を算出する。算出した動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法により動きベクトル（第２の動きベクトル）を算出し、夫々の方法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。これにより、ブロックマッチング法により、大きな動きベクトルを算出するとともに、ブロックマッチング法では、算出することができない１画素未満の微小な動きベクトルも算出し、両者の動きベクトルを合成することにより、精度良く動きベクトルを求めることが可能になる。
【００９８】
次に、本発明に係る二輪車検出装置２の処理手順について説明する。図６は二輪車検出装置２の動きベクトル算出の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔのフレームｆt、撮像時点ｔ＋１のフレームｆt+1）を画像メモリ２３から取得する（Ｓ１０）。
【００９９】
ＣＰＵ２８は、取得した一方の撮像画像の画素ブロック（例えば、７×１５画素）毎に、画素ブロック内画素が有する輝度値（又は階調値など）に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する（Ｓ１１）。２つの撮像画像間で一致する画素ブロックを特定する場合、上述した相関値を用いることができる。
【０１００】
ＣＰＵ２８は、２つの撮像画像で一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、ブロックマッチング法による各画素の動きベクトルを算出する（Ｓ１２）。なお、座標変化が無い場合は、動きベクトルはゼロである。
【０１０１】
ＣＰＵ２８は、撮像時点ｔにおける撮像画像の画素毎に算出した動きベクトルに応じて、各画素を動きベクトル分（大きさ及び方向）だけ移動させた撮像画像を生成する（Ｓ１３）。
【０１０２】
ＣＰＵ２８は、生成した撮像画像及び撮像時点ｔ＋１における撮像画像に対して、勾配法により動きベクトルを算出し（Ｓ１４）、ブロックマッチング法により算出した動きベクトルと勾配法により算出した動きベクトルを合成して最終的な動きベクトルを算出する（Ｓ１５）。
【０１０３】
ＣＰＵ２８は、算出された動きベクトルの角度差を算出し（Ｓ１６）、算出した角度差が閾値以下であるか否かを判定し（Ｓ１７）、算出された角度差が閾値以下である場合（Ｓ１７でＹＥＳ）、すべての動きベクトルについて処理したか否かを判定し（Ｓ１８）、すべての動きベクトルについて処理した場合（Ｓ１８でＹＥＳ）、角度差が閾値以下である画素であって、隣接する画素を連結した連結ブロックを特定する（Ｓ１９）。
【０１０４】
一方、算出された角度差が閾値以下でない場合（Ｓ１７でＮＯ）、又はすべての動きベクトルについて処理していない場合（Ｓ１８でＮＯ）、ＣＰＵ２８は、ステップＳ１６以降の処理を続ける。
【０１０５】
これにより、動きベクトルの方向が異なる画素は、ノイズとして除去する。また、連結ブロックは走行車両に対応する。なお、連結ブロックを特定する場合に、連結ブロックを構成する画素の数が、予め定めた閾値より小さい場合は、ノイズとして除去することもできる。
【０１０６】
ＣＰＵ２８は、動きベクトルの算出処理の終了要求を受け付けたか否かを判定し（Ｓ２０）、処理終了でない場合（Ｓ２０でＮＯ）には、ステップＳ１０以降の処理を続ける。処理終了である場合（Ｓ２０でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【０１０７】
図７は二輪車検出装置２の二輪車検出の処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックに基づいて、二輪車検出処理を行う（Ｓ３０）。なお、二輪車検出処理については、後述する。ＣＰＵ２８は、二輪車として検出された連結ブロックの撮像画像上の最も下側の位置（座標）の動きベクトルの始点位置を二輪車の位置とし、その動きベクトルの大きさを二輪車の速度とし、その動きベクトルの方向を二輪車の移動方向として算出する（Ｓ３１）。
【０１０８】
ＣＰＵ２８は、算出された位置、速度、移動方向に基づいて、二輪車が予め定められた危険領域（例えば、交差点付近の左折車巻き込みゾーン、右折車衝突ゾーン）への到達時間を算出する（Ｓ３２）。ＣＰＵ２８は、算出した到達時間が所定の閾値より小さいか否かを判定する（Ｓ３３）。
【０１０９】
到達時間が閾値より小さい場合（Ｓ３３でＹＥＳ）、ＣＰＵ２８は、報知情報（二輪車検出結果）を出力する（Ｓ３４）。これにより、二輪車検出装置２は、交差点付近の危険領域に二輪車が接近していることを報知することができる。ＣＰＵ２８は、二輪車検出処理の終了要求を受け付けたか否かを判定し（Ｓ３５）、処理終了でない場合（Ｓ３５でＮＯ）には、ステップＳ３０以降の処理を続ける。
【０１１０】
到達時間が閾値より大きい場合（Ｓ３３でＮＯ）、ＣＰＵ２８は、ステップＳ３５以降の処理を続ける。一方、処理終了である場合（Ｓ３５でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【０１１１】
次に二輪車検出処理について説明する。図８は二輪車検出処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックの撮像画像上の座標に基づいて、縦寸法及び横寸法を算出した上で、縦寸法が横寸法より大きいか否かを判定する（Ｓ３０１）。
【０１１２】
縦寸法が横寸法より大きい場合（Ｓ３０１でＹＥＳ）、ＣＰＵ２８は、特定された連結ブロックに対応する移動体を二輪車として記録する（Ｓ３０２）。ＣＰＵ２８は、すべての連結ブロックについて処理を行ったか否かを判定する（Ｓ３０３）。
【０１１３】
すべての連結ブロックについて処理を行っていない場合（Ｓ３０３でＮＯ）、ＣＰＵ２８は、ステップＳ３０１以降の処理を続ける。連結ブロックの縦寸法が横寸法より小さい場合（Ｓ３０１でＮＯ）、ＣＰＵ２８は、ステップＳ３０３以降の処理を続ける。すべての連結ブロックについて処理を行った場合（Ｓ３０３でＹＥＳ）、ＣＰＵ２８は、処理を終了する。これにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【０１１４】
上述の処理は、撮像画像１フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。
【０１１５】
連結ブロックの動きベクトルの始点位置から、連結ブロックに対応する二輪車の位置（二輪車までの距離）は、例えば、数８の式（６）、（７）で表される式に基づいて行うことができる。
【０１１６】
【数８】
【０１１７】
図９は実空間座標及び撮像面座標の関係を示す説明図である。実空間での座標系を（Ｘ、Ｙ、Ｚ）、撮像画像上での座標系を（ｘ、ｙ）とする。実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。撮像画像面上でのｘ軸方向を実空間でのＸ方向に平行とし、撮像画像面上でのｙ軸方向を実空間でのＹ方向とし、ビデオカメラ俯角（ビデオカメラの光軸とＹ軸方向とがなす角度）をαとなるように設置する。また、ビデオカメラレンズの焦点距離をＦ、ビデオカメラの設置高さをＨ、撮像画像面のｙ軸方向の大きさ（寸法）をＱｙ、撮像面のｙ軸方向の画素数をＮｙとし、撮像画像面のｘ軸方向の大きさ（寸法）をＱｘ、撮像面のｘ軸方向の画素数をＮｘとする。なお、二輪車の高さは０（すなわち、路面上の位置）とする。
【０１１８】
図１０は連結ブロックの例を示す説明図である。図に示すように、撮像画像を所定の画素で分割し、各画素の動きベクトルを算出し、算出した動きベクトルの角度差が閾値以下である画素であって、隣接する画素のみを連結することにより、連結ブロックを特定する。動きベクトルの角度差が閾値以下の画素であっても、離隔している画素はノイズとして除去する。また、連結された画素の数が所定の閾値以下の場合も、ノイズとして除去することにより、連結ブロックにより走行車両を精度良く特定することができる。さらに特定された連結ブロックの大きさ（縦横寸法）に基づいて、二輪車以外の車両から二輪車を区別して、二輪車を検出する。
【０１１９】
図１１は連結ブロックにより特定された二輪車の例を示す説明図である。上述の通り、ビデオカメラ１は、片側２車線の道路を含む領域を撮像するように配置してある。ある撮像時点における撮像画像の二輪車は、二輪車以外の車両を除外して連結ブロックにより特定される。
【０１２０】
図１２は危険領域の例を示す説明図である。図に示すように、危険領域は、例えば、交差点の上流側の道路であって、路肩沿いの車線の交差点近傍領域である左折車巻き込みゾーン、及び交差点中央部の対向車線と重なる領域である右折車衝突ゾーンにより構成される。ビデオカメラ１を設置した状態で撮像される撮像領域内に、この危険領域の位置を予め設定しておくことができる。なお、交差点付近に複数のビデオカメラを設置して、危険領域を複数設定することもできる。
【０１２１】
図１３は二輪車検出装置２で算出される算出情報を示す説明図である。図１３（ａ）に示すように、１フレームの撮像画像は、例えば、４８０×６４０の画素Ｐ1、Ｐ2、…Ｐnに分割される。図１３（ｂ）に示すように、画素毎に算出された動きベクトルＰＶ1、ＰＶ2、…ＰＶnが記録される。動きが検出されなかった画素の動きベクトルはゼロである。図１３（ｃ）に示すように、１フレームの撮像画像毎に、検出された二輪車の数（連結ブロック数）、二輪車毎の速度ｖ１、…、二輪車毎の位置Ｙ１、…、二輪車毎の移動方向θ１、…などを記録する。なお、移動方向θ１は、動きベクトルの向きが垂直方向（撮像画像の上下方向）となす角度などにより表すことができる。
【０１２２】
実施の形態２
上述の実施の形態１においては、連結ブロックの縦寸法と横寸法との差に基づいて、連結ブロックから二輪車を検出する場合について説明したが、二輪車の検出は、これに限定されるものではない。
【０１２３】
図１４は実施の形態２に係る二輪車検出処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックの撮像画像上での座標を特定する（Ｓ３１０）。この場合、特定する座標としては、例えば、撮像画像上で連結ブロックの下側両端部（横寸法）を用いることができる。
【０１２４】
ＣＰＵ２８は、特定した座標に基づいて、連結ブロックに対応する移動体の幅を算出する（Ｓ３１１）。なお、連結ブロックの座標から移動体の幅は、数８の式（６）、（８）、（９）により算出することができる。
【０１２５】
ＣＰＵ２８は、算出した幅が予め定められた二輪車の幅を示す閾値より小さいか否かを判定する（Ｓ３１２）。幅が閾値より小さい場合（Ｓ３１２でＹＥＳ）、ＣＰＵ２８は、連結ブロックに対応する移動体を二輪車として記録する（Ｓ３１３）。ＣＰＵ２８は、すべての連結ブロックについて処理を行ったか否かを判定する（Ｓ３１４）。
【０１２６】
すべての連結ブロックについて処理を行っていない場合（Ｓ３１４でＮＯ）、ＣＰＵ２８は、ステップＳ３１０以降の処理を続ける。算出した幅が閾値より大きい場合（Ｓ３１２でＮＯ）、ＣＰＵ２８は、ステップＳ３１４以降の処理を続ける。すべての連結ブロックについて処理を行った場合（Ｓ３１４でＹＥＳ）、ＣＰＵ２８は、処理を終了する。これにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【０１２７】
実施の形態３
上述の実施の形態２においては、連結ブロックの座標（横寸法）に基づいて、対応する移動体の実際上の幅を算出して二輪車を検出する場合について説明したが、二輪車の検出は、これに限定されるものではない。
【０１２８】
図１５は実施の形態３に係る二輪車検出処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックの撮像画像上での座標を特定する（Ｓ３２０）。この場合、特定する座標としては、例えば、撮像画像上で連結ブロックの上下中央部（縦寸法）を用いることができる。
【０１２９】
ＣＰＵ２８は、特定した座標に基づいて、連結ブロックに対応する移動体の高さを算出する（Ｓ３２１）。なお、連結ブロックの座標から移動体の高さは、数８の式（６）、（７）により算出することができる。
【０１３０】
ＣＰＵ２８は、算出した高さが予め定められた二輪車の高さを示す閾値より小さいか否かを判定する（Ｓ３２２）。高さが閾値より小さい場合（Ｓ３２２でＹＥＳ）、ＣＰＵ２８は、連結ブロックに対応する移動体を二輪車として記録する（Ｓ３２３）。ＣＰＵ２８は、すべての連結ブロックについて処理を行ったか否かを判定する（Ｓ３２４）。
【０１３１】
すべての連結ブロックについて処理を行っていない場合（Ｓ３２４でＮＯ）、ＣＰＵ２８は、ステップＳ３２０以降の処理を続ける。算出した高さが閾値より大きい場合（Ｓ３２２でＮＯ）、ＣＰＵ２８は、ステップＳ３２４以降の処理を続ける。すべての連結ブロックについて処理を行った場合（Ｓ３２４でＹＥＳ）、ＣＰＵ２８は、処理を終了する。これにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【０１３２】
上述の実施の形態３において、二輪車を検出するための高さ閾値を変化させて、より精度良く二輪車を検出することができる。図１６は二輪車の高さ閾値を変化させる場合の閾値例を示す説明図である。図に示すように、二輪車とビデオカメラとの距離に応じて、撮像画像上での二輪車存在範囲（二輪車画像）は異なる。例えば、二輪車の位置がビデオカメラに近い地点Ａの場合、二輪車の後端部が視野内にあるため、撮像画像上で二輪車の存在範囲は、二輪車の先端部から後端部までとなる。
【０１３３】
一方、二輪車の位置がビデオカメラから遠い地点Ｂの場合、二輪車の後端部が搭乗者によって隠されるため、撮像画像上での二輪車の存在範囲は、撮像画像上で二輪車の存在範囲は、二輪車の先端部から搭乗者頭頂部までとなる。
【０１３４】
ここで、ビデオカメラの設置高さをＨ、二輪車の長さをＬ、搭乗者の頭頂部高さをｈ１、二輪車後端部の高さをｈ２（いずれも定数）とし、搭乗者が二輪車の中央部に存在するとした場合、二輪車先端部の位置Ｙから、撮像画像上での二輪車の存在範囲を算出することができる。
【０１３５】
地点Ａと地点Ｂとの境界となる位置、すなわち、二輪車の後端部と搭乗者の頭頂部とが重なる場合の二輪車の先端部の位置Ｙ０は、数９の式（１０）で算出することができる。
【０１３６】
【数９】
【０１３７】
従って、二輪車の先端部の位置Ｙが、Ｙ≦Ｙ０の場合、路面高さの位置において、Ｙ〜Ｙ１の範囲に相当する撮像画像上の範囲が二輪車の見かけ上の高さになり、このＹ１−Ｙの値を二輪車検出の高さ閾値として用いることができる。ここで、Ｙ１は、数９の式（１１）で表される。
【０１３８】
同様に、二輪車の先端部の位置Ｙが、Ｙ＞Ｙ０の場合、路面高さの位置において、Ｙ〜Ｙ２の範囲に相当する撮像画像上の範囲が二輪車の見かけ上の高さになり、このＹ２−Ｙの値を二輪車検出の高さ閾値として用いることができる。ここで、Ｙ２は、数９の式（１２）で表される。これにより、二輪車までの距離に拘わらず、広範囲に亘って二輪車を正確に検出することができる。
【０１３９】
実施の形態４
上述の実施の形態１においては、動きベクトルを算出する場合に、ブロックマッチング法及び勾配法で算出した動きベクトルを合成して最終的な動きベクトルを算出するものであったが、これに限定されるものではなく、例えば、二輪車までの距離に応じてブロックマッチング法及び勾配法を使い分けることもできる。
【０１４０】
図１７は撮像画像を分割して動きベクトル算出法を使い分ける場合の例を示す説明図である。図に示すように、二輪車までの距離が遠い場合、すなわち、撮像画像上の上側の領域においては、勾配法により動きベクトルを算出する。一方、二輪車までの距離が近い場合、すなわち、撮像画像上の下側の領域においては、ブロックマッチング法により動きベクトルを算出する。
【０１４１】
二輪車が遠距離にある場合、動きベクトルの大きさは比較的小さく、１画素未満の微小な動きベクトルも算出することができる勾配法が優れている。一方二輪車が近距離にある場合、動きベクトルは大きく変化するため、効率よく大きな動きベクトルを算出できるブロックマッチング法が優れている。なお、ブロックマッチング法及び勾配法での動きベクトル算出手順は、実施の形態１と同様であるので、説明は省略する。
【０１４２】
実施の形態５
上述の実施の形態では、動きベクトルを算出するための画素ブロック（ブロックマッチング法の場合）、又は局所領域（勾配法の場合）は、横長の所定の大きさの矩形状であったが、これに限定されるものではなく、例えば、車両までの距離に応じて大きさを変えることもできる。
【０１４３】
図１８は画素ブロック又は局所領域の例を示す説明図である。図に示すように、二輪車までの距離が遠い場合、すなわち、撮像画像上の上側の領域においては、横長の画素ブロック又は局所領域を小さくし（例えば、４×８）する。一方、二輪車までの距離が近い場合、すなわち、撮像画像上の下側の領域においては、横長の画素ブロック又は局所領域を大きく（例えば、８×１６）する。
【０１４４】
二輪車までの距離に応じて、撮像画像上での二輪車の大きさも異なり、前記画素ブロック又は局所領域の大きさを、二輪車以外の車両の大きさの１／２〜１／１０程度、又は二輪車の幅の１／１〜１／２程度の大きさになるようにすることで、二輪車以外の路面上の不要な情報を除外するとともに、動きベクトル算出のための処理労力を低減しつつ、精度良く動きベクトルを算出することができる。
【０１４５】
実施の形態６
上述の実施の形態においては、ビデオカメラで撮像して得られた撮像画像から各画素ブロックの動きベクトルを算出する構成であったが、これに限定されるものではなく、ビデオカメラで撮像してＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像の形式に変換された映像データに含まれる各画素ブロックの動きベクトル情報を用いてもよい。例えば、複数の交差点近傍に設置されたビデオカメラ１、１、…で撮像して得られた撮像画像に基づいて、予め動きベクトルを算出しておき、算出した動きベクトルを通信回線に接続された二輪車検出装置で取得して、多地点、遠隔地点などの二輪車の検出、検出した二輪車の速度、位置、移動方向を集中的に算出し、各交差点付近を走行する車両に二輪車がいることを報知することもできる。
【０１４６】
図１９は本発明の実施の形態６に係る二輪車検出装置を含む二輪車検出システムの概要を示す模式図である。図において、１は道路を含む領域を撮像するビデオカメラである。ビデオカメラ１は、複数の交差点近傍に設置され、ビデオカメラ１の光軸は、例えば、交差点付近の停止線から５０ｍの範囲にある道路に存在する二輪車を撮像するように道路方向に沿って配置してある。これにより、ビデオカメラ１は、交差点の上流５０ｍの位置から交差点に向かって走行する二輪車を撮像する。
【０１４７】
ビデオカメラ１には、制御装置８を接続してあり、制御装置８には信号灯器４、警告表示板６、無線発信装置７などを接続してある。制御装置８は、ビデオカメラ１で撮像して得られた画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理するとともに、画像データに基づいて算出した動きベクトルを符号化処理し、符号化処理後のデータ及び動きベクトルを、通信回線９を介して接続された二輪車検出装置２へ送信する。
【０１４８】
ここで、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像とは、画像の中の動く部分だけを検出し保存するなどして映像データを圧縮しているものであって、この形式に変換する際に、画素の動きベクトルの算出が行われる。
【０１４９】
制御装置８は、後述するように、二輪車検出装置２から通信回線９を介して出力された二輪車の検出結果（報知情報）に基づいて、信号灯器４の制御、警告表示板６への警告表示、無線発信装置７への警告情報の出力を行う。これにより、多地点又は遠隔地点にある交差点で車両が右折する場合に対向車に隠れた二輪車との衝突事故、又は交差点で車両が左折する場合に二輪車を巻き込む事故などを未然に防止する。
【０１５０】
二輪車検出装置２は、画像入力部２１に代えて、通信部２５で制御装置８、８、…から送信された符号化処理後のデータを取得し、取得したデータ元の画像データを復元するとともに、動きベクトルなどを抽出する。二輪車検出装置２は、抽出した動きベクトルに基づいて、連結ブロックを特定し、二輪車を検出するとともに、二輪車の速度、位置、移動方向を算出し、危険領域に到達する時間が所定の閾値より短い場合、報知情報を制御装置８、８、…へ通信回線９を介して出力する。
【０１５１】
図２０は制御装置８の構成を示すブロック図である。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部８１へ出力する。画像入力部８１は、取得した映像信号をＡ／Ｄ変換部８２へ出力し、Ａ／Ｄ変換部８２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ８８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ８３へ記憶する。ＣＰＵ８８は、画像入力部８１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ８３に記憶する。
【０１５２】
ＣＰＵ８８は、画像メモリ８３に記憶した画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理し、符号化処理後のデータを通信部８５から二輪車検出装置２へ送信する。ＣＰＵ８８は、符号化処理を行う際に画像データに基づいて動きベクトルを算出し、算出した動きベクトルを符号化処理する。
【０１５３】
補助記憶部８７は、コンピュータプログラムＰＧを読み込み、ＣＰＵ８８は、読み込まれたコンピュータプログラムをＲＡＭ８４にロードし、ロードされたコンピュータプログラムＰＧを実行することにより、動きベクトル算出処理、信号灯器４の制御処理、報知情報の出力処理などを行う。なお、動きベクトル算出処理、信号灯器４の制御処理、報知情報の出力処理は、実施の形態１と同様であるので、説明は省略する。
【０１５４】
図２１は実施の形態６における二輪車検出装置２の処理手順を示すフローチャートである。ＣＰＵ２８は、制御装置８から送信された符号化画像データを受信する（Ｓ４０）。ＣＰＵ２８は、受信した符号化画像データから動きベクトルを抽出する（Ｓ４１）。
【０１５５】
ＣＰＵ２８は、算出された動きベクトルの方向が略一致する画素であって、隣接する画素を連結した連結ブロックを特定する（Ｓ４２）。ＣＰＵ２８は、特定された連結ブロックの大きさに基づいて、二輪車を検出する（Ｓ４３）。
【０１５６】
ＣＰＵ２８は、二輪車として検出された連結ブロックの撮像画像上の最も下側の位置（座標）の動きベクトルの始点位置を二輪車の位置とし、その動きベクトルの大きさを二輪車の速度とし、その動きベクトルの方向を二輪車の移動方向として算出する（Ｓ４４）。
【０１５７】
ＣＰＵ２８は、算出された位置、速度、移動方向に基づいて、二輪車が予め定められた危険領域（例えば、交差点付近の左折車巻き込みゾーン、右折車衝突ゾーン）への到達時間を算出する（Ｓ４５）。ＣＰＵ２８は、算出した到達時間が所定の閾値より小さいか否かを判定する（Ｓ４６）。
【０１５８】
到達時間が閾値より小さい場合（Ｓ４６でＹＥＳ）、ＣＰＵ２８は、報知情報（二輪車検出結果）を出力する（Ｓ４７）。これにより、二輪車検出装置２は、交差点付近の危険領域に二輪車が接近していることを報知することができる。ＣＰＵ２８は、二輪車検出処理の終了要求を受け付けたか否かを判定し（Ｓ４８）、処理終了でない場合（Ｓ４８でＮＯ）には、ステップＳ４０以降の処理を続ける。
【０１５９】
到達時間が閾値より大きい場合（Ｓ４６でＮＯ）、ＣＰＵ２８は、ステップＳ４８以降の処理を続ける。一方、処理終了である場合（Ｓ４８でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【０１６０】
なお、上述の処理は、撮像画像１フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。これにより、二輪車の検出を広範囲、かつ多地点・遠隔地点において安定的に実現することができる。
【０１６１】
上述の実施の形態においては、警告表示板により文字又は画像で警告するとともに、無線発信装置で警告する場合について説明したが、警告、すなわち、報知情報の出力は、これに限定されるものではなく、近赤外線を用いた光ビーコンなどを通じて出力してもよい。
【０１６２】
上述の実施の形態１〜５においては、ビデオカメラ１と二輪車検出装置２とは、別個の装置で構成されていたが、ビデオカメラ１と二輪車検出装置２とを統合して、ひとつの装置として構成してもよい。
【０１６３】
上述の実施の形態においては、撮像画像のすべての画素に対して動きベクトルを算出する構成であったが、複数の画素で構成されるブロック毎に動きベクトルを算出する構成であってもよい。
【０１６４】
上述の実施の形態においては、ブロックマッチング法で動きベクトルを算出する場合に、数１の式で表される相関値を用いる構成であったが、これに限定されるものではなく、画素ブロック内画素の差分階調値の絶対値の和、画素の平均階調値の差の絶対値、画素の階調値の標準偏差の差の絶対値など、いずれの方法を用いてもよい。
【０１６５】
上述の実施の形態において、異なる撮像時点の撮像画像を取得する場合、撮像時点の時間間隔は、道路の交通状況に応じて、適宜設定することができる。二輪車が比較的高速で走行する道路の場合は、時間間隔を短くし、低速走行車両が多い道路では、時間間隔を長くすることができる。
【０１６６】
二輪車を検出する場合、二輪車の移動方向がビデオカメラから離れていく場合であっても、連結ブロックの最下部の動きベクトルの情報から、二輪車の位置、速度、移動方向を算出することもでき、そのような場合に本発明を適用することができる。
【図面の簡単な説明】
【０１６７】
【図１】本発明に係る二輪車検出装置を含む二輪車検出システム及び信号制御システムの概要を示す模式図である。
【図２】二輪車検出装置及び制御装置の構成を示すブロック図である。
【図３】撮像画像の一例を示す説明図である。
【図４】画素の動きベクトルを示す説明図である。
【図５】本発明に係る二輪車検出装置の動きベクトルの算出例を示す説明図である。
【図６】二輪車検出装置の動きベクトル算出の処理手順を示すフローチャートである。
【図７】二輪車検出装置の二輪車検出の処理手順を示すフローチャートである。
【図８】二輪車検出処理手順を示すフローチャートである。
【図９】実空間座標及び撮像面座標の関係を示す説明図である。
【図１０】連結ブロックの例を示す説明図である。
【図１１】連結ブロックにより特定された二輪車の例を示す説明図である。
【図１２】危険領域の例を示す説明図である。
【図１３】二輪車検出装置で算出される算出情報を示す説明図である。
【図１４】実施の形態２に係る二輪車検出処理手順を示すフローチャートである。
【図１５】実施の形態３に係る二輪車検出処理手順を示すフローチャートである。
【図１６】二輪車の高さ閾値を変化させる場合の閾値例を示す説明図である。
【図１７】撮像画像を分割して動きベクトル算出法を使い分ける場合の例を示す説明図である。
【図１８】画素ブロック又は局所領域の例を示す説明図である。
【図１９】本発明の実施の形態６に係る二輪車検出装置を含む二輪車検出システムの概要を示す模式図である。
【図２０】制御装置の構成を示すブロック図である。
【図２１】実施の形態６における二輪車検出装置の処理手順を示すフローチャートである。
【符号の説明】
【０１６８】
１ ビデオカメラ
２ 二輪車検出装置
３、８ 制御装置
４ 信号灯器
５ 通信線
６ 警告表示板
７ 無線発信装置
９ 通信回線
２１、８１ 画像入力部
２２、８２ Ａ／Ｄ変換部
２３、８３ 画像メモリ
２４、８４ ＲＡＭ
２５、８５ 通信部
２６、８６ 記憶部
２７、８７ 補助記憶部
２８、８８ ＣＰＵ
２９ ＣＤ−ＲＯＭ
３１ 通信部
３２ 記憶部
３３ ＲＡＭ
３４ 補助記憶部
３５ ＣＰＵ
【技術分野】
【０００１】
本発明は、道路を含む領域を撮像装置で撮像して得られた撮像画像を処理して、二輪車を検出する二輪車検出装置、該二輪車検出装置を備える信号制御システム、前記二輪車検出装置を備える二輪車検出システム、二輪車検出方法、及び前記二輪車検出装置を実現するコンピュータプログラムに関する。
【背景技術】
【０００２】
円滑な交通又は交通事故抑止のために、道路上の車両に関する詳細な交通情報を提供するシステムが求められており、特に二輪車の速度、位置などの検出情報を用いて交差点内事故を抑止するシステムの各種実験が行われており、その有効性も実証されつつある。
【０００３】
二輪車が関連する事故としては、交差点で車両が右折する場合に、対向車に隠れた二輪車との衝突事故、交差点で車両が左折する場合に、二輪車を巻き込む事故などがあり、これらの事故は多発している。二輪車の事故を未然に防止するために、交差点に接近する二輪車を検知し、近隣の車両に二輪車の位置又は移動方向などの情報を提供するために二輪車を検出するシステムが提案されている。
【０００４】
例えば、路面上から車線幅方向の1次元の光量信号を得るように路面上方に、１次元ＣＣＤカメラを設置し、路面上には光量信号に変調を与えるようにＣＣＤカメラの視野内で間欠的なマーキングを施しておく。車両がＣＣＤカメラの視野内を通過した場合、マーキングからの光量信号が変調され、その変調の幅が小さい車両を二輪車として検出する車両検出装置が提案されている（特許文献１参照）。
【０００５】
また、予め作成した車両が存在しない道路のみの映像（背景画像）におけるエッジ情報と、車両が存在する場合の映像におけるエッジ情報との差分を算出し、車両のみのエッジ情報を抽出し、抽出したエッジ情報に対して膨張収縮処理等を行った結果に基づいて、車両範囲を検出する。検出された車両範囲の大きさにより二輪車の識別を行うシステムが提案されている（非特許文献１参照）。
【特許文献１】特開平６−２４２２５９号公報
【非特許文献１】電学論Ｃ、１２２巻２号、平成１４年、「交通流計測における適用環境の拡大と二輪車の判別」、小沢慎治、他２名
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の装置にあっては、二輪車を検出することができる範囲が、路面の車線幅方向のごく狭い範囲に限定されているため、交差点のような広範囲で、二輪車を検出することができないという問題があった。
【０００７】
また、非特許文献１のシステムにあっては、交差点付近の事故が発生し易い時間帯の場合、交差点付近を走行する車両数が多いため、背景画像を精度良く作成することが困難である。このため、誤って車両が存在する映像を背景画像とした場合、車両が存在しない場合でも、車両が存在すると誤検出する虞があった。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することにより、環境変化に影響されず、かつ広範囲で従来よりも二輪車を正確に検出することができる二輪車検出装置、二輪車検出方法、及び前記二輪車検出装置を実現するコンピュータプログラムを提供することを目的とする。
【０００９】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出し、前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出することにより、従来よりも二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１０】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出し、算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１１】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出し、算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１２】
また、本発明の他の目的は、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出し、算出された距離に基づいて、前記高さ閾値を変更することにより、広範囲に亘って二輪車を正確に検出することができる二輪車検出装置を提供することにある。
【００１３】
また、本発明の他の目的は、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて第１の動きベクトルを算出し、算出された第１の動きベクトルに対応して移動して得られた新たな撮像画像及び撮像時点が異なる他の撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第２の動きベクトルを算出し、算出された第１及び第２の動きベクトルを合成することにより、二輪車の動きの大小に拘わらず、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１４】
また、本発明の他の目的は、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１５】
また、本発明の他の目的は、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出することにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１６】
また、本発明の他の目的は、前記画素ブロック又は局所領域を横長の矩形状にすることにより、二輪車の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１７】
また、本発明の他の目的は、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことにより、路面上の不要な情報を抑制して精度良く二輪車を検出することができる二輪車検出装置を提供することにある。
【００１８】
また、本発明の他の目的は、撮像画像の画素の動きベクトルを取得する手段を備えることにより、多地点又は遠隔地点における二輪車を集中的に検出することができる二輪車検出装置を提供することにある。
【００１９】
また、本発明の他の目的は、二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置を備えることにより、二輪車事故を抑制することができる信号制御システムを提供することにある。
【００２０】
また、本発明の他の目的は、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの撮像画像上の座標に基づいて、二輪車の位置、速度、又は移動方向を算出し、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定し、判定結果を出力することにより、二輪車事故を抑制することができる二輪車検出システムを提供することにある。
【課題を解決するための手段】
【００２１】
第１発明に係る二輪車検出装置は、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置において、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段とを備えることを特徴とする。
【００２２】
第２発明に係る二輪車検出装置は、第１発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出する算出手段を備え、前記検出手段は、前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出すべくなしてあることを特徴とする。
【００２３】
第３発明に係る二輪車検出装置は、第１発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出する算出手段を備え、前記検出手段は、前記算出手段で算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする。
【００２４】
第４発明に係る二輪車検出装置は、第１発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出する算出手段を備え、前記検出手段は、前記算出手段で算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする。
【００２５】
第５発明に係る二輪車検出装置は、第４発明において、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出する手段と、該手段で算出された距離に基づいて、前記高さ閾値を変更する手段とを備えることを特徴とする。
【００２６】
第６発明に係る二輪車検出装置は、第１発明乃至第５発明のいずれかにおいて、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する手段と、該手段で算出された第１の動きベクトルに応じて前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、前記新たな撮像画像の画素の第２の動きベクトルを算出する手段とを備え、両手段で算出された第１及び第２の動きベクトルの合成ベクトルを撮像画像の画素の動きベクトルとすることを特徴とする。
【００２７】
第７発明に係る二輪車検出装置は、第６発明において、前記画素ブロック又は局所領域の大きさは、撮像画像の遠距離に対応する領域よりも撮像画像の近距離に対応する領域で大きいことを特徴とする。
【００２８】
第８発明に係る二輪車検出装置は、第１発明乃至第５発明のいずれかにおいて、撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段とを備え、両手段で算出された動きベクトルを撮像画像の画素の動きベクトルとすることを特徴とする。
【００２９】
第９発明に係る二輪車検出装置は、第６発明乃至第８発明のいずれかにおいて、前記画素ブロック又は局所領域は、横長の矩形状であることを特徴とする。
【００３０】
第１０発明に係る二輪車検出装置は、第９発明において、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことを特徴とする。
【００３１】
第１１発明に係る二輪車検出装置は、第１発明乃至第５発明のいずれかにおいて、撮像画像の画素の動きベクトルを取得する手段を備えることを特徴とする。
【００３２】
第１２発明に係る信号制御システムは、第１発明乃至第１１発明のいずれかに係る二輪車検出装置と、該二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置とを備えることを特徴とする。
【００３３】
第１３発明に係る二輪車検出システムは、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置と、該二輪車検出装置で検出された二輪車に関する情報を報知する報知装置とを備える二輪車検出システムにおいて、前記二輪車検出装置は、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段と、特定された連結ブロックの撮像画像上の座標に基づいて、前記検出手段で検出された二輪車の位置、速度、又は移動方向を算出する手段と、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定する手段と、該手段で判定した判定結果を前記報知装置へ出力する手段とを備え、前記報知装置は、前記判定結果を出力する手段を備えることを特徴とする。
【００３４】
第１４発明に係る二輪車検出方法は、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出方法において、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することを特徴とする。
【００３５】
第１５発明に係るコンピュータプログラムは、コンピュータに、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出させるためのコンピュータプログラムにおいて、コンピュータを、撮像画像の画素の動きベクトルの角度差を算出する手段と、該手段で算出された角度差が閾値以下であるか否かを判定する手段と、前記角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、該手段によって特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する手段として機能させることを特徴とする。
【００３６】
第１発明、第１４発明、及び第１５発明にあっては、撮像画像の画素毎の動きベクトルの角度差が閾値以下である画素を連結した連結ブロックを特定する。これにより、位置変化がない道路上の影、路面標記などを排除して、道路を走行する移動体を特定する。なお、連結ブロックを特定する場合、動きベクトルの角度差が閾値以下であり、かつ隣接した画素を連結することもできる。検出手段は、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する。例えば、連結ブロックが特定された場合、該連結ブロックが所定の寸法より大きい場合、前記連結ブロックに対応する移動体は、二輪車以外の車両であるとし、所定の寸法より小さい場合、二輪車として検出する。
【００３７】
第２発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出する。前記検出手段は、前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出する。二輪車に対応する撮像画像は、縦寸法が横寸法より大きいため、特定された連結ブロックの縦横寸法に応じて二輪車を検出する。
【００３８】
第３発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出する。前記検出手段は、前記算出手段で算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出する。これにより、幅閾値を二輪車の実際の幅程度に予め定めておくことにより、撮像画像上の座標に応じて連結ブロックの大きさが変化する場合であっても、二輪車以外の車両と区別して二輪車を検出する。
【００３９】
第４発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出する。前記検出手段は、前記算出手段で算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出する。これにより、高さ閾値を二輪車の実際の高さ程度に予め定めておくことにより、撮像画像上の座標に応じて連結ブロックの大きさが変化する場合であっても、二輪車以外の車両と区別して二輪車を検出する。
【００４０】
第５発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出し、算出された距離に基づいて、前記高さ閾値を変更する。例えば、移動体が二輪車であるとした場合、二輪車までの距離が近いときには、二輪車の撮像画像上での高さは、二輪車先端部と二輪車後端部との距離に対応する。一方、二輪車までの距離が遠いときには、二輪車の撮像画像上での高さは、二輪車先端部と搭乗者の頭部との距離に対応する。移動体までの距離に応じて、高さ閾値を変更することにより、移動体までの距離に拘わらず広範囲で二輪車以外の車両と区別して二輪車を検出する。
【００４１】
第６発明にあっては、撮像時点の異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロック（例えば、注目画素とその周辺の画素で構成される）を用いたブロックマッチング法に基づいて、画素ブロックの撮像画像での位置変化を求め、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する。算出された第１の動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、局所領域でのオプティカルフローが一定という拘束条件のもと、前記新たな撮像画像の画素の第２の動きベクトルを算出し、ブロックマッチング法及び勾配法により算出された第１及び第２の動きベクトルを合成して動きベクトルを算出する。
【００４２】
第７発明にあっては、撮像画像の遠距離に対応する領域（すなわち、撮像画像において車両までの距離が遠い領域）では、前記画素ブロック又は局所領域の大きさを小さくし、撮像画像の近距離に対応する領域（すなわち、撮像画像において車両までの距離が近い領域）では、前記画素ブロック又は局所領域の大きさを大きくする。これにより、前記画素ブロック又は局所領域の大きさを撮像画像での二輪車の大きさに近づける。
【００４３】
第８発明にあっては、撮像画像の遠距離に対応する領域では、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きが小さく、例えば、１画素未満の微小な動きであっても動きベクトルを算出する。一方、撮像画像の近距離に対応する領域では、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、画素の動きベクトルを算出する。これにより、画素の動きがより大きい動きベクトルを算出する。
【００４４】
第９発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にする。これにより、連結ブロック内の動きベクトルを算出する場合に、前記画素ブロック又は局所領域の縦方向に応じて変動する二輪車部分の路面からの高さ、又は二輪車部分までの距離の影響を少なくしつつ、所要の画素ブロック又は局所領域の大きさを確保する。
【００４５】
第１０発明にあっては、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しい。これにより、連結ブロック内の動きベクトルを算出する場合に、二輪車部分以外の領域、例えば、路面上の不要な情報が前記画素ブロック又は局所領域内に入ることを抑制する。
【００４６】
第１１発明にあっては、予め算出された動きベクトルを取得する。
【００４７】
第１２発明にあっては、二輪車が検出された検出結果に基づいて信号灯器を制御する。例えば、二輪車が検出された場合、信号灯器の点灯表示を変更することにより、左折車両又は右折車両の進入を抑制する。
【００４８】
第１３発明にあっては、前記二輪車検出装置は、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する。前記二輪車検出装置は、特定された連結ブロックの撮像画像上の座標に基づいて、前記検出手段で検出された二輪車の位置、速度、又は移動方向を算出し、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定する。前記二輪車検出装置は、例えば、前記二輪車が所定の道路領域に閾値時間内に進入する場合、判定結果を前記報知装置へ出力する。該報知装置は、所定の道路領域に二輪車が閾値時間内に進入することを出力することにより、二輪車が近づいていることを報知する。
【発明の効果】
【００４９】
第１発明、第１４発明、及び第１５発明にあっては、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することにより、環境変化に影響されず、かつ広範囲で従来よりも二輪車を正確に検出することができる。
【００５０】
第２発明にあっては、特定された連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【００５１】
第３発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出し、算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【００５２】
第４発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出し、算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出することにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【００５３】
第５発明にあっては、特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出し、算出された距離に基づいて、前記高さ閾値を変更することにより、広範囲に亘って二輪車を正確に検出することができる。
【００５４】
第６発明にあっては、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像の画素ブロックを用いたブロックマッチング法に基づいて第１の動きベクトルを算出し、算出された第１の動きベクトルに対応して前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、さらに第２の動きベクトルを算出し、算出した第１及び第２の動きベクトルを合成して動きベクトルとすることにより、二輪車の動きが大きい場合でも、微小な動きである場合でも、精度良く二輪車を検出することができる。
【００５５】
第７発明にあっては、前記画素ブロック又は局所領域の大きさを、撮像画像の遠距離に対応する領域よりも近距離に対応する領域で大きくすることにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる。
【００５６】
第８発明にあっては、撮像画像の遠距離に対応する領域において、撮像時点が異なる撮像画像夫々で局所領域を用いた勾配法に基づいて動きベクトルを算出し、撮像画像の近距離に対応する領域において、撮像時点が異なる撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて動きベクトルを算出することにより、二輪車までの距離にかかわらず広範囲に亘って、精度良く二輪車を検出することができる。
【００５７】
第９発明にあっては、前記画素ブロック又は局所領域を横長の矩形状にすることにより、二輪車の路面からの高さに応じて変動する動きベクトルの影響を受けずに、精度良く二輪車を検出することができる。
【００５８】
第１０発明にあっては、前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことにより、路面上の不要な情報を抑制して精度良く二輪車を検出することができる。
【００５９】
第１１発明にあっては、撮像画像の画素の動きベクトルを取得する手段を備えることにより、多地点又は遠隔地点における二輪車を集中的に検出することができる。また、ビデオカメラの画角等の調整やビデオカメラの保守も集中的に対応できる。このため、システム全体のコスト低減を実現できる。
【００６０】
第１２発明にあっては、二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置を備えることにより、二輪車事故を抑制することができる。
【００６１】
第１３発明にあっては、撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、特定された連結ブロックの撮像画像上の座標に基づいて、二輪車の位置、速度、又は移動方向を算出し、算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定し、判定結果を出力することにより、二輪車事故を抑制することができる。
【発明を実施するための最良の形態】
【００６２】
実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る二輪車検出装置を含む二輪車検出システム及び信号制御システムの概要を示す模式図である。図において、二輪車検出システムは、ビデオカメラ１、二輪車検出装置２、制御装置３、警告表示板６、無線発信装置７などを備えている。また、信号制御システムは、ビデオカメラ１、二輪車検出装置２、制御装置３、信号灯器４などを備えている。
【００６３】
ビデオカメラ１は、交差点近傍に設置され、道路を含む領域を撮像する。ビデオカメラ１の光軸は、例えば、交差点付近の停止線から５０ｍの範囲にある道路（二輪車検出範囲）に存在する二輪車を撮像するように道路方向に沿って配置してある。これにより、ビデオカメラ１は、交差点の上流５０ｍの位置から交差点に向かって走行する二輪車を撮像する。
【００６４】
ビデオカメラ１には、二輪車検出装置２を接続してある。二輪車検出装置２は、ビデオカメラ１で撮像して得られた撮像画像を処理して二輪車を検出するとともに、二輪車の速度、位置、移動方向などを算出する。二輪車検出装置２には、通信線５を介して制御装置３を接続してあり、二輪車の検出結果を制御装置３へ出力する。制御装置３には、信号灯器４、４、警告表示板６、６、無線発信装置７などを接続してある。
【００６５】
制御装置３は、二輪車検出装置２から出力された二輪車の検出結果に基づいて、信号灯器４の表示を制御する。例えば、交差点に二輪車が接近している場合、信号灯の表示時間を変更する。また、制御装置３は、二輪車検出装置２から出力された二輪車の検出結果に基づいて、警告表示板６に文字又は画像などにより、二輪車が交差点付近にいることを報知する。また、制御装置３は、二輪車検出装置２から出力された二輪車の検出結果に基づいて、無線発信装置７を通じて、二輪車が交差点付近にいることを交差点付近の車両に報知する。これにより、交差点で車両が右折する場合に対向車に隠れた二輪車との衝突事故、又は交差点で車両が左折する場合に二輪車を巻き込む事故などを未然に防止する。
【００６６】
図２は二輪車検出装置２及び制御装置３の構成を示すブロック図である。図において、１はビデオカメラである。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力し、Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ２８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ２３へ記憶する。ＣＰＵ２８は、画像入力部２１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ２３に記憶する。
【００６７】
補助記憶部２７は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。ＣＰＵ２８は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。二輪車検出装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２８で実行することにより、後述する動きベクトル算出処理、二輪車検出処理などを実現する。なお、ＣＰＵ２８は、二輪車が二輪車検出範囲に存在する間、所定の処理を繰り返すことができる。
【００６８】
画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶する。
【００６９】
記憶部２６は、コンピュータプログラムＰＧをＣＰＵ２８で実行することにより、得られた動きベクトルの算出結果、二輪車の検出処理結果を各フレームに対応して記憶している。
【００７０】
通信部２５は、二輪車検出装置２で検出した二輪車に関する検出結果（報知情報）を、通信線５を介して制御装置３へ出力する。
【００７１】
制御装置３の通信部３１は、二輪車検出装置２から出力された二輪車の検出結果（報知情報）を受け付け、ＣＰＵ３５の制御のもと、記憶部３２に記憶する。また、通信部３１は、信号灯器４の信号表示を制御するための制御信号を出力する。また、通信部３１は、警告表示板６、及び無線発信装置７で二輪車に関する警告を出力するために必要な制御信号を出力する。
【００７２】
記憶部３２は、信号灯器４の信号表示を制御するために用いられる信号表示データ３２１、信号表示を計画する表示計画データ３２２などを記憶している。信号表示データ３２１は、月日、曜日、時間帯、交差点の交通量などに応じて、信号灯器４の青表示、黄表示、及び赤表示の各表示時間などを設定してある。
【００７３】
ＣＰＵ３５は、補助記憶部３４で読み込まれたコンピュータプログラムをＲＡＭ３３にロードし、該コンピュータプログラムを実行することにより、信号灯器４の制御処理を行う。より具体的には、ＣＰＵ３５は、記憶部３２に記憶された二輪車の検出結果に基づいて、二輪車が交差点を安全に通過できない場合には、黄表示又は赤表示になる時刻を早くする、又は青表示の時刻を延長するよう表示計画を変更して表示計画データ３２２を更新する。また、二輪車が交差点を安全に通過できる場合には、表示計画を変更しない。
【００７４】
図３は撮像画像の一例を示す説明図である。図に示すように、二輪車検出装置２は、例えば、交差点の停止線から５０ｍの範囲であって、片側２車線の道路を走行する車両をビデオカメラ１で撮像して得られた撮像画像に基づいて、二輪車以外の車両と区別して二輪車を検出する。
【００７５】
図４は画素の動きベクトルを示す説明図である。図に示すように、撮像時点ｔkの撮像画像における画素Ｐjの座標が（ｘk、ｙk）、撮像時点ｔk+1の撮像画像における画素Ｐjの座標が（ｘk+1、ｙk+1）である場合、動きベクトルＰＶjは、（ｘk+1−ｘk、ｙk+1−ｙk）となる。異なる撮像時点の時間間隔は、１フレーム間隔でもよく、また、数フレーム間隔であってもよい。なお、上述の画素は、複数の画素で構成される画素ブロックであってもよい。この場合は、画素ブロック毎に動きベクトルが決定される。
【００７６】
図５は本発明に係る二輪車検出装置の動きベクトルの算出例を示す説明図である。動きベクトルの算出方法は、ブロックマッチング法と勾配法とがある。本発明においては、ブロックマッチング法及び勾配法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。
【００７７】
まず、ブロックマッチング法について説明する。ブロックマッチング法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。ブロックマッチング法は、時刻ｔの撮像画像において、注目画素Ｐ１を中心とする横長の矩形領域をテンプレートとして登録し、時刻ｔ＋１の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素位置Ｐ２を検出するものである。
【００７８】
相関値は、数１の式で表される。
【００７９】
【数１】
【００８０】
ここで、矩形領域のサイズをＵｘＷ（Ｕ、Ｗは整数）、時刻ｔにおける撮像画像の座標（ｘ、ｙ）の画素の輝度値をＩ（ｘ、ｙ、ｔ）、−Ｗ／２≦ｉ≦Ｗ／２、−Ｕ／２≦ｊ≦Ｕ／２（ｉ、ｊは整数）であり、−１≦相関値≦１である。また、数２の式は矩形領域内の平均輝度値である。
【００８１】
【数２】
【００８２】
上述の通り、ブロックマッチング法は、横長の矩形領域（画素ブロック）の大きさを適宜変更することにより、動き量が大きい場合の動きベクトルを算出することができる。
【００８３】
次に、勾配法について説明する。勾配法は、動画像の各フレームのオプティカルフロー（動きベクトルの場）を求める方法として、各画素における輝度（明るさ）の空間的勾配と時間的勾配の関係を用いるものである。すなわち、勾配法は、撮像画像の輝度分布が動きに際して不変に保たれると仮定した勾配拘束式（すなわち、輝度の空間的勾配と時間的勾配の関係式）に基づいて、オプティカルフローを求める方法である。勾配法のうち、空間的局所最適化法は、特に計算量が少なく精度良好な方法であり、以下に説明する。
【００８４】
勾配法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。時刻ｔにおける撮像画像の座標（ｘ、ｙ）の画素の輝度をＩ（ｘ、ｙ、ｔ）とする。時刻ｔ＋１（時刻ｔに対してδｔだけ時間が経過したとする）において、座標（ｘ、ｙ）の画素が座標（ｘ＋δｘ、ｙ＋δｙ）に移動したとする。ここで、輝度は変化しないと仮定すると、Ｉ（ｘ、ｙ、ｔ）＝Ｉ（ｘ＋δｘ、ｙ＋δｙ、ｔ＋δｔ）の関係式が成立する。
【００８５】
上式の右辺をテイラー展開すると、数３の式が得られる。
【００８６】
【数３】
【００８７】
ε（ｘ、ｙ、ｔ）は、２次以上の高次の項であり、微小であるためこれを無視するとともに、数３の式の両辺δｔで割り、δｔを０に近づけると、数４の式を得る。この式は、オプティカルフローの勾配拘束式と呼ばれる。
【００８８】
【数４】
【００８９】
ここで、輝度勾配をＩｘ＝∂Ｉ／∂ｘ、Ｉｙ＝∂Ｉ／∂ｙ、時間勾配をＩｔ＝∂Ｉ／∂ｔとし、オプティカルフローをｕ＝δｘ／δｔ、ｖ＝δｙ／δｔとする。
【００９０】
所要の横長の局所領域（Ｍ×Ｎ）（Ｍ、Ｎは整数）でオプティカルフローが一定であるという拘束条件を付加すると、前記局所領域で得られるオプティカルフローは、同一の解を持つと仮定するので、誤差Ｅは数５の式で表される。ここで、−Ｍ／２≦ｉ≦Ｍ／２、−Ｎ／２≦ｊ≦Ｎ／２（ｉ、ｊは整数）は前記局所領域内の座標である。
【００９１】
【数５】
【００９２】
最小２乗法の考え方から、∂Ｅ／∂ｕ＝０、∂Ｅ／∂ｖ＝０を算出し、前記局所領域内で重み付け平滑化すると、数６の（１）式及び（２）式を得る。ここでｗi,jは重み付けマトリクスであり、前記局所領域の中央部ほど重み付けが大きくなるような分布を持つマトリクスを使用することができる。
【００９３】
【数６】
【００９４】
数６の式を解くことにより、オプティカルフロー（ｕ、ｖ）、すなわち、動きベクトルが数７の（３）式、（４）式、及び（５）式のように得られる。
【００９５】
【数７】
【００９６】
上述の通り、勾配法は、ブロックマッチング法のように画素ブロックを用いる必要がないため、１画素未満の微小な動きベクトルであっても算出することができる。
【００９７】
図５に示すように、本発明に係る二輪車検出装置の動きベクトルの算出法は、まずブロックマッチング法により、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いて前記第１の撮像時点における撮像画像の画素の大きな動きベクトル（第１の動きベクトル）を算出する。算出した動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法により動きベクトル（第２の動きベクトル）を算出し、夫々の方法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。これにより、ブロックマッチング法により、大きな動きベクトルを算出するとともに、ブロックマッチング法では、算出することができない１画素未満の微小な動きベクトルも算出し、両者の動きベクトルを合成することにより、精度良く動きベクトルを求めることが可能になる。
【００９８】
次に、本発明に係る二輪車検出装置２の処理手順について説明する。図６は二輪車検出装置２の動きベクトル算出の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔのフレームｆt、撮像時点ｔ＋１のフレームｆt+1）を画像メモリ２３から取得する（Ｓ１０）。
【００９９】
ＣＰＵ２８は、取得した一方の撮像画像の画素ブロック（例えば、７×１５画素）毎に、画素ブロック内画素が有する輝度値（又は階調値など）に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する（Ｓ１１）。２つの撮像画像間で一致する画素ブロックを特定する場合、上述した相関値を用いることができる。
【０１００】
ＣＰＵ２８は、２つの撮像画像で一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、ブロックマッチング法による各画素の動きベクトルを算出する（Ｓ１２）。なお、座標変化が無い場合は、動きベクトルはゼロである。
【０１０１】
ＣＰＵ２８は、撮像時点ｔにおける撮像画像の画素毎に算出した動きベクトルに応じて、各画素を動きベクトル分（大きさ及び方向）だけ移動させた撮像画像を生成する（Ｓ１３）。
【０１０２】
ＣＰＵ２８は、生成した撮像画像及び撮像時点ｔ＋１における撮像画像に対して、勾配法により動きベクトルを算出し（Ｓ１４）、ブロックマッチング法により算出した動きベクトルと勾配法により算出した動きベクトルを合成して最終的な動きベクトルを算出する（Ｓ１５）。
【０１０３】
ＣＰＵ２８は、算出された動きベクトルの角度差を算出し（Ｓ１６）、算出した角度差が閾値以下であるか否かを判定し（Ｓ１７）、算出された角度差が閾値以下である場合（Ｓ１７でＹＥＳ）、すべての動きベクトルについて処理したか否かを判定し（Ｓ１８）、すべての動きベクトルについて処理した場合（Ｓ１８でＹＥＳ）、角度差が閾値以下である画素であって、隣接する画素を連結した連結ブロックを特定する（Ｓ１９）。
【０１０４】
一方、算出された角度差が閾値以下でない場合（Ｓ１７でＮＯ）、又はすべての動きベクトルについて処理していない場合（Ｓ１８でＮＯ）、ＣＰＵ２８は、ステップＳ１６以降の処理を続ける。
【０１０５】
これにより、動きベクトルの方向が異なる画素は、ノイズとして除去する。また、連結ブロックは走行車両に対応する。なお、連結ブロックを特定する場合に、連結ブロックを構成する画素の数が、予め定めた閾値より小さい場合は、ノイズとして除去することもできる。
【０１０６】
ＣＰＵ２８は、動きベクトルの算出処理の終了要求を受け付けたか否かを判定し（Ｓ２０）、処理終了でない場合（Ｓ２０でＮＯ）には、ステップＳ１０以降の処理を続ける。処理終了である場合（Ｓ２０でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【０１０７】
図７は二輪車検出装置２の二輪車検出の処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックに基づいて、二輪車検出処理を行う（Ｓ３０）。なお、二輪車検出処理については、後述する。ＣＰＵ２８は、二輪車として検出された連結ブロックの撮像画像上の最も下側の位置（座標）の動きベクトルの始点位置を二輪車の位置とし、その動きベクトルの大きさを二輪車の速度とし、その動きベクトルの方向を二輪車の移動方向として算出する（Ｓ３１）。
【０１０８】
ＣＰＵ２８は、算出された位置、速度、移動方向に基づいて、二輪車が予め定められた危険領域（例えば、交差点付近の左折車巻き込みゾーン、右折車衝突ゾーン）への到達時間を算出する（Ｓ３２）。ＣＰＵ２８は、算出した到達時間が所定の閾値より小さいか否かを判定する（Ｓ３３）。
【０１０９】
到達時間が閾値より小さい場合（Ｓ３３でＹＥＳ）、ＣＰＵ２８は、報知情報（二輪車検出結果）を出力する（Ｓ３４）。これにより、二輪車検出装置２は、交差点付近の危険領域に二輪車が接近していることを報知することができる。ＣＰＵ２８は、二輪車検出処理の終了要求を受け付けたか否かを判定し（Ｓ３５）、処理終了でない場合（Ｓ３５でＮＯ）には、ステップＳ３０以降の処理を続ける。
【０１１０】
到達時間が閾値より大きい場合（Ｓ３３でＮＯ）、ＣＰＵ２８は、ステップＳ３５以降の処理を続ける。一方、処理終了である場合（Ｓ３５でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【０１１１】
次に二輪車検出処理について説明する。図８は二輪車検出処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックの撮像画像上の座標に基づいて、縦寸法及び横寸法を算出した上で、縦寸法が横寸法より大きいか否かを判定する（Ｓ３０１）。
【０１１２】
縦寸法が横寸法より大きい場合（Ｓ３０１でＹＥＳ）、ＣＰＵ２８は、特定された連結ブロックに対応する移動体を二輪車として記録する（Ｓ３０２）。ＣＰＵ２８は、すべての連結ブロックについて処理を行ったか否かを判定する（Ｓ３０３）。
【０１１３】
すべての連結ブロックについて処理を行っていない場合（Ｓ３０３でＮＯ）、ＣＰＵ２８は、ステップＳ３０１以降の処理を続ける。連結ブロックの縦寸法が横寸法より小さい場合（Ｓ３０１でＮＯ）、ＣＰＵ２８は、ステップＳ３０３以降の処理を続ける。すべての連結ブロックについて処理を行った場合（Ｓ３０３でＹＥＳ）、ＣＰＵ２８は、処理を終了する。これにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【０１１４】
上述の処理は、撮像画像１フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。
【０１１５】
連結ブロックの動きベクトルの始点位置から、連結ブロックに対応する二輪車の位置（二輪車までの距離）は、例えば、数８の式（６）、（７）で表される式に基づいて行うことができる。
【０１１６】
【数８】
【０１１７】
図９は実空間座標及び撮像面座標の関係を示す説明図である。実空間での座標系を（Ｘ、Ｙ、Ｚ）、撮像画像上での座標系を（ｘ、ｙ）とする。実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。撮像画像面上でのｘ軸方向を実空間でのＸ方向に平行とし、撮像画像面上でのｙ軸方向を実空間でのＹ方向とし、ビデオカメラ俯角（ビデオカメラの光軸とＹ軸方向とがなす角度）をαとなるように設置する。また、ビデオカメラレンズの焦点距離をＦ、ビデオカメラの設置高さをＨ、撮像画像面のｙ軸方向の大きさ（寸法）をＱｙ、撮像面のｙ軸方向の画素数をＮｙとし、撮像画像面のｘ軸方向の大きさ（寸法）をＱｘ、撮像面のｘ軸方向の画素数をＮｘとする。なお、二輪車の高さは０（すなわち、路面上の位置）とする。
【０１１８】
図１０は連結ブロックの例を示す説明図である。図に示すように、撮像画像を所定の画素で分割し、各画素の動きベクトルを算出し、算出した動きベクトルの角度差が閾値以下である画素であって、隣接する画素のみを連結することにより、連結ブロックを特定する。動きベクトルの角度差が閾値以下の画素であっても、離隔している画素はノイズとして除去する。また、連結された画素の数が所定の閾値以下の場合も、ノイズとして除去することにより、連結ブロックにより走行車両を精度良く特定することができる。さらに特定された連結ブロックの大きさ（縦横寸法）に基づいて、二輪車以外の車両から二輪車を区別して、二輪車を検出する。
【０１１９】
図１１は連結ブロックにより特定された二輪車の例を示す説明図である。上述の通り、ビデオカメラ１は、片側２車線の道路を含む領域を撮像するように配置してある。ある撮像時点における撮像画像の二輪車は、二輪車以外の車両を除外して連結ブロックにより特定される。
【０１２０】
図１２は危険領域の例を示す説明図である。図に示すように、危険領域は、例えば、交差点の上流側の道路であって、路肩沿いの車線の交差点近傍領域である左折車巻き込みゾーン、及び交差点中央部の対向車線と重なる領域である右折車衝突ゾーンにより構成される。ビデオカメラ１を設置した状態で撮像される撮像領域内に、この危険領域の位置を予め設定しておくことができる。なお、交差点付近に複数のビデオカメラを設置して、危険領域を複数設定することもできる。
【０１２１】
図１３は二輪車検出装置２で算出される算出情報を示す説明図である。図１３（ａ）に示すように、１フレームの撮像画像は、例えば、４８０×６４０の画素Ｐ1、Ｐ2、…Ｐnに分割される。図１３（ｂ）に示すように、画素毎に算出された動きベクトルＰＶ1、ＰＶ2、…ＰＶnが記録される。動きが検出されなかった画素の動きベクトルはゼロである。図１３（ｃ）に示すように、１フレームの撮像画像毎に、検出された二輪車の数（連結ブロック数）、二輪車毎の速度ｖ１、…、二輪車毎の位置Ｙ１、…、二輪車毎の移動方向θ１、…などを記録する。なお、移動方向θ１は、動きベクトルの向きが垂直方向（撮像画像の上下方向）となす角度などにより表すことができる。
【０１２２】
実施の形態２
上述の実施の形態１においては、連結ブロックの縦寸法と横寸法との差に基づいて、連結ブロックから二輪車を検出する場合について説明したが、二輪車の検出は、これに限定されるものではない。
【０１２３】
図１４は実施の形態２に係る二輪車検出処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックの撮像画像上での座標を特定する（Ｓ３１０）。この場合、特定する座標としては、例えば、撮像画像上で連結ブロックの下側両端部（横寸法）を用いることができる。
【０１２４】
ＣＰＵ２８は、特定した座標に基づいて、連結ブロックに対応する移動体の幅を算出する（Ｓ３１１）。なお、連結ブロックの座標から移動体の幅は、数８の式（６）、（８）、（９）により算出することができる。
【０１２５】
ＣＰＵ２８は、算出した幅が予め定められた二輪車の幅を示す閾値より小さいか否かを判定する（Ｓ３１２）。幅が閾値より小さい場合（Ｓ３１２でＹＥＳ）、ＣＰＵ２８は、連結ブロックに対応する移動体を二輪車として記録する（Ｓ３１３）。ＣＰＵ２８は、すべての連結ブロックについて処理を行ったか否かを判定する（Ｓ３１４）。
【０１２６】
すべての連結ブロックについて処理を行っていない場合（Ｓ３１４でＮＯ）、ＣＰＵ２８は、ステップＳ３１０以降の処理を続ける。算出した幅が閾値より大きい場合（Ｓ３１２でＮＯ）、ＣＰＵ２８は、ステップＳ３１４以降の処理を続ける。すべての連結ブロックについて処理を行った場合（Ｓ３１４でＹＥＳ）、ＣＰＵ２８は、処理を終了する。これにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【０１２７】
実施の形態３
上述の実施の形態２においては、連結ブロックの座標（横寸法）に基づいて、対応する移動体の実際上の幅を算出して二輪車を検出する場合について説明したが、二輪車の検出は、これに限定されるものではない。
【０１２８】
図１５は実施の形態３に係る二輪車検出処理手順を示すフローチャートである。ＣＰＵ２８は、特定された連結ブロックの撮像画像上での座標を特定する（Ｓ３２０）。この場合、特定する座標としては、例えば、撮像画像上で連結ブロックの上下中央部（縦寸法）を用いることができる。
【０１２９】
ＣＰＵ２８は、特定した座標に基づいて、連結ブロックに対応する移動体の高さを算出する（Ｓ３２１）。なお、連結ブロックの座標から移動体の高さは、数８の式（６）、（７）により算出することができる。
【０１３０】
ＣＰＵ２８は、算出した高さが予め定められた二輪車の高さを示す閾値より小さいか否かを判定する（Ｓ３２２）。高さが閾値より小さい場合（Ｓ３２２でＹＥＳ）、ＣＰＵ２８は、連結ブロックに対応する移動体を二輪車として記録する（Ｓ３２３）。ＣＰＵ２８は、すべての連結ブロックについて処理を行ったか否かを判定する（Ｓ３２４）。
【０１３１】
すべての連結ブロックについて処理を行っていない場合（Ｓ３２４でＮＯ）、ＣＰＵ２８は、ステップＳ３２０以降の処理を続ける。算出した高さが閾値より大きい場合（Ｓ３２２でＮＯ）、ＣＰＵ２８は、ステップＳ３２４以降の処理を続ける。すべての連結ブロックについて処理を行った場合（Ｓ３２４でＹＥＳ）、ＣＰＵ２８は、処理を終了する。これにより、二輪車以外の車両と区別して、従来よりも二輪車を正確に検出することができる。
【０１３２】
上述の実施の形態３において、二輪車を検出するための高さ閾値を変化させて、より精度良く二輪車を検出することができる。図１６は二輪車の高さ閾値を変化させる場合の閾値例を示す説明図である。図に示すように、二輪車とビデオカメラとの距離に応じて、撮像画像上での二輪車存在範囲（二輪車画像）は異なる。例えば、二輪車の位置がビデオカメラに近い地点Ａの場合、二輪車の後端部が視野内にあるため、撮像画像上で二輪車の存在範囲は、二輪車の先端部から後端部までとなる。
【０１３３】
一方、二輪車の位置がビデオカメラから遠い地点Ｂの場合、二輪車の後端部が搭乗者によって隠されるため、撮像画像上での二輪車の存在範囲は、撮像画像上で二輪車の存在範囲は、二輪車の先端部から搭乗者頭頂部までとなる。
【０１３４】
ここで、ビデオカメラの設置高さをＨ、二輪車の長さをＬ、搭乗者の頭頂部高さをｈ１、二輪車後端部の高さをｈ２（いずれも定数）とし、搭乗者が二輪車の中央部に存在するとした場合、二輪車先端部の位置Ｙから、撮像画像上での二輪車の存在範囲を算出することができる。
【０１３５】
地点Ａと地点Ｂとの境界となる位置、すなわち、二輪車の後端部と搭乗者の頭頂部とが重なる場合の二輪車の先端部の位置Ｙ０は、数９の式（１０）で算出することができる。
【０１３６】
【数９】
【０１３７】
従って、二輪車の先端部の位置Ｙが、Ｙ≦Ｙ０の場合、路面高さの位置において、Ｙ〜Ｙ１の範囲に相当する撮像画像上の範囲が二輪車の見かけ上の高さになり、このＹ１−Ｙの値を二輪車検出の高さ閾値として用いることができる。ここで、Ｙ１は、数９の式（１１）で表される。
【０１３８】
同様に、二輪車の先端部の位置Ｙが、Ｙ＞Ｙ０の場合、路面高さの位置において、Ｙ〜Ｙ２の範囲に相当する撮像画像上の範囲が二輪車の見かけ上の高さになり、このＹ２−Ｙの値を二輪車検出の高さ閾値として用いることができる。ここで、Ｙ２は、数９の式（１２）で表される。これにより、二輪車までの距離に拘わらず、広範囲に亘って二輪車を正確に検出することができる。
【０１３９】
実施の形態４
上述の実施の形態１においては、動きベクトルを算出する場合に、ブロックマッチング法及び勾配法で算出した動きベクトルを合成して最終的な動きベクトルを算出するものであったが、これに限定されるものではなく、例えば、二輪車までの距離に応じてブロックマッチング法及び勾配法を使い分けることもできる。
【０１４０】
図１７は撮像画像を分割して動きベクトル算出法を使い分ける場合の例を示す説明図である。図に示すように、二輪車までの距離が遠い場合、すなわち、撮像画像上の上側の領域においては、勾配法により動きベクトルを算出する。一方、二輪車までの距離が近い場合、すなわち、撮像画像上の下側の領域においては、ブロックマッチング法により動きベクトルを算出する。
【０１４１】
二輪車が遠距離にある場合、動きベクトルの大きさは比較的小さく、１画素未満の微小な動きベクトルも算出することができる勾配法が優れている。一方二輪車が近距離にある場合、動きベクトルは大きく変化するため、効率よく大きな動きベクトルを算出できるブロックマッチング法が優れている。なお、ブロックマッチング法及び勾配法での動きベクトル算出手順は、実施の形態１と同様であるので、説明は省略する。
【０１４２】
実施の形態５
上述の実施の形態では、動きベクトルを算出するための画素ブロック（ブロックマッチング法の場合）、又は局所領域（勾配法の場合）は、横長の所定の大きさの矩形状であったが、これに限定されるものではなく、例えば、車両までの距離に応じて大きさを変えることもできる。
【０１４３】
図１８は画素ブロック又は局所領域の例を示す説明図である。図に示すように、二輪車までの距離が遠い場合、すなわち、撮像画像上の上側の領域においては、横長の画素ブロック又は局所領域を小さくし（例えば、４×８）する。一方、二輪車までの距離が近い場合、すなわち、撮像画像上の下側の領域においては、横長の画素ブロック又は局所領域を大きく（例えば、８×１６）する。
【０１４４】
二輪車までの距離に応じて、撮像画像上での二輪車の大きさも異なり、前記画素ブロック又は局所領域の大きさを、二輪車以外の車両の大きさの１／２〜１／１０程度、又は二輪車の幅の１／１〜１／２程度の大きさになるようにすることで、二輪車以外の路面上の不要な情報を除外するとともに、動きベクトル算出のための処理労力を低減しつつ、精度良く動きベクトルを算出することができる。
【０１４５】
実施の形態６
上述の実施の形態においては、ビデオカメラで撮像して得られた撮像画像から各画素ブロックの動きベクトルを算出する構成であったが、これに限定されるものではなく、ビデオカメラで撮像してＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像の形式に変換された映像データに含まれる各画素ブロックの動きベクトル情報を用いてもよい。例えば、複数の交差点近傍に設置されたビデオカメラ１、１、…で撮像して得られた撮像画像に基づいて、予め動きベクトルを算出しておき、算出した動きベクトルを通信回線に接続された二輪車検出装置で取得して、多地点、遠隔地点などの二輪車の検出、検出した二輪車の速度、位置、移動方向を集中的に算出し、各交差点付近を走行する車両に二輪車がいることを報知することもできる。
【０１４６】
図１９は本発明の実施の形態６に係る二輪車検出装置を含む二輪車検出システムの概要を示す模式図である。図において、１は道路を含む領域を撮像するビデオカメラである。ビデオカメラ１は、複数の交差点近傍に設置され、ビデオカメラ１の光軸は、例えば、交差点付近の停止線から５０ｍの範囲にある道路に存在する二輪車を撮像するように道路方向に沿って配置してある。これにより、ビデオカメラ１は、交差点の上流５０ｍの位置から交差点に向かって走行する二輪車を撮像する。
【０１４７】
ビデオカメラ１には、制御装置８を接続してあり、制御装置８には信号灯器４、警告表示板６、無線発信装置７などを接続してある。制御装置８は、ビデオカメラ１で撮像して得られた画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理するとともに、画像データに基づいて算出した動きベクトルを符号化処理し、符号化処理後のデータ及び動きベクトルを、通信回線９を介して接続された二輪車検出装置２へ送信する。
【０１４８】
ここで、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像とは、画像の中の動く部分だけを検出し保存するなどして映像データを圧縮しているものであって、この形式に変換する際に、画素の動きベクトルの算出が行われる。
【０１４９】
制御装置８は、後述するように、二輪車検出装置２から通信回線９を介して出力された二輪車の検出結果（報知情報）に基づいて、信号灯器４の制御、警告表示板６への警告表示、無線発信装置７への警告情報の出力を行う。これにより、多地点又は遠隔地点にある交差点で車両が右折する場合に対向車に隠れた二輪車との衝突事故、又は交差点で車両が左折する場合に二輪車を巻き込む事故などを未然に防止する。
【０１５０】
二輪車検出装置２は、画像入力部２１に代えて、通信部２５で制御装置８、８、…から送信された符号化処理後のデータを取得し、取得したデータ元の画像データを復元するとともに、動きベクトルなどを抽出する。二輪車検出装置２は、抽出した動きベクトルに基づいて、連結ブロックを特定し、二輪車を検出するとともに、二輪車の速度、位置、移動方向を算出し、危険領域に到達する時間が所定の閾値より短い場合、報知情報を制御装置８、８、…へ通信回線９を介して出力する。
【０１５１】
図２０は制御装置８の構成を示すブロック図である。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部８１へ出力する。画像入力部８１は、取得した映像信号をＡ／Ｄ変換部８２へ出力し、Ａ／Ｄ変換部８２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ８８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ８３へ記憶する。ＣＰＵ８８は、画像入力部８１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ８３に記憶する。
【０１５２】
ＣＰＵ８８は、画像メモリ８３に記憶した画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理し、符号化処理後のデータを通信部８５から二輪車検出装置２へ送信する。ＣＰＵ８８は、符号化処理を行う際に画像データに基づいて動きベクトルを算出し、算出した動きベクトルを符号化処理する。
【０１５３】
補助記憶部８７は、コンピュータプログラムＰＧを読み込み、ＣＰＵ８８は、読み込まれたコンピュータプログラムをＲＡＭ８４にロードし、ロードされたコンピュータプログラムＰＧを実行することにより、動きベクトル算出処理、信号灯器４の制御処理、報知情報の出力処理などを行う。なお、動きベクトル算出処理、信号灯器４の制御処理、報知情報の出力処理は、実施の形態１と同様であるので、説明は省略する。
【０１５４】
図２１は実施の形態６における二輪車検出装置２の処理手順を示すフローチャートである。ＣＰＵ２８は、制御装置８から送信された符号化画像データを受信する（Ｓ４０）。ＣＰＵ２８は、受信した符号化画像データから動きベクトルを抽出する（Ｓ４１）。
【０１５５】
ＣＰＵ２８は、算出された動きベクトルの方向が略一致する画素であって、隣接する画素を連結した連結ブロックを特定する（Ｓ４２）。ＣＰＵ２８は、特定された連結ブロックの大きさに基づいて、二輪車を検出する（Ｓ４３）。
【０１５６】
ＣＰＵ２８は、二輪車として検出された連結ブロックの撮像画像上の最も下側の位置（座標）の動きベクトルの始点位置を二輪車の位置とし、その動きベクトルの大きさを二輪車の速度とし、その動きベクトルの方向を二輪車の移動方向として算出する（Ｓ４４）。
【０１５７】
ＣＰＵ２８は、算出された位置、速度、移動方向に基づいて、二輪車が予め定められた危険領域（例えば、交差点付近の左折車巻き込みゾーン、右折車衝突ゾーン）への到達時間を算出する（Ｓ４５）。ＣＰＵ２８は、算出した到達時間が所定の閾値より小さいか否かを判定する（Ｓ４６）。
【０１５８】
到達時間が閾値より小さい場合（Ｓ４６でＹＥＳ）、ＣＰＵ２８は、報知情報（二輪車検出結果）を出力する（Ｓ４７）。これにより、二輪車検出装置２は、交差点付近の危険領域に二輪車が接近していることを報知することができる。ＣＰＵ２８は、二輪車検出処理の終了要求を受け付けたか否かを判定し（Ｓ４８）、処理終了でない場合（Ｓ４８でＮＯ）には、ステップＳ４０以降の処理を続ける。
【０１５９】
到達時間が閾値より大きい場合（Ｓ４６でＮＯ）、ＣＰＵ２８は、ステップＳ４８以降の処理を続ける。一方、処理終了である場合（Ｓ４８でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【０１６０】
なお、上述の処理は、撮像画像１フレームに対する処理であるが、この処理を各フレームに対して継続して処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。これにより、二輪車の検出を広範囲、かつ多地点・遠隔地点において安定的に実現することができる。
【０１６１】
上述の実施の形態においては、警告表示板により文字又は画像で警告するとともに、無線発信装置で警告する場合について説明したが、警告、すなわち、報知情報の出力は、これに限定されるものではなく、近赤外線を用いた光ビーコンなどを通じて出力してもよい。
【０１６２】
上述の実施の形態１〜５においては、ビデオカメラ１と二輪車検出装置２とは、別個の装置で構成されていたが、ビデオカメラ１と二輪車検出装置２とを統合して、ひとつの装置として構成してもよい。
【０１６３】
上述の実施の形態においては、撮像画像のすべての画素に対して動きベクトルを算出する構成であったが、複数の画素で構成されるブロック毎に動きベクトルを算出する構成であってもよい。
【０１６４】
上述の実施の形態においては、ブロックマッチング法で動きベクトルを算出する場合に、数１の式で表される相関値を用いる構成であったが、これに限定されるものではなく、画素ブロック内画素の差分階調値の絶対値の和、画素の平均階調値の差の絶対値、画素の階調値の標準偏差の差の絶対値など、いずれの方法を用いてもよい。
【０１６５】
上述の実施の形態において、異なる撮像時点の撮像画像を取得する場合、撮像時点の時間間隔は、道路の交通状況に応じて、適宜設定することができる。二輪車が比較的高速で走行する道路の場合は、時間間隔を短くし、低速走行車両が多い道路では、時間間隔を長くすることができる。
【０１６６】
二輪車を検出する場合、二輪車の移動方向がビデオカメラから離れていく場合であっても、連結ブロックの最下部の動きベクトルの情報から、二輪車の位置、速度、移動方向を算出することもでき、そのような場合に本発明を適用することができる。
【図面の簡単な説明】
【０１６７】
【図１】本発明に係る二輪車検出装置を含む二輪車検出システム及び信号制御システムの概要を示す模式図である。
【図２】二輪車検出装置及び制御装置の構成を示すブロック図である。
【図３】撮像画像の一例を示す説明図である。
【図４】画素の動きベクトルを示す説明図である。
【図５】本発明に係る二輪車検出装置の動きベクトルの算出例を示す説明図である。
【図６】二輪車検出装置の動きベクトル算出の処理手順を示すフローチャートである。
【図７】二輪車検出装置の二輪車検出の処理手順を示すフローチャートである。
【図８】二輪車検出処理手順を示すフローチャートである。
【図９】実空間座標及び撮像面座標の関係を示す説明図である。
【図１０】連結ブロックの例を示す説明図である。
【図１１】連結ブロックにより特定された二輪車の例を示す説明図である。
【図１２】危険領域の例を示す説明図である。
【図１３】二輪車検出装置で算出される算出情報を示す説明図である。
【図１４】実施の形態２に係る二輪車検出処理手順を示すフローチャートである。
【図１５】実施の形態３に係る二輪車検出処理手順を示すフローチャートである。
【図１６】二輪車の高さ閾値を変化させる場合の閾値例を示す説明図である。
【図１７】撮像画像を分割して動きベクトル算出法を使い分ける場合の例を示す説明図である。
【図１８】画素ブロック又は局所領域の例を示す説明図である。
【図１９】本発明の実施の形態６に係る二輪車検出装置を含む二輪車検出システムの概要を示す模式図である。
【図２０】制御装置の構成を示すブロック図である。
【図２１】実施の形態６における二輪車検出装置の処理手順を示すフローチャートである。
【符号の説明】
【０１６８】
１ ビデオカメラ
２ 二輪車検出装置
３、８ 制御装置
４ 信号灯器
５ 通信線
６ 警告表示板
７ 無線発信装置
９ 通信回線
２１、８１ 画像入力部
２２、８２ Ａ／Ｄ変換部
２３、８３ 画像メモリ
２４、８４ ＲＡＭ
２５、８５ 通信部
２６、８６ 記憶部
２７、８７ 補助記憶部
２８、８８ ＣＰＵ
２９ ＣＤ−ＲＯＭ
３１ 通信部
３２ 記憶部
３３ ＲＡＭ
３４ 補助記憶部
３５ ＣＰＵ
【特許請求の範囲】
【請求項１】
取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置において、
撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、
特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段と
を備えることを特徴とする二輪車検出装置。
【請求項２】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出する算出手段を備え、
前記検出手段は、
前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出すべくなしてあることを特徴とする請求項１に記載の二輪車検出装置。
【請求項３】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出する算出手段を備え、
前記検出手段は、
前記算出手段で算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする請求項１に記載の二輪車検出装置。
【請求項４】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出する算出手段を備え、
前記検出手段は、
前記算出手段で算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする請求項１に記載の二輪車検出装置。
【請求項５】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出する手段と、
該手段で算出された距離に基づいて、前記高さ閾値を変更する手段と
を備えることを特徴とする請求項４に記載の二輪車検出装置。
【請求項６】
撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する手段と、
該手段で算出された第１の動きベクトルに応じて前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、前記新たな撮像画像の画素の第２の動きベクトルを算出する手段と
を備え、
両手段で算出された第１及び第２の動きベクトルの合成ベクトルを撮像画像の画素の動きベクトルとすることを特徴とする請求項１乃至請求項５のいずれかに記載の二輪車検出装置。
【請求項７】
前記画素ブロック又は局所領域の大きさは、撮像画像の遠距離に対応する領域よりも撮像画像の近距離に対応する領域で大きいことを特徴とする請求項６に記載の二輪車検出装置。
【請求項８】
撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、
撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と
を備え、
両手段で算出された動きベクトルを撮像画像の画素の動きベクトルとすることを特徴とする請求項１乃至請求項５のいずれかに記載の二輪車検出装置。
【請求項９】
前記画素ブロック又は局所領域は、横長の矩形状であることを特徴とする請求項６乃至請求項８のいずれかに記載の二輪車検出装置。
【請求項１０】
前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことを特徴とする請求項９に記載の二輪車検出装置。
【請求項１１】
撮像画像の画素の動きベクトルを取得する手段を備えることを特徴とする請求項１乃至請求項５のいずれかに記載の二輪車検出装置。
【請求項１２】
請求項１乃至請求項１１のいずれかに記載の二輪車検出装置と、該二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置とを備えることを特徴とする信号制御システム。
【請求項１３】
取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置と、該二輪車検出装置で検出された二輪車に関する情報を報知する報知装置とを備える二輪車検出システムにおいて、
前記二輪車検出装置は、
撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、
特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段と、
特定された連結ブロックの撮像画像上の座標に基づいて、前記検出手段で検出された二輪車の位置、速度、又は移動方向を算出する手段と、
算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定する手段と、
該手段で判定した判定結果を前記報知装置へ出力する手段と
を備え、
前記報知装置は、
前記判定結果を出力する手段を備えることを特徴とする二輪車検出システム。
【請求項１４】
取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出方法において、
撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、
特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することを特徴とする二輪車検出方法。
【請求項１５】
コンピュータに、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出させるためのコンピュータプログラムにおいて、
コンピュータを、
撮像画像の画素の動きベクトルの角度差を算出する手段と、
該手段で算出された角度差が閾値以下であるか否かを判定する手段と、
前記角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、
該手段によって特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する手段として機能させることを特徴とするコンピュータプログラム。
【請求項１】
取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置において、
撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、
特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段と
を備えることを特徴とする二輪車検出装置。
【請求項２】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックの縦寸法及び横寸法を算出する算出手段を備え、
前記検出手段は、
前記連結ブロックの縦寸法が横寸法より大きい場合に、前記連結ブロックに対応する移動体を二輪車として検出すべくなしてあることを特徴とする請求項１に記載の二輪車検出装置。
【請求項３】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の幅を算出する算出手段を備え、
前記検出手段は、
前記算出手段で算出された幅が幅閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする請求項１に記載の二輪車検出装置。
【請求項４】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体の高さを算出する算出手段を備え、
前記検出手段は、
前記算出手段で算出された高さが高さ閾値より小さい場合、前記移動体を二輪車として検出すべくなしてあることを特徴とする請求項１に記載の二輪車検出装置。
【請求項５】
特定された連結ブロックの撮像画像上の座標に基づいて、前記連結ブロックに対応する移動体までの距離を算出する手段と、
該手段で算出された距離に基づいて、前記高さ閾値を変更する手段と
を備えることを特徴とする請求項４に記載の二輪車検出装置。
【請求項６】
撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、前記第１の撮像時点における撮像画像の画素の第１の動きベクトルを算出する手段と、
該手段で算出された第１の動きベクトルに応じて前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法に基づいて、前記新たな撮像画像の画素の第２の動きベクトルを算出する手段と
を備え、
両手段で算出された第１及び第２の動きベクトルの合成ベクトルを撮像画像の画素の動きベクトルとすることを特徴とする請求項１乃至請求項５のいずれかに記載の二輪車検出装置。
【請求項７】
前記画素ブロック又は局所領域の大きさは、撮像画像の遠距離に対応する領域よりも撮像画像の近距離に対応する領域で大きいことを特徴とする請求項６に記載の二輪車検出装置。
【請求項８】
撮像時点が異なる複数の撮像画像夫々で局所領域を用いた勾配法に基づいて、撮像画像の遠距離に対応する領域の画素の動きベクトルを算出する手段と、
撮像時点が異なる複数の撮像画像夫々で画素ブロックを用いたブロックマッチング法に基づいて、撮像画像の近距離に対応する領域の画素の動きベクトルを算出する手段と
を備え、
両手段で算出された動きベクトルを撮像画像の画素の動きベクトルとすることを特徴とする請求項１乃至請求項５のいずれかに記載の二輪車検出装置。
【請求項９】
前記画素ブロック又は局所領域は、横長の矩形状であることを特徴とする請求項６乃至請求項８のいずれかに記載の二輪車検出装置。
【請求項１０】
前記画素ブロック又は局所領域の横寸法は、撮像画像上の二輪車の幅に略等しいことを特徴とする請求項９に記載の二輪車検出装置。
【請求項１１】
撮像画像の画素の動きベクトルを取得する手段を備えることを特徴とする請求項１乃至請求項５のいずれかに記載の二輪車検出装置。
【請求項１２】
請求項１乃至請求項１１のいずれかに記載の二輪車検出装置と、該二輪車検出装置で二輪車が検出された検出結果に基づいて、信号灯器を制御する信号制御装置とを備えることを特徴とする信号制御システム。
【請求項１３】
取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出装置と、該二輪車検出装置で検出された二輪車に関する情報を報知する報知装置とを備える二輪車検出システムにおいて、
前記二輪車検出装置は、
撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、
特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する検出手段と、
特定された連結ブロックの撮像画像上の座標に基づいて、前記検出手段で検出された二輪車の位置、速度、又は移動方向を算出する手段と、
算出された位置、速度、又は移動方向に基づいて、前記二輪車が所定の道路領域に進入するか否かを判定する手段と、
該手段で判定した判定結果を前記報知装置へ出力する手段と
を備え、
前記報知装置は、
前記判定結果を出力する手段を備えることを特徴とする二輪車検出システム。
【請求項１４】
取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出する二輪車検出方法において、
撮像画像の画素の動きベクトルの角度差が閾値以下である画素を連結してなる連結ブロックを特定し、
特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出することを特徴とする二輪車検出方法。
【請求項１５】
コンピュータに、取得した撮像画像を処理して移動体を特定し、特定した移動体の中から二輪車の存在を検出させるためのコンピュータプログラムにおいて、
コンピュータを、
撮像画像の画素の動きベクトルの角度差を算出する手段と、
該手段で算出された角度差が閾値以下であるか否かを判定する手段と、
前記角度差が閾値以下である画素を連結してなる連結ブロックを特定する手段と、
該手段によって特定された連結ブロックの形状又は大きさに基づいて、二輪車を検出する手段として機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００７−１４８６４７（Ｐ２００７−１４８６４７Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００５−３４０５１３（Ｐ２００５−３４０５１３）
【出願日】平成１７年１１月２５日（２００５．１１．２５）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１７年１１月２５日（２００５．１１．２５）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]