移動体検出装置、コンピュータプログラム及び移動体検出方法
【課題】移動体を高い精度で検出することができる移動体検出装置、コンピュータプログラム及び移動体検出方法を提供する。
【解決手段】検出ブロック設定部１０７は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する。評価値算出部１０９は、任意の時点ｔの撮像画像上で、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。選択部１１０は、算出された評価値に基づいて、候補領域であると評価された１又は複数の検出ブロックを選択する。移動体領域検出部１１２は、選択した検出ブロックの撮像画像上の位置及び大きさに基づいて、撮像画像上の移動体領域を検出する。
【解決手段】検出ブロック設定部１０７は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する。評価値算出部１０９は、任意の時点ｔの撮像画像上で、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。選択部１１０は、算出された評価値に基づいて、候補領域であると評価された１又は複数の検出ブロックを選択する。移動体領域検出部１１２は、選択した検出ブロックの撮像画像上の位置及び大きさに基づいて、撮像画像上の移動体領域を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法に関する。
【背景技術】
【０００２】
交通の安全と円滑を確保するために、道路側に設置したインフラ装置と対象車両（車載装置）とが路車間通信にて情報を交換する通信システム、特に対象車両の運転者からは死角となる場所に存在する他の車両又は歩行者などの情報をインフラ装置から対象車両へ提供することができる情報提供システムの検討が進められている。
【０００３】
このような情報提供システムでは、インフラ装置において道路上の車両の位置及び走行状況などを精度よく検出し、検出した結果を対象車両へ提供することが望まれる。このため、インフラ装置には道路上の車両又は歩行者などの移動体を検出するセンサなどの搭載が必要である。移動体の検出範囲、製品寿命及びコスト等の性能を考慮した場合、ビデオカメラで撮像した撮像画像を利用して車両又は歩行者などの移動体を検出する方式が有力である。
【０００４】
撮像画像を処理して移動体を検出する方法としては、例えば、テンプレート画像による画像探索を行うテンプレートマッチング法がある。テンプレートマッチング法は、ある時刻での撮像画像上の移動体領域をテンプレートとして撮像画像から抽出し、その後の時刻での撮像画像においてテンプレートに最も類似する画像領域を探し出すことによって、移動体領域を追跡する方法である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１８１２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のテンプレートマッチング法では、追跡対象の移動体が道路上の日陰から日向へ移動した場合に、撮像画像上で移動体を示す移動体領域の画素の輝度変化が大きくなり、テンプレートとの類似度が小さくなる結果、日陰内の路面などを誤って移動体と検出する傾向があるという問題がある。このため、移動体を高い精度で検出する技術が望まれていた。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、移動体を高い精度で検出することができる移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１発明に係る移動体検出装置は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置において、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段と、該設定手段で設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出する評価値算出手段と、該評価値算出手段で算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択する選択手段と、該選択手段で選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出する検出手段とを備えることを特徴とする。
【０００９】
第２発明に係る移動体検出装置は、第１発明において、各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段を備え、前記評価値算出手段は、前記特徴量算出手段で算出した特徴量をサポートベクターマシン又はブースティングを用いて評価して評価値を算出するように構成してあることを特徴とする。
【００１０】
第３発明に係る移動体検出装置は、第１発明又は第２発明において、前記選択手段は、移動体の候補領域であると評価された検出ブロックのうち、前記撮像画像上でお互いに近傍に存在する検出ブロックを選択するように構成してあることを特徴とする。
【００１１】
第４発明に係る移動体検出装置は、第１発明乃至第３発明のいずれか１つにおいて、前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの位置を示す座標値を重み付けする第１の重み付け手段を備え、前記検出手段は、前記第１の重み付け手段で重み付けして得られた実数値で表される位置を有する移動体領域を検出するように構成してあることを特徴とする。
【００１２】
第５発明に係る移動体検出装置は、第４発明において、前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの大きさを重み付けする第２の重み付け手段を備え、前記検出手段は、前記第２の重み付け手段で重み付けして得られた実数値で表される大きさを有する移動体領域を検出するように構成してあることを特徴とする。
【００１３】
第６発明に係る移動体検出装置は、第１発明乃至第５発明のいずれか１つにおいて、前記検出手段により検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段を備えることを特徴とする。
【００１４】
第７発明に係る移動体検出装置は、第６発明において、前記追跡手段により前記撮像画像上で追跡される追跡領域の位置が実数値であることを特徴とする。
【００１５】
第８発明に係る移動体検出装置は、第６発明又は第７発明において、前記追跡手段により前記撮像画像上で追跡される追跡領域の大きさが実数値であることを特徴とする。
【００１６】
第９発明に係るコンピュータプログラムは、コンピュータに、移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出させるためのコンピュータプログラムにおいて、コンピュータに、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップとを実行させることを特徴とする。
【００１７】
第１０発明に係る移動体検出方法は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置による移動体検出方法において、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、算出された評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、選択された検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップとを含むことを特徴とする。
【００１８】
第１発明、第９発明及び第１０発明にあっては、設定手段は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する。検出ブロックの設定方法は、例えば、撮像画像上で各検出ブロックが隣接するように設定してもよく、あるいは隣接する検出ブロックの一部が重複するように設定してもよい。また、検出ブロックのサイズ（大きさ）は、同一でもよく、あるいは撮像画像上での移動体の大きさが変わることを考慮して、撮像画像の上側（撮像地点が遠方にある）では検出ブロックのサイズを小さくし、撮像画像の下側（撮像地点が近くにある）では検出ブロックのサイズを大きくしてもよい。
【００１９】
評価値算出手段は、例えば、任意の時点ｔの撮像画像上で、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。評価値は、移動体（例えば、車両）らしさを表す指標であり、例えば、０〜１（「１」が最も移動体らしさを表す）の中で任意の値をとることができる。評価値の算出は、予め学習した検出器を用いればよい。選択手段は、算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択する。この場合、選択手段は、算出された評価値が予め定めた閾値以上の検出ブロックを移動体らしいとして候補領域として選択し、算出された評価値が閾値より小さい検出ブロックは移動体ではないとして消去（除去）する。
【００２０】
検出手段は、選択した検出ブロックの撮像画像上の位置（座標位置）及び大きさに基づいて、撮像画像上の移動体領域を検出する。例えば、移動体領域の位置は、選択された検出ブロックの位置の平均値とすることができ、また移動体領域のサイズ（大きさ）は、選択された検出ブロックのサイズの平均値とすることができる。これにより、移動体領域の撮像画像上の位置（座標位置）及びサイズ（大きさ）を特定することができ、撮像画像上で移動体領域を検出することができる。
【００２１】
撮像画像を複数の検出ブロックに分け、複数の検出ブロックの中から評価値に基づいて移動体の候補領域だけを選択するとともに、選択した検出ブロックの位置及び大きさを平均化して移動体領域を検出することにより、移動体の候補領域ではない領域を除外するとともに、選択された検出ブロックの位置及び大きさを平均化することにより、最も確からしい移動体領域を特定することができ、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
【００２２】
第２発明にあっては、特徴量算出手段は、例えば、任意の時点ｔの撮像画像上で、各検出ブロックの各画素の画素値に基づいて特徴量を算出する。特徴量は、例えば、検出ブロックのサイズを１６×１６の画素ブロック（一例）とした場合、検出ブロック内の各画素値を有する２５６次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、例えば、１６×１６画像内の各画素の勾配を求め、勾配方向の量子化（例えば、９方向）、度数分布などを特徴量とするＨＯＧ（Histogram of Oriented Gradients）特徴量などを用いることもできる。
【００２３】
評価値算出手段は、算出された特徴量をサポートベクターマシン（ＳＶＭ）又はブースティング（Boosting）を用いて評価して評価値を算出する。例えば、移動体及び非移動体（移動体ではないもの）パターンのサンプル学習を通じて、移動体及び非移動体パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用することができる。そして、評価値は、例えば、特徴量を２５６次元ベクトルとすると、移動体及び非移動体パターンそれぞれのベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど評価値が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を評価値として用いることもできる。いずれにしても、評価値は、移動体である確からしさを表現することができる指標であれば、どのような指標（評価値）を用いてもよい。これにより、高い精度で移動体を検出することができる。
【００２４】
第３発明にあっては、選択手段は、移動体の候補領域であると評価された検出ブロックのうち、撮像画像上でお互いに近傍に存在する検出ブロックを選択する。例えば、任意の時点ｔの撮像画像上で、評価値が閾値以上の検出ブロックが複数選択された場合、評価値が最も大きい検出ブロックを特定し、特定した検出ブロックの近傍にある検出ブロックを同じグループ（例えば、同一ラベルを付与する）として選択する。このような検出ブロックのグループを撮像画像上で選択する。これにより、移動体ではないと評価される領域を除外することができるとともに、移動体であると評価される候補領域を漏れなく抽出することができる。
【００２５】
第４発明にあっては、第１の重み付け手段は、選択された各検出ブロックに対して算出された評価値に応じて当該検出ブロックの位置を示す座標値を重み付けする。検出手段は、重み付けして得られた実数値で表される位置を有する移動体領域を検出する。例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、ＩａＭとし、それぞれの位置（例えば、重心位置の座標）を、（ｘａ１、ｙａ１）、（ｘａ２、ｙａ２）、…、（ｘａＭ、ｙａＭ）とし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、ＥａＭとし、移動体領域の重み付けされた位置を（ｘｔ、ｙｔ）とすると、ｘｔ＝（Ｅａ１×ｘａ１＋Ｅａ２×ｘａ２＋…＋ＥａＭ×ｘａＭ）／Ｍで求めることができ、ｙｔ＝（Ｅａ１×ｙａ１＋Ｅａ２×ｙａ２＋…＋ＥａＭ×ｙａＭ）／Ｍで求めることができる。移動体領域の位置を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００２６】
第５発明にあっては、第２の重み付け手段は、選択された各検出ブロックに対して算出された評価値に応じて当該検出ブロックの大きさ（サイズ）を重み付けする。検出手段は、重み付けして得られた実数値で表される大きさ（サイズ）を有する移動体領域を検出する。例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、ＩａＭとし、それぞれの領域の面積を、Ｓａ１、Ｓａ２、…、ＳａＭとし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、ＥａＭとし、移動体領域の重み付けされた面積をＳｔとすると、Ｓｔ＝（Ｅａ１×Ｓａ１＋Ｅａ２×Ｓａ２＋…＋ＥａＭ×ＳａＭ）／Ｍで求めることができる。移動体領域の大きさ（サイズ）を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００２７】
第６発明にあっては、追跡手段は、検出された移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する。追跡手段は、例えば、時点ｔの撮像画像上で移動体領域Ｖｔが検出された場合、当該移動体領域Ｖｔに最も類似する領域（追跡領域）を時点ｔ＋１以降の撮像画像上で探索することによって移動体の追跡を行う。
【００２８】
追跡方法は、例えば、時点ｔの撮像画像上の移動体領域Ｖｔ内で輝度値（画素値）の差分が所定の閾値以上の任意の２つの点の組を複数抽出する。そして、時点ｔ＋１の撮像画像上で、任意の２つの点の輝度値（画素値）の大小関係が一致した２つの点の組の数が最も多い領域を追跡領域（時点ｔの移動体領域Ｖｔの時点ｔ＋１での領域）として特定することができる。２つの点の輝度値（画素値）の大小関係に着目することにより、例えば、日照変化により撮像画像の明るさが変化した場合、あるいは車両などの移動体が日向から日蔭へ移動した場合に、撮像画像中の車両の輝度値が変化しても、輝度値の大小関係は変化しないため、車両の追跡を従来よりも精度よく行うことができる。
【００２９】
第７発明にあっては、追跡手段により撮像画像上で追跡される追跡領域の位置が実数値である。すなわち、位置が整数である場合には、撮像画像上の画素位置そのものを採用し輝度値（画素値）の算出は当該画素の輝度値（画素値）を用いる。また、位置が実数値（整数値を除く）である場合には、当該位置の周辺の画素位置及び当該画素の輝度値（画素値）を線形補間などの方法を用いて、当該位置の輝度値（画素値）を算出する。これにより、画素間よりもさらに微細な位置を算出することができ、画素間で生じる誤差の影響を低減して、移動体の検出及び追跡を従来よりも精度良く行うことができる。
【００３０】
第８発明にあっては、追跡手段により撮像画像上で追跡される追跡領域の大きさが実数値である。すなわち、追跡領域の大きさ（サイズ）が整数値にのみ限定している場合、時間の経過に伴って追跡領域の大きさが変化する場合（例えば、移動体が接近するので追跡領域が大きくなる）、類似度合を判定するために追跡領域を同一サイズに変換するときに、微小なサイズ変化の際の四捨五入の影響で誤差が生ずる。当該誤差は、時系列的に追跡領域を追跡するときに誤差が蓄積し、移動体の検出の精度が低下する。追跡領域の大きさ（サイズ）を実数値（整数値に限定しない）とすることにより、連続して追跡する際の誤差を低減することができ、精度良く移動体を追跡することができる。
【発明の効果】
【００３１】
本発明によれば、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
【図面の簡単な説明】
【００３２】
【図１】本実施の形態の移動体検出装置による移動体検出の様子を示す模式図である。
【図２】本実施の形態の移動体検出装置の構成の一例を示すブロック図である。
【図３】ビデオカメラで撮像された撮像画像の一例を示す模式図である。
【図４】本実施の形態の検出ブロックの一例を示す模式図である。
【図５】本実施の形態の撮像画像上に設定された検出ブロックの一例を示す模式図である。
【図６】本実施の形態の移動体検出装置により選択された検出ブロックの一例を示す模式図である。
【図７】本実施の形態の移動体検出装置により検出した移動体領域の一例を示す模式図である。
【図８】本実施の形態の移動体検出装置による移動体検出の処理手順を示すフローチャートである。
【図９】本実施の形態の移動体検出装置による移動体検出の処理手順を示すフローチャートである。
【図１０】本実施の形態の移動体検出装置による追跡処理における正サンプル及び負サンプルの抽出方法の一例を示す模式図である。
【図１１】本実施の形態の移動体検出装置によるペア特徴の抽出方法の一例を示す説明図である。
【図１２】撮像画像上の任意の点での画素値（輝度値）の算出方法の一例を示す説明図である。
【図１３】本実施の形態の移動体検出装置による２点ペアの抽出処理の手順を示すフローチャートである。
【図１４】本実施の形態の移動体検出装置による２点ペアの抽出処理の手順を示すフローチャートである。
【図１５】本実施の形態の移動体検出装置による移動体領域の移動先候補の抽出方法の一例を示す模式図である。
【図１６】本実施の形態の移動体検出装置による移動体領域の追跡の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体検出装置１００による移動体検出の様子を示す模式図であり、図２は本実施の形態の移動体検出装置１００の構成の一例を示すブロック図である。本実施の形態では、移動体検出装置１００は移動体の一例として車両を検出する場合について説明するが、移動体は車両に限定されるものではなく、歩行者、二輪車、船、飛行機又は動物等の種々の移動体でもよく、ビデオカメラ等で撮像された撮像画像中において、その位置が時間と共に変化するものであれば移動体に含めることができる。
【００３４】
図１に示すように、複数の道路が交差する交差点の近傍にビデオカメラ（撮像装置）２００を設置してある。ビデオカメラ２００は、道路を含む所定の領域（図１において一点鎖線で示す撮像領域）を撮像すべく、所定の高さ、俯角及び回転角等の撮像条件が設定された状態で設置されている。ビデオカメラ２００は、連続的（時系列的）に道路上の撮像を行い、撮像して得られた撮像画像を移動体検出装置１００へ出力（送信）する。
【００３５】
ビデオカメラ２００は、交差点に流入する一の道路を撮像するように設置されており、移動体検出装置１００は、ビデオカメラ２００の撮像領域内に存在する車輌１１を検出するとともに追跡する。移動体検出装置１００は、車両１１の追跡結果から、車両１１の走行方向及び走行速度等の情報を生成し、生成した情報を無線通信等により他方の道路に存在する車両１２、１３へ送信する。これにより、見通しの悪い交差点などにおいて、車両１２、１３の運転者は、交差する道路に他の車両１１が走行していることを認識でき、徐行又は一時停止等の安全運転を行うことができる。なお、移動体検出装置１００で検出、追跡する移動体の追跡結果は、図１の例に限定されるものではなく、他の用途にも適用することができる。
【００３６】
図２に示すように、移動体検出装置１００は、装置全体を制御する制御部１０１、画像入力部１０２、Ａ／Ｄ変換部１０３、画像メモリ１０４、通信部１０５、記憶部１０６、検出ブロック設定部１０７、特徴量算出部１０８、評価値算出部１０９、選択部１１０、重み付け部１１１、移動体領域検出部１１２、移動体領域追跡部１１３などを備える。図２の例では、移動体検出装置１００とビデオカメラ２００とは別個の装置として示され、例えば、ビデオカメラ２００の近傍に移動体検出装置１００を設置することができるが、これに限定されるものではなく、移動体検出装置１００とビデオカメラ２００とを一体の装置として構成することできる。
【００３７】
ビデオカメラ２００は、例えば、１フレーム当たり２４０×３２０画素の撮像画像を１秒間に３０フレーム撮像することによって道路を含む移動体を撮像し、撮像して得られた撮像画像を１フレーム毎にアナログ信号として移動体検出装置１００の画像入力部１０２へ出力する。なお、ビデオカメラ２００は、撮像画像をデジタル信号として出力する構成であってもよい。また、撮像画像の解像度も一例であって、２４０×３２０画素に限定されるものではない。
【００３８】
図３はビデオカメラ２００で撮像された撮像画像の一例を示す模式図である。図３Ａに示す撮像画像は、例えば、時点ｔで撮像された撮像画像を示し、図３Ｂに示す撮像画像は、時点ｔより後の時点ｔ＋Δｔで撮像された撮像画像を示す。図３は、時間Δｔの間に移動体である車両の撮像画像上での位置及び大きさが変化する様子を模式的に示す。
【００３９】
画像入力部１０２は、ビデオカメラ２００から出力された撮像画像のアナログ信号を取得し、取得したアナログ信号をＡ／Ｄ変換部１０３へ出力する。
【００４０】
Ａ／Ｄ変換部１０３は、画像入力部１０２から出力されたアナログ信号を取得し、取得したアナログ信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１０４へ記憶する。画像入力部１０２を介してビデオカメラ２００から出力された撮像画像は、ビデオカメラ２００のフレームレート（撮像を行う間隔）に同期して１フレーム単位の画像データとして画像メモリ１０４に記憶される。
【００４１】
画像メモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等のメモリ素子により構成することができ、移動体の検出及び追跡に必要な多くの画像データを記憶することができる。
【００４２】
通信部１０５は、狭域通信機能、ＵＨＦ（Ultra High Frequency）帯又はＶＨＦ（Very High Frequency）帯等の無線ＬＡＮ（Local Area Network）などの中域通信機能、及び携帯電話、ＰＨＳ（Personal Handyphone System）、多重ＦＭ（Frequency Modulation）放送又はインターネット通信等の広域通信機能を備える。通信部１０５は、ビデオカメラ２００の撮像領域内及びその付近に存在する車両から所定の車両情報（例えば、車両の位置情報、車速情報、車種情報、ワイパーの動作状況、あるいはヘッドライトなどの車灯の動作状況等を示す情報）を受信する。また、通信部１０５は、ビデオカメラ２００で撮像した撮像画像に基づいて検出、追跡された車両の情報を提供すべく、情報提供対象の車両へ情報を送信する。また、通信部１０５は、交通管制センターなどに設置されたサーバ装置、あるいは他の移動体検出装置との間で情報の送受信を行うことができる。
【００４３】
記憶部１０６は、ＳＲＡＭ（Static Random Access Memory）若しくはＤＲＡＭ（Dynamic Random Access Memory）等のメモリ素子、又はハードディスクなどの磁気記憶装置等で構成することができ、通信部１０５にて受信されたデータ及び移動体検出装置１００での処理過程で発生した種々のデータ等を記憶することができる。
【００４４】
検出ブロック設定部１０７は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段としての機能を有する。
【００４５】
図４は本実施の形態の検出ブロックの一例を示す模式図である。検出ブロックは、例えば、１６×１６画素で構成される画素ブロックであり、撮像画像上で、相互に隣接するように設定することができる。図４の例では、簡便のため、各検出ブロックの大きさ（サイズ）が同一であり、隣接する検出ブロックが重ならないように設定されているが、検出ブロックの設定方法は、図４の例に限定されるものではない。
【００４６】
すなわち、撮像画像上で各検出ブロックが重ならずに隣接するように設定してもよく、あるいは隣接する検出ブロックの一部が重複するように設定してもよい。また、検出ブロックのサイズ（大きさ）は、同一でもよく、あるいは撮像画像上での移動体の大きさが変わることを考慮して、撮像画像の上側（撮像地点が遠方にある）では検出ブロックのサイズを小さくし、撮像画像の下側（撮像地点が近くにある）では検出ブロックのサイズを大きくしてもよい。また、撮像画像のうち道路以外の領域は車輌が存在する可能性が小さいので、道路の形状、大きさに応じて、道路領域だけに検出ブロックを設定してもよい。これにより、撮像画像全体で処理する必要がなくなり、処理時間の短縮又は処理労力の軽減を図ることができる。
【００４７】
特徴量算出部１０８は、各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段としての機能を有する。すなわち、特徴量算出部１０８は、例えば、任意の時点ｔの撮像画像上で、各検出ブロックの各画素の画素値に基づいて特徴量を算出する。
【００４８】
特徴量は、車両（移動体）らしさを特徴付けることができるものであり、例えば、車両の輪郭、バンパー、ヘッドライトなどを表す画像領域から抽出することができる。特徴量は、例えば、検出ブロックのサイズを１６×１６の画素ブロック（一例）とした場合、検出ブロック内の各画素値を有する２５６次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、例えば、１６×１６画像内の各画素の勾配を求め、勾配方向の量子化（例えば、９方向）、度数分布などを特徴量とするＨＯＧ（Histogram of Oriented Gradients）特徴量などを用いることもできる。
【００４９】
評価値算出部１０９は、設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を当該検出ブロック毎に算出する評価値算出手段としての機能を有する。評価値算出部１０９は、例えば、任意の時点ｔの撮像画像上で、設定した各検出ブロックが車両（移動体）の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。評価値は、車両（移動体）らしさを表す指標であり、例えば、０〜１（「１」が最も移動体らしさを表す）の中で任意の値をとることができる。評価値の算出は、予め学習した検出器を用いればよい。
【００５０】
より具体的には、評価値算出部１０９は、算出された特徴量をサポートベクターマシン（ＳＶＭ）又はブースティング（Boosting）を用いて評価して評価値を算出する。例えば、移動体及び非移動体（移動体ではないもの）パターンのサンプル学習を通じて、移動体及び非移動体パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用することができる。そして、評価値は、例えば、特徴量を２５６次元ベクトルとすると、移動体及び非移動体パターンそれぞれのベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど評価値が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を評価値として用いることもできる。いずれにしても、評価値は、車両（移動体）である確からしさを表現することができる指標であれば、どのような指標（評価値）を用いてもよい。これにより、高い精度で移動体を検出することができる。
【００５１】
選択部１１０は、算出された評価値に基づいて、候補領域であると評価された１又は複数の検出ブロックを選択する選択手段としての機能を有する。選択部１１０は、算出された評価値が予め定めた閾値以上の検出ブロックを移動体らしいとして候補領域として選択し、算出された評価値が閾値より小さい検出ブロックは移動体ではないとして消去（除去）する。例えば、評価値が０〜１の範囲であり、評価値１が最も車両らしさを表し、評価値０が最も非車両らしさを表す場合、例えば、評価値が０．５以上の検出ブロックを選択し、評価値が０．５より小さい検出ブロックを除外する。
【００５２】
また、選択部１１０は、車両（移動体）の候補領域であると評価された検出ブロックのうち、撮像画像上でお互いに近傍に存在する検出ブロックを選択する。例えば、任意の時点ｔの撮像画像上で、評価値が閾値以上の検出ブロックが複数選択された場合、評価値が最も大きい検出ブロックを特定し、特定した検出ブロックの近傍にある検出ブロックを同じグループ（例えば、同一ラベルを付与する）として選択する。このような検出ブロックのグループを撮像画像上で選択する。この場合、撮像画像上で、例えば、２台の車両が離隔して走行しているとすると、２つのグループを選択することができる。これにより、移動体ではないと評価される領域を除外することができるとともに、移動体であると評価される候補領域を漏れなく抽出することができる。
【００５３】
移動体領域検出部１１２は、選択した検出ブロックの撮像画像上の位置及び大きさに基づいて、撮像画像上の移動体領域を検出する検出手段としての機能を有する。移動体領域検出部１１２は、例えば、移動体領域の位置は、選択された検出ブロックの位置の平均値とすることができ、また移動体領域のサイズ（大きさ）は、選択された検出ブロックのサイズの平均値とすることができる。これにより、移動体領域の撮像画像上の位置及びサイズ（大きさ）を特定することができ、撮像画像上で移動体領域を検出することができる。
【００５４】
上述のように、撮像画像を複数の検出ブロックに分け、複数の検出ブロックの中から評価値に基づいて移動体の候補領域だけを選択するとともに、選択した検出ブロックの位置及び大きさを、例えば、平均化して移動体領域を検出することにより、移動体の候補領域ではない領域を除外するとともに、選択された検出ブロックの位置及び大きさを平均化することにより、最も確からしい移動体領域を特定することができ、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
【００５５】
お互いに近傍に存在する検出ブロックが複数存在する場合、それぞれの検出ブロックに対して算出された評価値で各検出ブロックを重み付けして移動体領域を検出することもできる。
【００５６】
重み付け部１１１は、選択した各検出ブロックに対して算出された評価値に応じて当該検出ブロックの位置を重み付けする第１の重み付け手段、及び大きさ（サイズ）重み付けする第２の重み付け手段としての機能を有する。
【００５７】
次に、各検出ブロックの重み付けによる移動体領域の検出方法について説明する。図５は本実施の形態の撮像画像上に設定された検出ブロックの一例を示す模式図であり、図６は本実施の形態の移動体検出装置１００により選択された検出ブロックの一例を示す模式図であり、図７は本実施の形態の移動体検出装置１００により検出した移動体領域の一例を示す模式図である。図５〜図７では、１台の車両が撮像された場合について説明しているが、複数台の車両が撮像画像上に存在する場合も同様である。
【００５８】
図５は、例えば、時点ｔで撮像された撮像画像上に設定した検出ブロックのうち、便宜上一部の検出ブロックだけを図示している。また、便宜上、各検出ブロックの大きさ（サイズ）が同一であり、隣接する検出ブロックが重複しないように図示しているが、実際は検出ブロックの大きさは種々の大きさで設定することができ、また検出ブロックの一部が重なり合って設定されている。
【００５９】
図６は、各検出ブロックの評価値Ｅを算出し、算出した評価値Ｅが所定の閾値以上の検出ブロックであって、お互いに近傍に存在するものを１つのグループとして選択したものである。例えば、図６に示すように、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、Ｉａ６とする。なお、同一ラベルの付与は、例えば、ラベルが付与されていない検出ブロックの中で最も評価値が大きい検出ブロックにラベルを付すとともに選択する。そして、選択した検出ブロックの近傍の検出ブロックに同じラベルを付与して１つのグループとして纏めることができる。
【００６０】
重み付け部１１１は、以下のようにして、検出ブロックの位置及び大きさ（サイズ）の重み付けを行う。例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、Ｉａ６とし、それぞれの位置を示す座標値（例えば、重心位置の座標）を、（ｘａ１、ｙａ１）、（ｘａ２、ｙａ２）、…、（ｘａ６、ｙａ６）とし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、Ｅａ６とし、移動体領域の重み付けされた位置を示す座標値を（ｘｔ、ｙｔ）とすると、ｘｔ＝（Ｅａ１×ｘａ１＋Ｅａ２×ｘａ２＋…＋Ｅａ６×ｘａ６）／６で求めることができ、ｙｔ＝（Ｅａ１×ｙａ１＋Ｅａ２×ｙａ２＋…＋Ｅａ６×ｙａ６）／６で求めることができる。なお、重み付け係数として用いられる評価値は、Ｅａ１＋Ｅａ２＋…＋Ｅａ６＝１となるように正規化しておけばよい。移動体領域の位置を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００６１】
また、例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、Ｉａ６とし、それぞれの領域の面積を、Ｓａ１、Ｓａ２、…、Ｓａ６とし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、Ｅａ６とし、移動体領域の重み付けされた面積をＳｔとすると、Ｓｔ＝（Ｅａ１×Ｓａ１＋Ｅａ２×Ｓａ２＋…＋Ｅａ６×Ｓａ６）／６で求めることができる。移動体領域の大きさ（サイズ）を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００６２】
図７に示すように、時点ｔでの撮像画像上の移動体領域Ｉｔは、位置が上述で求めた（ｘｔ、ｙｔ）であり、大きさ（サイズ）がＳｔである。
【００６３】
移動体領域追跡部１１３は、検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段としての機能を有する。移動体領域追跡部１１３は、例えば、時点ｔの撮像画像上で移動体領域Ｖｔが検出された場合、当該移動体領域Ｖｔに最も類似する領域（追跡領域）を時点ｔよりも後の時点の撮像画像上で探索することによって移動体の追跡を行う。なお、追跡方法の詳細は後述する。
【００６４】
次に、本実施の形態の移動体検出装置１００による移動体検出方法について説明する。図８及び図９は本実施の形態の移動体検出装置１００による移動体検出の処理手順を示すフローチャートである。なお、以下では、処理の主体を制御部１０１として説明する。
【００６５】
制御部１０１は、撮像画像上の検出ブロックを設定し（Ｓ１１）、例えば、時点ｔでの撮像画像を取得する（Ｓ１２）。制御部１０１は、検出ブロック毎に特徴量を算出し（Ｓ１３）、算出した特徴量に基づいて、検出ブロックごとに評価値を算出する（Ｓ１４）。
【００６６】
制御部１０１は、すべての検出ブロックに対して評価値の算出を完了したか否かを判定し（Ｓ１５）、完了していない場合（Ｓ１５でＮＯ）、ステップＳ１３以降の処理を続け、完了した場合（Ｓ１５でＹＥＳ）、評価値が所定の閾値より小さい検出ブロックを移動体ではない（非移動体である）として消去（除去）する（Ｓ１６）。
【００６７】
制御部１０１は、ラベルが付与されていない検出ブロックの中から評価値が最大の検出ブロックにラベルを付して選択し（Ｓ１７）、選択された検出ブロックの近傍の検出ブロックに同一のラベルを付与する（Ｓ１８）。なお、近傍とは、検出ブロック同士が一部の領域で重なる場合、隣接する場合、及び若干の離隔間隔を有して近接する場合を含む。
【００６８】
制御部１０１は、すべての検出ブロック（選択された検出ブロック）にラベルを付与したか否かを判定し（Ｓ１９）、すべての検出ブロックにラベルを付与していない場合（Ｓ１９でＮＯ）、ステップＳ１７以降の処理を続け、すべての検出ブロックにラベルを付与した場合（Ｓ１９でＹＥＳ）、同一のラベルが付与された検出ブロックの撮像画像上の位置、大きさを評価値に基づいて重み付けする（Ｓ２０）。なお、重み付けは、位置のみを重み付けしてもよく、あるいは位置及び大きさの両者を重み付けしてもよい。検出ブロックの大きさがすべて同一である場合には、大きさの重み付けは不要である。
【００６９】
制御部１０１は、重み付け平均により得られた位置、大きさの領域を移動体領域として検出する（Ｓ２１）。制御部１０１は、他のラベル（別のグループのラベル）の有無を判定し（Ｓ２２）、他のラベルがある場合（Ｓ２２でＹＥＳ）、ステップＳ２０以降の処理を繰り返し、他のラベルがない場合（Ｓ２２でＮＯ）、処理を終了する。
【００７０】
次に、検出した移動体領域を用いて、車両（移動体）の追跡方法について説明する。本実施の形態では、移動体領域の中から「ペア特徴」という特徴量を抽出し、抽出したペア特徴に基づいて時系列的に後の撮像画像上で移動体領域に最も類似する領域を追跡領域として特定することにより、移動体を追跡する。以下、ペア特徴を用いた車両の追跡方法について説明する。
【００７１】
図１０は本実施の形態の移動体検出装置１００による追跡処理における正サンプル及び負サンプルの抽出方法の一例を示す模式図である。図１０Ａは、時点ｔで撮像された撮像画像Ｖｔ上で移動体領域Ｉｔが検出された場合を示す。移動体領域Ｉｔの検出は、上述の図８及び図９の処理に基づくものである。
【００７２】
図１０Ｂは、移動体領域Ｉｔを正サンプルとして負サンプルの抽出方法の一例を例示するものである。すなわち、車両の追跡処理においては、まず、時点ｔの撮像画像Ｖｔ上で検出された移動体領域Ｉｔを正サンプルとして抽出するとともに、正サンプルＩｔ の周囲から複数（例えば、Ｆ個とする）の負サンプル（周囲サンプル）Ｊｔ１、…、ＪｔＦを抽出する。なお、正サンプルＩｔ及び負サンプルＪｔ１、…、ＪｔＦの抽出処理は、移動体領域追跡部１１３により行われる。
【００７３】
各負サンプルＪｔ１、…、ＪｔＦは、正サンプルＩｔと同じサイズの画像領域であり、撮像画像上で正サンプルＩｔから上下左右に所定画素の範囲から、複数の負サンプルＪｔ１、…、ＪｔＦを抽出することができる。例えば、正サンプルＩｔから上下左右に５画素分の範囲（１１画素×１１画素分の範囲）から、１画素ずつずらして負サンプルを抽出する場合、Ｆ＝１１×１１−１＝１２０個の負サンプルを正サンプルＩｔの周囲から抽出することができる。
【００７４】
移動体領域Ｉｔの重心位置である位置（ｘｔ、ｙｔ）は、整数値に限定されるものではなく、整数値を除く実数値でもよい。したがって、正サンプルＩｔの位置（重心位置）が整数値を除く実数値である場合、各負サンプルの位置も、正サンプルＩｔの位置から１画素の整数倍だけ離隔するので、各負サンプルの位置も、整数値を除く実数値となる。
【００７５】
また、移動体領域Ｉｔの大きさ（サイズ）は、整数値に限定されるものではなく、整数値を除く実数値でもよい。したがって、正サンプルＩｔと同じ大きさの各サンプルの大きさ（サイズ）も、整数値を除く実数値となる。
【００７６】
図１１は本実施の形態の移動体検出装置１００によるペア特徴の抽出方法の一例を示す説明図である。ペア特徴は、正サンプルＩｔと各負サンプルＪｔ１、…、ＪｔＦとを区別し得る特徴量である。
【００７７】
ペア特徴の抽出は、まず、正サンプルＩｔから所定数の「２つの点のペア」（以下、「２点ペア」とも称する。）を抽出する。２つの点は、正サンプルＩｔ内の任意の点であり、画素の位置に限定されるものではない。２点ペアは、正サンプルＩｔからランダムに抽出した２つの点のうち、その輝度値（画素値）の差が閾値Ｔｈ以上のものである。一例として、図１１Ａには、正サンプルＩｔから抽出した５つの２点ペアを示しており、実線の矢印で結ばれた２つの点が２点ペアである。
【００７８】
図１１Ａにおいて、２点ペアのうち輝度値が大きい点は白抜きの四角形で示し、輝度値が小さい点は模様を付した四角形で示している。それぞれの２点ペアには、図１１中矢印の始点側である第１の点（ｘ１、ｙ１）の輝度値Ｉ（ｘ１、ｙ１）と、図１１中矢印の終点側である第２の点（ｘ２、ｙ２）の輝度値Ｉ（ｘ２、ｙ２）との差分が所定の閾値Ｔｈ以上である２点ペアに対してラベル「１」を付し、第１の点（ｘ１、ｙ１）の輝度値Ｉ（ｘ１、ｙ１）と、第２の点（ｘ２、ｙ２）の輝度値Ｉ（ｘ２、ｙ２）との差分が閾値Ｔｈ以下である２点ペアに対してラベル「−１」を付す。
【００７９】
正サンプルＩｔから所定数の２点ペアを抽出した後、図１１Ｂに示すように、同様にして、負サンプルＪｔ１、…、ＪｔＦからそれぞれ同じ所定数の２点ペアを抽出する。負サンプルから抽出する２点ペアの位置は、正サンプルで抽出した２点ペアと対応する位置（同一の位置）である。
【００８０】
図１２は撮像画像上の任意の点での画素値（輝度値）の算出方法の一例を示す説明図である。図１２に示すように、お互いに隣接する４つの画素（ｐ、ｑ）、（ｐ＋１、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ＋１）で囲まれる領域内の任意の点（ｘ、ｙ）の輝度値Ｉ（ｘ、ｙ）は、Ｉ（ｘ、ｙ）＝（１−α）×（１−β）×Ｉ（ｐ、ｑ）＋α×（１−β）×Ｉ（ｐ＋１、ｑ）＋（１−α）×β×Ｉ（ｐ、ｑ＋１）＋α×β×Ｉ（ｐ＋１、ｑ＋１）で補間して求めることができる。図１１に示す２点ペアの輝度値（画素値）は、図１２に例示する方法で補間して算出することができる。ここで、α、βは、図１２に示すように、任意の点（ｘ、ｙ）と各画素からの離隔距離の比率を表す係数である。なお、図１２に例示する補間処理は、移動体領域追跡部１１３により行われる。
【００８１】
図１３および図１４は本実施の形態の移動体検出装置１００による２点ペアの抽出処理の手順を示すフローチャートである。２点ペアの抽出処理は、制御部１０１の制御のもと、移動体領域追跡部１１３により行われるが、以下では処理の主体を便宜上制御部１０１として説明する。
【００８２】
制御部１０１は、時点ｔの撮像画像Ｖｔで検出した移動体領域Ｉｔを正サンプルとして抽出し（Ｓ３１）、正サンプルＩｔから輝度値の差分が閾値Ｔｈ以上の２つの点のペア（２点ペア）をランダムにＮ（所定数）組抽出する（Ｓ３２）。
【００８３】
制御部１０１は、正サンプルＩｔの周囲から負サンプルを１つ抽出し（Ｓ３３）、図１１に示すように、抽出した負サンプルから、正サンプルで抽出した２点ペアに対応する２点ペアを抽出する（Ｓ３４）。
【００８４】
制御部１０１は、正サンプルから抽出した２点ペアと、負サンプルから抽出した２点ペアの大小関係に基づいて、２点ペアの個別の類似度を算出する（Ｓ３５）。
【００８５】
２点ペアの個別の類似度の算出は以下のようにすることができる。正サンプルＩｔから抽出した２点ペアの大小関係と、当該２点ペアに対応する負サンプルの２点ペアの大小関係が一致する場合、当該ペアの個別類似度を「１」とし、大小関係が一致しない場合、当該ペアの個別類似度を「０」とする。
【００８６】
制御部１０１は、個別の類似度の合計値を算出する（Ｓ３６）。合計値とは、個別の類似度をＮ組分の２点ペアについて合計することである。制御部１０１は、すべての負サンプルについて処理が終了したか否かを判定し（Ｓ３７）、終了していない場合（Ｓ３７でＮＯ）、ステップＳ３３以降の処理を繰り返す。
【００８７】
すべての負サンプルについて処理が終了した場合（Ｓ３７でＹＥＳ）、制御部１０１は、類似度の合計が最小値であるか否かを判定する（Ｓ３８）。ここで、個別の類似度の合計値が小さいほど正サンプルと負サンプルとを区別し易い特徴量であることを示す。
【００８８】
類似度の合計が最小値である場合（Ｓ３８でＹＥＳ）、制御部１０１は、ステップＳ３２で抽出したＮ個の２点ペアを保持し（Ｓ３９）、以前に保持した２点ペアがある場合には、当該２点ペアを破棄する。類似度の合計が最小値でない場合（Ｓ３８でＮＯ）、制御部１０１は、ステップＳ３９の処理を行わずに後述のステップＳ４０の処理を行う。
【００８９】
制御部１０１は、所定回数反復したか否かを判定し（Ｓ４０）、所定回数反復していない場合（Ｓ４０でＮＯ）、ステップＳ３２以降の処理を繰り返し、所定回数反復した場合（Ｓ４０でＹＥＳ）、処理を終了する。
【００９０】
上述の処理において、最終的にステップＳ３９にて保持されたＮ個の２点ペアが、正サンプルＩｔのペア特徴となり、後述の移動体追跡の処理で用いられる。
【００９１】
図１５は本実施の形態の移動体検出装置１００による移動体領域の移動先候補の抽出方法の一例を示す模式図である。図１５に示すように、移動体領域追跡部１１３は、ビデオカメラ２００が撮像した時点ｔより後の時点（例えば、時点ｔ＋１）での撮像画像Ｖｔ＋１から、水平方向及び垂直方向に１画素又は数画素ずつ移動させながら、矩形状の画像領域を移動先候補として順に抽出する。
【００９２】
この場合、抽出する画像領域（移動先候補）の大きさ（サイズ）は、抽出位置に応じて決定することができる。図１５の例では、撮像画像Ｖｔ＋１の上側では小さいサイズの画像領域が抽出され、下側では大きいサイズの画像領域が抽出される。抽出する画像領域のサイズ変化は、ビデオカメラ２００で撮像される撮像画像中の遠近に対応して定まるので、道路上におけるビデオカメラ２００の設置位置及び撮像方向等により、ビデオカメラ２００毎に適切なサイズ変化を設定することができる。
【００９３】
また、図１５の例では、移動先候補の画像領域を抽出する範囲を、撮像画像Ｖｔ＋１内における道路上のみに限定している。車両が走行する可能性が低い範囲を除外して移動先候補の抽出範囲を限定することにより、車両の追跡処理に要する計算量を低減することができる。撮像画像中における道路の範囲は、ビデオカメラ２００の設置位置及び撮像方向等に応じて、予め適切に設定することができる。
【００９４】
また、図１５の例では、撮像画像Ｖｔ＋１内における全ての道路上を移動先候補の抽出範囲としているが、これに限定されるものではない。例えば、車両が撮像画像Ｖｔ＋１の上側から下側へ移動する（車両がビデオカメラ２００に接近する）ことが予め判明している場合には、移動先候補の抽出範囲を、時点ｔの撮像画像Ｖｔで検出した移動体領域（正サンプル）Ｉｔを抽出した位置より下側に限定することができる。車両の移動方向は、例えば、ビデオカメラ２００が撮像する道路の法律上定められた車両の移動方向に基づいて決定することができ、また、例えば、過去の車両追跡の結果から車両の移動方向及び移動速度等を予測して決定することもできる。
【００９５】
移動体領域追跡部１１３は、時点ｔ＋の撮像画像Ｖ＋１から抽出した複数の移動先候補のうち、時点ｔでの撮像画像Ｖｔで検出（抽出）した正サンプルＩｔに最も類似する移動先候補を、前述同様のペア特徴に基づいて探索して車両の移動先を探索する。
【００９６】
より具体的には、移動体領域追跡部１１３は、正サンプルＩｔのペア特徴として抽出された複数の２点ペアと同じ位置の２点ペアを移動先候補から抽出する。正サンプルＩｔのペア特徴（２点ペア）と、移動先候補から抽出した２点ペアとの類似度を算出し、最も類似度が大きい移動先候補を車両（移動体領域）の最終的な移動先として決定する。
【００９７】
図１６は本実施の形態の移動体検出装置１００による移動体領域の追跡の処理手順を示すフローチャートである。移動体領域の追跡処理は、制御部１０１の制御のもと、移動体領域追跡部１１３により行われるが、以下では処理の主体を便宜上制御部１０１として説明する。
【００９８】
制御部１０１は、時点ｔ＋１（時点ｔより後の時点）の撮像画像Ｖｔ＋１を取得し、取得した撮像画像Ｖｔ＋１から一の移動先候補を抽出する（Ｓ５１）。制御部１０１は、抽出した移動先候補から、正サンプルＩｔのペア特徴として抽出した２点ペアと同数、かつ同じ位置の２点ペアを抽出する（Ｓ５２）。
【００９９】
制御部１０１は、正サンプルＩｔの２点ペアと、移動先候補の２点ペアとに基づいて、正サンプルＩｔ及び移動先候補の類似度を算出し（Ｓ５３）、算出した類似度が以前に算出した類似度と比較して最大の類似度であるか否かを判定する（Ｓ５４）。
【０１００】
算出した類似度が最大である場合（Ｓ５４でＹＥＳ）、制御部１０１は、移動先候補に係る情報（例えば、移動先候補の位置及びサイズ等の情報）を保持し（Ｓ５５）、算出した類似度が最大でない場合（Ｓ５４でＮＯ）、ステップＳ５５の処理を行わずに後述のステップＳ５６の処理を行う。
【０１０１】
制御部１０１は、時点ｔ＋１の撮像画像Ｖｔ＋１から抽出すべき全ての移動先候補について、上述のステップＳ５１〜Ｓ５５の処理を終了したか否かを判定し（Ｓ５６）、全ての移動先候補について処理を終了していない場合（Ｓ５６でＮＯ）、ステップＳ５１以降の処理を繰り返し、全ての移動先候補について処理を終了した場合（Ｓ５６でＹＥＳ）、処理を終了する。
【０１０２】
本実施の形態の移動体検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図８、図９、図１３及び図１６に示すような、各処理手順を定めたコンピュータプログラムをＣＤ、ＤＶＤ、ＵＳＢメモリ等のコンピュータプログラム記録媒体に記録しておき、当該コンピュータプログラムをコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で移動体検出装置１００を実現することができる。
【０１０３】
本実施の形態の追跡方法は、例えば、時点ｔの撮像画像上の移動体領域Ｖｔ内で輝度値（画素値）の差分が所定の閾値以上の任意の２つの点（２点ペア）の組を複数抽出する。そして、時点ｔ＋１の撮像画像上で、任意の２つの点の輝度値（画素値）の大小関係が一致した２つの点の組の数が最も多い領域を追跡領域（時点ｔの移動体領域Ｖｔの時点ｔ＋１での領域）として特定することができる。２つの点の輝度値（画素値）の大小関係に着目することにより、例えば、日照変化により撮像画像の明るさが変化した場合、あるいは車両などの移動体が日向から日蔭へ移動した場合に、撮像画像中の車両の輝度値が変化しても、輝度値の大小関係は変化しないため、車両の追跡を従来よりも精度よく行うことができる。
【０１０４】
また、本実施の形態の追跡方法では、撮像画像上で追跡される追跡領域の位置が実数値である。すなわち、位置が整数である場合には、撮像画像上の画素位置そのものを採用し輝度値（画素値）の算出は当該画素の輝度値（画素値）を用いる。また、位置が実数値（整数値を除く）である場合には、当該位置の周辺の画素位置及び当該画素の輝度値（画素値）を線形補間などの方法を用いて、当該位置の輝度値（画素値）を算出する。これにより、画素間よりもさらに微細な位置を算出することができ、画素間で生じる誤差の影響を低減して、移動体の検出及び追跡を従来よりも精度良く行うことができる。
【０１０５】
また、本実施の形態の追跡方法では、撮像画像上で追跡される追跡領域の大きさが実数値である。すなわち、追跡領域の大きさ（サイズ）が整数値にのみ限定している場合、時間の経過に伴って追跡領域の大きさが変化する場合（例えば、移動体が接近するので追跡領域が大きくなる）、類似度合を判定するために追跡領域を同一サイズに変換するときに、微小なサイズ変化の際の四捨五入の影響で誤差が生ずる。当該誤差は、時系列的に追跡領域を追跡するときに誤差が蓄積し、移動体の検出の精度が低下する。追跡領域の大きさ（サイズ）を実数値（整数値に限定しない）とすることにより、追跡領域のサイズが時間の経過とともに変化した場合でも、追跡領域のサイズを同一にするための変換が不要であり、当該変換に伴う誤差も発生しないので、連続して追跡する際の誤差を低減することができ、精度良く移動体を追跡することができる。
【０１０６】
上述のとおり、本実施の形態では、移動体領域の位置及びサイズを整数値に限定せず実数値（整数値を除く）を用いることにより、移動体領域の検出処理及び追跡処理を１ピクセル（１画素）以下の精度で行うことができるので、誤差の影響を小さくすることができ、従来の処理に比べて高い精度で移動体の検出及び追跡を行うことができる。なお、追跡処理を繰り返し実施する場合には、移動体領域の位置及びサイズを整数値に限定せず実数値で表し、最終的な追跡結果を出力する際には、四捨五入などで位置及びサイズを整数値にすることもできる。
【０１０７】
本実施の形態は、すでに調整済の白黒ビデオカメラ画像に対して適用することができ、また、撮像画像上の２点の輝度値（画素値）の大小関係を２点ペアの特徴として採用することにより、環境変化、照明変化などの影響を受けにくいという利点がある。
【０１０８】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０９】
１００ 移動体検出装置
１０１ 制御部
１０２ 画像入力部
１０３ Ａ／Ｄ変換部
１０４ 画像メモリ
１０５ 通信部
１０６ 記憶部
１０７ 検出ブロック設定部
１０８ 特徴量算出部
１０９ 評価値算出部
１１０ 選択部
１１１ 重み付け部
１１２ 移動体領域検出部
１１３ 移動体領域追跡部
２００ ビデオカメラ
【技術分野】
【０００１】
本発明は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法に関する。
【背景技術】
【０００２】
交通の安全と円滑を確保するために、道路側に設置したインフラ装置と対象車両（車載装置）とが路車間通信にて情報を交換する通信システム、特に対象車両の運転者からは死角となる場所に存在する他の車両又は歩行者などの情報をインフラ装置から対象車両へ提供することができる情報提供システムの検討が進められている。
【０００３】
このような情報提供システムでは、インフラ装置において道路上の車両の位置及び走行状況などを精度よく検出し、検出した結果を対象車両へ提供することが望まれる。このため、インフラ装置には道路上の車両又は歩行者などの移動体を検出するセンサなどの搭載が必要である。移動体の検出範囲、製品寿命及びコスト等の性能を考慮した場合、ビデオカメラで撮像した撮像画像を利用して車両又は歩行者などの移動体を検出する方式が有力である。
【０００４】
撮像画像を処理して移動体を検出する方法としては、例えば、テンプレート画像による画像探索を行うテンプレートマッチング法がある。テンプレートマッチング法は、ある時刻での撮像画像上の移動体領域をテンプレートとして撮像画像から抽出し、その後の時刻での撮像画像においてテンプレートに最も類似する画像領域を探し出すことによって、移動体領域を追跡する方法である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１８１２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のテンプレートマッチング法では、追跡対象の移動体が道路上の日陰から日向へ移動した場合に、撮像画像上で移動体を示す移動体領域の画素の輝度変化が大きくなり、テンプレートとの類似度が小さくなる結果、日陰内の路面などを誤って移動体と検出する傾向があるという問題がある。このため、移動体を高い精度で検出する技術が望まれていた。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、移動体を高い精度で検出することができる移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１発明に係る移動体検出装置は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置において、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段と、該設定手段で設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出する評価値算出手段と、該評価値算出手段で算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択する選択手段と、該選択手段で選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出する検出手段とを備えることを特徴とする。
【０００９】
第２発明に係る移動体検出装置は、第１発明において、各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段を備え、前記評価値算出手段は、前記特徴量算出手段で算出した特徴量をサポートベクターマシン又はブースティングを用いて評価して評価値を算出するように構成してあることを特徴とする。
【００１０】
第３発明に係る移動体検出装置は、第１発明又は第２発明において、前記選択手段は、移動体の候補領域であると評価された検出ブロックのうち、前記撮像画像上でお互いに近傍に存在する検出ブロックを選択するように構成してあることを特徴とする。
【００１１】
第４発明に係る移動体検出装置は、第１発明乃至第３発明のいずれか１つにおいて、前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの位置を示す座標値を重み付けする第１の重み付け手段を備え、前記検出手段は、前記第１の重み付け手段で重み付けして得られた実数値で表される位置を有する移動体領域を検出するように構成してあることを特徴とする。
【００１２】
第５発明に係る移動体検出装置は、第４発明において、前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの大きさを重み付けする第２の重み付け手段を備え、前記検出手段は、前記第２の重み付け手段で重み付けして得られた実数値で表される大きさを有する移動体領域を検出するように構成してあることを特徴とする。
【００１３】
第６発明に係る移動体検出装置は、第１発明乃至第５発明のいずれか１つにおいて、前記検出手段により検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段を備えることを特徴とする。
【００１４】
第７発明に係る移動体検出装置は、第６発明において、前記追跡手段により前記撮像画像上で追跡される追跡領域の位置が実数値であることを特徴とする。
【００１５】
第８発明に係る移動体検出装置は、第６発明又は第７発明において、前記追跡手段により前記撮像画像上で追跡される追跡領域の大きさが実数値であることを特徴とする。
【００１６】
第９発明に係るコンピュータプログラムは、コンピュータに、移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出させるためのコンピュータプログラムにおいて、コンピュータに、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップとを実行させることを特徴とする。
【００１７】
第１０発明に係る移動体検出方法は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置による移動体検出方法において、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、算出された評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、選択された検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップとを含むことを特徴とする。
【００１８】
第１発明、第９発明及び第１０発明にあっては、設定手段は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する。検出ブロックの設定方法は、例えば、撮像画像上で各検出ブロックが隣接するように設定してもよく、あるいは隣接する検出ブロックの一部が重複するように設定してもよい。また、検出ブロックのサイズ（大きさ）は、同一でもよく、あるいは撮像画像上での移動体の大きさが変わることを考慮して、撮像画像の上側（撮像地点が遠方にある）では検出ブロックのサイズを小さくし、撮像画像の下側（撮像地点が近くにある）では検出ブロックのサイズを大きくしてもよい。
【００１９】
評価値算出手段は、例えば、任意の時点ｔの撮像画像上で、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。評価値は、移動体（例えば、車両）らしさを表す指標であり、例えば、０〜１（「１」が最も移動体らしさを表す）の中で任意の値をとることができる。評価値の算出は、予め学習した検出器を用いればよい。選択手段は、算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択する。この場合、選択手段は、算出された評価値が予め定めた閾値以上の検出ブロックを移動体らしいとして候補領域として選択し、算出された評価値が閾値より小さい検出ブロックは移動体ではないとして消去（除去）する。
【００２０】
検出手段は、選択した検出ブロックの撮像画像上の位置（座標位置）及び大きさに基づいて、撮像画像上の移動体領域を検出する。例えば、移動体領域の位置は、選択された検出ブロックの位置の平均値とすることができ、また移動体領域のサイズ（大きさ）は、選択された検出ブロックのサイズの平均値とすることができる。これにより、移動体領域の撮像画像上の位置（座標位置）及びサイズ（大きさ）を特定することができ、撮像画像上で移動体領域を検出することができる。
【００２１】
撮像画像を複数の検出ブロックに分け、複数の検出ブロックの中から評価値に基づいて移動体の候補領域だけを選択するとともに、選択した検出ブロックの位置及び大きさを平均化して移動体領域を検出することにより、移動体の候補領域ではない領域を除外するとともに、選択された検出ブロックの位置及び大きさを平均化することにより、最も確からしい移動体領域を特定することができ、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
【００２２】
第２発明にあっては、特徴量算出手段は、例えば、任意の時点ｔの撮像画像上で、各検出ブロックの各画素の画素値に基づいて特徴量を算出する。特徴量は、例えば、検出ブロックのサイズを１６×１６の画素ブロック（一例）とした場合、検出ブロック内の各画素値を有する２５６次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、例えば、１６×１６画像内の各画素の勾配を求め、勾配方向の量子化（例えば、９方向）、度数分布などを特徴量とするＨＯＧ（Histogram of Oriented Gradients）特徴量などを用いることもできる。
【００２３】
評価値算出手段は、算出された特徴量をサポートベクターマシン（ＳＶＭ）又はブースティング（Boosting）を用いて評価して評価値を算出する。例えば、移動体及び非移動体（移動体ではないもの）パターンのサンプル学習を通じて、移動体及び非移動体パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用することができる。そして、評価値は、例えば、特徴量を２５６次元ベクトルとすると、移動体及び非移動体パターンそれぞれのベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど評価値が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を評価値として用いることもできる。いずれにしても、評価値は、移動体である確からしさを表現することができる指標であれば、どのような指標（評価値）を用いてもよい。これにより、高い精度で移動体を検出することができる。
【００２４】
第３発明にあっては、選択手段は、移動体の候補領域であると評価された検出ブロックのうち、撮像画像上でお互いに近傍に存在する検出ブロックを選択する。例えば、任意の時点ｔの撮像画像上で、評価値が閾値以上の検出ブロックが複数選択された場合、評価値が最も大きい検出ブロックを特定し、特定した検出ブロックの近傍にある検出ブロックを同じグループ（例えば、同一ラベルを付与する）として選択する。このような検出ブロックのグループを撮像画像上で選択する。これにより、移動体ではないと評価される領域を除外することができるとともに、移動体であると評価される候補領域を漏れなく抽出することができる。
【００２５】
第４発明にあっては、第１の重み付け手段は、選択された各検出ブロックに対して算出された評価値に応じて当該検出ブロックの位置を示す座標値を重み付けする。検出手段は、重み付けして得られた実数値で表される位置を有する移動体領域を検出する。例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、ＩａＭとし、それぞれの位置（例えば、重心位置の座標）を、（ｘａ１、ｙａ１）、（ｘａ２、ｙａ２）、…、（ｘａＭ、ｙａＭ）とし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、ＥａＭとし、移動体領域の重み付けされた位置を（ｘｔ、ｙｔ）とすると、ｘｔ＝（Ｅａ１×ｘａ１＋Ｅａ２×ｘａ２＋…＋ＥａＭ×ｘａＭ）／Ｍで求めることができ、ｙｔ＝（Ｅａ１×ｙａ１＋Ｅａ２×ｙａ２＋…＋ＥａＭ×ｙａＭ）／Ｍで求めることができる。移動体領域の位置を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００２６】
第５発明にあっては、第２の重み付け手段は、選択された各検出ブロックに対して算出された評価値に応じて当該検出ブロックの大きさ（サイズ）を重み付けする。検出手段は、重み付けして得られた実数値で表される大きさ（サイズ）を有する移動体領域を検出する。例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、ＩａＭとし、それぞれの領域の面積を、Ｓａ１、Ｓａ２、…、ＳａＭとし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、ＥａＭとし、移動体領域の重み付けされた面積をＳｔとすると、Ｓｔ＝（Ｅａ１×Ｓａ１＋Ｅａ２×Ｓａ２＋…＋ＥａＭ×ＳａＭ）／Ｍで求めることができる。移動体領域の大きさ（サイズ）を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００２７】
第６発明にあっては、追跡手段は、検出された移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する。追跡手段は、例えば、時点ｔの撮像画像上で移動体領域Ｖｔが検出された場合、当該移動体領域Ｖｔに最も類似する領域（追跡領域）を時点ｔ＋１以降の撮像画像上で探索することによって移動体の追跡を行う。
【００２８】
追跡方法は、例えば、時点ｔの撮像画像上の移動体領域Ｖｔ内で輝度値（画素値）の差分が所定の閾値以上の任意の２つの点の組を複数抽出する。そして、時点ｔ＋１の撮像画像上で、任意の２つの点の輝度値（画素値）の大小関係が一致した２つの点の組の数が最も多い領域を追跡領域（時点ｔの移動体領域Ｖｔの時点ｔ＋１での領域）として特定することができる。２つの点の輝度値（画素値）の大小関係に着目することにより、例えば、日照変化により撮像画像の明るさが変化した場合、あるいは車両などの移動体が日向から日蔭へ移動した場合に、撮像画像中の車両の輝度値が変化しても、輝度値の大小関係は変化しないため、車両の追跡を従来よりも精度よく行うことができる。
【００２９】
第７発明にあっては、追跡手段により撮像画像上で追跡される追跡領域の位置が実数値である。すなわち、位置が整数である場合には、撮像画像上の画素位置そのものを採用し輝度値（画素値）の算出は当該画素の輝度値（画素値）を用いる。また、位置が実数値（整数値を除く）である場合には、当該位置の周辺の画素位置及び当該画素の輝度値（画素値）を線形補間などの方法を用いて、当該位置の輝度値（画素値）を算出する。これにより、画素間よりもさらに微細な位置を算出することができ、画素間で生じる誤差の影響を低減して、移動体の検出及び追跡を従来よりも精度良く行うことができる。
【００３０】
第８発明にあっては、追跡手段により撮像画像上で追跡される追跡領域の大きさが実数値である。すなわち、追跡領域の大きさ（サイズ）が整数値にのみ限定している場合、時間の経過に伴って追跡領域の大きさが変化する場合（例えば、移動体が接近するので追跡領域が大きくなる）、類似度合を判定するために追跡領域を同一サイズに変換するときに、微小なサイズ変化の際の四捨五入の影響で誤差が生ずる。当該誤差は、時系列的に追跡領域を追跡するときに誤差が蓄積し、移動体の検出の精度が低下する。追跡領域の大きさ（サイズ）を実数値（整数値に限定しない）とすることにより、連続して追跡する際の誤差を低減することができ、精度良く移動体を追跡することができる。
【発明の効果】
【００３１】
本発明によれば、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
【図面の簡単な説明】
【００３２】
【図１】本実施の形態の移動体検出装置による移動体検出の様子を示す模式図である。
【図２】本実施の形態の移動体検出装置の構成の一例を示すブロック図である。
【図３】ビデオカメラで撮像された撮像画像の一例を示す模式図である。
【図４】本実施の形態の検出ブロックの一例を示す模式図である。
【図５】本実施の形態の撮像画像上に設定された検出ブロックの一例を示す模式図である。
【図６】本実施の形態の移動体検出装置により選択された検出ブロックの一例を示す模式図である。
【図７】本実施の形態の移動体検出装置により検出した移動体領域の一例を示す模式図である。
【図８】本実施の形態の移動体検出装置による移動体検出の処理手順を示すフローチャートである。
【図９】本実施の形態の移動体検出装置による移動体検出の処理手順を示すフローチャートである。
【図１０】本実施の形態の移動体検出装置による追跡処理における正サンプル及び負サンプルの抽出方法の一例を示す模式図である。
【図１１】本実施の形態の移動体検出装置によるペア特徴の抽出方法の一例を示す説明図である。
【図１２】撮像画像上の任意の点での画素値（輝度値）の算出方法の一例を示す説明図である。
【図１３】本実施の形態の移動体検出装置による２点ペアの抽出処理の手順を示すフローチャートである。
【図１４】本実施の形態の移動体検出装置による２点ペアの抽出処理の手順を示すフローチャートである。
【図１５】本実施の形態の移動体検出装置による移動体領域の移動先候補の抽出方法の一例を示す模式図である。
【図１６】本実施の形態の移動体検出装置による移動体領域の追跡の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体検出装置１００による移動体検出の様子を示す模式図であり、図２は本実施の形態の移動体検出装置１００の構成の一例を示すブロック図である。本実施の形態では、移動体検出装置１００は移動体の一例として車両を検出する場合について説明するが、移動体は車両に限定されるものではなく、歩行者、二輪車、船、飛行機又は動物等の種々の移動体でもよく、ビデオカメラ等で撮像された撮像画像中において、その位置が時間と共に変化するものであれば移動体に含めることができる。
【００３４】
図１に示すように、複数の道路が交差する交差点の近傍にビデオカメラ（撮像装置）２００を設置してある。ビデオカメラ２００は、道路を含む所定の領域（図１において一点鎖線で示す撮像領域）を撮像すべく、所定の高さ、俯角及び回転角等の撮像条件が設定された状態で設置されている。ビデオカメラ２００は、連続的（時系列的）に道路上の撮像を行い、撮像して得られた撮像画像を移動体検出装置１００へ出力（送信）する。
【００３５】
ビデオカメラ２００は、交差点に流入する一の道路を撮像するように設置されており、移動体検出装置１００は、ビデオカメラ２００の撮像領域内に存在する車輌１１を検出するとともに追跡する。移動体検出装置１００は、車両１１の追跡結果から、車両１１の走行方向及び走行速度等の情報を生成し、生成した情報を無線通信等により他方の道路に存在する車両１２、１３へ送信する。これにより、見通しの悪い交差点などにおいて、車両１２、１３の運転者は、交差する道路に他の車両１１が走行していることを認識でき、徐行又は一時停止等の安全運転を行うことができる。なお、移動体検出装置１００で検出、追跡する移動体の追跡結果は、図１の例に限定されるものではなく、他の用途にも適用することができる。
【００３６】
図２に示すように、移動体検出装置１００は、装置全体を制御する制御部１０１、画像入力部１０２、Ａ／Ｄ変換部１０３、画像メモリ１０４、通信部１０５、記憶部１０６、検出ブロック設定部１０７、特徴量算出部１０８、評価値算出部１０９、選択部１１０、重み付け部１１１、移動体領域検出部１１２、移動体領域追跡部１１３などを備える。図２の例では、移動体検出装置１００とビデオカメラ２００とは別個の装置として示され、例えば、ビデオカメラ２００の近傍に移動体検出装置１００を設置することができるが、これに限定されるものではなく、移動体検出装置１００とビデオカメラ２００とを一体の装置として構成することできる。
【００３７】
ビデオカメラ２００は、例えば、１フレーム当たり２４０×３２０画素の撮像画像を１秒間に３０フレーム撮像することによって道路を含む移動体を撮像し、撮像して得られた撮像画像を１フレーム毎にアナログ信号として移動体検出装置１００の画像入力部１０２へ出力する。なお、ビデオカメラ２００は、撮像画像をデジタル信号として出力する構成であってもよい。また、撮像画像の解像度も一例であって、２４０×３２０画素に限定されるものではない。
【００３８】
図３はビデオカメラ２００で撮像された撮像画像の一例を示す模式図である。図３Ａに示す撮像画像は、例えば、時点ｔで撮像された撮像画像を示し、図３Ｂに示す撮像画像は、時点ｔより後の時点ｔ＋Δｔで撮像された撮像画像を示す。図３は、時間Δｔの間に移動体である車両の撮像画像上での位置及び大きさが変化する様子を模式的に示す。
【００３９】
画像入力部１０２は、ビデオカメラ２００から出力された撮像画像のアナログ信号を取得し、取得したアナログ信号をＡ／Ｄ変換部１０３へ出力する。
【００４０】
Ａ／Ｄ変換部１０３は、画像入力部１０２から出力されたアナログ信号を取得し、取得したアナログ信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１０４へ記憶する。画像入力部１０２を介してビデオカメラ２００から出力された撮像画像は、ビデオカメラ２００のフレームレート（撮像を行う間隔）に同期して１フレーム単位の画像データとして画像メモリ１０４に記憶される。
【００４１】
画像メモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等のメモリ素子により構成することができ、移動体の検出及び追跡に必要な多くの画像データを記憶することができる。
【００４２】
通信部１０５は、狭域通信機能、ＵＨＦ（Ultra High Frequency）帯又はＶＨＦ（Very High Frequency）帯等の無線ＬＡＮ（Local Area Network）などの中域通信機能、及び携帯電話、ＰＨＳ（Personal Handyphone System）、多重ＦＭ（Frequency Modulation）放送又はインターネット通信等の広域通信機能を備える。通信部１０５は、ビデオカメラ２００の撮像領域内及びその付近に存在する車両から所定の車両情報（例えば、車両の位置情報、車速情報、車種情報、ワイパーの動作状況、あるいはヘッドライトなどの車灯の動作状況等を示す情報）を受信する。また、通信部１０５は、ビデオカメラ２００で撮像した撮像画像に基づいて検出、追跡された車両の情報を提供すべく、情報提供対象の車両へ情報を送信する。また、通信部１０５は、交通管制センターなどに設置されたサーバ装置、あるいは他の移動体検出装置との間で情報の送受信を行うことができる。
【００４３】
記憶部１０６は、ＳＲＡＭ（Static Random Access Memory）若しくはＤＲＡＭ（Dynamic Random Access Memory）等のメモリ素子、又はハードディスクなどの磁気記憶装置等で構成することができ、通信部１０５にて受信されたデータ及び移動体検出装置１００での処理過程で発生した種々のデータ等を記憶することができる。
【００４４】
検出ブロック設定部１０７は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段としての機能を有する。
【００４５】
図４は本実施の形態の検出ブロックの一例を示す模式図である。検出ブロックは、例えば、１６×１６画素で構成される画素ブロックであり、撮像画像上で、相互に隣接するように設定することができる。図４の例では、簡便のため、各検出ブロックの大きさ（サイズ）が同一であり、隣接する検出ブロックが重ならないように設定されているが、検出ブロックの設定方法は、図４の例に限定されるものではない。
【００４６】
すなわち、撮像画像上で各検出ブロックが重ならずに隣接するように設定してもよく、あるいは隣接する検出ブロックの一部が重複するように設定してもよい。また、検出ブロックのサイズ（大きさ）は、同一でもよく、あるいは撮像画像上での移動体の大きさが変わることを考慮して、撮像画像の上側（撮像地点が遠方にある）では検出ブロックのサイズを小さくし、撮像画像の下側（撮像地点が近くにある）では検出ブロックのサイズを大きくしてもよい。また、撮像画像のうち道路以外の領域は車輌が存在する可能性が小さいので、道路の形状、大きさに応じて、道路領域だけに検出ブロックを設定してもよい。これにより、撮像画像全体で処理する必要がなくなり、処理時間の短縮又は処理労力の軽減を図ることができる。
【００４７】
特徴量算出部１０８は、各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段としての機能を有する。すなわち、特徴量算出部１０８は、例えば、任意の時点ｔの撮像画像上で、各検出ブロックの各画素の画素値に基づいて特徴量を算出する。
【００４８】
特徴量は、車両（移動体）らしさを特徴付けることができるものであり、例えば、車両の輪郭、バンパー、ヘッドライトなどを表す画像領域から抽出することができる。特徴量は、例えば、検出ブロックのサイズを１６×１６の画素ブロック（一例）とした場合、検出ブロック内の各画素値を有する２５６次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、例えば、１６×１６画像内の各画素の勾配を求め、勾配方向の量子化（例えば、９方向）、度数分布などを特徴量とするＨＯＧ（Histogram of Oriented Gradients）特徴量などを用いることもできる。
【００４９】
評価値算出部１０９は、設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を当該検出ブロック毎に算出する評価値算出手段としての機能を有する。評価値算出部１０９は、例えば、任意の時点ｔの撮像画像上で、設定した各検出ブロックが車両（移動体）の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。評価値は、車両（移動体）らしさを表す指標であり、例えば、０〜１（「１」が最も移動体らしさを表す）の中で任意の値をとることができる。評価値の算出は、予め学習した検出器を用いればよい。
【００５０】
より具体的には、評価値算出部１０９は、算出された特徴量をサポートベクターマシン（ＳＶＭ）又はブースティング（Boosting）を用いて評価して評価値を算出する。例えば、移動体及び非移動体（移動体ではないもの）パターンのサンプル学習を通じて、移動体及び非移動体パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用することができる。そして、評価値は、例えば、特徴量を２５６次元ベクトルとすると、移動体及び非移動体パターンそれぞれのベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど評価値が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を評価値として用いることもできる。いずれにしても、評価値は、車両（移動体）である確からしさを表現することができる指標であれば、どのような指標（評価値）を用いてもよい。これにより、高い精度で移動体を検出することができる。
【００５１】
選択部１１０は、算出された評価値に基づいて、候補領域であると評価された１又は複数の検出ブロックを選択する選択手段としての機能を有する。選択部１１０は、算出された評価値が予め定めた閾値以上の検出ブロックを移動体らしいとして候補領域として選択し、算出された評価値が閾値より小さい検出ブロックは移動体ではないとして消去（除去）する。例えば、評価値が０〜１の範囲であり、評価値１が最も車両らしさを表し、評価値０が最も非車両らしさを表す場合、例えば、評価値が０．５以上の検出ブロックを選択し、評価値が０．５より小さい検出ブロックを除外する。
【００５２】
また、選択部１１０は、車両（移動体）の候補領域であると評価された検出ブロックのうち、撮像画像上でお互いに近傍に存在する検出ブロックを選択する。例えば、任意の時点ｔの撮像画像上で、評価値が閾値以上の検出ブロックが複数選択された場合、評価値が最も大きい検出ブロックを特定し、特定した検出ブロックの近傍にある検出ブロックを同じグループ（例えば、同一ラベルを付与する）として選択する。このような検出ブロックのグループを撮像画像上で選択する。この場合、撮像画像上で、例えば、２台の車両が離隔して走行しているとすると、２つのグループを選択することができる。これにより、移動体ではないと評価される領域を除外することができるとともに、移動体であると評価される候補領域を漏れなく抽出することができる。
【００５３】
移動体領域検出部１１２は、選択した検出ブロックの撮像画像上の位置及び大きさに基づいて、撮像画像上の移動体領域を検出する検出手段としての機能を有する。移動体領域検出部１１２は、例えば、移動体領域の位置は、選択された検出ブロックの位置の平均値とすることができ、また移動体領域のサイズ（大きさ）は、選択された検出ブロックのサイズの平均値とすることができる。これにより、移動体領域の撮像画像上の位置及びサイズ（大きさ）を特定することができ、撮像画像上で移動体領域を検出することができる。
【００５４】
上述のように、撮像画像を複数の検出ブロックに分け、複数の検出ブロックの中から評価値に基づいて移動体の候補領域だけを選択するとともに、選択した検出ブロックの位置及び大きさを、例えば、平均化して移動体領域を検出することにより、移動体の候補領域ではない領域を除外するとともに、選択された検出ブロックの位置及び大きさを平均化することにより、最も確からしい移動体領域を特定することができ、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
【００５５】
お互いに近傍に存在する検出ブロックが複数存在する場合、それぞれの検出ブロックに対して算出された評価値で各検出ブロックを重み付けして移動体領域を検出することもできる。
【００５６】
重み付け部１１１は、選択した各検出ブロックに対して算出された評価値に応じて当該検出ブロックの位置を重み付けする第１の重み付け手段、及び大きさ（サイズ）重み付けする第２の重み付け手段としての機能を有する。
【００５７】
次に、各検出ブロックの重み付けによる移動体領域の検出方法について説明する。図５は本実施の形態の撮像画像上に設定された検出ブロックの一例を示す模式図であり、図６は本実施の形態の移動体検出装置１００により選択された検出ブロックの一例を示す模式図であり、図７は本実施の形態の移動体検出装置１００により検出した移動体領域の一例を示す模式図である。図５〜図７では、１台の車両が撮像された場合について説明しているが、複数台の車両が撮像画像上に存在する場合も同様である。
【００５８】
図５は、例えば、時点ｔで撮像された撮像画像上に設定した検出ブロックのうち、便宜上一部の検出ブロックだけを図示している。また、便宜上、各検出ブロックの大きさ（サイズ）が同一であり、隣接する検出ブロックが重複しないように図示しているが、実際は検出ブロックの大きさは種々の大きさで設定することができ、また検出ブロックの一部が重なり合って設定されている。
【００５９】
図６は、各検出ブロックの評価値Ｅを算出し、算出した評価値Ｅが所定の閾値以上の検出ブロックであって、お互いに近傍に存在するものを１つのグループとして選択したものである。例えば、図６に示すように、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、Ｉａ６とする。なお、同一ラベルの付与は、例えば、ラベルが付与されていない検出ブロックの中で最も評価値が大きい検出ブロックにラベルを付すとともに選択する。そして、選択した検出ブロックの近傍の検出ブロックに同じラベルを付与して１つのグループとして纏めることができる。
【００６０】
重み付け部１１１は、以下のようにして、検出ブロックの位置及び大きさ（サイズ）の重み付けを行う。例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、Ｉａ６とし、それぞれの位置を示す座標値（例えば、重心位置の座標）を、（ｘａ１、ｙａ１）、（ｘａ２、ｙａ２）、…、（ｘａ６、ｙａ６）とし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、Ｅａ６とし、移動体領域の重み付けされた位置を示す座標値を（ｘｔ、ｙｔ）とすると、ｘｔ＝（Ｅａ１×ｘａ１＋Ｅａ２×ｘａ２＋…＋Ｅａ６×ｘａ６）／６で求めることができ、ｙｔ＝（Ｅａ１×ｙａ１＋Ｅａ２×ｙａ２＋…＋Ｅａ６×ｙａ６）／６で求めることができる。なお、重み付け係数として用いられる評価値は、Ｅａ１＋Ｅａ２＋…＋Ｅａ６＝１となるように正規化しておけばよい。移動体領域の位置を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００６１】
また、例えば、任意の時点ｔの撮像画像上で、同一のグループ（同一のラベルが付与された検出ブロックのグループ）内の各検出ブロックを、Ｉａ１、Ｉａ２、…、Ｉａ６とし、それぞれの領域の面積を、Ｓａ１、Ｓａ２、…、Ｓａ６とし、それぞれの検出ブロックの評価値を、Ｅａ１、Ｅａ２、…、Ｅａ６とし、移動体領域の重み付けされた面積をＳｔとすると、Ｓｔ＝（Ｅａ１×Ｓａ１＋Ｅａ２×Ｓａ２＋…＋Ｅａ６×Ｓａ６）／６で求めることができる。移動体領域の大きさ（サイズ）を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
【００６２】
図７に示すように、時点ｔでの撮像画像上の移動体領域Ｉｔは、位置が上述で求めた（ｘｔ、ｙｔ）であり、大きさ（サイズ）がＳｔである。
【００６３】
移動体領域追跡部１１３は、検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段としての機能を有する。移動体領域追跡部１１３は、例えば、時点ｔの撮像画像上で移動体領域Ｖｔが検出された場合、当該移動体領域Ｖｔに最も類似する領域（追跡領域）を時点ｔよりも後の時点の撮像画像上で探索することによって移動体の追跡を行う。なお、追跡方法の詳細は後述する。
【００６４】
次に、本実施の形態の移動体検出装置１００による移動体検出方法について説明する。図８及び図９は本実施の形態の移動体検出装置１００による移動体検出の処理手順を示すフローチャートである。なお、以下では、処理の主体を制御部１０１として説明する。
【００６５】
制御部１０１は、撮像画像上の検出ブロックを設定し（Ｓ１１）、例えば、時点ｔでの撮像画像を取得する（Ｓ１２）。制御部１０１は、検出ブロック毎に特徴量を算出し（Ｓ１３）、算出した特徴量に基づいて、検出ブロックごとに評価値を算出する（Ｓ１４）。
【００６６】
制御部１０１は、すべての検出ブロックに対して評価値の算出を完了したか否かを判定し（Ｓ１５）、完了していない場合（Ｓ１５でＮＯ）、ステップＳ１３以降の処理を続け、完了した場合（Ｓ１５でＹＥＳ）、評価値が所定の閾値より小さい検出ブロックを移動体ではない（非移動体である）として消去（除去）する（Ｓ１６）。
【００６７】
制御部１０１は、ラベルが付与されていない検出ブロックの中から評価値が最大の検出ブロックにラベルを付して選択し（Ｓ１７）、選択された検出ブロックの近傍の検出ブロックに同一のラベルを付与する（Ｓ１８）。なお、近傍とは、検出ブロック同士が一部の領域で重なる場合、隣接する場合、及び若干の離隔間隔を有して近接する場合を含む。
【００６８】
制御部１０１は、すべての検出ブロック（選択された検出ブロック）にラベルを付与したか否かを判定し（Ｓ１９）、すべての検出ブロックにラベルを付与していない場合（Ｓ１９でＮＯ）、ステップＳ１７以降の処理を続け、すべての検出ブロックにラベルを付与した場合（Ｓ１９でＹＥＳ）、同一のラベルが付与された検出ブロックの撮像画像上の位置、大きさを評価値に基づいて重み付けする（Ｓ２０）。なお、重み付けは、位置のみを重み付けしてもよく、あるいは位置及び大きさの両者を重み付けしてもよい。検出ブロックの大きさがすべて同一である場合には、大きさの重み付けは不要である。
【００６９】
制御部１０１は、重み付け平均により得られた位置、大きさの領域を移動体領域として検出する（Ｓ２１）。制御部１０１は、他のラベル（別のグループのラベル）の有無を判定し（Ｓ２２）、他のラベルがある場合（Ｓ２２でＹＥＳ）、ステップＳ２０以降の処理を繰り返し、他のラベルがない場合（Ｓ２２でＮＯ）、処理を終了する。
【００７０】
次に、検出した移動体領域を用いて、車両（移動体）の追跡方法について説明する。本実施の形態では、移動体領域の中から「ペア特徴」という特徴量を抽出し、抽出したペア特徴に基づいて時系列的に後の撮像画像上で移動体領域に最も類似する領域を追跡領域として特定することにより、移動体を追跡する。以下、ペア特徴を用いた車両の追跡方法について説明する。
【００７１】
図１０は本実施の形態の移動体検出装置１００による追跡処理における正サンプル及び負サンプルの抽出方法の一例を示す模式図である。図１０Ａは、時点ｔで撮像された撮像画像Ｖｔ上で移動体領域Ｉｔが検出された場合を示す。移動体領域Ｉｔの検出は、上述の図８及び図９の処理に基づくものである。
【００７２】
図１０Ｂは、移動体領域Ｉｔを正サンプルとして負サンプルの抽出方法の一例を例示するものである。すなわち、車両の追跡処理においては、まず、時点ｔの撮像画像Ｖｔ上で検出された移動体領域Ｉｔを正サンプルとして抽出するとともに、正サンプルＩｔ の周囲から複数（例えば、Ｆ個とする）の負サンプル（周囲サンプル）Ｊｔ１、…、ＪｔＦを抽出する。なお、正サンプルＩｔ及び負サンプルＪｔ１、…、ＪｔＦの抽出処理は、移動体領域追跡部１１３により行われる。
【００７３】
各負サンプルＪｔ１、…、ＪｔＦは、正サンプルＩｔと同じサイズの画像領域であり、撮像画像上で正サンプルＩｔから上下左右に所定画素の範囲から、複数の負サンプルＪｔ１、…、ＪｔＦを抽出することができる。例えば、正サンプルＩｔから上下左右に５画素分の範囲（１１画素×１１画素分の範囲）から、１画素ずつずらして負サンプルを抽出する場合、Ｆ＝１１×１１−１＝１２０個の負サンプルを正サンプルＩｔの周囲から抽出することができる。
【００７４】
移動体領域Ｉｔの重心位置である位置（ｘｔ、ｙｔ）は、整数値に限定されるものではなく、整数値を除く実数値でもよい。したがって、正サンプルＩｔの位置（重心位置）が整数値を除く実数値である場合、各負サンプルの位置も、正サンプルＩｔの位置から１画素の整数倍だけ離隔するので、各負サンプルの位置も、整数値を除く実数値となる。
【００７５】
また、移動体領域Ｉｔの大きさ（サイズ）は、整数値に限定されるものではなく、整数値を除く実数値でもよい。したがって、正サンプルＩｔと同じ大きさの各サンプルの大きさ（サイズ）も、整数値を除く実数値となる。
【００７６】
図１１は本実施の形態の移動体検出装置１００によるペア特徴の抽出方法の一例を示す説明図である。ペア特徴は、正サンプルＩｔと各負サンプルＪｔ１、…、ＪｔＦとを区別し得る特徴量である。
【００７７】
ペア特徴の抽出は、まず、正サンプルＩｔから所定数の「２つの点のペア」（以下、「２点ペア」とも称する。）を抽出する。２つの点は、正サンプルＩｔ内の任意の点であり、画素の位置に限定されるものではない。２点ペアは、正サンプルＩｔからランダムに抽出した２つの点のうち、その輝度値（画素値）の差が閾値Ｔｈ以上のものである。一例として、図１１Ａには、正サンプルＩｔから抽出した５つの２点ペアを示しており、実線の矢印で結ばれた２つの点が２点ペアである。
【００７８】
図１１Ａにおいて、２点ペアのうち輝度値が大きい点は白抜きの四角形で示し、輝度値が小さい点は模様を付した四角形で示している。それぞれの２点ペアには、図１１中矢印の始点側である第１の点（ｘ１、ｙ１）の輝度値Ｉ（ｘ１、ｙ１）と、図１１中矢印の終点側である第２の点（ｘ２、ｙ２）の輝度値Ｉ（ｘ２、ｙ２）との差分が所定の閾値Ｔｈ以上である２点ペアに対してラベル「１」を付し、第１の点（ｘ１、ｙ１）の輝度値Ｉ（ｘ１、ｙ１）と、第２の点（ｘ２、ｙ２）の輝度値Ｉ（ｘ２、ｙ２）との差分が閾値Ｔｈ以下である２点ペアに対してラベル「−１」を付す。
【００７９】
正サンプルＩｔから所定数の２点ペアを抽出した後、図１１Ｂに示すように、同様にして、負サンプルＪｔ１、…、ＪｔＦからそれぞれ同じ所定数の２点ペアを抽出する。負サンプルから抽出する２点ペアの位置は、正サンプルで抽出した２点ペアと対応する位置（同一の位置）である。
【００８０】
図１２は撮像画像上の任意の点での画素値（輝度値）の算出方法の一例を示す説明図である。図１２に示すように、お互いに隣接する４つの画素（ｐ、ｑ）、（ｐ＋１、ｑ）、（ｐ、ｑ＋１）、（ｐ＋１、ｑ＋１）で囲まれる領域内の任意の点（ｘ、ｙ）の輝度値Ｉ（ｘ、ｙ）は、Ｉ（ｘ、ｙ）＝（１−α）×（１−β）×Ｉ（ｐ、ｑ）＋α×（１−β）×Ｉ（ｐ＋１、ｑ）＋（１−α）×β×Ｉ（ｐ、ｑ＋１）＋α×β×Ｉ（ｐ＋１、ｑ＋１）で補間して求めることができる。図１１に示す２点ペアの輝度値（画素値）は、図１２に例示する方法で補間して算出することができる。ここで、α、βは、図１２に示すように、任意の点（ｘ、ｙ）と各画素からの離隔距離の比率を表す係数である。なお、図１２に例示する補間処理は、移動体領域追跡部１１３により行われる。
【００８１】
図１３および図１４は本実施の形態の移動体検出装置１００による２点ペアの抽出処理の手順を示すフローチャートである。２点ペアの抽出処理は、制御部１０１の制御のもと、移動体領域追跡部１１３により行われるが、以下では処理の主体を便宜上制御部１０１として説明する。
【００８２】
制御部１０１は、時点ｔの撮像画像Ｖｔで検出した移動体領域Ｉｔを正サンプルとして抽出し（Ｓ３１）、正サンプルＩｔから輝度値の差分が閾値Ｔｈ以上の２つの点のペア（２点ペア）をランダムにＮ（所定数）組抽出する（Ｓ３２）。
【００８３】
制御部１０１は、正サンプルＩｔの周囲から負サンプルを１つ抽出し（Ｓ３３）、図１１に示すように、抽出した負サンプルから、正サンプルで抽出した２点ペアに対応する２点ペアを抽出する（Ｓ３４）。
【００８４】
制御部１０１は、正サンプルから抽出した２点ペアと、負サンプルから抽出した２点ペアの大小関係に基づいて、２点ペアの個別の類似度を算出する（Ｓ３５）。
【００８５】
２点ペアの個別の類似度の算出は以下のようにすることができる。正サンプルＩｔから抽出した２点ペアの大小関係と、当該２点ペアに対応する負サンプルの２点ペアの大小関係が一致する場合、当該ペアの個別類似度を「１」とし、大小関係が一致しない場合、当該ペアの個別類似度を「０」とする。
【００８６】
制御部１０１は、個別の類似度の合計値を算出する（Ｓ３６）。合計値とは、個別の類似度をＮ組分の２点ペアについて合計することである。制御部１０１は、すべての負サンプルについて処理が終了したか否かを判定し（Ｓ３７）、終了していない場合（Ｓ３７でＮＯ）、ステップＳ３３以降の処理を繰り返す。
【００８７】
すべての負サンプルについて処理が終了した場合（Ｓ３７でＹＥＳ）、制御部１０１は、類似度の合計が最小値であるか否かを判定する（Ｓ３８）。ここで、個別の類似度の合計値が小さいほど正サンプルと負サンプルとを区別し易い特徴量であることを示す。
【００８８】
類似度の合計が最小値である場合（Ｓ３８でＹＥＳ）、制御部１０１は、ステップＳ３２で抽出したＮ個の２点ペアを保持し（Ｓ３９）、以前に保持した２点ペアがある場合には、当該２点ペアを破棄する。類似度の合計が最小値でない場合（Ｓ３８でＮＯ）、制御部１０１は、ステップＳ３９の処理を行わずに後述のステップＳ４０の処理を行う。
【００８９】
制御部１０１は、所定回数反復したか否かを判定し（Ｓ４０）、所定回数反復していない場合（Ｓ４０でＮＯ）、ステップＳ３２以降の処理を繰り返し、所定回数反復した場合（Ｓ４０でＹＥＳ）、処理を終了する。
【００９０】
上述の処理において、最終的にステップＳ３９にて保持されたＮ個の２点ペアが、正サンプルＩｔのペア特徴となり、後述の移動体追跡の処理で用いられる。
【００９１】
図１５は本実施の形態の移動体検出装置１００による移動体領域の移動先候補の抽出方法の一例を示す模式図である。図１５に示すように、移動体領域追跡部１１３は、ビデオカメラ２００が撮像した時点ｔより後の時点（例えば、時点ｔ＋１）での撮像画像Ｖｔ＋１から、水平方向及び垂直方向に１画素又は数画素ずつ移動させながら、矩形状の画像領域を移動先候補として順に抽出する。
【００９２】
この場合、抽出する画像領域（移動先候補）の大きさ（サイズ）は、抽出位置に応じて決定することができる。図１５の例では、撮像画像Ｖｔ＋１の上側では小さいサイズの画像領域が抽出され、下側では大きいサイズの画像領域が抽出される。抽出する画像領域のサイズ変化は、ビデオカメラ２００で撮像される撮像画像中の遠近に対応して定まるので、道路上におけるビデオカメラ２００の設置位置及び撮像方向等により、ビデオカメラ２００毎に適切なサイズ変化を設定することができる。
【００９３】
また、図１５の例では、移動先候補の画像領域を抽出する範囲を、撮像画像Ｖｔ＋１内における道路上のみに限定している。車両が走行する可能性が低い範囲を除外して移動先候補の抽出範囲を限定することにより、車両の追跡処理に要する計算量を低減することができる。撮像画像中における道路の範囲は、ビデオカメラ２００の設置位置及び撮像方向等に応じて、予め適切に設定することができる。
【００９４】
また、図１５の例では、撮像画像Ｖｔ＋１内における全ての道路上を移動先候補の抽出範囲としているが、これに限定されるものではない。例えば、車両が撮像画像Ｖｔ＋１の上側から下側へ移動する（車両がビデオカメラ２００に接近する）ことが予め判明している場合には、移動先候補の抽出範囲を、時点ｔの撮像画像Ｖｔで検出した移動体領域（正サンプル）Ｉｔを抽出した位置より下側に限定することができる。車両の移動方向は、例えば、ビデオカメラ２００が撮像する道路の法律上定められた車両の移動方向に基づいて決定することができ、また、例えば、過去の車両追跡の結果から車両の移動方向及び移動速度等を予測して決定することもできる。
【００９５】
移動体領域追跡部１１３は、時点ｔ＋の撮像画像Ｖ＋１から抽出した複数の移動先候補のうち、時点ｔでの撮像画像Ｖｔで検出（抽出）した正サンプルＩｔに最も類似する移動先候補を、前述同様のペア特徴に基づいて探索して車両の移動先を探索する。
【００９６】
より具体的には、移動体領域追跡部１１３は、正サンプルＩｔのペア特徴として抽出された複数の２点ペアと同じ位置の２点ペアを移動先候補から抽出する。正サンプルＩｔのペア特徴（２点ペア）と、移動先候補から抽出した２点ペアとの類似度を算出し、最も類似度が大きい移動先候補を車両（移動体領域）の最終的な移動先として決定する。
【００９７】
図１６は本実施の形態の移動体検出装置１００による移動体領域の追跡の処理手順を示すフローチャートである。移動体領域の追跡処理は、制御部１０１の制御のもと、移動体領域追跡部１１３により行われるが、以下では処理の主体を便宜上制御部１０１として説明する。
【００９８】
制御部１０１は、時点ｔ＋１（時点ｔより後の時点）の撮像画像Ｖｔ＋１を取得し、取得した撮像画像Ｖｔ＋１から一の移動先候補を抽出する（Ｓ５１）。制御部１０１は、抽出した移動先候補から、正サンプルＩｔのペア特徴として抽出した２点ペアと同数、かつ同じ位置の２点ペアを抽出する（Ｓ５２）。
【００９９】
制御部１０１は、正サンプルＩｔの２点ペアと、移動先候補の２点ペアとに基づいて、正サンプルＩｔ及び移動先候補の類似度を算出し（Ｓ５３）、算出した類似度が以前に算出した類似度と比較して最大の類似度であるか否かを判定する（Ｓ５４）。
【０１００】
算出した類似度が最大である場合（Ｓ５４でＹＥＳ）、制御部１０１は、移動先候補に係る情報（例えば、移動先候補の位置及びサイズ等の情報）を保持し（Ｓ５５）、算出した類似度が最大でない場合（Ｓ５４でＮＯ）、ステップＳ５５の処理を行わずに後述のステップＳ５６の処理を行う。
【０１０１】
制御部１０１は、時点ｔ＋１の撮像画像Ｖｔ＋１から抽出すべき全ての移動先候補について、上述のステップＳ５１〜Ｓ５５の処理を終了したか否かを判定し（Ｓ５６）、全ての移動先候補について処理を終了していない場合（Ｓ５６でＮＯ）、ステップＳ５１以降の処理を繰り返し、全ての移動先候補について処理を終了した場合（Ｓ５６でＹＥＳ）、処理を終了する。
【０１０２】
本実施の形態の移動体検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図８、図９、図１３及び図１６に示すような、各処理手順を定めたコンピュータプログラムをＣＤ、ＤＶＤ、ＵＳＢメモリ等のコンピュータプログラム記録媒体に記録しておき、当該コンピュータプログラムをコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で移動体検出装置１００を実現することができる。
【０１０３】
本実施の形態の追跡方法は、例えば、時点ｔの撮像画像上の移動体領域Ｖｔ内で輝度値（画素値）の差分が所定の閾値以上の任意の２つの点（２点ペア）の組を複数抽出する。そして、時点ｔ＋１の撮像画像上で、任意の２つの点の輝度値（画素値）の大小関係が一致した２つの点の組の数が最も多い領域を追跡領域（時点ｔの移動体領域Ｖｔの時点ｔ＋１での領域）として特定することができる。２つの点の輝度値（画素値）の大小関係に着目することにより、例えば、日照変化により撮像画像の明るさが変化した場合、あるいは車両などの移動体が日向から日蔭へ移動した場合に、撮像画像中の車両の輝度値が変化しても、輝度値の大小関係は変化しないため、車両の追跡を従来よりも精度よく行うことができる。
【０１０４】
また、本実施の形態の追跡方法では、撮像画像上で追跡される追跡領域の位置が実数値である。すなわち、位置が整数である場合には、撮像画像上の画素位置そのものを採用し輝度値（画素値）の算出は当該画素の輝度値（画素値）を用いる。また、位置が実数値（整数値を除く）である場合には、当該位置の周辺の画素位置及び当該画素の輝度値（画素値）を線形補間などの方法を用いて、当該位置の輝度値（画素値）を算出する。これにより、画素間よりもさらに微細な位置を算出することができ、画素間で生じる誤差の影響を低減して、移動体の検出及び追跡を従来よりも精度良く行うことができる。
【０１０５】
また、本実施の形態の追跡方法では、撮像画像上で追跡される追跡領域の大きさが実数値である。すなわち、追跡領域の大きさ（サイズ）が整数値にのみ限定している場合、時間の経過に伴って追跡領域の大きさが変化する場合（例えば、移動体が接近するので追跡領域が大きくなる）、類似度合を判定するために追跡領域を同一サイズに変換するときに、微小なサイズ変化の際の四捨五入の影響で誤差が生ずる。当該誤差は、時系列的に追跡領域を追跡するときに誤差が蓄積し、移動体の検出の精度が低下する。追跡領域の大きさ（サイズ）を実数値（整数値に限定しない）とすることにより、追跡領域のサイズが時間の経過とともに変化した場合でも、追跡領域のサイズを同一にするための変換が不要であり、当該変換に伴う誤差も発生しないので、連続して追跡する際の誤差を低減することができ、精度良く移動体を追跡することができる。
【０１０６】
上述のとおり、本実施の形態では、移動体領域の位置及びサイズを整数値に限定せず実数値（整数値を除く）を用いることにより、移動体領域の検出処理及び追跡処理を１ピクセル（１画素）以下の精度で行うことができるので、誤差の影響を小さくすることができ、従来の処理に比べて高い精度で移動体の検出及び追跡を行うことができる。なお、追跡処理を繰り返し実施する場合には、移動体領域の位置及びサイズを整数値に限定せず実数値で表し、最終的な追跡結果を出力する際には、四捨五入などで位置及びサイズを整数値にすることもできる。
【０１０７】
本実施の形態は、すでに調整済の白黒ビデオカメラ画像に対して適用することができ、また、撮像画像上の２点の輝度値（画素値）の大小関係を２点ペアの特徴として採用することにより、環境変化、照明変化などの影響を受けにくいという利点がある。
【０１０８】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０９】
１００ 移動体検出装置
１０１ 制御部
１０２ 画像入力部
１０３ Ａ／Ｄ変換部
１０４ 画像メモリ
１０５ 通信部
１０６ 記憶部
１０７ 検出ブロック設定部
１０８ 特徴量算出部
１０９ 評価値算出部
１１０ 選択部
１１１ 重み付け部
１１２ 移動体領域検出部
１１３ 移動体領域追跡部
２００ ビデオカメラ
【特許請求の範囲】
【請求項１】
撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置において、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段と、
該設定手段で設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出する評価値算出手段と、
該評価値算出手段で算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択する選択手段と、
該選択手段で選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出する検出手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段を備え、
前記評価値算出手段は、
前記特徴量算出手段で算出した特徴量をサポートベクターマシン又はブースティングを用いて評価して評価値を算出するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記選択手段は、
移動体の候補領域であると評価された検出ブロックのうち、前記撮像画像上でお互いに近傍に存在する検出ブロックを選択するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの位置を示す座標値を重み付けする第１の重み付け手段を備え、
前記検出手段は、
前記第１の重み付け手段で重み付けして得られた実数値で表される位置を有する移動体領域を検出するように構成してあることを特徴とする請求項１乃至請求項３のいずれか１つに記載の移動体検出装置。
【請求項５】
前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの大きさを重み付けする第２の重み付け手段を備え、
前記検出手段は、
前記第２の重み付け手段で重み付けして得られた実数値で表される大きさを有する移動体領域を検出するように構成してあることを特徴とする請求項４に記載の移動体検出装置。
【請求項６】
前記検出手段により検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段を備えることを特徴とする請求項１乃至請求項５のいずれか１つに記載の移動体検出装置。
【請求項７】
前記追跡手段により前記撮像画像上で追跡される追跡領域の位置が実数値であることを特徴とする請求項６に記載の移動体検出装置。
【請求項８】
前記追跡手段により前記撮像画像上で追跡される追跡領域の大きさが実数値であることを特徴とする請求項６又は請求項７に記載の移動体検出装置。
【請求項９】
コンピュータに、移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出させるためのコンピュータプログラムにおいて、
コンピュータに、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、
設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、
算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、
選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１０】
撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置による移動体検出方法において、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、
設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、
算出された評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、
選択された検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップと
を含むことを特徴とする移動体検出方法。
【請求項１】
撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置において、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段と、
該設定手段で設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出する評価値算出手段と、
該評価値算出手段で算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択する選択手段と、
該選択手段で選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出する検出手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段を備え、
前記評価値算出手段は、
前記特徴量算出手段で算出した特徴量をサポートベクターマシン又はブースティングを用いて評価して評価値を算出するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記選択手段は、
移動体の候補領域であると評価された検出ブロックのうち、前記撮像画像上でお互いに近傍に存在する検出ブロックを選択するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの位置を示す座標値を重み付けする第１の重み付け手段を備え、
前記検出手段は、
前記第１の重み付け手段で重み付けして得られた実数値で表される位置を有する移動体領域を検出するように構成してあることを特徴とする請求項１乃至請求項３のいずれか１つに記載の移動体検出装置。
【請求項５】
前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの大きさを重み付けする第２の重み付け手段を備え、
前記検出手段は、
前記第２の重み付け手段で重み付けして得られた実数値で表される大きさを有する移動体領域を検出するように構成してあることを特徴とする請求項４に記載の移動体検出装置。
【請求項６】
前記検出手段により検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段を備えることを特徴とする請求項１乃至請求項５のいずれか１つに記載の移動体検出装置。
【請求項７】
前記追跡手段により前記撮像画像上で追跡される追跡領域の位置が実数値であることを特徴とする請求項６に記載の移動体検出装置。
【請求項８】
前記追跡手段により前記撮像画像上で追跡される追跡領域の大きさが実数値であることを特徴とする請求項６又は請求項７に記載の移動体検出装置。
【請求項９】
コンピュータに、移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出させるためのコンピュータプログラムにおいて、
コンピュータに、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、
設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、
算出した評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、
選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１０】
撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置による移動体検出方法において、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、
設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、
算出された評価値に基づいて候補領域であると評価された１又は複数の検出ブロックを選択するステップと、
選択された検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップと
を含むことを特徴とする移動体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−３７５４９（Ｐ２０１３−３７５４９Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７３３４３（Ｐ２０１１−１７３３４３）
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]