移動体検出装置、コンピュータプログラム及び移動体検出方法
【課題】高い精度で移動体を検出することができる移動体検出装置、コンピュータプログラム及び移動体検出方法を提供する。
【解決手段】特徴点抽出部１０３は、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する。候補点特定部１０４は、抽出された特徴点から車両の所定部位の候補点を１又は複数特定する。透視投影変換部１０５は、特定された候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する。３次元モデル配置部１０６は、逆投影された候補点に整合させて３次元モデルを配置する。透視投影変換部１０５は、配置された３次元モデルを撮像画像に投影する。移動体検出部１０７は、撮像画像へ投影された３次元モデルにより画定される領域内に含まれる特徴点の数に基づいて、車両を検出する。
【解決手段】特徴点抽出部１０３は、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する。候補点特定部１０４は、抽出された特徴点から車両の所定部位の候補点を１又は複数特定する。透視投影変換部１０５は、特定された候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する。３次元モデル配置部１０６は、逆投影された候補点に整合させて３次元モデルを配置する。透視投影変換部１０５は、配置された３次元モデルを撮像画像に投影する。移動体検出部１０７は、撮像画像へ投影された３次元モデルにより画定される領域内に含まれる特徴点の数に基づいて、車両を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置、該移動体検出装置をコンピュータで実現するためのコンピュータプログラム及び移動体検出方法に関する。
【背景技術】
【０００２】
道路を走行する車両あるいは横断歩道を歩行する歩行者などの移動体をビデオカメラなどの撮像装置で撮像し、移動体を検出する装置や交通流を計測する装置が検討されている。また、車両の運転者からは死角となる場所に存在する車両又は歩行者などの移動体の情報を路側インフラ装置から車両側へ提供することで未然に交通事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
例えば、道路の側に設置されたカメラで道路を撮影し、その映像情報に基づいて複数のサンプル点の輝度を決定し、空間微分処理を行ってエッジを強調することで、車体の色の違い、あるいは外部の明るさによる影響を受けずに車両の車頭を検出することができる交通流計測処理装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−３０７６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されているような従来の装置にあっては、道路の側に設置されたカメラで道路上の車両の前方斜め方向から車両を撮像する。そして、撮像して得られた画像から特徴量をラベリングし、ラベル内の特徴及び時系列の特徴から車両か否かを認識する手法であり、２次元画像処理の域を出ない。また、複数のカメラを用いて３次元情報を積極的に取得する手法もあるが、単眼カメラで３次元情報を利用する手法は非常に少ない。さらに、多数の車両の特徴パターンを学習させておき、撮像された画像の特徴パターンが学習済みの特徴パターンと類似するか否かで車両を認識する方法もあるが、様々な実環境で利用可能とするには膨大な学習データを予め蓄積しておく必要があり実用性に乏しく、上述のいずれの手法を用いても実用的に車両を精度よく検出することが困難である。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、高い精度で移動体を検出することができる移動体検出装置、該移動体検出装置をコンピュータで実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１発明に係る移動体検出装置は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置において、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出する抽出手段と、該抽出手段で抽出した特徴点から移動体の所定部位の候補点を１又は複数特定する特定手段と、該特定手段で特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する逆投影手段と、前記３次元座標空間での移動体を表す移動体モデルの所定部位を前記逆投影手段で逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置する配置手段と、該配置手段で配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影する投影手段と、該投影手段で投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出する検出手段とを備えることを特徴とする。
【０００８】
第２発明に係る移動体検出装置は、第１発明において、車両の車種に応じて複数の移動体モデルを記憶する記憶手段を備え、前記配置手段は、前記投影手段で投影した候補点に整合させて、前記記憶手段に記憶した複数の移動体モデルを配置するようにしてあり、前記投影手段は、前記複数の移動体モデルそれぞれを、前記透視投影変換行列を用いて前記撮像画像に投影するようにしてあり、前記検出手段は、前記投影手段で投影した前記複数の移動体モデルそれぞれにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表された移動体の車種を検出するように構成してあることを特徴とする。
【０００９】
第３発明に係る移動体検出装置は、第１発明又は第２発明において、前記検出手段は、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１０】
第４発明に係る移動体検出装置は、第１発明又は第２発明において、前記検出手段は、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の最大の領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１１】
第５発明に係る移動体検出装置は、第１発明乃至第４発明のいずれか１つにおいて、前記領域内の画素数に対する該領域内に含まれる前記特徴点の数の割合を算出する割合算出手段を備え、前記検出手段は、前記割合算出手段で算出した割合が所定の閾値より大きい場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１２】
第６発明に係る移動体検出装置は、第１発明乃至第４発明のいずれか１つにおいて、前記領域内に含まれる前記特徴点の分布状態を特定する分布状態特定手段を備え、前記検出手段は、前記分布状態特定手段で特定した分布状態が所定の分布状態である場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１３】
第７発明に係る移動体検出装置は、第１発明乃至第６発明のいずれか１つにおいて、複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶する記憶手段と、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、前記画像パターン内の各画素の画素値との類似度を算出する類似度算出手段を備え、前記検出手段は、前記類似度算出手段で算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出するように構成してあることを特徴とする。
【００１４】
第８発明に係るコンピュータプログラムは、コンピュータに、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出させるためのコンピュータプログラムにおいて、コンピュータに、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、抽出した特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップとを実行させることを特徴とする。
【００１５】
第９発明に係る移動体検出方法は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置による移動体検出方法において、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、抽出された特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、特定された１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、配置された１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、投影された１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップとを含むことを特徴とする。
【００１６】
第１発明、第８発明及び第９発明にあっては、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する。例えば、画像上の注目画素とその周辺画素との画素値の差分を符号化した周辺増分符号を予め背景画像などから得られたマスク符号でマスク処理して得られた画像上の画素（マスク処理で残った画素）を特徴点とすることができる。また、周辺増分符号に代えて、撮像画像をエッジ処理して得られたエッジ画像上の画素を特徴点としてもよい。また、撮像画像上で移動体（車両）の候補となり得る画素（特徴量、特徴点など）を抽出することができるものであれば、他の手法を用いてもよい。そして、抽出した特徴点から移動体の所定部位の候補点を１又は複数特定する。所定部位とは、例えば、移動体（車両）の車頭又は車尾などである。候補点の特定は、例えば、撮像画像を水平方向（水平ライン）に走査して特徴点を１ライン毎に計数し、１ライン上の特徴点の数が所定の閾値より大きい場合に、当該ライン上の１又は複数の特徴点を候補点（複数の候補点も含む）として特定する。例えば、特徴点で構成される水平方向の線分の中央位置を候補点として特定することができる。すなわち、特徴点が、車両の車頭又は車尾の中央位置に対応する。
【００１７】
特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する。撮像画像の座標を（ｕ、ｖ）とし、その行列をＭで表す。また、ワールド座標（道路空間座標、３次元空間座標、実空間座標とも称する）を（Ｘｗ、Ｙｗ、Ｚｗ）とし、その行列をＷで表す。透視投影変換行列をＰとすると、Ｍ＝Ｐ・Ｗの関係を有する。ここで、透視投影変換行列Ｐは、（３×３）の行列であり、透視投影変換行列Ｐの各要素は、ビデオカメラ（撮像装置）の設置高さ、ビデオカメラの張り出し長、ビデオカメラ下から車両の検出（計測）領域の位置（距離）などを計測することにより算出することができる。例えば、撮像画像（特徴点画像）上の候補点Ｃ（ｕ、ｖ）は、ワールド座標の候補点Ｃ（Ｘｗ、Ｙｗ、Ｚｗ）に逆投影される。これにより、撮像画像上の車頭又は車尾（中央位置）が３次元座標空間（ワールド座標）へ逆投影される。
【００１８】
移動体モデルの所定部位を投影した１又は複数の候補点それぞれに整合させて、１又は複数の移動体モデルを３次元座標空間に配置する。移動体モデルは、３次元座標空間での移動体（車両）を表し、複数の座標点を含む。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現することができる。移動体モデルの所定部位は、車頭又は車尾（中央位置）である。また、移動体モデルは、例えば、移動体の種類（例えば、車種、大きさなど）に応じて複数用意しておき、それぞれの移動体モデルを配置することができる。これにより、２次元の撮像画像上の車頭又は車尾を一旦３次元空間に逆投影し、逆投影した車頭又は車尾に移動体モデルの車頭又は車尾を当てはめ（整合させて配置し）、車頭又は車尾を基準とした移動体の候補となる領域を３次元的アプローチで特定する。次に、配置した１又は複数の移動体モデルそれぞれの複数の座標点（例えば、直方体の８つの頂点）を、透視投影変換行列を用いて撮像画像に投影する。これにより、３次元的アプローチで特定した移動体の候補となる領域を撮像画像上で画定することができる。
【００１９】
投影した複数の座標点により画定される撮像画像上の領域（判定領域）内に含まれる特徴点の数に基づいて、複数の座標点を含む一の移動体モデルで表現された移動体を検出する。すなわち、配置した１又は複数の移動体モデルの中から一の移動体モデルを選択する。例えば、当該領域内に含まれる特徴点の数が多い場合（所定の閾値より大きい場合）には、当該領域内の特徴点群（特徴点の集合）を車両として検出する。なお、当該領域内に含まれる特徴点の数が少ない場合（所定の閾値より小さい場合）には、車両なしと判定する。上述のように、車両の所定部位を一旦３次元空間座標へ逆投影し、逆投影した所定部位を基準として移動体モデル（３次元モデル）を配置して、３次元情報を加味して移動体の候補となる領域を特定し、特定した領域を再度２次元の撮像画像へ投影し、投影した領域内の特徴点の数を用いて車両を検出するので、単に２次元の撮像画像で得られ特徴点から車両を検出する場合に比べて、移動体の３次元情報が考慮されるので、従来に比べて高い精度で車両を検出することができる。
【００２０】
第２発明にあっては、車両の車種に応じて複数の移動体モデルを記憶しておく。移動体モデルは、例えば、大型車、普通車、二輪車などのように車種に分けて予め記憶しておくことができる。投影した候補点に整合させて、複数の移動体モデルそれぞれを配置する。そして、配置した複数の移動体モデルそれぞれの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する。これにより、任意の１つの候補点に対して、例えば、車種毎に移動体の候補となる複数の領域を撮像画像上で画定することができる。投影した複数の座標点により画定される撮像画像上の複数の領域内に含まれる特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表現された移動体の車種を検出する。例えば、当該領域内に含まれる特徴点の数が最も多い（最も大きい）移動体モデルに対応する車種を検出した車両の車種とする。予め車種毎に定められた複数の移動体モデルそれぞれを当てはめて（配置して）、最も特徴点が多い移動体モデルを選択することができるので、２次元の撮像画像上で得られた車両領域の長さ又は高さなどから車種を判定する従来の手法のようにノイズ又は路面模様などの影響を受けることがなく、高い精度で車種を検出することができる。
【００２１】
第３発明にあっては、投影した複数の座標点により画定される撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる特徴点の数に基づいて、複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現する場合、車両の幅及び高さに対応する寸法で構成される長方形又は正方形を車両前部又は車両後部に対応する領域とすることができる。一般的に車両としての特徴部分が車両前部（前面）又は車両後部（後面）に現れるので、車両前部又は車両後部に対応する領域内に含まれる特徴点の数を考慮することにより、精度良く車両を検出することができる。また、特徴が最も表れやすい車両前部又は車両後部に対応する領域を用いることにより、候補となり得るもの（必要な移動体モデル）を見つけることができ、車両を漏れなく検出することができる。
【００２２】
第４発明にあっては、投影した複数の座標点により画定される撮像画像上の最大の領域内に含まれる特徴点の数に基づいて、複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現する場合、８つの頂点を含む最大の領域とすることができる。車両の候補となる領域の最大の領域を用いることにより、複数の移動体モデルの中で、候補となり得ないもの（不要な移動体モデル）を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
【００２３】
第５発明にあっては、領域内の画素数に対する当該領域内に含まれる特徴点の数の割合を算出し、算出した割合が所定の閾値より大きい場合、当該領域を画定した複数の座標点を含む移動体モデルで表現された移動体を検出する。また、移動体モデルが複数ある場合には、それぞれの移動体モデルに対応する領域内の特徴点の割合が最も大きい移動体モデルを一つ選択し、選択した移動体モデルで表現された移動体を検出することができる。３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の数の割合の大小だけで車両を容易に検出することができる。
【００２４】
第６発明にあっては、領域内に含まれる特徴点の分布状態を特定し、特定した分布状態が所定の分布状態である場合、前記領域を画定した複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、特徴点が領域内に一様に分布している場合には、当該領域を画定した移動体モデルで表現された移動体を検出し、特徴点の分布が一様でない場合には、移動体として検出しない。また、特徴点の分布が車両前部（前面）に偏っている場合、あるいは車両後部（後面）に偏っている場合には、移動体モデルで表された移動体を検出する。３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の分布状態だけで車両を容易に検出することができる。
【００２５】
第７発明にあっては、複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶しておく。画像パターンは、例えば、二値化画像を用いることができ、ヘッドランプ又はテールランプなどに対応する部分は高輝度であり、その他の部分は低輝度となるような画像パターンを、大型車、普通車、二輪車などの車種毎に予め用意する。投影した複数の座標点により画定される撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、画像パターン内の各画素の画素値との類似度を算出し、算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出する。所定の条件は、例えば、類似度が最も大きい場合、類似度が所定の閾値より大きい場合などである。これにより、例えば、夜間などに撮像して得られた撮像画像におけるヘッドランプ又はテールランプの位置、数などのパターンと最も類似する画像パターンを選択して、大型車、普通車、二輪車などの車種を検出することができる。
【発明の効果】
【００２６】
本発明によれば、移動体の３次元情報が考慮されるので、高い精度で移動体を検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施の形態の移動体検出装置の構成の一例を示すブロック図である。
【図２】撮像画像の一例を示す説明図である。
【図３】撮像装置で撮像する道路の様子を示す模式図である。
【図４】撮像画像の一部を示す説明図である。
【図５】注目画素を含む周辺画素の輝度値の一例を示す説明図である。
【図６】注目画素の周辺増分符号の算出例を示す説明図である。
【図７】注目画素の周辺増分符号を模式的に表した説明図である。
【図８】マスク処理の一例を示す説明図である。
【図９】候補点の特定方法の一例を示す説明図である。
【図１０】撮像画像で特定された候補点の一例を示す説明図である。
【図１１】３次元モデルの配置例を示す説明図である。
【図１２】３次元モデルの一例を示す説明図である。
【図１３】判定領域の一例を示す説明図である。
【図１４】判定領域の他の例を示す説明図である。
【図１５】テンプレート画像を用いた車種判定の一例を示す説明図である。
【図１６】本実施の形態の移動体検出装置の処理手順を示すフローチャートである。
【図１７】本実施の形態の移動体検出装置による特徴点の分布状態に基づく移動体の検出方法の一例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体検出装置１００の構成の一例を示すブロック図である。移動体検出装置１００には、撮像装置２００を接続してある。なお、撮像装置２００は、複数備える構成でもよい。移動体検出装置１００は、装置全体を制御する制御部１０１、インタフェース部１０２、特徴点抽出部１０３、候補点特定部１０４、透視投影変換部１０５、３次元モデル配置部１０６、移動体検出部１０７、画素計数部１０８、類似度算出部１０９、記憶部１１０などを備える。なお、移動体検出装置１００は、撮像装置２００と一体をなす構成であってもよい。
【００２９】
撮像装置２００は、例えば、ビデオカメラ又はカメラであり、道路を視野として、所定の高さ、レンズの光軸方向（例えば、俯角及び回転角）などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。撮像装置２００は、撮像して得られた撮像データを映像信号（アナログ信号）としてインタフェース部１０２へ送出する。
【００３０】
インタフェース部１０２は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を撮像画像（入力画像データ）として記憶部１１０に記憶する。インタフェース部１０２を介して撮像装置２００から入力された撮像画像は、撮像装置２００のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位の画像データとして記憶部１１０に記憶される。
【００３１】
図２は撮像画像の一例を示す説明図である。図２の例では、撮像装置２００を道路の路肩近傍から所要の高さに設けてあり、道路を走行する車両の左前方から車両を撮像する。なお、撮像装置２００の設置個所は、図２の例に限定されるものではなく、また、道路を走行する車両の右前方から車両を撮像してもよく、あるいは車両の進行方向前方から撮像することもできる。また、撮像画像の右下を原点として撮像画像の座標を座標（ｕ、ｖ）で表す。また、撮像画像の大きさ（サイズ）は、例えば、２４０×３２０画素であるが、撮像画像の大きさはこれに限定されるものではない。
【００３２】
図３は撮像装置２００で撮像する道路の様子を示す模式図である。図３に示すように、道路空間（実空間、３次元空間とも称する）の座標をワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）で表現する。図３の例では、道路の幅方向をＸ軸、道路方向をＹ軸、高さ方向をＺ軸としている。道路平面は、Ｘ軸及びＹ軸で表すことができる。
【００３３】
次に、透視投影変換行列による画像変換について説明する。図２に示すような撮像画像の座標を（ｕ、ｖ）とし、その行列を式（１）のようにＭで表す。
【００３４】
【数１】
【００３５】
また、図３に示すようなワールド座標を（Ｘｗ、Ｙｗ、Ｚｗ）とし、その行列を式（２）のようにＷで表す。透視投影変換行列をＰとすると、式（３）のようにＭ＝Ｐ・Ｗの関係を有する。すなわち、ワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）から透視投影変換行列Ｐを用いて撮像画像（ｕ、ｖ）を求めることができ、逆に撮像画像（ｕ、ｖ）からワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）を求めることもできる。ここで、透視投影変換行列Ｐは、式（４）で示すように、（３×３）の行列であり、透視投影変換行列Ｐの各要素は、ビデオカメラ（撮像装置）の設置高さ、ビデオカメラの張り出し長、ビデオカメラ下から車両の検出（計測）領域の位置（距離）などを計測することにより算出することができる。
【００３６】
特徴点抽出部１０３は、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する抽出手段としての機能を有する。特徴点は、撮像画像上で車両（移動体）の候補となり得る画素（又は画素領域）であり、周辺増分符号による処理、あるいはエッジ処理等により抽出することができる。以下では、周辺増分符号による処理について説明するが、撮像画像をエッジ処理して得られたエッジ画像上の画素を特徴点としてもよい。
【００３７】
図４は撮像画像の一部を示す説明図であり、図５は注目画素を含む周辺画素の輝度値の一例を示す説明図であり、図６は注目画素の周辺増分符号の算出例を示す説明図であり、図７は注目画素の周辺増分符号を模式的に表した説明図である。図４は、図２に示す撮像画像の一部を取り出したものである。図中、斜線部は路面であり、白抜きの部分は路面に描かれた図柄の一部である。また、図４中の中央の画素を注目画素とする。
【００３８】
図５は、注目画素とその周辺画素の輝度値を示す。図５の例では、周辺画素は、注目画素に隣接する８画素（注目画素を中心とする３×３画素から注目画素を除いた画素）である。輝度値は、例えば、０から２５５までの数値で表すことができ、数値が大きいほど輝度が高い。図５の例では、注目画素の輝度値が１４０であり、その周辺画素の輝度値は、右隣接画素から反時計周りの順に、２１７、２１６、１１０、１３４、１２９、１３０、１１９、２１１である。なお、輝度値は一例であって、これに限定されるものではない。
【００３９】
周辺増分符号の算出は、注目画素の輝度値と、注目画素の８近傍の周辺画素の輝度値とを比較し、それぞれの周辺画素の輝度値ａが、注目画素の輝度値ｗとの間で、ｗ＋α＜ａであれば、その周辺画素の位置に対応する符号成分を１（有効）とする。また、ｗ＋α≧ａであれば、その周辺画素の位置に対応する符号成分を０（無効）とする。ここで、αは差分閾値であって適宜設定することができ、例えば、α＝２０とすることができる。
【００４０】
上述の算出方法に従った場合、図５の例で示す注目画素の周辺増分符号は、図６に示すようになる。すなわち、注目画素の８近傍の周辺画素を右隣接画素から反時計周りの順に、Ａ１、Ａ２、…Ａ８とする。図５及び図６から、周辺画素Ａ１の輝度値ａは２１７であり、注目画素ｗの輝度値は１４０であるから、ｗ＋α＜ａの関係を満たす。従って、周辺画素Ａ１に対応する符号成分は１（有効）となる。同様にして他の周辺画素の符号成分を求めると、注目画素の周辺増分符号（Ａ８ Ａ７ …Ａ１）は、（１１０００００１）となり、８ビットの情報を用いて符号化したものとなる。８ビットの二進符号を１０進符号に変換することで、周辺増分符号は、１９３として表すこともできる。
【００４１】
図６に示すように、８近傍の周辺画素のうち、右隣の周辺画素Ａ１と、右上及び右下の周辺画素Ａ８の符号成分が１（有効）であるので、これを模式的に表すと、図７のようになる。すなわち、周辺増分符号を、注目画素を中心として、符号成分が有効である周辺画素の方向に放射状に伸びた線分で表すこともできる。このようにして、撮像画像上の注目画素を順番に走査することで、撮像画像上のすべての画素を符号化することができる。
【００４２】
上述のように、撮像画像差分符号としての周辺増分符号は、注目画素とその周辺の各周辺画素との差分（輝度値の差分）の大小に応じた有効又は無効を示す符号成分を有する。そして、差分の符号化は、周辺画素のそれぞれに対応させて、差分（ａ−ｗ）が所定の差分閾値αより大きい場合には、有効（例えば、１）、差分（ａ−ｗ）が差分閾値α以下の場合には、無効（例えば、０）というようにすることができる。なお、上述の例では、差分（ａ−ｗ）を増分として符号化したものであるが、これに限定されるものではなく、差分（ｗ−ａ）を減分として符号化することもできる。
【００４３】
記憶部１１０は、背景画像差分符号としてのマスク符号を記憶している。マスク符号は、周辺増分符号と同様の方法で生成することができる。すなわち、マスク符号は、車両が存在しないときに撮像された背景画像の任意の画素毎に、当該任意の画素とその周辺の周辺画素との画素値の差分を符号化したものである。そして、マスク符号は、周辺増分符号と同様に、任意の画素と各周辺画素との差分の大小に応じた有効又は無効を示す符号成分を有する。
【００４４】
特徴点抽出部１０３は、注目画素の周辺増分符号（撮像画像周辺差分符号）を、当該注目画素に対応する背景画像上の画素のマスク符号（背景画像周辺差分符号）でマスク処理する。例えば、画像上の注目画素とその周辺画素との画素値の差分を符号化した周辺増分符号を予め背景画像などから得られたマスク符号でマスク処理して得られた画像上の画素（マスク処理で残った画素）を特徴点とすることができる。以下、マスク処理の方法について説明する。
【００４５】
図８はマスク処理の一例を示す説明図である。図８Ａは撮像画像の周辺増分符号の一例を示し、図８Ｂは背景画像（マスク符号画像）のマスク符号の一例を示し、図８Ｃはマスク処理後画像の周辺増分符号を示す。また、図中、各画素に記載された放射状の線分は、図７で例示した周辺増分符号を模式化したものである。図８の例では、撮像画像の注目画素の周辺増分符号の有効成分と、当該注目画素に対応する背景画像上の画素のマスク符号の有効成分とがすべて同一である場合（完全一致に相当する）、当該有効成分をすべて除去して、入力画像の各注目画素の周辺増分符号をマスク処理する。例えば、８個の符号成分を（Ａ８、Ａ７、…Ａ１）とした場合に、周辺増分符号の有効成分をＡ４、Ａ３、Ａ２、Ａ１とし、マスク符号の有効成分をＡ４、Ａ３、Ａ２としたときには、両者の有効成分がすべて一致しないので、周辺増分符号は除去されず、マスク処理を行った後のマスク処理後撮像画像周辺差分符号の有効成分は、Ａ４、Ａ３、Ａ２、Ａ１すべてが残る。これにより、撮像画像の特徴量である周辺増分符号が除去されにくくなり、マスク処理後の移動体の特徴量を残すことができ、精度良く特徴点を抽出することができる。
【００４６】
候補点特定部１０４は、特徴点抽出部１０３で抽出した特徴点から車両（移動体）の所定部位の候補点を１又は複数特定する候補点特定手段としての機能を有する。所定部位とは、例えば、車両の車頭又は車尾などである。
【００４７】
図９は候補点の特定方法の一例を示す説明図である。図９の左側の図はマスク処理後の撮像画像（特徴点を示す特徴点画像）を示し、符号×で示す点は特徴点である。なお、特徴点は模式的に例示したものであり、図９の例に限定されるものでない。また、符号Ｌｉ、Ｌｊ、Ｌｋは、特徴点の数を水平方向（水平ライン）毎に計数する際の水平ラインを示す。
【００４８】
候補点の特定は、例えば、撮像画像（マスク処理後画像）を水平方向（水平ライン）に走査して特徴点を１ライン毎に計数し、１ライン上の特徴点の数が所定の閾値より大きい場合に、当該ライン上の１又は複数の特徴点を候補点（複数の候補点も含む）として特定する。
【００４９】
例えば、図９の右側の図は、特徴点プロファイルを示し、水平ライン毎に特徴点の数を計数した結果を示す。図９に示すように、水平ラインＬｉ、Ｌｊ、Ｌｋの内で、水平ラインＬｊ、Ｌｋ上で計数された特徴点の数が閾値より大きいので、水平ラインＬｊ、Ｌｋ上の特徴点で構成される水平方向の線分の中央位置を候補点として特定する。すなわち、特徴点が、車両の車頭又は車尾の中央位置に対応する。
【００５０】
図１０は撮像画像で特定された候補点の一例を示す説明図である。図１０では、候補点として、候補点Ｃ１、Ｃ２を例示している。候補点Ｃ１は撮像画像上で座標（ｕ１、ｖ１）を有し、図９で例示した水平ラインＬｊ上の複数の特徴点で構成される線分の中央位置の点である。また、候補点Ｃ２は撮像画像上で座標（ｕ２、ｖ２）を有し、図９で例示した水平ラインＬｋ上の複数の特徴点で構成される線分の中央位置の点である。
【００５１】
透視投影変換部１０５は、候補点特定部１０４で特定した候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する逆投影手段としての機能を有する。前述のように、撮像画像の座標を（ｕ、ｖ）とし、その行列をＭで表す。また、ワールド座標（道路空間座標、３次元空間座標、実空間座標とも称する）を（Ｘｗ、Ｙｗ、Ｚｗ）とし、その行列をＷで表す。透視投影変換行列をＰとすると、Ｍ＝Ｐ・Ｗの関係を有する。そして、撮像画像（特徴点画像）上の候補点Ｃ（ｕ、ｖ）は、ワールド座標の候補点Ｃ（Ｘｗ、Ｙｗ、Ｚｗ）に逆投影される。これにより、撮像画像上の候補点である車頭又は車尾（中央位置）が３次元座標空間（ワールド座標）へ逆投影される。
【００５２】
３次元モデル配置部１０６は、３次元座標空間での車両（移動体）を表現すべく複数の座標点を含む移動体モデルの所定部位を、透視投影変換部１０５で逆投影した候補点に整合させて移動体モデルを３次元座標空間に配置する配置手段としての機能を有する。
【００５３】
移動体モデル（３次元モデルとも称する）は、３次元座標空間での車両（移動体）を表現すべく複数の座標点を含む。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現することができる。また、移動体モデルの所定部位は、車頭又は車尾（中央位置）である。
【００５４】
また、移動体モデルは、例えば、車両の種類（例えば、車種、大きさなど）に応じて複数記憶部１１０に記憶しておき、それぞれの移動体モデルを同じ候補点に対して配置することができる。
【００５５】
図１１は３次元モデルの配置例を示す説明図である。上述のように、３次元モデルを８つの頂点で構成される（囲まれる）直方体とする。図１１に示すように、ワールド座標での候補点Ｃ１（Ｘｗ１、Ｙｗ１、Ｚｗ１）に３次元モデルＭの車頭又は車尾が一致するように（整合させて）、３次元モデルＭを配置する。同様に、ワールド座標での候補点Ｃ２（Ｘｗ２、Ｙｗ２、Ｚｗ２）に３次元モデルＭの車頭又は車尾が一致するように（整合させて）、３次元モデルＭを配置する。すなわち、それぞれの候補点に対して、同一の３次元モデルを配置する。なお、図１１の例では、簡略化のため、１つの３次元モデルＭのみを表示しているが、複数の３次元モデルがある場合には、それぞれの３次元モデルを同様にして配置する。
【００５６】
図１２は３次元モデルの一例を示す説明図である。図１２の例では、３次元モデルを車両の車種に応じて、例えば、大型車、普通車、二輪車などのように車種に分けて予め記憶しておくことができる。なお、３次元モデルの種類は、図１２の例に限定されるものではなく、軽自動車、特大車、中型車、特殊車両など、さらにモデルを増やすこともできる。
【００５７】
上述のように、２次元の撮像画像上の車頭又は車尾を一旦３次元空間に逆投影し、逆投影した車頭又は車尾に車両の３次元モデルの車頭又は車尾を当てはめ（整合させて配置し）、車頭又は車尾を基準とした車両の候補となる領域を３次元的アプローチで特定する。
【００５８】
透視投影変換部１０５は、３次元モデル配置部１０６で配置した３次元モデルの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する投影手段としての機能を有する。すなわち、透視投影変換部１０５は、ワールド座標内（３次元空間内）に配置された３次元モデルの複数の座標点（例えば、直方体の８つの頂点）を、透視投影変換行列を用いて撮像画像に投影する。これにより、３次元的アプローチで特定した車両の候補となる領域を撮像画像上で画定することができる。
【００５９】
移動体検出部１０７は、撮像画像へ投影された３次元モデルの複数の座標点（例えば、直方体の８つの頂点）により画定される領域（以下、判定領域とも称する）内に含まれる特徴点の数に基づいて、車両（移動体）を検出する検出手段としての機能を有する。
【００６０】
移動体検出部１０７は、判定領域内に含まれる特徴点の数が多い場合（所定の閾値より大きい場合）には、判定領域内の特徴点群（特徴点の集合）を車両として検出する。なお、判定領域内に含まれる特徴点の数が少ない場合（所定の閾値より小さい場合）には、車両なしと判定する。
【００６１】
上述のように、車両の所定部位を一旦３次元空間座標へ逆投影し、逆投影した所定部位を基準として移動体モデル（３次元モデル）を配置して、３次元情報を加味して車両の候補となる領域を特定し、特定した領域を再度２次元の撮像画像へ投影し、投影した領域（判定領域）内の特徴点の数を用いて車両を検出するので、単に２次元の撮像画像で得られた特徴点から車両を検出する場合に比べて、移動体の３次元情報が考慮されるので、従来に比べて高い精度で車両を検出することができる。
【００６２】
また、上述のように、大型車、普通車、二輪車などのように車種に分けて車両の３次元モデルを予め記憶しておく。投影した候補点に整合させて、複数の３次元モデルそれぞれを配置する。そして、配置した複数の３次元モデルそれぞれの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する。これにより、任意の１つの候補点に対して、例えば、車種毎に移動体の候補となる複数の領域を撮像画像上で画定することができる。投影した複数の座標点により画定される撮像画像上の複数の領域（判定領域）内に含まれる特徴点の数に基づいて、複数の３次元モデルのうちの一の３次元モデルで表現された車両の車種を検出する。例えば、判定領域内に含まれる特徴点の数が最も多い（最も大きい）３次元モデルに対応する車種を、検出した車両の車種とする。予め車種毎に定められた複数の３次元モデルそれぞれを当てはめて（配置して）、最も特徴点が多い３次元モデルを選択することができるので、２次元の撮像画像上で得られた車両領域の長さ又は高さなどから車種を判定する従来の手法のようにノイズ又は路面模様などの影響を受けることがなく、高い精度で車種を検出することができる。
【００６３】
図１３は判定領域の一例を示す説明図である。判定領域は、３次元モデルの複数の座標で画定される領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。図１３の例は、３次元座標に逆投影された候補点Ｃ１（Ｘｗ１、Ｙｗ１、Ｚｗ１）に３次元モデルを配置し、透視投影変換行列を用いて３次元モデルを撮像画像へ投影した結果得られた判定領域Ｓａを示す。
【００６４】
判定領域Ｓａは、車両前部又は車両後部に対応する領域である。すなわち、判定領域Ｓａは、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で３次元モデルを表現する場合、車両の幅及び高さに対応する寸法で構成される長方形状又は正方形状の車両前部又は車両後部に対応する領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。
【００６５】
一般的に車両としての特徴部分が車両前部（前面）又は車両後部（後面）に現れるので、車両前部又は車両後部に対応する領域内に含まれる特徴点の数を考慮することにより、精度良く車両を検出することができる。また、特徴が最も表れやすい車両前部又は車両後部に対応する領域を用いることにより、候補となり得るもの（必要な移動体モデル）を見つけることができ、車両を漏れなく検出することができる。
【００６６】
図１４は判定領域の他の例を示す説明図である。図１４の例は、３次元座標に逆投影された候補点Ｃ１（Ｘｗ１、Ｙｗ１、Ｚｗ１）に３次元モデルを配置し、透視投影変換行列を用いて３次元モデルを撮像画像へ投影した結果得られた判定領域Ｓｂを示す。
【００６７】
判定領域Ｓｂは、車両全体に対応する領域である。すなわち、判定領域Ｓｂは、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で３次元モデルを表現する場合、８つの頂点を含む最大の領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。車両の候補となる領域の最大の領域を用いることにより、複数の移動体モデルの中で、候補となり得ないもの（不要な移動体モデル）を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
【００６８】
画素計数部１０８は、判定領域内の画素数に対する当該判定領域内に含まれる特徴点の数の割合を算出する割合算出手段としての機能を有する。
【００６９】
移動体検出部１０７は、画素計数部１０８で算出した割合が所定の閾値より大きい場合、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。また、３次元モデルが複数ある場合には、それぞれの３次元モデルに対応する判定領域内の特徴点の割合が最も大きい３次元モデルを一つ選択し、選択した３次元モデルで表現された車両を検出することができる。３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の数の割合の大小だけで車両を容易に検出することができる。
【００７０】
撮像画像から適宜の特徴量に基づいて２次元の撮像画像上で車両候補の領域を特定して車種を決定する場合には、撮像画像上のノイズ又は路面模様などにより車両候補の領域を正確に特定することができない場合もある。しかし、上述のように、本実施の形態では、予め車両の車種に応じた３次元モデルを用意しておき、複数の３次元モデルを３次元空間内の候補点に整合させて配置し、配置した３次元モデルで画定された領域を撮像画像へ投影して得られた判定領域内の特徴点の数に基づいて、車両、車種を検出するので、正確な車両の領域、車種を検出することができる。
【００７１】
次に、夜間などに車種を判定する方法について説明する。図１５はテンプレート画像を用いた車種判定の一例を示す説明図である。類似度算出部１０９は、図１５に示すように、例えば、車両前部又は車両後部に対応する判定領域Ｓａを、長方形状の画像に変換し、変換した長方形画像の各画素の画素値と、テンプレート画像の各画素の画素値との類似度を算出する。類似度を算出する際の画素値は、例えば、画素の輝度値でもよく、ＲＧＢの各値でもよく、特徴点を用いてもよい。
【００７２】
画像パターンは、例えば、二値化画像を用いることができ、ヘッドランプ又はテールランプなどに対応する部分は高輝度であり、その他の部分は低輝度となるような画像パターンを、大型車、普通車、二輪車などの車種毎に予め用意する。
【００７３】
判定領域Ｓａに路面反射がある場合とヘッドライトがある場合とでは、判定領域Ｓａに出現するパターンが異なる。例えば、ヘッドライトの場合では、判定領域Ｓａ内に輝度の高い部分と暗い部分が両方存在し、上側が暗、下側が明というパターンとなる。また、ヘッドライトの場合では、判定領域Ｓａ内の左側及び右側に輝度が高い部分があるパターンとなる。撮像画像とテンプレート画像との相関値の和が最大のものが、一定閾値を超えた場合、ヘッドライトと認識することができ、車両を検出することができる。
【００７４】
移動体検出部１０７は、類似度算出部１０９で算出した類似度が最も高い画像パターンに対応する車種を移動体の車種として検出する。これにより、例えば、夜間などに撮像して得られた撮像画像におけるヘッドランプ又はテールランプの位置、数などのパターンと最も類似する画像パターンを選択して、大型車、普通車、二輪車などの車種を検出することができる。
【００７５】
上述の実施の形態では、候補点を１つの画素の点としたが、これに限定されるものではなく、当該候補点を含む周辺の複数の画素で構成される候補領域としてもよい。また、特定する候補点の数は、適宜決めればよいが、例えば、１つの撮像画像に対して、１０個程度に特定することができる。
【００７６】
次に、本実施の形態の移動体検出装置１００の動作について説明する。図１６は本実施の形態の移動体検出装置１００の処理手順を示すフローチャートである。制御部１０１は、撮像画像を取得し（Ｓ１１）、撮像画像から特徴点を抽出し（Ｓ１２）、抽出した特徴点を水平ライン毎に計数することにより、車頭又は車尾の候補点を特定する（Ｓ１３）。
【００７７】
制御部１０１は、２次元画像上の候補点を、透視投影変換行列を用いて道路空間座標の道路平面へ逆投影する（Ｓ１４）。
【００７８】
制御部１０１は、逆投影した候補点に３次元モデルの車頭又は車尾を整合させて、３次元モデルを道路区間座標に配置する（Ｓ１５）。
【００７９】
制御部１０１は、透視投影変換行列を用いて配置した３次元モデルを撮像画像座標へ投影し（Ｓ１６）、投影した３次元モデルから判定領域を特定する（Ｓ１７）。これにより、３次元モデルで画定される領域が、撮像画像上の判定領域として投影される。
【００８０】
制御部１０１は、判定領域内の特徴点を計数し（Ｓ１８）、判定領域内の全画素に対する特徴点の数の割合が閾値より大きいか否かを判定する（Ｓ１９）。割合が閾値より大きい場合（Ｓ１９でＹＥＳ）、制御部１０１は、判定領域内の特徴点群を車両として検出し（Ｓ２０）、該当の３次元モデル（割合が閾値より大きい判定領域が特定された３次元モデル）から車種を特定（Ｓ２１）、処理を終了する。割合が閾値より小さい場合（Ｓ１９でＮＯ）、制御部１０１は、処理を終了する。
【００８１】
移動体検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１６に示すような、各処理手順を定めたコンピュータプログラムをＤＶＤなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で移動体検出装置１００を実現することができる。
【００８２】
本実施の形態において、判定領域内の特徴点の割合が閾値よりも大きい判定領域が複数存在する場合、判定領域に対応する候補点の位置が、例えば、車線間の中央にあるか、撮像画像上の端にあるかで、取捨選択してもよい。すなわち、車線間の中央にある場合には、当該判定領域内の特徴点群を車両として検出し、撮像画像上の端にある場合には、車両として検出しないようにすることもできる。
【００８３】
上述の実施の形態では、判定領域内の特徴点の割合が閾値よりも大きいか否かを判定して移動体（車両）を検出する構成であったが、特徴点の数の割合を判定する構成に限定されるものではなく、例えば、判定領域内の特徴点の分布状態を特定し、特定した分布状態が所定の分布状態であるか否かを判定して移動体（車両）を検出することもできる。以下、判定領域内の特徴点の分布による移動体の検出方法について説明する。
【００８４】
図１７は本実施の形態の移動体検出装置１００による特徴点の分布状態に基づく移動体の検出方法の一例を示す説明図である。図１７で例示する領域は、図１４で例示した判定領域Ｓｂである。なお、図１７では、簡便化のため判定領域Ｓｂを回転させた状態で図示している。前述のように、判定領域Ｓｂは、車両全体に対応する領域である。すなわち、判定領域Ｓｂは、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で３次元モデルを表現する場合、８つの頂点を含む最大の領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。
【００８５】
図１７Ａに示すように、判定領域Ｓｂを複数の画素ブロックΔＳｂに分割する。図１７の例では、画素ブロックを車両の長さ、幅及び高さ方向に沿った線分で分割しているが、判定領域Ｓｂの画素ブロックの分割方法は、図１７の例に限定されるものではなく、例えば、縦横の平行な線分により格子状に分割してもよい。なお、それぞれの画素ブロックΔＳｂの大きさは、同一でもよく、あるいは判定領域Ｓｂ内の位置に応じて、大きさを変えてもよい。
【００８６】
画素計数部１０８は、判定領域Ｓｂ内の特徴点の分布状態を特定する分布状態特定手段としての機能を有する。すなわち、画素計数部１０８は、各画素ブロックΔＳｂ内の特徴点の数を計数する。そして、画素計数部１０８は、画素ブロックΔＳｂ内の特徴点の数が所定の閾値以上である場合、当該画素ブロックΔＳｂを特徴ブロックとして特定する。
【００８７】
移動体検出部１０７は、判定領域内の特徴点の分布状態が所定の分布状態である場合、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。
【００８８】
より具体的には、車両を前方から撮像した撮像画像を用いる場合において、図１７Ｂに示すように、特徴ブロック（図１７Ｂにおいて、点を付した画素ブロック）が、車頭部に偏っており、車頭部以外の領域での特徴ブロックの分布状態が少ない場合には、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より小さく、かつ重心座標が車頭（車頭部）に近い場合には、当該判定領域を画定した３次元モデルで表現された車両を検出する。
【００８９】
逆に、車両を前方から撮像した撮像画像を用いる場合において、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車尾側（車尾部側）に偏っている場合には、車両を検出しない。
【００９０】
同様に、車両を後方から撮像した撮像画像を用いる場合において、特徴ブロックが、車尾部に偏っており、車尾部以外の領域での特徴ブロックの分布状態が少ない場合には、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。別言すれば、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車尾（車尾部）に近い場合には、当該判定領域を画定した３次元モデルで表現された車両を検出する。逆に、車両を後方から撮像した撮像画像を用いる場合において、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車頭側（車頭部側）に偏っている場合には、車両を検出しない。
【００９１】
また、図１７Ｃに示すように、特徴ブロック（点を付した画素ブロック）が、判定領域Ｓｂ内で一様に分布している場合、別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より大きい場合、当該判定領域を画定した３次元モデルで表現された車両を検出する。
【００９２】
逆に、特徴ブロック（点を付した画素ブロック）が、判定領域Ｓｂ内での分布が一様でない場合、別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より小さい場合、車両を検出しない。なお、特徴ブロックの重心座標の分散が所定の分散閾値より小さい場合であっても、上述の図１７Ｂの例のような場合には、車両を検出することができる。
【００９３】
上述のように、３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の分布状態だけで車両を容易に検出することができる。また、複数の移動体モデルの中で、候補となり得ないもの（不要な移動体モデル）を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
【００９４】
以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。
【符号の説明】
【００９５】
２００ 撮像装置
１０１ 制御部
１０２ インタフェース部
１０３ 特徴点抽出部
１０４ 候補点特定部
１０５ 透視投影変換部
１０６ ３次元モデル配置部
１０７ 移動体検出部
１０８ 画素計数部
１０９ 類似度算出部
１１０ 記憶部
【技術分野】
【０００１】
本発明は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置、該移動体検出装置をコンピュータで実現するためのコンピュータプログラム及び移動体検出方法に関する。
【背景技術】
【０００２】
道路を走行する車両あるいは横断歩道を歩行する歩行者などの移動体をビデオカメラなどの撮像装置で撮像し、移動体を検出する装置や交通流を計測する装置が検討されている。また、車両の運転者からは死角となる場所に存在する車両又は歩行者などの移動体の情報を路側インフラ装置から車両側へ提供することで未然に交通事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
例えば、道路の側に設置されたカメラで道路を撮影し、その映像情報に基づいて複数のサンプル点の輝度を決定し、空間微分処理を行ってエッジを強調することで、車体の色の違い、あるいは外部の明るさによる影響を受けずに車両の車頭を検出することができる交通流計測処理装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−３０７６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示されているような従来の装置にあっては、道路の側に設置されたカメラで道路上の車両の前方斜め方向から車両を撮像する。そして、撮像して得られた画像から特徴量をラベリングし、ラベル内の特徴及び時系列の特徴から車両か否かを認識する手法であり、２次元画像処理の域を出ない。また、複数のカメラを用いて３次元情報を積極的に取得する手法もあるが、単眼カメラで３次元情報を利用する手法は非常に少ない。さらに、多数の車両の特徴パターンを学習させておき、撮像された画像の特徴パターンが学習済みの特徴パターンと類似するか否かで車両を認識する方法もあるが、様々な実環境で利用可能とするには膨大な学習データを予め蓄積しておく必要があり実用性に乏しく、上述のいずれの手法を用いても実用的に車両を精度よく検出することが困難である。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、高い精度で移動体を検出することができる移動体検出装置、該移動体検出装置をコンピュータで実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１発明に係る移動体検出装置は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置において、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出する抽出手段と、該抽出手段で抽出した特徴点から移動体の所定部位の候補点を１又は複数特定する特定手段と、該特定手段で特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する逆投影手段と、前記３次元座標空間での移動体を表す移動体モデルの所定部位を前記逆投影手段で逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置する配置手段と、該配置手段で配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影する投影手段と、該投影手段で投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出する検出手段とを備えることを特徴とする。
【０００８】
第２発明に係る移動体検出装置は、第１発明において、車両の車種に応じて複数の移動体モデルを記憶する記憶手段を備え、前記配置手段は、前記投影手段で投影した候補点に整合させて、前記記憶手段に記憶した複数の移動体モデルを配置するようにしてあり、前記投影手段は、前記複数の移動体モデルそれぞれを、前記透視投影変換行列を用いて前記撮像画像に投影するようにしてあり、前記検出手段は、前記投影手段で投影した前記複数の移動体モデルそれぞれにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表された移動体の車種を検出するように構成してあることを特徴とする。
【０００９】
第３発明に係る移動体検出装置は、第１発明又は第２発明において、前記検出手段は、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１０】
第４発明に係る移動体検出装置は、第１発明又は第２発明において、前記検出手段は、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の最大の領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１１】
第５発明に係る移動体検出装置は、第１発明乃至第４発明のいずれか１つにおいて、前記領域内の画素数に対する該領域内に含まれる前記特徴点の数の割合を算出する割合算出手段を備え、前記検出手段は、前記割合算出手段で算出した割合が所定の閾値より大きい場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１２】
第６発明に係る移動体検出装置は、第１発明乃至第４発明のいずれか１つにおいて、前記領域内に含まれる前記特徴点の分布状態を特定する分布状態特定手段を備え、前記検出手段は、前記分布状態特定手段で特定した分布状態が所定の分布状態である場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
【００１３】
第７発明に係る移動体検出装置は、第１発明乃至第６発明のいずれか１つにおいて、複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶する記憶手段と、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、前記画像パターン内の各画素の画素値との類似度を算出する類似度算出手段を備え、前記検出手段は、前記類似度算出手段で算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出するように構成してあることを特徴とする。
【００１４】
第８発明に係るコンピュータプログラムは、コンピュータに、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出させるためのコンピュータプログラムにおいて、コンピュータに、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、抽出した特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップとを実行させることを特徴とする。
【００１５】
第９発明に係る移動体検出方法は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置による移動体検出方法において、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、抽出された特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、特定された１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、配置された１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、投影された１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップとを含むことを特徴とする。
【００１６】
第１発明、第８発明及び第９発明にあっては、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する。例えば、画像上の注目画素とその周辺画素との画素値の差分を符号化した周辺増分符号を予め背景画像などから得られたマスク符号でマスク処理して得られた画像上の画素（マスク処理で残った画素）を特徴点とすることができる。また、周辺増分符号に代えて、撮像画像をエッジ処理して得られたエッジ画像上の画素を特徴点としてもよい。また、撮像画像上で移動体（車両）の候補となり得る画素（特徴量、特徴点など）を抽出することができるものであれば、他の手法を用いてもよい。そして、抽出した特徴点から移動体の所定部位の候補点を１又は複数特定する。所定部位とは、例えば、移動体（車両）の車頭又は車尾などである。候補点の特定は、例えば、撮像画像を水平方向（水平ライン）に走査して特徴点を１ライン毎に計数し、１ライン上の特徴点の数が所定の閾値より大きい場合に、当該ライン上の１又は複数の特徴点を候補点（複数の候補点も含む）として特定する。例えば、特徴点で構成される水平方向の線分の中央位置を候補点として特定することができる。すなわち、特徴点が、車両の車頭又は車尾の中央位置に対応する。
【００１７】
特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する。撮像画像の座標を（ｕ、ｖ）とし、その行列をＭで表す。また、ワールド座標（道路空間座標、３次元空間座標、実空間座標とも称する）を（Ｘｗ、Ｙｗ、Ｚｗ）とし、その行列をＷで表す。透視投影変換行列をＰとすると、Ｍ＝Ｐ・Ｗの関係を有する。ここで、透視投影変換行列Ｐは、（３×３）の行列であり、透視投影変換行列Ｐの各要素は、ビデオカメラ（撮像装置）の設置高さ、ビデオカメラの張り出し長、ビデオカメラ下から車両の検出（計測）領域の位置（距離）などを計測することにより算出することができる。例えば、撮像画像（特徴点画像）上の候補点Ｃ（ｕ、ｖ）は、ワールド座標の候補点Ｃ（Ｘｗ、Ｙｗ、Ｚｗ）に逆投影される。これにより、撮像画像上の車頭又は車尾（中央位置）が３次元座標空間（ワールド座標）へ逆投影される。
【００１８】
移動体モデルの所定部位を投影した１又は複数の候補点それぞれに整合させて、１又は複数の移動体モデルを３次元座標空間に配置する。移動体モデルは、３次元座標空間での移動体（車両）を表し、複数の座標点を含む。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現することができる。移動体モデルの所定部位は、車頭又は車尾（中央位置）である。また、移動体モデルは、例えば、移動体の種類（例えば、車種、大きさなど）に応じて複数用意しておき、それぞれの移動体モデルを配置することができる。これにより、２次元の撮像画像上の車頭又は車尾を一旦３次元空間に逆投影し、逆投影した車頭又は車尾に移動体モデルの車頭又は車尾を当てはめ（整合させて配置し）、車頭又は車尾を基準とした移動体の候補となる領域を３次元的アプローチで特定する。次に、配置した１又は複数の移動体モデルそれぞれの複数の座標点（例えば、直方体の８つの頂点）を、透視投影変換行列を用いて撮像画像に投影する。これにより、３次元的アプローチで特定した移動体の候補となる領域を撮像画像上で画定することができる。
【００１９】
投影した複数の座標点により画定される撮像画像上の領域（判定領域）内に含まれる特徴点の数に基づいて、複数の座標点を含む一の移動体モデルで表現された移動体を検出する。すなわち、配置した１又は複数の移動体モデルの中から一の移動体モデルを選択する。例えば、当該領域内に含まれる特徴点の数が多い場合（所定の閾値より大きい場合）には、当該領域内の特徴点群（特徴点の集合）を車両として検出する。なお、当該領域内に含まれる特徴点の数が少ない場合（所定の閾値より小さい場合）には、車両なしと判定する。上述のように、車両の所定部位を一旦３次元空間座標へ逆投影し、逆投影した所定部位を基準として移動体モデル（３次元モデル）を配置して、３次元情報を加味して移動体の候補となる領域を特定し、特定した領域を再度２次元の撮像画像へ投影し、投影した領域内の特徴点の数を用いて車両を検出するので、単に２次元の撮像画像で得られ特徴点から車両を検出する場合に比べて、移動体の３次元情報が考慮されるので、従来に比べて高い精度で車両を検出することができる。
【００２０】
第２発明にあっては、車両の車種に応じて複数の移動体モデルを記憶しておく。移動体モデルは、例えば、大型車、普通車、二輪車などのように車種に分けて予め記憶しておくことができる。投影した候補点に整合させて、複数の移動体モデルそれぞれを配置する。そして、配置した複数の移動体モデルそれぞれの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する。これにより、任意の１つの候補点に対して、例えば、車種毎に移動体の候補となる複数の領域を撮像画像上で画定することができる。投影した複数の座標点により画定される撮像画像上の複数の領域内に含まれる特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表現された移動体の車種を検出する。例えば、当該領域内に含まれる特徴点の数が最も多い（最も大きい）移動体モデルに対応する車種を検出した車両の車種とする。予め車種毎に定められた複数の移動体モデルそれぞれを当てはめて（配置して）、最も特徴点が多い移動体モデルを選択することができるので、２次元の撮像画像上で得られた車両領域の長さ又は高さなどから車種を判定する従来の手法のようにノイズ又は路面模様などの影響を受けることがなく、高い精度で車種を検出することができる。
【００２１】
第３発明にあっては、投影した複数の座標点により画定される撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる特徴点の数に基づいて、複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現する場合、車両の幅及び高さに対応する寸法で構成される長方形又は正方形を車両前部又は車両後部に対応する領域とすることができる。一般的に車両としての特徴部分が車両前部（前面）又は車両後部（後面）に現れるので、車両前部又は車両後部に対応する領域内に含まれる特徴点の数を考慮することにより、精度良く車両を検出することができる。また、特徴が最も表れやすい車両前部又は車両後部に対応する領域を用いることにより、候補となり得るもの（必要な移動体モデル）を見つけることができ、車両を漏れなく検出することができる。
【００２２】
第４発明にあっては、投影した複数の座標点により画定される撮像画像上の最大の領域内に含まれる特徴点の数に基づいて、複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現する場合、８つの頂点を含む最大の領域とすることができる。車両の候補となる領域の最大の領域を用いることにより、複数の移動体モデルの中で、候補となり得ないもの（不要な移動体モデル）を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
【００２３】
第５発明にあっては、領域内の画素数に対する当該領域内に含まれる特徴点の数の割合を算出し、算出した割合が所定の閾値より大きい場合、当該領域を画定した複数の座標点を含む移動体モデルで表現された移動体を検出する。また、移動体モデルが複数ある場合には、それぞれの移動体モデルに対応する領域内の特徴点の割合が最も大きい移動体モデルを一つ選択し、選択した移動体モデルで表現された移動体を検出することができる。３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の数の割合の大小だけで車両を容易に検出することができる。
【００２４】
第６発明にあっては、領域内に含まれる特徴点の分布状態を特定し、特定した分布状態が所定の分布状態である場合、前記領域を画定した複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、特徴点が領域内に一様に分布している場合には、当該領域を画定した移動体モデルで表現された移動体を検出し、特徴点の分布が一様でない場合には、移動体として検出しない。また、特徴点の分布が車両前部（前面）に偏っている場合、あるいは車両後部（後面）に偏っている場合には、移動体モデルで表された移動体を検出する。３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の分布状態だけで車両を容易に検出することができる。
【００２５】
第７発明にあっては、複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶しておく。画像パターンは、例えば、二値化画像を用いることができ、ヘッドランプ又はテールランプなどに対応する部分は高輝度であり、その他の部分は低輝度となるような画像パターンを、大型車、普通車、二輪車などの車種毎に予め用意する。投影した複数の座標点により画定される撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、画像パターン内の各画素の画素値との類似度を算出し、算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出する。所定の条件は、例えば、類似度が最も大きい場合、類似度が所定の閾値より大きい場合などである。これにより、例えば、夜間などに撮像して得られた撮像画像におけるヘッドランプ又はテールランプの位置、数などのパターンと最も類似する画像パターンを選択して、大型車、普通車、二輪車などの車種を検出することができる。
【発明の効果】
【００２６】
本発明によれば、移動体の３次元情報が考慮されるので、高い精度で移動体を検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施の形態の移動体検出装置の構成の一例を示すブロック図である。
【図２】撮像画像の一例を示す説明図である。
【図３】撮像装置で撮像する道路の様子を示す模式図である。
【図４】撮像画像の一部を示す説明図である。
【図５】注目画素を含む周辺画素の輝度値の一例を示す説明図である。
【図６】注目画素の周辺増分符号の算出例を示す説明図である。
【図７】注目画素の周辺増分符号を模式的に表した説明図である。
【図８】マスク処理の一例を示す説明図である。
【図９】候補点の特定方法の一例を示す説明図である。
【図１０】撮像画像で特定された候補点の一例を示す説明図である。
【図１１】３次元モデルの配置例を示す説明図である。
【図１２】３次元モデルの一例を示す説明図である。
【図１３】判定領域の一例を示す説明図である。
【図１４】判定領域の他の例を示す説明図である。
【図１５】テンプレート画像を用いた車種判定の一例を示す説明図である。
【図１６】本実施の形態の移動体検出装置の処理手順を示すフローチャートである。
【図１７】本実施の形態の移動体検出装置による特徴点の分布状態に基づく移動体の検出方法の一例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体検出装置１００の構成の一例を示すブロック図である。移動体検出装置１００には、撮像装置２００を接続してある。なお、撮像装置２００は、複数備える構成でもよい。移動体検出装置１００は、装置全体を制御する制御部１０１、インタフェース部１０２、特徴点抽出部１０３、候補点特定部１０４、透視投影変換部１０５、３次元モデル配置部１０６、移動体検出部１０７、画素計数部１０８、類似度算出部１０９、記憶部１１０などを備える。なお、移動体検出装置１００は、撮像装置２００と一体をなす構成であってもよい。
【００２９】
撮像装置２００は、例えば、ビデオカメラ又はカメラであり、道路を視野として、所定の高さ、レンズの光軸方向（例えば、俯角及び回転角）などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。撮像装置２００は、撮像して得られた撮像データを映像信号（アナログ信号）としてインタフェース部１０２へ送出する。
【００３０】
インタフェース部１０２は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を撮像画像（入力画像データ）として記憶部１１０に記憶する。インタフェース部１０２を介して撮像装置２００から入力された撮像画像は、撮像装置２００のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位の画像データとして記憶部１１０に記憶される。
【００３１】
図２は撮像画像の一例を示す説明図である。図２の例では、撮像装置２００を道路の路肩近傍から所要の高さに設けてあり、道路を走行する車両の左前方から車両を撮像する。なお、撮像装置２００の設置個所は、図２の例に限定されるものではなく、また、道路を走行する車両の右前方から車両を撮像してもよく、あるいは車両の進行方向前方から撮像することもできる。また、撮像画像の右下を原点として撮像画像の座標を座標（ｕ、ｖ）で表す。また、撮像画像の大きさ（サイズ）は、例えば、２４０×３２０画素であるが、撮像画像の大きさはこれに限定されるものではない。
【００３２】
図３は撮像装置２００で撮像する道路の様子を示す模式図である。図３に示すように、道路空間（実空間、３次元空間とも称する）の座標をワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）で表現する。図３の例では、道路の幅方向をＸ軸、道路方向をＹ軸、高さ方向をＺ軸としている。道路平面は、Ｘ軸及びＹ軸で表すことができる。
【００３３】
次に、透視投影変換行列による画像変換について説明する。図２に示すような撮像画像の座標を（ｕ、ｖ）とし、その行列を式（１）のようにＭで表す。
【００３４】
【数１】
【００３５】
また、図３に示すようなワールド座標を（Ｘｗ、Ｙｗ、Ｚｗ）とし、その行列を式（２）のようにＷで表す。透視投影変換行列をＰとすると、式（３）のようにＭ＝Ｐ・Ｗの関係を有する。すなわち、ワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）から透視投影変換行列Ｐを用いて撮像画像（ｕ、ｖ）を求めることができ、逆に撮像画像（ｕ、ｖ）からワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）を求めることもできる。ここで、透視投影変換行列Ｐは、式（４）で示すように、（３×３）の行列であり、透視投影変換行列Ｐの各要素は、ビデオカメラ（撮像装置）の設置高さ、ビデオカメラの張り出し長、ビデオカメラ下から車両の検出（計測）領域の位置（距離）などを計測することにより算出することができる。
【００３６】
特徴点抽出部１０３は、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する抽出手段としての機能を有する。特徴点は、撮像画像上で車両（移動体）の候補となり得る画素（又は画素領域）であり、周辺増分符号による処理、あるいはエッジ処理等により抽出することができる。以下では、周辺増分符号による処理について説明するが、撮像画像をエッジ処理して得られたエッジ画像上の画素を特徴点としてもよい。
【００３７】
図４は撮像画像の一部を示す説明図であり、図５は注目画素を含む周辺画素の輝度値の一例を示す説明図であり、図６は注目画素の周辺増分符号の算出例を示す説明図であり、図７は注目画素の周辺増分符号を模式的に表した説明図である。図４は、図２に示す撮像画像の一部を取り出したものである。図中、斜線部は路面であり、白抜きの部分は路面に描かれた図柄の一部である。また、図４中の中央の画素を注目画素とする。
【００３８】
図５は、注目画素とその周辺画素の輝度値を示す。図５の例では、周辺画素は、注目画素に隣接する８画素（注目画素を中心とする３×３画素から注目画素を除いた画素）である。輝度値は、例えば、０から２５５までの数値で表すことができ、数値が大きいほど輝度が高い。図５の例では、注目画素の輝度値が１４０であり、その周辺画素の輝度値は、右隣接画素から反時計周りの順に、２１７、２１６、１１０、１３４、１２９、１３０、１１９、２１１である。なお、輝度値は一例であって、これに限定されるものではない。
【００３９】
周辺増分符号の算出は、注目画素の輝度値と、注目画素の８近傍の周辺画素の輝度値とを比較し、それぞれの周辺画素の輝度値ａが、注目画素の輝度値ｗとの間で、ｗ＋α＜ａであれば、その周辺画素の位置に対応する符号成分を１（有効）とする。また、ｗ＋α≧ａであれば、その周辺画素の位置に対応する符号成分を０（無効）とする。ここで、αは差分閾値であって適宜設定することができ、例えば、α＝２０とすることができる。
【００４０】
上述の算出方法に従った場合、図５の例で示す注目画素の周辺増分符号は、図６に示すようになる。すなわち、注目画素の８近傍の周辺画素を右隣接画素から反時計周りの順に、Ａ１、Ａ２、…Ａ８とする。図５及び図６から、周辺画素Ａ１の輝度値ａは２１７であり、注目画素ｗの輝度値は１４０であるから、ｗ＋α＜ａの関係を満たす。従って、周辺画素Ａ１に対応する符号成分は１（有効）となる。同様にして他の周辺画素の符号成分を求めると、注目画素の周辺増分符号（Ａ８ Ａ７ …Ａ１）は、（１１０００００１）となり、８ビットの情報を用いて符号化したものとなる。８ビットの二進符号を１０進符号に変換することで、周辺増分符号は、１９３として表すこともできる。
【００４１】
図６に示すように、８近傍の周辺画素のうち、右隣の周辺画素Ａ１と、右上及び右下の周辺画素Ａ８の符号成分が１（有効）であるので、これを模式的に表すと、図７のようになる。すなわち、周辺増分符号を、注目画素を中心として、符号成分が有効である周辺画素の方向に放射状に伸びた線分で表すこともできる。このようにして、撮像画像上の注目画素を順番に走査することで、撮像画像上のすべての画素を符号化することができる。
【００４２】
上述のように、撮像画像差分符号としての周辺増分符号は、注目画素とその周辺の各周辺画素との差分（輝度値の差分）の大小に応じた有効又は無効を示す符号成分を有する。そして、差分の符号化は、周辺画素のそれぞれに対応させて、差分（ａ−ｗ）が所定の差分閾値αより大きい場合には、有効（例えば、１）、差分（ａ−ｗ）が差分閾値α以下の場合には、無効（例えば、０）というようにすることができる。なお、上述の例では、差分（ａ−ｗ）を増分として符号化したものであるが、これに限定されるものではなく、差分（ｗ−ａ）を減分として符号化することもできる。
【００４３】
記憶部１１０は、背景画像差分符号としてのマスク符号を記憶している。マスク符号は、周辺増分符号と同様の方法で生成することができる。すなわち、マスク符号は、車両が存在しないときに撮像された背景画像の任意の画素毎に、当該任意の画素とその周辺の周辺画素との画素値の差分を符号化したものである。そして、マスク符号は、周辺増分符号と同様に、任意の画素と各周辺画素との差分の大小に応じた有効又は無効を示す符号成分を有する。
【００４４】
特徴点抽出部１０３は、注目画素の周辺増分符号（撮像画像周辺差分符号）を、当該注目画素に対応する背景画像上の画素のマスク符号（背景画像周辺差分符号）でマスク処理する。例えば、画像上の注目画素とその周辺画素との画素値の差分を符号化した周辺増分符号を予め背景画像などから得られたマスク符号でマスク処理して得られた画像上の画素（マスク処理で残った画素）を特徴点とすることができる。以下、マスク処理の方法について説明する。
【００４５】
図８はマスク処理の一例を示す説明図である。図８Ａは撮像画像の周辺増分符号の一例を示し、図８Ｂは背景画像（マスク符号画像）のマスク符号の一例を示し、図８Ｃはマスク処理後画像の周辺増分符号を示す。また、図中、各画素に記載された放射状の線分は、図７で例示した周辺増分符号を模式化したものである。図８の例では、撮像画像の注目画素の周辺増分符号の有効成分と、当該注目画素に対応する背景画像上の画素のマスク符号の有効成分とがすべて同一である場合（完全一致に相当する）、当該有効成分をすべて除去して、入力画像の各注目画素の周辺増分符号をマスク処理する。例えば、８個の符号成分を（Ａ８、Ａ７、…Ａ１）とした場合に、周辺増分符号の有効成分をＡ４、Ａ３、Ａ２、Ａ１とし、マスク符号の有効成分をＡ４、Ａ３、Ａ２としたときには、両者の有効成分がすべて一致しないので、周辺増分符号は除去されず、マスク処理を行った後のマスク処理後撮像画像周辺差分符号の有効成分は、Ａ４、Ａ３、Ａ２、Ａ１すべてが残る。これにより、撮像画像の特徴量である周辺増分符号が除去されにくくなり、マスク処理後の移動体の特徴量を残すことができ、精度良く特徴点を抽出することができる。
【００４６】
候補点特定部１０４は、特徴点抽出部１０３で抽出した特徴点から車両（移動体）の所定部位の候補点を１又は複数特定する候補点特定手段としての機能を有する。所定部位とは、例えば、車両の車頭又は車尾などである。
【００４７】
図９は候補点の特定方法の一例を示す説明図である。図９の左側の図はマスク処理後の撮像画像（特徴点を示す特徴点画像）を示し、符号×で示す点は特徴点である。なお、特徴点は模式的に例示したものであり、図９の例に限定されるものでない。また、符号Ｌｉ、Ｌｊ、Ｌｋは、特徴点の数を水平方向（水平ライン）毎に計数する際の水平ラインを示す。
【００４８】
候補点の特定は、例えば、撮像画像（マスク処理後画像）を水平方向（水平ライン）に走査して特徴点を１ライン毎に計数し、１ライン上の特徴点の数が所定の閾値より大きい場合に、当該ライン上の１又は複数の特徴点を候補点（複数の候補点も含む）として特定する。
【００４９】
例えば、図９の右側の図は、特徴点プロファイルを示し、水平ライン毎に特徴点の数を計数した結果を示す。図９に示すように、水平ラインＬｉ、Ｌｊ、Ｌｋの内で、水平ラインＬｊ、Ｌｋ上で計数された特徴点の数が閾値より大きいので、水平ラインＬｊ、Ｌｋ上の特徴点で構成される水平方向の線分の中央位置を候補点として特定する。すなわち、特徴点が、車両の車頭又は車尾の中央位置に対応する。
【００５０】
図１０は撮像画像で特定された候補点の一例を示す説明図である。図１０では、候補点として、候補点Ｃ１、Ｃ２を例示している。候補点Ｃ１は撮像画像上で座標（ｕ１、ｖ１）を有し、図９で例示した水平ラインＬｊ上の複数の特徴点で構成される線分の中央位置の点である。また、候補点Ｃ２は撮像画像上で座標（ｕ２、ｖ２）を有し、図９で例示した水平ラインＬｋ上の複数の特徴点で構成される線分の中央位置の点である。
【００５１】
透視投影変換部１０５は、候補点特定部１０４で特定した候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する逆投影手段としての機能を有する。前述のように、撮像画像の座標を（ｕ、ｖ）とし、その行列をＭで表す。また、ワールド座標（道路空間座標、３次元空間座標、実空間座標とも称する）を（Ｘｗ、Ｙｗ、Ｚｗ）とし、その行列をＷで表す。透視投影変換行列をＰとすると、Ｍ＝Ｐ・Ｗの関係を有する。そして、撮像画像（特徴点画像）上の候補点Ｃ（ｕ、ｖ）は、ワールド座標の候補点Ｃ（Ｘｗ、Ｙｗ、Ｚｗ）に逆投影される。これにより、撮像画像上の候補点である車頭又は車尾（中央位置）が３次元座標空間（ワールド座標）へ逆投影される。
【００５２】
３次元モデル配置部１０６は、３次元座標空間での車両（移動体）を表現すべく複数の座標点を含む移動体モデルの所定部位を、透視投影変換部１０５で逆投影した候補点に整合させて移動体モデルを３次元座標空間に配置する配置手段としての機能を有する。
【００５３】
移動体モデル（３次元モデルとも称する）は、３次元座標空間での車両（移動体）を表現すべく複数の座標点を含む。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で移動体モデルを表現することができる。また、移動体モデルの所定部位は、車頭又は車尾（中央位置）である。
【００５４】
また、移動体モデルは、例えば、車両の種類（例えば、車種、大きさなど）に応じて複数記憶部１１０に記憶しておき、それぞれの移動体モデルを同じ候補点に対して配置することができる。
【００５５】
図１１は３次元モデルの配置例を示す説明図である。上述のように、３次元モデルを８つの頂点で構成される（囲まれる）直方体とする。図１１に示すように、ワールド座標での候補点Ｃ１（Ｘｗ１、Ｙｗ１、Ｚｗ１）に３次元モデルＭの車頭又は車尾が一致するように（整合させて）、３次元モデルＭを配置する。同様に、ワールド座標での候補点Ｃ２（Ｘｗ２、Ｙｗ２、Ｚｗ２）に３次元モデルＭの車頭又は車尾が一致するように（整合させて）、３次元モデルＭを配置する。すなわち、それぞれの候補点に対して、同一の３次元モデルを配置する。なお、図１１の例では、簡略化のため、１つの３次元モデルＭのみを表示しているが、複数の３次元モデルがある場合には、それぞれの３次元モデルを同様にして配置する。
【００５６】
図１２は３次元モデルの一例を示す説明図である。図１２の例では、３次元モデルを車両の車種に応じて、例えば、大型車、普通車、二輪車などのように車種に分けて予め記憶しておくことができる。なお、３次元モデルの種類は、図１２の例に限定されるものではなく、軽自動車、特大車、中型車、特殊車両など、さらにモデルを増やすこともできる。
【００５７】
上述のように、２次元の撮像画像上の車頭又は車尾を一旦３次元空間に逆投影し、逆投影した車頭又は車尾に車両の３次元モデルの車頭又は車尾を当てはめ（整合させて配置し）、車頭又は車尾を基準とした車両の候補となる領域を３次元的アプローチで特定する。
【００５８】
透視投影変換部１０５は、３次元モデル配置部１０６で配置した３次元モデルの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する投影手段としての機能を有する。すなわち、透視投影変換部１０５は、ワールド座標内（３次元空間内）に配置された３次元モデルの複数の座標点（例えば、直方体の８つの頂点）を、透視投影変換行列を用いて撮像画像に投影する。これにより、３次元的アプローチで特定した車両の候補となる領域を撮像画像上で画定することができる。
【００５９】
移動体検出部１０７は、撮像画像へ投影された３次元モデルの複数の座標点（例えば、直方体の８つの頂点）により画定される領域（以下、判定領域とも称する）内に含まれる特徴点の数に基づいて、車両（移動体）を検出する検出手段としての機能を有する。
【００６０】
移動体検出部１０７は、判定領域内に含まれる特徴点の数が多い場合（所定の閾値より大きい場合）には、判定領域内の特徴点群（特徴点の集合）を車両として検出する。なお、判定領域内に含まれる特徴点の数が少ない場合（所定の閾値より小さい場合）には、車両なしと判定する。
【００６１】
上述のように、車両の所定部位を一旦３次元空間座標へ逆投影し、逆投影した所定部位を基準として移動体モデル（３次元モデル）を配置して、３次元情報を加味して車両の候補となる領域を特定し、特定した領域を再度２次元の撮像画像へ投影し、投影した領域（判定領域）内の特徴点の数を用いて車両を検出するので、単に２次元の撮像画像で得られた特徴点から車両を検出する場合に比べて、移動体の３次元情報が考慮されるので、従来に比べて高い精度で車両を検出することができる。
【００６２】
また、上述のように、大型車、普通車、二輪車などのように車種に分けて車両の３次元モデルを予め記憶しておく。投影した候補点に整合させて、複数の３次元モデルそれぞれを配置する。そして、配置した複数の３次元モデルそれぞれの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する。これにより、任意の１つの候補点に対して、例えば、車種毎に移動体の候補となる複数の領域を撮像画像上で画定することができる。投影した複数の座標点により画定される撮像画像上の複数の領域（判定領域）内に含まれる特徴点の数に基づいて、複数の３次元モデルのうちの一の３次元モデルで表現された車両の車種を検出する。例えば、判定領域内に含まれる特徴点の数が最も多い（最も大きい）３次元モデルに対応する車種を、検出した車両の車種とする。予め車種毎に定められた複数の３次元モデルそれぞれを当てはめて（配置して）、最も特徴点が多い３次元モデルを選択することができるので、２次元の撮像画像上で得られた車両領域の長さ又は高さなどから車種を判定する従来の手法のようにノイズ又は路面模様などの影響を受けることがなく、高い精度で車種を検出することができる。
【００６３】
図１３は判定領域の一例を示す説明図である。判定領域は、３次元モデルの複数の座標で画定される領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。図１３の例は、３次元座標に逆投影された候補点Ｃ１（Ｘｗ１、Ｙｗ１、Ｚｗ１）に３次元モデルを配置し、透視投影変換行列を用いて３次元モデルを撮像画像へ投影した結果得られた判定領域Ｓａを示す。
【００６４】
判定領域Ｓａは、車両前部又は車両後部に対応する領域である。すなわち、判定領域Ｓａは、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で３次元モデルを表現する場合、車両の幅及び高さに対応する寸法で構成される長方形状又は正方形状の車両前部又は車両後部に対応する領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。
【００６５】
一般的に車両としての特徴部分が車両前部（前面）又は車両後部（後面）に現れるので、車両前部又は車両後部に対応する領域内に含まれる特徴点の数を考慮することにより、精度良く車両を検出することができる。また、特徴が最も表れやすい車両前部又は車両後部に対応する領域を用いることにより、候補となり得るもの（必要な移動体モデル）を見つけることができ、車両を漏れなく検出することができる。
【００６６】
図１４は判定領域の他の例を示す説明図である。図１４の例は、３次元座標に逆投影された候補点Ｃ１（Ｘｗ１、Ｙｗ１、Ｚｗ１）に３次元モデルを配置し、透視投影変換行列を用いて３次元モデルを撮像画像へ投影した結果得られた判定領域Ｓｂを示す。
【００６７】
判定領域Ｓｂは、車両全体に対応する領域である。すなわち、判定領域Ｓｂは、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で３次元モデルを表現する場合、８つの頂点を含む最大の領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。車両の候補となる領域の最大の領域を用いることにより、複数の移動体モデルの中で、候補となり得ないもの（不要な移動体モデル）を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
【００６８】
画素計数部１０８は、判定領域内の画素数に対する当該判定領域内に含まれる特徴点の数の割合を算出する割合算出手段としての機能を有する。
【００６９】
移動体検出部１０７は、画素計数部１０８で算出した割合が所定の閾値より大きい場合、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。また、３次元モデルが複数ある場合には、それぞれの３次元モデルに対応する判定領域内の特徴点の割合が最も大きい３次元モデルを一つ選択し、選択した３次元モデルで表現された車両を検出することができる。３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の数の割合の大小だけで車両を容易に検出することができる。
【００７０】
撮像画像から適宜の特徴量に基づいて２次元の撮像画像上で車両候補の領域を特定して車種を決定する場合には、撮像画像上のノイズ又は路面模様などにより車両候補の領域を正確に特定することができない場合もある。しかし、上述のように、本実施の形態では、予め車両の車種に応じた３次元モデルを用意しておき、複数の３次元モデルを３次元空間内の候補点に整合させて配置し、配置した３次元モデルで画定された領域を撮像画像へ投影して得られた判定領域内の特徴点の数に基づいて、車両、車種を検出するので、正確な車両の領域、車種を検出することができる。
【００７１】
次に、夜間などに車種を判定する方法について説明する。図１５はテンプレート画像を用いた車種判定の一例を示す説明図である。類似度算出部１０９は、図１５に示すように、例えば、車両前部又は車両後部に対応する判定領域Ｓａを、長方形状の画像に変換し、変換した長方形画像の各画素の画素値と、テンプレート画像の各画素の画素値との類似度を算出する。類似度を算出する際の画素値は、例えば、画素の輝度値でもよく、ＲＧＢの各値でもよく、特徴点を用いてもよい。
【００７２】
画像パターンは、例えば、二値化画像を用いることができ、ヘッドランプ又はテールランプなどに対応する部分は高輝度であり、その他の部分は低輝度となるような画像パターンを、大型車、普通車、二輪車などの車種毎に予め用意する。
【００７３】
判定領域Ｓａに路面反射がある場合とヘッドライトがある場合とでは、判定領域Ｓａに出現するパターンが異なる。例えば、ヘッドライトの場合では、判定領域Ｓａ内に輝度の高い部分と暗い部分が両方存在し、上側が暗、下側が明というパターンとなる。また、ヘッドライトの場合では、判定領域Ｓａ内の左側及び右側に輝度が高い部分があるパターンとなる。撮像画像とテンプレート画像との相関値の和が最大のものが、一定閾値を超えた場合、ヘッドライトと認識することができ、車両を検出することができる。
【００７４】
移動体検出部１０７は、類似度算出部１０９で算出した類似度が最も高い画像パターンに対応する車種を移動体の車種として検出する。これにより、例えば、夜間などに撮像して得られた撮像画像におけるヘッドランプ又はテールランプの位置、数などのパターンと最も類似する画像パターンを選択して、大型車、普通車、二輪車などの車種を検出することができる。
【００７５】
上述の実施の形態では、候補点を１つの画素の点としたが、これに限定されるものではなく、当該候補点を含む周辺の複数の画素で構成される候補領域としてもよい。また、特定する候補点の数は、適宜決めればよいが、例えば、１つの撮像画像に対して、１０個程度に特定することができる。
【００７６】
次に、本実施の形態の移動体検出装置１００の動作について説明する。図１６は本実施の形態の移動体検出装置１００の処理手順を示すフローチャートである。制御部１０１は、撮像画像を取得し（Ｓ１１）、撮像画像から特徴点を抽出し（Ｓ１２）、抽出した特徴点を水平ライン毎に計数することにより、車頭又は車尾の候補点を特定する（Ｓ１３）。
【００７７】
制御部１０１は、２次元画像上の候補点を、透視投影変換行列を用いて道路空間座標の道路平面へ逆投影する（Ｓ１４）。
【００７８】
制御部１０１は、逆投影した候補点に３次元モデルの車頭又は車尾を整合させて、３次元モデルを道路区間座標に配置する（Ｓ１５）。
【００７９】
制御部１０１は、透視投影変換行列を用いて配置した３次元モデルを撮像画像座標へ投影し（Ｓ１６）、投影した３次元モデルから判定領域を特定する（Ｓ１７）。これにより、３次元モデルで画定される領域が、撮像画像上の判定領域として投影される。
【００８０】
制御部１０１は、判定領域内の特徴点を計数し（Ｓ１８）、判定領域内の全画素に対する特徴点の数の割合が閾値より大きいか否かを判定する（Ｓ１９）。割合が閾値より大きい場合（Ｓ１９でＹＥＳ）、制御部１０１は、判定領域内の特徴点群を車両として検出し（Ｓ２０）、該当の３次元モデル（割合が閾値より大きい判定領域が特定された３次元モデル）から車種を特定（Ｓ２１）、処理を終了する。割合が閾値より小さい場合（Ｓ１９でＮＯ）、制御部１０１は、処理を終了する。
【００８１】
移動体検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１６に示すような、各処理手順を定めたコンピュータプログラムをＤＶＤなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で移動体検出装置１００を実現することができる。
【００８２】
本実施の形態において、判定領域内の特徴点の割合が閾値よりも大きい判定領域が複数存在する場合、判定領域に対応する候補点の位置が、例えば、車線間の中央にあるか、撮像画像上の端にあるかで、取捨選択してもよい。すなわち、車線間の中央にある場合には、当該判定領域内の特徴点群を車両として検出し、撮像画像上の端にある場合には、車両として検出しないようにすることもできる。
【００８３】
上述の実施の形態では、判定領域内の特徴点の割合が閾値よりも大きいか否かを判定して移動体（車両）を検出する構成であったが、特徴点の数の割合を判定する構成に限定されるものではなく、例えば、判定領域内の特徴点の分布状態を特定し、特定した分布状態が所定の分布状態であるか否かを判定して移動体（車両）を検出することもできる。以下、判定領域内の特徴点の分布による移動体の検出方法について説明する。
【００８４】
図１７は本実施の形態の移動体検出装置１００による特徴点の分布状態に基づく移動体の検出方法の一例を示す説明図である。図１７で例示する領域は、図１４で例示した判定領域Ｓｂである。なお、図１７では、簡便化のため判定領域Ｓｂを回転させた状態で図示している。前述のように、判定領域Ｓｂは、車両全体に対応する領域である。すなわち、判定領域Ｓｂは、車両の長さ、幅及び高さに対応する寸法で構成される直方体（３次元モデル）の８つの頂点の座標点で３次元モデルを表現する場合、８つの頂点を含む最大の領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。
【００８５】
図１７Ａに示すように、判定領域Ｓｂを複数の画素ブロックΔＳｂに分割する。図１７の例では、画素ブロックを車両の長さ、幅及び高さ方向に沿った線分で分割しているが、判定領域Ｓｂの画素ブロックの分割方法は、図１７の例に限定されるものではなく、例えば、縦横の平行な線分により格子状に分割してもよい。なお、それぞれの画素ブロックΔＳｂの大きさは、同一でもよく、あるいは判定領域Ｓｂ内の位置に応じて、大きさを変えてもよい。
【００８６】
画素計数部１０８は、判定領域Ｓｂ内の特徴点の分布状態を特定する分布状態特定手段としての機能を有する。すなわち、画素計数部１０８は、各画素ブロックΔＳｂ内の特徴点の数を計数する。そして、画素計数部１０８は、画素ブロックΔＳｂ内の特徴点の数が所定の閾値以上である場合、当該画素ブロックΔＳｂを特徴ブロックとして特定する。
【００８７】
移動体検出部１０７は、判定領域内の特徴点の分布状態が所定の分布状態である場合、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。
【００８８】
より具体的には、車両を前方から撮像した撮像画像を用いる場合において、図１７Ｂに示すように、特徴ブロック（図１７Ｂにおいて、点を付した画素ブロック）が、車頭部に偏っており、車頭部以外の領域での特徴ブロックの分布状態が少ない場合には、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より小さく、かつ重心座標が車頭（車頭部）に近い場合には、当該判定領域を画定した３次元モデルで表現された車両を検出する。
【００８９】
逆に、車両を前方から撮像した撮像画像を用いる場合において、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車尾側（車尾部側）に偏っている場合には、車両を検出しない。
【００９０】
同様に、車両を後方から撮像した撮像画像を用いる場合において、特徴ブロックが、車尾部に偏っており、車尾部以外の領域での特徴ブロックの分布状態が少ない場合には、当該判定領域を画定した複数の座標点を含む３次元モデルで表現された車両を検出する。別言すれば、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車尾（車尾部）に近い場合には、当該判定領域を画定した３次元モデルで表現された車両を検出する。逆に、車両を後方から撮像した撮像画像を用いる場合において、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車頭側（車頭部側）に偏っている場合には、車両を検出しない。
【００９１】
また、図１７Ｃに示すように、特徴ブロック（点を付した画素ブロック）が、判定領域Ｓｂ内で一様に分布している場合、別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より大きい場合、当該判定領域を画定した３次元モデルで表現された車両を検出する。
【００９２】
逆に、特徴ブロック（点を付した画素ブロック）が、判定領域Ｓｂ内での分布が一様でない場合、別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より小さい場合、車両を検出しない。なお、特徴ブロックの重心座標の分散が所定の分散閾値より小さい場合であっても、上述の図１７Ｂの例のような場合には、車両を検出することができる。
【００９３】
上述のように、３次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の分布状態だけで車両を容易に検出することができる。また、複数の移動体モデルの中で、候補となり得ないもの（不要な移動体モデル）を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
【００９４】
以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。
【符号の説明】
【００９５】
２００ 撮像装置
１０１ 制御部
１０２ インタフェース部
１０３ 特徴点抽出部
１０４ 候補点特定部
１０５ 透視投影変換部
１０６ ３次元モデル配置部
１０７ 移動体検出部
１０８ 画素計数部
１０９ 類似度算出部
１１０ 記憶部
【特許請求の範囲】
【請求項１】
車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置において、
前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出する抽出手段と、
該抽出手段で抽出した特徴点から移動体の所定部位の候補点を１又は複数特定する特定手段と、
該特定手段で特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する逆投影手段と、
前記３次元座標空間での移動体を表す移動体モデルの所定部位を前記逆投影手段で逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置する配置手段と、
該配置手段で配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影する投影手段と、
該投影手段で投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出する検出手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
車両の車種に応じて複数の移動体モデルを記憶する記憶手段を備え、
前記配置手段は、
前記投影手段で投影した候補点に整合させて、前記記憶手段に記憶した複数の移動体モデルを配置するようにしてあり、
前記投影手段は、
前記複数の移動体モデルそれぞれを、前記透視投影変換行列を用いて前記撮像画像に投影するようにしてあり、
前記検出手段は、
前記投影手段で投影した前記複数の移動体モデルそれぞれにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表された移動体の車種を検出するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記検出手段は、
前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
前記検出手段は、
前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の最大の領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項５】
前記領域内の画素数に対する該領域内に含まれる前記特徴点の数の割合を算出する割合算出手段を備え、
前記検出手段は、
前記割合算出手段で算出した割合が所定の閾値より大きい場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体検出装置。
【請求項６】
前記領域内に含まれる前記特徴点の分布状態を特定する分布状態特定手段を備え、
前記検出手段は、
前記分布状態特定手段で特定した分布状態が所定の分布状態である場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体検出装置。
【請求項７】
複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶する記憶手段と、
前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、前記画像パターン内の各画素の画素値との類似度を算出する類似度算出手段を備え、
前記検出手段は、
前記類似度算出手段で算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出するように構成してあることを特徴とする請求項１乃至請求項６のいずれか１項に記載の移動体検出装置。
【請求項８】
コンピュータに、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出させるためのコンピュータプログラムにおいて、
コンピュータに、
前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、
抽出した特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、
特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、
前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、
配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、
投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項９】
車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置による移動体検出方法において、
前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、
抽出された特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、
特定された１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、
前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、
配置された１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、
投影された１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップと
を含むことを特徴とする移動体検出方法。
【請求項１】
車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置において、
前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出する抽出手段と、
該抽出手段で抽出した特徴点から移動体の所定部位の候補点を１又は複数特定する特定手段と、
該特定手段で特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影する逆投影手段と、
前記３次元座標空間での移動体を表す移動体モデルの所定部位を前記逆投影手段で逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置する配置手段と、
該配置手段で配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影する投影手段と、
該投影手段で投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出する検出手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
車両の車種に応じて複数の移動体モデルを記憶する記憶手段を備え、
前記配置手段は、
前記投影手段で投影した候補点に整合させて、前記記憶手段に記憶した複数の移動体モデルを配置するようにしてあり、
前記投影手段は、
前記複数の移動体モデルそれぞれを、前記透視投影変換行列を用いて前記撮像画像に投影するようにしてあり、
前記検出手段は、
前記投影手段で投影した前記複数の移動体モデルそれぞれにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表された移動体の車種を検出するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記検出手段は、
前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
前記検出手段は、
前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の最大の領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項５】
前記領域内の画素数に対する該領域内に含まれる前記特徴点の数の割合を算出する割合算出手段を備え、
前記検出手段は、
前記割合算出手段で算出した割合が所定の閾値より大きい場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体検出装置。
【請求項６】
前記領域内に含まれる前記特徴点の分布状態を特定する分布状態特定手段を備え、
前記検出手段は、
前記分布状態特定手段で特定した分布状態が所定の分布状態である場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体検出装置。
【請求項７】
複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶する記憶手段と、
前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、前記画像パターン内の各画素の画素値との類似度を算出する類似度算出手段を備え、
前記検出手段は、
前記類似度算出手段で算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出するように構成してあることを特徴とする請求項１乃至請求項６のいずれか１項に記載の移動体検出装置。
【請求項８】
コンピュータに、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出させるためのコンピュータプログラムにおいて、
コンピュータに、
前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、
抽出した特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、
特定した１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、
前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、
配置した１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、
投影した１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項９】
車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置による移動体検出方法において、
前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、
抽出された特徴点から移動体の所定部位の候補点を１又は複数特定するステップと、
特定された１又は複数の候補点を、透視投影変換行列を用いて３次元座標空間に逆投影するステップと、
前記３次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した１又は複数の候補点それぞれに整合させて１又は複数の移動体モデルを前記３次元座標空間に配置するステップと、
配置された１又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、
投影された１又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップと
を含むことを特徴とする移動体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−８９１２９（Ｐ２０１３−８９１２９Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３０９７９（Ｐ２０１１−２３０９７９）
【出願日】平成２３年１０月２０日（２０１１．１０．２０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２３年７月２９日に、住友電気工業株式会社発行の「ＳＥＩテクニカルレビュー第１７９号」にて発表
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月２０日（２０１１．１０．２０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２３年７月２９日に、住友電気工業株式会社発行の「ＳＥＩテクニカルレビュー第１７９号」にて発表
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]