移動体検出装置、コンピュータプログラム及び移動体検出方法
【課題】路面の影又は反射を除去して広い範囲を移動する移動体を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供する。
【解決手段】ＣＰＵ２８は、ビデオカメラ１、１で撮像された第１の撮像画像における特徴点と、この特徴点に対して相関値が最大となる第２の撮像画像における相関点とを特定し、特定された特徴点及び相関点の座標に基づいて、車両の実空間上の点の三次元座標を算出する。ＣＰＵ２８は、算出した三次元座標の高さが所定の閾値以上である実空間上の点を抽出し、抽出した実空間上の点に対応する特徴点（又は相関点）で構成される領域を車両領域として検出する。
【解決手段】ＣＰＵ２８は、ビデオカメラ１、１で撮像された第１の撮像画像における特徴点と、この特徴点に対して相関値が最大となる第２の撮像画像における相関点とを特定し、特定された特徴点及び相関点の座標に基づいて、車両の実空間上の点の三次元座標を算出する。ＣＰＵ２８は、算出した三次元座標の高さが所定の閾値以上である実空間上の点を抽出し、抽出した実空間上の点に対応する特徴点（又は相関点）で構成される領域を車両領域として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を含む撮像領域を撮像して得られた撮像画像に基づいて、移動体を検出する移動体検出装置、該移動体検出装置を実現するコンピュータプログラム、及び移動体検出定方法に関する。
【背景技術】
【０００２】
交差点内における車両同士の衝突又は追突などの交通事故、又は横断歩道を歩行している歩行者と車両との接触事故などは増加傾向にあり、抜本的な交通安全対策が求められている。
【０００３】
道路交通環境の改善を目的とした道路交通システムは、交通関連情報の提供や交通流を最適化するものなど、様々な分野で利用されつつあり、例えば、交通流センサとして、超音波又はループコイルを用いた計測装置が普及しており、この計測装置は、設置された地点を通過する車両の台数を計測する。しかし、この計測装置で交差点のような広範囲の交通流を計測するためには、多数の計測装置を設置する必要があり、莫大な費用を要するため現実的ではなかった。
【０００４】
近年、交差点内の交通流を計測するため、ビデオカメラで撮像した撮像画像を処理して車両の流れを計測する計測装置が提案されている。しかし、ビデオカメラに設けられたレンズの視野角は略１００度程度であるため、広範囲に計測することができず、交差点の全域を計測するためには、複数のビデオカメラを設置する必要があった。例えば、交差点の２隅にビデオカメラを設けるための支柱を設置する必要があり、費用面で不利であった。
【０００５】
また、１つのビデオカメラで撮像した場合、撮像画像面での二次元処理により車両を検出するため、車両の高さ情報が得られず、時間差分又はエッジ検出などの古典的な画像処理方式では、車両同士が重なって撮像された場合に車両を分離して検出することが困難であり、正確に車両を検出することができなかった。また、路面の影、反射などを車両として誤検出する虞があった。
【０００６】
そこで、交差点に１つのビデオカメラを設置し、撮像された画像に基づいて車両オブジェクトを抽出してＩＤを付与し、各車両オブジェクトの移動ベクトルを検出し、各車両が交差点のどのエリアに属するかを決定し、車両オブジェクトを追跡するとともに、車両オブジェクトが分離した場合、リバース処理を行うことにより車両の追跡を正確にする交差点交通流計測装置が提案されている（特許文献１参照）。
【特許文献１】特開２００５−１９０１４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の装置にあっては、撮像された画像上で車両オブジェクト同士が抽出された後、車両オブジェクトを追跡する時間軸上のある時点で、一度は車両オブジェクト同士が分離されることが前提であり、車両オブジェクト同士が分離されない場合には、車両を分離することができないという問題があった。また、１つのビデオカメラを用いるため、路面の影、反射などを精度良く除去することができず、路面の影又は反射を車両として検出する虞があり精度良く車両を検出することが困難であった。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、前
記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、算出された高さが所定の閾値より高い実空間上の点を抽出し、抽出された実空間上の点に基づいて移動体を検出することにより、路面の影又は反射を除去して広い範囲を移動する移動体を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【０００９】
また、本発明の他の目的は、抽出された実空間上の点に対応する特徴点又は相関点の動きベクトルを算出し、算出された動きベクトルが略一致する特徴点又は相関点を特定し、該特徴点又は相関点に基づいて移動体を検出することにより、移動体が重なって撮像された場合でも、従来よりも容易に移動体を分離して精度良く移動体を検出することができる移動体検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
第１発明に係る移動体検出装置は、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する取得手段と、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する特定手段と、特定された特徴点に相関する相関点を前記第２の撮像画像で検索する検索手段と、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する算出手段と、算出された高さが所定の閾値より高い実空間上の点を抽出する抽出手段と、抽出された実空間上の点に基づいて移動体を検出する検出手段とを備えることを特徴とする。
【００１１】
第２発明に係る移動体検出装置は、第１発明において、前記抽出手段で抽出された実空間上の点に対応する特徴点又は相関点の動きベクトルを算出する手段と、算出された動きベクトルが略一致する特徴点又は相関点を特定する手段とを備え、前記検出手段は、前記特徴点又は相関点に基づいて移動体を検出するように構成してあることを特徴とする。
【００１２】
第３発明に係る移動体検出装置は、第１発明又は第２発明において、広角レンズを有する２つの撮像手段を備え、前記取得手段は、前記撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得するように構成してあることを特徴とする。
【００１３】
第４発明に係るコンピュータプログラムは、コンピュータに、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、コンピュータを、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する手段と、コンピュータを、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する手段と、コンピュータを、特定された特徴点に相関する相関点を前記第２の撮像画像で検索する手段と、コンピュータを、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する手段と、コンピュータを、算出された高さが所定の閾値より高い実空間上の点を抽出する手段と、コンピュータを、抽出された実空間上の点に基づいて移動体を検出する手段として機能させることを特徴とする。
【００１４】
第５発明に係る移動体検出方法は、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出方法において、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、算出された高さが所定の閾値より高い実空間上の点を抽出し、抽出された実空間上の点に基づいて移動体を検出することを特徴とする。
【００１５】
第１発明、第３発明、第４発明及び第５発明にあっては、取得した第１の撮像画像に基づいて、移動体候補の特徴点を特定する。例えば、移動体が車両である場合、車両の角部、車灯部などの車両の特徴部分をエッジ検出処理などにより特定する。特定された特徴点を含む画素ブロックと同じ大きさの画素ブロックを第２の撮像画像上を走査することにより、前記特徴点との相関度が大きい相関点を前記第２の撮像画像で検索する。検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、三角測量の原理により前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標（Ｘ、Ｙ、Ｚ）を算出する。算出された三次元座標のうち、高さ（Ｚ）が所定の閾値より高い実空間上の点を抽出する。これにより、移動体候補のうち路面上の影又は路面反射など高さが低いもの又は高さが略０の実空間上の点を除去する。高さが所定の閾値より高い実空間上の点を（Ｘ、Ｙ）座標上で特定し、特定された実空間上の点で構成される領域を、例えば、矩形状の枠で囲むことにより車両として検出する。これにより、路面の影又は反射を除去して広い範囲を移動する移動体を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる。
【００１６】
第２発明にあっては、高さ（Ｚ）が所定の閾値より高い実空間上の点に対応する特徴点又は相関点の動きベクトルを算出する。動きベクトルは、例えば、異なる撮像時点の撮像画像上で対応する特徴点同士又は対応する相関点同士の位置変化に基づき算出することができる。算出された動きベクトルが略一致（例えば、動きベクトルの大きさ、方向が略一致）する特徴点又は相関点を特定し、特定された特徴点又は相関点に基づいて移動体を検出する。例えば、２つの移動体が重なって撮像された場合であっても、移動体夫々の移動方向又は移動速度が異なるときには、夫々の移動体に対応する動きベクトルの大きさ又は方向が異なるため、動きベクトルの違いにより移動体を従来よりも容易に分離して検出することができる。
【発明の効果】
【００１７】
本発明にあっては、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、算出された高さが所定の閾値より高い実空間上の点を抽出し、抽出された実空間上の点に基づいて移動体を検出することにより、路面の影又は反射を除去して広い範囲を移動する移動体を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る移動体検出装置２の設置例を示す模式図である。図において、１、１は信号機３の支柱に固定された筐体等に内蔵されたビデオカメラである。ビデオカメラ１、１は、路上１０ｍ程度の位置に設けられ、交差点内及び交差点付近の各道路を含む移動体検出範囲１０の交通状況を撮像する。
【００１９】
ビデオカメラ１、１は、等距離射影型の魚眼レンズを備え、各魚眼レンズの中心は適長離隔するとともに、ビデオカメラ１、１夫々の魚眼レンズの光軸方向が交差点の中心部で一致するようにビデオカメラ１、１を配置してある。これにより、ビデオカメラ１、１で交差点全域及び交差点付近の各道路を移動する車両、二輪車、歩行者などの移動体を検出する。なお、魚眼レンズは、等距離射影型に限定されるものではなく、等立体角射影型、立体射影型、正射影型などの魚眼レンズであってもよく、また、魚眼レンズに代えて、画角が略１６０°以上の広角レンズなどを用いる構成でもよい。使用するレンズの画角は、交差点に交差する道路数、道路の車線数などに応じて交差点全域が撮像できるように適宜設定することができる。
【００２０】
ビデオカメラ１、１には、移動体検出装置２を接続してある。移動体検出装置２は、ビデオカメラ１、１で撮像して得られた撮像画像を処理して車両（移動体）を検出するとともに、検出結果に基づいて、車両の追跡処理、交通状況の判定（例えば、交通違反の判定、交通事故の判定）処理を行い、処理結果を管制センタ装置４へ送信する。
【００２１】
図２は移動体検出装置２の構成を示すブロック図である。ビデオカメラ１、１は、夫々撮像して得られた第１の撮像画像及び第２の撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力し、Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ２８の制御のもと、変換されたデジタル信号を画像データとして、第１の撮像画像及び第２の撮像画像毎に記憶領域を分けて画像メモリ２３へ記憶する。すなわち、ＣＰＵ２８は、画像入力部２１を介してビデオカメラ１、１夫々から入力された第１の撮像画像及び第２の撮像画像を画像データとして、ビデオカメラ１、１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ２３に記憶する。
【００２２】
補助記憶部２７は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。ＣＰＵ２８は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。移動体検出装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２８で実行することにより、後述する動きベクトル算出処理、移動体検出処理、交通状況判定処理などを実現する。なお、ＣＰＵ２８は、車両が移動体検出範囲１０に存在する間、所定の処理を繰り返してもよく、管制センタ装置４からの指令に基づいて処理を繰り返すこともできる。
【００２３】
画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶する。
【００２４】
記憶部２６は、コンピュータプログラムＰＧをＣＰＵ２８で実行することにより、得られた動きベクトルの算出結果、車両の検出結果、交通状況判定結果を記憶している。また、記憶部２６は、交通状況を判定するために用いる規制情報テーブル２６１を記憶している。
【００２５】
通信部２５は、管制センタ装置４との間の通信機能を備え、移動体検出装置２で検出した車両に関する情報、検出した車両に基づいて行った交通状況判定結果などを管制センタ装置４へ送信するとともに、管制センタ装置４からの情報、指示などを受信する。
【００２６】
図３は魚眼レンズで撮像した撮像画像の一例を示す説明図である。図に示すように、移動体検出装置２は、例えば、交差点付近の道路を含む広い範囲の撮像領域（移動体検出範囲１０）を撮像して得られた撮像画像に基づいて、車両（移動体）を検出する。魚眼レンズを用いることにより、交差点の１つの隅にビデオカメラ１、１を設置するだけで交差点付近の広い範囲の車両を検出することができる。
【００２７】
魚眼レンズを用いる場合、撮像画像に歪みが生じるため、車両などの移動体を検出するための処理を行う前に、撮像画像を補正する必要がある。補正画像への変換処理はＣＰＵ２８で行われる。この場合、ＣＰＵ２８は、画像メモリ２３に記憶された補正前の撮像画像を読み出し、変換処理を行った補正後の撮像画像を画像メモリ２３に再度記憶する。なお、これに限定されるものではなく、変換後の補正された撮像画像を画像メモリ２３に記憶することなく、動きベクトルの算出等の後処理を施してもよい。また、補正画像への変換処理は、ＣＰＵ２８で行う代わりに専用の変換回路を設ける構成であってもよい。
【００２８】
図４は魚眼レンズで撮像した撮像画像を補正画像に変換する例を示す説明図である。実空間（Ｘ，Ｙ，Ｚ）上の点Ｐの像が、入力角θで魚眼レンズ中心を通り、撮像面上（中心をｏとする）の点ｑ（ｕ，ｖ）に射影されたとする。標準レンズによる場合の射影点をｑ′（ｕ′，ｖ′）とすると、Ｆ：ｑ（ｕ，ｖ）→ｑ′（ｕ′，ｖ′）が補正画像への変換式となる。魚眼レンズの焦点距離をｆとすると、魚眼レンズが等距離射影方式である場合、ｒ＝ｆ・θの式が成立する。また、標準レンズの場合、入力角と出力角は等しいので、ｒ′＝ｆ・tanθの式も成立する。ｑ（ｕ，ｖ）、ｑ′（ｕ′，ｖ′）は、式（１）、（２）で表される。これにより、θは、式（３）で表され、変換係数ａが式（４）で表される。上述の結果及びｑは直線ｏｑ′上にあることから、ｕ′＝ａ・ｕ、ｖ′＝ａ・ｖにより、魚眼レンズ画像から補正画像への変換を行うことができる。
【００２９】
【数１】
【００３０】
図５は補正画像に変換された撮像画像の一例を示す説明図である。図に示すように、魚眼レンズで撮像して得られた撮像画像の歪みは補正される。
【００３１】
ＣＰＵ２８は、画像メモリ２３に記憶された変換処理後の第１及び第２の撮像画像を読み出し、読み出した第１の撮像画像の画素が有する輝度値の大小に基づいて、車両の角部、車灯部などの特徴部分を特徴点として特定する。例えば、３×３画素ブロック内の輝度値に基づいて、第１の撮像画像の全画素に対して特徴点を特定する。
【００３２】
ＣＰＵ２８は、特定した特徴点を中心とする矩形領域をテンプレートとし、第２の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素を相関点として特定する。
【００３３】
相関値は、式（５）で表される。
【００３４】
【数２】
【００３５】
ここで、矩形領域のサイズをＵｘＷ（Ｕ、Ｗは整数）、第１の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｒ）、第２の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｌ）、−Ｗ／２≦ｉ≦Ｗ／２、−Ｕ／２≦ｊ≦Ｕ／２（ｉ、ｊは整数）であり、−１≦相関値≦１である。また、式（６）は矩形領域内の平均輝度値である。
【００３６】
【数３】
【００３７】
これにより、ＣＰＵ２８は、第１の撮像画像における特徴点と、この特徴点に対して相関値が最大となる第２の撮像画像における相関点とを特定し、第１の撮像画像における特徴点の座標、及び第２の撮像画像における相関点の座標に基づいて、車両の撮像点、より正確には実空間上の点（特徴点及び相関点に対応する車両上の一部分）の三次元座標を算出する。すなわち、ステレオ画像に基づいて三次元座標を算出する。
【００３８】
図６はステレオ画像による三次元座標算出の例を示す説明図である。図に示すように、実空間の座標系を（Ｘ，Ｙ，Ｚ）、ビデオカメラ１、１の高さをＨ、ビデオカメラ１、１のＸ軸方向の離隔距離をｄ、ビデオカメラ１、１の焦点距離をｆ、第１の撮像画像の座標系を（Ｕ′R ，Ｖ′R ）、第２の撮像画像の座標系を（Ｕ′L ，Ｖ′L ）とし、実空間の座標における移動体の実空間上の点Ｐ１が、夫々第１の撮像画像及び第２の撮像画像に射影された座標をＲ（Ｕ′r ，Ｖ′r ）、Ｌ（Ｕ′l ，Ｖ′l ）、視差（Ｕ′r −Ｕ′l ）とすると、三次元座標算出処理は、実空間の座標における車両の実空間上の点Ｐ１の位置（Ｘ１，Ｙ１，Ｚ１）を式（７）で表される式に基づいて算出する。
【００３９】
【数４】
【００４０】
ＣＰＵ２８は、算出した三次元座標（Ｘ１，Ｙ１，Ｚ１）の高さＺ１が所定の閾値（例えば、Ｈｔｈ、具体的には、５０ｃｍなど）以上である実空間上の点を抽出し、抽出した実空間上の点を（Ｘ，Ｙ）座標上でプロットし、プロットされた実空間上の点に対応する第１の撮像画像における特徴点（又は第２の撮像画像における相関点）で構成される領域を矩形又は外接楕円で囲むことにより、この囲まれた領域を車両ブロック（車両領域）とする。
【００４１】
図７は車両ブロックの例を示す説明図である。図に示すように、車両ブロックは、撮像画像（第１の撮像画像又は第２の撮像画像）において、実空間における高さが所定の閾値より高い車両の実空間上の点に対応する特徴点又は相関点で構成される。図では、車両ブロックＭ１、Ｍ２、Ｍ３、Ｍ４が特定されることにより４つの車両が検出されている。なお、特定された車両ブロックの大きさ（幅、長さ）、形状、平均の高さなどに基づいて、車両の車種（大型車、小型車など）、二輪車、歩行者などを判定することも可能である。
【００４２】
これにより、路面の影又は反射を除去して広い範囲を移動する車両を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両などを精度良く検出することができる。
【００４３】
図７に示すように、特定された車両ブロックが、Ｍ１とＭ２、Ｍ３とＭ４のように、接近又は隣接しているような場合、車両ブロックＭ１とＭ２を１つの車両ブロックとし、車両ブロックＭ３とＭ４を１つの車両ブロックとして誤って特定する虞もある。そこで、一層精度良く車両ブロックの特定（車両の検出）をすることができるように、撮像画像の画素（車両ブロックの画素）の動きベクトルに基づいて、車両同士が隣接するような場合でも精度良く個々の車両を分離して検出することができる。
【００４４】
図８は画素の動きベクトルを示す説明図である。図に示すように、撮像時点ｔk の撮像画像（例えば、第１の撮像画像）における画素Ｒj の座標が（ｕ′k ，ｖ′k ）、撮像時点ｔk+1 の撮像画像における画素Ｒj の座標が（ｕ′k+1 ，ｖ′k+1 ）である場合、動きベクトルＲＶj は、（ｕ′k+1 −ｕ′k ，ｖ′k+1 −ｖ′k ）となる。異なる撮像時点の時間間隔は、１フレーム間隔でもよく、また、数フレーム間隔であってもよい。なお、上述の画素は、複数の画素で構成される画素ブロックであってもよい。この場合は、画素ブロック毎に動きベクトルが決定される。
【００４５】
図９は移動体検出装置２の動きベクトルの算出例を示す説明図である。動きベクトルの算出方法は、ブロックマッチング法と勾配法とがある。本発明においては、ブロックマッチング法及び勾配法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。
【００４６】
まず、ブロックマッチング法について説明する。ブロックマッチング法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像（例えば、第１の撮像画像）を用いる。ブロックマッチング法は、時刻ｔの撮像画像において、注目画素Ｒ１を中心とする矩形領域をテンプレートとして登録し、時刻ｔ＋１の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素位置Ｒ２を検出するものである。
【００４７】
相関値は、式（８）で表される。
【００４８】
【数５】
【００４９】
ここで、矩形領域のサイズをＳｘＱ（Ｓ、Ｑは整数）、時刻ｔにおける第１の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｔ）、−Ｑ／２≦ｉ≦Ｑ／２、−Ｓ／２≦ｊ≦Ｓ／２（ｉ、ｊは整数）であり、−１≦相関値≦１である。また、式（９）は矩形領域内の平均輝度値である。
【００５０】
【数６】
【００５１】
上述の通り、ブロックマッチング法は、矩形領域（画素ブロック）の大きさを適宜変更することにより、動き量が大きい場合の動きベクトルを算出することができる。
【００５２】
次に、勾配法について説明する。勾配法は、動画像の各フレームのオプティカルフロー（動きベクトルの場）を求める方法として、各画素における輝度（明るさ）の空間的勾配と時間的勾配の関係を用いるものである。すなわち、勾配法は、撮像画像の輝度分布が動きに際して不変に保たれると仮定した勾配拘束式（すなわち、輝度の空間的勾配と時間的勾配の関係式）に基づいて、オプティカルフローを求める方法である。勾配法のうち、空間的局所最適化法は、特に計算量が少なく精度良好な方法であり、以下に説明する。
【００５３】
勾配法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。時刻ｔにおける第１の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｔ）とする。時刻ｔ＋１（時刻ｔに対してδｔだけ時間が経過したとする）において、座標（ｕ′，ｖ′）の画素が座標（ｕ′＋δｕ′，ｖ′＋δｖ′）に移動したとする。ここで、輝度は変化しないと仮定すると、Ｉ（ｕ′，ｖ′，ｔ）＝Ｉ（ｕ′＋δｕ′，ｖ′＋δｖ′，ｔ＋δｔ）の関係式が成立する。
【００５４】
上式の右辺をテイラー展開すると、式（１０）が得られる。
【００５５】
【数７】
【００５６】
ε（ｕ′，ｖ′，ｔ）は、２次以上の高次の項であり、微小であるためこれを無視するとともに、式（１０）の両辺をδｔで割り、δｔを０に近づけると、式（１１）を得る。この式は、オプティカルフローの勾配拘束式と呼ばれる。
【００５７】
【数８】
【００５８】
ここで、輝度勾配をＩｕ′＝∂Ｉ／∂ｕ′、Ｉｖ′＝∂Ｉ／∂ｖ′、時間勾配をＩｔ＝∂Ｉ／∂ｔとし、オプティカルフローをｂ＝δｕ′／δｔ、ｃ＝δｖ′／δｔとする。
【００５９】
所要の局所領域（Ｍ×Ｎ）（Ｍ、Ｎは整数）でオプティカルフローが一定であるという拘束条件を付加すると、前記局所領域で得られるオプティカルフローは、同一の解を持つと仮定するので、誤差Ｅは式（１２）で表される。ここで、−Ｍ／２≦ｉ≦Ｍ／２、−Ｎ／２≦ｊ≦Ｎ／２（ｉ、ｊは整数）は前記局所領域内の座標である。
【００６０】
【数９】
【００６１】
最小２乗法の考え方から、∂Ｅ／∂ｂ＝０、∂Ｅ／∂ｃ＝０を算出し、前記局所領域内で重み付け平滑化すると、数１０の（１３）式及び（１４）式を得る。ここでｗi,jは重み付けマトリクスであり、前記局所領域の中央部ほど重み付けが大きくなるような分布を持つマトリクスを使用することができる。
【００６２】
【数１０】
【００６３】
式（１３）、（１４）を解くことにより、オプティカルフロー（ｂ，ｃ）、すなわち、動きベクトルが数１１の（１５）式、（１６）式、及び（１７）式のように得られる。
【００６４】
【数１１】
【００６５】
上述の通り、勾配法は、ブロックマッチング法のように画素ブロックを用いる必要がないため、１画素未満の微小な動きベクトルであっても算出することができる。
【００６６】
図９に示すように、本発明に係る移動体検出装置２の動きベクトルの算出法は、まずブロックマッチング法により、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いて前記第１の撮像時点における撮像画像の画素の大きな動きベクトル（第１の動きベクトル）を算出する。算出した動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法により動きベクトル（第２の動きベクトル）を算出し、夫々の方法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。これにより、ブロックマッチング法により、大きな動きベクトルを算出するとともに、ブロックマッチング法では、算出することができない１画素未満の微小な動きベクトルも算出し、両者の動きベクトルを合成することにより、精度良く動きベクトルを求めることが可能になる。
【００６７】
図１０は動きベクトルを算出した場合の車両ブロックの例を示す説明図である。図に示すように、車両ブロックは、撮像画像（第１の撮像画像又は第２の撮像画像）において、実空間における高さが所定の閾値より高い車両の実空間上の点に対応する特徴点又は相関点夫々に対して、上述の動きベクトルを算出し、算出された動きベクトルが略一致するもの同士を１つの車両ブロックとして特定する。動きベクトルが略一致するか否かは、動きベクトルの大きさが略一致するか否か、動きベクトルの方向が略一致するか否かにより判定する。
【００６８】
これにより、例えば、交差点付近を右折する車両、左折する車両、直進する車両など様々な方向に走行する多くの車両が存在し、車両同士が重なって撮像された場合であっても、各車両を精度良く分離して検出することができる。
【００６９】
ＣＰＵ２８は、特定した車両ブロックの情報を用いて、所要の撮像時点の都度（例えば、各フレーム毎）、特定した車両ブロックをマッチングさせることにより、車両を追跡することができる。マッチングの方法としては、車両ブロックの幅、長さ、平均の高さによるマッチング、高さ分布などの相関度を用いることができる。
【００７０】
ＣＰＵ２８は、車両の追跡結果、交通規制情報又は信号現示情報などに基いて、信号無視、右折左折禁止違反、Ｕターン禁止違反などの交通違反判定を行う。また、ＣＰＵ２８
は、車両同士の追突又は衝突などの交通事故判定などを行う。
【００７１】
次に、本発明に係る移動体検出装置２の処理手順について説明する。図１１は移動体検出装置２の動きベクトル算出の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔのフレームｆt 、撮像時点ｔ＋１のフレームｆt+1 ）を画像メモリ２３から取得する（Ｓ１０）。
【００７２】
ＣＰＵ２８は、取得した一方の撮像画像の画素ブロック（例えば、７×１５画素）毎に、画素ブロック内画素が有する輝度値（又は階調値など）に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する（Ｓ１１）。２つの撮像画像間で一致する画素ブロックを特定する場合、上述した相関値を用いることができる。
【００７３】
ＣＰＵ２８は、２つの撮像画像で一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、ブロックマッチング法による各画素の動きベクトルを算出する（Ｓ１２）。なお、座標変化が無い場合は、動きベクトルはゼロである。
【００７４】
ＣＰＵ２８は、撮像時点ｔにおける撮像画像の画素毎に算出した動きベクトルに応じて、各画素を動きベクトル分（大きさ及び方向）だけ移動させた撮像画像を生成する（Ｓ１３）。
【００７５】
ＣＰＵ２８は、生成した撮像画像及び撮像時点ｔ＋１における撮像画像に対して、勾配法により動きベクトルを算出し（Ｓ１４）、ブロックマッチング法により算出した動きベクトルと勾配法により算出した動きベクトルを合成して最終的な動きベクトルを算出する（Ｓ１５）。
【００７６】
ＣＰＵ２８は、動きベクトルの算出処理が終了したか否かを判定し（Ｓ１６）、算出処理が終了でない場合（Ｓ１６でＮＯ）には、ステップＳ１０以降の処理を続ける。算出処理が終了した場合（Ｓ１６でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【００７７】
図１２は移動体検出装置２の車両検出の処理手順を示すフローチャートである。ＣＰＵ２８は、画像メモリ２３から第１の撮像画像及び第２の撮像画像を取得する（Ｓ２０）。ＣＰＵ２８は、取得した撮像画像の歪みを補正するための変換処理を行って補正画像を作成する（Ｓ２１）。ＣＰＵ２８は、補正後の第１の撮像画像において、車両候補に対応する特徴点を特定し（Ｓ２２）、特徴点に相関する相関点を補正後の第２の撮像画像において検索する（Ｓ２３）。
【００７８】
ＣＰＵ２８は、特定した特徴点及び相関点の撮像画像における座標に基づいて、車両候補の実空間上の点の三次元座標を算出し（Ｓ２４）、実空間上の点の高さが所定の閾値以上であるか否かを判定する（Ｓ２５）。
【００７９】
実空間上の点の高さが所定の閾値以上である場合（Ｓ２５でＹＥＳ）、ＣＰＵ２８は、その実空間上の点をプロットすることにより、車両ブロックの画素を抽出する（Ｓ２６）。ＣＰＵ２８は、すべての相関点について処理を行ったか否かを判定し（Ｓ２７）、すべての相関点について処理が終わっていない場合（Ｓ２７でＮＯ）、ステップＳ２５以降の処理を続ける。
【００８０】
すべての相関点について処理が終わった場合（Ｓ２７でＹＥＳ）、ＣＰＵ２８は、車両ブロックの画素の動きベクトルの大きさ、角度差を算出する（Ｓ２８）。実空間上の点の高さが所定の閾値以上でない場合（Ｓ２５でＮＯ）、ＣＰＵ２８は、ステップＳ２７以降の処理を続ける。
【００８１】
ＣＰＵ２８は、算出した動きベクトルの大きさが略一致するか否かを判定し（Ｓ２９）、動きベクトルの大きさが略一致する場合（Ｓ２９でＹＥＳ）、動きベクトルの角度差が所定の角度閾値以下であるか否かを判定する（Ｓ３０）。動きベクトルの角度差が所定の角度閾値以下である場合（Ｓ３０でＹＥＳ）、ＣＰＵ２８は、動きベクトルが略一致する画素から構成される車両ブロックを１つの車両として検出し（Ｓ３１）、処理を終了する。
【００８２】
動きベクトルの大きさが略一致しない場合（Ｓ２９でＮＯ）、ＣＰＵ２８は、ステップＳ２８以降の処理を続ける。また、動きベクトルの角度差が所定の角度閾値以下でない場合（Ｓ３０でＮＯ）、ＣＰＵ２８は、ステップＳ２８以降の処理を続ける。
【００８３】
図１３は交通状況判定の処理手順を示すフローチャートである。ＣＰＵ２８は、上述の車両検出処理を行い（Ｓ４０）、交通違反の有無を判定するための交通違反判定の処理を行い（Ｓ４１）、交通事故の有無を判定するための交通事故判定の処理を行う（Ｓ４２）。ＣＰＵ２８は、例えば、管制センタ装置４からの終了指令が有るか否かを判定し（Ｓ４３）、終了指令がない場合（Ｓ４３でＮＯ）、ステップＳ４０以降の処理を続け、終了指令が有る場合（Ｓ４３でＹＥＳ）、処理を終了する。
【００８４】
図１４は交通違反判定の処理手順を示すフローチャートである。ＣＰＵ２８は、道路上の交通規制に対応する規制領域が予め設定された撮像画像において、記録された車両ブロックの座標に基づいて、車両ブロックが規制領域内に有るか否かを判定する（Ｓ４１１）。
【００８５】
車両ブロックが規制領域内に有る場合（Ｓ４１１でＹＥＳ）、ＣＰＵ２８は、規制領域に関連する規制情報（例えば、規制領域での走行禁止方向のように交通流の規制方向、又は、該規制方向と、制限速度に対応する大きさとに基づいて定められる規制ベクトルなどを含む）を記憶部２６から読み出し（Ｓ４１２）、車両ブロックの動きベクトルの方向と規制方向とを比較する（Ｓ４１３）。
【００８６】
ＣＰＵ２８は、車両ブロックの動きベクトルの方向と規制方向とが略一致するか否かを判定し（Ｓ４１４）、略一致する場合（Ｓ４１４でＹＥＳ）、交通違反と判定し（Ｓ４１５）、判定結果を管制センタ装置４へ通知する。ＣＰＵ２８は、他の規制領域が有るか否かを判定し（Ｓ４１６）、他の規制領域が有る場合（Ｓ４１６でＹＥＳ）、ステップＳ４１１以降の処理を続ける。一方、略一致しない場合（Ｓ４１４でＮＯ）、ＣＰＵ２８は、ステップＳ４１６以降の処理を続ける。車両ブロックが規制領域内にない場合（Ｓ４１１でＮＯ）、ＣＰＵ２８は、ステップＳ４１６以降の処理を続ける。他の規制領域がない場合（Ｓ４１６でＮＯ）、ＣＰＵ２８は、交通違反判定処理を終了する。
【００８７】
図１５は撮像画像の規制領域の例を示す説明図である。交差点の角部であって、交差点手前の停止線夫々の前方に規制領域５０ａ、５０ｂ、５０ｃ、５０ｄを設定し、交差点中央部に規制領域５０ｅを設定している。規制領域５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅは、交差点の信号表示に応じて走行禁止方向を規制し、規制領域５０ａ、５０ｂ、５０ｅは、時間に応じて右折禁止などの走行禁止方向を規制する。また、規制領域５０ａ、５０ｂ、５０ｃ、５０ｄは、制限速度を規制する。これらの走行禁止方向、制限速度などの規制情報は、規制領域に対応付けた規制情報テーブル２６１を記憶部２６に記憶している。
【００８８】
図１６は規制情報テーブルのレコードレイアウトを示す説明図である。規制領域毎に、撮像画像上でのｖ軸方向（上下方向）の道路に対する信号表示、走行禁止方向を示す規制
ベクトルの方向（規制方向）、規制領域を時間帯別に規制する場合の規制時間、該規制時間帯での走行禁止方向を示す規制ベクトルの方向、制限速度を示す規制ベクトルの大きさなどの欄により構成してある。なお、規制情報テーブルの内容は一例であって、これに限定するものではなく、交差点の交通規制状況に応じて適宜設定することができる。
【００８９】
動きベクトルの方向と規制方向を比較する場合に、交差点の信号表示を検知し、信号表示に応じた規制方向と比較することも可能である。また、動きベクトルの方向と規制方向とを比較する場合に、現在時刻を検知し、現在時刻が規制時間帯にあるか否かを判定して、所定の規制方向と比較することも可能である。さらに、動きベクトルの大きさが、制限速度を規定する規制ベクトルの大きさよりも大きいか否かを判定して、規制ベクトルの大きさよりも大きい場合に、速度違反と判定することも可能である。
【００９０】
図１７は交通事故判定の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像画像において車両ブロックが複数有るか否かを判定する（Ｓ４２１）。車両ブロックが複数（例えば、車両ブロックＡ、Ｂ）有る場合（Ｓ４２１でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔを記録する（Ｓ４２２）。撮像時点ｔの車両ブロックＡ、Ｂが存在した領域をＡｔ、Ｂｔとする。ＣＰＵ２８は、動きベクトルに基づいて、撮像時点ｔ＋１での車両ブロックＡ、Ｂの移動先の領域を予想する（Ｓ４２３）。撮像時点ｔ＋１に車両ブロックＡ、Ｂが存在する領域をＡｔ＋１、Ｂｔ＋１とする。車両ブロックが複数ない場合（Ｓ４２１でＮＯ）、ＣＰＵ２８は、処理を終了する。
【００９１】
ＣＰＵ２８は、領域Ａｔ＋１、Ｂｔ＋１の重複領域Ｃｔ＋１が有るか否かを判定し（Ｓ４２４）、重複領域Ｃｔ＋１が有る場合（Ｓ４２４でＹＥＳ）、重複領域Ｃｔ＋１を構成する画素ブロック数が所定の閾値より大きいか否かを判定する（Ｓ４２５）。重複領域Ｃｔ＋１がない場合（Ｓ４２４でＮＯ）、ＣＰＵ２８は、処理を終了する。
【００９２】
画素ブロック数が閾値より大きい場合（Ｓ４２５でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での重複領域Ｃｔ＋１の輝度差を算出する（Ｓ４２６）。この場合、領域Ａｔ＋１、Ｂｔ＋１に対応する車両同士が、撮像時点ｔ＋１で衝突する可能性が高いと判断される。画素ブロック数が閾値より小さい場合（Ｓ４２５でＮＯ）、ＣＰＵ２８は、処理を終了する。
【００９３】
ＣＰＵ２８は、算出した輝度差が所定の輝度閾値より大きいか否かを判定する（Ｓ４２７）。重複領域Ｃｔ＋１の輝度差が輝度閾値より大きい場合（Ｓ４２７でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差を算出する（Ｓ４２８）。重複領域Ｃｔ＋１の輝度差が輝度閾値より小さい場合（Ｓ４２７でＮＯ）、ＣＰＵ２８は、処理を終了する。この場合には、車両ブロックＡ、Ｂに対応する車両のいずれか、又は両方が停止したと判断される。ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差が所定の輝度閾値より大きいか否かを判定する（Ｓ４２９）。
【００９４】
領域Ａｔ、Ｂｔ夫々の輝度差が輝度閾値より大きい場合（Ｓ４２９でＹＥＳ）、ＣＰＵ２８は、交通事故と判定し（Ｓ４３０）、判定結果を管制センタ装置４へ通知して処理を終了する。領域Ａｔ、Ｂｔいずれかの輝度差が輝度閾値より小さい場合（Ｓ４２９でＮＯ）、ＣＰＵ２８は、処理を終了する。領域Ａｔ、Ｂｔ夫々の輝度差が輝度閾値より大きい場合は、車両ブロックＡ、Ｂに対応する各車両が重複領域に対応する道路上の衝突可能性領域に進入したものと判断され、交通事故の発生の有無の判定をさらに正確に行うことができる。なお、ステップＳ４２９での判定を行わずに、ステップＳ４２７での判定結果のみに基づいて、事故の有無を判定することも可能である。この場合は、処理に要する労力を低減することが可能になる。
【００９５】
図１８は撮像画像の重複領域の例を示す説明図である。図に示すように、撮像画像上で互いに交差する道路上を交差点に向かって走行する車両に対応する車両ブロックＡ、Ｂを特定した場合、車両ブロックＡが時刻ｔ及びｔ＋１に存在した領域を、夫々Ａｔ、Ａｔ＋１とし、同様に車両ブロックＢが時刻ｔ及びｔ＋１に存在した領域を、夫々Ｂｔ、Ｂｔ＋１とする。時刻ｔ＋１で、車両ブロックＡｔ、Ｂｔが重なると予想される重複領域Ｃｔ＋１は、領域Ａｔ＋１及びＢｔ＋１が重なる部分である。
【００９６】
なお、上述の説明では、車両を検出する場合について説明したが、本発明は車両の検出に限定されるものではなく、歩行者の検出にも適用することができる。
【００９７】
以上説明したように、本発明にあっては、路面の影又は反射を除去して広い範囲を移動する車両、人などを従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる。また、交差点付近を右折する車両、左折する車両、直進する車両など様々な方向に走行する多くの車両が存在し、車両同士が重なって撮像された場合であっても、各車両を精度良く分離して検出することができる。
【００９８】
上述の実施の形態においては、撮像画像の１フレーム毎に処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。
【００９９】
上述の実施の形態においては、動きベクトルを算出する場合に、ブロックマッチング法及び勾配法で算出した動きベクトルを合成して最終的な動きベクトルを算出するものであったが、これに限定されるものではなく、ブロックマッチング法又は勾配法のいずれかのみを用いてもよく、また、移動体までの距離に応じてブロックマッチング法及び勾配法を使い分けることもできる。すなわち、移動体が遠距離にある場合、動きベクトルの大きさは比較的小さく、１画素未満の微小な動きベクトルも算出することができる勾配法が優れている。一方、移動体が近距離にある場合、動きベクトルは大きく変化するため、効率よく大きな動きベクトルを算出できるブロックマッチング法が優れている。
【０１００】
上述の実施の形態において、夜間の車両検出、交通状況判定を行うため、赤外線ビデオカメラを用いることもできる。
【０１０１】
上述の実施の形態においては、ビデオカメラ１、１と移動体検出装置２とは、別個の装置で構成されていたが、ビデオカメラ１、１と移動体検出装置２とを統合して、ひとつの装置として構成してもよい。
【０１０２】
上述の実施の形態においては、撮像画像のすべての画素に対して動きベクトルを算出する構成であったが、複数の画素で構成されるブロック毎に動きベクトルを算出する構成であってもよい。
【０１０３】
上述の実施の形態においては、相関点を特定する場合に、式（５）で表される相関値を用い、ブロックマッチング法で動きベクトルを算出する場合に、式（８）で表される相関値を用いる構成であったが、これに限定されるものではなく、画素ブロック内画素の差分階調値の絶対値の和、画素の平均階調値の差の絶対値、画素の階調値の標準偏差の差の絶対値など、いずれの方法を用いてもよい。
【０１０４】
上述の実施の形態において用いた規制情報テーブルは、一例であって、これに限定されるものではない。他の情報を追加することも可能である。また、管制センタ装置４から、交通状況に応じて、移動体検出装置２に対して、夫々異なる所望の規制情報テーブルに更
新することもできる。また、規制ベクトルの方向は、走行禁止方向を特定するものであったが、走行許容方向を用いることも可能である。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施の形態に係る移動体検出装置の設置例を示す模式図である。
【図２】移動体検出装置の構成を示すブロック図である。
【図３】魚眼レンズで撮像した撮像画像の一例を示す説明図である。
【図４】魚眼レンズで撮像した撮像画像を補正画像に変換する例を示す説明図である。
【図５】補正画像に変換された撮像画像の一例を示す説明図である。
【図６】ステレオ画像による三次元座標算出の例を示す説明図である。
【図７】車両ブロックの例を示す説明図である。
【図８】画素の動きベクトルを示す説明図である。
【図９】移動体検出装置の動きベクトルの算出例を示す説明図である。
【図１０】動きベクトルを算出した場合の車両ブロックの例を示す説明図である。
【図１１】移動体検出装置の動きベクトル算出の処理手順を示すフローチャートである。
【図１２】移動体検出装置の車両検出の処理手順を示すフローチャートである。
【図１３】交通状況判定の処理手順を示すフローチャートである。
【図１４】交通違反判定の処理手順を示すフローチャートである。
【図１５】撮像画像の規制領域の例を示す説明図である。
【図１６】規制情報テーブルのレコードレイアウトを示す説明図である。
【図１７】交通事故判定の処理手順を示すフローチャートである。
【図１８】撮像画像の重複領域の例を示す説明図である。
【符号の説明】
【０１０６】
１ ビデオカメラ
２ 移動体検出装置
３ 信号機
４ 管制センタ装置
２１ 画像入力部
２２ Ａ／Ｄ変換部
２３ 画像メモリ
２４ ＲＡＭ
２５ 通信部
２６ 記憶部
２７ 補助記憶部
２８ ＣＰＵ
【技術分野】
【０００１】
本発明は、道路を含む撮像領域を撮像して得られた撮像画像に基づいて、移動体を検出する移動体検出装置、該移動体検出装置を実現するコンピュータプログラム、及び移動体検出定方法に関する。
【背景技術】
【０００２】
交差点内における車両同士の衝突又は追突などの交通事故、又は横断歩道を歩行している歩行者と車両との接触事故などは増加傾向にあり、抜本的な交通安全対策が求められている。
【０００３】
道路交通環境の改善を目的とした道路交通システムは、交通関連情報の提供や交通流を最適化するものなど、様々な分野で利用されつつあり、例えば、交通流センサとして、超音波又はループコイルを用いた計測装置が普及しており、この計測装置は、設置された地点を通過する車両の台数を計測する。しかし、この計測装置で交差点のような広範囲の交通流を計測するためには、多数の計測装置を設置する必要があり、莫大な費用を要するため現実的ではなかった。
【０００４】
近年、交差点内の交通流を計測するため、ビデオカメラで撮像した撮像画像を処理して車両の流れを計測する計測装置が提案されている。しかし、ビデオカメラに設けられたレンズの視野角は略１００度程度であるため、広範囲に計測することができず、交差点の全域を計測するためには、複数のビデオカメラを設置する必要があった。例えば、交差点の２隅にビデオカメラを設けるための支柱を設置する必要があり、費用面で不利であった。
【０００５】
また、１つのビデオカメラで撮像した場合、撮像画像面での二次元処理により車両を検出するため、車両の高さ情報が得られず、時間差分又はエッジ検出などの古典的な画像処理方式では、車両同士が重なって撮像された場合に車両を分離して検出することが困難であり、正確に車両を検出することができなかった。また、路面の影、反射などを車両として誤検出する虞があった。
【０００６】
そこで、交差点に１つのビデオカメラを設置し、撮像された画像に基づいて車両オブジェクトを抽出してＩＤを付与し、各車両オブジェクトの移動ベクトルを検出し、各車両が交差点のどのエリアに属するかを決定し、車両オブジェクトを追跡するとともに、車両オブジェクトが分離した場合、リバース処理を行うことにより車両の追跡を正確にする交差点交通流計測装置が提案されている（特許文献１参照）。
【特許文献１】特開２００５−１９０１４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の装置にあっては、撮像された画像上で車両オブジェクト同士が抽出された後、車両オブジェクトを追跡する時間軸上のある時点で、一度は車両オブジェクト同士が分離されることが前提であり、車両オブジェクト同士が分離されない場合には、車両を分離することができないという問題があった。また、１つのビデオカメラを用いるため、路面の影、反射などを精度良く除去することができず、路面の影又は反射を車両として検出する虞があり精度良く車両を検出することが困難であった。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、前
記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、算出された高さが所定の閾値より高い実空間上の点を抽出し、抽出された実空間上の点に基づいて移動体を検出することにより、路面の影又は反射を除去して広い範囲を移動する移動体を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【０００９】
また、本発明の他の目的は、抽出された実空間上の点に対応する特徴点又は相関点の動きベクトルを算出し、算出された動きベクトルが略一致する特徴点又は相関点を特定し、該特徴点又は相関点に基づいて移動体を検出することにより、移動体が重なって撮像された場合でも、従来よりも容易に移動体を分離して精度良く移動体を検出することができる移動体検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
第１発明に係る移動体検出装置は、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する取得手段と、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する特定手段と、特定された特徴点に相関する相関点を前記第２の撮像画像で検索する検索手段と、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する算出手段と、算出された高さが所定の閾値より高い実空間上の点を抽出する抽出手段と、抽出された実空間上の点に基づいて移動体を検出する検出手段とを備えることを特徴とする。
【００１１】
第２発明に係る移動体検出装置は、第１発明において、前記抽出手段で抽出された実空間上の点に対応する特徴点又は相関点の動きベクトルを算出する手段と、算出された動きベクトルが略一致する特徴点又は相関点を特定する手段とを備え、前記検出手段は、前記特徴点又は相関点に基づいて移動体を検出するように構成してあることを特徴とする。
【００１２】
第３発明に係る移動体検出装置は、第１発明又は第２発明において、広角レンズを有する２つの撮像手段を備え、前記取得手段は、前記撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得するように構成してあることを特徴とする。
【００１３】
第４発明に係るコンピュータプログラムは、コンピュータに、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、コンピュータを、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する手段と、コンピュータを、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する手段と、コンピュータを、特定された特徴点に相関する相関点を前記第２の撮像画像で検索する手段と、コンピュータを、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する手段と、コンピュータを、算出された高さが所定の閾値より高い実空間上の点を抽出する手段と、コンピュータを、抽出された実空間上の点に基づいて移動体を検出する手段として機能させることを特徴とする。
【００１４】
第５発明に係る移動体検出方法は、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出方法において、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、算出された高さが所定の閾値より高い実空間上の点を抽出し、抽出された実空間上の点に基づいて移動体を検出することを特徴とする。
【００１５】
第１発明、第３発明、第４発明及び第５発明にあっては、取得した第１の撮像画像に基づいて、移動体候補の特徴点を特定する。例えば、移動体が車両である場合、車両の角部、車灯部などの車両の特徴部分をエッジ検出処理などにより特定する。特定された特徴点を含む画素ブロックと同じ大きさの画素ブロックを第２の撮像画像上を走査することにより、前記特徴点との相関度が大きい相関点を前記第２の撮像画像で検索する。検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、三角測量の原理により前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標（Ｘ、Ｙ、Ｚ）を算出する。算出された三次元座標のうち、高さ（Ｚ）が所定の閾値より高い実空間上の点を抽出する。これにより、移動体候補のうち路面上の影又は路面反射など高さが低いもの又は高さが略０の実空間上の点を除去する。高さが所定の閾値より高い実空間上の点を（Ｘ、Ｙ）座標上で特定し、特定された実空間上の点で構成される領域を、例えば、矩形状の枠で囲むことにより車両として検出する。これにより、路面の影又は反射を除去して広い範囲を移動する移動体を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる。
【００１６】
第２発明にあっては、高さ（Ｚ）が所定の閾値より高い実空間上の点に対応する特徴点又は相関点の動きベクトルを算出する。動きベクトルは、例えば、異なる撮像時点の撮像画像上で対応する特徴点同士又は対応する相関点同士の位置変化に基づき算出することができる。算出された動きベクトルが略一致（例えば、動きベクトルの大きさ、方向が略一致）する特徴点又は相関点を特定し、特定された特徴点又は相関点に基づいて移動体を検出する。例えば、２つの移動体が重なって撮像された場合であっても、移動体夫々の移動方向又は移動速度が異なるときには、夫々の移動体に対応する動きベクトルの大きさ又は方向が異なるため、動きベクトルの違いにより移動体を従来よりも容易に分離して検出することができる。
【発明の効果】
【００１７】
本発明にあっては、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、算出された高さが所定の閾値より高い実空間上の点を抽出し、抽出された実空間上の点に基づいて移動体を検出することにより、路面の影又は反射を除去して広い範囲を移動する移動体を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る移動体検出装置２の設置例を示す模式図である。図において、１、１は信号機３の支柱に固定された筐体等に内蔵されたビデオカメラである。ビデオカメラ１、１は、路上１０ｍ程度の位置に設けられ、交差点内及び交差点付近の各道路を含む移動体検出範囲１０の交通状況を撮像する。
【００１９】
ビデオカメラ１、１は、等距離射影型の魚眼レンズを備え、各魚眼レンズの中心は適長離隔するとともに、ビデオカメラ１、１夫々の魚眼レンズの光軸方向が交差点の中心部で一致するようにビデオカメラ１、１を配置してある。これにより、ビデオカメラ１、１で交差点全域及び交差点付近の各道路を移動する車両、二輪車、歩行者などの移動体を検出する。なお、魚眼レンズは、等距離射影型に限定されるものではなく、等立体角射影型、立体射影型、正射影型などの魚眼レンズであってもよく、また、魚眼レンズに代えて、画角が略１６０°以上の広角レンズなどを用いる構成でもよい。使用するレンズの画角は、交差点に交差する道路数、道路の車線数などに応じて交差点全域が撮像できるように適宜設定することができる。
【００２０】
ビデオカメラ１、１には、移動体検出装置２を接続してある。移動体検出装置２は、ビデオカメラ１、１で撮像して得られた撮像画像を処理して車両（移動体）を検出するとともに、検出結果に基づいて、車両の追跡処理、交通状況の判定（例えば、交通違反の判定、交通事故の判定）処理を行い、処理結果を管制センタ装置４へ送信する。
【００２１】
図２は移動体検出装置２の構成を示すブロック図である。ビデオカメラ１、１は、夫々撮像して得られた第１の撮像画像及び第２の撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力し、Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ２８の制御のもと、変換されたデジタル信号を画像データとして、第１の撮像画像及び第２の撮像画像毎に記憶領域を分けて画像メモリ２３へ記憶する。すなわち、ＣＰＵ２８は、画像入力部２１を介してビデオカメラ１、１夫々から入力された第１の撮像画像及び第２の撮像画像を画像データとして、ビデオカメラ１、１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ２３に記憶する。
【００２２】
補助記憶部２７は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。ＣＰＵ２８は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。移動体検出装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２８で実行することにより、後述する動きベクトル算出処理、移動体検出処理、交通状況判定処理などを実現する。なお、ＣＰＵ２８は、車両が移動体検出範囲１０に存在する間、所定の処理を繰り返してもよく、管制センタ装置４からの指令に基づいて処理を繰り返すこともできる。
【００２３】
画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶する。
【００２４】
記憶部２６は、コンピュータプログラムＰＧをＣＰＵ２８で実行することにより、得られた動きベクトルの算出結果、車両の検出結果、交通状況判定結果を記憶している。また、記憶部２６は、交通状況を判定するために用いる規制情報テーブル２６１を記憶している。
【００２５】
通信部２５は、管制センタ装置４との間の通信機能を備え、移動体検出装置２で検出した車両に関する情報、検出した車両に基づいて行った交通状況判定結果などを管制センタ装置４へ送信するとともに、管制センタ装置４からの情報、指示などを受信する。
【００２６】
図３は魚眼レンズで撮像した撮像画像の一例を示す説明図である。図に示すように、移動体検出装置２は、例えば、交差点付近の道路を含む広い範囲の撮像領域（移動体検出範囲１０）を撮像して得られた撮像画像に基づいて、車両（移動体）を検出する。魚眼レンズを用いることにより、交差点の１つの隅にビデオカメラ１、１を設置するだけで交差点付近の広い範囲の車両を検出することができる。
【００２７】
魚眼レンズを用いる場合、撮像画像に歪みが生じるため、車両などの移動体を検出するための処理を行う前に、撮像画像を補正する必要がある。補正画像への変換処理はＣＰＵ２８で行われる。この場合、ＣＰＵ２８は、画像メモリ２３に記憶された補正前の撮像画像を読み出し、変換処理を行った補正後の撮像画像を画像メモリ２３に再度記憶する。なお、これに限定されるものではなく、変換後の補正された撮像画像を画像メモリ２３に記憶することなく、動きベクトルの算出等の後処理を施してもよい。また、補正画像への変換処理は、ＣＰＵ２８で行う代わりに専用の変換回路を設ける構成であってもよい。
【００２８】
図４は魚眼レンズで撮像した撮像画像を補正画像に変換する例を示す説明図である。実空間（Ｘ，Ｙ，Ｚ）上の点Ｐの像が、入力角θで魚眼レンズ中心を通り、撮像面上（中心をｏとする）の点ｑ（ｕ，ｖ）に射影されたとする。標準レンズによる場合の射影点をｑ′（ｕ′，ｖ′）とすると、Ｆ：ｑ（ｕ，ｖ）→ｑ′（ｕ′，ｖ′）が補正画像への変換式となる。魚眼レンズの焦点距離をｆとすると、魚眼レンズが等距離射影方式である場合、ｒ＝ｆ・θの式が成立する。また、標準レンズの場合、入力角と出力角は等しいので、ｒ′＝ｆ・tanθの式も成立する。ｑ（ｕ，ｖ）、ｑ′（ｕ′，ｖ′）は、式（１）、（２）で表される。これにより、θは、式（３）で表され、変換係数ａが式（４）で表される。上述の結果及びｑは直線ｏｑ′上にあることから、ｕ′＝ａ・ｕ、ｖ′＝ａ・ｖにより、魚眼レンズ画像から補正画像への変換を行うことができる。
【００２９】
【数１】
【００３０】
図５は補正画像に変換された撮像画像の一例を示す説明図である。図に示すように、魚眼レンズで撮像して得られた撮像画像の歪みは補正される。
【００３１】
ＣＰＵ２８は、画像メモリ２３に記憶された変換処理後の第１及び第２の撮像画像を読み出し、読み出した第１の撮像画像の画素が有する輝度値の大小に基づいて、車両の角部、車灯部などの特徴部分を特徴点として特定する。例えば、３×３画素ブロック内の輝度値に基づいて、第１の撮像画像の全画素に対して特徴点を特定する。
【００３２】
ＣＰＵ２８は、特定した特徴点を中心とする矩形領域をテンプレートとし、第２の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素を相関点として特定する。
【００３３】
相関値は、式（５）で表される。
【００３４】
【数２】
【００３５】
ここで、矩形領域のサイズをＵｘＷ（Ｕ、Ｗは整数）、第１の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｒ）、第２の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｌ）、−Ｗ／２≦ｉ≦Ｗ／２、−Ｕ／２≦ｊ≦Ｕ／２（ｉ、ｊは整数）であり、−１≦相関値≦１である。また、式（６）は矩形領域内の平均輝度値である。
【００３６】
【数３】
【００３７】
これにより、ＣＰＵ２８は、第１の撮像画像における特徴点と、この特徴点に対して相関値が最大となる第２の撮像画像における相関点とを特定し、第１の撮像画像における特徴点の座標、及び第２の撮像画像における相関点の座標に基づいて、車両の撮像点、より正確には実空間上の点（特徴点及び相関点に対応する車両上の一部分）の三次元座標を算出する。すなわち、ステレオ画像に基づいて三次元座標を算出する。
【００３８】
図６はステレオ画像による三次元座標算出の例を示す説明図である。図に示すように、実空間の座標系を（Ｘ，Ｙ，Ｚ）、ビデオカメラ１、１の高さをＨ、ビデオカメラ１、１のＸ軸方向の離隔距離をｄ、ビデオカメラ１、１の焦点距離をｆ、第１の撮像画像の座標系を（Ｕ′R ，Ｖ′R ）、第２の撮像画像の座標系を（Ｕ′L ，Ｖ′L ）とし、実空間の座標における移動体の実空間上の点Ｐ１が、夫々第１の撮像画像及び第２の撮像画像に射影された座標をＲ（Ｕ′r ，Ｖ′r ）、Ｌ（Ｕ′l ，Ｖ′l ）、視差（Ｕ′r −Ｕ′l ）とすると、三次元座標算出処理は、実空間の座標における車両の実空間上の点Ｐ１の位置（Ｘ１，Ｙ１，Ｚ１）を式（７）で表される式に基づいて算出する。
【００３９】
【数４】
【００４０】
ＣＰＵ２８は、算出した三次元座標（Ｘ１，Ｙ１，Ｚ１）の高さＺ１が所定の閾値（例えば、Ｈｔｈ、具体的には、５０ｃｍなど）以上である実空間上の点を抽出し、抽出した実空間上の点を（Ｘ，Ｙ）座標上でプロットし、プロットされた実空間上の点に対応する第１の撮像画像における特徴点（又は第２の撮像画像における相関点）で構成される領域を矩形又は外接楕円で囲むことにより、この囲まれた領域を車両ブロック（車両領域）とする。
【００４１】
図７は車両ブロックの例を示す説明図である。図に示すように、車両ブロックは、撮像画像（第１の撮像画像又は第２の撮像画像）において、実空間における高さが所定の閾値より高い車両の実空間上の点に対応する特徴点又は相関点で構成される。図では、車両ブロックＭ１、Ｍ２、Ｍ３、Ｍ４が特定されることにより４つの車両が検出されている。なお、特定された車両ブロックの大きさ（幅、長さ）、形状、平均の高さなどに基づいて、車両の車種（大型車、小型車など）、二輪車、歩行者などを判定することも可能である。
【００４２】
これにより、路面の影又は反射を除去して広い範囲を移動する車両を従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両などを精度良く検出することができる。
【００４３】
図７に示すように、特定された車両ブロックが、Ｍ１とＭ２、Ｍ３とＭ４のように、接近又は隣接しているような場合、車両ブロックＭ１とＭ２を１つの車両ブロックとし、車両ブロックＭ３とＭ４を１つの車両ブロックとして誤って特定する虞もある。そこで、一層精度良く車両ブロックの特定（車両の検出）をすることができるように、撮像画像の画素（車両ブロックの画素）の動きベクトルに基づいて、車両同士が隣接するような場合でも精度良く個々の車両を分離して検出することができる。
【００４４】
図８は画素の動きベクトルを示す説明図である。図に示すように、撮像時点ｔk の撮像画像（例えば、第１の撮像画像）における画素Ｒj の座標が（ｕ′k ，ｖ′k ）、撮像時点ｔk+1 の撮像画像における画素Ｒj の座標が（ｕ′k+1 ，ｖ′k+1 ）である場合、動きベクトルＲＶj は、（ｕ′k+1 −ｕ′k ，ｖ′k+1 −ｖ′k ）となる。異なる撮像時点の時間間隔は、１フレーム間隔でもよく、また、数フレーム間隔であってもよい。なお、上述の画素は、複数の画素で構成される画素ブロックであってもよい。この場合は、画素ブロック毎に動きベクトルが決定される。
【００４５】
図９は移動体検出装置２の動きベクトルの算出例を示す説明図である。動きベクトルの算出方法は、ブロックマッチング法と勾配法とがある。本発明においては、ブロックマッチング法及び勾配法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。
【００４６】
まず、ブロックマッチング法について説明する。ブロックマッチング法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像（例えば、第１の撮像画像）を用いる。ブロックマッチング法は、時刻ｔの撮像画像において、注目画素Ｒ１を中心とする矩形領域をテンプレートとして登録し、時刻ｔ＋１の撮像画像における任意の画素を中心とする前記テンプレートと同じ大きさの矩形領域との相関値を算出し、算出した相関値が最大となる画素位置Ｒ２を検出するものである。
【００４７】
相関値は、式（８）で表される。
【００４８】
【数５】
【００４９】
ここで、矩形領域のサイズをＳｘＱ（Ｓ、Ｑは整数）、時刻ｔにおける第１の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｔ）、−Ｑ／２≦ｉ≦Ｑ／２、−Ｓ／２≦ｊ≦Ｓ／２（ｉ、ｊは整数）であり、−１≦相関値≦１である。また、式（９）は矩形領域内の平均輝度値である。
【００５０】
【数６】
【００５１】
上述の通り、ブロックマッチング法は、矩形領域（画素ブロック）の大きさを適宜変更することにより、動き量が大きい場合の動きベクトルを算出することができる。
【００５２】
次に、勾配法について説明する。勾配法は、動画像の各フレームのオプティカルフロー（動きベクトルの場）を求める方法として、各画素における輝度（明るさ）の空間的勾配と時間的勾配の関係を用いるものである。すなわち、勾配法は、撮像画像の輝度分布が動きに際して不変に保たれると仮定した勾配拘束式（すなわち、輝度の空間的勾配と時間的勾配の関係式）に基づいて、オプティカルフローを求める方法である。勾配法のうち、空間的局所最適化法は、特に計算量が少なく精度良好な方法であり、以下に説明する。
【００５３】
勾配法は、異なる撮像時点（例えば、時刻ｔと時刻ｔ＋１）の撮像画像を用いる。時刻ｔにおける第１の撮像画像の座標（ｕ′，ｖ′）の画素の輝度値をＩ（ｕ′，ｖ′，ｔ）とする。時刻ｔ＋１（時刻ｔに対してδｔだけ時間が経過したとする）において、座標（ｕ′，ｖ′）の画素が座標（ｕ′＋δｕ′，ｖ′＋δｖ′）に移動したとする。ここで、輝度は変化しないと仮定すると、Ｉ（ｕ′，ｖ′，ｔ）＝Ｉ（ｕ′＋δｕ′，ｖ′＋δｖ′，ｔ＋δｔ）の関係式が成立する。
【００５４】
上式の右辺をテイラー展開すると、式（１０）が得られる。
【００５５】
【数７】
【００５６】
ε（ｕ′，ｖ′，ｔ）は、２次以上の高次の項であり、微小であるためこれを無視するとともに、式（１０）の両辺をδｔで割り、δｔを０に近づけると、式（１１）を得る。この式は、オプティカルフローの勾配拘束式と呼ばれる。
【００５７】
【数８】
【００５８】
ここで、輝度勾配をＩｕ′＝∂Ｉ／∂ｕ′、Ｉｖ′＝∂Ｉ／∂ｖ′、時間勾配をＩｔ＝∂Ｉ／∂ｔとし、オプティカルフローをｂ＝δｕ′／δｔ、ｃ＝δｖ′／δｔとする。
【００５９】
所要の局所領域（Ｍ×Ｎ）（Ｍ、Ｎは整数）でオプティカルフローが一定であるという拘束条件を付加すると、前記局所領域で得られるオプティカルフローは、同一の解を持つと仮定するので、誤差Ｅは式（１２）で表される。ここで、−Ｍ／２≦ｉ≦Ｍ／２、−Ｎ／２≦ｊ≦Ｎ／２（ｉ、ｊは整数）は前記局所領域内の座標である。
【００６０】
【数９】
【００６１】
最小２乗法の考え方から、∂Ｅ／∂ｂ＝０、∂Ｅ／∂ｃ＝０を算出し、前記局所領域内で重み付け平滑化すると、数１０の（１３）式及び（１４）式を得る。ここでｗi,jは重み付けマトリクスであり、前記局所領域の中央部ほど重み付けが大きくなるような分布を持つマトリクスを使用することができる。
【００６２】
【数１０】
【００６３】
式（１３）、（１４）を解くことにより、オプティカルフロー（ｂ，ｃ）、すなわち、動きベクトルが数１１の（１５）式、（１６）式、及び（１７）式のように得られる。
【００６４】
【数１１】
【００６５】
上述の通り、勾配法は、ブロックマッチング法のように画素ブロックを用いる必要がないため、１画素未満の微小な動きベクトルであっても算出することができる。
【００６６】
図９に示すように、本発明に係る移動体検出装置２の動きベクトルの算出法は、まずブロックマッチング法により、撮像時点が異なる第１の撮像時点及び第２の撮像時点における撮像画像夫々で画素ブロックを用いて前記第１の撮像時点における撮像画像の画素の大きな動きベクトル（第１の動きベクトル）を算出する。算出した動きベクトルに応じて、前記第１の撮像時点における撮像画像の画素を移動して得られた新たな撮像画像及び前記第２の撮像時点における撮像画像夫々で局所領域を用いた勾配法により動きベクトル（第２の動きベクトル）を算出し、夫々の方法で算出した動きベクトル（第１及び第２の動きベクトル）を合成して最終的な動きベクトルを算出する。これにより、ブロックマッチング法により、大きな動きベクトルを算出するとともに、ブロックマッチング法では、算出することができない１画素未満の微小な動きベクトルも算出し、両者の動きベクトルを合成することにより、精度良く動きベクトルを求めることが可能になる。
【００６７】
図１０は動きベクトルを算出した場合の車両ブロックの例を示す説明図である。図に示すように、車両ブロックは、撮像画像（第１の撮像画像又は第２の撮像画像）において、実空間における高さが所定の閾値より高い車両の実空間上の点に対応する特徴点又は相関点夫々に対して、上述の動きベクトルを算出し、算出された動きベクトルが略一致するもの同士を１つの車両ブロックとして特定する。動きベクトルが略一致するか否かは、動きベクトルの大きさが略一致するか否か、動きベクトルの方向が略一致するか否かにより判定する。
【００６８】
これにより、例えば、交差点付近を右折する車両、左折する車両、直進する車両など様々な方向に走行する多くの車両が存在し、車両同士が重なって撮像された場合であっても、各車両を精度良く分離して検出することができる。
【００６９】
ＣＰＵ２８は、特定した車両ブロックの情報を用いて、所要の撮像時点の都度（例えば、各フレーム毎）、特定した車両ブロックをマッチングさせることにより、車両を追跡することができる。マッチングの方法としては、車両ブロックの幅、長さ、平均の高さによるマッチング、高さ分布などの相関度を用いることができる。
【００７０】
ＣＰＵ２８は、車両の追跡結果、交通規制情報又は信号現示情報などに基いて、信号無視、右折左折禁止違反、Ｕターン禁止違反などの交通違反判定を行う。また、ＣＰＵ２８
は、車両同士の追突又は衝突などの交通事故判定などを行う。
【００７１】
次に、本発明に係る移動体検出装置２の処理手順について説明する。図１１は移動体検出装置２の動きベクトル算出の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔのフレームｆt 、撮像時点ｔ＋１のフレームｆt+1 ）を画像メモリ２３から取得する（Ｓ１０）。
【００７２】
ＣＰＵ２８は、取得した一方の撮像画像の画素ブロック（例えば、７×１５画素）毎に、画素ブロック内画素が有する輝度値（又は階調値など）に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する（Ｓ１１）。２つの撮像画像間で一致する画素ブロックを特定する場合、上述した相関値を用いることができる。
【００７３】
ＣＰＵ２８は、２つの撮像画像で一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、ブロックマッチング法による各画素の動きベクトルを算出する（Ｓ１２）。なお、座標変化が無い場合は、動きベクトルはゼロである。
【００７４】
ＣＰＵ２８は、撮像時点ｔにおける撮像画像の画素毎に算出した動きベクトルに応じて、各画素を動きベクトル分（大きさ及び方向）だけ移動させた撮像画像を生成する（Ｓ１３）。
【００７５】
ＣＰＵ２８は、生成した撮像画像及び撮像時点ｔ＋１における撮像画像に対して、勾配法により動きベクトルを算出し（Ｓ１４）、ブロックマッチング法により算出した動きベクトルと勾配法により算出した動きベクトルを合成して最終的な動きベクトルを算出する（Ｓ１５）。
【００７６】
ＣＰＵ２８は、動きベクトルの算出処理が終了したか否かを判定し（Ｓ１６）、算出処理が終了でない場合（Ｓ１６でＮＯ）には、ステップＳ１０以降の処理を続ける。算出処理が終了した場合（Ｓ１６でＹＥＳ）、ＣＰＵ２８は、処理を終了する。
【００７７】
図１２は移動体検出装置２の車両検出の処理手順を示すフローチャートである。ＣＰＵ２８は、画像メモリ２３から第１の撮像画像及び第２の撮像画像を取得する（Ｓ２０）。ＣＰＵ２８は、取得した撮像画像の歪みを補正するための変換処理を行って補正画像を作成する（Ｓ２１）。ＣＰＵ２８は、補正後の第１の撮像画像において、車両候補に対応する特徴点を特定し（Ｓ２２）、特徴点に相関する相関点を補正後の第２の撮像画像において検索する（Ｓ２３）。
【００７８】
ＣＰＵ２８は、特定した特徴点及び相関点の撮像画像における座標に基づいて、車両候補の実空間上の点の三次元座標を算出し（Ｓ２４）、実空間上の点の高さが所定の閾値以上であるか否かを判定する（Ｓ２５）。
【００７９】
実空間上の点の高さが所定の閾値以上である場合（Ｓ２５でＹＥＳ）、ＣＰＵ２８は、その実空間上の点をプロットすることにより、車両ブロックの画素を抽出する（Ｓ２６）。ＣＰＵ２８は、すべての相関点について処理を行ったか否かを判定し（Ｓ２７）、すべての相関点について処理が終わっていない場合（Ｓ２７でＮＯ）、ステップＳ２５以降の処理を続ける。
【００８０】
すべての相関点について処理が終わった場合（Ｓ２７でＹＥＳ）、ＣＰＵ２８は、車両ブロックの画素の動きベクトルの大きさ、角度差を算出する（Ｓ２８）。実空間上の点の高さが所定の閾値以上でない場合（Ｓ２５でＮＯ）、ＣＰＵ２８は、ステップＳ２７以降の処理を続ける。
【００８１】
ＣＰＵ２８は、算出した動きベクトルの大きさが略一致するか否かを判定し（Ｓ２９）、動きベクトルの大きさが略一致する場合（Ｓ２９でＹＥＳ）、動きベクトルの角度差が所定の角度閾値以下であるか否かを判定する（Ｓ３０）。動きベクトルの角度差が所定の角度閾値以下である場合（Ｓ３０でＹＥＳ）、ＣＰＵ２８は、動きベクトルが略一致する画素から構成される車両ブロックを１つの車両として検出し（Ｓ３１）、処理を終了する。
【００８２】
動きベクトルの大きさが略一致しない場合（Ｓ２９でＮＯ）、ＣＰＵ２８は、ステップＳ２８以降の処理を続ける。また、動きベクトルの角度差が所定の角度閾値以下でない場合（Ｓ３０でＮＯ）、ＣＰＵ２８は、ステップＳ２８以降の処理を続ける。
【００８３】
図１３は交通状況判定の処理手順を示すフローチャートである。ＣＰＵ２８は、上述の車両検出処理を行い（Ｓ４０）、交通違反の有無を判定するための交通違反判定の処理を行い（Ｓ４１）、交通事故の有無を判定するための交通事故判定の処理を行う（Ｓ４２）。ＣＰＵ２８は、例えば、管制センタ装置４からの終了指令が有るか否かを判定し（Ｓ４３）、終了指令がない場合（Ｓ４３でＮＯ）、ステップＳ４０以降の処理を続け、終了指令が有る場合（Ｓ４３でＹＥＳ）、処理を終了する。
【００８４】
図１４は交通違反判定の処理手順を示すフローチャートである。ＣＰＵ２８は、道路上の交通規制に対応する規制領域が予め設定された撮像画像において、記録された車両ブロックの座標に基づいて、車両ブロックが規制領域内に有るか否かを判定する（Ｓ４１１）。
【００８５】
車両ブロックが規制領域内に有る場合（Ｓ４１１でＹＥＳ）、ＣＰＵ２８は、規制領域に関連する規制情報（例えば、規制領域での走行禁止方向のように交通流の規制方向、又は、該規制方向と、制限速度に対応する大きさとに基づいて定められる規制ベクトルなどを含む）を記憶部２６から読み出し（Ｓ４１２）、車両ブロックの動きベクトルの方向と規制方向とを比較する（Ｓ４１３）。
【００８６】
ＣＰＵ２８は、車両ブロックの動きベクトルの方向と規制方向とが略一致するか否かを判定し（Ｓ４１４）、略一致する場合（Ｓ４１４でＹＥＳ）、交通違反と判定し（Ｓ４１５）、判定結果を管制センタ装置４へ通知する。ＣＰＵ２８は、他の規制領域が有るか否かを判定し（Ｓ４１６）、他の規制領域が有る場合（Ｓ４１６でＹＥＳ）、ステップＳ４１１以降の処理を続ける。一方、略一致しない場合（Ｓ４１４でＮＯ）、ＣＰＵ２８は、ステップＳ４１６以降の処理を続ける。車両ブロックが規制領域内にない場合（Ｓ４１１でＮＯ）、ＣＰＵ２８は、ステップＳ４１６以降の処理を続ける。他の規制領域がない場合（Ｓ４１６でＮＯ）、ＣＰＵ２８は、交通違反判定処理を終了する。
【００８７】
図１５は撮像画像の規制領域の例を示す説明図である。交差点の角部であって、交差点手前の停止線夫々の前方に規制領域５０ａ、５０ｂ、５０ｃ、５０ｄを設定し、交差点中央部に規制領域５０ｅを設定している。規制領域５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅは、交差点の信号表示に応じて走行禁止方向を規制し、規制領域５０ａ、５０ｂ、５０ｅは、時間に応じて右折禁止などの走行禁止方向を規制する。また、規制領域５０ａ、５０ｂ、５０ｃ、５０ｄは、制限速度を規制する。これらの走行禁止方向、制限速度などの規制情報は、規制領域に対応付けた規制情報テーブル２６１を記憶部２６に記憶している。
【００８８】
図１６は規制情報テーブルのレコードレイアウトを示す説明図である。規制領域毎に、撮像画像上でのｖ軸方向（上下方向）の道路に対する信号表示、走行禁止方向を示す規制
ベクトルの方向（規制方向）、規制領域を時間帯別に規制する場合の規制時間、該規制時間帯での走行禁止方向を示す規制ベクトルの方向、制限速度を示す規制ベクトルの大きさなどの欄により構成してある。なお、規制情報テーブルの内容は一例であって、これに限定するものではなく、交差点の交通規制状況に応じて適宜設定することができる。
【００８９】
動きベクトルの方向と規制方向を比較する場合に、交差点の信号表示を検知し、信号表示に応じた規制方向と比較することも可能である。また、動きベクトルの方向と規制方向とを比較する場合に、現在時刻を検知し、現在時刻が規制時間帯にあるか否かを判定して、所定の規制方向と比較することも可能である。さらに、動きベクトルの大きさが、制限速度を規定する規制ベクトルの大きさよりも大きいか否かを判定して、規制ベクトルの大きさよりも大きい場合に、速度違反と判定することも可能である。
【００９０】
図１７は交通事故判定の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像画像において車両ブロックが複数有るか否かを判定する（Ｓ４２１）。車両ブロックが複数（例えば、車両ブロックＡ、Ｂ）有る場合（Ｓ４２１でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔを記録する（Ｓ４２２）。撮像時点ｔの車両ブロックＡ、Ｂが存在した領域をＡｔ、Ｂｔとする。ＣＰＵ２８は、動きベクトルに基づいて、撮像時点ｔ＋１での車両ブロックＡ、Ｂの移動先の領域を予想する（Ｓ４２３）。撮像時点ｔ＋１に車両ブロックＡ、Ｂが存在する領域をＡｔ＋１、Ｂｔ＋１とする。車両ブロックが複数ない場合（Ｓ４２１でＮＯ）、ＣＰＵ２８は、処理を終了する。
【００９１】
ＣＰＵ２８は、領域Ａｔ＋１、Ｂｔ＋１の重複領域Ｃｔ＋１が有るか否かを判定し（Ｓ４２４）、重複領域Ｃｔ＋１が有る場合（Ｓ４２４でＹＥＳ）、重複領域Ｃｔ＋１を構成する画素ブロック数が所定の閾値より大きいか否かを判定する（Ｓ４２５）。重複領域Ｃｔ＋１がない場合（Ｓ４２４でＮＯ）、ＣＰＵ２８は、処理を終了する。
【００９２】
画素ブロック数が閾値より大きい場合（Ｓ４２５でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での重複領域Ｃｔ＋１の輝度差を算出する（Ｓ４２６）。この場合、領域Ａｔ＋１、Ｂｔ＋１に対応する車両同士が、撮像時点ｔ＋１で衝突する可能性が高いと判断される。画素ブロック数が閾値より小さい場合（Ｓ４２５でＮＯ）、ＣＰＵ２８は、処理を終了する。
【００９３】
ＣＰＵ２８は、算出した輝度差が所定の輝度閾値より大きいか否かを判定する（Ｓ４２７）。重複領域Ｃｔ＋１の輝度差が輝度閾値より大きい場合（Ｓ４２７でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差を算出する（Ｓ４２８）。重複領域Ｃｔ＋１の輝度差が輝度閾値より小さい場合（Ｓ４２７でＮＯ）、ＣＰＵ２８は、処理を終了する。この場合には、車両ブロックＡ、Ｂに対応する車両のいずれか、又は両方が停止したと判断される。ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差が所定の輝度閾値より大きいか否かを判定する（Ｓ４２９）。
【００９４】
領域Ａｔ、Ｂｔ夫々の輝度差が輝度閾値より大きい場合（Ｓ４２９でＹＥＳ）、ＣＰＵ２８は、交通事故と判定し（Ｓ４３０）、判定結果を管制センタ装置４へ通知して処理を終了する。領域Ａｔ、Ｂｔいずれかの輝度差が輝度閾値より小さい場合（Ｓ４２９でＮＯ）、ＣＰＵ２８は、処理を終了する。領域Ａｔ、Ｂｔ夫々の輝度差が輝度閾値より大きい場合は、車両ブロックＡ、Ｂに対応する各車両が重複領域に対応する道路上の衝突可能性領域に進入したものと判断され、交通事故の発生の有無の判定をさらに正確に行うことができる。なお、ステップＳ４２９での判定を行わずに、ステップＳ４２７での判定結果のみに基づいて、事故の有無を判定することも可能である。この場合は、処理に要する労力を低減することが可能になる。
【００９５】
図１８は撮像画像の重複領域の例を示す説明図である。図に示すように、撮像画像上で互いに交差する道路上を交差点に向かって走行する車両に対応する車両ブロックＡ、Ｂを特定した場合、車両ブロックＡが時刻ｔ及びｔ＋１に存在した領域を、夫々Ａｔ、Ａｔ＋１とし、同様に車両ブロックＢが時刻ｔ及びｔ＋１に存在した領域を、夫々Ｂｔ、Ｂｔ＋１とする。時刻ｔ＋１で、車両ブロックＡｔ、Ｂｔが重なると予想される重複領域Ｃｔ＋１は、領域Ａｔ＋１及びＢｔ＋１が重なる部分である。
【００９６】
なお、上述の説明では、車両を検出する場合について説明したが、本発明は車両の検出に限定されるものではなく、歩行者の検出にも適用することができる。
【００９７】
以上説明したように、本発明にあっては、路面の影又は反射を除去して広い範囲を移動する車両、人などを従来よりも精度良く検出することができ、例えば、交差点全域において、直進する車両のみならず右折車、左折車などの車両、歩行者などを精度良く検出することができる。また、交差点付近を右折する車両、左折する車両、直進する車両など様々な方向に走行する多くの車両が存在し、車両同士が重なって撮像された場合であっても、各車両を精度良く分離して検出することができる。
【００９８】
上述の実施の形態においては、撮像画像の１フレーム毎に処理を行うこともできる。また、複数のフレームの都度、間引きして処理を行うようにしてもよい。
【００９９】
上述の実施の形態においては、動きベクトルを算出する場合に、ブロックマッチング法及び勾配法で算出した動きベクトルを合成して最終的な動きベクトルを算出するものであったが、これに限定されるものではなく、ブロックマッチング法又は勾配法のいずれかのみを用いてもよく、また、移動体までの距離に応じてブロックマッチング法及び勾配法を使い分けることもできる。すなわち、移動体が遠距離にある場合、動きベクトルの大きさは比較的小さく、１画素未満の微小な動きベクトルも算出することができる勾配法が優れている。一方、移動体が近距離にある場合、動きベクトルは大きく変化するため、効率よく大きな動きベクトルを算出できるブロックマッチング法が優れている。
【０１００】
上述の実施の形態において、夜間の車両検出、交通状況判定を行うため、赤外線ビデオカメラを用いることもできる。
【０１０１】
上述の実施の形態においては、ビデオカメラ１、１と移動体検出装置２とは、別個の装置で構成されていたが、ビデオカメラ１、１と移動体検出装置２とを統合して、ひとつの装置として構成してもよい。
【０１０２】
上述の実施の形態においては、撮像画像のすべての画素に対して動きベクトルを算出する構成であったが、複数の画素で構成されるブロック毎に動きベクトルを算出する構成であってもよい。
【０１０３】
上述の実施の形態においては、相関点を特定する場合に、式（５）で表される相関値を用い、ブロックマッチング法で動きベクトルを算出する場合に、式（８）で表される相関値を用いる構成であったが、これに限定されるものではなく、画素ブロック内画素の差分階調値の絶対値の和、画素の平均階調値の差の絶対値、画素の階調値の標準偏差の差の絶対値など、いずれの方法を用いてもよい。
【０１０４】
上述の実施の形態において用いた規制情報テーブルは、一例であって、これに限定されるものではない。他の情報を追加することも可能である。また、管制センタ装置４から、交通状況に応じて、移動体検出装置２に対して、夫々異なる所望の規制情報テーブルに更
新することもできる。また、規制ベクトルの方向は、走行禁止方向を特定するものであったが、走行許容方向を用いることも可能である。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施の形態に係る移動体検出装置の設置例を示す模式図である。
【図２】移動体検出装置の構成を示すブロック図である。
【図３】魚眼レンズで撮像した撮像画像の一例を示す説明図である。
【図４】魚眼レンズで撮像した撮像画像を補正画像に変換する例を示す説明図である。
【図５】補正画像に変換された撮像画像の一例を示す説明図である。
【図６】ステレオ画像による三次元座標算出の例を示す説明図である。
【図７】車両ブロックの例を示す説明図である。
【図８】画素の動きベクトルを示す説明図である。
【図９】移動体検出装置の動きベクトルの算出例を示す説明図である。
【図１０】動きベクトルを算出した場合の車両ブロックの例を示す説明図である。
【図１１】移動体検出装置の動きベクトル算出の処理手順を示すフローチャートである。
【図１２】移動体検出装置の車両検出の処理手順を示すフローチャートである。
【図１３】交通状況判定の処理手順を示すフローチャートである。
【図１４】交通違反判定の処理手順を示すフローチャートである。
【図１５】撮像画像の規制領域の例を示す説明図である。
【図１６】規制情報テーブルのレコードレイアウトを示す説明図である。
【図１７】交通事故判定の処理手順を示すフローチャートである。
【図１８】撮像画像の重複領域の例を示す説明図である。
【符号の説明】
【０１０６】
１ ビデオカメラ
２ 移動体検出装置
３ 信号機
４ 管制センタ装置
２１ 画像入力部
２２ Ａ／Ｄ変換部
２３ 画像メモリ
２４ ＲＡＭ
２５ 通信部
２６ 記憶部
２７ 補助記憶部
２８ ＣＰＵ
【特許請求の範囲】
【請求項１】
道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、
広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する取得手段と、
前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する特定手段と、
特定された特徴点に相関する相関点を前記第２の撮像画像で検索する検索手段と、
検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する算出手段と、
算出された高さが所定の閾値より高い実空間上の点を抽出する抽出手段と、
抽出された実空間上の点に基づいて移動体を検出する検出手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
前記抽出手段で抽出された実空間上の点に対応する特徴点又は相関点の動きベクトルを算出する手段と、
算出された動きベクトルが略一致する特徴点又は相関点を特定する手段と
を備え、
前記検出手段は、
前記特徴点又は相関点に基づいて移動体を検出するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
広角レンズを有する２つの撮像手段を備え、
前記取得手段は、
前記撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
コンピュータに、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、
コンピュータを、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する手段と、
コンピュータを、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する手段と、
コンピュータを、特定された特徴点に相関する相関点を前記第２の撮像画像で検索する手段と、
コンピュータを、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する手段と、
コンピュータを、算出された高さが所定の閾値より高い実空間上の点を抽出する手段と、
コンピュータを、抽出された実空間上の点に基づいて移動体を検出する手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項５】
道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出方法において、
広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、
前記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、
特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、
検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、
算出された高さが所定の閾値より高い実空間上の点を抽出し、
抽出された実空間上の点に基づいて移動体を検出することを特徴とする移動体検出方法。
【請求項１】
道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、
広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する取得手段と、
前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する特定手段と、
特定された特徴点に相関する相関点を前記第２の撮像画像で検索する検索手段と、
検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する算出手段と、
算出された高さが所定の閾値より高い実空間上の点を抽出する抽出手段と、
抽出された実空間上の点に基づいて移動体を検出する検出手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
前記抽出手段で抽出された実空間上の点に対応する特徴点又は相関点の動きベクトルを算出する手段と、
算出された動きベクトルが略一致する特徴点又は相関点を特定する手段と
を備え、
前記検出手段は、
前記特徴点又は相関点に基づいて移動体を検出するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
広角レンズを有する２つの撮像手段を備え、
前記取得手段は、
前記撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得するように構成してあることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
コンピュータに、道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、
コンピュータを、広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得する手段と、
コンピュータを、前記第１の撮像画像に基づいて、移動体候補の特徴点を特定する手段と、
コンピュータを、特定された特徴点に相関する相関点を前記第２の撮像画像で検索する手段と、
コンピュータを、検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出する手段と、
コンピュータを、算出された高さが所定の閾値より高い実空間上の点を抽出する手段と、
コンピュータを、抽出された実空間上の点に基づいて移動体を検出する手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項５】
道路を含む撮像領域を撮像して得られた撮像画像に基づいて移動体を検出する移動体検出方法において、
広角レンズを有する２つの撮像手段で共通の撮像領域を撮像して得られた第１の撮像画像及び第２の撮像画像を取得し、
前記第１の撮像画像に基づいて、移動体候補の特徴点を特定し、
特定された特徴点に相関する相関点を前記第２の撮像画像で検索し、
検索された相関点及び該相関点と相関する特徴点夫々の撮像画像における座標に基づいて、前記特徴点又は相関点に対応する移動体候補の実空間上の点の高さを含む三次元座標を算出し、
算出された高さが所定の閾値より高い実空間上の点を抽出し、
抽出された実空間上の点に基づいて移動体を検出することを特徴とする移動体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００７−３１６８５６（Ｐ２００７−３１６８５６Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４４４５５（Ｐ２００６−１４４４５５）
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【Ｆターム（参考）】
[ Back to top ]