ステレオカメラ侵入検知システム
【課題】侵入検知システムのためのシステムおよび方法を提供。
【解決手段】この侵入検知システムは、監視領域の第１視覚画像を取得するように構成された第１カメラと、監視領域の第２視覚画像を取得するように構成された第２カメラとを備える。この侵入検知システムは、第１画像を監視領域の背景画像と比較するように構成された検出装置も備える。この検出装置は、第１画像と背景画像との間の差分を、潜在的侵入物としてマーキングすることができる。この侵入検知システムはさらに、第１画像の各々を第２画像の各々と比較して評価して、潜在的侵入物に関連付けられた３次元特徴を判定するように構成されたトラッキング装置を備える。
【解決手段】この侵入検知システムは、監視領域の第１視覚画像を取得するように構成された第１カメラと、監視領域の第２視覚画像を取得するように構成された第２カメラとを備える。この侵入検知システムは、第１画像を監視領域の背景画像と比較するように構成された検出装置も備える。この検出装置は、第１画像と背景画像との間の差分を、潜在的侵入物としてマーキングすることができる。この侵入検知システムはさらに、第１画像の各々を第２画像の各々と比較して評価して、潜在的侵入物に関連付けられた３次元特徴を判定するように構成されたトラッキング装置を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に侵入検知システムに関し、より詳細にはステレオカメラ侵入検知システムに関する。
【背景技術】
【０００２】
現代社会において、また有史に渡って、常にセキュリティ対策が必要とされてきた。この対策は盗難、機密資料および機密領域、ならびに様々な他のアプリケーションに対する不正アクセスを防止するために使用されてきた。このような一般的なセキュリティ対策には、侵入検知システムが含まれる。典型的に、侵入検知システムはビデオ監視を内蔵する。ビデオ監視は、保護が求められる施設周辺に位置する１つまたは複数のビデオカメラが取得したビデオフィードを監視することを含む。ビデオフィードを監視することは典型的に、警備員または警察等により人手で行われる。しかしながら、潜在的なセキュリティ脅威は、長期間または平穏無事な期間の中での独立事象であるため、退屈してしまうことが重大な問題となり、従ってセキュリティ不備となる可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
退屈さの問題を克服するため、幾つかの自動侵入検知システムが開発されてきた。この自動システムは、人間の監視を支援するための様々なコンピュータビジョンアルゴリズムを内蔵することができる。典型的には、変化検出アルゴリズムを使用して監視領域内の範囲を識別し、その範囲は監視員がより慎重に再調査する価値がある。しかしながら、このようなシステムは、環境の変化から生じるものなど、誤検知したものを記録する可能性が非常に高い。この環境の変化には例えば、遠方の背景変化、風に飛ばされた低木、カメラの振動、雲の通過による明るさの変化、および夜間の光線移動などがある。そのため、結果として生じる高確率の誤検知は、経験豊かなセキュリティ監視員でさえも疲弊させる可能性がある。誤検知の条件を解決するため、そのゾーン内での活動に対してはアラームが作動しない空値ゾーンを、オペレータが画定することのできるシステムもある。しかしながら、上記の解決法では侵入物を見逃す場合があり、従ってセキュリティ不備となる可能性がある。
【０００４】
退屈さに関連する問題に加えて、典型的な自動侵入検知システムは、多数のさらなる難点に悩まされる可能性がある。例えば、カメラベースの侵入検知システムは典型的に、下を見下ろす非常に高い位置に取り付けられるカメラを含む。そのため、このような侵入検知システムは、カメラの視野内の地上における侵入物の位置にのみ基づいて、侵入物の位置を判定することができる。しかしながら上記の配置は、設置および維持が困難である可能性があり、特別な取り付け装置および付属品を必要とするので、高価になる可能性がある。さらに、上記システムの視野は限定される場合がある。そのため、侵入物は検知される前に上記システムを目にすることもあり、従って侵入物に盲点を利用する機会を与え、または侵入物は自動侵入検知システムを無効にする他の対応策を考案することができる。
【課題を解決するための手段】
【０００５】
本発明の１実施態様は、侵入検知システムを含む。この侵入検知システムは、監視領域の第１画像を取得するように構成された第１カメラと、監視領域の第２画像を取得するように構成された第２カメラとを備える。この侵入検知システムは、前述の第１画像を監視領域の背景画像と比較するように構成された検出装置も備える。この検出装置は、前述の第１画像と前述の背景画像との差分を潜在的侵入物としてマーキングすることができる。この侵入検知システムはさらに、前述の第２画像の各々に対して前述の第１画像の各々を評価し、潜在的侵入物に関連付けられた３次元特徴を判定するように構成されたトラッキング装置を備える。
【０００６】
本発明の別の実施態様は、監視領域内の侵入物を検知する方法を含む。この方法は、第１カメラから前述の監視領域の第１画像を取得すること、第２カメラから前述の監視領域の第２画像を取得すること、および前述の監視領域の背景画像を生成することを含む。この方法は、第１画像に関連付けられた第１画素を前述の監視領域の背景画像に関連付けられた第２画素に相関させて、前述の第１画素が前述の第２画素と水平および垂直に整列するようにすることも含む。この方法は、前述の第１画像と前述の監視領域の背景画像とを比較して、潜在的侵入物の存在を判定することも含む。この方法はさらに、前述の第１画像と前述の第２画像の相対的比較に基づいて、前述の潜在的侵入物の３次元特徴を判定すること、および前述の潜在的侵入物の３次元特徴が少なくとも１つの所定閾値を超過する場合に、インジケータをアクティブにすることを含む。
【０００７】
本発明の別の実施態様は、侵入検知システムを含む。この侵入検知システムは、監視領域の第１画像と第２画像とを同時に取得する手段を備える。この侵入検知システムは、前述の監視領域の背景画像を連続的に生成する手段も備える。この侵入検知システムはまた、前述の第１画像と前述の背景画像との間の差分に基づいて、潜在的侵入物を検知する手段も備える。この侵入検知システムはさらに、前述の第１画像と前述の第２画像とに基づいて前述の潜在的侵入物の３次元特徴を判定する手段、および前述の潜在的侵入物の３次元特徴に基づいて、インジケータをアクティブにする手段を備える。
【発明を実施するための最良の形態】
【０００８】
本発明は、典型的に侵入検知システムに関し、より詳細にはステレオカメラ侵入検知システムに関する。１対のステレオカメラはそれぞれ、監視領域の並列画像を取得する。カメラの１つまたは両方からの取得画像は、背景画像と比較することができる。従って、背景画像をカメラの１つから生成することができるか、またはカメラを別個の背景画像と比較することができる。取得画像の各々に基づいて背景画像を常時更新し、監視領域環境内の微妙な変化をゆっくりと捕捉することができる。さらに、背景画像を取得画像の各々と相関させ、取得画像と背景画像の各々の画素を水平および垂直に整列することができる。
【０００９】
取得画像と背景画像における差分を検出する際、異なる画素を潜在的侵入物として概説することができる。各カメラからの取得画像を相関させ、あるカメラから取得した画像における潜在的侵入物の２次元位置の、他のカメラに対する視差間隔を判定することができる。視差間隔を判定する際、潜在的侵入物の３次元位置、大きさ、および動作を判定することができる。潜在的侵入物の位置、大きさ、および／または動作は、少なくとも１つの所定閾値と比較することができ、潜在的侵入物が所定閾値を超える際にインジケータを鳴らすことができる。
【００１０】
図１は、本発明の態様によるステレオカメラ侵入検知システム１０の例を示す。ステレオカメラ侵入検知システム１０は、第１カメラ１４および第２カメラ１６を含むステレオ画像取得台１２を含む。第１カメラ１４および第２カメラ１６は、デジタルカメラであってもよい。または、第１カメラ１４および第２カメラ１６は、アナログカメラ画像であってもよく、第１カメラ１４および第２カメラ１６から取得した画像は、デジタイザ（図示せず）に出力することができる。第１カメラ１４および第２カメラ１６は、同一監視領域の画像を並列に取得するように構成することができる。そのため、第１カメラ１４および第２カメラ１６は互いに対してステレオで動作し、それらを互いに近い位置（例えば、１メートル）に取り付けることができる。取得画像はそれぞれ、第１カメラ１４および第２カメラ１６によりそれぞれ高速（例えば、１秒あたり１５フレーム）で収集され、別個に取得されたフレームとなることができる。第１カメラ１４および第２カメラ１６は従って、それら各々の物理的間隔に基づく各々の視点においてのみ異なる、ほぼ同じ画像を取得することができる。そのため、以下でさらに詳細に説明するように、ステレオ画像取得台１２は潜在的侵入物の３次元位置を検出することができる。
【００１１】
潜在的侵入物の３次元位置を検出する能力により、ステレオ画像取得台１２を最適に配置することができる。ステレオカメラ侵入検知システム１０は、潜在的侵入物の３次元位置を検出できるため、ステレオ画像取得台１２を高い位置に取り付ける必要がない。代わりに、ステレオ画像取得台１２を床の高さ近くに、かつ床に平行に取り付けることができる。上記のような取り付け配置は、高い位置に置くよりも非常に廉価で、かなり人目につきにくい。そのため、潜在的侵入物はステレオ画像取得台１２を検知することができず、従って隠れる機会、または対応策を実施する機会を潜在的侵入物から奪うことができる。
【００１２】
取得画像はステレオ画像取得台１２からトークン検出器１８に出力される。トークン検出器１８は、第１カメラ１４および／または第２カメラ１６からの取得画像を背景画像と比較するように構成される。以下でさらに詳細に説明するように、トークン検出器１８は、第１カメラ１４および／または第２カメラ１６からの取得画像の各々に関連付けられた画素と背景画像に関連付けられた画素との間の差分に基づいて、潜在的侵入物の存在を判定することができる。さらに、または代替的に、以下でさらに詳細に説明するように、トークン検出器１８は、第１カメラ１４および／または第２カメラ１６からの取得画像と背景画像との間のテクスチャ差分に基づいて、潜在的侵入物の存在を判定することができる。
【００１３】
背景画像は、背景画像生成器２０により生成することができる。背景画像生成器２０は、ステレオ画像取得台１２から入力を受信するものとして、図１の例に示されている。入力は、第１カメラ１４、第２カメラ１６、または第１カメラ１４および第２カメラ１６の両方からの入力であってよい。従って、背景画像生成器２０は、第１カメラ１４、第２カメラ１６からの取得画像に基づいて背景画像を生成することができるか、または第１カメラ１４および第２カメラ１６の各々から１つ、独立した背景画像を生成することができる。
【００１４】
背景画像生成器２０は、第１カメラ１４および／または第２カメラ１６からの取得画像の複数画素によって背景画像を周期的に更新することで、背景画像を連続的に生成し続けることができる。そのため、通過する太陽が投射する影などのような監視領域内の漸進的な環境変化を背景画像に取り込むことができる。ステレオカメラ侵入検知システム１０は従って、漸進的な環境変化に基づく誤検知を記録しない。さらに、背景画像生成器２０が生成する背景画像を安定化することができる。以下の図２の例でさらに詳細に説明するように、安定化した背景画像を、第１カメラ１４および／または第２カメラ１６からの取得画像と水平または垂直に整列して、カメラバウンスを補償することができる。
【００１５】
第１カメラ１４および第２カメラ１６の各々からの取得画像の各々に対して、トークン検出器１８は、それぞれの取得画像と背景画像との間の画素差分の絶対値を示す差分画像を生成することができる。トークン検出器１８は次いで、差分画像上で画素充填アルゴリズムを実施し、差分画像上で近接する差分画素を接続して候補トークンを示すことができる。候補トークンは、潜在的侵入物を表すことができる。
【００１６】
代替実施態様において、図７の例に示すように、トークン検出器１８は画像フィルタアルゴリズムを含み、第１カメラ１４、第２カメラ１６からの取得画像、および背景画像を全てフィルタリングすることができる。第１カメラ１４および第２カメラ１６からのフィルタリング画像を、トークン検出器１８によりフィルタリング背景画像と比較して、それぞれ背景画像と比較した第１カメラ１４および第２カメラ１６からの取得画像間のテクスチャ変化を判定することができる。このような方法で、取得画像と背景画像との間の明るさおよびコントラストの差分は、ステレオカメラ侵入検知システム１０により無視することができる。第１カメラ１４および第２カメラ１６からのフィルタリング画像とフィルタリング背景画像との間のテクスチャ差分は、潜在的侵入物を表すことが可能な候補トークンとなることができる。しかしながら、トークン検出器１８はさらに、潜在的侵入物の存在を重複して判定する方法として絶対値画素差分を使用し、候補トークンを評価することができる。
【００１７】
ステレオカメラ侵入検知システム１０は、画像トラッキング装置２２も含む。画像トラッキング装置２２は、位置取得エンジン２４、３次元動作計算器２６、および閾値比較器２８を含む。トークン検出器１８は、候補トークンの位置を位置取得エンジン２４に通信する。さらに、ステレオ画像取得台１２は、第１カメラ１４および第２カメラ１６の１つまたは両方により取得された画像を位置取得エンジン２４に送信することができる。位置取得エンジン２４は、潜在的侵入物に関連付けられた３次元位置および大きさを判定するように構成される。例えば、位置取得エンジン２４は、第１カメラ１４から取得した画像と第２カメラ１６から取得した画像とを結合することができる。位置取得エンジン２４は次いで、第１カメラ１４および第２カメラ１６から取得した各画像に相関アルゴリズムを適用して、第１カメラ１４により取得された画像内の候補トークンの第２カメラ１６により取得された画像に対する相対的２次元位置を判定することができる。従って、位置取得エンジン２４は、第１カメラ１４により取得された画像内の潜在的侵入物の第２カメラ１６に対する視差間隔に基づいて、潜在的侵入物の３次元位置および大きさを判定することができる。
【００１８】
潜在的侵入物の視差間隔を判定することにおいて、位置取得エンジン２４は、画像フィルタリングアルゴリズムを第１カメラ１４および第２カメラ１６により取得された画像の各々に適用して、第１のフィルタリング画像および第２のフィルタリング画像をそれぞれ取得することができる。フィルタリングアルゴリズムは例えば、ラプラシアン・ガウシアン符号（ＳＬＯＧ）フィルタリングアルゴリズムであってよい。さらに、位置取得エンジン２４は、複数のフィルタリングアルゴリズムを第１カメラ１４および第２カメラ１６からの各画像に適用することができ、各フィルタリング画像は異なる解像度を有することができる。位置取得エンジン２４は次いで、第１のフィルタリング画像を第２のフィルタリング画像に重ね合わせ、相関アルゴリズムを適用することができる。この重ね合わせは、トークン検出器１８からの通信時に、第１のフィルタリング画像内の候補トークンを第２のフィルタリング画像内の潜在的侵入物の近似位置に重ね合わせることを含むことができる。第１カメラ１４および第２カメラ１６の両方が取得した画像上の候補トークンを判定するステレオカメラ侵入検知システム１０の例において、位置取得エンジン２４は、画像フィルタリングアルゴリズムを適用せずに、相関アルゴリズムの適用前に第１カメラ１４からの差分画像を第２カメラ１６からの差分画像上に単純に重ね合わせてもよい。
【００１９】
例として、相関アルゴリズムは、反復画素シフトアルゴリズムを含んでもよい。この反復画素シフトアルゴリズムは、第１のフィルタリング画像を第２のフィルタリング画像に対して少なくともシフトあたり１画素シフトし、第１のフィルタリング画像を各シフトでそれぞれの第２のフィルタリング画像と比較する。この比較は、各シフトに対して相関スコアを判定することを含んでもよい。最高相関スコアを有するシフトを判定する際、位置取得エンジン２４は潜在的侵入物の視差間隔を、第１画像と第２画像との間のオフセット画素数に基づいて判定することができる。位置取得エンジン２４は次いで、オフセット画素数を３次元空間における測定単位に変換して、潜在的侵入物の３次元位置および大きさを判定することができる。
【００２０】
当然のことながら、潜在的侵入物の３次元位置および大きさを判定する際、位置取得エンジン２４は、第１カメラ１４からの所与の画像を、ほぼ同時に取得した第２カメラ１６からのそれぞれの画像と比較して評価する。そのため、位置取得エンジン２４は、第１カメラ１４および第２カメラ１６からの取得画像の各フレームに関連付けられた３次元位置および大きさの情報を、３次元動作計算器２６に出力する。３次元動作計算器２６は、第１カメラ１４および第２カメラ１６の複数画像、従って複数フレームに渡る潜在的侵入物の３次元位置および大きさの変化をトラッキングすることができる。第１カメラ１４および第２カメラ１６の画像に渡る潜在的侵入物の３次元位置および大きさの変化により、動作方向および動作速度などのような潜在的侵入物に関連付けられた３次元動作を判定することができる。
【００２１】
潜在的侵入物に関連付けられた位置、大きさ、および動作の情報は、閾値比較器２８に出力することができる。この閾値比較器２８は、インジケータ３０に結合される。インジケータ３０は例えば、警報器、視覚インジケータ、または任意の様々な他の表示装置であることができる。さらに、インジケータ３０をネットワークに結合して、監視領域から離れた警察署などの施設にインジケータ３０を設置することができる。閾値比較器２８は、インジケータ３０に信号を送ってステレオカメラ侵入検知システム１０のオペレータ（例えば、警備員および／または警察官）に知らせるのに十分な任意の様々な所定閾値条件で、プログラミングすることができる。例えば、潜在的侵入物が例えば子犬の大きさよりも大きいと判定されると、閾値比較器２８はインジケータ３０に信号を送ることができる。大きさの閾値は全体の大きさだけでなく、高さに特有のものであってよい。このような方法で、閾値比較器２８は、ステレオカメラ侵入検知システム１０の所与のオペレータが注意する必要のない鳥や兎などのような潜在的侵入物から、誤検知条件が生じないことを保証できる。
【００２２】
閾値条件は潜在的侵入物の所与の速度も示し、例えば、ある一定速度またはそれを超える速度で走行する自動車について、インジケータ３０に信号を送ることができる。さらに、ステレオカメラ侵入検知システム１０のオペレータは、監視領域の３次元部分を閾値ゾーンまたは空値ゾーンとして指定することができる。従って、閾値比較器２８は、潜在的侵入物が閾値ゾーン内または閾値ゾーンに向かって移動する際に、インジケータ３０に信号を送ることができる。同様に、閾値比較器２８は、空値ゾーン内に潜在的侵入物を検知する際にインジケータ３０を無効にし、セキュリティ監視にとって特には関心のない監視領域の３次元部分を無効にすることができる。そのため、枝の揺れのような一定の環境変化から生じる誤検知条件を緩和することができる。当然のことながら、閾値比較器２８をプログラミングして、任意の数の閾値、および組合せて適用される閾値を適用することもできる。例えば閾値比較器２８を、潜在的侵入物がある一定の所定の大きさであり、かつある一定の所定速度で移動しているときにのみ、インジケータ３０に信号を送るようにプログラミングすることができる。
【００２３】
当然のことながら、ステレオカメラ侵入検知システム１０を、図１に示す例に限定する意図はない。例えば、ステレオカメラ侵入検知システム１０は、ステレオ画像取得台１２内に３つ以上のステレオカメラを含むことができる。さらに、図４、図６、および図７の例で示すように、本発明の態様により、任意の数の異なる構成をステレオカメラ侵入検知システム１０に対して実装することができる。
【００２４】
図２は、本発明の態様による背景画像生成器５０の例を示す。当然のことながら、背景画像生成器５０は、図１の例の背景画像生成器２０とほぼ同じものであることができる。そのため、図１の参照、および図１と同じ参照番号を、以下の図２の説明で使用する。図２の例で示す背景画像生成器５０は、カメラ５２から画像データを受信する。カメラ５２は、図１の例における第１カメラ１４または第２カメラ１６のいずれであってもよい。カメラ５２からの単一フレームを使用して、取得背景画像５４を生成することができる。取得背景画像５４は、所定の時点で撮影した監視領域の画像であってよい。例えば、背景画像生成器５０を使用しているステレオカメラ侵入検知システムのオペレータは、監視領域内に侵入物はいないと判定する際に、背景画像生成器５０に入力を与えて取得背景画像５４を生成することができる。さらに、背景画像生成器５０は、例えば毎分１回といった所定の時点で取得背景画像５４を周期的に生成して、通過する雲などのような漸進的な環境条件変化を捕捉することができる。
【００２５】
背景画像生成器５０は、背景画像更新器５６も含む。背景画像更新器５６は、周期的にカメラ５２から入力を受信して取得背景画像５４を更新し、監視領域内部で発生する漸進的変化を捕捉する。例えば、背景画像更新器５６は、カメラ５２が取得した画像から、複数の画素を取得背景画像５４に周期的に追加することができる。当然のことながら、取得背景画像５４の更新速度の判定において、調整を行うことができる。例えば、取得背景画像５４の更新が速すぎる場合、潜在的侵入物は取得背景画像５４の一部となり、結果として見逃す可能性がある。逆に、取得背景画像５４の更新が遅すぎる場合、監視領域の漸進的環境変化により候補トークンが生成され、誤検知の可能性がある。そのため、背景画像更新器５６を、取得背景画像５４に追加される画素量と、取得背景画像５４への画素の追加頻度とに関してプログラミング可能である。
【００２６】
図１の例でステレオカメラ侵入検知システム１０に関して上述したように、トークン検出器１８は、絶対値画素差分アルゴリズムを適用して差分画像を生成するように構成することができる。従って、差分画像は背景画像と第１カメラ１４および／または第２カメラ１６の各々が取得した画像の各々との間の絶対値画素差分である。そのため、画像取得カメラと背景画像との間の水平および／または垂直整列の微小変動により、実際の監視領域内にはほとんど変化がなくても、大幅な変動を示す差分画像を生成することができる。この整列ミスマッチは、画像取得カメラが風、振動、または任意の様々な他の要因により微小移動するなどの、カメラバウンスから生じる可能性がある。このような移動により、取得画像が背景画像から所与の方向に１つまたは複数の画素だけオフセットし、結果として取得画像と背景画像との間の極端な変動を示す差分画像となり、従って侵入物を誤検知する可能性が生じる。
【００２７】
カメラバウンスを考慮するため、背景画像生成器５０は背景画像スタビライザ５８を含む。背景画像スタビライザ５８は、取得背景画像５４に対してカメラ５２の取得画像を垂直および水平に整列し、取得背景画像５４が安定するように構成される。背景画像スタビライザ５８は、各取得画像と取得背景画像５４とを入力としてカメラ５２から受信する。取得背景画像５４は、背景ラプラシアン・ガウシアン符号（ＳＬＯＧ）フィルタ６０に入力され、カメラ５２からの取得画像はそれぞれ、画像ＳＬＯＧフィルタ６２に入力される。当然のことながら、背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２はＳＬＯＧフィルタに限定されず、任意の様々な帯域通過画像フィルタであってよい。背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２は、各画像をフィルタリング画像に変換し、フィルタリング画像がテクスチャコントラストを強調するように動作する。当然のことながら、取得背景画像５４は、背景画像更新器５６による更新の度に背景ＳＬＯＧフィルタ６０に入力されるだけであってもよい。
【００２８】
図３は、本発明の態様によるカメラ画像１００ならびにカメラ画像１００の第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６の例を示す。図３の例において、第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６はそれぞれ、カメラ画像１００のＳＬＯＧのフィルタリング画像である。フィルタリング画像１０２、フィルタリング画像１０４、およびフィルタリング画像１０６は、カメラ画像１００のテクスチャコントラストの白黒画素パターンを示し、そのため、カメラ画像１００の明るさの変化を表していない。従って、通過する雲および他の明るさのパターンからの影は、画像１０２、画像１０４、および画像１０６のようなＳＬＯＧのフィルタリング画像においては検出されない。
【００２９】
第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６はそれぞれ、カメラ画像１００の２値テクスチャコントラストを示す際の各種解像度を有する。第１のフィルタリング画像１０２はカメラ画像１００の低解像度フィルタリング表現であり、第２のフィルタリング画像１０４はカメラ画像１００の中解像度フィルタリング表現であり、第３のフィルタリング画像１０６はカメラ画像１００の高解像度フィルタリング表現である。図２の例における背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２のような所与のＳＬＯＧフィルタを調整して、図３の例に示すように各種の２値テクスチャ解像度を与えることができる。図３の例で示すように、フィルタリング画像１０６は、フィルタリング画像１０２およびフィルタリング画像１０４よりも正確なカメラ画像１００の２値テクスチャパターンを定義する。しかしながら、フィルタリング画像１０６は、カメラ画像１００をフィルタリングする際に雑音に対してより敏感であってもよい。
【００３０】
図２の参照に戻ると、背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２は、フィルタリング画像１０２のような粗いフィルタリング操作を、取得背景画像５４とカメラ５２から受信した視覚画像に対して適用するだけでよい。フィルタリング画像はそれぞれ、背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２からフィルタリング画像相関器６４に出力される。フィルタリング画像相関器６４は、フィルタリング取得背景画像をフィルタリング取得視覚画像に重ね合わせる。フィルタリング画像相関器６４は次いで、フィルタリング取得背景画像をフィルタリング取得視覚画像上で１度に１画素だけ反復シフトする。
【００３１】
毎回の画素シフトで、フィルタリング画像相関器６４は相関スコアを判定することができる。相関スコアは、２値テクスチャパターン画素の一致数に基づいて、フィルタリング取得背景画像とフィルタリング取得視覚画像との整列度合いを表すことができる。シフトを垂直および水平の両方向で行うことができ、かつシフトを画像全体または画像の一部に渡って行うことができ、正負の画素シフト境界を垂直および水平の両方向に設定することができる。最高相関スコアとなる画素シフトは、フィルタリング背景画像とフィルタリング取得視覚画像との間の適切な整列を表すことができる。当然のことながら、フィルタリング画像相関器６４は、カメラ５２の各フレームに関連付けられた各フィルタリング取得視覚画像を、フィルタリング取得背景画像に対して相関させることができる。
【００３２】
フィルタリング取得背景画像とフィルタリング取得視覚画像との間の適切な相関を判定する際、フィルタリング画像相関器６４は、相関付けのためにシフトした画素数を画像シフタ６６に通信する。画像シフタ６６は取得背景画像５４を受信し、取得背景画像５４をフィルタリング画像相関器６４が通信した画素数だけシフトする。シフトされた取得背景画像は次いで、画像シフタ６６から、図１の例で示したトークン検出器１８のようなトークン検出器に出力される。このような方法で、背景画像を安定化させて誤った進入検知を低減することができる。この誤った侵入検知は、各カメラからの背景画像と取得視覚画像との間の水平および垂直の整列欠如に基づく、差分画像内の絶対値画素差分から生じる。
【００３３】
当然のことながら、背景画像生成器５０は図２の例に限定されない。例えば、背景画像スタビライザ５８のコンポーネントの一部または全てを統合してもよい。別の例として、画像シフタ６６は、背景画像スタビライザ５８が画素整列情報をトークン検出器に出力するように、各トークン検出器内に在ってもよい。加えて、さらに別の例として、フィルタリング画像相関器６４は、フィルタリング取得視覚画像をフィルタリング取得背景画像に対して相関させ、画素シフト情報をトークン検出器に通信することができる。従って、各取得視覚画像を、取得背景画像をシフトする代わりにトークン検出器内の背景画像に対してシフトすることができる。
【００３４】
図４は、本発明の態様によるステレオカメラ侵入検知システム１５０の別の例を示す。ステレオカメラ侵入検知システム１５０は、第１カメラ１５４および第２カメラ１５６を含むステレオ画像取得台１５２を含む。第１カメラ１５４および第２カメラ１５６はデジタルカメラであることができる。第１カメラ１５４および第２カメラ１５６は、同一監視領域の画像を並列に取得するように構成することができる。そのため、第１カメラ１５４および第２カメラ１５６は互いに対してステレオで動作し、互いに対して近い位置（例えば、１メートル）に取り付けることができる。取得画像は、それぞれ別個に取得し、それぞれ第１カメラ１５４および第２カメラ１５６により高速（例えば、毎秒１５フレーム）で収集したフレームであることができる。
【００３５】
ステレオカメラ侵入検知システム１５０は、トークン検出器１５８を含む。トークン検出器１５８は、画像比較器１６０、画像フィルタ１６２、およびトークンロケータ１６４を含む。カメラ１５４により取得された視覚画像は、画像比較器１６０に出力される。画像比較器１６０は、第１カメラ１５４からの取得画像を背景画像生成器１６６から生成した背景画像と比較するように構成される。背景画像生成器１６６は、上の図２の例で説明したように、背景画像生成器５０とほぼ同じであることができる。そのため、背景画像生成器１６６から出力された背景画像を、カメラ１５４から出力された取得画像とほぼ垂直および水平に整列することができる。
【００３６】
画像比較器１６０は、絶対値画素差分アルゴリズムを適用して差分画像を生成する。画素差分は、テクスチャ、明るさ、および色コントラストに基づくことができる。差分画像は従って、カメラ１５４からの取得画像の各々と背景画像との間で異なるほぼ全ての画素を示す。当然のことながら、画像比較器１６０は従って、カメラ１５４から出力されたフレームの各々に対応する画像の各々に対して差分画像を生成する。
【００３７】
しかしながら、差分画像単体では、潜在的侵入物の絶対値画素画像を正確に描写することはできない。例えば、黒服を着た侵入物は、監視領域内の暗い背景面の前方に忍び込むことができる。画像比較器１６０は、絶対値画素差分アルゴリズムを適用する際に侵入物の手、顔、および靴を区別できるかもしれないが、取得画像内には、画像比較器１６０が背景画像から区別不能な侵入物の身体の一部があるかもしれない。そのため、画像比較器１６０は、差分画像を画像フィルタ１６２に出力する。
【００３８】
画像フィルタ１６２は、画素充填アルゴリズムを差分画像に適用し、候補トークンが存在するかどうかを判定することができる。画素充填アルゴリズムは、差分画像内で互いに近い位置にある画素を接続し、接続された画素が候補トークンの存在を判定するための形状を取るようにできる。例えば、画像充填アルゴリズムは、差分画像上で左から右への水平方向の充填から始めて、互いから一定の所定画素距離内にある水平線上の画素を最初に接続することができる。所定の画素距離は、誤検知となりうる不要な充填を防止するように調整することができる。画像充填アルゴリズムは次いで、差分画像上の垂直方向に同様の操作を適用することができる。結果として、生じる可能性のある絶対値画素差分を検出する際、誤りを捕捉するため、緊密にグループ化したバラバラの画素を充填することができる。従って、カモフラージュされた侵入物の上記例において、侵入物の手、顔、および靴を充填して、差分画像上の２次元の画素化した「ブロブ」を形成することができるので、侵入物をなお発見することができる。
【００３９】
充填した差分画像は、画像フィルタ１６２からトークンロケータ１６４に出力される。充填した差分画像上の充填した画素グループは、トークンロケータ１６４により試験することができる。侵入物の２次元画素化「ブロブ」などのような充填した画素グループが所定形状閾値を超えると、トークンロケータ１６４は、充填した画素グループを候補トークンとしてマーキングすることができる。トークンロケータ１６４は従って、充填した差分画像上の候補トークン位置に関連する画素座標を判定し、候補トークンの２次元画素位置情報を信号ＴＫＮ＿ＬＯＣとして位置取得エンジン１６８に通信する。図１の例で上述した候補トークンは、潜在的侵入物に対応することができる。
【００４０】
カメラ１５４および１５６の各々の取得画像も位置取得エンジン１６８に出力される。位置取得エンジン１６８は、図１の例で上述したものと同様に、潜在的侵入物の３次元位置および大きさを判定するように構成され、３次元動作計算器および閾値比較器も含む画像トラッキング装置の一部であってよい。詳細には、カメラ１５４は、そのそれぞれの取得画像を第１ラプラシアン・ガウシアン符号（ＳＬＯＧ）フィルタ１７０に出力し、第２カメラ１５６は、そのそれぞれの取得画像を第２ＳＬＯＧフィルタ１７２に出力する。図４の例において、第１ＳＬＯＧフィルタ１７０および第２ＳＬＯＧフィルタ１７２の各々は、複数のＳＬＯＧフィルタリング操作を第１カメラ１５４および第２カメラ１５６の各々からの取得画像の各々にそれぞれ適用する。詳細には、ＳＬＯＧフィルタ１７０およびＳＬＯＧフィルタ１７２は、低解像度ＳＬＯＧフィルタリング操作、中解像度ＳＬＯＧフィルタリング操作、および高解像度ＳＬＯＧフィルタリング操作を取得画像の各々に実施する。ＳＬＯＧフィルタリング操作はそれぞれ、上の図３の例で示した第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６に対応することができる。第１ＳＬＯＧフィルタは、高解像度フィルタリング画像Ｒ＿ＨＩＧＨ、中解像度フィルタリング画像Ｒ＿ＭＥＤ、および低解像度フィルタリング画像Ｒ＿ＬＯＷを、画像相関器１７４に出力する。第２ＳＬＯＧフィルタは、高解像度フィルタリング画像Ｌ＿ＨＩＧＨ、中解像度フィルタリング画像Ｌ＿ＭＥＤ、および低解像度フィルタリング画像Ｌ＿ＬＯＷを、画像相関器１７４に出力する。そのため、図３の例で上述したように、画像の正確性と雑音との間の調整を、潜在的侵入物の３次元位置を判定する際に適切に考慮することができる。
【００４１】
図５は、本発明の態様による画像相関器２００の例を示す。図５の例における画像相関器２００は、図４の例における画像相関器１７４を表すことができる。そのため、図４の参照、および図４と同じ参照番号を、図５の例に関する以下の説明で使用する。画像相関器２００は画像重ね合わせ結合器２０２を含む。画像重ね合わせ結合器２０２は、第１ＳＬＯＧフィルタ１７０および第２ＳＬＯＧフィルタ１７２からフィルタリング画像の出力を受信し、同一解像度のフィルタリング画像対が重ね合わされるようにフィルタリング画像対を重ね合わせる。例えば、カメラ１５４からの高解像度フィルタリング画像Ｒ＿ＨＩＧＨは、カメラ１５６からの高解像度フィルタリング画像Ｌ＿ＨＩＧＨに重ね合わされる。同様に、カメラ１５４からの中解像度フィルタリング画像Ｒ＿ＭＥＤは、カメラ１５６からの中解像度フィルタリング画像Ｌ＿ＭＥＤに重ね合わされる。同様に、カメラ１５４からの低解像度フィルタリング画像Ｒ＿ＬＯＷは、カメラ１５６からの低解像度フィルタリング画像Ｌ＿ＬＯＷに重ね合わされる。画像重ね合わせ結合器２０２は信号ＴＫＮ＿ＬＯＣも受信し、フィルタリング画像Ｒ＿ＨＩＧＨ、フィルタリング画像Ｒ＿ＭＥＤ、およびフィルタリング画像Ｒ＿ＬＯＷをそれぞれ、フィルタリング画像Ｌ＿ＨＩＧＨ、フィルタリング画像Ｌ＿ＭＥＤ、およびフィルタリング画像Ｌ＿ＬＯＷ上に、各々のフィルタリング画像Ｌ＿ＨＩＧＨ、フィルタリング画像Ｌ＿ＭＥＤ、およびフィルタリング画像Ｌ＿ＬＯＷ上の潜在的侵入物の近似位置に対応する位置で、重ね合わせることができる。重ね合わせの画素位置は、フィルタリング画像対の各々に対して同一であることができる。
【００４２】
３つの重ね合わせフィルタリング画像対は、画像重ね合わせ結合器２０２から反復画素シフタ２０４に出力される。図５の例において、高解像度重ね合わせフィルタリング画像対はＨＩＧＨ＿ＯＶＬＹとして示され、中解像度重ね合わせフィルタリング画像対はＭＥＤ＿ＯＶＬＹとして示され、低解像度重ね合わせフィルタリング画像対はＬＯＷ＿ＯＶＬＹとして示される。当然のことながら、図５の例において、ＨＩＧＨ＿ＯＶＬＹ、ＭＥＤ＿ＯＶＬＹ、およびＬＯＷ＿ＯＶＬＹは別個の画像対であって、従って実際の結合画像ではない。反復画素シフタ２０４は画素シフト相関アルゴリズムを、図２の例におけるフィルタリング画像相関器６４に対して上述した相関操作と同様に、フィルタリング画像対の各々に適用する。しかしながら、反復画素シフタ２０４は、各フィルタリング画像対をほぼ並列にかつ等しくシフトすることができる。
【００４３】
各画素シフトに対して、高解像度相関スコア計算器２０６、中解像度相関スコア計算器２０８、低解像度相関スコア計算器２１０は、それぞれのフィルタリング画像対の各々に対して相関スコアを計算する。フィルタリング画像対の各々は互いに対して異なる解像度を有するので、フィルタリング画像対の各々の画像シフトが同一であっても、それぞれのフィルタリング画像対の各々に対する相関スコアは異なってもよい。例えば、フィルタリング画像Ｒ＿ＨＩＧＨ、フィルタリング画像Ｒ＿ＭＥＤ、およびフィルタリング画像Ｒ＿ＬＯＷを、それぞれのフィルタリング画像Ｌ＿ＨＩＧＨ、フィルタリング画像Ｌ＿ＭＥＤ、およびフィルタリング画像Ｌ＿ＬＯＷに対して＋Ｘ方向に１画素だけ並列にシフトして、フィルタリング画像対の各々に対して別個の相関スコアを生成することができる。当然のことながら、図５の例において、相関スコアは、カメラ１５６に関連付けられたフィルタリング画像の画素と一致する候補トークンのフィルタリング画像の画素数を表すことができる。そのため、最高相関スコアは、対向する他のフィルタリング画像内の候補トークンの対応画素位置にシフトされている候補トークンの画素となることができる。従って、当然のことながら、候補トークンの近似画素位置でフィルタリング画像をそれぞれのフィルタリング画像の各々に重ね合わせることができるので、相関スコアを任意のシフトの前に取得することができる。
【００４４】
別個の相関スコアを考慮するため、高解像度相関スコア計算器２０６、中解像度相関スコア計算器２０８、および低解像度相関スコア計算器２１０はそれぞれ、各相関スコアを集合相関計算器２１２に出力する。集合相関計算器２１２は、別個のそれぞれの解像度の相関スコアに基づいて集合相関スコアを判定することができる。集合相関計算器２１２は、任意の様々な方法で集合相関スコアを判定するようにプログラミングすることができる。例として、集合相関計算器２１２は、相関スコアを追加すること、相関スコアを平均化すること、または相関スコアの追加および平均化の前に個々の相関スコアに対して重み係数を適用することができる。そのため、相関の判定に好適な任意の方法で、各画素シフトに対して集合相関スコアを判定することができる。
【００４５】
集合相関スコアは、集合相関計算器から相関スコアピーク検出器２１４に出力される。相関スコアピーク検出器２１４は、フィルタリング画像対の各シフトに対する集合相関スコアを比較し、どのシフトが相関に関して最適なシフトであるかを判定する。フィルタリング画像対に関して最良の相関に対応するシフトを判定する際、相関スコアピーク検出器２１４は、最適相関に対するフィルタリング画像対のオフセット画素数を出力する。
【００４６】
当然のことながら、画像相関器２００は図５の例に限定されない。例えば、画像重ね合わせ結合器２０２は、フィルタリング画像が候補トークンの近似画素位置で重ね合わされないように、トークンロケータ１６４から入力を受信しなくてもよい。例として、画像結合器はフィルタリング画像を反対の画素端で重ね合わせ、それにより反復画素シフタが、１つのフィルタリング画像を別のフィルタリング画像全体に渡ってスイープして相関を判定することができる。別の例として、フィルタリング画像対を重ね合わせて、それらを水平および垂直に整列させ、それぞれの画像中央部から螺旋状に画素シフトすることができる。さらに、画像相関器２００は、３つの別個のフィルタリング画像対を受信しなくともよいが、相関付けの際に第１カメラ１５４および第２カメラ１５６の画像を多少受信して、潜在的侵入物の３次元位置を判定することができる。さらに、図５の例で示した装置の一部を単一装置に統合することができる。
【００４７】
図４の参照に戻ると、最適相関のフィルタリング画像対におけるフィルタリング画像間のオフセット画素数が、画像相関器１７４から次元変換エンジン１７６に出力される。次元変換エンジン１７６は、フィルタリング画像対に相関する画素オフセットを検証し、その画素オフセットを、潜在的侵入物がステレオ画像取得台１５２から離れる範囲量に対応する測定単位に変換する。オフセット画素数は、前述の範囲に反比例して、多数のオフセット画素がステレオ画像取得台１５２により近い範囲に対応し、少数のオフセット画素がステレオ画像取得台１５２からさらに離れた範囲に対応してもよい。当然のことながら、次元変換エンジン１７６を前もって較正して、オフセット画素を範囲に適切に関連付けることができる。例えば、監視領域内のステレオ画像取得台１５２からの所定範囲に位置する静止対象物を、範囲変換用の画素オフセットを較正するために使用することができる。
【００４８】
潜在的侵入物の範囲を判定することは従って、ステレオ取得段階１５２に対する潜在的侵入物の３次元位置に直接に対応する。潜在的侵入物の３次元位置を判定する際、次元変換エンジン１７６は潜在的侵入物の大きさを判定することができる。例えば、潜在的侵入物の３次元位置を判定する際、垂直および水平方向における候補トークンの次元画素数を、範囲判定に使用される測定単位に変換することができる。そのため、幅が数画素のみでありステレオ画像取得台１５２から２メートル離れていると判定される候補トークンは、鼠である可能性がある。同じ画素数の幅で、かつ何百メートルも離れていると判定される候補トークンは、自動車である可能性がある。従って、潜在的侵入物の３次元位置および大きさは、第１カメラ１５４により取得された画像内の潜在的侵入物（例えば、候補トークン）の２次元位置の、第２カメラ１５６により取得された画像内の潜在的侵入物の２次元位置に対する視差間隔に基づいて判定される。図１の例に関して上述したように、３次元位置および大きさを、次元変換エンジン１７６から３次元動作計算器および／または閾値比較器に出力することができる。
【００４９】
図６は、本発明の態様によるステレオカメラ侵入検知システム２５０の別の例を示す。ステレオカメラ侵入検知システム２５０は、第１カメラ２５４および第２カメラ２５６を含むステレオ画像取得台２５２を含む。ステレオカメラ侵入検知システム２５０は、トークン検出器２５８も含む。トークン検出器２５８は、第１画像比較器２６０、第１画像フィルタ２６２、および第１トークンロケータ２６４を含む。トークン検出器２５８は、第２画像比較器２６６、第２画像フィルタ２６８、および第２トークンロケータ２７０も含む。カメラ２５４により取得された視覚画像は第１画像比較器２６０に出力され、カメラ２５６により取得された視覚画像は第２画像比較器２６６に出力される。
【００５０】
第１画像比較器２６０および第２画像比較器２６６はそれぞれ、第１カメラ２５４および第２カメラ２５６からの取得画像をそれぞれ第１背景画像生成器２７２および第２背景画像生成器２７４から生成された背景画像と比較するように構成される。第１背景画像生成器２７２および第２背景画像生成器２７４の各々は、上の図２の例で説明したように、背景画像生成器５０とほぼ同じであることができる。そのため、第１背景画像生成器２７２から出力された背景画像と第２背景画像生成器２７４から出力された背景画像とは、第１カメラ２５４および第２カメラ２５６から出力された取得画像とそれぞれほぼ垂直および水平に整列することができる。
【００５１】
上の図４の例における画像比較器１６０と同様に、第１画像比較器２６０と第２画像比較器２６６の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成する。同様に、第１画像フィルタ２６２および第２画像フィルタ２６８はそれぞれ、画素充填アルゴリズムをそれぞれの差分画像に適用し、候補トークンがそれぞれの差分画像の各々に存在するかどうかを判定することができる。充填した差分画像は、画像フィルタ２６２および画像フィルタ２６８から、それぞれのトークンロケータ２６４およびトークンロケータ２７０に出力される。さらに、充填した差分画像は、画像フィルタ２６２および画像フィルタ２６８から位置取得エンジン２７６にも出力される。図４の例で上述したものと同様に、充填した差分画像をそれぞれのトークンロケータ２６４およびトークンロケータ２７０により検証して、充填した差分画像の各々での候補トークンの存在、およびそれぞれの候補トークンの画素位置を判定することができる。トークンロケータ２６４およびトークンロケータ２７０はそれぞれ、各候補トークンの２次元画素位置情報を位置取得エンジン２７６に通信する。
【００５２】
位置取得エンジン２７６は、画像相関器２７８および次元変換エンジン２８０を含む。画像相関器２７８は、充填した差分画像をそれぞれの第１画像フィルタ２６２および第２画像フィルタ２６８から入力として受信し、それぞれのトークンロケータ２６４およびトークンロケータ２７０からそれぞれの候補トークンの２次元画素位置情報を受信する。画像相関器２７８は、それぞれのトークンロケータ２６４およびトークンロケータ２７０の通信の際に、充填した差分画像をそれぞれの候補トークンの画素位置で重ね合わせる。画像相関器２７８は次いで、上の図５の例で説明した画像相関器２００と同様に、画素シフトアルゴリズムを適用して、充填した差分画像対の最適な相関を判定する。しかしながら、トークン検出器２５８は、第１カメラ２５４および第２カメラ２５６の取得画像の各々に対する別個の候補トークンを検出し、従って別個のそれぞれの差分画像を生成するので、画像相関器２７８は、それぞれの差分画像間の相関を直接判定することができる。言い換えると、候補トークンの正確な画素位置が別個の差分画像の両方に対して判定されるので、相関付けのために位置取得エンジン２７６がＳＬＯＧフィルタアルゴリズムを適用する必要はない。そのため、相関スコアの生成および画素シフトを、充填した差分画像対の上で直接行うことができる。
【００５３】
最適相関に対する充填した差分画像間のオフセット画素数は、画像相関器２７８から次元変換エンジン２８０に出力される。次元変換エンジン２８０は、充填した差分画像対の相関におけるオフセット画素を検証し、潜在的侵入物がステレオ画像取得台２５２から離れる範囲量に対応する測定単位へ画素オフセットを変換する。次いで前述の範囲を使用して、図４の例で上述したものと同様に、潜在的侵入物の３次元位置および大きさを判定することができる。図１の例に関して上述したように、３次元位置および大きさのデータを、次元変換エンジン２８０から３次元動作計算器および／または閾値比較器に出力することができる。
【００５４】
図７は、本発明の態様によるステレオカメラ侵入検知システム３００の別の例を示す。ステレオカメラ侵入検知システム３００は、第１カメラ３０４および第２カメラ３０６を含むステレオ画像取得台３０２を含む。ステレオカメラ侵入検知システム３００は、トークン検出器３０８も含む。図４の例で上述したように、差分画像は絶対値画素差分アルゴリズムに基づいて生成される。絶対値画素差分は、テクスチャ、明るさ、および色コントラストに基づくことができ、差分画像は、所与のカメラからの取得画像の各々と背景画像との間で異なるほぼ全ての画素を示す。従って、上の図４および図６の例で説明した画像比較器は、曇りの条件などのような影と明るさの変化に敏感であり、従って誤検知の原因となる可能性がある。
【００５５】
トークン検出器３０８は、第１画像ＳＬＯＧフィルタ３１０、第１フィルタリング画像比較器３１２、および第１トークンロケータ３１４を含む。トークン検出器３０８は、第２画像ＳＬＯＧフィルタ３１６、第２フィルタリング画像比較器３１８、および第２トークンロケータ３２０も含む。第１カメラ３０４により取得された視覚画像は、第１画像ＳＬＯＧフィルタ３１０に出力され、第２カメラ３０６により取得された視覚画像は、第２画像ＳＬＯＧフィルタ３１６に出力される。第１画像ＳＬＯＧフィルタ３１０および第２画像ＳＬＯＧフィルタ３１６はそれぞれ、第１カメラ３０４および第２カメラ３０６からそれぞれ取得した画像の１つまたは複数のフィルタリング画像を生成することができる。例えば、第１画像ＳＬＯＧフィルタ３１０および第２画像ＳＬＯＧフィルタ３１６の各々は、図３の例で上述したような高解像度フィルタリング画像、中解像度フィルタリング画像、および低解像度フィルタリング画像を生成することができる。
【００５６】
第１背景画像生成器３２２は、第１カメラ３０４に基づいて背景画像を生成し、その背景画像を第１背景ＳＬＯＧフィルタ３２４に出力する。第１背景ＳＬＯＧフィルタ３２４は、第１画像ＳＬＯＧフィルタ３１０により生成されるフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。例えば、第１背景ＳＬＯＧフィルタ３２４は、高解像度フィルタリング背景画像、中解像度フィルタリング背景画像、および低解像度フィルタリング背景画像を生成することができ、各解像度は、第１画像ＳＬＯＧフィルタ３１０により生成されたフィルタリング画像の解像度に対応する。同様の方法で、第２背景画像生成器３２６は、第２カメラ３０６に基づいて背景画像を生成し、その背景画像を第２背景ＳＬＯＧフィルタ３２８に出力する。第２背景ＳＬＯＧフィルタ３２８は、第２画像ＳＬＯＧフィルタ３１６により生成されるフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。当然のことながら、第１背景画像生成器３２２および第２背景画像生成器３２６の各々は、上の図２の例で説明したような背景画像生成器５０とほぼ同じであることができる。
【００５７】
第１フィルタリング画像比較器３１２および第２フィルタリング画像比較器３１８はそれぞれ、第１画像ＳＬＯＧフィルタ３１０および第２画像ＳＬＯＧフィルタ３１６によりそれぞれ生成されたフィルタリング画像を、それぞれ第１背景ＳＬＯＧフィルタ３２４および第２背景ＳＬＯＧフィルタ３２８により生成されたフィルタリング背景画像と比較するように構成される。より正確な比較を得るため、当然のことながら、各解像度のフィルタリング画像の各々を並列に比較できる。上の図４の例における画像比較器１６０と同様に、第１フィルタリング画像比較器３１２および第２フィルタリング画像比較器３１８の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成することができる。しかしながら、フィルタリング取得画像およびフィルタリング背景画像は２値テクスチャコントラストのみを示すので、差分画像はテクスチャのみで異なる画素を示すであろう。そのため差分画像は、第１カメラ３０４と第２カメラ３０６との間の、それぞれの背景画像に対する明るさおよび色コントラストの差分に敏感ではない。フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８の各々から出力される差分画像は、フィルタリング取得画像およびそれぞれのフィルタリング背景画像の各解像度に対して別個の差分画像であってよい。または、フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８の各々から出力される差分画像は、フィルタリング取得画像とそれぞれのフィルタリング背景画像との比較に基づいた単一の差分画像であってよい。
【００５８】
差分画像は、フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８から、それぞれのトークンロケータ３１４およびトークンロケータ３２０に出力される。さらに、差分画像は、フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８から、位置取得エンジン３３０へも出力される。図４の例で上述したものと同様に、差分画像をそれぞれのトークンロケータ３１４およびトークンロケータ３２０により検証して、差分画像の各々での候補トークンの存在を判定すること、およびそれぞれの候補トークンの画素位置を判定することができる。図７の例において、フィルタリング取得画像とフィルタリング背景画像との間の２値テクスチャ差分を示す画素に、それぞれのトークンロケータ３１４およびトークンロケータ３２０により候補トークンとしてマーキングされる。トークンロケータ３１４およびトークンロケータ３２０はそれぞれ、それぞれの候補トークンの２次元画素位置情報を位置取得エンジン３３０に通信する。
【００５９】
位置取得エンジン３３０は、画像相関器３３２および次元変換エンジン３３４を含む。画像相関器３３２は、差分画像をそれぞれのフィルタリング画像比較器３１２およびフィルタリング画像比較器３１８から入力として受信し、それぞれの候補トークンの２次元画素位置情報をそれぞれのトークンロケータ３１４およびトークンロケータ３２０から受信する。画像相関器３３２は、それぞれのトークンロケータ３１４およびトークンロケータ３２０により通信される際、差分画像をそれぞれの候補トークンの画素位置で重ね合わせる。画像相関器３３２は次いで、上の図５の例で説明した画像相関器２００と同様に、画素シフトアルゴリズムを適用して差分画像対の最適な相関を判定する。さらに、図６の例で上述したものと同様に、取得画像が既にフィルタリングされているので、相関スコアの生成および画素シフトを差分画像対の上で直接行うことができる。
【００６０】
最適相関に対する差分画像間のオフセット画素数は、画像相関器３３２から次元変換エンジン３３４に出力される。次元変換エンジン３３４は、差分画像対の相関における画素オフセットを検証して、ステレオ画像取得台３０２から潜在的侵入物が離れている範囲量に対応する測定単位に前述の画素オフセットを変換する。次いで前述の範囲を使用して、図４の例で上述したものと同様に、潜在的侵入物の３次元位置および大きさを判定することができる。３次元位置および大きさのデータを、図１の例に関して上述したように、次元変換エンジン３３４から３次元動作計算器および／または閾値比較器に出力することができる。
【００６１】
図８は、本発明の態様によるステレオカメラ侵入検知システム３５０の別の例を示す。ステレオカメラ侵入検知システム３５０は、第１カメラ３５４および第２カメラ３５６を含むステレオ画像取得台３５２を含む。ステレオカメラ侵入検知システム３５０は、トークン検出器３５８も含む。上の図７の例と同様に、トークン検出器３５８は、第１画像ＳＬＯＧフィルタ３６０、第１フィルタリング画像比較器３６２、および第１テクスチャ差分ロケータ３６４を含む。トークン検出器３５８は、第２画像ＳＬＯＧフィルタ３６６、第２フィルタリング画像比較器３６８、および第２テクスチャ差分ロケータ３７０も含む。
【００６２】
第１カメラ３５４が取得した視覚画像は、第１画像ＳＬＯＧフィルタ３６０に出力され、第２カメラ３５６が取得した視覚画像は、第２画像ＳＬＯＧフィルタ３６６に出力される。第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６はそれぞれ、第１カメラ３５４および第２カメラ３５６からのそれぞれの取得画像の１つまたは複数のフィルタリング画像を生成することができる。例えば、第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６の各々は、図３の例で上述したもののように、高解像度フィルタリング画像、中解像度フィルタリング画像、および低解像度フィルタリング画像を生成することができる。
【００６３】
第１背景画像生成器３７２は、第１カメラ３５４に基づいて背景画像を生成し、その背景画像を第１背景ＳＬＯＧフィルタ３７４に出力する。同様な方法で、第２背景画像生成器３７６は、第２カメラ３５６に基づいて背景画像を生成し、その背景画像を第２背景ＳＬＯＧフィルタ３７８に出力する。当然のことながら、第１背景画像生成器３７２および第２背景画像生成器３７６の各々は、上の図２の例で説明した背景画像生成器５０とほぼ同じであることができる。しかしながら、以下でさらに詳細に説明するが、第１背景画像生成器３７２および第２背景画像生成器３７６は、背景画像を高速で更新するように構成することができる。上の図７の例と同様に、第１背景ＳＬＯＧフィルタ３７４および第２背景ＳＬＯＧフィルタ３７８はそれぞれ、第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６によりそれぞれ生成されたフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。
【００６４】
第１フィルタリング画像比較器３６２および第２フィルタリング画像比較器３６８はそれぞれ、第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６によりそれぞれ生成されたフィルタリング画像を、第１背景ＳＬＯＧフィルタ３７４および第２背景ＳＬＯＧフィルタ３７８によりそれぞれ生成されたフィルタリング背景画像と比較するように構成される。上の図４の例における画像比較器１６０と同様に、第１フィルタリング画像比較器３６２および第２フィルタリング画像比較器３６８の各々は、絶対値画素差分アルゴリズムを適用して、テクスチャのみ異なる画素を示すそれぞれの差分画像を生成することができる。そのため、図７の例に関して上述したのと同様に、差分画像は、第１カメラ３５４および第２カメラ３５６が取得した画像間の、それぞれの背景画像に対する明るさおよび色コントラストの違いに敏感ではない。
【００６５】
差分画像は、フィルタリング画像比較器３６２およびフィルタリング画像比較器３６８から、それぞれのテクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０に出力される。図４の例で上述したものと同様に、差分画像をそれぞれのテクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０により検証して、差分画像の各々でのテクスチャ差分を判定すること、およびそれぞれのテクスチャ差分の画素位置を判定することができる。しかしながら、フィルタリング差分画像は、低解像度を有するフィルタリング画像の比較に基づくことができ、および／またはその比較を含むことができるので、テクスチャ差分は、カメラ３５４およびカメラ３５６が取得した画像より低い解像度を有するそれぞれのフィルタリング差分画像上に現れることができる。言い換えると、フィルタ差分画像上の単一のマーキングしたテクスチャ差分は、カメラ３５４およびカメラ３５６のそれぞれの１つが取得した画像の幾つかの画素に対応することができる。そのため、図８の例において、第１テクスチャトークンロケータ３６４は、テクスチャ差分の２次元位置情報を第１背景画像生成器３７２に通信し、第２テクスチャ差分ロケータ３７０は、テクスチャ差分の２次元位置情報を第２背景画像生成器３７６に通信する。
【００６６】
第１背景画像生成器３７２をさらに構成して、テクスチャ差分の２次元位置情報を第１テクスチャ差分ロケータ３６４から受信し、第１背景画像を高速で更新することができる。同様に、第２背景画像生成器３７６をさらに構成して、テクスチャ差分の２次元位置情報を第２テクスチャ差分ロケータ３７０から受信し、第２背景画像を高速で更新することができる。例えば、第１背景画像生成器３７２および第２背景画像生成器３７６はそれぞれ、図２の例における背景画像更新器５６でそれぞれのテクスチャ差分の２次元位置を受信することができる。
【００６７】
上述のように、フィルタリング差分画像上の単一のマーキングした差分は、カメラ３５４およびカメラ３５６のそれぞれの１つが取得した画像の幾つかの画素に対応することができる。従って、当然のことながら、背景画像生成器３７２および背景画像生成器３７６のそれぞれの１つは、低解像度２次元位置情報をカメラ３５４およびカメラ３５６のそれぞれの１つから取得した画像上の実際の画素位置に変換できる。そのため、第１背景画像生成器３７２は、テクスチャ差分の２次元位置に対応する画素を除いた背景画像の全ての画素を、第１カメラ３５４が取得した画像で更新することができる。同様に、第２背景画像生成器３７６は、テクスチャ差分の２次元位置に対応する画素を除いた背景画像の全ての画素を、第２カメラ３５６が取得した画像で更新することができる。当然のことながら、フィルタリング差分に基づく背景画像の高速な更新は、図２の例で説明したように、背景画像更新器５６による取得背景画像５４に対しての漸進的更新に加えて、またはその代わりとして、実施することができる。さらに、図２の例で説明したように、背景画像スタビライザ５８に加えて、高速な更新を実施することができる。
【００６８】
上述のコンポーネントに加え、トークン検出器３５８は、第１画像比較器３８０、第１画像フィルタ３８２、および第１トークンロケータ３８４も含む。トークン検出器３５８はさらに、第２画像比較器３８６、第２画像フィルタ３８８、および第２トークンロケータ３９０を含む。それぞれの第１背景画像および第２背景画像を高速で更新する際、第１カメラ３５４から取得した画像および第１更新背景画像は、第１画像比較器３８０に入力される。同様に、第２カメラ３５６から取得した画像および第２更新背景画像は、第２画像比較器３８６に入力される。
【００６９】
上の図４の例における画像比較器１６０と同様に、第１画像比較器３８０および第２画像比較器３８６の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成する。しかしながら、当然のことながら、第１カメラ３５４および第２カメラ３５６からのそれぞれの取得画像は、第１背景画像生成器３７２および第２背景画像生成器３７６のそれぞれが背景画像を高速で更新するために使用した画像と同一であることができる。そのため、取得画像の全画素は、テクスチャ差分の２次元位置にある画素を除いて、それぞれの背景画像内の同一画素とほぼ同一である。従って、それぞれの画像比較器３８０および画像比較器３８６により生成された差分画像は、カメラ３５４およびカメラ３５６からの取得画像とそれぞれの背景画像との間で、それぞれのテクスチャ差分の２次元位置でのみ異なる画素を示す。従って、ステレオカメラ侵入検知システム３５０は、小さなテクスチャ差分の位置における差分を差分画像が示さないので、侵入物の誤検知もしにくい。さらに、図８の例におけるステレオカメラ侵入検知システム３５０は、差分画像の冗長生成に基づいた、より堅牢な侵入物検知システムであることができる。
【００７０】
第１画像フィルタ３８２および第２画像フィルタ３８８はそれぞれ、画像充填アルゴリズムをそれぞれの差分画像に適用し、候補トークンがそれぞれの差分画像の各々上に存在するかどうかを判定することができる。充填した差分画像は、画像フィルタ３８２および画像フィルタ３８８からそれぞれのトークンロケータ３８４およびトークンロケータ３９０に出力される。充填した差分画像をそれぞれのトークンロケータ３８４およびトークンロケータ３９０により検証して、充填した差分画像の各々での候補トークンの存在を判定することができる。さらに、図６の例に関して上述したものと同様に、充填した差分画像を、画像フィルタ３８２および画像フィルタ３８８から位置取得エンジン（図示せず）に出力することができる。さらに、トークンロケータ３８４およびトークンロケータ３９０はそれぞれ、それぞれの候補トークンの２次元画素位置情報を位置取得エンジンに同様に通信することもできる。
【００７１】
当然のことながら、ステレオカメラ侵入検知システム３５０は、図８の例に限定されない。例えば、トークン検出器３５８で説明した１つまたは複数の装置を統合することができる。別の例として、テクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０は、背景を高速で更新するのではなく、テクスチャ差分の２次元位置情報を画像比較器３８０および画像比較器３８６に直接通信することができる。そのため、画像比較器３８０および画像比較器３８６は、テクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０が通信するテクスチャ差分位置でのみ、画素差分を比較することができる。
【００７２】
上述した構造的および機能的特徴の観点から、本発明の様々な態様による方法論は、図９を参照してより良く理解されるであろう。説明を簡単にするために、図９の方法論を逐次実行として図示および説明しているが、当然のことながら、本発明による態様の中には、本明細書で図示および説明した態様とは異なる順序および／または並列に実行できるものもあり、本発明は示した順序に限定されない。さらに、示した特徴の全てが、本発明の態様による方法論を実装する必要はない。
【００７３】
図９は、本発明の態様による監視領域内の侵入物を検知するための方法４００の例を示す。４０２で、監視領域の第１画像が第１カメラにより取得され、監視領域の第２画像が第２カメラにより取得される。第１カメラおよび第２カメラはそれぞれ、デジタルカメラであることができ、第１画像および第２画像をそれぞれほぼ並列に取得することができ、その結果、第１カメラおよび第２カメラが互いに対してステレオで動作する。４０４で、監視領域の背景画像が取得される。背景画像は、第１カメラが取得した１つまたは複数の画像に基づくことができる。別個の背景画像を、第１カメラおよび第２カメラの各々に対して取得することができる。４０６で、背景画像は取得画像と垂直および水平に整列される。垂直および水平の整列は、ＳＬＯＧフィルタリングアルゴリズムのようなフィルタリングアルゴリズムを背景画像および取得画像の両方に適用することにより、取得することができる。次いで、フィルタリング背景画像およびフィルタリング取得画像を、画素シフトと各シフトに対する相関スコアの生成とに基づいて相関させることができる。
【００７４】
４０８で、取得画像の画素を背景画像の画素と比較して、潜在的侵入物の存在を判定する。取得画像は、それぞれの背景画像と比較される第１取得画像および第２取得画像の両方であってよい。または、取得画像は単に、単一の背景画像と比較される第１取得画像であることができる。さらに、取得画像およびそれぞれの背景画像をフィルタリングして、フィルタリング取得画像をそれぞれのフィルタリング背景画像と比較することができる。
【００７５】
４１０で、潜在的侵入物に関連付けられた３次元特徴が判定される。この判定は、取得画像および背景画像の比較に基づいた取得画像のフィルタリングバージョンの相関付けに基づくことができる。この相関付けは、画素シフトアルゴリズムの各シフトにおける相関スコアの生成に基づくことができる。この相関付けは、２つの別個の差分画像間で行うこともできる。第１画像と第２画像との間のオフセット画素量は、潜在的侵入物の３次元位置および大きさに変換することができる。
【００７６】
４１２で、潜在的侵入物の３次元特徴が少なくとも１つの閾値を超過する際に、インジケータがアクティブにされる。閾値は、潜在的侵入物の大きさおよび／または位置に対応することができる。さらに、潜在的侵入物の位置を、第１カメラおよび第２カメラの第１画像および第２画像の幾つかに渡ってトラッキングし、動作および速度の３次元方向を判定することができる。従って、別の閾値は、所定の３次元空間に向かう速度または動作であることができる。
【００７７】
上述したことは本発明の例である。本発明を説明する目的で、全ての考えうるコンポーネントまたは方法論の組合せを説明することは当然不可能であるが、当業者は、本発明の多くのさらなる組合せおよび置換が可能であることを認識するであろう。従って、本発明は、添付の請求項の精神および範囲内にある代替、変更および変形の全てを包含するように意図される。
【図面の簡単な説明】
【００７８】
【図１】本発明の態様によるステレオカメラ侵入検知システムの例を示す。
【図２】本発明の態様による背景画像生成器の例を示す。
【図３】本発明の態様によるカメラ画像およびカメラ画像のフィルタリング画像の例を示す。
【図４】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図５】本発明の態様による画像相関器の例を示す。
【図６】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図７】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図８】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図９】本発明の態様による、監視領域内への侵入物を検知する方法を示す。
【技術分野】
【０００１】
本発明は、一般に侵入検知システムに関し、より詳細にはステレオカメラ侵入検知システムに関する。
【背景技術】
【０００２】
現代社会において、また有史に渡って、常にセキュリティ対策が必要とされてきた。この対策は盗難、機密資料および機密領域、ならびに様々な他のアプリケーションに対する不正アクセスを防止するために使用されてきた。このような一般的なセキュリティ対策には、侵入検知システムが含まれる。典型的に、侵入検知システムはビデオ監視を内蔵する。ビデオ監視は、保護が求められる施設周辺に位置する１つまたは複数のビデオカメラが取得したビデオフィードを監視することを含む。ビデオフィードを監視することは典型的に、警備員または警察等により人手で行われる。しかしながら、潜在的なセキュリティ脅威は、長期間または平穏無事な期間の中での独立事象であるため、退屈してしまうことが重大な問題となり、従ってセキュリティ不備となる可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
退屈さの問題を克服するため、幾つかの自動侵入検知システムが開発されてきた。この自動システムは、人間の監視を支援するための様々なコンピュータビジョンアルゴリズムを内蔵することができる。典型的には、変化検出アルゴリズムを使用して監視領域内の範囲を識別し、その範囲は監視員がより慎重に再調査する価値がある。しかしながら、このようなシステムは、環境の変化から生じるものなど、誤検知したものを記録する可能性が非常に高い。この環境の変化には例えば、遠方の背景変化、風に飛ばされた低木、カメラの振動、雲の通過による明るさの変化、および夜間の光線移動などがある。そのため、結果として生じる高確率の誤検知は、経験豊かなセキュリティ監視員でさえも疲弊させる可能性がある。誤検知の条件を解決するため、そのゾーン内での活動に対してはアラームが作動しない空値ゾーンを、オペレータが画定することのできるシステムもある。しかしながら、上記の解決法では侵入物を見逃す場合があり、従ってセキュリティ不備となる可能性がある。
【０００４】
退屈さに関連する問題に加えて、典型的な自動侵入検知システムは、多数のさらなる難点に悩まされる可能性がある。例えば、カメラベースの侵入検知システムは典型的に、下を見下ろす非常に高い位置に取り付けられるカメラを含む。そのため、このような侵入検知システムは、カメラの視野内の地上における侵入物の位置にのみ基づいて、侵入物の位置を判定することができる。しかしながら上記の配置は、設置および維持が困難である可能性があり、特別な取り付け装置および付属品を必要とするので、高価になる可能性がある。さらに、上記システムの視野は限定される場合がある。そのため、侵入物は検知される前に上記システムを目にすることもあり、従って侵入物に盲点を利用する機会を与え、または侵入物は自動侵入検知システムを無効にする他の対応策を考案することができる。
【課題を解決するための手段】
【０００５】
本発明の１実施態様は、侵入検知システムを含む。この侵入検知システムは、監視領域の第１画像を取得するように構成された第１カメラと、監視領域の第２画像を取得するように構成された第２カメラとを備える。この侵入検知システムは、前述の第１画像を監視領域の背景画像と比較するように構成された検出装置も備える。この検出装置は、前述の第１画像と前述の背景画像との差分を潜在的侵入物としてマーキングすることができる。この侵入検知システムはさらに、前述の第２画像の各々に対して前述の第１画像の各々を評価し、潜在的侵入物に関連付けられた３次元特徴を判定するように構成されたトラッキング装置を備える。
【０００６】
本発明の別の実施態様は、監視領域内の侵入物を検知する方法を含む。この方法は、第１カメラから前述の監視領域の第１画像を取得すること、第２カメラから前述の監視領域の第２画像を取得すること、および前述の監視領域の背景画像を生成することを含む。この方法は、第１画像に関連付けられた第１画素を前述の監視領域の背景画像に関連付けられた第２画素に相関させて、前述の第１画素が前述の第２画素と水平および垂直に整列するようにすることも含む。この方法は、前述の第１画像と前述の監視領域の背景画像とを比較して、潜在的侵入物の存在を判定することも含む。この方法はさらに、前述の第１画像と前述の第２画像の相対的比較に基づいて、前述の潜在的侵入物の３次元特徴を判定すること、および前述の潜在的侵入物の３次元特徴が少なくとも１つの所定閾値を超過する場合に、インジケータをアクティブにすることを含む。
【０００７】
本発明の別の実施態様は、侵入検知システムを含む。この侵入検知システムは、監視領域の第１画像と第２画像とを同時に取得する手段を備える。この侵入検知システムは、前述の監視領域の背景画像を連続的に生成する手段も備える。この侵入検知システムはまた、前述の第１画像と前述の背景画像との間の差分に基づいて、潜在的侵入物を検知する手段も備える。この侵入検知システムはさらに、前述の第１画像と前述の第２画像とに基づいて前述の潜在的侵入物の３次元特徴を判定する手段、および前述の潜在的侵入物の３次元特徴に基づいて、インジケータをアクティブにする手段を備える。
【発明を実施するための最良の形態】
【０００８】
本発明は、典型的に侵入検知システムに関し、より詳細にはステレオカメラ侵入検知システムに関する。１対のステレオカメラはそれぞれ、監視領域の並列画像を取得する。カメラの１つまたは両方からの取得画像は、背景画像と比較することができる。従って、背景画像をカメラの１つから生成することができるか、またはカメラを別個の背景画像と比較することができる。取得画像の各々に基づいて背景画像を常時更新し、監視領域環境内の微妙な変化をゆっくりと捕捉することができる。さらに、背景画像を取得画像の各々と相関させ、取得画像と背景画像の各々の画素を水平および垂直に整列することができる。
【０００９】
取得画像と背景画像における差分を検出する際、異なる画素を潜在的侵入物として概説することができる。各カメラからの取得画像を相関させ、あるカメラから取得した画像における潜在的侵入物の２次元位置の、他のカメラに対する視差間隔を判定することができる。視差間隔を判定する際、潜在的侵入物の３次元位置、大きさ、および動作を判定することができる。潜在的侵入物の位置、大きさ、および／または動作は、少なくとも１つの所定閾値と比較することができ、潜在的侵入物が所定閾値を超える際にインジケータを鳴らすことができる。
【００１０】
図１は、本発明の態様によるステレオカメラ侵入検知システム１０の例を示す。ステレオカメラ侵入検知システム１０は、第１カメラ１４および第２カメラ１６を含むステレオ画像取得台１２を含む。第１カメラ１４および第２カメラ１６は、デジタルカメラであってもよい。または、第１カメラ１４および第２カメラ１６は、アナログカメラ画像であってもよく、第１カメラ１４および第２カメラ１６から取得した画像は、デジタイザ（図示せず）に出力することができる。第１カメラ１４および第２カメラ１６は、同一監視領域の画像を並列に取得するように構成することができる。そのため、第１カメラ１４および第２カメラ１６は互いに対してステレオで動作し、それらを互いに近い位置（例えば、１メートル）に取り付けることができる。取得画像はそれぞれ、第１カメラ１４および第２カメラ１６によりそれぞれ高速（例えば、１秒あたり１５フレーム）で収集され、別個に取得されたフレームとなることができる。第１カメラ１４および第２カメラ１６は従って、それら各々の物理的間隔に基づく各々の視点においてのみ異なる、ほぼ同じ画像を取得することができる。そのため、以下でさらに詳細に説明するように、ステレオ画像取得台１２は潜在的侵入物の３次元位置を検出することができる。
【００１１】
潜在的侵入物の３次元位置を検出する能力により、ステレオ画像取得台１２を最適に配置することができる。ステレオカメラ侵入検知システム１０は、潜在的侵入物の３次元位置を検出できるため、ステレオ画像取得台１２を高い位置に取り付ける必要がない。代わりに、ステレオ画像取得台１２を床の高さ近くに、かつ床に平行に取り付けることができる。上記のような取り付け配置は、高い位置に置くよりも非常に廉価で、かなり人目につきにくい。そのため、潜在的侵入物はステレオ画像取得台１２を検知することができず、従って隠れる機会、または対応策を実施する機会を潜在的侵入物から奪うことができる。
【００１２】
取得画像はステレオ画像取得台１２からトークン検出器１８に出力される。トークン検出器１８は、第１カメラ１４および／または第２カメラ１６からの取得画像を背景画像と比較するように構成される。以下でさらに詳細に説明するように、トークン検出器１８は、第１カメラ１４および／または第２カメラ１６からの取得画像の各々に関連付けられた画素と背景画像に関連付けられた画素との間の差分に基づいて、潜在的侵入物の存在を判定することができる。さらに、または代替的に、以下でさらに詳細に説明するように、トークン検出器１８は、第１カメラ１４および／または第２カメラ１６からの取得画像と背景画像との間のテクスチャ差分に基づいて、潜在的侵入物の存在を判定することができる。
【００１３】
背景画像は、背景画像生成器２０により生成することができる。背景画像生成器２０は、ステレオ画像取得台１２から入力を受信するものとして、図１の例に示されている。入力は、第１カメラ１４、第２カメラ１６、または第１カメラ１４および第２カメラ１６の両方からの入力であってよい。従って、背景画像生成器２０は、第１カメラ１４、第２カメラ１６からの取得画像に基づいて背景画像を生成することができるか、または第１カメラ１４および第２カメラ１６の各々から１つ、独立した背景画像を生成することができる。
【００１４】
背景画像生成器２０は、第１カメラ１４および／または第２カメラ１６からの取得画像の複数画素によって背景画像を周期的に更新することで、背景画像を連続的に生成し続けることができる。そのため、通過する太陽が投射する影などのような監視領域内の漸進的な環境変化を背景画像に取り込むことができる。ステレオカメラ侵入検知システム１０は従って、漸進的な環境変化に基づく誤検知を記録しない。さらに、背景画像生成器２０が生成する背景画像を安定化することができる。以下の図２の例でさらに詳細に説明するように、安定化した背景画像を、第１カメラ１４および／または第２カメラ１６からの取得画像と水平または垂直に整列して、カメラバウンスを補償することができる。
【００１５】
第１カメラ１４および第２カメラ１６の各々からの取得画像の各々に対して、トークン検出器１８は、それぞれの取得画像と背景画像との間の画素差分の絶対値を示す差分画像を生成することができる。トークン検出器１８は次いで、差分画像上で画素充填アルゴリズムを実施し、差分画像上で近接する差分画素を接続して候補トークンを示すことができる。候補トークンは、潜在的侵入物を表すことができる。
【００１６】
代替実施態様において、図７の例に示すように、トークン検出器１８は画像フィルタアルゴリズムを含み、第１カメラ１４、第２カメラ１６からの取得画像、および背景画像を全てフィルタリングすることができる。第１カメラ１４および第２カメラ１６からのフィルタリング画像を、トークン検出器１８によりフィルタリング背景画像と比較して、それぞれ背景画像と比較した第１カメラ１４および第２カメラ１６からの取得画像間のテクスチャ変化を判定することができる。このような方法で、取得画像と背景画像との間の明るさおよびコントラストの差分は、ステレオカメラ侵入検知システム１０により無視することができる。第１カメラ１４および第２カメラ１６からのフィルタリング画像とフィルタリング背景画像との間のテクスチャ差分は、潜在的侵入物を表すことが可能な候補トークンとなることができる。しかしながら、トークン検出器１８はさらに、潜在的侵入物の存在を重複して判定する方法として絶対値画素差分を使用し、候補トークンを評価することができる。
【００１７】
ステレオカメラ侵入検知システム１０は、画像トラッキング装置２２も含む。画像トラッキング装置２２は、位置取得エンジン２４、３次元動作計算器２６、および閾値比較器２８を含む。トークン検出器１８は、候補トークンの位置を位置取得エンジン２４に通信する。さらに、ステレオ画像取得台１２は、第１カメラ１４および第２カメラ１６の１つまたは両方により取得された画像を位置取得エンジン２４に送信することができる。位置取得エンジン２４は、潜在的侵入物に関連付けられた３次元位置および大きさを判定するように構成される。例えば、位置取得エンジン２４は、第１カメラ１４から取得した画像と第２カメラ１６から取得した画像とを結合することができる。位置取得エンジン２４は次いで、第１カメラ１４および第２カメラ１６から取得した各画像に相関アルゴリズムを適用して、第１カメラ１４により取得された画像内の候補トークンの第２カメラ１６により取得された画像に対する相対的２次元位置を判定することができる。従って、位置取得エンジン２４は、第１カメラ１４により取得された画像内の潜在的侵入物の第２カメラ１６に対する視差間隔に基づいて、潜在的侵入物の３次元位置および大きさを判定することができる。
【００１８】
潜在的侵入物の視差間隔を判定することにおいて、位置取得エンジン２４は、画像フィルタリングアルゴリズムを第１カメラ１４および第２カメラ１６により取得された画像の各々に適用して、第１のフィルタリング画像および第２のフィルタリング画像をそれぞれ取得することができる。フィルタリングアルゴリズムは例えば、ラプラシアン・ガウシアン符号（ＳＬＯＧ）フィルタリングアルゴリズムであってよい。さらに、位置取得エンジン２４は、複数のフィルタリングアルゴリズムを第１カメラ１４および第２カメラ１６からの各画像に適用することができ、各フィルタリング画像は異なる解像度を有することができる。位置取得エンジン２４は次いで、第１のフィルタリング画像を第２のフィルタリング画像に重ね合わせ、相関アルゴリズムを適用することができる。この重ね合わせは、トークン検出器１８からの通信時に、第１のフィルタリング画像内の候補トークンを第２のフィルタリング画像内の潜在的侵入物の近似位置に重ね合わせることを含むことができる。第１カメラ１４および第２カメラ１６の両方が取得した画像上の候補トークンを判定するステレオカメラ侵入検知システム１０の例において、位置取得エンジン２４は、画像フィルタリングアルゴリズムを適用せずに、相関アルゴリズムの適用前に第１カメラ１４からの差分画像を第２カメラ１６からの差分画像上に単純に重ね合わせてもよい。
【００１９】
例として、相関アルゴリズムは、反復画素シフトアルゴリズムを含んでもよい。この反復画素シフトアルゴリズムは、第１のフィルタリング画像を第２のフィルタリング画像に対して少なくともシフトあたり１画素シフトし、第１のフィルタリング画像を各シフトでそれぞれの第２のフィルタリング画像と比較する。この比較は、各シフトに対して相関スコアを判定することを含んでもよい。最高相関スコアを有するシフトを判定する際、位置取得エンジン２４は潜在的侵入物の視差間隔を、第１画像と第２画像との間のオフセット画素数に基づいて判定することができる。位置取得エンジン２４は次いで、オフセット画素数を３次元空間における測定単位に変換して、潜在的侵入物の３次元位置および大きさを判定することができる。
【００２０】
当然のことながら、潜在的侵入物の３次元位置および大きさを判定する際、位置取得エンジン２４は、第１カメラ１４からの所与の画像を、ほぼ同時に取得した第２カメラ１６からのそれぞれの画像と比較して評価する。そのため、位置取得エンジン２４は、第１カメラ１４および第２カメラ１６からの取得画像の各フレームに関連付けられた３次元位置および大きさの情報を、３次元動作計算器２６に出力する。３次元動作計算器２６は、第１カメラ１４および第２カメラ１６の複数画像、従って複数フレームに渡る潜在的侵入物の３次元位置および大きさの変化をトラッキングすることができる。第１カメラ１４および第２カメラ１６の画像に渡る潜在的侵入物の３次元位置および大きさの変化により、動作方向および動作速度などのような潜在的侵入物に関連付けられた３次元動作を判定することができる。
【００２１】
潜在的侵入物に関連付けられた位置、大きさ、および動作の情報は、閾値比較器２８に出力することができる。この閾値比較器２８は、インジケータ３０に結合される。インジケータ３０は例えば、警報器、視覚インジケータ、または任意の様々な他の表示装置であることができる。さらに、インジケータ３０をネットワークに結合して、監視領域から離れた警察署などの施設にインジケータ３０を設置することができる。閾値比較器２８は、インジケータ３０に信号を送ってステレオカメラ侵入検知システム１０のオペレータ（例えば、警備員および／または警察官）に知らせるのに十分な任意の様々な所定閾値条件で、プログラミングすることができる。例えば、潜在的侵入物が例えば子犬の大きさよりも大きいと判定されると、閾値比較器２８はインジケータ３０に信号を送ることができる。大きさの閾値は全体の大きさだけでなく、高さに特有のものであってよい。このような方法で、閾値比較器２８は、ステレオカメラ侵入検知システム１０の所与のオペレータが注意する必要のない鳥や兎などのような潜在的侵入物から、誤検知条件が生じないことを保証できる。
【００２２】
閾値条件は潜在的侵入物の所与の速度も示し、例えば、ある一定速度またはそれを超える速度で走行する自動車について、インジケータ３０に信号を送ることができる。さらに、ステレオカメラ侵入検知システム１０のオペレータは、監視領域の３次元部分を閾値ゾーンまたは空値ゾーンとして指定することができる。従って、閾値比較器２８は、潜在的侵入物が閾値ゾーン内または閾値ゾーンに向かって移動する際に、インジケータ３０に信号を送ることができる。同様に、閾値比較器２８は、空値ゾーン内に潜在的侵入物を検知する際にインジケータ３０を無効にし、セキュリティ監視にとって特には関心のない監視領域の３次元部分を無効にすることができる。そのため、枝の揺れのような一定の環境変化から生じる誤検知条件を緩和することができる。当然のことながら、閾値比較器２８をプログラミングして、任意の数の閾値、および組合せて適用される閾値を適用することもできる。例えば閾値比較器２８を、潜在的侵入物がある一定の所定の大きさであり、かつある一定の所定速度で移動しているときにのみ、インジケータ３０に信号を送るようにプログラミングすることができる。
【００２３】
当然のことながら、ステレオカメラ侵入検知システム１０を、図１に示す例に限定する意図はない。例えば、ステレオカメラ侵入検知システム１０は、ステレオ画像取得台１２内に３つ以上のステレオカメラを含むことができる。さらに、図４、図６、および図７の例で示すように、本発明の態様により、任意の数の異なる構成をステレオカメラ侵入検知システム１０に対して実装することができる。
【００２４】
図２は、本発明の態様による背景画像生成器５０の例を示す。当然のことながら、背景画像生成器５０は、図１の例の背景画像生成器２０とほぼ同じものであることができる。そのため、図１の参照、および図１と同じ参照番号を、以下の図２の説明で使用する。図２の例で示す背景画像生成器５０は、カメラ５２から画像データを受信する。カメラ５２は、図１の例における第１カメラ１４または第２カメラ１６のいずれであってもよい。カメラ５２からの単一フレームを使用して、取得背景画像５４を生成することができる。取得背景画像５４は、所定の時点で撮影した監視領域の画像であってよい。例えば、背景画像生成器５０を使用しているステレオカメラ侵入検知システムのオペレータは、監視領域内に侵入物はいないと判定する際に、背景画像生成器５０に入力を与えて取得背景画像５４を生成することができる。さらに、背景画像生成器５０は、例えば毎分１回といった所定の時点で取得背景画像５４を周期的に生成して、通過する雲などのような漸進的な環境条件変化を捕捉することができる。
【００２５】
背景画像生成器５０は、背景画像更新器５６も含む。背景画像更新器５６は、周期的にカメラ５２から入力を受信して取得背景画像５４を更新し、監視領域内部で発生する漸進的変化を捕捉する。例えば、背景画像更新器５６は、カメラ５２が取得した画像から、複数の画素を取得背景画像５４に周期的に追加することができる。当然のことながら、取得背景画像５４の更新速度の判定において、調整を行うことができる。例えば、取得背景画像５４の更新が速すぎる場合、潜在的侵入物は取得背景画像５４の一部となり、結果として見逃す可能性がある。逆に、取得背景画像５４の更新が遅すぎる場合、監視領域の漸進的環境変化により候補トークンが生成され、誤検知の可能性がある。そのため、背景画像更新器５６を、取得背景画像５４に追加される画素量と、取得背景画像５４への画素の追加頻度とに関してプログラミング可能である。
【００２６】
図１の例でステレオカメラ侵入検知システム１０に関して上述したように、トークン検出器１８は、絶対値画素差分アルゴリズムを適用して差分画像を生成するように構成することができる。従って、差分画像は背景画像と第１カメラ１４および／または第２カメラ１６の各々が取得した画像の各々との間の絶対値画素差分である。そのため、画像取得カメラと背景画像との間の水平および／または垂直整列の微小変動により、実際の監視領域内にはほとんど変化がなくても、大幅な変動を示す差分画像を生成することができる。この整列ミスマッチは、画像取得カメラが風、振動、または任意の様々な他の要因により微小移動するなどの、カメラバウンスから生じる可能性がある。このような移動により、取得画像が背景画像から所与の方向に１つまたは複数の画素だけオフセットし、結果として取得画像と背景画像との間の極端な変動を示す差分画像となり、従って侵入物を誤検知する可能性が生じる。
【００２７】
カメラバウンスを考慮するため、背景画像生成器５０は背景画像スタビライザ５８を含む。背景画像スタビライザ５８は、取得背景画像５４に対してカメラ５２の取得画像を垂直および水平に整列し、取得背景画像５４が安定するように構成される。背景画像スタビライザ５８は、各取得画像と取得背景画像５４とを入力としてカメラ５２から受信する。取得背景画像５４は、背景ラプラシアン・ガウシアン符号（ＳＬＯＧ）フィルタ６０に入力され、カメラ５２からの取得画像はそれぞれ、画像ＳＬＯＧフィルタ６２に入力される。当然のことながら、背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２はＳＬＯＧフィルタに限定されず、任意の様々な帯域通過画像フィルタであってよい。背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２は、各画像をフィルタリング画像に変換し、フィルタリング画像がテクスチャコントラストを強調するように動作する。当然のことながら、取得背景画像５４は、背景画像更新器５６による更新の度に背景ＳＬＯＧフィルタ６０に入力されるだけであってもよい。
【００２８】
図３は、本発明の態様によるカメラ画像１００ならびにカメラ画像１００の第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６の例を示す。図３の例において、第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６はそれぞれ、カメラ画像１００のＳＬＯＧのフィルタリング画像である。フィルタリング画像１０２、フィルタリング画像１０４、およびフィルタリング画像１０６は、カメラ画像１００のテクスチャコントラストの白黒画素パターンを示し、そのため、カメラ画像１００の明るさの変化を表していない。従って、通過する雲および他の明るさのパターンからの影は、画像１０２、画像１０４、および画像１０６のようなＳＬＯＧのフィルタリング画像においては検出されない。
【００２９】
第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６はそれぞれ、カメラ画像１００の２値テクスチャコントラストを示す際の各種解像度を有する。第１のフィルタリング画像１０２はカメラ画像１００の低解像度フィルタリング表現であり、第２のフィルタリング画像１０４はカメラ画像１００の中解像度フィルタリング表現であり、第３のフィルタリング画像１０６はカメラ画像１００の高解像度フィルタリング表現である。図２の例における背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２のような所与のＳＬＯＧフィルタを調整して、図３の例に示すように各種の２値テクスチャ解像度を与えることができる。図３の例で示すように、フィルタリング画像１０６は、フィルタリング画像１０２およびフィルタリング画像１０４よりも正確なカメラ画像１００の２値テクスチャパターンを定義する。しかしながら、フィルタリング画像１０６は、カメラ画像１００をフィルタリングする際に雑音に対してより敏感であってもよい。
【００３０】
図２の参照に戻ると、背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２は、フィルタリング画像１０２のような粗いフィルタリング操作を、取得背景画像５４とカメラ５２から受信した視覚画像に対して適用するだけでよい。フィルタリング画像はそれぞれ、背景ＳＬＯＧフィルタ６０および画像ＳＬＯＧフィルタ６２からフィルタリング画像相関器６４に出力される。フィルタリング画像相関器６４は、フィルタリング取得背景画像をフィルタリング取得視覚画像に重ね合わせる。フィルタリング画像相関器６４は次いで、フィルタリング取得背景画像をフィルタリング取得視覚画像上で１度に１画素だけ反復シフトする。
【００３１】
毎回の画素シフトで、フィルタリング画像相関器６４は相関スコアを判定することができる。相関スコアは、２値テクスチャパターン画素の一致数に基づいて、フィルタリング取得背景画像とフィルタリング取得視覚画像との整列度合いを表すことができる。シフトを垂直および水平の両方向で行うことができ、かつシフトを画像全体または画像の一部に渡って行うことができ、正負の画素シフト境界を垂直および水平の両方向に設定することができる。最高相関スコアとなる画素シフトは、フィルタリング背景画像とフィルタリング取得視覚画像との間の適切な整列を表すことができる。当然のことながら、フィルタリング画像相関器６４は、カメラ５２の各フレームに関連付けられた各フィルタリング取得視覚画像を、フィルタリング取得背景画像に対して相関させることができる。
【００３２】
フィルタリング取得背景画像とフィルタリング取得視覚画像との間の適切な相関を判定する際、フィルタリング画像相関器６４は、相関付けのためにシフトした画素数を画像シフタ６６に通信する。画像シフタ６６は取得背景画像５４を受信し、取得背景画像５４をフィルタリング画像相関器６４が通信した画素数だけシフトする。シフトされた取得背景画像は次いで、画像シフタ６６から、図１の例で示したトークン検出器１８のようなトークン検出器に出力される。このような方法で、背景画像を安定化させて誤った進入検知を低減することができる。この誤った侵入検知は、各カメラからの背景画像と取得視覚画像との間の水平および垂直の整列欠如に基づく、差分画像内の絶対値画素差分から生じる。
【００３３】
当然のことながら、背景画像生成器５０は図２の例に限定されない。例えば、背景画像スタビライザ５８のコンポーネントの一部または全てを統合してもよい。別の例として、画像シフタ６６は、背景画像スタビライザ５８が画素整列情報をトークン検出器に出力するように、各トークン検出器内に在ってもよい。加えて、さらに別の例として、フィルタリング画像相関器６４は、フィルタリング取得視覚画像をフィルタリング取得背景画像に対して相関させ、画素シフト情報をトークン検出器に通信することができる。従って、各取得視覚画像を、取得背景画像をシフトする代わりにトークン検出器内の背景画像に対してシフトすることができる。
【００３４】
図４は、本発明の態様によるステレオカメラ侵入検知システム１５０の別の例を示す。ステレオカメラ侵入検知システム１５０は、第１カメラ１５４および第２カメラ１５６を含むステレオ画像取得台１５２を含む。第１カメラ１５４および第２カメラ１５６はデジタルカメラであることができる。第１カメラ１５４および第２カメラ１５６は、同一監視領域の画像を並列に取得するように構成することができる。そのため、第１カメラ１５４および第２カメラ１５６は互いに対してステレオで動作し、互いに対して近い位置（例えば、１メートル）に取り付けることができる。取得画像は、それぞれ別個に取得し、それぞれ第１カメラ１５４および第２カメラ１５６により高速（例えば、毎秒１５フレーム）で収集したフレームであることができる。
【００３５】
ステレオカメラ侵入検知システム１５０は、トークン検出器１５８を含む。トークン検出器１５８は、画像比較器１６０、画像フィルタ１６２、およびトークンロケータ１６４を含む。カメラ１５４により取得された視覚画像は、画像比較器１６０に出力される。画像比較器１６０は、第１カメラ１５４からの取得画像を背景画像生成器１６６から生成した背景画像と比較するように構成される。背景画像生成器１６６は、上の図２の例で説明したように、背景画像生成器５０とほぼ同じであることができる。そのため、背景画像生成器１６６から出力された背景画像を、カメラ１５４から出力された取得画像とほぼ垂直および水平に整列することができる。
【００３６】
画像比較器１６０は、絶対値画素差分アルゴリズムを適用して差分画像を生成する。画素差分は、テクスチャ、明るさ、および色コントラストに基づくことができる。差分画像は従って、カメラ１５４からの取得画像の各々と背景画像との間で異なるほぼ全ての画素を示す。当然のことながら、画像比較器１６０は従って、カメラ１５４から出力されたフレームの各々に対応する画像の各々に対して差分画像を生成する。
【００３７】
しかしながら、差分画像単体では、潜在的侵入物の絶対値画素画像を正確に描写することはできない。例えば、黒服を着た侵入物は、監視領域内の暗い背景面の前方に忍び込むことができる。画像比較器１６０は、絶対値画素差分アルゴリズムを適用する際に侵入物の手、顔、および靴を区別できるかもしれないが、取得画像内には、画像比較器１６０が背景画像から区別不能な侵入物の身体の一部があるかもしれない。そのため、画像比較器１６０は、差分画像を画像フィルタ１６２に出力する。
【００３８】
画像フィルタ１６２は、画素充填アルゴリズムを差分画像に適用し、候補トークンが存在するかどうかを判定することができる。画素充填アルゴリズムは、差分画像内で互いに近い位置にある画素を接続し、接続された画素が候補トークンの存在を判定するための形状を取るようにできる。例えば、画像充填アルゴリズムは、差分画像上で左から右への水平方向の充填から始めて、互いから一定の所定画素距離内にある水平線上の画素を最初に接続することができる。所定の画素距離は、誤検知となりうる不要な充填を防止するように調整することができる。画像充填アルゴリズムは次いで、差分画像上の垂直方向に同様の操作を適用することができる。結果として、生じる可能性のある絶対値画素差分を検出する際、誤りを捕捉するため、緊密にグループ化したバラバラの画素を充填することができる。従って、カモフラージュされた侵入物の上記例において、侵入物の手、顔、および靴を充填して、差分画像上の２次元の画素化した「ブロブ」を形成することができるので、侵入物をなお発見することができる。
【００３９】
充填した差分画像は、画像フィルタ１６２からトークンロケータ１６４に出力される。充填した差分画像上の充填した画素グループは、トークンロケータ１６４により試験することができる。侵入物の２次元画素化「ブロブ」などのような充填した画素グループが所定形状閾値を超えると、トークンロケータ１６４は、充填した画素グループを候補トークンとしてマーキングすることができる。トークンロケータ１６４は従って、充填した差分画像上の候補トークン位置に関連する画素座標を判定し、候補トークンの２次元画素位置情報を信号ＴＫＮ＿ＬＯＣとして位置取得エンジン１６８に通信する。図１の例で上述した候補トークンは、潜在的侵入物に対応することができる。
【００４０】
カメラ１５４および１５６の各々の取得画像も位置取得エンジン１６８に出力される。位置取得エンジン１６８は、図１の例で上述したものと同様に、潜在的侵入物の３次元位置および大きさを判定するように構成され、３次元動作計算器および閾値比較器も含む画像トラッキング装置の一部であってよい。詳細には、カメラ１５４は、そのそれぞれの取得画像を第１ラプラシアン・ガウシアン符号（ＳＬＯＧ）フィルタ１７０に出力し、第２カメラ１５６は、そのそれぞれの取得画像を第２ＳＬＯＧフィルタ１７２に出力する。図４の例において、第１ＳＬＯＧフィルタ１７０および第２ＳＬＯＧフィルタ１７２の各々は、複数のＳＬＯＧフィルタリング操作を第１カメラ１５４および第２カメラ１５６の各々からの取得画像の各々にそれぞれ適用する。詳細には、ＳＬＯＧフィルタ１７０およびＳＬＯＧフィルタ１７２は、低解像度ＳＬＯＧフィルタリング操作、中解像度ＳＬＯＧフィルタリング操作、および高解像度ＳＬＯＧフィルタリング操作を取得画像の各々に実施する。ＳＬＯＧフィルタリング操作はそれぞれ、上の図３の例で示した第１のフィルタリング画像１０２、第２のフィルタリング画像１０４、および第３のフィルタリング画像１０６に対応することができる。第１ＳＬＯＧフィルタは、高解像度フィルタリング画像Ｒ＿ＨＩＧＨ、中解像度フィルタリング画像Ｒ＿ＭＥＤ、および低解像度フィルタリング画像Ｒ＿ＬＯＷを、画像相関器１７４に出力する。第２ＳＬＯＧフィルタは、高解像度フィルタリング画像Ｌ＿ＨＩＧＨ、中解像度フィルタリング画像Ｌ＿ＭＥＤ、および低解像度フィルタリング画像Ｌ＿ＬＯＷを、画像相関器１７４に出力する。そのため、図３の例で上述したように、画像の正確性と雑音との間の調整を、潜在的侵入物の３次元位置を判定する際に適切に考慮することができる。
【００４１】
図５は、本発明の態様による画像相関器２００の例を示す。図５の例における画像相関器２００は、図４の例における画像相関器１７４を表すことができる。そのため、図４の参照、および図４と同じ参照番号を、図５の例に関する以下の説明で使用する。画像相関器２００は画像重ね合わせ結合器２０２を含む。画像重ね合わせ結合器２０２は、第１ＳＬＯＧフィルタ１７０および第２ＳＬＯＧフィルタ１７２からフィルタリング画像の出力を受信し、同一解像度のフィルタリング画像対が重ね合わされるようにフィルタリング画像対を重ね合わせる。例えば、カメラ１５４からの高解像度フィルタリング画像Ｒ＿ＨＩＧＨは、カメラ１５６からの高解像度フィルタリング画像Ｌ＿ＨＩＧＨに重ね合わされる。同様に、カメラ１５４からの中解像度フィルタリング画像Ｒ＿ＭＥＤは、カメラ１５６からの中解像度フィルタリング画像Ｌ＿ＭＥＤに重ね合わされる。同様に、カメラ１５４からの低解像度フィルタリング画像Ｒ＿ＬＯＷは、カメラ１５６からの低解像度フィルタリング画像Ｌ＿ＬＯＷに重ね合わされる。画像重ね合わせ結合器２０２は信号ＴＫＮ＿ＬＯＣも受信し、フィルタリング画像Ｒ＿ＨＩＧＨ、フィルタリング画像Ｒ＿ＭＥＤ、およびフィルタリング画像Ｒ＿ＬＯＷをそれぞれ、フィルタリング画像Ｌ＿ＨＩＧＨ、フィルタリング画像Ｌ＿ＭＥＤ、およびフィルタリング画像Ｌ＿ＬＯＷ上に、各々のフィルタリング画像Ｌ＿ＨＩＧＨ、フィルタリング画像Ｌ＿ＭＥＤ、およびフィルタリング画像Ｌ＿ＬＯＷ上の潜在的侵入物の近似位置に対応する位置で、重ね合わせることができる。重ね合わせの画素位置は、フィルタリング画像対の各々に対して同一であることができる。
【００４２】
３つの重ね合わせフィルタリング画像対は、画像重ね合わせ結合器２０２から反復画素シフタ２０４に出力される。図５の例において、高解像度重ね合わせフィルタリング画像対はＨＩＧＨ＿ＯＶＬＹとして示され、中解像度重ね合わせフィルタリング画像対はＭＥＤ＿ＯＶＬＹとして示され、低解像度重ね合わせフィルタリング画像対はＬＯＷ＿ＯＶＬＹとして示される。当然のことながら、図５の例において、ＨＩＧＨ＿ＯＶＬＹ、ＭＥＤ＿ＯＶＬＹ、およびＬＯＷ＿ＯＶＬＹは別個の画像対であって、従って実際の結合画像ではない。反復画素シフタ２０４は画素シフト相関アルゴリズムを、図２の例におけるフィルタリング画像相関器６４に対して上述した相関操作と同様に、フィルタリング画像対の各々に適用する。しかしながら、反復画素シフタ２０４は、各フィルタリング画像対をほぼ並列にかつ等しくシフトすることができる。
【００４３】
各画素シフトに対して、高解像度相関スコア計算器２０６、中解像度相関スコア計算器２０８、低解像度相関スコア計算器２１０は、それぞれのフィルタリング画像対の各々に対して相関スコアを計算する。フィルタリング画像対の各々は互いに対して異なる解像度を有するので、フィルタリング画像対の各々の画像シフトが同一であっても、それぞれのフィルタリング画像対の各々に対する相関スコアは異なってもよい。例えば、フィルタリング画像Ｒ＿ＨＩＧＨ、フィルタリング画像Ｒ＿ＭＥＤ、およびフィルタリング画像Ｒ＿ＬＯＷを、それぞれのフィルタリング画像Ｌ＿ＨＩＧＨ、フィルタリング画像Ｌ＿ＭＥＤ、およびフィルタリング画像Ｌ＿ＬＯＷに対して＋Ｘ方向に１画素だけ並列にシフトして、フィルタリング画像対の各々に対して別個の相関スコアを生成することができる。当然のことながら、図５の例において、相関スコアは、カメラ１５６に関連付けられたフィルタリング画像の画素と一致する候補トークンのフィルタリング画像の画素数を表すことができる。そのため、最高相関スコアは、対向する他のフィルタリング画像内の候補トークンの対応画素位置にシフトされている候補トークンの画素となることができる。従って、当然のことながら、候補トークンの近似画素位置でフィルタリング画像をそれぞれのフィルタリング画像の各々に重ね合わせることができるので、相関スコアを任意のシフトの前に取得することができる。
【００４４】
別個の相関スコアを考慮するため、高解像度相関スコア計算器２０６、中解像度相関スコア計算器２０８、および低解像度相関スコア計算器２１０はそれぞれ、各相関スコアを集合相関計算器２１２に出力する。集合相関計算器２１２は、別個のそれぞれの解像度の相関スコアに基づいて集合相関スコアを判定することができる。集合相関計算器２１２は、任意の様々な方法で集合相関スコアを判定するようにプログラミングすることができる。例として、集合相関計算器２１２は、相関スコアを追加すること、相関スコアを平均化すること、または相関スコアの追加および平均化の前に個々の相関スコアに対して重み係数を適用することができる。そのため、相関の判定に好適な任意の方法で、各画素シフトに対して集合相関スコアを判定することができる。
【００４５】
集合相関スコアは、集合相関計算器から相関スコアピーク検出器２１４に出力される。相関スコアピーク検出器２１４は、フィルタリング画像対の各シフトに対する集合相関スコアを比較し、どのシフトが相関に関して最適なシフトであるかを判定する。フィルタリング画像対に関して最良の相関に対応するシフトを判定する際、相関スコアピーク検出器２１４は、最適相関に対するフィルタリング画像対のオフセット画素数を出力する。
【００４６】
当然のことながら、画像相関器２００は図５の例に限定されない。例えば、画像重ね合わせ結合器２０２は、フィルタリング画像が候補トークンの近似画素位置で重ね合わされないように、トークンロケータ１６４から入力を受信しなくてもよい。例として、画像結合器はフィルタリング画像を反対の画素端で重ね合わせ、それにより反復画素シフタが、１つのフィルタリング画像を別のフィルタリング画像全体に渡ってスイープして相関を判定することができる。別の例として、フィルタリング画像対を重ね合わせて、それらを水平および垂直に整列させ、それぞれの画像中央部から螺旋状に画素シフトすることができる。さらに、画像相関器２００は、３つの別個のフィルタリング画像対を受信しなくともよいが、相関付けの際に第１カメラ１５４および第２カメラ１５６の画像を多少受信して、潜在的侵入物の３次元位置を判定することができる。さらに、図５の例で示した装置の一部を単一装置に統合することができる。
【００４７】
図４の参照に戻ると、最適相関のフィルタリング画像対におけるフィルタリング画像間のオフセット画素数が、画像相関器１７４から次元変換エンジン１７６に出力される。次元変換エンジン１７６は、フィルタリング画像対に相関する画素オフセットを検証し、その画素オフセットを、潜在的侵入物がステレオ画像取得台１５２から離れる範囲量に対応する測定単位に変換する。オフセット画素数は、前述の範囲に反比例して、多数のオフセット画素がステレオ画像取得台１５２により近い範囲に対応し、少数のオフセット画素がステレオ画像取得台１５２からさらに離れた範囲に対応してもよい。当然のことながら、次元変換エンジン１７６を前もって較正して、オフセット画素を範囲に適切に関連付けることができる。例えば、監視領域内のステレオ画像取得台１５２からの所定範囲に位置する静止対象物を、範囲変換用の画素オフセットを較正するために使用することができる。
【００４８】
潜在的侵入物の範囲を判定することは従って、ステレオ取得段階１５２に対する潜在的侵入物の３次元位置に直接に対応する。潜在的侵入物の３次元位置を判定する際、次元変換エンジン１７６は潜在的侵入物の大きさを判定することができる。例えば、潜在的侵入物の３次元位置を判定する際、垂直および水平方向における候補トークンの次元画素数を、範囲判定に使用される測定単位に変換することができる。そのため、幅が数画素のみでありステレオ画像取得台１５２から２メートル離れていると判定される候補トークンは、鼠である可能性がある。同じ画素数の幅で、かつ何百メートルも離れていると判定される候補トークンは、自動車である可能性がある。従って、潜在的侵入物の３次元位置および大きさは、第１カメラ１５４により取得された画像内の潜在的侵入物（例えば、候補トークン）の２次元位置の、第２カメラ１５６により取得された画像内の潜在的侵入物の２次元位置に対する視差間隔に基づいて判定される。図１の例に関して上述したように、３次元位置および大きさを、次元変換エンジン１７６から３次元動作計算器および／または閾値比較器に出力することができる。
【００４９】
図６は、本発明の態様によるステレオカメラ侵入検知システム２５０の別の例を示す。ステレオカメラ侵入検知システム２５０は、第１カメラ２５４および第２カメラ２５６を含むステレオ画像取得台２５２を含む。ステレオカメラ侵入検知システム２５０は、トークン検出器２５８も含む。トークン検出器２５８は、第１画像比較器２６０、第１画像フィルタ２６２、および第１トークンロケータ２６４を含む。トークン検出器２５８は、第２画像比較器２６６、第２画像フィルタ２６８、および第２トークンロケータ２７０も含む。カメラ２５４により取得された視覚画像は第１画像比較器２６０に出力され、カメラ２５６により取得された視覚画像は第２画像比較器２６６に出力される。
【００５０】
第１画像比較器２６０および第２画像比較器２６６はそれぞれ、第１カメラ２５４および第２カメラ２５６からの取得画像をそれぞれ第１背景画像生成器２７２および第２背景画像生成器２７４から生成された背景画像と比較するように構成される。第１背景画像生成器２７２および第２背景画像生成器２７４の各々は、上の図２の例で説明したように、背景画像生成器５０とほぼ同じであることができる。そのため、第１背景画像生成器２７２から出力された背景画像と第２背景画像生成器２７４から出力された背景画像とは、第１カメラ２５４および第２カメラ２５６から出力された取得画像とそれぞれほぼ垂直および水平に整列することができる。
【００５１】
上の図４の例における画像比較器１６０と同様に、第１画像比較器２６０と第２画像比較器２６６の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成する。同様に、第１画像フィルタ２６２および第２画像フィルタ２６８はそれぞれ、画素充填アルゴリズムをそれぞれの差分画像に適用し、候補トークンがそれぞれの差分画像の各々に存在するかどうかを判定することができる。充填した差分画像は、画像フィルタ２６２および画像フィルタ２６８から、それぞれのトークンロケータ２６４およびトークンロケータ２７０に出力される。さらに、充填した差分画像は、画像フィルタ２６２および画像フィルタ２６８から位置取得エンジン２７６にも出力される。図４の例で上述したものと同様に、充填した差分画像をそれぞれのトークンロケータ２６４およびトークンロケータ２７０により検証して、充填した差分画像の各々での候補トークンの存在、およびそれぞれの候補トークンの画素位置を判定することができる。トークンロケータ２６４およびトークンロケータ２７０はそれぞれ、各候補トークンの２次元画素位置情報を位置取得エンジン２７６に通信する。
【００５２】
位置取得エンジン２７６は、画像相関器２７８および次元変換エンジン２８０を含む。画像相関器２７８は、充填した差分画像をそれぞれの第１画像フィルタ２６２および第２画像フィルタ２６８から入力として受信し、それぞれのトークンロケータ２６４およびトークンロケータ２７０からそれぞれの候補トークンの２次元画素位置情報を受信する。画像相関器２７８は、それぞれのトークンロケータ２６４およびトークンロケータ２７０の通信の際に、充填した差分画像をそれぞれの候補トークンの画素位置で重ね合わせる。画像相関器２７８は次いで、上の図５の例で説明した画像相関器２００と同様に、画素シフトアルゴリズムを適用して、充填した差分画像対の最適な相関を判定する。しかしながら、トークン検出器２５８は、第１カメラ２５４および第２カメラ２５６の取得画像の各々に対する別個の候補トークンを検出し、従って別個のそれぞれの差分画像を生成するので、画像相関器２７８は、それぞれの差分画像間の相関を直接判定することができる。言い換えると、候補トークンの正確な画素位置が別個の差分画像の両方に対して判定されるので、相関付けのために位置取得エンジン２７６がＳＬＯＧフィルタアルゴリズムを適用する必要はない。そのため、相関スコアの生成および画素シフトを、充填した差分画像対の上で直接行うことができる。
【００５３】
最適相関に対する充填した差分画像間のオフセット画素数は、画像相関器２７８から次元変換エンジン２８０に出力される。次元変換エンジン２８０は、充填した差分画像対の相関におけるオフセット画素を検証し、潜在的侵入物がステレオ画像取得台２５２から離れる範囲量に対応する測定単位へ画素オフセットを変換する。次いで前述の範囲を使用して、図４の例で上述したものと同様に、潜在的侵入物の３次元位置および大きさを判定することができる。図１の例に関して上述したように、３次元位置および大きさのデータを、次元変換エンジン２８０から３次元動作計算器および／または閾値比較器に出力することができる。
【００５４】
図７は、本発明の態様によるステレオカメラ侵入検知システム３００の別の例を示す。ステレオカメラ侵入検知システム３００は、第１カメラ３０４および第２カメラ３０６を含むステレオ画像取得台３０２を含む。ステレオカメラ侵入検知システム３００は、トークン検出器３０８も含む。図４の例で上述したように、差分画像は絶対値画素差分アルゴリズムに基づいて生成される。絶対値画素差分は、テクスチャ、明るさ、および色コントラストに基づくことができ、差分画像は、所与のカメラからの取得画像の各々と背景画像との間で異なるほぼ全ての画素を示す。従って、上の図４および図６の例で説明した画像比較器は、曇りの条件などのような影と明るさの変化に敏感であり、従って誤検知の原因となる可能性がある。
【００５５】
トークン検出器３０８は、第１画像ＳＬＯＧフィルタ３１０、第１フィルタリング画像比較器３１２、および第１トークンロケータ３１４を含む。トークン検出器３０８は、第２画像ＳＬＯＧフィルタ３１６、第２フィルタリング画像比較器３１８、および第２トークンロケータ３２０も含む。第１カメラ３０４により取得された視覚画像は、第１画像ＳＬＯＧフィルタ３１０に出力され、第２カメラ３０６により取得された視覚画像は、第２画像ＳＬＯＧフィルタ３１６に出力される。第１画像ＳＬＯＧフィルタ３１０および第２画像ＳＬＯＧフィルタ３１６はそれぞれ、第１カメラ３０４および第２カメラ３０６からそれぞれ取得した画像の１つまたは複数のフィルタリング画像を生成することができる。例えば、第１画像ＳＬＯＧフィルタ３１０および第２画像ＳＬＯＧフィルタ３１６の各々は、図３の例で上述したような高解像度フィルタリング画像、中解像度フィルタリング画像、および低解像度フィルタリング画像を生成することができる。
【００５６】
第１背景画像生成器３２２は、第１カメラ３０４に基づいて背景画像を生成し、その背景画像を第１背景ＳＬＯＧフィルタ３２４に出力する。第１背景ＳＬＯＧフィルタ３２４は、第１画像ＳＬＯＧフィルタ３１０により生成されるフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。例えば、第１背景ＳＬＯＧフィルタ３２４は、高解像度フィルタリング背景画像、中解像度フィルタリング背景画像、および低解像度フィルタリング背景画像を生成することができ、各解像度は、第１画像ＳＬＯＧフィルタ３１０により生成されたフィルタリング画像の解像度に対応する。同様の方法で、第２背景画像生成器３２６は、第２カメラ３０６に基づいて背景画像を生成し、その背景画像を第２背景ＳＬＯＧフィルタ３２８に出力する。第２背景ＳＬＯＧフィルタ３２８は、第２画像ＳＬＯＧフィルタ３１６により生成されるフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。当然のことながら、第１背景画像生成器３２２および第２背景画像生成器３２６の各々は、上の図２の例で説明したような背景画像生成器５０とほぼ同じであることができる。
【００５７】
第１フィルタリング画像比較器３１２および第２フィルタリング画像比較器３１８はそれぞれ、第１画像ＳＬＯＧフィルタ３１０および第２画像ＳＬＯＧフィルタ３１６によりそれぞれ生成されたフィルタリング画像を、それぞれ第１背景ＳＬＯＧフィルタ３２４および第２背景ＳＬＯＧフィルタ３２８により生成されたフィルタリング背景画像と比較するように構成される。より正確な比較を得るため、当然のことながら、各解像度のフィルタリング画像の各々を並列に比較できる。上の図４の例における画像比較器１６０と同様に、第１フィルタリング画像比較器３１２および第２フィルタリング画像比較器３１８の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成することができる。しかしながら、フィルタリング取得画像およびフィルタリング背景画像は２値テクスチャコントラストのみを示すので、差分画像はテクスチャのみで異なる画素を示すであろう。そのため差分画像は、第１カメラ３０４と第２カメラ３０６との間の、それぞれの背景画像に対する明るさおよび色コントラストの差分に敏感ではない。フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８の各々から出力される差分画像は、フィルタリング取得画像およびそれぞれのフィルタリング背景画像の各解像度に対して別個の差分画像であってよい。または、フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８の各々から出力される差分画像は、フィルタリング取得画像とそれぞれのフィルタリング背景画像との比較に基づいた単一の差分画像であってよい。
【００５８】
差分画像は、フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８から、それぞれのトークンロケータ３１４およびトークンロケータ３２０に出力される。さらに、差分画像は、フィルタリング画像比較器３１２およびフィルタリング画像比較器３１８から、位置取得エンジン３３０へも出力される。図４の例で上述したものと同様に、差分画像をそれぞれのトークンロケータ３１４およびトークンロケータ３２０により検証して、差分画像の各々での候補トークンの存在を判定すること、およびそれぞれの候補トークンの画素位置を判定することができる。図７の例において、フィルタリング取得画像とフィルタリング背景画像との間の２値テクスチャ差分を示す画素に、それぞれのトークンロケータ３１４およびトークンロケータ３２０により候補トークンとしてマーキングされる。トークンロケータ３１４およびトークンロケータ３２０はそれぞれ、それぞれの候補トークンの２次元画素位置情報を位置取得エンジン３３０に通信する。
【００５９】
位置取得エンジン３３０は、画像相関器３３２および次元変換エンジン３３４を含む。画像相関器３３２は、差分画像をそれぞれのフィルタリング画像比較器３１２およびフィルタリング画像比較器３１８から入力として受信し、それぞれの候補トークンの２次元画素位置情報をそれぞれのトークンロケータ３１４およびトークンロケータ３２０から受信する。画像相関器３３２は、それぞれのトークンロケータ３１４およびトークンロケータ３２０により通信される際、差分画像をそれぞれの候補トークンの画素位置で重ね合わせる。画像相関器３３２は次いで、上の図５の例で説明した画像相関器２００と同様に、画素シフトアルゴリズムを適用して差分画像対の最適な相関を判定する。さらに、図６の例で上述したものと同様に、取得画像が既にフィルタリングされているので、相関スコアの生成および画素シフトを差分画像対の上で直接行うことができる。
【００６０】
最適相関に対する差分画像間のオフセット画素数は、画像相関器３３２から次元変換エンジン３３４に出力される。次元変換エンジン３３４は、差分画像対の相関における画素オフセットを検証して、ステレオ画像取得台３０２から潜在的侵入物が離れている範囲量に対応する測定単位に前述の画素オフセットを変換する。次いで前述の範囲を使用して、図４の例で上述したものと同様に、潜在的侵入物の３次元位置および大きさを判定することができる。３次元位置および大きさのデータを、図１の例に関して上述したように、次元変換エンジン３３４から３次元動作計算器および／または閾値比較器に出力することができる。
【００６１】
図８は、本発明の態様によるステレオカメラ侵入検知システム３５０の別の例を示す。ステレオカメラ侵入検知システム３５０は、第１カメラ３５４および第２カメラ３５６を含むステレオ画像取得台３５２を含む。ステレオカメラ侵入検知システム３５０は、トークン検出器３５８も含む。上の図７の例と同様に、トークン検出器３５８は、第１画像ＳＬＯＧフィルタ３６０、第１フィルタリング画像比較器３６２、および第１テクスチャ差分ロケータ３６４を含む。トークン検出器３５８は、第２画像ＳＬＯＧフィルタ３６６、第２フィルタリング画像比較器３６８、および第２テクスチャ差分ロケータ３７０も含む。
【００６２】
第１カメラ３５４が取得した視覚画像は、第１画像ＳＬＯＧフィルタ３６０に出力され、第２カメラ３５６が取得した視覚画像は、第２画像ＳＬＯＧフィルタ３６６に出力される。第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６はそれぞれ、第１カメラ３５４および第２カメラ３５６からのそれぞれの取得画像の１つまたは複数のフィルタリング画像を生成することができる。例えば、第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６の各々は、図３の例で上述したもののように、高解像度フィルタリング画像、中解像度フィルタリング画像、および低解像度フィルタリング画像を生成することができる。
【００６３】
第１背景画像生成器３７２は、第１カメラ３５４に基づいて背景画像を生成し、その背景画像を第１背景ＳＬＯＧフィルタ３７４に出力する。同様な方法で、第２背景画像生成器３７６は、第２カメラ３５６に基づいて背景画像を生成し、その背景画像を第２背景ＳＬＯＧフィルタ３７８に出力する。当然のことながら、第１背景画像生成器３７２および第２背景画像生成器３７６の各々は、上の図２の例で説明した背景画像生成器５０とほぼ同じであることができる。しかしながら、以下でさらに詳細に説明するが、第１背景画像生成器３７２および第２背景画像生成器３７６は、背景画像を高速で更新するように構成することができる。上の図７の例と同様に、第１背景ＳＬＯＧフィルタ３７４および第２背景ＳＬＯＧフィルタ３７８はそれぞれ、第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６によりそれぞれ生成されたフィルタリング画像数と同数の、背景画像のフィルタリング画像を生成することができる。
【００６４】
第１フィルタリング画像比較器３６２および第２フィルタリング画像比較器３６８はそれぞれ、第１画像ＳＬＯＧフィルタ３６０および第２画像ＳＬＯＧフィルタ３６６によりそれぞれ生成されたフィルタリング画像を、第１背景ＳＬＯＧフィルタ３７４および第２背景ＳＬＯＧフィルタ３７８によりそれぞれ生成されたフィルタリング背景画像と比較するように構成される。上の図４の例における画像比較器１６０と同様に、第１フィルタリング画像比較器３６２および第２フィルタリング画像比較器３６８の各々は、絶対値画素差分アルゴリズムを適用して、テクスチャのみ異なる画素を示すそれぞれの差分画像を生成することができる。そのため、図７の例に関して上述したのと同様に、差分画像は、第１カメラ３５４および第２カメラ３５６が取得した画像間の、それぞれの背景画像に対する明るさおよび色コントラストの違いに敏感ではない。
【００６５】
差分画像は、フィルタリング画像比較器３６２およびフィルタリング画像比較器３６８から、それぞれのテクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０に出力される。図４の例で上述したものと同様に、差分画像をそれぞれのテクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０により検証して、差分画像の各々でのテクスチャ差分を判定すること、およびそれぞれのテクスチャ差分の画素位置を判定することができる。しかしながら、フィルタリング差分画像は、低解像度を有するフィルタリング画像の比較に基づくことができ、および／またはその比較を含むことができるので、テクスチャ差分は、カメラ３５４およびカメラ３５６が取得した画像より低い解像度を有するそれぞれのフィルタリング差分画像上に現れることができる。言い換えると、フィルタ差分画像上の単一のマーキングしたテクスチャ差分は、カメラ３５４およびカメラ３５６のそれぞれの１つが取得した画像の幾つかの画素に対応することができる。そのため、図８の例において、第１テクスチャトークンロケータ３６４は、テクスチャ差分の２次元位置情報を第１背景画像生成器３７２に通信し、第２テクスチャ差分ロケータ３７０は、テクスチャ差分の２次元位置情報を第２背景画像生成器３７６に通信する。
【００６６】
第１背景画像生成器３７２をさらに構成して、テクスチャ差分の２次元位置情報を第１テクスチャ差分ロケータ３６４から受信し、第１背景画像を高速で更新することができる。同様に、第２背景画像生成器３７６をさらに構成して、テクスチャ差分の２次元位置情報を第２テクスチャ差分ロケータ３７０から受信し、第２背景画像を高速で更新することができる。例えば、第１背景画像生成器３７２および第２背景画像生成器３７６はそれぞれ、図２の例における背景画像更新器５６でそれぞれのテクスチャ差分の２次元位置を受信することができる。
【００６７】
上述のように、フィルタリング差分画像上の単一のマーキングした差分は、カメラ３５４およびカメラ３５６のそれぞれの１つが取得した画像の幾つかの画素に対応することができる。従って、当然のことながら、背景画像生成器３７２および背景画像生成器３７６のそれぞれの１つは、低解像度２次元位置情報をカメラ３５４およびカメラ３５６のそれぞれの１つから取得した画像上の実際の画素位置に変換できる。そのため、第１背景画像生成器３７２は、テクスチャ差分の２次元位置に対応する画素を除いた背景画像の全ての画素を、第１カメラ３５４が取得した画像で更新することができる。同様に、第２背景画像生成器３７６は、テクスチャ差分の２次元位置に対応する画素を除いた背景画像の全ての画素を、第２カメラ３５６が取得した画像で更新することができる。当然のことながら、フィルタリング差分に基づく背景画像の高速な更新は、図２の例で説明したように、背景画像更新器５６による取得背景画像５４に対しての漸進的更新に加えて、またはその代わりとして、実施することができる。さらに、図２の例で説明したように、背景画像スタビライザ５８に加えて、高速な更新を実施することができる。
【００６８】
上述のコンポーネントに加え、トークン検出器３５８は、第１画像比較器３８０、第１画像フィルタ３８２、および第１トークンロケータ３８４も含む。トークン検出器３５８はさらに、第２画像比較器３８６、第２画像フィルタ３８８、および第２トークンロケータ３９０を含む。それぞれの第１背景画像および第２背景画像を高速で更新する際、第１カメラ３５４から取得した画像および第１更新背景画像は、第１画像比較器３８０に入力される。同様に、第２カメラ３５６から取得した画像および第２更新背景画像は、第２画像比較器３８６に入力される。
【００６９】
上の図４の例における画像比較器１６０と同様に、第１画像比較器３８０および第２画像比較器３８６の各々は、絶対値画素差分アルゴリズムを適用して、それぞれの差分画像を生成する。しかしながら、当然のことながら、第１カメラ３５４および第２カメラ３５６からのそれぞれの取得画像は、第１背景画像生成器３７２および第２背景画像生成器３７６のそれぞれが背景画像を高速で更新するために使用した画像と同一であることができる。そのため、取得画像の全画素は、テクスチャ差分の２次元位置にある画素を除いて、それぞれの背景画像内の同一画素とほぼ同一である。従って、それぞれの画像比較器３８０および画像比較器３８６により生成された差分画像は、カメラ３５４およびカメラ３５６からの取得画像とそれぞれの背景画像との間で、それぞれのテクスチャ差分の２次元位置でのみ異なる画素を示す。従って、ステレオカメラ侵入検知システム３５０は、小さなテクスチャ差分の位置における差分を差分画像が示さないので、侵入物の誤検知もしにくい。さらに、図８の例におけるステレオカメラ侵入検知システム３５０は、差分画像の冗長生成に基づいた、より堅牢な侵入物検知システムであることができる。
【００７０】
第１画像フィルタ３８２および第２画像フィルタ３８８はそれぞれ、画像充填アルゴリズムをそれぞれの差分画像に適用し、候補トークンがそれぞれの差分画像の各々上に存在するかどうかを判定することができる。充填した差分画像は、画像フィルタ３８２および画像フィルタ３８８からそれぞれのトークンロケータ３８４およびトークンロケータ３９０に出力される。充填した差分画像をそれぞれのトークンロケータ３８４およびトークンロケータ３９０により検証して、充填した差分画像の各々での候補トークンの存在を判定することができる。さらに、図６の例に関して上述したものと同様に、充填した差分画像を、画像フィルタ３８２および画像フィルタ３８８から位置取得エンジン（図示せず）に出力することができる。さらに、トークンロケータ３８４およびトークンロケータ３９０はそれぞれ、それぞれの候補トークンの２次元画素位置情報を位置取得エンジンに同様に通信することもできる。
【００７１】
当然のことながら、ステレオカメラ侵入検知システム３５０は、図８の例に限定されない。例えば、トークン検出器３５８で説明した１つまたは複数の装置を統合することができる。別の例として、テクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０は、背景を高速で更新するのではなく、テクスチャ差分の２次元位置情報を画像比較器３８０および画像比較器３８６に直接通信することができる。そのため、画像比較器３８０および画像比較器３８６は、テクスチャ差分ロケータ３６４およびテクスチャ差分ロケータ３７０が通信するテクスチャ差分位置でのみ、画素差分を比較することができる。
【００７２】
上述した構造的および機能的特徴の観点から、本発明の様々な態様による方法論は、図９を参照してより良く理解されるであろう。説明を簡単にするために、図９の方法論を逐次実行として図示および説明しているが、当然のことながら、本発明による態様の中には、本明細書で図示および説明した態様とは異なる順序および／または並列に実行できるものもあり、本発明は示した順序に限定されない。さらに、示した特徴の全てが、本発明の態様による方法論を実装する必要はない。
【００７３】
図９は、本発明の態様による監視領域内の侵入物を検知するための方法４００の例を示す。４０２で、監視領域の第１画像が第１カメラにより取得され、監視領域の第２画像が第２カメラにより取得される。第１カメラおよび第２カメラはそれぞれ、デジタルカメラであることができ、第１画像および第２画像をそれぞれほぼ並列に取得することができ、その結果、第１カメラおよび第２カメラが互いに対してステレオで動作する。４０４で、監視領域の背景画像が取得される。背景画像は、第１カメラが取得した１つまたは複数の画像に基づくことができる。別個の背景画像を、第１カメラおよび第２カメラの各々に対して取得することができる。４０６で、背景画像は取得画像と垂直および水平に整列される。垂直および水平の整列は、ＳＬＯＧフィルタリングアルゴリズムのようなフィルタリングアルゴリズムを背景画像および取得画像の両方に適用することにより、取得することができる。次いで、フィルタリング背景画像およびフィルタリング取得画像を、画素シフトと各シフトに対する相関スコアの生成とに基づいて相関させることができる。
【００７４】
４０８で、取得画像の画素を背景画像の画素と比較して、潜在的侵入物の存在を判定する。取得画像は、それぞれの背景画像と比較される第１取得画像および第２取得画像の両方であってよい。または、取得画像は単に、単一の背景画像と比較される第１取得画像であることができる。さらに、取得画像およびそれぞれの背景画像をフィルタリングして、フィルタリング取得画像をそれぞれのフィルタリング背景画像と比較することができる。
【００７５】
４１０で、潜在的侵入物に関連付けられた３次元特徴が判定される。この判定は、取得画像および背景画像の比較に基づいた取得画像のフィルタリングバージョンの相関付けに基づくことができる。この相関付けは、画素シフトアルゴリズムの各シフトにおける相関スコアの生成に基づくことができる。この相関付けは、２つの別個の差分画像間で行うこともできる。第１画像と第２画像との間のオフセット画素量は、潜在的侵入物の３次元位置および大きさに変換することができる。
【００７６】
４１２で、潜在的侵入物の３次元特徴が少なくとも１つの閾値を超過する際に、インジケータがアクティブにされる。閾値は、潜在的侵入物の大きさおよび／または位置に対応することができる。さらに、潜在的侵入物の位置を、第１カメラおよび第２カメラの第１画像および第２画像の幾つかに渡ってトラッキングし、動作および速度の３次元方向を判定することができる。従って、別の閾値は、所定の３次元空間に向かう速度または動作であることができる。
【００７７】
上述したことは本発明の例である。本発明を説明する目的で、全ての考えうるコンポーネントまたは方法論の組合せを説明することは当然不可能であるが、当業者は、本発明の多くのさらなる組合せおよび置換が可能であることを認識するであろう。従って、本発明は、添付の請求項の精神および範囲内にある代替、変更および変形の全てを包含するように意図される。
【図面の簡単な説明】
【００７８】
【図１】本発明の態様によるステレオカメラ侵入検知システムの例を示す。
【図２】本発明の態様による背景画像生成器の例を示す。
【図３】本発明の態様によるカメラ画像およびカメラ画像のフィルタリング画像の例を示す。
【図４】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図５】本発明の態様による画像相関器の例を示す。
【図６】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図７】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図８】本発明の態様によるステレオカメラ侵入検知システムの別の例を示す。
【図９】本発明の態様による、監視領域内への侵入物を検知する方法を示す。
【特許請求の範囲】
【請求項１】
監視領域の第１画像を生成するように構成された第１カメラと、
前記監視領域の第２画像を生成するように構成された第２カメラと、
前記第１画像を前記監視領域の背景画像と比較するように構成された検出装置であって、前記第１画像と前記背景画像との間の差分を潜在的侵入物(potential intruder)としてマーキングする前記検出装置と、
前記第１画像の各々を前記第２画像の各々と比較して評価し、前記潜在的侵入物に関連付けられた３次元特徴を判定するように構成されたトラッキング装置と
を備えることを特徴とする侵入検知システム。
【請求項２】
前記３次元の特徴が、位置、大きさ、および動作を備え、インジケータをさらに備えることによって、前記潜在的侵入物に関連付けられた前記位置、前記大きさ、および前記動作のうち少なくとも１つがそれぞれの閾値を超過する際に、前記トラッキング装置が前記インジケータをアクティブにするようにさらに構成されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記トラッキング装置は、前記侵入検知システムのユーザが前記監視領域内の少なくとも１つの３次元空間を指定可能なように構成された閾値比較器を備え、前記少なくとも１つの３次元空間は、前記少なくとも１つの３次元空間内への動作および前記少なくとも１つの３次元空間へ向かう動作の１つが前記インジケータをアクティブにするような閾値空間と、前記３次元空間における前記第１画像と前記背景画像との間の差分が前記インジケータをアクティブにしない空値（null）ゾーンとのうちの１つであることを特徴とする請求項１に記載のシステム。
【請求項４】
前記第１カメラおよび前記第２カメラはそれぞれ、ほぼ地表面に固定して取り付けられることを特徴とする請求項１に記載のシステム。
【請求項５】
前記背景画像は、前記第１カメラから生成された第１背景画像であり、前記検出装置は、前記第２画像を前記監視領域の第２背景画像と比較するようにさらに構成され、前記第２背景画像は、前記第２カメラから生成され、前記検出装置は、前記第２画像と前記第２背景画像との間の差分を前記潜在的侵入物としてマーキングするようにさらに構成されることを特徴とする請求項１に記載のシステム。
【請求項６】
前記第１背景画像、前記第２背景画像、前記第１画像、および前記第２画像は、フィルタリングされてテクスチャコントラストパターンを表示することによって、前記検出装置は、前記第１のフィルタリング画像を前記第１のフィルタリング背景画像と比較し、かつ前記第２のフィルタリング画像を前記第２のフィルタリング背景画像と比較するように構成され、前記検出装置は、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像との間の差分、および前記第２のフィルタリング画像と前記第２のフィルタリング背景画像との間の差分を、前記潜在的侵入物としてマーキングすることを特徴とする請求項５に記載のシステム。
【請求項７】
前記第１背景画像は、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像との間の差分に基づいて更新され、前記第２背景画像は、前記第２のフィルタリング画像と前記第２のフィルタリング背景画像との間の差分に基づいて更新され、前記検出装置は、前記第１画像と前記更新された第１背景画像との間の差分を前記潜在的侵入物としてマーキングし、かつ前記第２画像と前記更新された第２背景画像との間の差分を前記潜在的侵入物としてマーキングするようにさらに構成されることを特徴とする請求項６に記載のシステム。
【請求項８】
前記監視領域の前記背景画像を生成するように構成された背景画像生成器をさらに備え、前記背景画像生成器は、前記第１画像に関連付けられた画素を前記背景画像に関連付けられた画素に相関させるように構成された背景スタビライザを備えることによって、前記第１画像に関連付けられた前記画素は、前記検出装置が前記第１画像に関連付けられた前記画素と前記背景画像に関連付けられた前記画素との間の差分を前記潜在的侵入物としてマーキングする前に、前記背景画像に関連付けられた前記画素と垂直および水平に整列されることを特徴とする請求項１に記載のシステム。
【請求項９】
前記トラッキング装置は、前記第１画像の各々を前記第２画像のそれぞれの１つと比較するように構成された画像相関器を備え、３次元空間における前記潜在的侵入物の位置および大きさを、前記第１画像の所与の１つにおける前記潜在的侵入物の２次元位置の、前記第２画像のそれぞれの１つにおける前記潜在的侵入物の２次元位置と比較した視差間隔(parallax separation)に基づいて判定することを特徴とする請求項１に記載のシステム。
【請求項１０】
前記画像相関器は、
前記第１画像の前記所与の１つを前記第２画像の前記それぞれの１つ上に重ね合わせ、前記第１画像の前記所与の１つ上の前記潜在的侵入物の前記２次元位置が、前記第２画像の前記それぞれの１つ上の前記潜在的侵入物の前記２次元位置の近似位置と交わるように構成された画像重ね合わせ装置と、
前記第１画像の前記所与の１つを、前記第２画像の前記それぞれの１つに関して、シフトあたり単一画素だけ繰り返しシフトするように構成された反復画素シフト装置と、
各シフトに対する相関スコアを判定することによって、前記潜在的侵入物の前記それぞれの２次元位置の前記視差間隔が、最高相関スコアを生成する所与のシフトに基づいて判定されるように構成された相関計算器と
を備えたことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記トラッキング装置は、前記第１画像の各々に関連付けられた少なくとも１つの第１のフィルタリング画像と前記第２画像の各々に関連付けられた少なくとも１つの第２のフィルタリング画像とを生成するように構成された複数の画像フィルタを備え、前記少なくとも１つの第１のフィルタリング画像の各々は、前記少なくとも１つの第２のフィルタリング画像のそれぞれ１つにマッチングする解像度を有することによって、前記画像重ね合わせ装置および前記反復画素シフト装置は、前記少なくとも１つの第１のフィルタリング画像と前記少なくとも１つの第２のフィルタリング画像との少なくとも１つのマッチングした対を重ね合わせ、かつ繰り返しシフトするように構成されることを特徴とする請求項１０に記載のシステム。
【請求項１２】
監視領域内の侵入物を検知する方法であって、
前記監視領域の第１画像を第１カメラから取得し、かつ前記監視領域の第２画像を第２カメラから取得することと、
前記監視領域の背景画像を生成することと、
前記第１画像に関連付けられた第１画素を、前記監視領域の前記背景画像に関連付けられた第２画素と相関させることによって、前記第１画素を前記第２画素と水平および垂直に整列することと、
前記監視領域の前記第１画像と前記背景画像とを比較して、潜在的侵入物の存在を判定することと、
前記潜在的侵入物の３次元特徴を、前記第１画像および前記第２画像の相対的比較に基づいて判定することと、
前記潜在的侵入物の前記３次元特徴が少なくとも１つの所定閾値を超過した上で、インジケータをアクティブにすることと
を備えたことを特徴とする方法。
【請求項１３】
前記潜在的侵入物の前記３次元特徴を判定することは、前記それぞれの第２画像に関して、前記第１画像の各々における前記潜在的侵入物の視差間隔を判定することを備えたことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記視差間隔を判定することは、前記第１画像の各々を前記第２画像のそれぞれ１つに、前記潜在的侵入物のそれぞれの近似２次元位置で重ね合わせること、および実質的な相関が見つかるまで、前記第１画像の各々を前記第２画像の前記それぞれ１つに関してシフトすることを備えたことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記第１画像の各々に関連付けられた少なくとも１つの第１のフィルタリング画像と、前記第２画像の各々に関連付けられた少なくとも１つの第２のフィルタリング画像とを生成することをさらに含み、前記少なくとも１つの第１のフィルタリング画像の各々は、実質的に等しい解像度を有する前記少なくとも１つの第２のフィルタリング画像のそれぞれ１つとマッチングされた対を形成することをさらに備えたことを特徴とする請求項１３に記載の方法。
【請求項１６】
前記潜在的侵入物の前記３次元特徴を判定することは、前記少なくとも１つのマッチングされた対の各々を等しく相関させて、前記潜在的侵入物の視差間隔を判定することを備えたことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記等しく相関させることは、
少なくとも１つの第１のフィルタリング画像の各々を、前記少なくとも１つの第２のフィルタリング画像のうち前記それぞれのマッチングされた１つに関して、等しく画素シフトすることと、
各画素シフトで集合相関スコアを生成し、前記集合相関スコアは、前記少なくとも１つのマッチングされた対の各々の相関スコアを備えることと、
各画素シフトでの前記集合相関スコアを比較して、前記最高集合相関スコアを有する前記画素シフトを判定することと
を備えたことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記背景画像を生成することは、前記第１カメラに基づいて前記監視領域の第１背景画像を生成することを備え、前記第２カメラに基づいて前記監視領域の第２背景画像を生成すること、および前記監視領域の前記第２画像と前記第２背景画像とを比較して、前記潜在的侵入物の存在を判定することをさらに備えたことを特徴とする請求項１２に記載の方法。
【請求項１９】
前記第１画像、前記第２画像、前記第１背景画像、および前記第２背景画像をフィルタリングすることをさらに備え、前記第１画像と前記第１背景画像とを比較することは、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像とを比較することを備え、前記第２画像と前記第２背景画像とを比較することは、前記第２のフィルタリング画像と前記第２のフィルタリング背景画像とを比較することを備えたことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記第１背景画像を、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像との間の比較に基づいて更新することと、
前記第２背景画像を、前記第２のフィルタリング画像と前記第２のフィルタリング背景画像との間の比較に基づいて更新することと、
前記第１画像と前記更新された第１背景画像とを比較して、前記潜在的侵入物の存在を判定することと、
前記第２画像と前記更新された第２背景画像とを比較して、前記潜在的侵入物の存在を判定することと
をさらに備えたことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記３次元特徴を判定することは、前記潜在的侵入物に関連付けられた位置、大きさ、および動作を前記第１画像と前記背景画像との間の差分に基づいて判定することを備えたことを特徴とする請求項１２に記載の方法。
【請求項２２】
前記監視領域内の少なくとも１つの３次元空間を指定することをさらに備え、前記少なくとも１つの３次元空間は、前記インジケータをアクティブにすることに関連付けられた閾値空間および空値ゾーンの１つであることを特徴とする請求項１２に記載の方法。
【請求項２３】
監視領域の第１画像と第２画像とを同時に取得する手段と、
前記監視領域の背景画像を連続的に生成する手段と、
前記第１画像と前記背景画像との間の差分に基づいて潜在的侵入物を検知する手段と、
前記第１画像および前記第２画像に基づいて前記潜在的侵入物の３次元特徴を判定する手段と、
前記潜在的侵入物の前記３次元特徴に基づいてインジケータをアクティブにする手段と
を備えることを特徴とする侵入検知システム。
【請求項２４】
前記３次元特徴は、位置、大きさ、および動作を備えることを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記潜在的侵入物の前記３次元特徴を判定する前記手段は、前記第２画像の前記それぞれ１つにおける前記潜在的侵入物の２次元位置に関して、前記第１画像の所与の１つにおける前記潜在的侵入物の２次元位置の視差間隔を判定する手段を備えることを特徴とする請求項２３に記載のシステム。
【請求項２６】
視差間隔を判定する前記手段は、前記第１画像に基づいて複数の第１のフィルタリング画像、および前記第２画像に基づいて複数の第２のフィルタリング画像を生成する手段を備え、前記複数の第１のフィルタリング画像の各々は、ほぼ等しい解像度を有する前記複数の第２のフィルタリング画像のそれぞれ１つとマッチングされた対を形成することを特徴とする請求項２５に記載のシステム。
【請求項２７】
視差間隔を判定する前記手段は、前記複数の第２のフィルタリング画像のうち前記それぞれのマッチングされた１つに関して、前記複数の第１のフィルタリング画像の各々を画素シフトする手段と、各画素シフトに対する集合相関スコアを前記複数のマッチングされた対の各々に関連付けられた相関スコアに基づいて生成する手段とを備え、前記視差間隔は、最高集合相関スコアを有する画素シフトに関連付けられることを特徴とする請求項２６に記載のシステム。
【請求項２８】
前記潜在的侵入物を検知する前記手段の動作の前に、前記第１画像および前記背景画像に関連付けられた画素を水平および垂直に整列する手段をさらに備えることを特徴とする請求項２３に記載のシステム。
【請求項１】
監視領域の第１画像を生成するように構成された第１カメラと、
前記監視領域の第２画像を生成するように構成された第２カメラと、
前記第１画像を前記監視領域の背景画像と比較するように構成された検出装置であって、前記第１画像と前記背景画像との間の差分を潜在的侵入物(potential intruder)としてマーキングする前記検出装置と、
前記第１画像の各々を前記第２画像の各々と比較して評価し、前記潜在的侵入物に関連付けられた３次元特徴を判定するように構成されたトラッキング装置と
を備えることを特徴とする侵入検知システム。
【請求項２】
前記３次元の特徴が、位置、大きさ、および動作を備え、インジケータをさらに備えることによって、前記潜在的侵入物に関連付けられた前記位置、前記大きさ、および前記動作のうち少なくとも１つがそれぞれの閾値を超過する際に、前記トラッキング装置が前記インジケータをアクティブにするようにさらに構成されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記トラッキング装置は、前記侵入検知システムのユーザが前記監視領域内の少なくとも１つの３次元空間を指定可能なように構成された閾値比較器を備え、前記少なくとも１つの３次元空間は、前記少なくとも１つの３次元空間内への動作および前記少なくとも１つの３次元空間へ向かう動作の１つが前記インジケータをアクティブにするような閾値空間と、前記３次元空間における前記第１画像と前記背景画像との間の差分が前記インジケータをアクティブにしない空値（null）ゾーンとのうちの１つであることを特徴とする請求項１に記載のシステム。
【請求項４】
前記第１カメラおよび前記第２カメラはそれぞれ、ほぼ地表面に固定して取り付けられることを特徴とする請求項１に記載のシステム。
【請求項５】
前記背景画像は、前記第１カメラから生成された第１背景画像であり、前記検出装置は、前記第２画像を前記監視領域の第２背景画像と比較するようにさらに構成され、前記第２背景画像は、前記第２カメラから生成され、前記検出装置は、前記第２画像と前記第２背景画像との間の差分を前記潜在的侵入物としてマーキングするようにさらに構成されることを特徴とする請求項１に記載のシステム。
【請求項６】
前記第１背景画像、前記第２背景画像、前記第１画像、および前記第２画像は、フィルタリングされてテクスチャコントラストパターンを表示することによって、前記検出装置は、前記第１のフィルタリング画像を前記第１のフィルタリング背景画像と比較し、かつ前記第２のフィルタリング画像を前記第２のフィルタリング背景画像と比較するように構成され、前記検出装置は、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像との間の差分、および前記第２のフィルタリング画像と前記第２のフィルタリング背景画像との間の差分を、前記潜在的侵入物としてマーキングすることを特徴とする請求項５に記載のシステム。
【請求項７】
前記第１背景画像は、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像との間の差分に基づいて更新され、前記第２背景画像は、前記第２のフィルタリング画像と前記第２のフィルタリング背景画像との間の差分に基づいて更新され、前記検出装置は、前記第１画像と前記更新された第１背景画像との間の差分を前記潜在的侵入物としてマーキングし、かつ前記第２画像と前記更新された第２背景画像との間の差分を前記潜在的侵入物としてマーキングするようにさらに構成されることを特徴とする請求項６に記載のシステム。
【請求項８】
前記監視領域の前記背景画像を生成するように構成された背景画像生成器をさらに備え、前記背景画像生成器は、前記第１画像に関連付けられた画素を前記背景画像に関連付けられた画素に相関させるように構成された背景スタビライザを備えることによって、前記第１画像に関連付けられた前記画素は、前記検出装置が前記第１画像に関連付けられた前記画素と前記背景画像に関連付けられた前記画素との間の差分を前記潜在的侵入物としてマーキングする前に、前記背景画像に関連付けられた前記画素と垂直および水平に整列されることを特徴とする請求項１に記載のシステム。
【請求項９】
前記トラッキング装置は、前記第１画像の各々を前記第２画像のそれぞれの１つと比較するように構成された画像相関器を備え、３次元空間における前記潜在的侵入物の位置および大きさを、前記第１画像の所与の１つにおける前記潜在的侵入物の２次元位置の、前記第２画像のそれぞれの１つにおける前記潜在的侵入物の２次元位置と比較した視差間隔(parallax separation)に基づいて判定することを特徴とする請求項１に記載のシステム。
【請求項１０】
前記画像相関器は、
前記第１画像の前記所与の１つを前記第２画像の前記それぞれの１つ上に重ね合わせ、前記第１画像の前記所与の１つ上の前記潜在的侵入物の前記２次元位置が、前記第２画像の前記それぞれの１つ上の前記潜在的侵入物の前記２次元位置の近似位置と交わるように構成された画像重ね合わせ装置と、
前記第１画像の前記所与の１つを、前記第２画像の前記それぞれの１つに関して、シフトあたり単一画素だけ繰り返しシフトするように構成された反復画素シフト装置と、
各シフトに対する相関スコアを判定することによって、前記潜在的侵入物の前記それぞれの２次元位置の前記視差間隔が、最高相関スコアを生成する所与のシフトに基づいて判定されるように構成された相関計算器と
を備えたことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記トラッキング装置は、前記第１画像の各々に関連付けられた少なくとも１つの第１のフィルタリング画像と前記第２画像の各々に関連付けられた少なくとも１つの第２のフィルタリング画像とを生成するように構成された複数の画像フィルタを備え、前記少なくとも１つの第１のフィルタリング画像の各々は、前記少なくとも１つの第２のフィルタリング画像のそれぞれ１つにマッチングする解像度を有することによって、前記画像重ね合わせ装置および前記反復画素シフト装置は、前記少なくとも１つの第１のフィルタリング画像と前記少なくとも１つの第２のフィルタリング画像との少なくとも１つのマッチングした対を重ね合わせ、かつ繰り返しシフトするように構成されることを特徴とする請求項１０に記載のシステム。
【請求項１２】
監視領域内の侵入物を検知する方法であって、
前記監視領域の第１画像を第１カメラから取得し、かつ前記監視領域の第２画像を第２カメラから取得することと、
前記監視領域の背景画像を生成することと、
前記第１画像に関連付けられた第１画素を、前記監視領域の前記背景画像に関連付けられた第２画素と相関させることによって、前記第１画素を前記第２画素と水平および垂直に整列することと、
前記監視領域の前記第１画像と前記背景画像とを比較して、潜在的侵入物の存在を判定することと、
前記潜在的侵入物の３次元特徴を、前記第１画像および前記第２画像の相対的比較に基づいて判定することと、
前記潜在的侵入物の前記３次元特徴が少なくとも１つの所定閾値を超過した上で、インジケータをアクティブにすることと
を備えたことを特徴とする方法。
【請求項１３】
前記潜在的侵入物の前記３次元特徴を判定することは、前記それぞれの第２画像に関して、前記第１画像の各々における前記潜在的侵入物の視差間隔を判定することを備えたことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記視差間隔を判定することは、前記第１画像の各々を前記第２画像のそれぞれ１つに、前記潜在的侵入物のそれぞれの近似２次元位置で重ね合わせること、および実質的な相関が見つかるまで、前記第１画像の各々を前記第２画像の前記それぞれ１つに関してシフトすることを備えたことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記第１画像の各々に関連付けられた少なくとも１つの第１のフィルタリング画像と、前記第２画像の各々に関連付けられた少なくとも１つの第２のフィルタリング画像とを生成することをさらに含み、前記少なくとも１つの第１のフィルタリング画像の各々は、実質的に等しい解像度を有する前記少なくとも１つの第２のフィルタリング画像のそれぞれ１つとマッチングされた対を形成することをさらに備えたことを特徴とする請求項１３に記載の方法。
【請求項１６】
前記潜在的侵入物の前記３次元特徴を判定することは、前記少なくとも１つのマッチングされた対の各々を等しく相関させて、前記潜在的侵入物の視差間隔を判定することを備えたことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記等しく相関させることは、
少なくとも１つの第１のフィルタリング画像の各々を、前記少なくとも１つの第２のフィルタリング画像のうち前記それぞれのマッチングされた１つに関して、等しく画素シフトすることと、
各画素シフトで集合相関スコアを生成し、前記集合相関スコアは、前記少なくとも１つのマッチングされた対の各々の相関スコアを備えることと、
各画素シフトでの前記集合相関スコアを比較して、前記最高集合相関スコアを有する前記画素シフトを判定することと
を備えたことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記背景画像を生成することは、前記第１カメラに基づいて前記監視領域の第１背景画像を生成することを備え、前記第２カメラに基づいて前記監視領域の第２背景画像を生成すること、および前記監視領域の前記第２画像と前記第２背景画像とを比較して、前記潜在的侵入物の存在を判定することをさらに備えたことを特徴とする請求項１２に記載の方法。
【請求項１９】
前記第１画像、前記第２画像、前記第１背景画像、および前記第２背景画像をフィルタリングすることをさらに備え、前記第１画像と前記第１背景画像とを比較することは、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像とを比較することを備え、前記第２画像と前記第２背景画像とを比較することは、前記第２のフィルタリング画像と前記第２のフィルタリング背景画像とを比較することを備えたことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記第１背景画像を、前記第１のフィルタリング画像と前記第１のフィルタリング背景画像との間の比較に基づいて更新することと、
前記第２背景画像を、前記第２のフィルタリング画像と前記第２のフィルタリング背景画像との間の比較に基づいて更新することと、
前記第１画像と前記更新された第１背景画像とを比較して、前記潜在的侵入物の存在を判定することと、
前記第２画像と前記更新された第２背景画像とを比較して、前記潜在的侵入物の存在を判定することと
をさらに備えたことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記３次元特徴を判定することは、前記潜在的侵入物に関連付けられた位置、大きさ、および動作を前記第１画像と前記背景画像との間の差分に基づいて判定することを備えたことを特徴とする請求項１２に記載の方法。
【請求項２２】
前記監視領域内の少なくとも１つの３次元空間を指定することをさらに備え、前記少なくとも１つの３次元空間は、前記インジケータをアクティブにすることに関連付けられた閾値空間および空値ゾーンの１つであることを特徴とする請求項１２に記載の方法。
【請求項２３】
監視領域の第１画像と第２画像とを同時に取得する手段と、
前記監視領域の背景画像を連続的に生成する手段と、
前記第１画像と前記背景画像との間の差分に基づいて潜在的侵入物を検知する手段と、
前記第１画像および前記第２画像に基づいて前記潜在的侵入物の３次元特徴を判定する手段と、
前記潜在的侵入物の前記３次元特徴に基づいてインジケータをアクティブにする手段と
を備えることを特徴とする侵入検知システム。
【請求項２４】
前記３次元特徴は、位置、大きさ、および動作を備えることを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記潜在的侵入物の前記３次元特徴を判定する前記手段は、前記第２画像の前記それぞれ１つにおける前記潜在的侵入物の２次元位置に関して、前記第１画像の所与の１つにおける前記潜在的侵入物の２次元位置の視差間隔を判定する手段を備えることを特徴とする請求項２３に記載のシステム。
【請求項２６】
視差間隔を判定する前記手段は、前記第１画像に基づいて複数の第１のフィルタリング画像、および前記第２画像に基づいて複数の第２のフィルタリング画像を生成する手段を備え、前記複数の第１のフィルタリング画像の各々は、ほぼ等しい解像度を有する前記複数の第２のフィルタリング画像のそれぞれ１つとマッチングされた対を形成することを特徴とする請求項２５に記載のシステム。
【請求項２７】
視差間隔を判定する前記手段は、前記複数の第２のフィルタリング画像のうち前記それぞれのマッチングされた１つに関して、前記複数の第１のフィルタリング画像の各々を画素シフトする手段と、各画素シフトに対する集合相関スコアを前記複数のマッチングされた対の各々に関連付けられた相関スコアに基づいて生成する手段とを備え、前記視差間隔は、最高集合相関スコアを有する画素シフトに関連付けられることを特徴とする請求項２６に記載のシステム。
【請求項２８】
前記潜在的侵入物を検知する前記手段の動作の前に、前記第１画像および前記背景画像に関連付けられた画素を水平および垂直に整列する手段をさらに備えることを特徴とする請求項２３に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１４０３７０（Ｐ２００８−１４０３７０Ａ）
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【外国語出願】
【出願番号】特願２００７−２０９７８６（Ｐ２００７−２０９７８６）
【出願日】平成１９年８月１０日（２００７．８．１０）
【出願人】（５０２２７０４５３）ノースロップ グラマン コーポレイション (31)
【Ｆターム（参考）】
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願番号】特願２００７−２０９７８６（Ｐ２００７−２０９７８６）
【出願日】平成１９年８月１０日（２００７．８．１０）
【出願人】（５０２２７０４５３）ノースロップ グラマン コーポレイション (31)
【Ｆターム（参考）】
[ Back to top ]