夜間監視のシステムおよび方法
監視の方法およびシステムが説明される。説明される、カメラを有する監視システム内で使用するための一方法は、カメラの対象領域の背景画像を生成すること、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
[0001]
本発明は、参照によりその全部が本明細書に組み込まれる、2005年1月3日に出願した、「監視カメラに基づいたアクティブ照明の夜間性能の向上についてのシステム及び方法(SYSTEM AND A METHOD FOR IMPROVING NIGHT TIME PERFORMANCE OF ACTIVE ILLUMINATION BASED SURVEILLANCE CAMERAS)」という名称の米国仮特許出願第60/640244号の優先権を主張するものである。
【0002】
技術分野
[0002]
本発明は、一般に、監視システムに関し、より詳細には、本発明の実施形態は暗視監視システムのシステムおよび方法に関する。
【0003】
背景技術
[0003]
赤外線照射器を使用する暗視カメラは、高倍率を提供し得るが、この高倍率は、必然的に、狭い瞬間視野をもたらす。また、狭い視野は、所与の距離において、照射器のビームを、ある一定の角度を超えて拡散させると、有用な画像を生成するには不十分なビーム強度が必然的にもたらされることによるものである。この視野制限は、特に、カバーする必要のある領域が広く、複雑であるとき、または瞬間暗視視界の情報内容が低いときには、かかる監視カメラのユーザが監視対象領域内で方向定位するのを困難にする。
【0004】
[0004]
この限界を克服するのに使用され得る一方法が、現在視野を位置決めするのに役立ち得る目立った目標物を見つけるために、対象領域を系統的に走査するものである。監視作業の性質上、かかるサーチ手順は、緊急時に貴重な時間を使い果たすことになり得るため、一般に実際的はでない。これによって派生する、監視カメラの対象領域を定義する典型的な角度セクタをカバーするために監視カメラが必要とする長い走査時間が問題となり得る。
【0005】
[0005]
暗視システムの中には、レーザ赤外線照射器を利用するものもある。これらのシステムの多くは、ゲート式撮像技術を利用して、主要な雑音機構とみなされる大気による後方散乱を克服する。ゲート式撮像技術の使用は、高価な撮像器と、レーザパルスと撮像器の複雑な同期を必要とする。加えて、ゲート式撮像に基づく暗視システムは、撮像器の視野内の強烈な光源による飽和の影響を受けやすい。また、従来のレーザ照射暗視システムの使用は、目の安全の問題を提示する可能性もあり、用途によっては、レーザ安全管理者が暗視システムの現場にいることを必要とし得る。
【0006】
[0006]
他の暗視システムには、LED電球によって生成されるアクティブ赤外線照明を、その投射光を拾うように設定されたカメラと共に利用するものもある。これらのシステムは、短距離でのみ使用可能な画像を提供し、電球は比較的短命であり、システムに保守と運用のコストが増える。加えて、これらのシステムもやはり撮像器の視野内の強烈な光源による飽和の影響を受けやすい。
【0007】
[0007]
別の暗視システムは、高感度CCDカメラによって捕捉される周辺光(星明かりや月明かりなど)を利用するICCD(Intensified CCD)構成を使用する。これらのシステムもまた、動作距離が短く、曇った夜や月のない夜には機能しない。加えて、これらのシステムは、撮像器の視野内の強烈な光源による飽和の影響を受けやすい。
【0008】
[0008]
最も一般的な暗視システムは、熱撮像に基づくものであり、対象の熱を使って結果の画像が生成される。操作者が訓練を積めば、結果画像を検出に使用し得るが、文字も画像詳細も見えないため、正確な識別には使用できない。加えて、非冷却式熱システムは距離が短く、他方冷却式システムは、距離はより長いが、非常に高価である。最後に、熱システムにズーム機能を追加するのは、専用レンズを使用する必要があるため高くつく。このため、多くの熱システムは、固定焦点距離である。
【0009】
発明の概要
[0009]
本発明の実施形態は、現在視野を含む監視対象領域の広い視界を提供するシステムおよび方法を含む、夜間監視のシステムおよび方法を提供する。このシステムおよび方法は、ユーザが、現在視野がどこに位置決めされているか即座に理解し、適切な空間方向定位を獲得し、脅威検出の場合には、誘導される適切な措置を講じることを可能にし得る。また、このシステムおよび方法は、監視カメラの走査対象セクタ内の所与の地点の再訪時間はもとより、対象領域走査時間を短縮することもできる。一実施形態において、カメラを有する監視システム内で使用するための方法は、カメラの対象領域の背景画像を生成すること、対象領域内にある、カメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。ライブビデオ画像は、背景画像上にライブビデオ画像の位置標識を表示することによって背景画像と関連付けられてもよく、ライブビデオ画像を、背景画像上でその相対的な位置に融合させることによって関連付けられても良い。
【0010】
[0010]
別の実施形態において、暗視監視システムは、対象領域を有するカメラと、照射ビームを生成することのできる照射器と、対象領域の背景画像を生成し、照射ビームを使ってカメラによって取り込まれる、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取り、背景画像内でライブビデオ画像の位置を相関させることのできるコンピュータとを備える。
【0011】
[0011]
別の実施形態において、少なくとも1台のカメラを使用する監視方法は、カメラの対象領域の背景画像を生成すること、対象領域内の少なくとも1つの目標の位置に対応する目標位置情報に基づいて対象領域を走査すること、少なくとも1つの目標を含む、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。
【0012】
[0012]
別の実施形態において、暗視監視システムは、対象領域を有するカメラと、照射ビームを生成することのできる赤外線(IR)照射器であり、視差を生じるようにカメラから分離されている照射器と、カメラと照射器を制御することのできるコンピュータとを備える。また、システムは、照射器に近すぎる対象の有無を検出し、照射ビームを遮断することのできる安全モジュールを含んでいてもよい。
【0013】
[0013]
これらの例示的実施形態は、本発明を限定し、または定義するためではなく、本発明の理解に役立つ例を提供するために示すものである。例示的実施形態については、以下の詳細な説明で論じ、そこで本発明の詳細な説明を行う。本発明の様々な実施形態によって提供される利点は、本明細書をよく読めばさらに理解されよう。
【0014】
本発明の上記その他の特徴、態様および利点は、以下の詳細な説明を、添付の図面を参照して読めばよりよく理解されるものである。
【0015】
詳細な説明
[0015]
本発明の実施形態は、夜間監視のシステムおよび方法を提供する。本発明の複数の実施形態がある。導入例として、本発明の1つの例示的実施形態は、ズーム視準レンズを備えるIRレーザ照射器、およびビデオカメラとズームレンズからなる撮像器を利用する夜間監視システムを提供する。照射器と撮像器の光軸は、大気による後方散乱を低減するために、視差を生じるように空間的に分離されている。レーザ照射器からの照射ビームは、視野全体にわたって光を均一に分散するように形成され得る。照射器内のコリメータの焦点距離は、カメラの焦点距離と一緒に変化するように作られていてもよく、これらの焦点距離が相互に独立に動くこともできる。また、システムは、対象が照射器に近すぎるときにこれを検出することができ、レーザ光源を遮断することができる安全機構または回路を含んでいてもよい。
【0016】
[0016]
システムは、カメラの対象領域のパノラマ背景画像を生成し、この背景画像と、IRレーザ照射器を使ってカメラによって取り込まれるライブビデオ画像を相関させる。システムは、ユーザに、ライブビデオ画像が対象領域内のどこに配置されているか明確に指示するために、背景画像と相関させたライブビデオ画像を表示し得る。システムは、ライブ夜間ビデオ画像を取り込むために、対象領域をインテリジェントに走査し得る。
【0017】
システムアーキテクチャ
[0017]
本発明による様々なシステムが構築され得る。次に図面を参照する。これらの図では、類似の要素を類似の番号で示す。図1は、本発明の一実施形態の実施のための例示的環境を示すブロック図である。図1に示すシステム100は、カメラユニット102と、パン/チルトユニット104と、照射ユニット106と、電子回路ユニット120と、制御コンピュータ150を含む。また、システム100は、熱検出システム、レーダ、フェンスシステムなどの目標検出システム160も含み得る。
【0018】
[0018]
パン/チルトユニット104は、ポール、スタンド、三脚、壁などといった構造110に取り付けられ得る。パン/チルトユニット104にアダプタブリッジ108を結合することができ、このアダプタブリッジ108は、カメラユニット102と照射ユニット106に接続され、これらを支持することができる。パン/チルトユニット104は、水平方向に動くことのできるパン機構105と、垂直方向に動くことのできるチルト機構107を含み得る。パン/チルトユニット104は、パン機構105とチルト機構107に、幅広いパノラマをカバーするように照射ユニット106とカメラユニット102を移動させる電子回路板120からの制御信号を受け取ることができる。また、パン/チルトユニット104は、パン/チルトユニット108の位置(パン角度とチルト角度)、よって、カメラユニット102と照射ユニット106の位置を指示する位置信号を提供するセンサ109も含み得る。別の実施形態では、パン/チルトユニット108を、可動式の、または不安定な台の上で使用するためにジャイロ安定機によって安定させる。
【0019】
[0019]
別の実施形態では、システム100は、パン/チルトユニットを含まなくてもよく、カメラユニット102と照射ユニット106は固定されていてもよい。別の実施形態では、カメラユニット102と照射ユニット106は、別の場所にあり、別々のパンユニットとチルトユニットに取り付けられていてもよい。一実施形態では、カメラユニット102と照射ユニット106は、少なくとも6メートルの高さに取り付けられる。
【0020】
[0020]
図2に示すように、照射ユニット106はアクティブ照射器211を収容するハウジング210を含み、照射器211は、光ファイバアダプタ212とズームコリメータ204を含む。また、照射器211は、図1に示す電子回路ユニット120内のレーザ高原122などの光源も含む。当分野の技術者に知られている他の適切な光源も使用され得る。光ファイバアダプタ212は、(以下で説明するように)電子回路ユニット120内のレーザ光源122からIRレーザ照射ビームを受け取る。一実施形態では、光ファイバアダプタ212は、円形の光ファイバケーブルである。ズームコリメータ204は、IRレーザ照射ビームを目標206に当て、制御するように動作する1つまたは複数の視準レンズ205を含み得る。ズームコリメータ204は、(以下で説明するように)電子回路ユニット102からズーム、フォーカスなどの制御信号を受け取ることができる。
【0021】
[0021]
カメラユニット102は、ズームレンズ付きカメラ202、カメラインターフェースカード226、機械式照準機構224、およびスペクトルフィルタ機構222を囲い込むハウジング220を含み得る。一実施形態では、カメラ202は、例えば、CBC社製Computarレンズを備えるパナソニック社製CCDカメラなどである。
【0022】
[0022]
機械式照準機構224は、IRレーザ照射ビームの光軸230とカメラ202の光軸232を目標206に同時に整合させるのに使用され得る。カメラインターフェース226は、(以下で説明するように)電子回路ユニット120から、ズーム、フォーカス、ゲイン、シャッタなどの制御信号を受け取り、これらの制御信号をカメラ202に中継することができる。また、カメラインターフェース226は、カメラ202からビデオ画像信号を受け取り、これらのビデオ画像信号を電子回路ユニット120に送ることもできる。
【0023】
[0023]
カメラ202とコリメータ204の焦点距離は、ロックする、すなわち、一致して変化させることもでき、独立に変化させることもできる。例えば、一実施形態では、制御コンピュータ150は、カメラ202のズーム設定とフォーカス設定を使用し、これらのパラメータをコリメータ204のズーム設定とフォーカス設定に変換して、2つの視野が同じサイズになるようにする。このようにして、カメラ202のズーム設定とフォーカス設定の変更が、コリメータ204での同様の変更を生じることになる。
【0024】
[0024]
スペクトルフィルタ機構222は、夜間、あるいはそれ例外の光の全く、またはほとんどないときに、IRレーザ照射ビームを使用するカメラ202でビデオを取り込むのに使用され得る。スペクトルフィルタ機構222は、少なくとも1つの狭帯域幅またはカットオフフィルタと、運動機構を含み得る。狭帯域幅フィルタは、レーザ波長を伝え、他の光帯域を排除する。例えば、910nmレーザが使用される場合、900から920nmの波長帯域を有するフィルタが使用され得る。別の実施形態では、900nm以上の波長を有する光を伝え、900nmより低い波長を有する光を排除するカットオフフィルタが使用され得る。狭帯域幅フィルタを使用すれば、システムは、カメラの視野内の可能な全ダイナミックレンジの光に対処することができる。例えば、狭帯域幅フィルタがあれば、システムは、真っ暗な領域や近くの街路灯を、強い光によって飽和されずに見ることができる。運動機構は、夜間モードにあるとき、または、そうでなく、レーザ照射器を使用するときに、カメラレンズ207前の所定の位置にフィルタを移動させるのに使用される。一実施形態では、システム100は、昼間システムと夜間システムとして動作するように構成される。
【0025】
[0025]
一実施形態では、カメラ202とコリメータ204は、IR照射夜間システムでの雑音の主要原因とみなされる、短距離における大気中のエアロゾルから発する後方散乱を低減する視差を生じるように間隔を置いて配置される。短距離の後方散乱に起因する雑音は、長距離における後方散乱に起因する雑音よりも強い。視差を生じるように照射器をカメラから分離することによって、近距離の後方散乱が回避され、または低減され得る。例えば、カメラ202とコリメータ204を0.5メートル離すことができ、これは、レーザ照射ビーム230を使用するカメラ202で、カメラ202とコリメータ204から20メートル離れた対象の、後方散乱がほとんど、または全くない画像を取り込むことを可能にする。
【0026】
[0026]
一実施形態では、カメラユニット102と照射ユニット106は、単一のポールまたは三脚上に、カメラユニット102と照射ユニット106が相互に垂直になるように取り付けられる。例えば、照射ユニット106は、カメラユニット102の上部に取り付けられていてもよい。別の実施形態では、照射ユニット106とカメラユニット102は、別々のポールまたは三脚の上に取り付けられる。このようにして、大気による後方散乱は、完全に、またはほぼ完全に除去される。この実施形態では、照射ユニット106とカメラユニット102が、それぞれ、パン/チルトユニットを有していてもよく、これらのパン/チルトユニットは、相互に連動し合ってもよい。別の実施形態では、後方散乱を低減するために、制御コンピュータが画像処理技術を使って、画像のコントラストをデジタル式に伸張させることができる。
【0027】
[0027]
レーザ光源を使用する照射器211は、1000メートル以上の動作範囲を可能にする輝度レベルの能力があるものとすることができる。コリメータ204は、レーザ照射ビームの拡散を、カメラの視野に対応して容易に変更させることができる。大部分の従来方式の夜間監視システムは、LEDまたは電球ベースの照射器を使用する。かかる照射器は、一般に、その輝度に限界があるために範囲が非常に限られており(最大150〜200m)、ビームの拡散角度とカメラの視野の同期的変更に対応することができない。
【0028】
[0028]
一実施形態では、照射レーザビームは、レーザビームの光が、そのレーザビーム全体にわたって均一に拡散するように形成される。例えば、光ファイバアダプタ212は、照射ビーム全体にわたる光の均一な分布を作り出すことができる。また、光ファイバアダプタ212は、円形であって、その外半径において強度の急激な降下を有する照射ビームを生じるようにも作用し得る。照射ビームの均一な光の拡散と鋭いエッジは、LEDまたは電球によって通常作られる照射ビームの不均一な光の拡散と緩やかなエッジとは対照的である。照射ビームのサイズは、コリメータレンズ205の焦点距離を制御することによって決定され得る。
【0029】
[0029]
図1に戻って、カメラ202によって取り込まれるビデオ画像データは、カメラユニット102から電子回路ユニット120に送られる。次いで、電子回路ユニット120は、ビデオ画像データを制御コンピュータ150に転送する。制御コンピュータ150は、メモリ154などのコンピュータ可読媒体に結合されたプロセッサ152を含み得る。プロセッサ152は、以下で述べるように、カリフォルニア州サンタクララのインテル社製プロセッサや、イリノイ州ショウンバーグのモトローラ社製プロセッサなど、いくつかのコンピュータプロセッサのいずれかとすることができる。かかるプロセッサには、マイクロプロセッサ、ASIC、および状態機械も含まれ得る。かかるプロセッサは、コンピュータ可読媒体を含み、またはコンピュータ可読媒体と通信状態にあってもよく、コンピュータ可読媒体は、プロセッサによって実行されるとプロセッサに処置を実行させるプログラムコードまたは命令を格納する。コンピュータ可読媒体の実施形態には、それだけに限らないが、プロセッサにコンピュータ可読命令を提供することのできる、電子、光、磁気、その他の記憶装置または伝送装置が含まれる。他の適切な媒体の例には、それだけに限らないが、フロッピー(登録商標)ディスク、CD−ROM、DVD、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成済みプロセッサ、光媒体、磁気テープ媒体、またはコンピュータプロセッサが命令を読み出すことのできる他の任意の適切な媒体が含まれる。また、有線と無線両方の、ルータ、専用または公衆ネットワーク、あるいは他の伝送装置またはチャネルを含む、様々な他の形のコンピュータ可読媒体が、コンピュータにプログラムコードまたは命令を送信し、または搬送してもよい。命令は、例えば、C、C++、C#、Visual Basic、Java(登録商標)、Python、Perl、Java(登録商標)Scriptなどを含む、任意のコンピュータプログラミング言語のプログラムコードを含んでいてもよい。
【0030】
[0030]
制御コンピュータ150は、Microsoft(登録商標)Windows(登録商標)やLinuxなど、任意のオペレーティングシステム上で動作し得る。制御コンピュータの例が、パーソナルコンピュータ、サーバ機器、情報端末、携帯情報端末、移動電話機、デジタルタブレット、ラップトップコンピュータ、インターネット家電、その他のプロセッサベースの機器などである。一般に、制御コンピュータ150は、1つまたは複数のアプリケーションプログラムと対話する任意の適切な種類のプロセッサベースのプラットフォームとすることができる。制御コンピュータ150は、インターネットなどのネットワーク(不図示)に接続されていてもよく、有線または無線接続を介して電子回路ユニット120と検出システム160に直接接続されていてもよく、あるいは、有線または無線のネットワークを介して電子回路ユニット120と検出システム160に接続されていてもよい。制御コンピュータは、キーボード、マウス、ディスプレイ、記憶装置といった入出力機器を含んでいてもよい。
【0031】
[0031]
制御コンピュータ上で走り、メモリ154に記憶されるプログラムコードには、制御エンジン156、背景画像エンジン158、ビデオ動き/変化検出モジュール157、ユーザインターフェースアプリケーション159が含まれる。制御エンジン156は、レーザ光源122、コリメータ204、およびカメラ202を制御するのに使用され得る制御信号を計算し、電子回路ユニット120に送ることができる。背景画像エンジン158は、カメラユニット102から画像データを受け取って背景画像を生成し、ライブビデオ画像と背景画像を相関させることができる。ビデオ変化/動き検出モジュール157は、カメラ視野内の動く対象を検出し、隔離することのできる動き検出アルゴリズムと、例えば、空港内の放置物や美術館における紛失絵画など、所与の視野内の新しい、または欠けている対象を識別することのできる変化検出アルゴリズムを含む。
【0032】
[0032]
ユーザインターフェースアプリケーション159は、表示装置上に、ユーザがシステムと対話できるようにするユーザインターフェースを提示する。図3に、ユーザインターフェース300の例を示す。
【0033】
[0033]
電子回路ユニット120は、レーザ光源122と、安全モジュール128と、制御ユニット124を含み得る。レーザ光源122は、光ファイバ134を介して照射ユニット106にレーザビームを送ることができる。レーザ光源122は、連続波レーザとすることができる。例えば、レーザ光源122は、独国のLIMO GmbH社製のダイオードレーザモデルHLU10F600−808などとすることができる。
【0034】
[0034]
安全モジュール128は、対象がレーザ照射ビームに近づきすぎる場合には、レーザ光源122を遮断するように機能し得る。安全モジュール128は、安全プロセッサ162と、レーザ光源122からのレーザビームと同一直線上にある画像検出器160を含む。画像検出器160は、レーザビームに入る対象からのビーム反射(または後方散乱画像)を検出し、安全プロセッサ162に信号を送ることができる。安全プロセッサ162は、検出160から受け取られる後方散乱放射分布を分析することができる。これは、安全モジュール128が、対象がレーザビームに近すぎるときにこれを検出することを可能にする。レーザビームに近すぎる対象を検出すると、安全モジュール128は、レーザ光源122に制御信号を送って、レーザビームを遮断することができる。
【0035】
[0035]
一実施形態では、安全プロセッサ162は、例えば、フィールドプログラマブルゲートアレイなどの集積回路であり、電子回路ユニット120内に位置する。安全プロセッサ162は、制御コンピュータ150内に位置するソフトウェアとして操作されてもよい。電子回路ユニットに安全プロセッサ162を実装すれば、安全プロセッサ162は、制御コンピュータ150におけるソフトウェア実装と比べて、より信頼性が高く、より短いループを有するものとなり得る。一実施形態では、安全モジュール128は、約17ミリ秒のビデオフィールド時間内にレーザ光源122をシャットダウンすることができる。よって、対象のレーザ放射への露光が、この期間だけに限られる。レーザ放射によって引き起こされる目の損傷は露光期間に左右され、シャットダウン時間が短ければ、かかる損傷を低減するように作用し得る。このように、安全モジュール128は、人間対象がレーザに近づきすぎるときにレーザ光源を遮断するように機能し得るが、不要なシャットダウンでシステム100を妨害することはない。
【0036】
[0036]
図11に、本発明の一実施形態による、対象の検出に基づいてレーザ光源をシャットダウンする安全方法1100を示す。ブロック1102で、安全プロセッサ162は、カメラの視野を複数の領域に分割し得る。一実施形態では、安全プロセッサ162は、カメラ202の視野を、小さい正方形に分割する。
【0037】
[0037]
ブロック1104で、安全プロセッサ162は、次いで、安全閾値を超える領域を決定する。例えば、安全プロセッサは、各領域または正方形ごとに、その輝度が所与の閾値を超える画素の数を数えることができる。この数が指定の数字より高い場合、所与の領域は、閾値を上回るとみなされる。ブロック1106で、輝度閾値を超える領域によってカバーされる範囲が決定される。例えば、安全プロセッサ162は、輝度閾値を超えている正方形によってカバーされる範囲のサイズと形状を求めることができる。ブロック1108で、安全プロセッサ162は、この範囲情報を使って、レーザ光源122をシャットダウンすべきかどうか判定する。例えば、対象のサイズと形状を使って、検出されている対象が、シャットダウンの根拠となる人間である可能性が高いか、それとも、虫や鳥など、レーザ光源のシャットダウンの根拠とならないはずの別の対象であるか判定することもできる。
【0038】
[0038]
ブロック1108で、安全プロセッサ162が、レーザ光源をシャットダウンすべきでないと判定した場合、方法1100は、ブロック1104に進む。安全プロセッサ162が、レーザ光源をシャットダウンすべきであると判定した場合、安全モジュール128は、ブロック1110でレーザ光源122をシャットダウンする。
【0039】
[0039]
また、安全モジュール128は、ユーザの介在なしで自動的に照射器を回復させることもできる。例えば、安全モジュール128は、レーザの強度を徐々に増大し、目の安全への潜在的な脅威の原因となる、照射器に近すぎる対象の有無を絶えずチェックしてもよい。レーザをシャットダウンする根拠となる対象が検出された場合、レーザ強度は、再度低減されてゼロになる。そうでない場合、レーザの強度は、所望の強さになるまで徐々に増大する。例えば、シャットダウンイベント時において、レーザ強度は0まで下がるが、直後に、小さい値、例えばその最大値の10%程度まで徐々に増大する。次のフィールド時間において、安全プロセッサ162は、この低減された強度で、依然として目の安全への脅威の可能性があるかどうか判定することができる。依然として脅威がある場合、強度は、自動的により小さい値まで下げられる。脅威がない場合、強度は、次のフィールドにおいてより高い値まで上がる。このプロセスは、各時点において最大限の目に安全なレーザ強度が実施されるように続行する。このように、(若干の性能低下を伴った)監視ジョブが、安全シャットダウン後でさえも続行し得る。また、これは、システムが、手動リセットまたはオペレータ対話なしで、夜間監視モードに自動的に復帰することも可能にし、これは、システムが無人である場合には、重要である。
【0040】
[0040]
一実施形態では、安全モジュール128は、レーザがクラス1レーザとして分類され得るように実施される。レーザをクラス1に分類すれば、レーザの使用時にレーザ安全管理者が居合わせる必要がなくなる。
【0041】
[0041]
図1に再度戻って、制御ユニット124は、制御コンピュータ150から制御信号を受け取り、制御信号を、レーザ光源122、照射ユニット106、パン/チルトユニット104およびカメラユニット102に送ることができる。レーザ制御信号は、レーザ光源122におけるレーザの強度を制御することができる。照射ユニット制御信号は、レーザ照射ビームのズームを制御するなど、コリメータ204を制御するのに使用され得る。パン/チルトユニット制御信号は、パン/チルトユニット104の動きを制御することができる。カメラユニット制御信号は、ズーム、フォーカス、ゲイン、シャッタ、その他のカメラ制御など、カメラ202を制御するのに使用され得る。
【0042】
[0042]
また、電子回路ユニット120は、制御コンピュータまたは他の電源から電力を受け取り、照射ユニット106、パン/チルトユニット104、およびカメラユニット102のみならず、電子回路ユニット120内の構成要素にも電力を提供することのできる電源ユニット126も含むことができる。電源回路126は、受け取った電力を、様々な構成要素が必要とする電力に変換する変換器を含んでいてもよい。また、電子回路ユニット130は、ユニット130の構成要素を冷却する冷却ユニット(不図示)を含んでいてもよい。
【0043】
ユーザインターフェース
[0043]
図3に、制御コンピュータ150によって生成されるユーザインターフェース300の一実施形態を示す。ユーザインターフェースは、背景画像302と、ライブビデオ画像304と、制御ボタン306を含み得る。図3に示す実施形態において、背景画像302は、カメラ202の対象領域のパノラマ画像であり、カラーで表示される。ライブビデオ画像304は、レーザ照射ビーム230を使ってカメラ202によって取り込まれるカメラ202の現在視野である。ライブビデオ画像304の位置は、この実施形態では、背景画像302上の標識ボックス308によって、背景画像302と相互に関連付けられる。背景画像302と標識ボックス308とは、ユーザに、現在見えている領域に関して即座の方向定位を提供する。この方向定位を達成した後で、ユーザは、検査対象領域をより詳細に見るためにズームインしてもよい。
【0044】
[0044]
制御ボタン306は、パン/チルトユニット108の動きの制御、カメラ202とコリメータ204の制御、レーザ光源122の制御など、様々な機能を実行することができる。例えば、ユーザは、制御ボタン306を介して、パン/チルトユニット108を制御することによって、カメラ202の視野を移動させることができる。フォーカス、ゲイン、シャッタなどのカメラ202設定は、ユーザにより、制御ボタン306を介して制御され得る。また、カメラ202によって使用されるフィルタ222とカメラ202の安定性設定も、ユーザにより、制御ボタン306を介して制御され得る。ズームやフォーカスなど、コリメータ204の照射器設定は、制御ボタン306を介して制御され得る。また、制御ボタン306は、ユーザにレーザ照射ビームをオンにさせ、レーザ照射ビームの強度とサイズを制御させることもできる。制御ボタン306は、ユーザに、カメラと照射器の焦点距離を、これらが一致して動くようにロックさせることもできる。
【0045】
[0045]
ユーザは、制御ボタン306を介して、背景画像302を生成し、そのサイズを設定してもよい。また、制御ボタン306は、ユーザが関心地点または目標と、パノラマ背景画像302内の経路を設定し、目標間をナビゲートするためのインターフェースも提供する。また、制御コンピュータ150は、他の検出システムから情報を受け取り、この情報を表示してもよい。一実施形態では、熱撮像システムが使用され、熱撮像器の位置が、ボックス308と同様の標識を用いて背景画像上に示される。熱撮像器標識ボックスは、ボックス308より大きく、色の異なるものとすることもできる。また、熱撮像器からの画像(不図示)も、ユーザインターフェースでユーザに表示され得る。
【0046】
[0046]
図4に、ユーザインターフェースの画像部分の代替の実施形態を示す。この実施形態では、パノラマ背景画像402の一部が、背景画像402内に表示され、または融合されたライブビデオ画像404と共に表示される。この領域404は、IR照射器によって照射され、カメラによって撮像される。カメラによって生成されるライブビデオ画像404は、制御コンピュータ150のメモリから取り出される対象領域の調整済み固定画像402に自動的に合成される。この合成画像がユーザに提示される。この実施形態では、部分404だけが、リアルタイムで取り込まれるライブ画像である。合成画像は、ユーザに、ユーザが現在見ている領域に関する即座の方向定位をもたらす。この方向定位を達成した後、ユーザは、検査対象領域を詳細に見るためにズームインしてもよい。ズームインするとき、ライブビデオ画像404は光学的に拡大され、合成領域402は、合成画像全体が、単一の実際の撮像器から発する単一の画像として振る舞うように、光学機器と同期してデジタル的に拡大される。
【0047】
[0047]
別の実施形態では、ライブビデオ画像は、システムがパンし、またはチルトする場合でさえも、背景画像の中央または別の任意の所定位置に固定される。ユーザがズームインするとき、ライブビデオ画像は光学的に拡大され、背景画像は、背景とライブ画像の全体が、単一の実際の撮像器から発する単一の画像として振る舞うように、光学機器と同期してデジタル的に拡大される。別の実施形態では、背景画像は固定され、ライブビデオ画像部分は、カメラが移動するに従って背景画像フレーム内でその位置を変える。このオプションは、監視システムが、カメラの対象領域内の特定の経路を自動的に追跡する必要があるとき、すなわち「仮想巡回」に役立ち得る。ライブビデオ画像の位置と背景画像を相関させる別のやり方が使用されてもよい。
【0048】
方法
[0048]
本発明の実施形態による様々な方法が実行され得る。図5に、図1と2に示すシステム100によって実施され得る監視の例示的方法500を示す。この例示的方法は、例として示すものであり、本発明による方法を実行する様々なやり方がある。図5に示す方法500は、様々なシステムの1つまたはこれらの組み合わせによって実行され、または別様に行われ得る。図1と2に示す前述のシステムを、例として使用する。
【0049】
[0049]
方法500は、ブロック502で、背景画像の生成から開始する。背景画像は、カメラ202の対象領域の全体または一部を含むパノラマ画像とすることができ、これを図3に画像302で示す。一実施形態では、背景画像は、白昼に作成されるカラー画像である。また、背景画像は、IRフィルタを使って作成され、次いで、カラー背景画像と相互に関連付けられてもよい。IR背景画像は、IR照射を使って取り込まれるライブビデオ画像とのよりよい相関を実現し得る。
【0050】
[0050]
一実施形態では、背景画像エンジン158は、カメラ202を、カメラ202の対象領域から複数の画像を取り込むように制御し、次いで、これらの画像をパノラマ画像内に相関させることによって背景画像を生成する。以下の図8で、背景画像生成の例示的方法をより詳細に説明する。
【0051】
[0051]
ブロック504で、ライブビデオ画像が受け取られる。一実施形態では、ライブビデオ画像は、照射器211からのレーザ照射を使ってカメラ202によって取り込まれる。ライブビデオ画像は、カメラ202の現在視野とすることができ、例えば、図3の画像304や図4の画像404で示される。前述のように、コリメータ204の焦点距離は、カメラ202の視野に連動させることができる。また、ユーザは、カメラ202とコリメータ204とレーザ光源122を別々に制御することもできる。
【0052】
[0052]
ブロック506で、ライブビデオ画像の位置が背景画像と相互に関連付けられ。カメラ202の瞬間視野は、一般に、カメラ202の対象領域より小さい。したがって、この現在の取り込みライブ画像が、ユーザにとって認識可能な環境の視覚的手掛かりを全く含まない可能性もある。よって、ユーザが空間的方向定位を失い、カメラがどこに向けられており、ライブ画像が対象領域全体のどこに位置しているか分からなくなる可能性がきわめて高い。このため、ユーザにライブビデオ画像の方向定位が提供されるように、ライブビデオ画像と背景画像を相関させることが必要になる。一実施形態では、背景画像内で、ユーザに、ライブビデオ画像が対象領域内のどこに配置されるか示すボックスが設けられる。この実施形態は、例えば、図3にボックス308で示されている。別の実施形態では、ライブビデオ画像は、背景画像内のこれの位置に表示され得る。この実施形態は、例えば、図4に示されている。
【0053】
[0053]
暗視カメラのライブビデオ画像とカメラの対象領域の背景画像を相関させるのに、様々な方法が使用され得る。一実施形態では、この相関は、自動リアルタイムプロセスである。
【0054】
[0054]
一方法では、ボアサイトカメラのみならず、レーザ照射ビームもまた、その方向が制御コンピュータ150に知られている「復帰位置」を有する。例えば、一実施形態では、パン/チルトユニット104は復帰機能を有し、所与のパン/チルト位置がゼロ位置として定義される。このゼロまたは復帰位置を使用すれば、制御コンピュータ150は、連続するフレーム対フレームの照合計算を使って、視野の瞬間位置を計算することができる。視野方向が分かっていれば、ライブビデオ画像が、制御コンピュータ150によって背景画像に大まかに関連付けられ得る。一実施形態では、次いで、(以下で説明する)パターン照合技術を使って、ライブビデオ画像と背景画像の間のより正確な位置相関が提供される。
【0055】
[0055]
別の方法は、パターン照合法を使って、ライブビデオ画像を背景画像内のその正しい位置に整合させ、相関させる。一実施形態では、パターンの認識と照合が、IRフィルタを使って生成される背景画像を使って行われる。次いで、IR背景画像と着色背景画像の間の事前計算された相関を使って、ライブビデオ画像が背景画像に関連付けられる。一実施形態では、2つの背景画像、すなわち、ユーザインターフェース上の表示に使用される着色昼間背景画像と、ブロック/特徴照合に使用される(IRフィルタを使って昼間に取られ、またはレーザ照射を使って夜間に取られる)IR背景画像が相互に関連付けられる。着色背景画像は、照合にも使用され得るが、このプロセスは、IR背景画像を用いた場合ほど成功しないこともある。
【0056】
[0056]
別の方法では、視野方向が、(例えば、ポテンショメータや符号器といった)パン、チルトおよびズームセンサを連続して読み取ることによって計算されて、パン角度およびチルト角度とズーム設定が提供される。パンセンサとチルトセンサは、例えば、パン/チルトユニット104内のセンサ109などとすることができる。ズームセンサは、カメラ202および/またはコリメータ204と関連付けることができる。これらのセンサは、現在視野のために制御コンピュータ160に位置情報(パン、チルト角度とズーム設定)を送ることができる。制御コンピュータ150は、この位置情報に基づき、対象領域(背景画像)内の現在視野(ライブビデオ画像)のおおよその位置を計算することができる。一実施形態では、次いで、(前述の)パターン照合技術を使って、ライブビデオ画像と背景画像の間のより正確な位置相関が提供される。
【0057】
[0057]
別の方法は、IR感知位置センサを利用する。このIR位置センサは、その視野がカメラの対象領域全体をカバーするような固定位置に取り付けられてもよい。この位置センサは、複数の照射器のために使用され得る。このセンサは、照射器地点を自動的に検出し、その直径を抽出し、その方向とサイズを制御コンピュータ150に送ることができる。監視システムの場所のみならず、位置センサの場所と姿勢が分かっていれば、制御コンピュータ150は、背景画像上の瞬間レーザスポットの位置を計算することができる。
【0058】
[0058]
本発明の一実施形態では、前述の方法の複数の方法を使って、ライブビデオ画像を背景画像に相関させてもよい。個々のシステムの要件とユーザの必要および予算に応じて、前述の方法の様々な組み合わせが使用され得る。例えば、ライブビデオ画像の位置で最大限の正確さを達成するには、まず、ライブビデオ画像位置の大ざっぱな推定値のためにパン、チルトおよびズームセンサが読み取られ、次いで、精密な方向定位調整のためにビデオ特徴照合が行われてもよい。
【0059】
対象領域の走査
[0059]
カメラによる対象領域の長い走査時間と、対象領域内の所与の地点での「再訪時間」(走査システムの後続巡視間の期間)を克服するために、様々な方法が使用され得る。長い再訪時間は、いくつかの実施形態では、照射器のビーム拡散角度の限界に由来し得る。
【0060】
[0060]
一方法が、対象領域または仮想巡回における、領域、経路、関心地点などといった関心領域の事前定義である。一実施形態では、ユーザは、例えば、図3に示す制御ボタン306を使用するなど、ユーザインターフェースとの対話を通じて、関心領域または目標を識別し得る。次いで、制御コンピュータ150は、これらの地点を格納し、これらの関心領域のライブビデオ画像を、その対象領域の残りの部分よりも頻繁に、またはユーザ定義の経路に従って取り込むようにカメラを制御し得る。例えば、制御コンピュータ150は、カメラが、ほぼ真直ぐな監視経路を、観察経路の各区間ごとの最適な画像解像度を用いて走査する間、(必要に応じて)カメラのズームとフォーカスのパラメータだけが変更されるようにカメラとIR照射ビームを制御してもよい。
【0061】
[0061]
一実施形態では、仮想巡回プロセスが、制御コンピュータ150が、パン、チルト角度、およびレンズズーム(および必要に応じてフォーカス)値を含むすべてのパラメータを、予定される仮想巡回に沿って動的に指定することを必要とし得る。ユーザは、例えば、ユーザインターフェース300の背景画像302内の地点をクリックすることによって、関心地点および/または関心経路を指定してもよい。これは、システムのセットアップまたは初期設定時にユーザによって行われ得る。仮想経路または巡回が指定されると、システムは、指定の経路または巡回に自動的に従うことができる。
【0062】
[0062]
制御コンピュータ150は、ユーザの選択を、指定の地点から、または指定の経路に沿って画像を取り込むのに必要なカメラ、照明、およびパン/チルトパラメータと相関させることができる。例えば、図3において、「X」は、ユーザによって設定された所定の関心領域または目標を示す。制御コンピュータ150は、背景画像内の目標Xのアドレス情報を、対象領域内の位置情報と相関させることができる。制御コンピュータは、例えば、レーザ照射ビームを使用するカメラを制御して、各目標において左から右へ画像を取り込むことができる。ユーザからの入力に基づき、制御コンピュータ150は、カメラの対象領域内の所定の経路に沿った夜間「仮想巡回」、ならびにその他の洗練された走査パターンを行うようにカメラを制御してもよい。スキャン中を通して動的に変更され得る別のパラメータが、照射器の強度であり、これは、システムが近距離で使用されるときには、偶然に通りかかった人の目の安全を保護し、かつ/または画像飽和を回避するために、低減される必要がある。
【0063】
[0063]
かかる仮想巡回の効率的な実施は、撮影用カメラの視野とIR照射器の拡散角度の同期的変更を必要とする。カメラの視野とIR照射器の拡散角度を同期させることによって、照射器ビーム全体の強度の焦点を対象領域の関連部分に当てることが可能になる。一例を図6に示す。ボアサイトカメラの視野内を飛ぶ、601から605で指定する照射ビームスポットは、動的に、カメラレンズズーム機構と同調して、対象領域内の様々な重要地点を有効に見るように変化する。
【0064】
[0064]
システムには、図1に示す検出システム160など、対象領域のインテリジェントな走査を可能にする検出システムが含まれ得る。例えば、走査熱撮像器や対人レーダのような広域検出システムが使用され得る。また、(独立に配置され、またはフェンス上に取り付けられる)近接検出センサを備えるセキュリティシステムが使用されてもよい。検出システム160は、検出位置を制御コンピュータ150に送ることができる。次いで、制御コンピュータは、関心領域からのライブビデオ画像を取り込むようにカメラ視野と照射ビームを誘導することができる。
【0065】
[0065]
例えば、検出システム160は、対象領域内に位置する一連のセンサを備える警報システムとすることができる。対象領域内の各センサの位置は、システムのセットアップ時に設定される。制御コンピュータ150は、センサから警報信号を受け取ることができ、この信号は、視野を自動的にセンサの方向に向けさせ、レンズズーム値に、潜在的脅威の推定位置を包含させることができる。視野が警報の正確な位置に変化し得る能力は、センサの機能に左右される。例えば、フェンスセンサが、高ズームで、50メートルのフェンスラインに沿った位置を提供する場合、システムは、実際の目標を見るためにパンすることが必要になり得る。
【0066】
[0066]
対象領域を走査する別の方法は、対象領域内の動きおよび/または変化の検出と、かかる活動(動く対象、場面に追加された新しい対象、場面から除去された対象)が検出される領域の連続的探査に基づくものである。動く対象、追加対象または除去対象は、後続の走査で作成される全対象領域のモザイク画像の画像処理相関と照合を介して、制御コンピュータ150のビデオ動き/変化検出モジュール157によって自動的に検出され得る。関心領域の自動検出を用いれば、制御コンピュータ150は、カメラを、これらの領域からのライブビデオ画像の取り込みにより多くの時間を費やすように制御することができる。よって、かかる関心地点の再訪時間は、大幅に短縮される。
【0067】
[0067]
対象領域の走査時間を短縮させる別の方法は、カメラのパン、チルト角度によって指定される、カメラの対象領域内の各地点に、カメラまでの所与の距離が割り当てられ得ることに関連するものである。照射ビームの強度は(第1次近似では)距離の二乗に反比例する。よって、ビームの拡散角度と誘導されるカメラの視野(有界長方形)は、走査プロセスの間動的に変化して、カメラにより近い領域では、照射ビームが比例的に拡大される。これを図7に概略的に示す。円701は、カメラに近い領域における照射ビームである。円702はより離れた場所のビームを表し、円703は、有用な夜間画像を可能にする対象領域内の最も遠い領域に関連するものである。また、制御コンピュータ150は、所与のフレーム内の平均強度または内容情報を測定することによって、ビーム拡散角度と誘導されるカメラの視野を自動的に調整してもよく、これは、対象領域の走査時間を短縮することができる。
【0068】
[0068]
カメラの対象領域の走査中、いくつかの領域が、別の人口または自然の光源によって照射されてもよい。システムがこれらの領域を走査するとき、制御コンピュータ150は、照射ビームをスイッチオフし、カメラの視野をその可能な最高値に動かしてもよい。これらの方法の任意の1つまたは組み合わせを使って、システム100により、対象領域の走査が実施され得る。
【0069】
背景画像の生成
[0069]
図8に、対象領域の背景画像を生成する例示的方法502を示す。システムが複数のカメラを有する場合、各カメラごとの背景画像が生成され得る。背景画像は、制御コンピュータ150の背景画像エンジン158によって同期エンジン生成され得る。
【0070】
[0070]
ブロック802で、それぞれがカメラの対象領域の一部に対応するサブ画像が取り込まれる。これらのサブ画像は、カメラ202が対象領域を順次走査することによって取り込まれ得る。対象領域のサブ画像は、好ましくは、生成されるサブ画像の可能な最高の解像度と品質を達成するように、カメラを最大倍率に設定して、白昼に取り込まれる。また、対象領域画像は、より低い解像度オプションを使って取り込まれてもよい。例えば、一実施形態では、単一の広視野画像が取り込まれ、カメラの対象領域を表す背景画像として使用される。カメラがアナログである場合、取り込みサブ画像は、デジタル画像に変換される。取り込みサブ画像は、制御コンピュータ150のメモリ154に格納されてもよい。各サブ画像は、パン/チルト値などの位置情報や、関連付けられるズーム情報などを有していてもよい。
【0071】
[0071]
一実施形態では、走査プロセスは、連続するサブ画像フレーム間で若干のオーバーラップ(通常、フレームサイズの1/3)が生じるように行われる。図9に示すように、第1の順次走査は、例えば、複数の連続する垂直スライスによって生成されてもよい。様々な走査パターンを使って、対象領域内の各位置における複数のサブ画像が取り込まれ得る。例えば、初期走査が垂直走査パターンを使って行われる場合、第2の走査は、図10に示すような水平パターン、または対象領域を連続してカバーする他の任意のパターンを使用することができる。複数の走査パターンを使って、対象領域のよりよい全体解像度と、連続フレーム間のよりよい色調整(境界現象の除去)が達成され得る。走査パターンのパターン数と指定は、特定の監視システム要件、時間制限、他のリソース、およびユーザの必要に合わせて調整され得る。
【0072】
[0072]
ブロック804で、個々のサブ画像が処理される。一実施形態では、個々のサブ画像は、サブ画像から動く対象を除去するように処理される。例えば、人間、車、鳥などの動く対象が、複数の走査の単一のサブ画像またはごく少数のサブ画像に取り込まれてもよい。動く対象は、異なる走査で取り込まれる各サブ画像内の画素の画素値を比較することによって除去され得る。所与の画素は、ある1時点においてのみ動く対象でカバーされるが、大半は「背景値」を示し得る。また、「走査平均」画素を使用すれば、ただ1回の走査だけが使用された場合には全背景画像の少なからぬ歪みを生じ得るはずの、球面などのレンズの歪みも低減され得る。
【0073】
[0073]
図8に戻って、領域を走査すると、ブロック806で、背景画像エンジン158は、連続するサブ画像フレームを整合させて、カメラの対象領域の合成画像を生成する。また、ライブ画像と背景画像を相関させる前述の方法は、取り込みサブ画像を整合させて合成背景画像にするのにも使用され得る。例えば、パン/チルトユニット104上のセンサ109からのパン値およびチルト値と、カメラ202と関連付けられたズームセンサからのズーム値が各サブ画像と関連付けられてもよい。これらのパン値、チルト値、およびズーム値を使って、各サブ画像を合成背景画像内に配置することができる。システムは、合成背景画像内の各サブ画像の位置を決定するのに使用され得るIR位置センサを含んでいてもよい。
【0074】
[0074]
別の実施形態では、ブロック照合法やオプティカルフロー法といった画像処理方法を使って、取り込みサブ画像を整合させて合成画像にすることもできる。上記その他の適切な方法の任意の1つまたは組み合わせを使って、複数の取り込みサブ画像から合成背景画像が生成され得る。例えば、まず、パン値、チルト値およびズーム値を使って、サブ画像が大ざっぱに正しい位置に配置され、次いで、画像処理技術を使って、合成画像がさらに洗練されてもよい。
【0075】
[0075]
ブロック808で、合成画像はさらに処理される。例えば、合成画像上で均一な色と輝度を提供するために、合成画像上で色相関と輝度相関が行われ得る。また、合成画像上で前述のレンズ歪み除去が行われてもよい。
【0076】
[0076]
ブロック810で、自動プロセスによって生じる幾何学的誤差などを補正するために、合成背景画像の手作業による検査が行われ得る。手作業による検査は、ユーザがユーザインターフェースと対話することによって行われる。実施形態によっては、この手作業の検査が行われないものもある。
【0077】
[0077]
ブロック812で、対象領域を走査し、IRフィルタを使用するカメラで画像を取り込むことによって別の合成画像が生成される。IRフィルタは、照射器のスペクトルと同様の分光透過を有していてもよい。代替として、このプロセスは、夜間、照射器がオンであるときに、IRフィルタありまたはなしで行うこともできる。生成される対象領域のIR合成画像は、ライブビデオが、特徴照合によって背景画像と関連付けられるときに必要とされ得る。ライブビデオ夜間画像とIR背景画像の間の相関は、対象と地形から反射される光強度が波長依存であることにより、広帯域スペクトルの背景画像との相関よりよくなると期待される。よって、IRコントラストは、可視の広帯域コントラスとは大幅に異なり得る。また、背景IR画像も、ライブビデオ画像と関連付けられ、よって、背景画像の提示に使用され得る。実施形態によっては、合成IR画像が生成されないものもある。
【0078】
[0078]
ブロック814で、カラー背景画像とIR背景画像が相互に関連付けられる。この相関は、自動、手動またはその両方で行われ得る。
【0079】
[0079]
前述の背景画像作成方法は、設置時に一度だけ行われてもよく、カメラの対象領域内で大きな変更が生じるたびに行われてもよい。カメラが新しい位置に移動されるたびに、このプロセスが反復されるべきことは言うまでもない。この手順は、昼間でも、夜間でも行われ得る。最後の事例では、IR画像生成のために、照射器のスイッチがオンにされている必要がある。また、この手順は、倉庫、駐車場などのような動的環境では、規則的に反復されてもよい。
【0080】
[0080]
対象領域の背景画像を生成する別の方法は、当該領域のコンピュータによる3次元モデルの作成を利用するものである。かかるモデルは、この領域の衛星画像と、地形および建物建築のデータを組み合わせて生成され得る。2次元衛星画像が、現実的なテクスチャを有する3次元モデルに変換される。3次元モデルを有し、監視カメラの設置位置が分かっていれば、カメラの視点上に3次元モデルをレンダリングすることによって、各カメラの対象領域の背景画像の作成が可能になる。レンダリングプロセスは、基本的に、仮想カメラ焦点面上に3次元モデルを結像するものであり、最新のグラフィックカードの1つと、市販のソフトウェアグラフィックレンダリングエンジンを備える標準的なパーソナルコンピュータを使って実施され得る。
【0081】
[0081]
後者の方法は、所与の領域内のあらゆる地点からの視野画像の自動生成を可能にし、前者の方法は、幾何学的にも、テクスチャにおいてもはるかに正確な画像を生成する。
【0082】
総論
[0082]
本発明の、好ましい実施形態を含む、各実施形態の以上の説明は、例示と説明のために示しているにすぎず、網羅的であることも、本発明を開示通りの形に限定することも意図されていない。当分野の技術者には、本発明の精神と範囲を逸脱することなく、本発明の多数の変更と適応が明らかになるであろう。
【図面の簡単な説明】
【0083】
【図1】本発明の一実施形態による監視システムを示すブロック図である。
【図2】本発明の一実施形態による監視システムのカメラユニットと照射ユニットを示すブロック図である。
【図3】本発明の一実施形態による例示的ユーザインターフェースを示す図である。
【図4】本発明の別の実施形態のユーザインターフェースの一部を示す図である。
【図5】本発明の一実施形態による例示的な夜間監視の例示的方法を示す流れ図である。
【図6】本発明の一実施形態による照射ビームスポットのサイズの変化を示す図である。
【図7】本発明の一実施形態によるカメラの対象領域内の様々な照射ビームスポットの例を示す図である。
【図8】本発明の一実施形態による背景画像を生成する例示的方法を示す流れ図である。
【図9】本発明の一実施形態による背景画像の作成で使用され得る走査パターンを示す図である。
【図10】本発明の一実施形態による背景画像の作成で使用され得る別の走査パターンを示す図である。
【図11】本発明の一実施形態による安全方法を示す図である。
【技術分野】
【0001】
関連出願
[0001]
本発明は、参照によりその全部が本明細書に組み込まれる、2005年1月3日に出願した、「監視カメラに基づいたアクティブ照明の夜間性能の向上についてのシステム及び方法(SYSTEM AND A METHOD FOR IMPROVING NIGHT TIME PERFORMANCE OF ACTIVE ILLUMINATION BASED SURVEILLANCE CAMERAS)」という名称の米国仮特許出願第60/640244号の優先権を主張するものである。
【0002】
技術分野
[0002]
本発明は、一般に、監視システムに関し、より詳細には、本発明の実施形態は暗視監視システムのシステムおよび方法に関する。
【0003】
背景技術
[0003]
赤外線照射器を使用する暗視カメラは、高倍率を提供し得るが、この高倍率は、必然的に、狭い瞬間視野をもたらす。また、狭い視野は、所与の距離において、照射器のビームを、ある一定の角度を超えて拡散させると、有用な画像を生成するには不十分なビーム強度が必然的にもたらされることによるものである。この視野制限は、特に、カバーする必要のある領域が広く、複雑であるとき、または瞬間暗視視界の情報内容が低いときには、かかる監視カメラのユーザが監視対象領域内で方向定位するのを困難にする。
【0004】
[0004]
この限界を克服するのに使用され得る一方法が、現在視野を位置決めするのに役立ち得る目立った目標物を見つけるために、対象領域を系統的に走査するものである。監視作業の性質上、かかるサーチ手順は、緊急時に貴重な時間を使い果たすことになり得るため、一般に実際的はでない。これによって派生する、監視カメラの対象領域を定義する典型的な角度セクタをカバーするために監視カメラが必要とする長い走査時間が問題となり得る。
【0005】
[0005]
暗視システムの中には、レーザ赤外線照射器を利用するものもある。これらのシステムの多くは、ゲート式撮像技術を利用して、主要な雑音機構とみなされる大気による後方散乱を克服する。ゲート式撮像技術の使用は、高価な撮像器と、レーザパルスと撮像器の複雑な同期を必要とする。加えて、ゲート式撮像に基づく暗視システムは、撮像器の視野内の強烈な光源による飽和の影響を受けやすい。また、従来のレーザ照射暗視システムの使用は、目の安全の問題を提示する可能性もあり、用途によっては、レーザ安全管理者が暗視システムの現場にいることを必要とし得る。
【0006】
[0006]
他の暗視システムには、LED電球によって生成されるアクティブ赤外線照明を、その投射光を拾うように設定されたカメラと共に利用するものもある。これらのシステムは、短距離でのみ使用可能な画像を提供し、電球は比較的短命であり、システムに保守と運用のコストが増える。加えて、これらのシステムもやはり撮像器の視野内の強烈な光源による飽和の影響を受けやすい。
【0007】
[0007]
別の暗視システムは、高感度CCDカメラによって捕捉される周辺光(星明かりや月明かりなど)を利用するICCD(Intensified CCD)構成を使用する。これらのシステムもまた、動作距離が短く、曇った夜や月のない夜には機能しない。加えて、これらのシステムは、撮像器の視野内の強烈な光源による飽和の影響を受けやすい。
【0008】
[0008]
最も一般的な暗視システムは、熱撮像に基づくものであり、対象の熱を使って結果の画像が生成される。操作者が訓練を積めば、結果画像を検出に使用し得るが、文字も画像詳細も見えないため、正確な識別には使用できない。加えて、非冷却式熱システムは距離が短く、他方冷却式システムは、距離はより長いが、非常に高価である。最後に、熱システムにズーム機能を追加するのは、専用レンズを使用する必要があるため高くつく。このため、多くの熱システムは、固定焦点距離である。
【0009】
発明の概要
[0009]
本発明の実施形態は、現在視野を含む監視対象領域の広い視界を提供するシステムおよび方法を含む、夜間監視のシステムおよび方法を提供する。このシステムおよび方法は、ユーザが、現在視野がどこに位置決めされているか即座に理解し、適切な空間方向定位を獲得し、脅威検出の場合には、誘導される適切な措置を講じることを可能にし得る。また、このシステムおよび方法は、監視カメラの走査対象セクタ内の所与の地点の再訪時間はもとより、対象領域走査時間を短縮することもできる。一実施形態において、カメラを有する監視システム内で使用するための方法は、カメラの対象領域の背景画像を生成すること、対象領域内にある、カメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。ライブビデオ画像は、背景画像上にライブビデオ画像の位置標識を表示することによって背景画像と関連付けられてもよく、ライブビデオ画像を、背景画像上でその相対的な位置に融合させることによって関連付けられても良い。
【0010】
[0010]
別の実施形態において、暗視監視システムは、対象領域を有するカメラと、照射ビームを生成することのできる照射器と、対象領域の背景画像を生成し、照射ビームを使ってカメラによって取り込まれる、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取り、背景画像内でライブビデオ画像の位置を相関させることのできるコンピュータとを備える。
【0011】
[0011]
別の実施形態において、少なくとも1台のカメラを使用する監視方法は、カメラの対象領域の背景画像を生成すること、対象領域内の少なくとも1つの目標の位置に対応する目標位置情報に基づいて対象領域を走査すること、少なくとも1つの目標を含む、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。
【0012】
[0012]
別の実施形態において、暗視監視システムは、対象領域を有するカメラと、照射ビームを生成することのできる赤外線(IR)照射器であり、視差を生じるようにカメラから分離されている照射器と、カメラと照射器を制御することのできるコンピュータとを備える。また、システムは、照射器に近すぎる対象の有無を検出し、照射ビームを遮断することのできる安全モジュールを含んでいてもよい。
【0013】
[0013]
これらの例示的実施形態は、本発明を限定し、または定義するためではなく、本発明の理解に役立つ例を提供するために示すものである。例示的実施形態については、以下の詳細な説明で論じ、そこで本発明の詳細な説明を行う。本発明の様々な実施形態によって提供される利点は、本明細書をよく読めばさらに理解されよう。
【0014】
本発明の上記その他の特徴、態様および利点は、以下の詳細な説明を、添付の図面を参照して読めばよりよく理解されるものである。
【0015】
詳細な説明
[0015]
本発明の実施形態は、夜間監視のシステムおよび方法を提供する。本発明の複数の実施形態がある。導入例として、本発明の1つの例示的実施形態は、ズーム視準レンズを備えるIRレーザ照射器、およびビデオカメラとズームレンズからなる撮像器を利用する夜間監視システムを提供する。照射器と撮像器の光軸は、大気による後方散乱を低減するために、視差を生じるように空間的に分離されている。レーザ照射器からの照射ビームは、視野全体にわたって光を均一に分散するように形成され得る。照射器内のコリメータの焦点距離は、カメラの焦点距離と一緒に変化するように作られていてもよく、これらの焦点距離が相互に独立に動くこともできる。また、システムは、対象が照射器に近すぎるときにこれを検出することができ、レーザ光源を遮断することができる安全機構または回路を含んでいてもよい。
【0016】
[0016]
システムは、カメラの対象領域のパノラマ背景画像を生成し、この背景画像と、IRレーザ照射器を使ってカメラによって取り込まれるライブビデオ画像を相関させる。システムは、ユーザに、ライブビデオ画像が対象領域内のどこに配置されているか明確に指示するために、背景画像と相関させたライブビデオ画像を表示し得る。システムは、ライブ夜間ビデオ画像を取り込むために、対象領域をインテリジェントに走査し得る。
【0017】
システムアーキテクチャ
[0017]
本発明による様々なシステムが構築され得る。次に図面を参照する。これらの図では、類似の要素を類似の番号で示す。図1は、本発明の一実施形態の実施のための例示的環境を示すブロック図である。図1に示すシステム100は、カメラユニット102と、パン/チルトユニット104と、照射ユニット106と、電子回路ユニット120と、制御コンピュータ150を含む。また、システム100は、熱検出システム、レーダ、フェンスシステムなどの目標検出システム160も含み得る。
【0018】
[0018]
パン/チルトユニット104は、ポール、スタンド、三脚、壁などといった構造110に取り付けられ得る。パン/チルトユニット104にアダプタブリッジ108を結合することができ、このアダプタブリッジ108は、カメラユニット102と照射ユニット106に接続され、これらを支持することができる。パン/チルトユニット104は、水平方向に動くことのできるパン機構105と、垂直方向に動くことのできるチルト機構107を含み得る。パン/チルトユニット104は、パン機構105とチルト機構107に、幅広いパノラマをカバーするように照射ユニット106とカメラユニット102を移動させる電子回路板120からの制御信号を受け取ることができる。また、パン/チルトユニット104は、パン/チルトユニット108の位置(パン角度とチルト角度)、よって、カメラユニット102と照射ユニット106の位置を指示する位置信号を提供するセンサ109も含み得る。別の実施形態では、パン/チルトユニット108を、可動式の、または不安定な台の上で使用するためにジャイロ安定機によって安定させる。
【0019】
[0019]
別の実施形態では、システム100は、パン/チルトユニットを含まなくてもよく、カメラユニット102と照射ユニット106は固定されていてもよい。別の実施形態では、カメラユニット102と照射ユニット106は、別の場所にあり、別々のパンユニットとチルトユニットに取り付けられていてもよい。一実施形態では、カメラユニット102と照射ユニット106は、少なくとも6メートルの高さに取り付けられる。
【0020】
[0020]
図2に示すように、照射ユニット106はアクティブ照射器211を収容するハウジング210を含み、照射器211は、光ファイバアダプタ212とズームコリメータ204を含む。また、照射器211は、図1に示す電子回路ユニット120内のレーザ高原122などの光源も含む。当分野の技術者に知られている他の適切な光源も使用され得る。光ファイバアダプタ212は、(以下で説明するように)電子回路ユニット120内のレーザ光源122からIRレーザ照射ビームを受け取る。一実施形態では、光ファイバアダプタ212は、円形の光ファイバケーブルである。ズームコリメータ204は、IRレーザ照射ビームを目標206に当て、制御するように動作する1つまたは複数の視準レンズ205を含み得る。ズームコリメータ204は、(以下で説明するように)電子回路ユニット102からズーム、フォーカスなどの制御信号を受け取ることができる。
【0021】
[0021]
カメラユニット102は、ズームレンズ付きカメラ202、カメラインターフェースカード226、機械式照準機構224、およびスペクトルフィルタ機構222を囲い込むハウジング220を含み得る。一実施形態では、カメラ202は、例えば、CBC社製Computarレンズを備えるパナソニック社製CCDカメラなどである。
【0022】
[0022]
機械式照準機構224は、IRレーザ照射ビームの光軸230とカメラ202の光軸232を目標206に同時に整合させるのに使用され得る。カメラインターフェース226は、(以下で説明するように)電子回路ユニット120から、ズーム、フォーカス、ゲイン、シャッタなどの制御信号を受け取り、これらの制御信号をカメラ202に中継することができる。また、カメラインターフェース226は、カメラ202からビデオ画像信号を受け取り、これらのビデオ画像信号を電子回路ユニット120に送ることもできる。
【0023】
[0023]
カメラ202とコリメータ204の焦点距離は、ロックする、すなわち、一致して変化させることもでき、独立に変化させることもできる。例えば、一実施形態では、制御コンピュータ150は、カメラ202のズーム設定とフォーカス設定を使用し、これらのパラメータをコリメータ204のズーム設定とフォーカス設定に変換して、2つの視野が同じサイズになるようにする。このようにして、カメラ202のズーム設定とフォーカス設定の変更が、コリメータ204での同様の変更を生じることになる。
【0024】
[0024]
スペクトルフィルタ機構222は、夜間、あるいはそれ例外の光の全く、またはほとんどないときに、IRレーザ照射ビームを使用するカメラ202でビデオを取り込むのに使用され得る。スペクトルフィルタ機構222は、少なくとも1つの狭帯域幅またはカットオフフィルタと、運動機構を含み得る。狭帯域幅フィルタは、レーザ波長を伝え、他の光帯域を排除する。例えば、910nmレーザが使用される場合、900から920nmの波長帯域を有するフィルタが使用され得る。別の実施形態では、900nm以上の波長を有する光を伝え、900nmより低い波長を有する光を排除するカットオフフィルタが使用され得る。狭帯域幅フィルタを使用すれば、システムは、カメラの視野内の可能な全ダイナミックレンジの光に対処することができる。例えば、狭帯域幅フィルタがあれば、システムは、真っ暗な領域や近くの街路灯を、強い光によって飽和されずに見ることができる。運動機構は、夜間モードにあるとき、または、そうでなく、レーザ照射器を使用するときに、カメラレンズ207前の所定の位置にフィルタを移動させるのに使用される。一実施形態では、システム100は、昼間システムと夜間システムとして動作するように構成される。
【0025】
[0025]
一実施形態では、カメラ202とコリメータ204は、IR照射夜間システムでの雑音の主要原因とみなされる、短距離における大気中のエアロゾルから発する後方散乱を低減する視差を生じるように間隔を置いて配置される。短距離の後方散乱に起因する雑音は、長距離における後方散乱に起因する雑音よりも強い。視差を生じるように照射器をカメラから分離することによって、近距離の後方散乱が回避され、または低減され得る。例えば、カメラ202とコリメータ204を0.5メートル離すことができ、これは、レーザ照射ビーム230を使用するカメラ202で、カメラ202とコリメータ204から20メートル離れた対象の、後方散乱がほとんど、または全くない画像を取り込むことを可能にする。
【0026】
[0026]
一実施形態では、カメラユニット102と照射ユニット106は、単一のポールまたは三脚上に、カメラユニット102と照射ユニット106が相互に垂直になるように取り付けられる。例えば、照射ユニット106は、カメラユニット102の上部に取り付けられていてもよい。別の実施形態では、照射ユニット106とカメラユニット102は、別々のポールまたは三脚の上に取り付けられる。このようにして、大気による後方散乱は、完全に、またはほぼ完全に除去される。この実施形態では、照射ユニット106とカメラユニット102が、それぞれ、パン/チルトユニットを有していてもよく、これらのパン/チルトユニットは、相互に連動し合ってもよい。別の実施形態では、後方散乱を低減するために、制御コンピュータが画像処理技術を使って、画像のコントラストをデジタル式に伸張させることができる。
【0027】
[0027]
レーザ光源を使用する照射器211は、1000メートル以上の動作範囲を可能にする輝度レベルの能力があるものとすることができる。コリメータ204は、レーザ照射ビームの拡散を、カメラの視野に対応して容易に変更させることができる。大部分の従来方式の夜間監視システムは、LEDまたは電球ベースの照射器を使用する。かかる照射器は、一般に、その輝度に限界があるために範囲が非常に限られており(最大150〜200m)、ビームの拡散角度とカメラの視野の同期的変更に対応することができない。
【0028】
[0028]
一実施形態では、照射レーザビームは、レーザビームの光が、そのレーザビーム全体にわたって均一に拡散するように形成される。例えば、光ファイバアダプタ212は、照射ビーム全体にわたる光の均一な分布を作り出すことができる。また、光ファイバアダプタ212は、円形であって、その外半径において強度の急激な降下を有する照射ビームを生じるようにも作用し得る。照射ビームの均一な光の拡散と鋭いエッジは、LEDまたは電球によって通常作られる照射ビームの不均一な光の拡散と緩やかなエッジとは対照的である。照射ビームのサイズは、コリメータレンズ205の焦点距離を制御することによって決定され得る。
【0029】
[0029]
図1に戻って、カメラ202によって取り込まれるビデオ画像データは、カメラユニット102から電子回路ユニット120に送られる。次いで、電子回路ユニット120は、ビデオ画像データを制御コンピュータ150に転送する。制御コンピュータ150は、メモリ154などのコンピュータ可読媒体に結合されたプロセッサ152を含み得る。プロセッサ152は、以下で述べるように、カリフォルニア州サンタクララのインテル社製プロセッサや、イリノイ州ショウンバーグのモトローラ社製プロセッサなど、いくつかのコンピュータプロセッサのいずれかとすることができる。かかるプロセッサには、マイクロプロセッサ、ASIC、および状態機械も含まれ得る。かかるプロセッサは、コンピュータ可読媒体を含み、またはコンピュータ可読媒体と通信状態にあってもよく、コンピュータ可読媒体は、プロセッサによって実行されるとプロセッサに処置を実行させるプログラムコードまたは命令を格納する。コンピュータ可読媒体の実施形態には、それだけに限らないが、プロセッサにコンピュータ可読命令を提供することのできる、電子、光、磁気、その他の記憶装置または伝送装置が含まれる。他の適切な媒体の例には、それだけに限らないが、フロッピー(登録商標)ディスク、CD−ROM、DVD、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成済みプロセッサ、光媒体、磁気テープ媒体、またはコンピュータプロセッサが命令を読み出すことのできる他の任意の適切な媒体が含まれる。また、有線と無線両方の、ルータ、専用または公衆ネットワーク、あるいは他の伝送装置またはチャネルを含む、様々な他の形のコンピュータ可読媒体が、コンピュータにプログラムコードまたは命令を送信し、または搬送してもよい。命令は、例えば、C、C++、C#、Visual Basic、Java(登録商標)、Python、Perl、Java(登録商標)Scriptなどを含む、任意のコンピュータプログラミング言語のプログラムコードを含んでいてもよい。
【0030】
[0030]
制御コンピュータ150は、Microsoft(登録商標)Windows(登録商標)やLinuxなど、任意のオペレーティングシステム上で動作し得る。制御コンピュータの例が、パーソナルコンピュータ、サーバ機器、情報端末、携帯情報端末、移動電話機、デジタルタブレット、ラップトップコンピュータ、インターネット家電、その他のプロセッサベースの機器などである。一般に、制御コンピュータ150は、1つまたは複数のアプリケーションプログラムと対話する任意の適切な種類のプロセッサベースのプラットフォームとすることができる。制御コンピュータ150は、インターネットなどのネットワーク(不図示)に接続されていてもよく、有線または無線接続を介して電子回路ユニット120と検出システム160に直接接続されていてもよく、あるいは、有線または無線のネットワークを介して電子回路ユニット120と検出システム160に接続されていてもよい。制御コンピュータは、キーボード、マウス、ディスプレイ、記憶装置といった入出力機器を含んでいてもよい。
【0031】
[0031]
制御コンピュータ上で走り、メモリ154に記憶されるプログラムコードには、制御エンジン156、背景画像エンジン158、ビデオ動き/変化検出モジュール157、ユーザインターフェースアプリケーション159が含まれる。制御エンジン156は、レーザ光源122、コリメータ204、およびカメラ202を制御するのに使用され得る制御信号を計算し、電子回路ユニット120に送ることができる。背景画像エンジン158は、カメラユニット102から画像データを受け取って背景画像を生成し、ライブビデオ画像と背景画像を相関させることができる。ビデオ変化/動き検出モジュール157は、カメラ視野内の動く対象を検出し、隔離することのできる動き検出アルゴリズムと、例えば、空港内の放置物や美術館における紛失絵画など、所与の視野内の新しい、または欠けている対象を識別することのできる変化検出アルゴリズムを含む。
【0032】
[0032]
ユーザインターフェースアプリケーション159は、表示装置上に、ユーザがシステムと対話できるようにするユーザインターフェースを提示する。図3に、ユーザインターフェース300の例を示す。
【0033】
[0033]
電子回路ユニット120は、レーザ光源122と、安全モジュール128と、制御ユニット124を含み得る。レーザ光源122は、光ファイバ134を介して照射ユニット106にレーザビームを送ることができる。レーザ光源122は、連続波レーザとすることができる。例えば、レーザ光源122は、独国のLIMO GmbH社製のダイオードレーザモデルHLU10F600−808などとすることができる。
【0034】
[0034]
安全モジュール128は、対象がレーザ照射ビームに近づきすぎる場合には、レーザ光源122を遮断するように機能し得る。安全モジュール128は、安全プロセッサ162と、レーザ光源122からのレーザビームと同一直線上にある画像検出器160を含む。画像検出器160は、レーザビームに入る対象からのビーム反射(または後方散乱画像)を検出し、安全プロセッサ162に信号を送ることができる。安全プロセッサ162は、検出160から受け取られる後方散乱放射分布を分析することができる。これは、安全モジュール128が、対象がレーザビームに近すぎるときにこれを検出することを可能にする。レーザビームに近すぎる対象を検出すると、安全モジュール128は、レーザ光源122に制御信号を送って、レーザビームを遮断することができる。
【0035】
[0035]
一実施形態では、安全プロセッサ162は、例えば、フィールドプログラマブルゲートアレイなどの集積回路であり、電子回路ユニット120内に位置する。安全プロセッサ162は、制御コンピュータ150内に位置するソフトウェアとして操作されてもよい。電子回路ユニットに安全プロセッサ162を実装すれば、安全プロセッサ162は、制御コンピュータ150におけるソフトウェア実装と比べて、より信頼性が高く、より短いループを有するものとなり得る。一実施形態では、安全モジュール128は、約17ミリ秒のビデオフィールド時間内にレーザ光源122をシャットダウンすることができる。よって、対象のレーザ放射への露光が、この期間だけに限られる。レーザ放射によって引き起こされる目の損傷は露光期間に左右され、シャットダウン時間が短ければ、かかる損傷を低減するように作用し得る。このように、安全モジュール128は、人間対象がレーザに近づきすぎるときにレーザ光源を遮断するように機能し得るが、不要なシャットダウンでシステム100を妨害することはない。
【0036】
[0036]
図11に、本発明の一実施形態による、対象の検出に基づいてレーザ光源をシャットダウンする安全方法1100を示す。ブロック1102で、安全プロセッサ162は、カメラの視野を複数の領域に分割し得る。一実施形態では、安全プロセッサ162は、カメラ202の視野を、小さい正方形に分割する。
【0037】
[0037]
ブロック1104で、安全プロセッサ162は、次いで、安全閾値を超える領域を決定する。例えば、安全プロセッサは、各領域または正方形ごとに、その輝度が所与の閾値を超える画素の数を数えることができる。この数が指定の数字より高い場合、所与の領域は、閾値を上回るとみなされる。ブロック1106で、輝度閾値を超える領域によってカバーされる範囲が決定される。例えば、安全プロセッサ162は、輝度閾値を超えている正方形によってカバーされる範囲のサイズと形状を求めることができる。ブロック1108で、安全プロセッサ162は、この範囲情報を使って、レーザ光源122をシャットダウンすべきかどうか判定する。例えば、対象のサイズと形状を使って、検出されている対象が、シャットダウンの根拠となる人間である可能性が高いか、それとも、虫や鳥など、レーザ光源のシャットダウンの根拠とならないはずの別の対象であるか判定することもできる。
【0038】
[0038]
ブロック1108で、安全プロセッサ162が、レーザ光源をシャットダウンすべきでないと判定した場合、方法1100は、ブロック1104に進む。安全プロセッサ162が、レーザ光源をシャットダウンすべきであると判定した場合、安全モジュール128は、ブロック1110でレーザ光源122をシャットダウンする。
【0039】
[0039]
また、安全モジュール128は、ユーザの介在なしで自動的に照射器を回復させることもできる。例えば、安全モジュール128は、レーザの強度を徐々に増大し、目の安全への潜在的な脅威の原因となる、照射器に近すぎる対象の有無を絶えずチェックしてもよい。レーザをシャットダウンする根拠となる対象が検出された場合、レーザ強度は、再度低減されてゼロになる。そうでない場合、レーザの強度は、所望の強さになるまで徐々に増大する。例えば、シャットダウンイベント時において、レーザ強度は0まで下がるが、直後に、小さい値、例えばその最大値の10%程度まで徐々に増大する。次のフィールド時間において、安全プロセッサ162は、この低減された強度で、依然として目の安全への脅威の可能性があるかどうか判定することができる。依然として脅威がある場合、強度は、自動的により小さい値まで下げられる。脅威がない場合、強度は、次のフィールドにおいてより高い値まで上がる。このプロセスは、各時点において最大限の目に安全なレーザ強度が実施されるように続行する。このように、(若干の性能低下を伴った)監視ジョブが、安全シャットダウン後でさえも続行し得る。また、これは、システムが、手動リセットまたはオペレータ対話なしで、夜間監視モードに自動的に復帰することも可能にし、これは、システムが無人である場合には、重要である。
【0040】
[0040]
一実施形態では、安全モジュール128は、レーザがクラス1レーザとして分類され得るように実施される。レーザをクラス1に分類すれば、レーザの使用時にレーザ安全管理者が居合わせる必要がなくなる。
【0041】
[0041]
図1に再度戻って、制御ユニット124は、制御コンピュータ150から制御信号を受け取り、制御信号を、レーザ光源122、照射ユニット106、パン/チルトユニット104およびカメラユニット102に送ることができる。レーザ制御信号は、レーザ光源122におけるレーザの強度を制御することができる。照射ユニット制御信号は、レーザ照射ビームのズームを制御するなど、コリメータ204を制御するのに使用され得る。パン/チルトユニット制御信号は、パン/チルトユニット104の動きを制御することができる。カメラユニット制御信号は、ズーム、フォーカス、ゲイン、シャッタ、その他のカメラ制御など、カメラ202を制御するのに使用され得る。
【0042】
[0042]
また、電子回路ユニット120は、制御コンピュータまたは他の電源から電力を受け取り、照射ユニット106、パン/チルトユニット104、およびカメラユニット102のみならず、電子回路ユニット120内の構成要素にも電力を提供することのできる電源ユニット126も含むことができる。電源回路126は、受け取った電力を、様々な構成要素が必要とする電力に変換する変換器を含んでいてもよい。また、電子回路ユニット130は、ユニット130の構成要素を冷却する冷却ユニット(不図示)を含んでいてもよい。
【0043】
ユーザインターフェース
[0043]
図3に、制御コンピュータ150によって生成されるユーザインターフェース300の一実施形態を示す。ユーザインターフェースは、背景画像302と、ライブビデオ画像304と、制御ボタン306を含み得る。図3に示す実施形態において、背景画像302は、カメラ202の対象領域のパノラマ画像であり、カラーで表示される。ライブビデオ画像304は、レーザ照射ビーム230を使ってカメラ202によって取り込まれるカメラ202の現在視野である。ライブビデオ画像304の位置は、この実施形態では、背景画像302上の標識ボックス308によって、背景画像302と相互に関連付けられる。背景画像302と標識ボックス308とは、ユーザに、現在見えている領域に関して即座の方向定位を提供する。この方向定位を達成した後で、ユーザは、検査対象領域をより詳細に見るためにズームインしてもよい。
【0044】
[0044]
制御ボタン306は、パン/チルトユニット108の動きの制御、カメラ202とコリメータ204の制御、レーザ光源122の制御など、様々な機能を実行することができる。例えば、ユーザは、制御ボタン306を介して、パン/チルトユニット108を制御することによって、カメラ202の視野を移動させることができる。フォーカス、ゲイン、シャッタなどのカメラ202設定は、ユーザにより、制御ボタン306を介して制御され得る。また、カメラ202によって使用されるフィルタ222とカメラ202の安定性設定も、ユーザにより、制御ボタン306を介して制御され得る。ズームやフォーカスなど、コリメータ204の照射器設定は、制御ボタン306を介して制御され得る。また、制御ボタン306は、ユーザにレーザ照射ビームをオンにさせ、レーザ照射ビームの強度とサイズを制御させることもできる。制御ボタン306は、ユーザに、カメラと照射器の焦点距離を、これらが一致して動くようにロックさせることもできる。
【0045】
[0045]
ユーザは、制御ボタン306を介して、背景画像302を生成し、そのサイズを設定してもよい。また、制御ボタン306は、ユーザが関心地点または目標と、パノラマ背景画像302内の経路を設定し、目標間をナビゲートするためのインターフェースも提供する。また、制御コンピュータ150は、他の検出システムから情報を受け取り、この情報を表示してもよい。一実施形態では、熱撮像システムが使用され、熱撮像器の位置が、ボックス308と同様の標識を用いて背景画像上に示される。熱撮像器標識ボックスは、ボックス308より大きく、色の異なるものとすることもできる。また、熱撮像器からの画像(不図示)も、ユーザインターフェースでユーザに表示され得る。
【0046】
[0046]
図4に、ユーザインターフェースの画像部分の代替の実施形態を示す。この実施形態では、パノラマ背景画像402の一部が、背景画像402内に表示され、または融合されたライブビデオ画像404と共に表示される。この領域404は、IR照射器によって照射され、カメラによって撮像される。カメラによって生成されるライブビデオ画像404は、制御コンピュータ150のメモリから取り出される対象領域の調整済み固定画像402に自動的に合成される。この合成画像がユーザに提示される。この実施形態では、部分404だけが、リアルタイムで取り込まれるライブ画像である。合成画像は、ユーザに、ユーザが現在見ている領域に関する即座の方向定位をもたらす。この方向定位を達成した後、ユーザは、検査対象領域を詳細に見るためにズームインしてもよい。ズームインするとき、ライブビデオ画像404は光学的に拡大され、合成領域402は、合成画像全体が、単一の実際の撮像器から発する単一の画像として振る舞うように、光学機器と同期してデジタル的に拡大される。
【0047】
[0047]
別の実施形態では、ライブビデオ画像は、システムがパンし、またはチルトする場合でさえも、背景画像の中央または別の任意の所定位置に固定される。ユーザがズームインするとき、ライブビデオ画像は光学的に拡大され、背景画像は、背景とライブ画像の全体が、単一の実際の撮像器から発する単一の画像として振る舞うように、光学機器と同期してデジタル的に拡大される。別の実施形態では、背景画像は固定され、ライブビデオ画像部分は、カメラが移動するに従って背景画像フレーム内でその位置を変える。このオプションは、監視システムが、カメラの対象領域内の特定の経路を自動的に追跡する必要があるとき、すなわち「仮想巡回」に役立ち得る。ライブビデオ画像の位置と背景画像を相関させる別のやり方が使用されてもよい。
【0048】
方法
[0048]
本発明の実施形態による様々な方法が実行され得る。図5に、図1と2に示すシステム100によって実施され得る監視の例示的方法500を示す。この例示的方法は、例として示すものであり、本発明による方法を実行する様々なやり方がある。図5に示す方法500は、様々なシステムの1つまたはこれらの組み合わせによって実行され、または別様に行われ得る。図1と2に示す前述のシステムを、例として使用する。
【0049】
[0049]
方法500は、ブロック502で、背景画像の生成から開始する。背景画像は、カメラ202の対象領域の全体または一部を含むパノラマ画像とすることができ、これを図3に画像302で示す。一実施形態では、背景画像は、白昼に作成されるカラー画像である。また、背景画像は、IRフィルタを使って作成され、次いで、カラー背景画像と相互に関連付けられてもよい。IR背景画像は、IR照射を使って取り込まれるライブビデオ画像とのよりよい相関を実現し得る。
【0050】
[0050]
一実施形態では、背景画像エンジン158は、カメラ202を、カメラ202の対象領域から複数の画像を取り込むように制御し、次いで、これらの画像をパノラマ画像内に相関させることによって背景画像を生成する。以下の図8で、背景画像生成の例示的方法をより詳細に説明する。
【0051】
[0051]
ブロック504で、ライブビデオ画像が受け取られる。一実施形態では、ライブビデオ画像は、照射器211からのレーザ照射を使ってカメラ202によって取り込まれる。ライブビデオ画像は、カメラ202の現在視野とすることができ、例えば、図3の画像304や図4の画像404で示される。前述のように、コリメータ204の焦点距離は、カメラ202の視野に連動させることができる。また、ユーザは、カメラ202とコリメータ204とレーザ光源122を別々に制御することもできる。
【0052】
[0052]
ブロック506で、ライブビデオ画像の位置が背景画像と相互に関連付けられ。カメラ202の瞬間視野は、一般に、カメラ202の対象領域より小さい。したがって、この現在の取り込みライブ画像が、ユーザにとって認識可能な環境の視覚的手掛かりを全く含まない可能性もある。よって、ユーザが空間的方向定位を失い、カメラがどこに向けられており、ライブ画像が対象領域全体のどこに位置しているか分からなくなる可能性がきわめて高い。このため、ユーザにライブビデオ画像の方向定位が提供されるように、ライブビデオ画像と背景画像を相関させることが必要になる。一実施形態では、背景画像内で、ユーザに、ライブビデオ画像が対象領域内のどこに配置されるか示すボックスが設けられる。この実施形態は、例えば、図3にボックス308で示されている。別の実施形態では、ライブビデオ画像は、背景画像内のこれの位置に表示され得る。この実施形態は、例えば、図4に示されている。
【0053】
[0053]
暗視カメラのライブビデオ画像とカメラの対象領域の背景画像を相関させるのに、様々な方法が使用され得る。一実施形態では、この相関は、自動リアルタイムプロセスである。
【0054】
[0054]
一方法では、ボアサイトカメラのみならず、レーザ照射ビームもまた、その方向が制御コンピュータ150に知られている「復帰位置」を有する。例えば、一実施形態では、パン/チルトユニット104は復帰機能を有し、所与のパン/チルト位置がゼロ位置として定義される。このゼロまたは復帰位置を使用すれば、制御コンピュータ150は、連続するフレーム対フレームの照合計算を使って、視野の瞬間位置を計算することができる。視野方向が分かっていれば、ライブビデオ画像が、制御コンピュータ150によって背景画像に大まかに関連付けられ得る。一実施形態では、次いで、(以下で説明する)パターン照合技術を使って、ライブビデオ画像と背景画像の間のより正確な位置相関が提供される。
【0055】
[0055]
別の方法は、パターン照合法を使って、ライブビデオ画像を背景画像内のその正しい位置に整合させ、相関させる。一実施形態では、パターンの認識と照合が、IRフィルタを使って生成される背景画像を使って行われる。次いで、IR背景画像と着色背景画像の間の事前計算された相関を使って、ライブビデオ画像が背景画像に関連付けられる。一実施形態では、2つの背景画像、すなわち、ユーザインターフェース上の表示に使用される着色昼間背景画像と、ブロック/特徴照合に使用される(IRフィルタを使って昼間に取られ、またはレーザ照射を使って夜間に取られる)IR背景画像が相互に関連付けられる。着色背景画像は、照合にも使用され得るが、このプロセスは、IR背景画像を用いた場合ほど成功しないこともある。
【0056】
[0056]
別の方法では、視野方向が、(例えば、ポテンショメータや符号器といった)パン、チルトおよびズームセンサを連続して読み取ることによって計算されて、パン角度およびチルト角度とズーム設定が提供される。パンセンサとチルトセンサは、例えば、パン/チルトユニット104内のセンサ109などとすることができる。ズームセンサは、カメラ202および/またはコリメータ204と関連付けることができる。これらのセンサは、現在視野のために制御コンピュータ160に位置情報(パン、チルト角度とズーム設定)を送ることができる。制御コンピュータ150は、この位置情報に基づき、対象領域(背景画像)内の現在視野(ライブビデオ画像)のおおよその位置を計算することができる。一実施形態では、次いで、(前述の)パターン照合技術を使って、ライブビデオ画像と背景画像の間のより正確な位置相関が提供される。
【0057】
[0057]
別の方法は、IR感知位置センサを利用する。このIR位置センサは、その視野がカメラの対象領域全体をカバーするような固定位置に取り付けられてもよい。この位置センサは、複数の照射器のために使用され得る。このセンサは、照射器地点を自動的に検出し、その直径を抽出し、その方向とサイズを制御コンピュータ150に送ることができる。監視システムの場所のみならず、位置センサの場所と姿勢が分かっていれば、制御コンピュータ150は、背景画像上の瞬間レーザスポットの位置を計算することができる。
【0058】
[0058]
本発明の一実施形態では、前述の方法の複数の方法を使って、ライブビデオ画像を背景画像に相関させてもよい。個々のシステムの要件とユーザの必要および予算に応じて、前述の方法の様々な組み合わせが使用され得る。例えば、ライブビデオ画像の位置で最大限の正確さを達成するには、まず、ライブビデオ画像位置の大ざっぱな推定値のためにパン、チルトおよびズームセンサが読み取られ、次いで、精密な方向定位調整のためにビデオ特徴照合が行われてもよい。
【0059】
対象領域の走査
[0059]
カメラによる対象領域の長い走査時間と、対象領域内の所与の地点での「再訪時間」(走査システムの後続巡視間の期間)を克服するために、様々な方法が使用され得る。長い再訪時間は、いくつかの実施形態では、照射器のビーム拡散角度の限界に由来し得る。
【0060】
[0060]
一方法が、対象領域または仮想巡回における、領域、経路、関心地点などといった関心領域の事前定義である。一実施形態では、ユーザは、例えば、図3に示す制御ボタン306を使用するなど、ユーザインターフェースとの対話を通じて、関心領域または目標を識別し得る。次いで、制御コンピュータ150は、これらの地点を格納し、これらの関心領域のライブビデオ画像を、その対象領域の残りの部分よりも頻繁に、またはユーザ定義の経路に従って取り込むようにカメラを制御し得る。例えば、制御コンピュータ150は、カメラが、ほぼ真直ぐな監視経路を、観察経路の各区間ごとの最適な画像解像度を用いて走査する間、(必要に応じて)カメラのズームとフォーカスのパラメータだけが変更されるようにカメラとIR照射ビームを制御してもよい。
【0061】
[0061]
一実施形態では、仮想巡回プロセスが、制御コンピュータ150が、パン、チルト角度、およびレンズズーム(および必要に応じてフォーカス)値を含むすべてのパラメータを、予定される仮想巡回に沿って動的に指定することを必要とし得る。ユーザは、例えば、ユーザインターフェース300の背景画像302内の地点をクリックすることによって、関心地点および/または関心経路を指定してもよい。これは、システムのセットアップまたは初期設定時にユーザによって行われ得る。仮想経路または巡回が指定されると、システムは、指定の経路または巡回に自動的に従うことができる。
【0062】
[0062]
制御コンピュータ150は、ユーザの選択を、指定の地点から、または指定の経路に沿って画像を取り込むのに必要なカメラ、照明、およびパン/チルトパラメータと相関させることができる。例えば、図3において、「X」は、ユーザによって設定された所定の関心領域または目標を示す。制御コンピュータ150は、背景画像内の目標Xのアドレス情報を、対象領域内の位置情報と相関させることができる。制御コンピュータは、例えば、レーザ照射ビームを使用するカメラを制御して、各目標において左から右へ画像を取り込むことができる。ユーザからの入力に基づき、制御コンピュータ150は、カメラの対象領域内の所定の経路に沿った夜間「仮想巡回」、ならびにその他の洗練された走査パターンを行うようにカメラを制御してもよい。スキャン中を通して動的に変更され得る別のパラメータが、照射器の強度であり、これは、システムが近距離で使用されるときには、偶然に通りかかった人の目の安全を保護し、かつ/または画像飽和を回避するために、低減される必要がある。
【0063】
[0063]
かかる仮想巡回の効率的な実施は、撮影用カメラの視野とIR照射器の拡散角度の同期的変更を必要とする。カメラの視野とIR照射器の拡散角度を同期させることによって、照射器ビーム全体の強度の焦点を対象領域の関連部分に当てることが可能になる。一例を図6に示す。ボアサイトカメラの視野内を飛ぶ、601から605で指定する照射ビームスポットは、動的に、カメラレンズズーム機構と同調して、対象領域内の様々な重要地点を有効に見るように変化する。
【0064】
[0064]
システムには、図1に示す検出システム160など、対象領域のインテリジェントな走査を可能にする検出システムが含まれ得る。例えば、走査熱撮像器や対人レーダのような広域検出システムが使用され得る。また、(独立に配置され、またはフェンス上に取り付けられる)近接検出センサを備えるセキュリティシステムが使用されてもよい。検出システム160は、検出位置を制御コンピュータ150に送ることができる。次いで、制御コンピュータは、関心領域からのライブビデオ画像を取り込むようにカメラ視野と照射ビームを誘導することができる。
【0065】
[0065]
例えば、検出システム160は、対象領域内に位置する一連のセンサを備える警報システムとすることができる。対象領域内の各センサの位置は、システムのセットアップ時に設定される。制御コンピュータ150は、センサから警報信号を受け取ることができ、この信号は、視野を自動的にセンサの方向に向けさせ、レンズズーム値に、潜在的脅威の推定位置を包含させることができる。視野が警報の正確な位置に変化し得る能力は、センサの機能に左右される。例えば、フェンスセンサが、高ズームで、50メートルのフェンスラインに沿った位置を提供する場合、システムは、実際の目標を見るためにパンすることが必要になり得る。
【0066】
[0066]
対象領域を走査する別の方法は、対象領域内の動きおよび/または変化の検出と、かかる活動(動く対象、場面に追加された新しい対象、場面から除去された対象)が検出される領域の連続的探査に基づくものである。動く対象、追加対象または除去対象は、後続の走査で作成される全対象領域のモザイク画像の画像処理相関と照合を介して、制御コンピュータ150のビデオ動き/変化検出モジュール157によって自動的に検出され得る。関心領域の自動検出を用いれば、制御コンピュータ150は、カメラを、これらの領域からのライブビデオ画像の取り込みにより多くの時間を費やすように制御することができる。よって、かかる関心地点の再訪時間は、大幅に短縮される。
【0067】
[0067]
対象領域の走査時間を短縮させる別の方法は、カメラのパン、チルト角度によって指定される、カメラの対象領域内の各地点に、カメラまでの所与の距離が割り当てられ得ることに関連するものである。照射ビームの強度は(第1次近似では)距離の二乗に反比例する。よって、ビームの拡散角度と誘導されるカメラの視野(有界長方形)は、走査プロセスの間動的に変化して、カメラにより近い領域では、照射ビームが比例的に拡大される。これを図7に概略的に示す。円701は、カメラに近い領域における照射ビームである。円702はより離れた場所のビームを表し、円703は、有用な夜間画像を可能にする対象領域内の最も遠い領域に関連するものである。また、制御コンピュータ150は、所与のフレーム内の平均強度または内容情報を測定することによって、ビーム拡散角度と誘導されるカメラの視野を自動的に調整してもよく、これは、対象領域の走査時間を短縮することができる。
【0068】
[0068]
カメラの対象領域の走査中、いくつかの領域が、別の人口または自然の光源によって照射されてもよい。システムがこれらの領域を走査するとき、制御コンピュータ150は、照射ビームをスイッチオフし、カメラの視野をその可能な最高値に動かしてもよい。これらの方法の任意の1つまたは組み合わせを使って、システム100により、対象領域の走査が実施され得る。
【0069】
背景画像の生成
[0069]
図8に、対象領域の背景画像を生成する例示的方法502を示す。システムが複数のカメラを有する場合、各カメラごとの背景画像が生成され得る。背景画像は、制御コンピュータ150の背景画像エンジン158によって同期エンジン生成され得る。
【0070】
[0070]
ブロック802で、それぞれがカメラの対象領域の一部に対応するサブ画像が取り込まれる。これらのサブ画像は、カメラ202が対象領域を順次走査することによって取り込まれ得る。対象領域のサブ画像は、好ましくは、生成されるサブ画像の可能な最高の解像度と品質を達成するように、カメラを最大倍率に設定して、白昼に取り込まれる。また、対象領域画像は、より低い解像度オプションを使って取り込まれてもよい。例えば、一実施形態では、単一の広視野画像が取り込まれ、カメラの対象領域を表す背景画像として使用される。カメラがアナログである場合、取り込みサブ画像は、デジタル画像に変換される。取り込みサブ画像は、制御コンピュータ150のメモリ154に格納されてもよい。各サブ画像は、パン/チルト値などの位置情報や、関連付けられるズーム情報などを有していてもよい。
【0071】
[0071]
一実施形態では、走査プロセスは、連続するサブ画像フレーム間で若干のオーバーラップ(通常、フレームサイズの1/3)が生じるように行われる。図9に示すように、第1の順次走査は、例えば、複数の連続する垂直スライスによって生成されてもよい。様々な走査パターンを使って、対象領域内の各位置における複数のサブ画像が取り込まれ得る。例えば、初期走査が垂直走査パターンを使って行われる場合、第2の走査は、図10に示すような水平パターン、または対象領域を連続してカバーする他の任意のパターンを使用することができる。複数の走査パターンを使って、対象領域のよりよい全体解像度と、連続フレーム間のよりよい色調整(境界現象の除去)が達成され得る。走査パターンのパターン数と指定は、特定の監視システム要件、時間制限、他のリソース、およびユーザの必要に合わせて調整され得る。
【0072】
[0072]
ブロック804で、個々のサブ画像が処理される。一実施形態では、個々のサブ画像は、サブ画像から動く対象を除去するように処理される。例えば、人間、車、鳥などの動く対象が、複数の走査の単一のサブ画像またはごく少数のサブ画像に取り込まれてもよい。動く対象は、異なる走査で取り込まれる各サブ画像内の画素の画素値を比較することによって除去され得る。所与の画素は、ある1時点においてのみ動く対象でカバーされるが、大半は「背景値」を示し得る。また、「走査平均」画素を使用すれば、ただ1回の走査だけが使用された場合には全背景画像の少なからぬ歪みを生じ得るはずの、球面などのレンズの歪みも低減され得る。
【0073】
[0073]
図8に戻って、領域を走査すると、ブロック806で、背景画像エンジン158は、連続するサブ画像フレームを整合させて、カメラの対象領域の合成画像を生成する。また、ライブ画像と背景画像を相関させる前述の方法は、取り込みサブ画像を整合させて合成背景画像にするのにも使用され得る。例えば、パン/チルトユニット104上のセンサ109からのパン値およびチルト値と、カメラ202と関連付けられたズームセンサからのズーム値が各サブ画像と関連付けられてもよい。これらのパン値、チルト値、およびズーム値を使って、各サブ画像を合成背景画像内に配置することができる。システムは、合成背景画像内の各サブ画像の位置を決定するのに使用され得るIR位置センサを含んでいてもよい。
【0074】
[0074]
別の実施形態では、ブロック照合法やオプティカルフロー法といった画像処理方法を使って、取り込みサブ画像を整合させて合成画像にすることもできる。上記その他の適切な方法の任意の1つまたは組み合わせを使って、複数の取り込みサブ画像から合成背景画像が生成され得る。例えば、まず、パン値、チルト値およびズーム値を使って、サブ画像が大ざっぱに正しい位置に配置され、次いで、画像処理技術を使って、合成画像がさらに洗練されてもよい。
【0075】
[0075]
ブロック808で、合成画像はさらに処理される。例えば、合成画像上で均一な色と輝度を提供するために、合成画像上で色相関と輝度相関が行われ得る。また、合成画像上で前述のレンズ歪み除去が行われてもよい。
【0076】
[0076]
ブロック810で、自動プロセスによって生じる幾何学的誤差などを補正するために、合成背景画像の手作業による検査が行われ得る。手作業による検査は、ユーザがユーザインターフェースと対話することによって行われる。実施形態によっては、この手作業の検査が行われないものもある。
【0077】
[0077]
ブロック812で、対象領域を走査し、IRフィルタを使用するカメラで画像を取り込むことによって別の合成画像が生成される。IRフィルタは、照射器のスペクトルと同様の分光透過を有していてもよい。代替として、このプロセスは、夜間、照射器がオンであるときに、IRフィルタありまたはなしで行うこともできる。生成される対象領域のIR合成画像は、ライブビデオが、特徴照合によって背景画像と関連付けられるときに必要とされ得る。ライブビデオ夜間画像とIR背景画像の間の相関は、対象と地形から反射される光強度が波長依存であることにより、広帯域スペクトルの背景画像との相関よりよくなると期待される。よって、IRコントラストは、可視の広帯域コントラスとは大幅に異なり得る。また、背景IR画像も、ライブビデオ画像と関連付けられ、よって、背景画像の提示に使用され得る。実施形態によっては、合成IR画像が生成されないものもある。
【0078】
[0078]
ブロック814で、カラー背景画像とIR背景画像が相互に関連付けられる。この相関は、自動、手動またはその両方で行われ得る。
【0079】
[0079]
前述の背景画像作成方法は、設置時に一度だけ行われてもよく、カメラの対象領域内で大きな変更が生じるたびに行われてもよい。カメラが新しい位置に移動されるたびに、このプロセスが反復されるべきことは言うまでもない。この手順は、昼間でも、夜間でも行われ得る。最後の事例では、IR画像生成のために、照射器のスイッチがオンにされている必要がある。また、この手順は、倉庫、駐車場などのような動的環境では、規則的に反復されてもよい。
【0080】
[0080]
対象領域の背景画像を生成する別の方法は、当該領域のコンピュータによる3次元モデルの作成を利用するものである。かかるモデルは、この領域の衛星画像と、地形および建物建築のデータを組み合わせて生成され得る。2次元衛星画像が、現実的なテクスチャを有する3次元モデルに変換される。3次元モデルを有し、監視カメラの設置位置が分かっていれば、カメラの視点上に3次元モデルをレンダリングすることによって、各カメラの対象領域の背景画像の作成が可能になる。レンダリングプロセスは、基本的に、仮想カメラ焦点面上に3次元モデルを結像するものであり、最新のグラフィックカードの1つと、市販のソフトウェアグラフィックレンダリングエンジンを備える標準的なパーソナルコンピュータを使って実施され得る。
【0081】
[0081]
後者の方法は、所与の領域内のあらゆる地点からの視野画像の自動生成を可能にし、前者の方法は、幾何学的にも、テクスチャにおいてもはるかに正確な画像を生成する。
【0082】
総論
[0082]
本発明の、好ましい実施形態を含む、各実施形態の以上の説明は、例示と説明のために示しているにすぎず、網羅的であることも、本発明を開示通りの形に限定することも意図されていない。当分野の技術者には、本発明の精神と範囲を逸脱することなく、本発明の多数の変更と適応が明らかになるであろう。
【図面の簡単な説明】
【0083】
【図1】本発明の一実施形態による監視システムを示すブロック図である。
【図2】本発明の一実施形態による監視システムのカメラユニットと照射ユニットを示すブロック図である。
【図3】本発明の一実施形態による例示的ユーザインターフェースを示す図である。
【図4】本発明の別の実施形態のユーザインターフェースの一部を示す図である。
【図5】本発明の一実施形態による例示的な夜間監視の例示的方法を示す流れ図である。
【図6】本発明の一実施形態による照射ビームスポットのサイズの変化を示す図である。
【図7】本発明の一実施形態によるカメラの対象領域内の様々な照射ビームスポットの例を示す図である。
【図8】本発明の一実施形態による背景画像を生成する例示的方法を示す流れ図である。
【図9】本発明の一実施形態による背景画像の作成で使用され得る走査パターンを示す図である。
【図10】本発明の一実施形態による背景画像の作成で使用され得る別の走査パターンを示す図である。
【図11】本発明の一実施形態による安全方法を示す図である。
【特許請求の範囲】
【請求項1】
カメラを有する監視システムで使用するための方法であって、
前記カメラの対象領域の背景画像を生成すること、
前記対象領域内にある、前記カメラの現在視野のライブビデオ画像を受け取ること、および
前記背景画像内で前記ライブビデオ画像の位置を相関させること
を含む方法。
【請求項2】
前記ライブビデオ画像は、前記カメラにより、夜間に、赤外線(IR)照射器を使って取り込まれる請求項1に記載の方法。
【請求項3】
前記IR照射器はレーザである請求項2に記載の方法。
【請求項4】
前記ライブビデオ画像と前記背景画像を、前記ライブビデオ画像の前記位置が前記背景画像内で関連付けられるように表示することをさらに含む請求項1に記載の方法。
【請求項5】
前記ライブビデオ画像は前記背景画像とは別個に表示され、前記背景画像は前記ライブビデオ画像の前記位置の標識を含む請求項4に記載の方法。
【請求項6】
前記ライブビデオ画像は前記背景画像内に表示される請求項4に記載の方法。
【請求項7】
前記ライブビデオ画像は前記背景画像の中央に表示される請求項6に記載の方法。
【請求項8】
前記背景画像内での前記ライブビデオ画像の表示位置は、前記カメラの前記現在視野の変化に基づいて変化する請求項6に記載の方法。
【請求項9】
前記背景画像を生成することは、
前記対象領域を走査して複数の背景サブ画像を取り込むこと、および
前記サブ画像を整合させて合成画像にすること
を含む請求項1に記載の方法。
【請求項10】
動く対象を除去することによって前記サブ画像を処理することをさらに含む請求項9に記載の方法。
【請求項11】
前記合成画像は、前記合成画像を色補正し、輝度補正するように処理される請求項10に記載の方法。
【請求項12】
前記対象領域を走査することは、前記対象領域を、複数の異なるパターンで複数回走査することを含む請求項9に記載の方法。
【請求項13】
IR背景画像を生成すること、および
前記背景画像を用いて前記IR背景画像を補正すること
をさらに含む請求項9に記載の方法。
【請求項14】
前記サブ画像を組み合わせて合成画像にすることは、位置情報を受け取ること、および画像処理技術を使用することを含む請求項1に記載の方法。
【請求項15】
前記背景画像内でライブビデオ画像の前記位置を相関させることは、位置情報を受け取ること、および画像処理技術を使用することを含む請求項1に記載の方法。
【請求項16】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる照射器と、
前記対象領域の背景画像を生成し、前記照射ビームを使って前記カメラによって取り込まれる、前記対象領域内にある前記カメラの現在視野のライブビデオ画像を受け取り、前記背景画像内で前記ライブビデオ画像の位置を相関させることのできるコンピュータと
を備えるシステム。
【請求項17】
前記照射器は赤外線(IR)レーザ照射器であり、前記照射ビームはIRレーザ照射ビームである請求項16に記載のシステム。
【請求項18】
前記カメラと照射器を支持し、前記カメラと照射器を動かすことのできるパン/チルトユニットであり、前記コンピュータによって制御される前記パン/チルトユニットをさらに備える請求項16に記載のシステム。
【請求項19】
前記カメラと前記照射器は異なる場所に位置する請求項16に記載のシステム。
【請求項20】
前記カメラの焦点距離と前記照射器の焦点距離が一致して動くことのできる請求項16に記載のシステム。
【請求項21】
前記ライブビデオ画像と前記背景画像を、前記背景画像内で前記ライブビデオ画像の前記位置を相関させて表示することのできるディスプレイをさらに備える請求項16に記載のシステム。
【請求項22】
前記コンピュータは、前記対象領域を走査して複数の背景サブ画像を取り込み、前記サブ画像を整合させて合成画像にすることによって前記背景画像を生成する請求項16に記載のシステム。
【請求項23】
前記コンピュータに検出目標位置情報を提供することのできる検出システムをさらに備える請求項16に記載のシステム。
【請求項24】
複数のカメラをさらに備える請求項16に記載のシステム。
【請求項25】
少なくとも1台のカメラを使用する監視の方法であって、
前記カメラの対象領域の背景画像を生成すること、
前記対象領域内の少なくとも1つの関心領域(AOI)の位置に対応するAOI位置情報に基づいて前記対象領域を走査すること、
前記少なくとも1つのAOIをカバーする、前記対象領域内にある前記カメラの現在視野のライブビデオ画像を受け取ること、および
前記背景画像内で前記ライブビデオ画像の位置を相関させること
を含む方法。
【請求項26】
前記AOI位置情報は、関心領域を指定するユーザから受け取られる請求項25に記載の方法。
【請求項27】
前記AOI位置情報は、前記カメラの所定の走査経路に対応する請求項26に記載の方法。
【請求項28】
前記カメラの設定が、前記走査経路に沿って画像解像度を最適化するように自動的に変更される請求項27に記載の方法。
【請求項29】
前記所定の走査経路は、ユーザインターフェースを介し、直接ユーザ入力で操作される請求項27に記載の方法。
【請求項30】
前記ユーザ入力は、前記対象領域内の領域、経路、または関心地点の少なくとも1つである請求項29に記載の方法。
【請求項31】
前記AOI位置情報は検出システムから受け取られる請求項25に記載の方法。
【請求項32】
前記AOI位置情報は画像処理方法によって生成される請求項25に記載の方法。
【請求項33】
前記ライブビデオ画像は、前記カメラによって、夜間に、赤外線(IR)レーザ照射器を使って取り込まれる請求項25に記載の方法。
【請求項34】
前記照射器の設定が、前記照射器に対する前記現在視野内の目標の近接度に基づいて自動的に変更される請求項33に記載の方法。
【請求項35】
少なくとも一部は前記現在視野の平均輝度に基づいて、前記照射器のビーム拡散角度と前記現在視野を自動的に調整することをさらに含む請求項33に記載の方法。
【請求項36】
少なくとも一部は前記現在視野内の内容情報に基づいて、前記照射器のビーム拡散角度と前記現在視野を自動的に調整することをさらに含む請求項33に記載の方法。
【請求項37】
前記照射器は、前記現在視野が光源によって照明される場合には、スイッチオフされる請求項33に記載の方法。
【請求項38】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる赤外線(IR)照射器であり、視差を生じるように前記カメラから分離されている前記照射器と、
前記カメラと前記照射器を制御することのできるコンピュータと
を備えるシステム。
【請求項39】
前記照射器はIRレーザ照射器であり、前記照射ビームはIRレーザ照射ビームである請求項38に記載のシステム。
【請求項40】
前記カメラと照射器を支持し、前記カメラと照射器を動かすことのできるパン/チルトユニットであり、前記コンピュータによって制御される前記パン/チルトユニットをさらに備える請求項38に記載のシステム。
【請求項41】
前記カメラと前記照射器は異なる場所に位置し、別々のパン/チルトユニット上に取り付けられている請求項38に記載のシステム。
【請求項42】
前記カメラの焦点距離と前記照射器の焦点距離が一致して動くことのできる請求項38に記載のシステム。
【請求項43】
前記照射器に近すぎる対象の有無を検出し、前記照射ビームを遮断することのできる安全モジュールをさらに備える請求項38に記載のシステム。
【請求項44】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる赤外線(IR)照射器と、
前記カメラと前記照射器を制御することのできるコンピュータと、
前記照射器に近すぎる対象の有無を検出し、前記照射ビームを遮断することのできる安全モジュールと
を備えるシステム。
【請求項45】
前記安全モジュールは、前記照射ビームに戻るビーム反射を検出することのできる画像検出器と、前記ビーム反射を分析し、前記分析に基づいて前記照射ビームを遮断することのできる安全プロセッサとを備える請求項44に記載のシステム。
【請求項46】
前記安全プロセッサは前記ビーム反射の形状を分析する請求項45に記載のシステム。
【請求項47】
前記安全モジュールは、前記照射ビームの遮断に続いて前記照射ビームを徐々に始動させることができる請求項44に記載のシステム。
【請求項48】
前記照射ビームを徐々に始動させることは、前記照射ビームを低減電力でオンにし、対象が依然として存在するかどうか判定し、対象が検出されない場合に前記照射ビームの電力を徐々に増大することを含む請求項47に記載のシステム。
【請求項1】
カメラを有する監視システムで使用するための方法であって、
前記カメラの対象領域の背景画像を生成すること、
前記対象領域内にある、前記カメラの現在視野のライブビデオ画像を受け取ること、および
前記背景画像内で前記ライブビデオ画像の位置を相関させること
を含む方法。
【請求項2】
前記ライブビデオ画像は、前記カメラにより、夜間に、赤外線(IR)照射器を使って取り込まれる請求項1に記載の方法。
【請求項3】
前記IR照射器はレーザである請求項2に記載の方法。
【請求項4】
前記ライブビデオ画像と前記背景画像を、前記ライブビデオ画像の前記位置が前記背景画像内で関連付けられるように表示することをさらに含む請求項1に記載の方法。
【請求項5】
前記ライブビデオ画像は前記背景画像とは別個に表示され、前記背景画像は前記ライブビデオ画像の前記位置の標識を含む請求項4に記載の方法。
【請求項6】
前記ライブビデオ画像は前記背景画像内に表示される請求項4に記載の方法。
【請求項7】
前記ライブビデオ画像は前記背景画像の中央に表示される請求項6に記載の方法。
【請求項8】
前記背景画像内での前記ライブビデオ画像の表示位置は、前記カメラの前記現在視野の変化に基づいて変化する請求項6に記載の方法。
【請求項9】
前記背景画像を生成することは、
前記対象領域を走査して複数の背景サブ画像を取り込むこと、および
前記サブ画像を整合させて合成画像にすること
を含む請求項1に記載の方法。
【請求項10】
動く対象を除去することによって前記サブ画像を処理することをさらに含む請求項9に記載の方法。
【請求項11】
前記合成画像は、前記合成画像を色補正し、輝度補正するように処理される請求項10に記載の方法。
【請求項12】
前記対象領域を走査することは、前記対象領域を、複数の異なるパターンで複数回走査することを含む請求項9に記載の方法。
【請求項13】
IR背景画像を生成すること、および
前記背景画像を用いて前記IR背景画像を補正すること
をさらに含む請求項9に記載の方法。
【請求項14】
前記サブ画像を組み合わせて合成画像にすることは、位置情報を受け取ること、および画像処理技術を使用することを含む請求項1に記載の方法。
【請求項15】
前記背景画像内でライブビデオ画像の前記位置を相関させることは、位置情報を受け取ること、および画像処理技術を使用することを含む請求項1に記載の方法。
【請求項16】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる照射器と、
前記対象領域の背景画像を生成し、前記照射ビームを使って前記カメラによって取り込まれる、前記対象領域内にある前記カメラの現在視野のライブビデオ画像を受け取り、前記背景画像内で前記ライブビデオ画像の位置を相関させることのできるコンピュータと
を備えるシステム。
【請求項17】
前記照射器は赤外線(IR)レーザ照射器であり、前記照射ビームはIRレーザ照射ビームである請求項16に記載のシステム。
【請求項18】
前記カメラと照射器を支持し、前記カメラと照射器を動かすことのできるパン/チルトユニットであり、前記コンピュータによって制御される前記パン/チルトユニットをさらに備える請求項16に記載のシステム。
【請求項19】
前記カメラと前記照射器は異なる場所に位置する請求項16に記載のシステム。
【請求項20】
前記カメラの焦点距離と前記照射器の焦点距離が一致して動くことのできる請求項16に記載のシステム。
【請求項21】
前記ライブビデオ画像と前記背景画像を、前記背景画像内で前記ライブビデオ画像の前記位置を相関させて表示することのできるディスプレイをさらに備える請求項16に記載のシステム。
【請求項22】
前記コンピュータは、前記対象領域を走査して複数の背景サブ画像を取り込み、前記サブ画像を整合させて合成画像にすることによって前記背景画像を生成する請求項16に記載のシステム。
【請求項23】
前記コンピュータに検出目標位置情報を提供することのできる検出システムをさらに備える請求項16に記載のシステム。
【請求項24】
複数のカメラをさらに備える請求項16に記載のシステム。
【請求項25】
少なくとも1台のカメラを使用する監視の方法であって、
前記カメラの対象領域の背景画像を生成すること、
前記対象領域内の少なくとも1つの関心領域(AOI)の位置に対応するAOI位置情報に基づいて前記対象領域を走査すること、
前記少なくとも1つのAOIをカバーする、前記対象領域内にある前記カメラの現在視野のライブビデオ画像を受け取ること、および
前記背景画像内で前記ライブビデオ画像の位置を相関させること
を含む方法。
【請求項26】
前記AOI位置情報は、関心領域を指定するユーザから受け取られる請求項25に記載の方法。
【請求項27】
前記AOI位置情報は、前記カメラの所定の走査経路に対応する請求項26に記載の方法。
【請求項28】
前記カメラの設定が、前記走査経路に沿って画像解像度を最適化するように自動的に変更される請求項27に記載の方法。
【請求項29】
前記所定の走査経路は、ユーザインターフェースを介し、直接ユーザ入力で操作される請求項27に記載の方法。
【請求項30】
前記ユーザ入力は、前記対象領域内の領域、経路、または関心地点の少なくとも1つである請求項29に記載の方法。
【請求項31】
前記AOI位置情報は検出システムから受け取られる請求項25に記載の方法。
【請求項32】
前記AOI位置情報は画像処理方法によって生成される請求項25に記載の方法。
【請求項33】
前記ライブビデオ画像は、前記カメラによって、夜間に、赤外線(IR)レーザ照射器を使って取り込まれる請求項25に記載の方法。
【請求項34】
前記照射器の設定が、前記照射器に対する前記現在視野内の目標の近接度に基づいて自動的に変更される請求項33に記載の方法。
【請求項35】
少なくとも一部は前記現在視野の平均輝度に基づいて、前記照射器のビーム拡散角度と前記現在視野を自動的に調整することをさらに含む請求項33に記載の方法。
【請求項36】
少なくとも一部は前記現在視野内の内容情報に基づいて、前記照射器のビーム拡散角度と前記現在視野を自動的に調整することをさらに含む請求項33に記載の方法。
【請求項37】
前記照射器は、前記現在視野が光源によって照明される場合には、スイッチオフされる請求項33に記載の方法。
【請求項38】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる赤外線(IR)照射器であり、視差を生じるように前記カメラから分離されている前記照射器と、
前記カメラと前記照射器を制御することのできるコンピュータと
を備えるシステム。
【請求項39】
前記照射器はIRレーザ照射器であり、前記照射ビームはIRレーザ照射ビームである請求項38に記載のシステム。
【請求項40】
前記カメラと照射器を支持し、前記カメラと照射器を動かすことのできるパン/チルトユニットであり、前記コンピュータによって制御される前記パン/チルトユニットをさらに備える請求項38に記載のシステム。
【請求項41】
前記カメラと前記照射器は異なる場所に位置し、別々のパン/チルトユニット上に取り付けられている請求項38に記載のシステム。
【請求項42】
前記カメラの焦点距離と前記照射器の焦点距離が一致して動くことのできる請求項38に記載のシステム。
【請求項43】
前記照射器に近すぎる対象の有無を検出し、前記照射ビームを遮断することのできる安全モジュールをさらに備える請求項38に記載のシステム。
【請求項44】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる赤外線(IR)照射器と、
前記カメラと前記照射器を制御することのできるコンピュータと、
前記照射器に近すぎる対象の有無を検出し、前記照射ビームを遮断することのできる安全モジュールと
を備えるシステム。
【請求項45】
前記安全モジュールは、前記照射ビームに戻るビーム反射を検出することのできる画像検出器と、前記ビーム反射を分析し、前記分析に基づいて前記照射ビームを遮断することのできる安全プロセッサとを備える請求項44に記載のシステム。
【請求項46】
前記安全プロセッサは前記ビーム反射の形状を分析する請求項45に記載のシステム。
【請求項47】
前記安全モジュールは、前記照射ビームの遮断に続いて前記照射ビームを徐々に始動させることができる請求項44に記載のシステム。
【請求項48】
前記照射ビームを徐々に始動させることは、前記照射ビームを低減電力でオンにし、対象が依然として存在するかどうか判定し、対象が検出されない場合に前記照射ビームの電力を徐々に増大することを含む請求項47に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公表番号】特表2008−527806(P2008−527806A)
【公表日】平成20年7月24日(2008.7.24)
【国際特許分類】
【出願番号】特願2007−549706(P2007−549706)
【出願日】平成18年1月3日(2006.1.3)
【国際出願番号】PCT/US2006/000084
【国際公開番号】WO2006/074161
【国際公開日】平成18年7月13日(2006.7.13)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Linux
【出願人】(507222619)ブミー インコーポレイテッド (1)
【Fターム(参考)】
【公表日】平成20年7月24日(2008.7.24)
【国際特許分類】
【出願日】平成18年1月3日(2006.1.3)
【国際出願番号】PCT/US2006/000084
【国際公開番号】WO2006/074161
【国際公開日】平成18年7月13日(2006.7.13)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Linux
【出願人】(507222619)ブミー インコーポレイテッド (1)
【Fターム(参考)】
[ Back to top ]