強化された監視被写体撮像
監視システム(20)が、被写体(32)を撮像するためにミリ波電磁放射線を使用して、人(36)、およびその人(36)によって保持される物体(38)を含む、被写体(32)を検問するように構成された第1のセンサ装置(26)を含むことが可能である。補助的な源(30)が、人(36)によって保持される可能性がある物体(38)に関係付けられることが可能な被写体(32)についての追加の情報をもたらす。関係情報は、生成された画像信号(125)、および被写体情報に関する。補助的な源は、第2であることが可能である。被写体位置(34)における人(36)によって保持される可能性がある物体(38)の所与の特性を検出するように適合されたセンサ装置(26)。その場合、人(36)が、所与の特性を有する物体(38)を保持しているかどうかについての関係情報が、生成されることが可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視被写体撮像装置に関する。
【背景技術】
【０００２】
ミリ波信号は、レーダおよび遠隔通信のために使用される。また、ミリ波信号は、物体にミリ波信号を向け、反射された信号を検出することにより、被写体の画像を生成するのに使用されることも可能である。そのような撮像システムの例が、米国特許第5,455,590号、米国特許第5,557,283号、米国特許第5,859,609号、米国特許第6,507,309号、および米国特許第6,703,964号、2003年6月26日に出願した米国特許出願第2004/0263379号、2003年10月30日に出願した米国特許出願第2004/0090359号、および2003年10月30日に出願した米国特許出願第2004/0140924号で説明されており、以上の特許参考文献は、参照により本明細書に組み込まれている。
【０００３】
前述した撮像システムは、人の身体、および、隠されているか否かにかかわらず、その人によって保持される何らかの物体を含む被写体の比較的詳細な画像をもたらす。操作者は、被写体の画像を見て、その人と一緒に含まれる物体を視覚的に識別することができる。また、他の検出デバイスも、被写体についての他の情報を獲得するのに使用されることが可能である。例えば、被写体が、金属検出器を通過して、被写体が検出可能な金属物体を有するかどうかが検出されることが可能である。監視システムが、公共交通機関に乗るプロセス、または公共施設もしくは保護された施設に入るプロセスの一環である場合、相当な遅延が実現される可能性がある。さらに、監視の有効性は、操作者または操作者らの正確さ、および注意深さに依存する。
【特許文献１】米国特許第5,455,590号
【特許文献２】米国特許第5,557,283号
【特許文献３】米国特許第5,859,609号
【特許文献４】米国特許第6,507,309号
【特許文献５】米国特許第6,703,964号
【特許文献６】米国特許出願第2004/0263379号
【特許文献７】米国特許出願第2004/0090359号
【特許文献８】米国特許出願第2004/0140924号
【特許文献９】米国特許出願第10/728,456号
【発明の開示】
【課題を解決するための手段】
【０００４】
監視システムが、被写体位置における被写体に向けて、ミリ波電磁放射線を送信し、その被写体からミリ波電磁放射線を受信するように構成された第1のセンサ装置を含むことが可能である。被写体には、人、およびその人によって保持される何らかの1つまたは複数の物体が含まれることが可能である。また、そのようなシステムは、センサ装置を操作し、受信された放射線から、被写体の画像を表す画像データを生成するように構成されたコントローラも含むことが可能である。また、一部の監視システムは、人によって保持されることが可能な物体に関係付けられることが可能な被写体についての被写体情報の源も含む。その場合、コントローラは、生成された画像信号と被写体情報を関係付ける関係情報を生成するように適合される。
【０００５】
一部の監視システムでは、被写体情報の源は、被写体位置における人によって保持される可能性がある物体の所与の特性を検出するように適合された第2のセンサ装置である。そのようなシステムにおけるコントローラは、人が、それに相応して、人が、その所与の特性を有する物体を保持しているかどうかについての関係情報を生成するように適合される。第2のセンサ装置は、様々な被写体情報の1つまたは複数を検出するように適合されることが可能である。
【発明を実施するための最良の形態】
【０００６】
図1は、コントローラ21と、複数の被写体関係情報源24を含む被写体情報アセンブリ22とを含む一般的な監視システムを示す。被写体情報源には、撮像装置28のような、1つまたは複数のセンサ装置26、および構成に依存して、1つまたは複数の補助的な被写体情報源30が含まれることが可能である。被写体情報源は、被写体位置34における被写体32に関係する情報をもたらす。
【０００７】
被写体32には、人間であるか、動物であるか、または無生物の物体であるかにかかわらず、撮像のために撮像システムの検問ステーションの中に提示されるすべてが含まれる。例えば、人36が、撮像のために検問ステーションの中に入っている場合、被写体32には、その人とならんで、腕時計、鍵、宝飾品、ポケットナイフ、もしくは他のナイフ、硬貨、装身具、銃、または撮像されることが可能な他の何らかの物体などの、人によって支持される、何らかの物体38が含まれる。
【０００８】
撮像装置28の実施例は、被写体位置における被写体に向けてミリ波電磁放射線を送信し、その被写体からミリ波電磁放射線を受信するように適合された能動型撮像装置である。一部の実施例では、ミリ波放射線は、100メガヘルツ(MHz)から2テラヘルツ(THz)までの範囲の周波数範囲内にあることが可能である。一般に、対応する波長は、数センチメートルから数マイクロメートルまでの範囲にある。そのような放射線は、いくつかの変調タイプ、例えば、チャープタイプ、擬似ランダム周波数ホップタイプ、パルスタイプ、FMCW (Frequency Modulated Continuous Wave)タイプ、またはCW(持続波)タイプを使用して、ある周波数範囲、もしくはある周波数セットにわたることが可能である。
【０００９】
撮像装置の一部の実施形態は、24GHzないし30GHzの範囲内の周波数、FMCW変調を組み込み、FCCの無認可のオペレーション要件を満たす信号内容を有し、規制された米国政府周波数帯域の範囲外にある送信信号を使用することができる。パルス幅は、2〜10マイクロ秒の範囲にあることが可能である。アンテナビーム幅は、画像形成信号プロセッサの要件に応じて、ブロードビームインプリメンテーションの場合、20〜120度の範囲にあり、ナロービーム幅アプリケーションの場合、30度未満の範囲にあることが可能である。様々なシステム偏波が、使用されることが可能である。例には、同一偏波、交差偏波、楕円偏波、右旋円偏波、および/または左旋円偏波が含まれる。
【００１０】
一部の天然繊維および合成繊維は、そのような周波数、およびそのような波長の放射線に対して透過性、または半透過性であり、そのような材料の下に位置する表面の検出および/または撮像を許す可能性がある。検問の被写体が、衣服を着た個人である場合、衣類によって覆われた人の身体の諸部分についての画像情報が、衣類によって覆われていない諸部分についての画像情報とともに、システム20を使用して獲得されることが可能である。さらに、衣類の下で人によって保持され物体に関する画像情報が、それらの物体がどのように人に支持されているかに関わらず、武器および密輸品に関して使用されるような、金属および非金属の物体の組成に関して、システム20を使用してもたらされることが可能である。
【００１１】
コントローラ21は、センサ装置26を操作するように適合されることが可能である。センサ装置が撮像装置28である、図示される実施例では、コントローラは、受信された放射線から、被写体の画像を表す画像データを生成するように適合される。補助的な被写体情報源30は、人36によって保持される可能性がある物体38に関係付けられることが可能な、被写体32についての情報をもたらす。この源は、撮像装置28とは異なるタイプのものであってもよい。その場合、コントローラは、生成された画像信号、および被写体情報に関係する関係情報を生成するように適合される。
【００１２】
一部の監視システム20では、被写体情報の補助的な源30は、被写体位置における人によって保持される可能性がある物体の所与の特性を検出するように適合された第2のセンサ装置26である。そのようなシステム20におけるコントローラ21は、それに相応して、人が、その所与の特性を有する物体を保持しているかどうかについての関係情報を生成するように適合される。第2のセンサ装置は、様々な被写体情報の1つまたは複数を検出するように適合されることが可能である。センサ装置は、順次に機能しても、他のセンサ装置と同時並行に機能してもよい。例えば、第2のセンサ装置は、金属、爆発物、または他の化学物質などの物質、網膜画像、顔の画像、指紋、身体のすべて、または一部の容量的または局所解剖学的な表示などの、人36を識別する特徴、他のバイオメトリック特徴、人が、治安部隊または警察部隊などの、あるグループに属することを表す記章などの、身元証明バッジもしくは分類バッジもしくは記章、またはRFIDデバイスの、1つまたは複数を検出することが可能である。トレース要素検出は、イオン質量分析、四重極共鳴、フーリエ変換赤外分光、蒸気検出、化学生物学的感知、レーザ測定、蛍光、DNA分析、およびMEMSに基づくことが可能である。オプションとして、補助的な源30には、メモリの中に格納されたコンテキストデータが含まれることが可能である。コンテキストデータは、特定の人について以前に検出された、または入力された情報に関係する履歴データ、銃、または他の治安デバイスまたは警察デバイスなどの、特定のタイプの物体を保持するのに人が有する可能性がある許可、または監視される人によって保持される物体の有意性を検出し、評価する際に、監視システム20の操作者に役立つと考えられる他のデータのように、人、またはその人によって保持される可能性のある物体に関係する。
【００１３】
コントローラ21は、デジタル回路、アナログ回路、またはその両方などの、画像データを処理するための任意の適切なコンポーネントの形態であるプロセッサ40を含むことが可能である。プロセッサ40は、コンピュータまたはマイクロプロセッサのように、プログラマブルであること、専用のハードワイヤードの状態マシンであること、論理ユニットであること、または以上の組合せであることが可能である。複数プロセッサ形態の場合、分散処理、パイプライン処理、および/または並行処理が、適宜、利用されることが可能である。
【００１４】
プロセッサ40は、メモリ42を含むことが可能である。メモリ42は、ソリッドステート、電磁、光学、または以上の組合せであることが可能であり、揮発性および/または不揮発性であることが可能である。さらに、メモリ42は、常駐のハードドライブ、またはランダムアクセスメモリ(RAM)のように専用であっても、取り外し可能メモリデバイス(R.M.D.)のように、取り外し可能であってもよい。現在、通常の取り外し可能なメモリデバイスには、フレキシブル磁気ディスク、テープカートリッジ、光ディスク(CD-ROMまたはDVD)、またはその他の適切なタイプが含まれる。また、メモリ42は、別のプロセッサおよび/またはネットワークを介して有線または無線の通信リンクによってプロセッサに結合されたリモートメモリであってもよい。
【００１５】
コントローラ21は、別のシステム、または他のリモート出力デバイスに対する通信リンクなどの、データを受信し、出力データを送信するように適合された適切な入力デバイスおよび/または出力デバイス44に結合されることが可能である。例示的な入力デバイスには、キーボード、マウスもしくは他のカーソル制御デバイス、音声認識入力システム、または他の適切なデバイスもしくはシステムが含まれることが可能である。出力デバイスには、ビジュアルアラームもしくはオーディオアラーム、プリンタ、通信リンク、あるいは陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマ、有機発光ダイオード(OLED)、または他の適切なディスプレイタイプなどの、ディスプレイが含まれることが可能である。適切な通信リンクには、プライベートであるか、公共であるかにかかわらず、ローカルエリアネットワーク(LAN)、ミューニシパルエリアネットワーク(MAN)、またはワイドエリアネットワーク(WAN)が含まれることが可能である。
【００１６】
監視システム20の例示的な動作を説明する全体的な流れ図50が、図2に示されている。2つのデータ獲得段階が、示されている。被写体情報源24の1つまたは複数が、撮像装置28である場合、各撮像装置が、画像情報を検出し、検出された信号を生成する。撮像装置には、音波、光放射線、赤外放射線、ミリ波放射線、もしくは他の無線周波数放射線、テラヘルツ放射線、およびX線放射線などの、適切な形態の受信された放射線を使用するなど、実現されることが可能なように、被写体表面または被写体特性などの、被写体の複数のゾーンまたは位置に関係付けられることが可能な情報を検出する装置が含まれることが可能である。画像信号は、52において各撮像装置に関して獲得される。獲得された画像信号は、次に、54において処理されて、画像データが構築される。次に、56において、画像特徴が識別される。以下にさらに説明するとおり、画像データから導出される画像特徴は、人36に関係する1つまたは複数の物体38の形状、構成、配置、または位置であることが可能である。
【００１７】
1つまたは複数の被写体情報源24が、非撮像源58である場合、その非撮像源からのデータが、60において獲得される。非撮像源は、物質、人36を識別する特徴などのアイテムの一般的検出などの、被写体の一般的な特徴を検出するセンサであっても、被写体に関係する、メモリの中に格納されたコンテキストデータであってもよい。画像特徴が、次に、56において識別される。物質、または人の身元証明、あるいは人の特性、クラス、または分類、およびその他の適切な指示もしくは情報の存在の検出が、被写体の諸特徴と見なされる。
【００１８】
様々な被写体情報源24からの画像特徴が、次に、62において互いに関係付けられる。例えば、撮像装置からの、人の側部上の物体の識別が、その人の中位ゾーンにおける金属の検出と互いに関係付けられ、その人を識別するバッジ、およびメモリの中に前もって格納されているコンテキストデータが、その人が警備員であり、高いセキュリティ許可を有することを示していることが可能である。
【００１９】
それらの互いに関係付けられた特徴は、次に、64において、特徴の組合せに基づいて分類されることが可能である。特徴の分類は、検出された特徴が、疑わしい物体である、またはフォールスアラームである尤度を判定するための論理プロセスである。例えば、同一のゾーンにおける金属の、物体としての検出は、その物体が金属である高い尤度があることを示す。さらに、人が警備員として識別されたことから、その物体は銃である可能性が高い。また、その人は、その人の任務の一環として、その位置に銃を保持することを許可されている可能性がある。このため、その物体には、疑わしい物体であるという高い重みが与えられるが、警備員としてのその人のステータスのため、セキュリティリスクとして低い重みが与えられる。
【００２０】
プロセッサは、リレーショナルデータベースを使用して、監視される被写体に関係する様々な可能な特徴を関係付けることができる。一般的な例として、以下の真理値表が、特徴A、B、およびCとして識別された2つ、または3つの特徴が、どのように関係付けられることが可能であるかを示す。判定された関係に基づき、属性、重み、または値、vxが、各組合せに割り当てられることが可能である。この例では、ある値が参照され、その項は、属性、重み、または他の相対的指標を含むことが意図されている。それらの値は、アプリケーションに応じて、異なる関係に関して異なることも、同一であることも可能である。
【００２１】
【表１】
【００２２】
任意の対応する特徴セットが、重み、値、または属性などの、対応する相対的指標に割り当てられることが可能である。例えば、目に見える画像とミリ波ベースの画像の両方の中で識別された物体が、その物体が目に見えるので、低い値を有することが可能である。他方、目に見えない、ミリ波ベースの画像上で識別された物体には、高い値が割り当てられることが可能である。また、赤外線センサが、隠された物体の存在を確認するのに使用されることも可能であり、ミリ波ベースの撮像を使用して被写体上で検出されない、隠された物体を識別することができる。このため、被写体のある区域に、画像物体が全く検出されていなくても、高い値が割り当てられることが可能である。例えば、人の身体にテープで留められた1枚のプラスチック爆弾が、その人の身体の残りの部分よりも「冷たく」見える可能性がある。また、爆発物検出器と金属検出器の組合せを使用して、撮像された物体が、金属部品を有するプラスチック爆弾である可能性が高いと識別されることも可能である。そのような物体には、その場合、非常に高い値が与えられることが可能である。
【００２３】
このため、物体(または被写体の区域)の値は、金属、プラスチック、誘電体、セラミック、組織、布地、紙、石、植物などの、物体(または被写体)が含む物質に基づくことが可能である。また、大きさ、形状、およびエッジ特性などの、物体の構造も、値を割り当てる基準であることが可能である。また、PTEN、TNT、プラスチック、C-4、およびデータシートなどの、薬物および爆発物を含む物体の化学的構成も、値を割り当てるための基準であることが可能である。
【００２４】
画像特徴が分類されると、画像特徴の組合せについての結論が、66において生成される。
【００２５】
【表２】
【００２６】
次に、様々な結論が、表示、レポート、またはアラーム条件などを介して、適宜、68において出力されることが可能である。
【００２７】
被写体情報アセンブリが、構成されることが可能な様々な形が存在する。センサ装置が、被写体位置に関係し、異なるセンサ装置と相対的に装着される監視システムは、様々な移動構成または非移動構成を可能にすることができる。例えば、所与のセンサ装置が、被写体位置に対して動くが、他の1つまたは複数のセンサ装置に対しては動かないように適合されることが可能である。図3は、被写体位置34における被写体32と相対的に装着された3つのセンサ装置26を含む被写体情報アセンブリ22に関する様々な可能な構成を示す。オプションとして、センサ装置は、移動機構とも呼ばれるモーション装置80によって、被写体位置に対して動き、また互いに対しても動くように装着されることが可能である。モーション装置は、被写体位置に対する、あるいは別のセンサ装置、または別のモーション装置に対するセンサ装置の機械的動きをもたらす任意の適切なデバイスである。可能なモーション装置の実施例には、ラックに沿って誘導される小歯車に対して作用するモータ、またはトラックに沿ってセンサ装置を動かすステップモータが含まれる。
【００２８】
本明細書で使用する、ある指定された要素Mを、別の指定された要素Nに対して動かすとは、要素Nを要素Mに対して動かすのと同一のことを意味する。例えば、要素Mが、フレームに固定されていることが可能であり、要素Mが、フレームに対して要素Nを動かすことにより、要素Nに対して動かされることが可能である。
【００２９】
図3に示された2つのコンポーネントの間の矢印は、対応する関係を表す。例えば、被写体位置34とセンサ装置26の間に直接に延びる矢印は、センサ装置が、被写体位置に対して動かないことを表すことを意図している。他方、被写体位置とモーション装置の間、およびモーション装置とセンサ装置の間に延びる矢印は、センサ装置が、被写体位置に対して動くことを示す。これは、例えば、フロア上で被写体位置を回転させ、フロアに対してセンサ装置を固定されたままに保つこと、フロアに対して被写体位置を固定されたままに保ち、フロアに沿ってセンサ装置を動かすこと、またはフロアに対して被写体位置とセンサ装置の両方を独立して動かすことによって達せられることが可能である。
【００３０】
多数の可能な構成が存在し、それらの構成の一部が、図に示されている。例えば、3つすべてのセンサ装置が、被写体位置に対して動くように適合される場合、このことは、1つ、2つ、または3つ(またはそれより多くの)モーション装置によってもたらされることが可能である。2つ、または3つのモーション装置が使用される場合、第2のモーション装置、およびそれ以降のモーション装置が、他の1つまたは複数のモーション装置と相対的に装着されて、それぞれの移動装置がどのように操作されるかに依存して、場合により、複数の方向で同時並行に動く能力をもたらすことが可能である。
【００３１】
図4は、監視システム20において使用されることが可能な被写体情報アセンブリ22のオプションの構成をブロック図の形態で示す。被写体情報アセンブリ22は、フロア、または他の作業表面であることが可能なベースフレーム92を含むことが可能であり、そのフレーム92と相対的に、第1のセンサ装置26が直接に装着される。第1のモータ、または他のモーション装置80が、ベースフレームと第2のセンサ装置26の間の相対的動きをもたらすために装着される。被写体位置34を規定する被写体プラットフォーム94が、次に、第2のモーション装置80と相対的に装着されることが可能であり、モーション装置80は、ベースフレーム92と相対的に装着される。
【００３２】
図4に示されるとおり構成された被写体情報アセンブリ22を有する監視システム20の実施例が、図5に示されている。図5のシステム20は、被写体位置34を規定する監視ステーションもしくは監視ポータル100において装着された被写体情報アセンブリ22を制御するように構成されたコントローラ21を含む。この実施例では、被写体情報アセンブリ22は、前述したとおり、100メガヘルツ(MHz)から2テラヘルツ(THz)までの周波数範囲内の電磁波を被写体32に照射して、反射された放射線を検出することにより、被写体32を検問するように構成された、能動型ミリ波撮像装置102の形態の第1のセンサ装置26を含む。
【００３３】
図5に示されるとおり、被写体32には、システム20による検問のために提示される人36が含まれる。人36は、武器の形態で示された物体38を隠す、衣類104を着用して示されている。被写体32は、システム30の検問ステーションもしくは検問ポータル100の中に位置付けられる。ポータル100は、人が身に付けた、武器または密輸品などの、物体を検出することが所望されるセキュリティチェックポイントに配置されるように構成されることが可能である。ポータル100は、モータ108の形態のモーション装置80に接続されたプラットフォーム106を含むことが可能である。プラットフォーム106は、被写体32を支持するように構成されることが可能である。モータ108は、被写体32が、モータ108の上に位置付けられている間、回転軸Rを中心に選択的に回転するように構成されることが可能である。図示された構成の場合、軸Rは、垂直であることが可能であり、被写体32は、軸Rおよびプラットフォーム106に対して概ね中心的な被写体位置34にあることが可能である。
【００３４】
撮像装置102は、一次複数要素感知アレイ112を含むアンテナ装置110を含むことが可能である。被写体情報アセンブリ22は、フレーム114を含むことが可能であり、フレーム114の上でアレイ112が支持される。アレイ112は、フレーム114の全高にわたることが可能である。モータ108は、プラットフォーム106および被写体32が、軸Rを中心に回転するようにさせる。その結果、アレイ112は、軸Rのまわりの全体的に円形の経路を描く。アンテナアレイは、軸Rから約0.5メートルないし約2メートルであることが可能である。
【００３５】
アンテナアレイ112は、いくつかの直線に配置された素子116を含むことが可能であり、それらの素子116のいくつかだけが、図示されている。各素子116は、放射線を送信すること、または受信することに専用であることが可能であり、それらの素子は、1つの列が、送信することに専用であり、他方の列が、受信することに専用である、2つの全体的に垂直な列で配置されることが可能である。それらの要素の数および間隔は、使用される波長、および所望される解像度に対応する。200素子から約600素子までの範囲が、約2メートル、または2.5メートルの垂直の長さにわたることが可能である。
【００３６】
被写体情報アセンブリ22は、第2のセンサ装置118を含む。オプションとして、第3のセンサ装置120のような、追加のセンサ装置が、第2のセンサ装置118に装着されてもよい。第2のセンサ装置は、フレーム114に沿って垂直に動くために、プライムムーバ122のような、移動機構によって装着されることが可能である。このため、プラットフォーム106が、軸Rを中心に回転するにつれ、センサ装置118は、センサの垂直位置、および被写体の回転位置と一致する、被写体のゾーンまたは場所を走査する。
【００３７】
ポータル100およびアンテナ装置110に関する他の様々な構成も使用されることが可能である。例えば、2次元の送信/受信アレイ、および固定の被写体プラットフォームのまわりを移動するアレイ、または垂直に動き、水平に広がったアレイが使用されてもよい。さらに、アンテナ装置の様々なバリエーションが、可能である。アンテナ装置は、1つまたは複数のアンテナユニットを含むことが可能であり、各アンテナユニットは、1つまたは複数の送信アンテナ、および1つまたは複数の受信アンテナを含むことが可能である。アンテナユニットは、単一のアンテナによる送信に応答して、放射線を受信することが可能な複数のアンテナを含むことが可能である。アンテナは、スロットライン、パッチ、エンドファイア、導波管、ダイポール、半導体、またはレーザなどの、電磁放射線を送信または受信するように構成された任意の適切なタイプであることが可能である。アンテナは、送信と受信をともに行うことができる。アンテナユニットは、アプリケーションに応じて、平面偏波、楕円偏波、または円偏波などの同偏波波形または異偏波波形を送信する、または受信する1つまたは複数の個別のアンテナを有することが可能であり、狭い、または広い角放射ビームパターンを有することが可能である。ビーム幅は、ホログラフィ技術を使用する撮像アプリケーションの場合、比較的広い、すなわち、30〜120度であることが可能であるのに対して、狭い視野要件を有するアプリケーションの場合、0度ないし30度の範囲にある狭いビーム幅が使用されることが可能である。
【００３８】
さらに、単一のアンテナが、1次元または2次元の経路で被写体のまわりを機械的に動くことによって被写体を走査してもよい。1次元または2次元のアンテナユニットアレイが、被写体を電気的、および機械的に走査することができる。撮像システムは、1つまたは複数のアンテナ装置を含むことが可能である。アンテナ装置は、アンテナ装置またはアンテナアレイに要求される機械的動きに依存して、装置の一部であること、または別個であることが可能な、適切なレードーム材料によって環境から保護されることが可能である。他のアレイ構成の例が、参照により本明細書に組み込まれている、「Millimeter-Wave Active Imaging System」という名称の2003年12月5日に出願した同時係属の米国特許出願第10/728,456号で説明されている。
【００３９】
アンテナ装置48は、インパルスデュレーションに依存して、約1ギガヘルツ(GHz)から約2THzまでの範囲から、または約100MHzから約15GHzまでの範囲から選択された電磁放射線を送信/受信するように構成されることが可能である。また、約1GHzから約300GHzまでの範囲が使用されることも可能であり、約5GHzから約110GHzまでの範囲が、撮像のために特に役立つ。24GHzから30GHzまでの範囲が、一部のアンテナ装置において使用される。アンテナ装置は、受信された放射線を表す画像信号68を生成する。
【００４０】
また、第2のセンサ装置および第3のセンサ装置の様々な構成も可能である。例えば、複数のセンサ装置118が、固定の位置にアンテナアレイ112に沿って装着されることが可能である。各センサ装置118または120は、被写体位置34の一方の側にセンサユニット121(受信機などの)を有し、反対の側に、または他の離隔された位置に、センサユニット123によって示される、相補的ユニット(送信機などの)を有することが可能である。
【００４１】
コントローラ21は、被写体情報アセンブリ22の動作を制御することができる。コントローラ21は、一度に1つだけの送信素子116で被写体32に照射を行い、1つまたは複数の素子116で同時に受信するように構成された、切り替えツリー126を含むトランシーバ124を含むことが可能である。トランシーバ124は、送信アンテナ素子と受信アンテナ素子の各組合せの逐次の活性化を導いて、プラットフォーム106および被写体が回転するにつれ、垂直方向に沿って被写体32の一部分の走査をもたらす論理を含むことが可能である。
【００４２】
アンテナ装置110から受け取られた画像信号125は、周波数が逓降されて、処理のための適切なフォーマットを有する画像信号127に変換されることが可能である。一形態では、トランシーバ124は、米国特許第5,859,609号で説明されるような、バイスタティックヘテロダインFM/CW (Frequency Modulated Continuous Wave)タイプであることが可能である。他の例は、米国特許第5,557,283号および米国特許第5,455,590号で説明されている。他の諸実施形態では、重なり合う、または重なり合わない周波数範囲を有する、様々なトランシーバ構成および感知素子構成の混合が、利用されることが可能であり、インパルスタイプ、単安定ホモダインタイプ、バイスタティックヘテロダインタイプ、および/または他の適切なタイプの1つまたは複数を含むことが可能である。
【００４３】
トランシーバ124は、画像信号127を1つまたは複数のプロセッサ40に供給することができる。プロセッサ40は、適宜、画像データを処理するための適切な構成要素を含むことができる。プロセッサ40は、適切なタイプ、および適切な数のメモリ42に結合される。前述したとおり、メモリ42は、取り外し可能なメモリデバイス129、および他のタイプのメモリデバイスを含むことが可能である。
【００４４】
コントローラ21は、プラットフォーム106の回転、またはセンサ装置26の動きを選択的に制御するのに使用される、モータ108、プライムムーバ122、または他の移動機構に結合されることが可能である。コントローラ21は、操作者入力デバイス130、および1つまたは複数のディスプレイもしくは他のタイプの出力デバイス132などの、1つまたは複数の入出力デバイス44も含む、モニタ/コントロールステーション128の中に収容されることが可能である。
【００４５】
図6は、前述した監視システム20において使用可能な被写体情報アセンブリ22の別の実施形態の簡略化された側面図を示す。この実施例では、被写体情報アセンブリ22は、左アップライト142と右アップライト144とを含むベースフレーム140を有する。第1の情報源24は、撮像装置28の形態の、特に、図5に関連して説明したアンテナ装置110の形態のセンサ装置26である。
【００４６】
アンテナ装置110は、図示されていない一次移動機構によって、垂直に動くためにフレーム140に装着されることが可能なアレイ素子116を含む。第2のセンサ装置26が、やはり図示されていない第2のモーション装置によって、中間フレーム146と相対的に装着されることが可能である。次に、中間フレーム146が、やはり図示されていない、さらなるモーションアセンブリによってベースフレーム140と相対的に装着されることが可能である。このため、図6に示された被写体情報アセンブリ22は、第1のセンサ装置26と第2のセンサ装置26の独立した動きを可能にすることができる。オプションとして、第2のセンサ装置26'が、第1のセンサ装置26とともに、アンテナ装置110と相対的に(沿って)動くために、中間フレーム146'上に装着されることも可能である。
【００４７】
ポータル100のための、監視システム20において使用可能な被写体情報アセンブリ22のさらなるバリエーションの簡略化された上面図が、図7に示されている。この実施例では、被写体情報源24は、第1のセンサ装置26と、第2のセンサ装置26とを含む。第1のセンサ装置26'は、水平アレイ112'として形成されたアンテナ装置110'を有する、前述した能動型ミリ波撮像装置28'を含む。アレイ112'は、様々な構成を有することが可能であり、被写体位置34における被写体32のまわりの好適なアーク150で広がっているアレイ素子116を有して示されている。
【００４８】
アレイ112'が、両端の遠位端部114aおよび114bを有するフレーム114上に装着されて示されている。第2のセンサ装置26''は、フレーム端部114aおよび114bの上にそれぞれ装着された、第1のセンサユニット152、および第2のセンサユニット154も含む。センサユニット152とセンサユニット254は、単一のセンサユニットで十分である場合、同一タイプのセンサであっても、異なるタイプのセンサであってもよい。センサ装置26''が、送信ユニットもしくは伝送ユニットと、離隔された相補的な受信ユニットとを要求するタイプである場合、2つのセンサユニットは、要求される、その2つのコンポーネントであることが可能である。そのようなセンサ装置の例には、金属検出器、一部の撮像システム、および微量ケミカル検出器が含まれる。微量ケミカル検出器では、1つのセンサユニットが、送風機などによって、被写体に向けて空気を向かわせることが可能であり、第2のセンサユニットが、その空気を吸い込み、その空気が、次に、関心対象の1つまたは複数の微量元素について調べられる。
【００４９】
撮像アレイ112とともに垂直に移動することにより、第2のセンサ装置26''は、撮像アレイの位置と一致するレベルにおいて被写体情報を感知する。その結果、補助的な被写体情報が対応して検出される画像の位置またはゾーンにおける画像の特性が、被写体情報と互いに関係付けられて、被写体の検出された画像に関係するさらなる情報がもたらされることが可能である。また、第2のセンサ装置に関する他の構成も実現されることが可能である。例えば、センサユニットは、フレーム114の固定部分の上の固定位置に装着されてもよい。また、複数のセンサユニットが、フレーム114の固定部分に沿って垂直に分散され、アレイ112'とは独立した固定位置に装着されて、ゾーン被写体情報をもたらすことも可能である。オプションとして、センサユニットは、撮像装置28'とは独立に装着されてもよく、図3に示された被写体情報アセンブリ22に関連して前述したとおり、動いても、動かなくてもよい。例えば、センサユニットは、監視される人によって扱われるカード、トークン、または他のアイテムを受けるためのデバイスであることが可能であり、そのアイテムが、次に、微量元素について試験される。微量元素を獲得するための別の技術は、撮像中に人が把持するハンドルの中にセンサユニットを装着することである。ハンドルの表面は、ふき取られ、または取り外されて、微量元素に関して試験されることが可能であり、あるいは空気が、試験のためにハンドルを通して、またはハンドルのまわりで吸引されることが可能である。
【００５０】
移動機構80が、第1のセンサ装置26、および第2のセンサ装置26を垂直に動かすように適合される。したがって、被写体32は、上から下に、または下から上に垂直にアレイを動かすことにより、一方の側で撮像されることが可能である。被写体の両方の側を撮像するため、被写体の反対側を走査することが必要である。これは、被写体に反対方向を向かせるなど、様々な形で達せられることが可能である。オプションとして、図示されるアレイと向かい合わせの、第2のアレイが提供されることも可能である。また、図示されるアレイが、被写体位置を中心に回転させられることも可能である。
【００５１】
以下は、監視される被写体のプライバシーを保護するために、被写体のぼかされた画像をもたらすため、および監視される人によって保持される物体を含むと疑われる画像の諸部分の自動識別を行うための方法を例示する説明である。以下の説明は、おおむね、表示画像、アルゴリズム、およびコンピュータメモリ内のデータビットの操作の記号表現に関して提示される。プログラムまたはアルゴリズムを、様々な互いに接続された別々のソフトウェアモジュールまたはソフトウェア機能として実施することが好ましい可能性がある。これは必須ではない。というのは、ソフトウェア、ファームウェア、およびハードウェアは、多くの異なる形で構成されることが可能であり、不明瞭な境界を有する単一のプロセッサおよびプログラムに集約されることが可能であるからである。
【００５２】
アルゴリズムは、一般に、所望される結果をもたらす自己矛盾のない一連のステップと考えられる。それらのステップは、物理量の操作を要求する。通常、必須ではないが、それらの量は、格納されること、転送されること、組み合わされること、比較されること、およびそれ以外の形で操作されることが可能な電気信号または磁気信号の形態をとる。格納されると、それらの量は、転送されること、組み合わせられること、比較されること、およびそれ以外の形で操作されることが可能である。格納される場合、それらの量は、任意のコンピュータ可読媒体の中に格納されることが可能である。慣習として、それらの信号は、データ、ビット、値、要素、記号、文字、画像、項、数などと呼ばれることが可能である。それらの用語、および類似の用語は、適切な物理量に関連付けられることが可能であり、それらの量に付けられる便利なラベルである。
【００５３】
また、本開示は、説明したような動作を実行するための装置にも関する。装置は、要求される諸目的のために特別に構築されることが可能であり、あるいはコンピュータもしくは他の装置の中に格納されたコンピュータプログラムによって選択的にアクティブにされる、または再構成される汎用コンピュータを含むことが可能である。特に、様々な汎用マシンが、本明細書の教示によるプログラム群とともに使用されることが可能であり、あるいは、より特化された装置を構築して、要求される方法ステップを実行することが、より好都合であると判明することが可能である。様々なそれらのマシンに関する要求される構造は、以下に与えられる説明から明らかとなる。開示される動作を実行するための有用なマシンには、説明したとおり、汎用のデジタルコンピュータ、マイクロプロセッサ、または他の類似のデバイスが含まれる。
【００５４】
説明されるプログラムは、単一のメモリ内に存在する必要はなく、単一のマシン内に存在することさえ必要ない。プログラムの様々な部分、モジュール、または機能は、別々のメモリの中に存在することが可能であり、別々のマシンの中に存在することさえ可能である。それらの別々のマシンは、直接に接続されても、ローカルアクセスネットワーク(LAN)、またはインターネットとして知られているような、グローバルエリアネットワークもしくはワイドエリアネットワークなどのネットワークを介して接続されてもよい。同様に、ユーザらは、互いに並んで配置される必要はなく、各ユーザが、プログラムの一部分を収容するマシンと一緒に配置されるだけでよい。
【００５５】
様々な技術が、撮像されている人に関連付けられることが可能な物体を識別するために使用されることが可能である。例えば、被写体の第1の画像が獲得されると、物体が、システムの操作者によって視覚的に、または自動的に検出される。手作業の検出が使用される場合、図8の画像のような、一次画像もしくは第1の画像160が、システムモニタ上に表示されることが可能である。次に、操作者が、物体であると疑われる、画像の複数の位置または区域を識別することが可能である。例えば、図9は、疑わしい区域のまわりの輪郭164によって画定された図8の画像の一部分の拡大された第2の画像162を示す。画像強化アルゴリズムを使用して、そのような区域は、画像強化アルゴリズムを使用して定義されることが可能であり、拡大画像生成が生成されることが可能である。また、そのようなプログラムは、選択された疑わしい区域内の領域のより明瞭な画像を生成するために、画像強化、およびより高い解像度を可能にすることも可能である。例えば、プログラムは、疑わしい区域を撮像するのに使用されるピクチャ要素、つまりピクセルの数を増加させることもできる。補間技術などの、画像強化ツールを使用して、画像がより鮮明にされることが可能である。
【００５６】
人以外の可能な物体を含む疑わしい区域が識別されると、アンテナ装置を使用して、疑わしい区域のより詳細な画像がもたらされることが可能である。例えば、図示されていない二次アンテナアレイを使用して、疑わしい区域が、最初に与えられたのよりも詳細に、再撮像されることが可能である。
【００５７】
オプションとして、撮像アレイを使用して、疑わしい区域が再撮像されてもよい。より高い解像度は、アンテナアレイに対する被写体の動きの速度を低減すること、またはアンテナアレイの走査速度を増加することなどにより、被写体の表面積当たりのファイヤリング回数を増加することによって可能である可能性がある。また、アレイ内のアンテナ素子の一部を使用して、第1の低解像度の画像を生成し、被写体の選択された領域に対応するアンテナ素子のすべてを使用して、第2の高解像度の画像を生成することも可能である。
【００５８】
したがって、画像信号は、第1の画像に対応する画像信号の部分の再加工であれ、選択された被写体区域の再走査に対応する画像信号の一部分であれ、一次画像より高い解像度を有する二次画像が、生成されることが可能である。次に、その画像が、操作者による観察のために表示されて、物体が存在するかどうかを判定し、存在する場合、その物体の性質を判定することが、よりよく行われることが可能である。
【００５９】
また、画像データの諸特性が、自動的に分析されて、物体を含む可能性がある画像の区域が存在する可能性があるかどうかが判定されることも可能である。既知の物体の画像の諸特性に対応する諸特性を有する被写体画像の領域が、識別されることが可能である。画像の疑わしい区域を自動的に識別することにより、システム操作者の注意が、そのような区域に向けられることが可能であり、その情報を使用して、アラームがアクティブにされることが可能であり、その情報を使用して、疑わしい区域の再走査が開始されること、または、別の形で、画像の解像度が高められることが可能である。
【００６０】
人によって保持される物体は、人が身に付けた、隠された物体の付近の「波打ったテクスチャ」の外観を有する可能性がある。図8は、マネキンの身体上に置かれた人工物体を有するマネキンの画像160の例を示す。この画像は、人の画像に似ている。この図では、ナイフの画像が、腹部上に現れ、銃の画像が背部上に現れる。図9に示される第2の画像162は、図8に示されるナイフの画像の拡大である。明るい領域と暗い領域として現れる、交互する高い輝度レベルと低い輝度レベルを有するピクチャ要素を有するものとして特徴付けられる画像が、物体であると疑われることが可能である。その変化する輝度レベルパターンもしくは波打ったテクスチャパターンは、物体上、および/または物体のまわりの画像において目に見える。
【００６１】
波打ちは、画像を波打ち検出カーネルで畳み込むことによって検出されることが可能である。例示的なカーネルは、以下の5×5行列値によって与えられる。すなわち、
【００６２】
【表３】
【００６３】
以上の数値セットの「波打った」性質は、図10にグラフで示され、図10は、ピクセル位置に対応する5行×5列グリッドの相対的大きさを示す。カーネルの行と列における値は、高い値と低い値の間で、あるいはこのケースでは、負の値と正の値の間で移動し、そのため、「波打った」という言い方がされる。
【００６４】
前述のカーネル数値は、対応する5×5のピクチャ要素正方形を覆う小さい画像ウインドウと考えることができ、このウインドウは、画像の上を(画像の対応する連続する部分に関連して)動かされる。カーネルの中の各値に、対応する画像輝度値(その位置のすぐ下の)が掛けられ、この操作の最終結果は、25回の乗算の結果の合計である。一般に、ウインドウが被せられたピクセルの輝度の相対値が、カーネルの中の相対値に近いほど、結果の合計の大きさ、つまり絶対値が高くなる。
【００６５】
この操作の例示が、図11Aおよび図11Bに示され、図11Aおよび図11Bは、カーネルウインドウの2つの連続する位置を示す。これらの図では、円170が、被写体画像172を構成するピクセルの輝度レベルを表す。正方形174は、カーネルの「ウインドウ」を表し、カーネル値は、三角形176によって表されている。正方形174の左側に破線で示される三角形176'は、単に、前の計算中にウインドウ174の中に含まれていたピクセルの行を表す。前述したとおり、各カーネル値には、ウインドウの所与の位置において、各カーネル値が関連付けられているピクセルの輝度レベルが掛けられる。結果の25の積が、合計される。合計の絶対値が、基準ピクセルRに割り当てられ、ピクセルRは、適切であると考えられる任意のピクセル位置であることが可能である。この例では、ウインドウの中央のピクセルが、基準ピクセルと考えられる。
【００６６】
この合計は、基準ピクセルに関連する25のピクセルの、カーネルによって表される相対バリエーション、つまりテクスチャに対する相関の示度をもたらす。合計の絶対値が大きいほど、相関は強い。
【００６７】
図11Bは、ウインドウが、右に1ピクセル行、移される次のステップ中のウインドウ174の位置を示す。このプロセスは、被写体画像172が、画像の各ピクセル、つまり選択されたピクセルに関する前述した操作の結果を含む値を使用して、新たな「画像」に畳み込まれるまで続けられる。固定のダイナミックレンジを占めるように平滑化され、引き伸ばされた後、新たな画像は、明るい方の区域が、波打ちテクスチャの局所的存在を示す、図12に示される「波打ち画像」180である。つまり、図12の画像は、選択された被写体画像特性が存在する度合いのマッピングである。この波打ち画像の中で、波打ちの最も大きく、最も明るい領域は、元の被写体画像の中でナイフおよび銃が存在する箇所に現れることが見られる。
【００６８】
波打ち画像が、元の被写体画像から生成されると、波打ち画像の最も明るい領域は、その画像に対して閾値分析を実行することによって識別されることが可能である。また、結果の画像をより均一にするために、小さいコントラストの領域または穴が、消去されることも可能である。この分析では、図13に示される新たな画像182が、白に対応する輝度レベルのような、はっきりした輝度レベルを、最大の80パーセントのような、少なくとも選択された輝度値または波打ち値を有する波打ち画像の領域に割り当てることにより、生成される。その他の領域には、0の輝度、つまり黒レベルの輝度のような、区別可能な値が割り当てられる。すると、その画像が、選択された画像特性に関して強い相関が存在する領域を示す。
【００６９】
目的は、疑わしい物体が存在する被写体画像の領域をグラフィックで明らかにすることである。次に、それらの領域が、システム操作者に表示される、またはそれ以外の形で明らかにされることが可能であり、したがって、操作者は、画像または被写体をさらに評価することができる。以上のプロセスは、人が身に付けた物体と一致する可能性が低い、小さい領域が識別されることをもたらす可能性がある。画像は、それに相応して、強調された箇所を拡張し、次に、有意であると見込まれない、より小さい領域を削除することにより、クリーンアップされることが可能である。拡張は、強調された領域を拡大するプロセスである。このプロセスを行う1つのやり方は、画像上を分析またはカーネルの別の「ウインドウ」が通るようにさせることによる。所与の基準ピクセルに関して、事前設定された閾値より多くの白のピクセルが存在する場合、ウインドウ全体の中のピクセルが、白にされる。例示的な結果が、図14の拡張された画像184として示されている。
【００７０】
疑わしい物体区域の撮像を簡略化するのに、強調された領域の境界を定める長方形が、識別されることが可能である。図15は、そのようなプロセスからもたらされる画像186を示す。それらの長方形領域は、それ以前に強調された領域より大きいサイズである。また、一部の領域は、複数の疑わしい区域を含むことも可能である。
【００７１】
その画像が、間隔の近い区域をさらに組み合わせるように再び拡張されることが可能である。1つのそのようなプロセスからもたらされる画像188が、図16に示されている。このケースでは、図16の画像が、図15の画像とほぼ同一であることが見られる。拡張のための異なる基準は、異なる結果をもたらすことが可能である。次に、その画像が、疑わしい区域の最終マスクを生成するのに使用されることが可能である。
【００７２】
被写体画像上の物体の識別を容易にするのに、図16の画像から導出された疑わしい区域の輪郭が、図17に示されるとおり、元の画像の表示に追加されることが可能である。図17に示される画像190は、画像188によって規定された疑わしい領域の輪郭を有する、図8に示された元の画像160の再現である。オプションとして、以下に図18および図19で示すとおり、疑わしい区域内の元の被写体画像の諸部分が、被写体の人のプライバシーを保護するように、図12の画像180のような、変更された被写体画像の上に重ね合わされることが可能である。
【００７３】
前述したとおり、監視システム20は、被写体の画像とともに、補助的な被写体情報をもたらすように構成されることが可能である。補助的な被写体情報の源は、金属検出器などの、センサの形態であることが可能である。図5〜図7に示された被写体情報アセンブリ22に関連して説明したとおり、金属が、被写体の複数の領域において検出されることが可能である。それらの領域は、図7に示されたセンサ装置26''によってもたらされることが可能な、複数の垂直に分布したゾーンであってもよい。
【００７４】
図18は、監視システム20の出力デバイス132の表示200を示す。表示200は、コントロールパネル202のコンピュータによって生成された表示、表示された被写体画像204、および補助的なセンサ出力表示206であることが可能である。コントロールパネル207は、コントロールキー210のような、様々な表示動作コントロールおよびシステム動作コントロール208を含むことが可能である。
【００７５】
1つまたは複数の被写体画像204の様々な構成がもたらされることが可能である。この実施例では、被写体周囲の45度の増分における被写体のビューに対応する8つの画像フレーム212が、示されている。各フレームは、この場合は、図8〜17に関連して説明されるプロセスによって提供されるような、被写体のプライバシー画像216である被写体画像214を含む。前述した、物体識別アルゴリズムによって識別される領域のような、詳細な被写体画像の疑わしい領域218が、プライバシー画像の上に重ね合わされる。8つのフレームの選択された1つが、拡大され、一次画像220として表示される。拡大されたフレームは、疑わしい領域の拡大を含み、それらの領域を操作者が見やすいようにしている。
【００７６】
補助的な表示206は、第2のセンサ装置26の動作の複数の結果を視覚的に関連付ける。この実施例では、第2のセンサ装置は、人の身体の様々な垂直ゾーンにおける金属の存在を判定する金属検出器であることが可能である。表示要素222が、画像220の検出されたゾーンのそれぞれと揃えられる。このケースにおける表示要素は、被写体の対応するゾーン内で金属が検出された場合、暗い表示、または特異な色によって表される陽の状態を有する。特定のゾーンに関して金属が全く検出されなかった場合、表示要素は、明るい表示、または特異な色によって表される陰の状態を有する。他の記号、表示、または表現が、被写体画像に関する第2のセンサ装置の結果を示すのに使用されることも可能である。
【００７７】
図18に示される選択された一次画像220の場合、疑わしい領域218は、骨盤領域、胴の下部領域、および頭部領域に存在する。最上の金属表示要素222、および上から3番目の金属表示要素222が、陽の状態であることが示され、その他は、陰の状態であり、それら2つのゾーンのそれぞれにおいて識別された物体の1つまたは複数が、金属でできていることを示している。その結果に基づき、監視される人は、関連する施設に入るのを防止するように、または状況において適切であると考えられる他の任意の措置をとるように、見張られる、または逮捕されることが可能である。
【００７８】
被写体の特定の場所、または特定の複数の場所における検出された情報の一致、または相関が存在する場合、1つまたは複数の画像が、さらに拡大され、またはトリミングされて、疑わしい領域、または金属が検出されたゾーンのさらなる詳細に注意が集中され、そのような詳細がもたらされることが可能である。提供されることが可能な、さらなる表示230が、図19に示されている。この表示は、おおむね、表示200と同一の諸特徴を有し、対応する諸特徴にプライム符号が付いて示されている。画像フレーム212'および一次画像220'は、疑わしい領域218を示し、疑わしい領域、または陽の金属検出の指示を有さない連続するゾーンを消去するように並べ変えられ、拡大され、および/またはトリミングされている。拡大された一次画像232のような、拡大された画像が、さらなる変更なしに提供されることが可能であり、より高い解像度をもたらすことが可能である。画像解像度は、画像強化ソフトウェアまたは画像編集ソフトウェアによっても、同一のアレイで、またはより細かい解像度のアレイで高解像度モードで被写体を再走査することによっても、高められることが可能である。
【００７９】
図には示されていないが、監視システムは、疑わしい領域は全く識別されないが、補助的なセンサが、物質、または他の特性を検出した、被写体の諸領域の画像をもたらすように適合されることも可能である。疑わしい領域が全く識別されないゾーンにおいて金属が検出されたケースでは、当該のゾーンの画像の拡大が、向上した解像度または詳細をもたらして、そのゾーンに外部物体が存在するかどうかを示す。
【００８０】
添付の特許請求の範囲で定義される本発明を、以上の諸実施形態に関連して特に図示し、説明してきたが、本発明の趣旨および範囲を逸脱することなく、それらの実施形態の多くの変形形態が実施されることが可能であることが、当業者には理解されよう。諸特徴、諸機能、諸要素、および/または諸特性の他の組合せ、および部分的組合せが、本出願または関連出願における、本クレームの補正、あるいは新たなクレームの提示を介して主張される可能性がある。そのような補正されたクレーム、または新たなクレームも、異なる組合せに向けられているか、同一の組合せに向けられているかにかかわらず、また、元のクレームと比べて、範囲が異なるか、より広いか、より狭いか、または等しいかにかかわらず、本開示の対象の範囲内に含まれるものと見なされる。
【００８１】
以上の諸実施形態は、例示的であり、いずれの単一の特徴または要素も、本出願、または後の出願において主張される可能性があるすべての可能な組合せに不可欠ではない。クレームが、「1つの」要素、もしくは「第1の」要素、またはそれらと均等の記述をしている場合、そのようなクレームは、2つ以上のそのような要素を要求することも、除外することもなく、1つまたは複数のそのような要素を含むものと理解されなければならない。第1の、第2の、または第3のといった基数詞は、要素を区別するのに使用されており、特に明記しない限り、そのような要素の要求される数、または限定された数を示すものではなく、そのような要素の特定の位置、または特定の順序を示すものでもない。
【産業上の利用可能性】
【００８２】
本開示で説明される方法および装置は、監視システムおよび撮像システムが利用される、セキュリティ業界、監視業界、およびその他の業界に応用可能である。
【図面の簡単な説明】
【００８３】
【図１】撮像源と、補助的な被写体情報源とを有する一般的な監視システムを示すブロック図である。
【図２】図1の監視システムの動作の方法の実施例を示す流れ図である。
【図３】図1の監視システムにおいて使用可能であり、被写体に対して動く3つまでのセンサを有する被写体情報アセンブリに関する様々な可能な構成を示す例示的な図である。
【図４】2つのセンサ装置を有する図3の被写体情報アセンブリの実施例を示すブロック図である。
【図５】図1による、図4の被写体情報アセンブリを含む監視の実施例を示す全体図である。
【図６】図3の被写体情報アセンブリの別の実施例を示す側面図である。
【図７】図3の被写体情報アセンブリのさらに別の実施例を示す上面図である。
【図８】マネキン上の衣服によって隠された物体を有するマネキンのミリ波撮像システムによって生成された画像である。
【図９】物体を示す図8の画像の一部分の拡大図である。
【図１０】物体検出のために使用されるカーネルの値を示すグラフである。
【図１１Ａ】画像に対するカーネルの適用を説明する一連のステップを示す図である。
【図１１Ｂ】画像に対するカーネルの適用を説明する一連のステップを示す図である。
【図１２】図8の画像に図10のカーネルを適用して、画像の疑わしい区域を識別することからもたらされる画像である。
【図１３】図12の画像に閾値を適用することからもたらされる画像である。
【図１４】図13の画像の強調された区域を拡張し、小さい領域を除去することからもたらされる画像である。
【図１５】図16の画像の強調された区域に境界を定める長方形を適用することからもたらされる画像である。
【図１６】図17の画像の強調された区域を拡張することからもたらされる画像である。
【図１７】元の画像内の疑わしい領域と一致する図16の強調された区域の輪郭が重ね合わされた図8の元の画像のコピーである。
【図１８】撮像装置とゾーン金属検出器とを有し、被写体の様々な疑わしい領域、および金属が検出された被写体のゾーンを識別する監視システムの例示的な表示である。
【図１９】検出された金属を有する被写体画像の諸部分を示すように、被写体画像がトリミングされ、一次画像が拡大された図18と同様の表示である。
【符号の説明】
【００８４】
20 監視システム
21 コントローラ
26 センサ装置
32 被写体
34 被写体位置
36 人
38 物体
80 移動機構
127 画像信号
160 画像
【技術分野】
【０００１】
本発明は、監視被写体撮像装置に関する。
【背景技術】
【０００２】
ミリ波信号は、レーダおよび遠隔通信のために使用される。また、ミリ波信号は、物体にミリ波信号を向け、反射された信号を検出することにより、被写体の画像を生成するのに使用されることも可能である。そのような撮像システムの例が、米国特許第5,455,590号、米国特許第5,557,283号、米国特許第5,859,609号、米国特許第6,507,309号、および米国特許第6,703,964号、2003年6月26日に出願した米国特許出願第2004/0263379号、2003年10月30日に出願した米国特許出願第2004/0090359号、および2003年10月30日に出願した米国特許出願第2004/0140924号で説明されており、以上の特許参考文献は、参照により本明細書に組み込まれている。
【０００３】
前述した撮像システムは、人の身体、および、隠されているか否かにかかわらず、その人によって保持される何らかの物体を含む被写体の比較的詳細な画像をもたらす。操作者は、被写体の画像を見て、その人と一緒に含まれる物体を視覚的に識別することができる。また、他の検出デバイスも、被写体についての他の情報を獲得するのに使用されることが可能である。例えば、被写体が、金属検出器を通過して、被写体が検出可能な金属物体を有するかどうかが検出されることが可能である。監視システムが、公共交通機関に乗るプロセス、または公共施設もしくは保護された施設に入るプロセスの一環である場合、相当な遅延が実現される可能性がある。さらに、監視の有効性は、操作者または操作者らの正確さ、および注意深さに依存する。
【特許文献１】米国特許第5,455,590号
【特許文献２】米国特許第5,557,283号
【特許文献３】米国特許第5,859,609号
【特許文献４】米国特許第6,507,309号
【特許文献５】米国特許第6,703,964号
【特許文献６】米国特許出願第2004/0263379号
【特許文献７】米国特許出願第2004/0090359号
【特許文献８】米国特許出願第2004/0140924号
【特許文献９】米国特許出願第10/728,456号
【発明の開示】
【課題を解決するための手段】
【０００４】
監視システムが、被写体位置における被写体に向けて、ミリ波電磁放射線を送信し、その被写体からミリ波電磁放射線を受信するように構成された第1のセンサ装置を含むことが可能である。被写体には、人、およびその人によって保持される何らかの1つまたは複数の物体が含まれることが可能である。また、そのようなシステムは、センサ装置を操作し、受信された放射線から、被写体の画像を表す画像データを生成するように構成されたコントローラも含むことが可能である。また、一部の監視システムは、人によって保持されることが可能な物体に関係付けられることが可能な被写体についての被写体情報の源も含む。その場合、コントローラは、生成された画像信号と被写体情報を関係付ける関係情報を生成するように適合される。
【０００５】
一部の監視システムでは、被写体情報の源は、被写体位置における人によって保持される可能性がある物体の所与の特性を検出するように適合された第2のセンサ装置である。そのようなシステムにおけるコントローラは、人が、それに相応して、人が、その所与の特性を有する物体を保持しているかどうかについての関係情報を生成するように適合される。第2のセンサ装置は、様々な被写体情報の1つまたは複数を検出するように適合されることが可能である。
【発明を実施するための最良の形態】
【０００６】
図1は、コントローラ21と、複数の被写体関係情報源24を含む被写体情報アセンブリ22とを含む一般的な監視システムを示す。被写体情報源には、撮像装置28のような、1つまたは複数のセンサ装置26、および構成に依存して、1つまたは複数の補助的な被写体情報源30が含まれることが可能である。被写体情報源は、被写体位置34における被写体32に関係する情報をもたらす。
【０００７】
被写体32には、人間であるか、動物であるか、または無生物の物体であるかにかかわらず、撮像のために撮像システムの検問ステーションの中に提示されるすべてが含まれる。例えば、人36が、撮像のために検問ステーションの中に入っている場合、被写体32には、その人とならんで、腕時計、鍵、宝飾品、ポケットナイフ、もしくは他のナイフ、硬貨、装身具、銃、または撮像されることが可能な他の何らかの物体などの、人によって支持される、何らかの物体38が含まれる。
【０００８】
撮像装置28の実施例は、被写体位置における被写体に向けてミリ波電磁放射線を送信し、その被写体からミリ波電磁放射線を受信するように適合された能動型撮像装置である。一部の実施例では、ミリ波放射線は、100メガヘルツ(MHz)から2テラヘルツ(THz)までの範囲の周波数範囲内にあることが可能である。一般に、対応する波長は、数センチメートルから数マイクロメートルまでの範囲にある。そのような放射線は、いくつかの変調タイプ、例えば、チャープタイプ、擬似ランダム周波数ホップタイプ、パルスタイプ、FMCW (Frequency Modulated Continuous Wave)タイプ、またはCW(持続波)タイプを使用して、ある周波数範囲、もしくはある周波数セットにわたることが可能である。
【０００９】
撮像装置の一部の実施形態は、24GHzないし30GHzの範囲内の周波数、FMCW変調を組み込み、FCCの無認可のオペレーション要件を満たす信号内容を有し、規制された米国政府周波数帯域の範囲外にある送信信号を使用することができる。パルス幅は、2〜10マイクロ秒の範囲にあることが可能である。アンテナビーム幅は、画像形成信号プロセッサの要件に応じて、ブロードビームインプリメンテーションの場合、20〜120度の範囲にあり、ナロービーム幅アプリケーションの場合、30度未満の範囲にあることが可能である。様々なシステム偏波が、使用されることが可能である。例には、同一偏波、交差偏波、楕円偏波、右旋円偏波、および/または左旋円偏波が含まれる。
【００１０】
一部の天然繊維および合成繊維は、そのような周波数、およびそのような波長の放射線に対して透過性、または半透過性であり、そのような材料の下に位置する表面の検出および/または撮像を許す可能性がある。検問の被写体が、衣服を着た個人である場合、衣類によって覆われた人の身体の諸部分についての画像情報が、衣類によって覆われていない諸部分についての画像情報とともに、システム20を使用して獲得されることが可能である。さらに、衣類の下で人によって保持され物体に関する画像情報が、それらの物体がどのように人に支持されているかに関わらず、武器および密輸品に関して使用されるような、金属および非金属の物体の組成に関して、システム20を使用してもたらされることが可能である。
【００１１】
コントローラ21は、センサ装置26を操作するように適合されることが可能である。センサ装置が撮像装置28である、図示される実施例では、コントローラは、受信された放射線から、被写体の画像を表す画像データを生成するように適合される。補助的な被写体情報源30は、人36によって保持される可能性がある物体38に関係付けられることが可能な、被写体32についての情報をもたらす。この源は、撮像装置28とは異なるタイプのものであってもよい。その場合、コントローラは、生成された画像信号、および被写体情報に関係する関係情報を生成するように適合される。
【００１２】
一部の監視システム20では、被写体情報の補助的な源30は、被写体位置における人によって保持される可能性がある物体の所与の特性を検出するように適合された第2のセンサ装置26である。そのようなシステム20におけるコントローラ21は、それに相応して、人が、その所与の特性を有する物体を保持しているかどうかについての関係情報を生成するように適合される。第2のセンサ装置は、様々な被写体情報の1つまたは複数を検出するように適合されることが可能である。センサ装置は、順次に機能しても、他のセンサ装置と同時並行に機能してもよい。例えば、第2のセンサ装置は、金属、爆発物、または他の化学物質などの物質、網膜画像、顔の画像、指紋、身体のすべて、または一部の容量的または局所解剖学的な表示などの、人36を識別する特徴、他のバイオメトリック特徴、人が、治安部隊または警察部隊などの、あるグループに属することを表す記章などの、身元証明バッジもしくは分類バッジもしくは記章、またはRFIDデバイスの、1つまたは複数を検出することが可能である。トレース要素検出は、イオン質量分析、四重極共鳴、フーリエ変換赤外分光、蒸気検出、化学生物学的感知、レーザ測定、蛍光、DNA分析、およびMEMSに基づくことが可能である。オプションとして、補助的な源30には、メモリの中に格納されたコンテキストデータが含まれることが可能である。コンテキストデータは、特定の人について以前に検出された、または入力された情報に関係する履歴データ、銃、または他の治安デバイスまたは警察デバイスなどの、特定のタイプの物体を保持するのに人が有する可能性がある許可、または監視される人によって保持される物体の有意性を検出し、評価する際に、監視システム20の操作者に役立つと考えられる他のデータのように、人、またはその人によって保持される可能性のある物体に関係する。
【００１３】
コントローラ21は、デジタル回路、アナログ回路、またはその両方などの、画像データを処理するための任意の適切なコンポーネントの形態であるプロセッサ40を含むことが可能である。プロセッサ40は、コンピュータまたはマイクロプロセッサのように、プログラマブルであること、専用のハードワイヤードの状態マシンであること、論理ユニットであること、または以上の組合せであることが可能である。複数プロセッサ形態の場合、分散処理、パイプライン処理、および/または並行処理が、適宜、利用されることが可能である。
【００１４】
プロセッサ40は、メモリ42を含むことが可能である。メモリ42は、ソリッドステート、電磁、光学、または以上の組合せであることが可能であり、揮発性および/または不揮発性であることが可能である。さらに、メモリ42は、常駐のハードドライブ、またはランダムアクセスメモリ(RAM)のように専用であっても、取り外し可能メモリデバイス(R.M.D.)のように、取り外し可能であってもよい。現在、通常の取り外し可能なメモリデバイスには、フレキシブル磁気ディスク、テープカートリッジ、光ディスク(CD-ROMまたはDVD)、またはその他の適切なタイプが含まれる。また、メモリ42は、別のプロセッサおよび/またはネットワークを介して有線または無線の通信リンクによってプロセッサに結合されたリモートメモリであってもよい。
【００１５】
コントローラ21は、別のシステム、または他のリモート出力デバイスに対する通信リンクなどの、データを受信し、出力データを送信するように適合された適切な入力デバイスおよび/または出力デバイス44に結合されることが可能である。例示的な入力デバイスには、キーボード、マウスもしくは他のカーソル制御デバイス、音声認識入力システム、または他の適切なデバイスもしくはシステムが含まれることが可能である。出力デバイスには、ビジュアルアラームもしくはオーディオアラーム、プリンタ、通信リンク、あるいは陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマ、有機発光ダイオード(OLED)、または他の適切なディスプレイタイプなどの、ディスプレイが含まれることが可能である。適切な通信リンクには、プライベートであるか、公共であるかにかかわらず、ローカルエリアネットワーク(LAN)、ミューニシパルエリアネットワーク(MAN)、またはワイドエリアネットワーク(WAN)が含まれることが可能である。
【００１６】
監視システム20の例示的な動作を説明する全体的な流れ図50が、図2に示されている。2つのデータ獲得段階が、示されている。被写体情報源24の1つまたは複数が、撮像装置28である場合、各撮像装置が、画像情報を検出し、検出された信号を生成する。撮像装置には、音波、光放射線、赤外放射線、ミリ波放射線、もしくは他の無線周波数放射線、テラヘルツ放射線、およびX線放射線などの、適切な形態の受信された放射線を使用するなど、実現されることが可能なように、被写体表面または被写体特性などの、被写体の複数のゾーンまたは位置に関係付けられることが可能な情報を検出する装置が含まれることが可能である。画像信号は、52において各撮像装置に関して獲得される。獲得された画像信号は、次に、54において処理されて、画像データが構築される。次に、56において、画像特徴が識別される。以下にさらに説明するとおり、画像データから導出される画像特徴は、人36に関係する1つまたは複数の物体38の形状、構成、配置、または位置であることが可能である。
【００１７】
1つまたは複数の被写体情報源24が、非撮像源58である場合、その非撮像源からのデータが、60において獲得される。非撮像源は、物質、人36を識別する特徴などのアイテムの一般的検出などの、被写体の一般的な特徴を検出するセンサであっても、被写体に関係する、メモリの中に格納されたコンテキストデータであってもよい。画像特徴が、次に、56において識別される。物質、または人の身元証明、あるいは人の特性、クラス、または分類、およびその他の適切な指示もしくは情報の存在の検出が、被写体の諸特徴と見なされる。
【００１８】
様々な被写体情報源24からの画像特徴が、次に、62において互いに関係付けられる。例えば、撮像装置からの、人の側部上の物体の識別が、その人の中位ゾーンにおける金属の検出と互いに関係付けられ、その人を識別するバッジ、およびメモリの中に前もって格納されているコンテキストデータが、その人が警備員であり、高いセキュリティ許可を有することを示していることが可能である。
【００１９】
それらの互いに関係付けられた特徴は、次に、64において、特徴の組合せに基づいて分類されることが可能である。特徴の分類は、検出された特徴が、疑わしい物体である、またはフォールスアラームである尤度を判定するための論理プロセスである。例えば、同一のゾーンにおける金属の、物体としての検出は、その物体が金属である高い尤度があることを示す。さらに、人が警備員として識別されたことから、その物体は銃である可能性が高い。また、その人は、その人の任務の一環として、その位置に銃を保持することを許可されている可能性がある。このため、その物体には、疑わしい物体であるという高い重みが与えられるが、警備員としてのその人のステータスのため、セキュリティリスクとして低い重みが与えられる。
【００２０】
プロセッサは、リレーショナルデータベースを使用して、監視される被写体に関係する様々な可能な特徴を関係付けることができる。一般的な例として、以下の真理値表が、特徴A、B、およびCとして識別された2つ、または3つの特徴が、どのように関係付けられることが可能であるかを示す。判定された関係に基づき、属性、重み、または値、vxが、各組合せに割り当てられることが可能である。この例では、ある値が参照され、その項は、属性、重み、または他の相対的指標を含むことが意図されている。それらの値は、アプリケーションに応じて、異なる関係に関して異なることも、同一であることも可能である。
【００２１】
【表１】
【００２２】
任意の対応する特徴セットが、重み、値、または属性などの、対応する相対的指標に割り当てられることが可能である。例えば、目に見える画像とミリ波ベースの画像の両方の中で識別された物体が、その物体が目に見えるので、低い値を有することが可能である。他方、目に見えない、ミリ波ベースの画像上で識別された物体には、高い値が割り当てられることが可能である。また、赤外線センサが、隠された物体の存在を確認するのに使用されることも可能であり、ミリ波ベースの撮像を使用して被写体上で検出されない、隠された物体を識別することができる。このため、被写体のある区域に、画像物体が全く検出されていなくても、高い値が割り当てられることが可能である。例えば、人の身体にテープで留められた1枚のプラスチック爆弾が、その人の身体の残りの部分よりも「冷たく」見える可能性がある。また、爆発物検出器と金属検出器の組合せを使用して、撮像された物体が、金属部品を有するプラスチック爆弾である可能性が高いと識別されることも可能である。そのような物体には、その場合、非常に高い値が与えられることが可能である。
【００２３】
このため、物体(または被写体の区域)の値は、金属、プラスチック、誘電体、セラミック、組織、布地、紙、石、植物などの、物体(または被写体)が含む物質に基づくことが可能である。また、大きさ、形状、およびエッジ特性などの、物体の構造も、値を割り当てる基準であることが可能である。また、PTEN、TNT、プラスチック、C-4、およびデータシートなどの、薬物および爆発物を含む物体の化学的構成も、値を割り当てるための基準であることが可能である。
【００２４】
画像特徴が分類されると、画像特徴の組合せについての結論が、66において生成される。
【００２５】
【表２】
【００２６】
次に、様々な結論が、表示、レポート、またはアラーム条件などを介して、適宜、68において出力されることが可能である。
【００２７】
被写体情報アセンブリが、構成されることが可能な様々な形が存在する。センサ装置が、被写体位置に関係し、異なるセンサ装置と相対的に装着される監視システムは、様々な移動構成または非移動構成を可能にすることができる。例えば、所与のセンサ装置が、被写体位置に対して動くが、他の1つまたは複数のセンサ装置に対しては動かないように適合されることが可能である。図3は、被写体位置34における被写体32と相対的に装着された3つのセンサ装置26を含む被写体情報アセンブリ22に関する様々な可能な構成を示す。オプションとして、センサ装置は、移動機構とも呼ばれるモーション装置80によって、被写体位置に対して動き、また互いに対しても動くように装着されることが可能である。モーション装置は、被写体位置に対する、あるいは別のセンサ装置、または別のモーション装置に対するセンサ装置の機械的動きをもたらす任意の適切なデバイスである。可能なモーション装置の実施例には、ラックに沿って誘導される小歯車に対して作用するモータ、またはトラックに沿ってセンサ装置を動かすステップモータが含まれる。
【００２８】
本明細書で使用する、ある指定された要素Mを、別の指定された要素Nに対して動かすとは、要素Nを要素Mに対して動かすのと同一のことを意味する。例えば、要素Mが、フレームに固定されていることが可能であり、要素Mが、フレームに対して要素Nを動かすことにより、要素Nに対して動かされることが可能である。
【００２９】
図3に示された2つのコンポーネントの間の矢印は、対応する関係を表す。例えば、被写体位置34とセンサ装置26の間に直接に延びる矢印は、センサ装置が、被写体位置に対して動かないことを表すことを意図している。他方、被写体位置とモーション装置の間、およびモーション装置とセンサ装置の間に延びる矢印は、センサ装置が、被写体位置に対して動くことを示す。これは、例えば、フロア上で被写体位置を回転させ、フロアに対してセンサ装置を固定されたままに保つこと、フロアに対して被写体位置を固定されたままに保ち、フロアに沿ってセンサ装置を動かすこと、またはフロアに対して被写体位置とセンサ装置の両方を独立して動かすことによって達せられることが可能である。
【００３０】
多数の可能な構成が存在し、それらの構成の一部が、図に示されている。例えば、3つすべてのセンサ装置が、被写体位置に対して動くように適合される場合、このことは、1つ、2つ、または3つ(またはそれより多くの)モーション装置によってもたらされることが可能である。2つ、または3つのモーション装置が使用される場合、第2のモーション装置、およびそれ以降のモーション装置が、他の1つまたは複数のモーション装置と相対的に装着されて、それぞれの移動装置がどのように操作されるかに依存して、場合により、複数の方向で同時並行に動く能力をもたらすことが可能である。
【００３１】
図4は、監視システム20において使用されることが可能な被写体情報アセンブリ22のオプションの構成をブロック図の形態で示す。被写体情報アセンブリ22は、フロア、または他の作業表面であることが可能なベースフレーム92を含むことが可能であり、そのフレーム92と相対的に、第1のセンサ装置26が直接に装着される。第1のモータ、または他のモーション装置80が、ベースフレームと第2のセンサ装置26の間の相対的動きをもたらすために装着される。被写体位置34を規定する被写体プラットフォーム94が、次に、第2のモーション装置80と相対的に装着されることが可能であり、モーション装置80は、ベースフレーム92と相対的に装着される。
【００３２】
図4に示されるとおり構成された被写体情報アセンブリ22を有する監視システム20の実施例が、図5に示されている。図5のシステム20は、被写体位置34を規定する監視ステーションもしくは監視ポータル100において装着された被写体情報アセンブリ22を制御するように構成されたコントローラ21を含む。この実施例では、被写体情報アセンブリ22は、前述したとおり、100メガヘルツ(MHz)から2テラヘルツ(THz)までの周波数範囲内の電磁波を被写体32に照射して、反射された放射線を検出することにより、被写体32を検問するように構成された、能動型ミリ波撮像装置102の形態の第1のセンサ装置26を含む。
【００３３】
図5に示されるとおり、被写体32には、システム20による検問のために提示される人36が含まれる。人36は、武器の形態で示された物体38を隠す、衣類104を着用して示されている。被写体32は、システム30の検問ステーションもしくは検問ポータル100の中に位置付けられる。ポータル100は、人が身に付けた、武器または密輸品などの、物体を検出することが所望されるセキュリティチェックポイントに配置されるように構成されることが可能である。ポータル100は、モータ108の形態のモーション装置80に接続されたプラットフォーム106を含むことが可能である。プラットフォーム106は、被写体32を支持するように構成されることが可能である。モータ108は、被写体32が、モータ108の上に位置付けられている間、回転軸Rを中心に選択的に回転するように構成されることが可能である。図示された構成の場合、軸Rは、垂直であることが可能であり、被写体32は、軸Rおよびプラットフォーム106に対して概ね中心的な被写体位置34にあることが可能である。
【００３４】
撮像装置102は、一次複数要素感知アレイ112を含むアンテナ装置110を含むことが可能である。被写体情報アセンブリ22は、フレーム114を含むことが可能であり、フレーム114の上でアレイ112が支持される。アレイ112は、フレーム114の全高にわたることが可能である。モータ108は、プラットフォーム106および被写体32が、軸Rを中心に回転するようにさせる。その結果、アレイ112は、軸Rのまわりの全体的に円形の経路を描く。アンテナアレイは、軸Rから約0.5メートルないし約2メートルであることが可能である。
【００３５】
アンテナアレイ112は、いくつかの直線に配置された素子116を含むことが可能であり、それらの素子116のいくつかだけが、図示されている。各素子116は、放射線を送信すること、または受信することに専用であることが可能であり、それらの素子は、1つの列が、送信することに専用であり、他方の列が、受信することに専用である、2つの全体的に垂直な列で配置されることが可能である。それらの要素の数および間隔は、使用される波長、および所望される解像度に対応する。200素子から約600素子までの範囲が、約2メートル、または2.5メートルの垂直の長さにわたることが可能である。
【００３６】
被写体情報アセンブリ22は、第2のセンサ装置118を含む。オプションとして、第3のセンサ装置120のような、追加のセンサ装置が、第2のセンサ装置118に装着されてもよい。第2のセンサ装置は、フレーム114に沿って垂直に動くために、プライムムーバ122のような、移動機構によって装着されることが可能である。このため、プラットフォーム106が、軸Rを中心に回転するにつれ、センサ装置118は、センサの垂直位置、および被写体の回転位置と一致する、被写体のゾーンまたは場所を走査する。
【００３７】
ポータル100およびアンテナ装置110に関する他の様々な構成も使用されることが可能である。例えば、2次元の送信/受信アレイ、および固定の被写体プラットフォームのまわりを移動するアレイ、または垂直に動き、水平に広がったアレイが使用されてもよい。さらに、アンテナ装置の様々なバリエーションが、可能である。アンテナ装置は、1つまたは複数のアンテナユニットを含むことが可能であり、各アンテナユニットは、1つまたは複数の送信アンテナ、および1つまたは複数の受信アンテナを含むことが可能である。アンテナユニットは、単一のアンテナによる送信に応答して、放射線を受信することが可能な複数のアンテナを含むことが可能である。アンテナは、スロットライン、パッチ、エンドファイア、導波管、ダイポール、半導体、またはレーザなどの、電磁放射線を送信または受信するように構成された任意の適切なタイプであることが可能である。アンテナは、送信と受信をともに行うことができる。アンテナユニットは、アプリケーションに応じて、平面偏波、楕円偏波、または円偏波などの同偏波波形または異偏波波形を送信する、または受信する1つまたは複数の個別のアンテナを有することが可能であり、狭い、または広い角放射ビームパターンを有することが可能である。ビーム幅は、ホログラフィ技術を使用する撮像アプリケーションの場合、比較的広い、すなわち、30〜120度であることが可能であるのに対して、狭い視野要件を有するアプリケーションの場合、0度ないし30度の範囲にある狭いビーム幅が使用されることが可能である。
【００３８】
さらに、単一のアンテナが、1次元または2次元の経路で被写体のまわりを機械的に動くことによって被写体を走査してもよい。1次元または2次元のアンテナユニットアレイが、被写体を電気的、および機械的に走査することができる。撮像システムは、1つまたは複数のアンテナ装置を含むことが可能である。アンテナ装置は、アンテナ装置またはアンテナアレイに要求される機械的動きに依存して、装置の一部であること、または別個であることが可能な、適切なレードーム材料によって環境から保護されることが可能である。他のアレイ構成の例が、参照により本明細書に組み込まれている、「Millimeter-Wave Active Imaging System」という名称の2003年12月5日に出願した同時係属の米国特許出願第10/728,456号で説明されている。
【００３９】
アンテナ装置48は、インパルスデュレーションに依存して、約1ギガヘルツ(GHz)から約2THzまでの範囲から、または約100MHzから約15GHzまでの範囲から選択された電磁放射線を送信/受信するように構成されることが可能である。また、約1GHzから約300GHzまでの範囲が使用されることも可能であり、約5GHzから約110GHzまでの範囲が、撮像のために特に役立つ。24GHzから30GHzまでの範囲が、一部のアンテナ装置において使用される。アンテナ装置は、受信された放射線を表す画像信号68を生成する。
【００４０】
また、第2のセンサ装置および第3のセンサ装置の様々な構成も可能である。例えば、複数のセンサ装置118が、固定の位置にアンテナアレイ112に沿って装着されることが可能である。各センサ装置118または120は、被写体位置34の一方の側にセンサユニット121(受信機などの)を有し、反対の側に、または他の離隔された位置に、センサユニット123によって示される、相補的ユニット(送信機などの)を有することが可能である。
【００４１】
コントローラ21は、被写体情報アセンブリ22の動作を制御することができる。コントローラ21は、一度に1つだけの送信素子116で被写体32に照射を行い、1つまたは複数の素子116で同時に受信するように構成された、切り替えツリー126を含むトランシーバ124を含むことが可能である。トランシーバ124は、送信アンテナ素子と受信アンテナ素子の各組合せの逐次の活性化を導いて、プラットフォーム106および被写体が回転するにつれ、垂直方向に沿って被写体32の一部分の走査をもたらす論理を含むことが可能である。
【００４２】
アンテナ装置110から受け取られた画像信号125は、周波数が逓降されて、処理のための適切なフォーマットを有する画像信号127に変換されることが可能である。一形態では、トランシーバ124は、米国特許第5,859,609号で説明されるような、バイスタティックヘテロダインFM/CW (Frequency Modulated Continuous Wave)タイプであることが可能である。他の例は、米国特許第5,557,283号および米国特許第5,455,590号で説明されている。他の諸実施形態では、重なり合う、または重なり合わない周波数範囲を有する、様々なトランシーバ構成および感知素子構成の混合が、利用されることが可能であり、インパルスタイプ、単安定ホモダインタイプ、バイスタティックヘテロダインタイプ、および/または他の適切なタイプの1つまたは複数を含むことが可能である。
【００４３】
トランシーバ124は、画像信号127を1つまたは複数のプロセッサ40に供給することができる。プロセッサ40は、適宜、画像データを処理するための適切な構成要素を含むことができる。プロセッサ40は、適切なタイプ、および適切な数のメモリ42に結合される。前述したとおり、メモリ42は、取り外し可能なメモリデバイス129、および他のタイプのメモリデバイスを含むことが可能である。
【００４４】
コントローラ21は、プラットフォーム106の回転、またはセンサ装置26の動きを選択的に制御するのに使用される、モータ108、プライムムーバ122、または他の移動機構に結合されることが可能である。コントローラ21は、操作者入力デバイス130、および1つまたは複数のディスプレイもしくは他のタイプの出力デバイス132などの、1つまたは複数の入出力デバイス44も含む、モニタ/コントロールステーション128の中に収容されることが可能である。
【００４５】
図6は、前述した監視システム20において使用可能な被写体情報アセンブリ22の別の実施形態の簡略化された側面図を示す。この実施例では、被写体情報アセンブリ22は、左アップライト142と右アップライト144とを含むベースフレーム140を有する。第1の情報源24は、撮像装置28の形態の、特に、図5に関連して説明したアンテナ装置110の形態のセンサ装置26である。
【００４６】
アンテナ装置110は、図示されていない一次移動機構によって、垂直に動くためにフレーム140に装着されることが可能なアレイ素子116を含む。第2のセンサ装置26が、やはり図示されていない第2のモーション装置によって、中間フレーム146と相対的に装着されることが可能である。次に、中間フレーム146が、やはり図示されていない、さらなるモーションアセンブリによってベースフレーム140と相対的に装着されることが可能である。このため、図6に示された被写体情報アセンブリ22は、第1のセンサ装置26と第2のセンサ装置26の独立した動きを可能にすることができる。オプションとして、第2のセンサ装置26'が、第1のセンサ装置26とともに、アンテナ装置110と相対的に(沿って)動くために、中間フレーム146'上に装着されることも可能である。
【００４７】
ポータル100のための、監視システム20において使用可能な被写体情報アセンブリ22のさらなるバリエーションの簡略化された上面図が、図7に示されている。この実施例では、被写体情報源24は、第1のセンサ装置26と、第2のセンサ装置26とを含む。第1のセンサ装置26'は、水平アレイ112'として形成されたアンテナ装置110'を有する、前述した能動型ミリ波撮像装置28'を含む。アレイ112'は、様々な構成を有することが可能であり、被写体位置34における被写体32のまわりの好適なアーク150で広がっているアレイ素子116を有して示されている。
【００４８】
アレイ112'が、両端の遠位端部114aおよび114bを有するフレーム114上に装着されて示されている。第2のセンサ装置26''は、フレーム端部114aおよび114bの上にそれぞれ装着された、第1のセンサユニット152、および第2のセンサユニット154も含む。センサユニット152とセンサユニット254は、単一のセンサユニットで十分である場合、同一タイプのセンサであっても、異なるタイプのセンサであってもよい。センサ装置26''が、送信ユニットもしくは伝送ユニットと、離隔された相補的な受信ユニットとを要求するタイプである場合、2つのセンサユニットは、要求される、その2つのコンポーネントであることが可能である。そのようなセンサ装置の例には、金属検出器、一部の撮像システム、および微量ケミカル検出器が含まれる。微量ケミカル検出器では、1つのセンサユニットが、送風機などによって、被写体に向けて空気を向かわせることが可能であり、第2のセンサユニットが、その空気を吸い込み、その空気が、次に、関心対象の1つまたは複数の微量元素について調べられる。
【００４９】
撮像アレイ112とともに垂直に移動することにより、第2のセンサ装置26''は、撮像アレイの位置と一致するレベルにおいて被写体情報を感知する。その結果、補助的な被写体情報が対応して検出される画像の位置またはゾーンにおける画像の特性が、被写体情報と互いに関係付けられて、被写体の検出された画像に関係するさらなる情報がもたらされることが可能である。また、第2のセンサ装置に関する他の構成も実現されることが可能である。例えば、センサユニットは、フレーム114の固定部分の上の固定位置に装着されてもよい。また、複数のセンサユニットが、フレーム114の固定部分に沿って垂直に分散され、アレイ112'とは独立した固定位置に装着されて、ゾーン被写体情報をもたらすことも可能である。オプションとして、センサユニットは、撮像装置28'とは独立に装着されてもよく、図3に示された被写体情報アセンブリ22に関連して前述したとおり、動いても、動かなくてもよい。例えば、センサユニットは、監視される人によって扱われるカード、トークン、または他のアイテムを受けるためのデバイスであることが可能であり、そのアイテムが、次に、微量元素について試験される。微量元素を獲得するための別の技術は、撮像中に人が把持するハンドルの中にセンサユニットを装着することである。ハンドルの表面は、ふき取られ、または取り外されて、微量元素に関して試験されることが可能であり、あるいは空気が、試験のためにハンドルを通して、またはハンドルのまわりで吸引されることが可能である。
【００５０】
移動機構80が、第1のセンサ装置26、および第2のセンサ装置26を垂直に動かすように適合される。したがって、被写体32は、上から下に、または下から上に垂直にアレイを動かすことにより、一方の側で撮像されることが可能である。被写体の両方の側を撮像するため、被写体の反対側を走査することが必要である。これは、被写体に反対方向を向かせるなど、様々な形で達せられることが可能である。オプションとして、図示されるアレイと向かい合わせの、第2のアレイが提供されることも可能である。また、図示されるアレイが、被写体位置を中心に回転させられることも可能である。
【００５１】
以下は、監視される被写体のプライバシーを保護するために、被写体のぼかされた画像をもたらすため、および監視される人によって保持される物体を含むと疑われる画像の諸部分の自動識別を行うための方法を例示する説明である。以下の説明は、おおむね、表示画像、アルゴリズム、およびコンピュータメモリ内のデータビットの操作の記号表現に関して提示される。プログラムまたはアルゴリズムを、様々な互いに接続された別々のソフトウェアモジュールまたはソフトウェア機能として実施することが好ましい可能性がある。これは必須ではない。というのは、ソフトウェア、ファームウェア、およびハードウェアは、多くの異なる形で構成されることが可能であり、不明瞭な境界を有する単一のプロセッサおよびプログラムに集約されることが可能であるからである。
【００５２】
アルゴリズムは、一般に、所望される結果をもたらす自己矛盾のない一連のステップと考えられる。それらのステップは、物理量の操作を要求する。通常、必須ではないが、それらの量は、格納されること、転送されること、組み合わされること、比較されること、およびそれ以外の形で操作されることが可能な電気信号または磁気信号の形態をとる。格納されると、それらの量は、転送されること、組み合わせられること、比較されること、およびそれ以外の形で操作されることが可能である。格納される場合、それらの量は、任意のコンピュータ可読媒体の中に格納されることが可能である。慣習として、それらの信号は、データ、ビット、値、要素、記号、文字、画像、項、数などと呼ばれることが可能である。それらの用語、および類似の用語は、適切な物理量に関連付けられることが可能であり、それらの量に付けられる便利なラベルである。
【００５３】
また、本開示は、説明したような動作を実行するための装置にも関する。装置は、要求される諸目的のために特別に構築されることが可能であり、あるいはコンピュータもしくは他の装置の中に格納されたコンピュータプログラムによって選択的にアクティブにされる、または再構成される汎用コンピュータを含むことが可能である。特に、様々な汎用マシンが、本明細書の教示によるプログラム群とともに使用されることが可能であり、あるいは、より特化された装置を構築して、要求される方法ステップを実行することが、より好都合であると判明することが可能である。様々なそれらのマシンに関する要求される構造は、以下に与えられる説明から明らかとなる。開示される動作を実行するための有用なマシンには、説明したとおり、汎用のデジタルコンピュータ、マイクロプロセッサ、または他の類似のデバイスが含まれる。
【００５４】
説明されるプログラムは、単一のメモリ内に存在する必要はなく、単一のマシン内に存在することさえ必要ない。プログラムの様々な部分、モジュール、または機能は、別々のメモリの中に存在することが可能であり、別々のマシンの中に存在することさえ可能である。それらの別々のマシンは、直接に接続されても、ローカルアクセスネットワーク(LAN)、またはインターネットとして知られているような、グローバルエリアネットワークもしくはワイドエリアネットワークなどのネットワークを介して接続されてもよい。同様に、ユーザらは、互いに並んで配置される必要はなく、各ユーザが、プログラムの一部分を収容するマシンと一緒に配置されるだけでよい。
【００５５】
様々な技術が、撮像されている人に関連付けられることが可能な物体を識別するために使用されることが可能である。例えば、被写体の第1の画像が獲得されると、物体が、システムの操作者によって視覚的に、または自動的に検出される。手作業の検出が使用される場合、図8の画像のような、一次画像もしくは第1の画像160が、システムモニタ上に表示されることが可能である。次に、操作者が、物体であると疑われる、画像の複数の位置または区域を識別することが可能である。例えば、図9は、疑わしい区域のまわりの輪郭164によって画定された図8の画像の一部分の拡大された第2の画像162を示す。画像強化アルゴリズムを使用して、そのような区域は、画像強化アルゴリズムを使用して定義されることが可能であり、拡大画像生成が生成されることが可能である。また、そのようなプログラムは、選択された疑わしい区域内の領域のより明瞭な画像を生成するために、画像強化、およびより高い解像度を可能にすることも可能である。例えば、プログラムは、疑わしい区域を撮像するのに使用されるピクチャ要素、つまりピクセルの数を増加させることもできる。補間技術などの、画像強化ツールを使用して、画像がより鮮明にされることが可能である。
【００５６】
人以外の可能な物体を含む疑わしい区域が識別されると、アンテナ装置を使用して、疑わしい区域のより詳細な画像がもたらされることが可能である。例えば、図示されていない二次アンテナアレイを使用して、疑わしい区域が、最初に与えられたのよりも詳細に、再撮像されることが可能である。
【００５７】
オプションとして、撮像アレイを使用して、疑わしい区域が再撮像されてもよい。より高い解像度は、アンテナアレイに対する被写体の動きの速度を低減すること、またはアンテナアレイの走査速度を増加することなどにより、被写体の表面積当たりのファイヤリング回数を増加することによって可能である可能性がある。また、アレイ内のアンテナ素子の一部を使用して、第1の低解像度の画像を生成し、被写体の選択された領域に対応するアンテナ素子のすべてを使用して、第2の高解像度の画像を生成することも可能である。
【００５８】
したがって、画像信号は、第1の画像に対応する画像信号の部分の再加工であれ、選択された被写体区域の再走査に対応する画像信号の一部分であれ、一次画像より高い解像度を有する二次画像が、生成されることが可能である。次に、その画像が、操作者による観察のために表示されて、物体が存在するかどうかを判定し、存在する場合、その物体の性質を判定することが、よりよく行われることが可能である。
【００５９】
また、画像データの諸特性が、自動的に分析されて、物体を含む可能性がある画像の区域が存在する可能性があるかどうかが判定されることも可能である。既知の物体の画像の諸特性に対応する諸特性を有する被写体画像の領域が、識別されることが可能である。画像の疑わしい区域を自動的に識別することにより、システム操作者の注意が、そのような区域に向けられることが可能であり、その情報を使用して、アラームがアクティブにされることが可能であり、その情報を使用して、疑わしい区域の再走査が開始されること、または、別の形で、画像の解像度が高められることが可能である。
【００６０】
人によって保持される物体は、人が身に付けた、隠された物体の付近の「波打ったテクスチャ」の外観を有する可能性がある。図8は、マネキンの身体上に置かれた人工物体を有するマネキンの画像160の例を示す。この画像は、人の画像に似ている。この図では、ナイフの画像が、腹部上に現れ、銃の画像が背部上に現れる。図9に示される第2の画像162は、図8に示されるナイフの画像の拡大である。明るい領域と暗い領域として現れる、交互する高い輝度レベルと低い輝度レベルを有するピクチャ要素を有するものとして特徴付けられる画像が、物体であると疑われることが可能である。その変化する輝度レベルパターンもしくは波打ったテクスチャパターンは、物体上、および/または物体のまわりの画像において目に見える。
【００６１】
波打ちは、画像を波打ち検出カーネルで畳み込むことによって検出されることが可能である。例示的なカーネルは、以下の5×5行列値によって与えられる。すなわち、
【００６２】
【表３】
【００６３】
以上の数値セットの「波打った」性質は、図10にグラフで示され、図10は、ピクセル位置に対応する5行×5列グリッドの相対的大きさを示す。カーネルの行と列における値は、高い値と低い値の間で、あるいはこのケースでは、負の値と正の値の間で移動し、そのため、「波打った」という言い方がされる。
【００６４】
前述のカーネル数値は、対応する5×5のピクチャ要素正方形を覆う小さい画像ウインドウと考えることができ、このウインドウは、画像の上を(画像の対応する連続する部分に関連して)動かされる。カーネルの中の各値に、対応する画像輝度値(その位置のすぐ下の)が掛けられ、この操作の最終結果は、25回の乗算の結果の合計である。一般に、ウインドウが被せられたピクセルの輝度の相対値が、カーネルの中の相対値に近いほど、結果の合計の大きさ、つまり絶対値が高くなる。
【００６５】
この操作の例示が、図11Aおよび図11Bに示され、図11Aおよび図11Bは、カーネルウインドウの2つの連続する位置を示す。これらの図では、円170が、被写体画像172を構成するピクセルの輝度レベルを表す。正方形174は、カーネルの「ウインドウ」を表し、カーネル値は、三角形176によって表されている。正方形174の左側に破線で示される三角形176'は、単に、前の計算中にウインドウ174の中に含まれていたピクセルの行を表す。前述したとおり、各カーネル値には、ウインドウの所与の位置において、各カーネル値が関連付けられているピクセルの輝度レベルが掛けられる。結果の25の積が、合計される。合計の絶対値が、基準ピクセルRに割り当てられ、ピクセルRは、適切であると考えられる任意のピクセル位置であることが可能である。この例では、ウインドウの中央のピクセルが、基準ピクセルと考えられる。
【００６６】
この合計は、基準ピクセルに関連する25のピクセルの、カーネルによって表される相対バリエーション、つまりテクスチャに対する相関の示度をもたらす。合計の絶対値が大きいほど、相関は強い。
【００６７】
図11Bは、ウインドウが、右に1ピクセル行、移される次のステップ中のウインドウ174の位置を示す。このプロセスは、被写体画像172が、画像の各ピクセル、つまり選択されたピクセルに関する前述した操作の結果を含む値を使用して、新たな「画像」に畳み込まれるまで続けられる。固定のダイナミックレンジを占めるように平滑化され、引き伸ばされた後、新たな画像は、明るい方の区域が、波打ちテクスチャの局所的存在を示す、図12に示される「波打ち画像」180である。つまり、図12の画像は、選択された被写体画像特性が存在する度合いのマッピングである。この波打ち画像の中で、波打ちの最も大きく、最も明るい領域は、元の被写体画像の中でナイフおよび銃が存在する箇所に現れることが見られる。
【００６８】
波打ち画像が、元の被写体画像から生成されると、波打ち画像の最も明るい領域は、その画像に対して閾値分析を実行することによって識別されることが可能である。また、結果の画像をより均一にするために、小さいコントラストの領域または穴が、消去されることも可能である。この分析では、図13に示される新たな画像182が、白に対応する輝度レベルのような、はっきりした輝度レベルを、最大の80パーセントのような、少なくとも選択された輝度値または波打ち値を有する波打ち画像の領域に割り当てることにより、生成される。その他の領域には、0の輝度、つまり黒レベルの輝度のような、区別可能な値が割り当てられる。すると、その画像が、選択された画像特性に関して強い相関が存在する領域を示す。
【００６９】
目的は、疑わしい物体が存在する被写体画像の領域をグラフィックで明らかにすることである。次に、それらの領域が、システム操作者に表示される、またはそれ以外の形で明らかにされることが可能であり、したがって、操作者は、画像または被写体をさらに評価することができる。以上のプロセスは、人が身に付けた物体と一致する可能性が低い、小さい領域が識別されることをもたらす可能性がある。画像は、それに相応して、強調された箇所を拡張し、次に、有意であると見込まれない、より小さい領域を削除することにより、クリーンアップされることが可能である。拡張は、強調された領域を拡大するプロセスである。このプロセスを行う1つのやり方は、画像上を分析またはカーネルの別の「ウインドウ」が通るようにさせることによる。所与の基準ピクセルに関して、事前設定された閾値より多くの白のピクセルが存在する場合、ウインドウ全体の中のピクセルが、白にされる。例示的な結果が、図14の拡張された画像184として示されている。
【００７０】
疑わしい物体区域の撮像を簡略化するのに、強調された領域の境界を定める長方形が、識別されることが可能である。図15は、そのようなプロセスからもたらされる画像186を示す。それらの長方形領域は、それ以前に強調された領域より大きいサイズである。また、一部の領域は、複数の疑わしい区域を含むことも可能である。
【００７１】
その画像が、間隔の近い区域をさらに組み合わせるように再び拡張されることが可能である。1つのそのようなプロセスからもたらされる画像188が、図16に示されている。このケースでは、図16の画像が、図15の画像とほぼ同一であることが見られる。拡張のための異なる基準は、異なる結果をもたらすことが可能である。次に、その画像が、疑わしい区域の最終マスクを生成するのに使用されることが可能である。
【００７２】
被写体画像上の物体の識別を容易にするのに、図16の画像から導出された疑わしい区域の輪郭が、図17に示されるとおり、元の画像の表示に追加されることが可能である。図17に示される画像190は、画像188によって規定された疑わしい領域の輪郭を有する、図8に示された元の画像160の再現である。オプションとして、以下に図18および図19で示すとおり、疑わしい区域内の元の被写体画像の諸部分が、被写体の人のプライバシーを保護するように、図12の画像180のような、変更された被写体画像の上に重ね合わされることが可能である。
【００７３】
前述したとおり、監視システム20は、被写体の画像とともに、補助的な被写体情報をもたらすように構成されることが可能である。補助的な被写体情報の源は、金属検出器などの、センサの形態であることが可能である。図5〜図7に示された被写体情報アセンブリ22に関連して説明したとおり、金属が、被写体の複数の領域において検出されることが可能である。それらの領域は、図7に示されたセンサ装置26''によってもたらされることが可能な、複数の垂直に分布したゾーンであってもよい。
【００７４】
図18は、監視システム20の出力デバイス132の表示200を示す。表示200は、コントロールパネル202のコンピュータによって生成された表示、表示された被写体画像204、および補助的なセンサ出力表示206であることが可能である。コントロールパネル207は、コントロールキー210のような、様々な表示動作コントロールおよびシステム動作コントロール208を含むことが可能である。
【００７５】
1つまたは複数の被写体画像204の様々な構成がもたらされることが可能である。この実施例では、被写体周囲の45度の増分における被写体のビューに対応する8つの画像フレーム212が、示されている。各フレームは、この場合は、図8〜17に関連して説明されるプロセスによって提供されるような、被写体のプライバシー画像216である被写体画像214を含む。前述した、物体識別アルゴリズムによって識別される領域のような、詳細な被写体画像の疑わしい領域218が、プライバシー画像の上に重ね合わされる。8つのフレームの選択された1つが、拡大され、一次画像220として表示される。拡大されたフレームは、疑わしい領域の拡大を含み、それらの領域を操作者が見やすいようにしている。
【００７６】
補助的な表示206は、第2のセンサ装置26の動作の複数の結果を視覚的に関連付ける。この実施例では、第2のセンサ装置は、人の身体の様々な垂直ゾーンにおける金属の存在を判定する金属検出器であることが可能である。表示要素222が、画像220の検出されたゾーンのそれぞれと揃えられる。このケースにおける表示要素は、被写体の対応するゾーン内で金属が検出された場合、暗い表示、または特異な色によって表される陽の状態を有する。特定のゾーンに関して金属が全く検出されなかった場合、表示要素は、明るい表示、または特異な色によって表される陰の状態を有する。他の記号、表示、または表現が、被写体画像に関する第2のセンサ装置の結果を示すのに使用されることも可能である。
【００７７】
図18に示される選択された一次画像220の場合、疑わしい領域218は、骨盤領域、胴の下部領域、および頭部領域に存在する。最上の金属表示要素222、および上から3番目の金属表示要素222が、陽の状態であることが示され、その他は、陰の状態であり、それら2つのゾーンのそれぞれにおいて識別された物体の1つまたは複数が、金属でできていることを示している。その結果に基づき、監視される人は、関連する施設に入るのを防止するように、または状況において適切であると考えられる他の任意の措置をとるように、見張られる、または逮捕されることが可能である。
【００７８】
被写体の特定の場所、または特定の複数の場所における検出された情報の一致、または相関が存在する場合、1つまたは複数の画像が、さらに拡大され、またはトリミングされて、疑わしい領域、または金属が検出されたゾーンのさらなる詳細に注意が集中され、そのような詳細がもたらされることが可能である。提供されることが可能な、さらなる表示230が、図19に示されている。この表示は、おおむね、表示200と同一の諸特徴を有し、対応する諸特徴にプライム符号が付いて示されている。画像フレーム212'および一次画像220'は、疑わしい領域218を示し、疑わしい領域、または陽の金属検出の指示を有さない連続するゾーンを消去するように並べ変えられ、拡大され、および/またはトリミングされている。拡大された一次画像232のような、拡大された画像が、さらなる変更なしに提供されることが可能であり、より高い解像度をもたらすことが可能である。画像解像度は、画像強化ソフトウェアまたは画像編集ソフトウェアによっても、同一のアレイで、またはより細かい解像度のアレイで高解像度モードで被写体を再走査することによっても、高められることが可能である。
【００７９】
図には示されていないが、監視システムは、疑わしい領域は全く識別されないが、補助的なセンサが、物質、または他の特性を検出した、被写体の諸領域の画像をもたらすように適合されることも可能である。疑わしい領域が全く識別されないゾーンにおいて金属が検出されたケースでは、当該のゾーンの画像の拡大が、向上した解像度または詳細をもたらして、そのゾーンに外部物体が存在するかどうかを示す。
【００８０】
添付の特許請求の範囲で定義される本発明を、以上の諸実施形態に関連して特に図示し、説明してきたが、本発明の趣旨および範囲を逸脱することなく、それらの実施形態の多くの変形形態が実施されることが可能であることが、当業者には理解されよう。諸特徴、諸機能、諸要素、および/または諸特性の他の組合せ、および部分的組合せが、本出願または関連出願における、本クレームの補正、あるいは新たなクレームの提示を介して主張される可能性がある。そのような補正されたクレーム、または新たなクレームも、異なる組合せに向けられているか、同一の組合せに向けられているかにかかわらず、また、元のクレームと比べて、範囲が異なるか、より広いか、より狭いか、または等しいかにかかわらず、本開示の対象の範囲内に含まれるものと見なされる。
【００８１】
以上の諸実施形態は、例示的であり、いずれの単一の特徴または要素も、本出願、または後の出願において主張される可能性があるすべての可能な組合せに不可欠ではない。クレームが、「1つの」要素、もしくは「第1の」要素、またはそれらと均等の記述をしている場合、そのようなクレームは、2つ以上のそのような要素を要求することも、除外することもなく、1つまたは複数のそのような要素を含むものと理解されなければならない。第1の、第2の、または第3のといった基数詞は、要素を区別するのに使用されており、特に明記しない限り、そのような要素の要求される数、または限定された数を示すものではなく、そのような要素の特定の位置、または特定の順序を示すものでもない。
【産業上の利用可能性】
【００８２】
本開示で説明される方法および装置は、監視システムおよび撮像システムが利用される、セキュリティ業界、監視業界、およびその他の業界に応用可能である。
【図面の簡単な説明】
【００８３】
【図１】撮像源と、補助的な被写体情報源とを有する一般的な監視システムを示すブロック図である。
【図２】図1の監視システムの動作の方法の実施例を示す流れ図である。
【図３】図1の監視システムにおいて使用可能であり、被写体に対して動く3つまでのセンサを有する被写体情報アセンブリに関する様々な可能な構成を示す例示的な図である。
【図４】2つのセンサ装置を有する図3の被写体情報アセンブリの実施例を示すブロック図である。
【図５】図1による、図4の被写体情報アセンブリを含む監視の実施例を示す全体図である。
【図６】図3の被写体情報アセンブリの別の実施例を示す側面図である。
【図７】図3の被写体情報アセンブリのさらに別の実施例を示す上面図である。
【図８】マネキン上の衣服によって隠された物体を有するマネキンのミリ波撮像システムによって生成された画像である。
【図９】物体を示す図8の画像の一部分の拡大図である。
【図１０】物体検出のために使用されるカーネルの値を示すグラフである。
【図１１Ａ】画像に対するカーネルの適用を説明する一連のステップを示す図である。
【図１１Ｂ】画像に対するカーネルの適用を説明する一連のステップを示す図である。
【図１２】図8の画像に図10のカーネルを適用して、画像の疑わしい区域を識別することからもたらされる画像である。
【図１３】図12の画像に閾値を適用することからもたらされる画像である。
【図１４】図13の画像の強調された区域を拡張し、小さい領域を除去することからもたらされる画像である。
【図１５】図16の画像の強調された区域に境界を定める長方形を適用することからもたらされる画像である。
【図１６】図17の画像の強調された区域を拡張することからもたらされる画像である。
【図１７】元の画像内の疑わしい領域と一致する図16の強調された区域の輪郭が重ね合わされた図8の元の画像のコピーである。
【図１８】撮像装置とゾーン金属検出器とを有し、被写体の様々な疑わしい領域、および金属が検出された被写体のゾーンを識別する監視システムの例示的な表示である。
【図１９】検出された金属を有する被写体画像の諸部分を示すように、被写体画像がトリミングされ、一次画像が拡大された図18と同様の表示である。
【符号の説明】
【００８４】
20 監視システム
21 コントローラ
26 センサ装置
32 被写体
34 被写体位置
36 人
38 物体
80 移動機構
127 画像信号
160 画像
【特許請求の範囲】
【請求項１】
被写体位置(34)における人(36)の少なくとも一部分と、前記人(36)によって保持される検出可能な物体(38)とを含む、前記被写体位置(34)における被写体(32)に向けて、前記被写体位置(34)から離隔された位置から、約100MHzから約2THzまでの周波数範囲内にある第1の電磁放射線を送信し、前記被写体(32)から前記放射線を受信するように適合され、前記受信された放射線から、前記被写体(32)の少なくとも一部分の第1の画像(160)を表す第1の画像信号(127)を生成する第1のセンサ装置(26)と、
前記第1のセンサ装置(26)とは異なり、前記被写体位置(34)における人(36)によって保持される可能性がある物体(38)の所与の特性を検出するように適合された第2のセンサ装置(26)と、
前記第1のセンサ装置(26)、および前記第2のセンサ装置(26)の動作を制御し、前記画像信号(127)から、前記被写体(32)の前記少なくとも一部分の前記画像(160)を表す画像データと、前記人(36)が、前記所与の特性を有する物体(38)を保持しているかどうかについての関係情報とを生成するように適合されたコントローラ(21)とを含む監視システム(20)。
【請求項２】
前記コントローラ(21)は、前記画像(160)が、前記人(36)が身に付けた物体(38)に対応する物体画像特性を含むかどうかを判定し、前記第2のセンサ装置(26)を動作させて、前記物体(38)が、前記所与の特性を有するかどうかについての物体情報を生成するようにさらに適合された請求項1に記載のシステム(20)。
【請求項３】
前記第2のセンサ装置(26)は、前記被写体(32)の異なる領域において前記所与の特性を検出するように適合された請求項2に記載のシステム(20)。
【請求項４】
前記第2のセンサ装置(26)は、前記被写体位置(34)に対して前記第2のセンサ装置(26)を動かすように適合された第1の移動機構(80)を含む請求項3に記載のシステム(20)。
【請求項５】
前記コントローラ(21)は、前記所与の特性の各検出を、前記被写体(32)の対応する領域に関連付け、物体画像特性を含む前記画像(160)の各部分を、前記被写体(32)の前記領域の1つに関係付けるように適合された請求項3に記載のシステム(20)。
【請求項６】
前記コントローラ(21)は、物体画像特性を含む前記画像(160)の各領域が、前記所与の特性の前記検出に関連付けられているかどうかを判定するように適合された請求項5に記載のシステム(20)。
【請求項７】
前記コントローラ(21)は、物体画像特性を有する前記画像(160)の諸部分を検出し、次に、前記第2のセンサ装置(26)の動作を制御して、物体画像特性を有する前記画像(160)の前記諸部分に対応する領域において前記所与の特性を検出するように適合された請求項3に記載のシステム(20)。
【請求項８】
前記被写体位置(34)に対して前記第1のセンサ装置(26)、および前記第2のセンサ装置(26)を動かすように適合された第1の移動機構(80)をさらに含む請求項1に記載のシステム(20)。
【請求項９】
前記第1のセンサ装置(26)と前記第2のセンサ装置(26)のいずれかを、他方(26)に対して動かすように適合された第2の移動機構(80)をさらに含む請求項8に記載のシステム(20)。
【請求項１０】
人(36)と、前記人(36)によって保持される物体(38)とを含む、被写体位置(34)における被写体(32)を監視する方法であって、
人(36)の少なくとも一部分と、前記人(36)によって保持される検出可能な物体(38)とを含む、被写体位置(34)における被写体(32)に向けて、前記被写体位置(34)から離隔された位置から、約100MHzから約2THzまでの周波数範囲内にある第1の電磁放射線を送信すること、
前記被写体(32)から、反射された、送信された放射線を受信すること、
前記受信された放射線から、前記被写体(32)の少なくとも一部分の第1の画像(160)を表す第1の画像信号(127)を生成すること、
前記第1の画像信号(160)に基づかず、前記被写体位置(34)における人(36)によって保持される可能性がある物体(38)の所与の特性を検出すること、
前記画像信号(160)、および前記検出された特性から、前記被写体(32)の前記少なくとも1つの部分の前記画像(160)を表す画像データと、前記人(36)が、前記所与の特性を有する物体(38)を保持しているかどうかについての関係情報とを生成することを含む方法。
【請求項１１】
前記画像(160)が、前記人(36)が身に付けた物体(38)に対応する物体画像特性を含むかどうかを判定することをさらに含み、前記人(36)が、前記所与の特性を有する物体(38)を保持しているかどうかについての情報を生成することは、前記人(36)が身に付けた物体(38)が、前記所与の特性を有するかどうかについての情報を生成することを含む請求項10に記載の方法。
【請求項１２】
所与の特性を検出することは、前記被写体(32)の異なる領域において前記所与の特性を検出することを含む請求項11に記載の方法。
【請求項１３】
前記所与の特性の各検出を、前記被写体(32)の対応する領域に関連付けること、および物体画像特性を含む前記画像(160)の各部分を、前記被写体(32)の対応する領域に関係付けることをさらに含む請求項12に記載の方法。
【請求項１４】
物体画像特性を含む前記画像(160)の各領域が、前記所与の特性の前記検出に関連付けられているかどうかを判定することをさらに含む請求項13に記載の方法。
【請求項１５】
物体画像特性を有する前記画像(160)の諸部分を検出し、次に、物体画像特性を有する前記画像(160)の前記諸部分に対応する領域において前記被写体(32)の所与の特性を検出することをさらに含む請求項12に記載の方法。
【請求項１６】
所与の特性を検出することは、前記被写体(32)の同一の領域に関して、所与の特性を検出しながら、前記被写体(32)の異なる領域に関して、前記反射された放射線を受信することを含む請求項10に記載の方法。
【請求項１】
被写体位置(34)における人(36)の少なくとも一部分と、前記人(36)によって保持される検出可能な物体(38)とを含む、前記被写体位置(34)における被写体(32)に向けて、前記被写体位置(34)から離隔された位置から、約100MHzから約2THzまでの周波数範囲内にある第1の電磁放射線を送信し、前記被写体(32)から前記放射線を受信するように適合され、前記受信された放射線から、前記被写体(32)の少なくとも一部分の第1の画像(160)を表す第1の画像信号(127)を生成する第1のセンサ装置(26)と、
前記第1のセンサ装置(26)とは異なり、前記被写体位置(34)における人(36)によって保持される可能性がある物体(38)の所与の特性を検出するように適合された第2のセンサ装置(26)と、
前記第1のセンサ装置(26)、および前記第2のセンサ装置(26)の動作を制御し、前記画像信号(127)から、前記被写体(32)の前記少なくとも一部分の前記画像(160)を表す画像データと、前記人(36)が、前記所与の特性を有する物体(38)を保持しているかどうかについての関係情報とを生成するように適合されたコントローラ(21)とを含む監視システム(20)。
【請求項２】
前記コントローラ(21)は、前記画像(160)が、前記人(36)が身に付けた物体(38)に対応する物体画像特性を含むかどうかを判定し、前記第2のセンサ装置(26)を動作させて、前記物体(38)が、前記所与の特性を有するかどうかについての物体情報を生成するようにさらに適合された請求項1に記載のシステム(20)。
【請求項３】
前記第2のセンサ装置(26)は、前記被写体(32)の異なる領域において前記所与の特性を検出するように適合された請求項2に記載のシステム(20)。
【請求項４】
前記第2のセンサ装置(26)は、前記被写体位置(34)に対して前記第2のセンサ装置(26)を動かすように適合された第1の移動機構(80)を含む請求項3に記載のシステム(20)。
【請求項５】
前記コントローラ(21)は、前記所与の特性の各検出を、前記被写体(32)の対応する領域に関連付け、物体画像特性を含む前記画像(160)の各部分を、前記被写体(32)の前記領域の1つに関係付けるように適合された請求項3に記載のシステム(20)。
【請求項６】
前記コントローラ(21)は、物体画像特性を含む前記画像(160)の各領域が、前記所与の特性の前記検出に関連付けられているかどうかを判定するように適合された請求項5に記載のシステム(20)。
【請求項７】
前記コントローラ(21)は、物体画像特性を有する前記画像(160)の諸部分を検出し、次に、前記第2のセンサ装置(26)の動作を制御して、物体画像特性を有する前記画像(160)の前記諸部分に対応する領域において前記所与の特性を検出するように適合された請求項3に記載のシステム(20)。
【請求項８】
前記被写体位置(34)に対して前記第1のセンサ装置(26)、および前記第2のセンサ装置(26)を動かすように適合された第1の移動機構(80)をさらに含む請求項1に記載のシステム(20)。
【請求項９】
前記第1のセンサ装置(26)と前記第2のセンサ装置(26)のいずれかを、他方(26)に対して動かすように適合された第2の移動機構(80)をさらに含む請求項8に記載のシステム(20)。
【請求項１０】
人(36)と、前記人(36)によって保持される物体(38)とを含む、被写体位置(34)における被写体(32)を監視する方法であって、
人(36)の少なくとも一部分と、前記人(36)によって保持される検出可能な物体(38)とを含む、被写体位置(34)における被写体(32)に向けて、前記被写体位置(34)から離隔された位置から、約100MHzから約2THzまでの周波数範囲内にある第1の電磁放射線を送信すること、
前記被写体(32)から、反射された、送信された放射線を受信すること、
前記受信された放射線から、前記被写体(32)の少なくとも一部分の第1の画像(160)を表す第1の画像信号(127)を生成すること、
前記第1の画像信号(160)に基づかず、前記被写体位置(34)における人(36)によって保持される可能性がある物体(38)の所与の特性を検出すること、
前記画像信号(160)、および前記検出された特性から、前記被写体(32)の前記少なくとも1つの部分の前記画像(160)を表す画像データと、前記人(36)が、前記所与の特性を有する物体(38)を保持しているかどうかについての関係情報とを生成することを含む方法。
【請求項１１】
前記画像(160)が、前記人(36)が身に付けた物体(38)に対応する物体画像特性を含むかどうかを判定することをさらに含み、前記人(36)が、前記所与の特性を有する物体(38)を保持しているかどうかについての情報を生成することは、前記人(36)が身に付けた物体(38)が、前記所与の特性を有するかどうかについての情報を生成することを含む請求項10に記載の方法。
【請求項１２】
所与の特性を検出することは、前記被写体(32)の異なる領域において前記所与の特性を検出することを含む請求項11に記載の方法。
【請求項１３】
前記所与の特性の各検出を、前記被写体(32)の対応する領域に関連付けること、および物体画像特性を含む前記画像(160)の各部分を、前記被写体(32)の対応する領域に関係付けることをさらに含む請求項12に記載の方法。
【請求項１４】
物体画像特性を含む前記画像(160)の各領域が、前記所与の特性の前記検出に関連付けられているかどうかを判定することをさらに含む請求項13に記載の方法。
【請求項１５】
物体画像特性を有する前記画像(160)の諸部分を検出し、次に、物体画像特性を有する前記画像(160)の前記諸部分に対応する領域において前記被写体(32)の所与の特性を検出することをさらに含む請求項12に記載の方法。
【請求項１６】
所与の特性を検出することは、前記被写体(32)の同一の領域に関して、所与の特性を検出しながら、前記被写体(32)の異なる領域に関して、前記反射された放射線を受信することを含む請求項10に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公表番号】特表２００７−５３２９０７（Ｐ２００７−５３２９０７Ａ）
【公表日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願番号】特願２００７−５０８４３６（Ｐ２００７−５０８４３６）
【出願日】平成１７年４月１１日（２００５．４．１１）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１２２４６
【国際公開番号】ＷＯ２００５／１０１３０７
【国際公開日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（５０６１８８６００）セイフビュー・インコーポレーテッド (8)
【Ｆターム（参考）】
【公表日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願日】平成１７年４月１１日（２００５．４．１１）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１２２４６
【国際公開番号】ＷＯ２００５／１０１３０７
【国際公開日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（５０６１８８６００）セイフビュー・インコーポレーテッド (8)
【Ｆターム（参考）】
[ Back to top ]