対象検出システム
【課題】画像上での移動体端末７の位置の認識と、その移動体端末７のＩＤ情報との一致を容易かつ確実に実行する。
【解決手段】定点監視端末５の制御部１１は、移動体端末７の発光部２３の発光が写っている撮影画像Ｇをカメラ２４により取得し、該撮影画像Ｇにおける前記移動体端末７の端末画像を前記発光により認識するステップＳ１５，７６と、無線通信部２２により前記移動体端末７のＩＤ情報を取得するステップＳ１６，Ｓ７２と、認識した前記端末画像と前記ＩＤ情報とを関連づけるステップＳ１７，Ｓ７７とを実行する構成である対象検出システム１を提供する。
【解決手段】定点監視端末５の制御部１１は、移動体端末７の発光部２３の発光が写っている撮影画像Ｇをカメラ２４により取得し、該撮影画像Ｇにおける前記移動体端末７の端末画像を前記発光により認識するステップＳ１５，７６と、無線通信部２２により前記移動体端末７のＩＤ情報を取得するステップＳ１６，Ｓ７２と、認識した前記端末画像と前記ＩＤ情報とを関連づけるステップＳ１７，Ｓ７７とを実行する構成である対象検出システム１を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば街頭や施設において対象を検出するような対象検出システムに関する。
【背景技術】
【０００２】
従来、画像や情報を用いてエリア内を監視する技術が提案されている。例えば、警戒対象が所定範囲内に存在するか判断する警戒対象検出装置が提案されている（特許文献１参照）。
【０００３】
この警戒対象検出装置は、通信エリア内に存在する全ての警戒対象が保持する無線端末から固体識別情報を受信し、前記通信エリア内の所定範囲の画像データを取得する。そして、該画像データを解析して警戒対象の位置情報を抽出し、抽出した位置情報の方向へ指向性を向けた狭い範囲での通信を行い、その範囲の無線端末から固体識別情報を取得する。この固体識別情報を、先に受信した全ての固体識別情報から削除することで、指向性を向けた方向の警戒対象の固体識別情報を削除できる。この指向性の方向を変えながら、個体識別情報を削除していけば、残った個体識別情報が画像データに写っていないと判別できるとされている。
【０００４】
しかし、この警戒対象検出装置の方法は、通信エリア内に存在し、かつ画像データに写っていない無線端末を探すことができても、画像データに写っている無線端末のＩＤを正確に取得するためには不向きであった。特に、指向性を絞り込んだとしても、その指向性の範囲内に無線端末が複数存在して画像データにも複数の警戒対象が写っていれば、どの固体識別情報がどの警戒対象のものか不明であるという問題点があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１７６４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明は、上述の問題に鑑み、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行できる対象検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムであって、前記対象検出装置の制御手段は、前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である対象検出システムであることを特徴とする。
【０００８】
前記無線通信手段は、ＲＦＩＤタグ、ＲＦＩＤタグと無線通信するリーダライタ、平面アンテナを用いた無線通信装置、ダイポールアンテナやループアンテナ等の線状アンテナを用いた無線通信装置、赤外線通信装置、あるいはブルートゥース（登録商標）通信装置など、無線で通信できる適宜の通信手段とすることができる。
【０００９】
前記発光手段は、ＬＥＤやランプなどの照明装置、または液晶ディスプレイや有機ＥＬディスプレイなどの発光表示装置で構成することができる。
【００１０】
前記制御手段は、ＣＰＵやＭＰＵなど制御処理を実行可能な演算装置で構成することができる。
【００１１】
前記移動体端末は、携帯電話機やＰＤＡ、専用端末など、移動可能な適宜の端末で構成することができる。
【００１２】
前記撮影手段は、ＣＭＯＳセンサやＣＣＤセンサを備えたデジタルカメラあるいはデジタルビデオカメラとすることができる。
【００１３】
前記対象検出装置は、撮影手段と無線通信手段と制御手段とを備えた適宜の端末で構成することができる。
【００１４】
この発明により、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行することができる。
【００１５】
この発明の態様として、前記移動体端末画像認識処理は、前記無線通信手段により前記移動体端末に対して所定タイミングで発光させるように通知し、そのタイミングで発光した移動体端末を認識する構成とすることができる。
【００１６】
前記所定タイミングは、発光指示信号を送信してその発光指示信号の受信と同時あるいは所定時間後、または、アンチコリジョンと呼ばれる衝突回避処理にて指定された自己ＩＤに基づくタイミングなど、適宜のタイミングとすることができる。
【００１７】
この態様により、所定タイミングで発光した移動体端末を撮影画像のどの位置に存在するか確認することができる。特に、撮影画像の範囲内に複数の移動体端末が存在していても、各移動体端末の発光タイミングを異ならせることにより、撮影画像におけるそれぞれの移動体端末の位置を１つずつ確実に認識することができる。
【００１８】
またこの発明の態様として、前記移動体端末画像認識処理は、特定のＩＤの前記移動体端末に前記発光を行わせる構成とすることができる。
これにより、撮影画像の範囲内に複数の移動体端末が存在していても、撮影画像における特定のＩＤの移動体端末の位置を確実に認識することができる。
【００１９】
またこの発明の態様として、前記特定のＩＤの前記移動体端末は、指定されたＩＤの移動体端末、あるいは、ＩＤ送信と発光を両方実行する所定タイミングに至った移動体端末とすることができる。
【００２０】
これにより、撮影画像の範囲内に複数の移動体端末が存在していても、発光を行う移動体端末を確実に１つとすることができ、特定のＩＤの移動体端末の位置を確実に認識することができる。
【００２１】
またこの発明の態様として、前記対象検出装置は、該対象検出装置の撮影手段で撮影した撮影画像データをその撮影領域に写っている前記移動体端末に送信する構成であり、前記移動体端末は、受信した前記撮影画像データを記憶する記憶手段を備えることができる。
前記記憶手段は、ハードディスク、不揮発性メモリなど、データを記憶する適宜の記憶装置で構成することができる。
この態様により、対象検出装置にデータを記憶することができる。
【００２２】
またこの発明の態様として、前記対象検出装置の制御手段は、前記撮影画像データから前記移動体端末が写っている部分を切り出し、この切り出した部分画像データを前記移動体端末へ送信する構成とすることができる。
【００２３】
前記部分画像データは、例えば発光認識した位置を中心等とする所定サイズの矩形、長方形、あるいは円形とする、発光認識した位置を含む連続画像において移動している物や人とする、あるいは発光認識した位置から所定範囲内で該位置に最も近い顔画像あるいは人物画像とするなど、発光認識した位置を基点とする所定範囲の画像データとすることができる。また、撮影画像データが魚眼のカメラで撮影されたものである場合、部分画像データは、画像処理によってひずみ補正を行い、通常のカメラで撮影したのと同じひずみのない画像に加工してもよい。
【００２４】
この態様により、画像データにおける必要な部分だけを移動体端末へ送信することができ、データ量を削減して利便性を高めることができる。
【００２５】
またこの発明の態様として、前記対象検出装置の制御手段は、前記移動体端末に対して該移動体端末に記憶している移動体画像を送信させる移動体画像送信要求処理を実行する構成であり、前記移動体端末の制御手段は、前記移動体画像送信要求を受けて記憶している移動体画像を送信する移動体画像送信処理を実行する構成とすることができる。
【００２６】
これにより、移動体端末に記憶している移動体画像を取得することができる。従って、対象検出装置で撮影できない画像を移動体端末から得ることができ、この画像を利用することが可能となる。
【００２７】
またこの発明は、コンピュータを、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段として機能させる対象検出プログラムであって、前記制御手段に、前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行させる対象検出プログラムとすることができる。
【００２８】
これにより、コンピュータに対象検出プログラムをインストールして対象検出装置とすることができる。
【００２９】
またこの発明は、無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムにより対象を検出する対象検出方法であって、前記対象検出装置の制御手段により、前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識工程と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得工程と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け工程とを行う対象検出方法とすることができる。
これにより、実際に対象を検出することができる。
【００３０】
またこの発明は、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置であって、前記制御手段は、移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である対象検出装置とすることができる。
これにより、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行できる対象検出装置を提供することができる。
【発明の効果】
【００３１】
この発明により、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行することができる。
【図面の簡単な説明】
【００３２】
【図１】対象検出システムの設置例を示す概略構成図。
【図２】対象検出システムの構成を示すブロック図。
【図３】定点監視端末の監視領域を説明する正面から見た説明図。
【図４】撮影画像において監視対象物を検出する仕組みを説明する説明図。
【図５】定点監視端末を中心とする全体動作を示すフローチャート。
【図６】対象物特定処理のフローチャート。
【図７】画像データ送受信処理のフローチャート。
【図８】移動体端末やサーバに記憶するデータの構成の説明図。
【図９】モニタ表示処理のフローチャート。
【図１０】監視領域間を移動する移動体端末の監視を説明する説明図。
【図１１】病院に設置した例での監視の様子を説明する説明図。
【図１２】撮影画像中の移動体端末画像の位置とＩＤとの対応説明図。
【図１３】実施例２の対象物特定処理のフローチャート。
【発明を実施するための形態】
【００３３】
この発明の一実施形態を以下図面と共に説明する。
【実施例１】
【００３４】
図１は、対象検出システム１の設置例を示す概略構成図である。この例では、病院施設に対象検出システム１が設置されている。
【００３５】
病院施設には、通路や処置室の天井に定点監視端末５が複数設置されている。この定点監視端末５は、監視領域Ｅが隣り合って連続するように配置されている。
【００３６】
また、救急車の車内の天井にも、定点監視端末５が設けられている。これにより、救急車の車内で搬送中の救急患者を定点監視端末５で撮影等することができる。そして、病院施設内に設けられた各定点監視端末５により、病院施設内に運び込まれた救急患者を玄関から処置室までずっと撮影しつつ追跡することができる環境を整えている。
【００３７】
救急患者を乗せる担架８には、移動体端末７が取り付けられている。この移動体端末７は、その救急患者を識別できるものであり、例えば携帯電話機とする、あるいは専用の移動体端末とするなど、適宜の装置で構成される。
【００３８】
図２は、対象検出システム１の構成を示すブロック図である。
対象検出システム１は、サーバ３、複数の定点監視端末５、複数のモニタ装置９、および移動体端末７により構成されている。
【００３９】
サーバ３、複数の定点監視端末５、及び複数のモニタ装置９は、有線のネットワーク（ＬＡＮなど）により相互に通信可能に接続されている。なお、このネットワークは、有線に限らず無線にしてもよい。
そして、定点監視端末５は、移動体端末７と無線で通信できるように構成されている。
【００４０】
サーバ３は、適宜のコンピュータで構成されており、図示省略するキーボードやマウスなどにより入力を受け付ける入力部、画像表示を行うＣＲＴディスプレイや液晶ディスプレイ等の表示部、各種制御を行う制御部、各種データを記憶する記憶部、および有線での通信を行うＬＡＮボードなどの有線通信部を備えている。また、サーバ３の記憶部には、データベース４が設けられている。
【００４１】
定点監視端末５は、各種制御動作を行う制御部１１、サーバ３やモニタ装置９とデータ通信を行う有線通信部１２、各種データを記憶する記憶部１３、静止画像や動画像の撮影を行うカメラ１４、および移動体端末７と無線でデータ通信を行う無線通信部１５を備えている。この定点監視端末５は、記憶部１３に記憶されている対象検出プログラムに従って制御部１１が各種動作を実行する。
【００４２】
移動体端末７は、各種制御を行う制御部２１、定点監視端末５と無線でデータ通信を行う無線通信部２２、発光を行う発光部２３、静止画像や動画像の撮影を行うカメラ２４、各種の表示を行う表示部２５、利用者の操作入力を受け付ける操作部２６、および画像データなどの各種データを記憶する記憶部２７を備えている。この移動体端末７は、記憶部２７に記憶されている移動体プログラムに従って制御部２１が各種動作を実行する。
【００４３】
モニタ装置９は、各種制御を行う制御部３１、サーバ３や定点監視端末５と有線で通信を行う有線通信部３２、各種データを記憶する記憶部３３、タッチパネルあるいは押下ボタンで構成されて操作入力を受け付ける操作部３４、およびＣＲＴディスプレイや液晶ディスプレイで構成されて画像を表示する表示部３５で構成されている。このモニタ装置９は、記憶部３３に記憶されている表示プログラムに従って制御部３１が各種動作を実行する。
【００４４】
図３は、定点監視端末５の監視領域Ｅを説明する側面から見た説明図である。
カメラ１４は、広角の撮影を行う広域カメラであり、図示するように広域の撮影領域１４Ｅを撮影する。
【００４５】
無線通信部２２は、所定方向の所定領域にて無線通信する平面アンテナで構成されており、図示する通信領域１５Ｅで移動体端末７と無線通信する。この平面アンテナは、指向性特性を有するものである。
【００４６】
撮影領域１４Ｅと通信領域１５Ｅは、共通させることが好ましく、図示するようにほぼ一致するように構成されている。この領域の一致は、物理的な撮影可能領域と通信可能領域を一致させる構成とする、あるいは、広角レンズで撮影するカメラ１４の撮影画像から、無線通信部１５による通信領域１５Ｅの外側の画像を除いて撮影領域１４Ｅの画像を取得し、これによって領域を一致させる構成とするなど、適宜の方法により行うことができる。
【００４７】
なお、カメラ１４は、広角のカメラに限らず、魚眼のカメラとするなど、適宜のカメラを用いることができる。魚眼のカメラとした場合、中央から外周へ向かうほど縮小されて写り画像全体がひずむ。このひずみを画像処理によって補正し、通常のカメラで撮影したのと同じひずみのない画像を得てもよい。
【００４８】
図４は、カメラ１４で撮影領域１４Ｅを撮影した静止画像である撮影画像Ｇにおいて監視対象物Ｔを検出する仕組みを説明する説明図である。
撮影画像Ｇは、定点監視端末５の制御部１１により、複数の判定領域４１にメッシュ状（格子状）に分割される。この判定領域４１の１つについて所望の色（検出対象となる発光色や発光形状）が所定割合異常存在する、あるいは連続する撮影画像Ｇ（この連続する撮影画像Ｇの集合が動画映像となる）において判定領域４１の１つに所望の色の所望の点滅が存在する等の基準により、監視対象物Ｔの存在を検知する。この監視対象物Ｔは、カメラ１４に写った移動体端末７である。
【００４９】
そして、撮影画像Ｇは、定点設置された定点監視端末５のカメラ１４によるものであるから、壁などの設置物が必ず写る領域がマスキング領域４２として設定される。従って、監視対象物Ｔの存在を判定する際、マスキング領域４２については判定処理を行わない。これにより、短時間で効率よく判定できるようにしている。
【００５０】
なお、図示では判定領域４１を全て同一サイズにしているが、カメラ１４が魚眼のカメラである場合、撮影画像Ｇは、中心から外周へ向かうに従って広い領域が１画素に縮小されるため、判定領域４１を中心から外周へ向かって序々に小さくしてもよい。また、判定領域４１のサイズは全て同じにしておき、監視対象物Ｔが存在すると判定する基準を、中心よりも外周へ向かうに従って、判定領域４１内に所望の色が存在する割合を小さく設定してもよい。
【００５１】
またさらに、判定基準における判定領域４１内に所望の色が存在する割合を小さく設定しておき、隣合う判定領域４１で連続して監視対象物Ｔを検知すれば１つの移動体端末７であると認識する構成にしてもよい。
【００５２】
図５は、主に定点監視端末５の制御部１１が実行する全体の動作を示すフローチャートである。
制御部１１は、カメラ１４で連続的に撮影している撮影画像Ｇにより動くものが存在するか否か検知するモーション検知処理を実行する（ステップＳ１）。
【００５３】
動きがなければ（ステップＳ２：Ｎｏ）、このモーション検知処理を継続して行い、動きがあれば（ステップＳ２：Ｙｅｓ）、制御部１１は、ポーリングを行う（ステップＳ３）。このポーリングは、移動体端末７に対して移動体ＩＤを応答させる処理であり、通信領域１５Ｅに無線信号を送信する。なお、ステップＳ１〜Ｓ２を省略し、常時ポーリングを行う構成にしてもよい。
【００５４】
制御部１１は、応答があるまでポーリングを継続し（ステップＳ４：Ｎｏ）、応答があれば（ステップＳ４：Ｙｅｓ）、移動体端末７の存否を判定する対象物特定処理を実行する（ステップＳ５）。
【００５５】
制御部１１は、対象物特定処理の終了後、検知した移動体端末７に対して画像データを送受信する画像データ送受信処理を実行する（ステップＳ６）。
【００５６】
制御部１１は、検知した移動体端末７を追尾処理を実行する（ステップＳ７）。この追尾処理は、カメラ１４で連続撮影した複数の連続する撮影画像Ｇにおいて、ステップＳ５で認識した移動体端末７の画像を画像マッチングにより次々に検知し、移動体端末７の位置の移動を追尾する処理である。
【００５７】
制御部１１は、追尾している移動体端末７が撮影領域１４Ｅの外に出るまでステップＳ６〜Ｓ７を継続し（ステップＳ８：Ｎｏ）、撮影領域１４Ｅの外に出ると（ステップＳ８：Ｙｅｓ）、処理を終了する。
【００５８】
図６は、対象物特定処理を実行する定点監視端末５の制御部１１と、これに応答する移動体端末７の制御部２１の動作を示すフローチャートである。
制御部１１は、移動体端末７に対して移動体ＩＤの送信と発光を要求する発光等要求信号を送信する（ステップＳ１１）。
【００５９】
移動体端末７の制御部２１は、発光等要求信号を受信し（ステップＳ１２）、発光処理を実行する（ステップＳ１３）。この発光処理では、発光部２３により、所定の色を所定時間発光させる、所定の色による所定の点滅発光を行う、所定の複数の色を所定の順番で発光させる、所定の模様若しくは形状に所定の色で発光させるなど、撮影画像Ｇに写っている周囲の物品や人物等から自己を識別させることが可能な発光を行う。ここで、発光処理にて行う発光の色や点灯／点滅の違いなどの発光種別は、発光等要求信号により指定されたものとすることもできる。
【００６０】
移動体端末７の制御部２１は、上記発光処理を実行するとともに、移動体ＩＤ送信処理を実行し、自己の移動体ＩＤを無線通信部２２により送信する（ステップＳ１４）。この移動体ＩＤ送信処理と発光処理とは、予め定めた時間間隔で実行し、同時にすることが好ましい。
【００６１】
定点監視端末５の制御部１１は、カメラ１４により撮影画像Ｇを取得し、上述した監視対象物Ｔの検出により発光位置（監視対象物Ｔの位置）を特定する（ステップＳ１５）。
【００６２】
制御部１１は、移動体端末７から送信された移動体ＩＤを受信し（ステップＳ１６）、この移動体ＩＤと上記ステップＳ１５で取得した発光位置の監視対象物Ｔ（移動体端末７）とを関連付ける（ステップＳ１７）。
【００６３】
制御部１１は、撮影画像Ｇ内に移動体端末７が複数検知されて移動体ＩＤと監視対象物Ｔを関連づけられていない残端末がある場合（ステップＳ１８：Ｙｅｓ）、ステップＳ１１に処理を戻して繰り返し、残端末がなければ（ステップＳ１８：Ｎｏ）、対象物特定処理を終了する。
【００６４】
ここで、複数の移動体端末７が存在する場合は、撮影画像Ｇに写っている監視対象物Ｔと移動体端末７の移動体ＩＤとを正しく対応付ける必要がある。このため、例えば移動体ＩＤが取得できていれば、ステップＳ１１からの処理を繰り返す際に、移動体ＩＤを指定してその移動体ＩＤの移動体端末７にだけ発光処理（ステップＳ１３）を実行させるようにし、この処理を全ての移動体ＩＤについて繰り返せばよい。
【００６５】
また、この方法に限らず、他の方法により監視対象物Ｔと移動体端末７の移動体ＩＤとを１対１で対応させて取得してもよい。
【００６６】
例えば、ステップＳ１１〜Ｓ１８の処理にてアンチコリジョン（anti-collision）と呼ばれる衝突回避アルゴリズムを用いてもよい。この衝突回避アルゴリズムには、所定範囲のＩＤを指定して応答させ、衝突が起こった場合に指定するＩＤの範囲を狭くして再度応答させ、これを繰り返すといった公知のアルゴリズムを使用することができる。この場合も、複数の移動体端末７からの応答タイミングを異ならせることができ、それぞれのタイミングで移動体端末７の発光処理と移動体ＩＤ送信処理が行われる。これにより、監視対象物Ｔと移動体端末７の移動体ＩＤとを正しく対応付けることができる。
【００６７】
このように、監視領域Ｅの中に複数の移動体端末７が存在している場合でも、１つの移動体端末７のみを指定して発光と移動体ＩＤの送信を実行させ、これを全ての移動体端末７について順次に実行させることで、撮影領域１４Ｅの撮影画像Ｇで把握される移動体端末７の位置と、通信領域１５Ｅでの通信にて把握される移動体端末７の移動体ＩＤとを正確に一致させることができる。
【００６８】
なお、この実施例では移動体端末７に発光と移動体ＩＤの送信を同時に実行させているが、これに限らず他の構成とすることもできる。例えば、移動体ＩＤを指定してその移動体ＩＤの移動体端末７に移動体ＩＤの送信を求めずに発光を行わせる構成とすることもできる。この場合も、指定した移動体ＩＤの発光であるため、その移動体ＩＤの移動体端末７が撮影画像Ｇにおけるどの位置に存在するかを特定でき、位置と移動体ＩＤを一致させることができる。
【００６９】
図７は、画像データ送受信処理を実行する定点監視端末５の制御部１１と移動体端末７の制御部２１とサーバ３の制御部の動作を示すフローチャートであり、図８は、移動体端末７やサーバ３に記憶するデータの構成を説明する説明図である。
【００７０】
定点監視端末５の制御部１１は、上述したステップＳ１５で取得した撮影画像に対して画像切り出し処理を実行する（ステップＳ３１）。
【００７１】
この画像切り出し処理では、撮影画像Ｇから、ステップＳ１５で特定した発光位置（監視対象物Ｔが写っている位置）の近辺のみを切り取って対象部分画像とすることで、対象部分を抽出する処理を行う。
【００７２】
制御部１１は、移動体向けデータ送信を実行し（ステップＳ３２）、切り出し画像と、定点監視端末５の定点監視端末ＩＤと、対象部分画像のもとである撮影画像Ｇの撮影時刻とを送信する。
【００７３】
移動体端末７の制御部２１は、送信されてきたデータを受信し（ステップＳ３３）、受信したデータを記憶部２７に記憶（ステップＳ３４）して処理を終了する。
【００７４】
ここでデータを記憶する際、図８（Ａ）に示すように、撮影時刻と定点監視端末ＩＤを切り出し画像に関連づけて記憶する。この例では、移動体管理データ６０として、定点監視端末ＩＤ６１、撮影日６２、撮影時刻６３、対象部分画像６４、および区分６５（移動体カメラでの撮影か定点カメラでの撮影か）を記憶している。このように移動体端末７の記憶部２７に、その移動体端末７に関する情報を収集し記憶することで、分散型記録方式を実現することができる。
【００７５】
定点監視端末５の制御部１１は、監視領域Ｅ内に存在している移動体端末７に対して、移動体ＩＤを指定して移動体取得画像送信要求を実行する（ステップＳ３５）。
【００７６】
移動体端末７の制御部２１は、移動体取得画像送信要求を受信し（ステップＳ３６）、記憶部２７に記憶している画像データを移動体取得画像として送信する（ステップＳ３７）。
ここで送信する画像データは、記憶部２７に記憶している全ての画像データとすることも可能であるが、現時点から所定期間内（例えば同日内あるいは数時間内など）に取得した画像データだけとする、あるいは別途設定する受け渡し必要フラグがＯＮになっている画像データにするなど、適宜のルールに従って定めてもよい。
【００７７】
定点監視端末５の制御部１１は、移動体取得画像を受信して一時記憶し（ステップＳ３８）、サーバ向けデータ送信を実行し（ステップＳ３９）、撮影画像Ｇと、ステップＳ３８で取得した移動体取得画像と、定点監視端末ＩＤと、ステップＳ３８で移動体取得画像を取得した移動体端末７の移動体ＩＤと、撮影画像Ｇの撮影時刻とを送信する。
【００７８】
サーバ３の制御部は、データを受信し（ステップＳ４０）、受信したデータを移動体ＩＤ別に整理し（ステップＳ４１）、図８（Ｂ）に示すようにサーバ管理データ７０としてデータベース４に記憶する（ステップＳ４２）。
【００７９】
この例では、移動体ＩＤ７１、定点監視端末ＩＤ７２、撮影日７３、撮影時刻７４、撮影全体画像７５、対象部分画像７６、区分７７（定点カメラか移動体カメラか）を記憶している。
【００８０】
このように、サーバ３の制御部は、移動体取得画像を、その移動体ＩＤの移動体端末７にて取得された画像として記憶し、撮影画像Ｇを、定点監視端末ＩＤと撮影時刻に関連づけてその時刻にその場所で撮影された画像として記憶する。このデータベース４での記憶により、全ての移動体端末７についての情報を整理して記録する集中記録方式を実現できる。
【００８１】
定点監視端末５の制御部１１は、自己が設置されている室内にモニタ装置９が存在しているか否かを適宜の設定データにより判定し、なければ（ステップＳ４３：Ｎｏ）、処理を終了する。
【００８２】
モニタ装置９が存在していれば（ステップＳ４３：Ｙｅｓ）、モニタ表示処理を実行し（ステップＳ４４）、処理を終了する。
【００８３】
図９は、モニタ表示処理を実行する定点監視端末５の制御部１１と移動体端末７の制御部２１とモニタ装置９の制御部３１の動作を示すフローチャートである。
定点監視端末５の制御部１１は、移動体端末７へ全対象画像データを要求する全画像要求信号を送信する（ステップＳ５１）。ここでいう全対象画像データとは、移動体端末７の記憶部２７に記憶されている全ての画像とすることもできるが、そのうちの関連する全画像とすることもできる。この関連する全画像とは、例えばステップＳ３３で受信した切り出し画像と、ステップＳ３７で送信された画像とすることができる。
【００８４】
移動体端末７の制御部２１は、要求を受信し（ステップＳ５２）、全対象画像データを送信する（ステップＳ５３）。
【００８５】
定点監視端末５の制御部１１は、無線通信部１５により移動体端末７から全対象画像データを受信し（ステップＳ５４）、受信した全対象画像データを有線通信部１２によりモニタ装置９へ送信する（ステップＳ５５）。
【００８６】
モニタ装置９の制御部３１は、有線通信部３２により全対象画像データを受信し（ステップＳ５６）、受信した全対象画像データを表示部３５に一覧表示する（ステップＳ５７）
制御部３１は、操作部３４での操作入力を受け付けると（ステップＳ５８：Ｙｅ）、操作入力により指定された指定画像を表示部３５に拡大表示する（ステップＳ５９）。
【００８７】
終了操作がされるまで（ステップＳ６０：Ｎｏ）、制御部３１はステップＳ５８〜Ｓ５９を繰り返し、操作部３４で終了操作が行われると（ステップＳ６０：Ｙｅｓ）、処理を終了する。
【００８８】
以上の構成および動作により、画像上での移動体端末７の位置の認識と、その移動体端末７の移動体ＩＤ情報との一致を容易かつ確実に実行することができる。特に、監視領域Ｅに複数の移動体端末７が存在していて、どの移動体端末７が送信した移動体ＩＤなのか定点監視端末５の無線通信部１５では不明な場合であっても、撮影画像Ｇに写っているどの移動体端末７が送信した移動体ＩＤなのかを判定することができる。従って、撮影画像Ｇに写っている移動体端末７とその移動体端末７の移動体ＩＤを一致させて、多数の定点監視端末５で取得した撮影画像Ｇ等のデータを移動体端末７別に情報処理することが容易にできる。
【００８９】
例えば、図１０の説明図に示すように、複数の定点監視端末５で連続的に監視されている場合、隣り合う定点監視端末５のカメラ１４で撮影した各撮影画像Ｇは、図示するように端部付近でどちらにも写るか、一方（例えば図１０（Ａ））から消えるとすぐに他方（例えば図１０（Ｂ））に写ることになる。
【００９０】
このような場合でも、上述した動作によって、それぞれの定点監視端末５が撮影画像Ｇに移動体端末画像７ａとして写っている移動体端末７の位置と移動体ＩＤを一致させることができるため、この移動体ＩＤと撮影画像Ｇを関連づけて記憶することができる。そして、移動体ＩＤの一致する撮影画像Ｇなどのデータを収集することで、その移動体端末７に関する全ての画像を収集することができる。
【００９１】
また、この移動体ＩＤの一致するデータの収集により、複数の定点監視端末５によるそれぞれの監視領域Ｅをいつどのように通過したのかを容易に認識できる。従って、移動体端末７が、ある定点監視端末５の監視領域Ｅから他の定点監視端末５の監視領域Ｅへ移動しても、同じ移動体ＩＤの移動体端末７として追跡することができる。
【００９２】
この対象検出システム１を病院に設置した例であれば、図１１（Ａ）の説明図に示すように、まず救急車の車内に設置された定点監視端末５で患者Ｍの様子を撮影し、その撮影画像を患者所有の移動体端末７に記憶させることができる。このとき、救急車の車内の定点監視端末５がサーバ３と通信不可能であっても、撮影画像や撮影時刻、定点監視端末５の定点監視端末ＩＤが移動体端末７の記憶部２７に記憶されるために特に問題はない。
【００９３】
図１１（Ｂ）に示すように病院に到着して患者Ｍが担架で運ばれる際、通路内に設置された定点監視端末５により、移動体端末７の認識と通信が行われる。これにより、移動体端末７の記憶部２７には、さらに画像データが記憶され、また移動体端末７に記憶されていた救急車の車内での撮影画像などがサーバ３に送信される。
【００９４】
図１１（Ｃ）に示すように処置室内に患者Ｍが運び込まれると、定点監視端末５は、撮影や移動体端末７の移動体ＩＤの認識に加えて、モニタ装置９へのデータ送信を実行する。これにより、モニタ装置９では、救急車の車内で撮影された患者Ｍの様子、病院の通路を搬送されている患者Ｍの様子、処置室に入ったときの患者Ｍの様子など、あらゆるシーンで撮影された撮影画像を確認することができる。従って、過去に刻々と変化した患者Ｍの容態を処置室の医師が確認でき、状況判断や病状判断等に生かすことができる。
【００９５】
また、図１２（Ａ）に示すように、監視領域Ｅ内に複数の移動体端末７（図示では移動体端末画像７ａ，７ｂ）が存在すると、従来であれば定点監視端末５の無線通信部１５は、全ての移動体端末７のＩＤを読み取るか同一タイミングの応答によって読み取れないことになる。このように全ての移動体端末７のＩＤを読み取るか同一タイミングの応答によって読み取れない場合、撮影画像Ｇ中のどの移動体端末画像７ａ，７ｂがどのＩＤを有しているのか識別できない。
【００９６】
これに対し、上述した実施例では、図１２（Ｂ）に示すように、１つの移動体端末７（例えば移動体端末画像７ａとして写っている）にのみ発光およびＩＤ送信を行わせるため、撮影画像Ｇ中の移動体端末画像７ａの位置と取得したＩＤとが１対１で対応し、正確かつ確実に関連づけすることができる。
【００９７】
また、図１２（Ｃ）に示すように、他の移動体端末画像７ｂとして写る移動体端末７についても、１つだけで発光と無線通信を行うため、撮影画像Ｇ中に移動体端末画像７ｂとして写る移動体端末７の位置と取得したＩＤとが１対１で対応し、正確かつ確実に関連づけすることができる。
【００９８】
このようにして、監視領域Ｅ内に複数の移動体端末７が存在しても、撮影画像Ｇ中の移動体端末７を１つずつ特定して位置とＩＤを関連づけできるため、撮影画像Ｇ中の移動体端末７と無線通信で取得したＩＤとを確実に一致させることができる。
【実施例２】
【００９９】
図１３は、実施例１の対象検出システム１について、定点監視端末５と移動体端末７の間で行う対象物特定処理を異ならせた例のフローチャートである。
この実施例２では、移動体端末７から信号を発信して無線通信と発光位置特定を実行する。
【０１００】
まず、移動体端末７の制御部２１は、定点監視端末５へ移動体ＩＤを送信して通信要求を行う（ステップＳ７１）。この通信要求は、所定時間置きに繰り返し実行する、あるいは利用者の操作によって実行するなど、適宜のタイミングで実行するとよい。
【０１０１】
定点監視端末５の制御部１１は、通信要求に応じて移動体ＩＤを受信し（ステップＳ７２）、発光を要求する発光要求信号を送信する（ステップＳ７３）。この発光要求信号は、移動体ＩＤを特定して行い、該当する移動体ＩＤの移動体端末７にのみ発光させるようにする。
【０１０２】
移動体端末７の制御部２１は、発光等要求信号を受信し（ステップＳ７４）、発光処理を実行する（ステップＳ７５）。
【０１０３】
定点監視端末５の制御部１１は、カメラ１４により撮影画像Ｇを取得し、上述した監視対象物Ｔの検出により発光位置（監視対象物Ｔの位置）を特定する（ステップＳ７６）。
【０１０４】
制御部１１は、ステップＳ７２で取得した移動体ＩＤと上記ステップＳ７６で取得した発光位置の監視対象物Ｔ（移動体端末７）とを関連付け（ステップＳ７７）、対象物特定処理を終了する。
【０１０５】
その他の構成および動作は、実施例１と同一であるので、その詳細な説明を省略する。
以上の構成および動作により、実施例１と同一の効果を得ることができる。
【０１０６】
なお、上述した各実施例では、対象部分画像６４，７６や撮影全体画像７５、撮影画像Ｇなど、取得した画像について必要に応じてマスキングを行っても良い。例えば、連続撮影している動画上での移動体（人および物）を認識し、移動体端末７であると認識した部位に続く移動体（人および物）の周囲にマスキングをする、あるいは移動体端末画像７ａに最も近い顔以外の顔（他人と思われる）を認識すればこの他人と思われる顔部分にマスキングするといった構成にしてもよい。この場合、他人のプライバシー保護等に役立てることができる。また、画像圧縮技術を用いて圧縮保存する場合に、マスキングの分だけデータ量をさらに少なくすることもできる。
【０１０７】
また、ＩＤの特定や衝突回避処理等によって１つの移動体端末７を指定して発光させた場合に、対象となる発光が複数検知された場合、再度同じ移動体端末７に対して発光色、発光時間、発光形状、または点滅種別等を先の発光と異ならせた別の発光を行わせる構成にしてもよい。これにより、最初に指示した発光と同系色の別の発光体がたまたま撮影画像Ｇ内に存在していた場合でも、発光を異ならせることで撮影画像Ｇ内における移動体端末７の位置を確実に特定することができる。
【０１０８】
また、移動体端末７の発光部２３の発光を定点監視端末５のカメラ１４で確実に撮影できる構成を備えても良い。
例えば、担架８の高い位置に移動体端末７の固定部を設け、この固定部に移動体端末７を発光部２３が天井へ向くように固定する構成にしてもよい。
他にも、上述したステップＳ１１でのＩＤ及び発光要求に対してＩＤの応答がありながら発光を検知できない場合に、ＩＤの応答をした移動体端末７（若しくは処理を実行している定点監視端末５）により発光部２３を天井（若しくは定点監視端末５のカメラ１４）へ向けるように音声等の出力によって報知（アナウンス）してもよい。
このように構成することで、監視領域Ｅ内の移動体端末７の発光部２３の発光を確実に検出することができる。
【０１０９】
また、複数設けられている定点監視端末５の一部で、発光部２３が隠れていた等の原因で移動体端末７のＩＤと位置を一致できなかった場合、他の定点監視端末５で一致させたＩＤと対象部分画像６４，７６を用いてＩＤと移動体端末７の画像（位置）を関連づけてもよい。
【０１１０】
この場合、撮影画像Ｇにおいて発光が検出できなくとも、読み取ったＩＤに関連づけられて記憶されているサーバ管理データ７０を参照し、該読み取ったＩＤに対応する移動体端末７の対象部分画像７６を取得する。
【０１１１】
そして、発光が検出できなかった撮影画像Ｇにおいて、サーバ管理データ７０から取得した対象部分画像７６との一致度が所定量以上となる移動体端末７の画像を画像マッチングにより検出し、この検出した移動体端末７の画像と読み取ったＩＤとを関連づけて記憶するとよい。
【０１１２】
これにより、監視システム１は、一度でもＩＤと移動体端末７の発光を関連づけることができれば、全ての定点監視端末５の撮影画像ＧにおいてＩＤと移動体端末７の画像を関連づけることができる。
【０１１３】
この発明の構成と、上述の実施形態との対応において、
この発明の対象検出装置は、実施形態の定点監視端末５に対応し、
以下同様に、
撮影手段は、カメラ１４に対応し、
無線通信手段は、無線通信部１５に対応し、
制御手段は、制御部２１に対応し、
無線通信手段は、無線通信部２２に対応し、
発光手段は、発光部２３に対応し、
部分画像データは、対象部分画像６４に対応し、
移動体端末画像認識処理および移動体端末画像認識工程は、ステップＳ１５，Ｓ７６に対応し、
ＩＤ情報取得処理およびＩＤ情報取得工程は、ステップＳ１６，Ｓ７２に対応し、
関連付け処理および関連付け工程は、ステップＳ１７，Ｓ７７に対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
【産業上の利用可能性】
【０１１４】
この発明は、医療施設での患者の追尾と状態把握に限らず、イベント会場やテーマパークや建物内などの様々な場所での人物や物品の追尾と状況把握に用いることができ、監視システム、セキュリティシステム、ああるいは公共安全の支援システムなどの様々な用途に使用できる。
【符号の説明】
【０１１５】
１…対象検出システム、５…定点監視端末、７…移動体端末、１４…カメラ、１５…無線通信部、２１…制御部、２２…無線通信部、２３…発光部、６４…対象部分画像、Ｇ…撮影画像
【技術分野】
【０００１】
この発明は、例えば街頭や施設において対象を検出するような対象検出システムに関する。
【背景技術】
【０００２】
従来、画像や情報を用いてエリア内を監視する技術が提案されている。例えば、警戒対象が所定範囲内に存在するか判断する警戒対象検出装置が提案されている（特許文献１参照）。
【０００３】
この警戒対象検出装置は、通信エリア内に存在する全ての警戒対象が保持する無線端末から固体識別情報を受信し、前記通信エリア内の所定範囲の画像データを取得する。そして、該画像データを解析して警戒対象の位置情報を抽出し、抽出した位置情報の方向へ指向性を向けた狭い範囲での通信を行い、その範囲の無線端末から固体識別情報を取得する。この固体識別情報を、先に受信した全ての固体識別情報から削除することで、指向性を向けた方向の警戒対象の固体識別情報を削除できる。この指向性の方向を変えながら、個体識別情報を削除していけば、残った個体識別情報が画像データに写っていないと判別できるとされている。
【０００４】
しかし、この警戒対象検出装置の方法は、通信エリア内に存在し、かつ画像データに写っていない無線端末を探すことができても、画像データに写っている無線端末のＩＤを正確に取得するためには不向きであった。特に、指向性を絞り込んだとしても、その指向性の範囲内に無線端末が複数存在して画像データにも複数の警戒対象が写っていれば、どの固体識別情報がどの警戒対象のものか不明であるという問題点があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１７６４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明は、上述の問題に鑑み、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行できる対象検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムであって、前記対象検出装置の制御手段は、前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である対象検出システムであることを特徴とする。
【０００８】
前記無線通信手段は、ＲＦＩＤタグ、ＲＦＩＤタグと無線通信するリーダライタ、平面アンテナを用いた無線通信装置、ダイポールアンテナやループアンテナ等の線状アンテナを用いた無線通信装置、赤外線通信装置、あるいはブルートゥース（登録商標）通信装置など、無線で通信できる適宜の通信手段とすることができる。
【０００９】
前記発光手段は、ＬＥＤやランプなどの照明装置、または液晶ディスプレイや有機ＥＬディスプレイなどの発光表示装置で構成することができる。
【００１０】
前記制御手段は、ＣＰＵやＭＰＵなど制御処理を実行可能な演算装置で構成することができる。
【００１１】
前記移動体端末は、携帯電話機やＰＤＡ、専用端末など、移動可能な適宜の端末で構成することができる。
【００１２】
前記撮影手段は、ＣＭＯＳセンサやＣＣＤセンサを備えたデジタルカメラあるいはデジタルビデオカメラとすることができる。
【００１３】
前記対象検出装置は、撮影手段と無線通信手段と制御手段とを備えた適宜の端末で構成することができる。
【００１４】
この発明により、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行することができる。
【００１５】
この発明の態様として、前記移動体端末画像認識処理は、前記無線通信手段により前記移動体端末に対して所定タイミングで発光させるように通知し、そのタイミングで発光した移動体端末を認識する構成とすることができる。
【００１６】
前記所定タイミングは、発光指示信号を送信してその発光指示信号の受信と同時あるいは所定時間後、または、アンチコリジョンと呼ばれる衝突回避処理にて指定された自己ＩＤに基づくタイミングなど、適宜のタイミングとすることができる。
【００１７】
この態様により、所定タイミングで発光した移動体端末を撮影画像のどの位置に存在するか確認することができる。特に、撮影画像の範囲内に複数の移動体端末が存在していても、各移動体端末の発光タイミングを異ならせることにより、撮影画像におけるそれぞれの移動体端末の位置を１つずつ確実に認識することができる。
【００１８】
またこの発明の態様として、前記移動体端末画像認識処理は、特定のＩＤの前記移動体端末に前記発光を行わせる構成とすることができる。
これにより、撮影画像の範囲内に複数の移動体端末が存在していても、撮影画像における特定のＩＤの移動体端末の位置を確実に認識することができる。
【００１９】
またこの発明の態様として、前記特定のＩＤの前記移動体端末は、指定されたＩＤの移動体端末、あるいは、ＩＤ送信と発光を両方実行する所定タイミングに至った移動体端末とすることができる。
【００２０】
これにより、撮影画像の範囲内に複数の移動体端末が存在していても、発光を行う移動体端末を確実に１つとすることができ、特定のＩＤの移動体端末の位置を確実に認識することができる。
【００２１】
またこの発明の態様として、前記対象検出装置は、該対象検出装置の撮影手段で撮影した撮影画像データをその撮影領域に写っている前記移動体端末に送信する構成であり、前記移動体端末は、受信した前記撮影画像データを記憶する記憶手段を備えることができる。
前記記憶手段は、ハードディスク、不揮発性メモリなど、データを記憶する適宜の記憶装置で構成することができる。
この態様により、対象検出装置にデータを記憶することができる。
【００２２】
またこの発明の態様として、前記対象検出装置の制御手段は、前記撮影画像データから前記移動体端末が写っている部分を切り出し、この切り出した部分画像データを前記移動体端末へ送信する構成とすることができる。
【００２３】
前記部分画像データは、例えば発光認識した位置を中心等とする所定サイズの矩形、長方形、あるいは円形とする、発光認識した位置を含む連続画像において移動している物や人とする、あるいは発光認識した位置から所定範囲内で該位置に最も近い顔画像あるいは人物画像とするなど、発光認識した位置を基点とする所定範囲の画像データとすることができる。また、撮影画像データが魚眼のカメラで撮影されたものである場合、部分画像データは、画像処理によってひずみ補正を行い、通常のカメラで撮影したのと同じひずみのない画像に加工してもよい。
【００２４】
この態様により、画像データにおける必要な部分だけを移動体端末へ送信することができ、データ量を削減して利便性を高めることができる。
【００２５】
またこの発明の態様として、前記対象検出装置の制御手段は、前記移動体端末に対して該移動体端末に記憶している移動体画像を送信させる移動体画像送信要求処理を実行する構成であり、前記移動体端末の制御手段は、前記移動体画像送信要求を受けて記憶している移動体画像を送信する移動体画像送信処理を実行する構成とすることができる。
【００２６】
これにより、移動体端末に記憶している移動体画像を取得することができる。従って、対象検出装置で撮影できない画像を移動体端末から得ることができ、この画像を利用することが可能となる。
【００２７】
またこの発明は、コンピュータを、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段として機能させる対象検出プログラムであって、前記制御手段に、前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行させる対象検出プログラムとすることができる。
【００２８】
これにより、コンピュータに対象検出プログラムをインストールして対象検出装置とすることができる。
【００２９】
またこの発明は、無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムにより対象を検出する対象検出方法であって、前記対象検出装置の制御手段により、前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識工程と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得工程と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け工程とを行う対象検出方法とすることができる。
これにより、実際に対象を検出することができる。
【００３０】
またこの発明は、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置であって、前記制御手段は、移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である対象検出装置とすることができる。
これにより、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行できる対象検出装置を提供することができる。
【発明の効果】
【００３１】
この発明により、画像上での移動体端末の位置の認識と、その移動体端末のＩＤ情報との一致を容易かつ確実に実行することができる。
【図面の簡単な説明】
【００３２】
【図１】対象検出システムの設置例を示す概略構成図。
【図２】対象検出システムの構成を示すブロック図。
【図３】定点監視端末の監視領域を説明する正面から見た説明図。
【図４】撮影画像において監視対象物を検出する仕組みを説明する説明図。
【図５】定点監視端末を中心とする全体動作を示すフローチャート。
【図６】対象物特定処理のフローチャート。
【図７】画像データ送受信処理のフローチャート。
【図８】移動体端末やサーバに記憶するデータの構成の説明図。
【図９】モニタ表示処理のフローチャート。
【図１０】監視領域間を移動する移動体端末の監視を説明する説明図。
【図１１】病院に設置した例での監視の様子を説明する説明図。
【図１２】撮影画像中の移動体端末画像の位置とＩＤとの対応説明図。
【図１３】実施例２の対象物特定処理のフローチャート。
【発明を実施するための形態】
【００３３】
この発明の一実施形態を以下図面と共に説明する。
【実施例１】
【００３４】
図１は、対象検出システム１の設置例を示す概略構成図である。この例では、病院施設に対象検出システム１が設置されている。
【００３５】
病院施設には、通路や処置室の天井に定点監視端末５が複数設置されている。この定点監視端末５は、監視領域Ｅが隣り合って連続するように配置されている。
【００３６】
また、救急車の車内の天井にも、定点監視端末５が設けられている。これにより、救急車の車内で搬送中の救急患者を定点監視端末５で撮影等することができる。そして、病院施設内に設けられた各定点監視端末５により、病院施設内に運び込まれた救急患者を玄関から処置室までずっと撮影しつつ追跡することができる環境を整えている。
【００３７】
救急患者を乗せる担架８には、移動体端末７が取り付けられている。この移動体端末７は、その救急患者を識別できるものであり、例えば携帯電話機とする、あるいは専用の移動体端末とするなど、適宜の装置で構成される。
【００３８】
図２は、対象検出システム１の構成を示すブロック図である。
対象検出システム１は、サーバ３、複数の定点監視端末５、複数のモニタ装置９、および移動体端末７により構成されている。
【００３９】
サーバ３、複数の定点監視端末５、及び複数のモニタ装置９は、有線のネットワーク（ＬＡＮなど）により相互に通信可能に接続されている。なお、このネットワークは、有線に限らず無線にしてもよい。
そして、定点監視端末５は、移動体端末７と無線で通信できるように構成されている。
【００４０】
サーバ３は、適宜のコンピュータで構成されており、図示省略するキーボードやマウスなどにより入力を受け付ける入力部、画像表示を行うＣＲＴディスプレイや液晶ディスプレイ等の表示部、各種制御を行う制御部、各種データを記憶する記憶部、および有線での通信を行うＬＡＮボードなどの有線通信部を備えている。また、サーバ３の記憶部には、データベース４が設けられている。
【００４１】
定点監視端末５は、各種制御動作を行う制御部１１、サーバ３やモニタ装置９とデータ通信を行う有線通信部１２、各種データを記憶する記憶部１３、静止画像や動画像の撮影を行うカメラ１４、および移動体端末７と無線でデータ通信を行う無線通信部１５を備えている。この定点監視端末５は、記憶部１３に記憶されている対象検出プログラムに従って制御部１１が各種動作を実行する。
【００４２】
移動体端末７は、各種制御を行う制御部２１、定点監視端末５と無線でデータ通信を行う無線通信部２２、発光を行う発光部２３、静止画像や動画像の撮影を行うカメラ２４、各種の表示を行う表示部２５、利用者の操作入力を受け付ける操作部２６、および画像データなどの各種データを記憶する記憶部２７を備えている。この移動体端末７は、記憶部２７に記憶されている移動体プログラムに従って制御部２１が各種動作を実行する。
【００４３】
モニタ装置９は、各種制御を行う制御部３１、サーバ３や定点監視端末５と有線で通信を行う有線通信部３２、各種データを記憶する記憶部３３、タッチパネルあるいは押下ボタンで構成されて操作入力を受け付ける操作部３４、およびＣＲＴディスプレイや液晶ディスプレイで構成されて画像を表示する表示部３５で構成されている。このモニタ装置９は、記憶部３３に記憶されている表示プログラムに従って制御部３１が各種動作を実行する。
【００４４】
図３は、定点監視端末５の監視領域Ｅを説明する側面から見た説明図である。
カメラ１４は、広角の撮影を行う広域カメラであり、図示するように広域の撮影領域１４Ｅを撮影する。
【００４５】
無線通信部２２は、所定方向の所定領域にて無線通信する平面アンテナで構成されており、図示する通信領域１５Ｅで移動体端末７と無線通信する。この平面アンテナは、指向性特性を有するものである。
【００４６】
撮影領域１４Ｅと通信領域１５Ｅは、共通させることが好ましく、図示するようにほぼ一致するように構成されている。この領域の一致は、物理的な撮影可能領域と通信可能領域を一致させる構成とする、あるいは、広角レンズで撮影するカメラ１４の撮影画像から、無線通信部１５による通信領域１５Ｅの外側の画像を除いて撮影領域１４Ｅの画像を取得し、これによって領域を一致させる構成とするなど、適宜の方法により行うことができる。
【００４７】
なお、カメラ１４は、広角のカメラに限らず、魚眼のカメラとするなど、適宜のカメラを用いることができる。魚眼のカメラとした場合、中央から外周へ向かうほど縮小されて写り画像全体がひずむ。このひずみを画像処理によって補正し、通常のカメラで撮影したのと同じひずみのない画像を得てもよい。
【００４８】
図４は、カメラ１４で撮影領域１４Ｅを撮影した静止画像である撮影画像Ｇにおいて監視対象物Ｔを検出する仕組みを説明する説明図である。
撮影画像Ｇは、定点監視端末５の制御部１１により、複数の判定領域４１にメッシュ状（格子状）に分割される。この判定領域４１の１つについて所望の色（検出対象となる発光色や発光形状）が所定割合異常存在する、あるいは連続する撮影画像Ｇ（この連続する撮影画像Ｇの集合が動画映像となる）において判定領域４１の１つに所望の色の所望の点滅が存在する等の基準により、監視対象物Ｔの存在を検知する。この監視対象物Ｔは、カメラ１４に写った移動体端末７である。
【００４９】
そして、撮影画像Ｇは、定点設置された定点監視端末５のカメラ１４によるものであるから、壁などの設置物が必ず写る領域がマスキング領域４２として設定される。従って、監視対象物Ｔの存在を判定する際、マスキング領域４２については判定処理を行わない。これにより、短時間で効率よく判定できるようにしている。
【００５０】
なお、図示では判定領域４１を全て同一サイズにしているが、カメラ１４が魚眼のカメラである場合、撮影画像Ｇは、中心から外周へ向かうに従って広い領域が１画素に縮小されるため、判定領域４１を中心から外周へ向かって序々に小さくしてもよい。また、判定領域４１のサイズは全て同じにしておき、監視対象物Ｔが存在すると判定する基準を、中心よりも外周へ向かうに従って、判定領域４１内に所望の色が存在する割合を小さく設定してもよい。
【００５１】
またさらに、判定基準における判定領域４１内に所望の色が存在する割合を小さく設定しておき、隣合う判定領域４１で連続して監視対象物Ｔを検知すれば１つの移動体端末７であると認識する構成にしてもよい。
【００５２】
図５は、主に定点監視端末５の制御部１１が実行する全体の動作を示すフローチャートである。
制御部１１は、カメラ１４で連続的に撮影している撮影画像Ｇにより動くものが存在するか否か検知するモーション検知処理を実行する（ステップＳ１）。
【００５３】
動きがなければ（ステップＳ２：Ｎｏ）、このモーション検知処理を継続して行い、動きがあれば（ステップＳ２：Ｙｅｓ）、制御部１１は、ポーリングを行う（ステップＳ３）。このポーリングは、移動体端末７に対して移動体ＩＤを応答させる処理であり、通信領域１５Ｅに無線信号を送信する。なお、ステップＳ１〜Ｓ２を省略し、常時ポーリングを行う構成にしてもよい。
【００５４】
制御部１１は、応答があるまでポーリングを継続し（ステップＳ４：Ｎｏ）、応答があれば（ステップＳ４：Ｙｅｓ）、移動体端末７の存否を判定する対象物特定処理を実行する（ステップＳ５）。
【００５５】
制御部１１は、対象物特定処理の終了後、検知した移動体端末７に対して画像データを送受信する画像データ送受信処理を実行する（ステップＳ６）。
【００５６】
制御部１１は、検知した移動体端末７を追尾処理を実行する（ステップＳ７）。この追尾処理は、カメラ１４で連続撮影した複数の連続する撮影画像Ｇにおいて、ステップＳ５で認識した移動体端末７の画像を画像マッチングにより次々に検知し、移動体端末７の位置の移動を追尾する処理である。
【００５７】
制御部１１は、追尾している移動体端末７が撮影領域１４Ｅの外に出るまでステップＳ６〜Ｓ７を継続し（ステップＳ８：Ｎｏ）、撮影領域１４Ｅの外に出ると（ステップＳ８：Ｙｅｓ）、処理を終了する。
【００５８】
図６は、対象物特定処理を実行する定点監視端末５の制御部１１と、これに応答する移動体端末７の制御部２１の動作を示すフローチャートである。
制御部１１は、移動体端末７に対して移動体ＩＤの送信と発光を要求する発光等要求信号を送信する（ステップＳ１１）。
【００５９】
移動体端末７の制御部２１は、発光等要求信号を受信し（ステップＳ１２）、発光処理を実行する（ステップＳ１３）。この発光処理では、発光部２３により、所定の色を所定時間発光させる、所定の色による所定の点滅発光を行う、所定の複数の色を所定の順番で発光させる、所定の模様若しくは形状に所定の色で発光させるなど、撮影画像Ｇに写っている周囲の物品や人物等から自己を識別させることが可能な発光を行う。ここで、発光処理にて行う発光の色や点灯／点滅の違いなどの発光種別は、発光等要求信号により指定されたものとすることもできる。
【００６０】
移動体端末７の制御部２１は、上記発光処理を実行するとともに、移動体ＩＤ送信処理を実行し、自己の移動体ＩＤを無線通信部２２により送信する（ステップＳ１４）。この移動体ＩＤ送信処理と発光処理とは、予め定めた時間間隔で実行し、同時にすることが好ましい。
【００６１】
定点監視端末５の制御部１１は、カメラ１４により撮影画像Ｇを取得し、上述した監視対象物Ｔの検出により発光位置（監視対象物Ｔの位置）を特定する（ステップＳ１５）。
【００６２】
制御部１１は、移動体端末７から送信された移動体ＩＤを受信し（ステップＳ１６）、この移動体ＩＤと上記ステップＳ１５で取得した発光位置の監視対象物Ｔ（移動体端末７）とを関連付ける（ステップＳ１７）。
【００６３】
制御部１１は、撮影画像Ｇ内に移動体端末７が複数検知されて移動体ＩＤと監視対象物Ｔを関連づけられていない残端末がある場合（ステップＳ１８：Ｙｅｓ）、ステップＳ１１に処理を戻して繰り返し、残端末がなければ（ステップＳ１８：Ｎｏ）、対象物特定処理を終了する。
【００６４】
ここで、複数の移動体端末７が存在する場合は、撮影画像Ｇに写っている監視対象物Ｔと移動体端末７の移動体ＩＤとを正しく対応付ける必要がある。このため、例えば移動体ＩＤが取得できていれば、ステップＳ１１からの処理を繰り返す際に、移動体ＩＤを指定してその移動体ＩＤの移動体端末７にだけ発光処理（ステップＳ１３）を実行させるようにし、この処理を全ての移動体ＩＤについて繰り返せばよい。
【００６５】
また、この方法に限らず、他の方法により監視対象物Ｔと移動体端末７の移動体ＩＤとを１対１で対応させて取得してもよい。
【００６６】
例えば、ステップＳ１１〜Ｓ１８の処理にてアンチコリジョン（anti-collision）と呼ばれる衝突回避アルゴリズムを用いてもよい。この衝突回避アルゴリズムには、所定範囲のＩＤを指定して応答させ、衝突が起こった場合に指定するＩＤの範囲を狭くして再度応答させ、これを繰り返すといった公知のアルゴリズムを使用することができる。この場合も、複数の移動体端末７からの応答タイミングを異ならせることができ、それぞれのタイミングで移動体端末７の発光処理と移動体ＩＤ送信処理が行われる。これにより、監視対象物Ｔと移動体端末７の移動体ＩＤとを正しく対応付けることができる。
【００６７】
このように、監視領域Ｅの中に複数の移動体端末７が存在している場合でも、１つの移動体端末７のみを指定して発光と移動体ＩＤの送信を実行させ、これを全ての移動体端末７について順次に実行させることで、撮影領域１４Ｅの撮影画像Ｇで把握される移動体端末７の位置と、通信領域１５Ｅでの通信にて把握される移動体端末７の移動体ＩＤとを正確に一致させることができる。
【００６８】
なお、この実施例では移動体端末７に発光と移動体ＩＤの送信を同時に実行させているが、これに限らず他の構成とすることもできる。例えば、移動体ＩＤを指定してその移動体ＩＤの移動体端末７に移動体ＩＤの送信を求めずに発光を行わせる構成とすることもできる。この場合も、指定した移動体ＩＤの発光であるため、その移動体ＩＤの移動体端末７が撮影画像Ｇにおけるどの位置に存在するかを特定でき、位置と移動体ＩＤを一致させることができる。
【００６９】
図７は、画像データ送受信処理を実行する定点監視端末５の制御部１１と移動体端末７の制御部２１とサーバ３の制御部の動作を示すフローチャートであり、図８は、移動体端末７やサーバ３に記憶するデータの構成を説明する説明図である。
【００７０】
定点監視端末５の制御部１１は、上述したステップＳ１５で取得した撮影画像に対して画像切り出し処理を実行する（ステップＳ３１）。
【００７１】
この画像切り出し処理では、撮影画像Ｇから、ステップＳ１５で特定した発光位置（監視対象物Ｔが写っている位置）の近辺のみを切り取って対象部分画像とすることで、対象部分を抽出する処理を行う。
【００７２】
制御部１１は、移動体向けデータ送信を実行し（ステップＳ３２）、切り出し画像と、定点監視端末５の定点監視端末ＩＤと、対象部分画像のもとである撮影画像Ｇの撮影時刻とを送信する。
【００７３】
移動体端末７の制御部２１は、送信されてきたデータを受信し（ステップＳ３３）、受信したデータを記憶部２７に記憶（ステップＳ３４）して処理を終了する。
【００７４】
ここでデータを記憶する際、図８（Ａ）に示すように、撮影時刻と定点監視端末ＩＤを切り出し画像に関連づけて記憶する。この例では、移動体管理データ６０として、定点監視端末ＩＤ６１、撮影日６２、撮影時刻６３、対象部分画像６４、および区分６５（移動体カメラでの撮影か定点カメラでの撮影か）を記憶している。このように移動体端末７の記憶部２７に、その移動体端末７に関する情報を収集し記憶することで、分散型記録方式を実現することができる。
【００７５】
定点監視端末５の制御部１１は、監視領域Ｅ内に存在している移動体端末７に対して、移動体ＩＤを指定して移動体取得画像送信要求を実行する（ステップＳ３５）。
【００７６】
移動体端末７の制御部２１は、移動体取得画像送信要求を受信し（ステップＳ３６）、記憶部２７に記憶している画像データを移動体取得画像として送信する（ステップＳ３７）。
ここで送信する画像データは、記憶部２７に記憶している全ての画像データとすることも可能であるが、現時点から所定期間内（例えば同日内あるいは数時間内など）に取得した画像データだけとする、あるいは別途設定する受け渡し必要フラグがＯＮになっている画像データにするなど、適宜のルールに従って定めてもよい。
【００７７】
定点監視端末５の制御部１１は、移動体取得画像を受信して一時記憶し（ステップＳ３８）、サーバ向けデータ送信を実行し（ステップＳ３９）、撮影画像Ｇと、ステップＳ３８で取得した移動体取得画像と、定点監視端末ＩＤと、ステップＳ３８で移動体取得画像を取得した移動体端末７の移動体ＩＤと、撮影画像Ｇの撮影時刻とを送信する。
【００７８】
サーバ３の制御部は、データを受信し（ステップＳ４０）、受信したデータを移動体ＩＤ別に整理し（ステップＳ４１）、図８（Ｂ）に示すようにサーバ管理データ７０としてデータベース４に記憶する（ステップＳ４２）。
【００７９】
この例では、移動体ＩＤ７１、定点監視端末ＩＤ７２、撮影日７３、撮影時刻７４、撮影全体画像７５、対象部分画像７６、区分７７（定点カメラか移動体カメラか）を記憶している。
【００８０】
このように、サーバ３の制御部は、移動体取得画像を、その移動体ＩＤの移動体端末７にて取得された画像として記憶し、撮影画像Ｇを、定点監視端末ＩＤと撮影時刻に関連づけてその時刻にその場所で撮影された画像として記憶する。このデータベース４での記憶により、全ての移動体端末７についての情報を整理して記録する集中記録方式を実現できる。
【００８１】
定点監視端末５の制御部１１は、自己が設置されている室内にモニタ装置９が存在しているか否かを適宜の設定データにより判定し、なければ（ステップＳ４３：Ｎｏ）、処理を終了する。
【００８２】
モニタ装置９が存在していれば（ステップＳ４３：Ｙｅｓ）、モニタ表示処理を実行し（ステップＳ４４）、処理を終了する。
【００８３】
図９は、モニタ表示処理を実行する定点監視端末５の制御部１１と移動体端末７の制御部２１とモニタ装置９の制御部３１の動作を示すフローチャートである。
定点監視端末５の制御部１１は、移動体端末７へ全対象画像データを要求する全画像要求信号を送信する（ステップＳ５１）。ここでいう全対象画像データとは、移動体端末７の記憶部２７に記憶されている全ての画像とすることもできるが、そのうちの関連する全画像とすることもできる。この関連する全画像とは、例えばステップＳ３３で受信した切り出し画像と、ステップＳ３７で送信された画像とすることができる。
【００８４】
移動体端末７の制御部２１は、要求を受信し（ステップＳ５２）、全対象画像データを送信する（ステップＳ５３）。
【００８５】
定点監視端末５の制御部１１は、無線通信部１５により移動体端末７から全対象画像データを受信し（ステップＳ５４）、受信した全対象画像データを有線通信部１２によりモニタ装置９へ送信する（ステップＳ５５）。
【００８６】
モニタ装置９の制御部３１は、有線通信部３２により全対象画像データを受信し（ステップＳ５６）、受信した全対象画像データを表示部３５に一覧表示する（ステップＳ５７）
制御部３１は、操作部３４での操作入力を受け付けると（ステップＳ５８：Ｙｅ）、操作入力により指定された指定画像を表示部３５に拡大表示する（ステップＳ５９）。
【００８７】
終了操作がされるまで（ステップＳ６０：Ｎｏ）、制御部３１はステップＳ５８〜Ｓ５９を繰り返し、操作部３４で終了操作が行われると（ステップＳ６０：Ｙｅｓ）、処理を終了する。
【００８８】
以上の構成および動作により、画像上での移動体端末７の位置の認識と、その移動体端末７の移動体ＩＤ情報との一致を容易かつ確実に実行することができる。特に、監視領域Ｅに複数の移動体端末７が存在していて、どの移動体端末７が送信した移動体ＩＤなのか定点監視端末５の無線通信部１５では不明な場合であっても、撮影画像Ｇに写っているどの移動体端末７が送信した移動体ＩＤなのかを判定することができる。従って、撮影画像Ｇに写っている移動体端末７とその移動体端末７の移動体ＩＤを一致させて、多数の定点監視端末５で取得した撮影画像Ｇ等のデータを移動体端末７別に情報処理することが容易にできる。
【００８９】
例えば、図１０の説明図に示すように、複数の定点監視端末５で連続的に監視されている場合、隣り合う定点監視端末５のカメラ１４で撮影した各撮影画像Ｇは、図示するように端部付近でどちらにも写るか、一方（例えば図１０（Ａ））から消えるとすぐに他方（例えば図１０（Ｂ））に写ることになる。
【００９０】
このような場合でも、上述した動作によって、それぞれの定点監視端末５が撮影画像Ｇに移動体端末画像７ａとして写っている移動体端末７の位置と移動体ＩＤを一致させることができるため、この移動体ＩＤと撮影画像Ｇを関連づけて記憶することができる。そして、移動体ＩＤの一致する撮影画像Ｇなどのデータを収集することで、その移動体端末７に関する全ての画像を収集することができる。
【００９１】
また、この移動体ＩＤの一致するデータの収集により、複数の定点監視端末５によるそれぞれの監視領域Ｅをいつどのように通過したのかを容易に認識できる。従って、移動体端末７が、ある定点監視端末５の監視領域Ｅから他の定点監視端末５の監視領域Ｅへ移動しても、同じ移動体ＩＤの移動体端末７として追跡することができる。
【００９２】
この対象検出システム１を病院に設置した例であれば、図１１（Ａ）の説明図に示すように、まず救急車の車内に設置された定点監視端末５で患者Ｍの様子を撮影し、その撮影画像を患者所有の移動体端末７に記憶させることができる。このとき、救急車の車内の定点監視端末５がサーバ３と通信不可能であっても、撮影画像や撮影時刻、定点監視端末５の定点監視端末ＩＤが移動体端末７の記憶部２７に記憶されるために特に問題はない。
【００９３】
図１１（Ｂ）に示すように病院に到着して患者Ｍが担架で運ばれる際、通路内に設置された定点監視端末５により、移動体端末７の認識と通信が行われる。これにより、移動体端末７の記憶部２７には、さらに画像データが記憶され、また移動体端末７に記憶されていた救急車の車内での撮影画像などがサーバ３に送信される。
【００９４】
図１１（Ｃ）に示すように処置室内に患者Ｍが運び込まれると、定点監視端末５は、撮影や移動体端末７の移動体ＩＤの認識に加えて、モニタ装置９へのデータ送信を実行する。これにより、モニタ装置９では、救急車の車内で撮影された患者Ｍの様子、病院の通路を搬送されている患者Ｍの様子、処置室に入ったときの患者Ｍの様子など、あらゆるシーンで撮影された撮影画像を確認することができる。従って、過去に刻々と変化した患者Ｍの容態を処置室の医師が確認でき、状況判断や病状判断等に生かすことができる。
【００９５】
また、図１２（Ａ）に示すように、監視領域Ｅ内に複数の移動体端末７（図示では移動体端末画像７ａ，７ｂ）が存在すると、従来であれば定点監視端末５の無線通信部１５は、全ての移動体端末７のＩＤを読み取るか同一タイミングの応答によって読み取れないことになる。このように全ての移動体端末７のＩＤを読み取るか同一タイミングの応答によって読み取れない場合、撮影画像Ｇ中のどの移動体端末画像７ａ，７ｂがどのＩＤを有しているのか識別できない。
【００９６】
これに対し、上述した実施例では、図１２（Ｂ）に示すように、１つの移動体端末７（例えば移動体端末画像７ａとして写っている）にのみ発光およびＩＤ送信を行わせるため、撮影画像Ｇ中の移動体端末画像７ａの位置と取得したＩＤとが１対１で対応し、正確かつ確実に関連づけすることができる。
【００９７】
また、図１２（Ｃ）に示すように、他の移動体端末画像７ｂとして写る移動体端末７についても、１つだけで発光と無線通信を行うため、撮影画像Ｇ中に移動体端末画像７ｂとして写る移動体端末７の位置と取得したＩＤとが１対１で対応し、正確かつ確実に関連づけすることができる。
【００９８】
このようにして、監視領域Ｅ内に複数の移動体端末７が存在しても、撮影画像Ｇ中の移動体端末７を１つずつ特定して位置とＩＤを関連づけできるため、撮影画像Ｇ中の移動体端末７と無線通信で取得したＩＤとを確実に一致させることができる。
【実施例２】
【００９９】
図１３は、実施例１の対象検出システム１について、定点監視端末５と移動体端末７の間で行う対象物特定処理を異ならせた例のフローチャートである。
この実施例２では、移動体端末７から信号を発信して無線通信と発光位置特定を実行する。
【０１００】
まず、移動体端末７の制御部２１は、定点監視端末５へ移動体ＩＤを送信して通信要求を行う（ステップＳ７１）。この通信要求は、所定時間置きに繰り返し実行する、あるいは利用者の操作によって実行するなど、適宜のタイミングで実行するとよい。
【０１０１】
定点監視端末５の制御部１１は、通信要求に応じて移動体ＩＤを受信し（ステップＳ７２）、発光を要求する発光要求信号を送信する（ステップＳ７３）。この発光要求信号は、移動体ＩＤを特定して行い、該当する移動体ＩＤの移動体端末７にのみ発光させるようにする。
【０１０２】
移動体端末７の制御部２１は、発光等要求信号を受信し（ステップＳ７４）、発光処理を実行する（ステップＳ７５）。
【０１０３】
定点監視端末５の制御部１１は、カメラ１４により撮影画像Ｇを取得し、上述した監視対象物Ｔの検出により発光位置（監視対象物Ｔの位置）を特定する（ステップＳ７６）。
【０１０４】
制御部１１は、ステップＳ７２で取得した移動体ＩＤと上記ステップＳ７６で取得した発光位置の監視対象物Ｔ（移動体端末７）とを関連付け（ステップＳ７７）、対象物特定処理を終了する。
【０１０５】
その他の構成および動作は、実施例１と同一であるので、その詳細な説明を省略する。
以上の構成および動作により、実施例１と同一の効果を得ることができる。
【０１０６】
なお、上述した各実施例では、対象部分画像６４，７６や撮影全体画像７５、撮影画像Ｇなど、取得した画像について必要に応じてマスキングを行っても良い。例えば、連続撮影している動画上での移動体（人および物）を認識し、移動体端末７であると認識した部位に続く移動体（人および物）の周囲にマスキングをする、あるいは移動体端末画像７ａに最も近い顔以外の顔（他人と思われる）を認識すればこの他人と思われる顔部分にマスキングするといった構成にしてもよい。この場合、他人のプライバシー保護等に役立てることができる。また、画像圧縮技術を用いて圧縮保存する場合に、マスキングの分だけデータ量をさらに少なくすることもできる。
【０１０７】
また、ＩＤの特定や衝突回避処理等によって１つの移動体端末７を指定して発光させた場合に、対象となる発光が複数検知された場合、再度同じ移動体端末７に対して発光色、発光時間、発光形状、または点滅種別等を先の発光と異ならせた別の発光を行わせる構成にしてもよい。これにより、最初に指示した発光と同系色の別の発光体がたまたま撮影画像Ｇ内に存在していた場合でも、発光を異ならせることで撮影画像Ｇ内における移動体端末７の位置を確実に特定することができる。
【０１０８】
また、移動体端末７の発光部２３の発光を定点監視端末５のカメラ１４で確実に撮影できる構成を備えても良い。
例えば、担架８の高い位置に移動体端末７の固定部を設け、この固定部に移動体端末７を発光部２３が天井へ向くように固定する構成にしてもよい。
他にも、上述したステップＳ１１でのＩＤ及び発光要求に対してＩＤの応答がありながら発光を検知できない場合に、ＩＤの応答をした移動体端末７（若しくは処理を実行している定点監視端末５）により発光部２３を天井（若しくは定点監視端末５のカメラ１４）へ向けるように音声等の出力によって報知（アナウンス）してもよい。
このように構成することで、監視領域Ｅ内の移動体端末７の発光部２３の発光を確実に検出することができる。
【０１０９】
また、複数設けられている定点監視端末５の一部で、発光部２３が隠れていた等の原因で移動体端末７のＩＤと位置を一致できなかった場合、他の定点監視端末５で一致させたＩＤと対象部分画像６４，７６を用いてＩＤと移動体端末７の画像（位置）を関連づけてもよい。
【０１１０】
この場合、撮影画像Ｇにおいて発光が検出できなくとも、読み取ったＩＤに関連づけられて記憶されているサーバ管理データ７０を参照し、該読み取ったＩＤに対応する移動体端末７の対象部分画像７６を取得する。
【０１１１】
そして、発光が検出できなかった撮影画像Ｇにおいて、サーバ管理データ７０から取得した対象部分画像７６との一致度が所定量以上となる移動体端末７の画像を画像マッチングにより検出し、この検出した移動体端末７の画像と読み取ったＩＤとを関連づけて記憶するとよい。
【０１１２】
これにより、監視システム１は、一度でもＩＤと移動体端末７の発光を関連づけることができれば、全ての定点監視端末５の撮影画像ＧにおいてＩＤと移動体端末７の画像を関連づけることができる。
【０１１３】
この発明の構成と、上述の実施形態との対応において、
この発明の対象検出装置は、実施形態の定点監視端末５に対応し、
以下同様に、
撮影手段は、カメラ１４に対応し、
無線通信手段は、無線通信部１５に対応し、
制御手段は、制御部２１に対応し、
無線通信手段は、無線通信部２２に対応し、
発光手段は、発光部２３に対応し、
部分画像データは、対象部分画像６４に対応し、
移動体端末画像認識処理および移動体端末画像認識工程は、ステップＳ１５，Ｓ７６に対応し、
ＩＤ情報取得処理およびＩＤ情報取得工程は、ステップＳ１６，Ｓ７２に対応し、
関連付け処理および関連付け工程は、ステップＳ１７，Ｓ７７に対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
【産業上の利用可能性】
【０１１４】
この発明は、医療施設での患者の追尾と状態把握に限らず、イベント会場やテーマパークや建物内などの様々な場所での人物や物品の追尾と状況把握に用いることができ、監視システム、セキュリティシステム、ああるいは公共安全の支援システムなどの様々な用途に使用できる。
【符号の説明】
【０１１５】
１…対象検出システム、５…定点監視端末、７…移動体端末、１４…カメラ、１５…無線通信部、２１…制御部、２２…無線通信部、２３…発光部、６４…対象部分画像、Ｇ…撮影画像
【特許請求の範囲】
【請求項１】
無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、
画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムであって、
前記対象検出装置の制御手段は、
前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である
対象検出システム。
【請求項２】
前記移動体端末画像認識処理は、
前記無線通信手段により前記移動体端末に対して所定タイミングで発光させるように通知し、そのタイミングで発光した移動体端末を認識する構成である
請求項１記載の対象検出システム。
【請求項３】
前記移動体端末画像認識処理は、
特定のＩＤの前記移動体端末に前記発光を行わせる構成である
請求項１または２記載の対象検出システム。
【請求項４】
前記特定のＩＤの前記移動体端末は、
指定されたＩＤの移動体端末、
あるいは、ＩＤ送信と発光を両方実行する所定タイミングに至った移動体端末である
請求項３記載の対象検出システム。
【請求項５】
前記対象検出装置は、
該対象検出装置の撮影手段で撮影した撮影画像データをその撮影領域に写っている前記移動体端末に送信する構成であり、
前記移動体端末は、
受信した前記撮影画像データを記憶する記憶手段を備えた
請求項１から４のいずれか１つに記載の対象検出システム。
【請求項６】
前記対象検出装置の制御手段は、
前記撮影画像データから前記移動体端末が写っている部分を切り出し、この切り出した部分画像データを前記移動体端末へ送信する構成である
請求項５記載の対象検出システム。
【請求項７】
前記対象検出装置の制御手段は、
前記移動体端末に対して該移動体端末に記憶している移動体画像を送信させる移動体画像送信要求処理を実行する構成であり、
前記移動体端末の制御手段は、
前記移動体画像送信要求を受けて記憶している移動体画像を送信する移動体画像送信処理を実行する構成である
請求項１から６のいずれか１つに記載の対象検出システム。
【請求項８】
コンピュータを、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段として機能させる対象検出プログラムであって、
前記制御手段に、
前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行させる
対象検出プログラム。
【請求項９】
無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムにより対象を検出する対象検出方法であって、
前記対象検出装置の制御手段により、
前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識工程と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得工程と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け工程とを行う
対象検出方法。
【請求項１０】
画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置であって、
前記制御手段は、
移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である
対象検出装置。
【請求項１】
無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、
画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムであって、
前記対象検出装置の制御手段は、
前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である
対象検出システム。
【請求項２】
前記移動体端末画像認識処理は、
前記無線通信手段により前記移動体端末に対して所定タイミングで発光させるように通知し、そのタイミングで発光した移動体端末を認識する構成である
請求項１記載の対象検出システム。
【請求項３】
前記移動体端末画像認識処理は、
特定のＩＤの前記移動体端末に前記発光を行わせる構成である
請求項１または２記載の対象検出システム。
【請求項４】
前記特定のＩＤの前記移動体端末は、
指定されたＩＤの移動体端末、
あるいは、ＩＤ送信と発光を両方実行する所定タイミングに至った移動体端末である
請求項３記載の対象検出システム。
【請求項５】
前記対象検出装置は、
該対象検出装置の撮影手段で撮影した撮影画像データをその撮影領域に写っている前記移動体端末に送信する構成であり、
前記移動体端末は、
受信した前記撮影画像データを記憶する記憶手段を備えた
請求項１から４のいずれか１つに記載の対象検出システム。
【請求項６】
前記対象検出装置の制御手段は、
前記撮影画像データから前記移動体端末が写っている部分を切り出し、この切り出した部分画像データを前記移動体端末へ送信する構成である
請求項５記載の対象検出システム。
【請求項７】
前記対象検出装置の制御手段は、
前記移動体端末に対して該移動体端末に記憶している移動体画像を送信させる移動体画像送信要求処理を実行する構成であり、
前記移動体端末の制御手段は、
前記移動体画像送信要求を受けて記憶している移動体画像を送信する移動体画像送信処理を実行する構成である
請求項１から６のいずれか１つに記載の対象検出システム。
【請求項８】
コンピュータを、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段として機能させる対象検出プログラムであって、
前記制御手段に、
前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行させる
対象検出プログラム。
【請求項９】
無線通信を行う無線通信手段、発光処理を行う発光手段、及びこれらを制御する制御手段を有する移動体端末と、画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置とを備えた対象検出システムにより対象を検出する対象検出方法であって、
前記対象検出装置の制御手段により、
前記移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識工程と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得工程と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け工程とを行う
対象検出方法。
【請求項１０】
画像を撮影する撮影手段、該撮影手段による撮影領域に存在する前記移動体端末と無線通信する無線通信手段、およびこれらを制御する制御手段を有する対象検出装置であって、
前記制御手段は、
移動体端末の発光手段の発光が写っている撮影画像を前記撮影手段により取得し、該撮影画像における前記移動体端末の端末画像を前記発光により認識する移動体端末画像認識処理と、
前記無線通信手段により前記移動体端末のＩＤ情報を取得するＩＤ情報取得処理と、
認識した前記端末画像と前記ＩＤ情報とを関連づける関連付け処理とを実行する構成である
対象検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−７６３５７（Ｐ２０１１−７６３５７Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２６９９３（Ｐ２００９−２２６９９３）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（５０９１４０８２５）株式会社デュース・テクノロジーズ (3)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（５０９１４０８２５）株式会社デュース・テクノロジーズ (3)
【Ｆターム（参考）】
[ Back to top ]