人物特定システム、人物特定装置、人物特定方法および人物特定プログラム
【課題】人物を特定できるレベルの顔の映像を容易に抽出できる人物特定システムを提供する。
【解決手段】本発明に係る人物特定システムは、センター処理装置３００が、カメラ１００から受信した映像データを蓄積する映像蓄積部３０１と、蓄積された映像データを地図上での座標データと関連づける地図処理部３０３と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出エンジン３０５と、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジン３０４とを有することを特徴とする。
【解決手段】本発明に係る人物特定システムは、センター処理装置３００が、カメラ１００から受信した映像データを蓄積する映像蓄積部３０１と、蓄積された映像データを地図上での座標データと関連づける地図処理部３０３と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出エンジン３０５と、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジン３０４とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラに撮影された映像の処理に関し、特に撮影された映像から人物を特定する技術に関する。
【背景技術】
【０００２】
顔認識技術により、カメラに撮影された顔からその人物を特定することが既に可能である。そのような技術を応用した防犯システムなどが、たとえば空港、駅、銀行、繁華街などに導入されている。また、顔認識システムは市販のデジタルカメラや携帯電話にも採用され、ユーザの認証や焦点位置の検出などに使われている。
【０００３】
カメラによって撮影された人物を追尾もしくは特定などする技術として、たとえば以下のような文献がある。特許文献１には、複数のカメラで撮影された画像から同一人物を検出し、その人物の動線情報を収集するという技術が開示されている。特許文献２には、自律的に動作する複数のカメラで撮影された画像から同一人物を示す特徴量を検出して特定の人物を追尾する方法について開示されている。
【０００４】
特許文献３には、自律的に動作する複数のカメラが移動体の移動速度および方向についての情報を交換して特定の移動体を追尾する方法について開示されている。特許文献４には、複数のカメラで撮影された画像から動体の位置および位置精度についての情報を交換し、それらが同一の動体である場合にそれらの情報を統合するという技術について開示されている。特許文献５には、カードなどを持つユーザの軌跡情報を記録するという技術について開示されている。
【０００５】
【特許文献１】特開２０００−２００３５７号公報
【特許文献２】特開２００４−０７２６２８号公報
【特許文献３】特開２００６−０８６５９１号公報
【特許文献４】特開２００６−２４５７９５号公報
【特許文献５】特開平１１−０２７７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
人物の映像が監視カメラに撮影されていても、該監視カメラの設置場所やアングルなどのような条件によっては、該人物の特定が困難である場合がある。顔認識の技術によって人物を特定できるレベルの顔の映像を抽出することは可能ではあるが、抽出できるのは対象人物がカメラの正面に顔を向けている場合だけである。対象人物が、その他の方向に顔を向けている場合には、映像を抽出することはできない。
【０００７】
人物の特定をしやすくするには、監視カメラの設置台数を増やし、対象となる人物が可能な限り長い時間、多くの角度から撮影されているようにすることが望ましい。しかしながら、設置されているカメラの数が多いほど、撮影されて記録されている映像は膨大なものになる。そこから人物を特定できるレベルの顔の映像を探し出すためには、それらの映像を人間が全部見る必要があるので、膨大な労力を要する。
【０００８】
さらに、設置されているカメラの数が多いほど、コストがかかり、大量の映像データを常時伝送し続けることによってネットワークに負荷がかかるという問題がある。ちなみに特許文献１〜５では、カメラに撮影された映像から人物の動きを検出し追尾することはできるが、そこから人物を特定するものではない。
【０００９】
本発明の目的は、現実的に可能な設置台数のカメラで、人物の特定が難しい多量の映像の中から人物を特定できるレベルの顔の映像を容易に抽出できる人物特定システム、人物特定装置、人物特定方法および人物特定プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明に係る人物特定システムは、複数のカメラと、各カメラにより撮影された映像データを受信するセンター処理装置とを備えた人物特定システムであって、センター処理装置が、カメラから受信した映像データを蓄積する映像蓄積部と、蓄積された映像データを地図上での座標データと関連づける地図処理部と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンとを有することを特徴とする。
【００１１】
上記目的を達成するため、本発明に係る人物特定装置は、複数のカメラによって撮影された映像データを受信する人物特定装置であって、カメラから受信した映像データを蓄積する映像蓄積部と、蓄積された映像データを地図上での座標データと関連づける地図処理部と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンとを有することを特徴とする。
【００１２】
上記目的を達成するため、本発明に係る人物特定方法は、複数のカメラとカメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定する方法であって、カメラから受信した映像データを蓄積する映像蓄積工程と、蓄積された映像データを地図上での座標データと関連づける地図処理工程と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出工程と、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出工程とを有することを特徴とする。
【００１３】
上記目的を達成するため、本発明に係る人物特定プログラムは、複数のカメラとカメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定するプログラムであって、センター処理装置を構成するコンピュータに、カメラから受信した映像データを蓄積する処理と、蓄積された映像データを地図上での座標データと関連づける処理と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する処理と、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する処理とを実行させることを特徴とする。
【発明の効果】
【００１４】
本発明は、上記したようにカメラから受信した映像データから検出された軌跡の中から人物を特定できるレベルの人間の顔を検出するように構成したので、膨大な量の映像を人間が全部見る必要はない。これによって、現実的に可能な設置台数のカメラで、人物の特定が難しい多量の映像の中から人物を特定できるレベルの顔の映像を容易に抽出できるという、従来にない優れた人物特定システム、人物特定装置、人物特定方法および人物特定プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の実施の形態に係るカメラネットワーク１の構成を示すブロック図である。カメラネットワーク１は、スタンドアローン型カメラ１００（以後カメラ１００という）と専用端末２００とセンター処理装置３００が相互に接続されることによって構成される。図１には、紙面の都合で２台のみのカメラ１００を記載しているが、実際にはさらに多くの台数が存在することが可能である。
【００１６】
カメラ１００は、カメラ１００相互間、および専用端末２００との間で近距離無線通信を行う。ここでいう近距離無線通信は、ＩＥＥＥ８０２．１１シリーズ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢなどの公知の通信方法が適用できる。専用端末２００とセンター処理装置３００との間の接続は、たとえばイーサネット（登録商標）などのような有線ネットワークによる接続、または前述のような近距離無線通信による接続である。
【００１７】
図２は、図１で示したカメラ１００の構成を示すブロック図である。カメラ１００は、他から電力の供給を受ける必要はなく、自律的に撮影およびそれに付随する動作を行うことのできるカメラであるという意味で、スタンドアローン型と称している。ネットワークに接続しないという意味でのスタンドアローンではない。
【００１８】
カメラ１００は、監視対象地域に多数配置されている。その際、あるカメラ１００の撮影領域と、他のカメラ１００の撮影領域との間に、必ず重複する領域が存在するように配置する。
【００１９】
カメラ１００は、発電機構部１０１、映像撮影部１０２、映像蓄積部１０３、無線送信部１０４、無線受信部１０５、端末認証部１０６とを備える。
【００２０】
発電機構部１０１は、カメラ１００が動作するための電力を発生する機構である。発電方式としてたとえば、太陽光発電、蛍光灯発電、風力発電などを利用することができる。発電機構部１０１を備えることによって、カメラ１００は電力の供給を他から受ける必要がないので、設置場所に対する制約が少なくなるメリットがある。逆に、他から容易に電力を供給できる設置場所であれば、カメラ１００は発電機構部１０１を備えず、他から電力の供給を受けて動作するものとしてもよい。
【００２１】
映像撮影部１０２は、レンズやシャッターなどの光学部品と、画像を電子信号に変換するＣＣＤ素子などから構成される、映像を撮影して映像データに変換する機構である。映像蓄積部１０３は、映像撮影部１０２により撮影された映像を映像データとして保存する機構であり、主にフラッシュメモリやハードディスクなどの記憶装置によって構成される。
【００２２】
無線送信部１０４は、無線モジュールと、該無線モジュールを駆動するソフトウェアなどで構成される、無線通信により外部にデータを送信する機構である。カメラ１００が通常動作状態である時には、無線送信部１０４は後述の端末認証部１０６から送られてくる固有ＩＤ情報１０７を、近傍にある他のカメラ１００に送信する。
【００２３】
また、専用端末２００による指示があった場合には、無線送信部１０４は映像蓄積部１０３に蓄積された映像データを、後述の固有ＩＤ情報１０７によって暗号化してから専用端末２００に送信する。なお、映像データを専用端末２００に送信し終わったら、映像蓄積部１０３に蓄積されていた映像データは消去される。
【００２４】
無線受信部１０５は、無線モジュールと、該無線モジュールを駆動するソフトウェアなどで構成される、無線通信により外部からデータを受信する機構である。無線受信部１０５を構成する無線モジュールおよびソフトウェアは、無線送信部１０４におけるそれらと同一であることが普通であるが、ここでは説明上の便宜から、図２において無線送信部１０４と無線受信部１０５とを別々のものとして記載している。
【００２５】
カメラ１００が通常動作状態である時には、無線受信部１０５は近傍にある他のカメラ１００から送られてくる固有ＩＤ情報１０７を受信する。また、専用端末２００による指示情報を、固有ＩＤ情報１０７によって復号化してから受信する。いずれの場合も、無線受信部１０５は受信したデータを後述の端末認証部１０６に送信する。
【００２６】
端末認証部１０６は、以上で説明したカメラ１００の各部分の動作を制御するプロセッサと、該プロセッサで動作するソフトウェアなどで構成される。端末認証部１０６には、固有ＩＤ情報１０７と、一定の周期で割り込み信号を発行するタイマ１０８と、近傍に存在するカメラ１００の一覧であるＩＤリスト１０９が付属する。
【００２７】
端末認証部１０６は、近傍に存在するカメラ１００から固有ＩＤ情報１０７が送られてきたら、該固有ＩＤ情報１０７とその受信時刻をＩＤリスト１０９に記録する。新規に設置されたカメラ１００は、既存のカメラ１００に自らの固有ＩＤ情報１０７を送信することにより、いつでも既存のカメラ１００上のＩＤリスト１０９に加わってカメラネットワーク１に参加することが可能である。
【００２８】
また端末認証部１０６は、タイマ１０８が割り込み信号を発行する１周期ごとに、固有ＩＤ情報１０７を無線送信部１０４に送る。そして、タイマ１０８の１周期ごとに、ＩＤリスト１０９に載っているカメラの中でタイマ１０８の１周期以内に固有ＩＤ情報１０７を受信していないものがあるか否かをチェックし、受信していないものがある場合にエラー情報を生成して無線送信部１０４に送る。
【００２９】
無線受信部１０５が専用端末２００による指示情報を受信した場合、該指示情報を復号化することによって認証し、正規の専用端末２００からの指示情報である場合に、映像蓄積部１０３に蓄積された映像データを無線送信部１０４に送るよう端末認証部１０６に指示する。正規の専用端末２００からの指示情報ではない場合には、該指示情報は破棄される。
【００３０】
固有ＩＤ情報１０７は、個々のカメラ１００の間で重複しない識別子である。固有ＩＤ情報１０７は、タイマ１０８が割り込み信号を発行する周期ごとに、近傍にあるカメラ１００に送信される。また固有ＩＤ情報１０７は、映像蓄積部１０３に蓄積された映像データを専用端末２００に送信する際に、専用端末２００との間で交換するデータの暗号化および復号化にも使用される。
【００３１】
タイマ１０８は、前述の割り込み信号を端末認証部１０６に発行すると同時に、全てのカメラ１００の間で同期した時刻を保持する。時刻の同期は、たとえばＧＰＳ衛星もしくはＮＴＰサーバなどから時刻データを取得することによって可能である。固有ＩＤ情報１０７、およびタイマ１０８によって保持される時刻は、映像撮影部１０２により撮影された映像と共に映像蓄積部１０３に蓄積される。
【００３２】
なお、無線送信部１０４および無線受信部１０５によって無線ネットワークの通信を行う理由も、前述の発電機構部１０１と同じように、カメラ１００の設置場所に対する制約を少なくするためである。カメラ１００を有線ネットワークによってセンター処理装置３００に接続できる場所に設置する場合は、無線送信部１０４および無線受信部１０５を、それぞれ有線ネットワーク通信による送信部および無線受信部に置き換えてもよい。
【００３３】
図１に戻って、専用端末２００は、カメラ１００との間で近距離無線通信を行い、また専用端末２００とセンター処理装置３００との間で有線ネットワークもしくは近距離無線通信による接続で通信を行う。カメラ１００から受信したデータはそのままセンター処理装置３００に送られ、逆にセンター処理装置３００から送信されたデータはそのまま各々のカメラ１００に送られる。専用端末２００は、複数のカメラ１００と同時に接続可能である。また、専用端末２００が複数存在してもよい。
【００３４】
カメラ１００の近距離無線通信には、電波の到達距離に制約がある。そこで、複数のカメラ１００とセンター処理装置３００とが直接通信する際の電波の到達距離よりも、広い範囲をカメラネットワーク１が監視できるようにするために、専用端末２００を介してカメラ１００とセンター処理装置３００とが通信するようにしている。もし、近距離無線通信の電波の到達距離よりも狭い範囲を監視対象範囲とするのであれば、複数のカメラ１００とセンター処理装置３００とが直接通信するようにしてもよい。
【００３５】
センター処理装置３００は、サーバもしくはパーソナルコンピュータなどで構成されるコンピュータ装置であり、物理的に１台のコンピュータであってもよく、相互に接続された複数のコンピュータであってもよい。センター処理装置３００は、映像蓄積部３０１、映像再生部３０２、地図処理部３０３、顔検出エンジン３０４、移動軌跡検出エンジン３０５、制御部３０６、および暗号化／復号化部３０８を備える。制御部３０６は、ＣＰＵおよびメモリおよびＯＳによって構成される、ソフトウェアを実行する機能である。制御部３０６には、一定の周期で割り込み信号を発行するタイマ３０７が付属する。
【００３６】
映像蓄積部３０１は、各々のカメラ１００から回収した映像を保存する機構であり、主にハードディスクなどの大容量記憶装置によって構成される。映像再生部３０２は、映像蓄積部３０１に保存されている映像を再生する機構であり、ディスプレイおよび該ディスプレイを駆動するハードウェアとソフトウェアから構成される。
【００３７】
地図処理部３０３は、制御部３０６で実行される機能であり、各々のカメラ１００から送られた固有ＩＤ情報１０７を地図上の位置情報へ変換して、当該カメラの映像を地図上の一意の場所へ位置づける。地図処理部３０３は、固有ＩＤ情報１０７と各々の地図上での座標とを関連づける座標テーブル３１１を保持する。
【００３８】
顔検出エンジン３０４は、制御部３０６で実行される機能であり、映像蓄積部３０１に保存されている映像の中から、人間の顔を検出する。また、顔検出エンジン３０４にあらかじめ複数の人物の顔を登録しておいて、検出された顔が登録された人物の顔と一致する場合、その人物についての情報をユーザに提示することも可能である。
【００３９】
移動軌跡検出エンジン３０５は、制御部３０６で実行される機能であり、複数のカメラ１００の映像における撮影領域が重複する部分に映った移動体を同一の移動体として認識して、移動軌跡を同一の移動体として追跡する。なお、顔検出エンジン３０４が人間の顔を検出する際に使用する処理、および移動軌跡検出エンジン３０５が移動体の軌跡を検出する処理は、既に前述の各特許文献などによって公知のものであるので、詳しく言及しない。
【００４０】
暗号化／復号化部３０８は、カメラ１００に送信する指示情報を、送信先となる各々のカメラ１００の固有ＩＤ情報１０７によって暗号化する。また、カメラ１００から送られる映像データを、送信元となる各々のカメラ１００の固有ＩＤ情報１０７によって復号化する。センター処理装置３００が送信する指示情報、および受信する映像データは、すべて暗号化／復号化部３０８を通って暗号化／復号化される。
【００４１】
図３は、図１および図２で示されたカメラ１００において実行される処理を書き表すフローチャートである。処理を開始すると、端末認証部１０６はタイマ１０８からの割り込み信号を待つ状態となる（ステップＳ４０１）。割り込み信号があると、後述のステップＳ４０６以後の処理に進む。割り込み信号がない場合、端末認証部１０６は近傍にある他のカメラ１００から固有ＩＤ情報１０７が送られたか否かをチェックし（ステップＳ４０２）、送られていればＩＤリスト１０９に固有ＩＤ情報１０７を記憶して（ステップＳ４０３）、映像蓄積部１０３に蓄積されていた映像データを消去し、ステップＳ４０４に進む。送られていなければそのままステップＳ４０４に進む。
【００４２】
続いて端末認証部１０６は、無線受信部１０５を介して、専用端末２００からの指示情報を受信したか否かをチェックし（ステップＳ４０４）、受信していれば、映像蓄積部１０３に蓄積された映像データを専用端末２００に送信するよう、無線送信部１０４に指示し（ステップＳ４０５）、ステップＳ４０１に戻る。指示情報を受信していなければそのままステップＳ４０１に戻る。
【００４３】
ステップＳ４０１で割り込み信号があった場合、端末認証部１０６は近傍にある他のカメラ１００に固有ＩＤ情報１０７を送信し（ステップＳ４０６）、ＩＤリスト１０９に記憶されている他のカメラ１００からの固有ＩＤ情報１０７をチェックする（ステップＳ４０７）。ＩＤリスト１０９にあるカメラ１００すべてについて、タイマ１０８の１周期以内に固有ＩＤ情報１０７の受信記録が残っていれば、異常なしと判断し、ステップＳ４０１に戻る。
【００４４】
ステップＳ４０７で、固有ＩＤ情報１０７の受信記録が残っていないカメラ１００が一つでもあるなら、異常が発生したと判断し、カメラネットワーク１に属するすべてのカメラ１００と専用端末２００に対してアラートを送信し（ステップＳ４０８）、処理を終了する。これによって、故障や破壊行為などによって発生した異常を検出することが可能となっている。
【００４５】
図４は、図１で示されたセンター処理装置３００において実行される処理を書き表すフローチャートである。処理を開始すると、制御部３０６はタイマ３０７からの割り込み信号を待つ状態となる（ステップＳ５０１）。割り込み信号があると、制御部３０６はカメラネットワーク１に属するすべてのカメラ１００に、撮影された映像を送信させる指示情報を送信する（ステップＳ５０２）。
【００４６】
該指示情報を受けたカメラ１００は、固有ＩＤ情報１０７と、タイマ１０８によって保持された時刻と共に、映像データをセンター処理装置３００に送信する。制御部３０６は、固有ＩＤ情報１０７および時刻情報と共に、受信した映像データを映像蓄積部３０１に記録して（ステップＳ５０３）ステップＳ５０４に進む。その際、地図処理部３０３によって座標テーブル３１１を更新し、カメラ１００の固有ＩＤ情報１０７と地図上の座標とを関連づける。割り込み信号がなければ、そのままステップＳ５０４に進む。
【００４７】
なお、タイマ３０７の周期は、カメラ１００にあるタイマ１０８の周期とは、特に関係ない。カメラ１００の映像蓄積部１０３の容量に応じて、該映像蓄積部１０３が満杯になる前に映像データを回収して記録できる周期であればよい。
【００４８】
また、各々のカメラ１００との通信は、各々の固有ＩＤ情報１０７に基づいて暗号化されている。そのため、カメラ１００とセンター処理装置３００との間の通信が他の装置に傍受されていたとしても、センター処理装置３００以外の装置がカメラ１００に映像データを送信させたり、またセンター処理装置３００に送信された映像データを再生したりすることはできない。なお、暗号化の方法は公知の方法が適用でき、また暗号化の鍵として固有ＩＤ情報１０７以外のデータを適用することもできる。
【００４９】
ステップＳ５０１でタイマ３０７からの割り込み信号がない場合、制御部３０６は、ユーザからの操作を待つ状態となる（ステップＳ５０４）。ユーザは、センター処理装置３００を操作して、カメラネットワーク１の監視対象地域および時間において、任意の地点および時点の映像を映像再生部３０２によって再生することができる。
【００５０】
センター処理装置３００では、座標テーブル３１１によって、カメラ１００の固有ＩＤ情報１０７と地図上の座標が関連づけられている。また、各々のカメラ１００からの映像は時刻情報が同期されているため、ある特定の時刻における映像を複数のカメラ１００において同期させて再生することが可能となる。なお、これらの再生については、図４には特に記載されていない。
【００５１】
そのため、センター処理装置３００を操作するユーザは、ある特定の時間および地点にいた人物が、複数のカメラ１００においてどのように撮影されているかを見ることができる。同時に、複数のカメラ１００を同期させて、巻き戻し、早送り、スローモーションやコマ送りなどの再生操作を行うことによって、ある特定の時間および地点にいた人物の移動を複数のカメラの映像によって追跡することが可能となる。
【００５２】
図５は、図１で示されたカメラネットワーク１における人物の移動軌跡の検出と人物の特定を示す概念図である。監視対象地域に設置されている複数のカメラ１００が撮影した映像を、ユーザはセンター処理装置３００を操作して見ている。今、ユーザは特定のカメラ１００ｂによって撮影された人物像７０１に注目した。
【００５３】
しかしながら、特定の時間および地点における人物像７０１だけでは、顔や体型、服装などの情報が不十分であるため、ユーザはその人物を特定できない。しかも、多数のカメラ１００によって撮影されたすべての映像を、ユーザが全部見ることは困難である。そこでユーザは、対象となる人物として人物像７０１を指定し、センター処理装置３００に人物を特定させる人物特定コマンドを発行する。
【００５４】
人物特定コマンドを受けた制御部３０６は、移動軌跡検出エンジン３０５によって、座標テーブル３１１を利用して複数のカメラ１００に映った映像を結びつけ、人物像７０１に該当する人物の移動軌跡７０２を検出し、人物を特定するために必要な映像を抽出する（ステップＳ５０５）。
【００５５】
ステップＳ５０５で特定された移動軌跡７０２に該当する（当該人物が映っている）映像の中から、顔検出エンジン３０４が、人物を特定できるレベルの顔の映った映像が存在するか否かを検出し（ステップＳ５０６）、存在すればその顔が映る画像として、特定のカメラ１００ｃが撮影した人物像７０１ｂを検出し、表示する（ステップＳ５０７）。
【００５６】
さらに、検出された人物像７０１ｂに映る顔が、顔検出エンジン３０４に登録されている特定の人物の顔である場合、その人物についての情報をユーザに提示して（ステップＳ５０８〜５０９）、ステップＳ５０１に戻る。たとえば指名手配犯や行方不明者などの顔を顔検出エンジン３０４に登録しておけば、その人物を検出し、移動軌跡７０２が記録されるので、捜査において極めて有用な情報となる。
【００５７】
ステップＳ５０６で人物を特定できるレベルの顔の映像が存在しなかった場合、およびステップＳ５０８で登録されている人物の顔でなかった場合は、いずれもステップＳ５０１に戻る。
【００５８】
なお、ステップＳ５０６〜５０７で、移動軌跡７０２から人物を特定できる人物像７０１ｂが検出された時点で、移動軌跡検出エンジン３０５および顔検出エンジン３０４による処理を終了してもよい。またそれらによる処理を継続して、同一の対象人物に対して複数の人物像を検出するようにしてもよい。
【００５９】
これにより、多数のカメラ１００によって撮影されたすべての映像を見なくても、人物を特定できるレベルの人物像を検出することができるので、カメラネットワーク１の監視対象地域で犯罪が発生した場合などで人物の特定が容易になる。さらに、人物の移動軌跡を検出して記録できるので、指名手配犯や行方不明者などの捜査にも有用である。
【００６０】
また、複数のカメラ１００の映像の撮影領域が、それぞれどこかに重複する部分が存在するように配置されていればよいので、それ以上に多くのカメラ１００を設置する必要はない。そのため、必要以上にカメラ１００を設置するコスト、および膨大な量の映像データを伝送することに伴うネットワークへの負荷を削減することができる。
【００６１】
カメラ１００はスタンドアローン型であるので、設置場所についての制約は少なく、電源および有線ネットワークと接続が不可能な場所にも設置できる。また、カメラ１００の中に災害や破壊行為などによって機能を停止したものがあった場合にも、それらを検出してアラートを出すので、ユーザがすぐに対応することができる。
【００６２】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることは言うまでもないことである。
【産業上の利用可能性】
【００６３】
空港、駅、銀行、繁華街、店舗などに設置される、監視カメラによる防犯システムにおいて利用可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態に係るカメラネットワークの構成を示すブロック図である。
【図２】図１で示したカメラの構成を示すブロック図である。
【図３】図１および図２で示されたカメラにおいて実行される処理を書き表すフローチャートである。
【図４】図１で示されたセンター処理装置において実行される処理を書き表すフローチャートである。
【図５】図１で示されたカメラネットワークにおける人物の移動軌跡の検出と人物の特定を示す概念図である。
【符号の説明】
【００６５】
１ カメラネットワーク（人物特定システム）
１００ カメラ
１０１ 発電機構部
１０２ 映像撮影部
１０３ 映像蓄積部
１０４ 無線送信部
１０５ 無線受信部
１０６ 端末認証部
１０７ 固有ＩＤ情報
１０８ タイマ
１０９ ＩＤリスト
２００ 専用端末
３００ センター処理装置（人物特定装置）
３０１ 映像蓄積部
３０２ 映像再生部
３０３ 地図処理部
３０４ 顔検出エンジン
３０５ 移動軌跡検出エンジン
３０６ 制御部
３０７ タイマ
３０８ 暗号化／復号化部
７０１ 人物像
７０２ 移動軌跡
【技術分野】
【０００１】
本発明は、複数のカメラに撮影された映像の処理に関し、特に撮影された映像から人物を特定する技術に関する。
【背景技術】
【０００２】
顔認識技術により、カメラに撮影された顔からその人物を特定することが既に可能である。そのような技術を応用した防犯システムなどが、たとえば空港、駅、銀行、繁華街などに導入されている。また、顔認識システムは市販のデジタルカメラや携帯電話にも採用され、ユーザの認証や焦点位置の検出などに使われている。
【０００３】
カメラによって撮影された人物を追尾もしくは特定などする技術として、たとえば以下のような文献がある。特許文献１には、複数のカメラで撮影された画像から同一人物を検出し、その人物の動線情報を収集するという技術が開示されている。特許文献２には、自律的に動作する複数のカメラで撮影された画像から同一人物を示す特徴量を検出して特定の人物を追尾する方法について開示されている。
【０００４】
特許文献３には、自律的に動作する複数のカメラが移動体の移動速度および方向についての情報を交換して特定の移動体を追尾する方法について開示されている。特許文献４には、複数のカメラで撮影された画像から動体の位置および位置精度についての情報を交換し、それらが同一の動体である場合にそれらの情報を統合するという技術について開示されている。特許文献５には、カードなどを持つユーザの軌跡情報を記録するという技術について開示されている。
【０００５】
【特許文献１】特開２０００−２００３５７号公報
【特許文献２】特開２００４−０７２６２８号公報
【特許文献３】特開２００６−０８６５９１号公報
【特許文献４】特開２００６−２４５７９５号公報
【特許文献５】特開平１１−０２７７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
人物の映像が監視カメラに撮影されていても、該監視カメラの設置場所やアングルなどのような条件によっては、該人物の特定が困難である場合がある。顔認識の技術によって人物を特定できるレベルの顔の映像を抽出することは可能ではあるが、抽出できるのは対象人物がカメラの正面に顔を向けている場合だけである。対象人物が、その他の方向に顔を向けている場合には、映像を抽出することはできない。
【０００７】
人物の特定をしやすくするには、監視カメラの設置台数を増やし、対象となる人物が可能な限り長い時間、多くの角度から撮影されているようにすることが望ましい。しかしながら、設置されているカメラの数が多いほど、撮影されて記録されている映像は膨大なものになる。そこから人物を特定できるレベルの顔の映像を探し出すためには、それらの映像を人間が全部見る必要があるので、膨大な労力を要する。
【０００８】
さらに、設置されているカメラの数が多いほど、コストがかかり、大量の映像データを常時伝送し続けることによってネットワークに負荷がかかるという問題がある。ちなみに特許文献１〜５では、カメラに撮影された映像から人物の動きを検出し追尾することはできるが、そこから人物を特定するものではない。
【０００９】
本発明の目的は、現実的に可能な設置台数のカメラで、人物の特定が難しい多量の映像の中から人物を特定できるレベルの顔の映像を容易に抽出できる人物特定システム、人物特定装置、人物特定方法および人物特定プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明に係る人物特定システムは、複数のカメラと、各カメラにより撮影された映像データを受信するセンター処理装置とを備えた人物特定システムであって、センター処理装置が、カメラから受信した映像データを蓄積する映像蓄積部と、蓄積された映像データを地図上での座標データと関連づける地図処理部と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンとを有することを特徴とする。
【００１１】
上記目的を達成するため、本発明に係る人物特定装置は、複数のカメラによって撮影された映像データを受信する人物特定装置であって、カメラから受信した映像データを蓄積する映像蓄積部と、蓄積された映像データを地図上での座標データと関連づける地図処理部と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンとを有することを特徴とする。
【００１２】
上記目的を達成するため、本発明に係る人物特定方法は、複数のカメラとカメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定する方法であって、カメラから受信した映像データを蓄積する映像蓄積工程と、蓄積された映像データを地図上での座標データと関連づける地図処理工程と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する移動軌跡検出工程と、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出工程とを有することを特徴とする。
【００１３】
上記目的を達成するため、本発明に係る人物特定プログラムは、複数のカメラとカメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定するプログラムであって、センター処理装置を構成するコンピュータに、カメラから受信した映像データを蓄積する処理と、蓄積された映像データを地図上での座標データと関連づける処理と、蓄積された映像データと地図上での座標データとから映像上の移動体の軌跡を検出する処理と、軌跡上の移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する処理とを実行させることを特徴とする。
【発明の効果】
【００１４】
本発明は、上記したようにカメラから受信した映像データから検出された軌跡の中から人物を特定できるレベルの人間の顔を検出するように構成したので、膨大な量の映像を人間が全部見る必要はない。これによって、現実的に可能な設置台数のカメラで、人物の特定が難しい多量の映像の中から人物を特定できるレベルの顔の映像を容易に抽出できるという、従来にない優れた人物特定システム、人物特定装置、人物特定方法および人物特定プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の実施の形態に係るカメラネットワーク１の構成を示すブロック図である。カメラネットワーク１は、スタンドアローン型カメラ１００（以後カメラ１００という）と専用端末２００とセンター処理装置３００が相互に接続されることによって構成される。図１には、紙面の都合で２台のみのカメラ１００を記載しているが、実際にはさらに多くの台数が存在することが可能である。
【００１６】
カメラ１００は、カメラ１００相互間、および専用端末２００との間で近距離無線通信を行う。ここでいう近距離無線通信は、ＩＥＥＥ８０２．１１シリーズ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢなどの公知の通信方法が適用できる。専用端末２００とセンター処理装置３００との間の接続は、たとえばイーサネット（登録商標）などのような有線ネットワークによる接続、または前述のような近距離無線通信による接続である。
【００１７】
図２は、図１で示したカメラ１００の構成を示すブロック図である。カメラ１００は、他から電力の供給を受ける必要はなく、自律的に撮影およびそれに付随する動作を行うことのできるカメラであるという意味で、スタンドアローン型と称している。ネットワークに接続しないという意味でのスタンドアローンではない。
【００１８】
カメラ１００は、監視対象地域に多数配置されている。その際、あるカメラ１００の撮影領域と、他のカメラ１００の撮影領域との間に、必ず重複する領域が存在するように配置する。
【００１９】
カメラ１００は、発電機構部１０１、映像撮影部１０２、映像蓄積部１０３、無線送信部１０４、無線受信部１０５、端末認証部１０６とを備える。
【００２０】
発電機構部１０１は、カメラ１００が動作するための電力を発生する機構である。発電方式としてたとえば、太陽光発電、蛍光灯発電、風力発電などを利用することができる。発電機構部１０１を備えることによって、カメラ１００は電力の供給を他から受ける必要がないので、設置場所に対する制約が少なくなるメリットがある。逆に、他から容易に電力を供給できる設置場所であれば、カメラ１００は発電機構部１０１を備えず、他から電力の供給を受けて動作するものとしてもよい。
【００２１】
映像撮影部１０２は、レンズやシャッターなどの光学部品と、画像を電子信号に変換するＣＣＤ素子などから構成される、映像を撮影して映像データに変換する機構である。映像蓄積部１０３は、映像撮影部１０２により撮影された映像を映像データとして保存する機構であり、主にフラッシュメモリやハードディスクなどの記憶装置によって構成される。
【００２２】
無線送信部１０４は、無線モジュールと、該無線モジュールを駆動するソフトウェアなどで構成される、無線通信により外部にデータを送信する機構である。カメラ１００が通常動作状態である時には、無線送信部１０４は後述の端末認証部１０６から送られてくる固有ＩＤ情報１０７を、近傍にある他のカメラ１００に送信する。
【００２３】
また、専用端末２００による指示があった場合には、無線送信部１０４は映像蓄積部１０３に蓄積された映像データを、後述の固有ＩＤ情報１０７によって暗号化してから専用端末２００に送信する。なお、映像データを専用端末２００に送信し終わったら、映像蓄積部１０３に蓄積されていた映像データは消去される。
【００２４】
無線受信部１０５は、無線モジュールと、該無線モジュールを駆動するソフトウェアなどで構成される、無線通信により外部からデータを受信する機構である。無線受信部１０５を構成する無線モジュールおよびソフトウェアは、無線送信部１０４におけるそれらと同一であることが普通であるが、ここでは説明上の便宜から、図２において無線送信部１０４と無線受信部１０５とを別々のものとして記載している。
【００２５】
カメラ１００が通常動作状態である時には、無線受信部１０５は近傍にある他のカメラ１００から送られてくる固有ＩＤ情報１０７を受信する。また、専用端末２００による指示情報を、固有ＩＤ情報１０７によって復号化してから受信する。いずれの場合も、無線受信部１０５は受信したデータを後述の端末認証部１０６に送信する。
【００２６】
端末認証部１０６は、以上で説明したカメラ１００の各部分の動作を制御するプロセッサと、該プロセッサで動作するソフトウェアなどで構成される。端末認証部１０６には、固有ＩＤ情報１０７と、一定の周期で割り込み信号を発行するタイマ１０８と、近傍に存在するカメラ１００の一覧であるＩＤリスト１０９が付属する。
【００２７】
端末認証部１０６は、近傍に存在するカメラ１００から固有ＩＤ情報１０７が送られてきたら、該固有ＩＤ情報１０７とその受信時刻をＩＤリスト１０９に記録する。新規に設置されたカメラ１００は、既存のカメラ１００に自らの固有ＩＤ情報１０７を送信することにより、いつでも既存のカメラ１００上のＩＤリスト１０９に加わってカメラネットワーク１に参加することが可能である。
【００２８】
また端末認証部１０６は、タイマ１０８が割り込み信号を発行する１周期ごとに、固有ＩＤ情報１０７を無線送信部１０４に送る。そして、タイマ１０８の１周期ごとに、ＩＤリスト１０９に載っているカメラの中でタイマ１０８の１周期以内に固有ＩＤ情報１０７を受信していないものがあるか否かをチェックし、受信していないものがある場合にエラー情報を生成して無線送信部１０４に送る。
【００２９】
無線受信部１０５が専用端末２００による指示情報を受信した場合、該指示情報を復号化することによって認証し、正規の専用端末２００からの指示情報である場合に、映像蓄積部１０３に蓄積された映像データを無線送信部１０４に送るよう端末認証部１０６に指示する。正規の専用端末２００からの指示情報ではない場合には、該指示情報は破棄される。
【００３０】
固有ＩＤ情報１０７は、個々のカメラ１００の間で重複しない識別子である。固有ＩＤ情報１０７は、タイマ１０８が割り込み信号を発行する周期ごとに、近傍にあるカメラ１００に送信される。また固有ＩＤ情報１０７は、映像蓄積部１０３に蓄積された映像データを専用端末２００に送信する際に、専用端末２００との間で交換するデータの暗号化および復号化にも使用される。
【００３１】
タイマ１０８は、前述の割り込み信号を端末認証部１０６に発行すると同時に、全てのカメラ１００の間で同期した時刻を保持する。時刻の同期は、たとえばＧＰＳ衛星もしくはＮＴＰサーバなどから時刻データを取得することによって可能である。固有ＩＤ情報１０７、およびタイマ１０８によって保持される時刻は、映像撮影部１０２により撮影された映像と共に映像蓄積部１０３に蓄積される。
【００３２】
なお、無線送信部１０４および無線受信部１０５によって無線ネットワークの通信を行う理由も、前述の発電機構部１０１と同じように、カメラ１００の設置場所に対する制約を少なくするためである。カメラ１００を有線ネットワークによってセンター処理装置３００に接続できる場所に設置する場合は、無線送信部１０４および無線受信部１０５を、それぞれ有線ネットワーク通信による送信部および無線受信部に置き換えてもよい。
【００３３】
図１に戻って、専用端末２００は、カメラ１００との間で近距離無線通信を行い、また専用端末２００とセンター処理装置３００との間で有線ネットワークもしくは近距離無線通信による接続で通信を行う。カメラ１００から受信したデータはそのままセンター処理装置３００に送られ、逆にセンター処理装置３００から送信されたデータはそのまま各々のカメラ１００に送られる。専用端末２００は、複数のカメラ１００と同時に接続可能である。また、専用端末２００が複数存在してもよい。
【００３４】
カメラ１００の近距離無線通信には、電波の到達距離に制約がある。そこで、複数のカメラ１００とセンター処理装置３００とが直接通信する際の電波の到達距離よりも、広い範囲をカメラネットワーク１が監視できるようにするために、専用端末２００を介してカメラ１００とセンター処理装置３００とが通信するようにしている。もし、近距離無線通信の電波の到達距離よりも狭い範囲を監視対象範囲とするのであれば、複数のカメラ１００とセンター処理装置３００とが直接通信するようにしてもよい。
【００３５】
センター処理装置３００は、サーバもしくはパーソナルコンピュータなどで構成されるコンピュータ装置であり、物理的に１台のコンピュータであってもよく、相互に接続された複数のコンピュータであってもよい。センター処理装置３００は、映像蓄積部３０１、映像再生部３０２、地図処理部３０３、顔検出エンジン３０４、移動軌跡検出エンジン３０５、制御部３０６、および暗号化／復号化部３０８を備える。制御部３０６は、ＣＰＵおよびメモリおよびＯＳによって構成される、ソフトウェアを実行する機能である。制御部３０６には、一定の周期で割り込み信号を発行するタイマ３０７が付属する。
【００３６】
映像蓄積部３０１は、各々のカメラ１００から回収した映像を保存する機構であり、主にハードディスクなどの大容量記憶装置によって構成される。映像再生部３０２は、映像蓄積部３０１に保存されている映像を再生する機構であり、ディスプレイおよび該ディスプレイを駆動するハードウェアとソフトウェアから構成される。
【００３７】
地図処理部３０３は、制御部３０６で実行される機能であり、各々のカメラ１００から送られた固有ＩＤ情報１０７を地図上の位置情報へ変換して、当該カメラの映像を地図上の一意の場所へ位置づける。地図処理部３０３は、固有ＩＤ情報１０７と各々の地図上での座標とを関連づける座標テーブル３１１を保持する。
【００３８】
顔検出エンジン３０４は、制御部３０６で実行される機能であり、映像蓄積部３０１に保存されている映像の中から、人間の顔を検出する。また、顔検出エンジン３０４にあらかじめ複数の人物の顔を登録しておいて、検出された顔が登録された人物の顔と一致する場合、その人物についての情報をユーザに提示することも可能である。
【００３９】
移動軌跡検出エンジン３０５は、制御部３０６で実行される機能であり、複数のカメラ１００の映像における撮影領域が重複する部分に映った移動体を同一の移動体として認識して、移動軌跡を同一の移動体として追跡する。なお、顔検出エンジン３０４が人間の顔を検出する際に使用する処理、および移動軌跡検出エンジン３０５が移動体の軌跡を検出する処理は、既に前述の各特許文献などによって公知のものであるので、詳しく言及しない。
【００４０】
暗号化／復号化部３０８は、カメラ１００に送信する指示情報を、送信先となる各々のカメラ１００の固有ＩＤ情報１０７によって暗号化する。また、カメラ１００から送られる映像データを、送信元となる各々のカメラ１００の固有ＩＤ情報１０７によって復号化する。センター処理装置３００が送信する指示情報、および受信する映像データは、すべて暗号化／復号化部３０８を通って暗号化／復号化される。
【００４１】
図３は、図１および図２で示されたカメラ１００において実行される処理を書き表すフローチャートである。処理を開始すると、端末認証部１０６はタイマ１０８からの割り込み信号を待つ状態となる（ステップＳ４０１）。割り込み信号があると、後述のステップＳ４０６以後の処理に進む。割り込み信号がない場合、端末認証部１０６は近傍にある他のカメラ１００から固有ＩＤ情報１０７が送られたか否かをチェックし（ステップＳ４０２）、送られていればＩＤリスト１０９に固有ＩＤ情報１０７を記憶して（ステップＳ４０３）、映像蓄積部１０３に蓄積されていた映像データを消去し、ステップＳ４０４に進む。送られていなければそのままステップＳ４０４に進む。
【００４２】
続いて端末認証部１０６は、無線受信部１０５を介して、専用端末２００からの指示情報を受信したか否かをチェックし（ステップＳ４０４）、受信していれば、映像蓄積部１０３に蓄積された映像データを専用端末２００に送信するよう、無線送信部１０４に指示し（ステップＳ４０５）、ステップＳ４０１に戻る。指示情報を受信していなければそのままステップＳ４０１に戻る。
【００４３】
ステップＳ４０１で割り込み信号があった場合、端末認証部１０６は近傍にある他のカメラ１００に固有ＩＤ情報１０７を送信し（ステップＳ４０６）、ＩＤリスト１０９に記憶されている他のカメラ１００からの固有ＩＤ情報１０７をチェックする（ステップＳ４０７）。ＩＤリスト１０９にあるカメラ１００すべてについて、タイマ１０８の１周期以内に固有ＩＤ情報１０７の受信記録が残っていれば、異常なしと判断し、ステップＳ４０１に戻る。
【００４４】
ステップＳ４０７で、固有ＩＤ情報１０７の受信記録が残っていないカメラ１００が一つでもあるなら、異常が発生したと判断し、カメラネットワーク１に属するすべてのカメラ１００と専用端末２００に対してアラートを送信し（ステップＳ４０８）、処理を終了する。これによって、故障や破壊行為などによって発生した異常を検出することが可能となっている。
【００４５】
図４は、図１で示されたセンター処理装置３００において実行される処理を書き表すフローチャートである。処理を開始すると、制御部３０６はタイマ３０７からの割り込み信号を待つ状態となる（ステップＳ５０１）。割り込み信号があると、制御部３０６はカメラネットワーク１に属するすべてのカメラ１００に、撮影された映像を送信させる指示情報を送信する（ステップＳ５０２）。
【００４６】
該指示情報を受けたカメラ１００は、固有ＩＤ情報１０７と、タイマ１０８によって保持された時刻と共に、映像データをセンター処理装置３００に送信する。制御部３０６は、固有ＩＤ情報１０７および時刻情報と共に、受信した映像データを映像蓄積部３０１に記録して（ステップＳ５０３）ステップＳ５０４に進む。その際、地図処理部３０３によって座標テーブル３１１を更新し、カメラ１００の固有ＩＤ情報１０７と地図上の座標とを関連づける。割り込み信号がなければ、そのままステップＳ５０４に進む。
【００４７】
なお、タイマ３０７の周期は、カメラ１００にあるタイマ１０８の周期とは、特に関係ない。カメラ１００の映像蓄積部１０３の容量に応じて、該映像蓄積部１０３が満杯になる前に映像データを回収して記録できる周期であればよい。
【００４８】
また、各々のカメラ１００との通信は、各々の固有ＩＤ情報１０７に基づいて暗号化されている。そのため、カメラ１００とセンター処理装置３００との間の通信が他の装置に傍受されていたとしても、センター処理装置３００以外の装置がカメラ１００に映像データを送信させたり、またセンター処理装置３００に送信された映像データを再生したりすることはできない。なお、暗号化の方法は公知の方法が適用でき、また暗号化の鍵として固有ＩＤ情報１０７以外のデータを適用することもできる。
【００４９】
ステップＳ５０１でタイマ３０７からの割り込み信号がない場合、制御部３０６は、ユーザからの操作を待つ状態となる（ステップＳ５０４）。ユーザは、センター処理装置３００を操作して、カメラネットワーク１の監視対象地域および時間において、任意の地点および時点の映像を映像再生部３０２によって再生することができる。
【００５０】
センター処理装置３００では、座標テーブル３１１によって、カメラ１００の固有ＩＤ情報１０７と地図上の座標が関連づけられている。また、各々のカメラ１００からの映像は時刻情報が同期されているため、ある特定の時刻における映像を複数のカメラ１００において同期させて再生することが可能となる。なお、これらの再生については、図４には特に記載されていない。
【００５１】
そのため、センター処理装置３００を操作するユーザは、ある特定の時間および地点にいた人物が、複数のカメラ１００においてどのように撮影されているかを見ることができる。同時に、複数のカメラ１００を同期させて、巻き戻し、早送り、スローモーションやコマ送りなどの再生操作を行うことによって、ある特定の時間および地点にいた人物の移動を複数のカメラの映像によって追跡することが可能となる。
【００５２】
図５は、図１で示されたカメラネットワーク１における人物の移動軌跡の検出と人物の特定を示す概念図である。監視対象地域に設置されている複数のカメラ１００が撮影した映像を、ユーザはセンター処理装置３００を操作して見ている。今、ユーザは特定のカメラ１００ｂによって撮影された人物像７０１に注目した。
【００５３】
しかしながら、特定の時間および地点における人物像７０１だけでは、顔や体型、服装などの情報が不十分であるため、ユーザはその人物を特定できない。しかも、多数のカメラ１００によって撮影されたすべての映像を、ユーザが全部見ることは困難である。そこでユーザは、対象となる人物として人物像７０１を指定し、センター処理装置３００に人物を特定させる人物特定コマンドを発行する。
【００５４】
人物特定コマンドを受けた制御部３０６は、移動軌跡検出エンジン３０５によって、座標テーブル３１１を利用して複数のカメラ１００に映った映像を結びつけ、人物像７０１に該当する人物の移動軌跡７０２を検出し、人物を特定するために必要な映像を抽出する（ステップＳ５０５）。
【００５５】
ステップＳ５０５で特定された移動軌跡７０２に該当する（当該人物が映っている）映像の中から、顔検出エンジン３０４が、人物を特定できるレベルの顔の映った映像が存在するか否かを検出し（ステップＳ５０６）、存在すればその顔が映る画像として、特定のカメラ１００ｃが撮影した人物像７０１ｂを検出し、表示する（ステップＳ５０７）。
【００５６】
さらに、検出された人物像７０１ｂに映る顔が、顔検出エンジン３０４に登録されている特定の人物の顔である場合、その人物についての情報をユーザに提示して（ステップＳ５０８〜５０９）、ステップＳ５０１に戻る。たとえば指名手配犯や行方不明者などの顔を顔検出エンジン３０４に登録しておけば、その人物を検出し、移動軌跡７０２が記録されるので、捜査において極めて有用な情報となる。
【００５７】
ステップＳ５０６で人物を特定できるレベルの顔の映像が存在しなかった場合、およびステップＳ５０８で登録されている人物の顔でなかった場合は、いずれもステップＳ５０１に戻る。
【００５８】
なお、ステップＳ５０６〜５０７で、移動軌跡７０２から人物を特定できる人物像７０１ｂが検出された時点で、移動軌跡検出エンジン３０５および顔検出エンジン３０４による処理を終了してもよい。またそれらによる処理を継続して、同一の対象人物に対して複数の人物像を検出するようにしてもよい。
【００５９】
これにより、多数のカメラ１００によって撮影されたすべての映像を見なくても、人物を特定できるレベルの人物像を検出することができるので、カメラネットワーク１の監視対象地域で犯罪が発生した場合などで人物の特定が容易になる。さらに、人物の移動軌跡を検出して記録できるので、指名手配犯や行方不明者などの捜査にも有用である。
【００６０】
また、複数のカメラ１００の映像の撮影領域が、それぞれどこかに重複する部分が存在するように配置されていればよいので、それ以上に多くのカメラ１００を設置する必要はない。そのため、必要以上にカメラ１００を設置するコスト、および膨大な量の映像データを伝送することに伴うネットワークへの負荷を削減することができる。
【００６１】
カメラ１００はスタンドアローン型であるので、設置場所についての制約は少なく、電源および有線ネットワークと接続が不可能な場所にも設置できる。また、カメラ１００の中に災害や破壊行為などによって機能を停止したものがあった場合にも、それらを検出してアラートを出すので、ユーザがすぐに対応することができる。
【００６２】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることは言うまでもないことである。
【産業上の利用可能性】
【００６３】
空港、駅、銀行、繁華街、店舗などに設置される、監視カメラによる防犯システムにおいて利用可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態に係るカメラネットワークの構成を示すブロック図である。
【図２】図１で示したカメラの構成を示すブロック図である。
【図３】図１および図２で示されたカメラにおいて実行される処理を書き表すフローチャートである。
【図４】図１で示されたセンター処理装置において実行される処理を書き表すフローチャートである。
【図５】図１で示されたカメラネットワークにおける人物の移動軌跡の検出と人物の特定を示す概念図である。
【符号の説明】
【００６５】
１ カメラネットワーク（人物特定システム）
１００ カメラ
１０１ 発電機構部
１０２ 映像撮影部
１０３ 映像蓄積部
１０４ 無線送信部
１０５ 無線受信部
１０６ 端末認証部
１０７ 固有ＩＤ情報
１０８ タイマ
１０９ ＩＤリスト
２００ 専用端末
３００ センター処理装置（人物特定装置）
３０１ 映像蓄積部
３０２ 映像再生部
３０３ 地図処理部
３０４ 顔検出エンジン
３０５ 移動軌跡検出エンジン
３０６ 制御部
３０７ タイマ
３０８ 暗号化／復号化部
７０１ 人物像
７０２ 移動軌跡
【特許請求の範囲】
【請求項１】
複数のカメラと、前記各カメラにより撮影された映像データを受信するセンター処理装置とを備えた人物特定システムであって、
前記センター処理装置が、
前記カメラから受信した映像データを蓄積する映像蓄積部と、
前記蓄積された映像データを地図上での座標データと関連づける地図処理部と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンと
を有することを特徴とする人物特定システム。
【請求項２】
前記センター処理装置が、前記撮影された映像データを送信させる指示情報を前記複数のカメラに送信させるための割り込み信号を発生するタイマを有することを特徴とする、請求項１に記載の人物特定システム。
【請求項３】
前記複数のカメラがそれぞれ、自身に対応する固有ＩＤ情報を有し、
前記センター処理装置が、前記指示情報を前記固有ＩＤ情報に基づいて暗号化してから送信する暗号化部を有することを特徴とする、請求項２に記載の人物特定システム。
【請求項４】
前記センター処理装置が、前記複数のカメラから受信した映像データを前記固有ＩＤ情報に基づいて復号化してから前記映像蓄積部に保存する復号化部を有することを特徴とする、請求項３に記載の人物特定システム。
【請求項５】
前記センター処理装置が、前記蓄積された映像データを再生する映像再生部を有することを特徴とする、請求項２に記載の人物特定システム。
【請求項６】
前記顔検出エンジンが、前記検出された映像に含まれる顔があらかじめ登録された特定の人物の顔と一致するか否かを判断することが可能であることを特徴とする、請求項２に記載の人物特定システム。
【請求項７】
前記複数のカメラと前記センター処理装置とが無線通信によって接続されることを特徴とする、請求項２に記載の人物特定システム。
【請求項８】
前記複数のカメラと専用端末とが無線通信によって接続され、前記専用端末と前記センター処理装置とがネットワークによって接続されることを特徴とする、請求項２に記載の人物特定システム。
【請求項９】
前記複数のカメラがそれぞれ、自身が動作するための電力を発生する発電機構部を有することを特徴とする、請求項２に記載の人物特定システム。
【請求項１０】
前記複数のカメラがそれぞれ、自身に対応する固有ＩＤ情報を相互に交換し、近傍にある前記カメラから前記固有ＩＤ情報を受信しない場合にアラートを発信することを特徴とする、請求項２に記載の人物特定システム。
【請求項１１】
複数のカメラによって撮影された映像データを受信する人物特定装置であって、
前記カメラから受信した映像データを蓄積する映像蓄積部と、
前記蓄積された映像データを地図上での座標データと関連づける地図処理部と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンと
を有することを特徴とする人物特定装置。
【請求項１２】
前記撮影された映像データを送信させる指示情報を前記複数のカメラに送信させるための割り込み信号を発生するタイマを有することを特徴とする、請求項１１に記載の人物特定装置。
【請求項１３】
前記指示情報を前記複数のカメラのそれぞれに対応する固有ＩＤ情報に基づいて暗号化してから送信する暗号化部を有することを特徴とする、請求項１２に記載の人物特定装置。
【請求項１４】
前記複数のカメラから受信した映像データを前記固有ＩＤ情報に基づいて復号化してから前記映像蓄積部に保存する復号化部を有することを特徴とする、請求項１３に記載の人物特定装置。
【請求項１５】
前記蓄積された映像データを再生する映像再生部を有することを特徴とする、請求項１２に記載の人物特定装置。
【請求項１６】
前記顔検出エンジンが、前記検出された映像に含まれる顔があらかじめ登録された特定の人物の顔と一致するか否かを判断することが可能であることを特徴とする、請求項１２に記載の人物特定装置。
【請求項１７】
複数のカメラと前記カメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定する方法であって、
前記カメラから受信した映像データを蓄積する映像蓄積工程と、
前記蓄積された映像データを地図上での座標データと関連づける地図処理工程と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する移動軌跡検出工程と、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出工程と
を有することを特徴とする人物特定方法。
【請求項１８】
複数のカメラと前記カメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定するプログラムであって、前記センター処理装置を構成するコンピュータに、
前記カメラから受信した映像データを蓄積する処理と、
前記蓄積された映像データを地図上での座標データと関連づける処理と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する処理と、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する処理と
を実行させることを特徴とする人物特定プログラム。
【請求項１】
複数のカメラと、前記各カメラにより撮影された映像データを受信するセンター処理装置とを備えた人物特定システムであって、
前記センター処理装置が、
前記カメラから受信した映像データを蓄積する映像蓄積部と、
前記蓄積された映像データを地図上での座標データと関連づける地図処理部と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンと
を有することを特徴とする人物特定システム。
【請求項２】
前記センター処理装置が、前記撮影された映像データを送信させる指示情報を前記複数のカメラに送信させるための割り込み信号を発生するタイマを有することを特徴とする、請求項１に記載の人物特定システム。
【請求項３】
前記複数のカメラがそれぞれ、自身に対応する固有ＩＤ情報を有し、
前記センター処理装置が、前記指示情報を前記固有ＩＤ情報に基づいて暗号化してから送信する暗号化部を有することを特徴とする、請求項２に記載の人物特定システム。
【請求項４】
前記センター処理装置が、前記複数のカメラから受信した映像データを前記固有ＩＤ情報に基づいて復号化してから前記映像蓄積部に保存する復号化部を有することを特徴とする、請求項３に記載の人物特定システム。
【請求項５】
前記センター処理装置が、前記蓄積された映像データを再生する映像再生部を有することを特徴とする、請求項２に記載の人物特定システム。
【請求項６】
前記顔検出エンジンが、前記検出された映像に含まれる顔があらかじめ登録された特定の人物の顔と一致するか否かを判断することが可能であることを特徴とする、請求項２に記載の人物特定システム。
【請求項７】
前記複数のカメラと前記センター処理装置とが無線通信によって接続されることを特徴とする、請求項２に記載の人物特定システム。
【請求項８】
前記複数のカメラと専用端末とが無線通信によって接続され、前記専用端末と前記センター処理装置とがネットワークによって接続されることを特徴とする、請求項２に記載の人物特定システム。
【請求項９】
前記複数のカメラがそれぞれ、自身が動作するための電力を発生する発電機構部を有することを特徴とする、請求項２に記載の人物特定システム。
【請求項１０】
前記複数のカメラがそれぞれ、自身に対応する固有ＩＤ情報を相互に交換し、近傍にある前記カメラから前記固有ＩＤ情報を受信しない場合にアラートを発信することを特徴とする、請求項２に記載の人物特定システム。
【請求項１１】
複数のカメラによって撮影された映像データを受信する人物特定装置であって、
前記カメラから受信した映像データを蓄積する映像蓄積部と、
前記蓄積された映像データを地図上での座標データと関連づける地図処理部と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する移動軌跡検出エンジンと、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出エンジンと
を有することを特徴とする人物特定装置。
【請求項１２】
前記撮影された映像データを送信させる指示情報を前記複数のカメラに送信させるための割り込み信号を発生するタイマを有することを特徴とする、請求項１１に記載の人物特定装置。
【請求項１３】
前記指示情報を前記複数のカメラのそれぞれに対応する固有ＩＤ情報に基づいて暗号化してから送信する暗号化部を有することを特徴とする、請求項１２に記載の人物特定装置。
【請求項１４】
前記複数のカメラから受信した映像データを前記固有ＩＤ情報に基づいて復号化してから前記映像蓄積部に保存する復号化部を有することを特徴とする、請求項１３に記載の人物特定装置。
【請求項１５】
前記蓄積された映像データを再生する映像再生部を有することを特徴とする、請求項１２に記載の人物特定装置。
【請求項１６】
前記顔検出エンジンが、前記検出された映像に含まれる顔があらかじめ登録された特定の人物の顔と一致するか否かを判断することが可能であることを特徴とする、請求項１２に記載の人物特定装置。
【請求項１７】
複数のカメラと前記カメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定する方法であって、
前記カメラから受信した映像データを蓄積する映像蓄積工程と、
前記蓄積された映像データを地図上での座標データと関連づける地図処理工程と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する移動軌跡検出工程と、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する顔検出工程と
を有することを特徴とする人物特定方法。
【請求項１８】
複数のカメラと前記カメラにより撮影された映像データを受信するセンター処理装置とからなるカメラネットワークによって撮影された人物を特定するプログラムであって、前記センター処理装置を構成するコンピュータに、
前記カメラから受信した映像データを蓄積する処理と、
前記蓄積された映像データを地図上での座標データと関連づける処理と、
前記蓄積された映像データと前記地図上での座標データとから前記映像上の移動体の軌跡を検出する処理と、
前記軌跡上の前記移動体の映像の中から人物を特定できるレベルの人間の顔の映った映像を検出する処理と
を実行させることを特徴とする人物特定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−１５２７３３（Ｐ２００９−１５２７３３Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００７−３２７２９０（Ｐ２００７−３２７２９０）
【出願日】平成１９年１２月１９日（２００７．１２．１９）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成１９年１２月１９日（２００７．１２．１９）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]