監視システム、人物検索方法
【課題】 監視システムにおいて精度の高い人物検索方法を提供する。
【解決手段】画像を録画する監視システムで、録画した画像の画像データに加えて、映像ＩＤと、撮影時刻情報と、撮影位置情報とを記憶する。さらに、録画した画像に撮影された人物の顔特徴量と、着衣情報とを記憶する。ここで、検索対象画像から、顔特徴量と、着衣情報と、撮影時刻情報と、撮影位置情報とを算出する。その撮影時刻情報、撮影位置情報、前記着衣情報のうちいずれかに対する重み値を用いて、検索対象画像と録画した画像に撮影された人物の同一性を判断する。
【解決手段】画像を録画する監視システムで、録画した画像の画像データに加えて、映像ＩＤと、撮影時刻情報と、撮影位置情報とを記憶する。さらに、録画した画像に撮影された人物の顔特徴量と、着衣情報とを記憶する。ここで、検索対象画像から、顔特徴量と、着衣情報と、撮影時刻情報と、撮影位置情報とを算出する。その撮影時刻情報、撮影位置情報、前記着衣情報のうちいずれかに対する重み値を用いて、検索対象画像と録画した画像に撮影された人物の同一性を判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムと、監視システムにおける人物検索方法に係り、人物検索を高精度に行うことができる監視システムと人物検索方法に関する。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。
このような映像監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送する。
監視センタに常駐する監視者は、その映像を監視し、目的や必要に応じて、注意をしたり、あるいは映像を録画・保存する。
【０００３】
この映像監視システムで映像の録画・保存をするための記録媒体として、以前は、ビデオテープ等のシーケンシャル・アクセスの記憶媒体が用いられていた。
しかし、近年では、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス可能な記憶媒体が、映像監視システムに用いられる事例が増えてきている。
ランダムアクセス可能な記憶媒体は、映像の整理がしやすく、繰り返し使用に強いため、普及が進んでいる。
【０００４】
さらに、このランダムアクセス可能な記録媒体は、年々、大容量化が進んでいる。
この大容量化により、録画できる映像のデータ量が、飛躍的に増大している。これにより、長時間録画が可能になった。
しかしながら、大量の録画映像を目視でチェックする際の監視者の負担の増加が、問題として顕在化しつつある。
【０００５】
そこで、所望の映像をより簡単に見つけ出すための検索機能を備えた映像監視システムが普及しつつある。
この検索機能を備えた映像監視システムにおいては、時刻や外部センサ値の情報を映像とともに記憶する機能を備えていることがある。
外部センサとしては、人感センサ等のアラームがよく用いられている。また、このアラームが出力する値は０又は１の２値であることが多い。実際には、アラームの出力が１になった場合には、その旨と、その時刻とをテキスト情報として記憶することが多い。
このような従来からの検索機能では、人感センサ等のアラームの出力値が１となった際のテキスト情報を検索キーとして、映像を検索するようにしている。
さらに近年では、画像情報を検索キーとする検索機能を備えた監視システムが存在する。
その画像情報を検索キーとする監視システムの一種として、人物検索機能を備えた録画装置が存在する。
【０００６】
人物検索機能とは、ある画像中に映っている人物をユーザが指定すると、その人物と同一人物が映っている他の映像を録画装置内から探し出し、ユーザに一覧提示する機能である。
この際、同一人物判定の手掛かりとして、人物の「顔」の画像が使われることが多い。
このような顔の画像から人物を検索する従来のシステムとしては、例えば、特許文献１を参照すると、多数の人物の顔を検索する、人物検索システム、人物追跡システム、人物検索方法、及び人物追跡方法が開示されている（以下、従来技術１とする。）。
従来技術１のような人物検索システムの人物検索機能は、ある特定の人物について、他の時刻あるいは他の場所での挙動の調査や、移動の軌跡の調査などに利用できる。このため、大変有効である。
【０００７】
この従来技術１のような、顔の画像を用いた従来の人物検索機能を備えたシステムの一例について、図９と図１０を参照して説明する。
以降、説明を容易にするため、ユーザが指定した画像を検索入力画像、検索対象となる録画画像を検索対象画像という。
また、検索の結果、同一人物画像として提示される画像を検索出力画像という。
さらに、検索出力画像をサムネイル表示したものの一覧を、検索出力画像一覧という。
【０００８】
まず、図９を参照して、人物検索機能を備えた録画装置２０１を含んだ、従来の映像監視システムＸの制御構成を説明する。
ネットワーク２００は、各装置を結ぶ専用線やイントラネット、インターネット等のＩＰネットワーク等である。
録画装置２０１は、画像データをＨＤＤ等に記憶して録画する録画装置である。また、録画装置２０１は、人物検索機能を備えている。
撮像装置２０２は、ＣＣＤやＣＭＯＳ素子等で撮像した画像（動画の映像又は静止画像）にデジタル変換処理を施し、変換された画像データを、ネットワークを介して出力するネットワーク・カメラや監視カメラ等の装置である。
監視端末２０３は、録画装置２０１に録画された画像データをネットワークを介して取得し、液晶ディスプレイやＣＲＴのマスターモニタ等である表示部に画面表示する装置である。また、監視端末２０３は、内蔵されたＣＰＵやプログラムにより、検索入力画像をネットワーク２００経由で録画装置２０１に送信する。また、監視端末２０３は、録画装置２０１から送信された検索出力画像一覧を、画面表示することもできる。さらに、監視端末２０３は、このためのＯＳ（オペレーティング・システム）と、ＯＳ上で動作するプログラムであるユーザインタフェイスを備えている。
【０００９】
また、録画装置２０１は、ネットワーク部２１１、記憶部２１２、顔領域検出部２１３、顔特徴量抽出部２１４、顔特徴量記録部２１５、及び顔判定部２１６が、例えば共通のバスにより接続するように構成される。
ネットワーク部２１１は、ＬＡＮインターフェイス等であり、ネットワーク２００からの入出力を行う処理部である。ネットワーク部２１１は、撮像装置２０２から入力される画像データの受信、監視端末２０３からの映像配信リクエスト、検索入力画像の受信、監視端末２０３への映像や検索出力画像の送信を行う。
記憶部２１２は、ＲＡＭやＲＯＭやＨＤＤ等のランダムアクセスが可能な記憶媒体と、そのコントローラを備える部位であり、画像データやその他のデータの記録媒体への読み書きを行う。映像記録の際には、画像データに加え、画像データを再び取り出すためのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、ＩＤデータ）も併せて記憶媒体に書き込みを行う。
【００１０】
顔領域検出部２１３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やこのＤＳＰ用のプログラム等を備える部位である。顔領域検出部２１３は、入力された画像データに対し、従来の一般的な顔検出のための画像認識処理を用いた顔検出を行う。顔領域検出部２１３は、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
顔特徴量抽出部２１４は、ＤＳＰ等を含んで構成される部位であり、顔領域検出部２１３で検出した顔領域に対して画像認識処理を用いて、顔特徴量算出を行う。ここで顔特徴量とは、例えば、顔の輪郭の形状や方向、皮膚の色、目、鼻、口といった主要構成要素の大きさ、形状、配置関係等を数値化したものを示す。
顔特徴量記録部２１５は、記憶部２１２への記憶を行うためのコントローラ等である。顔特徴量記録部２１５は、顔特徴量抽出部２１４で算出した顔特徴量を、記憶部２１２の記録媒体への読み書きを行う。
【００１１】
顔判定部２１６は、ＤＳＰ等を含んで構成される部位であり、検索の際に検索入力画像中の人物と録画映像中の人物との同一人物判定を行う部位である。
その上で、顔判定部２１６は、同一人物と判定された録画画像を集めて、検索出力画像一覧を生成する。この判定は、それぞれの画像にて求めた顔特徴量から「顔類似度」と呼ばれる値を算出し、算出した顔類似度と、記憶部２１２に記憶している所定の閾値との大小関係を基に判定する。
【００１２】
図１０を参照して、従来の映像監視システムＸにおける、録画装置２０１の人物検索機能を実際にユーザが使用する際の操作について説明する。図１０は、監視端末２０３の表示部に表示されるユーザインタフェイス画面の一例である。
このユーザインタフェイスでは、監視端末２０３の制御部が、監視端末２０３のキーボードや専用スイッチやジョグダイヤルやマウス等のポインティングデバイスを含む入力部の入力信号を検知して、ポインタ等を動かして表示する。さらに、監視端末２０３の制御部は、表示部の画面上に描かれた入力キーであるボタン等をユーザが押下したことを検知して、各処理を行う。
【００１３】
以下で、より具体的に、ユーザインタフェイス画面の説明をする。
再生映像表示部３０１は、再生中の映像を表示する領域である。再生映像表示部３０１には、監視端末２０３が、録画装置２０１からネットワーク２００を介して送信されてきた画像データを復号して表示する。
【００１４】
再生操作部３０２は、再生操作をするボタンが表示された領域である。再生操作部３０２上の各ボタンには、それぞれ固有の再生種類が割当てられている。
再生映像表示部３０１に表示されている映像に対して、新たな再生命令を与えたい場合には、ユーザは再生操作部３０２上の再生命令に対応したボタンをポインティングデバイス等で選択してボタンを押下する。監視端末２０３の制御部は、ユーザインタフェイスにおいてボタンの押下を検出して、各種の再生種類に対応する動作を行う。
たとえば、「左向きの三角が２つ」のボタンは映像の高速巻き戻しを示し、「左向きの三角が１つ」は映像の通常スピードでの巻き戻し再生を示し、「四角」ボタンは映像の停止／一時停止を示し、「右向きの三角が１つ」は映像の通常スピードでの再生を示し、「右向きの三角が２つ」のボタンは映像の高速早送りを示す。
カメラ切替操作部３０３は、カメラ切り換え操作用のボタンを表示する領域である。カメラ切替操作部３０３上の各ボタンには、それぞれ録画対象となっているカメラが割当てられており、再生映像表示部３０１に表示されている映像を、他のカメラの映像に切り替えたい場合に押下する。
【００１５】
検索入力画像指定部３０４は、検索入力画像を表示・指定する領域である。この指定は、検索入力画像指定部３０４に表示されている「取込」ボタン押下を検知して行う。
監視端末２０３の制御部は、ユーザが「取込」ボタンを押下したことを検知すると、再生映像表示部３０１に表示されている画像を、検索入力画像としてサムネイル表示する。
【００１６】
検索操作部３０５は、検索操作部上の「検索」ボタンを押下することで、検索入力画像指定部３０４に表示された画像にて検索を行うための領域である。この例では図示しないが、この検索操作部３０５に、日時やカメラの指定をするボタンを備える場合もある。
監視端末２０３の制御部は、ユーザが「検索」ボタンの押下したことを検知すると、検索入力画像指定部３０４に表示されている画像（検索入力画像）がある場合は、録画装置２０１にこの検索用画像に係るフレーム番号をネットワーク２００を介して送信する。
録画装置２０１の制御部は、検索入力画像に係るフレーム番号を受信して、このフレーム番号に係る検索画像を記憶部２１２から読み出し、上述のように各部を用いて人物検索機能を実行する。そして、検索された人物を含む画像である検索出力画像（とそのフレーム番号）を、ネットワーク２００を介して監視端末２０３に送信する。
【００１７】
検索出力画像一覧表示部３０６は、検索出力画像の一覧をサムネイル表示する領域である。
ここに表示された検索出力画像のいずれかを押下すると、再生映像表示部３０１の表示映像が押下画像に切り替わる。この切り替わりを頭出しという。
【００１８】
以上のように、「顔」を手掛かりとした人物検索機能は、膨大な検索対象画像の中から、目的の人物映像への頭出しが容易にできるため大変便利である。
【００１９】
【特許文献１】特開２００３−２８１１５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、従来技術１のような画像認識技術は、正面方向から映した顔画像に対する認識精度は優れているものの、それ以外の方向から映した顔画像に対する認識精度は低かった。また、画像中における顔の大きさ（解像度）も認識精度に大きく影響し、顔の大きさが小さい場合には、認識精度も低かった。
従って、広角レンズを備え、対象者を斜め上方から小さく映すことの多い映像監視システムにおいては、誤検索、すなわち異なる人物を同一人物と間違って認識したり、同一人物を異なる人物と間違って認識したりする場合がある、すなわち精度が低いという問題があった。
【００２１】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【００２２】
本発明の人物検索方法は、画像を録画する監視システムにおける人物検索方法において、録画した複数の画像の画像データから求められる、撮影時刻情報、撮影位置情報、顔特徴量、及び着衣情報をそれぞれ記憶し、前記撮影時刻情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する時刻＋着衣重み設定値、及び前記撮影時刻情報が近傍か非近傍かの近傍性と、前記撮影位置情報が近傍か非近傍かの近傍性との条件の組み合わせに対応する時刻＋位置重み設定値、及び前記撮影位置情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する位置＋着衣重み設定値の入力を予め受け、前記重み設定値のうち、用いる重み設定値と検索対象画像とについての指定とともに検索の指示を受けたときに、前記録画した画像と前記検索対象画像との間で、前記顔特徴量の差分、指定された前記時刻＋着衣重み設定値、又は前記時刻＋位置重み設定値、又は前記位置＋着衣重み設定値に対応する重みを与えて得られる総合類似度用いて、録画された人物の同一性を判断することを特徴とする。
本発明の監視システムは、撮像装置、録画装置、及び監視端末を備えて画像を録画する監視システムであって、前記録画装置は、前記撮像装置で撮像した画像から顔特徴量を抽出する顔特徴量抽出手段と、前記撮像装置で撮像した画像から着衣特徴量を抽出する着衣特徴量抽出手段と、録画した画像の画像データ、撮影時刻情報、撮影位置情報、前記顔特徴量抽出手段で抽出された顔特徴量、前記着衣特徴量抽出手段で抽出された着衣情報のうち、少なくとも１つ以上を記憶する記憶手段と、前記撮影時刻情報、前記撮影位置情報、及び前記着衣情報のうち、いずれかに対応する重み値を用いて、検索対象画像と前記録画した画像に撮影された人物の同一性を判断する総合判断手段とを備えることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、精度を向上させた映像監視システムと人物検索方法を提供することができる。
【発明を実施するための最良の形態】
【００２４】
＜第１の実施の形態＞
〔制御構成〕
図１を参照して、本発明の実施の形態に係る人物検索方法による人物検索機能を備える録画装置１０１を含む映像監視システムＹの制御構成について説明する。
ネットワーク１００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク１００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
録画装置１０１は画像データをＨＤＤ等に記憶して録画する録画装置である。また、録画装置１０１は、従来技術の録画装置２０１と同様に顔検索機能を備えており、さらに着衣検出機能を備えている。この着衣検出機能と、顔検出機能とを組み合わせることで、本発明の実施の形態に係る精度を向上させた人物検索方法を提供することができる。この人物検索方法については後述する。
撮像装置１０２は、撮像装置２０２と同様な機能をもつ画像撮影用の装置である。
監視端末１０３は、監視端末２０３と同様な機能をもつ装置であり、ＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）の記憶部に記憶したプログラムにより実現してもよいし、専用の監視端末装置として実現してもよい。また、監視端末１０３は、録画装置１０１の人物検索方法を用いるためのユーザインタフェイスも備えている。
【００２５】
録画装置１０１は、ネットワーク部１１１、記憶部１１２（記憶手段）、顔領域検出部１１３、顔特徴量抽出部１１４（顔特徴量抽出手段）、顔特徴量記録部１１５、着衣領域検出部１１６、着衣特徴量抽出部１１７（着衣特徴量抽出手段）、着衣特徴量記録部１１８、撮影時刻記録部１１９、撮影位置記録部１２０、総合判定部１２１（総合判断手段）が、例えば共通のバスにより接続するように構成される。
【００２６】
ネットワーク部１１１は、装置外部からの入出力を行うＬＡＮインターフェイス等の処理部である。ネットワーク部１１１は、撮像装置１０２が送信する画像データを受信を行う。また、ネットワーク部１１１は、監視端末１０３からの映像配信リクエストや検索入力画像の受信を行う。さらに、ネットワーク部１１１は、監視端末１０３への画像データや検索出力画像のデータの送信を行う。
記憶部１１２は、ＲＡＭやＲＯＭやフラッシュメモリや光ディスクや磁気テープやＨＤＤ等の記憶媒体と、インテリジェントなコントローラやＣＰＵやＭＰＵ等を備える部位である。記憶部１１２は、画像（映像）データやその他のデータの記録媒体への読み書きを行う。映像記録の際には、画像データに加え、画像データを再び取り出す為のＩＤ（アイデンディフィケーション）、タイムコード、フレーム番号、各種タグデータ、ハッシュデータ等である映像ＩＤについても合わせて、データベース等を用いて書き込みを行う。また、記憶部１１２は、コントローラやＣＰＵやＭＰＵにより、データベースから映像ＩＤを検索して記憶媒体から読み出し・書き込みを行うこともできる。
顔領域検出部１１３は、顔領域検出部２１３と同等の機能を備えるＤＳＰやこのＤＳＰ用のプログラム等を含んで構成される。顔領域検出部１１３は、入力された画像データに対し画像認識技術を用いた顔検出を行う。さらに、顔領域検出部１１３は、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
顔特徴量抽出部１１４は、顔特徴量抽出部２１４と同等の機能を備えるＤＳＰを含んで構成される。また、顔特徴量抽出部１１４が抽出する顔特徴量は、例えば、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を用いることができる。また、本発明の実施の形態に係る顔特徴量抽出部１１４においては、使用する顔特徴量の種類や数は任意である。さらに、髪の長さや推定骨格（顎の大きさ等）の特徴等から、高い確率で男女を判定することも可能である。
顔特徴量記録部１１５は、記憶部１１２への記憶を行うためのコントローラ等を含んで構成される。顔特徴量記録部１１５は、顔特徴量抽出部１１４で算出した顔特徴量について、記憶部１１２の記録媒体への読み書きを行う。
【００２７】
着衣領域検出部１１６は、ＤＳＰやこのＤＳＰ用のプログラム等を含んで構成され、入力された画像データに対し、画像認識技術を用いた着衣領域の座標算出を行う。この画像認識技術としては、着衣量の算出に用いることができる公知の技術を用いることができる。たとえば、動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を用いることができる。さらに、着衣領域の座標から、背の高さを推定することができ、大人か子供かについて判定できる。
着衣特徴量抽出部１１７は、着衣領域検出部１１６で検出した着衣領域に対して画像認識技術を用いて着衣特徴量算出を行う。ここで着衣特徴量とは、例えば、上述の着衣の色の分布や周波数的な特徴等が挙げられる。また、本発明においては使用する着衣特徴量の種類や数は任意である。また、この着衣特徴量抽出部１１７は、右前あるいは左前といった特徴、曲線的な服装等である特徴、ワンピース等の特徴についても判定することが可能である。これにより、この着衣を着ている人物が男女のどちらであるか、高い確率で判定できる。
着衣特徴量記録部１１８は、記憶部１１２への記憶を行うためのコントローラ等を含んで構成される。着衣特徴量記録部１１８は、着衣特徴量抽出部１１７で算出した着衣特徴量について、記憶部１１２の記録媒体への読み書きを行う。
【００２８】
撮影時刻記録部１１９は、画像が撮影された際の時刻である撮影時刻情報について、記憶部１１２の記録媒体への読み書きを行う。
この撮影時刻情報は、例えば、ＧＰＳ（グローバル・ポジショニング・システム）や、ネットワーク部１１１を介してＮＴＰ（ネットワーク・タイム・プロトコル）等を用いることで、正確な時刻を記憶することが好適である。
また、各撮像装置１０２で基準となる時計の時刻に誤差があった場合、この誤差を計測した上で、「マスタークロック」となる録画装置１０１の時刻に合わせて補正して記憶する。
【００２９】
撮影位置記録部１２０は、記憶部１１２への記憶を行うためのコントローラ等を含んで構成される。撮影位置記録部１２０は、映像の撮影位置情報について、記憶部１１２の記録媒体への読み書きを行う。撮影位置情報は、例えばカメラのＧＰＳ位置情報のような物理的情報であってもよいし、カメラ設置番号のような、別途設けられた位置算出手段への参照情報であってもよい。
【００３０】
総合判定部１２１は、検索の際に検索入力画像中の人物と録画映像中の人物との同一人物判定を行い、同一人物と判定された録画画像を集めて、検索出力画像一覧を生成する。
この判定は、それぞれの画像にて求めた顔特徴量から「顔類似度」と呼ばれる値を算出し、算出した顔類似度に撮影時刻情報と撮影位置情報、後述する着衣情報から求めた重み値を加えた値（以降、総合類似度という。）、あらかじめ設定した所定の閾値等の大小関係において決定する。この顔類似度やその他の処理の詳細については後述する。
また、総合判定部１２１は、このような判定のために、ＲＡＭやレジスタやフラッシュメモリやＨＤＤ等の一時的な記憶手段を備えている。
【００３１】
なお、総合判定部１２１の一時的な記憶手段は、記憶部１１２の特定の領域や、記憶部１１２の記憶媒体に備えていてもよい。
また、総合判定部１２１は、制御部が実行するプログラムとして実現されていてもよく、この場合は、一時的な記憶手段は、プログラムの変数の値やファイルとして保持する。
さらに、顔領域検出部１１３、顔特徴量抽出部１１４、顔特徴量記録部１１５、着衣領域検出部１１６、着衣特徴量抽出部１１７、着衣特徴量記録部１１８、撮影時刻記録部１１９、撮影位置記録部１２０に関しても、制御部が実行するプログラムとして実現されていてもよい。
この場合は、特徴量抽出等の高速応答性やＳＩＭＤ（シングル・インストラクション・マルチプル・データ）形式の多大な演算性能が要求される演算（算出）処理を、別の各種ＤＳＰやＧＰＵ（グラフィック・プロセッシング・ユニット）を備えたチップやボード等で処理するようにしてもよい。
【００３２】
この他に、映像監視システムＹにおいては、上記の各処理の制御を行うＣＰＵ等の制御部を備えている。制御部で実行されるプログラムは、各部をハードウェア資源を使用して実現するために用いられてもよく、記憶部１１２に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。
【００３３】
〔人物検索方法の精度向上のための手法〕
本発明の発明者は、鋭意実験と検討を繰り返した結果、人物検索機能の性能を高めるためには、同一人物の判定に、撮影時刻情報、撮影位置情報、着衣情報等を加えるのが有効であることを見いだし、本発明を完成するに至った。
具体的には、検索入力画像と検索対象画像との間で、撮影時刻情報、撮影位置情報、着衣情報等を比較することで、同一人物の判定を確実に行うことができる。
ここで、撮影時刻情報、撮影位置情報については、その人物が近場に存在するかどうかの近傍性（時間的、空間的な近さ）を判断する。
着衣情報は、着衣特徴量のベクトル等であり、着衣の特徴によりその人物が同一であるかどうかの同一性を判断する。
この判断結果については、撮影時刻情報、撮影位置情報、着衣情報等に、以下の条件（１）〜（７）を用いて算出した重みの値を適用して判断する。
（１）近傍の時刻において同一着衣の人物は同一人物である可能性が高い
（２）近傍でない時刻においても同一着衣の人物は同一人物である可能性がある
（３）近傍の時刻において非同一着衣の人物は同一人物でない可能性が高い
（４）近傍の時刻、近傍位置の人物は同一人物である可能性が高い
（５）近傍の時刻、非近傍位置の人物は同一人物でない可能性が高い
（６）近傍でない時刻、近傍位置の人物は同一人物である可能性がある
（７）近傍位置、同一着衣の人物は同一人物である可能性がある
この算出した重みを、顔特徴量を用いた同一人物の判断結果に掛け合わせることで、人物検索の検索結果の精度を飛躍的に向上させることが可能となった。
なお、（１）〜（７）の一部を判断するものであっても、人物検索精度を向上させることができる。
【００３４】
〔データベース〕
次に、図２を参照して、本発明の実施の形態に係る特徴量データベース８０１について説明する。
上述のような精度向上のための手法を実現するため、本発明の実施の形態に係る録画装置１０１では、録画時に、映像ＩＤ、顔特徴量、着衣情報、撮影時刻情報、及び撮影位置情報を記憶する。
これらの情報を記憶するために、録画装置１０１は、記憶部１１２の記憶部の記憶媒体に、特徴量データベース８０１を備えている。
特徴量データベース８０１は、例えば、図２のように表形式で構成することができるが、どのようなものであってもよい。
【００３５】
特徴量データベース８０１の記憶内容のうち、映像ＩＤ列８１１には、映像ＩＤが記憶される。この映像ＩＤとしては、録画時刻を示すタイムコード又はフレーム番号を用いることができる。このフレーム番号は、例えば１つのストリームの先頭からユニークに割り振った番号であり、単調増加する連続値のような値を用いてもよい。
顔特徴量列８１２は、顔特徴量抽出部１１４で算出された顔特徴量が記憶される。格納する顔特徴量が複数ある場合にはここは複数列となる。
着衣特徴量列８１３は、着衣特徴量抽出部１１７で算出された着衣特徴量が記憶される。格納する着衣特徴量が複数ある場合にはここは複数列となる。
撮影時刻列８１４は、撮影時刻情報が記憶される。
撮影位置列８１５は、撮影位置情報が記憶される。ＧＰＳの位置情報等もここに記憶される。
【００３６】
特徴量データベース８０１の書き込み又は読み出しについては、記憶部１１２のＣＰＵ等により、例えばＳＱＬ等のデータベースのデーモン（バックグラウンド実行プログラム等）又はサービスが実行されている。このデーモン又はサービスは、各構成部位からのコマンドにより、特徴量データベース８０１の記憶内容について、読み出しや書き込み（格納）や追記等ができる。
【００３７】
顔特徴量記録部１１５は、顔特徴量抽出部１１４からの入力時に、この特徴量データベース８０１の最後尾行の次行、すなわち未格納行を書込み行として、映像ＩＤと顔特徴量を格納する。
着衣特徴量記録部１１８、撮影時刻記録部１１９、又は撮影位置記録部１２０は、書込み行となっている行に対して、それぞれ着衣特徴量、撮影時刻、撮影位置を格納する。
また、総合判定部１２１が実行するプログラムを用いても、特徴量データベース８０１の各行の読み出し（参照）や書き込み（記憶）が可能である。
【００３８】
〔映像録画の際の処理〕
次に、図３を参照して、本発明の実施の形態に係る録画装置１０１で、実際に映像録画を行う際の処理の流れを説明する。
この映像録画の際に、上述のように撮影時刻情報、撮影位置情報、及び着衣情報についても記憶する。
また、この映像の録画を行う際の処理は、記憶部１１２のＲＯＭやフラッシュメモリやＨＤＤ等の記憶媒体に記憶されたプログラム等に従って、各部が協調して実行する。
【００３９】
（ステップＳ７０１）
ステップＳ７０１において、ネットワーク部１１１は、映像受信処理を行う。
具体的には、ネットワーク部１１１は、撮像装置１０２からネットワーク１００を介して入力された画像データを受信して、記憶部１１２へ出力する。
【００４０】
（ステップＳ７０２）
ステップＳ７０２において、記憶部１１２は、画像データと映像ＩＤ記憶処理を行う。
すなわち、記憶部１１２は、入力された画像データを、ＨＤＤ等のランダムアクセス可能な記録媒体に記録する。
また、記憶部１１２は、映像を再び取り出す為の映像ＩＤも生成し、併せて記録する。そして、画像データを顔領域検出部１１３へ出力する。
以下で、本フローチャートの説明においては、明示的記載がなくとも画像には映像ＩＤを付してあるものとする。
【００４１】
（ステップＳ７０３）
ステップＳ７０３において、顔領域検出部１１３は、入力された画像データに対し、顔検出処理を行う。
この顔検出処理においては、公知の技術を用いて、映像中の明度や肌色等の色彩やその他の特徴量等を用いて、顔（の画像）を検出して検出値（検出可能性、ｐ、プロバビリティー）を出力することが可能である。
【００４２】
（ステップＳ７０４）
ステップＳ７０４において、総合判定部１２１は、顔が検出されたかについて判定する。
具体的には、総合判定部１２１は、所定の閾値を用いて、顔が検出されたか判定する。すなわち、上述の検出値が所定の閾値を超えていた場合はＹｅｓと判定し、それ以外の場合はＮｏと判定する。
Ｙｅｓの場合は、総合判定部１２１は、処理をステップＳ７０５に進める。
Ｎｏの場合は、総合判定部１２１は、処理をステップＳ７１７に進める。
【００４３】
（ステップＳ７０５）
ステップＳ７０５において、顔領域検出部１１３は、顔領域座標算出処理を行う。
具体的には、顔領域検出部１１３は、顔が検出された場合には、その領域の座標をピクセルの矩形の座標値等で算出する。
その上で、顔領域検出部１１３は、算出した座標値を、画像データとともに顔特徴量抽出部１１４へ出力する。
【００４４】
（ステップＳ７０６）
ステップＳ７０６において、顔特徴量抽出部１１４は、顔特徴量算出処理を行う。
具体的には、顔特徴量抽出部１１４は、入力された映像と顔領域座標から得られる顔領域画像に対して顔特徴量を算出する。
顔特徴量抽出部１１４は、算出した顔特徴量を、画像データとともに顔特徴量記録部１１５へ出力する。
【００４５】
（ステップＳ７０７）
ステップＳ７０７において、顔特徴量記録部１１５は、顔特徴量及び映像ＩＤ記憶処理を行う。
具体的には、顔特徴量記録部１１５は、入力された顔特徴量を、記憶部１１２の特徴量データベース８０１の顔特徴量列８１２に記録する。その際、映像ＩＤも併せて映像ＩＤ列８１１に記録する。
そして、顔特徴量記録部１１５は、画像データを着衣領域検出部１１６へ出力する。
【００４６】
（ステップＳ７０８）
ステップＳ７０８において、着衣領域検出部１１６は、入力された画像データに対し着衣検出処理を行う。
この着衣検出処理においては、着衣領域検出部１１６は、上述したような各種の着衣の検出アルゴリズムを用いて、着衣の検出値を出力する。その際、予め記憶部１１２に記憶した撮像装置１０２のホワイトバランスや解像度等の特性により、検出パラメータ等を調整した上で用いるのが好適である。
【００４７】
（ステップＳ７０９）
ステップＳ７０９において、総合判定部１２１は、着衣が検出されたか判定する。
具体的には、総合判定部１２１は、着衣の検出値が記憶部１１２に記憶された所定の閾値よりも大きい場合はＹｅｓと判定し、それ以外の場合はＮｏと判定する。
Ｙｅｓ、すなわち着衣が検出された場合には、総合判定部１２１は、ステップＳ７１０に処理を進める。
Ｎｏ、すなわち着衣が検出されなかった場合は、総合判定部１２１は、ステップＳ７１３に処理を進める。
【００４８】
（ステップＳ７１０）
ステップＳ７１０において、着衣領域検出部１１６は、着衣領域座標算出処理を行う。
具体的には、着衣領域検出部１１６は、入力された画像データから着衣の領域の座標値を、映像のピクセルの矩形座標や特定ブロック等の形状やベクトル値や曲線の座標等で算出する。
着衣領域検出部１１６は、算出した座標値を画像データとともに、着衣特徴量抽出部１１７へ出力する。
【００４９】
（ステップＳ７１１）
ステップＳ７１１において、着衣特徴量抽出部１１７は、着衣特徴量算出処理を行う。
具体的には、着衣特徴量抽出部１１７は、上述の各種のアルゴリズムにて、着衣の領域画像データに対して着衣特徴量を算出する。
また、着衣特徴量抽出部１１７は、算出した着衣特徴量を、画像データとともに着衣特徴量記録部１１８へ出力する。
【００５０】
（ステップＳ７１２）
ステップＳ７１２において、着衣特徴量記録部１１８は、着衣特徴量記憶処理を行う。
具体的には、着衣特徴量記録部１１８は、入力された着衣特徴量を、記憶部１１２の特徴量データベース８０１の着衣特徴量列８１３のうち、映像ＩＤの一致する行のセルに記憶する。
この処理を行った後で、着衣特徴量記録部１１８は、処理をステップＳ７１５に進める。
【００５１】
（ステップＳ７１３）
ステップＳ７１３において、着衣領域検出部１１６は、着衣検出なし情報出力処理を行う。
具体的には、着衣領域検出部１１６は、着衣が検出されなかった場合には、「検出なし」の情報（着衣検出なし情報）を着衣特徴量記録部１１８へ出力する。
【００５２】
（ステップＳ７１４）
ステップＳ７１４において、着衣特徴量記録部１１８は、着衣検出なし情報記憶処理を行う。
具体的には、着衣特徴量記録部１１８は、着衣領域検出部１１６から「検出なし」の情報を入力された場合には、着衣未検出として特徴量データベース８０１の着衣特徴量列８１３のうち、映像ＩＤの一致する行のセルに記録する。
【００５３】
（ステップＳ７１５）
ステップＳ７１５において、撮影時刻記録部１１９は、撮影時刻記憶処理を行う。
具体的には、撮影時刻記録部１１９は、記憶部１１２の特徴量データベース８０１の撮影時刻列８１４に、映像の撮影時刻を記憶する。
この撮影時刻としては、システム中で統一された時系列に基づく時刻であればよい。
すなわち、撮像装置１０２にて映像生成した段階での時刻を使ってもよいし、録画装置で映像受信した段階での時刻を使ってもよいし、ステップＳ７１５に到達した段階での時刻を使ってもよい。
また、上述のように、ＧＰＳ等を用いて正確な時刻を記憶することもできる。
【００５４】
（ステップＳ７１６）
ステップＳ７１６において、撮影位置記録部１２０は、撮影位置記憶処理を行う。
具体的には、撮影位置記録部１２０は、映像の撮影位置を記憶部１１２の特徴量データベース８０１の撮影位置列８１５に記録する。
この撮影位置記録部１２０で使用する撮影位置は、撮像装置１０２間の相対的な距離の度合がわかるような情報であれば、どのような情報も用いることができる。たとえば、地表平面上のＸ座標、Ｙ座標、Ｚ座標（高度）等を記録しておくことができる。
また、この映像の撮影位置も、上述のようにＧＰＳ等を用いた正確な位置を記憶することができる。
さらに、カメラの相対的な位置を示す符号（又は番号）のようなものを撮影位置の代わりに記録しておいて、実際のカメラの位置は、実際にカメラの物理的な位置を示す情報から算出するようにしてもよい。
【００５５】
（ステップＳ７１７）
ステップＳ７１７において、総合判定部１２１は、受信待ち状態処理を行う。
ここで、総合判定部１２１は、次の映像の受信待ち状態となる。具体的には、総合判定部１２１は、記憶画像データをネットワーク部１１１が受信していない場合は、受信されるまで待機する。
また、総合判定部１２１は、監視端末１０３より録画の終了処理のコマンドを受信したり、図示しない入力部の電源ボタンが押下されたことを検知した場合は、すべての処理を終了して電源をシャットダウンする。
【００５６】
なお、ステップＳ７０６、Ｓ７０７において、着衣領域検出部１１６は、顔特徴量記録部１１５からの顔領域座標も入力するようにすることができる。
この場合は、「顔の下に着衣があることが多い」という条件を使って着衣領域検出の精度を向上させることができるという効果が得られる。
【００５７】
また、本発明の実施の形態に係る人物検索方法では、ステップＳ７０３において検出される顔数が１個である場合を示した。
しかし、同一映像に複数の人物が映っていて、複数個の顔が検出された場合には、ステップＳ７０４〜Ｓ７１６を、検出数の回数分、繰り返すようにすればよい。
【００５８】
〔ユーザインタフェイス〕
次に、図４を参照して、本発明の実施の形態に係る人物検索方法をユーザが実行するためのユーザインタフェイス画面について説明する。
本発明の実施の形態に係る録画装置１０１は、上述のように、映像ＩＤ、顔特徴量、着衣特徴量、撮影時刻情報、及び撮影位置情報を記憶している。
この記憶された情報から、監視端末１０３のユーザインタフェイスを用いて、監視端末１０３の制御部がユーザの指示を検知し、この指示をコマンドとしてネットワーク１００を介して録画装置１０１に送信する。このコマンドを受信した録画装置１０１では、人物検索方法を実行することができる。
図４は、監視端末１０３の表示部に表示されるユーザインタフェイスの画面である。
【００５９】
このユーザインタフェイスにおいては、上述の従来の監視端末２０３と同様に、監視端末１０３の入力部がユーザの入力を検知して、表示部への表示と各種処理を行う。
ここで、符号が同一の領域は、図１０の従来の人物検索機能のユーザインタフェイスと同等の機能を実現するための表示領域である。
本発明の実施の形態に係るユーザインタフェイスにおいては、検索操作部５０５が用いられている点が、従来のユーザインタフェイスと異なっている。
以下で、この検索操作部５０５について、更に詳しく説明する。
【００６０】
検索操作部５０５は、ユーザが検索操作部５０５上の検索ボタンを押下することで、検索入力画像指定部３０４に表示された画像にて検索を行うことを指示するための領域である。この検索操作部５０５には、他に、日時やカメラ等の検索の範囲を指定する手段を備えていてもよい（図示しない）。
重み種類選択ボタン５１１〜５１３は、同一人物の判断に使用する重みの種類の選択を与えるためのボタンである。
重みの種類は、それぞれ、撮影時刻情報と着衣情報の関係に基づく重み、撮影時刻情報と撮影位置情報の関係に基づく重み、撮影位置情報と着衣情報の関係に基づく重みの３種類の重みを用いることができる。
重みの種類の選択は複数選択が可能になっており、検索ボタン押下時の選択状況が、以下で説明する検索処理に反映されるようになっている。
重み設定ボタン５１４は、ボタン押下により重み設定画面が起動する。重み設定画面については後述する。
【００６１】
次に図５を参照して、本発明の実施の形態に係る人物検索方法を実行するためのユーザインタフェイスにおける、重み設定画面の一例を示す。図５は、図４に示した重み設定ボタン５１４の押下を検出して、監視端末１０３の制御部が表示部に表示する画面である。
【００６２】
時刻＋着衣重み設定表６１０は、撮影時刻情報と着衣情報の２者の関係に基づく重みの設定を与える領域である。
設定値入力欄６１１〜６１４は、重みの設定値を入力する欄である。
重みの設定値は、後述する重みの算出処理で用いる重みの値である。
各重みの設定値としては、例えば、０．０〜２．０までの割合の値を設定可能である。０．０に近い値になると、算出される値が小さくなる。すなわち、０．０で重み付けをしなくなる。
逆に、２．０に近い値になると、算出される値が大きくなる。
このような重みの設定値により調整されて算出された値を適用し、上述の近傍性、すなわち「その人物が同一であるかどうかの同一性」の判断を行う。
【００６３】
設定値入力欄６１１は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を入力する欄である。
設定値入力欄６１２は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を入力する欄である。
設定値入力欄６１３は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を入力する欄である。
設定値入力欄６１４は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を、入力する欄である。
以下、この時刻＋着衣重み設定表６１０に入力された重みの設定値群を、時刻＋着衣重み設定値とする。
【００６４】
同様に、時刻＋位置重み設定表６２０は、撮影時刻情報と撮影位置情報の２者の関係に基づく重みの設定を与える領域である。
設定値入力欄６２１〜６２４は重みの設定値を入力する欄である。この重みの設定値についても、上述の設定値入力欄６１１〜６１４と同様に０．０〜２．０までの値を設定可能である。
設定値入力欄６２１は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が近傍である場合の重みの設定値を、入力する欄である。
設定値入力欄６２２は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が近傍である場合の重みの設定値を、入力する欄である。
設定値入力欄６２３は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が非近傍である場合の重みの設定値を、入力する欄である。
設定値入力欄６２４は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が非近傍である場合の重みの設定値を、入力する欄である。
以下、この時刻＋位置重み設定表６２０に入力された重みの設定値群を、時刻＋位置重み設定値とする。
【００６５】
同様に、位置＋着衣重み設定表６３０は、撮影位置情報と着衣情報の２者の関係に基づく重みの設定値を入力する領域である。
この設定値についても、上述の設定値入力欄６１１〜６１４や設定値入力欄６２１〜６２４と同様に０．０〜２．０までの値を設定可能である。
設定値入力欄６３１〜６３４のうち、６３１は入力画像の撮影位置と対象画像の撮影位置が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を、入力する欄である。
設定値入力欄６３２は、入力画像の撮影位置と対象画像の撮影位置が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を、入力する欄である。
設定値入力欄６３３は、入力画像の撮影位置と対象画像の撮影位置が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を、入力する欄である。
設定値入力欄６３４は、入力画像の撮影位置と対象画像の撮影位置が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を、入力する欄である。
以下、この位置＋着衣重み設定表６３０に入力された重みの設定値群を、位置＋着衣重み設定値とする。
【００６６】
適用ボタン６４１は、ユーザが押下することで、各設定表に入力した内容を反映するためのボタンである。
閉じるボタン６４２は、ユーザが押下することで、この設定画面を終了して操作画面に処理を戻すためのボタンである。
監視端末１０３の制御部は、上述の各ボタンをユーザが押下したことを検知して、それぞれの処理を行う。
【００６７】
なお、時刻＋着衣重み設定表６１０、時刻＋位置重み設定表６２０、位置＋着衣重み設定表６３０の各重み設定表においては、撮影時刻情報と撮影位置情報に対して、近傍と非近傍の２区分の入力欄があるように示した。しかし、この区分数を増やしてより細かく設定できるようにしてもよい。
また、本例では各区分を分ける際の閾値を所定の値にしているように説明した。しかし、この区分を分ける閾値に関しても、ユーザが自由に設定できるようにしてもよい。
【００６８】
〔人物検索処理〕
次に、図６のタイミングチャートを参照して、本発明の実施の形態に係る人物検索方法を適用した録画装置１０１と監視端末１０３とにおける、人物検索処理のネットワーク１００を介した情報の送受信の流れについて説明する。以下の情報の送受信の処理は、録画装置１０１又は監視端末１０３の制御部等と各部が協調して実行される。
監視端末１０３は本処理前に、録画装置１０１からの画像データを入力して、図４に示した表示処理を完了しているものとする。すなわち、検索入力画像指定部３０４には検索入力画像が表示されている状態である。この際に、監視端末１０３は、検索入力画像とこれに係るフレーム番号である映像ＩＤも受信している。
ここで、監視端末１０３は、上述のユーザインタフェイスにおいて、ユーザが検索操作部５０５の検索ボタンを押下したことを検知して、以下の人物検索処理を始める。
【００６９】
（タイミングＴ１０１）
タイミングＴ１０１において、監視端末１０３は、検索入力画像送信処理を行う。すなわち、監視端末１０３は、上述の送信ボタンの押下を検知した場合は、検索入力画像指定部３０４に表示された検索入力画像の映像ＩＤを、録画装置１０１に送信する。さらに、チェックボックスの状態等の検索用の付随情報に関しても、録画装置１０１に送信する。
録画装置１０１は、この検索入力画像から、検索前処理として、ステップＳ２０１において、顔画像を検出する。
【００７０】
（タイミングＴ１０２）
次に、タイミングＴ１０２において、録画装置１０１は、顔検出なし情報送信処理を行う。
ここでは、録画装置１０１は、検索前処理で顔画像を検出したかを、ステップＳ２０２において判定する。
Ｙｅｓ、すなわち顔画像が検出された場合には、この顔検出なし情報送信処理は行わず、実際の顔特徴量の検索と服装特徴量の検索の処理を行う。
Ｎｏ、すなわち顔画像が検出されなかった場合には、「検出なし」の情報である顔検出なし情報を、監視端末１０３に送信する。
【００７１】
監視端末１０３は、顔検出なし情報が（顔の）「検出なし」であった場合は、「顔が検出できません」等と表示する。
【００７２】
録画装置１０１は、顔を検出した場合（ステップＳ２０２のＹｅｓ）は、検索入力画像と他の検索操作部５０５の設定に従って、顔特徴量の検索と着衣特徴量の検索の処理を行う（ステップＳ２０３）。
さらに、録画装置１０１は、重みの設定値や算出された重みの値を用いて実際の検索処理を行い、検索対象画像から検索して見つかった画像である検索出力画像を記憶部１１２に記憶して蓄積する（ステップＳ２０４）。
【００７３】
（タイミングＴ１０３）
次に、タイミングＴ１０３において、録画装置１０１は、検索出力画像一覧送信処理を行う。
ここでは、録画装置１０１は、出力する検索出力画像の一覧である検索出力画像一覧を監視端末１０３に送信する。
【００７４】
監視端末１０３は、この検索出力画像を、表示部に表示されたユーザインタフェイスの検索出力画像一覧表示部３０６に一覧表示する。
これにより、人物検索処理を終了する。
【００７５】
次に、図７と図８Ａ〜Ｄのフローチャートを参照して、録画装置１０１と監視端末１０３における実際の処理について、より具体的に説明する。
まずは、図７を参照して、監視端末１０３の処理について説明する。
【００７６】
〔監視端末１０３の処理〕
（ステップＳ９０１）
ステップＳ９０１において、監視端末１０３の制御部は、検索ボタン押下検知処理を行う。
具体的には、監視端末１０３の表示部に表示された図４のユーザインタフェイスにおいて、検索操作部５０５の検索ボタンがポインティングデバイス等を用いてユーザに押下されたことを検知する。
【００７７】
（ステップＳ９０２）
ステップＳ９０２において、監視端末１０３の制御部は、検索入力画像送信処理を行う。
具体的には、検索入力画像指定部３０４の検索入力画像の画像データに係る映像ＩＤを、ネットワーク１００を介して、録画装置１０１に対して送信する。この送信のタイミングは、Ｔ１０１である。
この画像データの送信により、録画装置１０１に対しては人物検索の実行を要求することとなる。これを、検索実行要求とする。
検索実行要求の際には、更に、検索ボタン押下時の重み種類選択ボタン５１１〜５１３の選択状況を送信する。これらの情報を、検索付随情報とする。
その後、監視端末１０３の制御部は、録画装置１０１からの顔検出なし情報又は検索出力画像一覧を受信するまで待機する。
なお、監視端末１０３の制御部は、顔検出なし情報と検索画像一覧のいずれも、所定時間受信しない場合には、録画装置１０１との接続ができない旨の表示をすることもできる。
【００７８】
（ステップＳ９０３）
ステップＳ９０３において、監視端末１０３の制御部は、録画装置１０１からの情報を受信し、この情報が顔検出なし情報であるか判定する。
具体的には、Ｔ１０２の顔検出なし情報送信のタイミングで録画装置１０１より送信された顔検出なし情報を受信したか、又は（顔検出なし情報ではなく）検索出力画像一覧を受信したかについて判定する。
上述のように、顔検出なし情報は、録画装置１０１にて顔が検出されなかった「検出なし」を示す情報である。また、検索出力画像一覧は、顔が検出されて各種処理を行った後で録画装置１０１が出力する画像データ等である。
Ｙｅｓ、つまり「検出なし」の場合は、監視端末１０３の制御部は、処理をステップＳ９０６に進める。
Ｎｏ、すなわち検索出力画像であった場合は、監視端末１０３の制御部は、処理をステップＳ９０４に進める。
【００７９】
（ステップＳ９０４）
ステップＳ９０４において、監視端末１０３の制御部は、検索出力画像一覧受信処理を行う。
具体的には、監視端末１０３は、タイミングＴ１０３で録画装置１０１から送信された検索出力画像一覧を、ネットワーク１００を介して受信する。
【００８０】
（ステップＳ９０５）
ステップＳ９０５において、監視端末１０３の制御部は、サムネイル一覧表示処理を行う。
具体的には、受信内容を図４に示した検索出力画像一覧表示部３０６に、サムネイル表示する。
本発明の実施の形態の人物検索方法では、着衣情報や重み付けを用いて条件の絞り込みができるため、従来の人物検索方法よりもこの検索画像を少なく得る（擬陽性、ｆａｌｓｅ ｐｏｓｉｔｉｖｅが少ない）ことが期待できる。
これにより、ユーザの監視負担を減らすことができるという効果が得られる。
【００８１】
（ステップＳ９０６）
ステップＳ９０６において、監視端末１０３の制御部は、顔検出なし情報を受信した情報を受信した場合、「検出なし」表示処理を行う。
具体的には、監視端末１０３の制御部は、検索入力画像には顔が検出できなかった旨を、図４の検索出力画像一覧表示部３０６等にメッセージ表示する。
【００８２】
（ステップＳ９０７）
ステップＳ９０７において、監視端末１０３の制御部は、ユーザ操作待ち処理を行う。
具体的には、監視端末１０３の制御部は、表示部のユーザインタフェイスの表示・更新等の処理を行い、検索操作部５０５に関して次のユーザ操作待ち状態となる。
以上で、監視端末１０３の処理を終了する。
【００８３】
次に、図８Ａ〜図８Ｄを参照して、録画装置１０１の行う人物検索処理についてより詳しく説明する。
【００８４】
〔録画装置１０１の人物検索処理〕
（ステップＳ９１１）
まず、ステップＳ９１１において、録画装置１０１のネットワーク部１１１は、検索入力画像受信処理を行う。
具体的には、タイミングＴ１０１で監視端末１０３から送信された検索入力画像（検索入力画像指定部３０４の画像）の画像データに係る映像ＩＤを、録画装置１０１のネットワーク部１１１で受信する。すなわち、検索実行要求を受信する。
ここで、更に、ネットワーク部１１１は、重み種類選択ボタン５１１〜５１３の選択状況等である検索付随情報についても受信する。
ネットワーク部１１１は、受信された検索入力画像の画像データと付随情報を、総合判定部１２１へ出力する。
【００８５】
（ステップＳ９１２）
ステップＳ９１２において、総合判定部１２１は、検索付随情報記憶処理を行う。
具体的には、総合判定部１２１は、検索付随情報のうち、重み種類選択ボタン５１１〜５１３の選択状況と検索入力画像の映像ＩＤを総合判定部１２１の一時的な記憶手段に記憶し、更に記憶部１１２へ出力する。
【００８６】
（ステップＳ９１３）
ステップＳ９１３において、記憶部１１２は、画像データ検索処理を行う。
具体的には、記憶部１１２は、入力された映像ＩＤから対応する画像、すなわち検索入力画像の画像データを記録媒体から読み出し、総合判定部１２１へ出力する。
【００８７】
（ステップＳ９１４）
ステップＳ９１４において、総合判定部１２１は、画像データ出力処理を行う。
具体的には、総合判定部１２１は、検索入力画像の画像データを一時的な記憶手段に記憶するとともに、顔領域検出部１１３へ出力する。
【００８８】
（ステップＳ９１５）
ステップＳ９１５において、顔領域検出部１１３は、顔検出処理を行う。
具体手的には、顔領域検出部１１３は入力された検索入力画像の画像データに対し顔検出処理を行う。
【００８９】
（ステップＳ９１６）
ステップＳ９１６において、総合判定部１２１は、顔が検出されたかについて判定する。
ここでは、ステップＳ７０４と同様に閾値を用いて判定する。
Ｙｅｓの場合、すなわち顔が検出された場合には、総合判定部１２１は、処理をステップＳ９１９に進める。
Ｎｏの場合、すなわち顔が検出されなかった場合には、総合判定部１２１は、処理をステップＳ９１７に進める。
【００９０】
（ステップＳ９１７）
ステップＳ９１７において、総合判定部１２１は、「検出なし」の情報を総合判定部１２１へ出力する。
【００９１】
（ステップＳ９１８）
ステップＳ９１８において、総合判定部１２１は、「検出なし」情報送信処理を行う。
具体的には、総合判定部１２１は、タイミングＴ１０２において顔検出なし情報をネットワーク部１１１から送信する。
この顔検出なし情報は、上述のように「検出なし」の情報であり、ネットワーク１００を介して、監視端末１０３が受信する。
この後、総合判定部１２１は、処理をステップＳ９６９に進める。
【００９２】
（ステップＳ９１９）
ステップＳ９１９において、総合判定部１２１は、顔領域座標算出処理を行う。
すなわち、ステップＳ７０５と同様に、顔の領域座標を算出し、算出した座標値を画像データとともに顔特徴量抽出部１１４へ出力する。
【００９３】
なお、タイミングＴ１０２の顔検出なし情報送信の代わりに「検出あり」情報をネットワーク部１１１から送信してもよい。
これにより、監視端末１０３がこの「検出あり」情報を受信すると、監視端末１０３の制御部は、ユーザインタフェイスの検索出力画像一覧表示部３０６に「検索中」といった表示を描画することができる。よって、ユーザが検索結果を待つ際のいらいら感を減じることが可能になる。
【００９４】
（ステップＳ９２０）
ステップＳ９２０において、顔特徴量抽出部１１４は、顔特徴量算出処理を行う。
すなわち、ステップＳ７０６と同様に、顔特徴量抽出部１１４は入力された画像と顔領域座標から得られる顔領域画像に対して顔特徴量を算出する。そして、算出した顔特徴量を、総合判定部１２１へ出力する。
【００９５】
（ステップＳ９２１）
ステップＳ９２１において、総合判定部１２１は、顔特徴量記憶処理を行う。
具体的には、総合判定部１２１は、入力された顔特徴量を記憶部１１２の記憶媒体に記憶する。
【００９６】
（ステップＳ９２２）
ステップＳ９２２において、総合判定部１２１は、重み種類選択ボタン５１１及び／又は５１３が選択されているか判定する。
具体的には、総合判定部１２１は、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１１及び／又は５１３が選択されているかについて判定する。
Ｙｅｓの場合は、総合判定部１２１は、ステップＳ９２３に処理を進める。
Ｎｏの場合は、総合判定部１２１は、ステップＳ９３１に処理を進める。
【００９７】
（ステップＳ９２３）
ステップＳ９２３において、総合判定部１２１は、検索入力画像の画像データを着衣領域検出部１１６へ出力する。
【００９８】
（ステップＳ９２４）
ステップＳ９２４において、着衣領域検出部１１６は、検索入力画像の画像データ対して、着衣検出処理を行う。この着衣検出処理は、ステップＳ７０８と同様に行う。
【００９９】
（ステップＳ９２５）
ステップＳ９２５において、総合判定部１２１は、着衣が検出されたかを判定する。この判定は、ステップＳ７０９と同様に行う。
Ｙｅｓの場合は、総合判定部１２１は処理をステップＳ９２６に進める。
Ｎｏの場合は、総合判定部１２１は処理をステップＳ９２９に進める。
【０１００】
（ステップＳ９２６）
ステップＳ９２６において、着衣領域検出部１１６は、検索入力画像の画像データ対して、着衣領域座標算出処理を行う。
この処理は、ステップＳ７１０と同様に行う。すなわち、着衣の領域座標を算出して、算出した座標値を画像とともに着衣特徴量抽出部１１７へ出力する。
【０１０１】
（ステップＳ９２７）
ステップＳ９２７において、着衣特徴量抽出部１１７は、検索入力画像の画像データ対して、着衣特徴量算出処理を行う。
この処理は、ステップＳ７１１と同様に行う。すなわち、着衣特徴量抽出部１１７は、検索入力画像の画像データと着衣の領域座標から得られる着衣領域画像に対して、着衣特徴量を算出し、算出した着衣特徴量を総合判定部１２１へ出力する。
これにより、総合判定部１２１は、着衣を検出したかについての情報である着衣検出情報を「検出あり」として、一次的な記憶手段に記憶する。
【０１０２】
（ステップＳ９２８）
ステップＳ９２８において、総合判定部１２１は、着衣特徴量記憶処理を行う。
具体的には、総合判定部１２１は、入力された着衣特徴量を、一時的な記憶手段に記憶する。
この処理の後、総合判定部１２１は、処理をステップＳ９３１に進める。
【０１０３】
（ステップＳ９２９）
ステップＳ９２９において、着衣領域検出部１１６は、着衣が検出されなかった場合には、「検出なし」の情報を総合判定部１２１へ出力する。
【０１０４】
（ステップＳ９３０）
ステップＳ９３０において、総合判定部１２１は、着衣領域検出部１１６から「検出なし」の情報を入力された場合には、着衣情報を着衣未検出として一時的な記憶手段に記憶する。
【０１０５】
（ステップＳ９３１）
ステップＳ９３１において、総合判定部１２１は、重み種類選択ボタン５１１及び／又は５１２が選択されているか判定する。
具体的には、ステップＳ９１１で入力された重み種類選択ボタン５００〜５１３の選択状況において、重み種類選択ボタン５１１及び／又は５１２が選択されているかを判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９３２に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９３５に進める。
【０１０６】
（ステップＳ９３２）
ステップＳ９３２において、総合判定部１２１は、検索入力画像の映像ＩＤを撮影時刻記録部１１９へ出力する。
【０１０７】
（ステップＳ９３３）
ステップＳ９３３において、撮影時刻記録部１１９は、撮影時刻出力処理を行う。
具体的には、撮影時刻記録部１１９は、入力された映像ＩＤから対応する時刻、すなわち検索入力画像の撮影時刻を、記憶部１１２の記録媒体から読み出し、総合判定部１２１へ出力する。
【０１０８】
（ステップＳ９３４）
ステップＳ９３４において、総合判定部１２１は、入力された時刻を一時的な記憶手段に記憶する。
【０１０９】
（ステップＳ９３５）
ステップＳ９３５において、総合判定部１２１は、重み種類選択ボタン５１２及び／又は５１３が選択されているか判定する。
具体的には、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１２及び／又は５１３が選択されているかを判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９３６に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９３９に進める。
【０１１０】
（ステップＳ９３６）
ステップＳ９３６において、総合判定部１２１は、検索入力画像の映像ＩＤを撮影位置記録部１２０へ出力する。
【０１１１】
（ステップＳ９３７）
ステップＳ９３７において、撮影位置出力処理を行う。
具体的には、撮影位置記録部１２０は、入力された映像ＩＤから対応する位置、すなわち検索入力画像の撮影位置を、記憶部１１２の記録媒体から読み出し、総合判定部１２１へ出力する。
【０１１２】
（ステップＳ９３８）
ステップＳ９３８において、総合判定部１２１は、入力された位置を一時的な記憶手段に記憶する。
【０１１３】
（ステップＳ９３９）
ステップＳ９３９において、総合判定部１２１は、記憶部１１２の記録媒体から、特徴量データベース８０１を読み出すための、データベース読み出し準備処理を行う。
具体的には、総合判定部１２１は、データベースのデーモン又はサービスにアクセスして、特徴量データベース８０１を使用するための各種準備のコマンドを送信する。
【０１１４】
（ステップＳ９４０）
ステップＳ９４０において、総合判定部１２１は、特徴量データベース８０１の先頭行を参照行にセットする。
参照行は、総合判定部１２１の一時的な記憶手段に記憶された変数等であり、特徴量データベース８０１の表を１行づつ読み出すための、行番号を示すカウンタである。
【０１１５】
（ステップＳ９４１）
次に、ステップＳ９４１において、総合判定部１２１は、参照行から映像ＩＤや顔特徴量、着衣特徴量、撮影時刻、撮影位置を読み出して取得する。
【０１１６】
（ステップＳ９４２）
次に、ステップＳ９４２において、総合判定部１２１は、顔類似度算出処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した顔特徴量と記憶手段に記憶されている検索入力画像の顔特徴量から、この映像ＩＤをもつ検索対象画像と検索入力画像との顔類似度を算出する。
【０１１７】
この顔類似度の算出は、顔特徴量数がｍ個である場合は、例えば以下の式のようにして求められる。
【０１１８】
【数１】
【０１１９】
（Σは、合計を表す）。
ここで、ＦＷｉは顔特徴量の重要度を示す係数であり、
ＦＷi＝｛ｆｗ1, ｆｗ2，…，ｆｗm｝
で表わされる。
ＦＦＩiは検索入力画像の顔特徴量であり、
ＦＦＩi＝｛ｆｆｉ1, ｆｆｉ2，…，ｆｆｉm｝
で表わされる。
ＦＦＴiは検索対象画像の顔特徴量であり、
ＦＦＴi＝｛ｆｆｔ1, ｆｆｔ2，…，ｆｆｔm｝
で表わされる。
すなわち、このステップにより、顔特徴量間の距離を計算して顔類似度を算出している。
なお、このような方法以外にも、特徴量の分布関数を用いた統計的な手法や、サポート・ベクター・マシン等の人工知能的な手法を用いて顔類似度を算出することが可能である。
【０１２０】
（ステップＳ９４３）
次に、ステップＳ９４３において、総合判定部１２１は、重み種類選択ボタン５１１が選択されているか判定する。
具体的には、総合判定部１２１は、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１１が選択されているかを判定する。加えて、着衣情報が着衣未検出の状態であるかについても判定する。
Ｙｅｓの場合、すなわち、重み種類選択ボタン５１１が選択されており、着衣未検出の状態でない場合は、総合判定部１２１は、処理をステップＳ９４４に進める。
Ｎｏの場合、すなわち、それ以外の場合は、総合判定部１２１は、処理をステップＳ９４８に進める。
【０１２１】
（ステップＳ９４４）
このステップＳ９４４〜Ｓ９４７において、総合判定部１２１は、撮影時刻情報と着衣情報の２者の関係に基づく重みの算出を行う。
まず、ステップＳ９４４において、総合判定部１２１は、着衣類似度算出処理を行う
具体的には、総合判定部１２１は、ステップＳ９４１で取得した着衣特徴量と、一時的な記憶手段に記憶されている検索入力画像の着衣特徴量とを比較し、この映像ＩＤを有する検索対象画像と検索入力画像と着衣類似度を算出する。
着衣類似度の算出は、着衣特徴量の数がｎ個である場合、以下の式で求められる。
【０１２２】
【数２】
【０１２３】
ここでＣＷｉは着衣特徴量の重要度を示す係数であり、
ＣＷi＝｛ｃｗ1, ｃｗ2，…，ｃｗn｝
で表わされる。
ＣＦＩiは検索入力画像の着衣特徴量であり、
ＣＦＩi＝｛ｃｆｉ1, ｃｆｉ2，…，ｃｆｉn｝
で表わされる。
ＣＦＴiは検索対象画像の着衣特徴量であり、
ＣＦＴi＝｛ｃｆｔ1, ｃｆｔ2，…，ｃｆｔn｝
で表わされる。
なお、この着衣類似度についても、特徴量間の距離を算出している。
この着衣類似度に関しても、特徴量の分布関数を用いたり、サポート・ベクター・マシン等の人工知能的な手法や、統計的な手法を用いて算出することが可能である。
【０１２４】
（ステップＳ９４５）
ステップＳ９４５において、総合判定部１２１は、算出した着衣類似度を所定の閾値と比較して、着衣の同一性について判断する。
この閾値は、使用する着衣特徴量により異なるため、最適なパラメータを予め指定することができる。
判定結果は、一時的な記憶手段に記憶する。
【０１２５】
（ステップＳ９４６）
ステップＳ９４６において、総合判定部１２１は、時刻の近傍性を所定の閾値と比較して判断する。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した撮影時刻と記憶手段に記憶されている検索入力画像の撮影時刻と検索対象画像の撮影時刻との差の絶対値を、時刻の近傍性に係る所定の閾値と比較して判断する。
この所定の閾値としては、例えば、人が歩行したりタクシー等で移動する速度を基にして設定することができる。
この判定結果は、総合判定部１２１は、一時的な記憶手段に記憶する。
【０１２６】
（ステップＳ９４７）
ステップＳ９４７において、総合判定部１２１は、撮影時刻情報と着衣情報の２者の関係に基づく重みの算出処理を行う。
この算出処理においては、ユーザが時刻＋着衣重み設定表６１０の設定値入力欄６１１〜６１４に入力した値を用いて行う。
具体的には、総合判定部１２１は、時刻の近傍性の判定結果と、図５の時刻＋着衣重み設定表６１０でユーザが入力した値とを掛ける等の処理を行って重みの算出を行う。
この処理の後、総合判定部１２１は、処理をステップＳ９５０へ進める。
【０１２７】
（ステップＳ９４８）
ステップＳ９４８において、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１１が選択されていない場合、総合判定部１２１は撮影時刻情報と着衣情報の２者の関係に基づく重みの値を１とする。
また、総合判定部１２１は、着衣情報が着衣未検出の状態であった場合にも、同様に重みの値を１とする。
【０１２８】
（ステップＳ９４９）
ステップＳ９４９において、総合判定部１２１は、重み種類選択ボタン５１２が選択されていたかを判定する。
具体的には、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、ユーザにより重み種類選択ボタン５１２が選択されていたかを判定する。
Ｙｅｓの場合は、総合判定部１２１は、処理をステップＳ９５０へ進める。
Ｎｏの場合は、総合判定部１２１は、処理をステップＳ９５３へ進める。
【０１２９】
（ステップＳ９５０）
以下、ステップＳ９５０〜Ｓ９５２において、総合判定部１２１は、まず、撮影時刻情報と撮影位置情報の２者の関係に基づく重みの算出を行う。
まず、ステップＳ９５０において、総合判定部１２１は、時刻の近傍性判断処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した撮影時刻と、一時的な記憶手段に記憶されている検索入力画像の撮影時刻から、所定の閾値と比較して、時刻の近傍性を判断する。
すなわち、検索対象画像と検索入力画像の撮影時刻との差の値を、所定の閾値と比較して、時刻の近傍性を判断する。
判断した結果は、総合判定部１２１の一次的な記憶手段に記憶する。
【０１３０】
（ステップＳ９５１）
ステップＳ９５１において、総合判定部１２１は、位置の近傍性判断処理を行う。
ステップＳ９４３において、総合判定部１２１は、ステップＳ９４１で取得した撮影位置と記憶手段に記憶されている検索入力画像の撮影位置から位置の近傍性を予め設定した閾値と比較して判断する。
すなわち、総合判定部１２１は、検索対象画像と検索入力画像の撮影位置の差を所定の閾値と比較して、位置の近傍性を判断する。
判断した結果は、同様に、総合判定部１２１の一次的な記憶手段に記憶する。
【０１３１】
なお、上述のステップＳ９５０とＳ９５１の所定の閾値としては、上述の場合の条件（１）〜（７）を考慮した閾値を用いることができる。
この閾値は、例えば、時刻の閾値としては、同一日や非同一日であるか否か、数時間以内であるか否か等に関する値を用いることができる。
位置の閾値としては、撮影位置の差が実際の距離（所定メートル等）以内であるか、同一建物（駅等）の構内である等の値を用いることができる。
さらに、これらの閾値は、実際のアプリケーションに従って調整して用いることができる。
【０１３２】
また、複数の離れた位置に、近い時刻で検出された場合は、より「同一人物の可能性が高い」とすることもできる。
【０１３３】
（ステップＳ９５２）
ステップＳ９５２において、総合判定部１２１は、判定された値を用いて、撮影時刻情報と撮影位置情報の２者の関係に基づく重みの算出処理を行う。
この重みの算出は、ユーザにより時刻＋位置重み設定表６２０に入力された値を用いて行う。
具体的には、総合判定部１２１は、上述のステップＳ９５０とステップＳ９５１の判定結果を、図５の時刻＋位置重み設定表６２０に適用して、撮影時刻情報と撮影位置情報に基づく重みの算出を行う。
この処理を行った後、総合判定部１２１は、処理をステップＳ９５４に進める。
【０１３４】
（ステップＳ９５３）
ステップＳ９５３において、総合判定部１２１は撮影時刻情報と撮影位置情報の２者の関係に基づく重みの値を１とする。
これは、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１２が選択されていない場合である。
【０１３５】
（ステップＳ９５４）
ステップＳ９５４において、重み種類選択ボタン５１３が選択されているか判定する。
具体的には、総合判定部１２１は、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１３が選択されているかを判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９５５に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９５９に進める。
【０１３６】
（ステップＳ９５５）
以下、ステップＳ９５５〜Ｓ９５８において、総合判定部１２１は撮影位置情報と着衣情報の２者の関係に基づく重みの算出を行う。
まずは、ステップＳ９５５において、着衣類似度算出処理を行う。
具体的には、ステップＳ９４１で取得した着衣特徴量と記憶手段に記憶されている検索入力画像の着衣特徴量を基に、この映像ＩＤをもつ検索対象画像と検索入力画像との間で、着衣類似度を算出する。
着衣類似度の算出は、ステップＳ９４４の方法等と同様に行う。
【０１３７】
（ステップＳ９５６）
ステップＳ９５６において、総合判定部１２１は、着衣の同一性判断処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４５と同様に、算出した着衣類似度を所定の閾値と比較して、着衣の同一性を判断する。
【０１３８】
（ステップＳ９５７）
ステップＳ９５７において、位置の同一性判断処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した撮影位置と記憶手段に記憶されている検索入力画像の撮影位置から位置の近傍性を、所定の閾値と比較して判断する。
【０１３９】
（ステップＳ９５８）
ステップＳ９５８において、総合判定部１２１は、ステップＳ９５８の判定結果について、図５の位置＋着衣重み設定表６３０の値を適用して、撮影位置情報と着衣情報の２者の関係に基づく重みの算出を行う。
【０１４０】
（ステップＳ９５９）
ステップＳ９５９において、総合判定部１２１は撮影位置情報と着衣情報の２者の関係に基づく重みの値を１とする。すなわち、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１３が選択されていない場合の重みの値は１となる。
なお、着衣情報が着衣未検出の状態であった場合にも、同様に重みの値を１とする。
【０１４１】
（ステップＳ９６０）
ステップＳ９６０において、総合判定部１２１は、総合類似度を算出する。
具体的には、ステップＳ９４２にて算出した顔類似度に対し、それぞれ、ステップＳ９４２〜Ｓ９４８、Ｓ９４９〜Ｓ９５３、Ｓ９５４〜Ｓ９５９で算出した各重み値を掛け合わせて、総合類似度の値を算出する。
すなわち、総合類似度の値は：
総合類似度＝顔類似度×（時刻＋着衣重み設定値）×（時刻＋位置重み設定値）×（位置＋着衣重み設定値）
のような式により、算出する。
ここで、各重みの設定値群に対しては、上述の閾値による条件を基にした値を適用して計算する。この条件としては、各重み設定の表における位置や時刻の近傍性が、閾値以下か閾値を超えたかについて、上述の（１）〜（７）の条件を用いて判断する。
以上のように、着衣特徴量が直接、総合類似度に反映されるわけではない。
【０１４２】
（ステップＳ９６１）
ステップＳ９６１において、総合判定部１２１は、検索出力画像判断処理を行う。
具体的には、総合判定部１２１は、算出した総合類似度を所定の閾値と比較して、検索出力画像を出力するか判断する。
【０１４３】
（ステップＳ９６２）
ステップＳ９６２において、総合判定部１２１は、ステップＳ９６１で判断をした値が、閾値を上回る値であったかについて判定する。
Ｙｅｓの場合は、総合判定部１２１は、処理をステップＳ９６３に進める。
Ｎｏの場合は、総合判定部１２１は、処理をステップＳ９６４に進める。
【０１４４】
（ステップＳ９６３）
ステップＳ９６３において、総合判定部１２１は、検索対象画像を検索出力画像の１つと判定し、該検索対象画像を映像ＩＤとともに一時的な記憶手段に記憶する。
【０１４５】
（ステップＳ９６４）
ステップＳ９６４において、総合判定部１２１は、参照行を１行下にずらす。
これにより、特徴量データベース８０１の末尾行（最終行）を超えるまで、次の行を参照することができる。末尾行は、特徴量データベース８０１の表の最終行である。
【０１４６】
（ステップＳ９６５）
総合判定部１２１は、参照行が末尾行を超えたかについて判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９６６に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９４１に戻して、一連の処理を参照行が末尾行を超えるまで同様に繰り返す。
【０１４７】
（ステップＳ９６６）
ステップＳ９６６において、総合判定部１２１は、検索出力画像一覧リスト化処理を行う。
具体的には、総合判定部１２１は、ステップＳ９６５で参照行が末尾行を超えたと判定した場合、一時的な記憶手段に記憶された全ての総合類似度を映像ＩＤとともに取り出す。この上で、総合判定部１２１は、映像ＩＤの画像データを検索出力画像一覧としてリスト化して、一時的な記憶手段に記憶する。
このリスト化の際に、総合判定部１２１は、総合類似度、時刻順、カメラ順等の順番になるようにソート処理を実行するようにしてもよい。
【０１４８】
（ステップＳ９６７）
ステップＳ９６７において、総合判定部１２１は、検索出力画像一覧をネットワーク部へ１１１へ出力する。
【０１４９】
（ステップＳ９６８）
ステップＳ９６８において、ネットワーク部１１１は、入力された検索出力画像一覧をネットワークを介して、監視端末１０３に送信する。この処理のタイミングは、タイミングＴ１０３である。
【０１５０】
（ステップＳ９６９）
ステップＳ９６９において、録画装置１０１は、次の検索実行要求の受信待ち状態となる。
ネットワーク部１１１は、次の検索実行要求を受信した場合は、処理をステップＳ９１１に戻す。ここまでが、録画装置１０１での処理である。
録画装置１０１は、この状態にてシャットダウン等を行うと、処理を終了する。
以上により、人物検索処理を終了する。
【０１５１】
このように構成することで、以下のような効果が得られる。
まず、従来技術１においては、正面方向以外の方向から映した顔画像に対する認識精度は低いという問題があった。また、顔の大きさが小さい場合には、認識精度も低いという問題があった。
これにより、人物検索方法を実用的に用いることが難しいという問題があった。このため、人物検索機能は、本格的には利用されていないという問題があった。
【０１５２】
しかしながら、本発明の実施の形態に係る人物検索方法においては、顔認識の精度がそれほど高くなくても、精度の高い人物検索方法を提供することができる。
これは、顔特徴量に加えて、服装の特徴である着衣特徴量を用い、さらに時刻・位置・着衣のルールを用い、さらに重み付けの値を算出して適用することにより実現することができる。
これにより、ユーザが所望の人物の映像を、より効率よく簡単に見つけることが可能となる。
よって、監視システムにおいて、人物検索方法を実用的に用いることが可能となる。
【０１５３】
このように人物検索方法の精度が向上することにより、その時点で録画されている全画像に映された全ての人物について、その人物の含まれている画像を検索することも可能である。
その検索した画像の映像ＩＤを用いることで、位置と時間の情報を得ることができる。
これにより、特定の場所や時間での人の流れについてリサーチを行うことが可能になる。
たとえば、あるビル内での人の動きを検索して、より効率的な店舗の配置等に用いることができる。
また、例えば、遊園地等の遊戯施設内で、入場者がアトラクションを廻る順番等が把握できるため、各アトラクションの値段を適切に設定したり、遊戯施設内の通路を最適化することも可能である。
なお、多数の人物について検索を行う場合は、プライバシーに配慮して、各検索結果については記録を残さずに、各映像ＩＤの移動の情報といった値のみを統計処理することが望ましい。
【０１５４】
また、従来は、連続的な相関モデル等により人物検索を行う方法が用いられることもあった。ところが、人物検索が用いられる状況は様々であり、連続的な相関モデルによれば、これらの様々な状況に対応できないという問題があった。
これに対して、本発明においては、人物検索における着衣特徴量との関係において、位置や時刻が同一／非同一で単純に条件により場合分けして、それぞれの重みを直接に指定できるようにした。
これにより、様々な状況に対応でき、検索者の意図した検索が可能であるため、使い勝手がよくなるという効果が得られる。
【０１５５】
なお、本発明の実施の形態においては、検索対象画像は、その時点で録画されている全画像を対象とした場合を説明したが、当然、時刻やカメラ等が限定された画像を対象とすることも可能である。
さらに、特定の性別や年齢（大人か子供か）の対象を検索することも可能である。この性別と年齢は、顔領域や着衣の特徴量から及び背の高さ等から判断することができる。
【０１５６】
また、本発明の実施の形態においては、録画装置１０１内で検索出力画像一覧を完全に求めてから監視端末１０３に送信するようにしたが、ステップＳ９６２において、検索出力画像と判定される毎に監視端末１０３に逐次送信するようにしてもよい。
【０１５７】
また、本発明の実施の形態においては、検索入力画像中に存在する人物が各１名である場合について示したが、検索入力画像中に複数人が存在する場合には、それぞれの人物に対する検索結果をＯＲした結果をユーザに返すようにしてもよい。
また、この場合、監視端末１０３の制御部は、複数人が存在する旨をユーザ側に通知し、検索対象とする１名を監視端末１０３のポインティングデバイス等で指定・選択するようにユーザインタフェイスにより選択させ、ユーザにより選択された１名に対して実施するようにしてもよい。
【０１５８】
また、説明の簡略化のため、本図においては撮像装置１０２や監視端末１０３を、各１台の構成で示した。しかし、これらの装置は、ネットワーク１００に複数台、接続することが可能である。
また、本例においては、検索の画像の指定のみを端末で行い、録画と検索とを同一の装置で実行する構成を示した。しかし、録画と検索とについても別々の装置で実行するようにしてもよい。
【０１５９】
また、本発明の実施の形態においては、ユーザの指示に従い、映像ＩＤを含む検索付随情報のみを監視端末１０３から録画装置１０１に送信し、画像データそのものは送信しないような説明をした。しかしながら、監視端末１０３から画像データそのものを送信して、この画像データを基に、録画装置１０１が各種検索処理を行うことが可能である。
さらに、本発明の実施の形態においては、検索対象画像は録画された画像から選択するように説明した。しかし、例えば、撮像装置１０２とは異なる機器により撮影した画像を、検索対象画像とすることもできる。
【０１６０】
また、上述の映像ＩＤとしては、録画開始時からの経過時間、特定のシグナル（顔特徴量など）を検出した際に割り当てられるユニークな数字のＩＤを用いてもよい。また、検索用のタグデータ、ハッシュデータ、その他、検索を容易にするための様々な情報を用いることもできる。
また、上述の入力する重みの設定値は、割合の値で与えるように示したが、加算値（又は減算値）のような形式の「重みの重み」のような調整値を用いてもよい。また、重みの設定値に加えて、「重みの重み」の調整値を加えるように構成することもできる。
【０１６１】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施の形態に係る監視システムＹのシステム構成図である。
【図２】本発明の実施の形態に係る顔特徴量や着衣特徴量や撮影時刻や撮影位置を示す特徴量データベース８０１の構成を示す概念図である。
【図３】本発明の実施の形態に係る録画装置１０１における、映像録画時の処理の流れを示すフローチャートである。
【図４】本発明の実施の形態に係る監視端末１０３における、人物検索のためのユーザインタフェイスの例を示す図である。
【図５】本発明の実施の形態に係る監視端末１０３における、重み設定画面の例を示す図である。
【図６】本発明の実施の形態に係る人物検索方法実行のタイミングチャートである。
【図７】本発明の実施の形態に係る人物検索方法実行時の監視端末１０３における処理の流れを示すフローチャートである。
【図８Ａ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図８Ｂ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図８Ｃ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図８Ｄ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図９】従来の人物検索機能を備えた監視システムＸのシステム構成図である。
【図１０】従来の監視端末２０３における、人物検索のためのユーザインタフェイスの例を示す図である。
【符号の説明】
【０１６３】
１００、２００ ネットワーク
１０１、２０１ 録画装置
１０２、２０２ 撮像装置
１０３、２０３ 監視端末
１１１、２１１ ネットワーク部
１１２、２１２ 記憶部
１１３、２１３ 顔領域検出部
１１４、２１４ 顔特徴量抽出部
１１５、２１５ 顔特徴量記録部
１１６ 着衣領域検出部
１１７ 着衣特徴量抽出部
１１８ 着衣特徴量記録部
１１９ 撮影時刻記録部
１２０ 撮影位置記録部
１２１ 総合判定部
２１６ 顔判定部
３０１ 再生映像表示部
３０２ 再生操作部
３０３ カメラ切替操作部
３０４ 検索入力画像指定部
３０５、５０５ 検索操作部
３０６ 検索出力画像一覧表示部
５１１〜５１３ 重み種類選択ボタン
５１４ 重み設定ボタン
６１０ 時刻＋着衣重み設定表
６１１〜６１４、６２１〜６２４、６３１〜６３４ 設定値入力欄
６２０ 時刻＋位置重み設定表
６３０ 位置＋着衣重み設定表
６４１ 適用ボタン
６４２ 閉じるボタン
８０１ 特徴量データベース
８１１ 映像ＩＤ列
８１２ 顔特徴量列
８１３ 着衣特徴量列
８１４ 撮影時刻列
８１５ 撮影位置列
Ｘ、Ｙ 映像監視システム
【技術分野】
【０００１】
本発明は、監視システムと、監視システムにおける人物検索方法に係り、人物検索を高精度に行うことができる監視システムと人物検索方法に関する。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。
このような映像監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送する。
監視センタに常駐する監視者は、その映像を監視し、目的や必要に応じて、注意をしたり、あるいは映像を録画・保存する。
【０００３】
この映像監視システムで映像の録画・保存をするための記録媒体として、以前は、ビデオテープ等のシーケンシャル・アクセスの記憶媒体が用いられていた。
しかし、近年では、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス可能な記憶媒体が、映像監視システムに用いられる事例が増えてきている。
ランダムアクセス可能な記憶媒体は、映像の整理がしやすく、繰り返し使用に強いため、普及が進んでいる。
【０００４】
さらに、このランダムアクセス可能な記録媒体は、年々、大容量化が進んでいる。
この大容量化により、録画できる映像のデータ量が、飛躍的に増大している。これにより、長時間録画が可能になった。
しかしながら、大量の録画映像を目視でチェックする際の監視者の負担の増加が、問題として顕在化しつつある。
【０００５】
そこで、所望の映像をより簡単に見つけ出すための検索機能を備えた映像監視システムが普及しつつある。
この検索機能を備えた映像監視システムにおいては、時刻や外部センサ値の情報を映像とともに記憶する機能を備えていることがある。
外部センサとしては、人感センサ等のアラームがよく用いられている。また、このアラームが出力する値は０又は１の２値であることが多い。実際には、アラームの出力が１になった場合には、その旨と、その時刻とをテキスト情報として記憶することが多い。
このような従来からの検索機能では、人感センサ等のアラームの出力値が１となった際のテキスト情報を検索キーとして、映像を検索するようにしている。
さらに近年では、画像情報を検索キーとする検索機能を備えた監視システムが存在する。
その画像情報を検索キーとする監視システムの一種として、人物検索機能を備えた録画装置が存在する。
【０００６】
人物検索機能とは、ある画像中に映っている人物をユーザが指定すると、その人物と同一人物が映っている他の映像を録画装置内から探し出し、ユーザに一覧提示する機能である。
この際、同一人物判定の手掛かりとして、人物の「顔」の画像が使われることが多い。
このような顔の画像から人物を検索する従来のシステムとしては、例えば、特許文献１を参照すると、多数の人物の顔を検索する、人物検索システム、人物追跡システム、人物検索方法、及び人物追跡方法が開示されている（以下、従来技術１とする。）。
従来技術１のような人物検索システムの人物検索機能は、ある特定の人物について、他の時刻あるいは他の場所での挙動の調査や、移動の軌跡の調査などに利用できる。このため、大変有効である。
【０００７】
この従来技術１のような、顔の画像を用いた従来の人物検索機能を備えたシステムの一例について、図９と図１０を参照して説明する。
以降、説明を容易にするため、ユーザが指定した画像を検索入力画像、検索対象となる録画画像を検索対象画像という。
また、検索の結果、同一人物画像として提示される画像を検索出力画像という。
さらに、検索出力画像をサムネイル表示したものの一覧を、検索出力画像一覧という。
【０００８】
まず、図９を参照して、人物検索機能を備えた録画装置２０１を含んだ、従来の映像監視システムＸの制御構成を説明する。
ネットワーク２００は、各装置を結ぶ専用線やイントラネット、インターネット等のＩＰネットワーク等である。
録画装置２０１は、画像データをＨＤＤ等に記憶して録画する録画装置である。また、録画装置２０１は、人物検索機能を備えている。
撮像装置２０２は、ＣＣＤやＣＭＯＳ素子等で撮像した画像（動画の映像又は静止画像）にデジタル変換処理を施し、変換された画像データを、ネットワークを介して出力するネットワーク・カメラや監視カメラ等の装置である。
監視端末２０３は、録画装置２０１に録画された画像データをネットワークを介して取得し、液晶ディスプレイやＣＲＴのマスターモニタ等である表示部に画面表示する装置である。また、監視端末２０３は、内蔵されたＣＰＵやプログラムにより、検索入力画像をネットワーク２００経由で録画装置２０１に送信する。また、監視端末２０３は、録画装置２０１から送信された検索出力画像一覧を、画面表示することもできる。さらに、監視端末２０３は、このためのＯＳ（オペレーティング・システム）と、ＯＳ上で動作するプログラムであるユーザインタフェイスを備えている。
【０００９】
また、録画装置２０１は、ネットワーク部２１１、記憶部２１２、顔領域検出部２１３、顔特徴量抽出部２１４、顔特徴量記録部２１５、及び顔判定部２１６が、例えば共通のバスにより接続するように構成される。
ネットワーク部２１１は、ＬＡＮインターフェイス等であり、ネットワーク２００からの入出力を行う処理部である。ネットワーク部２１１は、撮像装置２０２から入力される画像データの受信、監視端末２０３からの映像配信リクエスト、検索入力画像の受信、監視端末２０３への映像や検索出力画像の送信を行う。
記憶部２１２は、ＲＡＭやＲＯＭやＨＤＤ等のランダムアクセスが可能な記憶媒体と、そのコントローラを備える部位であり、画像データやその他のデータの記録媒体への読み書きを行う。映像記録の際には、画像データに加え、画像データを再び取り出すためのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、ＩＤデータ）も併せて記憶媒体に書き込みを行う。
【００１０】
顔領域検出部２１３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やこのＤＳＰ用のプログラム等を備える部位である。顔領域検出部２１３は、入力された画像データに対し、従来の一般的な顔検出のための画像認識処理を用いた顔検出を行う。顔領域検出部２１３は、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
顔特徴量抽出部２１４は、ＤＳＰ等を含んで構成される部位であり、顔領域検出部２１３で検出した顔領域に対して画像認識処理を用いて、顔特徴量算出を行う。ここで顔特徴量とは、例えば、顔の輪郭の形状や方向、皮膚の色、目、鼻、口といった主要構成要素の大きさ、形状、配置関係等を数値化したものを示す。
顔特徴量記録部２１５は、記憶部２１２への記憶を行うためのコントローラ等である。顔特徴量記録部２１５は、顔特徴量抽出部２１４で算出した顔特徴量を、記憶部２１２の記録媒体への読み書きを行う。
【００１１】
顔判定部２１６は、ＤＳＰ等を含んで構成される部位であり、検索の際に検索入力画像中の人物と録画映像中の人物との同一人物判定を行う部位である。
その上で、顔判定部２１６は、同一人物と判定された録画画像を集めて、検索出力画像一覧を生成する。この判定は、それぞれの画像にて求めた顔特徴量から「顔類似度」と呼ばれる値を算出し、算出した顔類似度と、記憶部２１２に記憶している所定の閾値との大小関係を基に判定する。
【００１２】
図１０を参照して、従来の映像監視システムＸにおける、録画装置２０１の人物検索機能を実際にユーザが使用する際の操作について説明する。図１０は、監視端末２０３の表示部に表示されるユーザインタフェイス画面の一例である。
このユーザインタフェイスでは、監視端末２０３の制御部が、監視端末２０３のキーボードや専用スイッチやジョグダイヤルやマウス等のポインティングデバイスを含む入力部の入力信号を検知して、ポインタ等を動かして表示する。さらに、監視端末２０３の制御部は、表示部の画面上に描かれた入力キーであるボタン等をユーザが押下したことを検知して、各処理を行う。
【００１３】
以下で、より具体的に、ユーザインタフェイス画面の説明をする。
再生映像表示部３０１は、再生中の映像を表示する領域である。再生映像表示部３０１には、監視端末２０３が、録画装置２０１からネットワーク２００を介して送信されてきた画像データを復号して表示する。
【００１４】
再生操作部３０２は、再生操作をするボタンが表示された領域である。再生操作部３０２上の各ボタンには、それぞれ固有の再生種類が割当てられている。
再生映像表示部３０１に表示されている映像に対して、新たな再生命令を与えたい場合には、ユーザは再生操作部３０２上の再生命令に対応したボタンをポインティングデバイス等で選択してボタンを押下する。監視端末２０３の制御部は、ユーザインタフェイスにおいてボタンの押下を検出して、各種の再生種類に対応する動作を行う。
たとえば、「左向きの三角が２つ」のボタンは映像の高速巻き戻しを示し、「左向きの三角が１つ」は映像の通常スピードでの巻き戻し再生を示し、「四角」ボタンは映像の停止／一時停止を示し、「右向きの三角が１つ」は映像の通常スピードでの再生を示し、「右向きの三角が２つ」のボタンは映像の高速早送りを示す。
カメラ切替操作部３０３は、カメラ切り換え操作用のボタンを表示する領域である。カメラ切替操作部３０３上の各ボタンには、それぞれ録画対象となっているカメラが割当てられており、再生映像表示部３０１に表示されている映像を、他のカメラの映像に切り替えたい場合に押下する。
【００１５】
検索入力画像指定部３０４は、検索入力画像を表示・指定する領域である。この指定は、検索入力画像指定部３０４に表示されている「取込」ボタン押下を検知して行う。
監視端末２０３の制御部は、ユーザが「取込」ボタンを押下したことを検知すると、再生映像表示部３０１に表示されている画像を、検索入力画像としてサムネイル表示する。
【００１６】
検索操作部３０５は、検索操作部上の「検索」ボタンを押下することで、検索入力画像指定部３０４に表示された画像にて検索を行うための領域である。この例では図示しないが、この検索操作部３０５に、日時やカメラの指定をするボタンを備える場合もある。
監視端末２０３の制御部は、ユーザが「検索」ボタンの押下したことを検知すると、検索入力画像指定部３０４に表示されている画像（検索入力画像）がある場合は、録画装置２０１にこの検索用画像に係るフレーム番号をネットワーク２００を介して送信する。
録画装置２０１の制御部は、検索入力画像に係るフレーム番号を受信して、このフレーム番号に係る検索画像を記憶部２１２から読み出し、上述のように各部を用いて人物検索機能を実行する。そして、検索された人物を含む画像である検索出力画像（とそのフレーム番号）を、ネットワーク２００を介して監視端末２０３に送信する。
【００１７】
検索出力画像一覧表示部３０６は、検索出力画像の一覧をサムネイル表示する領域である。
ここに表示された検索出力画像のいずれかを押下すると、再生映像表示部３０１の表示映像が押下画像に切り替わる。この切り替わりを頭出しという。
【００１８】
以上のように、「顔」を手掛かりとした人物検索機能は、膨大な検索対象画像の中から、目的の人物映像への頭出しが容易にできるため大変便利である。
【００１９】
【特許文献１】特開２００３−２８１１５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、従来技術１のような画像認識技術は、正面方向から映した顔画像に対する認識精度は優れているものの、それ以外の方向から映した顔画像に対する認識精度は低かった。また、画像中における顔の大きさ（解像度）も認識精度に大きく影響し、顔の大きさが小さい場合には、認識精度も低かった。
従って、広角レンズを備え、対象者を斜め上方から小さく映すことの多い映像監視システムにおいては、誤検索、すなわち異なる人物を同一人物と間違って認識したり、同一人物を異なる人物と間違って認識したりする場合がある、すなわち精度が低いという問題があった。
【００２１】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【００２２】
本発明の人物検索方法は、画像を録画する監視システムにおける人物検索方法において、録画した複数の画像の画像データから求められる、撮影時刻情報、撮影位置情報、顔特徴量、及び着衣情報をそれぞれ記憶し、前記撮影時刻情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する時刻＋着衣重み設定値、及び前記撮影時刻情報が近傍か非近傍かの近傍性と、前記撮影位置情報が近傍か非近傍かの近傍性との条件の組み合わせに対応する時刻＋位置重み設定値、及び前記撮影位置情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する位置＋着衣重み設定値の入力を予め受け、前記重み設定値のうち、用いる重み設定値と検索対象画像とについての指定とともに検索の指示を受けたときに、前記録画した画像と前記検索対象画像との間で、前記顔特徴量の差分、指定された前記時刻＋着衣重み設定値、又は前記時刻＋位置重み設定値、又は前記位置＋着衣重み設定値に対応する重みを与えて得られる総合類似度用いて、録画された人物の同一性を判断することを特徴とする。
本発明の監視システムは、撮像装置、録画装置、及び監視端末を備えて画像を録画する監視システムであって、前記録画装置は、前記撮像装置で撮像した画像から顔特徴量を抽出する顔特徴量抽出手段と、前記撮像装置で撮像した画像から着衣特徴量を抽出する着衣特徴量抽出手段と、録画した画像の画像データ、撮影時刻情報、撮影位置情報、前記顔特徴量抽出手段で抽出された顔特徴量、前記着衣特徴量抽出手段で抽出された着衣情報のうち、少なくとも１つ以上を記憶する記憶手段と、前記撮影時刻情報、前記撮影位置情報、及び前記着衣情報のうち、いずれかに対応する重み値を用いて、検索対象画像と前記録画した画像に撮影された人物の同一性を判断する総合判断手段とを備えることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、精度を向上させた映像監視システムと人物検索方法を提供することができる。
【発明を実施するための最良の形態】
【００２４】
＜第１の実施の形態＞
〔制御構成〕
図１を参照して、本発明の実施の形態に係る人物検索方法による人物検索機能を備える録画装置１０１を含む映像監視システムＹの制御構成について説明する。
ネットワーク１００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク１００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
録画装置１０１は画像データをＨＤＤ等に記憶して録画する録画装置である。また、録画装置１０１は、従来技術の録画装置２０１と同様に顔検索機能を備えており、さらに着衣検出機能を備えている。この着衣検出機能と、顔検出機能とを組み合わせることで、本発明の実施の形態に係る精度を向上させた人物検索方法を提供することができる。この人物検索方法については後述する。
撮像装置１０２は、撮像装置２０２と同様な機能をもつ画像撮影用の装置である。
監視端末１０３は、監視端末２０３と同様な機能をもつ装置であり、ＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）の記憶部に記憶したプログラムにより実現してもよいし、専用の監視端末装置として実現してもよい。また、監視端末１０３は、録画装置１０１の人物検索方法を用いるためのユーザインタフェイスも備えている。
【００２５】
録画装置１０１は、ネットワーク部１１１、記憶部１１２（記憶手段）、顔領域検出部１１３、顔特徴量抽出部１１４（顔特徴量抽出手段）、顔特徴量記録部１１５、着衣領域検出部１１６、着衣特徴量抽出部１１７（着衣特徴量抽出手段）、着衣特徴量記録部１１８、撮影時刻記録部１１９、撮影位置記録部１２０、総合判定部１２１（総合判断手段）が、例えば共通のバスにより接続するように構成される。
【００２６】
ネットワーク部１１１は、装置外部からの入出力を行うＬＡＮインターフェイス等の処理部である。ネットワーク部１１１は、撮像装置１０２が送信する画像データを受信を行う。また、ネットワーク部１１１は、監視端末１０３からの映像配信リクエストや検索入力画像の受信を行う。さらに、ネットワーク部１１１は、監視端末１０３への画像データや検索出力画像のデータの送信を行う。
記憶部１１２は、ＲＡＭやＲＯＭやフラッシュメモリや光ディスクや磁気テープやＨＤＤ等の記憶媒体と、インテリジェントなコントローラやＣＰＵやＭＰＵ等を備える部位である。記憶部１１２は、画像（映像）データやその他のデータの記録媒体への読み書きを行う。映像記録の際には、画像データに加え、画像データを再び取り出す為のＩＤ（アイデンディフィケーション）、タイムコード、フレーム番号、各種タグデータ、ハッシュデータ等である映像ＩＤについても合わせて、データベース等を用いて書き込みを行う。また、記憶部１１２は、コントローラやＣＰＵやＭＰＵにより、データベースから映像ＩＤを検索して記憶媒体から読み出し・書き込みを行うこともできる。
顔領域検出部１１３は、顔領域検出部２１３と同等の機能を備えるＤＳＰやこのＤＳＰ用のプログラム等を含んで構成される。顔領域検出部１１３は、入力された画像データに対し画像認識技術を用いた顔検出を行う。さらに、顔領域検出部１１３は、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
顔特徴量抽出部１１４は、顔特徴量抽出部２１４と同等の機能を備えるＤＳＰを含んで構成される。また、顔特徴量抽出部１１４が抽出する顔特徴量は、例えば、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を用いることができる。また、本発明の実施の形態に係る顔特徴量抽出部１１４においては、使用する顔特徴量の種類や数は任意である。さらに、髪の長さや推定骨格（顎の大きさ等）の特徴等から、高い確率で男女を判定することも可能である。
顔特徴量記録部１１５は、記憶部１１２への記憶を行うためのコントローラ等を含んで構成される。顔特徴量記録部１１５は、顔特徴量抽出部１１４で算出した顔特徴量について、記憶部１１２の記録媒体への読み書きを行う。
【００２７】
着衣領域検出部１１６は、ＤＳＰやこのＤＳＰ用のプログラム等を含んで構成され、入力された画像データに対し、画像認識技術を用いた着衣領域の座標算出を行う。この画像認識技術としては、着衣量の算出に用いることができる公知の技術を用いることができる。たとえば、動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を用いることができる。さらに、着衣領域の座標から、背の高さを推定することができ、大人か子供かについて判定できる。
着衣特徴量抽出部１１７は、着衣領域検出部１１６で検出した着衣領域に対して画像認識技術を用いて着衣特徴量算出を行う。ここで着衣特徴量とは、例えば、上述の着衣の色の分布や周波数的な特徴等が挙げられる。また、本発明においては使用する着衣特徴量の種類や数は任意である。また、この着衣特徴量抽出部１１７は、右前あるいは左前といった特徴、曲線的な服装等である特徴、ワンピース等の特徴についても判定することが可能である。これにより、この着衣を着ている人物が男女のどちらであるか、高い確率で判定できる。
着衣特徴量記録部１１８は、記憶部１１２への記憶を行うためのコントローラ等を含んで構成される。着衣特徴量記録部１１８は、着衣特徴量抽出部１１７で算出した着衣特徴量について、記憶部１１２の記録媒体への読み書きを行う。
【００２８】
撮影時刻記録部１１９は、画像が撮影された際の時刻である撮影時刻情報について、記憶部１１２の記録媒体への読み書きを行う。
この撮影時刻情報は、例えば、ＧＰＳ（グローバル・ポジショニング・システム）や、ネットワーク部１１１を介してＮＴＰ（ネットワーク・タイム・プロトコル）等を用いることで、正確な時刻を記憶することが好適である。
また、各撮像装置１０２で基準となる時計の時刻に誤差があった場合、この誤差を計測した上で、「マスタークロック」となる録画装置１０１の時刻に合わせて補正して記憶する。
【００２９】
撮影位置記録部１２０は、記憶部１１２への記憶を行うためのコントローラ等を含んで構成される。撮影位置記録部１２０は、映像の撮影位置情報について、記憶部１１２の記録媒体への読み書きを行う。撮影位置情報は、例えばカメラのＧＰＳ位置情報のような物理的情報であってもよいし、カメラ設置番号のような、別途設けられた位置算出手段への参照情報であってもよい。
【００３０】
総合判定部１２１は、検索の際に検索入力画像中の人物と録画映像中の人物との同一人物判定を行い、同一人物と判定された録画画像を集めて、検索出力画像一覧を生成する。
この判定は、それぞれの画像にて求めた顔特徴量から「顔類似度」と呼ばれる値を算出し、算出した顔類似度に撮影時刻情報と撮影位置情報、後述する着衣情報から求めた重み値を加えた値（以降、総合類似度という。）、あらかじめ設定した所定の閾値等の大小関係において決定する。この顔類似度やその他の処理の詳細については後述する。
また、総合判定部１２１は、このような判定のために、ＲＡＭやレジスタやフラッシュメモリやＨＤＤ等の一時的な記憶手段を備えている。
【００３１】
なお、総合判定部１２１の一時的な記憶手段は、記憶部１１２の特定の領域や、記憶部１１２の記憶媒体に備えていてもよい。
また、総合判定部１２１は、制御部が実行するプログラムとして実現されていてもよく、この場合は、一時的な記憶手段は、プログラムの変数の値やファイルとして保持する。
さらに、顔領域検出部１１３、顔特徴量抽出部１１４、顔特徴量記録部１１５、着衣領域検出部１１６、着衣特徴量抽出部１１７、着衣特徴量記録部１１８、撮影時刻記録部１１９、撮影位置記録部１２０に関しても、制御部が実行するプログラムとして実現されていてもよい。
この場合は、特徴量抽出等の高速応答性やＳＩＭＤ（シングル・インストラクション・マルチプル・データ）形式の多大な演算性能が要求される演算（算出）処理を、別の各種ＤＳＰやＧＰＵ（グラフィック・プロセッシング・ユニット）を備えたチップやボード等で処理するようにしてもよい。
【００３２】
この他に、映像監視システムＹにおいては、上記の各処理の制御を行うＣＰＵ等の制御部を備えている。制御部で実行されるプログラムは、各部をハードウェア資源を使用して実現するために用いられてもよく、記憶部１１２に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。
【００３３】
〔人物検索方法の精度向上のための手法〕
本発明の発明者は、鋭意実験と検討を繰り返した結果、人物検索機能の性能を高めるためには、同一人物の判定に、撮影時刻情報、撮影位置情報、着衣情報等を加えるのが有効であることを見いだし、本発明を完成するに至った。
具体的には、検索入力画像と検索対象画像との間で、撮影時刻情報、撮影位置情報、着衣情報等を比較することで、同一人物の判定を確実に行うことができる。
ここで、撮影時刻情報、撮影位置情報については、その人物が近場に存在するかどうかの近傍性（時間的、空間的な近さ）を判断する。
着衣情報は、着衣特徴量のベクトル等であり、着衣の特徴によりその人物が同一であるかどうかの同一性を判断する。
この判断結果については、撮影時刻情報、撮影位置情報、着衣情報等に、以下の条件（１）〜（７）を用いて算出した重みの値を適用して判断する。
（１）近傍の時刻において同一着衣の人物は同一人物である可能性が高い
（２）近傍でない時刻においても同一着衣の人物は同一人物である可能性がある
（３）近傍の時刻において非同一着衣の人物は同一人物でない可能性が高い
（４）近傍の時刻、近傍位置の人物は同一人物である可能性が高い
（５）近傍の時刻、非近傍位置の人物は同一人物でない可能性が高い
（６）近傍でない時刻、近傍位置の人物は同一人物である可能性がある
（７）近傍位置、同一着衣の人物は同一人物である可能性がある
この算出した重みを、顔特徴量を用いた同一人物の判断結果に掛け合わせることで、人物検索の検索結果の精度を飛躍的に向上させることが可能となった。
なお、（１）〜（７）の一部を判断するものであっても、人物検索精度を向上させることができる。
【００３４】
〔データベース〕
次に、図２を参照して、本発明の実施の形態に係る特徴量データベース８０１について説明する。
上述のような精度向上のための手法を実現するため、本発明の実施の形態に係る録画装置１０１では、録画時に、映像ＩＤ、顔特徴量、着衣情報、撮影時刻情報、及び撮影位置情報を記憶する。
これらの情報を記憶するために、録画装置１０１は、記憶部１１２の記憶部の記憶媒体に、特徴量データベース８０１を備えている。
特徴量データベース８０１は、例えば、図２のように表形式で構成することができるが、どのようなものであってもよい。
【００３５】
特徴量データベース８０１の記憶内容のうち、映像ＩＤ列８１１には、映像ＩＤが記憶される。この映像ＩＤとしては、録画時刻を示すタイムコード又はフレーム番号を用いることができる。このフレーム番号は、例えば１つのストリームの先頭からユニークに割り振った番号であり、単調増加する連続値のような値を用いてもよい。
顔特徴量列８１２は、顔特徴量抽出部１１４で算出された顔特徴量が記憶される。格納する顔特徴量が複数ある場合にはここは複数列となる。
着衣特徴量列８１３は、着衣特徴量抽出部１１７で算出された着衣特徴量が記憶される。格納する着衣特徴量が複数ある場合にはここは複数列となる。
撮影時刻列８１４は、撮影時刻情報が記憶される。
撮影位置列８１５は、撮影位置情報が記憶される。ＧＰＳの位置情報等もここに記憶される。
【００３６】
特徴量データベース８０１の書き込み又は読み出しについては、記憶部１１２のＣＰＵ等により、例えばＳＱＬ等のデータベースのデーモン（バックグラウンド実行プログラム等）又はサービスが実行されている。このデーモン又はサービスは、各構成部位からのコマンドにより、特徴量データベース８０１の記憶内容について、読み出しや書き込み（格納）や追記等ができる。
【００３７】
顔特徴量記録部１１５は、顔特徴量抽出部１１４からの入力時に、この特徴量データベース８０１の最後尾行の次行、すなわち未格納行を書込み行として、映像ＩＤと顔特徴量を格納する。
着衣特徴量記録部１１８、撮影時刻記録部１１９、又は撮影位置記録部１２０は、書込み行となっている行に対して、それぞれ着衣特徴量、撮影時刻、撮影位置を格納する。
また、総合判定部１２１が実行するプログラムを用いても、特徴量データベース８０１の各行の読み出し（参照）や書き込み（記憶）が可能である。
【００３８】
〔映像録画の際の処理〕
次に、図３を参照して、本発明の実施の形態に係る録画装置１０１で、実際に映像録画を行う際の処理の流れを説明する。
この映像録画の際に、上述のように撮影時刻情報、撮影位置情報、及び着衣情報についても記憶する。
また、この映像の録画を行う際の処理は、記憶部１１２のＲＯＭやフラッシュメモリやＨＤＤ等の記憶媒体に記憶されたプログラム等に従って、各部が協調して実行する。
【００３９】
（ステップＳ７０１）
ステップＳ７０１において、ネットワーク部１１１は、映像受信処理を行う。
具体的には、ネットワーク部１１１は、撮像装置１０２からネットワーク１００を介して入力された画像データを受信して、記憶部１１２へ出力する。
【００４０】
（ステップＳ７０２）
ステップＳ７０２において、記憶部１１２は、画像データと映像ＩＤ記憶処理を行う。
すなわち、記憶部１１２は、入力された画像データを、ＨＤＤ等のランダムアクセス可能な記録媒体に記録する。
また、記憶部１１２は、映像を再び取り出す為の映像ＩＤも生成し、併せて記録する。そして、画像データを顔領域検出部１１３へ出力する。
以下で、本フローチャートの説明においては、明示的記載がなくとも画像には映像ＩＤを付してあるものとする。
【００４１】
（ステップＳ７０３）
ステップＳ７０３において、顔領域検出部１１３は、入力された画像データに対し、顔検出処理を行う。
この顔検出処理においては、公知の技術を用いて、映像中の明度や肌色等の色彩やその他の特徴量等を用いて、顔（の画像）を検出して検出値（検出可能性、ｐ、プロバビリティー）を出力することが可能である。
【００４２】
（ステップＳ７０４）
ステップＳ７０４において、総合判定部１２１は、顔が検出されたかについて判定する。
具体的には、総合判定部１２１は、所定の閾値を用いて、顔が検出されたか判定する。すなわち、上述の検出値が所定の閾値を超えていた場合はＹｅｓと判定し、それ以外の場合はＮｏと判定する。
Ｙｅｓの場合は、総合判定部１２１は、処理をステップＳ７０５に進める。
Ｎｏの場合は、総合判定部１２１は、処理をステップＳ７１７に進める。
【００４３】
（ステップＳ７０５）
ステップＳ７０５において、顔領域検出部１１３は、顔領域座標算出処理を行う。
具体的には、顔領域検出部１１３は、顔が検出された場合には、その領域の座標をピクセルの矩形の座標値等で算出する。
その上で、顔領域検出部１１３は、算出した座標値を、画像データとともに顔特徴量抽出部１１４へ出力する。
【００４４】
（ステップＳ７０６）
ステップＳ７０６において、顔特徴量抽出部１１４は、顔特徴量算出処理を行う。
具体的には、顔特徴量抽出部１１４は、入力された映像と顔領域座標から得られる顔領域画像に対して顔特徴量を算出する。
顔特徴量抽出部１１４は、算出した顔特徴量を、画像データとともに顔特徴量記録部１１５へ出力する。
【００４５】
（ステップＳ７０７）
ステップＳ７０７において、顔特徴量記録部１１５は、顔特徴量及び映像ＩＤ記憶処理を行う。
具体的には、顔特徴量記録部１１５は、入力された顔特徴量を、記憶部１１２の特徴量データベース８０１の顔特徴量列８１２に記録する。その際、映像ＩＤも併せて映像ＩＤ列８１１に記録する。
そして、顔特徴量記録部１１５は、画像データを着衣領域検出部１１６へ出力する。
【００４６】
（ステップＳ７０８）
ステップＳ７０８において、着衣領域検出部１１６は、入力された画像データに対し着衣検出処理を行う。
この着衣検出処理においては、着衣領域検出部１１６は、上述したような各種の着衣の検出アルゴリズムを用いて、着衣の検出値を出力する。その際、予め記憶部１１２に記憶した撮像装置１０２のホワイトバランスや解像度等の特性により、検出パラメータ等を調整した上で用いるのが好適である。
【００４７】
（ステップＳ７０９）
ステップＳ７０９において、総合判定部１２１は、着衣が検出されたか判定する。
具体的には、総合判定部１２１は、着衣の検出値が記憶部１１２に記憶された所定の閾値よりも大きい場合はＹｅｓと判定し、それ以外の場合はＮｏと判定する。
Ｙｅｓ、すなわち着衣が検出された場合には、総合判定部１２１は、ステップＳ７１０に処理を進める。
Ｎｏ、すなわち着衣が検出されなかった場合は、総合判定部１２１は、ステップＳ７１３に処理を進める。
【００４８】
（ステップＳ７１０）
ステップＳ７１０において、着衣領域検出部１１６は、着衣領域座標算出処理を行う。
具体的には、着衣領域検出部１１６は、入力された画像データから着衣の領域の座標値を、映像のピクセルの矩形座標や特定ブロック等の形状やベクトル値や曲線の座標等で算出する。
着衣領域検出部１１６は、算出した座標値を画像データとともに、着衣特徴量抽出部１１７へ出力する。
【００４９】
（ステップＳ７１１）
ステップＳ７１１において、着衣特徴量抽出部１１７は、着衣特徴量算出処理を行う。
具体的には、着衣特徴量抽出部１１７は、上述の各種のアルゴリズムにて、着衣の領域画像データに対して着衣特徴量を算出する。
また、着衣特徴量抽出部１１７は、算出した着衣特徴量を、画像データとともに着衣特徴量記録部１１８へ出力する。
【００５０】
（ステップＳ７１２）
ステップＳ７１２において、着衣特徴量記録部１１８は、着衣特徴量記憶処理を行う。
具体的には、着衣特徴量記録部１１８は、入力された着衣特徴量を、記憶部１１２の特徴量データベース８０１の着衣特徴量列８１３のうち、映像ＩＤの一致する行のセルに記憶する。
この処理を行った後で、着衣特徴量記録部１１８は、処理をステップＳ７１５に進める。
【００５１】
（ステップＳ７１３）
ステップＳ７１３において、着衣領域検出部１１６は、着衣検出なし情報出力処理を行う。
具体的には、着衣領域検出部１１６は、着衣が検出されなかった場合には、「検出なし」の情報（着衣検出なし情報）を着衣特徴量記録部１１８へ出力する。
【００５２】
（ステップＳ７１４）
ステップＳ７１４において、着衣特徴量記録部１１８は、着衣検出なし情報記憶処理を行う。
具体的には、着衣特徴量記録部１１８は、着衣領域検出部１１６から「検出なし」の情報を入力された場合には、着衣未検出として特徴量データベース８０１の着衣特徴量列８１３のうち、映像ＩＤの一致する行のセルに記録する。
【００５３】
（ステップＳ７１５）
ステップＳ７１５において、撮影時刻記録部１１９は、撮影時刻記憶処理を行う。
具体的には、撮影時刻記録部１１９は、記憶部１１２の特徴量データベース８０１の撮影時刻列８１４に、映像の撮影時刻を記憶する。
この撮影時刻としては、システム中で統一された時系列に基づく時刻であればよい。
すなわち、撮像装置１０２にて映像生成した段階での時刻を使ってもよいし、録画装置で映像受信した段階での時刻を使ってもよいし、ステップＳ７１５に到達した段階での時刻を使ってもよい。
また、上述のように、ＧＰＳ等を用いて正確な時刻を記憶することもできる。
【００５４】
（ステップＳ７１６）
ステップＳ７１６において、撮影位置記録部１２０は、撮影位置記憶処理を行う。
具体的には、撮影位置記録部１２０は、映像の撮影位置を記憶部１１２の特徴量データベース８０１の撮影位置列８１５に記録する。
この撮影位置記録部１２０で使用する撮影位置は、撮像装置１０２間の相対的な距離の度合がわかるような情報であれば、どのような情報も用いることができる。たとえば、地表平面上のＸ座標、Ｙ座標、Ｚ座標（高度）等を記録しておくことができる。
また、この映像の撮影位置も、上述のようにＧＰＳ等を用いた正確な位置を記憶することができる。
さらに、カメラの相対的な位置を示す符号（又は番号）のようなものを撮影位置の代わりに記録しておいて、実際のカメラの位置は、実際にカメラの物理的な位置を示す情報から算出するようにしてもよい。
【００５５】
（ステップＳ７１７）
ステップＳ７１７において、総合判定部１２１は、受信待ち状態処理を行う。
ここで、総合判定部１２１は、次の映像の受信待ち状態となる。具体的には、総合判定部１２１は、記憶画像データをネットワーク部１１１が受信していない場合は、受信されるまで待機する。
また、総合判定部１２１は、監視端末１０３より録画の終了処理のコマンドを受信したり、図示しない入力部の電源ボタンが押下されたことを検知した場合は、すべての処理を終了して電源をシャットダウンする。
【００５６】
なお、ステップＳ７０６、Ｓ７０７において、着衣領域検出部１１６は、顔特徴量記録部１１５からの顔領域座標も入力するようにすることができる。
この場合は、「顔の下に着衣があることが多い」という条件を使って着衣領域検出の精度を向上させることができるという効果が得られる。
【００５７】
また、本発明の実施の形態に係る人物検索方法では、ステップＳ７０３において検出される顔数が１個である場合を示した。
しかし、同一映像に複数の人物が映っていて、複数個の顔が検出された場合には、ステップＳ７０４〜Ｓ７１６を、検出数の回数分、繰り返すようにすればよい。
【００５８】
〔ユーザインタフェイス〕
次に、図４を参照して、本発明の実施の形態に係る人物検索方法をユーザが実行するためのユーザインタフェイス画面について説明する。
本発明の実施の形態に係る録画装置１０１は、上述のように、映像ＩＤ、顔特徴量、着衣特徴量、撮影時刻情報、及び撮影位置情報を記憶している。
この記憶された情報から、監視端末１０３のユーザインタフェイスを用いて、監視端末１０３の制御部がユーザの指示を検知し、この指示をコマンドとしてネットワーク１００を介して録画装置１０１に送信する。このコマンドを受信した録画装置１０１では、人物検索方法を実行することができる。
図４は、監視端末１０３の表示部に表示されるユーザインタフェイスの画面である。
【００５９】
このユーザインタフェイスにおいては、上述の従来の監視端末２０３と同様に、監視端末１０３の入力部がユーザの入力を検知して、表示部への表示と各種処理を行う。
ここで、符号が同一の領域は、図１０の従来の人物検索機能のユーザインタフェイスと同等の機能を実現するための表示領域である。
本発明の実施の形態に係るユーザインタフェイスにおいては、検索操作部５０５が用いられている点が、従来のユーザインタフェイスと異なっている。
以下で、この検索操作部５０５について、更に詳しく説明する。
【００６０】
検索操作部５０５は、ユーザが検索操作部５０５上の検索ボタンを押下することで、検索入力画像指定部３０４に表示された画像にて検索を行うことを指示するための領域である。この検索操作部５０５には、他に、日時やカメラ等の検索の範囲を指定する手段を備えていてもよい（図示しない）。
重み種類選択ボタン５１１〜５１３は、同一人物の判断に使用する重みの種類の選択を与えるためのボタンである。
重みの種類は、それぞれ、撮影時刻情報と着衣情報の関係に基づく重み、撮影時刻情報と撮影位置情報の関係に基づく重み、撮影位置情報と着衣情報の関係に基づく重みの３種類の重みを用いることができる。
重みの種類の選択は複数選択が可能になっており、検索ボタン押下時の選択状況が、以下で説明する検索処理に反映されるようになっている。
重み設定ボタン５１４は、ボタン押下により重み設定画面が起動する。重み設定画面については後述する。
【００６１】
次に図５を参照して、本発明の実施の形態に係る人物検索方法を実行するためのユーザインタフェイスにおける、重み設定画面の一例を示す。図５は、図４に示した重み設定ボタン５１４の押下を検出して、監視端末１０３の制御部が表示部に表示する画面である。
【００６２】
時刻＋着衣重み設定表６１０は、撮影時刻情報と着衣情報の２者の関係に基づく重みの設定を与える領域である。
設定値入力欄６１１〜６１４は、重みの設定値を入力する欄である。
重みの設定値は、後述する重みの算出処理で用いる重みの値である。
各重みの設定値としては、例えば、０．０〜２．０までの割合の値を設定可能である。０．０に近い値になると、算出される値が小さくなる。すなわち、０．０で重み付けをしなくなる。
逆に、２．０に近い値になると、算出される値が大きくなる。
このような重みの設定値により調整されて算出された値を適用し、上述の近傍性、すなわち「その人物が同一であるかどうかの同一性」の判断を行う。
【００６３】
設定値入力欄６１１は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を入力する欄である。
設定値入力欄６１２は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を入力する欄である。
設定値入力欄６１３は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を入力する欄である。
設定値入力欄６１４は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を、入力する欄である。
以下、この時刻＋着衣重み設定表６１０に入力された重みの設定値群を、時刻＋着衣重み設定値とする。
【００６４】
同様に、時刻＋位置重み設定表６２０は、撮影時刻情報と撮影位置情報の２者の関係に基づく重みの設定を与える領域である。
設定値入力欄６２１〜６２４は重みの設定値を入力する欄である。この重みの設定値についても、上述の設定値入力欄６１１〜６１４と同様に０．０〜２．０までの値を設定可能である。
設定値入力欄６２１は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が近傍である場合の重みの設定値を、入力する欄である。
設定値入力欄６２２は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が近傍である場合の重みの設定値を、入力する欄である。
設定値入力欄６２３は、入力画像の撮影時刻と対象画像の撮影時刻が近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が非近傍である場合の重みの設定値を、入力する欄である。
設定値入力欄６２４は、入力画像の撮影時刻と対象画像の撮影時刻が非近傍であり、かつ、入力画像の撮影位置と対象画像の撮影位置が非近傍である場合の重みの設定値を、入力する欄である。
以下、この時刻＋位置重み設定表６２０に入力された重みの設定値群を、時刻＋位置重み設定値とする。
【００６５】
同様に、位置＋着衣重み設定表６３０は、撮影位置情報と着衣情報の２者の関係に基づく重みの設定値を入力する領域である。
この設定値についても、上述の設定値入力欄６１１〜６１４や設定値入力欄６２１〜６２４と同様に０．０〜２．０までの値を設定可能である。
設定値入力欄６３１〜６３４のうち、６３１は入力画像の撮影位置と対象画像の撮影位置が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を、入力する欄である。
設定値入力欄６３２は、入力画像の撮影位置と対象画像の撮影位置が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が同一である場合の重みの設定値を、入力する欄である。
設定値入力欄６３３は、入力画像の撮影位置と対象画像の撮影位置が近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を、入力する欄である。
設定値入力欄６３４は、入力画像の撮影位置と対象画像の撮影位置が非近傍であり、かつ、入力画像の人物の着衣と対象画像の人物の着衣が非同一である場合の重みの設定値を、入力する欄である。
以下、この位置＋着衣重み設定表６３０に入力された重みの設定値群を、位置＋着衣重み設定値とする。
【００６６】
適用ボタン６４１は、ユーザが押下することで、各設定表に入力した内容を反映するためのボタンである。
閉じるボタン６４２は、ユーザが押下することで、この設定画面を終了して操作画面に処理を戻すためのボタンである。
監視端末１０３の制御部は、上述の各ボタンをユーザが押下したことを検知して、それぞれの処理を行う。
【００６７】
なお、時刻＋着衣重み設定表６１０、時刻＋位置重み設定表６２０、位置＋着衣重み設定表６３０の各重み設定表においては、撮影時刻情報と撮影位置情報に対して、近傍と非近傍の２区分の入力欄があるように示した。しかし、この区分数を増やしてより細かく設定できるようにしてもよい。
また、本例では各区分を分ける際の閾値を所定の値にしているように説明した。しかし、この区分を分ける閾値に関しても、ユーザが自由に設定できるようにしてもよい。
【００６８】
〔人物検索処理〕
次に、図６のタイミングチャートを参照して、本発明の実施の形態に係る人物検索方法を適用した録画装置１０１と監視端末１０３とにおける、人物検索処理のネットワーク１００を介した情報の送受信の流れについて説明する。以下の情報の送受信の処理は、録画装置１０１又は監視端末１０３の制御部等と各部が協調して実行される。
監視端末１０３は本処理前に、録画装置１０１からの画像データを入力して、図４に示した表示処理を完了しているものとする。すなわち、検索入力画像指定部３０４には検索入力画像が表示されている状態である。この際に、監視端末１０３は、検索入力画像とこれに係るフレーム番号である映像ＩＤも受信している。
ここで、監視端末１０３は、上述のユーザインタフェイスにおいて、ユーザが検索操作部５０５の検索ボタンを押下したことを検知して、以下の人物検索処理を始める。
【００６９】
（タイミングＴ１０１）
タイミングＴ１０１において、監視端末１０３は、検索入力画像送信処理を行う。すなわち、監視端末１０３は、上述の送信ボタンの押下を検知した場合は、検索入力画像指定部３０４に表示された検索入力画像の映像ＩＤを、録画装置１０１に送信する。さらに、チェックボックスの状態等の検索用の付随情報に関しても、録画装置１０１に送信する。
録画装置１０１は、この検索入力画像から、検索前処理として、ステップＳ２０１において、顔画像を検出する。
【００７０】
（タイミングＴ１０２）
次に、タイミングＴ１０２において、録画装置１０１は、顔検出なし情報送信処理を行う。
ここでは、録画装置１０１は、検索前処理で顔画像を検出したかを、ステップＳ２０２において判定する。
Ｙｅｓ、すなわち顔画像が検出された場合には、この顔検出なし情報送信処理は行わず、実際の顔特徴量の検索と服装特徴量の検索の処理を行う。
Ｎｏ、すなわち顔画像が検出されなかった場合には、「検出なし」の情報である顔検出なし情報を、監視端末１０３に送信する。
【００７１】
監視端末１０３は、顔検出なし情報が（顔の）「検出なし」であった場合は、「顔が検出できません」等と表示する。
【００７２】
録画装置１０１は、顔を検出した場合（ステップＳ２０２のＹｅｓ）は、検索入力画像と他の検索操作部５０５の設定に従って、顔特徴量の検索と着衣特徴量の検索の処理を行う（ステップＳ２０３）。
さらに、録画装置１０１は、重みの設定値や算出された重みの値を用いて実際の検索処理を行い、検索対象画像から検索して見つかった画像である検索出力画像を記憶部１１２に記憶して蓄積する（ステップＳ２０４）。
【００７３】
（タイミングＴ１０３）
次に、タイミングＴ１０３において、録画装置１０１は、検索出力画像一覧送信処理を行う。
ここでは、録画装置１０１は、出力する検索出力画像の一覧である検索出力画像一覧を監視端末１０３に送信する。
【００７４】
監視端末１０３は、この検索出力画像を、表示部に表示されたユーザインタフェイスの検索出力画像一覧表示部３０６に一覧表示する。
これにより、人物検索処理を終了する。
【００７５】
次に、図７と図８Ａ〜Ｄのフローチャートを参照して、録画装置１０１と監視端末１０３における実際の処理について、より具体的に説明する。
まずは、図７を参照して、監視端末１０３の処理について説明する。
【００７６】
〔監視端末１０３の処理〕
（ステップＳ９０１）
ステップＳ９０１において、監視端末１０３の制御部は、検索ボタン押下検知処理を行う。
具体的には、監視端末１０３の表示部に表示された図４のユーザインタフェイスにおいて、検索操作部５０５の検索ボタンがポインティングデバイス等を用いてユーザに押下されたことを検知する。
【００７７】
（ステップＳ９０２）
ステップＳ９０２において、監視端末１０３の制御部は、検索入力画像送信処理を行う。
具体的には、検索入力画像指定部３０４の検索入力画像の画像データに係る映像ＩＤを、ネットワーク１００を介して、録画装置１０１に対して送信する。この送信のタイミングは、Ｔ１０１である。
この画像データの送信により、録画装置１０１に対しては人物検索の実行を要求することとなる。これを、検索実行要求とする。
検索実行要求の際には、更に、検索ボタン押下時の重み種類選択ボタン５１１〜５１３の選択状況を送信する。これらの情報を、検索付随情報とする。
その後、監視端末１０３の制御部は、録画装置１０１からの顔検出なし情報又は検索出力画像一覧を受信するまで待機する。
なお、監視端末１０３の制御部は、顔検出なし情報と検索画像一覧のいずれも、所定時間受信しない場合には、録画装置１０１との接続ができない旨の表示をすることもできる。
【００７８】
（ステップＳ９０３）
ステップＳ９０３において、監視端末１０３の制御部は、録画装置１０１からの情報を受信し、この情報が顔検出なし情報であるか判定する。
具体的には、Ｔ１０２の顔検出なし情報送信のタイミングで録画装置１０１より送信された顔検出なし情報を受信したか、又は（顔検出なし情報ではなく）検索出力画像一覧を受信したかについて判定する。
上述のように、顔検出なし情報は、録画装置１０１にて顔が検出されなかった「検出なし」を示す情報である。また、検索出力画像一覧は、顔が検出されて各種処理を行った後で録画装置１０１が出力する画像データ等である。
Ｙｅｓ、つまり「検出なし」の場合は、監視端末１０３の制御部は、処理をステップＳ９０６に進める。
Ｎｏ、すなわち検索出力画像であった場合は、監視端末１０３の制御部は、処理をステップＳ９０４に進める。
【００７９】
（ステップＳ９０４）
ステップＳ９０４において、監視端末１０３の制御部は、検索出力画像一覧受信処理を行う。
具体的には、監視端末１０３は、タイミングＴ１０３で録画装置１０１から送信された検索出力画像一覧を、ネットワーク１００を介して受信する。
【００８０】
（ステップＳ９０５）
ステップＳ９０５において、監視端末１０３の制御部は、サムネイル一覧表示処理を行う。
具体的には、受信内容を図４に示した検索出力画像一覧表示部３０６に、サムネイル表示する。
本発明の実施の形態の人物検索方法では、着衣情報や重み付けを用いて条件の絞り込みができるため、従来の人物検索方法よりもこの検索画像を少なく得る（擬陽性、ｆａｌｓｅ ｐｏｓｉｔｉｖｅが少ない）ことが期待できる。
これにより、ユーザの監視負担を減らすことができるという効果が得られる。
【００８１】
（ステップＳ９０６）
ステップＳ９０６において、監視端末１０３の制御部は、顔検出なし情報を受信した情報を受信した場合、「検出なし」表示処理を行う。
具体的には、監視端末１０３の制御部は、検索入力画像には顔が検出できなかった旨を、図４の検索出力画像一覧表示部３０６等にメッセージ表示する。
【００８２】
（ステップＳ９０７）
ステップＳ９０７において、監視端末１０３の制御部は、ユーザ操作待ち処理を行う。
具体的には、監視端末１０３の制御部は、表示部のユーザインタフェイスの表示・更新等の処理を行い、検索操作部５０５に関して次のユーザ操作待ち状態となる。
以上で、監視端末１０３の処理を終了する。
【００８３】
次に、図８Ａ〜図８Ｄを参照して、録画装置１０１の行う人物検索処理についてより詳しく説明する。
【００８４】
〔録画装置１０１の人物検索処理〕
（ステップＳ９１１）
まず、ステップＳ９１１において、録画装置１０１のネットワーク部１１１は、検索入力画像受信処理を行う。
具体的には、タイミングＴ１０１で監視端末１０３から送信された検索入力画像（検索入力画像指定部３０４の画像）の画像データに係る映像ＩＤを、録画装置１０１のネットワーク部１１１で受信する。すなわち、検索実行要求を受信する。
ここで、更に、ネットワーク部１１１は、重み種類選択ボタン５１１〜５１３の選択状況等である検索付随情報についても受信する。
ネットワーク部１１１は、受信された検索入力画像の画像データと付随情報を、総合判定部１２１へ出力する。
【００８５】
（ステップＳ９１２）
ステップＳ９１２において、総合判定部１２１は、検索付随情報記憶処理を行う。
具体的には、総合判定部１２１は、検索付随情報のうち、重み種類選択ボタン５１１〜５１３の選択状況と検索入力画像の映像ＩＤを総合判定部１２１の一時的な記憶手段に記憶し、更に記憶部１１２へ出力する。
【００８６】
（ステップＳ９１３）
ステップＳ９１３において、記憶部１１２は、画像データ検索処理を行う。
具体的には、記憶部１１２は、入力された映像ＩＤから対応する画像、すなわち検索入力画像の画像データを記録媒体から読み出し、総合判定部１２１へ出力する。
【００８７】
（ステップＳ９１４）
ステップＳ９１４において、総合判定部１２１は、画像データ出力処理を行う。
具体的には、総合判定部１２１は、検索入力画像の画像データを一時的な記憶手段に記憶するとともに、顔領域検出部１１３へ出力する。
【００８８】
（ステップＳ９１５）
ステップＳ９１５において、顔領域検出部１１３は、顔検出処理を行う。
具体手的には、顔領域検出部１１３は入力された検索入力画像の画像データに対し顔検出処理を行う。
【００８９】
（ステップＳ９１６）
ステップＳ９１６において、総合判定部１２１は、顔が検出されたかについて判定する。
ここでは、ステップＳ７０４と同様に閾値を用いて判定する。
Ｙｅｓの場合、すなわち顔が検出された場合には、総合判定部１２１は、処理をステップＳ９１９に進める。
Ｎｏの場合、すなわち顔が検出されなかった場合には、総合判定部１２１は、処理をステップＳ９１７に進める。
【００９０】
（ステップＳ９１７）
ステップＳ９１７において、総合判定部１２１は、「検出なし」の情報を総合判定部１２１へ出力する。
【００９１】
（ステップＳ９１８）
ステップＳ９１８において、総合判定部１２１は、「検出なし」情報送信処理を行う。
具体的には、総合判定部１２１は、タイミングＴ１０２において顔検出なし情報をネットワーク部１１１から送信する。
この顔検出なし情報は、上述のように「検出なし」の情報であり、ネットワーク１００を介して、監視端末１０３が受信する。
この後、総合判定部１２１は、処理をステップＳ９６９に進める。
【００９２】
（ステップＳ９１９）
ステップＳ９１９において、総合判定部１２１は、顔領域座標算出処理を行う。
すなわち、ステップＳ７０５と同様に、顔の領域座標を算出し、算出した座標値を画像データとともに顔特徴量抽出部１１４へ出力する。
【００９３】
なお、タイミングＴ１０２の顔検出なし情報送信の代わりに「検出あり」情報をネットワーク部１１１から送信してもよい。
これにより、監視端末１０３がこの「検出あり」情報を受信すると、監視端末１０３の制御部は、ユーザインタフェイスの検索出力画像一覧表示部３０６に「検索中」といった表示を描画することができる。よって、ユーザが検索結果を待つ際のいらいら感を減じることが可能になる。
【００９４】
（ステップＳ９２０）
ステップＳ９２０において、顔特徴量抽出部１１４は、顔特徴量算出処理を行う。
すなわち、ステップＳ７０６と同様に、顔特徴量抽出部１１４は入力された画像と顔領域座標から得られる顔領域画像に対して顔特徴量を算出する。そして、算出した顔特徴量を、総合判定部１２１へ出力する。
【００９５】
（ステップＳ９２１）
ステップＳ９２１において、総合判定部１２１は、顔特徴量記憶処理を行う。
具体的には、総合判定部１２１は、入力された顔特徴量を記憶部１１２の記憶媒体に記憶する。
【００９６】
（ステップＳ９２２）
ステップＳ９２２において、総合判定部１２１は、重み種類選択ボタン５１１及び／又は５１３が選択されているか判定する。
具体的には、総合判定部１２１は、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１１及び／又は５１３が選択されているかについて判定する。
Ｙｅｓの場合は、総合判定部１２１は、ステップＳ９２３に処理を進める。
Ｎｏの場合は、総合判定部１２１は、ステップＳ９３１に処理を進める。
【００９７】
（ステップＳ９２３）
ステップＳ９２３において、総合判定部１２１は、検索入力画像の画像データを着衣領域検出部１１６へ出力する。
【００９８】
（ステップＳ９２４）
ステップＳ９２４において、着衣領域検出部１１６は、検索入力画像の画像データ対して、着衣検出処理を行う。この着衣検出処理は、ステップＳ７０８と同様に行う。
【００９９】
（ステップＳ９２５）
ステップＳ９２５において、総合判定部１２１は、着衣が検出されたかを判定する。この判定は、ステップＳ７０９と同様に行う。
Ｙｅｓの場合は、総合判定部１２１は処理をステップＳ９２６に進める。
Ｎｏの場合は、総合判定部１２１は処理をステップＳ９２９に進める。
【０１００】
（ステップＳ９２６）
ステップＳ９２６において、着衣領域検出部１１６は、検索入力画像の画像データ対して、着衣領域座標算出処理を行う。
この処理は、ステップＳ７１０と同様に行う。すなわち、着衣の領域座標を算出して、算出した座標値を画像とともに着衣特徴量抽出部１１７へ出力する。
【０１０１】
（ステップＳ９２７）
ステップＳ９２７において、着衣特徴量抽出部１１７は、検索入力画像の画像データ対して、着衣特徴量算出処理を行う。
この処理は、ステップＳ７１１と同様に行う。すなわち、着衣特徴量抽出部１１７は、検索入力画像の画像データと着衣の領域座標から得られる着衣領域画像に対して、着衣特徴量を算出し、算出した着衣特徴量を総合判定部１２１へ出力する。
これにより、総合判定部１２１は、着衣を検出したかについての情報である着衣検出情報を「検出あり」として、一次的な記憶手段に記憶する。
【０１０２】
（ステップＳ９２８）
ステップＳ９２８において、総合判定部１２１は、着衣特徴量記憶処理を行う。
具体的には、総合判定部１２１は、入力された着衣特徴量を、一時的な記憶手段に記憶する。
この処理の後、総合判定部１２１は、処理をステップＳ９３１に進める。
【０１０３】
（ステップＳ９２９）
ステップＳ９２９において、着衣領域検出部１１６は、着衣が検出されなかった場合には、「検出なし」の情報を総合判定部１２１へ出力する。
【０１０４】
（ステップＳ９３０）
ステップＳ９３０において、総合判定部１２１は、着衣領域検出部１１６から「検出なし」の情報を入力された場合には、着衣情報を着衣未検出として一時的な記憶手段に記憶する。
【０１０５】
（ステップＳ９３１）
ステップＳ９３１において、総合判定部１２１は、重み種類選択ボタン５１１及び／又は５１２が選択されているか判定する。
具体的には、ステップＳ９１１で入力された重み種類選択ボタン５００〜５１３の選択状況において、重み種類選択ボタン５１１及び／又は５１２が選択されているかを判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９３２に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９３５に進める。
【０１０６】
（ステップＳ９３２）
ステップＳ９３２において、総合判定部１２１は、検索入力画像の映像ＩＤを撮影時刻記録部１１９へ出力する。
【０１０７】
（ステップＳ９３３）
ステップＳ９３３において、撮影時刻記録部１１９は、撮影時刻出力処理を行う。
具体的には、撮影時刻記録部１１９は、入力された映像ＩＤから対応する時刻、すなわち検索入力画像の撮影時刻を、記憶部１１２の記録媒体から読み出し、総合判定部１２１へ出力する。
【０１０８】
（ステップＳ９３４）
ステップＳ９３４において、総合判定部１２１は、入力された時刻を一時的な記憶手段に記憶する。
【０１０９】
（ステップＳ９３５）
ステップＳ９３５において、総合判定部１２１は、重み種類選択ボタン５１２及び／又は５１３が選択されているか判定する。
具体的には、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１２及び／又は５１３が選択されているかを判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９３６に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９３９に進める。
【０１１０】
（ステップＳ９３６）
ステップＳ９３６において、総合判定部１２１は、検索入力画像の映像ＩＤを撮影位置記録部１２０へ出力する。
【０１１１】
（ステップＳ９３７）
ステップＳ９３７において、撮影位置出力処理を行う。
具体的には、撮影位置記録部１２０は、入力された映像ＩＤから対応する位置、すなわち検索入力画像の撮影位置を、記憶部１１２の記録媒体から読み出し、総合判定部１２１へ出力する。
【０１１２】
（ステップＳ９３８）
ステップＳ９３８において、総合判定部１２１は、入力された位置を一時的な記憶手段に記憶する。
【０１１３】
（ステップＳ９３９）
ステップＳ９３９において、総合判定部１２１は、記憶部１１２の記録媒体から、特徴量データベース８０１を読み出すための、データベース読み出し準備処理を行う。
具体的には、総合判定部１２１は、データベースのデーモン又はサービスにアクセスして、特徴量データベース８０１を使用するための各種準備のコマンドを送信する。
【０１１４】
（ステップＳ９４０）
ステップＳ９４０において、総合判定部１２１は、特徴量データベース８０１の先頭行を参照行にセットする。
参照行は、総合判定部１２１の一時的な記憶手段に記憶された変数等であり、特徴量データベース８０１の表を１行づつ読み出すための、行番号を示すカウンタである。
【０１１５】
（ステップＳ９４１）
次に、ステップＳ９４１において、総合判定部１２１は、参照行から映像ＩＤや顔特徴量、着衣特徴量、撮影時刻、撮影位置を読み出して取得する。
【０１１６】
（ステップＳ９４２）
次に、ステップＳ９４２において、総合判定部１２１は、顔類似度算出処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した顔特徴量と記憶手段に記憶されている検索入力画像の顔特徴量から、この映像ＩＤをもつ検索対象画像と検索入力画像との顔類似度を算出する。
【０１１７】
この顔類似度の算出は、顔特徴量数がｍ個である場合は、例えば以下の式のようにして求められる。
【０１１８】
【数１】
【０１１９】
（Σは、合計を表す）。
ここで、ＦＷｉは顔特徴量の重要度を示す係数であり、
ＦＷi＝｛ｆｗ1, ｆｗ2，…，ｆｗm｝
で表わされる。
ＦＦＩiは検索入力画像の顔特徴量であり、
ＦＦＩi＝｛ｆｆｉ1, ｆｆｉ2，…，ｆｆｉm｝
で表わされる。
ＦＦＴiは検索対象画像の顔特徴量であり、
ＦＦＴi＝｛ｆｆｔ1, ｆｆｔ2，…，ｆｆｔm｝
で表わされる。
すなわち、このステップにより、顔特徴量間の距離を計算して顔類似度を算出している。
なお、このような方法以外にも、特徴量の分布関数を用いた統計的な手法や、サポート・ベクター・マシン等の人工知能的な手法を用いて顔類似度を算出することが可能である。
【０１２０】
（ステップＳ９４３）
次に、ステップＳ９４３において、総合判定部１２１は、重み種類選択ボタン５１１が選択されているか判定する。
具体的には、総合判定部１２１は、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１１が選択されているかを判定する。加えて、着衣情報が着衣未検出の状態であるかについても判定する。
Ｙｅｓの場合、すなわち、重み種類選択ボタン５１１が選択されており、着衣未検出の状態でない場合は、総合判定部１２１は、処理をステップＳ９４４に進める。
Ｎｏの場合、すなわち、それ以外の場合は、総合判定部１２１は、処理をステップＳ９４８に進める。
【０１２１】
（ステップＳ９４４）
このステップＳ９４４〜Ｓ９４７において、総合判定部１２１は、撮影時刻情報と着衣情報の２者の関係に基づく重みの算出を行う。
まず、ステップＳ９４４において、総合判定部１２１は、着衣類似度算出処理を行う
具体的には、総合判定部１２１は、ステップＳ９４１で取得した着衣特徴量と、一時的な記憶手段に記憶されている検索入力画像の着衣特徴量とを比較し、この映像ＩＤを有する検索対象画像と検索入力画像と着衣類似度を算出する。
着衣類似度の算出は、着衣特徴量の数がｎ個である場合、以下の式で求められる。
【０１２２】
【数２】
【０１２３】
ここでＣＷｉは着衣特徴量の重要度を示す係数であり、
ＣＷi＝｛ｃｗ1, ｃｗ2，…，ｃｗn｝
で表わされる。
ＣＦＩiは検索入力画像の着衣特徴量であり、
ＣＦＩi＝｛ｃｆｉ1, ｃｆｉ2，…，ｃｆｉn｝
で表わされる。
ＣＦＴiは検索対象画像の着衣特徴量であり、
ＣＦＴi＝｛ｃｆｔ1, ｃｆｔ2，…，ｃｆｔn｝
で表わされる。
なお、この着衣類似度についても、特徴量間の距離を算出している。
この着衣類似度に関しても、特徴量の分布関数を用いたり、サポート・ベクター・マシン等の人工知能的な手法や、統計的な手法を用いて算出することが可能である。
【０１２４】
（ステップＳ９４５）
ステップＳ９４５において、総合判定部１２１は、算出した着衣類似度を所定の閾値と比較して、着衣の同一性について判断する。
この閾値は、使用する着衣特徴量により異なるため、最適なパラメータを予め指定することができる。
判定結果は、一時的な記憶手段に記憶する。
【０１２５】
（ステップＳ９４６）
ステップＳ９４６において、総合判定部１２１は、時刻の近傍性を所定の閾値と比較して判断する。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した撮影時刻と記憶手段に記憶されている検索入力画像の撮影時刻と検索対象画像の撮影時刻との差の絶対値を、時刻の近傍性に係る所定の閾値と比較して判断する。
この所定の閾値としては、例えば、人が歩行したりタクシー等で移動する速度を基にして設定することができる。
この判定結果は、総合判定部１２１は、一時的な記憶手段に記憶する。
【０１２６】
（ステップＳ９４７）
ステップＳ９４７において、総合判定部１２１は、撮影時刻情報と着衣情報の２者の関係に基づく重みの算出処理を行う。
この算出処理においては、ユーザが時刻＋着衣重み設定表６１０の設定値入力欄６１１〜６１４に入力した値を用いて行う。
具体的には、総合判定部１２１は、時刻の近傍性の判定結果と、図５の時刻＋着衣重み設定表６１０でユーザが入力した値とを掛ける等の処理を行って重みの算出を行う。
この処理の後、総合判定部１２１は、処理をステップＳ９５０へ進める。
【０１２７】
（ステップＳ９４８）
ステップＳ９４８において、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１１が選択されていない場合、総合判定部１２１は撮影時刻情報と着衣情報の２者の関係に基づく重みの値を１とする。
また、総合判定部１２１は、着衣情報が着衣未検出の状態であった場合にも、同様に重みの値を１とする。
【０１２８】
（ステップＳ９４９）
ステップＳ９４９において、総合判定部１２１は、重み種類選択ボタン５１２が選択されていたかを判定する。
具体的には、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、ユーザにより重み種類選択ボタン５１２が選択されていたかを判定する。
Ｙｅｓの場合は、総合判定部１２１は、処理をステップＳ９５０へ進める。
Ｎｏの場合は、総合判定部１２１は、処理をステップＳ９５３へ進める。
【０１２９】
（ステップＳ９５０）
以下、ステップＳ９５０〜Ｓ９５２において、総合判定部１２１は、まず、撮影時刻情報と撮影位置情報の２者の関係に基づく重みの算出を行う。
まず、ステップＳ９５０において、総合判定部１２１は、時刻の近傍性判断処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した撮影時刻と、一時的な記憶手段に記憶されている検索入力画像の撮影時刻から、所定の閾値と比較して、時刻の近傍性を判断する。
すなわち、検索対象画像と検索入力画像の撮影時刻との差の値を、所定の閾値と比較して、時刻の近傍性を判断する。
判断した結果は、総合判定部１２１の一次的な記憶手段に記憶する。
【０１３０】
（ステップＳ９５１）
ステップＳ９５１において、総合判定部１２１は、位置の近傍性判断処理を行う。
ステップＳ９４３において、総合判定部１２１は、ステップＳ９４１で取得した撮影位置と記憶手段に記憶されている検索入力画像の撮影位置から位置の近傍性を予め設定した閾値と比較して判断する。
すなわち、総合判定部１２１は、検索対象画像と検索入力画像の撮影位置の差を所定の閾値と比較して、位置の近傍性を判断する。
判断した結果は、同様に、総合判定部１２１の一次的な記憶手段に記憶する。
【０１３１】
なお、上述のステップＳ９５０とＳ９５１の所定の閾値としては、上述の場合の条件（１）〜（７）を考慮した閾値を用いることができる。
この閾値は、例えば、時刻の閾値としては、同一日や非同一日であるか否か、数時間以内であるか否か等に関する値を用いることができる。
位置の閾値としては、撮影位置の差が実際の距離（所定メートル等）以内であるか、同一建物（駅等）の構内である等の値を用いることができる。
さらに、これらの閾値は、実際のアプリケーションに従って調整して用いることができる。
【０１３２】
また、複数の離れた位置に、近い時刻で検出された場合は、より「同一人物の可能性が高い」とすることもできる。
【０１３３】
（ステップＳ９５２）
ステップＳ９５２において、総合判定部１２１は、判定された値を用いて、撮影時刻情報と撮影位置情報の２者の関係に基づく重みの算出処理を行う。
この重みの算出は、ユーザにより時刻＋位置重み設定表６２０に入力された値を用いて行う。
具体的には、総合判定部１２１は、上述のステップＳ９５０とステップＳ９５１の判定結果を、図５の時刻＋位置重み設定表６２０に適用して、撮影時刻情報と撮影位置情報に基づく重みの算出を行う。
この処理を行った後、総合判定部１２１は、処理をステップＳ９５４に進める。
【０１３４】
（ステップＳ９５３）
ステップＳ９５３において、総合判定部１２１は撮影時刻情報と撮影位置情報の２者の関係に基づく重みの値を１とする。
これは、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１２が選択されていない場合である。
【０１３５】
（ステップＳ９５４）
ステップＳ９５４において、重み種類選択ボタン５１３が選択されているか判定する。
具体的には、総合判定部１２１は、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１３が選択されているかを判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９５５に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９５９に進める。
【０１３６】
（ステップＳ９５５）
以下、ステップＳ９５５〜Ｓ９５８において、総合判定部１２１は撮影位置情報と着衣情報の２者の関係に基づく重みの算出を行う。
まずは、ステップＳ９５５において、着衣類似度算出処理を行う。
具体的には、ステップＳ９４１で取得した着衣特徴量と記憶手段に記憶されている検索入力画像の着衣特徴量を基に、この映像ＩＤをもつ検索対象画像と検索入力画像との間で、着衣類似度を算出する。
着衣類似度の算出は、ステップＳ９４４の方法等と同様に行う。
【０１３７】
（ステップＳ９５６）
ステップＳ９５６において、総合判定部１２１は、着衣の同一性判断処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４５と同様に、算出した着衣類似度を所定の閾値と比較して、着衣の同一性を判断する。
【０１３８】
（ステップＳ９５７）
ステップＳ９５７において、位置の同一性判断処理を行う。
具体的には、総合判定部１２１は、ステップＳ９４１で取得した撮影位置と記憶手段に記憶されている検索入力画像の撮影位置から位置の近傍性を、所定の閾値と比較して判断する。
【０１３９】
（ステップＳ９５８）
ステップＳ９５８において、総合判定部１２１は、ステップＳ９５８の判定結果について、図５の位置＋着衣重み設定表６３０の値を適用して、撮影位置情報と着衣情報の２者の関係に基づく重みの算出を行う。
【０１４０】
（ステップＳ９５９）
ステップＳ９５９において、総合判定部１２１は撮影位置情報と着衣情報の２者の関係に基づく重みの値を１とする。すなわち、ステップＳ９１１で入力された重み種類選択ボタン５１１〜５１３の選択状況において、重み種類選択ボタン５１３が選択されていない場合の重みの値は１となる。
なお、着衣情報が着衣未検出の状態であった場合にも、同様に重みの値を１とする。
【０１４１】
（ステップＳ９６０）
ステップＳ９６０において、総合判定部１２１は、総合類似度を算出する。
具体的には、ステップＳ９４２にて算出した顔類似度に対し、それぞれ、ステップＳ９４２〜Ｓ９４８、Ｓ９４９〜Ｓ９５３、Ｓ９５４〜Ｓ９５９で算出した各重み値を掛け合わせて、総合類似度の値を算出する。
すなわち、総合類似度の値は：
総合類似度＝顔類似度×（時刻＋着衣重み設定値）×（時刻＋位置重み設定値）×（位置＋着衣重み設定値）
のような式により、算出する。
ここで、各重みの設定値群に対しては、上述の閾値による条件を基にした値を適用して計算する。この条件としては、各重み設定の表における位置や時刻の近傍性が、閾値以下か閾値を超えたかについて、上述の（１）〜（７）の条件を用いて判断する。
以上のように、着衣特徴量が直接、総合類似度に反映されるわけではない。
【０１４２】
（ステップＳ９６１）
ステップＳ９６１において、総合判定部１２１は、検索出力画像判断処理を行う。
具体的には、総合判定部１２１は、算出した総合類似度を所定の閾値と比較して、検索出力画像を出力するか判断する。
【０１４３】
（ステップＳ９６２）
ステップＳ９６２において、総合判定部１２１は、ステップＳ９６１で判断をした値が、閾値を上回る値であったかについて判定する。
Ｙｅｓの場合は、総合判定部１２１は、処理をステップＳ９６３に進める。
Ｎｏの場合は、総合判定部１２１は、処理をステップＳ９６４に進める。
【０１４４】
（ステップＳ９６３）
ステップＳ９６３において、総合判定部１２１は、検索対象画像を検索出力画像の１つと判定し、該検索対象画像を映像ＩＤとともに一時的な記憶手段に記憶する。
【０１４５】
（ステップＳ９６４）
ステップＳ９６４において、総合判定部１２１は、参照行を１行下にずらす。
これにより、特徴量データベース８０１の末尾行（最終行）を超えるまで、次の行を参照することができる。末尾行は、特徴量データベース８０１の表の最終行である。
【０１４６】
（ステップＳ９６５）
総合判定部１２１は、参照行が末尾行を超えたかについて判定する。
Ｙｅｓの場合、総合判定部１２１は、処理をステップＳ９６６に進める。
Ｎｏの場合、総合判定部１２１は、処理をステップＳ９４１に戻して、一連の処理を参照行が末尾行を超えるまで同様に繰り返す。
【０１４７】
（ステップＳ９６６）
ステップＳ９６６において、総合判定部１２１は、検索出力画像一覧リスト化処理を行う。
具体的には、総合判定部１２１は、ステップＳ９６５で参照行が末尾行を超えたと判定した場合、一時的な記憶手段に記憶された全ての総合類似度を映像ＩＤとともに取り出す。この上で、総合判定部１２１は、映像ＩＤの画像データを検索出力画像一覧としてリスト化して、一時的な記憶手段に記憶する。
このリスト化の際に、総合判定部１２１は、総合類似度、時刻順、カメラ順等の順番になるようにソート処理を実行するようにしてもよい。
【０１４８】
（ステップＳ９６７）
ステップＳ９６７において、総合判定部１２１は、検索出力画像一覧をネットワーク部へ１１１へ出力する。
【０１４９】
（ステップＳ９６８）
ステップＳ９６８において、ネットワーク部１１１は、入力された検索出力画像一覧をネットワークを介して、監視端末１０３に送信する。この処理のタイミングは、タイミングＴ１０３である。
【０１５０】
（ステップＳ９６９）
ステップＳ９６９において、録画装置１０１は、次の検索実行要求の受信待ち状態となる。
ネットワーク部１１１は、次の検索実行要求を受信した場合は、処理をステップＳ９１１に戻す。ここまでが、録画装置１０１での処理である。
録画装置１０１は、この状態にてシャットダウン等を行うと、処理を終了する。
以上により、人物検索処理を終了する。
【０１５１】
このように構成することで、以下のような効果が得られる。
まず、従来技術１においては、正面方向以外の方向から映した顔画像に対する認識精度は低いという問題があった。また、顔の大きさが小さい場合には、認識精度も低いという問題があった。
これにより、人物検索方法を実用的に用いることが難しいという問題があった。このため、人物検索機能は、本格的には利用されていないという問題があった。
【０１５２】
しかしながら、本発明の実施の形態に係る人物検索方法においては、顔認識の精度がそれほど高くなくても、精度の高い人物検索方法を提供することができる。
これは、顔特徴量に加えて、服装の特徴である着衣特徴量を用い、さらに時刻・位置・着衣のルールを用い、さらに重み付けの値を算出して適用することにより実現することができる。
これにより、ユーザが所望の人物の映像を、より効率よく簡単に見つけることが可能となる。
よって、監視システムにおいて、人物検索方法を実用的に用いることが可能となる。
【０１５３】
このように人物検索方法の精度が向上することにより、その時点で録画されている全画像に映された全ての人物について、その人物の含まれている画像を検索することも可能である。
その検索した画像の映像ＩＤを用いることで、位置と時間の情報を得ることができる。
これにより、特定の場所や時間での人の流れについてリサーチを行うことが可能になる。
たとえば、あるビル内での人の動きを検索して、より効率的な店舗の配置等に用いることができる。
また、例えば、遊園地等の遊戯施設内で、入場者がアトラクションを廻る順番等が把握できるため、各アトラクションの値段を適切に設定したり、遊戯施設内の通路を最適化することも可能である。
なお、多数の人物について検索を行う場合は、プライバシーに配慮して、各検索結果については記録を残さずに、各映像ＩＤの移動の情報といった値のみを統計処理することが望ましい。
【０１５４】
また、従来は、連続的な相関モデル等により人物検索を行う方法が用いられることもあった。ところが、人物検索が用いられる状況は様々であり、連続的な相関モデルによれば、これらの様々な状況に対応できないという問題があった。
これに対して、本発明においては、人物検索における着衣特徴量との関係において、位置や時刻が同一／非同一で単純に条件により場合分けして、それぞれの重みを直接に指定できるようにした。
これにより、様々な状況に対応でき、検索者の意図した検索が可能であるため、使い勝手がよくなるという効果が得られる。
【０１５５】
なお、本発明の実施の形態においては、検索対象画像は、その時点で録画されている全画像を対象とした場合を説明したが、当然、時刻やカメラ等が限定された画像を対象とすることも可能である。
さらに、特定の性別や年齢（大人か子供か）の対象を検索することも可能である。この性別と年齢は、顔領域や着衣の特徴量から及び背の高さ等から判断することができる。
【０１５６】
また、本発明の実施の形態においては、録画装置１０１内で検索出力画像一覧を完全に求めてから監視端末１０３に送信するようにしたが、ステップＳ９６２において、検索出力画像と判定される毎に監視端末１０３に逐次送信するようにしてもよい。
【０１５７】
また、本発明の実施の形態においては、検索入力画像中に存在する人物が各１名である場合について示したが、検索入力画像中に複数人が存在する場合には、それぞれの人物に対する検索結果をＯＲした結果をユーザに返すようにしてもよい。
また、この場合、監視端末１０３の制御部は、複数人が存在する旨をユーザ側に通知し、検索対象とする１名を監視端末１０３のポインティングデバイス等で指定・選択するようにユーザインタフェイスにより選択させ、ユーザにより選択された１名に対して実施するようにしてもよい。
【０１５８】
また、説明の簡略化のため、本図においては撮像装置１０２や監視端末１０３を、各１台の構成で示した。しかし、これらの装置は、ネットワーク１００に複数台、接続することが可能である。
また、本例においては、検索の画像の指定のみを端末で行い、録画と検索とを同一の装置で実行する構成を示した。しかし、録画と検索とについても別々の装置で実行するようにしてもよい。
【０１５９】
また、本発明の実施の形態においては、ユーザの指示に従い、映像ＩＤを含む検索付随情報のみを監視端末１０３から録画装置１０１に送信し、画像データそのものは送信しないような説明をした。しかしながら、監視端末１０３から画像データそのものを送信して、この画像データを基に、録画装置１０１が各種検索処理を行うことが可能である。
さらに、本発明の実施の形態においては、検索対象画像は録画された画像から選択するように説明した。しかし、例えば、撮像装置１０２とは異なる機器により撮影した画像を、検索対象画像とすることもできる。
【０１６０】
また、上述の映像ＩＤとしては、録画開始時からの経過時間、特定のシグナル（顔特徴量など）を検出した際に割り当てられるユニークな数字のＩＤを用いてもよい。また、検索用のタグデータ、ハッシュデータ、その他、検索を容易にするための様々な情報を用いることもできる。
また、上述の入力する重みの設定値は、割合の値で与えるように示したが、加算値（又は減算値）のような形式の「重みの重み」のような調整値を用いてもよい。また、重みの設定値に加えて、「重みの重み」の調整値を加えるように構成することもできる。
【０１６１】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施の形態に係る監視システムＹのシステム構成図である。
【図２】本発明の実施の形態に係る顔特徴量や着衣特徴量や撮影時刻や撮影位置を示す特徴量データベース８０１の構成を示す概念図である。
【図３】本発明の実施の形態に係る録画装置１０１における、映像録画時の処理の流れを示すフローチャートである。
【図４】本発明の実施の形態に係る監視端末１０３における、人物検索のためのユーザインタフェイスの例を示す図である。
【図５】本発明の実施の形態に係る監視端末１０３における、重み設定画面の例を示す図である。
【図６】本発明の実施の形態に係る人物検索方法実行のタイミングチャートである。
【図７】本発明の実施の形態に係る人物検索方法実行時の監視端末１０３における処理の流れを示すフローチャートである。
【図８Ａ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図８Ｂ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図８Ｃ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図８Ｄ】本発明の実施の形態に係る人物検索方法実行時の録画装置１０１における処理の流れを示すフローチャートである。
【図９】従来の人物検索機能を備えた監視システムＸのシステム構成図である。
【図１０】従来の監視端末２０３における、人物検索のためのユーザインタフェイスの例を示す図である。
【符号の説明】
【０１６３】
１００、２００ ネットワーク
１０１、２０１ 録画装置
１０２、２０２ 撮像装置
１０３、２０３ 監視端末
１１１、２１１ ネットワーク部
１１２、２１２ 記憶部
１１３、２１３ 顔領域検出部
１１４、２１４ 顔特徴量抽出部
１１５、２１５ 顔特徴量記録部
１１６ 着衣領域検出部
１１７ 着衣特徴量抽出部
１１８ 着衣特徴量記録部
１１９ 撮影時刻記録部
１２０ 撮影位置記録部
１２１ 総合判定部
２１６ 顔判定部
３０１ 再生映像表示部
３０２ 再生操作部
３０３ カメラ切替操作部
３０４ 検索入力画像指定部
３０５、５０５ 検索操作部
３０６ 検索出力画像一覧表示部
５１１〜５１３ 重み種類選択ボタン
５１４ 重み設定ボタン
６１０ 時刻＋着衣重み設定表
６１１〜６１４、６２１〜６２４、６３１〜６３４ 設定値入力欄
６２０ 時刻＋位置重み設定表
６３０ 位置＋着衣重み設定表
６４１ 適用ボタン
６４２ 閉じるボタン
８０１ 特徴量データベース
８１１ 映像ＩＤ列
８１２ 顔特徴量列
８１３ 着衣特徴量列
８１４ 撮影時刻列
８１５ 撮影位置列
Ｘ、Ｙ 映像監視システム
【特許請求の範囲】
【請求項１】
画像を録画する監視システムにおける人物検索方法において、
録画した複数の画像の画像データから求められる、撮影時刻情報、撮影位置情報、顔特徴量、及び着衣情報をそれぞれ記憶し、
前記撮影時刻情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する時刻＋着衣重み設定値、及び
前記撮影時刻情報が近傍か非近傍かの近傍性と、前記撮影位置情報が近傍か非近傍かの近傍性との条件の組み合わせに対応する時刻＋位置重み設定値、及び
前記撮影位置情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する位置＋着衣重み設定値の入力を予め受け、
用いる重み設定値と検索対象画像とについての指定とともに検索の指示を受けたときに、
前記録画した画像と前記検索対象画像との間で、前記顔特徴量の差分、指定された前記時刻＋着衣重み設定値、又は前記時刻＋位置重み設定値、又は前記位置＋着衣重み設定値に対応する重みを与えて得られる総合類似度用いて、録画された人物の同一性を判断する
ことを特徴とする人物検索方法。
【請求項２】
撮像装置、録画装置、及び監視端末を備えて画像を録画する監視システムであって、
前記録画装置は、
前記撮像装置で撮像した画像から顔特徴量を抽出する顔特徴量抽出手段と、
前記撮像装置で撮像した画像から着衣特徴量を抽出する着衣特徴量抽出手段と、
録画した画像の画像データ、撮影時刻情報、撮影位置情報、前記顔特徴量抽出手段で抽出された顔特徴量、前記着衣特徴量抽出手段で抽出された着衣情報のうち、少なくとも１つ以上を記憶する記憶手段と、
前記撮影時刻情報、前記撮影位置情報、及び前記着衣情報のうち、いずれかに対応する重み値を用いて、検索対象画像と前記録画した画像に撮影された人物の同一性を判断する総合判断手段と
を備えることを特徴とする監視システム。
【請求項１】
画像を録画する監視システムにおける人物検索方法において、
録画した複数の画像の画像データから求められる、撮影時刻情報、撮影位置情報、顔特徴量、及び着衣情報をそれぞれ記憶し、
前記撮影時刻情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する時刻＋着衣重み設定値、及び
前記撮影時刻情報が近傍か非近傍かの近傍性と、前記撮影位置情報が近傍か非近傍かの近傍性との条件の組み合わせに対応する時刻＋位置重み設定値、及び
前記撮影位置情報が近傍か非近傍かの近傍性と、前記着衣情報が同一か非同一かの同一性との条件の組み合わせに対応する位置＋着衣重み設定値の入力を予め受け、
用いる重み設定値と検索対象画像とについての指定とともに検索の指示を受けたときに、
前記録画した画像と前記検索対象画像との間で、前記顔特徴量の差分、指定された前記時刻＋着衣重み設定値、又は前記時刻＋位置重み設定値、又は前記位置＋着衣重み設定値に対応する重みを与えて得られる総合類似度用いて、録画された人物の同一性を判断する
ことを特徴とする人物検索方法。
【請求項２】
撮像装置、録画装置、及び監視端末を備えて画像を録画する監視システムであって、
前記録画装置は、
前記撮像装置で撮像した画像から顔特徴量を抽出する顔特徴量抽出手段と、
前記撮像装置で撮像した画像から着衣特徴量を抽出する着衣特徴量抽出手段と、
録画した画像の画像データ、撮影時刻情報、撮影位置情報、前記顔特徴量抽出手段で抽出された顔特徴量、前記着衣特徴量抽出手段で抽出された着衣情報のうち、少なくとも１つ以上を記憶する記憶手段と、
前記撮影時刻情報、前記撮影位置情報、及び前記着衣情報のうち、いずれかに対応する重み値を用いて、検索対象画像と前記録画した画像に撮影された人物の同一性を判断する総合判断手段と
を備えることを特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９】
【図１０】
【公開番号】特開２００９−１９９３２２（Ｐ２００９−１９９３２２Ａ）
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願番号】特願２００８−４０１１７（Ｐ２００８−４０１１７）
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２１年９月３日（２００９．９．３）
【国際特許分類】
【出願日】平成２０年２月２１日（２００８．２．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]