画像検索装置
【課題】効率的に画像検索を行える画像検索装置を提供する。
【解決手段】撮像装置２０１−１〜２０１−ｎからの画像データを記録する画像記録装置２０２を備える。この上で、類似画像を検索する画像検索装置２０３を備える。画像特徴量登録部２１０は、前記画像データの特徴量を計算して登録する。画像特徴量記憶部２２０は、計算された前記画像データの特徴量を記憶する。また、画像検索部２３０は、入力された検索条件をもとに、前記画像の特徴量を使用して、画像の検索を行う。さらに、ユーザインタフェース部２４０は、入力された前記検索条件を画像検索部２３０に通知し、検索結果を表示する。この上で、画像検索部２３０は、画像特徴量を使用し、類似の画像検索を行い、検索された類似性の高い画像が検索された回数をカウントする。さらに、あらかじめユーザが指定した条件とカウント回数に応じて、ユーザインタフェース部２４０に表示を行わせる。
【解決手段】撮像装置２０１−１〜２０１−ｎからの画像データを記録する画像記録装置２０２を備える。この上で、類似画像を検索する画像検索装置２０３を備える。画像特徴量登録部２１０は、前記画像データの特徴量を計算して登録する。画像特徴量記憶部２２０は、計算された前記画像データの特徴量を記憶する。また、画像検索部２３０は、入力された検索条件をもとに、前記画像の特徴量を使用して、画像の検索を行う。さらに、ユーザインタフェース部２４０は、入力された前記検索条件を画像検索部２３０に通知し、検索結果を表示する。この上で、画像検索部２３０は、画像特徴量を使用し、類似の画像検索を行い、検索された類似性の高い画像が検索された回数をカウントする。さらに、あらかじめユーザが指定した条件とカウント回数に応じて、ユーザインタフェース部２４０に表示を行わせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の特徴量を使用して画像を検索する画像検索装置に係り、特に監視カメラ等の撮像装置の記録画像データから類似画像を検索して表示する画像検索装置に関する。
【背景技術】
【０００２】
近年、セキュリティ（安全）意識の高まりや、警備の省力化の要求から、監視用の動画や静止画像のカメラ（監視カメラ）を用いた監視システムが注目されている。
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、昨今、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのために、膨大な時間がかかるようになってきている。
【０００３】
このため、センサーアラーム等の事象発生等の検出事象と連動し、必要な部分の画像録画や、各種検出事象そのものを検索条件とした記録画像の検索技術が開発されている。
しかしながら、このような記録画像の検索技術を備えたシステムでは、検出事象を予め設定しておく必要があった。このため、予め設定されていない検出事象が発生した場合には、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。
【０００４】
これに対して、近年、予め検出事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似の画像を検索する技術が提案されている。
これは、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として選択するものである。
【０００５】
このような従来のキー画像から類似画像を検索する画像記録装置として、特許文献１を参照すると、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する画像記録装置及びその制御方法が記載されている（以下、従来技術１とする。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３５２７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、テロ（テロリズム）等の犯罪において、犯罪計画者は実行に先立って下見をすることが多いことが知られている。
しかしながら、従来技術１のような従来の警備システムにおいては、犯罪計画者を含む不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないことがあった。
このため、不審者情報を取りこぼしてしまうことがあるという問題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の画像検索装置は、撮像装置からの画像データを記録する画像記録装置と、前記画像データの特徴量を登録する特徴量登録手段と、前記画像データの登録ＩＤと、登録された前記特徴量とを記憶する特徴量記憶手段と、入力された検索条件をもとに、前記登録ＩＤの前記特徴量を使用して検索を行う画像検索手段と、入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、前記画像検索手段は、前記登録ＩＤの前記特徴量を用いて、類似性の高い特徴量をもつ登録ＩＤの検索を行い、検索された前記類似性の高い特徴量をもつ登録ＩＤが検索された回数をカウントし、ユーザにより設定された条件と前記カウントされた回数に応じて、前記ユーザインタフェース手段に表示を行わせることを特徴とする。
ことを特徴とする。
本発明の画像検索装置は、前記画像検索手段は、あらかじめ指定された登録ＩＤの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせないことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、類似人物の出現頻度を推定することで、不特定の人物中から不審人物を探し出しやすくする画像検索装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムＸのシステム構成図である。
【図２】本発明の実施の形態に係る画像特徴量記憶部２２０が用いる画像特徴量のデータを示す概念図である。
【図３】本発明の実施の形態に係るユーザインタフェース部２４０の検索条件入力画面の表示例を示す概念図である。
【図４】本発明の実施の形態に係る監視システムＸのユーザ指示による検索処理のシーケンス図である。
【図５】本発明の実施の形態に係る画像特徴量登録部２１０の特徴量登録処理のフローチャートである。
【図６】本発明の実施の形態に係る画像検索部２３０の検索実行処理のフローチャートである。
【図７】本発明の実施の形態に係る画像検索処理に用いるデータ構造を示す概念図である。
【図８】本発明の実施の形態に係る登録画像の重複の判定を行わない場合の画面例である。
【図９】本発明の実施の形態に係る画像検索部２３０の検索結果データ応答処理のフローチャートである。
【図１０】本発明の実施の形態に係る検索結果の重ね表示モードでの表示画面の画面例である。
【図１１】本発明の実施の形態に係る検索結果の展開表示モードでの表示画面の画面例である。
【図１２】本発明の実施の形態に係る検索結果の別の表示例を示す画面例である。
【図１３】本発明の実施の形態に係る監視システムＸの自動検索処理のシーケンス図である。
【図１４】本発明の実施の形態に係る指定した画像の表示抑止のためのデータ構造を示す概念図である。
【発明を実施するための形態】
【００１２】
＜実施の形態＞
〔監視システムＸの制御構成〕
以下、本発明の実施の形態について、図面を参照して説明する。
図１を参照すると、本発明の実施の形態に係る監視システムＸは、撮像装置２０１−１〜２０１−ｎと、画像記録装置２０２と、画像検索装置２０３とが、ネットワーク２００にて接続されて構成されている。
【００１３】
ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、ＷｉＭＡＸ（登録商標）、メッシュネットワーク、携帯電話網等のデータ通信可能な回線である。
また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
【００１４】
撮像装置２０１−１〜２０１−ｎは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を用いて、ネットワーク２００に接続して画像データを送信可能な、いわゆるＩＰカメラやネットワークカメラ等の撮像装置である。
撮像装置２０１−１〜２０１−ｎは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置２０１−１〜２０１−ｎは、通常のテレビジョンカメラを用いて、画像記録装置２０２に直接接続し、画像記録装置２０２の画像・音声エンコーダ（図示せず）を用いて映像デジタルデータに変換するように構成してもよい。
【００１５】
画像記録装置２０２は、撮像装置２０１−１〜２０１−ｎの映像等の画像データをネットワーク２００経由で記録するネットワークデジタルレコーダ等の装置である。
画像記録装置２０２は、ＣＰＵ等の制御部や演算部と、内蔵のＤＲＡＭやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置２０２は、ネットワーク２００を介して撮像装置２０１−１〜２０１−ｎより入力された画像データを、ＨＤＤ等の記録媒体に記録する。
監視システムＸにおいて、他の部位が画像記録装置２０２から画像を読み出す場合、画像記録装置２０２に対して、カメラＩＤと時刻情報等を指定することで、該当する画像を読み出すことができる。
【００１６】
画像検索装置２０３は、ネットワーク２００を介して画像記録装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示し、画像検索を行うＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。
画像検索装置２０３は、下記で説明する処理の制御を行うＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置２０３は、キーボードやマウス等のユーザ入力部を備え、画像記録装置２０２に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
【００１７】
また、画像検索装置２０３は、画像特徴量登録部２１０（特徴量登録手段）と、画像特徴量記憶部２２０（特徴量記憶手段）と、画像検索部２３０（画像検索手段）と、ユーザインタフェース部２４０（ユーザインタフェース手段）とを備えて構成される。
【００１８】
画像特徴量登録部２１０は、監視カメラ等の撮像装置２０１−１〜２０１−ｎで撮影した時系列的に連続した画像フレームから一つの画像フレームを選択し、選択画像フレームについて特徴量を抽出する部位である。具体的には、画像特徴量登録部２１０は、画像特徴量を抽出し、登録するＤＳＰやこのＤＳＰ用のプログラムや制御部で実行されるプログラム等である。画像特徴量登録部２１０は、例えば、画像記録装置２０２に記憶された画像データに対し画像認識技術を用いた人物検出やオブジェクト検出をして、画像特徴量の抽出を行う。また、画像特徴量登録部２１０は、これらの抽出された画像特徴量を画像特徴量データとして出力する。
まず、画像特徴量登録部２１０は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。
画像特徴量登録部２１０は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を用いることができる。
また、画像特徴量登録部２１０は、画像特徴量の算出としては、色合い、形状等の画像の特徴を示す多次元ベクトルなどを使用する。
画像特徴量登録部２１０は、抽出した特徴量を画像特徴量記憶部２２０に保存する。具体的な多次元ベクトルの要素としては、顔特徴量、オブジェクトの特徴量等を計算する。
画像特徴量登録部２１０は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。また、顔特徴量として、人物が焦っていたり、怒っていたりという「表情」の検出も行う。
さらに、画像特徴量登録部２１０は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量登録部２１０は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。
【００１９】
なお、画像特徴量は、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の画像特徴量を使用してよい。
また、画像特徴量登録部２１０へ供給する画像フレームは、画像記録装置２０２から供給されても、撮像装置２０１−１〜２０１−ｎから直接供給されてもよい。
画像フレームの選択方法は、一定時間毎に選択する方法、画像に変化があった場合の画像フレームを選択する方法、センサーアラーム等外部からの通知に同期して選択する方法など各種方法を用いてよい。
たとえば、画像に変化があった場合の画像フレームを選択する方法として、画像フレーム毎に色合い、形状等の変化を監視する。その変化により、連続する画像フレームを所定の単位に分割し、その単位での代表的なフレームを選択することができる。
【００２０】
画像特徴量記憶部２２０は、主に画像検索に係る画像特徴量を記憶する部位である。また、画像特徴量記憶部２２０は、画像データ（フレーム）や検索結果画像そのもの等についても記憶することが可能である。
具体的には、画像特徴量記憶部２２０は、画像特徴量登録部２１０が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のＲＡＭ等の主記憶装置、ＨＤＤやフラッシュメモリ等補助記憶装置から構成される。
また、画像特徴量記憶部２２０は、この画像抽出量データを、ＬＡＮカード等のネットワーク送受信部（図示せず）を介して、画像記録装置２０２に記憶することもできる。
なお、画像特徴量記憶部２２０は、ＤＭＡ（ダイレクト・メモリ・アクセス）等により、画像特徴量登録部２１０が直接、各種データ等を記憶部に記憶するような構成としてもよい。
【００２１】
画像検索部２３０は、入力された検索条件をもとに上記画像特徴量記憶部２２０を使用して監視カメラ等の撮像装置で撮影した画像を記録する画像記録装置の検索処理を行う部位である。
画像検索部２３０は、入力された検索条件をもとに画像特徴量記憶部２２０を使用して、監視カメラ等の撮像装置２０１−１〜２０１−ｎで撮影した画像を記録する画像記録装置２０２の検索処理を行う。
具体的には、画像検索部２３０は制御部で実行されるプログラム等により、ユーザインタフェース部２４０より検索条件を受取ると、画像特徴量を画像特徴量記憶部２２０より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索部２３０は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索部２３０は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部２４０に応答する。
なお、キー画像の画像特徴量は、画像検索部２３０で計算してもよいし、キー画像の画像特徴量が画像特徴量記憶部２２０にある場合はそれを使用してもよい。
【００２２】
ユーザインタフェース部２４０は、検索条件を入力し、検索結果を表示する、いわゆるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙａｔｅｍ）のユーザインタフェースの部位である。
具体的には、ユーザインタフェース部２４０は、制御部で実行されるプログラム等により構成される。ユーザインタフェース部２４０は、ユーザにより設定された検索条件を他の部位に通知し、検索結果を液晶ディスプレイ等である表示部（図示せず）に表示する。また、ユーザインタフェース部２４０は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部（図示せず）からの入力を、ＯＳのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて入力指示として検知する。また、ユーザインタフェース部２４０は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部（図示せず）に表示する。
さらに、ユーザインタフェース部２４０は、画像の再生要求があった場合、対応する画像を画像記録装置２０２に要求する。ユーザインタフェース部２４０は、画像記録装置２０２から応答画像を受信すると、表示部の画像再生画面にその画像を表示する。このようにして、ユーザインタフェース部２４０は、画像記録装置２０２から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部２４０は、画像再生中に再生を停止させるなどして、画像記録装置２０２に記録された任意の画像を表示部に表示することができる。
また、ユーザインタフェース部２４０は、画像特徴量登録部が登録した画像や検索結果の画像を表示する。さらに、ユーザインタフェース部２４０は、検索結果の画像から、ユーザが表示を抑止することを指示した画像を検知することができる。
【００２３】
なお、画像検索装置２０３は、通常のＯＳがインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、画像特徴量登録部２１０と、画像特徴量記憶部２２０と、画像検索部２３０とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置２０３の記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。
【００２４】
（画像検索処理に用いるデータ構造）
ここで図２を参照して、本実施形態の監視システムＸの画像特徴量記憶部２２０が用いる画像特徴量のデータ構造の例について説明する。
画像特徴量記憶部２２０が用いる画像特徴量のデータは、登録ＩＤＤ１０１、カメラＩＤＤ１０２、時刻Ｄ１０３、画像特徴量Ｄ１０４、縮小画像データＤ１０５、画像記録場所Ｄ１０６等により構成される。
登録ＩＤＤ１０１は、画像特徴量のデータを識別する登録ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を記憶する部位である。このＩＤは、ユニークな数値や文字を用いて生成し、所定の規則に従い、所定のＩＤの範囲を検索可能である。
カメラＩＤＤ１０２は、画像を撮影した撮像装置２０１−１〜２０１−ｎを同定するカメラＩＤを記憶する部位である。
時刻Ｄ１０３は、画像フレームが撮像または記録された時刻をグリニッジ標準時（ＧＭＴ）やフレーム数等により表したデータを記憶する部位である。
画像特徴量Ｄ１０４は、画像フレームから画像特徴量登録部２１０が抽出した画像特徴量データを記憶する部位である。
縮小画像データＤ１０５は、画像フレーム、顔検出した顔領域、オブジェクト検出したオブジェクト領域等の縮小画像データを記憶する部位である。この縮小画像データは、画像特徴量登録部２１０等により、元の画像データから生成する。
画像記録場所Ｄ１０６は、画像記録装置２０２の場所（アドレス）等を同定するもので、画像記録装置２０２のＩＰアドレスや画像検索装置２０３の記憶部のアドレス等を記憶している。
【００２５】
〈ユーザインタフェース部２４０の検索条件入力画面の表示例〉
次に、図３を参照して、ユーザインタフェース部２４０によりユーザの操作を検知して、検索条件を入力する表示例について説明する。
検索条件入力画面４００は、画像検索に係るパラメータを入力する表示欄である表示欄４１０〜４４０と、設定を確定させる「設定」のボタン５００等を備えている。
表示欄４１０においては、検索範囲となる画像データを供給する撮像装置２０１−１〜２０１−ｎを同定するカメラＩＤを指定する。この表示欄４１０にて入力するカメラＩＤについては、複数のカメラＩＤを指定してもよい。なお、この表示欄４１０のカメラＩＤは、カメラＩＤＤ１０２と直接対応していても、場所的・概念的な撮像装置のグループを示すような仮想的なカメラＩＤを示していてもよい。
表示欄４２０においては、検索範囲となる時刻の範囲等を指定する。
表示欄４３０においては、後述する検索処理を実行する時刻の範囲等を設定する。
表示欄４４０においては、類似人物が設定した検出回数以上検索された場合、アラーム通知を行うよう設定することができる。
ここで、ユーザインタフェース部２４０は、「設定」のボタン５００の押下を検知すると、検索指示がなされたと判断する。
【００２６】
〈監視システムＸのユーザ指示による検索処理〉
次に、図４のシーケンス図を参照して、監視システムＸを用いて、ユーザの指示を検索開始の合図として、顔画像をキー画像として、録画された画像データから画像検索を行う一例の概要について説明する。
【００２７】
まず、ユーザインタフェース部２４０の検索条件入力画面４００（図３参照）で検索条件が設定され、設定された内容のデータは画像検索部２３０に送られる（タイミングＴ３０１）。
ここで、画像検索部２３０は、検索処理を実行する時刻（指定起動時刻）になると検索処理を開始する。この際には、タスクマネージャのようなサービスやＣＲＯＮ等のデーモン等により画像検索部２３０が起動される。
【００２８】
画像特徴量登録部２１０は、画像記録装置２０２から画像データを取得する（タイミングＴ３０２）。
画像特徴量登録部２１０は、この画像データから画像特徴量を抽出し、画像特徴量データとして、画像特徴量記憶部２２０に記憶する「特徴量登録」処理を行う（タイミングＴ３０３）。
その後、画像特徴量登録部２１０は、画像検索部２３０に、後述する特徴量登録通知を行う（タイミングＴ３０４）。
【００２９】
画像検索部２３０は、画像特徴量登録部２１０より特徴量登録通知を受取ると、画像特徴量記憶部２２０から、画像特徴量データを読み出して、画像登録通知のデータに含まれる画像の特徴量と比較することで、記録された画像データの検索を行う（タイミングＴ３０５）。この際には、画像検索部２３０は、検索条件入力画面４００で設定されたカメラＩＤと検索範囲の時刻等により、検索を行う。
その後、画像検索部２３０は、画像特徴量記憶部２２０より検索結果を受け取る（タイミングＴ３０６）
【００３０】
その後、ステップＳ２０１において、画像検索部２３０は、検索結果データ保存処理を行う。
具体的には、画像検索部２３０は、検索結果の画像データや特徴量を比較して計算した類似度等の検索結果データを記憶部に記憶保存する。なお、この検索結果データは、画像特徴量記憶部２２０に記憶されるように構成してもよい。
設定された検索時刻が複数ある場合は、画像検索部２３０は、指定時刻に起動されて画像検索と、検索結果保存処理とを繰り返す（タイミングＴ３０７〜Ｔ３１１）。
【００３１】
ここで、ユーザインタフェース部２４０は、ユーザからの入力を検知すると画像検索部２３０に検索結果の要求を行う（タイミングＴ３１２）。
すると、画像検索部２３０は、保存してある検索結果をユーザインタフェース部２４０に応答する（タイミングＴ３１３）。
画像検索部２３０は、検索終了時刻になると検索処理を終了する。
なお、この検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。
【００３２】
〔ユーザ指示による検索処理における各部位の処理〕
ここで、本発明の実施の形態に係る監視システムＸを用いたユーザ指示による検索処理について、各部位の処理について、より詳しく説明する。
以下において、図４に加えて、図５〜図８を参照して、各部位におけるフローチャートを基に説明する。
【００３３】
〈画像特徴量登録部２１０の特徴量登録処理〉
図５を更に参照して、画像特徴量登録部２１０が画像検索処理において行う特徴量登録処理の詳細について説明する。
この処理は、図４のタイミングＴ３０２〜Ｔ３０４の間の処理に対応する。
【００３４】
まず、ステップＳ１０１において、画像特徴量登録部２１０は、画像取り込み処理を行う。
ここでは、画像特徴量登録部２１０は、画像記録装置２０２にコマンド等を送信し、画像データをネットワーク２００を介して受信して取り込む。なお、撮像装置２０１−１〜２０１−ｎから直接画像データを取り込むこともできる。
その後、画像特徴量登録部２１０は、取り込んだ画像データについて、顔検出を行う。
【００３５】
次に、ステップＳ１０２において、画像特徴量登録部２１０は、顔検出により顔が検出されたか否か判定する。
Ｙｅｓの場合、画像特徴量登録部２１０は、処理をステップＳ１０３に進める。
Ｎｏの場合、画像特徴量登録部２１０は、特徴量登録処理を終了する。
【００３６】
取り込まれた画像データに顔が検出された場合、ステップＳ１０３にて、画像特徴量登録部２１０は、顔画像特徴量登録処理を行う。
具体的に、画像特徴量登録部２１０は、顔が検出された場合、まず、検出された顔画像の特徴量を算出する。そして、画像特徴量登録部２１０は、算出した特徴量を画像特徴量記憶部２２０に記憶する。
なお、一枚の画像に複数の顔が検出された場合、顔画像毎に特徴量を算出し、記憶を行う。
【００３７】
次に、ステップＳ１０４にて、画像特徴量登録部２１０は、特徴量登録通知処理を行う。
具体的には、画像特徴量登録部２１０は、特徴量の登録完了後、画像検索部２３０に対して、新規に特徴量が登録されたことを通知する。この通知のデータには、登録された画像特徴量のデータの登録ＩＤを含める。この登録ＩＤを基に、画像特徴量記憶部２２０のカメラＩＤＤ１０２〜画像記録場所Ｄ１０６を閲覧することができ、これを基に、当該画像データと画像データに付随するセンサ等のデータとを閲覧することが可能である。
以上により、特徴量登録処理を終了する。
【００３８】
〈画像検索部２３０の検索実行処理〉
次に、図６を更に参照して、検索処理の実行時における画像検索部２３０の処理の一例を、検索実行処理として説明する。この処理は、図４のタイミングＴ３０１、Ｔ３０５〜Ｔ３０６、ステップＳ２０１の間の処理に対応するものである。
画像検索部２３０は、タイミングＴ３０１にて、画像特徴量登録部２１０より特徴量登録通知を受信すると処理を開始する。
【００３９】
ステップＳ１１１において、画像検索部２３０は、画像特徴量検出実行処理を行う。
具体的に、画像検索部２３０は、まず、登録通知された登録ＩＤの特徴量データを画像特徴量記憶部２２０から取得する。つまり、画像検索部２３０は、この取得した特徴量を、検索のための画像であるキー画像の特徴量として用いる。
この上で、画像検索部２３０は、当該登録ＩＤの画像特徴量データを使用して、画像特徴量記憶部２２０に登録された各登録ＩＤの画像特徴量データの検索を実行する。
すなわち、画像検索部２３０は、画像特徴量記憶部２２０から画像特徴量データを読み出し、それぞれの登録ＩＤにて記録された画像特徴量データと、登録通知された登録ＩＤの画像特徴量データ（キー画像の画像特徴量データ）との類似度を計算する。
これは、画像記録装置２０２に記録された画像データの検索のうち、人物の画像データの検索を行うことにあたる。
【００４０】
具体的に、画像検索部２３０は、キー画像の画像特徴量データと、各登録ＩＤの画像特徴量の距離を計算して類似度を求める。
登録ＩＤがｉの画像特徴量をＸi＝（ｘi1，ｘi2，…， ｘin）、
検索のためのキー画像の画像特徴量をＹ＝（ｙ1，ｙ2，…，ｙn）、
画像特徴量の要素ごとの重要度を表す重み付け係数をＷ＝（ｗ1， ｗ2，…，ｗn）とすると、特徴量の距離Ｚiは、以下の式（１）にて定義可能である。
Ｚi＝Σjｗj｜ｘij − ｙj｜ …… 式（１）
ここで、ｊは、０≦ｊ≦ｎを示す変数である。
この距離Ｚiの値を、各登録ＩＤに係る画像と、キー画像との類似度とすることができる。すなわち、この距離Ｚiの値が小さいほど二つの画像は似ていることを示しているため、Ｚiが小さいほど登録通知された登録ＩＤの画像と、画像特徴量記憶部２２０の登録ＩＤの画像との類似度は大きいことになる。
なお、類似度の計算の際に、画像検索部２３０は、画像記録装置２０２に記録されている画像データそのものを取得して、画像特徴量を計算し直して、類似度を計算することもできる。
【００４１】
類似度が所定の閾値以上の場合、画像検索部２３０は、類似性が高いと判断する。
この際、画像検索部２３０は、この類似度の高い登録ＩＤ（あるいは、その登録ＩＤに対応する画像の画像ＩＤ）を、画像検索装置２０３の記憶部にキー画像、類似度などと共に一時的に記憶しておく。以後、この類似度の高い登録ＩＤを、便宜的に検索結果画像ＩＤとよぶ。
なお、画像検索部２３０は、登録ＩＤの他に、画像ＩＤそのものやカメラＩＤ等も取得可能である。
【００４２】
（検索結果データレコードのデータ構造）
ここで、図７を参照して、具体的な検索結果データレコードのデータ構造の例について説明する。
図７では、ステップＳ１１１の１回の処理で類似度が所定の閾値以上となる登録ＩＤが複数得られた場合を想定しており、得られた登録ＩＤ（検索結果画像ＩＤ）を左側に示してある。その右側には、各登録ＩＤ（検索結果画像ＩＤ）に対して、「関連づけられたデータ」のレコードを記憶する。この「関連づけられたデータ」は、後述のステップにより作成されるもので、該登録ＩＤがこれまでに検索された（類似度が高いと判断された）回数と、該登録ＩＤの検索に使用されたキー画像の登録ＩＤ及び類似度の組のデータとを記憶することができる。関連づけは、登録ＩＤを引数にして、「関連づけられたデータ」の先頭アドレスを保持するポインタ配列等により行うことができる。
なお、類似度は再計算可能なため、図４において類似度のない構成でも差し支えない。また、類似度の高い登録ＩＤのみではなく、登録通知された登録ＩＤすべてについて、関連づけられたデータを記憶する二次元アレイやリストのような構成にすることもできる。
加えて、検索に際しても、登録された登録ＩＤに係る画像特徴量データのみ検索するのではなく、画像データを指定し、特徴量検出をして検索を行うこともできる。
【００４３】
次に、ステップＳ１１２において、画像検索部２３０は、検索結果時系列ソート処理を行う。
画像検索部２３０は、具体的には、ステップＳ１１１で得られた検索結果画像ＩＤを、画像ＩＤに対応する時刻Ｄ１０３を参照するなどして、時系列順にソートする。
なお、この際に単純にソートするのではなく、カメラＩＤ等を用いて、撮像装置２０１−１〜２０１−ｎの位置関係や動線の関係等を用いて、人物の動き等を追いやすいようにソートすることも可能である。
また、事件があった場所を指定しておいて、その近くにあるカメラＩＤにより頻度高く映っていた登録ＩＤの画像を、より多くカウントするように重み付けしてソートすることも可能である。
さらに、顔の画像特徴量を用いて、眉や口や目の位置関係等から、「焦り」「いらだち」といった表情を示している人物の写っている画像の登録ＩＤを優先することもできる。さらに、この際に、顔の温度分布等を用いて興奮している人物の写っている画像の登録ＩＤを優先させることもできる。
【００４４】
次に、ステップＳ１１３において、画像検索部２３０は、最古検索結果取得処理を行う。
ここでは、画像検索部２３０は、検索結果画像ＩＤの登録ＩＤ及び類似度の組のうち、時系列順で最も古い登録ＩＤを選択する。すなわち、ソート時にもっとも最初になった登録ＩＤを選択する。
【００４５】
次に、ステップＳ１１４において、画像検索部２３０は、検索回数カウントアップ処理を行う。
具体的には、画像検索部２３０は、直前のステップＳ１１１で用いた全てのキー画像に対して、最古の検索結果画像ＩＤに関連付けられたデータにそのキー画像が含まれているか否かチェックし、含まれていなければ、関連付けられたデータ（レコード）そのものが存在しない場合も含み、その場合はレコードを新規作成する。この上で、キー画像の登録ＩＤと類似度の組をレコードに追加し、含まれるか否かに係らず、検索回数をカウントアップ（インクリメント）する。その検索結果画像ＩＤに対してレコードを新規作成した場合は、検索回数は１となる。なお、この際に、登録ＩＤ及び類似度の組のうち、もっとも古い登録ＩＤを、以降の検索のキー画像の登録ＩＤとするような処理も可能である。
ここで記憶された各データは、検索結果データとして、後述のステップにてユーザインタフェース部２４０に送信される。
【００４６】
次に、ステップＳ１１５において、画像検索部２３０は、直前のステップＳ１１１の検索結果画像ＩＤの全てについて、処理が終了したか否か判定する。
Ｙｅｓの場合、すなわち処理が終了している場合、画像検索部２３０は、検索実行処理を終了する。
Ｎｏの場合、すなわち処理が終了していない場合、画像検索部２３０は、ステップＳ１１６に処理を進める。ここで、検索結果画像ＩＤが複数あれば、最低１度はステップＳ１１６に処理を進める。
【００４７】
ステップＳ１１６において、画像検索部２３０は、登録ＩＤ取得処理を行う。
ここでは、画像検索部２３０は、ステップＳ１１２でソートされた、時系列順で次に古い、検索結果画像ＩＤ（登録ＩＤ）を取り出す。これが、次の検索結果データとなる。
【００４８】
ステップＳ１１７において、画像検索部２３０は、取り出した検索結果画像ＩＤが時系列順でより古い検索結果画像ＩＤに関連付けられたデータ（検索に使用されたキー画像の登録ＩＤ）に含まれるか、すなわち冗長な表示になるかか否かを判定する。
Ｙｅｓの場合、重複していた場合には、画像検索部２３０は、処理をステップＳ１１５に戻して次の検索結果画像ＩＤについての処理を行う。つまり、重複していた検索結果画像ＩＤは、「関連付けられたデータ」に変更を与えることなく、実質的に破棄される。
Ｎｏの場合、すなわち重複がなければ、画像検索部２３０は、ステップＳ１１８に処理を進める。
【００４９】
ステップＳ１１８において、画像検索部２３０は、カウントアップ処理を行う。ここでは、画像検索部２３０は、重複がなかった検索結果画像ＩＤと関連付けて、検索に使用したキー画像の登録ＩＤを記憶し、検索回数をカウントアップする。
その後、画像検索部２３０は、処理をステップＳ１１５に戻す。
なお、Ｓ１１５〜Ｓ１１８は、省略しても良い。省略しても、最古の検索結果画像ＩＤだけは、レコードに反映される。
【００５０】
（登録ＩＤの検索の重複を防ぐ効果）
ここで、この検索結果画像ＩＤからの登録ＩＤの検索において、ステップＳ１１７のような重複を検知するステップを用いた場合の効果について説明する。
まず、図８を参照して、ステップＳ１１７の判定を行わ「ない」場合の検索結果の表示例について説明する。
図８は、時系列順の登録ＩＤに係る画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈにおいて、互いの類似度が所定の閾値以上の場合、検索結果データのキー画像の画像と、このキー画像に関連づけられた画像とから構成される検索結果の表示例である。
すなわち、ステップＳ１１７のような重複の判定を行わない場合、撮像装置２０１−１〜２０１−ｎや画像記録装置２０２から供給される画像データから、顔が検出される都度に検索を行う。このため、関連づけられた画像データは、次に類似人物が出現すると検索結果画像データとして取得される。すなわち、図８のように、時間的に古い（検索結果画像＋関連づけられた画像）に含まれる時間的に新しい（検索結果画像＋関連づけられた画像）が複数得られ、すなわち検索結果データの入れ子構造が起きて、検索結果データを記憶する際の記憶容量の増大を招いてしまうという問題があった。なお、図８では、関連がない画像、例えば、Ｂ、Ｃ、Ｄは表示されないように構成可能である。
これに対して、本実施形態の処理にて、ステップＳ１１７の判定を行うことで、この冗長性を防止することができる。これにより、検索結果データにおける入れ子構造を防ぐことができる。
このように構成することにより、検索結果データの記憶容量を少なくすることができ、に効率的な処理を実現することができる。
【００５１】
その後、画像検索部２３０は、処理をステップＳ１１５に戻す。
以上により、画像検索部２３０の検索実行処理を終了する。登録通知された登録ＩＤが複数ある場合には、上述の処理を繰り返して行う。
その後、画像検索部２３０は、図４のステップＳ２０１の検索結果データ保存処理を行う。
【００５２】
なお、図４において、タイミングＴ３０７〜Ｔ３１１とその後のステップＳ２０１において、各構成部位は、上述の処理と同様の処理を行う。
【００５３】
〈画像検索部２３０の検索結果データ応答処理〉
次に、図９を更に参照して、画像検索部２３０の検索結果データ応答処理について説明する。
この処理は、図４のタイミングＴ３１２にて、ユーザインタフェース部２４０から、検索結果要求を受け取った際の、画像検索部２３０の処理を示している。すなわち、図４のステップＳ２０３と、タイミングＴ３１３の処理に対応する。
【００５４】
まず、ステップＳ１３１において、画像検索部２３０は、検索結果選択処理を行う。
具体的には、画像検索部２３０は、ユーザインタフェース部２４０から検索結果要求を受信すると、記憶部に記憶している検索結果データから、検索回数値の大きい登録ＩＤを選択する。
【００５５】
次に、ステップＳ１３２において、画像検索部２３０は、対応画像及び関連データ取り出し処理を行う。
この処理において、画像検索部２３０は、画像特徴量記憶部２２０から、上述のキー画像の登録ＩＤと、キー画像の関連づけられたデータに係る登録ＩＤとについて、対応する画像データと、この画像データに対応する他のデータとを取得する。具体的には、登録ＩＤに対応する縮小画像データを取得する。
なお、画像記録装置２０２に対して、登録ＩＤと、該登録ＩＤに関連付けられたデータに係る登録ＩＤとを用いてアクセスし、縮小画像でない画像データ等を取得することもできる。
【００５６】
次に、ステップＳ１３３において、画像検索部２３０は、対応画像及び関連データ表示処理を行う。
具体的には、画像検索部２３０は、上述のステップで得た、キー画像の画像データと、これに関連づけられた画像データとを送信する。
これを受信したユーザインタフェース部２４０は、画像データ等を表示する。この際に、画像データに対応する他のデータも表示することができる。
なお、検索結果データの登録ＩＤは、検索回数の大きい順にソートして表示することで、視認効果が高い見やすい表示を実現してもよい。
以上により、検索結果データ応答処理を終了する。
【００５７】
（検索結果の表示例）
ここで、図１０〜図１２を参照して、ユーザインタフェース部２４０により表示される、検索結果データの表示例について説明する。
図１０は、画像を重ねて表示する重ね表示モードの表示例を示している。この重ね表示モードにおいては、図７のデータフォーマットにおける検索結果画像の登録ＩＤに対応する画像を前面に表示し、この登録ＩＤに関連づけられた登録ＩＤに対応する画像を背面に表示する。
このように、複数の画像を立体的に並べて重ねて表示することで、ある画像について検索された回数の多い少ないが容易に分かる。このため、類似の人物の出現頻度が一目で分かるという効果が得られる。この重ねた表示においては、前面、後面の画像の前後をユーザインタフェース部２４０からの操作により入れ換えることもできる。
【００５８】
図１１は、図１０を展開表示する展開表示モードの画面例を示す。
この展開表示モードでは、前面の画像を右に表示し、背面の画像を左に表示することで、類似の人物の登場場面を確認できる。
なお、ユーザインタフェース部２４０を用いて、ユーザの要求に応じてこれら二つの検索結果データの重ね表示モードと展開表示モードとを切り換え可能なように構成してもよい。
【００５９】
図１２は検索結果の別の表示例を示す。この表示例では、時系列順の画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉの画像特徴量空間での位置が図１２（ｃ）に示すような場合の表示例について説明する。
図１２（ａ）の表示例においては、図１１のように展開して表示する例を示している。すなわち、画像Ａに関連づけられた画像は、Ｄ、Ｅ、Ｆである。また、画像Ｄに関連づけられた画像は、Ｇ、Ｈ、Ｉである。また、画像Ｆに関連づけられた画像は、Ｉである。なお、ここでは、関連づけられていないＢ、Ｃは表示されないように構成可能である。
さらに、図１２（ｂ）のように、画像Ａに関連づけられた画像Ｄ，Ｅ，Ｆを検索結果とする画像群を、画像Ａに関連付けて画像間の二次的な関連を表示することもできる。
また、図１２（ｃ）のように、相関図自体をプロットすることも可能である。
【００６０】
〔監視システムＸの自動検索処理〕
上述のユーザ指示による検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、テロ等の事前抑止を目的とする場合、予め設定された検索条件を用いた検索により、警告を表示等する自動検索を行うことが望ましいと考えられる。
【００６１】
ここで、図１３を参照して、このような自動検索の処理について説明する。
図１３は、自動検索を行い、類似人物があらかじめ指定した回数以上検出されるとユーザインタフェース部２４０に表示する場合のシーケンス図を示している。
図１３において、各部は、図４のユーザの指示による検索処理とほぼ同様の処理を行う。ここで、図４と同じ符号は、同様のタイミングと処理を示している。
【００６２】
ここで、ステップＳ３０１において、この検索結果データの保存時に、画像検索部２３０は、検索結果データ発報処理を行う。
具体的には、画像検索部２３０は、検索結果データの各登録ＩＤの検索回数をチェックする。その上で、登録ＩＤにカウントアップされた検索回数が、検索条件入力画面４００（図３参照）で設定したアラーム通知条件値以上となった場合、ユーザインタフェース部２４０に検索結果発報を送信する。
この検索結果発報を受信したユーザインタフェース部２４０は、アラーム通知等の表示を行う。
【００６３】
この自動検索処理においても、検出された画像に関する表示内容は、図１０乃至１２と同様でもよい。
なお、検索回数としては、ある登録ＩＤの画像が検索された回数に加えて、その登録ＩＤに関連づけられた画像が検索された回数を加えた合算値を使用することもできる。これにより、画像の二次的な関連も考慮して表示を行うことができる。
図１２の例では、画像Ａに関する検索回数は、画像Ａの検索回数＋画像Ｄの検索回数＋画像Ｆの検索回数となる。なお、画像Ｉのように重複がある場合、必要に応じて重複数を合算値から差し引く等の処理を行って表示することもできる。
【００６４】
また、図６に示す手順で検索回数のカウントをおこなった場合、検索回数値の高い登録ＩＤに係る画像は典型的な類似人物の画像である「典型画像」と期待される。
一方、典型画像が出現する前の類似画像は、典型画像の検索回数に反映されていない。したがって、検索回数の多い典型画像を使用して検索を行うように構成することができる。この際、その検索のカウント数がアラーム通知条件として設定した値以上となった場合、アラーム表示することができる。また、この結果を利用して、典型画像が出現する前の類似画像を典型画像に関連づけて記憶するように構成することもできる。
以上により、自動検索処理を終了する。
【００６５】
〔指定した画像の表示抑止〕
次に、あらかじめ指定した画像の表示を抑止する例について説明する。
たとえば、監視システムＸにより監視する区域に、要注意人物でない業務員等が現れた場合、このような人物の画像が検索されないように構成することが可能である。
図１４を参照すると、このような構成の場合、例えば検索結果データレコードに「表示ＯＮ／ＯＦＦ」のフィールドを備え、指定した登録ＩＤについて、検索結果を表示する／しないという選択が可能である。
表示しない場合の指定は、図１０〜図１２のような検索結果を表示後、ユーザが表示を抑止する検索結果画像をポインティングデバイス等で指定するように構成できる。
【００６６】
以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術１の警備システムでは、不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないため、不審者情報を取りこぼしてしまうという課題があった。
これに対して、本発明の実施の形態に係る監視システムＸにおいては、画像検索部２３０は、監視カメラの映像から抽出された画像特徴量を使用して、画像記録装置の記録画像について類似の画像検索を行い、検索された類似性の高い登録ＩＤの画像が検索された回数をカウントする。そして、あらかじめユーザが設定した条件とカウント回数に応じて、ユーザインタフェース部２４０に表示を行うことができる。これにより、監視カメラで撮影された映像の顔と類似の顔を監視カメラの記録映像から自動検索し、類似人物の出現頻度を推定することで、従来の警備システムを補完することができる。
また、監視システムＸは、画像検索部２３０は、あらかじめ指定した記録画像については、検索されたカウント回数にかかわらず表示を行わないことができる。これにより、従業員等、業務上の理由等で監視カメラに複数回にわたり撮影される人物については、表示を抑止することができる。このため、不審人物を検出しやすくなるという効果が得られる。
【００６７】
以上のように、本発明の実施の形態に係る監視システムＸによれば、監視カメラの映像から検出された顔画像等を使用して、画像記録装置の記録画像について類似の顔画像検索を行い、類似人物の出現頻度を推定することができる。このため、テロ等の事件の事前抑止に効果的なシステムを提供できる。
また、本実施形態の監視システムＸは、あらかじめ検索対象の人物を設定しておく必要がないため、不特定の人々なかから不審人物を探し出すのに有効なシステムを提供できる。
【００６８】
また、本実施形態の監視システムＸの画像検索部２３０は、あらかじめ設定した検索条件にしたがって類似の人物が複数回検出された場合、アラーム通知を行うことを特徴とする。これにより、警備等の業務における迅速な対応をサポートすることができる。
また、本実施形態の監視システムＸの画像検索部２３０は、類似画像検索結果の保存において、時系列順に検索結果をチェックし、重複画像の記録を抑止することができる。これにより、検索結果記憶容量を削減することができ、各装置のコストを抑制することができる。
また、本実施形態の監視システムＸのユーザインタフェース部２４０は、登録ＩＤに関連づけられたデータを重ねて表示する表示モードと、並べて表示する表示モードとを備えることを特徴とする。これにより、多数の類似画像を効率的に分類して、チェックすることができる。
【００６９】
なお、本実施の形態の監視システムＸの画像検索方法においては、上述の検索処理に限定するものではない。たとえば、類似する画像グループの代表の画像の登録ＩＤを選択し、その登録ＩＤの画像を用いて検索を行うこともできる。また、類似画像の出現頻度をカウントするだけではなく、時間的、空間的な出現確率から、ベイズ推定等の統計的手法や人工知能的な手法を用いて行動パターンを分析するといった処理を行うこともできる。
また、本実施形態の監視システムＸの画像検索部２３０は、リアルタイムに類似画像を検索するだけではなく、画像記録装置２０２の記憶媒体に記憶した画像データを用いて上述の処理を行うことで、記録画像の解析による人物動向の解析にも活用可能である。
また、本実施の形態における画像検索装置２０３における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量登録部２１０、画像特徴量記憶部２２０、画像検索部２３０をＰＣ等のコンピュータで実現し、ユーザインタフェース部２４０を別のＰＣ等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置２０３を実現することもできる。
また、画像記録装置２０２に、画像特徴量登録部２１０、画像特徴量記憶部２２０、画像検索部２３０を備えるような構成も可能である。これにより、システムで使用するハードウェア台数を削減し、より低消費電力でコストを削減した監視システムを構成することができる。
【００７０】
また本発明の実施の形態に係る監視システムＸにおいては、人物検索を対象に示したが、これに限られない。たとえば、本発明明の実施の形態に係る監視システムＸは、人物だけでなく、一般的な画像検索にも適用できる。たとえば、家畜や害獣の検索、製品管理等にも応用可能である。
【００７１】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【００７２】
２００ ネットワーク
２０１−１〜２０１−ｎ 撮像装置
２０２ 画像記録装置
２０３ 画像検索装置
２１０ 画像特徴量登録部
２２０ 画像特徴量記憶部
２３０ 画像検索部
２４０ ユーザインタフェース部
４００ 検索条件入力画面
４１０、４２０、４３０、４４０ 表示欄
５００ ボタン
Ｘ 監視システム
【技術分野】
【０００１】
本発明は、画像の特徴量を使用して画像を検索する画像検索装置に係り、特に監視カメラ等の撮像装置の記録画像データから類似画像を検索して表示する画像検索装置に関する。
【背景技術】
【０００２】
近年、セキュリティ（安全）意識の高まりや、警備の省力化の要求から、監視用の動画や静止画像のカメラ（監視カメラ）を用いた監視システムが注目されている。
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、昨今、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのために、膨大な時間がかかるようになってきている。
【０００３】
このため、センサーアラーム等の事象発生等の検出事象と連動し、必要な部分の画像録画や、各種検出事象そのものを検索条件とした記録画像の検索技術が開発されている。
しかしながら、このような記録画像の検索技術を備えたシステムでは、検出事象を予め設定しておく必要があった。このため、予め設定されていない検出事象が発生した場合には、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。
【０００４】
これに対して、近年、予め検出事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似の画像を検索する技術が提案されている。
これは、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として選択するものである。
【０００５】
このような従来のキー画像から類似画像を検索する画像記録装置として、特許文献１を参照すると、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する画像記録装置及びその制御方法が記載されている（以下、従来技術１とする。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３５２７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、テロ（テロリズム）等の犯罪において、犯罪計画者は実行に先立って下見をすることが多いことが知られている。
しかしながら、従来技術１のような従来の警備システムにおいては、犯罪計画者を含む不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないことがあった。
このため、不審者情報を取りこぼしてしまうことがあるという問題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の画像検索装置は、撮像装置からの画像データを記録する画像記録装置と、前記画像データの特徴量を登録する特徴量登録手段と、前記画像データの登録ＩＤと、登録された前記特徴量とを記憶する特徴量記憶手段と、入力された検索条件をもとに、前記登録ＩＤの前記特徴量を使用して検索を行う画像検索手段と、入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、前記画像検索手段は、前記登録ＩＤの前記特徴量を用いて、類似性の高い特徴量をもつ登録ＩＤの検索を行い、検索された前記類似性の高い特徴量をもつ登録ＩＤが検索された回数をカウントし、ユーザにより設定された条件と前記カウントされた回数に応じて、前記ユーザインタフェース手段に表示を行わせることを特徴とする。
ことを特徴とする。
本発明の画像検索装置は、前記画像検索手段は、あらかじめ指定された登録ＩＤの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせないことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、類似人物の出現頻度を推定することで、不特定の人物中から不審人物を探し出しやすくする画像検索装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムＸのシステム構成図である。
【図２】本発明の実施の形態に係る画像特徴量記憶部２２０が用いる画像特徴量のデータを示す概念図である。
【図３】本発明の実施の形態に係るユーザインタフェース部２４０の検索条件入力画面の表示例を示す概念図である。
【図４】本発明の実施の形態に係る監視システムＸのユーザ指示による検索処理のシーケンス図である。
【図５】本発明の実施の形態に係る画像特徴量登録部２１０の特徴量登録処理のフローチャートである。
【図６】本発明の実施の形態に係る画像検索部２３０の検索実行処理のフローチャートである。
【図７】本発明の実施の形態に係る画像検索処理に用いるデータ構造を示す概念図である。
【図８】本発明の実施の形態に係る登録画像の重複の判定を行わない場合の画面例である。
【図９】本発明の実施の形態に係る画像検索部２３０の検索結果データ応答処理のフローチャートである。
【図１０】本発明の実施の形態に係る検索結果の重ね表示モードでの表示画面の画面例である。
【図１１】本発明の実施の形態に係る検索結果の展開表示モードでの表示画面の画面例である。
【図１２】本発明の実施の形態に係る検索結果の別の表示例を示す画面例である。
【図１３】本発明の実施の形態に係る監視システムＸの自動検索処理のシーケンス図である。
【図１４】本発明の実施の形態に係る指定した画像の表示抑止のためのデータ構造を示す概念図である。
【発明を実施するための形態】
【００１２】
＜実施の形態＞
〔監視システムＸの制御構成〕
以下、本発明の実施の形態について、図面を参照して説明する。
図１を参照すると、本発明の実施の形態に係る監視システムＸは、撮像装置２０１−１〜２０１−ｎと、画像記録装置２０２と、画像検索装置２０３とが、ネットワーク２００にて接続されて構成されている。
【００１３】
ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、ＷｉＭＡＸ（登録商標）、メッシュネットワーク、携帯電話網等のデータ通信可能な回線である。
また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
【００１４】
撮像装置２０１−１〜２０１−ｎは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を用いて、ネットワーク２００に接続して画像データを送信可能な、いわゆるＩＰカメラやネットワークカメラ等の撮像装置である。
撮像装置２０１−１〜２０１−ｎは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置２０１−１〜２０１−ｎは、通常のテレビジョンカメラを用いて、画像記録装置２０２に直接接続し、画像記録装置２０２の画像・音声エンコーダ（図示せず）を用いて映像デジタルデータに変換するように構成してもよい。
【００１５】
画像記録装置２０２は、撮像装置２０１−１〜２０１−ｎの映像等の画像データをネットワーク２００経由で記録するネットワークデジタルレコーダ等の装置である。
画像記録装置２０２は、ＣＰＵ等の制御部や演算部と、内蔵のＤＲＡＭやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置２０２は、ネットワーク２００を介して撮像装置２０１−１〜２０１−ｎより入力された画像データを、ＨＤＤ等の記録媒体に記録する。
監視システムＸにおいて、他の部位が画像記録装置２０２から画像を読み出す場合、画像記録装置２０２に対して、カメラＩＤと時刻情報等を指定することで、該当する画像を読み出すことができる。
【００１６】
画像検索装置２０３は、ネットワーク２００を介して画像記録装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示し、画像検索を行うＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。
画像検索装置２０３は、下記で説明する処理の制御を行うＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置２０３は、キーボードやマウス等のユーザ入力部を備え、画像記録装置２０２に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
【００１７】
また、画像検索装置２０３は、画像特徴量登録部２１０（特徴量登録手段）と、画像特徴量記憶部２２０（特徴量記憶手段）と、画像検索部２３０（画像検索手段）と、ユーザインタフェース部２４０（ユーザインタフェース手段）とを備えて構成される。
【００１８】
画像特徴量登録部２１０は、監視カメラ等の撮像装置２０１−１〜２０１−ｎで撮影した時系列的に連続した画像フレームから一つの画像フレームを選択し、選択画像フレームについて特徴量を抽出する部位である。具体的には、画像特徴量登録部２１０は、画像特徴量を抽出し、登録するＤＳＰやこのＤＳＰ用のプログラムや制御部で実行されるプログラム等である。画像特徴量登録部２１０は、例えば、画像記録装置２０２に記憶された画像データに対し画像認識技術を用いた人物検出やオブジェクト検出をして、画像特徴量の抽出を行う。また、画像特徴量登録部２１０は、これらの抽出された画像特徴量を画像特徴量データとして出力する。
まず、画像特徴量登録部２１０は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。
画像特徴量登録部２１０は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を用いることができる。
また、画像特徴量登録部２１０は、画像特徴量の算出としては、色合い、形状等の画像の特徴を示す多次元ベクトルなどを使用する。
画像特徴量登録部２１０は、抽出した特徴量を画像特徴量記憶部２２０に保存する。具体的な多次元ベクトルの要素としては、顔特徴量、オブジェクトの特徴量等を計算する。
画像特徴量登録部２１０は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。また、顔特徴量として、人物が焦っていたり、怒っていたりという「表情」の検出も行う。
さらに、画像特徴量登録部２１０は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量登録部２１０は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。
【００１９】
なお、画像特徴量は、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の画像特徴量を使用してよい。
また、画像特徴量登録部２１０へ供給する画像フレームは、画像記録装置２０２から供給されても、撮像装置２０１−１〜２０１−ｎから直接供給されてもよい。
画像フレームの選択方法は、一定時間毎に選択する方法、画像に変化があった場合の画像フレームを選択する方法、センサーアラーム等外部からの通知に同期して選択する方法など各種方法を用いてよい。
たとえば、画像に変化があった場合の画像フレームを選択する方法として、画像フレーム毎に色合い、形状等の変化を監視する。その変化により、連続する画像フレームを所定の単位に分割し、その単位での代表的なフレームを選択することができる。
【００２０】
画像特徴量記憶部２２０は、主に画像検索に係る画像特徴量を記憶する部位である。また、画像特徴量記憶部２２０は、画像データ（フレーム）や検索結果画像そのもの等についても記憶することが可能である。
具体的には、画像特徴量記憶部２２０は、画像特徴量登録部２１０が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のＲＡＭ等の主記憶装置、ＨＤＤやフラッシュメモリ等補助記憶装置から構成される。
また、画像特徴量記憶部２２０は、この画像抽出量データを、ＬＡＮカード等のネットワーク送受信部（図示せず）を介して、画像記録装置２０２に記憶することもできる。
なお、画像特徴量記憶部２２０は、ＤＭＡ（ダイレクト・メモリ・アクセス）等により、画像特徴量登録部２１０が直接、各種データ等を記憶部に記憶するような構成としてもよい。
【００２１】
画像検索部２３０は、入力された検索条件をもとに上記画像特徴量記憶部２２０を使用して監視カメラ等の撮像装置で撮影した画像を記録する画像記録装置の検索処理を行う部位である。
画像検索部２３０は、入力された検索条件をもとに画像特徴量記憶部２２０を使用して、監視カメラ等の撮像装置２０１−１〜２０１−ｎで撮影した画像を記録する画像記録装置２０２の検索処理を行う。
具体的には、画像検索部２３０は制御部で実行されるプログラム等により、ユーザインタフェース部２４０より検索条件を受取ると、画像特徴量を画像特徴量記憶部２２０より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索部２３０は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索部２３０は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部２４０に応答する。
なお、キー画像の画像特徴量は、画像検索部２３０で計算してもよいし、キー画像の画像特徴量が画像特徴量記憶部２２０にある場合はそれを使用してもよい。
【００２２】
ユーザインタフェース部２４０は、検索条件を入力し、検索結果を表示する、いわゆるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙａｔｅｍ）のユーザインタフェースの部位である。
具体的には、ユーザインタフェース部２４０は、制御部で実行されるプログラム等により構成される。ユーザインタフェース部２４０は、ユーザにより設定された検索条件を他の部位に通知し、検索結果を液晶ディスプレイ等である表示部（図示せず）に表示する。また、ユーザインタフェース部２４０は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部（図示せず）からの入力を、ＯＳのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて入力指示として検知する。また、ユーザインタフェース部２４０は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部（図示せず）に表示する。
さらに、ユーザインタフェース部２４０は、画像の再生要求があった場合、対応する画像を画像記録装置２０２に要求する。ユーザインタフェース部２４０は、画像記録装置２０２から応答画像を受信すると、表示部の画像再生画面にその画像を表示する。このようにして、ユーザインタフェース部２４０は、画像記録装置２０２から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部２４０は、画像再生中に再生を停止させるなどして、画像記録装置２０２に記録された任意の画像を表示部に表示することができる。
また、ユーザインタフェース部２４０は、画像特徴量登録部が登録した画像や検索結果の画像を表示する。さらに、ユーザインタフェース部２４０は、検索結果の画像から、ユーザが表示を抑止することを指示した画像を検知することができる。
【００２３】
なお、画像検索装置２０３は、通常のＯＳがインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、画像特徴量登録部２１０と、画像特徴量記憶部２２０と、画像検索部２３０とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置２０３の記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。
【００２４】
（画像検索処理に用いるデータ構造）
ここで図２を参照して、本実施形態の監視システムＸの画像特徴量記憶部２２０が用いる画像特徴量のデータ構造の例について説明する。
画像特徴量記憶部２２０が用いる画像特徴量のデータは、登録ＩＤＤ１０１、カメラＩＤＤ１０２、時刻Ｄ１０３、画像特徴量Ｄ１０４、縮小画像データＤ１０５、画像記録場所Ｄ１０６等により構成される。
登録ＩＤＤ１０１は、画像特徴量のデータを識別する登録ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を記憶する部位である。このＩＤは、ユニークな数値や文字を用いて生成し、所定の規則に従い、所定のＩＤの範囲を検索可能である。
カメラＩＤＤ１０２は、画像を撮影した撮像装置２０１−１〜２０１−ｎを同定するカメラＩＤを記憶する部位である。
時刻Ｄ１０３は、画像フレームが撮像または記録された時刻をグリニッジ標準時（ＧＭＴ）やフレーム数等により表したデータを記憶する部位である。
画像特徴量Ｄ１０４は、画像フレームから画像特徴量登録部２１０が抽出した画像特徴量データを記憶する部位である。
縮小画像データＤ１０５は、画像フレーム、顔検出した顔領域、オブジェクト検出したオブジェクト領域等の縮小画像データを記憶する部位である。この縮小画像データは、画像特徴量登録部２１０等により、元の画像データから生成する。
画像記録場所Ｄ１０６は、画像記録装置２０２の場所（アドレス）等を同定するもので、画像記録装置２０２のＩＰアドレスや画像検索装置２０３の記憶部のアドレス等を記憶している。
【００２５】
〈ユーザインタフェース部２４０の検索条件入力画面の表示例〉
次に、図３を参照して、ユーザインタフェース部２４０によりユーザの操作を検知して、検索条件を入力する表示例について説明する。
検索条件入力画面４００は、画像検索に係るパラメータを入力する表示欄である表示欄４１０〜４４０と、設定を確定させる「設定」のボタン５００等を備えている。
表示欄４１０においては、検索範囲となる画像データを供給する撮像装置２０１−１〜２０１−ｎを同定するカメラＩＤを指定する。この表示欄４１０にて入力するカメラＩＤについては、複数のカメラＩＤを指定してもよい。なお、この表示欄４１０のカメラＩＤは、カメラＩＤＤ１０２と直接対応していても、場所的・概念的な撮像装置のグループを示すような仮想的なカメラＩＤを示していてもよい。
表示欄４２０においては、検索範囲となる時刻の範囲等を指定する。
表示欄４３０においては、後述する検索処理を実行する時刻の範囲等を設定する。
表示欄４４０においては、類似人物が設定した検出回数以上検索された場合、アラーム通知を行うよう設定することができる。
ここで、ユーザインタフェース部２４０は、「設定」のボタン５００の押下を検知すると、検索指示がなされたと判断する。
【００２６】
〈監視システムＸのユーザ指示による検索処理〉
次に、図４のシーケンス図を参照して、監視システムＸを用いて、ユーザの指示を検索開始の合図として、顔画像をキー画像として、録画された画像データから画像検索を行う一例の概要について説明する。
【００２７】
まず、ユーザインタフェース部２４０の検索条件入力画面４００（図３参照）で検索条件が設定され、設定された内容のデータは画像検索部２３０に送られる（タイミングＴ３０１）。
ここで、画像検索部２３０は、検索処理を実行する時刻（指定起動時刻）になると検索処理を開始する。この際には、タスクマネージャのようなサービスやＣＲＯＮ等のデーモン等により画像検索部２３０が起動される。
【００２８】
画像特徴量登録部２１０は、画像記録装置２０２から画像データを取得する（タイミングＴ３０２）。
画像特徴量登録部２１０は、この画像データから画像特徴量を抽出し、画像特徴量データとして、画像特徴量記憶部２２０に記憶する「特徴量登録」処理を行う（タイミングＴ３０３）。
その後、画像特徴量登録部２１０は、画像検索部２３０に、後述する特徴量登録通知を行う（タイミングＴ３０４）。
【００２９】
画像検索部２３０は、画像特徴量登録部２１０より特徴量登録通知を受取ると、画像特徴量記憶部２２０から、画像特徴量データを読み出して、画像登録通知のデータに含まれる画像の特徴量と比較することで、記録された画像データの検索を行う（タイミングＴ３０５）。この際には、画像検索部２３０は、検索条件入力画面４００で設定されたカメラＩＤと検索範囲の時刻等により、検索を行う。
その後、画像検索部２３０は、画像特徴量記憶部２２０より検索結果を受け取る（タイミングＴ３０６）
【００３０】
その後、ステップＳ２０１において、画像検索部２３０は、検索結果データ保存処理を行う。
具体的には、画像検索部２３０は、検索結果の画像データや特徴量を比較して計算した類似度等の検索結果データを記憶部に記憶保存する。なお、この検索結果データは、画像特徴量記憶部２２０に記憶されるように構成してもよい。
設定された検索時刻が複数ある場合は、画像検索部２３０は、指定時刻に起動されて画像検索と、検索結果保存処理とを繰り返す（タイミングＴ３０７〜Ｔ３１１）。
【００３１】
ここで、ユーザインタフェース部２４０は、ユーザからの入力を検知すると画像検索部２３０に検索結果の要求を行う（タイミングＴ３１２）。
すると、画像検索部２３０は、保存してある検索結果をユーザインタフェース部２４０に応答する（タイミングＴ３１３）。
画像検索部２３０は、検索終了時刻になると検索処理を終了する。
なお、この検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。
【００３２】
〔ユーザ指示による検索処理における各部位の処理〕
ここで、本発明の実施の形態に係る監視システムＸを用いたユーザ指示による検索処理について、各部位の処理について、より詳しく説明する。
以下において、図４に加えて、図５〜図８を参照して、各部位におけるフローチャートを基に説明する。
【００３３】
〈画像特徴量登録部２１０の特徴量登録処理〉
図５を更に参照して、画像特徴量登録部２１０が画像検索処理において行う特徴量登録処理の詳細について説明する。
この処理は、図４のタイミングＴ３０２〜Ｔ３０４の間の処理に対応する。
【００３４】
まず、ステップＳ１０１において、画像特徴量登録部２１０は、画像取り込み処理を行う。
ここでは、画像特徴量登録部２１０は、画像記録装置２０２にコマンド等を送信し、画像データをネットワーク２００を介して受信して取り込む。なお、撮像装置２０１−１〜２０１−ｎから直接画像データを取り込むこともできる。
その後、画像特徴量登録部２１０は、取り込んだ画像データについて、顔検出を行う。
【００３５】
次に、ステップＳ１０２において、画像特徴量登録部２１０は、顔検出により顔が検出されたか否か判定する。
Ｙｅｓの場合、画像特徴量登録部２１０は、処理をステップＳ１０３に進める。
Ｎｏの場合、画像特徴量登録部２１０は、特徴量登録処理を終了する。
【００３６】
取り込まれた画像データに顔が検出された場合、ステップＳ１０３にて、画像特徴量登録部２１０は、顔画像特徴量登録処理を行う。
具体的に、画像特徴量登録部２１０は、顔が検出された場合、まず、検出された顔画像の特徴量を算出する。そして、画像特徴量登録部２１０は、算出した特徴量を画像特徴量記憶部２２０に記憶する。
なお、一枚の画像に複数の顔が検出された場合、顔画像毎に特徴量を算出し、記憶を行う。
【００３７】
次に、ステップＳ１０４にて、画像特徴量登録部２１０は、特徴量登録通知処理を行う。
具体的には、画像特徴量登録部２１０は、特徴量の登録完了後、画像検索部２３０に対して、新規に特徴量が登録されたことを通知する。この通知のデータには、登録された画像特徴量のデータの登録ＩＤを含める。この登録ＩＤを基に、画像特徴量記憶部２２０のカメラＩＤＤ１０２〜画像記録場所Ｄ１０６を閲覧することができ、これを基に、当該画像データと画像データに付随するセンサ等のデータとを閲覧することが可能である。
以上により、特徴量登録処理を終了する。
【００３８】
〈画像検索部２３０の検索実行処理〉
次に、図６を更に参照して、検索処理の実行時における画像検索部２３０の処理の一例を、検索実行処理として説明する。この処理は、図４のタイミングＴ３０１、Ｔ３０５〜Ｔ３０６、ステップＳ２０１の間の処理に対応するものである。
画像検索部２３０は、タイミングＴ３０１にて、画像特徴量登録部２１０より特徴量登録通知を受信すると処理を開始する。
【００３９】
ステップＳ１１１において、画像検索部２３０は、画像特徴量検出実行処理を行う。
具体的に、画像検索部２３０は、まず、登録通知された登録ＩＤの特徴量データを画像特徴量記憶部２２０から取得する。つまり、画像検索部２３０は、この取得した特徴量を、検索のための画像であるキー画像の特徴量として用いる。
この上で、画像検索部２３０は、当該登録ＩＤの画像特徴量データを使用して、画像特徴量記憶部２２０に登録された各登録ＩＤの画像特徴量データの検索を実行する。
すなわち、画像検索部２３０は、画像特徴量記憶部２２０から画像特徴量データを読み出し、それぞれの登録ＩＤにて記録された画像特徴量データと、登録通知された登録ＩＤの画像特徴量データ（キー画像の画像特徴量データ）との類似度を計算する。
これは、画像記録装置２０２に記録された画像データの検索のうち、人物の画像データの検索を行うことにあたる。
【００４０】
具体的に、画像検索部２３０は、キー画像の画像特徴量データと、各登録ＩＤの画像特徴量の距離を計算して類似度を求める。
登録ＩＤがｉの画像特徴量をＸi＝（ｘi1，ｘi2，…， ｘin）、
検索のためのキー画像の画像特徴量をＹ＝（ｙ1，ｙ2，…，ｙn）、
画像特徴量の要素ごとの重要度を表す重み付け係数をＷ＝（ｗ1， ｗ2，…，ｗn）とすると、特徴量の距離Ｚiは、以下の式（１）にて定義可能である。
Ｚi＝Σjｗj｜ｘij − ｙj｜ …… 式（１）
ここで、ｊは、０≦ｊ≦ｎを示す変数である。
この距離Ｚiの値を、各登録ＩＤに係る画像と、キー画像との類似度とすることができる。すなわち、この距離Ｚiの値が小さいほど二つの画像は似ていることを示しているため、Ｚiが小さいほど登録通知された登録ＩＤの画像と、画像特徴量記憶部２２０の登録ＩＤの画像との類似度は大きいことになる。
なお、類似度の計算の際に、画像検索部２３０は、画像記録装置２０２に記録されている画像データそのものを取得して、画像特徴量を計算し直して、類似度を計算することもできる。
【００４１】
類似度が所定の閾値以上の場合、画像検索部２３０は、類似性が高いと判断する。
この際、画像検索部２３０は、この類似度の高い登録ＩＤ（あるいは、その登録ＩＤに対応する画像の画像ＩＤ）を、画像検索装置２０３の記憶部にキー画像、類似度などと共に一時的に記憶しておく。以後、この類似度の高い登録ＩＤを、便宜的に検索結果画像ＩＤとよぶ。
なお、画像検索部２３０は、登録ＩＤの他に、画像ＩＤそのものやカメラＩＤ等も取得可能である。
【００４２】
（検索結果データレコードのデータ構造）
ここで、図７を参照して、具体的な検索結果データレコードのデータ構造の例について説明する。
図７では、ステップＳ１１１の１回の処理で類似度が所定の閾値以上となる登録ＩＤが複数得られた場合を想定しており、得られた登録ＩＤ（検索結果画像ＩＤ）を左側に示してある。その右側には、各登録ＩＤ（検索結果画像ＩＤ）に対して、「関連づけられたデータ」のレコードを記憶する。この「関連づけられたデータ」は、後述のステップにより作成されるもので、該登録ＩＤがこれまでに検索された（類似度が高いと判断された）回数と、該登録ＩＤの検索に使用されたキー画像の登録ＩＤ及び類似度の組のデータとを記憶することができる。関連づけは、登録ＩＤを引数にして、「関連づけられたデータ」の先頭アドレスを保持するポインタ配列等により行うことができる。
なお、類似度は再計算可能なため、図４において類似度のない構成でも差し支えない。また、類似度の高い登録ＩＤのみではなく、登録通知された登録ＩＤすべてについて、関連づけられたデータを記憶する二次元アレイやリストのような構成にすることもできる。
加えて、検索に際しても、登録された登録ＩＤに係る画像特徴量データのみ検索するのではなく、画像データを指定し、特徴量検出をして検索を行うこともできる。
【００４３】
次に、ステップＳ１１２において、画像検索部２３０は、検索結果時系列ソート処理を行う。
画像検索部２３０は、具体的には、ステップＳ１１１で得られた検索結果画像ＩＤを、画像ＩＤに対応する時刻Ｄ１０３を参照するなどして、時系列順にソートする。
なお、この際に単純にソートするのではなく、カメラＩＤ等を用いて、撮像装置２０１−１〜２０１−ｎの位置関係や動線の関係等を用いて、人物の動き等を追いやすいようにソートすることも可能である。
また、事件があった場所を指定しておいて、その近くにあるカメラＩＤにより頻度高く映っていた登録ＩＤの画像を、より多くカウントするように重み付けしてソートすることも可能である。
さらに、顔の画像特徴量を用いて、眉や口や目の位置関係等から、「焦り」「いらだち」といった表情を示している人物の写っている画像の登録ＩＤを優先することもできる。さらに、この際に、顔の温度分布等を用いて興奮している人物の写っている画像の登録ＩＤを優先させることもできる。
【００４４】
次に、ステップＳ１１３において、画像検索部２３０は、最古検索結果取得処理を行う。
ここでは、画像検索部２３０は、検索結果画像ＩＤの登録ＩＤ及び類似度の組のうち、時系列順で最も古い登録ＩＤを選択する。すなわち、ソート時にもっとも最初になった登録ＩＤを選択する。
【００４５】
次に、ステップＳ１１４において、画像検索部２３０は、検索回数カウントアップ処理を行う。
具体的には、画像検索部２３０は、直前のステップＳ１１１で用いた全てのキー画像に対して、最古の検索結果画像ＩＤに関連付けられたデータにそのキー画像が含まれているか否かチェックし、含まれていなければ、関連付けられたデータ（レコード）そのものが存在しない場合も含み、その場合はレコードを新規作成する。この上で、キー画像の登録ＩＤと類似度の組をレコードに追加し、含まれるか否かに係らず、検索回数をカウントアップ（インクリメント）する。その検索結果画像ＩＤに対してレコードを新規作成した場合は、検索回数は１となる。なお、この際に、登録ＩＤ及び類似度の組のうち、もっとも古い登録ＩＤを、以降の検索のキー画像の登録ＩＤとするような処理も可能である。
ここで記憶された各データは、検索結果データとして、後述のステップにてユーザインタフェース部２４０に送信される。
【００４６】
次に、ステップＳ１１５において、画像検索部２３０は、直前のステップＳ１１１の検索結果画像ＩＤの全てについて、処理が終了したか否か判定する。
Ｙｅｓの場合、すなわち処理が終了している場合、画像検索部２３０は、検索実行処理を終了する。
Ｎｏの場合、すなわち処理が終了していない場合、画像検索部２３０は、ステップＳ１１６に処理を進める。ここで、検索結果画像ＩＤが複数あれば、最低１度はステップＳ１１６に処理を進める。
【００４７】
ステップＳ１１６において、画像検索部２３０は、登録ＩＤ取得処理を行う。
ここでは、画像検索部２３０は、ステップＳ１１２でソートされた、時系列順で次に古い、検索結果画像ＩＤ（登録ＩＤ）を取り出す。これが、次の検索結果データとなる。
【００４８】
ステップＳ１１７において、画像検索部２３０は、取り出した検索結果画像ＩＤが時系列順でより古い検索結果画像ＩＤに関連付けられたデータ（検索に使用されたキー画像の登録ＩＤ）に含まれるか、すなわち冗長な表示になるかか否かを判定する。
Ｙｅｓの場合、重複していた場合には、画像検索部２３０は、処理をステップＳ１１５に戻して次の検索結果画像ＩＤについての処理を行う。つまり、重複していた検索結果画像ＩＤは、「関連付けられたデータ」に変更を与えることなく、実質的に破棄される。
Ｎｏの場合、すなわち重複がなければ、画像検索部２３０は、ステップＳ１１８に処理を進める。
【００４９】
ステップＳ１１８において、画像検索部２３０は、カウントアップ処理を行う。ここでは、画像検索部２３０は、重複がなかった検索結果画像ＩＤと関連付けて、検索に使用したキー画像の登録ＩＤを記憶し、検索回数をカウントアップする。
その後、画像検索部２３０は、処理をステップＳ１１５に戻す。
なお、Ｓ１１５〜Ｓ１１８は、省略しても良い。省略しても、最古の検索結果画像ＩＤだけは、レコードに反映される。
【００５０】
（登録ＩＤの検索の重複を防ぐ効果）
ここで、この検索結果画像ＩＤからの登録ＩＤの検索において、ステップＳ１１７のような重複を検知するステップを用いた場合の効果について説明する。
まず、図８を参照して、ステップＳ１１７の判定を行わ「ない」場合の検索結果の表示例について説明する。
図８は、時系列順の登録ＩＤに係る画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈにおいて、互いの類似度が所定の閾値以上の場合、検索結果データのキー画像の画像と、このキー画像に関連づけられた画像とから構成される検索結果の表示例である。
すなわち、ステップＳ１１７のような重複の判定を行わない場合、撮像装置２０１−１〜２０１−ｎや画像記録装置２０２から供給される画像データから、顔が検出される都度に検索を行う。このため、関連づけられた画像データは、次に類似人物が出現すると検索結果画像データとして取得される。すなわち、図８のように、時間的に古い（検索結果画像＋関連づけられた画像）に含まれる時間的に新しい（検索結果画像＋関連づけられた画像）が複数得られ、すなわち検索結果データの入れ子構造が起きて、検索結果データを記憶する際の記憶容量の増大を招いてしまうという問題があった。なお、図８では、関連がない画像、例えば、Ｂ、Ｃ、Ｄは表示されないように構成可能である。
これに対して、本実施形態の処理にて、ステップＳ１１７の判定を行うことで、この冗長性を防止することができる。これにより、検索結果データにおける入れ子構造を防ぐことができる。
このように構成することにより、検索結果データの記憶容量を少なくすることができ、に効率的な処理を実現することができる。
【００５１】
その後、画像検索部２３０は、処理をステップＳ１１５に戻す。
以上により、画像検索部２３０の検索実行処理を終了する。登録通知された登録ＩＤが複数ある場合には、上述の処理を繰り返して行う。
その後、画像検索部２３０は、図４のステップＳ２０１の検索結果データ保存処理を行う。
【００５２】
なお、図４において、タイミングＴ３０７〜Ｔ３１１とその後のステップＳ２０１において、各構成部位は、上述の処理と同様の処理を行う。
【００５３】
〈画像検索部２３０の検索結果データ応答処理〉
次に、図９を更に参照して、画像検索部２３０の検索結果データ応答処理について説明する。
この処理は、図４のタイミングＴ３１２にて、ユーザインタフェース部２４０から、検索結果要求を受け取った際の、画像検索部２３０の処理を示している。すなわち、図４のステップＳ２０３と、タイミングＴ３１３の処理に対応する。
【００５４】
まず、ステップＳ１３１において、画像検索部２３０は、検索結果選択処理を行う。
具体的には、画像検索部２３０は、ユーザインタフェース部２４０から検索結果要求を受信すると、記憶部に記憶している検索結果データから、検索回数値の大きい登録ＩＤを選択する。
【００５５】
次に、ステップＳ１３２において、画像検索部２３０は、対応画像及び関連データ取り出し処理を行う。
この処理において、画像検索部２３０は、画像特徴量記憶部２２０から、上述のキー画像の登録ＩＤと、キー画像の関連づけられたデータに係る登録ＩＤとについて、対応する画像データと、この画像データに対応する他のデータとを取得する。具体的には、登録ＩＤに対応する縮小画像データを取得する。
なお、画像記録装置２０２に対して、登録ＩＤと、該登録ＩＤに関連付けられたデータに係る登録ＩＤとを用いてアクセスし、縮小画像でない画像データ等を取得することもできる。
【００５６】
次に、ステップＳ１３３において、画像検索部２３０は、対応画像及び関連データ表示処理を行う。
具体的には、画像検索部２３０は、上述のステップで得た、キー画像の画像データと、これに関連づけられた画像データとを送信する。
これを受信したユーザインタフェース部２４０は、画像データ等を表示する。この際に、画像データに対応する他のデータも表示することができる。
なお、検索結果データの登録ＩＤは、検索回数の大きい順にソートして表示することで、視認効果が高い見やすい表示を実現してもよい。
以上により、検索結果データ応答処理を終了する。
【００５７】
（検索結果の表示例）
ここで、図１０〜図１２を参照して、ユーザインタフェース部２４０により表示される、検索結果データの表示例について説明する。
図１０は、画像を重ねて表示する重ね表示モードの表示例を示している。この重ね表示モードにおいては、図７のデータフォーマットにおける検索結果画像の登録ＩＤに対応する画像を前面に表示し、この登録ＩＤに関連づけられた登録ＩＤに対応する画像を背面に表示する。
このように、複数の画像を立体的に並べて重ねて表示することで、ある画像について検索された回数の多い少ないが容易に分かる。このため、類似の人物の出現頻度が一目で分かるという効果が得られる。この重ねた表示においては、前面、後面の画像の前後をユーザインタフェース部２４０からの操作により入れ換えることもできる。
【００５８】
図１１は、図１０を展開表示する展開表示モードの画面例を示す。
この展開表示モードでは、前面の画像を右に表示し、背面の画像を左に表示することで、類似の人物の登場場面を確認できる。
なお、ユーザインタフェース部２４０を用いて、ユーザの要求に応じてこれら二つの検索結果データの重ね表示モードと展開表示モードとを切り換え可能なように構成してもよい。
【００５９】
図１２は検索結果の別の表示例を示す。この表示例では、時系列順の画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉの画像特徴量空間での位置が図１２（ｃ）に示すような場合の表示例について説明する。
図１２（ａ）の表示例においては、図１１のように展開して表示する例を示している。すなわち、画像Ａに関連づけられた画像は、Ｄ、Ｅ、Ｆである。また、画像Ｄに関連づけられた画像は、Ｇ、Ｈ、Ｉである。また、画像Ｆに関連づけられた画像は、Ｉである。なお、ここでは、関連づけられていないＢ、Ｃは表示されないように構成可能である。
さらに、図１２（ｂ）のように、画像Ａに関連づけられた画像Ｄ，Ｅ，Ｆを検索結果とする画像群を、画像Ａに関連付けて画像間の二次的な関連を表示することもできる。
また、図１２（ｃ）のように、相関図自体をプロットすることも可能である。
【００６０】
〔監視システムＸの自動検索処理〕
上述のユーザ指示による検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、テロ等の事前抑止を目的とする場合、予め設定された検索条件を用いた検索により、警告を表示等する自動検索を行うことが望ましいと考えられる。
【００６１】
ここで、図１３を参照して、このような自動検索の処理について説明する。
図１３は、自動検索を行い、類似人物があらかじめ指定した回数以上検出されるとユーザインタフェース部２４０に表示する場合のシーケンス図を示している。
図１３において、各部は、図４のユーザの指示による検索処理とほぼ同様の処理を行う。ここで、図４と同じ符号は、同様のタイミングと処理を示している。
【００６２】
ここで、ステップＳ３０１において、この検索結果データの保存時に、画像検索部２３０は、検索結果データ発報処理を行う。
具体的には、画像検索部２３０は、検索結果データの各登録ＩＤの検索回数をチェックする。その上で、登録ＩＤにカウントアップされた検索回数が、検索条件入力画面４００（図３参照）で設定したアラーム通知条件値以上となった場合、ユーザインタフェース部２４０に検索結果発報を送信する。
この検索結果発報を受信したユーザインタフェース部２４０は、アラーム通知等の表示を行う。
【００６３】
この自動検索処理においても、検出された画像に関する表示内容は、図１０乃至１２と同様でもよい。
なお、検索回数としては、ある登録ＩＤの画像が検索された回数に加えて、その登録ＩＤに関連づけられた画像が検索された回数を加えた合算値を使用することもできる。これにより、画像の二次的な関連も考慮して表示を行うことができる。
図１２の例では、画像Ａに関する検索回数は、画像Ａの検索回数＋画像Ｄの検索回数＋画像Ｆの検索回数となる。なお、画像Ｉのように重複がある場合、必要に応じて重複数を合算値から差し引く等の処理を行って表示することもできる。
【００６４】
また、図６に示す手順で検索回数のカウントをおこなった場合、検索回数値の高い登録ＩＤに係る画像は典型的な類似人物の画像である「典型画像」と期待される。
一方、典型画像が出現する前の類似画像は、典型画像の検索回数に反映されていない。したがって、検索回数の多い典型画像を使用して検索を行うように構成することができる。この際、その検索のカウント数がアラーム通知条件として設定した値以上となった場合、アラーム表示することができる。また、この結果を利用して、典型画像が出現する前の類似画像を典型画像に関連づけて記憶するように構成することもできる。
以上により、自動検索処理を終了する。
【００６５】
〔指定した画像の表示抑止〕
次に、あらかじめ指定した画像の表示を抑止する例について説明する。
たとえば、監視システムＸにより監視する区域に、要注意人物でない業務員等が現れた場合、このような人物の画像が検索されないように構成することが可能である。
図１４を参照すると、このような構成の場合、例えば検索結果データレコードに「表示ＯＮ／ＯＦＦ」のフィールドを備え、指定した登録ＩＤについて、検索結果を表示する／しないという選択が可能である。
表示しない場合の指定は、図１０〜図１２のような検索結果を表示後、ユーザが表示を抑止する検索結果画像をポインティングデバイス等で指定するように構成できる。
【００６６】
以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術１の警備システムでは、不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないため、不審者情報を取りこぼしてしまうという課題があった。
これに対して、本発明の実施の形態に係る監視システムＸにおいては、画像検索部２３０は、監視カメラの映像から抽出された画像特徴量を使用して、画像記録装置の記録画像について類似の画像検索を行い、検索された類似性の高い登録ＩＤの画像が検索された回数をカウントする。そして、あらかじめユーザが設定した条件とカウント回数に応じて、ユーザインタフェース部２４０に表示を行うことができる。これにより、監視カメラで撮影された映像の顔と類似の顔を監視カメラの記録映像から自動検索し、類似人物の出現頻度を推定することで、従来の警備システムを補完することができる。
また、監視システムＸは、画像検索部２３０は、あらかじめ指定した記録画像については、検索されたカウント回数にかかわらず表示を行わないことができる。これにより、従業員等、業務上の理由等で監視カメラに複数回にわたり撮影される人物については、表示を抑止することができる。このため、不審人物を検出しやすくなるという効果が得られる。
【００６７】
以上のように、本発明の実施の形態に係る監視システムＸによれば、監視カメラの映像から検出された顔画像等を使用して、画像記録装置の記録画像について類似の顔画像検索を行い、類似人物の出現頻度を推定することができる。このため、テロ等の事件の事前抑止に効果的なシステムを提供できる。
また、本実施形態の監視システムＸは、あらかじめ検索対象の人物を設定しておく必要がないため、不特定の人々なかから不審人物を探し出すのに有効なシステムを提供できる。
【００６８】
また、本実施形態の監視システムＸの画像検索部２３０は、あらかじめ設定した検索条件にしたがって類似の人物が複数回検出された場合、アラーム通知を行うことを特徴とする。これにより、警備等の業務における迅速な対応をサポートすることができる。
また、本実施形態の監視システムＸの画像検索部２３０は、類似画像検索結果の保存において、時系列順に検索結果をチェックし、重複画像の記録を抑止することができる。これにより、検索結果記憶容量を削減することができ、各装置のコストを抑制することができる。
また、本実施形態の監視システムＸのユーザインタフェース部２４０は、登録ＩＤに関連づけられたデータを重ねて表示する表示モードと、並べて表示する表示モードとを備えることを特徴とする。これにより、多数の類似画像を効率的に分類して、チェックすることができる。
【００６９】
なお、本実施の形態の監視システムＸの画像検索方法においては、上述の検索処理に限定するものではない。たとえば、類似する画像グループの代表の画像の登録ＩＤを選択し、その登録ＩＤの画像を用いて検索を行うこともできる。また、類似画像の出現頻度をカウントするだけではなく、時間的、空間的な出現確率から、ベイズ推定等の統計的手法や人工知能的な手法を用いて行動パターンを分析するといった処理を行うこともできる。
また、本実施形態の監視システムＸの画像検索部２３０は、リアルタイムに類似画像を検索するだけではなく、画像記録装置２０２の記憶媒体に記憶した画像データを用いて上述の処理を行うことで、記録画像の解析による人物動向の解析にも活用可能である。
また、本実施の形態における画像検索装置２０３における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量登録部２１０、画像特徴量記憶部２２０、画像検索部２３０をＰＣ等のコンピュータで実現し、ユーザインタフェース部２４０を別のＰＣ等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置２０３を実現することもできる。
また、画像記録装置２０２に、画像特徴量登録部２１０、画像特徴量記憶部２２０、画像検索部２３０を備えるような構成も可能である。これにより、システムで使用するハードウェア台数を削減し、より低消費電力でコストを削減した監視システムを構成することができる。
【００７０】
また本発明の実施の形態に係る監視システムＸにおいては、人物検索を対象に示したが、これに限られない。たとえば、本発明明の実施の形態に係る監視システムＸは、人物だけでなく、一般的な画像検索にも適用できる。たとえば、家畜や害獣の検索、製品管理等にも応用可能である。
【００７１】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【００７２】
２００ ネットワーク
２０１−１〜２０１−ｎ 撮像装置
２０２ 画像記録装置
２０３ 画像検索装置
２１０ 画像特徴量登録部
２２０ 画像特徴量記憶部
２３０ 画像検索部
２４０ ユーザインタフェース部
４００ 検索条件入力画面
４１０、４２０、４３０、４４０ 表示欄
５００ ボタン
Ｘ 監視システム
【特許請求の範囲】
【請求項１】
撮像装置からの画像データを記録する画像記録装置と、
前記画像データの特徴量を登録する特徴量登録手段と、
前記画像データの登録ＩＤと、登録された前記特徴量とを記憶する特徴量記憶手段と、
入力された検索条件をもとに、前記登録ＩＤの前記特徴量を使用して検索を行う画像検索手段と、
入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、
前記画像検索手段は、
前記登録ＩＤの前記特徴量を用いて、類似性の高い特徴量をもつ登録ＩＤの検索を行い、
検索された前記類似性の高い特徴量をもつ登録ＩＤが検索された回数をカウントし、
ユーザにより設定された条件と前記カウントされた回数に応じて、前記ユーザインタフェース手段に表示を行わせる
ことを特徴とする画像検索装置。
【請求項２】
前記画像検索手段は、あらかじめ指定された登録ＩＤの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせない
ことを特徴とする請求項１に記載の画像検索装置。
【請求項１】
撮像装置からの画像データを記録する画像記録装置と、
前記画像データの特徴量を登録する特徴量登録手段と、
前記画像データの登録ＩＤと、登録された前記特徴量とを記憶する特徴量記憶手段と、
入力された検索条件をもとに、前記登録ＩＤの前記特徴量を使用して検索を行う画像検索手段と、
入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、
前記画像検索手段は、
前記登録ＩＤの前記特徴量を用いて、類似性の高い特徴量をもつ登録ＩＤの検索を行い、
検索された前記類似性の高い特徴量をもつ登録ＩＤが検索された回数をカウントし、
ユーザにより設定された条件と前記カウントされた回数に応じて、前記ユーザインタフェース手段に表示を行わせる
ことを特徴とする画像検索装置。
【請求項２】
前記画像検索手段は、あらかじめ指定された登録ＩＤの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせない
ことを特徴とする請求項１に記載の画像検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１８６７３３（Ｐ２０１１−１８６７３３Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５０６５５（Ｐ２０１０−５０６５５）
【出願日】平成２２年３月８日（２０１０．３．８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月８日（２０１０．３．８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]