画像検索装置
【課題】効率的に画像検索を行える画像検索装置を提供する。
【解決手段】検索条件に合致した画像を検索する画像検索装置203を用いる。この画像検索装置203は、画像の特徴量を抽出する画像特徴量抽出部210を備える。また、その画像の特徴量を記憶する画像検索データ記憶部220を備える。さらに、画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース部240を備える。このユーザインタフェース部240にて入力された検索条件を基に、画像検索実行部230は、画像を記録する画像記録装置202から画像検索を行う。また、ユーザインタフェース部240は、一回の検索において、特定対象の複数の画像を検索条件として入力する。また、画像検索実行部230は、検索条件である複数の画像に含まれる画像を使用して検索を行う。さらに、ユーザインタフェース部240は、使用した画像毎の検索結果を類似度順に表示する。
【解決手段】検索条件に合致した画像を検索する画像検索装置203を用いる。この画像検索装置203は、画像の特徴量を抽出する画像特徴量抽出部210を備える。また、その画像の特徴量を記憶する画像検索データ記憶部220を備える。さらに、画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース部240を備える。このユーザインタフェース部240にて入力された検索条件を基に、画像検索実行部230は、画像を記録する画像記録装置202から画像検索を行う。また、ユーザインタフェース部240は、一回の検索において、特定対象の複数の画像を検索条件として入力する。また、画像検索実行部230は、検索条件である複数の画像に含まれる画像を使用して検索を行う。さらに、ユーザインタフェース部240は、使用した画像毎の検索結果を類似度順に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の特徴量を使用して画像を検索する画像検索装置に係り、特に監視カメラ等の撮像装置の記録画像から検索条件に合致した画像を検索して表示する画像検索装置に関する。
【背景技術】
【0002】
近年、セキュリティ(安全)意識の高まりや警備の省力化の要求から、監視用の動画や静止画像のカメラ(監視カメラ)を用いた監視システムが注目されている。
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、近年、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのには、膨大な時間がかかるようになってきている。
【0003】
このため、センサーアラーム等の事象発生等の検出事象と連動して、必要な場合のみ撮像する画像録画技術が開発されている。
また、検出事象そのものを検索条件として記録画像を検索する検索技術が開発されている。
このような画像録画技術や検索技術を備えたシステムでは、検出事象を予め設定しておく必要があるという問題があった。
このため、予め設定されていない検出事象が発生した場合、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。
【0004】
これに対して、予め検出事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似の画像を検索する検索方法が提案されている。
この種の検索方法は、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として出力するものである。
【0005】
このような従来のキー画像から類似画像を検索する画像記録装置として、特許文献1を参照すると、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する画像記録装置及びその制御方法が記載されている(以下、従来技術1とする。)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−352780号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術1においては、キー画像の顔の向きにより、検索結果が異なるという問題があった。
すなわち、キー画像が正面顔の場合、正面顔が検索結果の上位に出力され、同一人物であっても斜め顔は検索結果の下位に出力される傾向があった。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向があった。
つまり、キー画像の選択によって検索結果の上位に含まれる画像は変化するため、キー画像の類似画像を検索できないことがあった。よって、撮影角度等が異なったキー画像を使用して複数回検索する必要があるため、検索の効率が悪かった。
【0008】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【0009】
本発明の画像検索装置は、検索条件に合致した画像を検索する画像検索装置において、画像の特徴量を抽出する特徴量抽出手段と、前記画像の特徴量を記憶する特徴量記憶手段と、画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース手段と、入力された前記検索条件をもとに前記画像の特徴量を使用して、画像を記録する画像記録装置の検索を行う画像検索手段とを備え、前記ユーザインタフェース手段は、一回の検索において、特定対象の複数の画像を前記検索条件として入力し、前記画像検索手段は、前記検索条件である複数の画像に含まれる画像を使用して検索を行い、前記ユーザインタフェース手段は、使用した画像毎の検索結果を類似度順に表示することを特徴とする。
本発明の画像検索装置は、前記ユーザインタフェース手段は、前記検索条件の複数の画像を表示し、前記検索条件となる画像が追加される毎に、前記検索条件から削除する候補画像を表示することを特徴とする。
【発明の効果】
【0010】
本発明によれば、複数の画像を検索条件として登録することで、対象の向きや撮影角度の違いによる検索見逃しを少なくすることができ、検索対象人物の映った画像をより多く得ることができる検索の効率の高い画像検索装置を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムXのシステム構成図である。
【図2】本発明の実施の形態に係る特定対象検索処理の流れを示すフローチャートである。
【図3】本発明の実施の形態に係る画像検索データ記憶部220のデータを示す概念図である。
【図4】本発明の実施の形態に係るユーザインタフェース部240の画面例である。
【図5】本発明の実施の形態に係る閾値以上削除処理のフローチャートである。
【図6】本発明の実施の形態に係る類似値最大削除処理のフローチャートである。
【図7】本発明の実施の形態に係る閾値以上削除処理のキー画像表示画面の画面例である。
【図8】本発明の実施の形態に係る類似値最大削除処理のキー画像表示画面の画面例である。
【図9】本発明の実施の形態に係る検索結果表示画面の画面例である。
【図10】本発明の実施の形態に係る自動検索処理のシーケンス図である。
【発明を実施するための形態】
【0012】
<実施の形態>
〔監視システムXの制御構成〕
以下で、本発明の実施の形態について、図面を参照して説明する。
図1を参照すると、監視システムXは、撮像装置201−1〜201−nと、画像記録装置202と、画像検索装置203とが、ネットワーク200にて接続されて構成されている。
【0013】
ネットワーク200は、各装置を結ぶ、LAN、光ファイバー、c.link、無線LAN、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク200は、専用線、イントラネット、インターネット等のIPネットワーク等を用いてもよい。
【0014】
撮像装置201−1〜201−nは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いて、ネットワーク200に接続して画像データを送信可能な、いわゆるIPカメラやネットワークカメラ等の撮像装置である。撮像装置201−1〜201−nは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置201−1〜201−nは、通常のテレビジョンカメラを用いて、画像記録装置202に直接接続し、画像記録装置202の画像・音声エンコーダ(図示せず)を用いて映像デジタルデータに変換するように構成してもよい。
【0015】
画像記録装置202は、撮像装置201−1〜201−nの映像等をネットワーク200経由で記録するネットワークデジタルレコーダ等の装置である。画像記録装置202は、CPU等の制御部や演算部と、内蔵のDRAMやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置202は、ネットワーク200を介して撮像装置201−1〜201−nより入力された画像データを、HDD等の記録媒体に記録する。
監視システムXにおいて、他の部位が画像記録装置202から画像を読み出す場合、画像記録装置202に対してカメラIDと時刻情報を指定することで、該当する画像を読み出すことができる。
【0016】
画像検索装置203は、ネットワーク200を介して画像記録装置202から取得した画像データを、液晶ディスプレイやCRT等のディスプレイモニタに画面表示し、画像検索を行うPC/AT互換機やMAC等であるPC(パーソナル・コンピュータ)等の専用の監視端末装置である。
画像検索装置203は、下記で説明する処理の制御を行うCPU、MPU、DSP(デジタル・シグナル・プロセッサ)、GPU(グラフィック・プロセッシング・ユニット)、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するRAM、ROM、HDD、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置203は、キーボードやマウス等のユーザ入力部を備え、画像記録装置202に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
【0017】
また、画像検索装置203は、画像特徴量抽出部210(特徴量抽出手段)、画像検索データ記憶部220(特徴量記憶手段)、画像検索実行部230(画像検索手段)、ユーザインタフェース部240(ユーザインタフェース手段)とを備えて構成される。
【0018】
画像特徴量抽出部210は、画像特徴量を抽出するDSPやこのDSP用のプログラムや制御部で実行されるプログラム等である。画像特徴量抽出部210は、例えば、画像記録装置202に記憶された画像データに対し画像認識技術を用いた人物検出、オブジェクト検出、画像特徴量の抽出を行う。また、画像特徴量抽出部210は、これらの抽出された画像特徴量を画像特徴量データとして出力する。
まず、画像特徴量抽出部210は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。画像特徴量抽出部210は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴(FFTやウェーブレット変換等を行ったときの周波数分布等)から着衣(服)であると検出するような技術を用いることができる。
画像特徴量抽出部210は、画像特徴量の算出としては、顔特徴量、オブジェクトの特徴量等を計算する。画像特徴量抽出部210は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。さらに、画像特徴量抽出部210は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量抽出部210は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。
【0019】
画像検索データ記憶部220は、画像検索に係る画像特徴量や画像データ(フレーム)や検索結果画像そのもの等を記憶する部位である。具体的には、画像検索データ記憶部220は、画像特徴量抽出部210が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のRAM等の主記憶装置、HDDやフラッシュメモリ等補助記憶装置から構成される。
また、画像検索データ記憶部220は、この画像抽出量データを、LANカード等のネットワーク送受信部(図示せず)を介して、画像記録装置202に記憶することもできる。
なお、画像検索データ記憶部220は、DMA(ダイレクト・メモリ・アクセス)等により、画像特徴量抽出部210が直接、各種データ等を記憶部に記憶するような構成としてもよい。
【0020】
画像検索実行部230は、入力された検索条件をもとに画像検索データ記憶部220を使用して、監視カメラ等の撮像装置で撮影した画像を記録する画像記録装置202の検索処理を行う部位である。
具体的には、画像検索実行部230は制御部で実行されるプログラム等により、ユーザインタフェース部240より検索条件を受取ると画像特徴量を画像検索データ記憶部220より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索実行部230は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索実行部230は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部240に応答する。
なお、キー画像の画像特徴量は、画像検索実行部230で計算してもよいし、キー画像の画像特徴量が画像検索データ記憶部220にある場合はそれを使用してもよい。
【0021】
ユーザインタフェース部240は、検索条件を入力し、検索結果を表示する部位である。具体的には、ユーザインタフェース部240は、ユーザ制御部で実行されるプログラム等により、検索条件を実行し、検索結果を液晶ディスプレイ等である表示部(図示せず)に表示する。また、ユーザインタフェース部240は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部(図示せず)からの入力を、OS(オペレーティングシステム)のAPI(Application Programming Interface)を用いて入力指示として検知する。また、ユーザインタフェース部240は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部(図示せず)に表示する。
さらに、ユーザインタフェース部240は、画像の再生要求があった場合、対応する画像を画像記録装置202に要求する。ユーザインタフェース部240は、画像記録装置202から応答画像を受信すると、画像再生画面450(図4参照)にその画像を表示する。このようにして、ユーザインタフェース部240は、画像記録装置202から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部240は、画像再生中に再生を停止させるなどして、画像記録装置202に記録された任意の画像を表示部に表示することができる。これら画像には、特定対象を様々な角度から撮影した画像などが含まれる。
ユーザインタフェース部240は、これらの画像や、これらの画像からオブジェクト検出や顔検出を行うことで得られるオブジェクトや顔などの座標領域の部分画像をキー画像として登録することができる。
【0022】
なお、画像検索装置203は、通常のOSがインストールされたPCの記憶部に記憶したプログラムにより実現してもよい。
さらに、画像特徴量抽出部210と、画像検索データ記憶部220と、画像検索実行部230とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置203の記憶部に記憶されていても、制御部内のROMやフラッシュメモリ等に記憶されていてもよい。
【0023】
〔監視システムXの画像検索処理〕
ここで、本発明の実施の形態に係る監視システムXを用いた画像検索処理についてより詳しく説明する。
本実施形態の画像検索処理においては、(1)ユーザの操作を開始の指示として複数回の検索を実行する特定対象検索処理と、(2)ユーザの設定に従って、設定された検索条件、検索時間により自動検索を行う自動検索処理を実行することができる。
【0024】
〈特定対象検索処理〉
まずは、(1)の特定対象検索処理について詳しく説明する。
上述のように、人物検索等を目的としている画像特徴量を利用した画像検索では、キー画像が正面顔の場合、正面顔が検索結果の上位を占めることが多い。さらに、同一人物であっても斜め顔は、検索結果の下位になる傾向がある。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向がある。
すなわち、キー画像の選択によって検索結果の上位に含まれる画像は変化するため、撮影角度等が異なったキー画像を使用して複数回検索することにより、検索対象人物の映った画像をより多く得ることができる。この場合、目視によりキー画像との類似性が低いと考えられる画像を新たなキー画像として用いて再度検索することにより、特徴量の検索範囲となる広い画像特徴量空間を効率的に検索できる。
このようにユーザがキー画像を変更しながら複数回の検索を実行する検索方法は、事件の起こった後などに、ある特定対象について画像検索をする場合に好適である。本実施形態においては、このような複数回の検索を簡単に実行できるユーザインタフェースを提供する。
以下で、この監視システムXを用いて、複数回の検索を実行する検索方法に係る特定対象検索処理について、図2のフローチャートを用いて、更に詳しく説明する。図2は、複数の画像を検索条件とした場合の画像検索実行部230の特定対象検索処理の流れを示す。
【0025】
まず、ステップS101において、画像特徴量抽出部210は、画像特徴量検出処理を行う。
具体的には、画像特徴量抽出部210は、監視カメラ等の撮像装置201−1〜201−nで撮影した時系列的に連続した画像フレームから一つの画像フレームを選択し、選択画像フレームの画像特徴量を抽出する。この際に、画像特徴量抽出部210が画像特徴量を検出する画像フレームは、画像記録装置202から供給されても、撮像装置201−1〜201−nから直接供給されてもよい。
画像特徴量抽出部210が選択する画像フレームは、所定時間毎に選択したり、画像に変化があった場合の画像フレームを選択したり、センサーアラーム等外部からの通知に同期して選択する等の各種の手法により選択することができる。
たとえば、画像に変化があった場合の画像フレームを選択する方法は、連続する画像フレームについて、その画像フレーム毎に色合い、形状等の変化を検知する。そして、画像特徴量抽出部210は、連続する画像フレームをその変化により単位に分割し、その単位での代表的なフレームを選択する。これらの画像フレームにおいて検知される画像特徴量としては、上述の人物やオブジェクトの検知に加えて、色合い、形状等の画像の特徴を示す多次元ベクトル等を用いることができる。すなわち、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の特徴量を使用できる。
画像特徴量抽出部210は、抽出した特徴量を画像検索データ記憶部220に保存する。
【0026】
〈画像検索処理に用いるデータ構造〉
ここで図3を参照して、特定対象検索処理、自動検索処理の両方で用いるデータ構造の例について説明する。
図3(a)は、画像検索データ記憶部220が用いる画像特徴量のデータ構造の例を示している。この画像検索データ記憶部220が用いる画像特徴量のデータは、登録IDD101、カメラIDD102、時刻D103、画像特徴量D104、縮小画像データD105、画像記録場所D106等により構成される。
登録IDD101は画像特徴量のデータを識別するIDである。
カメラIDD102は画像を撮影した撮像装置201−1〜201−nを同定するIDである。
時刻D103は画像フレームが撮像または記録された時刻をグリニッジ標準時(GMT)やフレーム数等により現したデータである。
画像特徴量D104は、画像フレームから画像特徴量抽出部210が抽出した画像特徴量データを記憶する。
縮小画像データD105は画像フレームの縮小画像データを記憶するデータである。この縮小画像データは、画像特徴量抽出部210等により、元の画像フレームから生成することができる。
画像記録場所D106は、画像記録装置202の場所(アドレス)等を同定するもので、画像記録装置202のIPアドレスや画像検索装置203の記憶部のアドレス等を記憶している。
【0027】
図3(b)、(c)は、画像検索実行部230が用いて画像検索データ記憶部220に記憶する検索結果のデータ構造の例を示している。図3(b)のデータを使用して画像検索データ記憶部220の画像特徴量のデータを読み出すことで、図3(c)のデータを得ることができる。
図3(b)の検索結果のデータは、登録IDD201、カメラIDD202、時刻D203、類似度D204等から構成される。このうち、登録IDD201は登録IDD101と、カメラIDD202はカメラIDD102と、時刻D203は時刻D103と、それぞれ同様のデータを用いることができる。類似度D204は、画像特徴量D104の類似度と同様の類似度の値を用いることができる。
図3(c)の検索結果のデータは、登録IDD301、カメラIDD302、時刻D303、類似度D304、縮小画像データD305、画像記録場所D306から構成される。登録IDD301は登録IDD101と、カメラIDD302はカメラIDD102と、時刻D303は時刻D103と、類似度D304は類似度D204と、縮小画像データD305は縮小画像データD105と、画像記録場所D306は画像記録場所D106と、それぞれ同様のデータを用いることができる。
【0028】
〈ユーザインタフェース部240の画面表示例〉
次に、図4を参照して、ユーザインタフェース部240によりユーザの操作を検知する際の画面表示の例ついて説明する。
図4の画面例400は、ユーザインタフェース部240が表示部に表示する表示画面の例である。画面例400は、検索範囲入力画面410、選択画像表示画面420、検索結果表示画面430、キー画像表示画面440、画像再生画面450等の表示欄から構成される。
検索範囲入力画面410は、画像検索を行う撮像装置201−1〜201−nを同定するカメラID(Identification)と検索時刻範囲を入力する表示欄である。カメラIDについては複数のカメラIDを指定してもよい。ユーザインタフェース部240は、検索範囲入力画面410の「実行」のボタン500の押下を検知すると、検索指示がなされたと判断する。なお、このカメラIDと検索時刻範囲のようなデータの構造については後述する。
選択画像表示画面420は、ユーザの入力部の指示を検知して選択した画像を表示する表示欄である。ユーザインタフェース部240は、この選択画像表示画面420の「キー画像登録」のボタン510の押下を検知して、表示された画像を画像検索のキー画像として新規追加する。キー画像には、画像記録装置202の記録画像の他に、画像ファイルやwebページの画像等のファイルを参照して使用することもできる。
検索結果表示画面430は、検索結果の画像や付加情報を表示する表示欄である。
キー画像表示画面440は、検索条件となるキー画像を表示する表示欄である。このキー画像表示画面440には、通常、登録済キー画像が表示されている。この上で、この表示欄に、上述のボタン510により新規追加されたキー画像と類似する登録済キー画像の削除候補画像を提示し、ユーザにより削除して最適なキー画像を選択させる。これにより、キー画像が多くなって検索の効率が悪くなることを防ぐことができる。
画像再生画面450は、画像記録装置202から読み出された画像を連続的に再生表示する表示欄である。
【0029】
ここで、再び図2を参照して、特定対象検索処理の説明を続ける。
ステップS102において、画像検索実行部230は、キー画像登録を行う際に、キー画像を複数削除候補とするか否か判定する。
このキー画像登録の処理においては、画像検索実行部230は、ユーザの設定により、(a)新規追加されたキー画像と類似度が所定の閾値よりも大きい既登録キー画像を削除候補画像として複数識別表示する場合に、Yesと判定する。
また、(b)新規追加されたキー画像と類似度がもっとも大きい登録済キー画像を削除候補画像として識別表示する場合に、Noと判定する。(b)の場合は、表示される候補画像は一枚となる。
Yesの場合、画像検索実行部230は、処理をステップS110に進める。
Noの場合、画像検索実行部230は、処理をステップS111に進める。
【0030】
ステップS110において、画像検索実行部230は、閾値以上削除処理を行う。
図5のフローチャートを参照して、この閾値以上削除処理について、詳しく説明する。
閾値以上削除処理は、上述の(a)の場合の処理であり、上述のように、新規追加されたキー画像と類似度が閾値よりも大きい既登録キー画像を削除候補画像としてキー画像表示画面440等に表示する。
この閾値以上登録処理においては、閾値を基に削除候補画像を表示するため、複数の候補画像が表示される場合や、候補画像が表示されない場合がある。
【0031】
まず、ステップS301において、画像検索実行部230は、検索キー画像追加検知処理を行う。
具体的には、画像検索実行部230は、ユーザインタフェース部240が図4の「キー画像登録」のボタン510の押下を検知した場合は、ユーザが検索キー画像追加の指示をしたと検知する。この場合、画像検索実行部230は、選択画像表示画面420で参照して表示されている画像を追加検索キー画像として画像検索データ記憶部220に記憶する。
それ以外の場合には、検索キー画像追加の指示をしていないと検知する。
【0032】
ステップS302において、画像検索実行部230は、ユーザが画像追加の指示をしたか否かを判定する。
Yesの場合、画像検索実行部230は、処理をステップS303に進める。
Noの場合、画像検索実行部230は、処理をステップS301に戻して、ユーザの検索キー画像追加の指示を待つ。
【0033】
ステップS303において、画像検索実行部230は、類似度計算処理を行う。
この処理において、画像検索実行部230は、追加検索キー画像と、登録済キー画像の類似度を計算する。具体的には、画像検索実行部230において既にユーザにより設定されているキー画像(登録済キー画像)と、追加検索キー画像との画像特徴量の距離を計算して、画像の類似度を得る計算を行う。
ここでは、上述のステップS101で計算した画像特徴量を用いて、
既に設定された登録済キー画像について、登録IDがiのキー画像の画像特徴量をXi=(xi1, xi2, ……, xin)、
ユーザが追加したい追加検索キー画像の画像特徴量をY=(y1, y2, ……, yn)、
画像特徴量の要素ごとの重要度を表す重み付け係数をW=(w1, w2, ……, wn)とし、
登録IDがiのフレームの登録済キー画像の画像特徴量と、追加検索キー画像との画像特徴量の距離Ziは、以下の式(1)にて定義可能である。
Zi=Σjwj|xij − yj| …… 式(1)
なお、jは、0≦j≦nを示す変数である。
特徴量の距離の値が小さいほど二つの画像は似ていることを示している。このため、Ziが小さいほど、登録IDがiのフレームの登録済キー画像と、追加検索キー画像との類似度は大きい。
【0034】
ステップS304において、画像検索実行部230は、類似度が大きい登録済キー画像があるかどうか判定する。すなわち、特徴量の距離がユーザにより設定された閾値よりも小さな特徴量の距離Ziのキー画像があるか場合はYesと判定し、ない場合にはNoと判定する。
Yesの場合、画像検索実行部230は、処理をステップS305に進める。
Noの場合は、画像検索実行部230は、処理をステップS309に進める。
【0035】
ステップS305において、画像検索実行部230は、類似度大のキー画像表示処理を行う。この処理において、画像検索実行部230は、類似度が大きい登録済キー画像をユーザインタフェース部240を用いて表示させる。
図7を参照して具体的に説明すると、ユーザインタフェース部240は、画像検索実行部230の指示により、追加検索キー画像と、新規追加されたキー画像と類似度の大きい登録済キー画像とを識別表示する。
【0036】
より具体的には、図7(a)のキー画像表示画面441は、図5のフローチャートの閾値以上削除処理に対応し、複数の候補画像が表示される例を示している。
図7(a)のキー画像表示画面441の例では、ユーザインタフェース部240は、新規追加キー画像と類似度の高いキー画像を色枠で囲み、識別表示している。このように表示することで、ユーザに新規追加キー画像と類似度の高いキー画像を分かりやすく示すことができ、冗長なキー画像を削除選択する場合の利便性を向上させることができる。
また、ユーザは、このキー画像表示画面441において、キーボードやポインティングデバイス等で各キー画像を選択し、「削除」のボタン520を押下して選択された追加検索キー画像又は登録済キー画像の削除を指示することができる。
加えて、ユーザは、「保存」のボタン530を押下して現在のキー画像表示画面441の新規検索キー画像と登録済キー画像を画像検索データ記憶部220に保存する指示が可能である。この場合、画像検索実行部230は、新規検索キー画像を、登録済キー画像に変更して画像検索データ記憶部220に記憶する。
これらの指示は、ユーザインタフェース部240が検知する。
【0037】
また、図7(b)のキー画像表示画面442は、互いに類似するキー画像を分類して表示する例を示している。
ユーザインタフェース部240は、図示しないボタン等を押下したことを検知して、キー画像表示画面441とキー画像表示画面442のように表示画像を変更可能である。
この例では、ユーザインタフェース部240は、キー画像表示画面442には類似する新規追加キー画像と登録済キー画像とを、画像グループとして表示している。そして、ユーザインタフェース部240は、画像グループの代表画像となる登録済キー画像を前面に表示し、グループに含まれる画像を代表画像からの類似度の大きさに従って背面に表示している。
ユーザが、表示したい画像グループをポインティングデバイス等で選択すると、ユーザインタフェース部240は、図7(c)のキー画像表示画面443に画面を遷移させて表示する。
なお、キー画像表示画面442においても、ボタン520又はボタン530により、新規追加キー画像の削除又は保存の指示が可能である。
また、キー画像表示画面442において、グループの代表の登録済キー画像を前面に表示し、新規追加キー画像をその登録済キー画像との類似度に従って、順番に表示可能である。そして、ユーザインタフェース部240は、ポインティングデバイスやキーボードの操作を検知して、この画像の表示の前面背面の順番を変更することもできる。
さらに、類似するキー画像のグループ分け方法としては、キー画像間の類似度を計算し、UPGMA(Unweighted Pair Group Method with Arithmetic mean)法やk−means法のようなクラスタリング等を行う方法を用いることができる。
【0038】
図7(c)のキー画像表示画面443は、グループに含まれる画像を表示する例を示している。上述したように、キー画像表示画面442において表示したいグループをポインティングデバイス等で選択することで、ユーザインタフェース部240は、グループに含まれる画像を表示する。
キー画像表示画面443においては、ボタン520又はボタン530により、新規追加キー画像の削除又は保存の指示が可能である。これにより、グループ内のどのキー画像を選択して登録するかを指示できる。
【0039】
再び図5を参照して説明を続ける。
ステップS306において、画像検索実行部230は、ユーザが追加検索キー画像の削除指示をしたか判定する。具体的には、ユーザインタフェース部240により、キー画像表示画面441又はキー画像表示画面442において、追加検索キー画像を選択して、「削除」のボタン520が押下されたかを判定する。
Yesの場合、画像検索実行部230は、キー画像表示画面441又はキー画像表示画面442の追加検索キー画像を削除し、キー画像登録処理を終了する。
Noの場合、画像検索実行部230は、処理をステップS307に進める。
【0040】
ステップS307において、画像検索実行部230は、ユーザが登録済キー画像の削除を指示したかを判定する。具体的には、ユーザインタフェース部240により、ユーザが類似度大の登録済キー画像を選択して、「削除」のボタン520が押下されたかを判定する。
Yesの場合、画像検索実行部230は、処理をステップS308に進める。
Noの場合、画像検索実行部230は、処理をステップS309に進める。
【0041】
ステップS308において、画像検索実行部230は、選択画像登録削除処理を行う。
具体的には、画像検索実行部230は、キー画像表示画面441又はキー画像表示画面442においてユーザにより選択された登録済キー画像を、画像検索データ記憶部220から削除する。
【0042】
ステップS309において、画像検索実行部230は、ユーザが現在の追加検索キー画像と登録済キー画像を保存するかを検知する。具体的には、ユーザインタフェース部240により、キー画像表示画面441、キー画像表示画面442、又はキー画像表示画面443において「保存」のボタン530が押下されたかを判定する。
Yesの場合、画像検索実行部230は、処理をステップS310に進める。
Noの場合、画像検索実行部230は、処理をステップS306に戻し、ユーザにより追加検索キー画像又は登録済キー画像の削除を選択させ、登録するキー画像を確定させる。
【0043】
ステップS310において、画像検索実行部230は、指定検索キー画像登録処理を行う。
具体的には、画像検索実行部230は、キー画像表示画面441、キー画像表示画面442、又はキー画像表示画面443において表示されている追加検索キー画像を含む登録済キー画像を、画像検索データ記憶部220に記憶する。
以上により、(a)新規追加されたキー画像と類似度がある閾値よりも大きい既登録キー画像を削除候補画像として識別表示する閾値以上削除処理のキー画像登録処理を終了する。その後、画像検索実行部230は、図2のステップS103に処理を進める。
【0044】
図2を再び参照すると、ステップS111において、画像検索実行部230は、類似値最大削除処理を行う。
以下で、図6のフローチャートを参照して、この類似値最大削除処理の説明をする。
類似値最大削除処理は、(b)新規追加されたキー画像と類似度がもっとも大きい既登録キー画像を削除候補画像として識別表示するキー画像登録処理の例である。
この処理においては、上述のように、類似度が最大の単一の画像を、削除候補の登録済キー画像として選択することができる。
【0045】
まず、画像検索実行部230は、ステップS321は図5のステップS301と、ステップS322はステップS302と、ステップS323はステップS303と、それぞれ同様の処理を行う。
【0046】
ステップS324において、画像検索実行部230は、類似度最大のキー画像識別処理を行う。
具体的には、ステップS323にて計算した類似度が最大、すなわち画像特徴量の距離Ziが最も小さい登録IDがiのフレームの登録済キー画像を選択して表示部に表示する。
【0047】
ここで図8を参照して、この類似度最大のキー画像識別処理をより具体的に説明する。
図8のキー画像表示画面444は類似値最大削除処理により、登録するキー画像の候補が表示される例を示している。
すなわち、画像検索実行部230は、ユーザインタフェース部240を用いて、キー画像表示画面444に、追加検索キー画像と、類似度が最大の登録済キー画像を1つ表示する。この際に、類似度が近い他のキー画像についても表示可能である。
この追加検索キー画像又は類似度が最大の登録済キー画像についても、ボタン520又はボタン530により、新規追加キー画像の削除又は保存の指示が可能である。
【0048】
その後、画像検索実行部230は、ステップS325は図5のステップS306と、ステップS326はステップS307と、ステップS327はステップS308と、ステップS328はステップS309と、ステップS329はステップS310と、それぞれ同様の処理を行う。
なお、ステップS328において、画像検索実行部230は、Noと判定した場合には、ステップS324に処理を戻して、類似度最大のキー画像をまた検索する。
以上により、(b)新規追加されたキー画像と類似度がもっとも大きい既登録キー画像を削除候補画像として識別表示する類似値最大削除処理を終了する。
その後、画像検索実行部230は、処理を図2のステップS103に進める。
【0049】
ここで、再び図2を参照して、特定対象検索処理の処理の流れを説明する。
ステップS103において、ユーザインタフェース部240は、検索処理が起動されたか否かを検知する。
すなわち、ユーザインタフェース部240は、OSのAPIを用いて、キーボードやポインティングデバイスにより、ユーザにより検索指示がされたかについて検知する。具体的には、ユーザインタフェース部240は、図4の検索範囲入力画面410の「実行」のボタン500が押下された場合は、検索指示がされたと検知する。
それ以外の場合には、ユーザインタフェース部240は、ユーザの指示に従って、キー画像の登録や検索条件の入力といった処理を行う。
【0050】
ステップS104において、画像検索実行部230は、ユーザインタフェース部240が検索指示がされたと検知した場合に、Yesと判定する。それ以外の場合には、Noと判定する。
Yesの場合は、画像検索実行部230は、ステップS105に処理を進めて、具体的な登録済キー画像と類似する画像の検索処理を実行する。
Noの場合は、画像検索実行部230は、ステップS103に処理を戻し、ユーザが検索指示をするまで待つ。
【0051】
ステップS105において、画像検索実行部230は、単一キー画像検索処理を行う。
この処理において、画像検索実行部230は、まず、キー画像表示画面440のキー画像を1枚使用して、類似画像を検索する。
具体的には、ステップS303の類似度計算処理と同様に、登録IDがiのフレームの登録済キー画像の画像特徴量と、検索範囲内のフレームの画像との間で、画像特徴量の距離Ziを検索する。
これにより、画像検索実行部230は、所定の閾値以上、類似度が高いフレームの画像を取得する。
【0052】
次に、ステップS106において、画像検索実行部230は、検索結果保存処理を行う。
具体的には、画像検索実行部230は、類似度が高いフレームの画像の登録IDと検索時の類似度等を検索結果として、画像検索データ記憶部220に記憶する。
【0053】
次に、ステップS107において、画像検索実行部230は、すべてのキー画像を検索終了したか判定する。
Yesの場合、画像検索実行部230は、処理をステップS108に進める。
Noの場合、画像検索実行部230は、処理をステップS105に戻し、登録された別のキー画像を1枚使用して同様の処理を行う。以下、同様に画像検索実行部230は、キー画像表示画面440の登録された全てのキー画像について類似画像を検索し、検索結果を保存する。
【0054】
ステップS108において、画像検索実行部230は、検索結果応答処理を行う。
具体的に、画像検索実行部230は、全てのキー画像について類似画像の検索終了後、画像検索データ記憶部220に記憶されている検索結果をユーザインタフェース部240に応答する。
ユーザインタフェース部240は、検索結果となる画像データ等を、類似度順に並べ替えて表示する。ユーザインタフェース部240が類似度順に並べ替えることにより、各キー画像に最も類似した画像が上位に表示される。すなわち、正面顔一枚で検索した場合には、検索結果の下位になる横顔画像も、キー画像に横顔画像が含まれており、その横顔のキー画像と類似度が大きければ、上位に表示される。キー画像に正面顔画像が含まれていて、その正面顔キー画像と類似度が大きい正面顔画像も、当然、上位に表示される。
また、ユーザインタフェース部240による、類似度順の並べ替えは、キー画像毎に類似度順に並べ替える方法を用いることができる。
【0055】
ここで図9を参照して、検索結果の並べ替えの表示について説明する。
図9(a)の検索結果表示画面431は、検索結果全体で類似度順に並べ替えて表示する例を示している。
図9(b)の検索結果表示画面432は、使用したキー画像毎に類似度順に並べ替えて表示する例を示している。最前面が最も類似度の高い画像で背面に進むに従って類似度の低い画像となる。また、検索により取得した類似度の高い画像が多いほど、左に表示するように構成してもよい。
なお、ユーザの要求に応じて、ユーザインタフェース部240が、これら二つの表示を切り替えて表示するように構成してもよい。
以上により、特定対象検索処理を終了する。
【0056】
〈自動検索処理〉
上述の特定対象検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、事件の事前抑止を目的とする場合、日や週単位に複数回の検索を行うことで、特定対象の動向把握をすることができると考えられる。しかしながら、人手をかけて毎日、毎時に検索を行うのは非効率的である。このため、画像検索装置203において、検索条件、検索時間を予め設定しておいて自動検索行い、検索結果を後で確認することが好適である。
以下で、図10のシーケンス図を参照して、このような設定された検索条件、検索時刻により自動検索を行う自動検索処理について説明する。
【0057】
ユーザインタフェース部240は、まず上述の図2の特定対象検索処理の画像特徴量検索処理、キー画像の登録処理と、検索条件の設定を行う。
これに加えて、ユーザインタフェース部240は、検索を実行する検索時刻のような時刻情報を設定する。設定された時刻情報は、画像検索実行部230が記憶部に記憶する。
【0058】
そして、設定された検索時刻になると、タスクマネージャのようなサービスやCRON等のデーモン等により画像検索実行部230が起動される。
起動された画像検索実行部230は、ステップS400の画像検索処理を実行する。この画像検索処理は、上述の図2のステップS105〜S107と同様に、複数のキー画像を用いて検索を行う。
【0059】
その後、ステップS401において、画像検索実行部230は、検索結果保存処理を行う。
具体的には、画像検索実行部230は、検索結果の画像データや類似度等を画像検索データ記憶部220に記憶する。
設定された検索時刻が複数ある場合は、画像検索実行部230は、指定時刻に起動されて画像検索処理と、検索結果保存処理とを繰り返す。
【0060】
また、ユーザインタフェース部240は、ユーザからの入力を検知すると画像検索実行部230に検索結果の要求を行う。
画像検索実行部230は、保存している検索結果をユーザインタフェース部240に応答する。
この検索結果の応答は、図2のステップS108の検索結果応答処理と同様に行う。
なお、この自動検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。
以上により、自動検索処理を終了する。
【0061】
以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術1のように、従来の人物検索等を目的としている画像特徴量を利用した画像検索では、キー画像が正面顔の場合、検索結果は正面顔が上位を占め、同一人物であっても斜め顔は、検索結果の下位になる傾向があった。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向があった。すなわち、キー画像の選択によって検索結果の上位に含まれる画像は変化するという問題があった。
これに対して、本発明の実施の形態に係る監視システムXの画像検索装置203は、撮影角度等が異なったキー画像を使用して容易に複数回検索することができるインタフェースを提供する。このように、撮影角度等が異なったキー画像を使用して複数検索することにより、検索対象人物の映った画像をより多く得ることができる。この場合、キー画像との類似性がある程度低い画像をキー画像として再度検索することにより、広い特徴量空間を効率的に検索できる。このようにユーザがキー画像を変更しながら複数回の検索を実施する方法は、事件の起こった後などにある特定対象について検索をする場合に好適である。
また、事件の事前抑止を目的とする場合、日や週単位に自動検索処理にて、複数回の検索を行うことで、特定対象の動向把握をすることができる。すなわち、検索条件、検索時間を予め設定しておき、自動検索行い、検索結果を後で確認できる。これにより、人手をかけて毎日、毎時に画像検索を行うよりも効率性を向上させることができる。
【0062】
このように、本発明の実施の形態に係る画像検索装置203は、映像監視システムにおける人物や物体等の画像特徴量を利用した画像検索において、効率的で利便性の高いユーザインタフェース部240を提供することができる。
具体的には、画像検索対象の複数のキー画像を検索条件として登録可能とすることで、検索対象の向きや撮影角度の違いによる検索の見逃しが少なくすることができる。これにより、効率的に、画像検索を行うことができる。
また、検索条件にキー画像を追加する毎に、検索条件から削除する候補画像を表示し、ユーザによる削除を可能とすることができる。これにより、冗長画像による検索処理を抑止することができ、高速な画像検索を実現することができる。
また、入力された検索条件を記憶し、記憶された検索条件を使用して自動検索を行うことも可能である。これにより、事件等の事前抑止に効果的なシステムを提供することができる。
【0063】
また、本発明の実施の形態に係る画像検索装置203のユーザインタフェース部240は、検索条件の複数の画像を表示し、検索条件となる画像が追加される毎に、検索条件から削除する候補画像を表示することを特徴とする。
【0064】
また、本発明の実施の形態に係る画像検索装置203のユーザインタフェース部240は、検索条件の複数の画像を類似するグループに分類して表示することを特徴とする。
【0065】
また、本発明の実施の形態に係る画像検索装置203は、入力された検索条件を記憶する画像検索データ記憶部220(記憶手段)を備え、記憶された検索条件を使用して予め定められた時間に検索を行い、ユーザ要求時にユーザインタフェース部240は検索結果を表示することを特徴とする。
【0066】
なお、本実施の形態においては、キー画像を複数の画像として使用して検索することに限定するものでなく、たとえば類似する画像グループの代表画像を使用して検索してもよい。
また、本実施の形態における画像検索装置203における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量抽出部210、画像検索データ記憶部220、画像検索実行部230をPC等のコンピュータで実現し、ユーザインタフェース部240を別のPC等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置203を実現することができる。
【0067】
また本発明の実施の形態に係る監視システムXにおいては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できることはいうまでもない。
【0068】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【0069】
200 ネットワーク
201−1〜201−n 撮像装置
202 画像記録装置
203 画像検索装置
210 画像特徴量抽出部
220 画像検索データ記憶部
230 画像検索実行部
240 ユーザインタフェース部
400 画面例
410 検索範囲入力画面
420 選択画像表示画面
430、431、432 検索結果表示画面
440、441、442、443、444 キー画像表示画面
450 画像再生画面
500、510、520、530 ボタン
X 監視システム
【技術分野】
【0001】
本発明は、画像の特徴量を使用して画像を検索する画像検索装置に係り、特に監視カメラ等の撮像装置の記録画像から検索条件に合致した画像を検索して表示する画像検索装置に関する。
【背景技術】
【0002】
近年、セキュリティ(安全)意識の高まりや警備の省力化の要求から、監視用の動画や静止画像のカメラ(監視カメラ)を用いた監視システムが注目されている。
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、近年、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのには、膨大な時間がかかるようになってきている。
【0003】
このため、センサーアラーム等の事象発生等の検出事象と連動して、必要な場合のみ撮像する画像録画技術が開発されている。
また、検出事象そのものを検索条件として記録画像を検索する検索技術が開発されている。
このような画像録画技術や検索技術を備えたシステムでは、検出事象を予め設定しておく必要があるという問題があった。
このため、予め設定されていない検出事象が発生した場合、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。
【0004】
これに対して、予め検出事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似の画像を検索する検索方法が提案されている。
この種の検索方法は、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として出力するものである。
【0005】
このような従来のキー画像から類似画像を検索する画像記録装置として、特許文献1を参照すると、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する画像記録装置及びその制御方法が記載されている(以下、従来技術1とする。)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−352780号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術1においては、キー画像の顔の向きにより、検索結果が異なるという問題があった。
すなわち、キー画像が正面顔の場合、正面顔が検索結果の上位に出力され、同一人物であっても斜め顔は検索結果の下位に出力される傾向があった。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向があった。
つまり、キー画像の選択によって検索結果の上位に含まれる画像は変化するため、キー画像の類似画像を検索できないことがあった。よって、撮影角度等が異なったキー画像を使用して複数回検索する必要があるため、検索の効率が悪かった。
【0008】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【0009】
本発明の画像検索装置は、検索条件に合致した画像を検索する画像検索装置において、画像の特徴量を抽出する特徴量抽出手段と、前記画像の特徴量を記憶する特徴量記憶手段と、画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース手段と、入力された前記検索条件をもとに前記画像の特徴量を使用して、画像を記録する画像記録装置の検索を行う画像検索手段とを備え、前記ユーザインタフェース手段は、一回の検索において、特定対象の複数の画像を前記検索条件として入力し、前記画像検索手段は、前記検索条件である複数の画像に含まれる画像を使用して検索を行い、前記ユーザインタフェース手段は、使用した画像毎の検索結果を類似度順に表示することを特徴とする。
本発明の画像検索装置は、前記ユーザインタフェース手段は、前記検索条件の複数の画像を表示し、前記検索条件となる画像が追加される毎に、前記検索条件から削除する候補画像を表示することを特徴とする。
【発明の効果】
【0010】
本発明によれば、複数の画像を検索条件として登録することで、対象の向きや撮影角度の違いによる検索見逃しを少なくすることができ、検索対象人物の映った画像をより多く得ることができる検索の効率の高い画像検索装置を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムXのシステム構成図である。
【図2】本発明の実施の形態に係る特定対象検索処理の流れを示すフローチャートである。
【図3】本発明の実施の形態に係る画像検索データ記憶部220のデータを示す概念図である。
【図4】本発明の実施の形態に係るユーザインタフェース部240の画面例である。
【図5】本発明の実施の形態に係る閾値以上削除処理のフローチャートである。
【図6】本発明の実施の形態に係る類似値最大削除処理のフローチャートである。
【図7】本発明の実施の形態に係る閾値以上削除処理のキー画像表示画面の画面例である。
【図8】本発明の実施の形態に係る類似値最大削除処理のキー画像表示画面の画面例である。
【図9】本発明の実施の形態に係る検索結果表示画面の画面例である。
【図10】本発明の実施の形態に係る自動検索処理のシーケンス図である。
【発明を実施するための形態】
【0012】
<実施の形態>
〔監視システムXの制御構成〕
以下で、本発明の実施の形態について、図面を参照して説明する。
図1を参照すると、監視システムXは、撮像装置201−1〜201−nと、画像記録装置202と、画像検索装置203とが、ネットワーク200にて接続されて構成されている。
【0013】
ネットワーク200は、各装置を結ぶ、LAN、光ファイバー、c.link、無線LAN、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク200は、専用線、イントラネット、インターネット等のIPネットワーク等を用いてもよい。
【0014】
撮像装置201−1〜201−nは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いて、ネットワーク200に接続して画像データを送信可能な、いわゆるIPカメラやネットワークカメラ等の撮像装置である。撮像装置201−1〜201−nは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置201−1〜201−nは、通常のテレビジョンカメラを用いて、画像記録装置202に直接接続し、画像記録装置202の画像・音声エンコーダ(図示せず)を用いて映像デジタルデータに変換するように構成してもよい。
【0015】
画像記録装置202は、撮像装置201−1〜201−nの映像等をネットワーク200経由で記録するネットワークデジタルレコーダ等の装置である。画像記録装置202は、CPU等の制御部や演算部と、内蔵のDRAMやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置202は、ネットワーク200を介して撮像装置201−1〜201−nより入力された画像データを、HDD等の記録媒体に記録する。
監視システムXにおいて、他の部位が画像記録装置202から画像を読み出す場合、画像記録装置202に対してカメラIDと時刻情報を指定することで、該当する画像を読み出すことができる。
【0016】
画像検索装置203は、ネットワーク200を介して画像記録装置202から取得した画像データを、液晶ディスプレイやCRT等のディスプレイモニタに画面表示し、画像検索を行うPC/AT互換機やMAC等であるPC(パーソナル・コンピュータ)等の専用の監視端末装置である。
画像検索装置203は、下記で説明する処理の制御を行うCPU、MPU、DSP(デジタル・シグナル・プロセッサ)、GPU(グラフィック・プロセッシング・ユニット)、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するRAM、ROM、HDD、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置203は、キーボードやマウス等のユーザ入力部を備え、画像記録装置202に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
【0017】
また、画像検索装置203は、画像特徴量抽出部210(特徴量抽出手段)、画像検索データ記憶部220(特徴量記憶手段)、画像検索実行部230(画像検索手段)、ユーザインタフェース部240(ユーザインタフェース手段)とを備えて構成される。
【0018】
画像特徴量抽出部210は、画像特徴量を抽出するDSPやこのDSP用のプログラムや制御部で実行されるプログラム等である。画像特徴量抽出部210は、例えば、画像記録装置202に記憶された画像データに対し画像認識技術を用いた人物検出、オブジェクト検出、画像特徴量の抽出を行う。また、画像特徴量抽出部210は、これらの抽出された画像特徴量を画像特徴量データとして出力する。
まず、画像特徴量抽出部210は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。画像特徴量抽出部210は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴(FFTやウェーブレット変換等を行ったときの周波数分布等)から着衣(服)であると検出するような技術を用いることができる。
画像特徴量抽出部210は、画像特徴量の算出としては、顔特徴量、オブジェクトの特徴量等を計算する。画像特徴量抽出部210は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。さらに、画像特徴量抽出部210は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量抽出部210は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。
【0019】
画像検索データ記憶部220は、画像検索に係る画像特徴量や画像データ(フレーム)や検索結果画像そのもの等を記憶する部位である。具体的には、画像検索データ記憶部220は、画像特徴量抽出部210が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のRAM等の主記憶装置、HDDやフラッシュメモリ等補助記憶装置から構成される。
また、画像検索データ記憶部220は、この画像抽出量データを、LANカード等のネットワーク送受信部(図示せず)を介して、画像記録装置202に記憶することもできる。
なお、画像検索データ記憶部220は、DMA(ダイレクト・メモリ・アクセス)等により、画像特徴量抽出部210が直接、各種データ等を記憶部に記憶するような構成としてもよい。
【0020】
画像検索実行部230は、入力された検索条件をもとに画像検索データ記憶部220を使用して、監視カメラ等の撮像装置で撮影した画像を記録する画像記録装置202の検索処理を行う部位である。
具体的には、画像検索実行部230は制御部で実行されるプログラム等により、ユーザインタフェース部240より検索条件を受取ると画像特徴量を画像検索データ記憶部220より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索実行部230は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索実行部230は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部240に応答する。
なお、キー画像の画像特徴量は、画像検索実行部230で計算してもよいし、キー画像の画像特徴量が画像検索データ記憶部220にある場合はそれを使用してもよい。
【0021】
ユーザインタフェース部240は、検索条件を入力し、検索結果を表示する部位である。具体的には、ユーザインタフェース部240は、ユーザ制御部で実行されるプログラム等により、検索条件を実行し、検索結果を液晶ディスプレイ等である表示部(図示せず)に表示する。また、ユーザインタフェース部240は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部(図示せず)からの入力を、OS(オペレーティングシステム)のAPI(Application Programming Interface)を用いて入力指示として検知する。また、ユーザインタフェース部240は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部(図示せず)に表示する。
さらに、ユーザインタフェース部240は、画像の再生要求があった場合、対応する画像を画像記録装置202に要求する。ユーザインタフェース部240は、画像記録装置202から応答画像を受信すると、画像再生画面450(図4参照)にその画像を表示する。このようにして、ユーザインタフェース部240は、画像記録装置202から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部240は、画像再生中に再生を停止させるなどして、画像記録装置202に記録された任意の画像を表示部に表示することができる。これら画像には、特定対象を様々な角度から撮影した画像などが含まれる。
ユーザインタフェース部240は、これらの画像や、これらの画像からオブジェクト検出や顔検出を行うことで得られるオブジェクトや顔などの座標領域の部分画像をキー画像として登録することができる。
【0022】
なお、画像検索装置203は、通常のOSがインストールされたPCの記憶部に記憶したプログラムにより実現してもよい。
さらに、画像特徴量抽出部210と、画像検索データ記憶部220と、画像検索実行部230とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置203の記憶部に記憶されていても、制御部内のROMやフラッシュメモリ等に記憶されていてもよい。
【0023】
〔監視システムXの画像検索処理〕
ここで、本発明の実施の形態に係る監視システムXを用いた画像検索処理についてより詳しく説明する。
本実施形態の画像検索処理においては、(1)ユーザの操作を開始の指示として複数回の検索を実行する特定対象検索処理と、(2)ユーザの設定に従って、設定された検索条件、検索時間により自動検索を行う自動検索処理を実行することができる。
【0024】
〈特定対象検索処理〉
まずは、(1)の特定対象検索処理について詳しく説明する。
上述のように、人物検索等を目的としている画像特徴量を利用した画像検索では、キー画像が正面顔の場合、正面顔が検索結果の上位を占めることが多い。さらに、同一人物であっても斜め顔は、検索結果の下位になる傾向がある。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向がある。
すなわち、キー画像の選択によって検索結果の上位に含まれる画像は変化するため、撮影角度等が異なったキー画像を使用して複数回検索することにより、検索対象人物の映った画像をより多く得ることができる。この場合、目視によりキー画像との類似性が低いと考えられる画像を新たなキー画像として用いて再度検索することにより、特徴量の検索範囲となる広い画像特徴量空間を効率的に検索できる。
このようにユーザがキー画像を変更しながら複数回の検索を実行する検索方法は、事件の起こった後などに、ある特定対象について画像検索をする場合に好適である。本実施形態においては、このような複数回の検索を簡単に実行できるユーザインタフェースを提供する。
以下で、この監視システムXを用いて、複数回の検索を実行する検索方法に係る特定対象検索処理について、図2のフローチャートを用いて、更に詳しく説明する。図2は、複数の画像を検索条件とした場合の画像検索実行部230の特定対象検索処理の流れを示す。
【0025】
まず、ステップS101において、画像特徴量抽出部210は、画像特徴量検出処理を行う。
具体的には、画像特徴量抽出部210は、監視カメラ等の撮像装置201−1〜201−nで撮影した時系列的に連続した画像フレームから一つの画像フレームを選択し、選択画像フレームの画像特徴量を抽出する。この際に、画像特徴量抽出部210が画像特徴量を検出する画像フレームは、画像記録装置202から供給されても、撮像装置201−1〜201−nから直接供給されてもよい。
画像特徴量抽出部210が選択する画像フレームは、所定時間毎に選択したり、画像に変化があった場合の画像フレームを選択したり、センサーアラーム等外部からの通知に同期して選択する等の各種の手法により選択することができる。
たとえば、画像に変化があった場合の画像フレームを選択する方法は、連続する画像フレームについて、その画像フレーム毎に色合い、形状等の変化を検知する。そして、画像特徴量抽出部210は、連続する画像フレームをその変化により単位に分割し、その単位での代表的なフレームを選択する。これらの画像フレームにおいて検知される画像特徴量としては、上述の人物やオブジェクトの検知に加えて、色合い、形状等の画像の特徴を示す多次元ベクトル等を用いることができる。すなわち、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の特徴量を使用できる。
画像特徴量抽出部210は、抽出した特徴量を画像検索データ記憶部220に保存する。
【0026】
〈画像検索処理に用いるデータ構造〉
ここで図3を参照して、特定対象検索処理、自動検索処理の両方で用いるデータ構造の例について説明する。
図3(a)は、画像検索データ記憶部220が用いる画像特徴量のデータ構造の例を示している。この画像検索データ記憶部220が用いる画像特徴量のデータは、登録IDD101、カメラIDD102、時刻D103、画像特徴量D104、縮小画像データD105、画像記録場所D106等により構成される。
登録IDD101は画像特徴量のデータを識別するIDである。
カメラIDD102は画像を撮影した撮像装置201−1〜201−nを同定するIDである。
時刻D103は画像フレームが撮像または記録された時刻をグリニッジ標準時(GMT)やフレーム数等により現したデータである。
画像特徴量D104は、画像フレームから画像特徴量抽出部210が抽出した画像特徴量データを記憶する。
縮小画像データD105は画像フレームの縮小画像データを記憶するデータである。この縮小画像データは、画像特徴量抽出部210等により、元の画像フレームから生成することができる。
画像記録場所D106は、画像記録装置202の場所(アドレス)等を同定するもので、画像記録装置202のIPアドレスや画像検索装置203の記憶部のアドレス等を記憶している。
【0027】
図3(b)、(c)は、画像検索実行部230が用いて画像検索データ記憶部220に記憶する検索結果のデータ構造の例を示している。図3(b)のデータを使用して画像検索データ記憶部220の画像特徴量のデータを読み出すことで、図3(c)のデータを得ることができる。
図3(b)の検索結果のデータは、登録IDD201、カメラIDD202、時刻D203、類似度D204等から構成される。このうち、登録IDD201は登録IDD101と、カメラIDD202はカメラIDD102と、時刻D203は時刻D103と、それぞれ同様のデータを用いることができる。類似度D204は、画像特徴量D104の類似度と同様の類似度の値を用いることができる。
図3(c)の検索結果のデータは、登録IDD301、カメラIDD302、時刻D303、類似度D304、縮小画像データD305、画像記録場所D306から構成される。登録IDD301は登録IDD101と、カメラIDD302はカメラIDD102と、時刻D303は時刻D103と、類似度D304は類似度D204と、縮小画像データD305は縮小画像データD105と、画像記録場所D306は画像記録場所D106と、それぞれ同様のデータを用いることができる。
【0028】
〈ユーザインタフェース部240の画面表示例〉
次に、図4を参照して、ユーザインタフェース部240によりユーザの操作を検知する際の画面表示の例ついて説明する。
図4の画面例400は、ユーザインタフェース部240が表示部に表示する表示画面の例である。画面例400は、検索範囲入力画面410、選択画像表示画面420、検索結果表示画面430、キー画像表示画面440、画像再生画面450等の表示欄から構成される。
検索範囲入力画面410は、画像検索を行う撮像装置201−1〜201−nを同定するカメラID(Identification)と検索時刻範囲を入力する表示欄である。カメラIDについては複数のカメラIDを指定してもよい。ユーザインタフェース部240は、検索範囲入力画面410の「実行」のボタン500の押下を検知すると、検索指示がなされたと判断する。なお、このカメラIDと検索時刻範囲のようなデータの構造については後述する。
選択画像表示画面420は、ユーザの入力部の指示を検知して選択した画像を表示する表示欄である。ユーザインタフェース部240は、この選択画像表示画面420の「キー画像登録」のボタン510の押下を検知して、表示された画像を画像検索のキー画像として新規追加する。キー画像には、画像記録装置202の記録画像の他に、画像ファイルやwebページの画像等のファイルを参照して使用することもできる。
検索結果表示画面430は、検索結果の画像や付加情報を表示する表示欄である。
キー画像表示画面440は、検索条件となるキー画像を表示する表示欄である。このキー画像表示画面440には、通常、登録済キー画像が表示されている。この上で、この表示欄に、上述のボタン510により新規追加されたキー画像と類似する登録済キー画像の削除候補画像を提示し、ユーザにより削除して最適なキー画像を選択させる。これにより、キー画像が多くなって検索の効率が悪くなることを防ぐことができる。
画像再生画面450は、画像記録装置202から読み出された画像を連続的に再生表示する表示欄である。
【0029】
ここで、再び図2を参照して、特定対象検索処理の説明を続ける。
ステップS102において、画像検索実行部230は、キー画像登録を行う際に、キー画像を複数削除候補とするか否か判定する。
このキー画像登録の処理においては、画像検索実行部230は、ユーザの設定により、(a)新規追加されたキー画像と類似度が所定の閾値よりも大きい既登録キー画像を削除候補画像として複数識別表示する場合に、Yesと判定する。
また、(b)新規追加されたキー画像と類似度がもっとも大きい登録済キー画像を削除候補画像として識別表示する場合に、Noと判定する。(b)の場合は、表示される候補画像は一枚となる。
Yesの場合、画像検索実行部230は、処理をステップS110に進める。
Noの場合、画像検索実行部230は、処理をステップS111に進める。
【0030】
ステップS110において、画像検索実行部230は、閾値以上削除処理を行う。
図5のフローチャートを参照して、この閾値以上削除処理について、詳しく説明する。
閾値以上削除処理は、上述の(a)の場合の処理であり、上述のように、新規追加されたキー画像と類似度が閾値よりも大きい既登録キー画像を削除候補画像としてキー画像表示画面440等に表示する。
この閾値以上登録処理においては、閾値を基に削除候補画像を表示するため、複数の候補画像が表示される場合や、候補画像が表示されない場合がある。
【0031】
まず、ステップS301において、画像検索実行部230は、検索キー画像追加検知処理を行う。
具体的には、画像検索実行部230は、ユーザインタフェース部240が図4の「キー画像登録」のボタン510の押下を検知した場合は、ユーザが検索キー画像追加の指示をしたと検知する。この場合、画像検索実行部230は、選択画像表示画面420で参照して表示されている画像を追加検索キー画像として画像検索データ記憶部220に記憶する。
それ以外の場合には、検索キー画像追加の指示をしていないと検知する。
【0032】
ステップS302において、画像検索実行部230は、ユーザが画像追加の指示をしたか否かを判定する。
Yesの場合、画像検索実行部230は、処理をステップS303に進める。
Noの場合、画像検索実行部230は、処理をステップS301に戻して、ユーザの検索キー画像追加の指示を待つ。
【0033】
ステップS303において、画像検索実行部230は、類似度計算処理を行う。
この処理において、画像検索実行部230は、追加検索キー画像と、登録済キー画像の類似度を計算する。具体的には、画像検索実行部230において既にユーザにより設定されているキー画像(登録済キー画像)と、追加検索キー画像との画像特徴量の距離を計算して、画像の類似度を得る計算を行う。
ここでは、上述のステップS101で計算した画像特徴量を用いて、
既に設定された登録済キー画像について、登録IDがiのキー画像の画像特徴量をXi=(xi1, xi2, ……, xin)、
ユーザが追加したい追加検索キー画像の画像特徴量をY=(y1, y2, ……, yn)、
画像特徴量の要素ごとの重要度を表す重み付け係数をW=(w1, w2, ……, wn)とし、
登録IDがiのフレームの登録済キー画像の画像特徴量と、追加検索キー画像との画像特徴量の距離Ziは、以下の式(1)にて定義可能である。
Zi=Σjwj|xij − yj| …… 式(1)
なお、jは、0≦j≦nを示す変数である。
特徴量の距離の値が小さいほど二つの画像は似ていることを示している。このため、Ziが小さいほど、登録IDがiのフレームの登録済キー画像と、追加検索キー画像との類似度は大きい。
【0034】
ステップS304において、画像検索実行部230は、類似度が大きい登録済キー画像があるかどうか判定する。すなわち、特徴量の距離がユーザにより設定された閾値よりも小さな特徴量の距離Ziのキー画像があるか場合はYesと判定し、ない場合にはNoと判定する。
Yesの場合、画像検索実行部230は、処理をステップS305に進める。
Noの場合は、画像検索実行部230は、処理をステップS309に進める。
【0035】
ステップS305において、画像検索実行部230は、類似度大のキー画像表示処理を行う。この処理において、画像検索実行部230は、類似度が大きい登録済キー画像をユーザインタフェース部240を用いて表示させる。
図7を参照して具体的に説明すると、ユーザインタフェース部240は、画像検索実行部230の指示により、追加検索キー画像と、新規追加されたキー画像と類似度の大きい登録済キー画像とを識別表示する。
【0036】
より具体的には、図7(a)のキー画像表示画面441は、図5のフローチャートの閾値以上削除処理に対応し、複数の候補画像が表示される例を示している。
図7(a)のキー画像表示画面441の例では、ユーザインタフェース部240は、新規追加キー画像と類似度の高いキー画像を色枠で囲み、識別表示している。このように表示することで、ユーザに新規追加キー画像と類似度の高いキー画像を分かりやすく示すことができ、冗長なキー画像を削除選択する場合の利便性を向上させることができる。
また、ユーザは、このキー画像表示画面441において、キーボードやポインティングデバイス等で各キー画像を選択し、「削除」のボタン520を押下して選択された追加検索キー画像又は登録済キー画像の削除を指示することができる。
加えて、ユーザは、「保存」のボタン530を押下して現在のキー画像表示画面441の新規検索キー画像と登録済キー画像を画像検索データ記憶部220に保存する指示が可能である。この場合、画像検索実行部230は、新規検索キー画像を、登録済キー画像に変更して画像検索データ記憶部220に記憶する。
これらの指示は、ユーザインタフェース部240が検知する。
【0037】
また、図7(b)のキー画像表示画面442は、互いに類似するキー画像を分類して表示する例を示している。
ユーザインタフェース部240は、図示しないボタン等を押下したことを検知して、キー画像表示画面441とキー画像表示画面442のように表示画像を変更可能である。
この例では、ユーザインタフェース部240は、キー画像表示画面442には類似する新規追加キー画像と登録済キー画像とを、画像グループとして表示している。そして、ユーザインタフェース部240は、画像グループの代表画像となる登録済キー画像を前面に表示し、グループに含まれる画像を代表画像からの類似度の大きさに従って背面に表示している。
ユーザが、表示したい画像グループをポインティングデバイス等で選択すると、ユーザインタフェース部240は、図7(c)のキー画像表示画面443に画面を遷移させて表示する。
なお、キー画像表示画面442においても、ボタン520又はボタン530により、新規追加キー画像の削除又は保存の指示が可能である。
また、キー画像表示画面442において、グループの代表の登録済キー画像を前面に表示し、新規追加キー画像をその登録済キー画像との類似度に従って、順番に表示可能である。そして、ユーザインタフェース部240は、ポインティングデバイスやキーボードの操作を検知して、この画像の表示の前面背面の順番を変更することもできる。
さらに、類似するキー画像のグループ分け方法としては、キー画像間の類似度を計算し、UPGMA(Unweighted Pair Group Method with Arithmetic mean)法やk−means法のようなクラスタリング等を行う方法を用いることができる。
【0038】
図7(c)のキー画像表示画面443は、グループに含まれる画像を表示する例を示している。上述したように、キー画像表示画面442において表示したいグループをポインティングデバイス等で選択することで、ユーザインタフェース部240は、グループに含まれる画像を表示する。
キー画像表示画面443においては、ボタン520又はボタン530により、新規追加キー画像の削除又は保存の指示が可能である。これにより、グループ内のどのキー画像を選択して登録するかを指示できる。
【0039】
再び図5を参照して説明を続ける。
ステップS306において、画像検索実行部230は、ユーザが追加検索キー画像の削除指示をしたか判定する。具体的には、ユーザインタフェース部240により、キー画像表示画面441又はキー画像表示画面442において、追加検索キー画像を選択して、「削除」のボタン520が押下されたかを判定する。
Yesの場合、画像検索実行部230は、キー画像表示画面441又はキー画像表示画面442の追加検索キー画像を削除し、キー画像登録処理を終了する。
Noの場合、画像検索実行部230は、処理をステップS307に進める。
【0040】
ステップS307において、画像検索実行部230は、ユーザが登録済キー画像の削除を指示したかを判定する。具体的には、ユーザインタフェース部240により、ユーザが類似度大の登録済キー画像を選択して、「削除」のボタン520が押下されたかを判定する。
Yesの場合、画像検索実行部230は、処理をステップS308に進める。
Noの場合、画像検索実行部230は、処理をステップS309に進める。
【0041】
ステップS308において、画像検索実行部230は、選択画像登録削除処理を行う。
具体的には、画像検索実行部230は、キー画像表示画面441又はキー画像表示画面442においてユーザにより選択された登録済キー画像を、画像検索データ記憶部220から削除する。
【0042】
ステップS309において、画像検索実行部230は、ユーザが現在の追加検索キー画像と登録済キー画像を保存するかを検知する。具体的には、ユーザインタフェース部240により、キー画像表示画面441、キー画像表示画面442、又はキー画像表示画面443において「保存」のボタン530が押下されたかを判定する。
Yesの場合、画像検索実行部230は、処理をステップS310に進める。
Noの場合、画像検索実行部230は、処理をステップS306に戻し、ユーザにより追加検索キー画像又は登録済キー画像の削除を選択させ、登録するキー画像を確定させる。
【0043】
ステップS310において、画像検索実行部230は、指定検索キー画像登録処理を行う。
具体的には、画像検索実行部230は、キー画像表示画面441、キー画像表示画面442、又はキー画像表示画面443において表示されている追加検索キー画像を含む登録済キー画像を、画像検索データ記憶部220に記憶する。
以上により、(a)新規追加されたキー画像と類似度がある閾値よりも大きい既登録キー画像を削除候補画像として識別表示する閾値以上削除処理のキー画像登録処理を終了する。その後、画像検索実行部230は、図2のステップS103に処理を進める。
【0044】
図2を再び参照すると、ステップS111において、画像検索実行部230は、類似値最大削除処理を行う。
以下で、図6のフローチャートを参照して、この類似値最大削除処理の説明をする。
類似値最大削除処理は、(b)新規追加されたキー画像と類似度がもっとも大きい既登録キー画像を削除候補画像として識別表示するキー画像登録処理の例である。
この処理においては、上述のように、類似度が最大の単一の画像を、削除候補の登録済キー画像として選択することができる。
【0045】
まず、画像検索実行部230は、ステップS321は図5のステップS301と、ステップS322はステップS302と、ステップS323はステップS303と、それぞれ同様の処理を行う。
【0046】
ステップS324において、画像検索実行部230は、類似度最大のキー画像識別処理を行う。
具体的には、ステップS323にて計算した類似度が最大、すなわち画像特徴量の距離Ziが最も小さい登録IDがiのフレームの登録済キー画像を選択して表示部に表示する。
【0047】
ここで図8を参照して、この類似度最大のキー画像識別処理をより具体的に説明する。
図8のキー画像表示画面444は類似値最大削除処理により、登録するキー画像の候補が表示される例を示している。
すなわち、画像検索実行部230は、ユーザインタフェース部240を用いて、キー画像表示画面444に、追加検索キー画像と、類似度が最大の登録済キー画像を1つ表示する。この際に、類似度が近い他のキー画像についても表示可能である。
この追加検索キー画像又は類似度が最大の登録済キー画像についても、ボタン520又はボタン530により、新規追加キー画像の削除又は保存の指示が可能である。
【0048】
その後、画像検索実行部230は、ステップS325は図5のステップS306と、ステップS326はステップS307と、ステップS327はステップS308と、ステップS328はステップS309と、ステップS329はステップS310と、それぞれ同様の処理を行う。
なお、ステップS328において、画像検索実行部230は、Noと判定した場合には、ステップS324に処理を戻して、類似度最大のキー画像をまた検索する。
以上により、(b)新規追加されたキー画像と類似度がもっとも大きい既登録キー画像を削除候補画像として識別表示する類似値最大削除処理を終了する。
その後、画像検索実行部230は、処理を図2のステップS103に進める。
【0049】
ここで、再び図2を参照して、特定対象検索処理の処理の流れを説明する。
ステップS103において、ユーザインタフェース部240は、検索処理が起動されたか否かを検知する。
すなわち、ユーザインタフェース部240は、OSのAPIを用いて、キーボードやポインティングデバイスにより、ユーザにより検索指示がされたかについて検知する。具体的には、ユーザインタフェース部240は、図4の検索範囲入力画面410の「実行」のボタン500が押下された場合は、検索指示がされたと検知する。
それ以外の場合には、ユーザインタフェース部240は、ユーザの指示に従って、キー画像の登録や検索条件の入力といった処理を行う。
【0050】
ステップS104において、画像検索実行部230は、ユーザインタフェース部240が検索指示がされたと検知した場合に、Yesと判定する。それ以外の場合には、Noと判定する。
Yesの場合は、画像検索実行部230は、ステップS105に処理を進めて、具体的な登録済キー画像と類似する画像の検索処理を実行する。
Noの場合は、画像検索実行部230は、ステップS103に処理を戻し、ユーザが検索指示をするまで待つ。
【0051】
ステップS105において、画像検索実行部230は、単一キー画像検索処理を行う。
この処理において、画像検索実行部230は、まず、キー画像表示画面440のキー画像を1枚使用して、類似画像を検索する。
具体的には、ステップS303の類似度計算処理と同様に、登録IDがiのフレームの登録済キー画像の画像特徴量と、検索範囲内のフレームの画像との間で、画像特徴量の距離Ziを検索する。
これにより、画像検索実行部230は、所定の閾値以上、類似度が高いフレームの画像を取得する。
【0052】
次に、ステップS106において、画像検索実行部230は、検索結果保存処理を行う。
具体的には、画像検索実行部230は、類似度が高いフレームの画像の登録IDと検索時の類似度等を検索結果として、画像検索データ記憶部220に記憶する。
【0053】
次に、ステップS107において、画像検索実行部230は、すべてのキー画像を検索終了したか判定する。
Yesの場合、画像検索実行部230は、処理をステップS108に進める。
Noの場合、画像検索実行部230は、処理をステップS105に戻し、登録された別のキー画像を1枚使用して同様の処理を行う。以下、同様に画像検索実行部230は、キー画像表示画面440の登録された全てのキー画像について類似画像を検索し、検索結果を保存する。
【0054】
ステップS108において、画像検索実行部230は、検索結果応答処理を行う。
具体的に、画像検索実行部230は、全てのキー画像について類似画像の検索終了後、画像検索データ記憶部220に記憶されている検索結果をユーザインタフェース部240に応答する。
ユーザインタフェース部240は、検索結果となる画像データ等を、類似度順に並べ替えて表示する。ユーザインタフェース部240が類似度順に並べ替えることにより、各キー画像に最も類似した画像が上位に表示される。すなわち、正面顔一枚で検索した場合には、検索結果の下位になる横顔画像も、キー画像に横顔画像が含まれており、その横顔のキー画像と類似度が大きければ、上位に表示される。キー画像に正面顔画像が含まれていて、その正面顔キー画像と類似度が大きい正面顔画像も、当然、上位に表示される。
また、ユーザインタフェース部240による、類似度順の並べ替えは、キー画像毎に類似度順に並べ替える方法を用いることができる。
【0055】
ここで図9を参照して、検索結果の並べ替えの表示について説明する。
図9(a)の検索結果表示画面431は、検索結果全体で類似度順に並べ替えて表示する例を示している。
図9(b)の検索結果表示画面432は、使用したキー画像毎に類似度順に並べ替えて表示する例を示している。最前面が最も類似度の高い画像で背面に進むに従って類似度の低い画像となる。また、検索により取得した類似度の高い画像が多いほど、左に表示するように構成してもよい。
なお、ユーザの要求に応じて、ユーザインタフェース部240が、これら二つの表示を切り替えて表示するように構成してもよい。
以上により、特定対象検索処理を終了する。
【0056】
〈自動検索処理〉
上述の特定対象検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、事件の事前抑止を目的とする場合、日や週単位に複数回の検索を行うことで、特定対象の動向把握をすることができると考えられる。しかしながら、人手をかけて毎日、毎時に検索を行うのは非効率的である。このため、画像検索装置203において、検索条件、検索時間を予め設定しておいて自動検索行い、検索結果を後で確認することが好適である。
以下で、図10のシーケンス図を参照して、このような設定された検索条件、検索時刻により自動検索を行う自動検索処理について説明する。
【0057】
ユーザインタフェース部240は、まず上述の図2の特定対象検索処理の画像特徴量検索処理、キー画像の登録処理と、検索条件の設定を行う。
これに加えて、ユーザインタフェース部240は、検索を実行する検索時刻のような時刻情報を設定する。設定された時刻情報は、画像検索実行部230が記憶部に記憶する。
【0058】
そして、設定された検索時刻になると、タスクマネージャのようなサービスやCRON等のデーモン等により画像検索実行部230が起動される。
起動された画像検索実行部230は、ステップS400の画像検索処理を実行する。この画像検索処理は、上述の図2のステップS105〜S107と同様に、複数のキー画像を用いて検索を行う。
【0059】
その後、ステップS401において、画像検索実行部230は、検索結果保存処理を行う。
具体的には、画像検索実行部230は、検索結果の画像データや類似度等を画像検索データ記憶部220に記憶する。
設定された検索時刻が複数ある場合は、画像検索実行部230は、指定時刻に起動されて画像検索処理と、検索結果保存処理とを繰り返す。
【0060】
また、ユーザインタフェース部240は、ユーザからの入力を検知すると画像検索実行部230に検索結果の要求を行う。
画像検索実行部230は、保存している検索結果をユーザインタフェース部240に応答する。
この検索結果の応答は、図2のステップS108の検索結果応答処理と同様に行う。
なお、この自動検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。
以上により、自動検索処理を終了する。
【0061】
以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術1のように、従来の人物検索等を目的としている画像特徴量を利用した画像検索では、キー画像が正面顔の場合、検索結果は正面顔が上位を占め、同一人物であっても斜め顔は、検索結果の下位になる傾向があった。逆に、斜め顔をキー画像に使用した場合、斜め顔が検索結果の上位を占める傾向があった。すなわち、キー画像の選択によって検索結果の上位に含まれる画像は変化するという問題があった。
これに対して、本発明の実施の形態に係る監視システムXの画像検索装置203は、撮影角度等が異なったキー画像を使用して容易に複数回検索することができるインタフェースを提供する。このように、撮影角度等が異なったキー画像を使用して複数検索することにより、検索対象人物の映った画像をより多く得ることができる。この場合、キー画像との類似性がある程度低い画像をキー画像として再度検索することにより、広い特徴量空間を効率的に検索できる。このようにユーザがキー画像を変更しながら複数回の検索を実施する方法は、事件の起こった後などにある特定対象について検索をする場合に好適である。
また、事件の事前抑止を目的とする場合、日や週単位に自動検索処理にて、複数回の検索を行うことで、特定対象の動向把握をすることができる。すなわち、検索条件、検索時間を予め設定しておき、自動検索行い、検索結果を後で確認できる。これにより、人手をかけて毎日、毎時に画像検索を行うよりも効率性を向上させることができる。
【0062】
このように、本発明の実施の形態に係る画像検索装置203は、映像監視システムにおける人物や物体等の画像特徴量を利用した画像検索において、効率的で利便性の高いユーザインタフェース部240を提供することができる。
具体的には、画像検索対象の複数のキー画像を検索条件として登録可能とすることで、検索対象の向きや撮影角度の違いによる検索の見逃しが少なくすることができる。これにより、効率的に、画像検索を行うことができる。
また、検索条件にキー画像を追加する毎に、検索条件から削除する候補画像を表示し、ユーザによる削除を可能とすることができる。これにより、冗長画像による検索処理を抑止することができ、高速な画像検索を実現することができる。
また、入力された検索条件を記憶し、記憶された検索条件を使用して自動検索を行うことも可能である。これにより、事件等の事前抑止に効果的なシステムを提供することができる。
【0063】
また、本発明の実施の形態に係る画像検索装置203のユーザインタフェース部240は、検索条件の複数の画像を表示し、検索条件となる画像が追加される毎に、検索条件から削除する候補画像を表示することを特徴とする。
【0064】
また、本発明の実施の形態に係る画像検索装置203のユーザインタフェース部240は、検索条件の複数の画像を類似するグループに分類して表示することを特徴とする。
【0065】
また、本発明の実施の形態に係る画像検索装置203は、入力された検索条件を記憶する画像検索データ記憶部220(記憶手段)を備え、記憶された検索条件を使用して予め定められた時間に検索を行い、ユーザ要求時にユーザインタフェース部240は検索結果を表示することを特徴とする。
【0066】
なお、本実施の形態においては、キー画像を複数の画像として使用して検索することに限定するものでなく、たとえば類似する画像グループの代表画像を使用して検索してもよい。
また、本実施の形態における画像検索装置203における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量抽出部210、画像検索データ記憶部220、画像検索実行部230をPC等のコンピュータで実現し、ユーザインタフェース部240を別のPC等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置203を実現することができる。
【0067】
また本発明の実施の形態に係る監視システムXにおいては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できることはいうまでもない。
【0068】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【0069】
200 ネットワーク
201−1〜201−n 撮像装置
202 画像記録装置
203 画像検索装置
210 画像特徴量抽出部
220 画像検索データ記憶部
230 画像検索実行部
240 ユーザインタフェース部
400 画面例
410 検索範囲入力画面
420 選択画像表示画面
430、431、432 検索結果表示画面
440、441、442、443、444 キー画像表示画面
450 画像再生画面
500、510、520、530 ボタン
X 監視システム
【特許請求の範囲】
【請求項1】
検索条件に合致した画像を検索する画像検索装置において、
画像の特徴量を抽出する特徴量抽出手段と、
前記画像の特徴量を記憶する特徴量記憶手段と、
画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース手段と、
入力された前記検索条件をもとに前記画像の特徴量を使用して、画像を記録する画像記録装置の検索を行う画像検索手段
とを備え、
前記ユーザインタフェース手段は、一回の検索において、特定対象の複数の画像を前記検索条件として入力し、前記画像検索手段は、前記検索条件である複数の画像に含まれる画像を使用して検索を行い、前記ユーザインタフェース手段は、使用した画像毎の検索結果を類似度順に表示する
ことを特徴とする画像検索装置。
【請求項2】
前記ユーザインタフェース手段は、前記検索条件の複数の画像を表示し、前記検索条件となる画像が追加される毎に、前記検索条件から削除する候補画像を表示する
ことを特徴とする請求項1の画像検索装置。
【請求項1】
検索条件に合致した画像を検索する画像検索装置において、
画像の特徴量を抽出する特徴量抽出手段と、
前記画像の特徴量を記憶する特徴量記憶手段と、
画像検索の検索条件を入力し、検索結果を表示するユーザインタフェース手段と、
入力された前記検索条件をもとに前記画像の特徴量を使用して、画像を記録する画像記録装置の検索を行う画像検索手段
とを備え、
前記ユーザインタフェース手段は、一回の検索において、特定対象の複数の画像を前記検索条件として入力し、前記画像検索手段は、前記検索条件である複数の画像に含まれる画像を使用して検索を行い、前記ユーザインタフェース手段は、使用した画像毎の検索結果を類似度順に表示する
ことを特徴とする画像検索装置。
【請求項2】
前記ユーザインタフェース手段は、前記検索条件の複数の画像を表示し、前記検索条件となる画像が追加される毎に、前記検索条件から削除する候補画像を表示する
ことを特徴とする請求項1の画像検索装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2011−48668(P2011−48668A)
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2009−197067(P2009−197067)
【出願日】平成21年8月27日(2009.8.27)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願日】平成21年8月27日(2009.8.27)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
[ Back to top ]