画像検索システム及び画像検索方法
【課題】人物領域を厳密に検出せず、人物又は人物の特定の部位に依存しない検索キーによって、対象の人物を効率的に検索する。
【解決手段】ユーザによって指定された画像に類似する画像を検索する画像検索システムであって、カメラによって撮影された映像などから取得した画像を所定の大きさのブロックに分割し、色ヒストグラムに基づいて、ブロックの特徴量を抽出し、画像の識別子と、ブロックがどの位置にあるかを示す情報と、ブロックの特徴量と、の対応関係を示す第１の情報を作成し、第１の情報に基づいて、分割されたブロックのうち、ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、第１の検索キーに類似する所定の数のブロックを検索結果として検出し、検索結果を含む画像をユーザに表示する。
【解決手段】ユーザによって指定された画像に類似する画像を検索する画像検索システムであって、カメラによって撮影された映像などから取得した画像を所定の大きさのブロックに分割し、色ヒストグラムに基づいて、ブロックの特徴量を抽出し、画像の識別子と、ブロックがどの位置にあるかを示す情報と、ブロックの特徴量と、の対応関係を示す第１の情報を作成し、第１の情報に基づいて、分割されたブロックのうち、ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、第１の検索キーに類似する所定の数のブロックを検索結果として検出し、検索結果を含む画像をユーザに表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報検索に関し、特に、撮影された画像情報から人物又は物体を検索する画像検索システム及び画像検索方法に関する。
【背景技術】
【０００２】
近年、凶悪犯罪が増加し、セキュリティの意識が向上している。これに伴い、店舗、空港などの人が集まる場所に、多くの監視カメラが設置されている。これらの監視カメラによって撮影された映像情報は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。
【０００３】
また、ＩＰカメラの普及によって、ネットワーク経由で多数のカメラが接続され、さらに、蓄積装置の容量が大きくなっているため、蓄積装置には大量の映像情報が格納されている。したがって、従来のように、格納された映像情報を目視によって確認することが非常に困難になっている。
【０００４】
そこで、このような大量の映像情報から、特定の人物又は物体が映っている画像を検索し、検索された画像を提示するために、様々な類似検索技術が提案されている。ここで、類似検索技術とは、対象の情報から、ユーザによって指定された検索キーに類似する情報を検出し、検出されたデータを提示する技術である。特に、類似画像検索技術とは、検索キーとなる画像から取得した色合い、形状などの特徴量に基づいて、検索キーの画像との類似度が大きい画像を検索する技術である。人物を検索する場合、顔の画像、服の色などの特徴を検索キーとして用いることができる。
【０００５】
ここで、エッジ情報及び色情報を用いたクラスタリングによって、蓄積された映像のフレーム画像を複数の領域に分割する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載された方法では、まず、エッジ抽出及び平滑化によって、フレーム画像からエッジ画像を作成する。次に、該フレーム画像の画素値を用いてクラスタリングを実行し、各領域をラベリングする。ラベリングされた任意の二つの領域の境界上にエッジがない場合、それらの二つの領域を統合する。そして、各領域から色のヒストグラム、セントラルモーメントなどの特徴量を抽出し、抽出された特徴量を用いて、検索を実行する。
【０００６】
また、映像のフレーム画像から各カメラの背景画像を作成し、作成された背景画像と原画像との差分に基づいて、人物領域を抽出する方法が提案されている（例えば、特許文献２参照）。特許文献２に記載された方法では、抽出された人物領域全体の画素値から作成されたヒストグラム、及び人物領域を複数の領域に分割した各部分領域から作成されたヒストグラムを用いて、人物の特徴量を算出し、算出された特徴量を検索に利用する。
【０００７】
また、映像のフレーム画像のうち、移動する物体の領域を矩形領域として抽出し、抽出された矩形領域を複数のブロックに分割した後、分割されたブロックの各々から代表色を抽出する方法が提案されている（例えば、特許文献３）。なお、抽出された矩形領域をブロックに分割する方法には、単純に十字に四分割する方法、色情報を用いて、頭、上半身、下半身、足などの領域に分割する方法がある。特許文献３に記載された方法では、ユーザが指定した人物か代表色を抽出し、同じ位置関係にある各ブロックの代表色を比較することによって、人物を検索する。具体的には、各ブロックの上半身の色、靴の色などを比較することによって、類似度を計算する。つまり、人物の各部位の相対的な位置関係を考慮し、人物を同定している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１３３４１２号公報
【特許文献２】特開２００１−２６８６５７号公報
【特許文献３】特開２００５−２０２９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
映像から所望の人物又は物体を検索することを目的とする従来の画像検索システムには、以下に示す問題があった。
【００１０】
図２３は、従来の画像検索システムによって検出される人物領域を示す説明図である。
【００１１】
図２３の左図（Ａ）は、画像から人物領域を厳密に切り出した図である。中図（Ｂ）は、人物領域を矩形領域として切り出して、切り出された矩形領域を四等分した図である。右図（Ｃ）は、人物領域を矩形領域として切り出し、切り出された矩形領域を人物の部位によって分割した図である。
【００１２】
まず、特許文献１及び２に記載された方法では、図２３の（Ａ）の破線で示すように人物の形状を囲んだ人物領域が抽出されるが、そもそも人物領域と背景とを厳密に分けることが難しいので、抽出された人物領域の精度が低い。このため、所望の検索結果が得られないことが多い。
【００１３】
したがって、人物領域を厳密に抽出せずに、領域の特徴量を抽出し、抽出された特徴量を検索に利用する方法が考えられた。例えば、特許文献３に記載された方法では、図２３の（Ｂ）又は（Ｃ）に示す破線のように、抽出された人物領域を大まかな矩形領域で囲み、その矩形領域を複数のブロックに分割する。しかし、この方法では、分割されたブロックを検索キーとする場合、ブロックの互いの位置関係を考慮しなければならない。
【００１４】
具体的には、例えば、図２３の（Ｂ）に示したブロックでは、検索キーとなる人物を含む画像と検索対象となる人物を含む画像と比較するために、それぞれの左上のブロック、右上のブロック、左下のブロック、右下のブロックを比較しなければならない。
【００１５】
このため、検索キーとなる人物と検索対象となる人物との姿勢が異なる場合、又はカメラに映っている人物の領域が異なる場合、各ブロックに含まれる人物の部位が異なるので、検索の精度は低下する。例えば、起立した状態の人物と、座っている状態の人物とを比較することは難しい。また、全身が映っている人物と、上半身のみが映っている人物とを比較することは難しい。
【００１６】
このように人物の特徴量に基づいて人物を検索する画像検索システムでは、そもそも人物が存在している領域を厳密に検出することが難しいので、人物領域と判定された領域からどのような特徴量を抽出したとしても、検索の精度は低い。また、人物領域を厳密に検出せず、大まかな矩形領域で囲まれた人物領域を、例えば、左上部分、上半身などといった何らかの意味を持つ領域に分割したとしても、検索の精度は、人物の姿勢及び大きさに影響される。
【００１７】
本発明は前述した問題に鑑みてなされたものであって、人物領域を厳密に検出せず、人物又は人物の特定の部位に依存しない検索キーによって、対象の人物を効率的に検索することができる画像検索システムを提供することを目的とする。なお、本画像検索システムは、人物のみならず移動する物体を検索することもできる。
【課題を解決するための手段】
【００１８】
本発明の代表的な一例を示せば以下のとおりである。すなわち、ユーザによって指定された画像に類似する画像を検索する画像検索システムであって、プロセッサと、前記プロセッサに接続されるメモリと、記憶装置とを備える少なくとも一以上の計算機を備え、前記プロセッサは、カメラによって撮影された映像、又は前記記憶装置に記憶された映像を取得し、前記取得された映像から、単位時間当たりに所定の枚数の画像を抽出し、前記抽出された画像を所定の大きさのブロックに分割し、色ヒストグラムに基づいて、前記分割されたブロックの特徴量を抽出し、前記抽出された画像の識別子と、前記抽出された画像の領域のうちで前記ブロックがどの位置にあるかを示す情報と、前記抽出されたブロックの特徴量と、の対応関係を示す第１の情報を作成し、前記第１の情報に基づいて、前記分割されたブロックのうち、前記ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、前記第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、前記第１の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする。
【発明の効果】
【００１９】
本発明の一実施形態によれば、ユーザが所望する人物又は物体を効率的に検索することができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態の画像検索システムの構成を示すブロック図である。
【図２】第１の実施形態の画像登録処理を示すブロック図である。
【図３】第１の実施形態のブロック分割処理を示すフローチャートである。
【図４】第１の実施形態のブロック分割処理によって取得される画像を示す説明図である。
【図５】第１の実施形態の検索処理を示すブロック図である。
【図６】第１の実施形態のブロック選択時に表示される画像を示す説明図である。
【図７】第１の実施形態の検索結果統合処理を示すフローチャートである。
【図８】第２の実施形態の画像検索システムの構成を示すブロック図である。
【図９】第２の実施形態の画像登録処理を示すブロック図である。
【図１０】第２の実施形態のブロック分割処理を示すフローチャートである。
【図１１】第２の実施形態の検索処理を示すブロック図である。
【図１２】第２の実施形態の検索処理を示すフローチャートである。
【図１３】第３の実施形態の検索処理を示すブロック図である。
【図１４】第３の実施形態の複数ブロック選択時に表示される画像を示す説明図である。
【図１５】第３の実施形態の検索結果統合処理を示すフローチャートである。
【図１６】第４の実施形態の検索処理を示すブロック図である。
【図１７】第４の実施形態の検索キー領域指定時に表示される画像を示す説明図である。
【図１８】第４の実施形態の検索結果の表示画面を示す説明図である。
【図１９】第１の実施形態の画像管理情報を示す説明図である。
【図２０】第１の実施形態の特徴量管理情報を示す説明図である。
【図２１】第１の実施形態の検索処理を示すフローチャートである。
【図２２】第４の実施形態の検索結果統合処理を示すフローチャートである。
【図２３】従来の画像検索システムによって検出される人物領域を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を、図面を参照して説明する。
【００２２】
［実施形態１］
以下、本発明の第１の実施形態の画像検索システムについて、図面に従って説明する。
【００２３】
図１は、第１の実施形態の画像検索システムの構成を示すブロック図である。
【００２４】
第１の実施形態の画像検索システムは、サーバ計算機１１０、クライアント計算機１３０、画像データベース１４０、特徴量データベース１５０、及びカメラ１６０を備える。各装置は、通信基盤１２０によって相互に接続される。
【００２５】
サーバ計算機１１０は、外部インタフェース１１１、中央処理演算装置（ＣＰＵ）１１２、メモリ１１３及び大容量外部記憶装置（ＨＤ）１１４を備える。サーバ計算機１１０は、検索エンジンが稼動する計算機であり、通信基盤１２０を経由し、クライアント計算機１３０に検索のサービスを提供する。
【００２６】
外部インタフェース１１１は、サーバ計算機１１０を通信基盤１２０に接続するためのインタフェース（Ｉ／Ｆ）である。ＣＰＵ１１２は、サーバ計算機の処理を制御するプロセッサである。メモリ１１３は、ＣＰＵ１１２によって実行される制御処理のための作業領域であり、各種データ、及び、ＨＤ１１４からロードされたプログラムを格納する。ＨＤ１１４は、ハードディスクなどの大容量記憶装置であり、ＣＰＵ１１２によって実行されるプログラム、データなどを格納する。
【００２７】
クライアント計算機１３０は、ＣＲＴなどのディスプレイ装置を備え、ディスプレイ装置に、サーバ計算機１１０によって作成された出力画面及びインタフェース画面などを表示する。また、クライアント計算機１３０は、キーボード、マウスなどの入力装置を備え、ユーザが入力装置を操作することによって入力したデータ、コマンドなどをサーバ計算機１１０に出力する。
【００２８】
なお、本実施形態の画像検索システムは、ネットワークを介して接続されたサーバ計算機１１０とクライアント計算機１３０とがサービスを提供する構成であるが、一般的なパーソナルコンピュータが画像検索のアプリケーションによって検索のサービスを提供する構成であってもよい。
【００２９】
画像データベース１４０は、画像又は画像のサムネイルを格納するためのデータベースであり、例えば、画像管理情報（図１９参照）を格納する。また、特徴量データベース１５０は、対象とする画像から抽出された特徴量及び検索用のインデクスを格納するためのデータベースであり、例えば、特徴量管理情報（図２０参照）を格納する。
【００３０】
図１９は、第１の実施形態の画像管理情報２０００を示す説明図である。
【００３１】
画像管理情報２０００は、画像ＩＤ２００１、カメラＩＤ２００２、撮影時刻２００３、及び画像２００４を含む。画像ＩＤ２００１は、画像を識別するための識別子である。カメラＩＤ２００２は、画像を撮影したカメラを識別するための識別子である。撮影時刻２００３は、画像を撮影した時刻情報である。画像２００４は、検索の対象となる画像である。なお、画像２００４は、画像自身（例えば、ＪＰＥＧデータ）ではなく、画像へのポインタ情報であってもよい。
【００３２】
図２０は、第１の実施形態の特徴量管理情報２１００を示す説明図である。
【００３３】
特徴量管理情報２１００は、特徴量ＩＤ２１０１、画像ＩＤ２１０２、ブロック位置２１０３及び２１０４を含む。特徴量ＩＤ２１０１は、特徴量を識別するための識別子である。画像ＩＤ２１０２は、図１９の画像２００４に格納された画像を識別するための識別子である。
【００３４】
ブロック位置２１０３は、画像ＩＤ２１０２によって特定される画像に含まれるブロック（矩形領域）の位置を示す情報である。例えば、ブロック位置は、矩形領域の左上の点のＸ座標及びＹ座標と右下の点のＸ座標及びＹ座標とによって示される。また、矩形領域の左上の点のＸ座標及びＹ座標と矩形領域の幅及び高さによって示されてもよい。
【００３５】
特徴量ベクトル２１０４は、画像ＩＤ２１０２によって特定される画像のうち、ブロック位置２１０３によって特定される領域から抽出された特徴量ベクトルである。特徴量ベクトルとは、後述する図２の特徴量抽出部２０４によって、例えば、色ヒストグラムに基づいて作成される多次元ベクトルである。
【００３６】
なお、画像データベース１４０及び特徴量データベース１５０は、サーバ計算機１１０が備えるＨＤ１１４に格納されてもよいし、ＨＤ１１４とは異なる他のハードディスクに格納されてもよい。
【００３７】
カメラ１６０Ａから１６０Ｎは、追跡対象エリアに設置されたカメラである。以下、カメラ１６０Ａから１６０Ｎのいずれにも共通する説明をする場合、その説明において、カメラ１６０Ａから１６０Ｎを総称してカメラ１６０と記載する。
【００３８】
以下に、画像登録処理について説明する。
【００３９】
図２は、第１の実施形態の画像登録処理を示すブロック図である。
【００４０】
本実施形態の画像検索システムは、映像入力部２０１、静止画抽出部２０２、ブロック分割部２０３、及び特徴量抽出部２０４によって、画像登録処理を実行し、検索対象の画像の情報を特徴量データベース１５０及び画像データベース１４０に格納する。なお、図１に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、映像入力部２０１、静止画抽出部２０２、ブロック分割部２０３、特徴量抽出部２０４の処理を実現する。
【００４１】
まず、映像入力部２０１は、カメラ１６０によって撮影された映像情報を取得する。なお、映像入力部２０１は、ＨＤ１１４又は任意の記録媒体に格納された映像情報を取得してもよい。
【００４２】
次に、静止画抽出部２０２は、映像入力部２０１によって取得した映像情報から静止画フレーム（画像）を作成する。なお、静止画抽出部２０２は、ユーザの指定によって、１秒間当たりの映像データから、何枚の画像を作成するのかを設定することができる。
【００４３】
次に、ブロック分割部２０３は、ブロック分割処理を実行し、特徴量抽出の対象となるブロックを決定する。具体的には、ブロック分割部２０３は、静止画抽出部２０２によって作成された画像が前景（人物又は物体が映っている領域）を含むか否かを判定し、画像が前景を含むと判定された場合、画像をブロックに分割する。ブロック分割処理の詳細については図３を用いて後述する。
【００４４】
また、ブロック分割部２０３は、前景を含む画像（人物が映っている画像）を選択し、選択された画像の情報を示す画像管理情報２０００を作成し、作成された画像管理情報２０００を画像データベース１４０に格納する。
【００４５】
具体的には、ブロック分割部２０３は、図１９に示した画像管理情報２０００の各エントリの画像ＩＤ２００１、カメラＩＤ２００２、撮影時刻２００３及び画像２００４に、それぞれ、前景の領域を含む画像に付与された画像の識別子、画像を撮影したカメラの識別子、撮影時刻及び画像のデータを格納する。ここで、画像ＩＤ２００１は、例えば、画像を識別するための任意の数字である。また、画像２００４には、画像のデータそのものが格納されてもよいし、画像から作成されたサムネイルが格納されてもよい。また、画像を参照するためのリンク情報が格納されてもよい。なお、ブロック分割部２０３は、画像データベース１４０に、すべての画像を格納しなくてもよい。
【００４６】
次に、特徴量抽出部２０４は、ブロック分割部２０３によって分割され、特徴量抽出の対象に決定された各ブロックの特徴量を、例えば、色情報に基づいて、抽出する。具体的には、特徴量抽出部２０４は、ブロック分割部２０３によって分割されたブロックのうちの、前景を含むと判定された特徴量抽出の対象となるブロックを、さらに細かい格子状の領域に分割する。そして、特徴量抽出部２０４は、分割された各領域の色ヒストグラムを計算し、計算された色ヒストグラムに基づいて、多次元ベクトル（特徴量ベクトル）を作成する。
【００４７】
なお、特徴量抽出部２０４は、色情報のほか、輝度値、明度値などの情報、及びやそれらを組み合わせた情報によって、各ブロックの特徴を示す特徴量ベクトルを作成してもよい。また、特徴量抽出部２０４は、ブロックの一部の領域の特徴量ベクトルを作成してもよい。
【００４８】
また、特徴量抽出部２０４は、特徴量管理情報２１００を作成し、作成された特徴量管理情報２１００を特徴量データベース１５０に格納する。具体的には、特徴量抽出部２０４は、図２０に示した特徴量管理情報２１００のエントリの特徴量ＩＤ２１０１、画像ＩＤ２１０２、ブロック位置２１０３、及び特徴量ベクトル２１０４に、それぞれ、特徴量を識別するため識別子、元画像の識別子、特徴量が抽出されたブロックの位置情報、及びブロックから抽出された特徴量ベクトルを格納する。
【００４９】
以上の処理によって、画像登録処理が終了する。後述する図５に示す検索処理の対象は、各データベースに格納された画像管理情報２０００及び特徴量管理情報２１００である。なお、画像登録処理は、あらかじめ実行されるのではなく、ユーザが検索処理を実行する時に実行されてもよい。
【００５０】
以下に、ブロック分割部２０３の処理の詳細について説明する。
【００５１】
図３は、第１の実施形態のブロック分割処理を示すフローチャートである。
【００５２】
まず、ブロック分割部２０３は、静止画抽出部２０２によって作成された画像を取得する（Ｓ１０１）。ステップＳ１０１において、ブロック分割部２０３が取得した画像の一部は、例えば、後述する図４に示す（Ａ）である。
【００５３】
次に、ブロック分割部２０３は、背景差分値を計算する（Ｓ１０２）。具体的には、まず、ブロック分割部２０３は、事前に用意された背景画像をグレースケールに変換する。ここで、背景画像とは、例えば、取得した画像と同じ範囲が撮影された画像であって、人物又は物体が映っていない背景のみの画像である。
【００５４】
次に、ブロック分割部２０３は、取得した画像をグレースケールに変換する。そして、グレースケールに変換された背景画像と、グレースケールに変換された画像と、を比較することによって、各画像の画素の差分値（背景差分値）を計算する。取得した画像の領域のうち、背景差分値が大きい領域は、「背景」とは異なった人物又は物体が映っている可能性が高いので、ブロック分割部２０３は、背景差分値が大きい領域を「前景」と判定する。ステップＳ１０２において、背景差分値によって表わされる背景差分画像は、例えば、後述する図４の（Ｂ）である。
【００５５】
次に、ブロック分割部２０３は、ステップＳ１０２によって得られた背景差分画像を所定の大きさのブロックに分割する（Ｓ１０３）。ステップＳ１０３において、ブロック分割部２０３によって格子状のブロックに分割された背景差分画像は、例えば、後述する図４の（Ｃ）である。なお、ブロック分割部２０３は、取得した画像に映っている人物又は物体の大きさに応じて、ブロックの大きさ、又は分割数を変更してもよい。また、ブロックの大きさは、すべて同じでもよいし、画像の領域に応じて変更されてもよい。例えば、画像の上部、すなわち、撮影範囲の奥方向のブロックを画像の下部と比べて小さくしてもよい。また、静止画の上部には小さい物体しか映っていないことが多いので、画像の上部を特徴量抽出の対象としなくてもよい。
【００５６】
次に、ブロック分割部２０３は、各ブロックの前景度を計算する（Ｓ１０４）。具体的には、まず、ブロック分割部２０３は、取得した画像に対応する背景差分画像の各ブロックの背景差分値の合計を計算する。次に、計算された各ブロックの背景差分値の合計値を各ブロックの前景度に設定する。なお、ブロック分割部２０３は、分割された各ブロックの大きさが異なる場合、ブロックの面積に応じて、背景差分値の合計値を正規化する。
【００５７】
最後に、ブロック分割部２０３は、特徴量抽出の対象となるブロックを決定する（Ｓ１０５）。
【００５８】
ここで、例えば、ブロック分割部２０３は、ブロックの前景度が所定の閾値を越える場合、前景度が大きいブロックには背景とは異なった人物又は物体が映っている可能性が高いので、そのブロックを特徴量抽出の対象としてもよい。また、前景度の大きさの順にソートされた各ブロックのうち、前景度が大きいブロックを所定の数だけ選択し、選択されたブロックを特徴量抽出の対象としてもよい。ステップＳ１０５において、ブロック分割部２０３によって決定された特徴量抽出の対象となるブロックは、例えば、後述する図４の（Ｄ）に示される網掛けのブロックである。
【００５９】
なお、ブロック分割部２０３は、ステップＳ１０１からＳ１０４の処理を省略してもよい。この場合、ブロック分割部２０３は、取得した画像を格子状のブロックに分割し、分割された各ブロックを特徴量抽出の対象に決定してもよい。
【００６０】
図４は、第１の実施形態のブロック分割処理によって取得される画像を示す説明図である。
【００６１】
左上図（Ａ）は、ブロック分割部２０３によってはじめに取得した画像の一部であり、例えば、人物が映っている画像である。右上図（Ｂ）は、ブロック分割部２０３によって作成された背景差分画像であり、人物又は物体（前景）が映っている可能性の高い領域が背景差分値によって示される。
【００６２】
左下図（Ｃ）は、ブロック分割部２０３によって格子状のブロックに分割された背景差分画像である。右下図（Ｄ）は、ブロック分割部２０３によって決定された特徴量抽出の対象となるブロックを示す画像である。特徴量抽出の対象となるブロック領域は網掛けされている。
【００６３】
以下に、検索処理の詳細について説明する。
【００６４】
図５は、第１の実施形態の検索処理を示すブロック図である。
【００６５】
本実施形態の画像検索システムは、画像取得部３０１、ブロック分割部３０２、画像表示部３０３、ブロック選択部３０４、検索部３０５、検索結果統合部３０６、検索結果表示部３０７、画像データベース１４０及び特徴量データベース１５０によって、検索処理を実行する。なお、図１に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、画像取得部３０１、ブロック分割部３０２、画像表示部３０３、ブロック選択部３０４、検索部３０５、検索結果統合部３０６、検索結果表示部３０７の処理を実現する。
【００６６】
画像取得部３０１は、カメラ１６０によって撮影された映像から抽出された画像から、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。
【００６７】
又は、画像取得部３０１は、画像データベース１４０の画像管理情報２０００から、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。この場合、画像検索システムは、ユーザがカメラ番号（カメラＩＤ）、画像の撮影時刻などを参照することによって検索キーとなるブロックを含む画像を選択することができるインタフェース画面を、クライアント計算機１３０のディスプレイに表示してもよい。
【００６８】
画像取得部３０１がカメラ１６０から画像を取得した場合、ブロック分割部３０２は、図２に示したブロック分割部２０３と同じ処理によって、取得した画像をブロックに分割し、分割されたブロックのうちで特徴量抽出の対象となるブロックを決定する。
【００６９】
一方、画像取得部３０１が画像データベース１４０から画像を取得した場合、既にデータ登録処理は終了しているので、ブロック分割部３０２は、特徴量データベース１５０の特徴量管理情報２１００から、取得した画像に対応する画像ＩＤ及びブロック位置を取得する。
【００７０】
次に、画像表示部３０３は、クライアント計算機１３０のディスプレイに取得した画像を表示する。この場合、ブロック分割部３０２によって取得したブロック位置の情報も合わせて表示する。
【００７１】
図６は、第１の実施形態のブロック選択時に表示される画像を示す説明図である。
【００７２】
右図（Ａ）は、検索キー候補のブロックを示す。左図（Ｂ）のブロック４０１は、ユーザによって、検索キーとして選択されたブロックである。
【００７３】
なお、画像表示部３０３は、検索キー候補のブロックを表示する場合、図６の（Ａ）に示したように、取得した画像の検索キー候補の各ブロックを矩形で表示してもよいし、また、取得した画像の横に検索キー候補の各ブロックを並べて表示してもよい。
【００７４】
次に、ブロック選択部３０４は、ユーザによって選択された検索キーとなるブロックを取得する。なお、ユーザは、クライアント計算機１３０のディスプレイに表示された画像に含まれる各ブロックから、マウスなどの入力装置を用いて検索キーとなるブロックを選択することができる。
【００７５】
また、画像表示部３０３は、選択された検索キーのブロックを明示するために、例えば、選択されたブロックの矩形を着色してもよいし、矩形の線を太くしてもよい。また、選択されたブロックの矩形の内部を着色してもよい。
【００７６】
次に、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、選択された検索キーのブロックの特徴量と類似する特徴量を持つブロックを検索し、検索結果を取得する。検索部３０５が実行する検索処理の詳細については、図２１を用いて後述する。
【００７７】
なお、本実施形態では、検索結果表示部３０７が、検索結果のブロックではなく、検索結果のブロックを含む画像（検索結果画像）を表示するので、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、検索結果のブロックを含む画像の画像ＩＤを取得する。
【００７８】
次に、検索結果統合部３０６は、検索部３０５によって取得した検索結果を統合し、検索結果表示リストを作成する。検索結果統合部３０６が実行する検索結果統合処理の詳細については、図７を用いて後述する。
【００７９】
検索結果表示部３０７は、クライアント計算機１３０のディスプレイに、検索結果統合部３０６によって作成された検索結果表示リストに含まれる画像ＩＤを持つ画像を表示する。この場合、検索結果表示部３０７は、画像のみを表示してもよいし、矩形で示された検索結果のブロックを含む画像を表示してもよい。
【００８０】
以下に、検索部３０５が実行する検索処理の詳細について説明する。
【００８１】
図２１は、第１の実施形態の検索処理を示すフローチャートである
検索部３０５は、まず、選択されたブロックの特徴量を取得する（Ｓ６０１）。なお、画像取得部３０１がカメラ１６０から画像を取得した場合、検索部３０５は、図２に示した特徴量抽出部２０４と同じ処理を実行し、選択されたブロックの特徴量を抽出する。一方、画像取得部３０１が画像データベース１４０から画像を取得した場合、取得した画像の各ブロックの特徴量は既に計算されているので、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、選択されたブロックの特徴量を取得する。
【００８２】
次に、検索部３０５は、選択された検索キーのブロックの特徴量と特徴量管理情報２１００の各エントリの特徴量との間の類似度を計算する（Ｓ６０２）。本実施形態では、類似度を計算するために、各特徴量ベクトルの間のユークリッド距離を用いる。なお、各特徴量の間の類似度は、ユークリッド距離のほか、例えば、マンハッタン距離などを用いて計算されてもよい。
【００８３】
最後に、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、検索キーのブロックとの類似度が大きいＮ件のブロックを検索結果として取得する（Ｓ６０３）。ここで、Ｎは、検索結果表示部３０７が一度に表示することができる件数よりも十分大きい数でもよい。例えば、表示することができる件数が２０であるとすると、ステップＳ６０３において取得される検索結果の数Ｎは１０００程度が好ましい。
【００８４】
以下に、検索結果統合部３０６が実行する検索結果統合処理の詳細について説明する。
【００８５】
図７は、第１の実施形態の検索結果統合処理を示すフローチャートである。
【００８６】
まず、検索結果統合部３０６は、検索部３０５から出力された、検索キーのブロックとの類似度が大きいＮ件の検索結果を取得し、カウンタｉを０にする（Ｓ２０１）。さらに、検索結果表示リストを初期化する。ここで、検索結果表示リストとは、検索結果表示部３０７が検索結果のブロックを含む画像（検索結果画像）を表示するために、検索結果統合部３０６によって作成される、画像ＩＤとその画像ＩＤを持つ画像に設定された類似度とが対応付けられたリストである。
【００８７】
次に、検索結果統合部３０６は、特徴量データベース１５０の特徴量管理情報２１００から、Ｎ件の検索結果のブロックのうち、類似度がｉ番目のブロックを含む画像の画像ＩＤを取得する（Ｓ２０２）。
【００８８】
その後、検索結果統合部３０６は、取得した画像ＩＤが検索結果表示リストに含まれるか否かを判定する（Ｓ２０３）。ステップＳ２０３において、取得した画像ＩＤが検索結果表示リストに含まれないと判定された場合、検索結果統合部３０６は、検索結果表示リストに取得した画像ＩＤとその画像ＩＤを持つ画像に対応する類似度とを追加する（Ｓ２０４）。一方、ステップＳ２０３において、取得した画像ＩＤが検索結果表示リストに含まれると判定された場合、検索結果統合部３０６は、検索結果表示リストに取得した画像ＩＤを追加せず、ステップＳ２０５に移る。
【００８９】
次に、検索結果統合部３０６は、検索部３０５から出力されたすべての検索結果が処理されたか否かを判定する（Ｓ２０５）。ステップＳ２０５において、すべての検索結果が処理されていないと判定された場合、すなわち、カウンタｉが検索結果数Ｎ未満である場合、検索結果統合部３０６は、カウンタｉに１を追加し（Ｓ２０６）、Ｓ２０２以降の処理を繰り返す。
【００９０】
一方、ステップＳ２０５において、すべての検索結果が処理されたと判定された場合、すなわち、カウンタｉが検索結果数Ｎ以上である場合、検索結果統合部３０６は、検索結果表示リストに追加された画像ＩＤを類似度が大きい順にソートし（Ｓ２０７）、処理を終了する。
【００９１】
なお、本実施形態では、ソートの対象として追加された画像ＩＤを持つ画像に複数の検索結果のブロックを含む場合、複数の検索結果のブロックのうち、検索キーのブロックとの類似度が最も大きい検索結果のブロックを選択し、選択されたブロックの類似度を追加された画像ＩＤを持つ画像に対応する類似度に設定する。なお、複数の検索結果のブロックの類似度の平均値を計算し、計算された類似度の平均値を追加された画像ＩＤを持つ画像に対応する類似度に設定してもよい。
【００９２】
以上説明したように、第１の実施形態の画像検索システムによると、格子状のブロックに分割された画像をブロック単位で検索するので、人物又は物体の領域を厳密に抽出することなく、検索キーと類似する人物又は物体を検索することができる。さらに、検索キーのブロックと類似した部分が画像の一部に映っていれば検索が可能なため、検索対象となる画像に映っている人物の姿勢及びオクルージョン（カメラに対して手前の物体が後方の物体を遮蔽する現象）の影響が小さくなる。
【００９３】
［実施形態２］
以下、本発明の第２の実施形態の画像検索システムについて、図面を用いて説明する。
【００９４】
図８は、第２の実施形態の画像検索システムの構成を示すブロック図である。
【００９５】
第２の実施形態の画像検索システムは、サーバ計算機１１０、クライアント計算機１３０、特徴量データベース１５０、カメラ画像データベース４１０及びサムネイル画像データベース４２０を備える。各装置は、通信基盤１２０によって相互に接続される。
【００９６】
サーバ計算機１１０、クライアント計算機１３０、特徴量データベース１５０及び通信基盤１２０は、それぞれ、図１に示した第１の実施形態の画像検索システムが備える同じ符号が付与された装置と同じであるので、説明を簡略化する。
【００９７】
カメラ画像データベース４１０は、カメラによって事前に撮影されたカメラ画像（映像データから抽出された静止画）を格納するデータベースである。なお、カメラ画像データベース４１０は、図１に示した画像データベース１４０と同様に、図１９に示した画像管理情報２０００を格納してもよい。この場合、事前に撮影されたカメラ画像（例えば、ＪＰＥＧ画像）は、画像管理情報２０００の画像２００４に格納される。また、事前に撮影された画像の画像ＩＤ、カメラＩＤ、及び撮影時刻は、それぞれ、画像管理情報２０００の画像ＩＤ２００１、カメラＩＤ２００２、撮影時刻２００３に格納される。
【００９８】
サムネイル画像データベース４２０は、カメラ画像のサムネイルを格納するデータベースである。なお、サムネイル画像データベース４２０は、図１に示した画像データベース１４０と同様に、図１９に示した画像管理情報２０００を格納してもよい。ただし、この場合、画像管理情報２０００の画像２００４には、サムネイル画像、又はサムネイル画像の元のカメラ画像を参照するためのリンク情報が格納される。
【００９９】
なお、画像検索システムは、サムネイル画像を利用しない場合、サムネイル画像データベース４２０を備えなくてもよい。
【０１００】
以下に、画像登録処理について説明する。
【０１０１】
図９は、第２の実施形態の画像登録処理を示すブロック図である。
【０１０２】
本実施形態の画像検索システムは、画像入力部５０１、ブロック分割部５０２、特徴量抽出部２０４及びカメラ画像データベース４１０によって、画像登録処理を実行し、検索対象となる画像の情報を特徴量データベース１５０及びサムネイル画像データベース４２０に格納する。なお、図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、画像入力部５０１、ブロック分割部５０２、特徴量抽出部２０４の処理を実現する。
【０１０３】
特徴量抽出部２０４及び特徴量データベース１５０は、それぞれ、図２に示した第１の実施形態の特徴量抽出部２０４及び特徴量データベース１５０と同じである。
【０１０４】
まず、画像入力部５０１は、検索対象となる画像を取得する。ここで、検索対象となる画像とは、カメラ画像データベース４１０に格納されている画像である。
【０１０５】
次に、ブロック分割部５０２は、ブロック分割処理を実行する。具体的には、ブロック分割部５０２は、画像入力部５０１から出力された画像をブロックに分割し、分割されたブロックのうち、特徴量抽出の対象となるブロックを決定する。ブロック分割部５０２が実行するブロック分割処理の詳細については、図１０を用いて後述する。
【０１０６】
また、ブロック分割部５０２は、特徴量抽出の対象に決定されたブロックを含む画像を選択し、選択された画像のサムネイルを作成する。ブロック分割部５０２は、サムネイル画像データベース４２０の画像管理情報２０００の画像２００４に作成されたサムネイル画像を格納する。また、サムネイル画像に元画像へのリンク情報を付与してもよい。
【０１０７】
また、ブロック分割部５０２は、サムネイル画像データベース４２０の画像管理情報２０００の各項目に、サムネイル画像の画像ＩＤ、カメラＩＤ及び撮影時刻を格納する。
【０１０８】
なお、画像検索システムがサムネイル画像データベース４２０を備えない場合、ブロック分割部５０２は、例えば、カメラ画像データベース４１０の画像管理情報２０００に格納されている画像のうち、特徴量抽出の対象に決定されたブロックが含まれる画像の画像ＩＤを、特徴量抽出の対象のブロックが含まれていることを示す画像ＩＤに書き換えてもよい。
【０１０９】
特徴量抽出部２０４は、ブロック分割部５０２によって決定された特徴量抽出の対象のブロックから特徴量を抽出し、抽出された特徴量のＩＤ、元画像の画像ＩＤ、ブロックの位置情報及び抽出された特徴量（特徴量ベクトル）を、特徴量データベース１５０の特徴量管理情報２１００の各項目に格納する。
【０１１０】
以下に、ブロック分割部５０２処理の詳細について説明する。
【０１１１】
図１０は、第２の実施形態のブロック分割処理を示すフローチャートである。
【０１１２】
まず、ブロック分割部５０２は、画像入力部５０１から出力された画像を取得する（Ｓ３０１）。次に、ブロック分割部５０２は、取得した画像を格子状のブロックに分割する（Ｓ３０２）。
【０１１３】
なお、ブロック分割部２０３は、取得した画像に映っている人物又は物体の大きさに応じて、ブロックの大きさ、又は分割数を変更してもよい。また、ブロックの大きさは、すべて同じでもよいし、画像の領域によって変更されてもよい。例えば、画像の上部、すなわち、撮影範囲の奥方向のブロックを画像の下部と比べて小さくしてもよい。また、静止画の上部には小さい物体しか映っていないことが多いので、画像の上部を特徴量抽出の対象としなくてもよい。
【０１１４】
次に、ブロック分割部５０２は、分割された各ブロックの色ヒストグラムを計算する（Ｓ３０３）。具体的には、まず、ＲＧＢの値を複数の値域に分割する。例えば、ＲＧＢの各値が０から２５５の間の範囲にある場合、この範囲を０から６３、６４から１２７、１２８から１９１、１９２から２５５、の４段階に区分する。一の段階に含まれる画素値を同じ値とみなすと、ＲＧＢの組合わせは、全部で、４×４×４＝６４通りになる。なお、ブロック分割部５０２は、ＲＧＢのそれぞれを同じ段階に区分しなくてもよい。例えば、人間の視覚特性に合わせて、Ｒを１２段階、Ｇを２１段階、Ｂを６段階に区分することによって、分解能に差をつけてもよい。
【０１１５】
次に、ブロック分割部５０２は、分割された各ブロックに含まれる各画素毎にＲＧＢの値を計算し、計算された各画素のＲＧＢの値が、どの組合わせ（例えば、６４通りの組合せ）に該当する判定する。そして、各組合せに該当する画素の合計を計算する。これによって、対象ブロックの色ヒストグラムが作成される。
【０１１６】
次に、ブロック分割部５０２は、ステップＳ３０２と同様に、事前に用意された背景画像を格子状のブロックに分割する。そして、ステップＳ３０３と同様に、背景画像の各ブロックの色ヒストグラムを計算する。そして、ブロック分割部５０２は、取得した画像と背景画像とを比較し、対応する各ブロック毎に、それぞれの色ヒストグラムの差分を計算する（Ｓ３０４）。この場合、例えば、ユークリッド距離を用いて、各色ヒストグラムの差分を計算してもよい。
【０１１７】
最後に、ブロック分割部５０２は、特徴量を抽出する対象となるブロックを決定する（Ｓ３０５）。ここで、例えば、ブロック分割部５０２は、ブロックの差分値が所定の閾値を越える場合、そのブロックを特徴量抽出の対象としてもよい。また、差分値の大きさの順にソートされた各ブロックのうち、差分値が大きいブロックを所定の数だけ選択し、選択されたブロックを特徴量抽出の対象としてもよい。
【０１１８】
以下に、人物又は物体の検索処理について説明する。
【０１１９】
図１１は、第２の実施形態の検索処理を示すブロック図である。
【０１２０】
第２の実施形態の画像検索システムは、画像取得部６０１、画像表示部６０２、ブロック選択部３０４、検索部６０３、検索結果統合部３０６、検索結果表示部３０７、特徴量データベース１５０及びサムネイル画像データベース４２０によって、検索処理を実行する。
【０１２１】
なお、図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、画像取得部６０１、画像表示部６０２、ブロック選択部３０４、検索部６０３、検索結果統合部３０６及び検索結果表示部３０７の処理を実現する。
【０１２２】
特徴量データベース１５０、ブロック選択部３０４、検索結果統合部３０６及び検索結果表示部３０７は、図５に示した同一の符号が付けられた各処理部と同じであるので、説明を簡略化する。
【０１２３】
なお、画像検索システムがサムネイル画像データベース４２０を備えない場合、画像検索システムは、サムネイル画像データベース４２０の代わりに、カメラ画像データベース４１０を用いて検索処理を実行する。
【０１２４】
まず、画像取得部６０１は、サムネイル画像データベース４２０から、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。サムネイル画像データベース４２０には、既に画像登録処理が終了しており、検索キーの対象となる画像が格納されている。
【０１２５】
この場合、画像検索システムは、カメラ番号（カメラＩＤ）、画像の撮影時刻などを参照することによって、ユーザが検索キーとなるブロックを含む画像を選択することができるインタフェース画面を、クライアント計算機１３０のディスプレイに表示してもよい。画像取得部６０１は、ユーザがマウス又はキーボードなとの入力装置を操作することによってインタフェース画面から選択した検索キーとなるブロックを含む画像を取得する。
【０１２６】
画像表示部６０２は、画像取得部６０１から出力された、検索キーとなるブロックを含む画像を、クライアント計算機１３０のディスプレイに表示する。この場合、画像表示部６０２は、特徴量データベース１５０の特徴量管理情報２１００から画像のブロックの位置情報を取得し、取得した画像とブロックの位置情報とを合わせて表示する。
【０１２７】
画像表示部６０２は、図６の（Ａ）に示したように、取得した画像に含まれる検索キー候補の各ブロックを矩形で表示してもよいし、また、取得した画像の横に検索キー候補の各ブロックを並べて表示してもよい。
【０１２８】
次に、ブロック選択部３０４は、図５に示したブロック選択部３０４と同じ処理によって、検索キー（後述する図１２の検索処理における第１の検索キー）となるブロックを選択する。
【０１２９】
次に、検索部６０３は、特徴量データベース１５０の画像管理情報２０００から、選択された検索キーのブロックの特徴量と類似した特徴量を持つブロックを検索する。検索部６０３の処理の詳細については図１２を用いて後述する。
【０１３０】
次に、検索結果統合部３０６は、検索部６０３から出力された検索結果を取得し、図７に示した検索結果統合処理によって、取得した検索結果を統合する。
【０１３１】
次に、検索結果表示部３０７は、図５に示した検索結果表示部３０７と同じ処理によって、検索結果統合部３０６が作成した検索結果表示リストに含まれる画像ＩＤを持つ画像を、クライアント計算機１３０のディスプレイに表示する。
【０１３２】
以下に、検索部６０３が実行する検索処理の詳細について説明する。
【０１３３】
図１２は、第２の実施形態の検索処理を示すフローチャートである。
【０１３４】
まず、検索部６０３は、ブロック選択部３０４によって選択された第１の検索キーのブロックを含む画像のカメラＩＤ及び撮影時刻を、サムネイル画像データベース４２０の画像管理情報２０００から取得する（Ｓ４０１）。
【０１３５】
次に、検索部６０３は、選択された第１の検索キーのブロックを含む画像の前後フレームの画像のブロックのうち、選択された第１の検索キーのブロックに類似したＭ件の第２の検索キーのブロックを取得する（Ｓ４０２）。
【０１３６】
ここで、まず、検索部６０３は、取得したカメラＩＤによって撮影された画像から、取得した撮影時刻の前後ｔ秒（例えば、１０秒程度）の範囲で撮影された画像を抽出し、抽出された前後の画像に含まれる各ブロック（各ブロック位置の情報）を取得する。
【０１３７】
次に、検索部６０３は、特徴量データベース１５０の画像管理情報２０００を参照し、第１の検索キーのブロックの特徴量と、取得した前後の画像に含まれるブロックの特徴量との間の類似度を計算する。そして、第１の検索キーのブロックとの類似度が大きいＭ件のブロックを取得する。
【０１３８】
なお、ここでは、類似度を計算するために、各特徴量ベクトルの間のユークリッド距離を用いたが、ユークリッド距離のほか、例えば、マンハッタン距離などを用いてもよい。また、検索部６０３は、計算された類似度が所定の閾値を超えた場合、そのブロックを取得してもよい。
【０１３９】
次に、検索部６０３は、取得したブロックの数ＭがＭ＞０を満たすか否かを判定する（Ｓ４０３）。
【０１４０】
ステップＳ４０３において、検索結果件数ＭがＭ＞０を満たさないと判定された場合、すなわち、選択された第１の検索キーのブロックの撮影時刻の前後ｔ秒に他の画像がない場合、又は、第１の検索キーのブロックと前後の画像に含まれるブロックとの間の類似度が所定の閾値以下であった場合、検索部６０３は、選択された第１の検索キーを用いて、特徴量管理情報２１００のすべてのブロックを検索する。そして、検索部６０３は、第１の検索キーのブロックとの類似度が大きいＮ件のブロックを取得する（Ｓ４０６）。ステップＳ４０６の処理は、図２１に示したステップＳ６０１からＳ６０３の検索処理と同じである。
【０１４１】
一方、ステップＳ４０３において、検索結果件数ＭがＭ＞０を満たすと判定された場合、検索部６０３は、取得したブロックを第２の検索キーに設定し、第１の検索キー及び第２の検索キーを用いて、特徴量管理情報２１００のすべてのブロックを検索する（Ｓ４０４）。
【０１４２】
そして、検索部６０３は、第１の検索キーのブロックとの類似度が大きい所定の数の第１のブロックを取得する。また、第２の検索キーのブロックとの類似度が大きい所定の数の第２のブロックを取得する。取得した第１のブロックの数及び第２のブロックの数は、例えば、合わせてＮ件になるように設定されてもよい。ステップＳ４０４の処理は、図２１に示したステップＳ６０１からＳ６０３の検索処理と同じである。
【０１４３】
ただし、ステップＳ４０４の処理によって取得された検索結果（第２のブロック）は、複数の第２の検索キーを用いて検索されたので、重複することがある。このため、重複した第２のブロックを統合する（Ｓ４０５）。この場合、複数の第２の検索キーのブロックと第２のブロックとの間の類似度を再設定しなければならない。
【０１４４】
ここでは、複数の第２のブロックのうち、第２の検索キーとの類似度が最も大きい第２のブロックを選択し、その類似度を第２のブロックに対応する類似度に設定する。なお、複数の第２のブロックに対応する各類似度の平均値を計算し、計算された類似度をその第２ブロックの類似度に設定してもよい。また、選択された第１の検索キーのブロックを用いて検索された第１のブロックと第２の検索キーのブロックを用いて検索された第２のブロックとが重複した場合、第１のブロックに対応する類似度を、統合されたブロックに対応する類似度に設定してもよい。
【０１４５】
次に、検索結果統合部３０６は、ステップＳ４０５又はＳ４０６によって取得された検索結果を統合する。検索結果統合処理は、図７に示した検索結果統合処理と同じである。
【０１４６】
最後に、検索結果表示部３０７は、クライアント計算機１３０のディスプレイに、検索結果統合部３０６によって作成された検索結果表示リストに含まれる画像ＩＤを持つ画像を表示する。
【０１４７】
以上説明したとおり、第２の実施形態の画像検索システムによると、第１の実施形態の効果に加え、特徴量が少しずつ異なる検索キーを用いて検索処理を実行するので、多様な検索結果を得ることができ、検索精度を向上させることができる。
【０１４８】
［実施形態３］
以下、本発明の第３の実施形態の画像検索システムについて、図面を用いて説明する。
【０１４９】
本実施形態の画像検索システムの構成、及び画像データ登録処理は、第１の実施形態又は第２の実施形態と同じであるので、説明を省略する。以下に、本実施形態の検索処理について説明する。
【０１５０】
図１３は、第３の実施形態の検索処理を示すブロック図である。
【０１５１】
本実施形態の画像検索システムは、画像取得部７０１、画像表示部７０２、ブロック選択部７０３、検索部７０４、検索結果統合部７０５、検索結果表示部７０６、画像データベース７１０、及び特徴量データベース１５０によって、検索処理を実行する。
【０１５２】
なお、図１又は図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、各処理部の処理を実現する。
【０１５３】
また、特徴量データベース１５０は、図１に示した特徴量データベース１５０と同じである。また、本実施形態の画像検索システムが第１の実施形態の画像検索システムの構成と同じである場合、画像データベース７１０は、図１に示した画像データベース１４０と同じである。また、本実施形態の画像検索システムが第２の実施形態の画像検索システムの構成と同じである場合、画像データベース７１０は、サムネイル画像データベース４２０と同じである。
【０１５４】
まず、画像取得部７０１は、ユーザによって選択された、検索キーとなる人物又は物体が含まれる画像を画像データベース７１０から取得する。ここで、画像データベース７１０には、既に画像登録処理が終了しており、検索キーの対象となる画像が格納されている。
【０１５５】
この場合、画像検索システムは、カメラ番号（カメラＩＤ）、画像の撮影時刻などを参照することによって、ユーザが検索キーとなるブロックを含む画像を選択することができるインタフェース画面を、クライアント計算機１３０のディスプレイに表示してもよい。画像取得部７０１は、ユーザがマウス又はキーボードなとの入力装置を操作することによってインタフェース画面から選択した画像を取得する。
【０１５６】
次に、画像表示部７０２は、取得した画像を、クライアント計算機１３０のディスプレイに表示する。この場合、画像表示部７０２は、特徴量データベース１５０の特徴量管理情報２１００からブロック位置の情報を取得し、取得したブロック位置の情報と取得した画像とを表示する。例えば、画像表示部７０２は、図６の（Ａ）に示したように、取得した画像に含まれる各ブロックを矩形で表示してもよい。
【０１５７】
次に、ブロック選択部７０３は、ユーザによって選択された検索キーとなるブロックを取得する。本実施形態では、ブロック選択部７０３は、ユーザによって選択された複数のブロックを取得することができる。なお、ユーザは、クライアント計算機１３０のディスプレイに表示された画像に含まれる各ブロックから、マウスなどの入力装置を用いて検索キーとなる複数のブロックを選択することができる。
【０１５８】
なお、画像検索システムは、選択されたすべての検索キーに対応する検索結果を取得するか、又は、選択された複数の検索キーのうちのいずれかの検索キーに対応する検索結果を取得するかをユーザが指定するためのインタフェース画面を表示してもよい。
【０１５９】
図１４は、第３の実施形態の複数ブロック選択時に表示される画像を示す説明図である。
【０１６０】
図１４では、ユーザによって選択された検索キーとなるブロック８０１及び８０２が示される。なお、画像表示部６０２は、選択されたブロックを明示するために、該ブロックを囲む各矩形を着色してもよい。また、各ブロックを囲む矩形を異なる色で着色してもよい。
【０１６１】
図１３の検索処理の説明に戻る。
【０１６２】
次に、検索部７０４は、選択された検索キーのブロックと類似した特徴量を持つブロックを特徴量データベース１５０から検索する。ブロック選択部７０３によって複数のブロックが選択された場合、検索部７０４は、選択された検索キーのブロックの数だけ検索処理を繰り返す。
【０１６３】
次に、検索結果統合部７０５は、検索部７０４から出力された検索結果を取得し、取得した検索結果を統合する。検索結果統合部７０５の処理の詳細については図１５を用いて後述する。
【０１６４】
次に、検索結果表示部７０６は、検索結果統合部７０５によって作成された検索結果表示リストに含まれる画像ＩＤを持つ画像を、クライアント計算機１３０のディスプレイに表示する。この場合、検索結果表示部７０６は、画像のみを表示してもよいし、画像中の矩形で囲まれた検索結果ブロックを表示してもよい。また、検索結果表示部７０６は、検索結果ブロックを矩形で囲む場合、検索結果のブロックがどの検索キーのブロックに対応するかを示すため、各検索キーのブロックに対応する検索結果のブロックを異なる色で着色してもよい。
【０１６５】
以下に、検索結果統合部７０５の処理の詳細について説明する。
【０１６６】
図１５は、第３の実施形態の検索結果統合処理を示すフローチャートである。
【０１６７】
まず、検索結果統合部７０５は、検索結果表示リストの内容を初期化し、カウンタｉを０にする（Ｓ５０１）。
【０１６８】
次に、検索結果統合部７０５は、選択されたＬ件の検索キーのうちのｉ番目の検索キーを用いて検索部７０４が取得したＮｉ件の検索結果を取得する。さらに、検索結果統合部７０５は、カウンタｊを０にし、ｉ番目の検索キーに対応する検索結果リスト（検索キー別検索結果リスト）を初期化する（Ｓ５０２）。ここで、検索キー別検索結果表示リストとは、検索キー毎の検索結果のブロックを含む画像の画像ＩＤとその画像に設定された類似度とが対応付けられたリストである。なお、検索キーの件数と同じＬ件の検索キー別検索結果リストが作成される。
【０１６９】
次に、検索結果統合部７０５は、取得したＮｉ件の検索結果のうち、類似度がｊ番目のブロックを含む画像の画像ＩＤを、特徴量データベース１５０の特徴量管理情報２１００から取得する（Ｓ５０３）。この画像ＩＤは、画像データ登録時に抽出された特徴量と合わせて特徴量データベース１５０の特徴量管理情報２１００に格納された画像ＩＤである。
【０１７０】
次に、検索結果統合部７０５は、取得した画像ＩＤが検索キー別検索結果リストに含まれるか否かを判定する（Ｓ５０４）。ステップＳ５０４において、取得した画像ＩＤが検索キー別検索結果リストに含まれないと判定された場合、検索結果統合部７０５は、検索キー別検索結果リストに、取得した画像ＩＤとその画像ＩＤを持つ画像に対応する類似度とを追加する（Ｓ５０５）。一方、ステップＳ５０４において、取得した画像ＩＤが検索キー別検索結果リストに含まれると判定された場合、検索結果統合部７０５は、検索キー別検索結果リストに、取得した画像ＩＤを追加せず、ステップＳ５０６に移る。
【０１７１】
次に、検索結果統合部７０５は、取得したＮｉ件のすべての検索結果を処理したか否かを判定する（Ｓ５０６）。ステップＳ５０６において、すべての検索結果が処理されていないと判定された場合、すなわち、カウンタｊが検索結果数Ｎｉ未満である場合、検索結果統合部７０５は、カウンタｊに１を追加し（Ｓ５０７）、ステップＳ５０３以降の処理を繰り返す。一方、ステップＳ５０６において、すべての検索結果が処理されたと判定された場合、すなわち、カウンタｊが検索結果数Ｎｉ以上である場合、検索結果統合部７０５は、ｉ番目の検索キーを用いて取得されたすべての検索結果を処理したので、ステップＳ５０８に移る。
【０１７２】
次に、検索結果統合部７０５は、ブロック選択部７０３が選択されたＬ件の検索キーを用いて取得したすべての検索結果を処理したかどうかを判定する（Ｓ５０８）。ステップＳ５０８において、すべての検索結果を処理していないと判定された場合、すなわち、カウンタｉが選択した検索キー数Ｌ未満である場合、検索結果統合部７０５は、カウンタｉに１を追加し（Ｓ５０９）、ステップＳ５０２以降の処理を繰り返す。
【０１７３】
一方、ステップＳ５０８において、すべての検索結果を処理したと判定された場合、すなわち、カウンタｉが検索キー数Ｌ以上である場合、検索結果統合部７０５は、すべての検索結果を処理したので、ステップＳ５１０に移る。
【０１７４】
検索結果統合部７０５は、ステップＳ５０１からＳ５０９の処理によって得られた検索キー別検索結果リストのいずれにも含まれる画像ＩＤを検索結果表示リストに追加する（Ｓ５１０）。これによって、検索結果表示部７０６は、選択されたＬ件の検索キーのそれぞれに対応するすべての検索結果のブロックを含む画像を表示する。
【０１７５】
この場合、その画像ＩＤを持つ画像に対応する類似度は、各検索キー別検索結果リスト毎に異なるので、検索結果統合部７０５は、検索結果表示リストに追加されるその画像ＩＤの画像には、最も大きい類似度を設定する。なお、検索結果表示リストに追加されるその画像ＩＤの画像に、類似度の平均値を設定してもよい。
【０１７６】
なお、ステップＳ５１０において、検索結果統合部７０５は、各検索キー別検索結果リストのいずれかに少なくとも一つ含まれる画像ＩＤを検索結果表示リストに追加してもよい。この場合、検索結果表示部７０６は、選択されたＬ件の検索キーのうちのいずれか一つの検索キーに対応する検索結果を含む画像を表示する。
【０１７７】
なお、検索結果統合部７０５は、ステップＳ５１０の処理のために、各検索キーに対応する検索結果のブロックの位置関係を利用してもよい。具体的には、検索結果統合部７０５は、画像に含まれる各検索キーブロックの相対的な位置関係を記憶し、記憶された各検索キーブロックの相対的な位置と各検索結果のブロックの相対的な位置とを比較する。そして、それぞれの相対的な位置が一致する場合、その検索結果を含む画像の画像ＩＤを検索結果表示リストに追加する。
【０１７８】
最後に、検索結果統合部７０５は、検索結果表示リストに含まれる画像ＩＤを類似度の大きさに従ってソートした後、処理を終了する（Ｓ５１１）。
【０１７９】
以上説明したように、第３の実施形態の画像検索システムによると、第１及び第２の実施形態の効果に加え、複数の検索キーを用いるので、複数の特徴を持つ人物及び物体を検索することができる。
【０１８０】
［実施形態４］
以下に、本発明の第４の実施形態の画像検索システムについて、図面を用いて説明する。本実施形態の追跡マップ表示部９０４は、人物及び物体の移動順序を地図上に表示する。
【０１８１】
本実施形態の画像検索システムの構成及び画像データ登録処理は、それぞれ、第１又は第２の実施形態の画像検索システムの構成及び画像データ登録処理と同じである。
【０１８２】
図１６は、第４の実施形態の検索処理を示すブロック図である。
【０１８３】
本実施形態の画像検索システムは、画像取得部７０１、画像表示部６０２、検索キー領域指定部９０１、検索部９０２、検索結果統合部９０３、追跡マップ表示部９０４、画像データベース７１０、及び特徴量データベース１５０によって、検索処理を実行する。なお、図１又は図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、各処理部の処理を実現する。
【０１８４】
なお、特徴量データベース１５０は、図１に示した特徴量データベース１５０と同じである。また、画像取得部７０１は、図１３に示した画像取得部７０１と同じである。画像データベース７１０は、図１３に示した画像データベース７１０と同じである。画像表示部６０２は、図１１に示した画像表示部６０２と同じである。
【０１８５】
まず、画像取得部７０１は、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。
【０１８６】
次に、画像表示部６０２は、取得した画像を、クライアント計算機１３０のディスプレイに表示する。
【０１８７】
次に、検索キー領域指定部９０１は、ユーザによって指定された、検索キーとなる領域を取得する。ユーザは、マウスなどの入力装置を操作することによって、画像表示部６０２によって表示された画像のうち、検索キーとなる領域を指定する。
【０１８８】
図１７は、第４の実施形態の検索キー領域指定時に表示される画像を示す説明図である。
【０１８９】
図１７では、ユーザによって指定された、検索キーとなる任意の形状の領域１００１が示される。
【０１９０】
次に、検索キー領域指定部９０１は、特徴量抽出部２０４が実行する処理と同様に、指定された領域から特徴量を抽出する。ただし、指定された領域の大きさに応じて、抽出された特徴量の値を正規化する。
【０１９１】
次に、検索部９０２は、特徴量データベース１５０の特徴量管理情報２１００から、指定された領域の特徴量と各エントリの特徴量との間の類似度を計算し、指定された領域との類似度が大きいブロックを検索結果として取得する。ここで、検索部９０２は、指定された領域の特徴量と各ブロックの特徴量との間の類似度を、ユークリッド距離を用いて計算する。
【０１９２】
次に、検索結果統合部９０３は、検索結果のブロックをカメラＩＤ別にグループ化する。以下に、検索結果統合処理の詳細について説明する。
【０１９３】
図２２は、第４の実施形態の検索結果統合処理を示すフローチャートである。
【０１９４】
まず、検索結果統合部９０３は、検索部９０２から出力された検索結果を取得し、カウンタｉを０に初期化する（Ｓ７０１）。次に、検索結果統合部９０３は、特徴量データベース１５０の特徴量管理情報２１００から、類似度がｉ番目となる検索結果のブロックを含む画像の画像ＩＤを取得する。次に、検索結果統合部９０３は、画像データベース７１０の画像管理情報２０００から、取得した画像ＩＤに対応するカメラＩＤを取得する（Ｓ７０２）。
【０１９５】
その後、検索結果統合部９０３は、取得したカメラＩＤを持つグループに、ｉ番目の検索結果のブロックを含む画像の画像ＩＤを追加する（Ｓ７０３）。なお、既にその画像ＩＤがグループに含まれている場合、その画像ＩＤを持つ画像には複数の検索結果のブロックを含むので、その画像ＩＤを持つ画像には、複数の検索結果のブロックの類似度のうちで最も大きい類似度を設定する。
【０１９６】
なお、取得したカメラＩＤを持つグループが存在しない場合、検索結果統合部９０３は、新しいグループを作成し、作成されたグループにｉ番目の検索結果のブロックを含む画像の画像ＩＤを追加する。
【０１９７】
次に、検索結果統合部９０３は、カウンタｉが検索結果数Ｎを超えているか否かを判定する（Ｓ７０４）。ステップＳ７０４において、カウンタｉが検索結果数Ｎを超えていると判定された場合、検索結果統合部９０３は、ｉに１を加算し（Ｓ７０５）、ステップＳ７０２以降の処理を繰り返す。なお、検索結果統合部９０３は、あらかじめ設定された撮影時刻の範囲に含まれない検索結果を検索結果統合処理の対象から除外してもよい。
【０１９８】
追跡マップ表示部９０４は、検索結果統合部９０３によって作成されたカメラＩＤ毎の検索結果のブロックを含む画像（検索結果画像）を、クライアント計算機１３０のディスプレイに表示する。第４の実施形態では、追跡マップ表示部９０４は、カメラが設置されている空間の簡易地図を作成し、作成された簡易地図の周囲に検索結果のブロックを含む画像を表示する。
【０１９９】
図１８は、第４の実施形態の検索結果の表示画面を示す説明図である。
【０２００】
第４の実施形態の検索結果の表示画面は、簡易地図１１０１及び検索結果画像１１０２（又は１１０３）を含む。簡易地図１１０１の周囲に表示された検索結果画像１１０２は、各カメラに対応しており、カメラの設置位置（カメラの撮影範囲）と引出線によって結び付けられる。なお、カメラと検索結果画像１１０２との対応関係が明示されるならば、検索結果画像１１０２は他の方法によって表示されてもよい。また、引き出し線の先に付与された撮影番号１１０４は、検索結果画像１１０２の撮影時刻の順に付与された数字である。つまり、撮影番号１１０４は、検索結果として示された人物の移動順序を示す。
【０２０１】
図１６の説明に戻る。
【０２０２】
追跡マップ表示部９０４は、例えば、ＨＤ１１４に格納された地図情報に基づいて、カメラが設置されている空間の簡易地図１１０１を作成し、その周囲に検索結果画像１１０２を表示する。
【０２０３】
また、追跡マップ表示部９０４は、検索結果統合部９０３によって作成されたカメラＩＤ別のグループに含まれる検索結果のうち、最も類似度が大きい検索結果の画像ＩＤを持つ画像を、カメラＩＤに対応する検索結果画像１１０２として表示する。該当するグループが存在しない場合、何も表示しない。なお、追跡マップ表示部９０４は、所定の閾値以下の類似度である画像を表示しなくてもよい。また、同一グループに、撮影時刻が大きく異なる画像がある場合、重ねられた検索結果画像１１０３を表示してもよい。
【０２０４】
なお、画像検索システムは、重ねられた複数の検索結果画像のうち、クリックされた画像を手前に表示するためのインタフェース画面をユーザに提示してもよい。
【０２０５】
さらに、追跡マップ表示部９０４は、検索結果画像１１０２の引き出し線の先に撮影番号１１０４を付してもよい。
【０２０６】
以上説明したように、第４の実施形態の画像検索システムによると、第１及び第２の実施形態の効果に加え、ユーザによって指定された任意の領域、すなわち、検索人物又は物体の特徴的な部分を検索キーに設定することができるので、検索精度を向上させることができる。さらに、検索結果を時系列に沿って簡易地図に表示させるので、特定の監視対象の移動経路を追跡することができる。
【０２０７】
なお、第１の実施形態から第４の実施形態について説明したが、本発明の適用範囲は、それぞれの実施形態に限定されるものではない。例えば、複数の実施形態を組み合せることもできる。
【符号の説明】
【０２０８】
１１０ サーバ計算機
１１１ 外部インタフェース
１１２ 中央処理演算装置（ＣＰＵ）
１１３ 主記憶装置（メモリ）
１１４ 大容量外部記憶装置（ＨＤ）
１２０ 通信基盤
１３０ クライアント計算機
１４０ 画像データベース
１５０ 特徴量データベース
１６０Ａ〜１６０Ｎ カメラ
２０１ 映像入力部
２０２ 静止画抽出部
２０３ ブロック分割部
２０４ 特徴量抽出部
３０１ 画像取得部
３０２ ブロック分割部
３０３ 画像表示部
３０４ ブロック選択部
３０５ 検索部
３０６ 検索結果統合部
３０７ 検索結果表示部
４０１ 選択ブロック領域
４１０ カメラ画像データベース
４２０ サムネイルデータベース
５０１ 画像入力部
５０２ ブロック分割部
６０１ 画像取得部
６０２ 画像表示部
６０３ 検索部
７０１ 画像取得部
７０２ 画像表示部
７０３ ブロック選択部
７０４ 検索部
７０５ 検索結果統合部
７０６ 検索結果表示部
７１０ 画像データベース
９０１ 検索結果統合部
９０２ 検索結果表示部
【技術分野】
【０００１】
本発明は、画像情報検索に関し、特に、撮影された画像情報から人物又は物体を検索する画像検索システム及び画像検索方法に関する。
【背景技術】
【０００２】
近年、凶悪犯罪が増加し、セキュリティの意識が向上している。これに伴い、店舗、空港などの人が集まる場所に、多くの監視カメラが設置されている。これらの監視カメラによって撮影された映像情報は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。
【０００３】
また、ＩＰカメラの普及によって、ネットワーク経由で多数のカメラが接続され、さらに、蓄積装置の容量が大きくなっているため、蓄積装置には大量の映像情報が格納されている。したがって、従来のように、格納された映像情報を目視によって確認することが非常に困難になっている。
【０００４】
そこで、このような大量の映像情報から、特定の人物又は物体が映っている画像を検索し、検索された画像を提示するために、様々な類似検索技術が提案されている。ここで、類似検索技術とは、対象の情報から、ユーザによって指定された検索キーに類似する情報を検出し、検出されたデータを提示する技術である。特に、類似画像検索技術とは、検索キーとなる画像から取得した色合い、形状などの特徴量に基づいて、検索キーの画像との類似度が大きい画像を検索する技術である。人物を検索する場合、顔の画像、服の色などの特徴を検索キーとして用いることができる。
【０００５】
ここで、エッジ情報及び色情報を用いたクラスタリングによって、蓄積された映像のフレーム画像を複数の領域に分割する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載された方法では、まず、エッジ抽出及び平滑化によって、フレーム画像からエッジ画像を作成する。次に、該フレーム画像の画素値を用いてクラスタリングを実行し、各領域をラベリングする。ラベリングされた任意の二つの領域の境界上にエッジがない場合、それらの二つの領域を統合する。そして、各領域から色のヒストグラム、セントラルモーメントなどの特徴量を抽出し、抽出された特徴量を用いて、検索を実行する。
【０００６】
また、映像のフレーム画像から各カメラの背景画像を作成し、作成された背景画像と原画像との差分に基づいて、人物領域を抽出する方法が提案されている（例えば、特許文献２参照）。特許文献２に記載された方法では、抽出された人物領域全体の画素値から作成されたヒストグラム、及び人物領域を複数の領域に分割した各部分領域から作成されたヒストグラムを用いて、人物の特徴量を算出し、算出された特徴量を検索に利用する。
【０００７】
また、映像のフレーム画像のうち、移動する物体の領域を矩形領域として抽出し、抽出された矩形領域を複数のブロックに分割した後、分割されたブロックの各々から代表色を抽出する方法が提案されている（例えば、特許文献３）。なお、抽出された矩形領域をブロックに分割する方法には、単純に十字に四分割する方法、色情報を用いて、頭、上半身、下半身、足などの領域に分割する方法がある。特許文献３に記載された方法では、ユーザが指定した人物か代表色を抽出し、同じ位置関係にある各ブロックの代表色を比較することによって、人物を検索する。具体的には、各ブロックの上半身の色、靴の色などを比較することによって、類似度を計算する。つまり、人物の各部位の相対的な位置関係を考慮し、人物を同定している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１３３４１２号公報
【特許文献２】特開２００１−２６８６５７号公報
【特許文献３】特開２００５−２０２９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
映像から所望の人物又は物体を検索することを目的とする従来の画像検索システムには、以下に示す問題があった。
【００１０】
図２３は、従来の画像検索システムによって検出される人物領域を示す説明図である。
【００１１】
図２３の左図（Ａ）は、画像から人物領域を厳密に切り出した図である。中図（Ｂ）は、人物領域を矩形領域として切り出して、切り出された矩形領域を四等分した図である。右図（Ｃ）は、人物領域を矩形領域として切り出し、切り出された矩形領域を人物の部位によって分割した図である。
【００１２】
まず、特許文献１及び２に記載された方法では、図２３の（Ａ）の破線で示すように人物の形状を囲んだ人物領域が抽出されるが、そもそも人物領域と背景とを厳密に分けることが難しいので、抽出された人物領域の精度が低い。このため、所望の検索結果が得られないことが多い。
【００１３】
したがって、人物領域を厳密に抽出せずに、領域の特徴量を抽出し、抽出された特徴量を検索に利用する方法が考えられた。例えば、特許文献３に記載された方法では、図２３の（Ｂ）又は（Ｃ）に示す破線のように、抽出された人物領域を大まかな矩形領域で囲み、その矩形領域を複数のブロックに分割する。しかし、この方法では、分割されたブロックを検索キーとする場合、ブロックの互いの位置関係を考慮しなければならない。
【００１４】
具体的には、例えば、図２３の（Ｂ）に示したブロックでは、検索キーとなる人物を含む画像と検索対象となる人物を含む画像と比較するために、それぞれの左上のブロック、右上のブロック、左下のブロック、右下のブロックを比較しなければならない。
【００１５】
このため、検索キーとなる人物と検索対象となる人物との姿勢が異なる場合、又はカメラに映っている人物の領域が異なる場合、各ブロックに含まれる人物の部位が異なるので、検索の精度は低下する。例えば、起立した状態の人物と、座っている状態の人物とを比較することは難しい。また、全身が映っている人物と、上半身のみが映っている人物とを比較することは難しい。
【００１６】
このように人物の特徴量に基づいて人物を検索する画像検索システムでは、そもそも人物が存在している領域を厳密に検出することが難しいので、人物領域と判定された領域からどのような特徴量を抽出したとしても、検索の精度は低い。また、人物領域を厳密に検出せず、大まかな矩形領域で囲まれた人物領域を、例えば、左上部分、上半身などといった何らかの意味を持つ領域に分割したとしても、検索の精度は、人物の姿勢及び大きさに影響される。
【００１７】
本発明は前述した問題に鑑みてなされたものであって、人物領域を厳密に検出せず、人物又は人物の特定の部位に依存しない検索キーによって、対象の人物を効率的に検索することができる画像検索システムを提供することを目的とする。なお、本画像検索システムは、人物のみならず移動する物体を検索することもできる。
【課題を解決するための手段】
【００１８】
本発明の代表的な一例を示せば以下のとおりである。すなわち、ユーザによって指定された画像に類似する画像を検索する画像検索システムであって、プロセッサと、前記プロセッサに接続されるメモリと、記憶装置とを備える少なくとも一以上の計算機を備え、前記プロセッサは、カメラによって撮影された映像、又は前記記憶装置に記憶された映像を取得し、前記取得された映像から、単位時間当たりに所定の枚数の画像を抽出し、前記抽出された画像を所定の大きさのブロックに分割し、色ヒストグラムに基づいて、前記分割されたブロックの特徴量を抽出し、前記抽出された画像の識別子と、前記抽出された画像の領域のうちで前記ブロックがどの位置にあるかを示す情報と、前記抽出されたブロックの特徴量と、の対応関係を示す第１の情報を作成し、前記第１の情報に基づいて、前記分割されたブロックのうち、前記ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、前記第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、前記第１の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする。
【発明の効果】
【００１９】
本発明の一実施形態によれば、ユーザが所望する人物又は物体を効率的に検索することができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態の画像検索システムの構成を示すブロック図である。
【図２】第１の実施形態の画像登録処理を示すブロック図である。
【図３】第１の実施形態のブロック分割処理を示すフローチャートである。
【図４】第１の実施形態のブロック分割処理によって取得される画像を示す説明図である。
【図５】第１の実施形態の検索処理を示すブロック図である。
【図６】第１の実施形態のブロック選択時に表示される画像を示す説明図である。
【図７】第１の実施形態の検索結果統合処理を示すフローチャートである。
【図８】第２の実施形態の画像検索システムの構成を示すブロック図である。
【図９】第２の実施形態の画像登録処理を示すブロック図である。
【図１０】第２の実施形態のブロック分割処理を示すフローチャートである。
【図１１】第２の実施形態の検索処理を示すブロック図である。
【図１２】第２の実施形態の検索処理を示すフローチャートである。
【図１３】第３の実施形態の検索処理を示すブロック図である。
【図１４】第３の実施形態の複数ブロック選択時に表示される画像を示す説明図である。
【図１５】第３の実施形態の検索結果統合処理を示すフローチャートである。
【図１６】第４の実施形態の検索処理を示すブロック図である。
【図１７】第４の実施形態の検索キー領域指定時に表示される画像を示す説明図である。
【図１８】第４の実施形態の検索結果の表示画面を示す説明図である。
【図１９】第１の実施形態の画像管理情報を示す説明図である。
【図２０】第１の実施形態の特徴量管理情報を示す説明図である。
【図２１】第１の実施形態の検索処理を示すフローチャートである。
【図２２】第４の実施形態の検索結果統合処理を示すフローチャートである。
【図２３】従来の画像検索システムによって検出される人物領域を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を、図面を参照して説明する。
【００２２】
［実施形態１］
以下、本発明の第１の実施形態の画像検索システムについて、図面に従って説明する。
【００２３】
図１は、第１の実施形態の画像検索システムの構成を示すブロック図である。
【００２４】
第１の実施形態の画像検索システムは、サーバ計算機１１０、クライアント計算機１３０、画像データベース１４０、特徴量データベース１５０、及びカメラ１６０を備える。各装置は、通信基盤１２０によって相互に接続される。
【００２５】
サーバ計算機１１０は、外部インタフェース１１１、中央処理演算装置（ＣＰＵ）１１２、メモリ１１３及び大容量外部記憶装置（ＨＤ）１１４を備える。サーバ計算機１１０は、検索エンジンが稼動する計算機であり、通信基盤１２０を経由し、クライアント計算機１３０に検索のサービスを提供する。
【００２６】
外部インタフェース１１１は、サーバ計算機１１０を通信基盤１２０に接続するためのインタフェース（Ｉ／Ｆ）である。ＣＰＵ１１２は、サーバ計算機の処理を制御するプロセッサである。メモリ１１３は、ＣＰＵ１１２によって実行される制御処理のための作業領域であり、各種データ、及び、ＨＤ１１４からロードされたプログラムを格納する。ＨＤ１１４は、ハードディスクなどの大容量記憶装置であり、ＣＰＵ１１２によって実行されるプログラム、データなどを格納する。
【００２７】
クライアント計算機１３０は、ＣＲＴなどのディスプレイ装置を備え、ディスプレイ装置に、サーバ計算機１１０によって作成された出力画面及びインタフェース画面などを表示する。また、クライアント計算機１３０は、キーボード、マウスなどの入力装置を備え、ユーザが入力装置を操作することによって入力したデータ、コマンドなどをサーバ計算機１１０に出力する。
【００２８】
なお、本実施形態の画像検索システムは、ネットワークを介して接続されたサーバ計算機１１０とクライアント計算機１３０とがサービスを提供する構成であるが、一般的なパーソナルコンピュータが画像検索のアプリケーションによって検索のサービスを提供する構成であってもよい。
【００２９】
画像データベース１４０は、画像又は画像のサムネイルを格納するためのデータベースであり、例えば、画像管理情報（図１９参照）を格納する。また、特徴量データベース１５０は、対象とする画像から抽出された特徴量及び検索用のインデクスを格納するためのデータベースであり、例えば、特徴量管理情報（図２０参照）を格納する。
【００３０】
図１９は、第１の実施形態の画像管理情報２０００を示す説明図である。
【００３１】
画像管理情報２０００は、画像ＩＤ２００１、カメラＩＤ２００２、撮影時刻２００３、及び画像２００４を含む。画像ＩＤ２００１は、画像を識別するための識別子である。カメラＩＤ２００２は、画像を撮影したカメラを識別するための識別子である。撮影時刻２００３は、画像を撮影した時刻情報である。画像２００４は、検索の対象となる画像である。なお、画像２００４は、画像自身（例えば、ＪＰＥＧデータ）ではなく、画像へのポインタ情報であってもよい。
【００３２】
図２０は、第１の実施形態の特徴量管理情報２１００を示す説明図である。
【００３３】
特徴量管理情報２１００は、特徴量ＩＤ２１０１、画像ＩＤ２１０２、ブロック位置２１０３及び２１０４を含む。特徴量ＩＤ２１０１は、特徴量を識別するための識別子である。画像ＩＤ２１０２は、図１９の画像２００４に格納された画像を識別するための識別子である。
【００３４】
ブロック位置２１０３は、画像ＩＤ２１０２によって特定される画像に含まれるブロック（矩形領域）の位置を示す情報である。例えば、ブロック位置は、矩形領域の左上の点のＸ座標及びＹ座標と右下の点のＸ座標及びＹ座標とによって示される。また、矩形領域の左上の点のＸ座標及びＹ座標と矩形領域の幅及び高さによって示されてもよい。
【００３５】
特徴量ベクトル２１０４は、画像ＩＤ２１０２によって特定される画像のうち、ブロック位置２１０３によって特定される領域から抽出された特徴量ベクトルである。特徴量ベクトルとは、後述する図２の特徴量抽出部２０４によって、例えば、色ヒストグラムに基づいて作成される多次元ベクトルである。
【００３６】
なお、画像データベース１４０及び特徴量データベース１５０は、サーバ計算機１１０が備えるＨＤ１１４に格納されてもよいし、ＨＤ１１４とは異なる他のハードディスクに格納されてもよい。
【００３７】
カメラ１６０Ａから１６０Ｎは、追跡対象エリアに設置されたカメラである。以下、カメラ１６０Ａから１６０Ｎのいずれにも共通する説明をする場合、その説明において、カメラ１６０Ａから１６０Ｎを総称してカメラ１６０と記載する。
【００３８】
以下に、画像登録処理について説明する。
【００３９】
図２は、第１の実施形態の画像登録処理を示すブロック図である。
【００４０】
本実施形態の画像検索システムは、映像入力部２０１、静止画抽出部２０２、ブロック分割部２０３、及び特徴量抽出部２０４によって、画像登録処理を実行し、検索対象の画像の情報を特徴量データベース１５０及び画像データベース１４０に格納する。なお、図１に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、映像入力部２０１、静止画抽出部２０２、ブロック分割部２０３、特徴量抽出部２０４の処理を実現する。
【００４１】
まず、映像入力部２０１は、カメラ１６０によって撮影された映像情報を取得する。なお、映像入力部２０１は、ＨＤ１１４又は任意の記録媒体に格納された映像情報を取得してもよい。
【００４２】
次に、静止画抽出部２０２は、映像入力部２０１によって取得した映像情報から静止画フレーム（画像）を作成する。なお、静止画抽出部２０２は、ユーザの指定によって、１秒間当たりの映像データから、何枚の画像を作成するのかを設定することができる。
【００４３】
次に、ブロック分割部２０３は、ブロック分割処理を実行し、特徴量抽出の対象となるブロックを決定する。具体的には、ブロック分割部２０３は、静止画抽出部２０２によって作成された画像が前景（人物又は物体が映っている領域）を含むか否かを判定し、画像が前景を含むと判定された場合、画像をブロックに分割する。ブロック分割処理の詳細については図３を用いて後述する。
【００４４】
また、ブロック分割部２０３は、前景を含む画像（人物が映っている画像）を選択し、選択された画像の情報を示す画像管理情報２０００を作成し、作成された画像管理情報２０００を画像データベース１４０に格納する。
【００４５】
具体的には、ブロック分割部２０３は、図１９に示した画像管理情報２０００の各エントリの画像ＩＤ２００１、カメラＩＤ２００２、撮影時刻２００３及び画像２００４に、それぞれ、前景の領域を含む画像に付与された画像の識別子、画像を撮影したカメラの識別子、撮影時刻及び画像のデータを格納する。ここで、画像ＩＤ２００１は、例えば、画像を識別するための任意の数字である。また、画像２００４には、画像のデータそのものが格納されてもよいし、画像から作成されたサムネイルが格納されてもよい。また、画像を参照するためのリンク情報が格納されてもよい。なお、ブロック分割部２０３は、画像データベース１４０に、すべての画像を格納しなくてもよい。
【００４６】
次に、特徴量抽出部２０４は、ブロック分割部２０３によって分割され、特徴量抽出の対象に決定された各ブロックの特徴量を、例えば、色情報に基づいて、抽出する。具体的には、特徴量抽出部２０４は、ブロック分割部２０３によって分割されたブロックのうちの、前景を含むと判定された特徴量抽出の対象となるブロックを、さらに細かい格子状の領域に分割する。そして、特徴量抽出部２０４は、分割された各領域の色ヒストグラムを計算し、計算された色ヒストグラムに基づいて、多次元ベクトル（特徴量ベクトル）を作成する。
【００４７】
なお、特徴量抽出部２０４は、色情報のほか、輝度値、明度値などの情報、及びやそれらを組み合わせた情報によって、各ブロックの特徴を示す特徴量ベクトルを作成してもよい。また、特徴量抽出部２０４は、ブロックの一部の領域の特徴量ベクトルを作成してもよい。
【００４８】
また、特徴量抽出部２０４は、特徴量管理情報２１００を作成し、作成された特徴量管理情報２１００を特徴量データベース１５０に格納する。具体的には、特徴量抽出部２０４は、図２０に示した特徴量管理情報２１００のエントリの特徴量ＩＤ２１０１、画像ＩＤ２１０２、ブロック位置２１０３、及び特徴量ベクトル２１０４に、それぞれ、特徴量を識別するため識別子、元画像の識別子、特徴量が抽出されたブロックの位置情報、及びブロックから抽出された特徴量ベクトルを格納する。
【００４９】
以上の処理によって、画像登録処理が終了する。後述する図５に示す検索処理の対象は、各データベースに格納された画像管理情報２０００及び特徴量管理情報２１００である。なお、画像登録処理は、あらかじめ実行されるのではなく、ユーザが検索処理を実行する時に実行されてもよい。
【００５０】
以下に、ブロック分割部２０３の処理の詳細について説明する。
【００５１】
図３は、第１の実施形態のブロック分割処理を示すフローチャートである。
【００５２】
まず、ブロック分割部２０３は、静止画抽出部２０２によって作成された画像を取得する（Ｓ１０１）。ステップＳ１０１において、ブロック分割部２０３が取得した画像の一部は、例えば、後述する図４に示す（Ａ）である。
【００５３】
次に、ブロック分割部２０３は、背景差分値を計算する（Ｓ１０２）。具体的には、まず、ブロック分割部２０３は、事前に用意された背景画像をグレースケールに変換する。ここで、背景画像とは、例えば、取得した画像と同じ範囲が撮影された画像であって、人物又は物体が映っていない背景のみの画像である。
【００５４】
次に、ブロック分割部２０３は、取得した画像をグレースケールに変換する。そして、グレースケールに変換された背景画像と、グレースケールに変換された画像と、を比較することによって、各画像の画素の差分値（背景差分値）を計算する。取得した画像の領域のうち、背景差分値が大きい領域は、「背景」とは異なった人物又は物体が映っている可能性が高いので、ブロック分割部２０３は、背景差分値が大きい領域を「前景」と判定する。ステップＳ１０２において、背景差分値によって表わされる背景差分画像は、例えば、後述する図４の（Ｂ）である。
【００５５】
次に、ブロック分割部２０３は、ステップＳ１０２によって得られた背景差分画像を所定の大きさのブロックに分割する（Ｓ１０３）。ステップＳ１０３において、ブロック分割部２０３によって格子状のブロックに分割された背景差分画像は、例えば、後述する図４の（Ｃ）である。なお、ブロック分割部２０３は、取得した画像に映っている人物又は物体の大きさに応じて、ブロックの大きさ、又は分割数を変更してもよい。また、ブロックの大きさは、すべて同じでもよいし、画像の領域に応じて変更されてもよい。例えば、画像の上部、すなわち、撮影範囲の奥方向のブロックを画像の下部と比べて小さくしてもよい。また、静止画の上部には小さい物体しか映っていないことが多いので、画像の上部を特徴量抽出の対象としなくてもよい。
【００５６】
次に、ブロック分割部２０３は、各ブロックの前景度を計算する（Ｓ１０４）。具体的には、まず、ブロック分割部２０３は、取得した画像に対応する背景差分画像の各ブロックの背景差分値の合計を計算する。次に、計算された各ブロックの背景差分値の合計値を各ブロックの前景度に設定する。なお、ブロック分割部２０３は、分割された各ブロックの大きさが異なる場合、ブロックの面積に応じて、背景差分値の合計値を正規化する。
【００５７】
最後に、ブロック分割部２０３は、特徴量抽出の対象となるブロックを決定する（Ｓ１０５）。
【００５８】
ここで、例えば、ブロック分割部２０３は、ブロックの前景度が所定の閾値を越える場合、前景度が大きいブロックには背景とは異なった人物又は物体が映っている可能性が高いので、そのブロックを特徴量抽出の対象としてもよい。また、前景度の大きさの順にソートされた各ブロックのうち、前景度が大きいブロックを所定の数だけ選択し、選択されたブロックを特徴量抽出の対象としてもよい。ステップＳ１０５において、ブロック分割部２０３によって決定された特徴量抽出の対象となるブロックは、例えば、後述する図４の（Ｄ）に示される網掛けのブロックである。
【００５９】
なお、ブロック分割部２０３は、ステップＳ１０１からＳ１０４の処理を省略してもよい。この場合、ブロック分割部２０３は、取得した画像を格子状のブロックに分割し、分割された各ブロックを特徴量抽出の対象に決定してもよい。
【００６０】
図４は、第１の実施形態のブロック分割処理によって取得される画像を示す説明図である。
【００６１】
左上図（Ａ）は、ブロック分割部２０３によってはじめに取得した画像の一部であり、例えば、人物が映っている画像である。右上図（Ｂ）は、ブロック分割部２０３によって作成された背景差分画像であり、人物又は物体（前景）が映っている可能性の高い領域が背景差分値によって示される。
【００６２】
左下図（Ｃ）は、ブロック分割部２０３によって格子状のブロックに分割された背景差分画像である。右下図（Ｄ）は、ブロック分割部２０３によって決定された特徴量抽出の対象となるブロックを示す画像である。特徴量抽出の対象となるブロック領域は網掛けされている。
【００６３】
以下に、検索処理の詳細について説明する。
【００６４】
図５は、第１の実施形態の検索処理を示すブロック図である。
【００６５】
本実施形態の画像検索システムは、画像取得部３０１、ブロック分割部３０２、画像表示部３０３、ブロック選択部３０４、検索部３０５、検索結果統合部３０６、検索結果表示部３０７、画像データベース１４０及び特徴量データベース１５０によって、検索処理を実行する。なお、図１に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、画像取得部３０１、ブロック分割部３０２、画像表示部３０３、ブロック選択部３０４、検索部３０５、検索結果統合部３０６、検索結果表示部３０７の処理を実現する。
【００６６】
画像取得部３０１は、カメラ１６０によって撮影された映像から抽出された画像から、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。
【００６７】
又は、画像取得部３０１は、画像データベース１４０の画像管理情報２０００から、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。この場合、画像検索システムは、ユーザがカメラ番号（カメラＩＤ）、画像の撮影時刻などを参照することによって検索キーとなるブロックを含む画像を選択することができるインタフェース画面を、クライアント計算機１３０のディスプレイに表示してもよい。
【００６８】
画像取得部３０１がカメラ１６０から画像を取得した場合、ブロック分割部３０２は、図２に示したブロック分割部２０３と同じ処理によって、取得した画像をブロックに分割し、分割されたブロックのうちで特徴量抽出の対象となるブロックを決定する。
【００６９】
一方、画像取得部３０１が画像データベース１４０から画像を取得した場合、既にデータ登録処理は終了しているので、ブロック分割部３０２は、特徴量データベース１５０の特徴量管理情報２１００から、取得した画像に対応する画像ＩＤ及びブロック位置を取得する。
【００７０】
次に、画像表示部３０３は、クライアント計算機１３０のディスプレイに取得した画像を表示する。この場合、ブロック分割部３０２によって取得したブロック位置の情報も合わせて表示する。
【００７１】
図６は、第１の実施形態のブロック選択時に表示される画像を示す説明図である。
【００７２】
右図（Ａ）は、検索キー候補のブロックを示す。左図（Ｂ）のブロック４０１は、ユーザによって、検索キーとして選択されたブロックである。
【００７３】
なお、画像表示部３０３は、検索キー候補のブロックを表示する場合、図６の（Ａ）に示したように、取得した画像の検索キー候補の各ブロックを矩形で表示してもよいし、また、取得した画像の横に検索キー候補の各ブロックを並べて表示してもよい。
【００７４】
次に、ブロック選択部３０４は、ユーザによって選択された検索キーとなるブロックを取得する。なお、ユーザは、クライアント計算機１３０のディスプレイに表示された画像に含まれる各ブロックから、マウスなどの入力装置を用いて検索キーとなるブロックを選択することができる。
【００７５】
また、画像表示部３０３は、選択された検索キーのブロックを明示するために、例えば、選択されたブロックの矩形を着色してもよいし、矩形の線を太くしてもよい。また、選択されたブロックの矩形の内部を着色してもよい。
【００７６】
次に、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、選択された検索キーのブロックの特徴量と類似する特徴量を持つブロックを検索し、検索結果を取得する。検索部３０５が実行する検索処理の詳細については、図２１を用いて後述する。
【００７７】
なお、本実施形態では、検索結果表示部３０７が、検索結果のブロックではなく、検索結果のブロックを含む画像（検索結果画像）を表示するので、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、検索結果のブロックを含む画像の画像ＩＤを取得する。
【００７８】
次に、検索結果統合部３０６は、検索部３０５によって取得した検索結果を統合し、検索結果表示リストを作成する。検索結果統合部３０６が実行する検索結果統合処理の詳細については、図７を用いて後述する。
【００７９】
検索結果表示部３０７は、クライアント計算機１３０のディスプレイに、検索結果統合部３０６によって作成された検索結果表示リストに含まれる画像ＩＤを持つ画像を表示する。この場合、検索結果表示部３０７は、画像のみを表示してもよいし、矩形で示された検索結果のブロックを含む画像を表示してもよい。
【００８０】
以下に、検索部３０５が実行する検索処理の詳細について説明する。
【００８１】
図２１は、第１の実施形態の検索処理を示すフローチャートである
検索部３０５は、まず、選択されたブロックの特徴量を取得する（Ｓ６０１）。なお、画像取得部３０１がカメラ１６０から画像を取得した場合、検索部３０５は、図２に示した特徴量抽出部２０４と同じ処理を実行し、選択されたブロックの特徴量を抽出する。一方、画像取得部３０１が画像データベース１４０から画像を取得した場合、取得した画像の各ブロックの特徴量は既に計算されているので、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、選択されたブロックの特徴量を取得する。
【００８２】
次に、検索部３０５は、選択された検索キーのブロックの特徴量と特徴量管理情報２１００の各エントリの特徴量との間の類似度を計算する（Ｓ６０２）。本実施形態では、類似度を計算するために、各特徴量ベクトルの間のユークリッド距離を用いる。なお、各特徴量の間の類似度は、ユークリッド距離のほか、例えば、マンハッタン距離などを用いて計算されてもよい。
【００８３】
最後に、検索部３０５は、特徴量データベース１５０の特徴量管理情報２１００から、検索キーのブロックとの類似度が大きいＮ件のブロックを検索結果として取得する（Ｓ６０３）。ここで、Ｎは、検索結果表示部３０７が一度に表示することができる件数よりも十分大きい数でもよい。例えば、表示することができる件数が２０であるとすると、ステップＳ６０３において取得される検索結果の数Ｎは１０００程度が好ましい。
【００８４】
以下に、検索結果統合部３０６が実行する検索結果統合処理の詳細について説明する。
【００８５】
図７は、第１の実施形態の検索結果統合処理を示すフローチャートである。
【００８６】
まず、検索結果統合部３０６は、検索部３０５から出力された、検索キーのブロックとの類似度が大きいＮ件の検索結果を取得し、カウンタｉを０にする（Ｓ２０１）。さらに、検索結果表示リストを初期化する。ここで、検索結果表示リストとは、検索結果表示部３０７が検索結果のブロックを含む画像（検索結果画像）を表示するために、検索結果統合部３０６によって作成される、画像ＩＤとその画像ＩＤを持つ画像に設定された類似度とが対応付けられたリストである。
【００８７】
次に、検索結果統合部３０６は、特徴量データベース１５０の特徴量管理情報２１００から、Ｎ件の検索結果のブロックのうち、類似度がｉ番目のブロックを含む画像の画像ＩＤを取得する（Ｓ２０２）。
【００８８】
その後、検索結果統合部３０６は、取得した画像ＩＤが検索結果表示リストに含まれるか否かを判定する（Ｓ２０３）。ステップＳ２０３において、取得した画像ＩＤが検索結果表示リストに含まれないと判定された場合、検索結果統合部３０６は、検索結果表示リストに取得した画像ＩＤとその画像ＩＤを持つ画像に対応する類似度とを追加する（Ｓ２０４）。一方、ステップＳ２０３において、取得した画像ＩＤが検索結果表示リストに含まれると判定された場合、検索結果統合部３０６は、検索結果表示リストに取得した画像ＩＤを追加せず、ステップＳ２０５に移る。
【００８９】
次に、検索結果統合部３０６は、検索部３０５から出力されたすべての検索結果が処理されたか否かを判定する（Ｓ２０５）。ステップＳ２０５において、すべての検索結果が処理されていないと判定された場合、すなわち、カウンタｉが検索結果数Ｎ未満である場合、検索結果統合部３０６は、カウンタｉに１を追加し（Ｓ２０６）、Ｓ２０２以降の処理を繰り返す。
【００９０】
一方、ステップＳ２０５において、すべての検索結果が処理されたと判定された場合、すなわち、カウンタｉが検索結果数Ｎ以上である場合、検索結果統合部３０６は、検索結果表示リストに追加された画像ＩＤを類似度が大きい順にソートし（Ｓ２０７）、処理を終了する。
【００９１】
なお、本実施形態では、ソートの対象として追加された画像ＩＤを持つ画像に複数の検索結果のブロックを含む場合、複数の検索結果のブロックのうち、検索キーのブロックとの類似度が最も大きい検索結果のブロックを選択し、選択されたブロックの類似度を追加された画像ＩＤを持つ画像に対応する類似度に設定する。なお、複数の検索結果のブロックの類似度の平均値を計算し、計算された類似度の平均値を追加された画像ＩＤを持つ画像に対応する類似度に設定してもよい。
【００９２】
以上説明したように、第１の実施形態の画像検索システムによると、格子状のブロックに分割された画像をブロック単位で検索するので、人物又は物体の領域を厳密に抽出することなく、検索キーと類似する人物又は物体を検索することができる。さらに、検索キーのブロックと類似した部分が画像の一部に映っていれば検索が可能なため、検索対象となる画像に映っている人物の姿勢及びオクルージョン（カメラに対して手前の物体が後方の物体を遮蔽する現象）の影響が小さくなる。
【００９３】
［実施形態２］
以下、本発明の第２の実施形態の画像検索システムについて、図面を用いて説明する。
【００９４】
図８は、第２の実施形態の画像検索システムの構成を示すブロック図である。
【００９５】
第２の実施形態の画像検索システムは、サーバ計算機１１０、クライアント計算機１３０、特徴量データベース１５０、カメラ画像データベース４１０及びサムネイル画像データベース４２０を備える。各装置は、通信基盤１２０によって相互に接続される。
【００９６】
サーバ計算機１１０、クライアント計算機１３０、特徴量データベース１５０及び通信基盤１２０は、それぞれ、図１に示した第１の実施形態の画像検索システムが備える同じ符号が付与された装置と同じであるので、説明を簡略化する。
【００９７】
カメラ画像データベース４１０は、カメラによって事前に撮影されたカメラ画像（映像データから抽出された静止画）を格納するデータベースである。なお、カメラ画像データベース４１０は、図１に示した画像データベース１４０と同様に、図１９に示した画像管理情報２０００を格納してもよい。この場合、事前に撮影されたカメラ画像（例えば、ＪＰＥＧ画像）は、画像管理情報２０００の画像２００４に格納される。また、事前に撮影された画像の画像ＩＤ、カメラＩＤ、及び撮影時刻は、それぞれ、画像管理情報２０００の画像ＩＤ２００１、カメラＩＤ２００２、撮影時刻２００３に格納される。
【００９８】
サムネイル画像データベース４２０は、カメラ画像のサムネイルを格納するデータベースである。なお、サムネイル画像データベース４２０は、図１に示した画像データベース１４０と同様に、図１９に示した画像管理情報２０００を格納してもよい。ただし、この場合、画像管理情報２０００の画像２００４には、サムネイル画像、又はサムネイル画像の元のカメラ画像を参照するためのリンク情報が格納される。
【００９９】
なお、画像検索システムは、サムネイル画像を利用しない場合、サムネイル画像データベース４２０を備えなくてもよい。
【０１００】
以下に、画像登録処理について説明する。
【０１０１】
図９は、第２の実施形態の画像登録処理を示すブロック図である。
【０１０２】
本実施形態の画像検索システムは、画像入力部５０１、ブロック分割部５０２、特徴量抽出部２０４及びカメラ画像データベース４１０によって、画像登録処理を実行し、検索対象となる画像の情報を特徴量データベース１５０及びサムネイル画像データベース４２０に格納する。なお、図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、画像入力部５０１、ブロック分割部５０２、特徴量抽出部２０４の処理を実現する。
【０１０３】
特徴量抽出部２０４及び特徴量データベース１５０は、それぞれ、図２に示した第１の実施形態の特徴量抽出部２０４及び特徴量データベース１５０と同じである。
【０１０４】
まず、画像入力部５０１は、検索対象となる画像を取得する。ここで、検索対象となる画像とは、カメラ画像データベース４１０に格納されている画像である。
【０１０５】
次に、ブロック分割部５０２は、ブロック分割処理を実行する。具体的には、ブロック分割部５０２は、画像入力部５０１から出力された画像をブロックに分割し、分割されたブロックのうち、特徴量抽出の対象となるブロックを決定する。ブロック分割部５０２が実行するブロック分割処理の詳細については、図１０を用いて後述する。
【０１０６】
また、ブロック分割部５０２は、特徴量抽出の対象に決定されたブロックを含む画像を選択し、選択された画像のサムネイルを作成する。ブロック分割部５０２は、サムネイル画像データベース４２０の画像管理情報２０００の画像２００４に作成されたサムネイル画像を格納する。また、サムネイル画像に元画像へのリンク情報を付与してもよい。
【０１０７】
また、ブロック分割部５０２は、サムネイル画像データベース４２０の画像管理情報２０００の各項目に、サムネイル画像の画像ＩＤ、カメラＩＤ及び撮影時刻を格納する。
【０１０８】
なお、画像検索システムがサムネイル画像データベース４２０を備えない場合、ブロック分割部５０２は、例えば、カメラ画像データベース４１０の画像管理情報２０００に格納されている画像のうち、特徴量抽出の対象に決定されたブロックが含まれる画像の画像ＩＤを、特徴量抽出の対象のブロックが含まれていることを示す画像ＩＤに書き換えてもよい。
【０１０９】
特徴量抽出部２０４は、ブロック分割部５０２によって決定された特徴量抽出の対象のブロックから特徴量を抽出し、抽出された特徴量のＩＤ、元画像の画像ＩＤ、ブロックの位置情報及び抽出された特徴量（特徴量ベクトル）を、特徴量データベース１５０の特徴量管理情報２１００の各項目に格納する。
【０１１０】
以下に、ブロック分割部５０２処理の詳細について説明する。
【０１１１】
図１０は、第２の実施形態のブロック分割処理を示すフローチャートである。
【０１１２】
まず、ブロック分割部５０２は、画像入力部５０１から出力された画像を取得する（Ｓ３０１）。次に、ブロック分割部５０２は、取得した画像を格子状のブロックに分割する（Ｓ３０２）。
【０１１３】
なお、ブロック分割部２０３は、取得した画像に映っている人物又は物体の大きさに応じて、ブロックの大きさ、又は分割数を変更してもよい。また、ブロックの大きさは、すべて同じでもよいし、画像の領域によって変更されてもよい。例えば、画像の上部、すなわち、撮影範囲の奥方向のブロックを画像の下部と比べて小さくしてもよい。また、静止画の上部には小さい物体しか映っていないことが多いので、画像の上部を特徴量抽出の対象としなくてもよい。
【０１１４】
次に、ブロック分割部５０２は、分割された各ブロックの色ヒストグラムを計算する（Ｓ３０３）。具体的には、まず、ＲＧＢの値を複数の値域に分割する。例えば、ＲＧＢの各値が０から２５５の間の範囲にある場合、この範囲を０から６３、６４から１２７、１２８から１９１、１９２から２５５、の４段階に区分する。一の段階に含まれる画素値を同じ値とみなすと、ＲＧＢの組合わせは、全部で、４×４×４＝６４通りになる。なお、ブロック分割部５０２は、ＲＧＢのそれぞれを同じ段階に区分しなくてもよい。例えば、人間の視覚特性に合わせて、Ｒを１２段階、Ｇを２１段階、Ｂを６段階に区分することによって、分解能に差をつけてもよい。
【０１１５】
次に、ブロック分割部５０２は、分割された各ブロックに含まれる各画素毎にＲＧＢの値を計算し、計算された各画素のＲＧＢの値が、どの組合わせ（例えば、６４通りの組合せ）に該当する判定する。そして、各組合せに該当する画素の合計を計算する。これによって、対象ブロックの色ヒストグラムが作成される。
【０１１６】
次に、ブロック分割部５０２は、ステップＳ３０２と同様に、事前に用意された背景画像を格子状のブロックに分割する。そして、ステップＳ３０３と同様に、背景画像の各ブロックの色ヒストグラムを計算する。そして、ブロック分割部５０２は、取得した画像と背景画像とを比較し、対応する各ブロック毎に、それぞれの色ヒストグラムの差分を計算する（Ｓ３０４）。この場合、例えば、ユークリッド距離を用いて、各色ヒストグラムの差分を計算してもよい。
【０１１７】
最後に、ブロック分割部５０２は、特徴量を抽出する対象となるブロックを決定する（Ｓ３０５）。ここで、例えば、ブロック分割部５０２は、ブロックの差分値が所定の閾値を越える場合、そのブロックを特徴量抽出の対象としてもよい。また、差分値の大きさの順にソートされた各ブロックのうち、差分値が大きいブロックを所定の数だけ選択し、選択されたブロックを特徴量抽出の対象としてもよい。
【０１１８】
以下に、人物又は物体の検索処理について説明する。
【０１１９】
図１１は、第２の実施形態の検索処理を示すブロック図である。
【０１２０】
第２の実施形態の画像検索システムは、画像取得部６０１、画像表示部６０２、ブロック選択部３０４、検索部６０３、検索結果統合部３０６、検索結果表示部３０７、特徴量データベース１５０及びサムネイル画像データベース４２０によって、検索処理を実行する。
【０１２１】
なお、図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、画像取得部６０１、画像表示部６０２、ブロック選択部３０４、検索部６０３、検索結果統合部３０６及び検索結果表示部３０７の処理を実現する。
【０１２２】
特徴量データベース１５０、ブロック選択部３０４、検索結果統合部３０６及び検索結果表示部３０７は、図５に示した同一の符号が付けられた各処理部と同じであるので、説明を簡略化する。
【０１２３】
なお、画像検索システムがサムネイル画像データベース４２０を備えない場合、画像検索システムは、サムネイル画像データベース４２０の代わりに、カメラ画像データベース４１０を用いて検索処理を実行する。
【０１２４】
まず、画像取得部６０１は、サムネイル画像データベース４２０から、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。サムネイル画像データベース４２０には、既に画像登録処理が終了しており、検索キーの対象となる画像が格納されている。
【０１２５】
この場合、画像検索システムは、カメラ番号（カメラＩＤ）、画像の撮影時刻などを参照することによって、ユーザが検索キーとなるブロックを含む画像を選択することができるインタフェース画面を、クライアント計算機１３０のディスプレイに表示してもよい。画像取得部６０１は、ユーザがマウス又はキーボードなとの入力装置を操作することによってインタフェース画面から選択した検索キーとなるブロックを含む画像を取得する。
【０１２６】
画像表示部６０２は、画像取得部６０１から出力された、検索キーとなるブロックを含む画像を、クライアント計算機１３０のディスプレイに表示する。この場合、画像表示部６０２は、特徴量データベース１５０の特徴量管理情報２１００から画像のブロックの位置情報を取得し、取得した画像とブロックの位置情報とを合わせて表示する。
【０１２７】
画像表示部６０２は、図６の（Ａ）に示したように、取得した画像に含まれる検索キー候補の各ブロックを矩形で表示してもよいし、また、取得した画像の横に検索キー候補の各ブロックを並べて表示してもよい。
【０１２８】
次に、ブロック選択部３０４は、図５に示したブロック選択部３０４と同じ処理によって、検索キー（後述する図１２の検索処理における第１の検索キー）となるブロックを選択する。
【０１２９】
次に、検索部６０３は、特徴量データベース１５０の画像管理情報２０００から、選択された検索キーのブロックの特徴量と類似した特徴量を持つブロックを検索する。検索部６０３の処理の詳細については図１２を用いて後述する。
【０１３０】
次に、検索結果統合部３０６は、検索部６０３から出力された検索結果を取得し、図７に示した検索結果統合処理によって、取得した検索結果を統合する。
【０１３１】
次に、検索結果表示部３０７は、図５に示した検索結果表示部３０７と同じ処理によって、検索結果統合部３０６が作成した検索結果表示リストに含まれる画像ＩＤを持つ画像を、クライアント計算機１３０のディスプレイに表示する。
【０１３２】
以下に、検索部６０３が実行する検索処理の詳細について説明する。
【０１３３】
図１２は、第２の実施形態の検索処理を示すフローチャートである。
【０１３４】
まず、検索部６０３は、ブロック選択部３０４によって選択された第１の検索キーのブロックを含む画像のカメラＩＤ及び撮影時刻を、サムネイル画像データベース４２０の画像管理情報２０００から取得する（Ｓ４０１）。
【０１３５】
次に、検索部６０３は、選択された第１の検索キーのブロックを含む画像の前後フレームの画像のブロックのうち、選択された第１の検索キーのブロックに類似したＭ件の第２の検索キーのブロックを取得する（Ｓ４０２）。
【０１３６】
ここで、まず、検索部６０３は、取得したカメラＩＤによって撮影された画像から、取得した撮影時刻の前後ｔ秒（例えば、１０秒程度）の範囲で撮影された画像を抽出し、抽出された前後の画像に含まれる各ブロック（各ブロック位置の情報）を取得する。
【０１３７】
次に、検索部６０３は、特徴量データベース１５０の画像管理情報２０００を参照し、第１の検索キーのブロックの特徴量と、取得した前後の画像に含まれるブロックの特徴量との間の類似度を計算する。そして、第１の検索キーのブロックとの類似度が大きいＭ件のブロックを取得する。
【０１３８】
なお、ここでは、類似度を計算するために、各特徴量ベクトルの間のユークリッド距離を用いたが、ユークリッド距離のほか、例えば、マンハッタン距離などを用いてもよい。また、検索部６０３は、計算された類似度が所定の閾値を超えた場合、そのブロックを取得してもよい。
【０１３９】
次に、検索部６０３は、取得したブロックの数ＭがＭ＞０を満たすか否かを判定する（Ｓ４０３）。
【０１４０】
ステップＳ４０３において、検索結果件数ＭがＭ＞０を満たさないと判定された場合、すなわち、選択された第１の検索キーのブロックの撮影時刻の前後ｔ秒に他の画像がない場合、又は、第１の検索キーのブロックと前後の画像に含まれるブロックとの間の類似度が所定の閾値以下であった場合、検索部６０３は、選択された第１の検索キーを用いて、特徴量管理情報２１００のすべてのブロックを検索する。そして、検索部６０３は、第１の検索キーのブロックとの類似度が大きいＮ件のブロックを取得する（Ｓ４０６）。ステップＳ４０６の処理は、図２１に示したステップＳ６０１からＳ６０３の検索処理と同じである。
【０１４１】
一方、ステップＳ４０３において、検索結果件数ＭがＭ＞０を満たすと判定された場合、検索部６０３は、取得したブロックを第２の検索キーに設定し、第１の検索キー及び第２の検索キーを用いて、特徴量管理情報２１００のすべてのブロックを検索する（Ｓ４０４）。
【０１４２】
そして、検索部６０３は、第１の検索キーのブロックとの類似度が大きい所定の数の第１のブロックを取得する。また、第２の検索キーのブロックとの類似度が大きい所定の数の第２のブロックを取得する。取得した第１のブロックの数及び第２のブロックの数は、例えば、合わせてＮ件になるように設定されてもよい。ステップＳ４０４の処理は、図２１に示したステップＳ６０１からＳ６０３の検索処理と同じである。
【０１４３】
ただし、ステップＳ４０４の処理によって取得された検索結果（第２のブロック）は、複数の第２の検索キーを用いて検索されたので、重複することがある。このため、重複した第２のブロックを統合する（Ｓ４０５）。この場合、複数の第２の検索キーのブロックと第２のブロックとの間の類似度を再設定しなければならない。
【０１４４】
ここでは、複数の第２のブロックのうち、第２の検索キーとの類似度が最も大きい第２のブロックを選択し、その類似度を第２のブロックに対応する類似度に設定する。なお、複数の第２のブロックに対応する各類似度の平均値を計算し、計算された類似度をその第２ブロックの類似度に設定してもよい。また、選択された第１の検索キーのブロックを用いて検索された第１のブロックと第２の検索キーのブロックを用いて検索された第２のブロックとが重複した場合、第１のブロックに対応する類似度を、統合されたブロックに対応する類似度に設定してもよい。
【０１４５】
次に、検索結果統合部３０６は、ステップＳ４０５又はＳ４０６によって取得された検索結果を統合する。検索結果統合処理は、図７に示した検索結果統合処理と同じである。
【０１４６】
最後に、検索結果表示部３０７は、クライアント計算機１３０のディスプレイに、検索結果統合部３０６によって作成された検索結果表示リストに含まれる画像ＩＤを持つ画像を表示する。
【０１４７】
以上説明したとおり、第２の実施形態の画像検索システムによると、第１の実施形態の効果に加え、特徴量が少しずつ異なる検索キーを用いて検索処理を実行するので、多様な検索結果を得ることができ、検索精度を向上させることができる。
【０１４８】
［実施形態３］
以下、本発明の第３の実施形態の画像検索システムについて、図面を用いて説明する。
【０１４９】
本実施形態の画像検索システムの構成、及び画像データ登録処理は、第１の実施形態又は第２の実施形態と同じであるので、説明を省略する。以下に、本実施形態の検索処理について説明する。
【０１５０】
図１３は、第３の実施形態の検索処理を示すブロック図である。
【０１５１】
本実施形態の画像検索システムは、画像取得部７０１、画像表示部７０２、ブロック選択部７０３、検索部７０４、検索結果統合部７０５、検索結果表示部７０６、画像データベース７１０、及び特徴量データベース１５０によって、検索処理を実行する。
【０１５２】
なお、図１又は図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、各処理部の処理を実現する。
【０１５３】
また、特徴量データベース１５０は、図１に示した特徴量データベース１５０と同じである。また、本実施形態の画像検索システムが第１の実施形態の画像検索システムの構成と同じである場合、画像データベース７１０は、図１に示した画像データベース１４０と同じである。また、本実施形態の画像検索システムが第２の実施形態の画像検索システムの構成と同じである場合、画像データベース７１０は、サムネイル画像データベース４２０と同じである。
【０１５４】
まず、画像取得部７０１は、ユーザによって選択された、検索キーとなる人物又は物体が含まれる画像を画像データベース７１０から取得する。ここで、画像データベース７１０には、既に画像登録処理が終了しており、検索キーの対象となる画像が格納されている。
【０１５５】
この場合、画像検索システムは、カメラ番号（カメラＩＤ）、画像の撮影時刻などを参照することによって、ユーザが検索キーとなるブロックを含む画像を選択することができるインタフェース画面を、クライアント計算機１３０のディスプレイに表示してもよい。画像取得部７０１は、ユーザがマウス又はキーボードなとの入力装置を操作することによってインタフェース画面から選択した画像を取得する。
【０１５６】
次に、画像表示部７０２は、取得した画像を、クライアント計算機１３０のディスプレイに表示する。この場合、画像表示部７０２は、特徴量データベース１５０の特徴量管理情報２１００からブロック位置の情報を取得し、取得したブロック位置の情報と取得した画像とを表示する。例えば、画像表示部７０２は、図６の（Ａ）に示したように、取得した画像に含まれる各ブロックを矩形で表示してもよい。
【０１５７】
次に、ブロック選択部７０３は、ユーザによって選択された検索キーとなるブロックを取得する。本実施形態では、ブロック選択部７０３は、ユーザによって選択された複数のブロックを取得することができる。なお、ユーザは、クライアント計算機１３０のディスプレイに表示された画像に含まれる各ブロックから、マウスなどの入力装置を用いて検索キーとなる複数のブロックを選択することができる。
【０１５８】
なお、画像検索システムは、選択されたすべての検索キーに対応する検索結果を取得するか、又は、選択された複数の検索キーのうちのいずれかの検索キーに対応する検索結果を取得するかをユーザが指定するためのインタフェース画面を表示してもよい。
【０１５９】
図１４は、第３の実施形態の複数ブロック選択時に表示される画像を示す説明図である。
【０１６０】
図１４では、ユーザによって選択された検索キーとなるブロック８０１及び８０２が示される。なお、画像表示部６０２は、選択されたブロックを明示するために、該ブロックを囲む各矩形を着色してもよい。また、各ブロックを囲む矩形を異なる色で着色してもよい。
【０１６１】
図１３の検索処理の説明に戻る。
【０１６２】
次に、検索部７０４は、選択された検索キーのブロックと類似した特徴量を持つブロックを特徴量データベース１５０から検索する。ブロック選択部７０３によって複数のブロックが選択された場合、検索部７０４は、選択された検索キーのブロックの数だけ検索処理を繰り返す。
【０１６３】
次に、検索結果統合部７０５は、検索部７０４から出力された検索結果を取得し、取得した検索結果を統合する。検索結果統合部７０５の処理の詳細については図１５を用いて後述する。
【０１６４】
次に、検索結果表示部７０６は、検索結果統合部７０５によって作成された検索結果表示リストに含まれる画像ＩＤを持つ画像を、クライアント計算機１３０のディスプレイに表示する。この場合、検索結果表示部７０６は、画像のみを表示してもよいし、画像中の矩形で囲まれた検索結果ブロックを表示してもよい。また、検索結果表示部７０６は、検索結果ブロックを矩形で囲む場合、検索結果のブロックがどの検索キーのブロックに対応するかを示すため、各検索キーのブロックに対応する検索結果のブロックを異なる色で着色してもよい。
【０１６５】
以下に、検索結果統合部７０５の処理の詳細について説明する。
【０１６６】
図１５は、第３の実施形態の検索結果統合処理を示すフローチャートである。
【０１６７】
まず、検索結果統合部７０５は、検索結果表示リストの内容を初期化し、カウンタｉを０にする（Ｓ５０１）。
【０１６８】
次に、検索結果統合部７０５は、選択されたＬ件の検索キーのうちのｉ番目の検索キーを用いて検索部７０４が取得したＮｉ件の検索結果を取得する。さらに、検索結果統合部７０５は、カウンタｊを０にし、ｉ番目の検索キーに対応する検索結果リスト（検索キー別検索結果リスト）を初期化する（Ｓ５０２）。ここで、検索キー別検索結果表示リストとは、検索キー毎の検索結果のブロックを含む画像の画像ＩＤとその画像に設定された類似度とが対応付けられたリストである。なお、検索キーの件数と同じＬ件の検索キー別検索結果リストが作成される。
【０１６９】
次に、検索結果統合部７０５は、取得したＮｉ件の検索結果のうち、類似度がｊ番目のブロックを含む画像の画像ＩＤを、特徴量データベース１５０の特徴量管理情報２１００から取得する（Ｓ５０３）。この画像ＩＤは、画像データ登録時に抽出された特徴量と合わせて特徴量データベース１５０の特徴量管理情報２１００に格納された画像ＩＤである。
【０１７０】
次に、検索結果統合部７０５は、取得した画像ＩＤが検索キー別検索結果リストに含まれるか否かを判定する（Ｓ５０４）。ステップＳ５０４において、取得した画像ＩＤが検索キー別検索結果リストに含まれないと判定された場合、検索結果統合部７０５は、検索キー別検索結果リストに、取得した画像ＩＤとその画像ＩＤを持つ画像に対応する類似度とを追加する（Ｓ５０５）。一方、ステップＳ５０４において、取得した画像ＩＤが検索キー別検索結果リストに含まれると判定された場合、検索結果統合部７０５は、検索キー別検索結果リストに、取得した画像ＩＤを追加せず、ステップＳ５０６に移る。
【０１７１】
次に、検索結果統合部７０５は、取得したＮｉ件のすべての検索結果を処理したか否かを判定する（Ｓ５０６）。ステップＳ５０６において、すべての検索結果が処理されていないと判定された場合、すなわち、カウンタｊが検索結果数Ｎｉ未満である場合、検索結果統合部７０５は、カウンタｊに１を追加し（Ｓ５０７）、ステップＳ５０３以降の処理を繰り返す。一方、ステップＳ５０６において、すべての検索結果が処理されたと判定された場合、すなわち、カウンタｊが検索結果数Ｎｉ以上である場合、検索結果統合部７０５は、ｉ番目の検索キーを用いて取得されたすべての検索結果を処理したので、ステップＳ５０８に移る。
【０１７２】
次に、検索結果統合部７０５は、ブロック選択部７０３が選択されたＬ件の検索キーを用いて取得したすべての検索結果を処理したかどうかを判定する（Ｓ５０８）。ステップＳ５０８において、すべての検索結果を処理していないと判定された場合、すなわち、カウンタｉが選択した検索キー数Ｌ未満である場合、検索結果統合部７０５は、カウンタｉに１を追加し（Ｓ５０９）、ステップＳ５０２以降の処理を繰り返す。
【０１７３】
一方、ステップＳ５０８において、すべての検索結果を処理したと判定された場合、すなわち、カウンタｉが検索キー数Ｌ以上である場合、検索結果統合部７０５は、すべての検索結果を処理したので、ステップＳ５１０に移る。
【０１７４】
検索結果統合部７０５は、ステップＳ５０１からＳ５０９の処理によって得られた検索キー別検索結果リストのいずれにも含まれる画像ＩＤを検索結果表示リストに追加する（Ｓ５１０）。これによって、検索結果表示部７０６は、選択されたＬ件の検索キーのそれぞれに対応するすべての検索結果のブロックを含む画像を表示する。
【０１７５】
この場合、その画像ＩＤを持つ画像に対応する類似度は、各検索キー別検索結果リスト毎に異なるので、検索結果統合部７０５は、検索結果表示リストに追加されるその画像ＩＤの画像には、最も大きい類似度を設定する。なお、検索結果表示リストに追加されるその画像ＩＤの画像に、類似度の平均値を設定してもよい。
【０１７６】
なお、ステップＳ５１０において、検索結果統合部７０５は、各検索キー別検索結果リストのいずれかに少なくとも一つ含まれる画像ＩＤを検索結果表示リストに追加してもよい。この場合、検索結果表示部７０６は、選択されたＬ件の検索キーのうちのいずれか一つの検索キーに対応する検索結果を含む画像を表示する。
【０１７７】
なお、検索結果統合部７０５は、ステップＳ５１０の処理のために、各検索キーに対応する検索結果のブロックの位置関係を利用してもよい。具体的には、検索結果統合部７０５は、画像に含まれる各検索キーブロックの相対的な位置関係を記憶し、記憶された各検索キーブロックの相対的な位置と各検索結果のブロックの相対的な位置とを比較する。そして、それぞれの相対的な位置が一致する場合、その検索結果を含む画像の画像ＩＤを検索結果表示リストに追加する。
【０１７８】
最後に、検索結果統合部７０５は、検索結果表示リストに含まれる画像ＩＤを類似度の大きさに従ってソートした後、処理を終了する（Ｓ５１１）。
【０１７９】
以上説明したように、第３の実施形態の画像検索システムによると、第１及び第２の実施形態の効果に加え、複数の検索キーを用いるので、複数の特徴を持つ人物及び物体を検索することができる。
【０１８０】
［実施形態４］
以下に、本発明の第４の実施形態の画像検索システムについて、図面を用いて説明する。本実施形態の追跡マップ表示部９０４は、人物及び物体の移動順序を地図上に表示する。
【０１８１】
本実施形態の画像検索システムの構成及び画像データ登録処理は、それぞれ、第１又は第２の実施形態の画像検索システムの構成及び画像データ登録処理と同じである。
【０１８２】
図１６は、第４の実施形態の検索処理を示すブロック図である。
【０１８３】
本実施形態の画像検索システムは、画像取得部７０１、画像表示部６０２、検索キー領域指定部９０１、検索部９０２、検索結果統合部９０３、追跡マップ表示部９０４、画像データベース７１０、及び特徴量データベース１５０によって、検索処理を実行する。なお、図１又は図８に示したＣＰＵ１１２は、ＨＤ１１４に格納された各種プログラムをメモリ１１３にロードし、メモリ１１３にロードされた各種プログラムを読み出し、読み出された各種プログラムを実行することによって、各処理部の処理を実現する。
【０１８４】
なお、特徴量データベース１５０は、図１に示した特徴量データベース１５０と同じである。また、画像取得部７０１は、図１３に示した画像取得部７０１と同じである。画像データベース７１０は、図１３に示した画像データベース７１０と同じである。画像表示部６０２は、図１１に示した画像表示部６０２と同じである。
【０１８５】
まず、画像取得部７０１は、ユーザによって選択された、検索キーとなる人物又は物体が含まれた画像を取得する。
【０１８６】
次に、画像表示部６０２は、取得した画像を、クライアント計算機１３０のディスプレイに表示する。
【０１８７】
次に、検索キー領域指定部９０１は、ユーザによって指定された、検索キーとなる領域を取得する。ユーザは、マウスなどの入力装置を操作することによって、画像表示部６０２によって表示された画像のうち、検索キーとなる領域を指定する。
【０１８８】
図１７は、第４の実施形態の検索キー領域指定時に表示される画像を示す説明図である。
【０１８９】
図１７では、ユーザによって指定された、検索キーとなる任意の形状の領域１００１が示される。
【０１９０】
次に、検索キー領域指定部９０１は、特徴量抽出部２０４が実行する処理と同様に、指定された領域から特徴量を抽出する。ただし、指定された領域の大きさに応じて、抽出された特徴量の値を正規化する。
【０１９１】
次に、検索部９０２は、特徴量データベース１５０の特徴量管理情報２１００から、指定された領域の特徴量と各エントリの特徴量との間の類似度を計算し、指定された領域との類似度が大きいブロックを検索結果として取得する。ここで、検索部９０２は、指定された領域の特徴量と各ブロックの特徴量との間の類似度を、ユークリッド距離を用いて計算する。
【０１９２】
次に、検索結果統合部９０３は、検索結果のブロックをカメラＩＤ別にグループ化する。以下に、検索結果統合処理の詳細について説明する。
【０１９３】
図２２は、第４の実施形態の検索結果統合処理を示すフローチャートである。
【０１９４】
まず、検索結果統合部９０３は、検索部９０２から出力された検索結果を取得し、カウンタｉを０に初期化する（Ｓ７０１）。次に、検索結果統合部９０３は、特徴量データベース１５０の特徴量管理情報２１００から、類似度がｉ番目となる検索結果のブロックを含む画像の画像ＩＤを取得する。次に、検索結果統合部９０３は、画像データベース７１０の画像管理情報２０００から、取得した画像ＩＤに対応するカメラＩＤを取得する（Ｓ７０２）。
【０１９５】
その後、検索結果統合部９０３は、取得したカメラＩＤを持つグループに、ｉ番目の検索結果のブロックを含む画像の画像ＩＤを追加する（Ｓ７０３）。なお、既にその画像ＩＤがグループに含まれている場合、その画像ＩＤを持つ画像には複数の検索結果のブロックを含むので、その画像ＩＤを持つ画像には、複数の検索結果のブロックの類似度のうちで最も大きい類似度を設定する。
【０１９６】
なお、取得したカメラＩＤを持つグループが存在しない場合、検索結果統合部９０３は、新しいグループを作成し、作成されたグループにｉ番目の検索結果のブロックを含む画像の画像ＩＤを追加する。
【０１９７】
次に、検索結果統合部９０３は、カウンタｉが検索結果数Ｎを超えているか否かを判定する（Ｓ７０４）。ステップＳ７０４において、カウンタｉが検索結果数Ｎを超えていると判定された場合、検索結果統合部９０３は、ｉに１を加算し（Ｓ７０５）、ステップＳ７０２以降の処理を繰り返す。なお、検索結果統合部９０３は、あらかじめ設定された撮影時刻の範囲に含まれない検索結果を検索結果統合処理の対象から除外してもよい。
【０１９８】
追跡マップ表示部９０４は、検索結果統合部９０３によって作成されたカメラＩＤ毎の検索結果のブロックを含む画像（検索結果画像）を、クライアント計算機１３０のディスプレイに表示する。第４の実施形態では、追跡マップ表示部９０４は、カメラが設置されている空間の簡易地図を作成し、作成された簡易地図の周囲に検索結果のブロックを含む画像を表示する。
【０１９９】
図１８は、第４の実施形態の検索結果の表示画面を示す説明図である。
【０２００】
第４の実施形態の検索結果の表示画面は、簡易地図１１０１及び検索結果画像１１０２（又は１１０３）を含む。簡易地図１１０１の周囲に表示された検索結果画像１１０２は、各カメラに対応しており、カメラの設置位置（カメラの撮影範囲）と引出線によって結び付けられる。なお、カメラと検索結果画像１１０２との対応関係が明示されるならば、検索結果画像１１０２は他の方法によって表示されてもよい。また、引き出し線の先に付与された撮影番号１１０４は、検索結果画像１１０２の撮影時刻の順に付与された数字である。つまり、撮影番号１１０４は、検索結果として示された人物の移動順序を示す。
【０２０１】
図１６の説明に戻る。
【０２０２】
追跡マップ表示部９０４は、例えば、ＨＤ１１４に格納された地図情報に基づいて、カメラが設置されている空間の簡易地図１１０１を作成し、その周囲に検索結果画像１１０２を表示する。
【０２０３】
また、追跡マップ表示部９０４は、検索結果統合部９０３によって作成されたカメラＩＤ別のグループに含まれる検索結果のうち、最も類似度が大きい検索結果の画像ＩＤを持つ画像を、カメラＩＤに対応する検索結果画像１１０２として表示する。該当するグループが存在しない場合、何も表示しない。なお、追跡マップ表示部９０４は、所定の閾値以下の類似度である画像を表示しなくてもよい。また、同一グループに、撮影時刻が大きく異なる画像がある場合、重ねられた検索結果画像１１０３を表示してもよい。
【０２０４】
なお、画像検索システムは、重ねられた複数の検索結果画像のうち、クリックされた画像を手前に表示するためのインタフェース画面をユーザに提示してもよい。
【０２０５】
さらに、追跡マップ表示部９０４は、検索結果画像１１０２の引き出し線の先に撮影番号１１０４を付してもよい。
【０２０６】
以上説明したように、第４の実施形態の画像検索システムによると、第１及び第２の実施形態の効果に加え、ユーザによって指定された任意の領域、すなわち、検索人物又は物体の特徴的な部分を検索キーに設定することができるので、検索精度を向上させることができる。さらに、検索結果を時系列に沿って簡易地図に表示させるので、特定の監視対象の移動経路を追跡することができる。
【０２０７】
なお、第１の実施形態から第４の実施形態について説明したが、本発明の適用範囲は、それぞれの実施形態に限定されるものではない。例えば、複数の実施形態を組み合せることもできる。
【符号の説明】
【０２０８】
１１０ サーバ計算機
１１１ 外部インタフェース
１１２ 中央処理演算装置（ＣＰＵ）
１１３ 主記憶装置（メモリ）
１１４ 大容量外部記憶装置（ＨＤ）
１２０ 通信基盤
１３０ クライアント計算機
１４０ 画像データベース
１５０ 特徴量データベース
１６０Ａ〜１６０Ｎ カメラ
２０１ 映像入力部
２０２ 静止画抽出部
２０３ ブロック分割部
２０４ 特徴量抽出部
３０１ 画像取得部
３０２ ブロック分割部
３０３ 画像表示部
３０４ ブロック選択部
３０５ 検索部
３０６ 検索結果統合部
３０７ 検索結果表示部
４０１ 選択ブロック領域
４１０ カメラ画像データベース
４２０ サムネイルデータベース
５０１ 画像入力部
５０２ ブロック分割部
６０１ 画像取得部
６０２ 画像表示部
６０３ 検索部
７０１ 画像取得部
７０２ 画像表示部
７０３ ブロック選択部
７０４ 検索部
７０５ 検索結果統合部
７０６ 検索結果表示部
７１０ 画像データベース
９０１ 検索結果統合部
９０２ 検索結果表示部
【特許請求の範囲】
【請求項１】
ユーザによって指定された画像に類似する画像を検索する画像検索システムであって、
プロセッサと、前記プロセッサに接続されるメモリと、記憶装置とを備える少なくとも一以上の計算機を備え、
前記プロセッサは、
カメラによって撮影された映像、又は前記記憶装置に記憶された映像を取得し、
前記取得された映像から、単位時間当たりに所定の枚数の画像を抽出し、
前記抽出された画像を所定の大きさのブロックに分割し、
色ヒストグラムに基づいて、前記分割されたブロックの特徴量を抽出し、
前記抽出された画像の識別子と、前記抽出された画像の領域のうちで前記ブロックがどの位置にあるかを示す情報と、前記抽出されたブロックの特徴量と、の対応関係を示す第１の情報を作成し、
前記第１の情報に基づいて、前記分割されたブロックのうち、前記ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、前記第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、前記第１の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする画像検索システム。
【請求項２】
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記第２の情報に基づいて、前記第１の検索キーを含む画像を撮影したカメラ及び撮影時刻を特定し、
前記特定されたカメラによって撮影された画像のうち、前記特定された撮影時刻の前後の所定の時間内に撮影された画像を取得し、
前記第１の情報に基づいて、前記第１の検索キーの特徴量と、前記取得した所定の時間内に撮影された画像に含まれるブロックの特徴量と、を比較することによって、前記第１の検索キーに類似する所定の数のブロックを第２の検索キーとして検出し、
さらに、前記検出された第２の検索キーの特徴量と前記他のブロックの特徴量とを比較することによって、前記第２の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記抽出された画像のうち、人物が映っている第１の画像と、人物が映っていない背景のみの第２の画像との間の画素値の差を計算し、
前記計算された画素値の差に基づいて、前記第１の画像と前記第２の画像との背景差分画像を作成し、
前記作成された背景差分画像を所定の大きさのブロックに分割し、
前記分割されたブロックの前記画素値の差の合計を前景度として計算し、
前記分割されたブロックの前景度が所定の閾値を越える場合、色ヒストグラムに基づいて、そのブロックの特徴量を抽出することを特徴とする請求項１に記載の画像検索システム。
【請求項４】
前記第１の検索キーは、前記分割されたブロックのうち、前記ユーザによって選択された複数のブロックであることを特徴とする請求項１に記載の画像検索システム。
【請求項５】
前記第１の検索キーは、前記分割されたブロックの領域のうち、前記ユーザによって指定された大きさ及び形状を持つ領域であることを特徴とする請求項１に記載の画像検索システム。
【請求項６】
前記第１の検索キーの特徴量と前記他のブロックの特徴量との間の距離に基づいて、前記第１の検索キーと前記他のブロックとの間の特徴の類似を示す類似度を計算し、
前記第１の検索キーとの類似度が大きい所定の数の他のブロックを検索結果として検出し、
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記作成された第２の情報に基づいて、前記検出された検索結果を含む画像を撮影したカメラを特定し、
前記特定されたカメラの識別子に従って、前記検出された検索結果を含む画像を分類し、
前記分類された画像のうち、前記第１の検索キーと特徴量の類似度が最も大きいブロックを含む画像であって、かつ、前記類似度が所定の閾値よりも大きいブロックを含む画像を表示することを特徴とする請求項１に記載の画像検索システム。
【請求項７】
前記カメラが設置された空間の地図を作成し、
前記カメラの識別子に従って分類された画像のうち、前記第１の検索キーと特徴量の類似度が大きいブロックを含む少なくとも一の画像を取得し、
前記取得した少なくとも一の画像と前記カメラの撮影範囲との対応関係を前記作成された地図に表示し
さらに、前記第２の情報に基づいて、前記カメラの識別子に従って分類された画像の撮影時刻を特定し、
前記特定された撮影時刻によって、前記画像の撮影順序を示す情報を前記作成された地図に表示することを特徴とする請求項６に記載の画像検索システム。
【請求項８】
前記抽出された画像に映っている人物の大きさ及び位置に応じて、前記画像をいくつかの異なる大きさのブロックに分割することを特徴とする請求項１に記載の画像検索システム。
【請求項９】
ユーザによって指定された画像に類似する画像を検索する画像検索システムにおいて実行される画像検索方法であって、
画像検索システムは、プロセッサと、前記プロセッサに接続されるメモリと、記憶装置とを備える少なくとも一以上の計算機を備え、
前記画像検索方法は、
前記プロセッサが、
カメラによって撮影された映像、又は前記記憶装置に記憶された映像を取得し、
前記取得された映像から、単位時間当たりに所定の枚数の画像を抽出し、
前記抽出された画像を所定の大きさのブロックに分割し、
色ヒストグラムに基づいて、前記分割されたブロックの特徴量を抽出し、
前記抽出された画像の識別子と、前記抽出された画像の領域のうちで前記ブロックがどの位置にあるかを示す情報と、前記抽出されたブロックの特徴量と、の対応関係を示す第１の情報を作成し、
前記第１の情報に基づいて、前記分割されたブロックのうち、前記ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、前記第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、前記第１の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする画像検索方法。
【請求項１０】
前記プロセッサが、
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記第２の情報に基づいて、前記第１の検索キーを含む画像を撮影したカメラ及び撮影時刻を特定し、
前記特定されたカメラによって撮影された画像のうち、前記特定された撮影時刻の前後の所定の時間内に撮影された画像を取得し、
前記第１の情報に基づいて、前記第１の検索キーの特徴量と、前記取得した所定の時間内に撮影された画像に含まれるブロックの特徴量と、を比較することによって、前記第１の検索キーに類似する所定の数のブロックを第２の検索キーとして検出し、
さらに、前記検出された第２の検索キーの特徴量と前記他のブロックの特徴量とを比較することによって、前記第２の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする請求項９に記載の画像検索方法。
【請求項１１】
前記プロセッサが、
前記抽出された画像のうち、人物が映っている第１の画像と、人物が映っていない背景のみの第２の画像との間の画素値の差を計算し、
前記計算された画素値の差に基づいて、前記第１の画像と前記第２の画像との背景差分画像を作成し、
前記作成された背景差分画像を所定の大きさのブロックに分割し、
前記分割されたブロックの前記画素値の差の合計を前景度として計算し、
前記分割されたブロックの前景度が所定の閾値を越える場合、色ヒストグラムに基づいて、そのブロックの特徴量を抽出することを特徴とする請求項９に記載の画像検索方法。
【請求項１２】
前記第１の検索キーは、前記分割されたブロックのうち、前記ユーザによって選択された複数のブロックであることを特徴とする請求項９に記載の画像検索方法。
【請求項１３】
前記第１の検索キーは、前記分割されたブロックの領域のうち、前記ユーザによって指定された大きさ及び形状を持つ領域であることを特徴とする請求項９に記載の画像検索方法。
【請求項１４】
前記プロセッサが、
前記第１の検索キーの特徴量と前記他のブロックの特徴量との間の距離に基づいて、前記第１の検索キーと前記他のブロックとの間の特徴の類似を示す類似度を計算し、
前記第１の検索キーとの類似度が大きい所定の数の他のブロックを検索結果として検出し、
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記作成された第２の情報に基づいて、前記検出された検索結果を含む画像を撮影したカメラを特定し、
前記特定されたカメラの識別子に従って、前記検出された検索結果を含む画像を分類し、
前記分類された画像のうち、前記第１の検索キーと特徴量の類似度が最も大きいブロックを含む画像であって、かつ、前記類似度が所定の閾値よりも大きいブロックを含む画像を表示することを特徴とする請求項９に記載の画像検索方法。
【請求項１５】
前記プロセッサが、
前記カメラが設置された空間の地図を作成し、
前記カメラの識別子に従って分類された画像のうち、前記第１の検索キーと特徴量の類似度が大きいブロックを含む少なくとも一の画像を取得し、
前記取得した少なくとも一の画像と前記カメラの撮影範囲との対応関係を前記作成された地図に表示し
さらに、前記第２の情報に基づいて、前記カメラの識別子に従って分類された画像の撮影時刻を特定し、
前記特定された撮影時刻によって、前記画像の撮影順序を示す情報を前記作成された地図に表示することを特徴とする請求項１４に記載の画像検索方法。
【請求項１６】
前記プロセッサが、
前記抽出された画像に映っている人物の大きさ及び位置に応じて、前記画像をいくつかの異なる大きさのブロックに分割することを特徴とする請求項９に記載の画像検索方法。
【請求項１】
ユーザによって指定された画像に類似する画像を検索する画像検索システムであって、
プロセッサと、前記プロセッサに接続されるメモリと、記憶装置とを備える少なくとも一以上の計算機を備え、
前記プロセッサは、
カメラによって撮影された映像、又は前記記憶装置に記憶された映像を取得し、
前記取得された映像から、単位時間当たりに所定の枚数の画像を抽出し、
前記抽出された画像を所定の大きさのブロックに分割し、
色ヒストグラムに基づいて、前記分割されたブロックの特徴量を抽出し、
前記抽出された画像の識別子と、前記抽出された画像の領域のうちで前記ブロックがどの位置にあるかを示す情報と、前記抽出されたブロックの特徴量と、の対応関係を示す第１の情報を作成し、
前記第１の情報に基づいて、前記分割されたブロックのうち、前記ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、前記第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、前記第１の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする画像検索システム。
【請求項２】
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記第２の情報に基づいて、前記第１の検索キーを含む画像を撮影したカメラ及び撮影時刻を特定し、
前記特定されたカメラによって撮影された画像のうち、前記特定された撮影時刻の前後の所定の時間内に撮影された画像を取得し、
前記第１の情報に基づいて、前記第１の検索キーの特徴量と、前記取得した所定の時間内に撮影された画像に含まれるブロックの特徴量と、を比較することによって、前記第１の検索キーに類似する所定の数のブロックを第２の検索キーとして検出し、
さらに、前記検出された第２の検索キーの特徴量と前記他のブロックの特徴量とを比較することによって、前記第２の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記抽出された画像のうち、人物が映っている第１の画像と、人物が映っていない背景のみの第２の画像との間の画素値の差を計算し、
前記計算された画素値の差に基づいて、前記第１の画像と前記第２の画像との背景差分画像を作成し、
前記作成された背景差分画像を所定の大きさのブロックに分割し、
前記分割されたブロックの前記画素値の差の合計を前景度として計算し、
前記分割されたブロックの前景度が所定の閾値を越える場合、色ヒストグラムに基づいて、そのブロックの特徴量を抽出することを特徴とする請求項１に記載の画像検索システム。
【請求項４】
前記第１の検索キーは、前記分割されたブロックのうち、前記ユーザによって選択された複数のブロックであることを特徴とする請求項１に記載の画像検索システム。
【請求項５】
前記第１の検索キーは、前記分割されたブロックの領域のうち、前記ユーザによって指定された大きさ及び形状を持つ領域であることを特徴とする請求項１に記載の画像検索システム。
【請求項６】
前記第１の検索キーの特徴量と前記他のブロックの特徴量との間の距離に基づいて、前記第１の検索キーと前記他のブロックとの間の特徴の類似を示す類似度を計算し、
前記第１の検索キーとの類似度が大きい所定の数の他のブロックを検索結果として検出し、
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記作成された第２の情報に基づいて、前記検出された検索結果を含む画像を撮影したカメラを特定し、
前記特定されたカメラの識別子に従って、前記検出された検索結果を含む画像を分類し、
前記分類された画像のうち、前記第１の検索キーと特徴量の類似度が最も大きいブロックを含む画像であって、かつ、前記類似度が所定の閾値よりも大きいブロックを含む画像を表示することを特徴とする請求項１に記載の画像検索システム。
【請求項７】
前記カメラが設置された空間の地図を作成し、
前記カメラの識別子に従って分類された画像のうち、前記第１の検索キーと特徴量の類似度が大きいブロックを含む少なくとも一の画像を取得し、
前記取得した少なくとも一の画像と前記カメラの撮影範囲との対応関係を前記作成された地図に表示し
さらに、前記第２の情報に基づいて、前記カメラの識別子に従って分類された画像の撮影時刻を特定し、
前記特定された撮影時刻によって、前記画像の撮影順序を示す情報を前記作成された地図に表示することを特徴とする請求項６に記載の画像検索システム。
【請求項８】
前記抽出された画像に映っている人物の大きさ及び位置に応じて、前記画像をいくつかの異なる大きさのブロックに分割することを特徴とする請求項１に記載の画像検索システム。
【請求項９】
ユーザによって指定された画像に類似する画像を検索する画像検索システムにおいて実行される画像検索方法であって、
画像検索システムは、プロセッサと、前記プロセッサに接続されるメモリと、記憶装置とを備える少なくとも一以上の計算機を備え、
前記画像検索方法は、
前記プロセッサが、
カメラによって撮影された映像、又は前記記憶装置に記憶された映像を取得し、
前記取得された映像から、単位時間当たりに所定の枚数の画像を抽出し、
前記抽出された画像を所定の大きさのブロックに分割し、
色ヒストグラムに基づいて、前記分割されたブロックの特徴量を抽出し、
前記抽出された画像の識別子と、前記抽出された画像の領域のうちで前記ブロックがどの位置にあるかを示す情報と、前記抽出されたブロックの特徴量と、の対応関係を示す第１の情報を作成し、
前記第１の情報に基づいて、前記分割されたブロックのうち、前記ユーザによって選択された少なくとも一のブロックを第１の検索キーとし、前記第１の検索キーの特徴量と他のブロックの特徴量とを比較することによって、前記第１の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする画像検索方法。
【請求項１０】
前記プロセッサが、
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記第２の情報に基づいて、前記第１の検索キーを含む画像を撮影したカメラ及び撮影時刻を特定し、
前記特定されたカメラによって撮影された画像のうち、前記特定された撮影時刻の前後の所定の時間内に撮影された画像を取得し、
前記第１の情報に基づいて、前記第１の検索キーの特徴量と、前記取得した所定の時間内に撮影された画像に含まれるブロックの特徴量と、を比較することによって、前記第１の検索キーに類似する所定の数のブロックを第２の検索キーとして検出し、
さらに、前記検出された第２の検索キーの特徴量と前記他のブロックの特徴量とを比較することによって、前記第２の検索キーに類似する所定の数のブロックを検索結果として検出し、
前記検出された検索結果を含む画像を前記ユーザに表示することを特徴とする請求項９に記載の画像検索方法。
【請求項１１】
前記プロセッサが、
前記抽出された画像のうち、人物が映っている第１の画像と、人物が映っていない背景のみの第２の画像との間の画素値の差を計算し、
前記計算された画素値の差に基づいて、前記第１の画像と前記第２の画像との背景差分画像を作成し、
前記作成された背景差分画像を所定の大きさのブロックに分割し、
前記分割されたブロックの前記画素値の差の合計を前景度として計算し、
前記分割されたブロックの前景度が所定の閾値を越える場合、色ヒストグラムに基づいて、そのブロックの特徴量を抽出することを特徴とする請求項９に記載の画像検索方法。
【請求項１２】
前記第１の検索キーは、前記分割されたブロックのうち、前記ユーザによって選択された複数のブロックであることを特徴とする請求項９に記載の画像検索方法。
【請求項１３】
前記第１の検索キーは、前記分割されたブロックの領域のうち、前記ユーザによって指定された大きさ及び形状を持つ領域であることを特徴とする請求項９に記載の画像検索方法。
【請求項１４】
前記プロセッサが、
前記第１の検索キーの特徴量と前記他のブロックの特徴量との間の距離に基づいて、前記第１の検索キーと前記他のブロックとの間の特徴の類似を示す類似度を計算し、
前記第１の検索キーとの類似度が大きい所定の数の他のブロックを検索結果として検出し、
前記抽出された画像の識別子と、前記抽出された画像を撮影したカメラの識別子と、前記抽出された画像の撮影時刻と、の対応関係を示す第２の情報を作成し、
前記作成された第２の情報に基づいて、前記検出された検索結果を含む画像を撮影したカメラを特定し、
前記特定されたカメラの識別子に従って、前記検出された検索結果を含む画像を分類し、
前記分類された画像のうち、前記第１の検索キーと特徴量の類似度が最も大きいブロックを含む画像であって、かつ、前記類似度が所定の閾値よりも大きいブロックを含む画像を表示することを特徴とする請求項９に記載の画像検索方法。
【請求項１５】
前記プロセッサが、
前記カメラが設置された空間の地図を作成し、
前記カメラの識別子に従って分類された画像のうち、前記第１の検索キーと特徴量の類似度が大きいブロックを含む少なくとも一の画像を取得し、
前記取得した少なくとも一の画像と前記カメラの撮影範囲との対応関係を前記作成された地図に表示し
さらに、前記第２の情報に基づいて、前記カメラの識別子に従って分類された画像の撮影時刻を特定し、
前記特定された撮影時刻によって、前記画像の撮影順序を示す情報を前記作成された地図に表示することを特徴とする請求項１４に記載の画像検索方法。
【請求項１６】
前記プロセッサが、
前記抽出された画像に映っている人物の大きさ及び位置に応じて、前記画像をいくつかの異なる大きさのブロックに分割することを特徴とする請求項９に記載の画像検索方法。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図４】
【図１８】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図４】
【図１８】
【公開番号】特開２０１１−１８２３８（Ｐ２０１１−１８２３８Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６３０９５（Ｐ２００９−１６３０９５）
【出願日】平成２１年７月９日（２００９．７．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月９日（２００９．７．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]