類似画像検索システム
【課題】複数の検索キーを用いて類似画像検索を繰り返すことで網羅的な検索を行う類似画像検索システムに関し、検索回数の抑制と検索精度の向上を両立させることが可能な技術を提案する。
【解決手段】検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する複数検索キー選択部１１３と、複数検索キー選択部１１３により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する類似人物検索部２１８と、を備えた構成において、複数検索キー選択部１１３が、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、類似人物検索部２１８が、検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うように構成した。
【解決手段】検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する複数検索キー選択部１１３と、複数検索キー選択部１１３により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する類似人物検索部２１８と、を備えた構成において、複数検索キー選択部１１３が、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、類似人物検索部２１８が、検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うように構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像検索システム及び類似画像検索方法に係り、特に、映像監視システムの人物の検索のためのユーザインタフェースを使い勝手のよいものにする用途に用いて好適な類似画像検索システム及び類似画像検索方法に関する。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、或いは映像を記録するものである。
【０００３】
映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。
【０００４】
このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。
【０００５】
機能面から人物検索機能は、以下の２種類に大別される。
１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Ｑｕｅｒｙ）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。
【０００６】
２つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、或いは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。同一人物判定では、一例として、比較する２つの画像の人物について画像特徴量の類似度を求め、その結果（類似度）が所定の基準値以上である場合に、これらの人物は同一人物であると判定する。なお、記録画像中の人物の画像特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。
【０００７】
両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
特許文献１には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献２には、ユーザの利便性をさらに高める類似画像検索システムが開示されている。この特許文献２では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断した後に、登場イベント検索を行う。
また、特許文献３には、類似画像検索システムを画像認識における識別器として使う場合において、単一の画像を格子状に分割して類似した画像を集約し検索回数を減らす類似画像検索システムが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１２３１９６号公報
【特許文献２】特開２０１１−０９０４７６号公報
【特許文献３】特開２０１１−１０７７９５号公報
【特許文献４】特開２００９−２９４８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
類似人物検索において、１枚の画像から見つからない場合でも、類似人物検索結果から再度類似人物検索すると（つまり、同じ人物でも検索キー画像を変えて検索すると）従来見つからなかった画像が見つかる場合がある。
また、類似人物検索において、動画像から検索キー画像を選択して用いる場合において、検索キー画像の前後の画像（検索キー画像と同一の人物が写った画像）を用いて検索すると従来見つからなかった画像が見つかる場合がある。
また、類似人物検索において、検索キー画像に画像処理（例えばマスク有無・サングラス有無・向き・明暗を変えるような画像処理）を加えて、新たに検索キー画像となる画像を仮想的に作成し、その画像を検索キーとして検索すると従来見つからなかった画像を見つけることができる場合がある。
上記の３つの例は組み合わせることもできる。
【００１０】
このような類似人物検索方法、すなわち、最初の検索キー画像による検索結果の画像、動画像における検索キー画像（或いは検索結果の画像）の前後の画像、検索キー画像（或いは検索結果の画像）に画像処理を加えた画像といった最初の検索キー画像に関連する画像を新たな検索キー画像として用いる類似人物検索方法は、或る人物を網羅的に見つける必要がある場合などに非常に有用である。
【００１１】
しかしながら、このような検索を行うと、新たな検索キー画像による検索回数が増えることによって処理時間が多くかかるという問題がある。特許文献３には、これに類する課題が挙げられているが、類似画像検索システムを識別器として用いるために、単純に１枚の画像中から類似する画像を集約するのではなく、検索結果、前後の画像、画像処理結果を考慮する必要がある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、複数の検索キーを用いて類似画像検索を繰り返すことで網羅的な検索を行う類似画像検索システムに関し、検索回数の抑制と検索精度の向上を両立させることが可能な技術を提案することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明では、類似画像検索システムを以下のように構成した。
すなわち、検索キーとなる画像の特徴量に類似する特徴量を有する画像を検索する類似画像検索システムにおいて、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、前記検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた。
【００１４】
そして、前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、前記検索手段は、前記検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うようにした。
【００１５】
或いは、前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量の平均に最も近い画像の特徴量又は平均そのものを第１の検索キーに決定し、検索キーの候補である複数の画像の特徴量の中で第１の検索キーから最も遠い画像の特徴量を第２の検索キーに決定し、更に、検索キーの候補である複数の画像の特徴量の中でこれまでに検索キーに決定された画像の特徴量の全てから最も遠い画像の特徴量を更なる検索キーに決定することを行い、前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて検索を行うようにした。
【００１６】
また、更に、前記検索手段は、ユーザにより１回目の検索キーに指定された画像の特徴量を用いて１回目の検索を行い、前記検索キー決定手段は、前記検索手段による１回目の検索結果の画像、当該検索結果の画像を含む動画における当該検索結果の画像の前後の画像、当該検索結果の画像を画像処理した結果の画像を含む複数の画像の特徴量を２回目以降の検索に用いる検索キーの候補として、２回目以降の検索に用いる複数の検索キーを決定する処理を行い、前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて２回目以降の検索を行うようにした。
【発明の効果】
【００１７】
本発明によれば、複数の検索キーを用いて類似画像検索を繰り返すことで網羅的な検索を行う類似画像検索システムにおいて、検索回数の抑制と検索精度の向上を両立させることが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る類似画像検索システムのシステム構成を例示する図である。
【図２】本発明の一実施形態に係る類似画像検索システムに用いる撮像装置のハードウェア構成を例示する図である。
【図３】本発明の一実施形態に係る類似画像検索システムに用いる録画装置のハードウェア構成を例示する図である。
【図４】本発明の一実施形態に係る類似画像検索システムに用いる端末装置のハードウェア構成を例示する図である。
【図５Ａ】第１実施例において、最初の検索キー画像の特徴量を例示する図である。
【図５Ｂ】第１実施例において、検索結果から同一人物を選択する処理によって得られた画像の特徴量を例示する図である。
【図５Ｃ】第１実施例において、検索結果前後の同一人物を選択する処理によって得られた画像の特徴量を例示する図である。
【図５Ｄ】第１実施例において、所定の画像処理によって得られた画像の特徴量を例示する図である。
【図５Ｅ】第１実施例において、検索キー画像の候補をクラスタリングした結果と各クラスタを代表する特徴量を例示する図である。
【図５Ｆ】第２実施例において、全体平均算出処理及び遠距離点算出処理により指定された画像の特徴量を例示する図である。
【図５Ｇ】第３実施例において、クラスタ番号取得処理によって取得されたクラスタ番号を検索キー画像の候補の特徴量に付した様子を例示する図である。
【図６】第１実施例において、類似人物検索を実施する手順を例示する図である。
【図７】第２実施例において、類似人物検索を実施する手順を例示する図である。
【図８】第３実施例において、類似人物検索を実施する手順を例示する図である。
【図９】本発明の一実施形態に係る類似画像検索システムに使用可能な検索画面を例示する図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る一実施形態について図面を参照して説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。
【００２０】
まず、図１〜図４を参照して、本発明の一実施形態に係る類似画像検索システムの構成について説明する。
図１には、本発明の一実施形態に係る類似画像検索システムのシステム構成を例示してある。
類似画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。
【００２１】
ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の各装置を相互に接続して通信を行う通信手段である。
【００２２】
撮像装置２０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データを、ネットワーク２００を介して録画装置へ出力するネットワークカメラや監視カメラ等の装置である。
【００２３】
録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の方式を含む人物検索機能も搭載してある。
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、類似人物検索部２１８、登場イベント検索部２１９、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１の各処理部を有する。
【００２４】
画像送受信部２１０は、装置外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体へ書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。
再生制御部２１２は、端末装置１０３への映像再生を制御する。
【００２５】
人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１３で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、或いは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。
人物特徴量記録部２１５は、人物特徴量抽出部２１４で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部２１１における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。
【００２６】
要求受信部２１７は、端末装置１０３からの検索要求やキーワード付与要求の受信を行う。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２１８は、要求受信部２１７にて受信した要求が類似人物検索要求であった場合に、類似画像検索を行う。
登場イベント検索部２１９は、要求受信部にて受信した要求が登場イベント検索要求であった場合に、登場イベント検索を行う。
検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置１０３への送信を行う。
キーワード記録部１１０は、要求受信部２１７にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部１１１は、要求受信部２１７にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。
【００２７】
端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２、複数検索キー選択部１１３の各処理部を有する。また、本装置には、本発明の方式を実現するための人物検索機能も搭載してある。
【００２８】
検索要求送信部２２１は、検索要求の録画装置１０２への送信を行う。類似人物検索の場合、検索要求データには、類似人物検索の検索キーとして、検索キー画像或いはその特徴量が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置１０２からの受信を行う。検索結果として受信するデータには、録画装置１０２において、類似人物検索、或いは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置１０２に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」という。
検索結果表示部２２３は、検索結果受信部２２２にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部２２４は、録画装置１０２から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知及び取得を行う。
キーワード付与要求送信部１１２は、キーワード付与要求の録画装置１０２への送信を行う。
複数検索キー選択部１１３は、検索キー画像の候補が複数選択されたときに、より少ない数の検索キー画像を適切に選択する処理を行う。複数検索キー選択部１１３は録画装置１０２内に設けても良い。
【００２９】
図２には、本発明の一実施形態に係る類似画像検索システムに用いる撮像装置２０１のハードウェア構成を例示してある。
撮像装置２０１のハードウェア構成は、図２に示すように、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４５が、バス２４０で結合された形態である。
【００３０】
撮像部２４１は、レンズで撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４５は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。
【００３１】
図３には、本発明の一実施形態に係る類似画像検索システムに用いる録画装置１０２のハードウェア構成を例示してある。
録画装置１０２のハードウェア構成は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。
【００３２】
ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。
【００３３】
図４には、本発明の一実施形態に係る類似画像検索システムに用いる端末装置１０３のハードウェア構成を例示してある。
端末装置１０３のハードウェア構成は、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続され、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続される。
【００３４】
ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信するためのインタフェースである。表示装置２７０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの装置であり、画像や動画をその表示部に表示する装置である。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）操作することによって、端末装置１０３、及び、類似画像検索システムを操作する。
【００３５】
次に、本発明の一実施形態に係る類似画像検索システムにおける類似人物検索の実施例について説明する。
【実施例１】
【００３６】
本発明の一実施形態に係る類似画像検索システムにおける第１実施例を、 図５Ａ〜図５Ｇ及び図６を参照して説明する。
図６には、第１実施例において、類似人物検索を実施する手順を例示してある。また、 図５Ａ〜図５Ｇには、第１実施例において、類似人物検索を実施する手順に沿って、検索キー画像の候補となった画像の特徴量を例示してある。
【００３７】
まず、最初のキー画像による検索処理６００１では、ユーザが選択した最初の検索キー画像によって最初の検索が行われる。ここでは、最初の検索キー画像に選択された画像の特徴量（本例では、画像中の人物の特徴量）と距離が近い特徴量を有する画像を録画装置１０２内の類似人物検索部２１８を通じて検索し、その結果、例えば１０件の画像が検索される。
【００３８】
図５Ａには、最初の検索キー画像の特徴量を「○」で示してある。ここでは、説明の分かり易さのために画像の特徴量を２次元で表現しているが、実際には、画像の特徴量は例えば数百次元といった非常に多くの次元数を持つ場合が多い。
【００３９】
ここで、検索結果である１０件の画像のうち３件が最初の検索キー画像と同一の対象であるとする。検索結果から同一人物を選択する処理６００２では、１０件の検索結果画像から目的の３件の画像を選択する。具体的には、例えば、ユーザが端末装置１０３のマウス２８２を操作して目的の画像をクリックして選択する。なお、画像の特徴量について閾値を設け、最初の検索キー画像の特徴量と検索結果画像の特徴量との距離が閾値以下なら同一の対象（同一人物）であると判断し、該当する検索結果画像を自動選択する方法としてもよい。
【００４０】
図５Ｂには、図５Ａの内容に加え、検索結果から同一人物を選択する処理６００２によって選択された画像の特徴量を「△」で示してある。このような処理によって選択された画像は、新たな検索キー画像の候補となる。
【００４１】
ここで、検索結果画像が動画を形成する連続的な画像のうちの１枚であるとすると、その動画における検索結果画像の前後にも同一人物の画像が含まれている場合が多い。検索結果前後の同一人物を選択する処理６００３では、検索結果画像が抽出された動画における検索結果画像の前又は後の所定長の時間帯に含まれる複数の画像から、人物の位置や進行速度等に基づいて検索結果画像の人物と同一人物（すなわち、検索キー画像の人物と同一人物）と判定される画像を自動的に選択する。なお、ユーザが指定できるようにしても良い。
【００４２】
図５Ｃには、図５Ｂの内容に加え、検索結果前後の同一人物を選択する処理６００３によって選択された画像の特徴量を「□」で示してある。このような処理によって選択された画像は、新たな検索キー画像の候補となる。
【００４３】
マスクを付加する画像処理６００４では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理で鼻や口を覆うマスクを付加した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。なお、これとは逆に、画像処理前の人物の画像が鼻や口を覆うマスクをしている場合に、画像処理でマスクを外すようにする処理を行っても良い。また、マスクの画像は複数種類の画像を準備しても良い。
【００４４】
サングラスや眼鏡を付加する画像処理６００５では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理でサングラスや眼鏡を付加した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。なお、これとは逆に、画像処理前の人物の画像がサングラスや眼鏡をかけている場合に、画像処理でサングラスや眼鏡を外すようにする処理を行っても良い。また、サングラスや眼鏡の画像は複数種類の画像を準備しても良い。
【００４５】
人物の向きを変更する画像処理６００６では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理で人物の向きを変更した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。人物の向きは通常複数であるが、単純な左右反転であってもよい。
【００４６】
図５Ｄには、図５Ｃの内容に加え、マスクを付加する画像処理６００４、サングラスや眼鏡を付加する画像処理６００５、人物の向きを変更する画像処理６００６の結果生成された複数の画像の特徴量を「×」で示してある。このような処理によって生成された画像は、新たな検索キー画像の候補として追加される。
【００４７】
なお、マスクを付加する画像処理６００４、サングラスや眼鏡を付加する画像処理６００５、人物の向きを変更する画像処理６００６は、最初の検索キー画像、検索結果から同一人物を選択する処理６００２の結果の画像、検索結果前後の同一人物を選択する処理６００３の結果の画像のいずれを対象にして施してもよい。また、対象の画像に対していずれか１つの画像処理を施してもよく、任意の２つの画像処理を施してもよく、３つの画像処理を全て施してもよい。また、対象の画像の明暗を変える画像処理など、上記以外の画像処理を施してもよい。
【００４８】
次に、クラスタリング処理６００７では、これまでの処理６００１〜６００６により検索キー画像の候補とされた複数の画像をクラスタリングして、各クラスタを代表する画像（或いはその特徴量）を求める。クラスタリング方法としては、ｋ−ｍｅａｎｓ法などの公知の技術を用いることができる。各クラスタを代表する画像としては、例えば、そのクラスタに含まれる画像の特徴量の平均に最も近い画像が用いられ、その画像の特徴量が新たな検索キーとされる。なお、クラスタに含まれる画像の特徴量の平均をそのまま新たな検索キーとしてもよい。
【００４９】
図５Ｅには、これまでの処理６００１〜６００６によって得られた新たな検索キー画像の候補がクラスタリング処理６００７によってクラスタに分けられた様子と、各クラスタを代表する画像の特徴量を例示してある。図５Ｅでは、３つのクラスタを枠線で囲って示してあり、各クラスタを代表する画像の特徴量として、各クラスタの重心に最も近い画像の特徴量Ｐ１１，Ｐ１２，Ｐ１３がそれぞれ選択されている。
【００５０】
代表する検索キーによる検索処理６００８では、クラスタリング処理６００７によって得られた各クラスタを代表する画像の特徴量を新たな検索キーに用いて類似画像検索を行い、結果を出力する。
ここで、図５Ｅの例では、最初の検索キー画像に関連する画像（処理６００１〜６００６により得られた画像）は２９枚あるため、従来であれば、これらの画像の特徴量を新たな検索キーとした検索を２９回繰り返していたところ、本実施例においては、クラスタリング処理６００７によって得られた各クラスタを代表する３つの画像の特徴量を用いて類似画像検索を行うことで、特徴量のバランスをとりつつ３回の検索で済むようにしている。ここでは、クラスタの数を３としたが、これは設定によって変えることができる。
【００５１】
次に、端末装置１０３の画面について説明する。図９には、本例の類似画像検索システムに使用可能な検索画面を例示してある。
検索画面は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域３０１７、検索結果表示領域３０２０を有する。
【００５２】
再生画像表示領域３００１は、録画装置１０２に記録された画像を動画像として表示する領域である。また、再生画像表示領域３００１の動画３００２は、録画装置１０２に記録された画像を動画像として表示するものである。
画像再生操作領域３００３は、録画装置１０２に記録された画像を再生操作する領域である。本領域３００３を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。本図においては、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が左から順に割当てられている例を示している。ユーザが各ボタンをマウス２８２で適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。
【００５３】
検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域３００４は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７を有する。
検索キー画像３００５は、類似検索のための最初の検索キー画像とする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。
【００５４】
映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
ファイル指定ボタン３００７は、録画装置１０２に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタン３００７を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。
【００５５】
検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。本領域３００８は、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２と、時刻指定チェックボックス３０１３，３０１４と、時刻指定欄３０１５，３０１６を有する。
【００５６】
撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は、検索の際に検索対象とする撮像装置２０１を指定するチェックボックスである。本チェックボックス３００９，３０１０，３０１１，３０１２は、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示・非表示を繰り返す。
初期状態においては、全ての撮像装置２０１（カメラ１〜４）を検索対象とするため、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は全て選択状態となる。
【００５７】
時刻指定チェックボックス３０１３，３０１４は、検索の際に検索対象とする時刻範囲を指定するチェックボックスである。表示の態様については本チェックボックスも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、すなわち、録画装置１０２に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。
同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置１０２に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄３０１５，３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックス３０１３，３０１４は全て非選択状態、時刻指定欄３０１５，３０１６は空欄とする。
【００５８】
検索実行領域３０１７は、検索実行を指示する領域である。本領域３０１７は、類似人物検索ボタン３０１８、登場イベント検索ボタン３０１９に加え、検索結果からの類似人物検索ボタン３３００、同一シーンチェックボックス３２０１、マスクチェックボックス３２０２、サングラスチェックボックス３２０３、異なる角度チェックボックス３２０４を有する。
【００５９】
類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索（最初のキー画像による検索処理６００１）の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って類似人物検索の実行を指示する。
登場イベント検索ボタン３０１９は、登場イベント検索の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って登場イベント検索の実行を指示する。
【００６０】
検索結果表示領域３０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域３０２０には何も表示されない。
【００６１】
ここで、ユーザが、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９，３０１０，３０１２を押下し、更に、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５，３０１６にそれぞれ「２００９／６／２６ １５：３０：２０」，「２００９／７／１３ １２：３０：２０」と入力したとする。
これにより、図９に示すように、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」の画像が検索キー画像として指定され、また、検索対象としたい撮像装置２０１として「カメラ１」、「カメラ２」、「カメラ４」の３つが指定され、検索対象としたい時刻範囲として「２００９／６／２６ １５：３０：２０から２００９／７／１３ １２：３０：２０まで」が指定される。
【００６２】
その後、ユーザが、類似人物検索ボタン３０１８を押下したとする。すると、検索結果表示領域３０２０には、検索キー画像３００５を用いて類似人物検索を実行して得られた検索結果が表示される。図９は、この状態における検索画面の一例を示したものである。検索結果の表示は、検索結果画像（本例では、検索結果画像３０３１〜３１４１）を一覧表示することにより実施する。
検索結果画像３０３１〜３１４１は、例えば、最上段左から右へ、次に２段目左から右へと検索キー画像３００５に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。
【００６３】
この図に示された例の表記において、検索結果表示領域３０２０内の検索結果画像３０３１〜３１４１上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものであり、例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２、検索キー画像指定ボタン３０３３、検索対象チェックボックス３３０１を備える。他の検索結果画像３０４１〜３１４１も同様である。
【００６４】
頭出し再生ボタン３０３２は、検索結果画像３０３１を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替り、その検索結果画像３０３１を先頭として始まる動画をユーザは、視聴することができる。
検索キー画像指定ボタン３０３３は、検索結果画像３０３１を新たな検索キー画像に指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が検索キー画像３００５に表示される。これにより、検索結果画像３０３１を使って再検索を実施することができる。
【００６５】
検索対象チェックボックス３３０１は、検索結果からの類似人物検索ボタン３３００を押下した場合に新たな検索キー画像（或いはその候補）として検索結果画像３０３１を指定するチェックボックスである。例えば、検索結果に出てきた「Ａさん」の画像（本例では、検索結果画像２０３１〜３０６１，３０８１，３０９１，３１２１，３１４１）を全てチェックして、検索結果からの類似人物検索ボタン３３００を押すことで、様々なパターンの「Ａさん」を検索することが可能である。
【００６６】
検索結果からの類似人物検索ボタン３３００は、検索キー画像３００５による類似人物検索の結果に基づく再度の類似人物検索（代表する検索キーによる検索処理６００８）の実行を指示するボタンである。再度の類似人物検索では、検索結果表示領域３０２０の表示（最初のキー画像による検索処理６００１の結果）の中からユーザに選択された（検索対象チェックボックスがチェックされた）画像を新たな検索キー画像（或いはその候補）として類似人物検索を再実行する。
【００６７】
同一シーンチェックボックス３２０１は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にして検索結果前後の同一人物を選択する処理６００３を実行し、その結果の画像（対象の画像中の人物と同一人物を映した前後の画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
マスクチェックボックス３２０２は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にしてマスクを付加する画像処理６００４を実行し、その結果の画像（対象の画像中の人物にマスクを付加した画像或いは当該人物からマスクを外した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
サングラスチェックボックス３２０３は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にしてサングラスや眼鏡を付加する画像処理６００５を実行し、その結果の画像（対象の画像中の人物にサングラス等を付加した画像或いは当該人物からサングラス等を外した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
異なる角度チェックボックス３２０４は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にして人物の向きを変更する画像処理６００６を実行し、その結果の画像（対象の画像中の人物の向きを変更した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
【００６８】
これらのチェックボックス３２０１〜３２０４の１以上がチェックされた状態で検索結果からの類似人物検索ボタン３３００が押下された場合には、検索結果表示領域３０２０の表示の中からユーザに選択された各々の画像を対象にして、チェックされた状態のチェックボックスに対応する画像処理を実行し、その結果生成された画像を新たな検索キー画像の候補を追加し、その後、新たな検索キー画像の候補に対してクラスタリング処理６００７を実行して各クラスタを代表する検索キー画像を求め、各クラスタを代表する画像の特徴量を検索キーとして用いて類似画像検索を実行する。
【００６９】
以上のように、第１実施例では、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた構成において、検索キー決定手段が、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、検索手段が、検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うように構成した。
なお、本例では、端末装置１０３の複数検索キー選択部１１３の機能により検索キー決定手段を実現し、録画装置１０２の類似人物検索部２１８の機能により検索手段を実現しているが、他の態様により検索キー決定手段及び検索手段を実現しても構わない。
【実施例２】
【００７０】
本発明の一実施形態に係る類似画像検索システムにおける第２実施例を、 図５Ｆ及び図７を参照して説明する。なお、第１実施例と同様の部分は説明を省略する。
図７には、第２実施例において、類似人物検索を実施する手順を例示してある。
図７の処理６００１〜６００６は、図６の処理６００１〜６００６と同一であるので説明を省略する。
【００７１】
全体平均算出処理７００１では、これまでの処理６００１〜６００６により新たな検索キー画像の候補とされた複数の画像の全てを対象にして画像の特徴量の平均を算出し、平均に最も近い検索キー画像の候補を第１の検索キー画像に指定し、その画像の特徴量が新たな第１の検索キーとする。なお、新たな検索キー画像の候補となった全ての画像の特徴量の平均をそのまま第１の検索キーとしてもよい。
遠距離点算出処理７００２では、新たな検索キー画像の候補のうち、第１の検索キー画像から特徴量が最も遠い画像を第２の検索キー画像に指定し、その画像の特徴量が新たな第２の検索キーとする。更に、新たな検索キー画像の候補のうち、第１の検索キーと第２の検索キーの両方から特徴量が最も遠い画像を第３の検索キー画像に指定し、その画像の特徴量を新たな第３の検索キーとする。また、同様にして、これまでに指定された全ての新たな検索キーから最も遠い画像を第４以降の新たな検索キー画像に指定し、その画像の特徴量を第４以降の新たな検索キーとすることを繰り返しても良い。
【００７２】
図５Ｆには、これまでの処理６００１〜６００６によって得られた新たな検索キー画像の候補に基づいて、全体平均算出処理７００１により第１の検索キーとされた画像の特徴量Ｐ２１（本例では、新たな検索キー画像の候補となった全ての画像の特徴量の平均）と、遠距離点算出処理７００２により第２の検索キーとされた画像の特徴量Ｐ２２及び第３の検索キーとされた画像の特徴量Ｐ２３が示されている。
【００７３】
代表する検索キーによる検索処理６００８では、全体平均算出処理７００１及び遠距離点算出処理７００２によって得られた新たな検索キー（本例では、第１〜第３の検索キー）の特徴量を用いて類似画像検索を行い、結果を出力する。
ここで、図５Ｆの例では、最初の検索キー画像に関連する画像（処理６００１〜６００６により得られた画像）は２９枚あるため、従来であれば、これらの画像の特徴量を新たな検索キーとした検索を２９回繰り返していたところ、本実施例においては、全体平均算出処理７００１及び遠距離点算出処理７００２によって得られた３つの画像の特徴量を用いて類似画像検索を行うことで、特徴量のバランスをとりつつ３回の検索で済むようにしている。
【００７４】
以上のように、第２実施例では、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた構成において、検索キー決定手段が、検索キーの候補である複数の画像の特徴量の平均に最も近い画像の特徴量又は平均そのものを第１の検索キーに決定し、検索キーの候補である複数の画像の特徴量の中で第１の検索キーから最も遠い画像の特徴量を第２の検索キーに決定し、更に、検索キーの候補である複数の画像の特徴量の中でこれまでに検索キーに決定された画像の特徴量の全てから最も遠い画像の特徴量を更なる検索キーに決定することを行い、検索手段が、検索キー決定手段により決定された複数の検索キーをそれぞれ用いて検索を行うように構成した。
なお、本例では、端末装置１０３の複数検索キー選択部１１３の機能により検索キー決定手段を実現し、録画装置１０２の類似人物検索部２１８の機能により検索手段を実現しているが、他の態様により検索キー決定手段及び検索手段を実現しても構わない。
【実施例３】
【００７５】
本発明の一実施形態に係る類似画像検索システムにおける第３実施例を、 図５Ｇ及び図８を参照して説明する。なお、第１実施例と同様の部分は説明を省略する。また、録画装置１０２の人物特徴量記録部２１５では、例えば特許文献４に示すようなクラスタリング処理が行われ、各クラスタにはクラスタ番号が付与されているものとする。
図８には、第３実施例において、類似人物検索を実施する手順を例示してある。
図８の処理６００１〜６００６は、図６の処理６００１〜６００６と同一であるので説明を省略する。
【００７６】
クラスタ番号取得処理８００１では、これまでの処理６００１〜６００６により新たな検索キー画像の候補とされた複数の画像をクラスタリングして、各画像にその画像が属するクラスタを識別するクラスタ番号を付与し、新たな検索キー画像の候補とされた各画像についてクラスタ番号を取得する。なお、録画装置１０２の人物特徴量記録部２１５に画像の特徴量と共にその画像のクラスタ番号を記録しておき、録画装置１０２の人物特徴量記録部２１５から新たな検索キー画像の候補とされた画像のクラスタ番号を取得する通信を行うようにしてもよく、この場合には、最初のキー画像による検索処理６００１を実行する際にクラスタ番号を取得する通信を行ってもよい。
【００７７】
次に、クラスタ番号を考慮した検索キー選択処理８００２では、最初のキー画像による検索処理６００１における検索キー画像とクラスタ番号が同一の候補を除外し、それ以外の候補の中から、クラスタ番号が重ならないように、つまりクラスタ番号が同一のものが複数ある場合はうち１つを検索キー画像とするように、検索キー画像を選択する。
【００７８】
図５Ｇには、これまでの処理６００１〜６００６によって得られた新たな検索キー画像の候補に、クラスタ番号取得処理８００１によって取得されたクラスタ番号を付した例が示されている。クラスタ番号を考慮した検索キー選択処理８００２では、クラスタ番号＃１１については既に最初の検索キー画像として使用済みであるので検索キー画像としては選択されず、クラスタ番号＃１２については新たな検索キー画像の候補が１つしかない（同じクラスタ番号のものが他にない）ので新たな検索キー画像として選択され、クラスタ番号＃２３については新たな検索キー画像の候補が複数あるのでそのうち１つが新たな検索キー画像として選択され、クラスタ番号＃３１についても新たな検索キー画像の候補が複数あるのでそのうち１つが新たな検索キー画像として選択される。
【００７９】
代表する検索キーによる検索処理６００８では、クラスタ番号取得処理８００１及びクラスタ番号を考慮した検索キー選択処理８００２によって得られた検索キー画像の特徴量を新たな検索キーに用いて類似画像検索を行い、結果を出力する。
ここで、図５Ｇの例では、最初の検索キー画像に関連する画像（処理６００１〜６００６により得られた画像）は９枚あるため、従来であれば、これらの画像の特徴量を新たな検索キーとした検索を９回繰り返していたところ、本実施例においては、クラスタ番号取得処理８００１及びクラスタ番号を考慮した検索キー選択処理８００２によって得られた３つの画像の特徴量を用いて類似画像検索を行うことで、特徴量のバランスをとりつつ３回の検索で済むようにしている。
【００８０】
以上のように、第３実施例では、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた構成において、検索キー決定手段が、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、検索手段が、検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うように構成した。更に、検索キー決定手段は、ユーザにより１回目の検索キーに指定された画像の特徴量を用いて検索手段により行われた１回目の検索結果の画像及びこれに関連する画像（検索結果の画像を含む動画における検索結果の画像の前後の画像や、検索結果の画像を画像処理した結果の画像など）の特徴量を２回目以降の検索に用いる検索キーの候補として、２回目以降の検索に用いる複数の検索キーを決定する処理を行うものであり、その際に、１回目の検索キーの画像の特徴量が属するクラスタ以外の各クラスタについて、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定するように構成した。
なお、本例では、端末装置１０３の複数検索キー選択部１１３の機能により検索キー決定手段を実現し、録画装置１０２の類似人物検索部２１８の機能により検索手段を実現しているが、他の態様により検索キー決定手段及び検索手段を実現しても構わない。
【００８１】
これまで第１実施例〜第３実施例を用いて説明したように、本発明に係る類似画像検索システムでは、検索キーの候補となった複数の画像の特徴量の分布を特徴付ける代表的な特徴量を検索キーに決定することで、複数の検索キーを用いた類似画像検索における検索回数の抑制と検索精度の向上を両立させるようにした。
【００８２】
ここで、本例においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置１０２上で実施する構成で説明したが、ネットワークで接続された録画装置１０２とは別個の装置にて実施するようにしてもよい。
また、本例においては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用することができる。
また、撮像装置２０１、録画装置１０２、端末装置１０３の各装置は１台に限られず、それぞれ複数台を用いる構成としてもよい。
【００８３】
なお、本発明に係る類似画像検索システムは、以下のような発明として把握することもできる。
すなわち、第１の発明例として、撮像した画像の画像データを記憶し、前記画像の特徴量を抽出して、画像間の類似度を評価し、検索キーの画像を指定して、その画像との類似度が高い画像を複数検索する類似画像検索システムであって、同一の対象（例えば人物）を指す複数の画像を検索キーとして複数回検索を行う類似画像検索システムにおいて、同一の対象を指す複数の画像のうち画像の類似性が高い複数の画像の特徴をまとめた１つの検索キーを得ることで、検索回数を減らすことを特徴とする。
【００８４】
また、第２の発明例として、撮像した画像の画像データを記憶し、前記画像の特徴量を抽出して、画像間の類似度を評価し、検索キーの画像を指定して、その画像との類似度が高い画像を複数検索する類似画像検索システムであって、同一の対象（例えば人物）を指す複数の画像を検索キーとして複数回検索を行う類似画像検索システムにおいて、同一の対象を指す複数の画像の特徴の平均を第１の検索キーとし、同一の対象を指す複数の画像の中で第１の検索キーから最も特徴が離れた画像の特徴を第２の検索キーとし、更に、第１の検索キーと第２の検索キーの両方から最も特徴が離れた画像の特徴を第３の検索キーとし、以後、第３以降の検索キーも同様に決めることで、検索回数を減らすことを特徴とする。
【００８５】
なお、第１又は第２の発明例における同一の対象を指す複数の画像としては、種々の画像を用いることができる。
例えば、直前に実施された検索により得られた検索結果の画像が用いられる。
例えば、検索キーの画像が複数枚の画像で成り立つ動画における１枚の画像である場合において、検索キーの画像が含まれる動画における検索キーの画像より時間的に前又は後の複数枚の画像が用いられる。
例えば、検索キーの画像を画像処理した結果の画像が用いられる。
また、これらの画像例の２つの組み合わせを適用して得られる画像や、全て（３つ）の組み合わせを適用して得られる画像を用いてもよい。
また、検索回数を減らす度合いや、同一の対象を指す複数の画像として上述した３つの画像例のどれ（或いはどの組み合わせ）を使用するかは、検索の都度任意に変更可能にしてもよい。
【００８６】
また、同一の対象を指す複数の画像として検索キーの画像を画像処理した結果の画像を用いる場合において、検索キーの画像に対する画像処理としては、種々の画像処理を用いることができる。
例えば、検索キーの画像が人物を映した画像である場合において、画像中の人物が鼻や口を覆うマスクをしていない場合にマスクを付加する画像処理、或いは、画像中の人物が鼻や口を覆うマスクをしている場合にマスクを除去する画像処理を行う。
例えば、検索キーの画像が人物を映した画像である場合において、画像中の人物が眼鏡やサングラスをかけていない場合に眼鏡やサングラスを付加する画像処理、或いは、画像中の人物が眼鏡やサングラスをかけている場合に眼鏡やサングラスを除去する画像処理を行う。
例えば、検索キーの画像の角度を変える画像処理を行う。一例として、検索キーの画像が人物を映した画像である場合において、画像中の人物の向きを変える画像処理を行う。
例えば、検索キーの画像の明暗を変える画像処理を行う。
【００８７】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウェア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウェア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【符号の説明】
【００８８】
１０２：録画装置、 １０３：端末装置、 １１０：キーワード記録部、 １１１：キーワード検索部、 １１２：キーワード付与要求送信部、 １１３：複数検索キー選択部、 ２００：ネットワーク、 ２０１：撮像装置、 ２１０：画像送受信部、 ２１１：画像記録部、 ２１２：再生制御部、 ２１３：人物領域検出部、 ２１４：人物特徴量抽出部、 ２１５：人物特徴量記録部、 ２１６：属性情報記録部、 ２１７：要求受信部、 ２１８：登場人物検索部、 ２１９：登場イベント検索部、 ２２０：検索結果送信部、 ２４０：バス、 ２４１：撮像部、 ２４２：主記憶部、 ２４３：符号化部、 ２４４：ネットワークＩ／Ｆ、 ２５０：バス、 ２５１：ＣＰＵ、 ２５２：主記憶部、 ２５３：補助記憶部、 ２５４：ネットワークＩ／Ｆ、 ２６０：バス、 ２６１：ＣＰＵ、 ２６２：主記憶部、 ２６３：補助記憶部、 ２６４：表示Ｉ／Ｆ、 ２６６：ネットワークＩ／Ｆ、 ２７０：表示装置、 ２８０：キーボード、 ２８２：マウス、 ３００１：再生画像表示領域、 ３００２：動画、 ３００３：画像再生操作領域、 ３００４：検索キー画像指定領域、 ３００５：検索キー画像、 ３００６：映像指定ボタン、 ３００７：ファイル指定ボタン、 ３００８：検索絞込パラメータ指定領域、 ３００９〜３０１２：撮像装置指定チェックボックス、 ３０１３，３０１４：時刻指定チェックボックス、 ３０１５，３０１６：時刻指定欄、 ３０１７：検索実行領域、 ３０１８：類似人物検索ボタン、 ３０１９：登場イベント検索ボタン、 ３０２０：検索結果表示領域、 ３０３１，３０４１，３０５１，３０６１，３０７１，３０８１，３０９１，３１０１，３１１１，３１２１，３１３１，３１４１：検索結果画像、 ３０３２：頭出し再生ボタン、 ３０３３：検索キー画像指定ボタン、 ３２０１：同一シーンチェックボックス、 ３２０２：マスクチェックボックス、 ３２０３：サングラスチェックボックス、 ３２０４：異なる角度チェックボックス、 ３３００：検索結果からの類似人物検索ボタン、 ３３０１：検索対象チェックボックス
【技術分野】
【０００１】
本発明は、類似画像検索システム及び類似画像検索方法に係り、特に、映像監視システムの人物の検索のためのユーザインタフェースを使い勝手のよいものにする用途に用いて好適な類似画像検索システム及び類似画像検索方法に関する。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、或いは映像を記録するものである。
【０００３】
映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。
【０００４】
このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。
【０００５】
機能面から人物検索機能は、以下の２種類に大別される。
１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Ｑｕｅｒｙ）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。
【０００６】
２つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、或いは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。同一人物判定では、一例として、比較する２つの画像の人物について画像特徴量の類似度を求め、その結果（類似度）が所定の基準値以上である場合に、これらの人物は同一人物であると判定する。なお、記録画像中の人物の画像特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。
【０００７】
両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
特許文献１には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献２には、ユーザの利便性をさらに高める類似画像検索システムが開示されている。この特許文献２では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断した後に、登場イベント検索を行う。
また、特許文献３には、類似画像検索システムを画像認識における識別器として使う場合において、単一の画像を格子状に分割して類似した画像を集約し検索回数を減らす類似画像検索システムが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１２３１９６号公報
【特許文献２】特開２０１１−０９０４７６号公報
【特許文献３】特開２０１１−１０７７９５号公報
【特許文献４】特開２００９−２９４８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
類似人物検索において、１枚の画像から見つからない場合でも、類似人物検索結果から再度類似人物検索すると（つまり、同じ人物でも検索キー画像を変えて検索すると）従来見つからなかった画像が見つかる場合がある。
また、類似人物検索において、動画像から検索キー画像を選択して用いる場合において、検索キー画像の前後の画像（検索キー画像と同一の人物が写った画像）を用いて検索すると従来見つからなかった画像が見つかる場合がある。
また、類似人物検索において、検索キー画像に画像処理（例えばマスク有無・サングラス有無・向き・明暗を変えるような画像処理）を加えて、新たに検索キー画像となる画像を仮想的に作成し、その画像を検索キーとして検索すると従来見つからなかった画像を見つけることができる場合がある。
上記の３つの例は組み合わせることもできる。
【００１０】
このような類似人物検索方法、すなわち、最初の検索キー画像による検索結果の画像、動画像における検索キー画像（或いは検索結果の画像）の前後の画像、検索キー画像（或いは検索結果の画像）に画像処理を加えた画像といった最初の検索キー画像に関連する画像を新たな検索キー画像として用いる類似人物検索方法は、或る人物を網羅的に見つける必要がある場合などに非常に有用である。
【００１１】
しかしながら、このような検索を行うと、新たな検索キー画像による検索回数が増えることによって処理時間が多くかかるという問題がある。特許文献３には、これに類する課題が挙げられているが、類似画像検索システムを識別器として用いるために、単純に１枚の画像中から類似する画像を集約するのではなく、検索結果、前後の画像、画像処理結果を考慮する必要がある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、複数の検索キーを用いて類似画像検索を繰り返すことで網羅的な検索を行う類似画像検索システムに関し、検索回数の抑制と検索精度の向上を両立させることが可能な技術を提案することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明では、類似画像検索システムを以下のように構成した。
すなわち、検索キーとなる画像の特徴量に類似する特徴量を有する画像を検索する類似画像検索システムにおいて、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、前記検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた。
【００１４】
そして、前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、前記検索手段は、前記検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うようにした。
【００１５】
或いは、前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量の平均に最も近い画像の特徴量又は平均そのものを第１の検索キーに決定し、検索キーの候補である複数の画像の特徴量の中で第１の検索キーから最も遠い画像の特徴量を第２の検索キーに決定し、更に、検索キーの候補である複数の画像の特徴量の中でこれまでに検索キーに決定された画像の特徴量の全てから最も遠い画像の特徴量を更なる検索キーに決定することを行い、前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて検索を行うようにした。
【００１６】
また、更に、前記検索手段は、ユーザにより１回目の検索キーに指定された画像の特徴量を用いて１回目の検索を行い、前記検索キー決定手段は、前記検索手段による１回目の検索結果の画像、当該検索結果の画像を含む動画における当該検索結果の画像の前後の画像、当該検索結果の画像を画像処理した結果の画像を含む複数の画像の特徴量を２回目以降の検索に用いる検索キーの候補として、２回目以降の検索に用いる複数の検索キーを決定する処理を行い、前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて２回目以降の検索を行うようにした。
【発明の効果】
【００１７】
本発明によれば、複数の検索キーを用いて類似画像検索を繰り返すことで網羅的な検索を行う類似画像検索システムにおいて、検索回数の抑制と検索精度の向上を両立させることが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る類似画像検索システムのシステム構成を例示する図である。
【図２】本発明の一実施形態に係る類似画像検索システムに用いる撮像装置のハードウェア構成を例示する図である。
【図３】本発明の一実施形態に係る類似画像検索システムに用いる録画装置のハードウェア構成を例示する図である。
【図４】本発明の一実施形態に係る類似画像検索システムに用いる端末装置のハードウェア構成を例示する図である。
【図５Ａ】第１実施例において、最初の検索キー画像の特徴量を例示する図である。
【図５Ｂ】第１実施例において、検索結果から同一人物を選択する処理によって得られた画像の特徴量を例示する図である。
【図５Ｃ】第１実施例において、検索結果前後の同一人物を選択する処理によって得られた画像の特徴量を例示する図である。
【図５Ｄ】第１実施例において、所定の画像処理によって得られた画像の特徴量を例示する図である。
【図５Ｅ】第１実施例において、検索キー画像の候補をクラスタリングした結果と各クラスタを代表する特徴量を例示する図である。
【図５Ｆ】第２実施例において、全体平均算出処理及び遠距離点算出処理により指定された画像の特徴量を例示する図である。
【図５Ｇ】第３実施例において、クラスタ番号取得処理によって取得されたクラスタ番号を検索キー画像の候補の特徴量に付した様子を例示する図である。
【図６】第１実施例において、類似人物検索を実施する手順を例示する図である。
【図７】第２実施例において、類似人物検索を実施する手順を例示する図である。
【図８】第３実施例において、類似人物検索を実施する手順を例示する図である。
【図９】本発明の一実施形態に係る類似画像検索システムに使用可能な検索画面を例示する図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る一実施形態について図面を参照して説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。
【００２０】
まず、図１〜図４を参照して、本発明の一実施形態に係る類似画像検索システムの構成について説明する。
図１には、本発明の一実施形態に係る類似画像検索システムのシステム構成を例示してある。
類似画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。
【００２１】
ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の各装置を相互に接続して通信を行う通信手段である。
【００２２】
撮像装置２０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データを、ネットワーク２００を介して録画装置へ出力するネットワークカメラや監視カメラ等の装置である。
【００２３】
録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の方式を含む人物検索機能も搭載してある。
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、類似人物検索部２１８、登場イベント検索部２１９、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１の各処理部を有する。
【００２４】
画像送受信部２１０は、装置外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体へ書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。
再生制御部２１２は、端末装置１０３への映像再生を制御する。
【００２５】
人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１３で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、或いは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。
人物特徴量記録部２１５は、人物特徴量抽出部２１４で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部２１１における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。
【００２６】
要求受信部２１７は、端末装置１０３からの検索要求やキーワード付与要求の受信を行う。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２１８は、要求受信部２１７にて受信した要求が類似人物検索要求であった場合に、類似画像検索を行う。
登場イベント検索部２１９は、要求受信部にて受信した要求が登場イベント検索要求であった場合に、登場イベント検索を行う。
検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置１０３への送信を行う。
キーワード記録部１１０は、要求受信部２１７にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部１１１は、要求受信部２１７にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。
【００２７】
端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２、複数検索キー選択部１１３の各処理部を有する。また、本装置には、本発明の方式を実現するための人物検索機能も搭載してある。
【００２８】
検索要求送信部２２１は、検索要求の録画装置１０２への送信を行う。類似人物検索の場合、検索要求データには、類似人物検索の検索キーとして、検索キー画像或いはその特徴量が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置１０２からの受信を行う。検索結果として受信するデータには、録画装置１０２において、類似人物検索、或いは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置１０２に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」という。
検索結果表示部２２３は、検索結果受信部２２２にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部２２４は、録画装置１０２から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知及び取得を行う。
キーワード付与要求送信部１１２は、キーワード付与要求の録画装置１０２への送信を行う。
複数検索キー選択部１１３は、検索キー画像の候補が複数選択されたときに、より少ない数の検索キー画像を適切に選択する処理を行う。複数検索キー選択部１１３は録画装置１０２内に設けても良い。
【００２９】
図２には、本発明の一実施形態に係る類似画像検索システムに用いる撮像装置２０１のハードウェア構成を例示してある。
撮像装置２０１のハードウェア構成は、図２に示すように、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４５が、バス２４０で結合された形態である。
【００３０】
撮像部２４１は、レンズで撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４５は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。
【００３１】
図３には、本発明の一実施形態に係る類似画像検索システムに用いる録画装置１０２のハードウェア構成を例示してある。
録画装置１０２のハードウェア構成は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。
【００３２】
ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。
【００３３】
図４には、本発明の一実施形態に係る類似画像検索システムに用いる端末装置１０３のハードウェア構成を例示してある。
端末装置１０３のハードウェア構成は、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続され、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続される。
【００３４】
ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信するためのインタフェースである。表示装置２７０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの装置であり、画像や動画をその表示部に表示する装置である。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）操作することによって、端末装置１０３、及び、類似画像検索システムを操作する。
【００３５】
次に、本発明の一実施形態に係る類似画像検索システムにおける類似人物検索の実施例について説明する。
【実施例１】
【００３６】
本発明の一実施形態に係る類似画像検索システムにおける第１実施例を、 図５Ａ〜図５Ｇ及び図６を参照して説明する。
図６には、第１実施例において、類似人物検索を実施する手順を例示してある。また、 図５Ａ〜図５Ｇには、第１実施例において、類似人物検索を実施する手順に沿って、検索キー画像の候補となった画像の特徴量を例示してある。
【００３７】
まず、最初のキー画像による検索処理６００１では、ユーザが選択した最初の検索キー画像によって最初の検索が行われる。ここでは、最初の検索キー画像に選択された画像の特徴量（本例では、画像中の人物の特徴量）と距離が近い特徴量を有する画像を録画装置１０２内の類似人物検索部２１８を通じて検索し、その結果、例えば１０件の画像が検索される。
【００３８】
図５Ａには、最初の検索キー画像の特徴量を「○」で示してある。ここでは、説明の分かり易さのために画像の特徴量を２次元で表現しているが、実際には、画像の特徴量は例えば数百次元といった非常に多くの次元数を持つ場合が多い。
【００３９】
ここで、検索結果である１０件の画像のうち３件が最初の検索キー画像と同一の対象であるとする。検索結果から同一人物を選択する処理６００２では、１０件の検索結果画像から目的の３件の画像を選択する。具体的には、例えば、ユーザが端末装置１０３のマウス２８２を操作して目的の画像をクリックして選択する。なお、画像の特徴量について閾値を設け、最初の検索キー画像の特徴量と検索結果画像の特徴量との距離が閾値以下なら同一の対象（同一人物）であると判断し、該当する検索結果画像を自動選択する方法としてもよい。
【００４０】
図５Ｂには、図５Ａの内容に加え、検索結果から同一人物を選択する処理６００２によって選択された画像の特徴量を「△」で示してある。このような処理によって選択された画像は、新たな検索キー画像の候補となる。
【００４１】
ここで、検索結果画像が動画を形成する連続的な画像のうちの１枚であるとすると、その動画における検索結果画像の前後にも同一人物の画像が含まれている場合が多い。検索結果前後の同一人物を選択する処理６００３では、検索結果画像が抽出された動画における検索結果画像の前又は後の所定長の時間帯に含まれる複数の画像から、人物の位置や進行速度等に基づいて検索結果画像の人物と同一人物（すなわち、検索キー画像の人物と同一人物）と判定される画像を自動的に選択する。なお、ユーザが指定できるようにしても良い。
【００４２】
図５Ｃには、図５Ｂの内容に加え、検索結果前後の同一人物を選択する処理６００３によって選択された画像の特徴量を「□」で示してある。このような処理によって選択された画像は、新たな検索キー画像の候補となる。
【００４３】
マスクを付加する画像処理６００４では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理で鼻や口を覆うマスクを付加した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。なお、これとは逆に、画像処理前の人物の画像が鼻や口を覆うマスクをしている場合に、画像処理でマスクを外すようにする処理を行っても良い。また、マスクの画像は複数種類の画像を準備しても良い。
【００４４】
サングラスや眼鏡を付加する画像処理６００５では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理でサングラスや眼鏡を付加した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。なお、これとは逆に、画像処理前の人物の画像がサングラスや眼鏡をかけている場合に、画像処理でサングラスや眼鏡を外すようにする処理を行っても良い。また、サングラスや眼鏡の画像は複数種類の画像を準備しても良い。
【００４５】
人物の向きを変更する画像処理６００６では、これまでの処理で新たな検索キー画像の候補とした人物の画像に対し、画像処理で人物の向きを変更した画像を生成し、新たな検索キー画像の候補に追加する処理を行う。人物の向きは通常複数であるが、単純な左右反転であってもよい。
【００４６】
図５Ｄには、図５Ｃの内容に加え、マスクを付加する画像処理６００４、サングラスや眼鏡を付加する画像処理６００５、人物の向きを変更する画像処理６００６の結果生成された複数の画像の特徴量を「×」で示してある。このような処理によって生成された画像は、新たな検索キー画像の候補として追加される。
【００４７】
なお、マスクを付加する画像処理６００４、サングラスや眼鏡を付加する画像処理６００５、人物の向きを変更する画像処理６００６は、最初の検索キー画像、検索結果から同一人物を選択する処理６００２の結果の画像、検索結果前後の同一人物を選択する処理６００３の結果の画像のいずれを対象にして施してもよい。また、対象の画像に対していずれか１つの画像処理を施してもよく、任意の２つの画像処理を施してもよく、３つの画像処理を全て施してもよい。また、対象の画像の明暗を変える画像処理など、上記以外の画像処理を施してもよい。
【００４８】
次に、クラスタリング処理６００７では、これまでの処理６００１〜６００６により検索キー画像の候補とされた複数の画像をクラスタリングして、各クラスタを代表する画像（或いはその特徴量）を求める。クラスタリング方法としては、ｋ−ｍｅａｎｓ法などの公知の技術を用いることができる。各クラスタを代表する画像としては、例えば、そのクラスタに含まれる画像の特徴量の平均に最も近い画像が用いられ、その画像の特徴量が新たな検索キーとされる。なお、クラスタに含まれる画像の特徴量の平均をそのまま新たな検索キーとしてもよい。
【００４９】
図５Ｅには、これまでの処理６００１〜６００６によって得られた新たな検索キー画像の候補がクラスタリング処理６００７によってクラスタに分けられた様子と、各クラスタを代表する画像の特徴量を例示してある。図５Ｅでは、３つのクラスタを枠線で囲って示してあり、各クラスタを代表する画像の特徴量として、各クラスタの重心に最も近い画像の特徴量Ｐ１１，Ｐ１２，Ｐ１３がそれぞれ選択されている。
【００５０】
代表する検索キーによる検索処理６００８では、クラスタリング処理６００７によって得られた各クラスタを代表する画像の特徴量を新たな検索キーに用いて類似画像検索を行い、結果を出力する。
ここで、図５Ｅの例では、最初の検索キー画像に関連する画像（処理６００１〜６００６により得られた画像）は２９枚あるため、従来であれば、これらの画像の特徴量を新たな検索キーとした検索を２９回繰り返していたところ、本実施例においては、クラスタリング処理６００７によって得られた各クラスタを代表する３つの画像の特徴量を用いて類似画像検索を行うことで、特徴量のバランスをとりつつ３回の検索で済むようにしている。ここでは、クラスタの数を３としたが、これは設定によって変えることができる。
【００５１】
次に、端末装置１０３の画面について説明する。図９には、本例の類似画像検索システムに使用可能な検索画面を例示してある。
検索画面は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域３０１７、検索結果表示領域３０２０を有する。
【００５２】
再生画像表示領域３００１は、録画装置１０２に記録された画像を動画像として表示する領域である。また、再生画像表示領域３００１の動画３００２は、録画装置１０２に記録された画像を動画像として表示するものである。
画像再生操作領域３００３は、録画装置１０２に記録された画像を再生操作する領域である。本領域３００３を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。本図においては、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が左から順に割当てられている例を示している。ユーザが各ボタンをマウス２８２で適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。
【００５３】
検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域３００４は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７を有する。
検索キー画像３００５は、類似検索のための最初の検索キー画像とする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。
【００５４】
映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
ファイル指定ボタン３００７は、録画装置１０２に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタン３００７を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。
【００５５】
検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。本領域３００８は、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２と、時刻指定チェックボックス３０１３，３０１４と、時刻指定欄３０１５，３０１６を有する。
【００５６】
撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は、検索の際に検索対象とする撮像装置２０１を指定するチェックボックスである。本チェックボックス３００９，３０１０，３０１１，３０１２は、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示・非表示を繰り返す。
初期状態においては、全ての撮像装置２０１（カメラ１〜４）を検索対象とするため、撮像装置指定チェックボックス３００９，３０１０，３０１１，３０１２は全て選択状態となる。
【００５７】
時刻指定チェックボックス３０１３，３０１４は、検索の際に検索対象とする時刻範囲を指定するチェックボックスである。表示の態様については本チェックボックスも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、すなわち、録画装置１０２に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。
同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置１０２に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄３０１５，３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックス３０１３，３０１４は全て非選択状態、時刻指定欄３０１５，３０１６は空欄とする。
【００５８】
検索実行領域３０１７は、検索実行を指示する領域である。本領域３０１７は、類似人物検索ボタン３０１８、登場イベント検索ボタン３０１９に加え、検索結果からの類似人物検索ボタン３３００、同一シーンチェックボックス３２０１、マスクチェックボックス３２０２、サングラスチェックボックス３２０３、異なる角度チェックボックス３２０４を有する。
【００５９】
類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索（最初のキー画像による検索処理６００１）の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って類似人物検索の実行を指示する。
登場イベント検索ボタン３０１９は、登場イベント検索の実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って登場イベント検索の実行を指示する。
【００６０】
検索結果表示領域３０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域３０２０には何も表示されない。
【００６１】
ここで、ユーザが、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９，３０１０，３０１２を押下し、更に、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５，３０１６にそれぞれ「２００９／６／２６ １５：３０：２０」，「２００９／７／１３ １２：３０：２０」と入力したとする。
これにより、図９に示すように、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」の画像が検索キー画像として指定され、また、検索対象としたい撮像装置２０１として「カメラ１」、「カメラ２」、「カメラ４」の３つが指定され、検索対象としたい時刻範囲として「２００９／６／２６ １５：３０：２０から２００９／７／１３ １２：３０：２０まで」が指定される。
【００６２】
その後、ユーザが、類似人物検索ボタン３０１８を押下したとする。すると、検索結果表示領域３０２０には、検索キー画像３００５を用いて類似人物検索を実行して得られた検索結果が表示される。図９は、この状態における検索画面の一例を示したものである。検索結果の表示は、検索結果画像（本例では、検索結果画像３０３１〜３１４１）を一覧表示することにより実施する。
検索結果画像３０３１〜３１４１は、例えば、最上段左から右へ、次に２段目左から右へと検索キー画像３００５に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。
【００６３】
この図に示された例の表記において、検索結果表示領域３０２０内の検索結果画像３０３１〜３１４１上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものであり、例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２、検索キー画像指定ボタン３０３３、検索対象チェックボックス３３０１を備える。他の検索結果画像３０４１〜３１４１も同様である。
【００６４】
頭出し再生ボタン３０３２は、検索結果画像３０３１を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替り、その検索結果画像３０３１を先頭として始まる動画をユーザは、視聴することができる。
検索キー画像指定ボタン３０３３は、検索結果画像３０３１を新たな検索キー画像に指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が検索キー画像３００５に表示される。これにより、検索結果画像３０３１を使って再検索を実施することができる。
【００６５】
検索対象チェックボックス３３０１は、検索結果からの類似人物検索ボタン３３００を押下した場合に新たな検索キー画像（或いはその候補）として検索結果画像３０３１を指定するチェックボックスである。例えば、検索結果に出てきた「Ａさん」の画像（本例では、検索結果画像２０３１〜３０６１，３０８１，３０９１，３１２１，３１４１）を全てチェックして、検索結果からの類似人物検索ボタン３３００を押すことで、様々なパターンの「Ａさん」を検索することが可能である。
【００６６】
検索結果からの類似人物検索ボタン３３００は、検索キー画像３００５による類似人物検索の結果に基づく再度の類似人物検索（代表する検索キーによる検索処理６００８）の実行を指示するボタンである。再度の類似人物検索では、検索結果表示領域３０２０の表示（最初のキー画像による検索処理６００１の結果）の中からユーザに選択された（検索対象チェックボックスがチェックされた）画像を新たな検索キー画像（或いはその候補）として類似人物検索を再実行する。
【００６７】
同一シーンチェックボックス３２０１は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にして検索結果前後の同一人物を選択する処理６００３を実行し、その結果の画像（対象の画像中の人物と同一人物を映した前後の画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
マスクチェックボックス３２０２は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にしてマスクを付加する画像処理６００４を実行し、その結果の画像（対象の画像中の人物にマスクを付加した画像或いは当該人物からマスクを外した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
サングラスチェックボックス３２０３は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にしてサングラスや眼鏡を付加する画像処理６００５を実行し、その結果の画像（対象の画像中の人物にサングラス等を付加した画像或いは当該人物からサングラス等を外した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
異なる角度チェックボックス３２０４は、検索結果表示領域３０２０の表示の中からユーザに選択された画像を対象にして人物の向きを変更する画像処理６００６を実行し、その結果の画像（対象の画像中の人物の向きを変更した画像）を新たな検索キー画像の候補に追加することを指定するチェックボックスである。
【００６８】
これらのチェックボックス３２０１〜３２０４の１以上がチェックされた状態で検索結果からの類似人物検索ボタン３３００が押下された場合には、検索結果表示領域３０２０の表示の中からユーザに選択された各々の画像を対象にして、チェックされた状態のチェックボックスに対応する画像処理を実行し、その結果生成された画像を新たな検索キー画像の候補を追加し、その後、新たな検索キー画像の候補に対してクラスタリング処理６００７を実行して各クラスタを代表する検索キー画像を求め、各クラスタを代表する画像の特徴量を検索キーとして用いて類似画像検索を実行する。
【００６９】
以上のように、第１実施例では、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた構成において、検索キー決定手段が、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、検索手段が、検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うように構成した。
なお、本例では、端末装置１０３の複数検索キー選択部１１３の機能により検索キー決定手段を実現し、録画装置１０２の類似人物検索部２１８の機能により検索手段を実現しているが、他の態様により検索キー決定手段及び検索手段を実現しても構わない。
【実施例２】
【００７０】
本発明の一実施形態に係る類似画像検索システムにおける第２実施例を、 図５Ｆ及び図７を参照して説明する。なお、第１実施例と同様の部分は説明を省略する。
図７には、第２実施例において、類似人物検索を実施する手順を例示してある。
図７の処理６００１〜６００６は、図６の処理６００１〜６００６と同一であるので説明を省略する。
【００７１】
全体平均算出処理７００１では、これまでの処理６００１〜６００６により新たな検索キー画像の候補とされた複数の画像の全てを対象にして画像の特徴量の平均を算出し、平均に最も近い検索キー画像の候補を第１の検索キー画像に指定し、その画像の特徴量が新たな第１の検索キーとする。なお、新たな検索キー画像の候補となった全ての画像の特徴量の平均をそのまま第１の検索キーとしてもよい。
遠距離点算出処理７００２では、新たな検索キー画像の候補のうち、第１の検索キー画像から特徴量が最も遠い画像を第２の検索キー画像に指定し、その画像の特徴量が新たな第２の検索キーとする。更に、新たな検索キー画像の候補のうち、第１の検索キーと第２の検索キーの両方から特徴量が最も遠い画像を第３の検索キー画像に指定し、その画像の特徴量を新たな第３の検索キーとする。また、同様にして、これまでに指定された全ての新たな検索キーから最も遠い画像を第４以降の新たな検索キー画像に指定し、その画像の特徴量を第４以降の新たな検索キーとすることを繰り返しても良い。
【００７２】
図５Ｆには、これまでの処理６００１〜６００６によって得られた新たな検索キー画像の候補に基づいて、全体平均算出処理７００１により第１の検索キーとされた画像の特徴量Ｐ２１（本例では、新たな検索キー画像の候補となった全ての画像の特徴量の平均）と、遠距離点算出処理７００２により第２の検索キーとされた画像の特徴量Ｐ２２及び第３の検索キーとされた画像の特徴量Ｐ２３が示されている。
【００７３】
代表する検索キーによる検索処理６００８では、全体平均算出処理７００１及び遠距離点算出処理７００２によって得られた新たな検索キー（本例では、第１〜第３の検索キー）の特徴量を用いて類似画像検索を行い、結果を出力する。
ここで、図５Ｆの例では、最初の検索キー画像に関連する画像（処理６００１〜６００６により得られた画像）は２９枚あるため、従来であれば、これらの画像の特徴量を新たな検索キーとした検索を２９回繰り返していたところ、本実施例においては、全体平均算出処理７００１及び遠距離点算出処理７００２によって得られた３つの画像の特徴量を用いて類似画像検索を行うことで、特徴量のバランスをとりつつ３回の検索で済むようにしている。
【００７４】
以上のように、第２実施例では、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた構成において、検索キー決定手段が、検索キーの候補である複数の画像の特徴量の平均に最も近い画像の特徴量又は平均そのものを第１の検索キーに決定し、検索キーの候補である複数の画像の特徴量の中で第１の検索キーから最も遠い画像の特徴量を第２の検索キーに決定し、更に、検索キーの候補である複数の画像の特徴量の中でこれまでに検索キーに決定された画像の特徴量の全てから最も遠い画像の特徴量を更なる検索キーに決定することを行い、検索手段が、検索キー決定手段により決定された複数の検索キーをそれぞれ用いて検索を行うように構成した。
なお、本例では、端末装置１０３の複数検索キー選択部１１３の機能により検索キー決定手段を実現し、録画装置１０２の類似人物検索部２１８の機能により検索手段を実現しているが、他の態様により検索キー決定手段及び検索手段を実現しても構わない。
【実施例３】
【００７５】
本発明の一実施形態に係る類似画像検索システムにおける第３実施例を、 図５Ｇ及び図８を参照して説明する。なお、第１実施例と同様の部分は説明を省略する。また、録画装置１０２の人物特徴量記録部２１５では、例えば特許文献４に示すようなクラスタリング処理が行われ、各クラスタにはクラスタ番号が付与されているものとする。
図８には、第３実施例において、類似人物検索を実施する手順を例示してある。
図８の処理６００１〜６００６は、図６の処理６００１〜６００６と同一であるので説明を省略する。
【００７６】
クラスタ番号取得処理８００１では、これまでの処理６００１〜６００６により新たな検索キー画像の候補とされた複数の画像をクラスタリングして、各画像にその画像が属するクラスタを識別するクラスタ番号を付与し、新たな検索キー画像の候補とされた各画像についてクラスタ番号を取得する。なお、録画装置１０２の人物特徴量記録部２１５に画像の特徴量と共にその画像のクラスタ番号を記録しておき、録画装置１０２の人物特徴量記録部２１５から新たな検索キー画像の候補とされた画像のクラスタ番号を取得する通信を行うようにしてもよく、この場合には、最初のキー画像による検索処理６００１を実行する際にクラスタ番号を取得する通信を行ってもよい。
【００７７】
次に、クラスタ番号を考慮した検索キー選択処理８００２では、最初のキー画像による検索処理６００１における検索キー画像とクラスタ番号が同一の候補を除外し、それ以外の候補の中から、クラスタ番号が重ならないように、つまりクラスタ番号が同一のものが複数ある場合はうち１つを検索キー画像とするように、検索キー画像を選択する。
【００７８】
図５Ｇには、これまでの処理６００１〜６００６によって得られた新たな検索キー画像の候補に、クラスタ番号取得処理８００１によって取得されたクラスタ番号を付した例が示されている。クラスタ番号を考慮した検索キー選択処理８００２では、クラスタ番号＃１１については既に最初の検索キー画像として使用済みであるので検索キー画像としては選択されず、クラスタ番号＃１２については新たな検索キー画像の候補が１つしかない（同じクラスタ番号のものが他にない）ので新たな検索キー画像として選択され、クラスタ番号＃２３については新たな検索キー画像の候補が複数あるのでそのうち１つが新たな検索キー画像として選択され、クラスタ番号＃３１についても新たな検索キー画像の候補が複数あるのでそのうち１つが新たな検索キー画像として選択される。
【００７９】
代表する検索キーによる検索処理６００８では、クラスタ番号取得処理８００１及びクラスタ番号を考慮した検索キー選択処理８００２によって得られた検索キー画像の特徴量を新たな検索キーに用いて類似画像検索を行い、結果を出力する。
ここで、図５Ｇの例では、最初の検索キー画像に関連する画像（処理６００１〜６００６により得られた画像）は９枚あるため、従来であれば、これらの画像の特徴量を新たな検索キーとした検索を９回繰り返していたところ、本実施例においては、クラスタ番号取得処理８００１及びクラスタ番号を考慮した検索キー選択処理８００２によって得られた３つの画像の特徴量を用いて類似画像検索を行うことで、特徴量のバランスをとりつつ３回の検索で済むようにしている。
【００８０】
以上のように、第３実施例では、検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備えた構成において、検索キー決定手段が、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、検索手段が、検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行うように構成した。更に、検索キー決定手段は、ユーザにより１回目の検索キーに指定された画像の特徴量を用いて検索手段により行われた１回目の検索結果の画像及びこれに関連する画像（検索結果の画像を含む動画における検索結果の画像の前後の画像や、検索結果の画像を画像処理した結果の画像など）の特徴量を２回目以降の検索に用いる検索キーの候補として、２回目以降の検索に用いる複数の検索キーを決定する処理を行うものであり、その際に、１回目の検索キーの画像の特徴量が属するクラスタ以外の各クラスタについて、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定するように構成した。
なお、本例では、端末装置１０３の複数検索キー選択部１１３の機能により検索キー決定手段を実現し、録画装置１０２の類似人物検索部２１８の機能により検索手段を実現しているが、他の態様により検索キー決定手段及び検索手段を実現しても構わない。
【００８１】
これまで第１実施例〜第３実施例を用いて説明したように、本発明に係る類似画像検索システムでは、検索キーの候補となった複数の画像の特徴量の分布を特徴付ける代表的な特徴量を検索キーに決定することで、複数の検索キーを用いた類似画像検索における検索回数の抑制と検索精度の向上を両立させるようにした。
【００８２】
ここで、本例においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置１０２上で実施する構成で説明したが、ネットワークで接続された録画装置１０２とは別個の装置にて実施するようにしてもよい。
また、本例においては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用することができる。
また、撮像装置２０１、録画装置１０２、端末装置１０３の各装置は１台に限られず、それぞれ複数台を用いる構成としてもよい。
【００８３】
なお、本発明に係る類似画像検索システムは、以下のような発明として把握することもできる。
すなわち、第１の発明例として、撮像した画像の画像データを記憶し、前記画像の特徴量を抽出して、画像間の類似度を評価し、検索キーの画像を指定して、その画像との類似度が高い画像を複数検索する類似画像検索システムであって、同一の対象（例えば人物）を指す複数の画像を検索キーとして複数回検索を行う類似画像検索システムにおいて、同一の対象を指す複数の画像のうち画像の類似性が高い複数の画像の特徴をまとめた１つの検索キーを得ることで、検索回数を減らすことを特徴とする。
【００８４】
また、第２の発明例として、撮像した画像の画像データを記憶し、前記画像の特徴量を抽出して、画像間の類似度を評価し、検索キーの画像を指定して、その画像との類似度が高い画像を複数検索する類似画像検索システムであって、同一の対象（例えば人物）を指す複数の画像を検索キーとして複数回検索を行う類似画像検索システムにおいて、同一の対象を指す複数の画像の特徴の平均を第１の検索キーとし、同一の対象を指す複数の画像の中で第１の検索キーから最も特徴が離れた画像の特徴を第２の検索キーとし、更に、第１の検索キーと第２の検索キーの両方から最も特徴が離れた画像の特徴を第３の検索キーとし、以後、第３以降の検索キーも同様に決めることで、検索回数を減らすことを特徴とする。
【００８５】
なお、第１又は第２の発明例における同一の対象を指す複数の画像としては、種々の画像を用いることができる。
例えば、直前に実施された検索により得られた検索結果の画像が用いられる。
例えば、検索キーの画像が複数枚の画像で成り立つ動画における１枚の画像である場合において、検索キーの画像が含まれる動画における検索キーの画像より時間的に前又は後の複数枚の画像が用いられる。
例えば、検索キーの画像を画像処理した結果の画像が用いられる。
また、これらの画像例の２つの組み合わせを適用して得られる画像や、全て（３つ）の組み合わせを適用して得られる画像を用いてもよい。
また、検索回数を減らす度合いや、同一の対象を指す複数の画像として上述した３つの画像例のどれ（或いはどの組み合わせ）を使用するかは、検索の都度任意に変更可能にしてもよい。
【００８６】
また、同一の対象を指す複数の画像として検索キーの画像を画像処理した結果の画像を用いる場合において、検索キーの画像に対する画像処理としては、種々の画像処理を用いることができる。
例えば、検索キーの画像が人物を映した画像である場合において、画像中の人物が鼻や口を覆うマスクをしていない場合にマスクを付加する画像処理、或いは、画像中の人物が鼻や口を覆うマスクをしている場合にマスクを除去する画像処理を行う。
例えば、検索キーの画像が人物を映した画像である場合において、画像中の人物が眼鏡やサングラスをかけていない場合に眼鏡やサングラスを付加する画像処理、或いは、画像中の人物が眼鏡やサングラスをかけている場合に眼鏡やサングラスを除去する画像処理を行う。
例えば、検索キーの画像の角度を変える画像処理を行う。一例として、検索キーの画像が人物を映した画像である場合において、画像中の人物の向きを変える画像処理を行う。
例えば、検索キーの画像の明暗を変える画像処理を行う。
【００８７】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウェア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウェア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【符号の説明】
【００８８】
１０２：録画装置、 １０３：端末装置、 １１０：キーワード記録部、 １１１：キーワード検索部、 １１２：キーワード付与要求送信部、 １１３：複数検索キー選択部、 ２００：ネットワーク、 ２０１：撮像装置、 ２１０：画像送受信部、 ２１１：画像記録部、 ２１２：再生制御部、 ２１３：人物領域検出部、 ２１４：人物特徴量抽出部、 ２１５：人物特徴量記録部、 ２１６：属性情報記録部、 ２１７：要求受信部、 ２１８：登場人物検索部、 ２１９：登場イベント検索部、 ２２０：検索結果送信部、 ２４０：バス、 ２４１：撮像部、 ２４２：主記憶部、 ２４３：符号化部、 ２４４：ネットワークＩ／Ｆ、 ２５０：バス、 ２５１：ＣＰＵ、 ２５２：主記憶部、 ２５３：補助記憶部、 ２５４：ネットワークＩ／Ｆ、 ２６０：バス、 ２６１：ＣＰＵ、 ２６２：主記憶部、 ２６３：補助記憶部、 ２６４：表示Ｉ／Ｆ、 ２６６：ネットワークＩ／Ｆ、 ２７０：表示装置、 ２８０：キーボード、 ２８２：マウス、 ３００１：再生画像表示領域、 ３００２：動画、 ３００３：画像再生操作領域、 ３００４：検索キー画像指定領域、 ３００５：検索キー画像、 ３００６：映像指定ボタン、 ３００７：ファイル指定ボタン、 ３００８：検索絞込パラメータ指定領域、 ３００９〜３０１２：撮像装置指定チェックボックス、 ３０１３，３０１４：時刻指定チェックボックス、 ３０１５，３０１６：時刻指定欄、 ３０１７：検索実行領域、 ３０１８：類似人物検索ボタン、 ３０１９：登場イベント検索ボタン、 ３０２０：検索結果表示領域、 ３０３１，３０４１，３０５１，３０６１，３０７１，３０８１，３０９１，３１０１，３１１１，３１２１，３１３１，３１４１：検索結果画像、 ３０３２：頭出し再生ボタン、 ３０３３：検索キー画像指定ボタン、 ３２０１：同一シーンチェックボックス、 ３２０２：マスクチェックボックス、 ３２０３：サングラスチェックボックス、 ３２０４：異なる角度チェックボックス、 ３３００：検索結果からの類似人物検索ボタン、 ３３０１：検索対象チェックボックス
【特許請求の範囲】
【請求項１】
検索キーとなる画像の特徴量に類似する特徴量を有する画像を検索する類似画像検索システムにおいて、
検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、
前記検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備え、
前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、
前記検索手段は、前記検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行う、
ことを特徴とする類似画像検索システム。
【請求項２】
検索キーとなる画像の特徴量に類似する特徴量を有する画像を検索する類似画像検索システムにおいて、
検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、
前記検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備え、
前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量の平均に最も近い画像の特徴量又は平均そのものを第１の検索キーに決定し、検索キーの候補である複数の画像の特徴量の中で第１の検索キーから最も遠い画像の特徴量を第２の検索キーに決定し、更に、検索キーの候補である複数の画像の特徴量の中でこれまでに検索キーに決定された画像の特徴量の全てから最も遠い画像の特徴量を更なる検索キーに決定することを行い、
前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて検索を行う、
ことを特徴とする類似画像検索システム。
【請求項３】
請求項１又は請求項２に記載の類似画像検索システムにおいて、
前記検索手段は、ユーザにより１回目の検索キーに指定された画像の特徴量を用いて１回目の検索を行い、
前記検索キー決定手段は、前記検索手段による１回目の検索結果の画像、当該検索結果の画像を含む動画における当該検索結果の画像の前後の画像、当該検索結果の画像を画像処理した結果の画像を含む複数の画像の特徴量を２回目以降の検索に用いる検索キーの候補として、２回目以降の検索に用いる複数の検索キーを決定する処理を行い、
前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて２回目以降の検索を行う、
ことを特徴とする類似画像検索システム。
【請求項１】
検索キーとなる画像の特徴量に類似する特徴量を有する画像を検索する類似画像検索システムにおいて、
検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、
前記検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備え、
前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量をクラスタリングし、クラスタ毎にそのクラスタを代表する画像の特徴量を検索キーとして決定し、
前記検索手段は、前記検索キー決定手段により決定されたクラスタ毎の検索キーをそれぞれ用いて検索を行う、
ことを特徴とする類似画像検索システム。
【請求項２】
検索キーとなる画像の特徴量に類似する特徴量を有する画像を検索する類似画像検索システムにおいて、
検索キーの候補である複数の画像の特徴量に基づいて、検索キーとする画像の特徴量を決定する検索キー決定手段と、
前記検索キー決定手段により検索キーに決定された画像の特徴量に類似する特徴量を有する画像を検索する検索手段と、を備え、
前記検索キー決定手段は、検索キーの候補である複数の画像の特徴量の平均に最も近い画像の特徴量又は平均そのものを第１の検索キーに決定し、検索キーの候補である複数の画像の特徴量の中で第１の検索キーから最も遠い画像の特徴量を第２の検索キーに決定し、更に、検索キーの候補である複数の画像の特徴量の中でこれまでに検索キーに決定された画像の特徴量の全てから最も遠い画像の特徴量を更なる検索キーに決定することを行い、
前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて検索を行う、
ことを特徴とする類似画像検索システム。
【請求項３】
請求項１又は請求項２に記載の類似画像検索システムにおいて、
前記検索手段は、ユーザにより１回目の検索キーに指定された画像の特徴量を用いて１回目の検索を行い、
前記検索キー決定手段は、前記検索手段による１回目の検索結果の画像、当該検索結果の画像を含む動画における当該検索結果の画像の前後の画像、当該検索結果の画像を画像処理した結果の画像を含む複数の画像の特徴量を２回目以降の検索に用いる検索キーの候補として、２回目以降の検索に用いる複数の検索キーを決定する処理を行い、
前記検索手段は、前記検索キー決定手段により決定された複数の検索キーをそれぞれ用いて２回目以降の検索を行う、
ことを特徴とする類似画像検索システム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図５Ｇ】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図５Ｇ】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１０１４３１（Ｐ２０１３−１０１４３１Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４３７１５（Ｐ２０１１−２４３７１５）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]