類似画像検索システム
【課題】キーワード付与機能の向上、検索の容易性の向上した類似画像検索システムの提供する。
【解決手段】撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有する。
【解決手段】撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像検索システム、および、類似画像検索方法に係り、特に、映像監視システムの人物の検索のためのユーザインタフェースを使い勝手のよいものにする用途に用いて好適な類似画像検索システム、および、類似画像検索方法に関する。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、あるいは映像を記録するものである。
【０００３】
映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。
【０００４】
このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。
【０００５】
機能面から人物検索機能は、以下の２種類に大別される。
１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Query）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。
２つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。記録画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。
【０００６】
両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
特許文献１には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献２には、ユーザの利便性をさらに高める類似画像検索システムが記載されている。この特許文献２では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断した後に、登場イベント検索を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２３１９６号公報
【特許文献２】特開２０１１−０９０４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２に示すようなキーワード付与機能は、類似画像検索を行う場合に非常に便利である。しかしながら、現状の類似人物検索におけるキーワード付与機能は、ユーザの入力負荷が大きいという問題がある。
即ち、ユーザは類似画像検索の結果に対し、検索結果から多数の正解画像を選択してキーワードの付与を行う必要がある。
また、登場イベント検索の結果に対してキーワードを付与したい場合には、キーワードを、その都度キーボードから入力する手間をかける必要がある。
さらに、当該システムの運用において、例えば名字と名前を合わせたフルネームをキーワードとして入力することと規定されていた場合には、ユーザはそのフルネームを完全に知っておく必要がある。つまり、以前に入力したことはあるが、姓を覚えているが名を忘れてしまった場合や、漢字やスペルを忘れてしまった場合に、別途調査して完全な情報を手に入れないと入力できない問題がある。
本発明は、上記のような問題に鑑み、キーワード付与機能の向上、検索の容易性の向上した類似画像検索システムの提供を目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明の類似画像検索システムは、撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有するものである。
【００１０】
上記本発明の類似画像検索システムにおいて、前記端末装置は、前記録画装置が検索した結果から、類似度が高い画像を自動的に選択状態にして表示することを特徴とする。
【００１１】
また上記の目的を達成するため、本発明の類似画像検索システムは、撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記端末装置は、前記録画装置が当該登場イベント検索手段を実行した結果を表示し、前記録画装置は、前記端末装置に表示された画像データの一覧から、ユーザによって選択された画像を検索キー画像として類似度が高い画像データを検索し、類似画像検索結果にキーワード付与済みの結果が含まれていれば、そのキーワードを付与候補として表示する、画像の類似度によらず画像データの一覧を提示する登場イベント検索する手段を有するものである。
【発明の効果】
【００１２】
本発明によれば、類似画像検索の結果から、多数の画像を選択して、一度にキーワードを付与することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の類似画像検索システムの一実施例のシステム構成図である。
【図２】本発明の類似画像検索システムに用いる撮像装置のハードウェア構成の一実施例を示す図である。
【図３】本発明の類似画像検索システムに用いる録画装置のハードウェア構成の一実施例を示す図である。
【図４】本発明の類似画像検索システムに用いる端末装置のハードウェア構成の一実施例を示す図である。
【図５Ａ】本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
【図５Ｂ】本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
【図５Ｃ】本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
【図６】本発明の類似画像検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図である。
【図７】本発明の類似画像検索システムにおいて、登場イベント検索結果からのキーワード付与における録画装置と端末装置の間の処理シーケンス図の一実施例を示すである。
【図８Ａ】本発明の類似画像検索システムにおいて、検索実行前の初期状態における検索画面の一実施例を示した図である。
【図８Ｂ】本発明の類似画像検索システムにおいて、類似人物検索実行直前状態における検索画面の一実施例を示した図である。
【図８Ｃ】本発明の類似画像検索システムにおいて、類似人物検索実行直後状態における検索画面の一実施例を示した図である。
【図８Ｄ】本発明の類似画像検索システムにおいて、キーワード付与実行直後状態における検索画面の一実施例を示した図である。
【図８Ｅ】本発明の類似画像検索システムにおいて、登場イベント検索実行直前状態における検索画面の一実施例を示した図である。
【図８Ｆ】本発明の類似画像検索システムにおいて、登場イベント検索実行直後状態における検索画面の一実施例を示した図である。
【図８Ｇ】本発明の類似画像検索システムにおいて、登場イベント検索後のユーザよる人物選択操作後の検索画面の一実施例を示した図である。
【図８Ｈ】本発明の類似画像検索システムにおいて、登場イベント検索後のキーワード付与実行直後状態における検索画面の一実施例を示した図である。
【発明を実施するための形態】
【００１４】
本発明の類似画像検索システムは、例えば、撮像装置、撮像装置から送信された画像データを記録する録画装置、および録画装置に記録された画像データから所望の画像を検索し、当該検索した画像を要求して表示する端末装置から構成される類似画像検索システムにおいて、録画装置は、当該録画装置の各部の制御および所定の機能を実現するための第１のプログラムを実行する第１のＣＰＵと、検索のための画像データおよび第１のＣＰＵで実行する前記第１のプログラムをロードして格納する第１の主記憶部と、撮像装置から受信した画像データおよび第１のプログラムを格納する第１の補助記憶部とからなる。
また端末装置は、例えば、当該端末装置の各部の制御および所定の機能を実現するための第２のプログラムを実行する第２のＣＰＵと、表示装置に表示するための画像データや第２のＣＰＵ２６１で実行する第２のプログラムをロードして格納するための第２の主記憶部と、検索キーワード、画像データ、および第２のプログラムを格納する第２の補助記憶部とからなる。
【００１５】
また例えば、第１のＣＰＵは、撮像装置から受信した画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う人物領域検出部、人物領域検出部で検出した領域に対して画像認識技術を用いて特徴量算出を行う人物特徴量抽出部、人物特徴量抽出部で算出した特徴量を主記憶部に記録する人物特徴量記録部、端末装置からの検索要求の受信を行う要求受信部、要求受信部にて受信した検索要求に応じて検索を行う検索部、検索部から得た検索結果を端末装置に送信する検索結果送信部、要求受信部が前記端末装置から受信したキーワード付与要求に基づきキーワードを主記憶部に記録するキーワード記録部、要求受信部が受信した検索要求データ中にキーワードが含まれていた場合には、補助記憶部に記録された画像データについてキーワードで検索を行うキーワード検索部を備える。
また例えば、第２のＣＰＵは、検索要求の録画装置への送信を行う検索要求送信部、検索結果画像および検索結果データを録画装置から受信する検索結果受信部、検索結果受信部にて受信した検索結果画像を画面表示する検索結果表示部、録画装置から入力された画像データを連続動画表示する再生画像表示部、ユーザによる操作内容の検知および取得を行う画面操作検知部、キーワード付与要求を前記録画装置に送信するキーワード付与要求送信部を備える。
【００１６】
さらに、本発明の類似画像検索システムの検索要求は、類似画像検索要求と登場イベント検索要求である。
【００１７】
以下、本発明に係る一実施形態を、図１〜図７および図８Ａ〜図８Ｈを用いて説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。
【００１８】
まず、図１〜図４を用いて、本発明の一実施形態に係る類似画像検索システムの構成について説明する。図１は、本発明の類似画像検索システムの一実施例のシステム構成図である。また図２は、撮像装置のハードウェア構成図である。また図３は、録画装置のハードウェア構成図である。また図４は、端末装置のハードウェア構成図である。
【００１９】
類似画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。
ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等の各装置を相互に接続して通信を行う通信手段である。
撮像装置２０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換処理された画像データを、ネットワーク２００を介して録画装置へ送信するネットワークカメラや監視カメラ等の装置である。
録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の類似画像検索システムを含む人物検索機能を搭載している。
【００２０】
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、検索部、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１の各処理部よりなる。検索部は、類似人物検索部２１８および登場イベント検索部２１９で構成される。
【００２１】
図１の録画装置１０２において、画像送受信部２１０は、装置外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（後述）も併せて記録する。
再生制御部２１２は、端末装置１０３への映像再生を制御する。
【００２２】
人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１２で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、あるいは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。
人物特徴量記録部２１５は、人物特徴量抽出部で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。
【００２３】
要求受信部２１７は、端末装置からの検索要求やキーワード付与要求の受信を行う。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２１８は、要求受信部にて受信した要求が類似人物検索要求であった場合に、類似画像の検索を行う。
登場イベント検索部２１９は、要求受信部にて受信した要求が登場イベント検索要求であった場合に、登場イベントの検索を行う。
検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置への送信を行う。
キーワード記録部１１０は、要求受信部にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部１１１は、要求受信部にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。
【００２４】
端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２の各処理部にて構成される。また、端末装置１０３には、本発明を実現するための人物検索機能も搭載している。
【００２５】
検索要求送信部２２１は、検索要求の録画装置への送信を行う。類似人物検索の場合、検索要求データには、検索キー画像が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置からの受信を行う。検索結果として受信するデータには、録画装置において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」と称する。
検索結果表示部２２３は、検索結果受信部にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部２２４は、録画装置から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知および取得を行う。
キーワード付与要求送信部１１２は、キーワード付与要求の録画装置への送信を行う。
【００２６】
図２によって、本発明の類似画像検索システムに用いる撮像装置２０１のハードウェア構成の一実施例を説明する。図２は、本発明の類似画像検索システムに用いる撮像装置のハードウェア構成の一実施例を示す図である。撮像装置２０１の構成は、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４４が、バス２４０で結合された形態である。
【００２７】
図２において、撮像部２４１は、レンズで撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Joint Photographic Experts Group）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４４は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。
【００２８】
図３によって、本発明の類似画像検索システムに用いる録画装置１０２のハードウェア構成の一実施例を説明する。図３は、本発明の類似画像検索システムに用いる録画装置のハードウェア構成の一実施例を示す図である。録画装置１０２のハードウェア構成としては、図３に示すように、ＣＰＵ（Central Processing Unit）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。
【００２９】
ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭなどの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。
【００３０】
図４によって、本発明の類似画像検索システムに用いる端末装置１０３のハードウェア構成の一実施例を説明する。図４は、本発明の類似画像検索システムに用いる端末装置のハードウェア構成の一実施例を示す図である。端末装置１０３のハードウェア構成としては、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続し、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続する。
【００３１】
図４において、ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信したり、録画装置１０２から画像データを受信するためのインタフェースである。表示装置２７０は、例えば、ＬＣＤ（Liquid Crystal Display）などの装置であり、画像や動画をその表示部に表示する装置である。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Graphical User Interface）操作することによって、端末装置１０３、および、類似画像検索システムを操作する。
【００３２】
次に、図５Ａと図５Ｂを用いて本発明の一実施形態に係る類似画像検索システムに用いられるデータ構造について説明する。図５Ａと図５Ｂは、本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
本発明の類似画像検索システムに用いられるデータ構造の一実施例には、図５Ａに示すようなフレームテーブル３００と、図５Ｂに示すような属性情報データテーブル３１０がある。
【００３３】
フレームテーブル３００は、映像データを格納するためのテーブルである。フレームテーブル３００には、画像ＩＤ３０１が付され、付された画像ＩＤと関連付けられたフレームデータ３０２が記録される。フレームデータ３０２は、例えば、ＪＰＥＧ形式のデータなどで記録される。
【００３４】
属性情報データテーブル３１０は、画像データを解析した結果の画像についての属性情報データを格納するためのテーブルである。属性情報データテーブル３１０には、登録ＩＤ３１１が識別のために付与され、付与された登録ＩＤ３１１と関連付けられて、画像ＩＤ３１２、特徴量３１３、カメラＩＤ３１４、時刻情報３１５、およびキーワード３１６が記録される。
例えば、付与された登録ＩＤ３１１と関連付けられて、フレームテーブル３００に格納されたフレームの一部が、画像ＩＤ３１２により指定される。また、その画像の特徴量は、特徴量３１３に、撮像した撮像装置２０１のＩＤは、カメラＩＤ３１４に、フレームの撮像時刻に関する情報は、時刻情報３１５に、フレームに付与されたキーワードは、キーワード３１６にと、各々のフィールドに格納される。
【００３５】
なお、例えば、録画のフレームレートが、３０ｆｐｓ（Frames Per Second）のときに、画像の解析を行うのは、その内で、人がいると認識した部分あり、最大３ｆｐｓ程度のフレームレートで画像を捉えて解析を行うのが一般的である。
【００３６】
次に図６、図８Ａ、図８Ｂ、図８Ｃ、および図８Ｄを用いて、本発明の類似画像検索における類似度が高い検索結果画像を自動的に選択状態にして提示する選択方式について説明する。図６は、本発明の類似画像検索システムの一実施例の類似画像検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図である。また、図８Ａ〜図８Ｄは、本発明の類似画像検索において、端末装置１０３の表示装置２７０に表示される類似画像検索を行っているときの各フェーズの画面を示す図である。
【００３７】
図６において、軸５０１は、録画装置１０２の上部から下部へ進む時系列を表し、軸５０２は、端末装置１０３の上部から下部へ進む時系列を表している。また、タイミング５０３〜５０６は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置１０３上に表示される画面の一実施例や、ユーザ操作内容の一例については後述する。
【００３８】
図６において、通信５１０〜５１２は、録画装置１０２と端末装置１０３間の主な通信を示している。
通信５１０と通信５１１は、リクエストとレスポンスの関係にあり、通信５１０は、類似人物検索要求を含み、通信５１１は、類似人物検索結果を含む。この２つの通信により、１回の類似人物検索が実行されることになる。
通信５１２は、画像に対するキーワード付与要求を含む。
ここで、通信５１１に含まれる類似人物検索結果には、画像ＩＤ３０１等の属性情報データテーブル３１０の静的な情報だけでなく、録画装置１０２における検索処理時に算出された検索キー画像に対する類似度を含むようにする。
本実施例では類似度は０〜１００までの範囲の数値とし、１００に近いほど検索キー画像に似た画像であることを表すものとする。
【００３９】
次に、図８Ａ〜図８Ｄを用いて、本発明の類似画像検索システムの端末装置１０３におけるユーザの操作イメージについて説明する。
【００４０】
図８Ａは、検索実行前の初期状態、すなわち、図６のタイミング５０３における端末装置１０３の表示部に表示される検索画面８０１の一実施例である。ユーザは、この検索画面８０１から検索を開始する。
図８Ａの検索画面８０１は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域４０１７、および、検索結果表示領域４０２０よりなる。
【００４１】
図８Ａの検索画面８０１において、再生画像表示領域３００１は、録画装置１０２に記録された画像を動画像として表示する領域である。また再生画像表示領域３００１の動画３００２は、録画装置に記録された画像を動画像として表示するものである。
画像再生操作領域３００３は、録画装置に記録された画像を再生操作する領域である。
本領域３００３を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。図８Ａにおける各ボタンには、例えば左から、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。ユーザが各ボタンをマウス２８２で適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。
【００４２】
検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７よりなる。
検索キー画像３００５は、類似検索のためのキーとする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。
【００４３】
映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
ファイル指定ボタン３００７は、録画装置１０２に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタン３００７を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。
【００４４】
検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。この領域３００８は、撮像装置（カメラ）指定チェックボックス３００９、３０１０、３０１１、３０１２と、時刻指定チェックボックス３０１３、３０１４、時刻指定欄３０１５、３０１６から構成される。
【００４５】
撮像装置指定チェックボックス３００９、３０１０、３０１１、３０１２は、検索の際に検索対象とする撮像装置（カメラ１〜４）を指定するボタンである。本ボタンは、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示と非表示を繰り返す。
初期状態においては、全撮像装置を検索対象とするため、撮像装置指定チェックボックスは全て選択状態となる。
【００４６】
時刻指定チェックボックス３０１３、３０１４は、検索の際に検索対象とする時刻範囲を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、即ち、録画装置に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。
同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄３０１５、３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックスは全て非選択状態、時刻指定欄は空欄とする。
【００４７】
検索実行領域４０１７は、検索実行を指示する領域である。本領域は、類似人物検索ボタン３０１８と登場イベント検索ボタン３０１９に加え、キーワード指定チェックボックス４０２１とキーワード指定欄４０２２、キーワード付与ボタン４０２３よりなる。
類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
登場イベント検索ボタン３０１９は、登場イベント検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
キーワード指定チェックボックス４０２１は、キーワード指定欄４０２２の有効または無効を指定するボタンである。表示の態様については本ボタンも撮像装置指定チェックボックスと同様である。
キーワード指定欄４０２２は、キーワードの値を指定する入力欄である。
キーワード付与ボタン４０２３は、キーワード指定欄４０２２に入力されたキーワードの付与実行を指示するボタンである。
初期状態においては、キーワード指定チェックボックス４０２１は、非選択状態、キーワード指定欄４０２２は、空欄とする。
キーワードの働きや、類似人物検索ボタン３０１８や登場イベント検索ボタン３０１９とキーワードとの関係については、後述する。
【００４８】
検索結果表示領域４０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域４０２０には何も表示されない。
ここで、ユーザは、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９、３０１０、３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５、３０１６にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
この操作により、検索画面は、類似人物検索実行直前状態、すなわち、図６のタイミング５０４の端末装置１０３の状態に遷移する。図８Ｂは、この状態における検索画面８０２の一実施例を示したものである。
【００４９】
図８Ｂの検索画面８０２において、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」が検索キー画像として表示され、また、検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の３つの撮像装置が指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。
ここで、ユーザが、類似人物検索ボタン３０１８を押下する。この押下によって、タイミング５０４から、検索画面は、類似人物検索実行直後状態、即ち、図６のタイミング５０５の端末装置１０３の状態に遷移する。図８Ｃは、この状態における検索画面８０３の一実施例を示したものである。
【００５０】
図８Ｃの検索画面８０３において、検索結果表示領域４０２０には、検索キー画像３００５をキーとして類似人物検索を実行し得られた検索結果を表示している。検索結果の表示は、検索結果画像３０３１〜３１４１を検索結果表示領域４０２０に一覧表示することにより実施する。
検索結果画像３０３１〜３１４１は、例えば、最上段左から右へ、次に２段目左から右へと検索キー画像に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。
ここで検索結果表示領域４０２０に表示されているのは、「カメラ１、カメラ２、カメラ４の2009/6/26 15:30:20から2009/7/13 12:30:20までの画像で、Ａさんと類似した画像」を検索要求した検索結果である。
【００５１】
図８Ｃに示された表記において、検索結果表示領域４０２０内の検索結果画像上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものである。
例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２と検索キー画像指定ボタン３０３３、キーワード対象チェックボックス４０３４を備える。他の検索結果画像でも同様である。
頭出し再生ボタン３０３２は、検索結果画像を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替り、その検索結果画像を先頭として始まる動画をユーザは、視聴することができる。
【００５２】
検索キー画像指定ボタン３０３３は、検索結果画像３０３１を検索キー画像３００５として指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が、検索キー画像３００５に表示される。これにより、指定された検索結果画像３００５を使って、画像の再検索を実施することができる。
類似度表示欄８０３５は、検索キー画像に対する類似度を表示する領域である。検索結果画像３０３１の類似度表示欄８０３５には、例えば、９０という値が表示されており、他の検索結果の類似度表示欄にもそれぞれ数値が表示されている。
キーワード付与チェックボックス４０３４は、キーワード付与の対象となる検索結果画像を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。例えば、ユーザが、キーワード付与チェックボックス４０３４を押下すると、チェックマークが表示され、検索結果画像３０３１が、キーワード付与対象となる。
【００５３】
この図８Ｃに示された実施例は、「Ａさん」を目的に類似人物検索を実行した際の検索結果である。したがって、検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１が正解で、検索結果画像３０７１、３１０１、３１１１、３１３１が不正解であるということを示している。
ここで、類似度表示欄８０３５の数値が一定以上、図８Ｃにおいては７５以上の検索結果画像３０３１、３０４１、３０５１、３０６１、３０７１、３０８１、３０９１のキーワード付与チェックボックスが既選択状態になっている。
【００５４】
類似人物検索実行直後（タイミング５０５）の状態において、キーワード対象チェックボックス４０３４を、本発明のように類似度によって選択状態か否かを切り替える処理を設けることによって、全て非選択状態にする方法や全て選択状態にする従来の方法と比較し、少ない選択操作数で正解画像を選択できる。
例えば、正解である検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１を全て選択する場合、類似人物検索実行直後状態に全て非選択状態にする方法では、８回の選択操作が必要であり、類似人物検索実行直後状態に全て選択状態にする方法では４回の選択を外す操作が必要である。一方、本発明の方法では１回の選択を外す操作と２回の選択する操作の計３回の操作で良い。
【００５５】
また、ユーザがキーワード指定チェックボックス４０２１を押下し、キーワード指定欄４０２２に「Ａさん」と入力し、さらにキーワード付与ボタン４０２３を押下する。ユーザのこの操作によって、検索画面８０３は、キーワード付与実行直後のキーワード指定欄４０２２に「Ａさん」入力状態となる。即ち、図６のタイミング５０６の端末状態１０３に遷移する。図８Ｄは、タイミング５０６における検索画面８０４の一例を示したものである。
【００５６】
次に図７、図８Ａ、図８Ｄ、図８Ｆ、図８Ｇ、図８Ｈ、および図５Ｃを用いて、本発明の登場イベント検索における類似度を用いたキーワードの付与候補を提示する方式について説明する。図７は、本発明の類似画像検索システムにおいて、登場イベント検索結果からのキーワード付与における録画装置と端末装置の間の処理シーケンス図の一実施例を示すである。また図５Ｃは、本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図であり、類似画像検索の検索結果に含まれるデータ３２０を示すものである。
【００５７】
図７を用いて、本発明の登場イベント検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の登場イベント検索の処理シーケンスを説明する。図７は、本発明の類似画像検索システムにおいて、登場イベント検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図である。
ここで、図６と同様に、図７の軸５０１と軸５０２は、録画装置１０２、端末装置１０３の上部から下部へ進む時系列を表している。また、タイミング７０３〜７０７は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置１０３の表示部上に表示される画面の一例や、ユーザ操作内容の一例については後述する。
【００５８】
図７において、通信７１１〜７１８は、録画装置１０２と端末装置１０３間の主な通信を示している。
通信７１１と通信７１２は、リクエストとレスポンスの関係にあり、通信７１１には登場イベント検索要求を、通信７１２には登場イベント検索結果を含み、この２つの通信により、１回の登場イベント検索要求が実行されることになる。さらに通信７１３は類似人物検索要求を、通信７１４は類似人物検索結果を含む。通信７１６、７１７についても同様である。通信７１５には、画像に対するキーワード付与要求を含む。通信７１８についても同様である。
【００５９】
次に、図８Ｅ、図８Ｄ、図８Ｆ、図８Ｇ、および図８Ｈを用いて本発明の類似画像検索システムの端末装置１０３におけるユーザの操作イメージについて説明する。
図８Ａ、図８Ｅ、図８Ｆ、図８Ｇ、図８Ｈは、本発明の類似画像検索において、端末装置１０３の表示装置２７０に表示される登場イベント検索を行っているときの各フェーズの画面を示す図である。
【００６０】
図８Ａは、前述したように、検索実行前の初期状態（検索画面８０１）である。ここでは、図７のタイミング７０３における端末装置１０３での検索画面の一実施例である。
ここで、ユーザは、撮像装置指定チェックボックス３００９、３０１０、および３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５、３０１６にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
このユーザ操作により、検索画面は、登場イベント検索実行直前状態、即ち、図７のタイミング７０４の端末装置１０３の状態に遷移する。図８Ｅは、この状態における検索画面８０５の一実施例を示したものである。
【００６１】
検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の３つが指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。
図８Ｂの検索画面８０２と比較すると、図８Ｅの検索画面８０５では、検索キー画像３００５が指定されていない。
ここで、ユーザが、登場イベント検索ボタン３０１９を押下する。すると、検索画面８０５は、登場イベント検索実行直後状態、すなわち、図７のタイミング７０５の端末装置１０３の状態に遷移する。図８Ｆは、この状態における検索画面８０６の一例を示したものである。
【００６２】
ここで、図８Ｆ等における８０３６は、人物矩形表示であり、人物を矩形で囲ったものである。人物矩形表示８０３６の選択は、マウスでクリックするなどのユーザ操作によって可能である。選択状態の人物顔矩形表示８０３６を再度選択すると、非選択状態にできる。選択状態と非選択状態は矩形枠の太さを変えて提示する場合や、色を変えて提示する場合がある。
登場イベント検索では、検索結果画像３０８１のように１つの画像に２つ以上の選択すべき人物が現れる場合がある。このため、図８Ｃのキーワード対象チェックボックス４０３４ではなく、人物矩形表示８０３６のような選択可能な表示を設ける。
なお、他の項目に関しては図８Ｃと同じであるので説明を省略する。
【００６３】
ここで、ユーザが、検索結果画像のうちの１つである検索結果画像３０３１にキーワードを付与したいと考えていて、キーワードを与える操作を、過去にユーザあるいは他のユーザが行っている場合を想定する。
このとき、ユーザは、検索結果画像３０３１の人物矩形表示８０３６をマウスでクリックして選択操作を行う。その結果、検索画面は、人物選択済み状態、即ち、図７のタイミング７０６の端末装置１０３の状態に遷移する。
このとき、端末装置１０３内部ではＡさんの人物画像をキー画像にして類似人物検索要求を行っている。
【００６４】
ここで、前術の実施例で、図８Ａから図８Ｂ、および図８Ｂから図８Ｃに遷移したときと比較すると、検索キー画像３００５は指定されておらず、検索結果表示領域４０２０も更新されず、バックグランドで類似人物検索要求処理が行われることに注意されたい。
本実施例では、類似人物検索結果に属性情報と検索キー画像に対する類似度が格納されている。即ち、ここではＡさんに類似した画像のキーワードと類似度が取得できる。
図５（ｃ）に示すデータ３２０は、類似画像検索の検索結果に含まれるデータであり、検索結果の返送データのうち本発明に必須の部分である。
類似画像検索の検索結果に含まれるデータ３０２は、ここでは、キーワード「Ａさん」「Ｂさん」「Ｃさん」が付与されているものおよび空欄すなわちキーワード未付与のものが検索結果として返送されていることを表す。
【００６５】
図７のタイミング７０６の端末装置１０３の状態では、図８Ｇの検索画面８０７が表示される。図８Ｇは、登場イベント検索後のユーザよる人物選択操作後の検索画面の一実施例を示したものである。
ここで、人物矩形表示８０３６は、選択済み状態を表す太枠表示になっている。
また、キーワード指定欄４０２２がキーワード指定およびキーワード候補選択欄８１００になっている。
キーワード指定およびキーワード候補選択欄８１００は、キーワードを入力することが可能であり、候補表示されている中から選択することも可能である。
【００６６】
端末装置１０３は、検索結果データのうち同一キーワードで最も類似度が高いものを選んで、キーワード候補表示欄である８１００に表示する。
ユーザは、これを見て、キーワード候補表示欄８１００の「Ａさん」が目的の「Ａさん」であることを確認し、マウスを使ってクリックなどで選択する。すると、図７のタイミング７０７の端末装置１０３の状態に遷移する。図７のタイミング７０７の端末装置１０３の状態では図８Ｈの検索画像８０８が表示される。
図８Ｈの８０３７はキーワード表示欄である。キーワード表示欄８０３７には付与済みのキーワードが表示される。
【００６７】
ユーザは、以後も、検索結果画像の中から１つあるいは複数同時に選択して、キーワード付与操作を行うことができる。１回の登場イベント検索におけるユーザのキーワード付与操作が全て終われば、ユーザは条件を変えて再度登場イベント検索を行うこともできる。
このようにすることで、ユーザが「Ａさん」の名前の正確な漢字やスペルを知らなくても、他のユーザが正確な漢字やスペルを入力済みであれば、誤りなく入力できる。また、ユーザが、毎回キーボードで「Ａさん」の名前を入力しなくても、マウスでクリックするだけで、キーワードを付与する作業を行うことができる。
【００６８】
ここまでに示したように、本実施形態に示した類似画像検索システムより、ユーザは類似画像検索の結果に対し、より少ない結果画像の選択回数でキーワードの付与を行うことを可能にした。また、ユーザが登場イベント検索においてキーワードを付与する場合に毎回キーボードによる正確なキーワードの入力を行う必要のないキーワード付与を可能にした。
【００６９】
また、ここまでの説明においては、撮像装置、録画装置、および端末装置は、各１台に限られず、図１に示したように、撮像装置や端末装置が複数台接続されていてもよい。また、図１では、録画装置は、１台のみであったが、録画装置が複数台接続されていてもよい。
【００７０】
本実施形態においては、図７に示すように、登場イベント検索後の検索結果選択後に類似人物検索要求を行った。しかし、登場イベント検索要求７１１時に録画装置１０２内部において類似人物検索要求されたのと同等の処理を行い、あらかじめ各々の検索結果画像に対する類似度によるキーワード付与候補を含めたものを登場イベント検索結果７１２として、検索結果選択時に都度行う類似人物検索要求を省略するような実施形態でもよい。
【００７１】
また、本実施形態においては、図８Ｇに示すように、キーワード候補表示欄である８１００にキーワードと類似度を表示したが、件数を含めてもよい。図５（ｃ）の類似画像検索の検索結果に含まれるデータ３０２においては「Ａさん」が３件、「Ｂさん」および「Ｃさん」がそれぞれ１件という結果となり、これをキーワード候補表示欄である８１００に表示することでユーザの判断の参考情報を増やすような実施形態でもよい。
【００７２】
また、本実施形態においては、類似度を図５（ｃ）に示すように、キーワード未付与の検索結果も通信したが、キーワード未付与のものを通信から除くような実施形態でもよい。
また、本実施形態においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置上で実施する構成で説明したが、ネットワークで接続された録画装置とは別個の装置にて実施するようにしてもよい。
また、本実施形態においては、キーワードが文字列であるように示したが、特定の番号や記号列にて実施するようにしてもよい。
さらに、本実施形態においては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用することができる。
【符号の説明】
【００７３】
１０２：録画装置、 １０３：端末装置、 １１０：キーワード記録部、 １１１：キーワード検索部、 １１２：キーワード付与要求送信部、 ２００：ネットワーク、 ２０１：撮像装置、 ２０２：録画装置、 ２０３：端末装置、 ２１０：画像送受信部、 ２１１：画像記録部、 ２１２：再生制御部、 ２１３：人物領域検出部、 ２１４：人物特徴量抽出部、 ２１５：人物特徴量記録部、 ２１６：属性情報記録部、 ２１７：要求受信部、 ２１８：類似人物検索部、 ２１９：登場イベント検索部、 ２２０：検索結果送信部、 ２２１：検索要求送信部、 ２２２：検索結果受信部、 ２２３：検索結果表示部、 ２２４：再生画像表示部、 ２２５：画面操作検知部、 ２４０：バス、 ２４１：撮像部、 ２４２：主記憶部、 ２４３：符号化部、 ２４４：ネットワークＩ／Ｆ、 ２５０：バス、 ２５１：ＣＰＵ、 ２５２：主記憶部、 ２５３：補助記憶部、 ２５４：ネットワークＩ／Ｆ、 ２６０：バス、 ２６１：ＣＰＵ、 ２６２：主記憶部、 ２６３：補助記憶部、 ２６４：表示Ｉ／Ｆ、 ２６５：入出力Ｉ／Ｆ、 ２６６：ネットワークＩ／Ｆ、 ２７０：表示装置、 ２８０：キーボード、 ２８２：マウス、 ３００：フレームテーブル、 ３０１：画像ＩＤ、 ３０２：フレームデータ、 ３１０：属性情報データテーブル、 ３１１：登録ＩＤ、 ３１２：画像ＩＤ、 ３１３：特徴量、 ３１４：カメラＩＤ、 ３１５：時刻情報、 ３１６：キーワード、 ３２０：類似画像検索の検索結果に含まれるデータ、 ８０１、８０２、８０３、８０４、８０５、８０６、８０７、８０８：検索画面、 ３００１：再生画像表示領域、 ３００２：動画、 ３００３：画像再生操作領域、 ３００４：検索キー画像指定領域、 ３００５：検索キー画像、 ３００６：映像指定ボタン、 ３００７：ファイル指定ボタン、 ３００８：検索絞込パラメータ指定領域、 ３００９〜３０１２：撮像装置指定チェックボックス、 ３０１３〜３０１４：時刻指定チェックボックス、 ３０１５〜３０１６：時刻指定欄、 ３０１７：検索実行領域、 ３０１８：類似人物検索ボタン、 ３０１９：登場イベント検索ボタン、 ３０２０：検索結果表示領域、 ３０３１、３０４１、３０５１、３０６１、３０７１、３０８１、３０９１、３１０１、３１１１、３１２１、３１３１、３１４１：検索結果画像、 ３０３２：頭出し再生ボタン、 ３０３３：検索キー画像指定ボタン、 ４０１７：検索実行領域、 ４０２０：検索結果表示領域、 ４０２１：キーワード指定チェックボックス、 ４０２２：キーワード指定欄、 ４０２３：キーワード付与ボタン、 ４０３４：キーワード付与チェックボックス、 ８０３５：類似度表示欄、 ８０３６：人物矩形表示、 ８０３７：キーワード表示欄、 ８１００：キーワード指定およびキーワード候補選択欄。
【技術分野】
【０００１】
本発明は、類似画像検索システム、および、類似画像検索方法に係り、特に、映像監視システムの人物の検索のためのユーザインタフェースを使い勝手のよいものにする用途に用いて好適な類似画像検索システム、および、類似画像検索方法に関する。
【背景技術】
【０００２】
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、あるいは映像を記録するものである。
【０００３】
映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。
【０００４】
このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。
【０００５】
機能面から人物検索機能は、以下の２種類に大別される。
１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Query）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。
２つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。記録画像中の人物特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。
【０００６】
両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
特許文献１には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献２には、ユーザの利便性をさらに高める類似画像検索システムが記載されている。この特許文献２では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断した後に、登場イベント検索を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２３１９６号公報
【特許文献２】特開２０１１−０９０４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２に示すようなキーワード付与機能は、類似画像検索を行う場合に非常に便利である。しかしながら、現状の類似人物検索におけるキーワード付与機能は、ユーザの入力負荷が大きいという問題がある。
即ち、ユーザは類似画像検索の結果に対し、検索結果から多数の正解画像を選択してキーワードの付与を行う必要がある。
また、登場イベント検索の結果に対してキーワードを付与したい場合には、キーワードを、その都度キーボードから入力する手間をかける必要がある。
さらに、当該システムの運用において、例えば名字と名前を合わせたフルネームをキーワードとして入力することと規定されていた場合には、ユーザはそのフルネームを完全に知っておく必要がある。つまり、以前に入力したことはあるが、姓を覚えているが名を忘れてしまった場合や、漢字やスペルを忘れてしまった場合に、別途調査して完全な情報を手に入れないと入力できない問題がある。
本発明は、上記のような問題に鑑み、キーワード付与機能の向上、検索の容易性の向上した類似画像検索システムの提供を目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明の類似画像検索システムは、撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有するものである。
【００１０】
上記本発明の類似画像検索システムにおいて、前記端末装置は、前記録画装置が検索した結果から、類似度が高い画像を自動的に選択状態にして表示することを特徴とする。
【００１１】
また上記の目的を達成するため、本発明の類似画像検索システムは、撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、前記端末装置は、前記録画装置が当該登場イベント検索手段を実行した結果を表示し、前記録画装置は、前記端末装置に表示された画像データの一覧から、ユーザによって選択された画像を検索キー画像として類似度が高い画像データを検索し、類似画像検索結果にキーワード付与済みの結果が含まれていれば、そのキーワードを付与候補として表示する、画像の類似度によらず画像データの一覧を提示する登場イベント検索する手段を有するものである。
【発明の効果】
【００１２】
本発明によれば、類似画像検索の結果から、多数の画像を選択して、一度にキーワードを付与することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の類似画像検索システムの一実施例のシステム構成図である。
【図２】本発明の類似画像検索システムに用いる撮像装置のハードウェア構成の一実施例を示す図である。
【図３】本発明の類似画像検索システムに用いる録画装置のハードウェア構成の一実施例を示す図である。
【図４】本発明の類似画像検索システムに用いる端末装置のハードウェア構成の一実施例を示す図である。
【図５Ａ】本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
【図５Ｂ】本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
【図５Ｃ】本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
【図６】本発明の類似画像検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図である。
【図７】本発明の類似画像検索システムにおいて、登場イベント検索結果からのキーワード付与における録画装置と端末装置の間の処理シーケンス図の一実施例を示すである。
【図８Ａ】本発明の類似画像検索システムにおいて、検索実行前の初期状態における検索画面の一実施例を示した図である。
【図８Ｂ】本発明の類似画像検索システムにおいて、類似人物検索実行直前状態における検索画面の一実施例を示した図である。
【図８Ｃ】本発明の類似画像検索システムにおいて、類似人物検索実行直後状態における検索画面の一実施例を示した図である。
【図８Ｄ】本発明の類似画像検索システムにおいて、キーワード付与実行直後状態における検索画面の一実施例を示した図である。
【図８Ｅ】本発明の類似画像検索システムにおいて、登場イベント検索実行直前状態における検索画面の一実施例を示した図である。
【図８Ｆ】本発明の類似画像検索システムにおいて、登場イベント検索実行直後状態における検索画面の一実施例を示した図である。
【図８Ｇ】本発明の類似画像検索システムにおいて、登場イベント検索後のユーザよる人物選択操作後の検索画面の一実施例を示した図である。
【図８Ｈ】本発明の類似画像検索システムにおいて、登場イベント検索後のキーワード付与実行直後状態における検索画面の一実施例を示した図である。
【発明を実施するための形態】
【００１４】
本発明の類似画像検索システムは、例えば、撮像装置、撮像装置から送信された画像データを記録する録画装置、および録画装置に記録された画像データから所望の画像を検索し、当該検索した画像を要求して表示する端末装置から構成される類似画像検索システムにおいて、録画装置は、当該録画装置の各部の制御および所定の機能を実現するための第１のプログラムを実行する第１のＣＰＵと、検索のための画像データおよび第１のＣＰＵで実行する前記第１のプログラムをロードして格納する第１の主記憶部と、撮像装置から受信した画像データおよび第１のプログラムを格納する第１の補助記憶部とからなる。
また端末装置は、例えば、当該端末装置の各部の制御および所定の機能を実現するための第２のプログラムを実行する第２のＣＰＵと、表示装置に表示するための画像データや第２のＣＰＵ２６１で実行する第２のプログラムをロードして格納するための第２の主記憶部と、検索キーワード、画像データ、および第２のプログラムを格納する第２の補助記憶部とからなる。
【００１５】
また例えば、第１のＣＰＵは、撮像装置から受信した画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う人物領域検出部、人物領域検出部で検出した領域に対して画像認識技術を用いて特徴量算出を行う人物特徴量抽出部、人物特徴量抽出部で算出した特徴量を主記憶部に記録する人物特徴量記録部、端末装置からの検索要求の受信を行う要求受信部、要求受信部にて受信した検索要求に応じて検索を行う検索部、検索部から得た検索結果を端末装置に送信する検索結果送信部、要求受信部が前記端末装置から受信したキーワード付与要求に基づきキーワードを主記憶部に記録するキーワード記録部、要求受信部が受信した検索要求データ中にキーワードが含まれていた場合には、補助記憶部に記録された画像データについてキーワードで検索を行うキーワード検索部を備える。
また例えば、第２のＣＰＵは、検索要求の録画装置への送信を行う検索要求送信部、検索結果画像および検索結果データを録画装置から受信する検索結果受信部、検索結果受信部にて受信した検索結果画像を画面表示する検索結果表示部、録画装置から入力された画像データを連続動画表示する再生画像表示部、ユーザによる操作内容の検知および取得を行う画面操作検知部、キーワード付与要求を前記録画装置に送信するキーワード付与要求送信部を備える。
【００１６】
さらに、本発明の類似画像検索システムの検索要求は、類似画像検索要求と登場イベント検索要求である。
【００１７】
以下、本発明に係る一実施形態を、図１〜図７および図８Ａ〜図８Ｈを用いて説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。
【００１８】
まず、図１〜図４を用いて、本発明の一実施形態に係る類似画像検索システムの構成について説明する。図１は、本発明の類似画像検索システムの一実施例のシステム構成図である。また図２は、撮像装置のハードウェア構成図である。また図３は、録画装置のハードウェア構成図である。また図４は、端末装置のハードウェア構成図である。
【００１９】
類似画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。
ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等の各装置を相互に接続して通信を行う通信手段である。
撮像装置２０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換処理された画像データを、ネットワーク２００を介して録画装置へ送信するネットワークカメラや監視カメラ等の装置である。
録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の類似画像検索システムを含む人物検索機能を搭載している。
【００２０】
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、検索部、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１の各処理部よりなる。検索部は、類似人物検索部２１８および登場イベント検索部２１９で構成される。
【００２１】
図１の録画装置１０２において、画像送受信部２１０は、装置外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（後述）も併せて記録する。
再生制御部２１２は、端末装置１０３への映像再生を制御する。
【００２２】
人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１２で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、あるいは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。
人物特徴量記録部２１５は、人物特徴量抽出部で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。
【００２３】
要求受信部２１７は、端末装置からの検索要求やキーワード付与要求の受信を行う。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２１８は、要求受信部にて受信した要求が類似人物検索要求であった場合に、類似画像の検索を行う。
登場イベント検索部２１９は、要求受信部にて受信した要求が登場イベント検索要求であった場合に、登場イベントの検索を行う。
検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置への送信を行う。
キーワード記録部１１０は、要求受信部にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部１１１は、要求受信部にて受信した検索要求データ中にキーワードが含まれていた場合に、キーワード検索を行う。
【００２４】
端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２の各処理部にて構成される。また、端末装置１０３には、本発明を実現するための人物検索機能も搭載している。
【００２５】
検索要求送信部２２１は、検索要求の録画装置への送信を行う。類似人物検索の場合、検索要求データには、検索キー画像が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置からの受信を行う。検索結果として受信するデータには、録画装置において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」と称する。
検索結果表示部２２３は、検索結果受信部にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部２２４は、録画装置から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知および取得を行う。
キーワード付与要求送信部１１２は、キーワード付与要求の録画装置への送信を行う。
【００２６】
図２によって、本発明の類似画像検索システムに用いる撮像装置２０１のハードウェア構成の一実施例を説明する。図２は、本発明の類似画像検索システムに用いる撮像装置のハードウェア構成の一実施例を示す図である。撮像装置２０１の構成は、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４４が、バス２４０で結合された形態である。
【００２７】
図２において、撮像部２４１は、レンズで撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Joint Photographic Experts Group）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４４は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。
【００２８】
図３によって、本発明の類似画像検索システムに用いる録画装置１０２のハードウェア構成の一実施例を説明する。図３は、本発明の類似画像検索システムに用いる録画装置のハードウェア構成の一実施例を示す図である。録画装置１０２のハードウェア構成としては、図３に示すように、ＣＰＵ（Central Processing Unit）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。
【００２９】
ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭなどの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。
【００３０】
図４によって、本発明の類似画像検索システムに用いる端末装置１０３のハードウェア構成の一実施例を説明する。図４は、本発明の類似画像検索システムに用いる端末装置のハードウェア構成の一実施例を示す図である。端末装置１０３のハードウェア構成としては、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続し、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続する。
【００３１】
図４において、ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信したり、録画装置１０２から画像データを受信するためのインタフェースである。表示装置２７０は、例えば、ＬＣＤ（Liquid Crystal Display）などの装置であり、画像や動画をその表示部に表示する装置である。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Graphical User Interface）操作することによって、端末装置１０３、および、類似画像検索システムを操作する。
【００３２】
次に、図５Ａと図５Ｂを用いて本発明の一実施形態に係る類似画像検索システムに用いられるデータ構造について説明する。図５Ａと図５Ｂは、本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図である。
本発明の類似画像検索システムに用いられるデータ構造の一実施例には、図５Ａに示すようなフレームテーブル３００と、図５Ｂに示すような属性情報データテーブル３１０がある。
【００３３】
フレームテーブル３００は、映像データを格納するためのテーブルである。フレームテーブル３００には、画像ＩＤ３０１が付され、付された画像ＩＤと関連付けられたフレームデータ３０２が記録される。フレームデータ３０２は、例えば、ＪＰＥＧ形式のデータなどで記録される。
【００３４】
属性情報データテーブル３１０は、画像データを解析した結果の画像についての属性情報データを格納するためのテーブルである。属性情報データテーブル３１０には、登録ＩＤ３１１が識別のために付与され、付与された登録ＩＤ３１１と関連付けられて、画像ＩＤ３１２、特徴量３１３、カメラＩＤ３１４、時刻情報３１５、およびキーワード３１６が記録される。
例えば、付与された登録ＩＤ３１１と関連付けられて、フレームテーブル３００に格納されたフレームの一部が、画像ＩＤ３１２により指定される。また、その画像の特徴量は、特徴量３１３に、撮像した撮像装置２０１のＩＤは、カメラＩＤ３１４に、フレームの撮像時刻に関する情報は、時刻情報３１５に、フレームに付与されたキーワードは、キーワード３１６にと、各々のフィールドに格納される。
【００３５】
なお、例えば、録画のフレームレートが、３０ｆｐｓ（Frames Per Second）のときに、画像の解析を行うのは、その内で、人がいると認識した部分あり、最大３ｆｐｓ程度のフレームレートで画像を捉えて解析を行うのが一般的である。
【００３６】
次に図６、図８Ａ、図８Ｂ、図８Ｃ、および図８Ｄを用いて、本発明の類似画像検索における類似度が高い検索結果画像を自動的に選択状態にして提示する選択方式について説明する。図６は、本発明の類似画像検索システムの一実施例の類似画像検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図である。また、図８Ａ〜図８Ｄは、本発明の類似画像検索において、端末装置１０３の表示装置２７０に表示される類似画像検索を行っているときの各フェーズの画面を示す図である。
【００３７】
図６において、軸５０１は、録画装置１０２の上部から下部へ進む時系列を表し、軸５０２は、端末装置１０３の上部から下部へ進む時系列を表している。また、タイミング５０３〜５０６は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置１０３上に表示される画面の一実施例や、ユーザ操作内容の一例については後述する。
【００３８】
図６において、通信５１０〜５１２は、録画装置１０２と端末装置１０３間の主な通信を示している。
通信５１０と通信５１１は、リクエストとレスポンスの関係にあり、通信５１０は、類似人物検索要求を含み、通信５１１は、類似人物検索結果を含む。この２つの通信により、１回の類似人物検索が実行されることになる。
通信５１２は、画像に対するキーワード付与要求を含む。
ここで、通信５１１に含まれる類似人物検索結果には、画像ＩＤ３０１等の属性情報データテーブル３１０の静的な情報だけでなく、録画装置１０２における検索処理時に算出された検索キー画像に対する類似度を含むようにする。
本実施例では類似度は０〜１００までの範囲の数値とし、１００に近いほど検索キー画像に似た画像であることを表すものとする。
【００３９】
次に、図８Ａ〜図８Ｄを用いて、本発明の類似画像検索システムの端末装置１０３におけるユーザの操作イメージについて説明する。
【００４０】
図８Ａは、検索実行前の初期状態、すなわち、図６のタイミング５０３における端末装置１０３の表示部に表示される検索画面８０１の一実施例である。ユーザは、この検索画面８０１から検索を開始する。
図８Ａの検索画面８０１は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域４０１７、および、検索結果表示領域４０２０よりなる。
【００４１】
図８Ａの検索画面８０１において、再生画像表示領域３００１は、録画装置１０２に記録された画像を動画像として表示する領域である。また再生画像表示領域３００１の動画３００２は、録画装置に記録された画像を動画像として表示するものである。
画像再生操作領域３００３は、録画装置に記録された画像を再生操作する領域である。
本領域３００３を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。図８Ａにおける各ボタンには、例えば左から、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。ユーザが各ボタンをマウス２８２で適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。
【００４２】
検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７よりなる。
検索キー画像３００５は、類似検索のためのキーとする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。
【００４３】
映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
ファイル指定ボタン３００７は、録画装置１０２に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタン３００７を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。
【００４４】
検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。この領域３００８は、撮像装置（カメラ）指定チェックボックス３００９、３０１０、３０１１、３０１２と、時刻指定チェックボックス３０１３、３０１４、時刻指定欄３０１５、３０１６から構成される。
【００４５】
撮像装置指定チェックボックス３００９、３０１０、３０１１、３０１２は、検索の際に検索対象とする撮像装置（カメラ１〜４）を指定するボタンである。本ボタンは、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示と非表示を繰り返す。
初期状態においては、全撮像装置を検索対象とするため、撮像装置指定チェックボックスは全て選択状態となる。
【００４６】
時刻指定チェックボックス３０１３、３０１４は、検索の際に検索対象とする時刻範囲を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、即ち、録画装置に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。
同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄３０１５、３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックスは全て非選択状態、時刻指定欄は空欄とする。
【００４７】
検索実行領域４０１７は、検索実行を指示する領域である。本領域は、類似人物検索ボタン３０１８と登場イベント検索ボタン３０１９に加え、キーワード指定チェックボックス４０２１とキーワード指定欄４０２２、キーワード付与ボタン４０２３よりなる。
類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
登場イベント検索ボタン３０１９は、登場イベント検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
キーワード指定チェックボックス４０２１は、キーワード指定欄４０２２の有効または無効を指定するボタンである。表示の態様については本ボタンも撮像装置指定チェックボックスと同様である。
キーワード指定欄４０２２は、キーワードの値を指定する入力欄である。
キーワード付与ボタン４０２３は、キーワード指定欄４０２２に入力されたキーワードの付与実行を指示するボタンである。
初期状態においては、キーワード指定チェックボックス４０２１は、非選択状態、キーワード指定欄４０２２は、空欄とする。
キーワードの働きや、類似人物検索ボタン３０１８や登場イベント検索ボタン３０１９とキーワードとの関係については、後述する。
【００４８】
検索結果表示領域４０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域４０２０には何も表示されない。
ここで、ユーザは、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９、３０１０、３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５、３０１６にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
この操作により、検索画面は、類似人物検索実行直前状態、すなわち、図６のタイミング５０４の端末装置１０３の状態に遷移する。図８Ｂは、この状態における検索画面８０２の一実施例を示したものである。
【００４９】
図８Ｂの検索画面８０２において、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」が検索キー画像として表示され、また、検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の３つの撮像装置が指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。
ここで、ユーザが、類似人物検索ボタン３０１８を押下する。この押下によって、タイミング５０４から、検索画面は、類似人物検索実行直後状態、即ち、図６のタイミング５０５の端末装置１０３の状態に遷移する。図８Ｃは、この状態における検索画面８０３の一実施例を示したものである。
【００５０】
図８Ｃの検索画面８０３において、検索結果表示領域４０２０には、検索キー画像３００５をキーとして類似人物検索を実行し得られた検索結果を表示している。検索結果の表示は、検索結果画像３０３１〜３１４１を検索結果表示領域４０２０に一覧表示することにより実施する。
検索結果画像３０３１〜３１４１は、例えば、最上段左から右へ、次に２段目左から右へと検索キー画像に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。
ここで検索結果表示領域４０２０に表示されているのは、「カメラ１、カメラ２、カメラ４の2009/6/26 15:30:20から2009/7/13 12:30:20までの画像で、Ａさんと類似した画像」を検索要求した検索結果である。
【００５１】
図８Ｃに示された表記において、検索結果表示領域４０２０内の検索結果画像上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものである。
例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２と検索キー画像指定ボタン３０３３、キーワード対象チェックボックス４０３４を備える。他の検索結果画像でも同様である。
頭出し再生ボタン３０３２は、検索結果画像を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替り、その検索結果画像を先頭として始まる動画をユーザは、視聴することができる。
【００５２】
検索キー画像指定ボタン３０３３は、検索結果画像３０３１を検索キー画像３００５として指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が、検索キー画像３００５に表示される。これにより、指定された検索結果画像３００５を使って、画像の再検索を実施することができる。
類似度表示欄８０３５は、検索キー画像に対する類似度を表示する領域である。検索結果画像３０３１の類似度表示欄８０３５には、例えば、９０という値が表示されており、他の検索結果の類似度表示欄にもそれぞれ数値が表示されている。
キーワード付与チェックボックス４０３４は、キーワード付与の対象となる検索結果画像を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。例えば、ユーザが、キーワード付与チェックボックス４０３４を押下すると、チェックマークが表示され、検索結果画像３０３１が、キーワード付与対象となる。
【００５３】
この図８Ｃに示された実施例は、「Ａさん」を目的に類似人物検索を実行した際の検索結果である。したがって、検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１が正解で、検索結果画像３０７１、３１０１、３１１１、３１３１が不正解であるということを示している。
ここで、類似度表示欄８０３５の数値が一定以上、図８Ｃにおいては７５以上の検索結果画像３０３１、３０４１、３０５１、３０６１、３０７１、３０８１、３０９１のキーワード付与チェックボックスが既選択状態になっている。
【００５４】
類似人物検索実行直後（タイミング５０５）の状態において、キーワード対象チェックボックス４０３４を、本発明のように類似度によって選択状態か否かを切り替える処理を設けることによって、全て非選択状態にする方法や全て選択状態にする従来の方法と比較し、少ない選択操作数で正解画像を選択できる。
例えば、正解である検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１を全て選択する場合、類似人物検索実行直後状態に全て非選択状態にする方法では、８回の選択操作が必要であり、類似人物検索実行直後状態に全て選択状態にする方法では４回の選択を外す操作が必要である。一方、本発明の方法では１回の選択を外す操作と２回の選択する操作の計３回の操作で良い。
【００５５】
また、ユーザがキーワード指定チェックボックス４０２１を押下し、キーワード指定欄４０２２に「Ａさん」と入力し、さらにキーワード付与ボタン４０２３を押下する。ユーザのこの操作によって、検索画面８０３は、キーワード付与実行直後のキーワード指定欄４０２２に「Ａさん」入力状態となる。即ち、図６のタイミング５０６の端末状態１０３に遷移する。図８Ｄは、タイミング５０６における検索画面８０４の一例を示したものである。
【００５６】
次に図７、図８Ａ、図８Ｄ、図８Ｆ、図８Ｇ、図８Ｈ、および図５Ｃを用いて、本発明の登場イベント検索における類似度を用いたキーワードの付与候補を提示する方式について説明する。図７は、本発明の類似画像検索システムにおいて、登場イベント検索結果からのキーワード付与における録画装置と端末装置の間の処理シーケンス図の一実施例を示すである。また図５Ｃは、本発明の類似画像検索システムに用いられるデータ構造の一実施例を示す図であり、類似画像検索の検索結果に含まれるデータ３２０を示すものである。
【００５７】
図７を用いて、本発明の登場イベント検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の登場イベント検索の処理シーケンスを説明する。図７は、本発明の類似画像検索システムにおいて、登場イベント検索結果からのキーワード付与における録画装置１０２と端末装置１０３の間の処理シーケンス図である。
ここで、図６と同様に、図７の軸５０１と軸５０２は、録画装置１０２、端末装置１０３の上部から下部へ進む時系列を表している。また、タイミング７０３〜７０７は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置１０３の表示部上に表示される画面の一例や、ユーザ操作内容の一例については後述する。
【００５８】
図７において、通信７１１〜７１８は、録画装置１０２と端末装置１０３間の主な通信を示している。
通信７１１と通信７１２は、リクエストとレスポンスの関係にあり、通信７１１には登場イベント検索要求を、通信７１２には登場イベント検索結果を含み、この２つの通信により、１回の登場イベント検索要求が実行されることになる。さらに通信７１３は類似人物検索要求を、通信７１４は類似人物検索結果を含む。通信７１６、７１７についても同様である。通信７１５には、画像に対するキーワード付与要求を含む。通信７１８についても同様である。
【００５９】
次に、図８Ｅ、図８Ｄ、図８Ｆ、図８Ｇ、および図８Ｈを用いて本発明の類似画像検索システムの端末装置１０３におけるユーザの操作イメージについて説明する。
図８Ａ、図８Ｅ、図８Ｆ、図８Ｇ、図８Ｈは、本発明の類似画像検索において、端末装置１０３の表示装置２７０に表示される登場イベント検索を行っているときの各フェーズの画面を示す図である。
【００６０】
図８Ａは、前述したように、検索実行前の初期状態（検索画面８０１）である。ここでは、図７のタイミング７０３における端末装置１０３での検索画面の一実施例である。
ここで、ユーザは、撮像装置指定チェックボックス３００９、３０１０、および３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５、３０１６にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
このユーザ操作により、検索画面は、登場イベント検索実行直前状態、即ち、図７のタイミング７０４の端末装置１０３の状態に遷移する。図８Ｅは、この状態における検索画面８０５の一実施例を示したものである。
【００６１】
検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の３つが指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。
図８Ｂの検索画面８０２と比較すると、図８Ｅの検索画面８０５では、検索キー画像３００５が指定されていない。
ここで、ユーザが、登場イベント検索ボタン３０１９を押下する。すると、検索画面８０５は、登場イベント検索実行直後状態、すなわち、図７のタイミング７０５の端末装置１０３の状態に遷移する。図８Ｆは、この状態における検索画面８０６の一例を示したものである。
【００６２】
ここで、図８Ｆ等における８０３６は、人物矩形表示であり、人物を矩形で囲ったものである。人物矩形表示８０３６の選択は、マウスでクリックするなどのユーザ操作によって可能である。選択状態の人物顔矩形表示８０３６を再度選択すると、非選択状態にできる。選択状態と非選択状態は矩形枠の太さを変えて提示する場合や、色を変えて提示する場合がある。
登場イベント検索では、検索結果画像３０８１のように１つの画像に２つ以上の選択すべき人物が現れる場合がある。このため、図８Ｃのキーワード対象チェックボックス４０３４ではなく、人物矩形表示８０３６のような選択可能な表示を設ける。
なお、他の項目に関しては図８Ｃと同じであるので説明を省略する。
【００６３】
ここで、ユーザが、検索結果画像のうちの１つである検索結果画像３０３１にキーワードを付与したいと考えていて、キーワードを与える操作を、過去にユーザあるいは他のユーザが行っている場合を想定する。
このとき、ユーザは、検索結果画像３０３１の人物矩形表示８０３６をマウスでクリックして選択操作を行う。その結果、検索画面は、人物選択済み状態、即ち、図７のタイミング７０６の端末装置１０３の状態に遷移する。
このとき、端末装置１０３内部ではＡさんの人物画像をキー画像にして類似人物検索要求を行っている。
【００６４】
ここで、前術の実施例で、図８Ａから図８Ｂ、および図８Ｂから図８Ｃに遷移したときと比較すると、検索キー画像３００５は指定されておらず、検索結果表示領域４０２０も更新されず、バックグランドで類似人物検索要求処理が行われることに注意されたい。
本実施例では、類似人物検索結果に属性情報と検索キー画像に対する類似度が格納されている。即ち、ここではＡさんに類似した画像のキーワードと類似度が取得できる。
図５（ｃ）に示すデータ３２０は、類似画像検索の検索結果に含まれるデータであり、検索結果の返送データのうち本発明に必須の部分である。
類似画像検索の検索結果に含まれるデータ３０２は、ここでは、キーワード「Ａさん」「Ｂさん」「Ｃさん」が付与されているものおよび空欄すなわちキーワード未付与のものが検索結果として返送されていることを表す。
【００６５】
図７のタイミング７０６の端末装置１０３の状態では、図８Ｇの検索画面８０７が表示される。図８Ｇは、登場イベント検索後のユーザよる人物選択操作後の検索画面の一実施例を示したものである。
ここで、人物矩形表示８０３６は、選択済み状態を表す太枠表示になっている。
また、キーワード指定欄４０２２がキーワード指定およびキーワード候補選択欄８１００になっている。
キーワード指定およびキーワード候補選択欄８１００は、キーワードを入力することが可能であり、候補表示されている中から選択することも可能である。
【００６６】
端末装置１０３は、検索結果データのうち同一キーワードで最も類似度が高いものを選んで、キーワード候補表示欄である８１００に表示する。
ユーザは、これを見て、キーワード候補表示欄８１００の「Ａさん」が目的の「Ａさん」であることを確認し、マウスを使ってクリックなどで選択する。すると、図７のタイミング７０７の端末装置１０３の状態に遷移する。図７のタイミング７０７の端末装置１０３の状態では図８Ｈの検索画像８０８が表示される。
図８Ｈの８０３７はキーワード表示欄である。キーワード表示欄８０３７には付与済みのキーワードが表示される。
【００６７】
ユーザは、以後も、検索結果画像の中から１つあるいは複数同時に選択して、キーワード付与操作を行うことができる。１回の登場イベント検索におけるユーザのキーワード付与操作が全て終われば、ユーザは条件を変えて再度登場イベント検索を行うこともできる。
このようにすることで、ユーザが「Ａさん」の名前の正確な漢字やスペルを知らなくても、他のユーザが正確な漢字やスペルを入力済みであれば、誤りなく入力できる。また、ユーザが、毎回キーボードで「Ａさん」の名前を入力しなくても、マウスでクリックするだけで、キーワードを付与する作業を行うことができる。
【００６８】
ここまでに示したように、本実施形態に示した類似画像検索システムより、ユーザは類似画像検索の結果に対し、より少ない結果画像の選択回数でキーワードの付与を行うことを可能にした。また、ユーザが登場イベント検索においてキーワードを付与する場合に毎回キーボードによる正確なキーワードの入力を行う必要のないキーワード付与を可能にした。
【００６９】
また、ここまでの説明においては、撮像装置、録画装置、および端末装置は、各１台に限られず、図１に示したように、撮像装置や端末装置が複数台接続されていてもよい。また、図１では、録画装置は、１台のみであったが、録画装置が複数台接続されていてもよい。
【００７０】
本実施形態においては、図７に示すように、登場イベント検索後の検索結果選択後に類似人物検索要求を行った。しかし、登場イベント検索要求７１１時に録画装置１０２内部において類似人物検索要求されたのと同等の処理を行い、あらかじめ各々の検索結果画像に対する類似度によるキーワード付与候補を含めたものを登場イベント検索結果７１２として、検索結果選択時に都度行う類似人物検索要求を省略するような実施形態でもよい。
【００７１】
また、本実施形態においては、図８Ｇに示すように、キーワード候補表示欄である８１００にキーワードと類似度を表示したが、件数を含めてもよい。図５（ｃ）の類似画像検索の検索結果に含まれるデータ３０２においては「Ａさん」が３件、「Ｂさん」および「Ｃさん」がそれぞれ１件という結果となり、これをキーワード候補表示欄である８１００に表示することでユーザの判断の参考情報を増やすような実施形態でもよい。
【００７２】
また、本実施形態においては、類似度を図５（ｃ）に示すように、キーワード未付与の検索結果も通信したが、キーワード未付与のものを通信から除くような実施形態でもよい。
また、本実施形態においては、人物検索に関わる人物検出処理や人物特徴量抽出処理等を録画装置上で実施する構成で説明したが、ネットワークで接続された録画装置とは別個の装置にて実施するようにしてもよい。
また、本実施形態においては、キーワードが文字列であるように示したが、特定の番号や記号列にて実施するようにしてもよい。
さらに、本実施形態においては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用することができる。
【符号の説明】
【００７３】
１０２：録画装置、 １０３：端末装置、 １１０：キーワード記録部、 １１１：キーワード検索部、 １１２：キーワード付与要求送信部、 ２００：ネットワーク、 ２０１：撮像装置、 ２０２：録画装置、 ２０３：端末装置、 ２１０：画像送受信部、 ２１１：画像記録部、 ２１２：再生制御部、 ２１３：人物領域検出部、 ２１４：人物特徴量抽出部、 ２１５：人物特徴量記録部、 ２１６：属性情報記録部、 ２１７：要求受信部、 ２１８：類似人物検索部、 ２１９：登場イベント検索部、 ２２０：検索結果送信部、 ２２１：検索要求送信部、 ２２２：検索結果受信部、 ２２３：検索結果表示部、 ２２４：再生画像表示部、 ２２５：画面操作検知部、 ２４０：バス、 ２４１：撮像部、 ２４２：主記憶部、 ２４３：符号化部、 ２４４：ネットワークＩ／Ｆ、 ２５０：バス、 ２５１：ＣＰＵ、 ２５２：主記憶部、 ２５３：補助記憶部、 ２５４：ネットワークＩ／Ｆ、 ２６０：バス、 ２６１：ＣＰＵ、 ２６２：主記憶部、 ２６３：補助記憶部、 ２６４：表示Ｉ／Ｆ、 ２６５：入出力Ｉ／Ｆ、 ２６６：ネットワークＩ／Ｆ、 ２７０：表示装置、 ２８０：キーボード、 ２８２：マウス、 ３００：フレームテーブル、 ３０１：画像ＩＤ、 ３０２：フレームデータ、 ３１０：属性情報データテーブル、 ３１１：登録ＩＤ、 ３１２：画像ＩＤ、 ３１３：特徴量、 ３１４：カメラＩＤ、 ３１５：時刻情報、 ３１６：キーワード、 ３２０：類似画像検索の検索結果に含まれるデータ、 ８０１、８０２、８０３、８０４、８０５、８０６、８０７、８０８：検索画面、 ３００１：再生画像表示領域、 ３００２：動画、 ３００３：画像再生操作領域、 ３００４：検索キー画像指定領域、 ３００５：検索キー画像、 ３００６：映像指定ボタン、 ３００７：ファイル指定ボタン、 ３００８：検索絞込パラメータ指定領域、 ３００９〜３０１２：撮像装置指定チェックボックス、 ３０１３〜３０１４：時刻指定チェックボックス、 ３０１５〜３０１６：時刻指定欄、 ３０１７：検索実行領域、 ３０１８：類似人物検索ボタン、 ３０１９：登場イベント検索ボタン、 ３０２０：検索結果表示領域、 ３０３１、３０４１、３０５１、３０６１、３０７１、３０８１、３０９１、３１０１、３１１１、３１２１、３１３１、３１４１：検索結果画像、 ３０３２：頭出し再生ボタン、 ３０３３：検索キー画像指定ボタン、 ４０１７：検索実行領域、 ４０２０：検索結果表示領域、 ４０２１：キーワード指定チェックボックス、 ４０２２：キーワード指定欄、 ４０２３：キーワード付与ボタン、 ４０３４：キーワード付与チェックボックス、 ８０３５：類似度表示欄、 ８０３６：人物矩形表示、 ８０３７：キーワード表示欄、 ８１００：キーワード指定およびキーワード候補選択欄。
【特許請求の範囲】
【請求項１】
撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、
前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有することを特徴とする類似画像検索システム。
【請求項２】
撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、
前記端末装置は、前記録画装置が当該登場イベント検索手段を実行した結果を表示し、
前記録画装置は、前記端末装置に表示された画像データの一覧から、ユーザによって選択された画像を検索キー画像として類似度が高い画像データを検索し、類似画像検索結果にキーワード付与済みの結果が含まれていれば、そのキーワードを付与候補として表示する、画像の類似度によらず画像データの一覧を提示する登場イベント検索する手段を有することを特徴とする類似画像検索システム。
【請求項１】
撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、
前記録画装置は、前記画像データの特徴量を抽出して、画像の類似度を評価し、検索キー画像を指定して、指定された当該検索キー画像に対して類似度が高い画像データを検索し、各々の画像データにキーワードを付与する手段と、前記キーワードの付与候補を動的に提示する手段を有することを特徴とする類似画像検索システム。
【請求項２】
撮像装置、前記撮像装置から入力された画像データを記録媒体に記録する録画装置、および端末装置から構成される類似画像検索システムにおいて、
前記端末装置は、前記録画装置が当該登場イベント検索手段を実行した結果を表示し、
前記録画装置は、前記端末装置に表示された画像データの一覧から、ユーザによって選択された画像を検索キー画像として類似度が高い画像データを検索し、類似画像検索結果にキーワード付与済みの結果が含まれていれば、そのキーワードを付与候補として表示する、画像の類似度によらず画像データの一覧を提示する登場イベント検索する手段を有することを特徴とする類似画像検索システム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図８Ｆ】
【図８Ｇ】
【図８Ｈ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図８Ｆ】
【図８Ｇ】
【図８Ｈ】
【公開番号】特開２０１２−２４２８７８（Ｐ２０１２−２４２８７８Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０９０７１（Ｐ２０１１−１０９０７１）
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]