映像検索システム、映像検索方法及びプログラム
【課題】映像記録装置と映像検索装置とで構成される映像検索システムにおいて、これまでの検索履歴等に基づいて、生成したメタデータから必要なデータ項目だけを抽出してフォーマットを変更し、変更後のメタデータに対して映像検索を行うことで検索時間を短縮する。
【解決手段】映像記録装置は、生成したメタデータから任意のデータ項目を抽出し、メタデータのフォーマットを自在に変更可能なメタデータ構造変更手段２１４を有し、メタデータ送信手段２０９は、フォーマットを変更したメタデータを映像検索装置へ送信する。
【解決手段】映像記録装置は、生成したメタデータから任意のデータ項目を抽出し、メタデータのフォーマットを自在に変更可能なメタデータ構造変更手段２１４を有し、メタデータ送信手段２０９は、フォーマットを変更したメタデータを映像検索装置へ送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラから取得した映像を映像記録装置に記録し、記録した映像データの検索を映像検索装置で行う映像検索システム、映像検索方法及びプログラムに関する。
【背景技術】
【０００２】
任意の場所に設置された監視カメラが撮影する映像をリアルタイムでモニター再生して監視を行う映像監視システムでは、一般的に、撮影した映像がハードディスクレコーダ等の映像記録装置に録画される。これは、検証などの目的で過去の監視映像を再生する事態に備えるためであり、そのような場合には映像の録画中であっても、所望の映像が迅速に検索、再生されることが好ましい。
【０００３】
従来、記録された画像データを効率良く的確に検索するための映像検索システムが各種提案されており、その中には、画像データから所定の特徴量セットを抽出する特徴抽出部と、特徴量セットから特徴記述子を生成する特徴記述子生成部と、画像データと特徴記述子とを対応づけて蓄積する画像情報蓄積部と、画像データに付随する属性情報から属性リストを生成する属性リスト生成部と、属性リストを蓄積する属性リスト蓄積部と、検索対象の画像データのカテゴリやキー画像から検索したい画像を選択するユーザインターフェース部と、インターフェース部で指示された検索条件に基づき検索処理を行う検索処理部と、検索されたキー画像および検索画像を表示する表示部と、で構成された画像検索システムなどがある（例えば、特許文献１参照）。
【０００４】
上記構成の画像検索システムによれば、属性リストを参照して属性情報に基づく検索を行った後に、特徴記述子に基づく検索が行われるため、画像検索処理を効率良く行うことができる。
【０００５】
更に、映像の録画時に映像データと関連付けてメタデータを記録するデータベースに加え、映像を検索するために参照するメタデータのデータベースを別途設け、映像の録画処理と記録した映像の検索処理を独立して行うことにより、検索処理の迅速化と検索効率の向上を図れる映像検索システムも提案されている。これは、映像の録画時に属性データを記録するためにアクセスするデータベースと、録画した映像の検索を行うためにアクセスするデータベースが同じであると、特に、システムにおける処理負荷が高い場合に検索速度が低下してしまうという課題を解決したものである。
【０００６】
上記構成の映像検索システムによれば、例えば、監視映像の録画とモニター再生が同時に実行されている場合など、システムが高負荷の状態でも、映像データのデータ落ちを防ぐために優先される録画処理により検索速度が低下するという事態が生じることはない。
【特許文献１】特開２００１−１６７０９５号公報（第５−７頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような映像検索システムでは、検索時に参照するメタデータにより多くの種類の情報を保持させておけば、多様な検索条件が設定でき、ターゲットを絞り込んだ映像検索が行える。
【０００８】
しかしながら、上記従来の映像検索システムでは、メタデータにより詳細な情報を付与すればするほどメタデータのデータ量が増加し、１つのメタデータの参照に要する時間が長くなり、結果として検索時間が長くなるという課題があった。総録画時間が増加したり、接続する監視カメラの台数が増加したりして、映像記録装置に蓄積される映像データが増加すると、メタデータもそれに比例して増加するので、上記の現象は更に顕著となる。
【０００９】
一方、映像検索システムの使用者（監視者）が監視中に映像データの検索を行う場合、検索条件として指定する項目の数は、一般的に、メタデータとして記録されている項目数と比較して極めて少ない。これは、実際に検索が必要となる状況（例えば、不審者が侵入して過去の映像を確認したい場合など）では、緊急を要する場合が多く、多数の検索条件を入力する時間的な余裕がないという理由や、検索に関わる監視者の記憶は曖昧である場合が多く、正確に指定できる検索条件が少ないという理由によるものである。
【００１０】
検索の実情に即した上記課題の解決策としては、必要最低限の情報だけを含むデータ量の少ないメタデータを生成し、このメタデータを参照して映像データの検索を行うようにすれば、１つのメタデータの参照に要する時間を短縮でき、迅速な映像検索が行えると期待される。
【００１１】
本発明は従来の課題を解決するためになされたもので、検索時間を短縮できる映像検索システム、映像検索方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の映像検索システムは、映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および映像検索装置への送信を行うメタデータ送信手段と、前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信手段とを含む映像記録装置と、通信ネットワークを介して前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積手段と、指定された映像検索条件に基づいて前記メタデータ蓄積手段を参照してメタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記映像記録装置へ送信する映像検索手段と、前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信手段とを含む映像検索装置とを備え、前記映像記録装置は、生成した前記メタデータから任意のデータ項目を抽出し、メタデータのフォーマットを変更可能なメタデータ構造変更手段を備え、前記メタデータ送信手段は、フォーマットを変更したメタデータを前記映像検索装置へ送信する。この構成によれば、必要なデータ項目だけを抽出してフォーマットを変更したメタデータが映像検索装置に対して送信され、映像検索装置ではこのメタデータを参照して検索が行われるので、映像検索時間を短縮することができる。
【００１３】
本発明において、前記映像検索装置は、前記メタデータ構造変更手段に対してメタデータの構造変更を指示するメタデータ構造変更指示手段を有する。この構成によれば、変更するフォーマットの指定、即ち、映像記録装置のメタデータ構造変更手段が抽出するメタデータのデータ項目の選択を、映像検索装置側で行うことができる。
【００１４】
本発明において、前記メタデータ構造変更指示手段は、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更手段が抽出するデータ項目を指定する。この構成によれば、変更するフォーマットを監視者が指定することができる。
【００１５】
本発明において、前記メタデータ構造変更指示手段は、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更手段が抽出するデータ項目を指定する。この構成によれば、変更するフォーマットを検索履歴に基づいて自動的に指定することができる。
【発明の効果】
【００１６】
本発明によれば、映像の録画と記録した映像の検索を行う映像検索システムにおいて、生成したメタデータを、これまでの検索履歴等に基づいて必要なデータ項目だけを抽出したメタデータに変更し、変更後のメタデータに対して映像検索を行うので、検索時間を短縮できる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照しながら本発明の実施形態に係る映像検索システムについて詳細に説明する。尚、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付与し、説明は繰り返さないこととする。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態における映像検索システムのシステム構成を示す図である。映像検索システム１００は、主に、映像記録装置１０１、映像検索装置１０２、映像記録装置１０１と映像検索装置１０２とを接続する通信ネットワーク１０３、で構成される。尚、図では３台の映像記録装置（１０１ａ〜１０１ｃ）で構成されるシステムの例を示している。
【００１９】
映像記録装置１０１は、監視カメラから取得した映像データやその映像データのメタデータを記録し再生する。また、映像データの記録と同時に、映像データのメタデータを映像検索装置１０２へ送信する。映像記録装置１０１は、ハードウェアのみで構成される監視カメラであってもよいし、ソフトウェアプログラムの実行環境、映像データ送信手段などを有する携帯電話やＰＤＡ（Personal Digital Assistant）等の端末であってもよい。
【００２０】
映像検索装置１０２は、映像記録装置１０１から送信される映像データのメタデータを蓄積するとともに、ユーザからの映像検索条件を取得すると、蓄積された映像データのメタデータを参照して映像データを検索し、映像検索条件に適合する映像データの配信を映像記録装置１０１へ要求する。映像検索装置１０２は、ハードウェアのみで構成される装置であってもよいし、ソフトウェアプログラムの実行環境でもよい。
【００２１】
通信ネットワーク１０３は、少なくとも１台以上の映像記録装置１０１と映像検索装置１０２を接続するネットワークであり、映像記録装置１０１と映像検索装置１０２との間で相互通信可能であれば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、無線ネットワーク、またはそれらを複合したネットワーク等、任意のネットワークを用いて構わない。
【００２２】
次に、映像検索システムを構成する映像記録装置及び映像検索装置の機能について説明する。
【００２３】
映像記録装置１０１は、監視カメラから取得した映像データのリアルタイム記録処理を行うとともに、映像データから画像特徴量を抽出し、抽出した画像特徴量と映像データに付随する各種映像データ属性情報に基づいて映像メタデータを生成し、生成した映像メタデータを記録すると同時に映像検索装置１０２へ送信する。その際、必要に応じて映像メタデータのフォーマットを変更する。尚、映像記録装置１０１に記録される映像データは、ＪＰＥＧなどのフレーム内圧縮もしくはＭＰＥＧなどのフレーム間圧縮などの任意の符号化方式によって符号化される。また、映像記録装置１０１は、映像検索装置１０２からの映像データ取得要求を受信すると、取得要求された映像データを映像検索装置１０２へ送信する。
【００２４】
映像検索装置１０２は、映像記録装置１０１から送信される映像メタデータを受信し、受信した映像メタデータを記録する。この映像メタデータは、映像記録装置１０１でフォーマットの変更が行われた場合には変更後のフォーマットのメタデータとなる。尚、フォーマットの変更は映像検索装置１０２から指示することができる。また、映像検索装置１０２は、ユーザからの映像検索条件を取得すると、蓄積されている映像データのメタデータを参照して検索条件に適合する映像データを検索し、検索条件に適合する映像データが存在する場合には、当該映像データの送信を映像記録装置１０１へ要求する。送信要求した映像データが映像記録装置１０１に存在する場合には、映像記録装置１０１から送信されてくる映像データを受信し、受信した映像データのリアルタイム再生処理を行う。
【００２５】
ここで、メタデータについて説明する。「メタデータ」とは、一般にデータのデータを意味し、ここでは、画像データに付随する各種属性情報や画像特徴量を記述したデータを指す。尚、「メタデータ」は「映像データ」とは分離独立したデータである。本実施の形態においては、ＸＭＬ（eXtensible Marking Language）に類するデータ記述言語やＭＰＥＧ７のようなマルチメディア記述仕様に従って、映像データのファイル名（識別子）、画像サイズ、録画開始時刻、録画終了時刻などをメタデータとして記述する。
【００２６】
尚、以降は映像データのメタデータを「映像メタデータ」と称する。また、映像データがメタデータを有するのと同様に、複数の映像データからなる映像ファイルもメタデータを有するので、映像ファイルのメタデータを「映像ファイルメタデータ」と称する。
【００２７】
図２は、本発明の実施の形態における映像検索システムの、映像記録装置の内部構成を示す図である。映像記録装置１０１は、監視場所を撮像する監視カメラ２０１と、監視カメラ２０１において撮像した映像データを画像メモリに保持する映像データ入力手段２０２と、映像データ入力手段２０２から取得した映像データを符号化するとともに符号化処理時の各種映像データ属性情報を出力する映像データ符号化手段２０３と、映像データ入力手段２０２に保持されている映像データに対して任意の画像特徴量抽出処理を行い、画像特徴量を抽出する特徴量抽出手段２０４と、特徴量抽出手段２０４において抽出された画像特徴量や映像データ符号化手段２０３において出力された符号化処理時の各種映像データ属性情報をメタデータに整形するメタデータ生成手段２０５と、映像データおよびメタデータの記録処理や検索処理、および、ファイル管理処理を行うデータ管理手段２０６と、映像データ符号化手段２０３において符号化した映像データとその映像データに付随する映像データ属性情報とを対応づけて記録する画像情報蓄積手段２０７と、メタデータ生成手段２０５で生成されたメタデータを蓄積するメタデータ蓄積手段２０８と、メタデータ生成手段２０５において生成されたメタデータを映像検索装置１０２へ送信するメタデータ送信手段２０９と、映像検索装置１０２からの映像送信要求を受信し、送信要求された映像データの取得をデータ管理手段２０６へ指示する映像データ取得手段２１０と、映像データを映像検索装置１０２へ送信する映像データ送信手段２１１と、映像検索装置１０２との間の通信制御を行う通信制御手段２１２と、メタデータ送信手段２０９や映像データ送信手段２１１が出力するパケットデータや、通信制御用パケットデータをネットワークへ送出する通信手段２１３と、映像検索装置１０２からの指示を受けて、メタデータ生成手段２０５で生成したメタデータのフォーマットを変更するメタデータ構造変更手段２１４と、で構成される。
【００２８】
図３は、本発明の実施の形態における映像検索システムの、映像検索装置の内部構成を示す図である。映像検索装置１０２は、映像記録装置１０１との相互通信を行い、映像記録装置１０１が送信してくる画像データやメタデータを受信する通信手段３０１と、通信手段３０１よりメタデータを受信するメタデータ受信手段３０２と、メタデータの記録処理や検索処理を行うメタデータ管理手段３０３と、メタデータを蓄積するメタデータ蓄積手段３０４と、ユーザから入力された映像検索条件を取得するデータ入力インターフェース手段３０５と、データ入力インターフェース手段３０５において取得した映像検索条件によりメタデータ構造変更指示手段３１１によって変更されたフォーマットに基づいてメタデータ検索を行うとともに、映像検索条件に適合する映像データの送信を画像記録装置１０１へ要求する映像検索手段３０６と、通信手段３０１より映像データを受信する映像データ受信手段３０７と、映像データ受信手段３０７から映像データを取得し、その映像データの復号化を行う映像データ復号化手段３０８と、映像データ復号化手段３０８から復号化された映像データを受け取り、映像の表示処理を行う映像出力手段３０９と、映像記録装置１０１との間の通信制御を行う通信制御手段３１０と、データ入力インターフェース手段３０５において取得した映像検索条件に基づいて、映像記録装置１０１のメタデータ構造変更手段２１４に対してメタデータのフォーマット変更を指示するメタデータ構造変更指示手段３１１と、で構成される。
【００２９】
次に上記構成の映像記録装置及び映像検索装置の動作について説明する。
はじめに、映像記録装置が実行する映像データ記録処理、メタデータ生成処理、映像データ送信処理について説明する。
【００３０】
図４は、本発明の実施の形態における映像検索システムの、映像記録装置の映像データ記録処理手順を示すフローチャートである。映像データ記録処理では、監視カメラ２０１から出力される映像データを映像データ入力手段２０２で取得し、データ管理手段２０６を介して画像情報蓄積手段２０７に記録する。
【００３１】
はじめに、監視カメラ２０１から所定のフレームレートで出力される映像データが、映像データ入力手段２０２へ入力される（ステップＳ４０１）。映像データ入力手段２０２は、ダブルバッファ形式の画像メモリを有しており、画像メモリに取り込まれた画像データは、映像データ符号化手段２０３がアクセスすることができる。
【００３２】
次に、映像データ符号化手段２０３は、映像データ入力手段２０２に保持されている映像データを取得して、その画像データに対して符号化処理を行う（ステップＳ４０２）。映像データの符号化方式は、ＪＰＥＧなどのフレーム内圧縮もしくはＭＰＥＧなどのフレーム間圧縮の任意の符号化方式を用いてかまわない。
【００３３】
次に、映像データ符号化手段２０３は、符号化した映像データと符号化処理実行時の各種映像データ属性情報をデータ管理手段２０６に出力する（ステップＳ４０３）。ここで、映像データ属性情報とは、例えば、１フレームの映像データのデータ長や符号化処理を行った時刻など、符号化処理に関る任意の情報を指す。
【００３４】
データ管理手段２０６は、映像データ符号化手段２０３において符号化された映像データと映像データに付随する属性情報を対応付けて画像情報蓄積手段２０７に蓄積する（ステップＳ４０４）。そして、所定の終了条件を満たすか否かを判定し（ステップＳ４０５）、終了条件を満たさない場合にはステップＳ４０１へ戻り、上記の手順を繰り返す。一方、終了条件を満たす場合には映像記録処理を終了する。以上の手順により、映像記録装置における映像データ記録処理が実行される。
【００３５】
次に、図５は、本発明の実施の形態における映像検索システムの、映像記録装置のメタデータ生成処理手順を示すフローチャートである。メタデータ生成処理では、特徴量抽出手段２０４において抽出された画像特徴量と映像データ符号化手段２０３において出力された映像データ属性情報とからメタデータを生成し、必要に応じてメタデータ構造変更手段２１４でフォーマットを変更してからメタデータ蓄積部２０８に記録する。また、変更後のメタデータを同時に映像検索装置１０２へ送信する。尚、メタデータのフォーマット変更の必要性の有無は、メタデータ構造変更手段２１４が映像検索装置１０２から受信する構造情報に基づいて判断される（詳細については後述する）。
【００３６】
はじめに、映像記録装置１０１は、メタデータ送信開始の手続きを実行する（ステップＳ５０１）。データ管理手段２０６は、外部から映像データを記録開始する旨の情報が入力されると、映像検索装置１０２に対して、自装置の識別情報を示すデータと映像ファイルの識別情報を示すデータを含むメタデータ送信開始情報を送信する。映像検索装置１０２は、映像記録装置１０１からのメタデータ送信開始情報を受信すると、受信したメタデータ送信開始情報に基づいてメタデータ受信準備処理を行い、メタデータ受信準備処理が完了すると、送信元の映像記録装置１０１に対してメタデータ受信準備完了通知を送信する（以上の映像検索装置１０２の動作の詳細は後述する）。データ管理手段２０６は、映像検索装置１０２から送信されたメタデータ受信準備完了通知を受信すると、メタデータ生成処理を開始する。
【００３７】
次に、特徴量抽出手段２０４は、映像データ入力手段２０２に保持されている映像データから画像特徴量を抽出し、抽出した画像特徴量をメタデータ生成手段２０５へ出力する（ステップＳ５０２）。特徴量抽出の一例としては、撮影対象となっている物体の色情報やその動き情報などがある。色情報の抽出については、映像データをＲＧＢ色空間に変換したのち、撮影対象となっている物体に相当する領域を示すＲ（赤色）、Ｇ（緑色）、Ｂ（青色）成分値を抽出し、抽出したＲ、Ｇ、Ｂ各成分のヒストグラムを作成することが一例として考えられる。また、動き情報の抽出については、動きベクトルのうち、撮影対象となっている物体に相当する領域に含まれるものだけを抽出し、抽出した動きベクトルに関する水平方向／垂直方向別の平均値を求めることが一例として考えられる。
【００３８】
次に、映像データ符号化手段２０３は、符号化処理時の各種映像データ属性情報をメタデータ生成手段２０５へ出力する（ステップＳ５０３）。ここで、映像データ属性情報は、画像サイズ（幅、高さ）や符号化処理を実行した時刻など、符号化処理に関わる任意の情報を指す。
【００３９】
次に、メタデータ生成手段２０５は、ステップＳ５０２で抽出された画像特徴量と、ステップＳ５０３で取得した映像データ属性情報に基づいて、映像データに対応するメタデータを生成し、生成した映像メタデータをデータ管理手段２０６へ出力する（ステップＳ５０４）。この映像メタデータには、その映像データに関する情報、例えば、撮影対象の物体の色情報や動き情報、映像データの符号化時刻や映像データを撮影した監視カメラの識別番号などが記述される。図６は、映像メタデータとして記述される項目の例を示す図である。
【００４０】
次に、メタデータ構造変更手段２１４は、映像検索装置１０２からの構造情報の受信の有無に基づいて、メタデータのフォーマットを変更する必要があるか否かを判定する（ステップＳ５０５）。構造情報を受信した場合、メタデータ構造変更手段２１４は、データ管理手段２０６に、メタデータのフォーマット変更を指示する（ステップＳ５０６）。フォーマットの変更は、具体的には、生成したメタデータから必要なデータ項目を抽出して行う。尚、メタデータ構成変更手段２１４は、映像検索装置１０２から送信されるＭＰＥＧ７などで規格化されたメタデータの構造情報、または指定の構造情報などから変更するフォーマットを判断する。図７は、変更後のフォーマットで記述された映像メタデータの例を示す図である。図６のフォーマットと比較して、画像サイズを示すデータ項目が削除されている。一方、構造情報を受信しない場合、メタデータ構造変更手段２１４は、データ管理手段２０６にフォーマット変更の指示を行わず、次のステップＳ５０７に示す手順へ移行する。
【００４１】
次に、データ管理手段２０６は、メタデータ生成手段２０５が出力した映像メタデータまたはその後フォーマットを変更した映像メタデータをメタデータ蓄積部２０８に蓄積する（ステップＳ５０７）。更に、データ管理手段２０６は、自装置の識別情報を示すデータと映像データの記録順序を示すデータとを含む映像管理情報を生成して、映像メタデータとともにメタデータ送信手段２０９を介して映像検索装置１０２へ送信する（ステップＳ５０８）。尚、メタデータのフォーマットを変更する場合、メタデータ蓄積部２０８には、フォーマット変更後のメタデータだけを記録するようにしてもよいし、フォーマット変更前後の両方のメタデータを記録するようにしてもよい。
【００４２】
映像メタデータの送信後、データ管理手段２０６は、所定の終了判定条件に基づいてメタデータ生成終了の可否を判定する（ステップＳ５０９）。ここで、終了判定条件とは、映像メタデータ送信数に関する条件である。例えば、送信した映像メタデータ数が所定の値を超えた場合に、メタデータ生成を終了すると判定する。メタデータ生成を終了すると判定した場合、映像ファイルメタデータを生成する次の処理へ移行する。一方、メタデータ生成を終了しないと判定した場合、ステップＳ５０２へ戻り、上記と同様の手順を繰り返す。
【００４３】
メタデータの生成が終了すると、メタデータ生成手段２０５は、これまで生成した映像メタデータに関する情報に基づいて映像ファイルメタデータを生成し、生成した映像ファイルメタデータをデータ管理手段２０６へ出力する（ステップＳ５１０）。この映像ファイルメタデータには、その映像ファイルに関する情報、例えば、録画開始時刻や録画終了時刻、フレームレートや記録フレーム数などが記述される。図８は、映像ファイルメタデータとして記述される項目の例を示す図である。
【００４４】
データ管理手段２０６は、メタデータ生成手段２０５が出力した映像ファイルメタデータをメタデータ蓄積部２０８に蓄積する（ステップＳ５１１）。最後に、データ管理手段２０６は、ステップＳ５１０で生成した映像ファイルメタデータをメタデータ送信手段２０９を介して映像検索装置１０２へ送信する（ステップＳ５１２）。以上の手順により、映像記録装置におけるメタデータ生成処理が実行される。
【００４５】
次に、図９は、本発明の実施の形態における映像検索システムの、映像記録装置の映像データ送信処理手順を示すフローチャートである。映像データ送信処理では、映像検索装置１０２から送信された映像データの送信を要求する送信開始情報を受信し、その送信開始情報に基づいて映像データを検索して、検索条件に適合する映像データを映像検索装置１０２に送信する。
【００４６】
はじめに、映像記録装置１０１は、映像データ送信開始の手続きを実行する（ステップＳ６０１）。映像検索装置１０２は、検索条件が入力されると、自装置に蓄積されているメタデータを利用して映像データの検索を行い、検索条件に適合する映像データが検索された場合には、映像記録装置１０１に対して映像データ送信を要求する送信開始情報を送信する（以上の映像検索装置１０２の動作の詳細は後述する）。映像記録装置１０１の映像データ取得手段２１０は、映像検索装置１０２から送信された送信開始情報を受信する。ここで、送信開始情報とは、送信要求された映像データに関する映像検索情報であり、例えば、映像ファイルの識別情報を示すデータや先頭の映像データの識別情報を示すデータ、送信する映像データ数、映像メタデータのフォーマットを指定する構造情報などが含まれる。尚、送信開始情報には、映像メタデータのフォーマット変更を指示する構造情報が含まれている場合があり、これを受信すると、以降に生成されるメタデータは指定のフォーマットに変更して映像検索装置１０２へ送信されることになる。
【００４７】
次に、映像データ取得手段２１０は、受信した送信開始情報を解析し、映像検索装置１０２が送信要求している映像データを確認する（ステップＳ６０２）。更に、映像データ取得手段２１０は、映像検索装置１０２が送信要求している映像データの存在確認をデータ管理手段２０６へ指示する。データ管理手段２０６は、映像データ取得手段２１０からの指示を受けて、画像情報蓄積手段２０７に蓄積されている映像データを検索し、映像データの存在確認を行う（ステップＳ６０３）。データ管理手段２０６における確認の結果、映像データが存在すると判定された場合には、映像検索装置１０２に対して送信開始正常応答を送信し、該当する映像データの読み込み処理へ移行する。一方、映像データが存在しないと判定された場合には、映像検索装置１０２に対して送信開始ＮＧ応答を送信し、映像データ送信処理を終了する。
【００４８】
映像データが存在すると判定されると、映像データ取得手段２１０は、データ管理手段２０６に対して映像データの読み込みを指示する（ステップＳ６０４）。データ管理手段２０６は映像データ取得手段２１０からの指示を受けて、画像情報蓄積手段２０７に蓄積されている映像データの中から当該映像データを読み出し、映像データ送信手段２１１が有する画像メモリに書き込む。次に、映像データ送信手段２１１は、画像メモリに書き込まれた映像データを映像検索装置１０２へ送信する（ステップＳ６０５）。
【００４９】
最後に、映像データ取得手段２１０は、所定の終了判定条件に基づいて映像データ送信終了の可否を判定する（ステップＳ６０６）。ここで、終了判定条件とは、映像データ送信数に関する条件である。例えば、送信した映像データ数が所定の値を超えた場合に、映像データ送信を終了すると判定する。映像データ送信を終了しないと判定した場合には、ステップＳ６０４へ戻り、上記の手順を繰り返す。一方、映像データ送信を終了すると判定した場合には、映像データ送信処理を終了する。以上の手順により、映像記録装置における映像データ送信処理が実行される。
【００５０】
次に、映像検索装置が実行するメタデータ受信処理、映像データ検索・再生処理について説明する。
【００５１】
図１０は、本発明の実施の形態における映像検索システムの、映像検索装置のメタデータ受信処理手順を示すフローチャートである。メタデータ受信処理では、映像記録装置１０１から送信されるメタデータをメタデータ受信手段３０２が受信して、メタデータ蓄積手段３０４に蓄積する。
【００５２】
はじめに、映像検索装置１０２は、メタデータ受信開始の手続きを実行する（ステップＳ７０１）。メタデータ受信手段３０２は、映像記録装置１０１から送信されてくるメタデータ送信開始情報を受信し、受信したメタデータ送信開始情報をメタデータ管理手段３０３へ出力する。メタデータ管理手段３０３はメタデータ受信手段３０２からメタデータ送信開始情報を受信すると、メタデータ送信開始情報とメタデータのフォーマットを指定する構造情報に基づき、映像ファイルメタデータ及び映像メタデータを受信するための受信準備処理を行う。ここで、受信準備処理とは、映像ファイルメタデータ及び映像メタデータをメタデータ蓄積手段３０４に蓄積するための準備などを含む。メタデータ受信準備処理が完了すると、メタデータ管理手段３０３は、送信元の映像記録装置１０１に対してメタデータ準備完了通知を送信する。
【００５３】
次に、メタデータ受信手段３０２は、映像記録装置１０１から送信されてくる映像メタデータを受信し、受信した映像メタデータをメタデータ管理手段３０３へ出力する（ステップＳ７０２）。メタデータ管理手段３０３は、メタデータ受信手段３０２が出力した映像メタデータをメタデータ蓄積手段３０４に蓄積する（ステップＳ７０３）。蓄積される映像メタデータは、ＭＰＥＧ７のように予め決められたフォーマットであってもよいし、メタデータ構造変更指示手段３１１から送信される構造情報に従うフォーマットであってもよい。
【００５４】
更に、メタデータ管理手段３０３は、所定の終了判定条件に基づいて映像メタデータ受信終了の可否を判定する（ステップＳ７０４）。ここで、終了判定条件とは、映像メタデータ受信に関する条件である。例えば、受信した映像メタデータ数が所定の値を超えた場合に、メタデータ受信を終了すると判定する。メタデータ受信を終了すると判定した場合には、映像ファイルメタデータを受信する次の処理へ移行する。一方、映像メタデータ受信を終了しないと判定した場合には、ステップＳ７０２へ戻り、上記の手順を繰り返す。
【００５５】
メタデータ受信を終了すると判定した場合、メタデータ受信手段３０２は、次に映像記録装置１０１から送信されてくる映像ファイルメタデータを受信し、受信した映像ファイルメタデータをメタデータ管理手段３０３へ出力する（ステップＳ７０５）。最後にメタデータ管理手段３０３は、メタデータ受信手段３０２から出力された映像ファイルメタデータをメタデータ蓄積手段３０４に蓄積する(ステップＳ７０６）。尚、映像ファイルメタデータを記録する際、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報を併せて記録する。以上の手順により、映像検索装置におけるメタデータ受信処理が実行される。
【００５６】
次に、図１１は、本発明の実施の形態における映像検索システムの、映像検索装置の映像データ検索・再生処理手順を示すフローチャートである。映像データ検索処理では、ユーザが提示した映像検索情報に適合する映像メタデータの検索を行い、映像検索条件に適合する映像データの送信を映像記録装置１０１へ要求する。また、映像記録装置１０１から送信される映像データの再生を行う。
【００５７】
はじめに、データ入力インターフェース手段３０５は、ユーザが入力した映像データ検索のための映像検索情報を取得し、メタデータ構造変更指示手段３１１を介して映像検索手段３０６へ出力する（ステップＳ８０１）。映像検索情報とは、メタデータに記述されている情報（例えば、映像記録時刻、映像記録場所に関する情報）に関わる検索条件や、メタデータのフォーマットを指定する構造情報などである。
【００５８】
また、メタデータ構造変更指示手段３１１は、例えば、操作者が指定するフォーマットにメタデータを変更するように指示する構造情報を生成することができる。また、それまでの検索頻度や検索履歴に応じて、映像データの検索に必要なデータ項目を自動的に選択し、それらを含む適切なフォーマットに変更するように指示する構造情報を生成することもできる。尚、この構造情報は、後に映像データの送信を要求する送信開始情報が映像記録装置１０１へ送信される際に一緒にメタデータ構造変更手段２１４へ送信されるようにしてもよいし、フォーマットの変更を指示する構造情報が生成される都度送信されるようにしてもよい。
【００５９】
次に、映像検索手段３０６は、メタデータ管理手段３０３に対して上記の映像検索情報に適合する映像ファイルメタデータ及び映像メタデータの検索を要求する（ステップＳ８０２）。メタデータ管理手段３０３は、映像検索手段３０６からのメタデータ検索要求を受けて、まず、メタデータ蓄積手段３０４に蓄積されている一部もしくは全ての映像ファイルメタデータを検索し、ステップＳ８０１で取得した映像検索情報に適合する映像ファイルメタデータを選出する。映像ファイルメタデータには、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報が記述されているので、これを参照して、順番に映像メタデータを辿っていき、検索条件に適合する映像メタデータを検索できたら、その映像メタデータをメタデータ管理手段３０３に保持する。
【００６０】
次に、映像検索手段３０６は、メタデータ管理手段３０３によって検索された映像ファイルメタデータ及び映像メタデータに基づいて送信開始情報を作成し、作成した送信開始情報を映像記録装置１０１へ送信する（ステップＳ８０３）。送信先の映像記録装置は映像ファイルメタデータと対応づけて記録されている映像管理情報に基づいて決定する。
【００６１】
次に、映像検索手段３０６は、映像記録装置１０１に送信した送信開始情報に対する応答の判定を行い（ステップＳ８０４）、正常応答の場合には、映像データの受信処理へ移行する。一方、ＮＧ応答の場合には、映像データ検索処理を終了する。
【００６２】
正常応答の場合、映像データ受信手段３０７は、映像記録装置１０１から送信される映像データを受信し、受信した映像データを映像データ復号化手段３０８へ出力する（ステップＳ８０５）。更に、映像データ復号化手段３０８が映像データ受信手段３０７より取得した映像データを復号し、復号された映像データが映像出力手段３０９に出力される（ステップＳ８０６）。以上の手順により、映像検索装置における映像データ検索・再生処理が実行される。
【００６３】
以上のように、本発明の実施の形態における映像検索システムによれば、監視者の指示やこれまでの検索履歴等に基づいて、生成したメタデータから必要なデータ項目だけを抽出してフォーマットを変更し、変更後のメタデータに対して映像検索を行うことにより、検索時間を短縮することができる。
【産業上の利用可能性】
【００６４】
本発明の映像検索システム、映像検索方法及びプログラムは、映像データの検索時間を短縮できるという効果を有し、映像監視システム等において有用である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態における映像検索システムのシステム構成を示す図
【図２】本発明の実施の形態における映像検索システムの、映像記録装置の内部構成を示す図
【図３】本発明の実施の形態における映像検索システムの、映像検索装置の内部構成を示す図
【図４】本発明の実施の形態における映像検索システムの、映像記録装置の映像データ記録処理手順を示すフローチャート
【図５】本発明の実施の形態における映像検索システムの、映像記録装置のメタデータ生成処理手順を示すフローチャート
【図６】映像メタデータとして記述される項目の例を示す図
【図７】変更後のフォーマットで記述された映像メタデータの例を示す図
【図８】映像ファイルメタデータとして記述される項目の例を示す図
【図９】本発明の実施の形態における映像検索システムの、映像記録装置の映像データ送信処理手順を示すフローチャート
【図１０】本発明の実施の形態における映像検索システムの、映像検索装置のメタデータ受信処理手順を示すフローチャート
【図１１】本発明の実施の形態における映像検索システムの、映像検索装置の映像データ検索・再生処理手順を示すフローチャート
【符号の説明】
【００６６】
１００ 映像検索システム
１０１ 映像記録装置
１０２ 映像検索装置
２０１ 監視カメラ
２０２ 映像データ入力手段
２０３ 映像データ符号化手段
２０４ 特徴量抽出手段
２０５ メタデータ生成手段
２０６ データ管理手段
２０７ 画像情報蓄積手段
２０８ メタデータ蓄積手段
２０９ メタデータ送信手段
２１０ 映像データ取得手段
２１１ 映像データ送信手段
２１２ 通信制御手段
２１３ 通信手段
２１４ メタデータ構造変更手段
３０１ 通信手段
３０２ メタデータ受信手段
３０３ メタデータ管理手段
３０４ メタデータ蓄積手段
３０５ データ入力インターフェース手段
３０６ 映像検索手段
３０７ 映像データ受信手段
３０８ 映像データ復号化手段
３０９ 映像データ出力手段
３１０ 通信制御手段
３１１ メタデータ構造変更指示手段
【技術分野】
【０００１】
本発明は、カメラから取得した映像を映像記録装置に記録し、記録した映像データの検索を映像検索装置で行う映像検索システム、映像検索方法及びプログラムに関する。
【背景技術】
【０００２】
任意の場所に設置された監視カメラが撮影する映像をリアルタイムでモニター再生して監視を行う映像監視システムでは、一般的に、撮影した映像がハードディスクレコーダ等の映像記録装置に録画される。これは、検証などの目的で過去の監視映像を再生する事態に備えるためであり、そのような場合には映像の録画中であっても、所望の映像が迅速に検索、再生されることが好ましい。
【０００３】
従来、記録された画像データを効率良く的確に検索するための映像検索システムが各種提案されており、その中には、画像データから所定の特徴量セットを抽出する特徴抽出部と、特徴量セットから特徴記述子を生成する特徴記述子生成部と、画像データと特徴記述子とを対応づけて蓄積する画像情報蓄積部と、画像データに付随する属性情報から属性リストを生成する属性リスト生成部と、属性リストを蓄積する属性リスト蓄積部と、検索対象の画像データのカテゴリやキー画像から検索したい画像を選択するユーザインターフェース部と、インターフェース部で指示された検索条件に基づき検索処理を行う検索処理部と、検索されたキー画像および検索画像を表示する表示部と、で構成された画像検索システムなどがある（例えば、特許文献１参照）。
【０００４】
上記構成の画像検索システムによれば、属性リストを参照して属性情報に基づく検索を行った後に、特徴記述子に基づく検索が行われるため、画像検索処理を効率良く行うことができる。
【０００５】
更に、映像の録画時に映像データと関連付けてメタデータを記録するデータベースに加え、映像を検索するために参照するメタデータのデータベースを別途設け、映像の録画処理と記録した映像の検索処理を独立して行うことにより、検索処理の迅速化と検索効率の向上を図れる映像検索システムも提案されている。これは、映像の録画時に属性データを記録するためにアクセスするデータベースと、録画した映像の検索を行うためにアクセスするデータベースが同じであると、特に、システムにおける処理負荷が高い場合に検索速度が低下してしまうという課題を解決したものである。
【０００６】
上記構成の映像検索システムによれば、例えば、監視映像の録画とモニター再生が同時に実行されている場合など、システムが高負荷の状態でも、映像データのデータ落ちを防ぐために優先される録画処理により検索速度が低下するという事態が生じることはない。
【特許文献１】特開２００１−１６７０９５号公報（第５−７頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような映像検索システムでは、検索時に参照するメタデータにより多くの種類の情報を保持させておけば、多様な検索条件が設定でき、ターゲットを絞り込んだ映像検索が行える。
【０００８】
しかしながら、上記従来の映像検索システムでは、メタデータにより詳細な情報を付与すればするほどメタデータのデータ量が増加し、１つのメタデータの参照に要する時間が長くなり、結果として検索時間が長くなるという課題があった。総録画時間が増加したり、接続する監視カメラの台数が増加したりして、映像記録装置に蓄積される映像データが増加すると、メタデータもそれに比例して増加するので、上記の現象は更に顕著となる。
【０００９】
一方、映像検索システムの使用者（監視者）が監視中に映像データの検索を行う場合、検索条件として指定する項目の数は、一般的に、メタデータとして記録されている項目数と比較して極めて少ない。これは、実際に検索が必要となる状況（例えば、不審者が侵入して過去の映像を確認したい場合など）では、緊急を要する場合が多く、多数の検索条件を入力する時間的な余裕がないという理由や、検索に関わる監視者の記憶は曖昧である場合が多く、正確に指定できる検索条件が少ないという理由によるものである。
【００１０】
検索の実情に即した上記課題の解決策としては、必要最低限の情報だけを含むデータ量の少ないメタデータを生成し、このメタデータを参照して映像データの検索を行うようにすれば、１つのメタデータの参照に要する時間を短縮でき、迅速な映像検索が行えると期待される。
【００１１】
本発明は従来の課題を解決するためになされたもので、検索時間を短縮できる映像検索システム、映像検索方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の映像検索システムは、映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および映像検索装置への送信を行うメタデータ送信手段と、前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信手段とを含む映像記録装置と、通信ネットワークを介して前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積手段と、指定された映像検索条件に基づいて前記メタデータ蓄積手段を参照してメタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記映像記録装置へ送信する映像検索手段と、前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信手段とを含む映像検索装置とを備え、前記映像記録装置は、生成した前記メタデータから任意のデータ項目を抽出し、メタデータのフォーマットを変更可能なメタデータ構造変更手段を備え、前記メタデータ送信手段は、フォーマットを変更したメタデータを前記映像検索装置へ送信する。この構成によれば、必要なデータ項目だけを抽出してフォーマットを変更したメタデータが映像検索装置に対して送信され、映像検索装置ではこのメタデータを参照して検索が行われるので、映像検索時間を短縮することができる。
【００１３】
本発明において、前記映像検索装置は、前記メタデータ構造変更手段に対してメタデータの構造変更を指示するメタデータ構造変更指示手段を有する。この構成によれば、変更するフォーマットの指定、即ち、映像記録装置のメタデータ構造変更手段が抽出するメタデータのデータ項目の選択を、映像検索装置側で行うことができる。
【００１４】
本発明において、前記メタデータ構造変更指示手段は、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更手段が抽出するデータ項目を指定する。この構成によれば、変更するフォーマットを監視者が指定することができる。
【００１５】
本発明において、前記メタデータ構造変更指示手段は、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更手段が抽出するデータ項目を指定する。この構成によれば、変更するフォーマットを検索履歴に基づいて自動的に指定することができる。
【発明の効果】
【００１６】
本発明によれば、映像の録画と記録した映像の検索を行う映像検索システムにおいて、生成したメタデータを、これまでの検索履歴等に基づいて必要なデータ項目だけを抽出したメタデータに変更し、変更後のメタデータに対して映像検索を行うので、検索時間を短縮できる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照しながら本発明の実施形態に係る映像検索システムについて詳細に説明する。尚、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付与し、説明は繰り返さないこととする。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態における映像検索システムのシステム構成を示す図である。映像検索システム１００は、主に、映像記録装置１０１、映像検索装置１０２、映像記録装置１０１と映像検索装置１０２とを接続する通信ネットワーク１０３、で構成される。尚、図では３台の映像記録装置（１０１ａ〜１０１ｃ）で構成されるシステムの例を示している。
【００１９】
映像記録装置１０１は、監視カメラから取得した映像データやその映像データのメタデータを記録し再生する。また、映像データの記録と同時に、映像データのメタデータを映像検索装置１０２へ送信する。映像記録装置１０１は、ハードウェアのみで構成される監視カメラであってもよいし、ソフトウェアプログラムの実行環境、映像データ送信手段などを有する携帯電話やＰＤＡ（Personal Digital Assistant）等の端末であってもよい。
【００２０】
映像検索装置１０２は、映像記録装置１０１から送信される映像データのメタデータを蓄積するとともに、ユーザからの映像検索条件を取得すると、蓄積された映像データのメタデータを参照して映像データを検索し、映像検索条件に適合する映像データの配信を映像記録装置１０１へ要求する。映像検索装置１０２は、ハードウェアのみで構成される装置であってもよいし、ソフトウェアプログラムの実行環境でもよい。
【００２１】
通信ネットワーク１０３は、少なくとも１台以上の映像記録装置１０１と映像検索装置１０２を接続するネットワークであり、映像記録装置１０１と映像検索装置１０２との間で相互通信可能であれば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、無線ネットワーク、またはそれらを複合したネットワーク等、任意のネットワークを用いて構わない。
【００２２】
次に、映像検索システムを構成する映像記録装置及び映像検索装置の機能について説明する。
【００２３】
映像記録装置１０１は、監視カメラから取得した映像データのリアルタイム記録処理を行うとともに、映像データから画像特徴量を抽出し、抽出した画像特徴量と映像データに付随する各種映像データ属性情報に基づいて映像メタデータを生成し、生成した映像メタデータを記録すると同時に映像検索装置１０２へ送信する。その際、必要に応じて映像メタデータのフォーマットを変更する。尚、映像記録装置１０１に記録される映像データは、ＪＰＥＧなどのフレーム内圧縮もしくはＭＰＥＧなどのフレーム間圧縮などの任意の符号化方式によって符号化される。また、映像記録装置１０１は、映像検索装置１０２からの映像データ取得要求を受信すると、取得要求された映像データを映像検索装置１０２へ送信する。
【００２４】
映像検索装置１０２は、映像記録装置１０１から送信される映像メタデータを受信し、受信した映像メタデータを記録する。この映像メタデータは、映像記録装置１０１でフォーマットの変更が行われた場合には変更後のフォーマットのメタデータとなる。尚、フォーマットの変更は映像検索装置１０２から指示することができる。また、映像検索装置１０２は、ユーザからの映像検索条件を取得すると、蓄積されている映像データのメタデータを参照して検索条件に適合する映像データを検索し、検索条件に適合する映像データが存在する場合には、当該映像データの送信を映像記録装置１０１へ要求する。送信要求した映像データが映像記録装置１０１に存在する場合には、映像記録装置１０１から送信されてくる映像データを受信し、受信した映像データのリアルタイム再生処理を行う。
【００２５】
ここで、メタデータについて説明する。「メタデータ」とは、一般にデータのデータを意味し、ここでは、画像データに付随する各種属性情報や画像特徴量を記述したデータを指す。尚、「メタデータ」は「映像データ」とは分離独立したデータである。本実施の形態においては、ＸＭＬ（eXtensible Marking Language）に類するデータ記述言語やＭＰＥＧ７のようなマルチメディア記述仕様に従って、映像データのファイル名（識別子）、画像サイズ、録画開始時刻、録画終了時刻などをメタデータとして記述する。
【００２６】
尚、以降は映像データのメタデータを「映像メタデータ」と称する。また、映像データがメタデータを有するのと同様に、複数の映像データからなる映像ファイルもメタデータを有するので、映像ファイルのメタデータを「映像ファイルメタデータ」と称する。
【００２７】
図２は、本発明の実施の形態における映像検索システムの、映像記録装置の内部構成を示す図である。映像記録装置１０１は、監視場所を撮像する監視カメラ２０１と、監視カメラ２０１において撮像した映像データを画像メモリに保持する映像データ入力手段２０２と、映像データ入力手段２０２から取得した映像データを符号化するとともに符号化処理時の各種映像データ属性情報を出力する映像データ符号化手段２０３と、映像データ入力手段２０２に保持されている映像データに対して任意の画像特徴量抽出処理を行い、画像特徴量を抽出する特徴量抽出手段２０４と、特徴量抽出手段２０４において抽出された画像特徴量や映像データ符号化手段２０３において出力された符号化処理時の各種映像データ属性情報をメタデータに整形するメタデータ生成手段２０５と、映像データおよびメタデータの記録処理や検索処理、および、ファイル管理処理を行うデータ管理手段２０６と、映像データ符号化手段２０３において符号化した映像データとその映像データに付随する映像データ属性情報とを対応づけて記録する画像情報蓄積手段２０７と、メタデータ生成手段２０５で生成されたメタデータを蓄積するメタデータ蓄積手段２０８と、メタデータ生成手段２０５において生成されたメタデータを映像検索装置１０２へ送信するメタデータ送信手段２０９と、映像検索装置１０２からの映像送信要求を受信し、送信要求された映像データの取得をデータ管理手段２０６へ指示する映像データ取得手段２１０と、映像データを映像検索装置１０２へ送信する映像データ送信手段２１１と、映像検索装置１０２との間の通信制御を行う通信制御手段２１２と、メタデータ送信手段２０９や映像データ送信手段２１１が出力するパケットデータや、通信制御用パケットデータをネットワークへ送出する通信手段２１３と、映像検索装置１０２からの指示を受けて、メタデータ生成手段２０５で生成したメタデータのフォーマットを変更するメタデータ構造変更手段２１４と、で構成される。
【００２８】
図３は、本発明の実施の形態における映像検索システムの、映像検索装置の内部構成を示す図である。映像検索装置１０２は、映像記録装置１０１との相互通信を行い、映像記録装置１０１が送信してくる画像データやメタデータを受信する通信手段３０１と、通信手段３０１よりメタデータを受信するメタデータ受信手段３０２と、メタデータの記録処理や検索処理を行うメタデータ管理手段３０３と、メタデータを蓄積するメタデータ蓄積手段３０４と、ユーザから入力された映像検索条件を取得するデータ入力インターフェース手段３０５と、データ入力インターフェース手段３０５において取得した映像検索条件によりメタデータ構造変更指示手段３１１によって変更されたフォーマットに基づいてメタデータ検索を行うとともに、映像検索条件に適合する映像データの送信を画像記録装置１０１へ要求する映像検索手段３０６と、通信手段３０１より映像データを受信する映像データ受信手段３０７と、映像データ受信手段３０７から映像データを取得し、その映像データの復号化を行う映像データ復号化手段３０８と、映像データ復号化手段３０８から復号化された映像データを受け取り、映像の表示処理を行う映像出力手段３０９と、映像記録装置１０１との間の通信制御を行う通信制御手段３１０と、データ入力インターフェース手段３０５において取得した映像検索条件に基づいて、映像記録装置１０１のメタデータ構造変更手段２１４に対してメタデータのフォーマット変更を指示するメタデータ構造変更指示手段３１１と、で構成される。
【００２９】
次に上記構成の映像記録装置及び映像検索装置の動作について説明する。
はじめに、映像記録装置が実行する映像データ記録処理、メタデータ生成処理、映像データ送信処理について説明する。
【００３０】
図４は、本発明の実施の形態における映像検索システムの、映像記録装置の映像データ記録処理手順を示すフローチャートである。映像データ記録処理では、監視カメラ２０１から出力される映像データを映像データ入力手段２０２で取得し、データ管理手段２０６を介して画像情報蓄積手段２０７に記録する。
【００３１】
はじめに、監視カメラ２０１から所定のフレームレートで出力される映像データが、映像データ入力手段２０２へ入力される（ステップＳ４０１）。映像データ入力手段２０２は、ダブルバッファ形式の画像メモリを有しており、画像メモリに取り込まれた画像データは、映像データ符号化手段２０３がアクセスすることができる。
【００３２】
次に、映像データ符号化手段２０３は、映像データ入力手段２０２に保持されている映像データを取得して、その画像データに対して符号化処理を行う（ステップＳ４０２）。映像データの符号化方式は、ＪＰＥＧなどのフレーム内圧縮もしくはＭＰＥＧなどのフレーム間圧縮の任意の符号化方式を用いてかまわない。
【００３３】
次に、映像データ符号化手段２０３は、符号化した映像データと符号化処理実行時の各種映像データ属性情報をデータ管理手段２０６に出力する（ステップＳ４０３）。ここで、映像データ属性情報とは、例えば、１フレームの映像データのデータ長や符号化処理を行った時刻など、符号化処理に関る任意の情報を指す。
【００３４】
データ管理手段２０６は、映像データ符号化手段２０３において符号化された映像データと映像データに付随する属性情報を対応付けて画像情報蓄積手段２０７に蓄積する（ステップＳ４０４）。そして、所定の終了条件を満たすか否かを判定し（ステップＳ４０５）、終了条件を満たさない場合にはステップＳ４０１へ戻り、上記の手順を繰り返す。一方、終了条件を満たす場合には映像記録処理を終了する。以上の手順により、映像記録装置における映像データ記録処理が実行される。
【００３５】
次に、図５は、本発明の実施の形態における映像検索システムの、映像記録装置のメタデータ生成処理手順を示すフローチャートである。メタデータ生成処理では、特徴量抽出手段２０４において抽出された画像特徴量と映像データ符号化手段２０３において出力された映像データ属性情報とからメタデータを生成し、必要に応じてメタデータ構造変更手段２１４でフォーマットを変更してからメタデータ蓄積部２０８に記録する。また、変更後のメタデータを同時に映像検索装置１０２へ送信する。尚、メタデータのフォーマット変更の必要性の有無は、メタデータ構造変更手段２１４が映像検索装置１０２から受信する構造情報に基づいて判断される（詳細については後述する）。
【００３６】
はじめに、映像記録装置１０１は、メタデータ送信開始の手続きを実行する（ステップＳ５０１）。データ管理手段２０６は、外部から映像データを記録開始する旨の情報が入力されると、映像検索装置１０２に対して、自装置の識別情報を示すデータと映像ファイルの識別情報を示すデータを含むメタデータ送信開始情報を送信する。映像検索装置１０２は、映像記録装置１０１からのメタデータ送信開始情報を受信すると、受信したメタデータ送信開始情報に基づいてメタデータ受信準備処理を行い、メタデータ受信準備処理が完了すると、送信元の映像記録装置１０１に対してメタデータ受信準備完了通知を送信する（以上の映像検索装置１０２の動作の詳細は後述する）。データ管理手段２０６は、映像検索装置１０２から送信されたメタデータ受信準備完了通知を受信すると、メタデータ生成処理を開始する。
【００３７】
次に、特徴量抽出手段２０４は、映像データ入力手段２０２に保持されている映像データから画像特徴量を抽出し、抽出した画像特徴量をメタデータ生成手段２０５へ出力する（ステップＳ５０２）。特徴量抽出の一例としては、撮影対象となっている物体の色情報やその動き情報などがある。色情報の抽出については、映像データをＲＧＢ色空間に変換したのち、撮影対象となっている物体に相当する領域を示すＲ（赤色）、Ｇ（緑色）、Ｂ（青色）成分値を抽出し、抽出したＲ、Ｇ、Ｂ各成分のヒストグラムを作成することが一例として考えられる。また、動き情報の抽出については、動きベクトルのうち、撮影対象となっている物体に相当する領域に含まれるものだけを抽出し、抽出した動きベクトルに関する水平方向／垂直方向別の平均値を求めることが一例として考えられる。
【００３８】
次に、映像データ符号化手段２０３は、符号化処理時の各種映像データ属性情報をメタデータ生成手段２０５へ出力する（ステップＳ５０３）。ここで、映像データ属性情報は、画像サイズ（幅、高さ）や符号化処理を実行した時刻など、符号化処理に関わる任意の情報を指す。
【００３９】
次に、メタデータ生成手段２０５は、ステップＳ５０２で抽出された画像特徴量と、ステップＳ５０３で取得した映像データ属性情報に基づいて、映像データに対応するメタデータを生成し、生成した映像メタデータをデータ管理手段２０６へ出力する（ステップＳ５０４）。この映像メタデータには、その映像データに関する情報、例えば、撮影対象の物体の色情報や動き情報、映像データの符号化時刻や映像データを撮影した監視カメラの識別番号などが記述される。図６は、映像メタデータとして記述される項目の例を示す図である。
【００４０】
次に、メタデータ構造変更手段２１４は、映像検索装置１０２からの構造情報の受信の有無に基づいて、メタデータのフォーマットを変更する必要があるか否かを判定する（ステップＳ５０５）。構造情報を受信した場合、メタデータ構造変更手段２１４は、データ管理手段２０６に、メタデータのフォーマット変更を指示する（ステップＳ５０６）。フォーマットの変更は、具体的には、生成したメタデータから必要なデータ項目を抽出して行う。尚、メタデータ構成変更手段２１４は、映像検索装置１０２から送信されるＭＰＥＧ７などで規格化されたメタデータの構造情報、または指定の構造情報などから変更するフォーマットを判断する。図７は、変更後のフォーマットで記述された映像メタデータの例を示す図である。図６のフォーマットと比較して、画像サイズを示すデータ項目が削除されている。一方、構造情報を受信しない場合、メタデータ構造変更手段２１４は、データ管理手段２０６にフォーマット変更の指示を行わず、次のステップＳ５０７に示す手順へ移行する。
【００４１】
次に、データ管理手段２０６は、メタデータ生成手段２０５が出力した映像メタデータまたはその後フォーマットを変更した映像メタデータをメタデータ蓄積部２０８に蓄積する（ステップＳ５０７）。更に、データ管理手段２０６は、自装置の識別情報を示すデータと映像データの記録順序を示すデータとを含む映像管理情報を生成して、映像メタデータとともにメタデータ送信手段２０９を介して映像検索装置１０２へ送信する（ステップＳ５０８）。尚、メタデータのフォーマットを変更する場合、メタデータ蓄積部２０８には、フォーマット変更後のメタデータだけを記録するようにしてもよいし、フォーマット変更前後の両方のメタデータを記録するようにしてもよい。
【００４２】
映像メタデータの送信後、データ管理手段２０６は、所定の終了判定条件に基づいてメタデータ生成終了の可否を判定する（ステップＳ５０９）。ここで、終了判定条件とは、映像メタデータ送信数に関する条件である。例えば、送信した映像メタデータ数が所定の値を超えた場合に、メタデータ生成を終了すると判定する。メタデータ生成を終了すると判定した場合、映像ファイルメタデータを生成する次の処理へ移行する。一方、メタデータ生成を終了しないと判定した場合、ステップＳ５０２へ戻り、上記と同様の手順を繰り返す。
【００４３】
メタデータの生成が終了すると、メタデータ生成手段２０５は、これまで生成した映像メタデータに関する情報に基づいて映像ファイルメタデータを生成し、生成した映像ファイルメタデータをデータ管理手段２０６へ出力する（ステップＳ５１０）。この映像ファイルメタデータには、その映像ファイルに関する情報、例えば、録画開始時刻や録画終了時刻、フレームレートや記録フレーム数などが記述される。図８は、映像ファイルメタデータとして記述される項目の例を示す図である。
【００４４】
データ管理手段２０６は、メタデータ生成手段２０５が出力した映像ファイルメタデータをメタデータ蓄積部２０８に蓄積する（ステップＳ５１１）。最後に、データ管理手段２０６は、ステップＳ５１０で生成した映像ファイルメタデータをメタデータ送信手段２０９を介して映像検索装置１０２へ送信する（ステップＳ５１２）。以上の手順により、映像記録装置におけるメタデータ生成処理が実行される。
【００４５】
次に、図９は、本発明の実施の形態における映像検索システムの、映像記録装置の映像データ送信処理手順を示すフローチャートである。映像データ送信処理では、映像検索装置１０２から送信された映像データの送信を要求する送信開始情報を受信し、その送信開始情報に基づいて映像データを検索して、検索条件に適合する映像データを映像検索装置１０２に送信する。
【００４６】
はじめに、映像記録装置１０１は、映像データ送信開始の手続きを実行する（ステップＳ６０１）。映像検索装置１０２は、検索条件が入力されると、自装置に蓄積されているメタデータを利用して映像データの検索を行い、検索条件に適合する映像データが検索された場合には、映像記録装置１０１に対して映像データ送信を要求する送信開始情報を送信する（以上の映像検索装置１０２の動作の詳細は後述する）。映像記録装置１０１の映像データ取得手段２１０は、映像検索装置１０２から送信された送信開始情報を受信する。ここで、送信開始情報とは、送信要求された映像データに関する映像検索情報であり、例えば、映像ファイルの識別情報を示すデータや先頭の映像データの識別情報を示すデータ、送信する映像データ数、映像メタデータのフォーマットを指定する構造情報などが含まれる。尚、送信開始情報には、映像メタデータのフォーマット変更を指示する構造情報が含まれている場合があり、これを受信すると、以降に生成されるメタデータは指定のフォーマットに変更して映像検索装置１０２へ送信されることになる。
【００４７】
次に、映像データ取得手段２１０は、受信した送信開始情報を解析し、映像検索装置１０２が送信要求している映像データを確認する（ステップＳ６０２）。更に、映像データ取得手段２１０は、映像検索装置１０２が送信要求している映像データの存在確認をデータ管理手段２０６へ指示する。データ管理手段２０６は、映像データ取得手段２１０からの指示を受けて、画像情報蓄積手段２０７に蓄積されている映像データを検索し、映像データの存在確認を行う（ステップＳ６０３）。データ管理手段２０６における確認の結果、映像データが存在すると判定された場合には、映像検索装置１０２に対して送信開始正常応答を送信し、該当する映像データの読み込み処理へ移行する。一方、映像データが存在しないと判定された場合には、映像検索装置１０２に対して送信開始ＮＧ応答を送信し、映像データ送信処理を終了する。
【００４８】
映像データが存在すると判定されると、映像データ取得手段２１０は、データ管理手段２０６に対して映像データの読み込みを指示する（ステップＳ６０４）。データ管理手段２０６は映像データ取得手段２１０からの指示を受けて、画像情報蓄積手段２０７に蓄積されている映像データの中から当該映像データを読み出し、映像データ送信手段２１１が有する画像メモリに書き込む。次に、映像データ送信手段２１１は、画像メモリに書き込まれた映像データを映像検索装置１０２へ送信する（ステップＳ６０５）。
【００４９】
最後に、映像データ取得手段２１０は、所定の終了判定条件に基づいて映像データ送信終了の可否を判定する（ステップＳ６０６）。ここで、終了判定条件とは、映像データ送信数に関する条件である。例えば、送信した映像データ数が所定の値を超えた場合に、映像データ送信を終了すると判定する。映像データ送信を終了しないと判定した場合には、ステップＳ６０４へ戻り、上記の手順を繰り返す。一方、映像データ送信を終了すると判定した場合には、映像データ送信処理を終了する。以上の手順により、映像記録装置における映像データ送信処理が実行される。
【００５０】
次に、映像検索装置が実行するメタデータ受信処理、映像データ検索・再生処理について説明する。
【００５１】
図１０は、本発明の実施の形態における映像検索システムの、映像検索装置のメタデータ受信処理手順を示すフローチャートである。メタデータ受信処理では、映像記録装置１０１から送信されるメタデータをメタデータ受信手段３０２が受信して、メタデータ蓄積手段３０４に蓄積する。
【００５２】
はじめに、映像検索装置１０２は、メタデータ受信開始の手続きを実行する（ステップＳ７０１）。メタデータ受信手段３０２は、映像記録装置１０１から送信されてくるメタデータ送信開始情報を受信し、受信したメタデータ送信開始情報をメタデータ管理手段３０３へ出力する。メタデータ管理手段３０３はメタデータ受信手段３０２からメタデータ送信開始情報を受信すると、メタデータ送信開始情報とメタデータのフォーマットを指定する構造情報に基づき、映像ファイルメタデータ及び映像メタデータを受信するための受信準備処理を行う。ここで、受信準備処理とは、映像ファイルメタデータ及び映像メタデータをメタデータ蓄積手段３０４に蓄積するための準備などを含む。メタデータ受信準備処理が完了すると、メタデータ管理手段３０３は、送信元の映像記録装置１０１に対してメタデータ準備完了通知を送信する。
【００５３】
次に、メタデータ受信手段３０２は、映像記録装置１０１から送信されてくる映像メタデータを受信し、受信した映像メタデータをメタデータ管理手段３０３へ出力する（ステップＳ７０２）。メタデータ管理手段３０３は、メタデータ受信手段３０２が出力した映像メタデータをメタデータ蓄積手段３０４に蓄積する（ステップＳ７０３）。蓄積される映像メタデータは、ＭＰＥＧ７のように予め決められたフォーマットであってもよいし、メタデータ構造変更指示手段３１１から送信される構造情報に従うフォーマットであってもよい。
【００５４】
更に、メタデータ管理手段３０３は、所定の終了判定条件に基づいて映像メタデータ受信終了の可否を判定する（ステップＳ７０４）。ここで、終了判定条件とは、映像メタデータ受信に関する条件である。例えば、受信した映像メタデータ数が所定の値を超えた場合に、メタデータ受信を終了すると判定する。メタデータ受信を終了すると判定した場合には、映像ファイルメタデータを受信する次の処理へ移行する。一方、映像メタデータ受信を終了しないと判定した場合には、ステップＳ７０２へ戻り、上記の手順を繰り返す。
【００５５】
メタデータ受信を終了すると判定した場合、メタデータ受信手段３０２は、次に映像記録装置１０１から送信されてくる映像ファイルメタデータを受信し、受信した映像ファイルメタデータをメタデータ管理手段３０３へ出力する（ステップＳ７０５）。最後にメタデータ管理手段３０３は、メタデータ受信手段３０２から出力された映像ファイルメタデータをメタデータ蓄積手段３０４に蓄積する(ステップＳ７０６）。尚、映像ファイルメタデータを記録する際、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報を併せて記録する。以上の手順により、映像検索装置におけるメタデータ受信処理が実行される。
【００５６】
次に、図１１は、本発明の実施の形態における映像検索システムの、映像検索装置の映像データ検索・再生処理手順を示すフローチャートである。映像データ検索処理では、ユーザが提示した映像検索情報に適合する映像メタデータの検索を行い、映像検索条件に適合する映像データの送信を映像記録装置１０１へ要求する。また、映像記録装置１０１から送信される映像データの再生を行う。
【００５７】
はじめに、データ入力インターフェース手段３０５は、ユーザが入力した映像データ検索のための映像検索情報を取得し、メタデータ構造変更指示手段３１１を介して映像検索手段３０６へ出力する（ステップＳ８０１）。映像検索情報とは、メタデータに記述されている情報（例えば、映像記録時刻、映像記録場所に関する情報）に関わる検索条件や、メタデータのフォーマットを指定する構造情報などである。
【００５８】
また、メタデータ構造変更指示手段３１１は、例えば、操作者が指定するフォーマットにメタデータを変更するように指示する構造情報を生成することができる。また、それまでの検索頻度や検索履歴に応じて、映像データの検索に必要なデータ項目を自動的に選択し、それらを含む適切なフォーマットに変更するように指示する構造情報を生成することもできる。尚、この構造情報は、後に映像データの送信を要求する送信開始情報が映像記録装置１０１へ送信される際に一緒にメタデータ構造変更手段２１４へ送信されるようにしてもよいし、フォーマットの変更を指示する構造情報が生成される都度送信されるようにしてもよい。
【００５９】
次に、映像検索手段３０６は、メタデータ管理手段３０３に対して上記の映像検索情報に適合する映像ファイルメタデータ及び映像メタデータの検索を要求する（ステップＳ８０２）。メタデータ管理手段３０３は、映像検索手段３０６からのメタデータ検索要求を受けて、まず、メタデータ蓄積手段３０４に蓄積されている一部もしくは全ての映像ファイルメタデータを検索し、ステップＳ８０１で取得した映像検索情報に適合する映像ファイルメタデータを選出する。映像ファイルメタデータには、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報が記述されているので、これを参照して、順番に映像メタデータを辿っていき、検索条件に適合する映像メタデータを検索できたら、その映像メタデータをメタデータ管理手段３０３に保持する。
【００６０】
次に、映像検索手段３０６は、メタデータ管理手段３０３によって検索された映像ファイルメタデータ及び映像メタデータに基づいて送信開始情報を作成し、作成した送信開始情報を映像記録装置１０１へ送信する（ステップＳ８０３）。送信先の映像記録装置は映像ファイルメタデータと対応づけて記録されている映像管理情報に基づいて決定する。
【００６１】
次に、映像検索手段３０６は、映像記録装置１０１に送信した送信開始情報に対する応答の判定を行い（ステップＳ８０４）、正常応答の場合には、映像データの受信処理へ移行する。一方、ＮＧ応答の場合には、映像データ検索処理を終了する。
【００６２】
正常応答の場合、映像データ受信手段３０７は、映像記録装置１０１から送信される映像データを受信し、受信した映像データを映像データ復号化手段３０８へ出力する（ステップＳ８０５）。更に、映像データ復号化手段３０８が映像データ受信手段３０７より取得した映像データを復号し、復号された映像データが映像出力手段３０９に出力される（ステップＳ８０６）。以上の手順により、映像検索装置における映像データ検索・再生処理が実行される。
【００６３】
以上のように、本発明の実施の形態における映像検索システムによれば、監視者の指示やこれまでの検索履歴等に基づいて、生成したメタデータから必要なデータ項目だけを抽出してフォーマットを変更し、変更後のメタデータに対して映像検索を行うことにより、検索時間を短縮することができる。
【産業上の利用可能性】
【００６４】
本発明の映像検索システム、映像検索方法及びプログラムは、映像データの検索時間を短縮できるという効果を有し、映像監視システム等において有用である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態における映像検索システムのシステム構成を示す図
【図２】本発明の実施の形態における映像検索システムの、映像記録装置の内部構成を示す図
【図３】本発明の実施の形態における映像検索システムの、映像検索装置の内部構成を示す図
【図４】本発明の実施の形態における映像検索システムの、映像記録装置の映像データ記録処理手順を示すフローチャート
【図５】本発明の実施の形態における映像検索システムの、映像記録装置のメタデータ生成処理手順を示すフローチャート
【図６】映像メタデータとして記述される項目の例を示す図
【図７】変更後のフォーマットで記述された映像メタデータの例を示す図
【図８】映像ファイルメタデータとして記述される項目の例を示す図
【図９】本発明の実施の形態における映像検索システムの、映像記録装置の映像データ送信処理手順を示すフローチャート
【図１０】本発明の実施の形態における映像検索システムの、映像検索装置のメタデータ受信処理手順を示すフローチャート
【図１１】本発明の実施の形態における映像検索システムの、映像検索装置の映像データ検索・再生処理手順を示すフローチャート
【符号の説明】
【００６６】
１００ 映像検索システム
１０１ 映像記録装置
１０２ 映像検索装置
２０１ 監視カメラ
２０２ 映像データ入力手段
２０３ 映像データ符号化手段
２０４ 特徴量抽出手段
２０５ メタデータ生成手段
２０６ データ管理手段
２０７ 画像情報蓄積手段
２０８ メタデータ蓄積手段
２０９ メタデータ送信手段
２１０ 映像データ取得手段
２１１ 映像データ送信手段
２１２ 通信制御手段
２１３ 通信手段
２１４ メタデータ構造変更手段
３０１ 通信手段
３０２ メタデータ受信手段
３０３ メタデータ管理手段
３０４ メタデータ蓄積手段
３０５ データ入力インターフェース手段
３０６ 映像検索手段
３０７ 映像データ受信手段
３０８ 映像データ復号化手段
３０９ 映像データ出力手段
３１０ 通信制御手段
３１１ メタデータ構造変更指示手段
【特許請求の範囲】
【請求項１】
映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および映像検索装置への送信を行うメタデータ送信手段と、
前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信手段とを含む映像記録装置と、
通信ネットワークを介して前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積手段と、指定された映像検索条件に基づいて前記メタデータ蓄積手段を参照してメタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記映像記録装置へ送信する映像検索手段と、前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信手段とを含む映像検索装置とを備え、
前記映像記録装置は、生成した前記メタデータから任意のデータ項目を抽出し、メタデータのフォーマットを変更可能なメタデータ構造変更手段を備え、前記メタデータ送信手段は、フォーマットを変更したメタデータを前記映像検索装置へ送信する映像検索システム。
【請求項２】
前記映像検索装置は、前記メタデータ構造変更手段に対してメタデータの構造変更を指示するメタデータ構造変更指示手段を備える請求項１記載の映像検索システム。
【請求項３】
前記メタデータ構造変更指示手段は、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更手段が抽出するデータ項目を指定する請求項２記載の映像検索システム。
【請求項４】
前記メタデータ構造変更指示手段は、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更手段が抽出するデータ項目を指定する請求項２記載の映像検索システム。
【請求項５】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とを備える映像検索システムにおける映像検索方法であって、
前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および生成したメタデータから任意のデータ項目を抽出してフォーマットを変更したメタデータの前記映像検索装置への送信を行うメタデータ送信ステップと、
前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積ステップと、
指定された映像検索条件に基づいて前記メタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索ステップと、
前記送信要求に基づいて、前記映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信ステップと、
前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信ステップと、
を含む映像検索方法。
【請求項６】
前記メタデータの構造変更を指示するメタデータ構造変更指示ステップを含む請求項５記載の映像検索方法。
【請求項７】
前記メタデータ構造変更指示ステップは、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更ステップが抽出するデータ項目を指定する請求項６記載の映像検索方法。
【請求項８】
前記メタデータ構造変更指示ステップは、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更ステップが抽出するデータ項目を指定する請求項６記載の映像検索方法。
【請求項９】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とを備える映像検索システムの映像記録装置に搭載されるプログラムであって、コンピュータに、
前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および生成したメタデータから任意のデータ項目を抽出してフォーマットを変更したメタデータの前記映像検索装置への送信を行うメタデータ送信ステップと、
前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信ステップと、
を実行させるためのプログラム。
【請求項１０】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とを備える映像検索システムの映像検索装置に搭載されるプログラムであって、コンピュータを、
前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積ステップと、
指定された映像検索条件に基づいて前記メタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索ステップと、
前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信ステップと、
前記映像記録装置が行うメタデータ構造変更ステップに対してメタデータの構造変更を指示するメタデータ構造変更指示ステップと、
を実行させるためのプログラム。
【請求項１１】
請求項１０記載のプログラムであって、前記メタデータ構造変更指示ステップは、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更ステップが抽出するデータ項目を指定するプログラム。
【請求項１２】
請求項１０記載のプログラムであって、前記メタデータ構造変更指示ステップは、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更ステップが抽出するデータ項目を指定するプログラム。
【請求項１】
映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および映像検索装置への送信を行うメタデータ送信手段と、
前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信手段とを含む映像記録装置と、
通信ネットワークを介して前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積手段と、指定された映像検索条件に基づいて前記メタデータ蓄積手段を参照してメタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記映像記録装置へ送信する映像検索手段と、前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信手段とを含む映像検索装置とを備え、
前記映像記録装置は、生成した前記メタデータから任意のデータ項目を抽出し、メタデータのフォーマットを変更可能なメタデータ構造変更手段を備え、前記メタデータ送信手段は、フォーマットを変更したメタデータを前記映像検索装置へ送信する映像検索システム。
【請求項２】
前記映像検索装置は、前記メタデータ構造変更手段に対してメタデータの構造変更を指示するメタデータ構造変更指示手段を備える請求項１記載の映像検索システム。
【請求項３】
前記メタデータ構造変更指示手段は、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更手段が抽出するデータ項目を指定する請求項２記載の映像検索システム。
【請求項４】
前記メタデータ構造変更指示手段は、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更手段が抽出するデータ項目を指定する請求項２記載の映像検索システム。
【請求項５】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とを備える映像検索システムにおける映像検索方法であって、
前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および生成したメタデータから任意のデータ項目を抽出してフォーマットを変更したメタデータの前記映像検索装置への送信を行うメタデータ送信ステップと、
前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積ステップと、
指定された映像検索条件に基づいて前記メタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索ステップと、
前記送信要求に基づいて、前記映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信ステップと、
前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信ステップと、
を含む映像検索方法。
【請求項６】
前記メタデータの構造変更を指示するメタデータ構造変更指示ステップを含む請求項５記載の映像検索方法。
【請求項７】
前記メタデータ構造変更指示ステップは、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更ステップが抽出するデータ項目を指定する請求項６記載の映像検索方法。
【請求項８】
前記メタデータ構造変更指示ステップは、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更ステップが抽出するデータ項目を指定する請求項６記載の映像検索方法。
【請求項９】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とを備える映像検索システムの映像記録装置に搭載されるプログラムであって、コンピュータに、
前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータの記録および生成したメタデータから任意のデータ項目を抽出してフォーマットを変更したメタデータの前記映像検索装置への送信を行うメタデータ送信ステップと、
前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信ステップと、
を実行させるためのプログラム。
【請求項１０】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とを備える映像検索システムの映像検索装置に搭載されるプログラムであって、コンピュータを、
前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積ステップと、
指定された映像検索条件に基づいて前記メタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索ステップと、
前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信ステップと、
前記映像記録装置が行うメタデータ構造変更ステップに対してメタデータの構造変更を指示するメタデータ構造変更指示ステップと、
を実行させるためのプログラム。
【請求項１１】
請求項１０記載のプログラムであって、前記メタデータ構造変更指示ステップは、前記映像検索装置の操作者の指定に基づいて、前記メタデータ構造変更ステップが抽出するデータ項目を指定するプログラム。
【請求項１２】
請求項１０記載のプログラムであって、前記メタデータ構造変更指示ステップは、前記映像検索装置の検索履歴に応じて前記メタデータ構造変更ステップが抽出するデータ項目を指定するプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−１９５８０７（Ｐ２００６−１９５８０７Ａ）
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願番号】特願２００５−７８１２（Ｐ２００５−７８１２）
【出願日】平成１７年１月１４日（２００５．１．１４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年７月２７日（２００６．７．２７）
【国際特許分類】
【出願日】平成１７年１月１４日（２００５．１．１４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]