映像記録再生装置
【課題】本発明は、映像の検索時間を短縮し、検索精度を向上させることが可能な映像記録再生装置を提供することを目的とする。
【解決手段】本発明による映像記録再生装置は、映像検索機能を有し、管理情報が付加されたデジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、パターンテーブル格納手段に格納された物体パターンフォーマットに基づいて、動き検知手段にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、検索入力手段に入力された検索情報と、メタデータ蓄積手段に蓄積されたメタデータとを照合し、検索情報と一致するメタデータの検索処理を行うメタデータ照合検索手段とを備える。
【解決手段】本発明による映像記録再生装置は、映像検索機能を有し、管理情報が付加されたデジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、パターンテーブル格納手段に格納された物体パターンフォーマットに基づいて、動き検知手段にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、検索入力手段に入力された検索情報と、メタデータ蓄積手段に蓄積されたメタデータとを照合し、検索情報と一致するメタデータの検索処理を行うメタデータ照合検索手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像記録再生装置に関し、特に、監視用途に設置された複数のカメラによって撮影された映像を記録して蓄積し再生するものにおいて、当該蓄積された映像から所望の映像を検索する機能を有する映像記録再生装置に関する。
【背景技術】
【０００２】
一般的に、監視用途の映像記録再生装置は、複数のカメラによって撮影された映像データを長期間保存している。近年では、カメラによって撮影された映像を、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ハードディスクドライブ）などの記録デバイスに蓄積し、蓄積された映像を検索・再生する映像記録再生装置が多く用いられている。監視用途のカメラの設置台数は増加傾向にあり、また、ＨＤＤなどの記録デバイスの高容量化に伴って、映像データの蓄積量はますます増加している。従って、記録デバイスに大量に蓄積された映像データの中からユーザーが目的とする映像を検索する場合において、従来の検索方法の一つである時刻指定のみの検索では、情報が少なすぎて検索に多くの時間を必要としてしまう。
【０００３】
上記の対策として、映像検索を行う映像検索システムにおいて、カメラによって撮影した映像から生成したメタデータを、過去の検索履歴に基づいて検索に必要なデータ項目だけを抽出したメタデータに変更し、変更後のメタデータを用いて映像検索を行うことによって検索時間を短縮する方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１９５８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、メタデータの生成の際、画像特徴量として映像データに付随する各種属性情報、例えば、映像データのファイル名、画像サイズ、時刻情報、動き情報などを用いているが、ユーザーが映像検索を行う場合に、目的の映像に対する画像特徴量および映像情報の範囲が狭い（すなわち、検索情報が少ない）ため、ユーザーが目的とする映像を検索するために多くの時間を要するとともに、検索精度も期待できない。
【０００６】
また、生成したメタデータを、過去の検索履歴等に基づいて必要なデータ項目だけを抽出したメタデータに変更し、変更後のメタデータを用いて映像検索を行うことによって検索効率を向上させているが、元の映像情報量が少ない（変更前のメタデータの生成に用いた映像情報量が少ない）ため、大幅な検索効率の向上は望めないと考えられる。
【０００７】
さらに、前述の通り、カメラの設置台数の増加傾向および記録デバイスの高容量化に伴って、映像データおよびメタデータの蓄積量はますます増加するため、各々のメタデータの参照に要する時間が長くなり、結果的に検索時間が長くなってしまう。この対策としては、ハイパフォーマンスのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を用いたシステムの構築や、ハイパフォーマンスのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）を搭載した映像記録再生装置が必要となり、装置およびシステムの規模が大きくなって費用がかかるという問題があった。
【０００８】
一方、ユーザー（例えば、監視者、警察官など）が目的とする映像を検索する場合において、映像の検索条件（例えば、映像信号の属性や対象物の特徴など）は、蓄積されているメタデータのデータ量に比べて極めて少ないと予想される。これは、一般的に何らかの事件が発生した場合、犯人または不審者を特定するために、犯人（例えば、性別、顔、背格好、服装など）または犯人が逃走に用いた自動車（例えば、車種、色など）などが撮影された映像を、できるだけ早く検索したいという要望が背景にあるためである。
【０００９】
しかし、検索対象物および検索条件の範囲を絞る（狭くする）ことによって、映像のメタデータとして蓄積されているデータ量およびデータの条件（パラメータ）を少なくすると、検索時間は早くなるが、ユーザーが目的とする映像にたどり着けない（目的とする映像が見つからない）可能性が増えてしまう。
【００１０】
上記課題の対策としては、必要な情報だけを含むデータ量が少ない検索用のメタデータを生成し、当該メタデータを参照して記録デバイスに蓄積した映像データの検索を行うようにすれば、１つのメタデータの参照に要する時間を短縮することができ、迅速かつ高精度な映像検索を行うことができると期待される。
【００１１】
本発明は、これらの問題を解決するためになされたものであり、映像の検索時間を短縮し、検索精度を向上させることが可能な映像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明による映像記録再生装置は、複数のカメラによって撮影された映像を記録して蓄積し、当該蓄積された映像を再生する映像記録再生装置であって、映像検索機能を有し、複数のカメラによって撮影されたアナログ映像信号を入力する映像入力手段と、映像入力手段に入力されたアナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換手段にて変換されたデジタル映像信号に対して映像の記録・再生の管理に必要な管理情報を付加する管理情報付加手段と、管理情報が付加されたデジタル映像信号を記録映像として蓄積する映像蓄積手段と、管理情報が付加されたデジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、パターンテーブル格納手段に格納された物体パターンフォーマットに基づいて、動き検知手段にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、映像特徴抽出手段にて抽出された特徴データを特徴ごとに格納するデータ格納手段と、データ格納手段に格納された特徴データを整理する特徴データ整理手段と、特徴データ整理手段にて整理された特徴データを、デジタル映像信号のメタデータとして記録して蓄積するメタデータ蓄積手段と、記録映像の検索時に、特徴データに含まれる任意の検索情報を入力する検索入力手段と、検索入力手段に入力された検索情報と、メタデータ蓄積手段に蓄積されたメタデータとを照合し、検索情報と一致するメタデータの検索処理を行うメタデータ照合検索手段と、メタデータ照合検索手段での検索結果を表示する表示手段とを備える。
【発明の効果】
【００１３】
本発明によると、管理情報が付加されたデジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、パターンテーブル格納手段に格納された物体パターンフォーマットに基づいて、動き検知手段にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、映像特徴抽出手段にて抽出された特徴データを特徴ごとに格納するデータ格納手段と、データ格納手段に格納された特徴データを整理する特徴データ整理手段と、特徴データ整理手段にて整理された特徴データを、デジタル映像信号のメタデータとして記録して蓄積するメタデータ蓄積手段と、記録映像の検索時に、特徴データに含まれる任意の検索情報を入力する検索入力手段と、検索入力手段に入力された検索情報と、メタデータ蓄積手段に蓄積されたメタデータとを照合し、検索情報と一致するメタデータの検索処理を行うメタデータ照合検索手段とを備えるため、映像の検索時間を短縮し、検索精度を向上させることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１による映像記録再生装置の構成を示すブロック図である。
【図２】本発明の実施形態１によるパターン認識の処理を示すフローチャートである。
【図３】本発明の実施形態１によるメタデータ生成の処理を示すフローチャートである。
【図４】本発明の実施形態１による映像検索の処理を示すフローチャートである。
【図５】本発明の実施形態１による検索画面の一例を示す図である。
【図６】本発明の実施形態２によるパターンテーブル格納部への登録の処理を示すフローチャートである。
【図７】本発明の実施形態３による映像記録再生装置の構成を示すブロック図である。
【図８】本発明の実施形態３によるパターンテーブル格納部への登録処理を示すフローチャートである。
【図９】本発明の実施形態４による検索画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態について、図面に基づいて以下に説明する。
【００１６】
〈実施形態１〉
初めに、本発明の実施形態１による映像記録再生装置１０１を構成する各構成要素について説明する。
【００１７】
図１は、本発明の実施形態１による映像記録再生装置１０１の構成を示すブロック図である。本実施形態による映像記録再生装置１０１は、複数のカメラによって撮影された映像を記録して蓄積し、当該蓄積された映像を再生するとともに、映像検索機能を有している。
【００１８】
カメラ１００は、各種の映像を撮影する機能を有している。カメラ１００によって撮影された映像は、アナログ映像信号として映像記録再生装置１０１の入力部（映像入力手段、図示せず）から入力される。監視用途に設置されるカメラの台数は、一般的に、１台の映像記録再生装置１０１に対して８〜１６台程度である。カメラ１００から映像記録再生装置１０１に入力されたアナログ映像信号は、Ａ／Ｄ変換装置１０２（Ａ／Ｄ変換手段）に入力され、Ａ／Ｄ変換装置１０２にてアナログ映像信号がデジタル映像信号に変換される。
【００１９】
Ａ／Ｄ変換装置１０２にて変換されたデジタル映像信号は、データ制御装置１０３に入力される。データ制御装置１０３（管理情報付加手段）は、ＣＰＵ１０８の制御によって、時刻情報、記録レート（１秒間の記録フレーム数）、画質、画像サイズ、カメラ情報など、映像の記録・再生の管理に必要な管理情報をデジタル映像信号に付加して記録映像信号とし、当該記録映像信号をＣＯＤＥＣ１０７に入力する。ＣＯＤＥＣ１０７は、デジタル映像信号を圧縮・伸張する映像圧縮伸張装置であり、ＣＰＵ１０８およびデータ制御装置１０３の制御によって、記録映像信号を圧縮してＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）信号に変換する。ＣＯＤＥＣ１０７にて圧縮された記録映像信号は、ＨＤＤ１１３（映像蓄積手段）に記録して蓄積される。なお、本実施形態では、記録映像信号をＨＤＤ１１３に記録しているが、記録が可能であれば如何なるものであってもよい。
【００２０】
ＣＰＵ１０８は、映像記録再生装置１０１全体の制御や、各種情報の管理を行う。具体的には、記録・再生やデータ転送などのためのデータ転送制御、ＣＯＤＥＣ１０７、各種インターフェイスの制御、時計機能管理、データ管理など多岐にわたる。また、データ制御装置１０３にてデジタル映像信号に付加される管理情報をＦＬＡＳＨメモリ１１０などに格納しながら常に管理している。
【００２１】
動き検知装置１０４（動き検知手段）は、データ制御装置１０３にて管理情報が付加されたデジタル映像信号に対して、当該デジタル映像信号の映像内の物体に動きがあるか否かを検知して判断し、判断の結果、動きが検知されたデジタル映像信号にはフラグ（動き検知フラグ）を付加するなどして、後の処理において識別可能なデジタル映像信号に変換した後にパターン認識装置１０５に入力する。
【００２２】
パターン認識装置１０５（映像特徴抽出手段）は、データ制御装置１０３にて時刻情報を含む管理情報が付加され、動き検知装置１０４にて動き情報（動き検知フラグ）などが付加されたデジタル映像信号が入力されると、動きがある映像（動き検知フラグが付加されている映像）の中の映像と、パターンテーブル格納部１０９（パターンテーブル格納手段）に格納されている映像（物体）の特徴をパターン化した映像（物体）パターンフォーマット（後に詳述する）とを照合することによって、映像内の物体のパターンを判別する。パターン判別された映像データは、映像パターンデータ（特徴データ）として、一旦、映像パターン（特徴）ごとに分類してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１１（データ格納手段）などのメモリに格納される。
【００２３】
メタデータ生成装置１０６は、ＲＡＭ１１１に格納された映像パターンデータに対して、それぞれの映像パターンデータ間の関連性などを分析し、映像内の物体のイメージおよび映像が保有する情報に基づいて、映像内の物体を特定（例えば、髪の長い女性など）してキーワード化（例えば、“髪の長い女性”とキーワード化）し、映像メタデータの基本を生成する。
【００２４】
メタデータ整理装置１１４（特徴データ整理手段）は、ＲＡＭ１１１に格納された大量の映像パターンデータ（特徴データ）に対して、それぞれの映像パターンおよび映像パターンの組み合わせを解析し、不要なパターンや不要な組み合わせを削除してメタデータの削減・整理を行う。また、メタデータ生成装置１０６にて生成された映像メタデータの基本に対して、時系列、五十音、アルファベットなどにソートするなどの整理を行う。このような整理を行うことによって、映像の検索時間の短縮や検索精度の向上を図っている。
【００２５】
ＦＬＡＳＨメモリ１１０は、ＣＰＵ１０８で用いられるプログラム（ソフトウェア）、データ制御装置１０３にて付加される管理情報、ユーザーによって設定される各種メニュー設定情報（カメラ数、画質、記録レートなど）、予約録画設定情報など、映像記録再生装置に必要な情報を格納している。なお、ＦＬＡＳＨメモリ１１０に限らず、他のメモリであってもよい。
【００２６】
検索入力部１１２（検索入力手段）は、ユーザーが目的とする映像を検索する場合に、ユーザーが任意に入力したキーワード情報や時刻情報などの検索情報（映像パターンデータに含まれる情報）をＣＰＵ１０８に伝達する。
【００２７】
次に、カメラ１００から映像記録再生装置１０１に入力された映像に対して、映像内の物体の特徴などのパターンを認識（判別）する処理について説明する。
【００２８】
図２は、本発明の実施形態１によるパターン認識の処理を示すフローチャートである。図２に示すように、カメラ１００によって撮影されたアナログ映像信号は映像記録再生装置１０１に入力される（ステップＳ２００）。入力されたアナログ映像信号は、Ａ／Ｄ変換装置１０２にてデジタル映像信号にＡ／Ｄ変換され（ステップＳ２０１）、データ制御装置１０３に入力される。
【００２９】
データ制御装置１０３に入力されたデジタル映像信号は、ＣＰＵ１０８の制御によって、時刻情報（タイムスタンプ）などを含む管理情報が付加され（ステップＳ２０２）、動き検知装置１０４に入力される。同時に、管理情報が付加されたデジタル映像信号は、ＣＰＵ１０８の制御によって記録映像信号としてＣＯＤＥＣ１０７に入力される。
【００３０】
ＣＯＤＥＣ１０７は、ステップＳ２０２にて管理情報が付加されたデジタル映像信号が入力されると、ＣＰＵ１０８およびデータ制御装置１０３による制御（例えば、画質（圧縮率）、記録レートなど）によって、記録用のデジタル映像信号（記録映像信号）を圧縮してＭＰＥＧ信号に変換し（ステップＳ２０３）、変換した記録映像信号はＨＤＤ１１３に記録して蓄積される（ステップＳ２０４）。
【００３１】
一方、動き検知装置１０４は、ステップＳ２０２にて管理情報が付加されたデジタル映像信号が入力されると、動きのある映像または動きのある物体が撮影されている映像のみをピックアップするために、入力されたデジタル映像信号をほぼリアルタイムで解析して映像内の物体の動きがあるか否かを検知して判断し（ステップＳ２０５）、動きがあると判断された映像にはフラグを付加して、後の処理において識別可能な映像データに変換した後にパターン認識装置１０５に入力する。また、ステップＳ２０５にて動きがないと判断された映像にはフラグを付加せずに処理を終了する。
【００３２】
上記のステップＳ２０５における処理は、ＨＤＤ１１３などの記録デバイスに蓄積された大量の映像データから、ユーザーが目的とする映像または映像の物体を効率よく検索するために、検索の対象物として可能性の低い映像データ、特に動きのない映像データを除外している。例えば、カメラ１００によって撮影された映像のうち、背景、建造物、長時間駐車している自動車など動きに変化のない映像を除外して映像の検索の対象としないことによって、データ量の削減や、後の処理（例えば、ステップＳ２０６に代表されるパターン判別処理、ステップＳ２０８に代表されるパターン格納処理）におけるＣＰＵ１０８などの処理負担を軽減させることができ、映像検索全体の効率を向上させることが可能となる。
【００３３】
ステップＳ２０５にて動きのある映像であると判断されたデジタル映像信号は、パターン認識装置１０５に入力される。パターン認識装置１０５（映像特徴抽出手段）は、データ制御装置１０３にて時刻情報を含む管理情報が付加され（ステップＳ２０２）、動き検知装置１０４にて動き情報などのフラグが付加された（ステップＳ２０５）デジタル映像信号に対して、パターンテーブル格納部１０９にて格納されている映像パターンフォーマット（例えば、ステップＳ２０７の形状データテーブル、ステップＳ２１０の色データテーブル、ステップＳ２１３の人物データテーブルなど）を参照して照合することによって、映像内の物体の判別を行う（例えば、ステップＳ２０６の形状判別、ステップＳ２０９の色判別、ステップＳ２１２の人物判別など）。すなわち、パターン認識装置１０５は、パターンテーブル格納部１０９に格納された映像バターンフォーマットに基づいて、動き検知装置１０４にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を映像パターン（特徴データ）として抽出する。
【００３４】
ステップＳ２０６の形状判別、ステップＳ２０９の色判別、ステップＳ２１２の人物判別などの映像パターンの判別処理は、それぞれが並行して同時に処理される。パターンが判別された映像データ（映像パターンデータ）は、一旦、映像パターンごとにＲＡＭ１１１に格納される（例えば、ステップＳ２０８では形状データの格納、ステップＳ２１１では色データの格納、ステップＳ２１４では人物データの格納）。なお、パターンテーブル格納部１０９に格納される映像パターンは、形状、色、人物に限らず、映像内の物体の特徴を示すものであれば如何なるものであってもよい。
【００３５】
パターンテーブル格納部１０９に格納される映像パターンとは、例えば、形状を判別する場合は「丸」、「三角」、「四角」など、色を判別する場合は「赤」、「青」、「白」など、人物を判別する場合は「男性」、「女性」、「太い」、「細い」など、物体を判別する場合は「自動車」、「トラック」、「自転車」などであり、事件発生時などにカメラ１００によって撮影された映像に対して、犯人の特定など事件解決に有力な情報になり得る映像および映像内の物体についての特徴を予めパターン化してパターンテーブル格納部１０９に格納しておく。
【００３６】
次に、パターン認識装置１０５にてパターンの判別が行われてＲＡＭ１１１に格納された映像パターンデータを用いて、ユーザーが目的とする映像または映像内の物体を検索しやすくするためのメタデータを生成する処理について説明する。
【００３７】
パターン認識装置１０５は、映像記録再生装置１０１がカメラ１００によって撮影された映像をＨＤＤ１１３に記録中に、ほぼリアルタイムで各パターン同時にパターンの判別を行っており（例えば、ステップＳ２０６、ステップＳ２０９、ステップＳ２１２）、判別した映像パターンはＲＡＭ１１１に格納されている（例えば、ステップＳ２０８、ステップＳ２１１、ステップＳ２１４）。しかし、ＲＡＭ１１１に格納された映像パターンデータは映像パターンごとに分類されているものの、複数のカメラによって撮影された映像データから抽出された映像パターンデータは大量にあるため、このような状態でユーザーが目的とする映像を検索することは効率が悪く非常に多くの時間を要することになる。
【００３８】
図３は、本発明の実施形態１によるメタデータ生成の処理を示すフローチャートであり、ＲＡＭ１１１に格納した映像パターンデータからメタデータを生成する処理を示したものである。図３に示すメタデータの生成処理は、ＣＰＵ１０８の処理負荷に合わせて本来の記録再生処理が損なわれないように制御されて、ＣＰＵ１０８の処理能力に余裕がある範囲で実施されるものとする。
【００３９】
メタデータ生成装置１０６は、メタデータ整理装置１１４を用いてメタデータの生成を行う。ＲＡＭ１１１に格納された大量の映像パターンデータ（特徴データ）は、メタデータ整理装置１１４によって整理される（ステップＳ３００）。整理方法としては、各映像情報および映像パターンの組み合わせを分析して不要なパターンや不要な組み合わせを削除し、メタデータ量の削減および後処理の物体のイメージ化処理（ステップＳ３０１）での効率の向上を図る方法がある。
【００４０】
メタデータ生成装置１０６は、メタデータ整理装置１１４にて整理された映像パターン（特徴データ）に基づいて物体のイメージを構築する物体イメージ構築手段（図示せず）と、物体イメージ構築手段にて構築された物体のイメージをキーワードに変換するキーワード変換手段（図示せず）とを備えている。また、メタデータ整理装置１１４は、キーワード変換手段にて変換したキーワードを任意の情報ごとに整理するキーワード整理手段（図示せず）を備えている。
【００４１】
ステップＳ３００にて整理された映像パターンデータは、ユーザーが目的とする物体映像の検索をしやすくするために、物体イメージ構築手段によって物体のイメージが構築（イメージ化）され（ステップＳ３０１、ステップＳ３０３）、キーワード変換手段にて物体のイメージをキーワードに変換（キーワード化）され（ステップＳ３０２、ステップＳ３０４）、メタデータとして生成される。例えば、色判別で「赤」、物体判別で「トラック」、大きさ判別で「大」という映像パターンの組み合わせの場合は「赤い大きなトラック」となるが、実際には「消防自動車」であると予想されるため、対象物を「消防自動車」として物体イメージし（ステップＳ３０１）、「消防自動車」とキーワード化される（ステップＳ３０２）。
【００４２】
なお、実際に検索操作を行うときには、「消防自動車」と入力するほかに、「赤い大きなトラック」や「大きな赤いトラック」などとキーワードを入力してもよい。また、上記では物体について説明したが、人物についても同様に人物イメージして（ステップＳ３０３）、キーワード化する（ステップＳ３０４）。
【００４３】
ステップＳ３０２およびステップＳ３０４にてキーワード化されたメタデータは、時刻情報、カメラ番号、ＨＤＤ１１３における映像記録位置情報などを保有しており、検索の時間短縮および検索精度を向上させるためには、それぞれの情報ごとに整理した状態で格納（蓄積）しておく必要がある。メタデータは、ＣＰＵ１０８の制御によって、メタデータ整理装置１１４（キーワード整理手段）において、五十音順またはアルファベット順にソートされる（ステップＳ３０５）。そして、時刻情報、カメラ番号、映像記録位置情報などごとに整理されて（ステップＳ３０６）、ＨＤＤ１１３（メタデータ蓄積手段）に記録して蓄積される（ステップＳ３０７）。ＨＤＤ１１３に蓄積されたメタデータは、ＣＰＵ１０８によって管理されている。
【００４４】
次に、キーワード入力による映像検索について図４および図５を用いて説明する。
【００４５】
図４は、本発明の実施形態１による映像検索の処理を示すフローチャートである。また、図５は、検索画面の一例を示す図であり、検索結果を表示部（表示手段、図示せず）にリスト表示している。
【００４６】
検索入力部１１２において、図５に示すキーワード入力箇所にユーザーが任意の自然な言葉（例えば、「髪の長い女性」）を入力すると（ステップＳ４００）、検索入力部１１２からＣＰＵ１０８に入力情報が伝達される。ＣＰＵ１０８（メタデータ照合検索手段）は、「髪の長い女性」というキーワード（検索情報）から、検索の対象物が人物であり、髪が長いことなどの特徴を有することを解析し（ステップＳ４０１）、解析結果に基づいて、ＨＤＤ１１３に格納されている人物のメタデータ全てと照合し、入力したキーワードと一致するメタデータの検索処理を行う（ステップＳ４０２）。検索の結果、入力したキーワードと一致するメタデータが見つかると（ステップＳ４０４）、図５に示すように、入力されたキーワードに対応する映像の時刻および撮影されたカメラ番号（ｃｈ）をリスト表示する（ステップＳ４０４）。
【００４７】
なお、図５において、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００４８】
以上のことから、本実施形態１では、動き検知装置１０４によって映像内の物体に動きがあるか否かを検知して、動きがあると判断された映像に対してのみメタデータを生成し、また、生成したメタデータに基づいてキーワードを生成することによって、映像の検索時間を短縮し、検索精度を向上させることが可能となる。
【００４９】
〈実施形態２〉
実施形態１では、映像や物体などの特徴のパターン（映像パターン）を、映像記録再生装置１０１のファームウェアの開発段階において予め設定してパターンテーブル格納部１０９に格納していたが、本実施形態２では、過去にカメラ１００によって撮影された映像などを、ユーザーの用途に応じて任意にパターン化を行ってパターンテーブル格納部１０９に格納することを特徴としている。すなわち、本実施形態２によるパターンテーブル格納部１０９は、ＨＤＤ１１３に蓄積された記録映像内の物体の特徴をパターン化して映像パターンフォーマットとして格納することを特徴としている。その他の構成および動作は、実施形態１と同様であるため、ここでは説明を省略する。
【００５０】
図６は、本発明の実施形態２による過去に記録した映像の映像パターンをパターンテーブル格納部１０９への登録の処理を示すフローチャートである。図６において、カメラ１００によって過去に撮影された映像はＨＤＤ１１３に蓄積されており、当該蓄積された映像には対象物となる犯人などの映像が記録されているものとする。例えば、警察官などのユーザーは、犯人の行動パターンや足取りなどをさらに捜査するために、犯人の映像が他の時刻、他のカメラ、他の場所などにて撮影されていないかを確認することが予想される。そこで、過去にカメラ１００によって撮影されてＨＤＤ１１３に蓄積された映像データの中から、実施形態１による映像検索または従来の検索方法である時刻検索などによって映像検索を行い（ステップＳ６００）、目的の映像（犯人が写っている映像など、犯人特定の手掛かりとなる映像）を最低１シーン選択する（ステップＳ６０１）。選択した映像に対してユーザーは名前などのキーワードを入力し（ステップＳ６０２）、入力したキーワードは選択した映像のキーワードとして、ＣＰＵ１０８の制御によってキーワード化されて、映像パターンの一つとして登録される（ステップＳ６０３）。登録された映像パターンは、パターンテーブル格納部１０９に格納される（ステップＳ６０４）。
【００５１】
映像検索時の操作としては、実施形態１と同様に、図５に示すキーワード入力箇所に登録したキーワードを入力することによって対象物の検索処理が行われる。検索の結果は、図５に示すように、対象物の時刻とカメラ番号がリスト表示されるようにしてもよい。また、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００５２】
以上のことから、本実施形態２では、実施形態１の効果に加えて、過去にカメラ１００によって撮影されてＨＤＤ１１３に蓄積された映像内の物体の特徴をパターン化して映像パターンフォーマットとしてパターンテーブル格納部１０９に格納することが可能となる。
【００５３】
なお、本実施形態２では、過去にカメラ１００によって撮影されてＨＤＤ１１３に蓄積された映像について説明したが、カメラ１００によって撮影された写真に対しても、上記と同様の処理を行うことによって同様の効果が得られる。
【００５４】
〈実施形態３〉
図７は、本発明の実施形態３による映像記録再生装置１０１の構成を示すブロック図である。また、図８は、本発明の実施形態３によるパターンテーブル格納部１０９への登録処理を示すブロック図である。本実施形態３では、スキャナ７００を備えており、写真などの画像をスキャナ７００で取得し、取得した画像に対してユーザーの用途に応じて任意にパターン化を行ってパターンテーブル格納部１０９に格納することを特徴としている。すなわち、本実施形態２による映像記録再生装置１０１は、画像を取得するスキャナ７００（画像取得手段）を備え、パターンテーブル格納装置１０９は、スキャナ７００にて取得された画像の特徴をパターン化して映像パターンフォーマットとして格納することを特徴としている。その他の構成および動作は、実施形態１または２と同様であるため、ここでは説明を省略する。
【００５５】
図７および図８に示すように、スキャナ７００は、ＵＳＢ装置７０１を介して映像記録再生装置１０１に接続されている。スキャナ７００に装着された写真などの画像は、ＵＳＢ装置７０１を介して映像記録再生装置１０１に取り込まれる（ステップＳ８００）。
【００５６】
取得した画像に対してユーザーは名前などのキーワードを入力し（ステップＳ８０１）、入力したキーワードは取得した画像のキーワードとして、ＣＰＵ１０８の制御によってキーワード化されて、画像パターンの一つとして登録される（ステップＳ８０２）。登録された画像パターンは、パターンテーブル格納部１０９に格納される（ステップＳ８０３）。なお、スキャナ７００は、市販のものであってもよい。
【００５７】
映像検索時の操作としては、実施形態１と同様に、図５に示すキーワード入力箇所に登録したキーワードを入力することによって対象物の検索処理が行われる。検索の結果は、図５に示すように、対象物の時刻とカメラ番号がリスト表示されるようにしてもよい。また、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００５８】
以上のことから、本実施形態３では、実施形態１または２の効果に加えて、スキャナ７００によって取得した画像の特徴をパターン化してパターンテーブル格納部１０９に格納することが可能となる。
【００５９】
なお、本実施形態３では、スキャナ７００によって取得した画像について説明したが、過去にスキャナ７００によって取得した画像に対しても実施形態２と同様の処理を行うことで画像の特徴をパターン化してパターンテーブル格納部１０９に格納することが可能である。
【００６０】
〈実施形態４〉
図９は、本発明の実施形態４による検索入力部１１２に表示される検索画面の一例を示す図である。図９に示すように、本実施形態４では、検索情報のそれぞれをプルダウンメニューで表示して選択することを特徴としている。その他の構成および動作は、実施形態１〜３のいずれかと同様であるため、ここでは説明を省略する。
【００６１】
実施形態１〜３では、映像検索時に任意のキーワードを入力していたが、本実施形態４では、映像に関する様々な特徴をプルダウンメニューから選択して入力する。例えば、「女性が運転する赤い自動車」の映像を検索する場合において、ユーザーは、図９に示すプルダウンメニューから、「女」、「赤」、「自動車」を選択して入力することによって検索操作を行う。
【００６２】
検索の結果は、図９に示すように、対象物の時刻とカメラ番号がリスト表示される。なお、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００６３】
以上のことから、本実施形態４では、実施形態１〜３のいずれかの効果に加えて、検索時に検索情報プルダウンメニューから選択することができる。
【符号の説明】
【００６４】
１００ カメラ、１０１ 映像記録再生装置、１０２ Ａ／Ｄ変換装置、１０３ データ制御装置、１０４ 動き検知装置、１０５ パターン認識装置、１０６ メタデータ生成装置、１０７ ＣＯＤＥＣ、１０８ ＣＰＵ、１０９ パターンテーブル格納部、１１０ ＦＬＡＳＨメモリ、１１１ ＲＡＭ、１１２ 検索入力部、１１３ ＨＤＤ、１１４ メタデータ整理装置、７００ スキャナ、７０１ ＵＳＢ装置。
【技術分野】
【０００１】
本発明は、映像記録再生装置に関し、特に、監視用途に設置された複数のカメラによって撮影された映像を記録して蓄積し再生するものにおいて、当該蓄積された映像から所望の映像を検索する機能を有する映像記録再生装置に関する。
【背景技術】
【０００２】
一般的に、監視用途の映像記録再生装置は、複数のカメラによって撮影された映像データを長期間保存している。近年では、カメラによって撮影された映像を、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ハードディスクドライブ）などの記録デバイスに蓄積し、蓄積された映像を検索・再生する映像記録再生装置が多く用いられている。監視用途のカメラの設置台数は増加傾向にあり、また、ＨＤＤなどの記録デバイスの高容量化に伴って、映像データの蓄積量はますます増加している。従って、記録デバイスに大量に蓄積された映像データの中からユーザーが目的とする映像を検索する場合において、従来の検索方法の一つである時刻指定のみの検索では、情報が少なすぎて検索に多くの時間を必要としてしまう。
【０００３】
上記の対策として、映像検索を行う映像検索システムにおいて、カメラによって撮影した映像から生成したメタデータを、過去の検索履歴に基づいて検索に必要なデータ項目だけを抽出したメタデータに変更し、変更後のメタデータを用いて映像検索を行うことによって検索時間を短縮する方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１９５８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、メタデータの生成の際、画像特徴量として映像データに付随する各種属性情報、例えば、映像データのファイル名、画像サイズ、時刻情報、動き情報などを用いているが、ユーザーが映像検索を行う場合に、目的の映像に対する画像特徴量および映像情報の範囲が狭い（すなわち、検索情報が少ない）ため、ユーザーが目的とする映像を検索するために多くの時間を要するとともに、検索精度も期待できない。
【０００６】
また、生成したメタデータを、過去の検索履歴等に基づいて必要なデータ項目だけを抽出したメタデータに変更し、変更後のメタデータを用いて映像検索を行うことによって検索効率を向上させているが、元の映像情報量が少ない（変更前のメタデータの生成に用いた映像情報量が少ない）ため、大幅な検索効率の向上は望めないと考えられる。
【０００７】
さらに、前述の通り、カメラの設置台数の増加傾向および記録デバイスの高容量化に伴って、映像データおよびメタデータの蓄積量はますます増加するため、各々のメタデータの参照に要する時間が長くなり、結果的に検索時間が長くなってしまう。この対策としては、ハイパフォーマンスのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を用いたシステムの構築や、ハイパフォーマンスのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）を搭載した映像記録再生装置が必要となり、装置およびシステムの規模が大きくなって費用がかかるという問題があった。
【０００８】
一方、ユーザー（例えば、監視者、警察官など）が目的とする映像を検索する場合において、映像の検索条件（例えば、映像信号の属性や対象物の特徴など）は、蓄積されているメタデータのデータ量に比べて極めて少ないと予想される。これは、一般的に何らかの事件が発生した場合、犯人または不審者を特定するために、犯人（例えば、性別、顔、背格好、服装など）または犯人が逃走に用いた自動車（例えば、車種、色など）などが撮影された映像を、できるだけ早く検索したいという要望が背景にあるためである。
【０００９】
しかし、検索対象物および検索条件の範囲を絞る（狭くする）ことによって、映像のメタデータとして蓄積されているデータ量およびデータの条件（パラメータ）を少なくすると、検索時間は早くなるが、ユーザーが目的とする映像にたどり着けない（目的とする映像が見つからない）可能性が増えてしまう。
【００１０】
上記課題の対策としては、必要な情報だけを含むデータ量が少ない検索用のメタデータを生成し、当該メタデータを参照して記録デバイスに蓄積した映像データの検索を行うようにすれば、１つのメタデータの参照に要する時間を短縮することができ、迅速かつ高精度な映像検索を行うことができると期待される。
【００１１】
本発明は、これらの問題を解決するためになされたものであり、映像の検索時間を短縮し、検索精度を向上させることが可能な映像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明による映像記録再生装置は、複数のカメラによって撮影された映像を記録して蓄積し、当該蓄積された映像を再生する映像記録再生装置であって、映像検索機能を有し、複数のカメラによって撮影されたアナログ映像信号を入力する映像入力手段と、映像入力手段に入力されたアナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換手段にて変換されたデジタル映像信号に対して映像の記録・再生の管理に必要な管理情報を付加する管理情報付加手段と、管理情報が付加されたデジタル映像信号を記録映像として蓄積する映像蓄積手段と、管理情報が付加されたデジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、パターンテーブル格納手段に格納された物体パターンフォーマットに基づいて、動き検知手段にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、映像特徴抽出手段にて抽出された特徴データを特徴ごとに格納するデータ格納手段と、データ格納手段に格納された特徴データを整理する特徴データ整理手段と、特徴データ整理手段にて整理された特徴データを、デジタル映像信号のメタデータとして記録して蓄積するメタデータ蓄積手段と、記録映像の検索時に、特徴データに含まれる任意の検索情報を入力する検索入力手段と、検索入力手段に入力された検索情報と、メタデータ蓄積手段に蓄積されたメタデータとを照合し、検索情報と一致するメタデータの検索処理を行うメタデータ照合検索手段と、メタデータ照合検索手段での検索結果を表示する表示手段とを備える。
【発明の効果】
【００１３】
本発明によると、管理情報が付加されたデジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、パターンテーブル格納手段に格納された物体パターンフォーマットに基づいて、動き検知手段にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、映像特徴抽出手段にて抽出された特徴データを特徴ごとに格納するデータ格納手段と、データ格納手段に格納された特徴データを整理する特徴データ整理手段と、特徴データ整理手段にて整理された特徴データを、デジタル映像信号のメタデータとして記録して蓄積するメタデータ蓄積手段と、記録映像の検索時に、特徴データに含まれる任意の検索情報を入力する検索入力手段と、検索入力手段に入力された検索情報と、メタデータ蓄積手段に蓄積されたメタデータとを照合し、検索情報と一致するメタデータの検索処理を行うメタデータ照合検索手段とを備えるため、映像の検索時間を短縮し、検索精度を向上させることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１による映像記録再生装置の構成を示すブロック図である。
【図２】本発明の実施形態１によるパターン認識の処理を示すフローチャートである。
【図３】本発明の実施形態１によるメタデータ生成の処理を示すフローチャートである。
【図４】本発明の実施形態１による映像検索の処理を示すフローチャートである。
【図５】本発明の実施形態１による検索画面の一例を示す図である。
【図６】本発明の実施形態２によるパターンテーブル格納部への登録の処理を示すフローチャートである。
【図７】本発明の実施形態３による映像記録再生装置の構成を示すブロック図である。
【図８】本発明の実施形態３によるパターンテーブル格納部への登録処理を示すフローチャートである。
【図９】本発明の実施形態４による検索画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態について、図面に基づいて以下に説明する。
【００１６】
〈実施形態１〉
初めに、本発明の実施形態１による映像記録再生装置１０１を構成する各構成要素について説明する。
【００１７】
図１は、本発明の実施形態１による映像記録再生装置１０１の構成を示すブロック図である。本実施形態による映像記録再生装置１０１は、複数のカメラによって撮影された映像を記録して蓄積し、当該蓄積された映像を再生するとともに、映像検索機能を有している。
【００１８】
カメラ１００は、各種の映像を撮影する機能を有している。カメラ１００によって撮影された映像は、アナログ映像信号として映像記録再生装置１０１の入力部（映像入力手段、図示せず）から入力される。監視用途に設置されるカメラの台数は、一般的に、１台の映像記録再生装置１０１に対して８〜１６台程度である。カメラ１００から映像記録再生装置１０１に入力されたアナログ映像信号は、Ａ／Ｄ変換装置１０２（Ａ／Ｄ変換手段）に入力され、Ａ／Ｄ変換装置１０２にてアナログ映像信号がデジタル映像信号に変換される。
【００１９】
Ａ／Ｄ変換装置１０２にて変換されたデジタル映像信号は、データ制御装置１０３に入力される。データ制御装置１０３（管理情報付加手段）は、ＣＰＵ１０８の制御によって、時刻情報、記録レート（１秒間の記録フレーム数）、画質、画像サイズ、カメラ情報など、映像の記録・再生の管理に必要な管理情報をデジタル映像信号に付加して記録映像信号とし、当該記録映像信号をＣＯＤＥＣ１０７に入力する。ＣＯＤＥＣ１０７は、デジタル映像信号を圧縮・伸張する映像圧縮伸張装置であり、ＣＰＵ１０８およびデータ制御装置１０３の制御によって、記録映像信号を圧縮してＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）信号に変換する。ＣＯＤＥＣ１０７にて圧縮された記録映像信号は、ＨＤＤ１１３（映像蓄積手段）に記録して蓄積される。なお、本実施形態では、記録映像信号をＨＤＤ１１３に記録しているが、記録が可能であれば如何なるものであってもよい。
【００２０】
ＣＰＵ１０８は、映像記録再生装置１０１全体の制御や、各種情報の管理を行う。具体的には、記録・再生やデータ転送などのためのデータ転送制御、ＣＯＤＥＣ１０７、各種インターフェイスの制御、時計機能管理、データ管理など多岐にわたる。また、データ制御装置１０３にてデジタル映像信号に付加される管理情報をＦＬＡＳＨメモリ１１０などに格納しながら常に管理している。
【００２１】
動き検知装置１０４（動き検知手段）は、データ制御装置１０３にて管理情報が付加されたデジタル映像信号に対して、当該デジタル映像信号の映像内の物体に動きがあるか否かを検知して判断し、判断の結果、動きが検知されたデジタル映像信号にはフラグ（動き検知フラグ）を付加するなどして、後の処理において識別可能なデジタル映像信号に変換した後にパターン認識装置１０５に入力する。
【００２２】
パターン認識装置１０５（映像特徴抽出手段）は、データ制御装置１０３にて時刻情報を含む管理情報が付加され、動き検知装置１０４にて動き情報（動き検知フラグ）などが付加されたデジタル映像信号が入力されると、動きがある映像（動き検知フラグが付加されている映像）の中の映像と、パターンテーブル格納部１０９（パターンテーブル格納手段）に格納されている映像（物体）の特徴をパターン化した映像（物体）パターンフォーマット（後に詳述する）とを照合することによって、映像内の物体のパターンを判別する。パターン判別された映像データは、映像パターンデータ（特徴データ）として、一旦、映像パターン（特徴）ごとに分類してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１１（データ格納手段）などのメモリに格納される。
【００２３】
メタデータ生成装置１０６は、ＲＡＭ１１１に格納された映像パターンデータに対して、それぞれの映像パターンデータ間の関連性などを分析し、映像内の物体のイメージおよび映像が保有する情報に基づいて、映像内の物体を特定（例えば、髪の長い女性など）してキーワード化（例えば、“髪の長い女性”とキーワード化）し、映像メタデータの基本を生成する。
【００２４】
メタデータ整理装置１１４（特徴データ整理手段）は、ＲＡＭ１１１に格納された大量の映像パターンデータ（特徴データ）に対して、それぞれの映像パターンおよび映像パターンの組み合わせを解析し、不要なパターンや不要な組み合わせを削除してメタデータの削減・整理を行う。また、メタデータ生成装置１０６にて生成された映像メタデータの基本に対して、時系列、五十音、アルファベットなどにソートするなどの整理を行う。このような整理を行うことによって、映像の検索時間の短縮や検索精度の向上を図っている。
【００２５】
ＦＬＡＳＨメモリ１１０は、ＣＰＵ１０８で用いられるプログラム（ソフトウェア）、データ制御装置１０３にて付加される管理情報、ユーザーによって設定される各種メニュー設定情報（カメラ数、画質、記録レートなど）、予約録画設定情報など、映像記録再生装置に必要な情報を格納している。なお、ＦＬＡＳＨメモリ１１０に限らず、他のメモリであってもよい。
【００２６】
検索入力部１１２（検索入力手段）は、ユーザーが目的とする映像を検索する場合に、ユーザーが任意に入力したキーワード情報や時刻情報などの検索情報（映像パターンデータに含まれる情報）をＣＰＵ１０８に伝達する。
【００２７】
次に、カメラ１００から映像記録再生装置１０１に入力された映像に対して、映像内の物体の特徴などのパターンを認識（判別）する処理について説明する。
【００２８】
図２は、本発明の実施形態１によるパターン認識の処理を示すフローチャートである。図２に示すように、カメラ１００によって撮影されたアナログ映像信号は映像記録再生装置１０１に入力される（ステップＳ２００）。入力されたアナログ映像信号は、Ａ／Ｄ変換装置１０２にてデジタル映像信号にＡ／Ｄ変換され（ステップＳ２０１）、データ制御装置１０３に入力される。
【００２９】
データ制御装置１０３に入力されたデジタル映像信号は、ＣＰＵ１０８の制御によって、時刻情報（タイムスタンプ）などを含む管理情報が付加され（ステップＳ２０２）、動き検知装置１０４に入力される。同時に、管理情報が付加されたデジタル映像信号は、ＣＰＵ１０８の制御によって記録映像信号としてＣＯＤＥＣ１０７に入力される。
【００３０】
ＣＯＤＥＣ１０７は、ステップＳ２０２にて管理情報が付加されたデジタル映像信号が入力されると、ＣＰＵ１０８およびデータ制御装置１０３による制御（例えば、画質（圧縮率）、記録レートなど）によって、記録用のデジタル映像信号（記録映像信号）を圧縮してＭＰＥＧ信号に変換し（ステップＳ２０３）、変換した記録映像信号はＨＤＤ１１３に記録して蓄積される（ステップＳ２０４）。
【００３１】
一方、動き検知装置１０４は、ステップＳ２０２にて管理情報が付加されたデジタル映像信号が入力されると、動きのある映像または動きのある物体が撮影されている映像のみをピックアップするために、入力されたデジタル映像信号をほぼリアルタイムで解析して映像内の物体の動きがあるか否かを検知して判断し（ステップＳ２０５）、動きがあると判断された映像にはフラグを付加して、後の処理において識別可能な映像データに変換した後にパターン認識装置１０５に入力する。また、ステップＳ２０５にて動きがないと判断された映像にはフラグを付加せずに処理を終了する。
【００３２】
上記のステップＳ２０５における処理は、ＨＤＤ１１３などの記録デバイスに蓄積された大量の映像データから、ユーザーが目的とする映像または映像の物体を効率よく検索するために、検索の対象物として可能性の低い映像データ、特に動きのない映像データを除外している。例えば、カメラ１００によって撮影された映像のうち、背景、建造物、長時間駐車している自動車など動きに変化のない映像を除外して映像の検索の対象としないことによって、データ量の削減や、後の処理（例えば、ステップＳ２０６に代表されるパターン判別処理、ステップＳ２０８に代表されるパターン格納処理）におけるＣＰＵ１０８などの処理負担を軽減させることができ、映像検索全体の効率を向上させることが可能となる。
【００３３】
ステップＳ２０５にて動きのある映像であると判断されたデジタル映像信号は、パターン認識装置１０５に入力される。パターン認識装置１０５（映像特徴抽出手段）は、データ制御装置１０３にて時刻情報を含む管理情報が付加され（ステップＳ２０２）、動き検知装置１０４にて動き情報などのフラグが付加された（ステップＳ２０５）デジタル映像信号に対して、パターンテーブル格納部１０９にて格納されている映像パターンフォーマット（例えば、ステップＳ２０７の形状データテーブル、ステップＳ２１０の色データテーブル、ステップＳ２１３の人物データテーブルなど）を参照して照合することによって、映像内の物体の判別を行う（例えば、ステップＳ２０６の形状判別、ステップＳ２０９の色判別、ステップＳ２１２の人物判別など）。すなわち、パターン認識装置１０５は、パターンテーブル格納部１０９に格納された映像バターンフォーマットに基づいて、動き検知装置１０４にて動きがあると検知されたデジタル映像信号の映像内の物体の特徴を映像パターン（特徴データ）として抽出する。
【００３４】
ステップＳ２０６の形状判別、ステップＳ２０９の色判別、ステップＳ２１２の人物判別などの映像パターンの判別処理は、それぞれが並行して同時に処理される。パターンが判別された映像データ（映像パターンデータ）は、一旦、映像パターンごとにＲＡＭ１１１に格納される（例えば、ステップＳ２０８では形状データの格納、ステップＳ２１１では色データの格納、ステップＳ２１４では人物データの格納）。なお、パターンテーブル格納部１０９に格納される映像パターンは、形状、色、人物に限らず、映像内の物体の特徴を示すものであれば如何なるものであってもよい。
【００３５】
パターンテーブル格納部１０９に格納される映像パターンとは、例えば、形状を判別する場合は「丸」、「三角」、「四角」など、色を判別する場合は「赤」、「青」、「白」など、人物を判別する場合は「男性」、「女性」、「太い」、「細い」など、物体を判別する場合は「自動車」、「トラック」、「自転車」などであり、事件発生時などにカメラ１００によって撮影された映像に対して、犯人の特定など事件解決に有力な情報になり得る映像および映像内の物体についての特徴を予めパターン化してパターンテーブル格納部１０９に格納しておく。
【００３６】
次に、パターン認識装置１０５にてパターンの判別が行われてＲＡＭ１１１に格納された映像パターンデータを用いて、ユーザーが目的とする映像または映像内の物体を検索しやすくするためのメタデータを生成する処理について説明する。
【００３７】
パターン認識装置１０５は、映像記録再生装置１０１がカメラ１００によって撮影された映像をＨＤＤ１１３に記録中に、ほぼリアルタイムで各パターン同時にパターンの判別を行っており（例えば、ステップＳ２０６、ステップＳ２０９、ステップＳ２１２）、判別した映像パターンはＲＡＭ１１１に格納されている（例えば、ステップＳ２０８、ステップＳ２１１、ステップＳ２１４）。しかし、ＲＡＭ１１１に格納された映像パターンデータは映像パターンごとに分類されているものの、複数のカメラによって撮影された映像データから抽出された映像パターンデータは大量にあるため、このような状態でユーザーが目的とする映像を検索することは効率が悪く非常に多くの時間を要することになる。
【００３８】
図３は、本発明の実施形態１によるメタデータ生成の処理を示すフローチャートであり、ＲＡＭ１１１に格納した映像パターンデータからメタデータを生成する処理を示したものである。図３に示すメタデータの生成処理は、ＣＰＵ１０８の処理負荷に合わせて本来の記録再生処理が損なわれないように制御されて、ＣＰＵ１０８の処理能力に余裕がある範囲で実施されるものとする。
【００３９】
メタデータ生成装置１０６は、メタデータ整理装置１１４を用いてメタデータの生成を行う。ＲＡＭ１１１に格納された大量の映像パターンデータ（特徴データ）は、メタデータ整理装置１１４によって整理される（ステップＳ３００）。整理方法としては、各映像情報および映像パターンの組み合わせを分析して不要なパターンや不要な組み合わせを削除し、メタデータ量の削減および後処理の物体のイメージ化処理（ステップＳ３０１）での効率の向上を図る方法がある。
【００４０】
メタデータ生成装置１０６は、メタデータ整理装置１１４にて整理された映像パターン（特徴データ）に基づいて物体のイメージを構築する物体イメージ構築手段（図示せず）と、物体イメージ構築手段にて構築された物体のイメージをキーワードに変換するキーワード変換手段（図示せず）とを備えている。また、メタデータ整理装置１１４は、キーワード変換手段にて変換したキーワードを任意の情報ごとに整理するキーワード整理手段（図示せず）を備えている。
【００４１】
ステップＳ３００にて整理された映像パターンデータは、ユーザーが目的とする物体映像の検索をしやすくするために、物体イメージ構築手段によって物体のイメージが構築（イメージ化）され（ステップＳ３０１、ステップＳ３０３）、キーワード変換手段にて物体のイメージをキーワードに変換（キーワード化）され（ステップＳ３０２、ステップＳ３０４）、メタデータとして生成される。例えば、色判別で「赤」、物体判別で「トラック」、大きさ判別で「大」という映像パターンの組み合わせの場合は「赤い大きなトラック」となるが、実際には「消防自動車」であると予想されるため、対象物を「消防自動車」として物体イメージし（ステップＳ３０１）、「消防自動車」とキーワード化される（ステップＳ３０２）。
【００４２】
なお、実際に検索操作を行うときには、「消防自動車」と入力するほかに、「赤い大きなトラック」や「大きな赤いトラック」などとキーワードを入力してもよい。また、上記では物体について説明したが、人物についても同様に人物イメージして（ステップＳ３０３）、キーワード化する（ステップＳ３０４）。
【００４３】
ステップＳ３０２およびステップＳ３０４にてキーワード化されたメタデータは、時刻情報、カメラ番号、ＨＤＤ１１３における映像記録位置情報などを保有しており、検索の時間短縮および検索精度を向上させるためには、それぞれの情報ごとに整理した状態で格納（蓄積）しておく必要がある。メタデータは、ＣＰＵ１０８の制御によって、メタデータ整理装置１１４（キーワード整理手段）において、五十音順またはアルファベット順にソートされる（ステップＳ３０５）。そして、時刻情報、カメラ番号、映像記録位置情報などごとに整理されて（ステップＳ３０６）、ＨＤＤ１１３（メタデータ蓄積手段）に記録して蓄積される（ステップＳ３０７）。ＨＤＤ１１３に蓄積されたメタデータは、ＣＰＵ１０８によって管理されている。
【００４４】
次に、キーワード入力による映像検索について図４および図５を用いて説明する。
【００４５】
図４は、本発明の実施形態１による映像検索の処理を示すフローチャートである。また、図５は、検索画面の一例を示す図であり、検索結果を表示部（表示手段、図示せず）にリスト表示している。
【００４６】
検索入力部１１２において、図５に示すキーワード入力箇所にユーザーが任意の自然な言葉（例えば、「髪の長い女性」）を入力すると（ステップＳ４００）、検索入力部１１２からＣＰＵ１０８に入力情報が伝達される。ＣＰＵ１０８（メタデータ照合検索手段）は、「髪の長い女性」というキーワード（検索情報）から、検索の対象物が人物であり、髪が長いことなどの特徴を有することを解析し（ステップＳ４０１）、解析結果に基づいて、ＨＤＤ１１３に格納されている人物のメタデータ全てと照合し、入力したキーワードと一致するメタデータの検索処理を行う（ステップＳ４０２）。検索の結果、入力したキーワードと一致するメタデータが見つかると（ステップＳ４０４）、図５に示すように、入力されたキーワードに対応する映像の時刻および撮影されたカメラ番号（ｃｈ）をリスト表示する（ステップＳ４０４）。
【００４７】
なお、図５において、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００４８】
以上のことから、本実施形態１では、動き検知装置１０４によって映像内の物体に動きがあるか否かを検知して、動きがあると判断された映像に対してのみメタデータを生成し、また、生成したメタデータに基づいてキーワードを生成することによって、映像の検索時間を短縮し、検索精度を向上させることが可能となる。
【００４９】
〈実施形態２〉
実施形態１では、映像や物体などの特徴のパターン（映像パターン）を、映像記録再生装置１０１のファームウェアの開発段階において予め設定してパターンテーブル格納部１０９に格納していたが、本実施形態２では、過去にカメラ１００によって撮影された映像などを、ユーザーの用途に応じて任意にパターン化を行ってパターンテーブル格納部１０９に格納することを特徴としている。すなわち、本実施形態２によるパターンテーブル格納部１０９は、ＨＤＤ１１３に蓄積された記録映像内の物体の特徴をパターン化して映像パターンフォーマットとして格納することを特徴としている。その他の構成および動作は、実施形態１と同様であるため、ここでは説明を省略する。
【００５０】
図６は、本発明の実施形態２による過去に記録した映像の映像パターンをパターンテーブル格納部１０９への登録の処理を示すフローチャートである。図６において、カメラ１００によって過去に撮影された映像はＨＤＤ１１３に蓄積されており、当該蓄積された映像には対象物となる犯人などの映像が記録されているものとする。例えば、警察官などのユーザーは、犯人の行動パターンや足取りなどをさらに捜査するために、犯人の映像が他の時刻、他のカメラ、他の場所などにて撮影されていないかを確認することが予想される。そこで、過去にカメラ１００によって撮影されてＨＤＤ１１３に蓄積された映像データの中から、実施形態１による映像検索または従来の検索方法である時刻検索などによって映像検索を行い（ステップＳ６００）、目的の映像（犯人が写っている映像など、犯人特定の手掛かりとなる映像）を最低１シーン選択する（ステップＳ６０１）。選択した映像に対してユーザーは名前などのキーワードを入力し（ステップＳ６０２）、入力したキーワードは選択した映像のキーワードとして、ＣＰＵ１０８の制御によってキーワード化されて、映像パターンの一つとして登録される（ステップＳ６０３）。登録された映像パターンは、パターンテーブル格納部１０９に格納される（ステップＳ６０４）。
【００５１】
映像検索時の操作としては、実施形態１と同様に、図５に示すキーワード入力箇所に登録したキーワードを入力することによって対象物の検索処理が行われる。検索の結果は、図５に示すように、対象物の時刻とカメラ番号がリスト表示されるようにしてもよい。また、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００５２】
以上のことから、本実施形態２では、実施形態１の効果に加えて、過去にカメラ１００によって撮影されてＨＤＤ１１３に蓄積された映像内の物体の特徴をパターン化して映像パターンフォーマットとしてパターンテーブル格納部１０９に格納することが可能となる。
【００５３】
なお、本実施形態２では、過去にカメラ１００によって撮影されてＨＤＤ１１３に蓄積された映像について説明したが、カメラ１００によって撮影された写真に対しても、上記と同様の処理を行うことによって同様の効果が得られる。
【００５４】
〈実施形態３〉
図７は、本発明の実施形態３による映像記録再生装置１０１の構成を示すブロック図である。また、図８は、本発明の実施形態３によるパターンテーブル格納部１０９への登録処理を示すブロック図である。本実施形態３では、スキャナ７００を備えており、写真などの画像をスキャナ７００で取得し、取得した画像に対してユーザーの用途に応じて任意にパターン化を行ってパターンテーブル格納部１０９に格納することを特徴としている。すなわち、本実施形態２による映像記録再生装置１０１は、画像を取得するスキャナ７００（画像取得手段）を備え、パターンテーブル格納装置１０９は、スキャナ７００にて取得された画像の特徴をパターン化して映像パターンフォーマットとして格納することを特徴としている。その他の構成および動作は、実施形態１または２と同様であるため、ここでは説明を省略する。
【００５５】
図７および図８に示すように、スキャナ７００は、ＵＳＢ装置７０１を介して映像記録再生装置１０１に接続されている。スキャナ７００に装着された写真などの画像は、ＵＳＢ装置７０１を介して映像記録再生装置１０１に取り込まれる（ステップＳ８００）。
【００５６】
取得した画像に対してユーザーは名前などのキーワードを入力し（ステップＳ８０１）、入力したキーワードは取得した画像のキーワードとして、ＣＰＵ１０８の制御によってキーワード化されて、画像パターンの一つとして登録される（ステップＳ８０２）。登録された画像パターンは、パターンテーブル格納部１０９に格納される（ステップＳ８０３）。なお、スキャナ７００は、市販のものであってもよい。
【００５７】
映像検索時の操作としては、実施形態１と同様に、図５に示すキーワード入力箇所に登録したキーワードを入力することによって対象物の検索処理が行われる。検索の結果は、図５に示すように、対象物の時刻とカメラ番号がリスト表示されるようにしてもよい。また、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００５８】
以上のことから、本実施形態３では、実施形態１または２の効果に加えて、スキャナ７００によって取得した画像の特徴をパターン化してパターンテーブル格納部１０９に格納することが可能となる。
【００５９】
なお、本実施形態３では、スキャナ７００によって取得した画像について説明したが、過去にスキャナ７００によって取得した画像に対しても実施形態２と同様の処理を行うことで画像の特徴をパターン化してパターンテーブル格納部１０９に格納することが可能である。
【００６０】
〈実施形態４〉
図９は、本発明の実施形態４による検索入力部１１２に表示される検索画面の一例を示す図である。図９に示すように、本実施形態４では、検索情報のそれぞれをプルダウンメニューで表示して選択することを特徴としている。その他の構成および動作は、実施形態１〜３のいずれかと同様であるため、ここでは説明を省略する。
【００６１】
実施形態１〜３では、映像検索時に任意のキーワードを入力していたが、本実施形態４では、映像に関する様々な特徴をプルダウンメニューから選択して入力する。例えば、「女性が運転する赤い自動車」の映像を検索する場合において、ユーザーは、図９に示すプルダウンメニューから、「女」、「赤」、「自動車」を選択して入力することによって検索操作を行う。
【００６２】
検索の結果は、図９に示すように、対象物の時刻とカメラ番号がリスト表示される。なお、リスト表示された検索結果のうちの一つを選択すると、選択された映像を１／４画面に表示するようにしてもよい。
【００６３】
以上のことから、本実施形態４では、実施形態１〜３のいずれかの効果に加えて、検索時に検索情報プルダウンメニューから選択することができる。
【符号の説明】
【００６４】
１００ カメラ、１０１ 映像記録再生装置、１０２ Ａ／Ｄ変換装置、１０３ データ制御装置、１０４ 動き検知装置、１０５ パターン認識装置、１０６ メタデータ生成装置、１０７ ＣＯＤＥＣ、１０８ ＣＰＵ、１０９ パターンテーブル格納部、１１０ ＦＬＡＳＨメモリ、１１１ ＲＡＭ、１１２ 検索入力部、１１３ ＨＤＤ、１１４ メタデータ整理装置、７００ スキャナ、７０１ ＵＳＢ装置。
【特許請求の範囲】
【請求項１】
複数のカメラによって撮影された映像を記録して蓄積し、当該蓄積された映像を再生する映像記録再生装置であって、映像検索機能を有し、
前記複数のカメラによって撮影されたアナログ映像信号を入力する映像入力手段と、
前記映像入力手段に入力された前記アナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段にて変換された前記デジタル映像信号に対して映像の記録・再生の管理に必要な管理情報を付加する管理情報付加手段と、
前記管理情報が付加された前記デジタル映像信号を記録映像として蓄積する映像蓄積手段と、
前記管理情報が付加された前記デジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、
物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、
前記パターンテーブル格納手段に格納された前記物体パターンフォーマットに基づいて、前記動き検知手段にて動きがあると検知された前記デジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、
前記映像特徴抽出手段にて抽出された前記特徴データを特徴ごとに格納するデータ格納手段と、
前記データ格納手段に格納された前記特徴データを整理する特徴データ整理手段と、
前記特徴データ整理手段にて整理された前記特徴データを、前記デジタル映像信号のメタデータとして記録して蓄積するメタデータ蓄積手段と、
前記記録映像の検索時に、前記特徴データに含まれる任意の検索情報を入力する検索入力手段と、
前記検索入力手段に入力された前記検索情報と、前記メタデータ蓄積手段に蓄積された前記メタデータとを照合し、前記検索情報と一致する前記メタデータの検索処理を行うメタデータ照合検索手段と、
前記メタデータ照合検索手段での検索結果を表示する表示手段と、
を備える、映像記録再生装置。
【請求項２】
前記特徴データ整理手段にて整理された前記特徴データに基づいて、前記物体のイメージを構築する物体イメージ構築手段と、
前記物体イメージ構築手段にて構築された前記物体のイメージをキーワードに変換するキーワード変換手段と、
前記キーワード変換手段にて変換したキーワードを任意の情報ごとに整理するキーワード整理手段と、
をさらに備え、
前記メタデータ蓄積手段は、前記キーワード整理手段にて整理された前記キーワードをも、前記デジタル映像信号のメタデータとして蓄積し、
前記メタデータ照合検索手段は、前記検索入力手段に入力された前記キーワードを前記検索情報として前記検索処理を行うことを特徴とする、請求項１に記載の映像記録再生装置。
【請求項３】
前記パターンテーブル格納手段は、前記映像蓄積手段に蓄積された前記記録映像内の物体の特徴をパターン化して前記物体パターンフォーマットとして格納することを特徴とする、請求項１または２に記載の映像記録再生装置。
【請求項４】
画像を取得する画像取得手段をさらに備え、
前記パターンテーブル格納手段は、前記画像取得手段にて取得された前記画像の特徴をパターン化して前記物体パターンフォーマットとして格納することを特徴とする、請求項１ないし３のいずれかに記載の映像記録再生装置。
【請求項５】
前記検索入力手段は、前記検索情報のそれぞれをプルダウンメニューで表示して選択することを特徴とする、請求項１ないし４のいずれかに記載の映像記録再生装置。
【請求項１】
複数のカメラによって撮影された映像を記録して蓄積し、当該蓄積された映像を再生する映像記録再生装置であって、映像検索機能を有し、
前記複数のカメラによって撮影されたアナログ映像信号を入力する映像入力手段と、
前記映像入力手段に入力された前記アナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段にて変換された前記デジタル映像信号に対して映像の記録・再生の管理に必要な管理情報を付加する管理情報付加手段と、
前記管理情報が付加された前記デジタル映像信号を記録映像として蓄積する映像蓄積手段と、
前記管理情報が付加された前記デジタル映像信号の映像内の物体に動きがあるか否かを検知する動き検知手段と、
物体の特徴をパターン化した物体パターンフォーマットを格納するパターンテーブル格納手段と、
前記パターンテーブル格納手段に格納された前記物体パターンフォーマットに基づいて、前記動き検知手段にて動きがあると検知された前記デジタル映像信号の映像内の物体の特徴を特徴データとして抽出する映像特徴抽出手段と、
前記映像特徴抽出手段にて抽出された前記特徴データを特徴ごとに格納するデータ格納手段と、
前記データ格納手段に格納された前記特徴データを整理する特徴データ整理手段と、
前記特徴データ整理手段にて整理された前記特徴データを、前記デジタル映像信号のメタデータとして記録して蓄積するメタデータ蓄積手段と、
前記記録映像の検索時に、前記特徴データに含まれる任意の検索情報を入力する検索入力手段と、
前記検索入力手段に入力された前記検索情報と、前記メタデータ蓄積手段に蓄積された前記メタデータとを照合し、前記検索情報と一致する前記メタデータの検索処理を行うメタデータ照合検索手段と、
前記メタデータ照合検索手段での検索結果を表示する表示手段と、
を備える、映像記録再生装置。
【請求項２】
前記特徴データ整理手段にて整理された前記特徴データに基づいて、前記物体のイメージを構築する物体イメージ構築手段と、
前記物体イメージ構築手段にて構築された前記物体のイメージをキーワードに変換するキーワード変換手段と、
前記キーワード変換手段にて変換したキーワードを任意の情報ごとに整理するキーワード整理手段と、
をさらに備え、
前記メタデータ蓄積手段は、前記キーワード整理手段にて整理された前記キーワードをも、前記デジタル映像信号のメタデータとして蓄積し、
前記メタデータ照合検索手段は、前記検索入力手段に入力された前記キーワードを前記検索情報として前記検索処理を行うことを特徴とする、請求項１に記載の映像記録再生装置。
【請求項３】
前記パターンテーブル格納手段は、前記映像蓄積手段に蓄積された前記記録映像内の物体の特徴をパターン化して前記物体パターンフォーマットとして格納することを特徴とする、請求項１または２に記載の映像記録再生装置。
【請求項４】
画像を取得する画像取得手段をさらに備え、
前記パターンテーブル格納手段は、前記画像取得手段にて取得された前記画像の特徴をパターン化して前記物体パターンフォーマットとして格納することを特徴とする、請求項１ないし３のいずれかに記載の映像記録再生装置。
【請求項５】
前記検索入力手段は、前記検索情報のそれぞれをプルダウンメニューで表示して選択することを特徴とする、請求項１ないし４のいずれかに記載の映像記録再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２４４０４３（Ｐ２０１１−２４４０４３Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１１６９２（Ｐ２０１０−１１１６９２）
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]