映像データ管理装置及び方法及びプログラム
【課題】 映像に付与されているメタデータ（番組の出演者、ジャンルなど）に、特徴量解析したメタデータを追加して検索できるようにする。
【解決手段】 本発明は、映像データを監視し、インデクシングの対象となる映像データを指定し、また、関連情報を初期メタデータとして出力し、指定された映像データに対してインデクシングを行い、インデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、初期メタデータ並びに、インデクシングメタデータに基づいて、追加メタデータを生成し、生成された各データを、メタデータＤＢに格納し、入力された検索キーに基づいて、メタデータＤＢを検索すると共に、インターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する。
【解決手段】 本発明は、映像データを監視し、インデクシングの対象となる映像データを指定し、また、関連情報を初期メタデータとして出力し、指定された映像データに対してインデクシングを行い、インデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、初期メタデータ並びに、インデクシングメタデータに基づいて、追加メタデータを生成し、生成された各データを、メタデータＤＢに格納し、入力された検索キーに基づいて、メタデータＤＢを検索すると共に、インターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データ管理装置及び方法及びプログラムに係り、特に、パーソナルコンピュータ、ハードディスクレコーダ、または、セットトップボックス等の、映像データを記録することが可能なあらゆる装置において、映像データに関連する索引情報を自動生成し、また、映像データの管理、検索、及び閲覧を行うための映像データ管理装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
個人が所有する映像データの中から、所望の映像データを短時間に探したいという要求がある。例えば、録画、コピー、またはダウンロードの手段によって多くの映像データがディスクに保存されている状態において、映像を順次再生して内容を確認し、探す方法でなく、映像のシーンを静止画の一覧によって把握することにより探す方法や、テキスト検索によって求める映像ファイルを探したいという要求である。
【０００３】
この要求に対し、従来技術により以下の機能が提供されている。
【０００４】
（１）ファイル管理アプリケーション（Internet Explorer（登録商標）等）の機能によって映像データの一覧を表示する機能；
（２）ファイル名を対象とし映像データを検索する機能；
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術が提供する機能では、以下のような問題がある。
【０００６】
・現在一般に提供されているファイル管理アプリケーションの機能では、映像データの一覧表示の際、映像の先頭のシーンだけが表示される。このため、映像データの途中に含まれる内容の把握が困難となり、結果として、所望の映像データへの到達が困難になる。
【０００７】
・現在一般に提供されている映像データの検索機能では、ファイル名のみを対象としている。映像データの名称は、必ずしも映像の内容を表したものでなく、ユーザが映像データのファイル名でなく内容の一部を記憶している場合には、適切な検索キーを入力することができない場合があり、結果として所望の映像データへの到達が困難となる。
【０００８】
・現在一般に提供されている映像データの検索機能では、検索結果画面は映像データの一覧を示すのみである。このため、ユーザが一旦検索を行った後、別の検索キーを入力してもう一度検索を行いたいと考えた場合に、ユーザは新たな検索キーを自力で考案する必要が生じる。このため、結果として所望映像データへの到達が困難となる場合がある。
【０００９】
上記のように、従来の技術では、所望の映像データに到達する場合に困難が伴う。
【００１０】
本発明は、上記の点に鑑みなされたもので、所望する映像データへの到達が従来よりも容易となる映像データ管理装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
図１は、本発明の原理構成図である。
【００１２】
本発明（請求項１）は、映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理装置であって、
記憶手段２０中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段３１と、
映像データ監視手段３１で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段３２と、
インデクシング手段３２により得られたインデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、記憶手段２０に格納する映像データ一覧生成手段３３と、
映像データ監視手段３１から取得した初期メタデータ並びに、インデクシング手段３２から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段３４と、
初期メタデータ、インデクシングメタデータ、及び追加メタデータを、メタデータＤＢ５０に格納するメタデータＤＢ生成手段３５と、
入力された検索キーに基づいて、メタデータＤＢ５０を検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段３６と、
インデクシング手段３２のインデクシング処理の進捗に基づいて、映像データ一覧を更新する映像データ一覧更新手段３７と、を有する。
【００１３】
また、本発明（請求項２）は、追加メタデータ生成手段３４において、
初期メタデータを検索キーとして、インターネット検索を行い、得られた結果ページからタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、
インデクシングメタデータからテロップ認識により文字列を取得し、追加メタデータとして付与する手段と、
初期メタデータとして電子番組表中の複数のキーワードが利用可能な場合には、キーとして用いるキーワード数を段階的に少なくしてインターネット検索を行った結果からタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、を含む。
【００１４】
また、本発明（請求項３）は、検索手段３６において、
メタデータＤＢ５０を検索した結果を、初期メタデータのフィールドもしくは、インデクシングメタデータのフィールドに合致する単語が存在した映像データと、追加メタデータのフィールドに合致する単語が存在した映像データとの２種類に分け、これを映像データ一覧生成手段３３により得られる代表画像と共に、表示装置のウィンドウ内に表示する手段と、
インターネット検索エンジンを用いて得られた結果を同一ウィンドウ内に集約表示する手段と、を含む。
【００１５】
また、本発明（請求項４）は、映像データ一覧生成手段３３において、
カット点、カメラワークを含むインデクシングメタデータ中に含まれるイベントの種類毎に整理された一覧を生成し、初期メタデータと同一ウィンドウ内に表示する手段を含む。
【００１６】
また、本発明（請求項５）は、映像データ一覧生成手段３３において、
インデクシング手段３２により得られる出力画像のうち、カット点を示す複数の画像から、インデクシングメタデータに基づいて、カット画像の示す映像中の時刻が均等に近くなるものを選定する手段を含む。
【００１７】
本発明（請求項６）は、映像データに関連する索引情報を生成し、映像データの管理を行うための映像データ管理装置であって、
記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段と、
映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出手段と、
映像データ監視手段で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段と、
インデクシング手段におけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理手段と、
インデクシング手段から出力されたインデクシングメタデータ、インデクシング進捗管理手段から取得した進捗率、及び、音声強調区間抽出手段から得られた音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新手段と、
前記映像データ監視手段から取得した前記初期メタデータ並びに、前記インデクシング手段から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段と、
前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータデータベース（ＤＢ）に格納するメタデータＤＢ生成手段と、
入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段と、を有する。
【００１８】
また、本発明（請求項７）は、請求項６のデータ管理装置であって、
映像データ一覧更新手段は、
インデクシング進捗管理手段から取得した進捗率と、前回取得し、記憶手段に格納されている進捗率とを比較して、前回より進んでいる場合は、映像データ一覧を更新し、表示手段に出力する手段を含む。
【００１９】
図２は、本発明の原理を説明するための図である。
【００２０】
本発明（請求項８）は、映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、映像データ一覧生成手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データモニタリングステップ（ステップ１）と、
インデクシング手段が、映像データモニタリングステップ（ステップ１）で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップ（ステップ２）と、
映像データ一覧生成手段が、インデクシングステップ（ステップ２）により得られたインデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、記憶手段に格納する映像データ一覧生成ステップ（ステップ３）と、
追加メタデータ生成手段が、映像データモニタリングステップ（ステップ１）で取得した初期メタデータ並びに、インデクシングステップ（ステップ２）で取得したインデクシングメタデータに基づいて、追加メタデータを生成する追加メタデータ生成ステップ（ステップ４）と、
メタデータＤＢ生成手段が、初期メタデータ、インデクシングメタデータ、及び追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップ（ステップ５）と、
検索手段が、入力された検索キーに基づいて、メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップ（ステップ６）と、
映像データ一覧更新手段が、インデクシングステップ（ステップ２）によりのインデクシング処理の進捗に基づいて、代表画像を選択し、映像データ一覧を更新する映像データ一覧更新ステップと、を行う。
【００２１】
本発明（請求項９）は、映像データに関連する索引情報を生成し、映像データの管理を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、音声強調区間抽出処理手段、進捗管理手段、映像データ一覧更新手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視ステップと、
音声強調区間抽出処理手段が、映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出ステップと、
インデクシング手段が、映像データ監視ステップで指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップと、
進捗管理手段が、インデクシングステップにおけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理ステップと、
映像データ一覧更新手段が、インデクシングステップにより取得したインデクシングメタデータ、インデクシング進捗管理ステップにより取得した進捗率、及び、音声強調区間抽出ステップで得られた音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新ステップと、
追加メタデータ生成手段が、映像データモニタリングステップで取得した初期メタデータ並びに、インデクシングステップで取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成ステップと、
メタデータＤＢ生成手段が、初期メタデータ、インデクシングメタデータ、及び追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップと、
検索手段が、入力された検索キーに基づいて、メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップと、を行う。
【００２２】
本発明（請求項１０）は、請求項８または、９記載の映像データ管理方法の各ステップを、コンピュータに実行させることを特徴とする映像データ管理プログラムである。
【発明の効果】
【００２３】
本発明は、映像の内容が判別できる一覧が提供され、映像の内容に関連する単語が自動的に追加され、検索結果取得時に新たな検索語となりうる文字列が提供される。従って、従来技術よりも所望の映像データに短時間で到達できる。
【００２４】
更に、本発明によれば、長時間の映像が入力されても、すぐに一覧に反映されるため、従来技術の提供する方法に比較して、所望の映像データへの到達が容易となる。
【００２５】
特に、映像データを１時間とすると、従来は映像データ一覧の取得に４０分程度かかるものが、５分程度で取得できる。このため、従来技術に比較して１／８程度の時間で映像の一覧を取得することができる。
【発明を実施するための最良の形態】
【００２６】
最初に本実施の形態を説明する前に、本明細書中で用いられる用語について定義する。
【００２７】
映像データを記憶することが可能なあらゆる装置（コンピュータのディスクやメモリ等、あるいは、ハードディスクレコーダ、セットトップボックス等）を「記憶媒体（記憶部）」と称する。
【００２８】
放送受信装置または、ネットワークを介して記憶媒体へと格納された番組等の動画を含むコンテンツを、「映像データ」と称する。
【００２９】
映像データからカット点、カメラワーク区間、音声区間、音楽区間、テロップ表示区間等を自動抽出する処理を「インデクシング」と称し、インデクシングによって得られる特徴部分の情報（静止画、特徴パラメータ等）と映像データの時刻情報とが関連付けられたものを、「インデクシングメタデータ」と称する。
【００３０】
映像データのファイル名や電子番組表等の、映像データをユーザが取得する時点で予め付与されている関連情報を「初期メタデータ」と称する。
【００３１】
本発明で述べる手法を用いて映像データに付与する関連情報を「追加メタデータ」と称する。
【００３２】
初期メタデータ、インデクシングメタデータ、及び追加メタデータを総称して、「メタデータ」と称する。
【００３３】
ｇｏｏ（登録商標）、ｇｏｏｇｌｅ（登録商標）、Ｙａｈｏｏ（登録商標）等のポータルサイトにおいて提供される検索機能を「インターネット検索機能」と称する。
【００３４】
コンピュータ上で動作するソフトウェアが、ディスプレイ等の表示装置の画面上で一時的に占有する表示部位であって、一般に矩形で区切られた箇所を「ウィンドウ」と称する。
【００３５】
以下、図面と共に本発明の実施の形態を説明する。
【００３６】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における映像データ管理装置の構成を示す。
【００３７】
同図に示す映像データ管理装置は、映像データ入出力部１０、記憶部２０、処理部３０、表示部４０及びメタデータＤＢ５０から構成される。本実施の形態では、記憶部２０はハードディスクを用いるものとし、映像データ、メタデータ、ログデータ等を格納するものとする。
【００３８】
処理部３０は、映像データ監視部３１、インデクシング部３２、映像データ一覧生成部３３、追加メタデータ生成部３４、メタデータデータベース生成部３５、及び検索部３６から構成される。
【００３９】
映像データ監視部３１は、記憶部２０に存在する映像データ及び、映像データ入出力部１０から入出力される映像データを監視し、インデクシングを行う映像を決定し、初期メタデータを映像データ一覧生成部３３に出力する。
【００４０】
インデクシング部３２は、映像データ監視部３１で指定された映像データを入力とし、文献「谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸、“Scene Cabinet:映像解析技術を統合した映像インデクシングシステム”電子情報通信学会論文誌、Vol. J84-D-II, No.6, pp.1112-1121, 2001」及び、文献「森稔、倉掛正治、杉村利明、塩明夫、鈴木章、“背景・文字の形状特徴と動的修正識別関数を用いた映像中テロップ文字認識”、電子情報通信学会論文誌、D-II、Vol. J83-D-II」及び特開２００３−３１６３７８「音声処理方法及びその方法を利用した装置及びそのプログラム」に記載されている方法等に基づいて、インデクシングを行い、インデクシングメタデータを映像データ一覧生成部３３に出力する。
【００４１】
映像データ一覧生成部３３は、インデクシング部３２から出力されたインデクシングメタデータ及び映像データを入力とし、映像データの一覧を作成し、記憶部２０に出力する。
【００４２】
追加メタデータ生成部３４は、映像データ監視部３１から出力された初期メタデータ、インデクシング部３２から出力されたインデクシングメタデータを入力とし、追加メタデータを生成し、記憶部２０に出力する。
【００４３】
メタデータデータベース生成部３５は、初期メタデータ、インデクシングメタデータ、追加メタデータ及び映像データを入力とし、メタデータデータベース（ＤＢ）５０に出力する。
【００４４】
データ検索部３６は、ユーザが入力した任意のテキストをキーとして、メタデータＤＢ５０を検索し、同時にインターネット検索エンジン（図示せず）を用いてインターネット上の情報を検索し、両者の結果を、表示部４０の１つのウィンドウに集約表示する。
【００４５】
以下に、上記の動作を詳細に説明する。
【００４６】
図４は、本発明の第１の実施の形態における全体の概要動作のフローチャートであり、図５は、本発明の第１の実施の形態における映像モニタリングステップのフローチャート、図６は、本発明の第１の実施の形態における一覧及びＤＢ生成ステップの一般フローチャート、図７は、本発明の第１の実施の形態における検索ステップの一般フローチャートである。
【００４７】
以下の処理に先立って、映像データ入出力部１０から記憶部２０に少なくとも映像データが格納されているものとする。
【００４８】
ステップ１１）映像データモニタリングステップ：
ステップ１１１） ファイル検索ステップ：
処理部３０の映像データ監視部３１は、記憶部２０（ディスク）内の映像ファイルを監視し、ファイルパスを取得する。
【００４９】
ステップ１１２） インデクシングログファイル検索ステップ：
インデクシング部３２は、ステップ１１１で得られたファイルパスのインデクシングログファイルを検索する。
【００５０】
ステップ１１３） インデクシング対象動画指定ステップ：
ステップ１１１で得られた映像データのうち、ステップ１１２で記憶部２０のログファイルがみつからなかったものについて、インデクシング対象動画として指定し出力する。
【００５１】
ステップ１１４） 初期メタデータ出力ステップ：
映像データ監視部３１は、ステップ１１３で出力された映像データの初期メタデータを映像データ一覧生成部３３及び、追加メタデータ生成部３４に出力する。
【００５２】
ステップ１２） 一覧及びＤＢ生成ステップ：
ステップ１２１） 初期メタデータ入力ステップ：
映像データ一覧生成部３３は、ステップ１１４で出力された初期メタデータを入力する。
【００５３】
ステップ１２２） インデクシングステップ：
インデクシング部３２は、ステップ１１３で出力された映像データを入力し、文献「谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸、“Scene Cabinet:映像解析技術を統合した映像インデクシングシステム”電子情報通信学会論文誌、Vol. J84-D-II, No.6, pp.1112-1121, 2001」の方法（以下、文献１と記す）によって特徴抽出処理を施し、インデクシングメタデータを映像一覧生成部３２と、メタデータベース生成部３５に出力すると共に、インデクシングログファイルを記憶部２０に出力する。
【００５４】
ステップ１２３） 一覧生成ステップ：
映像データ一覧生成部３３は、ステップ１２２で出力されたインデクシングメタデータ及び、ステップ１１４で出力された初期メタデータに基づいて、映像データの一覧を生成する。
【００５５】
ステップ１２４） 追加メタデータ生成ステップ：
追加メタデータ生成部３４は、ステップ１２１で入力された初期メタデータを用いてインターネット検索を行い、得られた結果から追加メタデータを生成する。
【００５６】
ステップ１２５） メタデータＤＢ生成ステップ：
メタデータデータベース生成部３５は、ステップ１２１で入力された初期メタデータとステップ１２２で得られたインデクシングメタデータと、ステップ１２４で生成された追加メタデータを用い、映像データ毎のフィールドを持つメタデータＤＢ５０を生成する。
【００５７】
ステップ１３）検索ステップ：
ステップ１３１）テキスト取得ステップ：
検索部３６は、プログラム上で表示するテキスト入力フィールドに入力されたテキストを取得する。
【００５８】
ステップ１３２） メタデータＤＢ検索ステップ：
検索部３６は、ステップ１３１で得られたテキスト文字列をキーとして、ステップ１２５で生成されたメタデータＤＢ５０を検索する。検索結果は、初期メタデータもしくはインデクシングメタデータ中に合致するものがあった映像データのパスと、追加メタデータ中に合致するものがあった映像データのパスと２種類に分けて得る。
【００５９】
ステップ１３３） インターネット検索ステップ：
検索部３６は、ステップ１３１で得られたテキスト文字列をキーとして、インターネット検索エンジンを用いて検索を行い、検索結果を取得する。
【００６０】
ステップ１３４） 検索結果ページ生成ステップ：
検索部３６は、ステップ１３２、及びステップ１３３で得られた結果をまとめ、特に、ステップ１３２で得られた映像データのパスから、インデクシングメタデータを参照して代表画像を選択し、結果ページを生成する。
【００６１】
次に、上記のインデクシング部３２におけるインデクシングステップ（ステップ１２２）について詳細に説明する。
【００６２】
図８は、本発明の第１の実施の形態におけるインデクシングステップの詳細フローチャートである。
【００６３】
ステップ１２２１）映像データ入力ステップ：
インデクシング部３２は、ステップ１１３で出力された映像データを入力する。
【００６４】
ステップ１２２２）特徴抽出ステップ：
ステップ１２２１で入力された映像ファイルに対し、前述の文献１の手法により、特徴量を抽出し、抽出された結果から、イベント成否を判断し、記録する。
【００６５】
ステップ１２２３）インデクシングメタデータ出力ステップ：
ステップ１２２２で記録されたイベントを、映像データのファイル情報（パス情報、ファイルサイズ等、一般にプロパティに記載されている情報が含まれる）と映像データの再生時刻情報と共に出力する。
【００６６】
ステップ１２２４）インデクシングログ出力ステップ：
インデクシングの実行結果を記憶部２０のログファイルに出力する。ログファイルには、映像データのパス情報、インデクシングの途中におけるエラー情報、及び日時などが含まれている。
【００６７】
図９は、本発明の第１の実施の形態における一覧作成ステップの詳細フローチャートである。
【００６８】
ステップ１２３１）：インデクシングメタデータ入力ステップ：
映像データ一覧生成部３３は、ステップ１２２により出力されたインデクシングメタデータ、及び、ステップ１１４により出力された初期メタデータを入力する。
【００６９】
ステップ１２３２）画像選択ステップ：
インデクシングメタデータの情報に基づき、カット点情報のうち、映像の長さに対して均等に近くなるようにカット点を選択し、インデクシングメタデータを参照することにより、関連付けられた静止画像を出力する。
【００７０】
ステップ１２３３） プレイリスト生成ステップ：
ステップ１２３２で出力された静止画像にステップ１２３３で生成されたプレイリストをＨＭＴＬ等のリンク方法でリンクした一覧ファイルを記憶部２０に出力する。
【００７１】
次に、上記の映像データ監視部３１における追加メタデータ生成ステップ（ステップ１２４）の動作を詳細に説明する。
【００７２】
図１０は、本発明の第１の実施の形態における追加メタデータ生成ステップの詳細フローチャートである。
【００７３】
ステップ１２４１）初期メタデータ入力ステップ：
追加メタデータ生成部３４は、ステップ１２１で得られる初期メタデータを入力する。
【００７４】
ステップ１２４２）インデクシングメタデータ入力ステップ：
インデクシング部３２において、ステップ１２２の処理を行うことで得られるインデクシングメタデータを入力し、テキスト文字列以外をフィルタリングする。
【００７５】
ステップ１２４３）インターネット検索ステップ：
ステップ１２４１及びステップ１２４２で入力された初期メタデータ及びテキスト文字列以外をフィルタリングされたインデクシングメタデータをキーとして、インターネット検索を行い、ＵＲＬを取得する。初期メタデータ及びフィルタリングされたインデクシングメタデータ中に、重複しないＮ個のユニークな単語が含まれている場合、ｎ個の単語によるａｎｄ検索の結果、上位ｐ位までに含まれる重複のないＵＲＬの集合をＵ（ｎ，ｐ）として、ＵＲＬの集合Ｕ，
Ｕ＝Σ（Ｕ（ｉ，ｐ）），where（ｉ＝１，２，…，Ｎ）
を取得する。
【００７６】
ステップ１２４４）テキスト抽出ステップ：
ステップ１２４３で得られたＵＲＬの集合に含まれるページを解析し、テキスト文字列を抽出する。
【００７７】
ステップ１２４５）追加メタデータ出力ステップ：
ステップ１２４４で得られたテキスト文字列を、メタデータＤＢ５０の追加メタデータのフィールドに追加する。
【００７８】
次に、追加メタデータ生成部３４における、上記のステップ１２４４のテキスト抽出ステップについて、詳細に説明する。
【００７９】
図１１は、本発明の第１の実施の形態におけるテキスト抽出ステップの詳細フローチャートである。
【００８０】
ステップ１２４４１）ページ取得ステップ：
ステップ１２４３から得られたＵＲＬに対し、ページを取得する。
【００８１】
ステップ１２４４２）ページ解析ステップ：
ステップ１２４４１で得られたページから、ページタイトルタグ中の文字列、keyword
タグ中の文字列及び、Bodyテキストの文字列を抽出する。Bodyタグ中の文字列から、リンクを除去する。
【００８２】
ステップ１２４４３）フィルタリングステップ：
ステップ１２４４２で得られた文字列のうち、Body由来の文字列を形態素解析により分割する。分割後、名詞以外をフィルタリングし、ステップ１２４５の処理へ移行する。
ステップ１２４４２で得られた文字列のうち、ページタイトルタグ、keywordタグ中の文字列は、重複を除外し、ステップ１２４５の処理に移行する。
【００８３】
［第２の実施の形態］
図１２は、本発明の第２の実施の形態における映像データ管理装置の構成を示す。
【００８４】
同図に示す映像データ管理装置は、前述の図３の構成において、処理部３０にシステム監視部３７を設けたものである。
【００８５】
図１３は、本発明の第２の実施の形態における全体の概要動作のフローチャートである。
【００８６】
本実施の形態では、前述の第１の実施の形態における図４のフローチャートのステップ１１の前段において、システム監視部３７によるシステムモニタステップ（ステップ１４）の動作を行うものであり、その他の動作は第１の実施の形態と同様である。
【００８７】
当該システムモニタステップ（ステップ１４）では、システム監視部３７は、システム上の他のタスクをモニタする。当該ステップの存在により、特にパーソナルコンピュータ上で実施する場合において、一覧及びＤＢ作成ステップ（ステップ１２）の開始及び終了を、システム上の他のソフトウェア（例：スクリーンセイバー）の起動及び終了と同期させて実施することができる。スクリーンセイバーと同期させた場合には、メモリ及びＣＰＵ等のコンピュータリソースの利用が少ない時間に、インデクシングステップを実行させることができる。
【００８８】
また、スクリーンセイバー実行中にディスプレイ等の表示装置４０に出力する情報として、インデクシングステップ実行中の画像及び初期メタデータを出力する。
【００８９】
そのほかのステップの動作に関しては、前述の第１の実施の形態と同様である。
【００９０】
［第３の実施の形態］
図１４は、本発明の第３の実施の形態における全体の概要動作のフローチャートである。
【００９１】
本実施の形態では、前述の第１の実施の形態において一覧及びＤＢ生成ステップ（ステップ１２）の次に検索ステップ（ステップ１３）を行っていたのに対し、一覧及びＤＢ生成ステップ（ステップ１２）と検索ステップ（ステップ１３）とを並列に実施するものであり、その他の動作は、第１の実施の形態と同様である。
【００９２】
［第４の実施の形態］
図１５は、本発明の第４の実施の形態における映像データ管理装置の構成を示す。
【００９３】
同図に示す映像データ管理装置は、図３に示す構成に、タスク設定部３８を追加した構成である。
【００９４】
図１６は、本発明の第４の実施の形態における全体の概要動作のフローチャートである。
【００９５】
本実施の形態では、第１の実施の形態の映像データモニタリングステップ（ステップ１１）の前段に、タスク設定ステップ（ステップ１５）を行うものである。
【００９６】
ステップ１５において、タスク設定部３８は、追加メタデータ生成ステップ（ステップ１２４）の実行タスクを設定する（例：１時間毎にステップ１２４の処理を繰り返し実行）。これにより、インターネット上の情報が更新された場合でも、追加メタデータがその更新情報を反映することができる。
【００９７】
その他の動作は、前述の第１の実施の形態と同様である。
【００９８】
［第５の実施の形態］
本実施の形態では、第１の実施の形態と概要動作については同様であるが、インデクシングステップ（ステップ１２２）の動作が異なる。
【００９９】
図１７は、本発明の第５の実施の形態におけるインデクシングステップの詳細な動作のフローチャートである。
【０１００】
本実施の形態では、インデクシングステップ（ステップ１２２）において、コンテンツジャンル判定ステップ（ステップ１２２１１）を行う。
【０１０１】
ステップ１２２１１）映像データ一覧生成部３３において、初期メタデータを入力とし、コンテンツジャンル及びデフォルトのインデクシングパラメータを出力する。
【０１０２】
ステップ１２２１２）ステップ１２２１１のパラメータに基づいて、インデクシングを実行する。初期メタデータ中にデフォルトのインデクシングパラメータが記載されている場合には、その値を出力する。また、ユーザは、デフォルトのインデクシングパラメータやＧＵＩ等を用い、任意の値に変更することができる。その他の全ての動作は、第１の実施の形態と同様である。
【０１０３】
なお、本発明は、上記の第１〜第５の実施の形態に記載された以外の機器（例えば、ハードディスクレコーダ）で実施することも可能である。
【０１０４】
また、個人端末でなく、映像配信サーバ上で行うことも可能である。
【０１０５】
また、ユーザは、エディタ等を用いて任意にメタデータＤＢ５０の内容を自由に追記・削除することが可能である。
【０１０６】
［第６の実施の形態］
前述の実施の形態では、ある映像データに対するインデクシングが終了しないと映像データ一覧が表示されなかった。インデクシング処理は、実装上、１時間の映像データに対して４０分程度のコストがあるため、映像データの投入から一覧に反映されるまでにタイムラグが存在する。
【０１０７】
本実施の形態では、インデクシングの進捗状況を管理し、当該インデクシングの進捗状況に応じて映像データ一覧を更新することにより、インデクシング処理の途中経過が一覧で反映され、それがインデクシングの進捗に従って自動更新する例を説明する。
【０１０８】
図１８は、本発明の第６の実施の形態における映像データ管理装置の構成図である。
【０１０９】
同図において、図３の構成と同一部分については同一符号を付し、その説明を省略する。
【０１１０】
図１８に示す構成は、第１の実施の形態における図３の構成に、進捗管理部３２１、音声強調区間抽出処理部３２２が付加され、図３の映像データ一覧生成部３３の代わりに、映像データ一覧更新部３２３が設けられている。本実施の形態における記憶部２０には、映像データ、インデクシングメタデータ、映像データ一覧が記憶される。
【０１１１】
進捗管理部３２１は、インデクシング部３２で行われているインデクシングの進行度を出力する。
【０１１２】
音声強調区間抽出処理部３２２は、例えば、特開２００３−３１６３７８「音声処理方法及びその方法を使用した装置及びプログラム」に開示されている手法を用いて、映像中で音声が強調される区間情報を出力する。当該手法は、予め抽出したい条件を設定することなく、また、原稿などを使用しない、自然な話し言葉や会話においても、話者に依存せず、複数話者の同時発話にも依存せず、雑音環境でも安定して、音声が強調状態であるか平静状態であるかの判定ができる音声処理技術である。これにより、例えば、野球やサッカーなどのスポーツで、音声が盛り上がった箇所を映像データの一覧上に反映させることができる。
【０１１３】
映像データ一覧更新部３２３は、音声強調区間抽出処理部３２２から出力された音声強調区間情報、インデクシング部３２からのインデクシングメタデータ及び映像データを入力とし、映像データの一覧を更新し、更新された映像データ一覧を表示部４０に出力する。
【０１１４】
次に、上記の構成における動作を説明する。
【０１１５】
本実施の形態では、映像データ一覧を生成するまでの処理について説明するが、その他の検索処理等については前述の実施の形態と同様である。
【０１１６】
図１９は、本発明の第６の実施の形態における映像データ一覧生成までの処理の概要動作のフローチャートであり、図２０は、本発明の本発明の第６の実施の形態における映像モニタリングステップのフローチャートであり、図２１は、本発明の第６の実施の形態における一覧生成ステップのフローチャートである。
【０１１７】
ステップ３１） 映像データモニタリングステップ：
ステップ３１１） 映像ファイル検索ステップ：
映像データ監視部３１において、記憶部２０（ディスク）内の映像ファイルを監視し、ファイルパスを取得する。
【０１１８】
ステップ３１２） ログファイル検索ステップ：
映像データ監視部３１において、ステップ３１１で得られたファイルのインデクシングログファイルを記憶部２０から検索する。
【０１１９】
ステップ３１３） インデクシング対象動画指定ステップ：
映像データ監視部３１において、ステップ３１１で得られた映像データのうち、ステップ３１２で記憶部２０のログファイルが見つからなかったものについて、インデクシング対象動画として指定し出力する。
【０１２０】
ステップ３１４） 初期メタデータ出力ステップ：
映像データ監視部３１は、ステップ３１３で出力された映像データの初期メタデータを出力する。
【０１２１】
ステップ３２）一覧生成ステップ：
ステップ３２１） 初期メタデータ入力ステップ：
インデクシング部３２は、ステップ３１４で映像データ監視部３１から出力された初期メタデータを入力する。
【０１２２】
ステップ３２２） インデクシングステップ：
インデクシング部３２は、ステップ３１３において映像データ監視部３１から出力された映像データを入力し、文献１の方法によって特徴抽出処理を施し、インデクシングメタデータを進捗管理部３２１に出力すると共に、インデクシングログファイルを記憶部２０に出力する。
【０１２３】
ステップ３２３） 音声強調区間抽出ステップ：
音声強調区間抽出処理部３２２は、ステップ３１３で映像データ監視部３１から出力された映像データを入力とし、文献２の方法を用いて、音声の強調された区間を判別し、当該区間の開始時刻、終了時刻、及び開始時刻における静止画像を音声強調区間情報として映像データ一覧更新部３２３に出力する。
【０１２４】
ステップ３２４） インデクシング進度管理ステップ：
進捗管理部３２１において、ステップ３２２でインデクシング部３２から出力されたインデクシングメタデータを入力とし、インデクシングメタデータ及びインデクシング進度情報（進捗率）を、映像データ一覧更新部３２３からの問い合わせに応じて出力する。
【０１２５】
ステップ３２５） 映像データ一覧作成ステップ：
映像データ一覧更新部３２３において、ステップ３２３において音声強調区間抽出処理部３２２から出力された音声強調区間情報、及び、ステップ３２２においてインデクシング部３２から出力されたインデクシングメタデータ、及び、ステップ３２４において進捗管理部３２１から出力されたインデクシング進度情報（進捗率）に基づいて、映像データ一覧を作成して記憶部２０に格納すると共に、表示部４０に表示する。
【０１２６】
次に、上記の図２１のインデクシングステップ（ステップ３２２）について詳細に説明する。
【０１２７】
図２２は、本発明の第６の実施の形態におけるインデクシングステップの詳細フローチャートである。
【０１２８】
ステップ３２２１） 映像データ入力ステップ：
インデクシング部３２は、ステップ３１３で映像データ監視部３１から出力された映像データを入力する。
【０１２９】
ステップ３２２２） 特徴抽出ステップ：
インデクシング部３２は、ステップ３２２１で入力された映像データに対して、文献１の手法により特徴量を抽出し、抽出された結果からイベント成否を判断し、記録する。
【０１３０】
ステップ３２２３） インデクシングメタデータ出力ステップ：
インデクシング部３２は、ステップ３２２２で記録されたイベントを、映像データのファイル情報（ファイルへのパス情報、ファイルサイズ等、一般にプロパティに記載されている情報が含まれる）と映像データの再生時刻情報と共に出力する。
【０１３１】
ステップ３２２４） インデクシング出力ステップ：
インデクシング部３２は、インデクシングの実行結果を記憶部２０のログファイルに出力する。ログファイルには、映像データのパス情報、インデクシングの途中におけるエラー情報、及び日時などが含まれている。
【０１３２】
次に、上記の図２１の音声強調区間抽出ステップ（ステップ３２３）について詳細に説明する。
【０１３３】
図２３は、本発明の第６の実施の形態における音声強調区間抽出ステップの詳細フローチャートである。
【０１３４】
ステップ３２３１） 映像データ入力ステップ：
音声強調区間抽出処理部３２２において、ステップ１１３において映像データ監視部３１から出力された映像データを入力する。
【０１３５】
ステップ３２３２） 強調区間判別処理ステップ：
音声強調区間抽出処理部３２２は、文献２の手法に基づいて、映像中から音声が強調されている箇所を判別する。
【０１３６】
ステップ３２３３） 音声強調区間情報出力ステップ：
音声強調区間抽出処理部３２２は、ステップ３２３２で判別された箇所の時刻情報、及び開始点の静止画を映像データ一覧更新部３２３に出力する。
【０１３７】
次に、上記の図２１の映像データ一覧作成ステップ（ステップ３２５）について詳細に説明する。
【０１３８】
図２４は、本発明の第６の実施の形態における映像データ一覧作成ステップの詳細フローチャートである。
【０１３９】
ステップ３２５１） 音声強調区間情報入力ステップ：
映像データ一覧更新部３２３は、ステップ３２３３において音声強調区間抽出処理部３２２から出力された音声強調区間情報を入力する。
【０１４０】
ステップ３２５２） インデクシングメタデータ入力ステップ：
映像データ一覧更新部３２３は、ステップ３２２においてインデクシング部３２から出力されたインデクシングメタデータ及び、後述するステップ３２５６で得られるフラグを入力する。
【０１４１】
ステップ３２５３） プレイリスト生成ステップ：
映像データ一覧更新部３２３は、ステップ３２５１及びステップ３１５２で得られた音声強調区間情報及びインデクシングメタデータ、フラグに基づいて、再生を開始できるようなリンク文字列を生成する。
【０１４２】
ステップ３２５４） 一覧ファイル更新ステップ：
映像データ一覧更新部３２３は、プレイリスト情報（ステップ３２５３で得られたリンク文字列）を記憶部２０の映像データ一覧に上書きし、更新する。
【０１４３】
ステップ３２５５） 一覧ファイル出力ステップ：
映像データ一覧更新部３２３は、ステップ３２５４で更新された映像一覧ファイルを表示部４０に表示する。
【０１４４】
ステップ３２５６） インデクシング進度問い合わせステップ：
映像データ一覧更新部３２３は、進捗管理部３２１にインデクシング進度を問い合わせ、インデクシングの進度を得る。取得した進度（進捗率）が、メモリ（図示せず）に記録されている前回の進度（進捗率）よりも進んでいれば、「更新あり」というフラグを出力する。
【０１４５】
なお、本実施の形態では、映像データ一覧生成部３３の代わりに映像データ一覧更新部３２３を設けているが、映像データ一覧更新部３２３は、映像データ一覧生成部３３と同様に、映像データ一覧を作成しているため、第１〜第５の実施の形態と同様に、後段の追加メタデータ生成部３４の追加メタデータの生成処理、メタデータデータベース生成部３５のメタデータデータベースの生成、データ検索部３６の検索・表示処理を行うことができる。
【０１４６】
本実施の形態によれば、長時間の映像が入力されても映像データ一覧に反映することができるため、従来の技術に比べて所望する映像データへの到達が容易になる。
【０１４７】
なお、上記の各実施の形態における動作をプログラムとして構築し、映像データ管理装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることが可能である。
【０１４８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１４９】
本発明は、映像データを記録する装置において、映像データに関連する索引情報を自動生成し、管理、検索、閲覧を行うシステムに適用可能である。
【図面の簡単な説明】
【０１５０】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の第１の実施の形態における映像データ管理装置の構成図である。
【図４】本発明の第１の実施の形態における全体の概要動作のフローチャートである。
【図５】本発明の第１の実施の形態における映像モニタリングステップ（ｓ１１）のフローチャートである。
【図６】本発明の第１の実施の形態における一覧及びＤＢ生成ステップ（ｓ１２）のフローチャートである。
【図７】本発明の第１の実施の形態における検索ステップ（ｓ１３）の一般フローチャートである。
【図８】本発明の第１の実施の形態におけるインデクシングステップ（ｓ１２２）の詳細フローチャートである。
【図９】本発明の第１の実施の形態における一覧作成ステップ（ｓ１２３）の詳細フローチャートである。
【図１０】本発明の第１の実施の形態における追加メタデータ生成ステップ（ｓ１２４）の詳細フローチャートである。
【図１１】本発明の第１の実施の形態におけるテキスト抽出ステップ（ｓ１２４４）の詳細フローチャートである。
【図１２】本発明の第２の実施の形態における映像データ管理装置の構成図である。
【図１３】本発明の第２の実施の形態における全体の概要動作のフローチャートである。
【図１４】本発明の第３の実施の形態における全体の概要動作のフローチャートである。
【図１５】本発明の第４の実施の形態における映像データ管理装置の構成図である。
【図１６】本発明の第４の実施の形態における全体の概要動作のフローチャートである。
【図１７】本発明の第５の実施の形態におけるインデクシングステップの詳細な動作のフローチャートである。
【図１８】本発明の第６の実施の形態における映像データ管理装置の構成図である。
【図１９】本発明の第６の実施の形態における映像データ一覧出力までの処理の概要動作のフローチャートである。
【図２０】本発明の第６の実施の形態における映像モニタリングステップ（Ｓ３１）のフローチャートである。
【図２１】本発明の第６の実施の形態における一覧生成ステップ（Ｓ３２）のフローチャートである。
【図２２】本発明の第６の実施の形態におけるインデクシングステップ（Ｓ３２２）のフローチャートである。
【図２３】本発明の第６の実施の形態における音声強調区間抽出ステップ（Ｓ３２３）の詳細フローチャートでる。
【図２４】本発明の第６の実施の形態における映像データ一覧作成ステップ（Ｓ３２５）の詳細フローチャートである。
【符号の説明】
【０１５１】
１０ 映像データ入出力部
２０ 記憶手段、記憶部
３１ 映像データ監視手段、映像データ監視部
３２ インデクシング手段、インデクシング部
３３ 映像データ一覧生成手段、映像データ一覧生成部
３４ 追加メタデータ生成手段、追加メタデータ生成部
３５ メタデータＤＢ生成手段、メタデータデータベース生成部
３６ 検索手段、検索部
３７ システム管理部
３８ タスク設定部
４０ 表示部
５０ メタデータＤＢ
３２１ 進捗管理部
３２２ 音声強調区間抽出処理部
３２３ 映像データ一覧更新部
【技術分野】
【０００１】
本発明は、映像データ管理装置及び方法及びプログラムに係り、特に、パーソナルコンピュータ、ハードディスクレコーダ、または、セットトップボックス等の、映像データを記録することが可能なあらゆる装置において、映像データに関連する索引情報を自動生成し、また、映像データの管理、検索、及び閲覧を行うための映像データ管理装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
個人が所有する映像データの中から、所望の映像データを短時間に探したいという要求がある。例えば、録画、コピー、またはダウンロードの手段によって多くの映像データがディスクに保存されている状態において、映像を順次再生して内容を確認し、探す方法でなく、映像のシーンを静止画の一覧によって把握することにより探す方法や、テキスト検索によって求める映像ファイルを探したいという要求である。
【０００３】
この要求に対し、従来技術により以下の機能が提供されている。
【０００４】
（１）ファイル管理アプリケーション（Internet Explorer（登録商標）等）の機能によって映像データの一覧を表示する機能；
（２）ファイル名を対象とし映像データを検索する機能；
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術が提供する機能では、以下のような問題がある。
【０００６】
・現在一般に提供されているファイル管理アプリケーションの機能では、映像データの一覧表示の際、映像の先頭のシーンだけが表示される。このため、映像データの途中に含まれる内容の把握が困難となり、結果として、所望の映像データへの到達が困難になる。
【０００７】
・現在一般に提供されている映像データの検索機能では、ファイル名のみを対象としている。映像データの名称は、必ずしも映像の内容を表したものでなく、ユーザが映像データのファイル名でなく内容の一部を記憶している場合には、適切な検索キーを入力することができない場合があり、結果として所望の映像データへの到達が困難となる。
【０００８】
・現在一般に提供されている映像データの検索機能では、検索結果画面は映像データの一覧を示すのみである。このため、ユーザが一旦検索を行った後、別の検索キーを入力してもう一度検索を行いたいと考えた場合に、ユーザは新たな検索キーを自力で考案する必要が生じる。このため、結果として所望映像データへの到達が困難となる場合がある。
【０００９】
上記のように、従来の技術では、所望の映像データに到達する場合に困難が伴う。
【００１０】
本発明は、上記の点に鑑みなされたもので、所望する映像データへの到達が従来よりも容易となる映像データ管理装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
図１は、本発明の原理構成図である。
【００１２】
本発明（請求項１）は、映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理装置であって、
記憶手段２０中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段３１と、
映像データ監視手段３１で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段３２と、
インデクシング手段３２により得られたインデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、記憶手段２０に格納する映像データ一覧生成手段３３と、
映像データ監視手段３１から取得した初期メタデータ並びに、インデクシング手段３２から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段３４と、
初期メタデータ、インデクシングメタデータ、及び追加メタデータを、メタデータＤＢ５０に格納するメタデータＤＢ生成手段３５と、
入力された検索キーに基づいて、メタデータＤＢ５０を検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段３６と、
インデクシング手段３２のインデクシング処理の進捗に基づいて、映像データ一覧を更新する映像データ一覧更新手段３７と、を有する。
【００１３】
また、本発明（請求項２）は、追加メタデータ生成手段３４において、
初期メタデータを検索キーとして、インターネット検索を行い、得られた結果ページからタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、
インデクシングメタデータからテロップ認識により文字列を取得し、追加メタデータとして付与する手段と、
初期メタデータとして電子番組表中の複数のキーワードが利用可能な場合には、キーとして用いるキーワード数を段階的に少なくしてインターネット検索を行った結果からタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、を含む。
【００１４】
また、本発明（請求項３）は、検索手段３６において、
メタデータＤＢ５０を検索した結果を、初期メタデータのフィールドもしくは、インデクシングメタデータのフィールドに合致する単語が存在した映像データと、追加メタデータのフィールドに合致する単語が存在した映像データとの２種類に分け、これを映像データ一覧生成手段３３により得られる代表画像と共に、表示装置のウィンドウ内に表示する手段と、
インターネット検索エンジンを用いて得られた結果を同一ウィンドウ内に集約表示する手段と、を含む。
【００１５】
また、本発明（請求項４）は、映像データ一覧生成手段３３において、
カット点、カメラワークを含むインデクシングメタデータ中に含まれるイベントの種類毎に整理された一覧を生成し、初期メタデータと同一ウィンドウ内に表示する手段を含む。
【００１６】
また、本発明（請求項５）は、映像データ一覧生成手段３３において、
インデクシング手段３２により得られる出力画像のうち、カット点を示す複数の画像から、インデクシングメタデータに基づいて、カット画像の示す映像中の時刻が均等に近くなるものを選定する手段を含む。
【００１７】
本発明（請求項６）は、映像データに関連する索引情報を生成し、映像データの管理を行うための映像データ管理装置であって、
記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段と、
映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出手段と、
映像データ監視手段で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段と、
インデクシング手段におけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理手段と、
インデクシング手段から出力されたインデクシングメタデータ、インデクシング進捗管理手段から取得した進捗率、及び、音声強調区間抽出手段から得られた音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新手段と、
前記映像データ監視手段から取得した前記初期メタデータ並びに、前記インデクシング手段から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段と、
前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータデータベース（ＤＢ）に格納するメタデータＤＢ生成手段と、
入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段と、を有する。
【００１８】
また、本発明（請求項７）は、請求項６のデータ管理装置であって、
映像データ一覧更新手段は、
インデクシング進捗管理手段から取得した進捗率と、前回取得し、記憶手段に格納されている進捗率とを比較して、前回より進んでいる場合は、映像データ一覧を更新し、表示手段に出力する手段を含む。
【００１９】
図２は、本発明の原理を説明するための図である。
【００２０】
本発明（請求項８）は、映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、映像データ一覧生成手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データモニタリングステップ（ステップ１）と、
インデクシング手段が、映像データモニタリングステップ（ステップ１）で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップ（ステップ２）と、
映像データ一覧生成手段が、インデクシングステップ（ステップ２）により得られたインデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、記憶手段に格納する映像データ一覧生成ステップ（ステップ３）と、
追加メタデータ生成手段が、映像データモニタリングステップ（ステップ１）で取得した初期メタデータ並びに、インデクシングステップ（ステップ２）で取得したインデクシングメタデータに基づいて、追加メタデータを生成する追加メタデータ生成ステップ（ステップ４）と、
メタデータＤＢ生成手段が、初期メタデータ、インデクシングメタデータ、及び追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップ（ステップ５）と、
検索手段が、入力された検索キーに基づいて、メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップ（ステップ６）と、
映像データ一覧更新手段が、インデクシングステップ（ステップ２）によりのインデクシング処理の進捗に基づいて、代表画像を選択し、映像データ一覧を更新する映像データ一覧更新ステップと、を行う。
【００２１】
本発明（請求項９）は、映像データに関連する索引情報を生成し、映像データの管理を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、音声強調区間抽出処理手段、進捗管理手段、映像データ一覧更新手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視ステップと、
音声強調区間抽出処理手段が、映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出ステップと、
インデクシング手段が、映像データ監視ステップで指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップと、
進捗管理手段が、インデクシングステップにおけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理ステップと、
映像データ一覧更新手段が、インデクシングステップにより取得したインデクシングメタデータ、インデクシング進捗管理ステップにより取得した進捗率、及び、音声強調区間抽出ステップで得られた音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新ステップと、
追加メタデータ生成手段が、映像データモニタリングステップで取得した初期メタデータ並びに、インデクシングステップで取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成ステップと、
メタデータＤＢ生成手段が、初期メタデータ、インデクシングメタデータ、及び追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップと、
検索手段が、入力された検索キーに基づいて、メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップと、を行う。
【００２２】
本発明（請求項１０）は、請求項８または、９記載の映像データ管理方法の各ステップを、コンピュータに実行させることを特徴とする映像データ管理プログラムである。
【発明の効果】
【００２３】
本発明は、映像の内容が判別できる一覧が提供され、映像の内容に関連する単語が自動的に追加され、検索結果取得時に新たな検索語となりうる文字列が提供される。従って、従来技術よりも所望の映像データに短時間で到達できる。
【００２４】
更に、本発明によれば、長時間の映像が入力されても、すぐに一覧に反映されるため、従来技術の提供する方法に比較して、所望の映像データへの到達が容易となる。
【００２５】
特に、映像データを１時間とすると、従来は映像データ一覧の取得に４０分程度かかるものが、５分程度で取得できる。このため、従来技術に比較して１／８程度の時間で映像の一覧を取得することができる。
【発明を実施するための最良の形態】
【００２６】
最初に本実施の形態を説明する前に、本明細書中で用いられる用語について定義する。
【００２７】
映像データを記憶することが可能なあらゆる装置（コンピュータのディスクやメモリ等、あるいは、ハードディスクレコーダ、セットトップボックス等）を「記憶媒体（記憶部）」と称する。
【００２８】
放送受信装置または、ネットワークを介して記憶媒体へと格納された番組等の動画を含むコンテンツを、「映像データ」と称する。
【００２９】
映像データからカット点、カメラワーク区間、音声区間、音楽区間、テロップ表示区間等を自動抽出する処理を「インデクシング」と称し、インデクシングによって得られる特徴部分の情報（静止画、特徴パラメータ等）と映像データの時刻情報とが関連付けられたものを、「インデクシングメタデータ」と称する。
【００３０】
映像データのファイル名や電子番組表等の、映像データをユーザが取得する時点で予め付与されている関連情報を「初期メタデータ」と称する。
【００３１】
本発明で述べる手法を用いて映像データに付与する関連情報を「追加メタデータ」と称する。
【００３２】
初期メタデータ、インデクシングメタデータ、及び追加メタデータを総称して、「メタデータ」と称する。
【００３３】
ｇｏｏ（登録商標）、ｇｏｏｇｌｅ（登録商標）、Ｙａｈｏｏ（登録商標）等のポータルサイトにおいて提供される検索機能を「インターネット検索機能」と称する。
【００３４】
コンピュータ上で動作するソフトウェアが、ディスプレイ等の表示装置の画面上で一時的に占有する表示部位であって、一般に矩形で区切られた箇所を「ウィンドウ」と称する。
【００３５】
以下、図面と共に本発明の実施の形態を説明する。
【００３６】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における映像データ管理装置の構成を示す。
【００３７】
同図に示す映像データ管理装置は、映像データ入出力部１０、記憶部２０、処理部３０、表示部４０及びメタデータＤＢ５０から構成される。本実施の形態では、記憶部２０はハードディスクを用いるものとし、映像データ、メタデータ、ログデータ等を格納するものとする。
【００３８】
処理部３０は、映像データ監視部３１、インデクシング部３２、映像データ一覧生成部３３、追加メタデータ生成部３４、メタデータデータベース生成部３５、及び検索部３６から構成される。
【００３９】
映像データ監視部３１は、記憶部２０に存在する映像データ及び、映像データ入出力部１０から入出力される映像データを監視し、インデクシングを行う映像を決定し、初期メタデータを映像データ一覧生成部３３に出力する。
【００４０】
インデクシング部３２は、映像データ監視部３１で指定された映像データを入力とし、文献「谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸、“Scene Cabinet:映像解析技術を統合した映像インデクシングシステム”電子情報通信学会論文誌、Vol. J84-D-II, No.6, pp.1112-1121, 2001」及び、文献「森稔、倉掛正治、杉村利明、塩明夫、鈴木章、“背景・文字の形状特徴と動的修正識別関数を用いた映像中テロップ文字認識”、電子情報通信学会論文誌、D-II、Vol. J83-D-II」及び特開２００３−３１６３７８「音声処理方法及びその方法を利用した装置及びそのプログラム」に記載されている方法等に基づいて、インデクシングを行い、インデクシングメタデータを映像データ一覧生成部３３に出力する。
【００４１】
映像データ一覧生成部３３は、インデクシング部３２から出力されたインデクシングメタデータ及び映像データを入力とし、映像データの一覧を作成し、記憶部２０に出力する。
【００４２】
追加メタデータ生成部３４は、映像データ監視部３１から出力された初期メタデータ、インデクシング部３２から出力されたインデクシングメタデータを入力とし、追加メタデータを生成し、記憶部２０に出力する。
【００４３】
メタデータデータベース生成部３５は、初期メタデータ、インデクシングメタデータ、追加メタデータ及び映像データを入力とし、メタデータデータベース（ＤＢ）５０に出力する。
【００４４】
データ検索部３６は、ユーザが入力した任意のテキストをキーとして、メタデータＤＢ５０を検索し、同時にインターネット検索エンジン（図示せず）を用いてインターネット上の情報を検索し、両者の結果を、表示部４０の１つのウィンドウに集約表示する。
【００４５】
以下に、上記の動作を詳細に説明する。
【００４６】
図４は、本発明の第１の実施の形態における全体の概要動作のフローチャートであり、図５は、本発明の第１の実施の形態における映像モニタリングステップのフローチャート、図６は、本発明の第１の実施の形態における一覧及びＤＢ生成ステップの一般フローチャート、図７は、本発明の第１の実施の形態における検索ステップの一般フローチャートである。
【００４７】
以下の処理に先立って、映像データ入出力部１０から記憶部２０に少なくとも映像データが格納されているものとする。
【００４８】
ステップ１１）映像データモニタリングステップ：
ステップ１１１） ファイル検索ステップ：
処理部３０の映像データ監視部３１は、記憶部２０（ディスク）内の映像ファイルを監視し、ファイルパスを取得する。
【００４９】
ステップ１１２） インデクシングログファイル検索ステップ：
インデクシング部３２は、ステップ１１１で得られたファイルパスのインデクシングログファイルを検索する。
【００５０】
ステップ１１３） インデクシング対象動画指定ステップ：
ステップ１１１で得られた映像データのうち、ステップ１１２で記憶部２０のログファイルがみつからなかったものについて、インデクシング対象動画として指定し出力する。
【００５１】
ステップ１１４） 初期メタデータ出力ステップ：
映像データ監視部３１は、ステップ１１３で出力された映像データの初期メタデータを映像データ一覧生成部３３及び、追加メタデータ生成部３４に出力する。
【００５２】
ステップ１２） 一覧及びＤＢ生成ステップ：
ステップ１２１） 初期メタデータ入力ステップ：
映像データ一覧生成部３３は、ステップ１１４で出力された初期メタデータを入力する。
【００５３】
ステップ１２２） インデクシングステップ：
インデクシング部３２は、ステップ１１３で出力された映像データを入力し、文献「谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸、“Scene Cabinet:映像解析技術を統合した映像インデクシングシステム”電子情報通信学会論文誌、Vol. J84-D-II, No.6, pp.1112-1121, 2001」の方法（以下、文献１と記す）によって特徴抽出処理を施し、インデクシングメタデータを映像一覧生成部３２と、メタデータベース生成部３５に出力すると共に、インデクシングログファイルを記憶部２０に出力する。
【００５４】
ステップ１２３） 一覧生成ステップ：
映像データ一覧生成部３３は、ステップ１２２で出力されたインデクシングメタデータ及び、ステップ１１４で出力された初期メタデータに基づいて、映像データの一覧を生成する。
【００５５】
ステップ１２４） 追加メタデータ生成ステップ：
追加メタデータ生成部３４は、ステップ１２１で入力された初期メタデータを用いてインターネット検索を行い、得られた結果から追加メタデータを生成する。
【００５６】
ステップ１２５） メタデータＤＢ生成ステップ：
メタデータデータベース生成部３５は、ステップ１２１で入力された初期メタデータとステップ１２２で得られたインデクシングメタデータと、ステップ１２４で生成された追加メタデータを用い、映像データ毎のフィールドを持つメタデータＤＢ５０を生成する。
【００５７】
ステップ１３）検索ステップ：
ステップ１３１）テキスト取得ステップ：
検索部３６は、プログラム上で表示するテキスト入力フィールドに入力されたテキストを取得する。
【００５８】
ステップ１３２） メタデータＤＢ検索ステップ：
検索部３６は、ステップ１３１で得られたテキスト文字列をキーとして、ステップ１２５で生成されたメタデータＤＢ５０を検索する。検索結果は、初期メタデータもしくはインデクシングメタデータ中に合致するものがあった映像データのパスと、追加メタデータ中に合致するものがあった映像データのパスと２種類に分けて得る。
【００５９】
ステップ１３３） インターネット検索ステップ：
検索部３６は、ステップ１３１で得られたテキスト文字列をキーとして、インターネット検索エンジンを用いて検索を行い、検索結果を取得する。
【００６０】
ステップ１３４） 検索結果ページ生成ステップ：
検索部３６は、ステップ１３２、及びステップ１３３で得られた結果をまとめ、特に、ステップ１３２で得られた映像データのパスから、インデクシングメタデータを参照して代表画像を選択し、結果ページを生成する。
【００６１】
次に、上記のインデクシング部３２におけるインデクシングステップ（ステップ１２２）について詳細に説明する。
【００６２】
図８は、本発明の第１の実施の形態におけるインデクシングステップの詳細フローチャートである。
【００６３】
ステップ１２２１）映像データ入力ステップ：
インデクシング部３２は、ステップ１１３で出力された映像データを入力する。
【００６４】
ステップ１２２２）特徴抽出ステップ：
ステップ１２２１で入力された映像ファイルに対し、前述の文献１の手法により、特徴量を抽出し、抽出された結果から、イベント成否を判断し、記録する。
【００６５】
ステップ１２２３）インデクシングメタデータ出力ステップ：
ステップ１２２２で記録されたイベントを、映像データのファイル情報（パス情報、ファイルサイズ等、一般にプロパティに記載されている情報が含まれる）と映像データの再生時刻情報と共に出力する。
【００６６】
ステップ１２２４）インデクシングログ出力ステップ：
インデクシングの実行結果を記憶部２０のログファイルに出力する。ログファイルには、映像データのパス情報、インデクシングの途中におけるエラー情報、及び日時などが含まれている。
【００６７】
図９は、本発明の第１の実施の形態における一覧作成ステップの詳細フローチャートである。
【００６８】
ステップ１２３１）：インデクシングメタデータ入力ステップ：
映像データ一覧生成部３３は、ステップ１２２により出力されたインデクシングメタデータ、及び、ステップ１１４により出力された初期メタデータを入力する。
【００６９】
ステップ１２３２）画像選択ステップ：
インデクシングメタデータの情報に基づき、カット点情報のうち、映像の長さに対して均等に近くなるようにカット点を選択し、インデクシングメタデータを参照することにより、関連付けられた静止画像を出力する。
【００７０】
ステップ１２３３） プレイリスト生成ステップ：
ステップ１２３２で出力された静止画像にステップ１２３３で生成されたプレイリストをＨＭＴＬ等のリンク方法でリンクした一覧ファイルを記憶部２０に出力する。
【００７１】
次に、上記の映像データ監視部３１における追加メタデータ生成ステップ（ステップ１２４）の動作を詳細に説明する。
【００７２】
図１０は、本発明の第１の実施の形態における追加メタデータ生成ステップの詳細フローチャートである。
【００７３】
ステップ１２４１）初期メタデータ入力ステップ：
追加メタデータ生成部３４は、ステップ１２１で得られる初期メタデータを入力する。
【００７４】
ステップ１２４２）インデクシングメタデータ入力ステップ：
インデクシング部３２において、ステップ１２２の処理を行うことで得られるインデクシングメタデータを入力し、テキスト文字列以外をフィルタリングする。
【００７５】
ステップ１２４３）インターネット検索ステップ：
ステップ１２４１及びステップ１２４２で入力された初期メタデータ及びテキスト文字列以外をフィルタリングされたインデクシングメタデータをキーとして、インターネット検索を行い、ＵＲＬを取得する。初期メタデータ及びフィルタリングされたインデクシングメタデータ中に、重複しないＮ個のユニークな単語が含まれている場合、ｎ個の単語によるａｎｄ検索の結果、上位ｐ位までに含まれる重複のないＵＲＬの集合をＵ（ｎ，ｐ）として、ＵＲＬの集合Ｕ，
Ｕ＝Σ（Ｕ（ｉ，ｐ）），where（ｉ＝１，２，…，Ｎ）
を取得する。
【００７６】
ステップ１２４４）テキスト抽出ステップ：
ステップ１２４３で得られたＵＲＬの集合に含まれるページを解析し、テキスト文字列を抽出する。
【００７７】
ステップ１２４５）追加メタデータ出力ステップ：
ステップ１２４４で得られたテキスト文字列を、メタデータＤＢ５０の追加メタデータのフィールドに追加する。
【００７８】
次に、追加メタデータ生成部３４における、上記のステップ１２４４のテキスト抽出ステップについて、詳細に説明する。
【００７９】
図１１は、本発明の第１の実施の形態におけるテキスト抽出ステップの詳細フローチャートである。
【００８０】
ステップ１２４４１）ページ取得ステップ：
ステップ１２４３から得られたＵＲＬに対し、ページを取得する。
【００８１】
ステップ１２４４２）ページ解析ステップ：
ステップ１２４４１で得られたページから、ページタイトルタグ中の文字列、keyword
タグ中の文字列及び、Bodyテキストの文字列を抽出する。Bodyタグ中の文字列から、リンクを除去する。
【００８２】
ステップ１２４４３）フィルタリングステップ：
ステップ１２４４２で得られた文字列のうち、Body由来の文字列を形態素解析により分割する。分割後、名詞以外をフィルタリングし、ステップ１２４５の処理へ移行する。
ステップ１２４４２で得られた文字列のうち、ページタイトルタグ、keywordタグ中の文字列は、重複を除外し、ステップ１２４５の処理に移行する。
【００８３】
［第２の実施の形態］
図１２は、本発明の第２の実施の形態における映像データ管理装置の構成を示す。
【００８４】
同図に示す映像データ管理装置は、前述の図３の構成において、処理部３０にシステム監視部３７を設けたものである。
【００８５】
図１３は、本発明の第２の実施の形態における全体の概要動作のフローチャートである。
【００８６】
本実施の形態では、前述の第１の実施の形態における図４のフローチャートのステップ１１の前段において、システム監視部３７によるシステムモニタステップ（ステップ１４）の動作を行うものであり、その他の動作は第１の実施の形態と同様である。
【００８７】
当該システムモニタステップ（ステップ１４）では、システム監視部３７は、システム上の他のタスクをモニタする。当該ステップの存在により、特にパーソナルコンピュータ上で実施する場合において、一覧及びＤＢ作成ステップ（ステップ１２）の開始及び終了を、システム上の他のソフトウェア（例：スクリーンセイバー）の起動及び終了と同期させて実施することができる。スクリーンセイバーと同期させた場合には、メモリ及びＣＰＵ等のコンピュータリソースの利用が少ない時間に、インデクシングステップを実行させることができる。
【００８８】
また、スクリーンセイバー実行中にディスプレイ等の表示装置４０に出力する情報として、インデクシングステップ実行中の画像及び初期メタデータを出力する。
【００８９】
そのほかのステップの動作に関しては、前述の第１の実施の形態と同様である。
【００９０】
［第３の実施の形態］
図１４は、本発明の第３の実施の形態における全体の概要動作のフローチャートである。
【００９１】
本実施の形態では、前述の第１の実施の形態において一覧及びＤＢ生成ステップ（ステップ１２）の次に検索ステップ（ステップ１３）を行っていたのに対し、一覧及びＤＢ生成ステップ（ステップ１２）と検索ステップ（ステップ１３）とを並列に実施するものであり、その他の動作は、第１の実施の形態と同様である。
【００９２】
［第４の実施の形態］
図１５は、本発明の第４の実施の形態における映像データ管理装置の構成を示す。
【００９３】
同図に示す映像データ管理装置は、図３に示す構成に、タスク設定部３８を追加した構成である。
【００９４】
図１６は、本発明の第４の実施の形態における全体の概要動作のフローチャートである。
【００９５】
本実施の形態では、第１の実施の形態の映像データモニタリングステップ（ステップ１１）の前段に、タスク設定ステップ（ステップ１５）を行うものである。
【００９６】
ステップ１５において、タスク設定部３８は、追加メタデータ生成ステップ（ステップ１２４）の実行タスクを設定する（例：１時間毎にステップ１２４の処理を繰り返し実行）。これにより、インターネット上の情報が更新された場合でも、追加メタデータがその更新情報を反映することができる。
【００９７】
その他の動作は、前述の第１の実施の形態と同様である。
【００９８】
［第５の実施の形態］
本実施の形態では、第１の実施の形態と概要動作については同様であるが、インデクシングステップ（ステップ１２２）の動作が異なる。
【００９９】
図１７は、本発明の第５の実施の形態におけるインデクシングステップの詳細な動作のフローチャートである。
【０１００】
本実施の形態では、インデクシングステップ（ステップ１２２）において、コンテンツジャンル判定ステップ（ステップ１２２１１）を行う。
【０１０１】
ステップ１２２１１）映像データ一覧生成部３３において、初期メタデータを入力とし、コンテンツジャンル及びデフォルトのインデクシングパラメータを出力する。
【０１０２】
ステップ１２２１２）ステップ１２２１１のパラメータに基づいて、インデクシングを実行する。初期メタデータ中にデフォルトのインデクシングパラメータが記載されている場合には、その値を出力する。また、ユーザは、デフォルトのインデクシングパラメータやＧＵＩ等を用い、任意の値に変更することができる。その他の全ての動作は、第１の実施の形態と同様である。
【０１０３】
なお、本発明は、上記の第１〜第５の実施の形態に記載された以外の機器（例えば、ハードディスクレコーダ）で実施することも可能である。
【０１０４】
また、個人端末でなく、映像配信サーバ上で行うことも可能である。
【０１０５】
また、ユーザは、エディタ等を用いて任意にメタデータＤＢ５０の内容を自由に追記・削除することが可能である。
【０１０６】
［第６の実施の形態］
前述の実施の形態では、ある映像データに対するインデクシングが終了しないと映像データ一覧が表示されなかった。インデクシング処理は、実装上、１時間の映像データに対して４０分程度のコストがあるため、映像データの投入から一覧に反映されるまでにタイムラグが存在する。
【０１０７】
本実施の形態では、インデクシングの進捗状況を管理し、当該インデクシングの進捗状況に応じて映像データ一覧を更新することにより、インデクシング処理の途中経過が一覧で反映され、それがインデクシングの進捗に従って自動更新する例を説明する。
【０１０８】
図１８は、本発明の第６の実施の形態における映像データ管理装置の構成図である。
【０１０９】
同図において、図３の構成と同一部分については同一符号を付し、その説明を省略する。
【０１１０】
図１８に示す構成は、第１の実施の形態における図３の構成に、進捗管理部３２１、音声強調区間抽出処理部３２２が付加され、図３の映像データ一覧生成部３３の代わりに、映像データ一覧更新部３２３が設けられている。本実施の形態における記憶部２０には、映像データ、インデクシングメタデータ、映像データ一覧が記憶される。
【０１１１】
進捗管理部３２１は、インデクシング部３２で行われているインデクシングの進行度を出力する。
【０１１２】
音声強調区間抽出処理部３２２は、例えば、特開２００３−３１６３７８「音声処理方法及びその方法を使用した装置及びプログラム」に開示されている手法を用いて、映像中で音声が強調される区間情報を出力する。当該手法は、予め抽出したい条件を設定することなく、また、原稿などを使用しない、自然な話し言葉や会話においても、話者に依存せず、複数話者の同時発話にも依存せず、雑音環境でも安定して、音声が強調状態であるか平静状態であるかの判定ができる音声処理技術である。これにより、例えば、野球やサッカーなどのスポーツで、音声が盛り上がった箇所を映像データの一覧上に反映させることができる。
【０１１３】
映像データ一覧更新部３２３は、音声強調区間抽出処理部３２２から出力された音声強調区間情報、インデクシング部３２からのインデクシングメタデータ及び映像データを入力とし、映像データの一覧を更新し、更新された映像データ一覧を表示部４０に出力する。
【０１１４】
次に、上記の構成における動作を説明する。
【０１１５】
本実施の形態では、映像データ一覧を生成するまでの処理について説明するが、その他の検索処理等については前述の実施の形態と同様である。
【０１１６】
図１９は、本発明の第６の実施の形態における映像データ一覧生成までの処理の概要動作のフローチャートであり、図２０は、本発明の本発明の第６の実施の形態における映像モニタリングステップのフローチャートであり、図２１は、本発明の第６の実施の形態における一覧生成ステップのフローチャートである。
【０１１７】
ステップ３１） 映像データモニタリングステップ：
ステップ３１１） 映像ファイル検索ステップ：
映像データ監視部３１において、記憶部２０（ディスク）内の映像ファイルを監視し、ファイルパスを取得する。
【０１１８】
ステップ３１２） ログファイル検索ステップ：
映像データ監視部３１において、ステップ３１１で得られたファイルのインデクシングログファイルを記憶部２０から検索する。
【０１１９】
ステップ３１３） インデクシング対象動画指定ステップ：
映像データ監視部３１において、ステップ３１１で得られた映像データのうち、ステップ３１２で記憶部２０のログファイルが見つからなかったものについて、インデクシング対象動画として指定し出力する。
【０１２０】
ステップ３１４） 初期メタデータ出力ステップ：
映像データ監視部３１は、ステップ３１３で出力された映像データの初期メタデータを出力する。
【０１２１】
ステップ３２）一覧生成ステップ：
ステップ３２１） 初期メタデータ入力ステップ：
インデクシング部３２は、ステップ３１４で映像データ監視部３１から出力された初期メタデータを入力する。
【０１２２】
ステップ３２２） インデクシングステップ：
インデクシング部３２は、ステップ３１３において映像データ監視部３１から出力された映像データを入力し、文献１の方法によって特徴抽出処理を施し、インデクシングメタデータを進捗管理部３２１に出力すると共に、インデクシングログファイルを記憶部２０に出力する。
【０１２３】
ステップ３２３） 音声強調区間抽出ステップ：
音声強調区間抽出処理部３２２は、ステップ３１３で映像データ監視部３１から出力された映像データを入力とし、文献２の方法を用いて、音声の強調された区間を判別し、当該区間の開始時刻、終了時刻、及び開始時刻における静止画像を音声強調区間情報として映像データ一覧更新部３２３に出力する。
【０１２４】
ステップ３２４） インデクシング進度管理ステップ：
進捗管理部３２１において、ステップ３２２でインデクシング部３２から出力されたインデクシングメタデータを入力とし、インデクシングメタデータ及びインデクシング進度情報（進捗率）を、映像データ一覧更新部３２３からの問い合わせに応じて出力する。
【０１２５】
ステップ３２５） 映像データ一覧作成ステップ：
映像データ一覧更新部３２３において、ステップ３２３において音声強調区間抽出処理部３２２から出力された音声強調区間情報、及び、ステップ３２２においてインデクシング部３２から出力されたインデクシングメタデータ、及び、ステップ３２４において進捗管理部３２１から出力されたインデクシング進度情報（進捗率）に基づいて、映像データ一覧を作成して記憶部２０に格納すると共に、表示部４０に表示する。
【０１２６】
次に、上記の図２１のインデクシングステップ（ステップ３２２）について詳細に説明する。
【０１２７】
図２２は、本発明の第６の実施の形態におけるインデクシングステップの詳細フローチャートである。
【０１２８】
ステップ３２２１） 映像データ入力ステップ：
インデクシング部３２は、ステップ３１３で映像データ監視部３１から出力された映像データを入力する。
【０１２９】
ステップ３２２２） 特徴抽出ステップ：
インデクシング部３２は、ステップ３２２１で入力された映像データに対して、文献１の手法により特徴量を抽出し、抽出された結果からイベント成否を判断し、記録する。
【０１３０】
ステップ３２２３） インデクシングメタデータ出力ステップ：
インデクシング部３２は、ステップ３２２２で記録されたイベントを、映像データのファイル情報（ファイルへのパス情報、ファイルサイズ等、一般にプロパティに記載されている情報が含まれる）と映像データの再生時刻情報と共に出力する。
【０１３１】
ステップ３２２４） インデクシング出力ステップ：
インデクシング部３２は、インデクシングの実行結果を記憶部２０のログファイルに出力する。ログファイルには、映像データのパス情報、インデクシングの途中におけるエラー情報、及び日時などが含まれている。
【０１３２】
次に、上記の図２１の音声強調区間抽出ステップ（ステップ３２３）について詳細に説明する。
【０１３３】
図２３は、本発明の第６の実施の形態における音声強調区間抽出ステップの詳細フローチャートである。
【０１３４】
ステップ３２３１） 映像データ入力ステップ：
音声強調区間抽出処理部３２２において、ステップ１１３において映像データ監視部３１から出力された映像データを入力する。
【０１３５】
ステップ３２３２） 強調区間判別処理ステップ：
音声強調区間抽出処理部３２２は、文献２の手法に基づいて、映像中から音声が強調されている箇所を判別する。
【０１３６】
ステップ３２３３） 音声強調区間情報出力ステップ：
音声強調区間抽出処理部３２２は、ステップ３２３２で判別された箇所の時刻情報、及び開始点の静止画を映像データ一覧更新部３２３に出力する。
【０１３７】
次に、上記の図２１の映像データ一覧作成ステップ（ステップ３２５）について詳細に説明する。
【０１３８】
図２４は、本発明の第６の実施の形態における映像データ一覧作成ステップの詳細フローチャートである。
【０１３９】
ステップ３２５１） 音声強調区間情報入力ステップ：
映像データ一覧更新部３２３は、ステップ３２３３において音声強調区間抽出処理部３２２から出力された音声強調区間情報を入力する。
【０１４０】
ステップ３２５２） インデクシングメタデータ入力ステップ：
映像データ一覧更新部３２３は、ステップ３２２においてインデクシング部３２から出力されたインデクシングメタデータ及び、後述するステップ３２５６で得られるフラグを入力する。
【０１４１】
ステップ３２５３） プレイリスト生成ステップ：
映像データ一覧更新部３２３は、ステップ３２５１及びステップ３１５２で得られた音声強調区間情報及びインデクシングメタデータ、フラグに基づいて、再生を開始できるようなリンク文字列を生成する。
【０１４２】
ステップ３２５４） 一覧ファイル更新ステップ：
映像データ一覧更新部３２３は、プレイリスト情報（ステップ３２５３で得られたリンク文字列）を記憶部２０の映像データ一覧に上書きし、更新する。
【０１４３】
ステップ３２５５） 一覧ファイル出力ステップ：
映像データ一覧更新部３２３は、ステップ３２５４で更新された映像一覧ファイルを表示部４０に表示する。
【０１４４】
ステップ３２５６） インデクシング進度問い合わせステップ：
映像データ一覧更新部３２３は、進捗管理部３２１にインデクシング進度を問い合わせ、インデクシングの進度を得る。取得した進度（進捗率）が、メモリ（図示せず）に記録されている前回の進度（進捗率）よりも進んでいれば、「更新あり」というフラグを出力する。
【０１４５】
なお、本実施の形態では、映像データ一覧生成部３３の代わりに映像データ一覧更新部３２３を設けているが、映像データ一覧更新部３２３は、映像データ一覧生成部３３と同様に、映像データ一覧を作成しているため、第１〜第５の実施の形態と同様に、後段の追加メタデータ生成部３４の追加メタデータの生成処理、メタデータデータベース生成部３５のメタデータデータベースの生成、データ検索部３６の検索・表示処理を行うことができる。
【０１４６】
本実施の形態によれば、長時間の映像が入力されても映像データ一覧に反映することができるため、従来の技術に比べて所望する映像データへの到達が容易になる。
【０１４７】
なお、上記の各実施の形態における動作をプログラムとして構築し、映像データ管理装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることが可能である。
【０１４８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１４９】
本発明は、映像データを記録する装置において、映像データに関連する索引情報を自動生成し、管理、検索、閲覧を行うシステムに適用可能である。
【図面の簡単な説明】
【０１５０】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の第１の実施の形態における映像データ管理装置の構成図である。
【図４】本発明の第１の実施の形態における全体の概要動作のフローチャートである。
【図５】本発明の第１の実施の形態における映像モニタリングステップ（ｓ１１）のフローチャートである。
【図６】本発明の第１の実施の形態における一覧及びＤＢ生成ステップ（ｓ１２）のフローチャートである。
【図７】本発明の第１の実施の形態における検索ステップ（ｓ１３）の一般フローチャートである。
【図８】本発明の第１の実施の形態におけるインデクシングステップ（ｓ１２２）の詳細フローチャートである。
【図９】本発明の第１の実施の形態における一覧作成ステップ（ｓ１２３）の詳細フローチャートである。
【図１０】本発明の第１の実施の形態における追加メタデータ生成ステップ（ｓ１２４）の詳細フローチャートである。
【図１１】本発明の第１の実施の形態におけるテキスト抽出ステップ（ｓ１２４４）の詳細フローチャートである。
【図１２】本発明の第２の実施の形態における映像データ管理装置の構成図である。
【図１３】本発明の第２の実施の形態における全体の概要動作のフローチャートである。
【図１４】本発明の第３の実施の形態における全体の概要動作のフローチャートである。
【図１５】本発明の第４の実施の形態における映像データ管理装置の構成図である。
【図１６】本発明の第４の実施の形態における全体の概要動作のフローチャートである。
【図１７】本発明の第５の実施の形態におけるインデクシングステップの詳細な動作のフローチャートである。
【図１８】本発明の第６の実施の形態における映像データ管理装置の構成図である。
【図１９】本発明の第６の実施の形態における映像データ一覧出力までの処理の概要動作のフローチャートである。
【図２０】本発明の第６の実施の形態における映像モニタリングステップ（Ｓ３１）のフローチャートである。
【図２１】本発明の第６の実施の形態における一覧生成ステップ（Ｓ３２）のフローチャートである。
【図２２】本発明の第６の実施の形態におけるインデクシングステップ（Ｓ３２２）のフローチャートである。
【図２３】本発明の第６の実施の形態における音声強調区間抽出ステップ（Ｓ３２３）の詳細フローチャートでる。
【図２４】本発明の第６の実施の形態における映像データ一覧作成ステップ（Ｓ３２５）の詳細フローチャートである。
【符号の説明】
【０１５１】
１０ 映像データ入出力部
２０ 記憶手段、記憶部
３１ 映像データ監視手段、映像データ監視部
３２ インデクシング手段、インデクシング部
３３ 映像データ一覧生成手段、映像データ一覧生成部
３４ 追加メタデータ生成手段、追加メタデータ生成部
３５ メタデータＤＢ生成手段、メタデータデータベース生成部
３６ 検索手段、検索部
３７ システム管理部
３８ タスク設定部
４０ 表示部
５０ メタデータＤＢ
３２１ 進捗管理部
３２２ 音声強調区間抽出処理部
３２３ 映像データ一覧更新部
【特許請求の範囲】
【請求項１】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理装置であって、
記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段と、
前記映像データ監視手段で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段と、
前記映像データ監視手段から取得した前記初期メタデータ並びに、前記インデクシング手段から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段と、
前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータデータベース（ＤＢ）に格納するメタデータＤＢ生成手段と、
入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段と、
を有することを特徴とする映像データ管理装置。
【請求項２】
前記追加メタデータ生成手段は、
前記初期メタデータを検索キーとして、インターネット検索を行い、得られた結果ページからタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、
前記インデクシングメタデータからテロップ認識により文字列を取得し、追加メタデータとして付与する手段と、
初期メタデータとして電子番組表中の複数のキーワードが利用可能な場合には、キーとして用いるキーワード数を段階的に少なくしてインターネット検索を行った結果からタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、
を含む請求項１記載の映像データ管理装置。
【請求項３】
前記検索手段は、
前記メタデータＤＢを検索した結果を、前記初期メタデータのフィールドもしくは、前記インデクシングメタデータのフィールドに合致する単語が存在した映像データと、前記追加メタデータのフィールドに合致する単語が存在した映像データとの２種類に分け、これを前記映像データ一覧生成手段により得られる前記代表画像と共に、前記表示装置のウィンドウ内に表示する手段と、
前記インターネット検索エンジンを用いて得られた結果を同一ウィンドウ内に集約表示する手段と、
を含む請求項１記載の映像データ管理装置。
【請求項４】
前記映像データ一覧生成手段は、
カット点、カメラワークを含む前記インデクシングメタデータ中に含まれるイベントの種類毎に整理された一覧を生成し、前記初期メタデータと同一ウィンドウ内に表示する手段を含む請求項１記載の映像データ管理装置。
【請求項５】
前記映像データ一覧生成手段は、
前記インデクシング手段により得られる出力画像のうち、カット点を示す複数の画像から、前記インデクシングメタデータに基づいて、カット画像の示す映像中の時刻が均等に近くなるものを選定する手段を含む請求項１記載の映像データ管理装置。
【請求項６】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための
映像データ管理装置であって、
記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段と、
前記映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出手段と、
前記映像データ監視手段で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段と、
前記インデクシング手段におけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理手段と、
前記インデクシング手段から出力された前記インデクシングメタデータ、前記インデクシング進捗管理手段から取得した前記進捗率、及び、前記音声強調区間抽出手段から得られた前記音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新手段と、
前記映像データ監視手段から取得した前記初期メタデータ並びに、前記インデクシング手段から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段と、
前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータデータベース（ＤＢ）に格納するメタデータＤＢ生成手段と、
入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段と、
を有することを特徴とする映像データ管理装置。
【請求項７】
前記映像データ一覧更新手段は、
前記インデクシング進捗管理手段から取得した前記進捗率と、前回取得し、記憶手段に格納されている進捗率とを比較して、前回より進んでいる場合は、前記映像データ一覧を更新し、表示手段に出力する手段を含む、
請求項６記載の映像データ管理装置。
【請求項８】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、映像データ一覧生成手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
前記映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データモニタリングステップと、
前記インデクシング手段が、前記映像データ監視ステップで指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップと、
前記映像データ一覧生成手段が、前記インデクシングステップで得られたインデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、記憶手段に格納する映像データ一覧生成ステップと、
前記追加メタデータ生成手段が、前記映像データモニタリングステップで取得した前記初期メタデータ並びに、前記インデクシングステップで取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成ステップと、
メタデータＤＢ生成手段が、前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップと、
前記検索手段が、入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップと、
を行うことを特徴とする映像データ管理方法。
【請求項９】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、音声強調区間抽出処理手段、進捗管理手段、映像データ一覧更新手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
前記映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視ステップと、
前記音声強調区間抽出処理手段が、前記映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出ステップと、
前記インデクシング手段が、前記映像データ監視ステップで指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップと、
前記進捗管理手段が、前記インデクシングステップにおけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理ステップと、
前記映像データ一覧更新手段が、前記インデクシングステップにより取得した前記インデクシングメタデータ、前記インデクシング進捗管理ステップにより取得した前記進捗率、及び、前記音声強調区間抽出ステップで得られた前記音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新ステップと、
前記追加メタデータ生成手段が、前記映像データモニタリングステップで取得した前記初期メタデータ並びに、前記インデクシングステップで取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成ステップと、
前記メタデータＤＢ生成手段が、前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップと、
前記検索手段が、入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップと、
を行うことを特徴とする映像データ管理方法。
【請求項１０】
請求項８または、９記載の映像データ管理方法の各ステップを、コンピュータに実行させることを特徴とする映像データ管理プログラム。
【請求項１】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理装置であって、
記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段と、
前記映像データ監視手段で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段と、
前記映像データ監視手段から取得した前記初期メタデータ並びに、前記インデクシング手段から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段と、
前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータデータベース（ＤＢ）に格納するメタデータＤＢ生成手段と、
入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段と、
を有することを特徴とする映像データ管理装置。
【請求項２】
前記追加メタデータ生成手段は、
前記初期メタデータを検索キーとして、インターネット検索を行い、得られた結果ページからタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、
前記インデクシングメタデータからテロップ認識により文字列を取得し、追加メタデータとして付与する手段と、
初期メタデータとして電子番組表中の複数のキーワードが利用可能な場合には、キーとして用いるキーワード数を段階的に少なくしてインターネット検索を行った結果からタグ記号を除去し、テキストを抽出して追加メタデータとして付与する手段と、
を含む請求項１記載の映像データ管理装置。
【請求項３】
前記検索手段は、
前記メタデータＤＢを検索した結果を、前記初期メタデータのフィールドもしくは、前記インデクシングメタデータのフィールドに合致する単語が存在した映像データと、前記追加メタデータのフィールドに合致する単語が存在した映像データとの２種類に分け、これを前記映像データ一覧生成手段により得られる前記代表画像と共に、前記表示装置のウィンドウ内に表示する手段と、
前記インターネット検索エンジンを用いて得られた結果を同一ウィンドウ内に集約表示する手段と、
を含む請求項１記載の映像データ管理装置。
【請求項４】
前記映像データ一覧生成手段は、
カット点、カメラワークを含む前記インデクシングメタデータ中に含まれるイベントの種類毎に整理された一覧を生成し、前記初期メタデータと同一ウィンドウ内に表示する手段を含む請求項１記載の映像データ管理装置。
【請求項５】
前記映像データ一覧生成手段は、
前記インデクシング手段により得られる出力画像のうち、カット点を示す複数の画像から、前記インデクシングメタデータに基づいて、カット画像の示す映像中の時刻が均等に近くなるものを選定する手段を含む請求項１記載の映像データ管理装置。
【請求項６】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための
映像データ管理装置であって、
記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視手段と、
前記映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出手段と、
前記映像データ監視手段で指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシング手段と、
前記インデクシング手段におけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理手段と、
前記インデクシング手段から出力された前記インデクシングメタデータ、前記インデクシング進捗管理手段から取得した前記進捗率、及び、前記音声強調区間抽出手段から得られた前記音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新手段と、
前記映像データ監視手段から取得した前記初期メタデータ並びに、前記インデクシング手段から取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成手段と、
前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータデータベース（ＤＢ）に格納するメタデータＤＢ生成手段と、
入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索手段と、
を有することを特徴とする映像データ管理装置。
【請求項７】
前記映像データ一覧更新手段は、
前記インデクシング進捗管理手段から取得した前記進捗率と、前回取得し、記憶手段に格納されている進捗率とを比較して、前回より進んでいる場合は、前記映像データ一覧を更新し、表示手段に出力する手段を含む、
請求項６記載の映像データ管理装置。
【請求項８】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、映像データ一覧生成手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
前記映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データモニタリングステップと、
前記インデクシング手段が、前記映像データ監視ステップで指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップと、
前記映像データ一覧生成手段が、前記インデクシングステップで得られたインデクシングメタデータに基づいて、代表画像を選択し、映像データの一覧を生成し、記憶手段に格納する映像データ一覧生成ステップと、
前記追加メタデータ生成手段が、前記映像データモニタリングステップで取得した前記初期メタデータ並びに、前記インデクシングステップで取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成ステップと、
メタデータＤＢ生成手段が、前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップと、
前記検索手段が、入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップと、
を行うことを特徴とする映像データ管理方法。
【請求項９】
映像データに関連する索引情報を生成し、映像データの管理、検索、閲覧を行うための映像データ管理方法であって、
映像データ監視手段、インデクシング手段、音声強調区間抽出処理手段、進捗管理手段、映像データ一覧更新手段、追加メタデータ生成手段、メタデータＤＢ生成手段、検索手段を有する映像データ管理装置において、
前記映像データ監視手段が、記憶手段中の映像データ及び記録媒体へ入出力される映像データを監視し、インデクシングの対象となる映像データを指定し、また、映像データをユーザが取得する時点で予め付与されている関連情報を初期メタデータとして出力する映像データ監視ステップと、
前記音声強調区間抽出処理手段が、前記映像データの音声が強調されている区間を音声強調区間として抽出する音声強調区間抽出ステップと、
前記インデクシング手段が、前記映像データ監視ステップで指定された映像データに対してインデクシングを行い、特徴部分の情報と該映像データの時刻情報が関連付けられたインデクシングメタデータを出力するインデクシングステップと、
前記進捗管理手段が、前記インデクシングステップにおけるインデクシング処理の経過を監視し、その進捗率を出力するインデクシング進捗管理ステップと、
前記映像データ一覧更新手段が、前記インデクシングステップにより取得した前記インデクシングメタデータ、前記インデクシング進捗管理ステップにより取得した前記進捗率、及び、前記音声強調区間抽出ステップで得られた前記音声強調区間に基づいて、映像データ一覧を作成し、記憶手段の映像データ一覧を更新すると共に、該映像データ一覧を表示手段に表示する映像データ一覧更新ステップと、
前記追加メタデータ生成手段が、前記映像データモニタリングステップで取得した前記初期メタデータ並びに、前記インデクシングステップで取得したインデクシングメタデータに基づいて、映像データに付与するための関連情報である追加メタデータを生成する追加メタデータ生成ステップと、
前記メタデータＤＢ生成手段が、前記初期メタデータ、前記インデクシングメタデータ、及び前記追加メタデータを、メタデータＤＢに格納するメタデータＤＢ生成ステップと、
前記検索手段が、入力された検索キーに基づいて、前記メタデータＤＢを検索すると共に、インターネット検索エンジンを用いてインターネット上の情報を検索し、検索結果を、表示手段に新規に生成する一つのウィンドウ内に集約表示する検索ステップと、
を行うことを特徴とする映像データ管理方法。
【請求項１０】
請求項８または、９記載の映像データ管理方法の各ステップを、コンピュータに実行させることを特徴とする映像データ管理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００７−１２０１３（Ｐ２００７−１２０１３Ａ）
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願番号】特願２００５−２６９２０２（Ｐ２００５−２６９２０２）
【出願日】平成１７年９月１５日（２００５．９．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願日】平成１７年９月１５日（２００５．９．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]