ヒント情報記述方法
【課題】メタデータの解析及び再生成に伴う処理コスト(処理量やメモリ使用量等)を低減することができるヒント情報記述方法を得る。
【解決手段】動画像や音声を含むマルチメディアコンテンツを複数のシーンに分割し、分割したシーン毎にメタデータを生成する。シーンの区間情報やタイトルのほかに、前記コンテンツの階層的な構造を記述するシーン構造情報メタデータを含むメタデータを生成することができる。また、メタデータに含まれる記述子の名称または識別子が、コンテンツの意味内容、構造、特徴を記述する1つまたは複数の記述子から成るメタデータを操作する際のヒント情報として、記述されている。
【解決手段】動画像や音声を含むマルチメディアコンテンツを複数のシーンに分割し、分割したシーン毎にメタデータを生成する。シーンの区間情報やタイトルのほかに、前記コンテンツの階層的な構造を記述するシーン構造情報メタデータを含むメタデータを生成することができる。また、メタデータに含まれる記述子の名称または識別子が、コンテンツの意味内容、構造、特徴を記述する1つまたは複数の記述子から成るメタデータを操作する際のヒント情報として、記述されている。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、メタデータ再生成のためのヒント情報を記述するヒント情報記述方法に関するものである。
【背景技術】
【0002】
従来の動画像管理装置では、映像を複数のシーンに分割してから、各シーンの再生に必要な区間情報とシーン番号とシーンを代表する画像の集まりであるインデックスを編集し、1つ以上のインデックスを作成する手段と、各インデックスには検索目的を示したタイトルを付与する手段と、検索時には、タイトルでインデックスを検索し、シーン番号の順番に従ってインデックスのシーンを次々に再生する手段とから構成することで、必要なシーンが並ぶようにインデックスを編集することで、必要なシーンだけを再生することができる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−028722号公報(第1頁、図1)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の動画像管理装置では、メタデータ再生成のためにメタデータに含まれるすべての記述子を解析しなければならないという問題点があった。
【0005】
この発明は、前述した問題点を解決するためになされたもので、メタデータ再生成のためのメタデータ自体の解析を省くことができ、また出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、メタデータの解析及び再生成に伴う処理コスト(処理量やメモリ使用量等)を低減することができるヒント情報記述方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
この発明に係るヒント情報記述方法は、コンテンツの意味内容、構造、特徴を記述する1つまたは複数の記述子から成るメタデータを操作する際のヒント情報として、メタデータに含まれる各記述子がとり得る値の範囲を記述するものである。
【発明の効果】
【0007】
この発明に係るヒント情報記述方法は、メタデータ再生成のためのメタデータ自体の解析を省くことができ、また出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、メタデータの解析及び再生成に伴う処理コスト(処理量やメモリ使用量等)を低減することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1に係るメタデータ編集装置の構成を示すブロック図である。
【図2】この発明の実施の形態1に係るメタデータ編集装置の編集対象の一例であるニュース映像を示す図である。
【図3】この発明の実施の形態1に係るメタデータ編集装置のシーン分割部のシーンの区間情報メタデータの一例を示す図である。
【図4】この発明の実施の形態1に係るメタデータ編集装置のシーン記述編集部のシーン構造情報メタデータの一例を示す図である。
【図5】この発明の実施の形態1に係るメタデータ編集装置のコンテンツ再生・表示部、ユーザ入力部の画面イメージ例を示す図である。
【図6】この発明の実施の形態2に係るメタデータ編集装置の構成を示すブロック図である。
【図7】この発明の実施の形態2に係るメタデータ編集装置の動作を説明するための図である。
【図8】この発明の実施の形態3に係るメタデータ再生装置の構成を示すブロック図である。
【図9】この発明の実施の形態3に係るメタデータ再生装置の動作を説明するための図である。
【図10】この発明の実施の形態4に係るコンテンツ配信システムの構成を示すブロック図である。
【図11】この発明の実施の形態4に係るメタデータ配信サーバのメタデータ解析部から出力されるコンテンツ(ニュース映像の例)の構造情報を示す図である。
【図12】この発明の実施の形態4に係るコンテンツ配信システムのメタデータ再生成部による再構成後のコンテンツの構造例を示す図である。
【図13】この発明の実施の形態5に係るメタデータ配信サーバの構成を示すブロック図である。
【図14】この発明の実施の形態5に係るメタデータ配信サーバによる、メタデータ最適化ヒント情報について説明するためのビデオコンテンツの一例を示す図である。
【図15】この発明の実施の形態5に係るメタデータ配信サーバによる、MPEG−7を用いた場合のメタデータの記述例を示す図である。
【図16】この発明の実施の形態5に係るメタデータ配信サーバが用いるメタデータ最適化ヒント情報のフォーマット例を示す図である。
【図17】この発明の実施の形態5に係るメタデータ配信サーバが用いるメタデータ最適化ヒント情報を示す図である。
【図18】この発明の実施の形態5に係るメタデータ配信サーバのメタデータ解析・再生成部の動作を示すフローチャートである。
【図19】この発明の実施の形態5に係るメタデータ配信サーバのメタデータ解析・再生成部の動作を示すフローチャートである。
【図20】この発明の実施の形態6に係るメタデータ検索サーバの構成を示すブロック図である。
【図21】この発明の実施の形態6に係るメタデータ検索サーバのメタデータ解析部の動作を示すフローチャートである。
【図22】この発明の実施の形態7に係るクライアント端末の構成を示すブロック図である。
【図23】この発明の実施の形態8に係るコンテンツ配信サーバの構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、この発明の実施の形態1及び2に係るメタデータ編集装置、実施の形態3に係るメタデータ再生装置、実施の形態4に係るコンテンツ配信システム、実施の形態5に係るメタデータ配信サーバ、実施の形態6に係るメタデータ検索サーバ、実施の形態7に係るクライアント端末、並びに実施の形態8に係るコンテンツ配信サーバについて、図面に基づき説明する。
【0010】
実施の形態1.
この実施の形態1では、動画像や音声を含むマルチメディアコンテンツを複数のシーンに分割し、シーンの階層的な構造記述や、各シーンの特徴量を含むメタデータ(インデックス情報)を作成するメタデータ編集装置について説明する。
【0011】
この発明の実施の形態1に係るメタデータ編集装置について図面を参照しながら説明する。図1は、この発明の実施の形態1に係るメタデータ編集装置の構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
【0012】
図1において、メタデータ編集装置100は、コンテンツ再生・表示部2と、シーン分割部3と、サムネイル画像生成部4と、シーン記述編集部5と、テキスト情報付与部6と、特徴抽出部7と、ユーザ入力部8と、メタデータ記述部9とを備える。
【0013】
コンテンツ再生・表示部2は、映像データや音声データ等からなる編集対象のマルチメディアコンテンツ10を再生・表示する。シーン分割部3は、コンテンツを複数のシーンに分割する。サムネイル画像生成部4は、シーンの代表フレームをサムネイル画像として抽出する。シーン記述編集部5は、シーン分割部3により分割されたシーンのグループ化、シーンの結合、シーンの削除、シーンの関係情報の生成などによりシーンを階層的に編集する。テキスト情報付与部6は、各シーンに対して各種のテキスト情報を付加する。特徴抽出部7は、シーンの特徴を抽出する。
【0014】
また、ユーザ入力部8は、コンテンツ再生・表示部2、シーン分割部3、サムネイル画像生成部4、シーン記述編集部5およびテキスト情報付与部6に対して、ユーザからの指示情報をユーザ入力情報11として出力する。
【0015】
さらに、メタデータ記述部9は、シーン分割部3、サムネイル画像生成部4、シーン記述編集部5、テキスト情報付与部6および特徴抽出部7より出力されるシーンの区間情報メタデータ12、シーンのサムネイル画像情報メタデータ13、シーン構造情報メタデータ14、テキスト情報メタデータ15、及び特徴記述メタデータ16を統合し、規定のフォーマットに従ってマルチメディアコンテンツの内容及び構造を記述したメタデータ17を生成する。
【0016】
つぎに、この実施の形態1に係るメタデータ編集装置の動作について図面を参照しながら説明する。図2は、この実施の形態1に係るメタデータ編集装置の編集対象の一例であるニュース映像の構成を示す図である。
【0017】
図2に示す構成のニュース映像を編集する場合を例に説明する。
【0018】
まず、メタデータ編集装置100のコンテンツ再生・表示部2は、コンテンツ記憶部(図示せず)に記憶されている映像コンテンツ等のマルチメディアコンテンツ10がネットワーク等を介し入力されと、編集用に再生・表示する。
【0019】
メタデータ編集装置100のユーザがその再生映像を見ながら、シーンとして切り出す位置、すなわちシーンの開始位置と、終了位置とをユーザ入力部8より入力すると、シーン分割部3は、ユーザから入力されたシーンの開始位置と終了位置とを示すシーンの区間情報メタデータ12を生成する。
【0020】
図3は、本実施の形態1に係るメタデータ編集装置のシーン分割部のシーンの区間情報メタデータの一例を示す図である。
【0021】
この図3に示す区間情報メタデータ12は、図2に示すニュース映像から生成した例を示す。図3に示すように、シーン分割部3によって、ニュース映像コンテンツから切り出された“ニュースダイジェスト”、“国内ニュース”や、“国際ニュース”等の各シーンに対して、シーンの開始位置と、終了位置の区間情報を示すシーンの区間情報メタデータ12が生成される。
【0022】
シーン記述編集部5では、ユーザからユーザ入力部8を介しシーン編集の指示があると、シーン分割部3からのシーンの区間情報メタデータ12に基づき、シーン分割部3で連続的に切り出されたシーンの階層的な編集を行ない、シーン構造情報メタデータ14を出力する。シーンの階層的編集とは、例えば、シーンのグループ化、シーンの再分割、シーンの結合、シーンの削除がある。シーンのグループ化とは、例えば、図2に示すニュース映像から、例えば図4に示すように「国内ニュース」、「国際ニュース」、「経済ニュース」等のある特定の特徴で関連あるシーンをひとつの「ニュース」グループにまとめることをいう。また、シーンの再分割とは、1つのシーンを複数のシーンに分割することである。シーンの結合とは、複数のシーンをまとめて1つのシーンとすることである。
【0023】
図4は、本実施の形態1に係るメタデータ編集装置のシーン記述編集部のシーン構造情報メタデータの一例を示す図である。
【0024】
この図4に示すシーン構造情報メタデータ14は、シーン記述編集部5での編集の結果、生成された映像コンテンツの階層的な構造を記述する。図4では、シーン記述編集部5で、シーンのグループ化や、シーンの再分割、シーンの結合等のシーンの編集により、“ニュース”というシーンが、“ニュースダイジェスト”、“ニュース”、“特集”、“スポーツ”等に編集され、さらにその“ニュース”が“国内ニュース”、“国際ニュース”、“経済ニュース”の階層的に編集されたことを示している。
【0025】
そして、シーン記述編集部5で生成された例えば図4に示すメタデータ14は、メタデータ記述部9へ出力される。
【0026】
一方、サムネイル画像生成部4では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、シーン分割部3で切り出された各シーンの中から代表フレームをサムネイル画像として生成し、生成したサムネイル情報をサムネイル画像情報メタデータ13としてメタデータ記述部9へ出力し、メタデータ記述部9に登録する。ここで、ユーザはユーザ入力部8より、サムネイルの選択を行うこともできるが、自動的に、先頭フレームや固定時間間隔の複数フレームを代表フレームとしたり、シーンチェンジ点を自動検出し、それらのフレームを代表フレームとしたりすることもできる。サムネイル画像情報メタデータ13は、映像コンテンツの中のサムネイルの位置情報(フレーム番号または時間)、または、サムネイル画像のURLなどのロケーション情報になる。
【0027】
また、特徴抽出部7では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、各シーンの中から、動き、色、あるいはシーン内に含まれるオブジェクトの形状など、シーンがもつ視覚的特徴量を抽出する。抽出された特徴量は、特徴記述メタデータ16として、メタデータ記述部9へ出力され、登録される。
【0028】
また、テキスト情報付与部6では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、各シーンに対して、ユーザがタイトル、アブストラクト、キーワード、コメント、シーンの重要度などの各種のテキスト情報を付与する。テキスト情報の付与は、ユーザ入力部8よりユーザが入力する場合と、コンテンツに含まれる音声情報やキャプションを解析することにより、自動的に付与する場合がある。テキスト情報は、テキスト情報メタデータ15として、メタデータ記述部9へ出力し、メタデータ記述部9に登録する。
【0029】
図5は、この実施の形態1に係るメタデータ編集装置のコンテンツ再生・表示部や、ユーザ入力部8の画面イメージ例を示す。図5において、ビデオ再生画面G1は、コンテンツ再生・表示部2における画面イメージ例に相当し、このビデオ再生画面G1では、編集用のコンテンツを再生・表示する。図5には、明示していないが、「再生」、「停止」、「巻き戻し」、「早送り」、「コマ送り」再生用の指示ボタンなど、通常のビデオ再生装置に備えられているユーザインタフェースを備えているものとする。そして、このビデオ再生画面G1の下方にはシーン分割指示画面G2が表示されている。このシーン分割指示画面G2は、例えば、スライダー形式になっており、ビデオ再生画面G1に表示される映像を見ながら、ユーザがビデオ再生画面G1に表示される映像シーンの開始位置と終了位置とを指示することができる。また、シーン分割指示画面G2は、同時に、シーンの開始位置と終了位置との間で、サムネイルの位置を指示することができる。ここで、シーン分割指示画面G2によりサムネイルの位置が指定されると、映像コンテンツの指定された位置のフレームからサムネイル画像生成部4がサムネイル画像を生成することになる。
【0030】
また、シーン分割指示画面G2により位置が指定されたサムネイル画像は、シーンの分割情報として、シーン分割情報表示画面G3に表示される。このシーン分割情報表示画面G3では、サムネイル画像のほか、図3に示すようにシーンごとにシーンの開始位置と終了位置とを示す情報を表示することもできる。
【0031】
次に、ツリー構造生成指示・表示画面G4では、シーンの編集をユーザに対し指示する。ユーザは、シーン分割情報表示画面G3に表示されているサムネイル画像等のシーン分割情報を見ながら、映像コンテンツのもつ階層構造を表すツリーを生成する。
【0032】
操作方法としては、例えば、シーンのグループ化を行う場合には、ツリー上に新しいノードを追加し、そのノードにグループ化したいシーンを追加していく。シーンの追加の操作は、追加したいシーンをシーン分割情報表示画面G3上で選択し、ドラッグ・アンド・ドロップにより、ノードにシーンを追加するなどの方法が考えられる。シーン分割情報表示画面G3、ツリー構造生成指示・表示画面G4では、シーンを選択することにより、そのシーンに対してテキスト情報付与部6を介してテキスト情報を付与するためのユーザインタフェースとしてユーザ入力部8が提供され、シーンに対するテキスト情報を入力することができる。
【0033】
メタデータ記述部9は、シーン分割部3、サムネイル画像生成部4、シーン記述編集部5、テキスト情報付与部6および特徴抽出部7より出力される各種メタデータを統合し、規定の記述フォーマットに従って記述したメタデータファイルを生成する。メタデータの規定の記述フォーマットは、独自に定めたフォーマットで記述することもできるが、本実施の形態1では、ISOで標準化されているMPEG−7を使うことにする。このMPEG−7は、コンテンツの構造や特徴を記述するフォーマットを規定するものであり、XMLファイルフォーマットとバイナリフォーマットがある。
【0034】
従って、本実施の形態1のメタデータ編集装置100によれば、シーンを階層的に編集するシーン記述編集部5や、シーンから特徴を抽出する特徴抽出部7を設けるようにしたので、ビデオデータ等のコンテンツのもつ階層的な構造や各シーンの特徴量を記述したメタデータを生成することができる。
【0035】
なお、コンテンツ再生・表示部2に入力されるマルチメディアコンテンツ10は、ネットワーク上にあるコンテンツサーバ(図示せず)から取得する場合や、メタデータ編集装置100内にあるコンテンツ記憶部(図示せず)より取得する場合、CDやDVD等の蓄積媒体(図示せず)より取得する場合など様々な場合が想定される。同様に、メタデータ記述部9より出力されるメタデータは、ネットワーク上にあるメタデータサーバ(図示せず)に蓄積される場合や、メタデータ編集装置内にあるメタデータ蓄積部(図示せず)に蓄積される場合、CDやDVD等の蓄積媒体(図示せず)にコンテンツとともに蓄積される場合などが想定される。
【0036】
また、本実施の形態1では、シーン記述編集部5と、特徴抽出部7との両者を設けて説明したが、これに限らず、シーン記述編集部5のみを設けたり、特徴抽出部7のみを設けるようにしても勿論良い。
【0037】
実施の形態2.
上記の実施の形態1では、シーンの分割をすべて手動で行っていたが、この実施の形態2では、シーンチェンジ点を自動検出するシーンチェンジ検出部を備えたことを特徴とするデータ編集装置について説明する。
【0038】
この発明の実施の形態2に係るメタデータ編集装置について図面を参照しながら説明する。図6は、この発明の実施の形態2に係るメタデータ編集装置の構成を示すブロック図である。
【0039】
図6において、メタデータ編集装置100Aは、コンテンツ再生・表示部2と、シーン分割部3と、サムネイル画像生成部4と、シーン記述編集部5と、テキスト情報付与部6と、特徴抽出部7と、ユーザ入力部8と、メタデータ記述部9と、シーンチェンジ検出部39とを備える。なお、符号40は、自動検出されたシーン開始位置情報である。
【0040】
つぎに、この実施の形態2に係るメタデータ編集装置の動作について図面を参照しながら説明する。
【0041】
図7は、この発明の実施の形態2に係るメタデータ編集装置の動作を説明するための図である。
【0042】
シーンチェンジ検出部39と、シーン分割部3以外の動作は、上記実施の形態1と同じである。実施の形態2特有の動作を説明する。
【0043】
シーンチェンジ検出部39は、自動的にシーンチェンジ、カット点検出を行う。シーンチェンジ検出は、例えば、フレーム間画素差分や、フレーム間の色や、輝度のヒストグラム差分などに基づいて行う。シーン分割部3は、シーンチェンジ検出部39で検出されたシーンチェンジ点に基づき、シーンの開始位置と終了位置を決定する。
【0044】
ここで、シーンチェンジ検出部39とシーン分割部3の処理について、編集対象のコンテンツがニュース映像の場合を例に詳述する。
【0045】
シーンチェンジ検出のための特徴量として、色のヒストグラムを用いる場合を例に説明する。
【0046】
シーンチェンジ検出部39では、1フレームごとに色のヒストグラムを算出する。表色系としては、HSV、RGB、YCbCrなどがあるが、ここでは、HSV色空間を用いる。このHSV色空間は、色相(H)、彩度(S)、明度(V)の3要素から構成される。各要素のヒストグラムを算出する。次に、求められたヒストグラムから、例えば下記の(式1)に基づき、フレーム間のヒストグラム差分を算出する。シーンの開始フレームから、Nフレーム(例えばN=3)は、同一シーン、すなわち、シーンチェンジ点がないものと仮定する。なお、シーンの初期特徴量として、下記の(式2)に基づき、最初のNフレーム間のヒストグラム差分の平均(mean)と標準偏差(sd)を求める。
【0047】
【数1】
【0048】
そして、N+1フレーム以降は、ヒストグラムのフレーム間差分がmean+λ・sdより大きくなったフレームをシーンチェンジ点とし、新しいシーンの開始位置候補とする。
【0049】
シーンの開始位置候補が複数得られたら、次に、ニュース映像のように、ニュースの切り替わりなどで決まったパターンの画像が挿入される場合を考える。
【0050】
ニュース映像は、ニュースの切り替わりで、例えば、アナウンサーと背景のスタジオセット、説明の文字(キャプション)により構成された画像など、決まったパターンの画像が挿入されることが多い。従って、これらの決まったパターンの画像(テンプレート画像と称する)、またはテンプレート画像の特徴量を記述したメタデータを予め登録しておく。テンプレート画像の特徴量とはテンプレート画像の色のヒストグラム、あるいは、動きのパターン(ニュースの切り替わりで、アナウンサーが写る部分は動きが少ないなど)などが挙げられる。
【0051】
テンプレート画像が予め登録されている場合には、例えば図7に示すように、シーンチェンジ点に対応する画像と、テンプレート画像とのマッチングをとり、類似度が高い場合には、そのシーンチェンジ点をシーンの開始位置として登録する。類似度のマッチングとしては、フレーム間差分やフレーム間の色のヒストグラム差分などがある。
【0052】
また、テンプレート画像の特徴量が予め登録されている場合には、シーンチェンジ点に対応する画像から特徴量を抽出し、テンプレート画像の特徴量とのマッチングをとり、類似度が高い場合には、そのシーンチェンジ点をシーンの開始位置として登録する。シーン開始位置の情報はシーン分割部3へ出力される。
【0053】
シーン分割部3では、シーンチェンジ検出部39で自動検出されたシーン開始位置情報に基づき、シーンの開始位置および終了位置を決定する。なお、本実施の形態2のシーン分割部3では、上記実施の形態1と同様に、ユーザからの指示に基づき、シーンの開始位置および終了位置を決定することもできる。
【0054】
シーン分割部3では、シーンの開始位置および終了位置を記述したシーンの区間情報メタデータ12をシーンチェンジ検出部39へ出力し、このシーンチェンジ検出部39で、そのシーンに含まれるシーンチェンジ点を検出することもできる。
【0055】
シーン記述編集部5では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、シーンチェンジ検出部39で自動検出されたシーンを再分割や統合することができる。なお、シーン記述編集部5の詳細は、上記実施の形態1と同様である。
【0056】
従って、本実施の形態2に係るメタデータ編集装置100Aによれば、上記実施の形態1と同様に、ビデオデータ等のコンテンツのもつ階層的な構造や各シーンの特徴量を記述したメタデータを生成することができると共に、シーンチェンジ検出部39を設けたことにより、コンテンツのシーンチェンジ点を自動検出することが可能となる。
【0057】
実施の形態3.
この実施の形態3では、上記実施の形態1及び2のメタデータ編集装置により生成されたメタデータを利用して、画像の要約再生や、検索などを行うメタデータ再生装置について説明する。
【0058】
この発明の実施の形態3に係るメタデータ再生装置について図面を参照しながら説明する。図8は、この発明の実施の形態3に係るメタデータ再生装置の構成を示すブロック図である。
【0059】
図8において、メタデータ再生装置200は、メタデータ解析部19と、構造表示部20と、サムネイル画像表示部21と、ユーザ入力部22と、検索部23と、検索結果表示部24と、要約作成部25と、要約構造表示部26と、コンテンツ再生部27とを備える。
【0060】
メタデータ解析部19は、コンテンツのもつ階層的なシーン構造や各シーンのサムネイルに関する情報、各シーンの特徴量などが記述されたメタデータ28の解析を行う。構造表示部20は、メタデータ解析結果から取得されるシーン構造29、つまりコンテンツの階層的な構造を表示する。サムネイル画像表示部21は、メタデータ解析結果から取得されるサムネイル画像情報30を表示する。
【0061】
ユーザ入力部22は、検索や再生等の指示を行う。検索部23は、ユーザからの検索指示(検索条件31)と、メタデータから取得されるシーンの特徴量やテキスト情報32とに基づき検索を行う。検索結果表示部24は、検索結果33を表示する。要約作成部25は、ユーザからの要約作成指示(要約作成条件34)に基づき要約作成を行う。要約構造表示部26は、要約されたコンテンツの構造38を表示する。コンテンツ再生部27は、要約情報35、コンテンツ再生指示36、再生するコンテンツ37に基づきコンテンツを再生・表示する。
【0062】
つぎに、この実施の形態3に係るメタデータ再生装置の動作について図面を参照しながら説明する。
【0063】
まず、メタデータ解析部19は、コンテンツのもつ階層的なシーン構造や、各シーンのサムネイルに関する情報、各シーンの特徴量などが記述されたメタデータ28を入力とし、メタデータの解析を行う。
【0064】
本実施の形態3では、このメタデータ28は、上記実施の形態1、2のメタデータ記述部9が生成したMPEG‐7規定のフォーマットで記述されているため、メタデータはXMLで記述されたテキストファイルでもよいし、バイナリフォーマットで符号化されたバイナリファイルであってもよい。
【0065】
このため、メタデータ解析部19は、メタデータ28がXMLで記述されているならば、XMLファイルの解析を行うXMLパーザの機能をもつ。また、メタデータ28がバイナリフォーマットで符号化されているならば、メタデータ28の復号を行うデコーダの機能を有する。
【0066】
構造表示部20は、メタデータ解析部19の解析結果を入力して、コンテンツの階層的なシーン構造29を表示する。コンテンツのシーン構造は、例えば、図4に示すように、各シーンのタイトルとともにツリー表示される。
【0067】
サムネイル画像表示部21は、メタデータ解析部19の解析結果(サムネイル画像情報30)を入力して、コンテンツのサムネイル画像一覧を表示する。
【0068】
検索部23は、ユーザ入力部22を介したユーザからの検索指示により、コンテンツに含まれるシーンの検索を行う。その際、ユーザ入力部22では、キーワードやサンプル画像の提示等により、検索条件を入力する。検索部23では、メタデータに記述されているシーンの特徴量や、シーンのタイトルなどのテキスト情報32に基づき、ユーザから提示された検索条件(キーワードやサンプル画像の特徴)31に合致するシーンの検索を行う。
【0069】
検索部23による検索が終了すると、検索結果表示部24は、検索部23の検索結果33を入力とし、検索結果の表示を行う。検索結果の表示方法としては、例えば、検索条件に合致したシーンのサムネイル画像を表示する。
【0070】
また、要約作成部25は、ユーザ入力部22を介したユーザからの要約作成指示に基づき、コンテンツの要約を作成する。その際、ユーザ入力部22では、要約されたコンテンツの再生時間や、ユーザ嗜好などの情報を入力する。例えば、コンテンツがニュース映像の場合には、ニュースの中のスポーツを中心に見たい、あるいは、1時間のニュースを20分に要約してみたいなどのユーザの嗜好情報を入力する。また、要約作成部25では、メタデータに記述されているシーンの再生時間や、シーンのタイトルなどのテキスト情報32に基づき、要約条件に合致した要約情報35を作成する。この要約情報35とは、例えば、要約されたコンテンツに含まれるシーンの再生リストであり、コンテンツのURLなどのロケーション情報と、そのコンテンツの中の再生したいシーンの開始位置と終了位置を列記したリストである。
【0071】
また、コンテンツ再生・表示部27では、要約情報35に含まれるコンテンツのロケーション情報に基づき、対象コンテンツを特定し、要約情報に含まれるシーンリストに基づき、再生するシーンの取得・再生・表示を行う。また、別の例として、要約情報が要約されたシーンの構造を階層的に記述したものである場合も考えられる。
【0072】
図9は、要約されたシーン構造を階層的に記述したものの一例を示す図である。同図(a)は、オリジナルコンテンツのシーン構造の例を示す。各シーンに対して、重要度が0.0〜1.0の範囲で付加されている。1.0は重要度が最も高く、0.0は重要度が最も低いことを意味する。重要度は、例えば、ユーザ嗜好に基づいて計算されたものであるとする。例えば、チームAのサッカーの試合に関するシーン、特に、試合結果と得点シーンは必ず見たいというユーザ嗜好を予め登録しておくと、各シーンにはユーザ嗜好を反映した重要度が付加される。
【0073】
そして、図9(a)において、重要度が最も高いシーンのみで要約を生成すると、要約されたシーン構造は同図(b)に示すようになる。なお、各シーンは、そのシーンを含むコンテンツのURLなどのロケーション情報と、そのシーンのコンテンツ内での位置情報(開始位置と終了位置)などのメタデータをもつ。要約されたシーン構造38に関する情報は、要約構造表示部26へ渡され、この要約構造表示部26は、要約されたシーン構造を例えば、図9(b)に示すようなツリー形式で表示する。
【0074】
また、ユーザ入力部22を介しユーザが構造表示部20または要約構造表示部26に表示されているシーン構造や、サムネイル画像表示部21や検索結果表示部24に表示されている各シーンのサムネイルの中から再生したい1つ以上のシーンを選択すると、コンテンツ再生・表示部27ではコンテンツに含まれるシーンを再生・表示することができる。
【0075】
従って、本実施の形態3に係るメタデータ再生装置200によれば、上記実施の形態1、2で説明したメタデータ編集装置により生成されたメタデータを用いて、ユーザが見たいシーンだけを集めて再生したり、メタデータに記述されている特徴量を用いて、見たいシーンを検索することができる。
【0076】
また、本実施の形態3では、コンテンツ再生・表示部27が、メタデータ再生装置200内にあったが、コンテンツ再生・表示部が別の装置内にあってもよい。これは、例えば、シーンの構造やサムネイル画像の表示等、メタデータ再生に関わる操作や表示は、携帯電話や携帯情報端末等で行い、マルチメディアコンテンツの再生に関わる処理や表示は、携帯電話や、携帯情報端末等にネットワークを介して接続した端末(例えば、PC等)で行う場合が考えられる。
【0077】
実施の形態4.
この実施の形態4では、コンテンツのメタデータをクライアント端末に対して配信するメタデータ配信サーバ(メタデータ配信装置)と、そのコンテンツをクライアント端末の端末能力に応じてスケーラブルに構成して配信するコンテンツ配信サーバと、について説明する。
【0078】
この発明の実施の形態4に係るコンテンツ配信システムについて図面を参照しながら説明する。図10は、この発明の実施の形態4に係るコンテンツ配信システムの構成を示すブロック図である。
【0079】
図10において、コンテンツ配信システム300は、メタデータ配信サーバ400と、各種のクライアント端末481〜48nと、コンテンツ配信サーバ500とを備える。
【0080】
メタデータ配信サーバ400は、メタデータ蓄積部41と、メタデータ解析部42と、端末能力判定部43と、メタデータ再生成部44と、メタデータ配信部45とから構成されている。
【0081】
メタデータ蓄積部41には、例えば上記実施の形態1、2のメタデータ編集装置が生成したメタデータが蓄積されている。メタデータ解析部42は、コンテンツの構造や特徴を記述したメタデータ49の解析を行う。端末能力判定部43は、クライアント端末の性能に関する情報51に基づいて、クライアント端末の端末能力を判定する。メタデータ再生成部44は、メタデータ解析結果50に基づき、クライアント端末の端末能力に応じてコンテンツを再構成し、その内容を記述したメタデータ52を再生成する。メタデータ配信部45は、メタデータ再生成部44で再生成されたメタデータ53を各種クライアント端末481〜48nに配信する。
【0082】
なお、メタデータ蓄積部41は、本実施の形態4のメタデータ配信サーバ400外に設けても良い。その場合には、メタデータ配信サーバ400は、ネットワーク(図示せず)等を介しメタデータ蓄積部41からメタデータ49を入力する。
【0083】
また、コンテンツ配信サーバ500は、コンテンツ蓄積部46と、コンテンツ配信部47とから構成されている。
【0084】
コンテンツ蓄積部46は、コンテンツ55を蓄積する。コンテンツ配信部47は、クライアント端末481〜48nからのコンテンツ配信要求54に応じてコンテンツ56を配信する。
【0085】
上述したメタデータ配信サーバ400の場合と同様に、コンテンツ蓄積部46はコンテンツ配信サーバ500外に設けてもよい。その場合、コンテンツ配信サーバ500は、ネットワーク(図示せず)を介してコンテンツデータ55を入力する。
【0086】
つぎに、この実施の形態4に係るコンテンツ配信システムの動作について図面を参照しながら説明する。
【0087】
まず、メタデータ配信サーバ400側では、メタデータ解析部42がメタデータ蓄積部41に蓄積されているメタデータの解析を行う。メタデータ解析部42の動作は、上記実施の形態3のメタデータ再生装置200のメタデータ解析部19と同様である。メタデータ解析部42は、メタデータを解析することにより、各コンテンツの構造や特徴に関する情報を取得する。
【0088】
図11は、この実施の形態4に係るメタデータ配信サーバのメタデータ解析部から出力されるコンテンツ(ニュース映像の例)の構造情報を示す図である。図11では、コンテンツの階層的なシーン構造を、ツリーを用いて表示している。ツリーの各ノードは、各々のシーンに対応し、各ノードには各種のシーン情報が対応付けられている。シーン情報とは、シーンのタイトル、アブストラクト、シーンの開始位置と終了位置の時間情報、シーンのサムネイル、代表フレーム、サムネイルショット、代表ショット、色や動きなど視覚的な特徴量等であるシーンの特徴である。なお、図11には、各種のシーン情報のうち、シーンのタイトルのみを図示している。
【0089】
ここで、クライアント端末は、端末能力の異なる各種の情報家電機器を想定する。端末能力とは、通信速度、処理速度や、再生・表示可能な画像フォーマット、画像解像度、ユーザ入力機能、などである。例えば、クライアント端末481は、通信速度、処理速度、表示性能、ユーザ入力機能において、十分な性能を有するPC(パソコン)を想定する。また、クライアント端末482は携帯電話を想定し、その他のクライアント端末はPDA等を想定する。各クライアント端末481〜48nからは、それぞれの端末性能に関する情報が送信される。
【0090】
端末能力判定部43は、各クライアント端末481〜48nから送信される端末性能に関する情報51を解析して、配信可能な画像フォーマット、最大画像解像度、コンテンツの長さ等を決定し、メタデータ再生成部44へ出力する。例えば、オリジナルのコンテンツがMPEG−2で符号化された解像度の大きなビデオコンテンツの場合、十分な性能を有するクライアント端末481では、オリジナルのコンテンツを再生できる。また、このクライアント端末481は、上記実施の形態3で説明した画像の要約再生や検索が可能な機能を有するものとする。一方、クライアント端末482では、MPEG−4で符号化された短いビデオショットのみ再生可能で、かつ、表示可能な最大解像度も小さいものとする。
【0091】
メタデータ再生成部44では、端末能力判定部43からの各クライアント端末481〜48nの端末性能に応じてコンテンツを再構成し、その構造や内容を記述したメタデータ52を再生成し、メタデータ配信部45へ出力する。例えば、クライアント端末481に対しては、オリジナルのメタデータをそのまま配信するため、コンテンツの再構成は行わない。一方、クライアント端末482に対しては、短いビデオショットの再生機能のみを有するため、すべてのシーンを再生することはできない。従って、重要なシーンの短いビデオショットでコンテンツを再構成する。
【0092】
図12は、実施の形態4に係るコンテンツ配信システムのメタデータ再生成部による再構成後のコンテンツの構造例を示す図である。図12に示すように、各ニュースのシーンの中から、重要なシーンを抽出し、そのシーンの代表ショットまたは、代表フレームのみで構成されるようにする。また、クライアント端末482は、上記実施の形態3で説明した検索機能を有しないため、シーンの各種情報のうち、検索に使用するシーンの特徴量をメタデータに記述する必要はない。そこで、メタデータ再生成部44は、再構成されたシーン構造と、そのシーンの代表ショットまたは代表フレームの位置情報のみを記述したメタデータを再生成し、メタデータ配信部45へ出力する。
【0093】
このメタデータ配信部45は、メタデータ再生成部44で生成されたメタデータ53をクライアント端末481〜48nに配信する。
【0094】
各クライアント端末481〜48nは、メタデータ配信部45より配信されたメタデータ53を解析し、コンテンツのシーン構造情報を取得する。各クライアント端末481〜48nのユーザは、再生したいシーンを選択すると、選択されたシーンの位置情報が各クライアント端末481〜48nからコンテンツ配信サーバ500のコンテンツ配信部47へ送信される。
【0095】
コンテンツ配信サーバ500のコンテンツ配信部47では、各クライアント端末481〜48nより送信されるシーンの位置情報を取得し、コンテンツ蓄積部46より対応するコンテンツ55を取得し、クライアント端末481〜48nへ配信する。クライアント端末481の場合には、シーンの開始位置と終了位置を送信し、オリジナルのコンテンツの対応するシーンを配信する。また、クライアント端末482の場合は、シーンの代表ショットの所在情報(URIなど)を送信する。なお、代表ショットが、クライアント端末482で再生・表示不可能な画像フォーマットや、画像解像度、画像ファイルサイズ等の場合には、コンテンツ配信部47で、フォーマット変換や解像度変換、ファイルサイズを小さくするためのコンテンツの要約等を行い、送信する。
【0096】
従って、本実施の形態4のメタデータ配信サーバ400によれば、各クライアント端末481〜48nの能力に応じてメタデータを再生成して各クライアント端末に配信することが可能となる。
【0097】
なお、図10では、メタデータ配信サーバ400とコンテンツ配信サーバ500とを別々に構成して示しているが、本発明では、これに限らず、メタデータ配信サーバの中にコンテンツ配信サーバを設けたり、あるいはコンテンツ配信サーバの中にメタデータ配信サーバを設けたりしてもよい。また、メタデータ配信サーバとコンテンツ配信サーバとを同一サーバ内に設けても勿論良い。このようにすれば、コンテンツ配信部47は、端末能力判定部43から各クライアント端末481〜48nの能力を簡単に知ることができるので、各クライアント端末481〜48nの能力に応じてフォーマット変換などコンテンツを再構成して各クライアント端末481〜48nに配信することが可能となる。
【0098】
また、この実施の形態4では、メタデータ蓄積部41に蓄積されているメタデータは、例えば上記実施の形態1、2のメタデータ編集装置が生成したものであると説明したが、これに限らず、上記実施の形態1、2のメタデータ編集装置以外が生成したメタデータを蓄積したものでも勿論良い。
【0099】
実施の形態5.
この実施の形態5では、上記実施の形態4で説明したメタデータ配信サーバの別の例を説明する。上記実施の形態4のメタデータ配信サーバでは、クライアント端末から送信される端末情報に基づいて、メタデータの再生成を行っていた。この実施の形態5では、より適切なメタデータの再生成を行うために、メタデータ再生成のためのヒント情報であるメタデータ最適化ヒント情報を用いて、メタデータの再生成を行うメタデータ解析・再生成部を備えたことを特徴とするメタデータ配信サーバ(メタデータ配信装置)について説明する。
【0100】
この発明の実施の形態5に係るメタデータ配信サーバについて図面を参照しながら説明する。図13は、この発明の実施の形態5に係るメタデータ配信サーバの構成を示すブロック図である。
【0101】
図13において、メタデータ配信サーバ400Aは、ヒント情報解析部61と、メタデータ解析・再生成部63と、メタデータ配信部45とを備える。
【0102】
ヒント情報解析部61は、メタデータ最適化ヒント情報60を解析しその結果を出力する。メタデータ解析・再生成部63は、解析されたメタデータ最適化ヒント情報62と、クライアント端末の性能に関する情報、あるいは、ユーザ嗜好等のメタデータ再生成に関する条件65とに基づいて、コンテンツの構造や特徴を記述したメタデータ49を解析して再構成したメタデータ64を出力する。メタデータ配信部45は、メタデータ53をクライアント端末に配信する。
【0103】
メタデータ蓄積部41(図10参照)には、コンテンツの構造や特徴を記述したメタデータ49と、そのメタデータ49を再生成するためのヒント情報のメタデータ最適化ヒント情報60が蓄積されている。メタデータ49を再生成するためのメタデータ最適化ヒント情報60とは、そのメタデータ49に、どのような種類の情報が、どのくらい含まれているか、メタデータ49の概要や複雑度を記したものである。
【0104】
つぎに、この実施の形態5に係るメタデータ配信サーバの動作について図面を参照しながら説明する。
【0105】
図14に示す構造をもったビデオコンテンツを例に、メタデータ最適化ヒント情報60について詳述する。
【0106】
ビデオコンテンツ(Root)(Soccer game program)は、大きく2つのシーン(Scene1,Scene2)の前半戦と後半戦から構成され、前半戦のシーンは、さらに複数のシーン(Scene1−1,Scene1−2,...,Scene1−n)(ゴールシーン、コーナーキックシーンなど)から構成されている。図14では、シーン間の時間的な階層構造をツリー構造により示している。
【0107】
対応するメタデータ49には、このようなコンテンツの時間的な階層構造、すなわち、シーン間の時間的関係や各シーンの開始時間と長さが記述されている。また、各シーンに対しては、階層のレベルに応じてそのシーンがもつ特徴(例えば、色のヒストグラムや動きの複雑性)のほか、タイトル、アブストラクト、ジャンル、注釈等のテキスト情報、重要度、などが記述されている。なお、本実施の形態5では、メタデータの記述フォーマットとして、ISOで標準化されているMPEG−7を用いるものとする。
【0108】
図15は、MPEG−7を用いた場合のメタデータの記述例を示す。MPEG−7では、各シーンは「ビデオセグメント」と呼ばれる単位で記述される。各ビデオセグメントには、時間情報(シーンの開始点と長さ)、タイトル、概要、ジャンル、などが記述される。なお、ビデオセグメントの階層に応じてビデオセグメント内で記述される情報が異なる場合がある。図15の例では、レベル2とレベル3のビデオセグメントには、重要度が記述されているが、レベル4では重要度は記述されない。また、色や動きの特徴量はレベル4のビデオセグメント内でのみ記述されている。
【0109】
シーン間の時間的な階層関係は、ビデオセグメントを再帰的に記述することにより表現することができる。図15の記述例では、「時間分割」という記述により、1つのビデオセグメントが時間的に分割された複数のビデオセグメントから構成されていることを記述している。MPEG−7では、コンテンツのもつ空間的な階層構造も同様に記述することができる。この場合には、「時間分割」という記述の替わりに、1つのセグメントが空間的に分割された複数のセグメントから構成されていることを示す「空間分割」という記述を用いる。
【0110】
メタデータ49の再生成のためのメタデータ最適化ヒント情報60は、そのメタデータ49に含まれる情報(記述子)の種類や内容を記述したものである。従って、メタデータ最適化ヒント情報60には、図15のメタデータに対しては、コンテンツのもつ時間的な階層構造を表現する記述子(「時間分割」)と、色のヒストグラムや動きの複雑性を表現する記述子、タイトル、アブストラクト、ジャンル、重要度を表現する記述子が含まれている。また、記述の内容や複雑性を表す指標として、ビデオセグメントの階層構造の深さは最大で4(レベル1〜レベル4)である。重要度は、5つの離散的な値({0.0,0.25,0.5,0.75,1.0})をとる。この重要度の視点として、“TeamA”の視点で観たときの重要度と、“TeamB”の視点で観たときの重要度が記述されている。また、重要度が記述されている階層位置(ビデオセグメントのどのレベルに記述されているか)も含まれている。
【0111】
図16は、メタデータ最適化ヒント情報60のフォーマット例を示す。図16に示すメタデータ最適化ヒント情報60には、メタデータファイル情報と、メタデータ構成要素情報とが含まれる。
【0112】
メタデータファイル情報は、メタデータファイルの所在、メタデータファイルサイズ、メタデータファイルフォーマット(XMLフォーマット、バイナリフォーマットなどファイルフォーマットを示す)、シンタックスファイル情報(メタデータの文法を規定するシンタックスファイルの所在)、メタデータに含まれる(出現する)要素の数を示す出現要素数など、メタデータを処理するために必要なリソース(メタデータの蓄積・解析を行うために必要とするメモリサイズやメタデータを解析するために必要な処理系(S/W)など)を予測するための情報を記述する。なお、メタデータファイルのフォーマットを規定したシンタックスファイルとは、例えば、メタデータがXMLで記述されている場合には、その記述フォーマット(文法)を規定するDTDファイルやschemaファイルなどがそれに相当し、シンタックスファイル情報とは、DTDファイルやschemaファイルなどのシンタックスファイルの所在を記述する。
【0113】
メタデータ構成要素情報とは、メタデータを構成する記述子の種類とその内容を記述する情報である。このメタデータ構成要素情報には、メタデータに含まれている記述子の名称、その記述子がメタデータ内に出現する頻度(回数)、その記述子が文法的に含む可能性のあるすべての記述子を含んでいるかどうかの記述(完全記述性)、またその記述子が再帰的に記述される場合には、その記述子がもつ時間または空間における階層性(深さの最大値)が含まれる。例えば、図15に示すメタデータ記述例では、「ビデオセグメント」が再帰的に記述される記述子であり、最大で4階層の構造をもっているため、「ビデオセグメント」記述子がもつ階層の深さは最大4になる。
【0114】
さらに、再帰的に記述される記述子内に含まれる記述子については、その記述子が出現する出現位置(階層)もヒント情報である。例えば、「重要度」は「ビデオセグメント」内に含まれる記述子であるが、レベル3以上の「ビデオセグメント」に含まれる、すなわち、レベル4のビデオセグメントには含まれないときに、「重要度」が出現する位置は、最大で3までになる。なお、このように、出現位置を階層レベルで指定することもできるが、「重要度」を含む「ビデオセグメント」、あるいは「ビデオセグメント」自体にIDが振られている場合には、出現位置をIDのリストとして記述することも可能である。また、値をもつ記述子の場合には記述子の型や記述子がとり得る値の範囲もヒント情報の一つである。例えば、重要度が“TeamA”,“TeamB”のそれぞれの視点から、5つの離散的な値({0.0,0.25,0.5,0.75,1.0})で表現されている場合には、「重要度」のとり得る値は、浮動小数点の型をもつリスト{0.0,0.25,0.5,0.75,1.0}である。以上の記述をメタデータの構成要素である記述子毎に繰り返す。
【0115】
図17は、図16のフォーマットに従って記述されたメタデータ最適化ヒント情報の一例を示す。図17に示すメタデータ最適化ヒント情報60の一例には、メタデータファイル情報と、“ビデオセグメント”と“タイトル”というメタデータ構成要素情報とが含まれていることがわかる。
【0116】
次に、メタデータ最適化ヒント情報60を使って、メタデータの再生成を行う手法について図13を用いて説明する。
【0117】
ヒント情報解析部61では、規定のフォーマットで記述されたメタデータ最適化ヒント情報60の解析を行う。メタデータ解析・再生成部63では、ヒント情報解析部61より出力される解析されたメタデータ最適化ヒント情報62を使って、メタデータ49の解析を行い、メタデータ再生成に関わる条件65に基づいて再生成したメタデータ64を出力する。
【0118】
図18は、解析されたメタデータ最適化ヒント情報62を使ったメタデータ解析・再生成部63によるメタデータの解析方法の一例を示す。この例では、もとのメタデータ49から重要度が0.5以上の特徴をもつビデオセグメントのみを抽出し、抽出したビデオセグメントに関する記述のみで構成されたメタデータを再生成するものとする。
【0119】
まず、メタデータ解析・再生成部63は、メタデータ再生成のための条件65より、再生成に必要なメタデータを特定する(ステップS1)。ここでは、重要度が0.5以上の特徴をもつビデオセグメントのみを抽出するため、「重要度」や「ビデオセグメント」が再生成に必要な記述子である。
【0120】
次に、解析されたメタデータ最適化ヒント情報62より、メタデータ49にステップS1で特定した記述子(以下、記述子「重要度」を例に説明する)が含まれるかどうかを判定する(ステップS2)。
【0121】
メタデータに「重要度」の記述子が含まれている場合には、メタデータの解析を行い(ステップS3)、「重要度」の記述子が含まれていない場合には、メタデータの解析処理を終了する(ステップS4)。
【0122】
また、解析されたメタデータ最適化ヒント情報62に、「重要度」の出現位置が階層構造のレベル3までと指定されている場合には、レベル3までのビデオセグメントの解析を終了した時点で(ステップS5)、レベル4以下の階層についての解析を行わずに解析処理を終了する(ステップS6)。
【0123】
なお、必要に応じて別のメタデータ49の解析を行うため、ステップS1以降の処理を繰り返す。また、メタデータ最適化ヒント情報62に「重要度」記述子の出現回数が20と指定されている場合には、20個の「重要度」記述子を解析し終えた時点で(ステップS5)、メタデータの解析を終了する(ステップS6)。さらに、ステップS4またはステップS6でメタデータの解析処理を終了後、必要に応じて別のメタデータの解析を行うため、ステップS1以降の処理を繰り返す。
【0124】
図19は、解析されたメタデータ最適化ヒント情報62を使ったメタデータの解析方法の別の例を示す。この例では、「タイトル」記述子を含むビデオセグメントのみを抽出してメタデータを再生成するものとする。メタデータに「タイトル」記述子を含むかどうかの判定は、図18の例と同じである。
【0125】
メタデータ解析・再生成部63は、メタデータに「タイトル」記述子を含む場合には、メタデータ最適化ヒント情報62に記述されている出現位置のIDに一致するビデオセグメントかどうかを判定する(ステップS13)。
【0126】
IDに一致しない場合には、「タイトル」記述子を含まないビデオセグメントのため、そのビデオセグメントの記述の解析をスキップする(ステップS16)。
【0127】
IDに一致する場合には、「タイトル」記述子を取得するため、そのビデオセグメントの記述の解析を行う(S15)。
【0128】
次に、出現位置のIDに一致するすべてのビデオセグメントを解析し終えた場合(ステップS17)には、これ以上、「タイトル」記述子を含むビデオセグメントはメタデータ内に存在しないため、解析処理を終了する(ステップS18)。
【0129】
なお、必要に応じて別のメタデータの解析を行うため、ステップS11以降の処理を繰り返す。以上の解析処理を通して抽出された記述子で再構成したメタデータ64を出力する。
【0130】
メタデータ配信部45では、再構成されたメタデータ64を各種クライアント端末へ配信する。
【0131】
なお、図示はしていないが、メタデータ再生成後にはメタデータファイルの所在やメタデータファイルサイズ、メタデータに出現する要素数、メタデータ構成要素に関する情報も変わるため、再生成後のメタデータに対応するメタデータ最適化ヒント情報を再生成してもよい。
【0132】
以上のように、従来はメタデータ再生成のためにメタデータに含まれるすべての記述子を解析しなければならなかったが、本実施の形態5においては、メタデータ49に含まれる記述子のリストや記述子の出現位置、出現回数等が記述されたメタデータ最適化ヒント情報60を使ってメタデータ49の記述子を解析を行うようにしたため、メタデータ再生成のためのメタデータ49自体の解析を省くことができ、また出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、メタデータの解析及び再生成に伴う処理コスト(処理量やメモリ使用量等)を低減することができる。
【0133】
実施の形態6.
上記の実施の形態5では、メタデータ再生成のためのメタデータ最適化ヒント情報を用いて、メタデータの解析および再生成に伴う処理コストを低減するメタデータ配信サーバについて説明したが、この実施の形態6では、メタデータ最適化ヒント情報を用いて、メタデータの検索に伴う処理を軽減するメタデータ検索サーバ(メタデータ検索装置)について説明する。
【0134】
この発明の実施の形態6に係るメタデータ検索サーバについて図面を参照しながら説明する。図20は、この発明の実施の形態6に係るメタデータ検索サーバの構成を示すブロック図である。
【0135】
図20において、メタデータ検索サーバ600は、ヒント情報解析部61と、メタデータ解析部71と、検索部73とを備えている。
【0136】
ヒント情報解析部61は、上記実施の形態5と同じであるので、説明を省略する。メタデータ解析部71は、解析されたメタデータ最適化ヒント情報62と検索条件70を用いて、コンテンツの構造や特徴を記述した膨大なメタデータ49の解析を少ない処理コストで効率的に行う。検索部73は、メタデータの解析結果72を利用して、検索条件に適合するコンテンツを検索する。
【0137】
つぎに、この実施の形態6に係るメタデータ検索サーバの動作について図面を参照しながら説明する。
【0138】
図21は、この実施の形態6に係るメタデータ検索サーバのメタデータ解析部の動作を示すフローチャートである。
【0139】
メタデータ解析部71は、1つ以上のメタデータの解析を各メタデータに対応するメタデータ最適化ヒント情報62を用いて行う。メタデータの解析とは、ここでは、メタデータから検索に必要な特徴記述の抽出を行うことである。例えば、検索条件としてビデオセグメントの色の特徴量が与えられ、そのビデオセグメントに近い特徴をもつビデオセグメントを検索する場合には、色に関する特徴記述をもつビデオセグメントを抽出する必要がある。図15に示すメタデータ例では、レベル4のビデオセグメントに対し、色の特徴記述(「色のヒストグラム」)が付加されているため、レベル4のビデオセグメントに関する記述を抽出する。
【0140】
メタデータ解析部71は、検索条件70を解析し、検索に有効な記述子の特定を行う(ステップS21)。検索条件として、MPEG−7に規定された記述に従った特徴量が与えられる場合と、画像やキーワードが与えられる場合などがある。検索条件がMPEG−7の記述に従った特徴量(例えば色配置情報)として与えられる場合には、その記述子(色配置情報)が検索に有効な記述子となる。また、キーワードとして検索条件が与えられる場合には、テキスト形式の記述子(タイトル、アブストラクト、注釈など)が、検索に有効な記述子となる。
【0141】
次に、メタデータ最適化ヒント情報62を参照して、選択された記述子がメタデータ49に含まれるかどうかの判定を行う(ステップS22)。検索に用いる記述子がメタデータ49に含まれない場合には、そのメタデータ49の解析処理を終了(ステップS24)し、必要に応じて別のメタデータ49の解析を行う。
【0142】
選択された記述子がメタデータ49に含まれる場合には、メタデータの解析を行う(ステップS23)。メタデータの解析方法については上記実施の形態5の場合と同様にメタデータ最適化ヒント情報62を用いて図18や図19に示すメタデータ解析処理を効率的に行う(ステップS25〜S26)。以上の処理を通して、メタデータ解析部71より検索に必要な特徴記述が抽出される。
【0143】
検索部73では、メタデータ解析部71より出力されるメタデータの解析結果(検索に必要な特徴記述)72を利用して、検索条件に適合するコンテンツを検索する。上述した例では、色の特徴記述(「色のヒストグラム」)をもったビデオセグメントに関する記述がメタデータ解析部71より出力されるので、検索条件として与えられた色の特徴量(ヒストグラム)との適合性を判定し、適合したビデオセグメントの情報(例えば「時間情報」)を検索結果74として出力する。
【0144】
以上のように、本実施の形態6では、メタデータ最適化ヒント情報60を使ってメタデータ49の解析を行うため、メタデータ再生成のためのメタデータ49自体の解析を省くことができる。また、出現位置や出現回数により、検索に必要ではない記述子の解析を省くことができるため、メタデータの検索に伴う処理コスト(処理量やメモリ使用量等)を低減することができる。
【0145】
実施の形態7.
上記の実施の形態5または実施の形態6では、メタデータ最適化ヒント情報を利用するサーバ側について説明したが、この実施の形態7では、メタデータ最適化ヒント情報を利用するクライアント端末(メタデータ再生成条件設定装置)について説明する。
【0146】
この発明の実施の形態7に係るクライアント端末について図面を参照しながら説明する。図22は、この発明の実施の形態7に係るクライアント端末の構成を示すブロック図である。
【0147】
図22において、クライアント端末48Aは、ヒント情報解析部80と、メタデータ再生成条件設定部82とを備えている。
【0148】
なお、図22には、クライアント端末48Aに備わる機能のうち、メタデータ最適化ヒント情報60を利用してメタデータ再生成のための条件を設定する手段に関わる部分のみを示している。
【0149】
つぎに、この実施の形態7に係るクライアント端末の動作について図面を参照しながら説明する。
【0150】
ヒント情報解析部80は、規定のフォーマットで記述されたメタデータ最適化ヒント情報60の解析を行う。このヒント情報解析部80は、上記実施の形態5と同じであるので、詳細な説明を省略する。
【0151】
メタデータ再生成条件設定部82は、ヒント情報解析部80より出力される解析結果81をもとに、メタデータ再生成の条件設定83を行う。条件設定とは、例えば、メタデータ最適化ヒント情報60に含まれる記述子の種類の中からクライアント端末48Aに不必要な記述子の選択がある。クライアント端末48Aが特徴量を用いた検索機能を備えない場合には、色のヒストグラムや動きの複雑性などの特徴量を表現する記述子は不要である。
【0152】
条件設定の別の例として、コンテンツのシーン関係を記述する階層構造が深くなるほどメタデータの複雑度が増すときに、メタデータ最適化ヒント情報60に記述されている階層構造の深さの最大値をもとに、クライアント端末で処理可能な階層構造の深さを設定する。また、別の例では、メタデータ最適化ヒント情報60に記述されている重要度がとり得る値の情報をもとに、ユーザが着目する視点と、選択するシーンの重要度の閾値を設定する。
【0153】
上述したように、重要度が“TeamA”、“TeamB”のそれぞれの視点から、5つの離散的な値({0.0,0.25,0.5,0.75,1.0})をとる場合には、“TeamA”の視点で0.5以上の重要度をもつシーンのみを選択するなどの設定を行うことができる。
【0154】
メタデータ再生成条件設定部82で設定されたメタデータ再生成のための条件83は、メタデータ配信サーバに送信される。メタデータ配信サーバ側では、メタデータ再生成のための条件と、クライアント端末の端末性能とに基づいてメタデータを再構成する。例えば、もとのメタデータの階層構造の深さの最大値が4で、メタデータ再生成条件に、クライアント端末で処理可能な階層構造の深さが2と設定されている場合には、階層構造の深さの最大値が2となるように、メタデータの構造を再構成する。
【0155】
また、メタデータ再生成条件に、“TeamA”の視点で重要度が0.5以上のシーンのみを選択すると設定されている場合には、同条件に合致するシーンのみで構成されたメタデータを再生成する。メタデータ再生成は、上記実施の形態5と同様にメタデータ最適化ヒント情報を用いて効率的に行うことができる。
【0156】
以上のように、本実施の形態7では、メタデータ最適化ヒント情報60を使ってメタデータ再生成のための条件を設定することができるため、クライアント端末やアプリケーションに応じて適切なメタデータを生成することができる。
【0157】
実施の形態8.
上記の実施の形態5または実施の形態6では、メタデータ最適化ヒント情報を用いてメタデータを再生成し、再生成したメタデータを配信するサーバについて説明したが、この実施の形態8では、メタデータ最適化ヒント情報を用いてメタデータを解析し、解析結果を利用してクライアント端末やユーザ嗜好に適したコンテンツを再生成して配信するコンテンツ配信サーバ(コンテンツ配信装置)について説明する。
【0158】
この発明の実施の形態8に係るコンテンツ配信サーバについて図面を参照しながら説明する。図23は、この発明の実施の形態8に係るコンテンツ配信サーバの構成を示すブロック図である。
【0159】
図23において、コンテンツ配信サーバ500Aは、ヒント情報解析部61と、メタデータ解析部86と、コンテンツ再構成・配信部88とを備える。
【0160】
つぎに、この実施の形態8に係るコンテンツ配信サーバの動作について図面を参照しながら説明する。
【0161】
ヒント情報解析部61の動作は、上記実施の形態5と同様であるので、説明を省略する。
【0162】
メタデータ解析部86は、ヒント情報解析部61より出力される解析されたメタデータ最適化ヒント情報62を使って、メタデータ49の解析を行い、クライアント端末に関する情報、あるいは、ユーザ嗜好等のコンテンツ再構成に関する条件85に合致する記述を抽出する。ヒント情報を使った解析方法は、上記実施の形態5と同様であるが、実施の形態5と異なる点は、抽出した記述を使ってメタデータを再生成するのではなく、コンテンツを再構成する点である。このメタデータ解析部86で抽出された記述、すなわち解析されたメタデータ87は、コンテンツ再構成・配信部88へ出力される。
【0163】
コンテンツ再構成・配信部88は、メタデータ解析部86で抽出された記述を元に、コンテンツ89の再構成を行う。ここでは、上記実施の形態5で述べた例を用いて説明する。実施の形態5の例では、メタデータ49から重要度が0.5以上の特徴をもつビデオセグメントのみを抽出し、抽出したビデオセグメントに関する記述のみで構成されたメタデータを再生成した。
【0164】
この実施の形態8では、メタデータ49から重要度が0.5以上の特徴をもつビデオセグメントのみを抽出し、抽出したビデオセグメントに対応するシーンのみで構成されたコンテンツ90を再構成して配信する。抽出したビデオセグメントに関する記述には、対応するコンテンツの所在とそのビデオセグメントのコンテンツ内での位置(時間情報)が記述されているので、コンテンツから対応するシーンを切り出し、一つのコンテンツ90に再構成した上で配信することもできるが、コンテンツから対応するシーンを切り出し、切り出したシーンを順次配信することもできる。
【0165】
以上のように、本実施の形態8に係るコンテンツ配信サーバ500Aでは、メタデータ49に含まれる記述子のリストや記述子の出現位置、出現回数等が記述されたメタデータ最適化ヒント情報60を使ってメタデータの解析を行うため、メタデータ再生成のためのメタデータ49自体の解析を省くことができる。また、出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、クライアント端末やユーザ嗜好に適したコンテンツを再生成して配信する際のメタデータの解析及びコンテンツの再構成に伴う処理コスト(処理量やメモリ使用量等)を低減することができる。
【産業上の利用可能性】
【0166】
この発明は、以上説明したとおり、動画像や音声を含むマルチメディアコンテンツを複数のシーンに分割し、複数に分割したシーンを編集してマルチメディアコンテンツの階層的な構造を記述するシーン構造情報メタデータを生成するようにしたので、ビデオデータ等を含むマルチメディアコンテンツのもつ階層的な構造を記述したメタデータを生成することができる。
【技術分野】
【0001】
この発明は、メタデータ再生成のためのヒント情報を記述するヒント情報記述方法に関するものである。
【背景技術】
【0002】
従来の動画像管理装置では、映像を複数のシーンに分割してから、各シーンの再生に必要な区間情報とシーン番号とシーンを代表する画像の集まりであるインデックスを編集し、1つ以上のインデックスを作成する手段と、各インデックスには検索目的を示したタイトルを付与する手段と、検索時には、タイトルでインデックスを検索し、シーン番号の順番に従ってインデックスのシーンを次々に再生する手段とから構成することで、必要なシーンが並ぶようにインデックスを編集することで、必要なシーンだけを再生することができる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−028722号公報(第1頁、図1)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の動画像管理装置では、メタデータ再生成のためにメタデータに含まれるすべての記述子を解析しなければならないという問題点があった。
【0005】
この発明は、前述した問題点を解決するためになされたもので、メタデータ再生成のためのメタデータ自体の解析を省くことができ、また出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、メタデータの解析及び再生成に伴う処理コスト(処理量やメモリ使用量等)を低減することができるヒント情報記述方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
この発明に係るヒント情報記述方法は、コンテンツの意味内容、構造、特徴を記述する1つまたは複数の記述子から成るメタデータを操作する際のヒント情報として、メタデータに含まれる各記述子がとり得る値の範囲を記述するものである。
【発明の効果】
【0007】
この発明に係るヒント情報記述方法は、メタデータ再生成のためのメタデータ自体の解析を省くことができ、また出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、メタデータの解析及び再生成に伴う処理コスト(処理量やメモリ使用量等)を低減することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1に係るメタデータ編集装置の構成を示すブロック図である。
【図2】この発明の実施の形態1に係るメタデータ編集装置の編集対象の一例であるニュース映像を示す図である。
【図3】この発明の実施の形態1に係るメタデータ編集装置のシーン分割部のシーンの区間情報メタデータの一例を示す図である。
【図4】この発明の実施の形態1に係るメタデータ編集装置のシーン記述編集部のシーン構造情報メタデータの一例を示す図である。
【図5】この発明の実施の形態1に係るメタデータ編集装置のコンテンツ再生・表示部、ユーザ入力部の画面イメージ例を示す図である。
【図6】この発明の実施の形態2に係るメタデータ編集装置の構成を示すブロック図である。
【図7】この発明の実施の形態2に係るメタデータ編集装置の動作を説明するための図である。
【図8】この発明の実施の形態3に係るメタデータ再生装置の構成を示すブロック図である。
【図9】この発明の実施の形態3に係るメタデータ再生装置の動作を説明するための図である。
【図10】この発明の実施の形態4に係るコンテンツ配信システムの構成を示すブロック図である。
【図11】この発明の実施の形態4に係るメタデータ配信サーバのメタデータ解析部から出力されるコンテンツ(ニュース映像の例)の構造情報を示す図である。
【図12】この発明の実施の形態4に係るコンテンツ配信システムのメタデータ再生成部による再構成後のコンテンツの構造例を示す図である。
【図13】この発明の実施の形態5に係るメタデータ配信サーバの構成を示すブロック図である。
【図14】この発明の実施の形態5に係るメタデータ配信サーバによる、メタデータ最適化ヒント情報について説明するためのビデオコンテンツの一例を示す図である。
【図15】この発明の実施の形態5に係るメタデータ配信サーバによる、MPEG−7を用いた場合のメタデータの記述例を示す図である。
【図16】この発明の実施の形態5に係るメタデータ配信サーバが用いるメタデータ最適化ヒント情報のフォーマット例を示す図である。
【図17】この発明の実施の形態5に係るメタデータ配信サーバが用いるメタデータ最適化ヒント情報を示す図である。
【図18】この発明の実施の形態5に係るメタデータ配信サーバのメタデータ解析・再生成部の動作を示すフローチャートである。
【図19】この発明の実施の形態5に係るメタデータ配信サーバのメタデータ解析・再生成部の動作を示すフローチャートである。
【図20】この発明の実施の形態6に係るメタデータ検索サーバの構成を示すブロック図である。
【図21】この発明の実施の形態6に係るメタデータ検索サーバのメタデータ解析部の動作を示すフローチャートである。
【図22】この発明の実施の形態7に係るクライアント端末の構成を示すブロック図である。
【図23】この発明の実施の形態8に係るコンテンツ配信サーバの構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、この発明の実施の形態1及び2に係るメタデータ編集装置、実施の形態3に係るメタデータ再生装置、実施の形態4に係るコンテンツ配信システム、実施の形態5に係るメタデータ配信サーバ、実施の形態6に係るメタデータ検索サーバ、実施の形態7に係るクライアント端末、並びに実施の形態8に係るコンテンツ配信サーバについて、図面に基づき説明する。
【0010】
実施の形態1.
この実施の形態1では、動画像や音声を含むマルチメディアコンテンツを複数のシーンに分割し、シーンの階層的な構造記述や、各シーンの特徴量を含むメタデータ(インデックス情報)を作成するメタデータ編集装置について説明する。
【0011】
この発明の実施の形態1に係るメタデータ編集装置について図面を参照しながら説明する。図1は、この発明の実施の形態1に係るメタデータ編集装置の構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
【0012】
図1において、メタデータ編集装置100は、コンテンツ再生・表示部2と、シーン分割部3と、サムネイル画像生成部4と、シーン記述編集部5と、テキスト情報付与部6と、特徴抽出部7と、ユーザ入力部8と、メタデータ記述部9とを備える。
【0013】
コンテンツ再生・表示部2は、映像データや音声データ等からなる編集対象のマルチメディアコンテンツ10を再生・表示する。シーン分割部3は、コンテンツを複数のシーンに分割する。サムネイル画像生成部4は、シーンの代表フレームをサムネイル画像として抽出する。シーン記述編集部5は、シーン分割部3により分割されたシーンのグループ化、シーンの結合、シーンの削除、シーンの関係情報の生成などによりシーンを階層的に編集する。テキスト情報付与部6は、各シーンに対して各種のテキスト情報を付加する。特徴抽出部7は、シーンの特徴を抽出する。
【0014】
また、ユーザ入力部8は、コンテンツ再生・表示部2、シーン分割部3、サムネイル画像生成部4、シーン記述編集部5およびテキスト情報付与部6に対して、ユーザからの指示情報をユーザ入力情報11として出力する。
【0015】
さらに、メタデータ記述部9は、シーン分割部3、サムネイル画像生成部4、シーン記述編集部5、テキスト情報付与部6および特徴抽出部7より出力されるシーンの区間情報メタデータ12、シーンのサムネイル画像情報メタデータ13、シーン構造情報メタデータ14、テキスト情報メタデータ15、及び特徴記述メタデータ16を統合し、規定のフォーマットに従ってマルチメディアコンテンツの内容及び構造を記述したメタデータ17を生成する。
【0016】
つぎに、この実施の形態1に係るメタデータ編集装置の動作について図面を参照しながら説明する。図2は、この実施の形態1に係るメタデータ編集装置の編集対象の一例であるニュース映像の構成を示す図である。
【0017】
図2に示す構成のニュース映像を編集する場合を例に説明する。
【0018】
まず、メタデータ編集装置100のコンテンツ再生・表示部2は、コンテンツ記憶部(図示せず)に記憶されている映像コンテンツ等のマルチメディアコンテンツ10がネットワーク等を介し入力されと、編集用に再生・表示する。
【0019】
メタデータ編集装置100のユーザがその再生映像を見ながら、シーンとして切り出す位置、すなわちシーンの開始位置と、終了位置とをユーザ入力部8より入力すると、シーン分割部3は、ユーザから入力されたシーンの開始位置と終了位置とを示すシーンの区間情報メタデータ12を生成する。
【0020】
図3は、本実施の形態1に係るメタデータ編集装置のシーン分割部のシーンの区間情報メタデータの一例を示す図である。
【0021】
この図3に示す区間情報メタデータ12は、図2に示すニュース映像から生成した例を示す。図3に示すように、シーン分割部3によって、ニュース映像コンテンツから切り出された“ニュースダイジェスト”、“国内ニュース”や、“国際ニュース”等の各シーンに対して、シーンの開始位置と、終了位置の区間情報を示すシーンの区間情報メタデータ12が生成される。
【0022】
シーン記述編集部5では、ユーザからユーザ入力部8を介しシーン編集の指示があると、シーン分割部3からのシーンの区間情報メタデータ12に基づき、シーン分割部3で連続的に切り出されたシーンの階層的な編集を行ない、シーン構造情報メタデータ14を出力する。シーンの階層的編集とは、例えば、シーンのグループ化、シーンの再分割、シーンの結合、シーンの削除がある。シーンのグループ化とは、例えば、図2に示すニュース映像から、例えば図4に示すように「国内ニュース」、「国際ニュース」、「経済ニュース」等のある特定の特徴で関連あるシーンをひとつの「ニュース」グループにまとめることをいう。また、シーンの再分割とは、1つのシーンを複数のシーンに分割することである。シーンの結合とは、複数のシーンをまとめて1つのシーンとすることである。
【0023】
図4は、本実施の形態1に係るメタデータ編集装置のシーン記述編集部のシーン構造情報メタデータの一例を示す図である。
【0024】
この図4に示すシーン構造情報メタデータ14は、シーン記述編集部5での編集の結果、生成された映像コンテンツの階層的な構造を記述する。図4では、シーン記述編集部5で、シーンのグループ化や、シーンの再分割、シーンの結合等のシーンの編集により、“ニュース”というシーンが、“ニュースダイジェスト”、“ニュース”、“特集”、“スポーツ”等に編集され、さらにその“ニュース”が“国内ニュース”、“国際ニュース”、“経済ニュース”の階層的に編集されたことを示している。
【0025】
そして、シーン記述編集部5で生成された例えば図4に示すメタデータ14は、メタデータ記述部9へ出力される。
【0026】
一方、サムネイル画像生成部4では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、シーン分割部3で切り出された各シーンの中から代表フレームをサムネイル画像として生成し、生成したサムネイル情報をサムネイル画像情報メタデータ13としてメタデータ記述部9へ出力し、メタデータ記述部9に登録する。ここで、ユーザはユーザ入力部8より、サムネイルの選択を行うこともできるが、自動的に、先頭フレームや固定時間間隔の複数フレームを代表フレームとしたり、シーンチェンジ点を自動検出し、それらのフレームを代表フレームとしたりすることもできる。サムネイル画像情報メタデータ13は、映像コンテンツの中のサムネイルの位置情報(フレーム番号または時間)、または、サムネイル画像のURLなどのロケーション情報になる。
【0027】
また、特徴抽出部7では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、各シーンの中から、動き、色、あるいはシーン内に含まれるオブジェクトの形状など、シーンがもつ視覚的特徴量を抽出する。抽出された特徴量は、特徴記述メタデータ16として、メタデータ記述部9へ出力され、登録される。
【0028】
また、テキスト情報付与部6では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、各シーンに対して、ユーザがタイトル、アブストラクト、キーワード、コメント、シーンの重要度などの各種のテキスト情報を付与する。テキスト情報の付与は、ユーザ入力部8よりユーザが入力する場合と、コンテンツに含まれる音声情報やキャプションを解析することにより、自動的に付与する場合がある。テキスト情報は、テキスト情報メタデータ15として、メタデータ記述部9へ出力し、メタデータ記述部9に登録する。
【0029】
図5は、この実施の形態1に係るメタデータ編集装置のコンテンツ再生・表示部や、ユーザ入力部8の画面イメージ例を示す。図5において、ビデオ再生画面G1は、コンテンツ再生・表示部2における画面イメージ例に相当し、このビデオ再生画面G1では、編集用のコンテンツを再生・表示する。図5には、明示していないが、「再生」、「停止」、「巻き戻し」、「早送り」、「コマ送り」再生用の指示ボタンなど、通常のビデオ再生装置に備えられているユーザインタフェースを備えているものとする。そして、このビデオ再生画面G1の下方にはシーン分割指示画面G2が表示されている。このシーン分割指示画面G2は、例えば、スライダー形式になっており、ビデオ再生画面G1に表示される映像を見ながら、ユーザがビデオ再生画面G1に表示される映像シーンの開始位置と終了位置とを指示することができる。また、シーン分割指示画面G2は、同時に、シーンの開始位置と終了位置との間で、サムネイルの位置を指示することができる。ここで、シーン分割指示画面G2によりサムネイルの位置が指定されると、映像コンテンツの指定された位置のフレームからサムネイル画像生成部4がサムネイル画像を生成することになる。
【0030】
また、シーン分割指示画面G2により位置が指定されたサムネイル画像は、シーンの分割情報として、シーン分割情報表示画面G3に表示される。このシーン分割情報表示画面G3では、サムネイル画像のほか、図3に示すようにシーンごとにシーンの開始位置と終了位置とを示す情報を表示することもできる。
【0031】
次に、ツリー構造生成指示・表示画面G4では、シーンの編集をユーザに対し指示する。ユーザは、シーン分割情報表示画面G3に表示されているサムネイル画像等のシーン分割情報を見ながら、映像コンテンツのもつ階層構造を表すツリーを生成する。
【0032】
操作方法としては、例えば、シーンのグループ化を行う場合には、ツリー上に新しいノードを追加し、そのノードにグループ化したいシーンを追加していく。シーンの追加の操作は、追加したいシーンをシーン分割情報表示画面G3上で選択し、ドラッグ・アンド・ドロップにより、ノードにシーンを追加するなどの方法が考えられる。シーン分割情報表示画面G3、ツリー構造生成指示・表示画面G4では、シーンを選択することにより、そのシーンに対してテキスト情報付与部6を介してテキスト情報を付与するためのユーザインタフェースとしてユーザ入力部8が提供され、シーンに対するテキスト情報を入力することができる。
【0033】
メタデータ記述部9は、シーン分割部3、サムネイル画像生成部4、シーン記述編集部5、テキスト情報付与部6および特徴抽出部7より出力される各種メタデータを統合し、規定の記述フォーマットに従って記述したメタデータファイルを生成する。メタデータの規定の記述フォーマットは、独自に定めたフォーマットで記述することもできるが、本実施の形態1では、ISOで標準化されているMPEG−7を使うことにする。このMPEG−7は、コンテンツの構造や特徴を記述するフォーマットを規定するものであり、XMLファイルフォーマットとバイナリフォーマットがある。
【0034】
従って、本実施の形態1のメタデータ編集装置100によれば、シーンを階層的に編集するシーン記述編集部5や、シーンから特徴を抽出する特徴抽出部7を設けるようにしたので、ビデオデータ等のコンテンツのもつ階層的な構造や各シーンの特徴量を記述したメタデータを生成することができる。
【0035】
なお、コンテンツ再生・表示部2に入力されるマルチメディアコンテンツ10は、ネットワーク上にあるコンテンツサーバ(図示せず)から取得する場合や、メタデータ編集装置100内にあるコンテンツ記憶部(図示せず)より取得する場合、CDやDVD等の蓄積媒体(図示せず)より取得する場合など様々な場合が想定される。同様に、メタデータ記述部9より出力されるメタデータは、ネットワーク上にあるメタデータサーバ(図示せず)に蓄積される場合や、メタデータ編集装置内にあるメタデータ蓄積部(図示せず)に蓄積される場合、CDやDVD等の蓄積媒体(図示せず)にコンテンツとともに蓄積される場合などが想定される。
【0036】
また、本実施の形態1では、シーン記述編集部5と、特徴抽出部7との両者を設けて説明したが、これに限らず、シーン記述編集部5のみを設けたり、特徴抽出部7のみを設けるようにしても勿論良い。
【0037】
実施の形態2.
上記の実施の形態1では、シーンの分割をすべて手動で行っていたが、この実施の形態2では、シーンチェンジ点を自動検出するシーンチェンジ検出部を備えたことを特徴とするデータ編集装置について説明する。
【0038】
この発明の実施の形態2に係るメタデータ編集装置について図面を参照しながら説明する。図6は、この発明の実施の形態2に係るメタデータ編集装置の構成を示すブロック図である。
【0039】
図6において、メタデータ編集装置100Aは、コンテンツ再生・表示部2と、シーン分割部3と、サムネイル画像生成部4と、シーン記述編集部5と、テキスト情報付与部6と、特徴抽出部7と、ユーザ入力部8と、メタデータ記述部9と、シーンチェンジ検出部39とを備える。なお、符号40は、自動検出されたシーン開始位置情報である。
【0040】
つぎに、この実施の形態2に係るメタデータ編集装置の動作について図面を参照しながら説明する。
【0041】
図7は、この発明の実施の形態2に係るメタデータ編集装置の動作を説明するための図である。
【0042】
シーンチェンジ検出部39と、シーン分割部3以外の動作は、上記実施の形態1と同じである。実施の形態2特有の動作を説明する。
【0043】
シーンチェンジ検出部39は、自動的にシーンチェンジ、カット点検出を行う。シーンチェンジ検出は、例えば、フレーム間画素差分や、フレーム間の色や、輝度のヒストグラム差分などに基づいて行う。シーン分割部3は、シーンチェンジ検出部39で検出されたシーンチェンジ点に基づき、シーンの開始位置と終了位置を決定する。
【0044】
ここで、シーンチェンジ検出部39とシーン分割部3の処理について、編集対象のコンテンツがニュース映像の場合を例に詳述する。
【0045】
シーンチェンジ検出のための特徴量として、色のヒストグラムを用いる場合を例に説明する。
【0046】
シーンチェンジ検出部39では、1フレームごとに色のヒストグラムを算出する。表色系としては、HSV、RGB、YCbCrなどがあるが、ここでは、HSV色空間を用いる。このHSV色空間は、色相(H)、彩度(S)、明度(V)の3要素から構成される。各要素のヒストグラムを算出する。次に、求められたヒストグラムから、例えば下記の(式1)に基づき、フレーム間のヒストグラム差分を算出する。シーンの開始フレームから、Nフレーム(例えばN=3)は、同一シーン、すなわち、シーンチェンジ点がないものと仮定する。なお、シーンの初期特徴量として、下記の(式2)に基づき、最初のNフレーム間のヒストグラム差分の平均(mean)と標準偏差(sd)を求める。
【0047】
【数1】
【0048】
そして、N+1フレーム以降は、ヒストグラムのフレーム間差分がmean+λ・sdより大きくなったフレームをシーンチェンジ点とし、新しいシーンの開始位置候補とする。
【0049】
シーンの開始位置候補が複数得られたら、次に、ニュース映像のように、ニュースの切り替わりなどで決まったパターンの画像が挿入される場合を考える。
【0050】
ニュース映像は、ニュースの切り替わりで、例えば、アナウンサーと背景のスタジオセット、説明の文字(キャプション)により構成された画像など、決まったパターンの画像が挿入されることが多い。従って、これらの決まったパターンの画像(テンプレート画像と称する)、またはテンプレート画像の特徴量を記述したメタデータを予め登録しておく。テンプレート画像の特徴量とはテンプレート画像の色のヒストグラム、あるいは、動きのパターン(ニュースの切り替わりで、アナウンサーが写る部分は動きが少ないなど)などが挙げられる。
【0051】
テンプレート画像が予め登録されている場合には、例えば図7に示すように、シーンチェンジ点に対応する画像と、テンプレート画像とのマッチングをとり、類似度が高い場合には、そのシーンチェンジ点をシーンの開始位置として登録する。類似度のマッチングとしては、フレーム間差分やフレーム間の色のヒストグラム差分などがある。
【0052】
また、テンプレート画像の特徴量が予め登録されている場合には、シーンチェンジ点に対応する画像から特徴量を抽出し、テンプレート画像の特徴量とのマッチングをとり、類似度が高い場合には、そのシーンチェンジ点をシーンの開始位置として登録する。シーン開始位置の情報はシーン分割部3へ出力される。
【0053】
シーン分割部3では、シーンチェンジ検出部39で自動検出されたシーン開始位置情報に基づき、シーンの開始位置および終了位置を決定する。なお、本実施の形態2のシーン分割部3では、上記実施の形態1と同様に、ユーザからの指示に基づき、シーンの開始位置および終了位置を決定することもできる。
【0054】
シーン分割部3では、シーンの開始位置および終了位置を記述したシーンの区間情報メタデータ12をシーンチェンジ検出部39へ出力し、このシーンチェンジ検出部39で、そのシーンに含まれるシーンチェンジ点を検出することもできる。
【0055】
シーン記述編集部5では、シーン分割部3からのシーンの区間情報メタデータ12に基づき、シーンチェンジ検出部39で自動検出されたシーンを再分割や統合することができる。なお、シーン記述編集部5の詳細は、上記実施の形態1と同様である。
【0056】
従って、本実施の形態2に係るメタデータ編集装置100Aによれば、上記実施の形態1と同様に、ビデオデータ等のコンテンツのもつ階層的な構造や各シーンの特徴量を記述したメタデータを生成することができると共に、シーンチェンジ検出部39を設けたことにより、コンテンツのシーンチェンジ点を自動検出することが可能となる。
【0057】
実施の形態3.
この実施の形態3では、上記実施の形態1及び2のメタデータ編集装置により生成されたメタデータを利用して、画像の要約再生や、検索などを行うメタデータ再生装置について説明する。
【0058】
この発明の実施の形態3に係るメタデータ再生装置について図面を参照しながら説明する。図8は、この発明の実施の形態3に係るメタデータ再生装置の構成を示すブロック図である。
【0059】
図8において、メタデータ再生装置200は、メタデータ解析部19と、構造表示部20と、サムネイル画像表示部21と、ユーザ入力部22と、検索部23と、検索結果表示部24と、要約作成部25と、要約構造表示部26と、コンテンツ再生部27とを備える。
【0060】
メタデータ解析部19は、コンテンツのもつ階層的なシーン構造や各シーンのサムネイルに関する情報、各シーンの特徴量などが記述されたメタデータ28の解析を行う。構造表示部20は、メタデータ解析結果から取得されるシーン構造29、つまりコンテンツの階層的な構造を表示する。サムネイル画像表示部21は、メタデータ解析結果から取得されるサムネイル画像情報30を表示する。
【0061】
ユーザ入力部22は、検索や再生等の指示を行う。検索部23は、ユーザからの検索指示(検索条件31)と、メタデータから取得されるシーンの特徴量やテキスト情報32とに基づき検索を行う。検索結果表示部24は、検索結果33を表示する。要約作成部25は、ユーザからの要約作成指示(要約作成条件34)に基づき要約作成を行う。要約構造表示部26は、要約されたコンテンツの構造38を表示する。コンテンツ再生部27は、要約情報35、コンテンツ再生指示36、再生するコンテンツ37に基づきコンテンツを再生・表示する。
【0062】
つぎに、この実施の形態3に係るメタデータ再生装置の動作について図面を参照しながら説明する。
【0063】
まず、メタデータ解析部19は、コンテンツのもつ階層的なシーン構造や、各シーンのサムネイルに関する情報、各シーンの特徴量などが記述されたメタデータ28を入力とし、メタデータの解析を行う。
【0064】
本実施の形態3では、このメタデータ28は、上記実施の形態1、2のメタデータ記述部9が生成したMPEG‐7規定のフォーマットで記述されているため、メタデータはXMLで記述されたテキストファイルでもよいし、バイナリフォーマットで符号化されたバイナリファイルであってもよい。
【0065】
このため、メタデータ解析部19は、メタデータ28がXMLで記述されているならば、XMLファイルの解析を行うXMLパーザの機能をもつ。また、メタデータ28がバイナリフォーマットで符号化されているならば、メタデータ28の復号を行うデコーダの機能を有する。
【0066】
構造表示部20は、メタデータ解析部19の解析結果を入力して、コンテンツの階層的なシーン構造29を表示する。コンテンツのシーン構造は、例えば、図4に示すように、各シーンのタイトルとともにツリー表示される。
【0067】
サムネイル画像表示部21は、メタデータ解析部19の解析結果(サムネイル画像情報30)を入力して、コンテンツのサムネイル画像一覧を表示する。
【0068】
検索部23は、ユーザ入力部22を介したユーザからの検索指示により、コンテンツに含まれるシーンの検索を行う。その際、ユーザ入力部22では、キーワードやサンプル画像の提示等により、検索条件を入力する。検索部23では、メタデータに記述されているシーンの特徴量や、シーンのタイトルなどのテキスト情報32に基づき、ユーザから提示された検索条件(キーワードやサンプル画像の特徴)31に合致するシーンの検索を行う。
【0069】
検索部23による検索が終了すると、検索結果表示部24は、検索部23の検索結果33を入力とし、検索結果の表示を行う。検索結果の表示方法としては、例えば、検索条件に合致したシーンのサムネイル画像を表示する。
【0070】
また、要約作成部25は、ユーザ入力部22を介したユーザからの要約作成指示に基づき、コンテンツの要約を作成する。その際、ユーザ入力部22では、要約されたコンテンツの再生時間や、ユーザ嗜好などの情報を入力する。例えば、コンテンツがニュース映像の場合には、ニュースの中のスポーツを中心に見たい、あるいは、1時間のニュースを20分に要約してみたいなどのユーザの嗜好情報を入力する。また、要約作成部25では、メタデータに記述されているシーンの再生時間や、シーンのタイトルなどのテキスト情報32に基づき、要約条件に合致した要約情報35を作成する。この要約情報35とは、例えば、要約されたコンテンツに含まれるシーンの再生リストであり、コンテンツのURLなどのロケーション情報と、そのコンテンツの中の再生したいシーンの開始位置と終了位置を列記したリストである。
【0071】
また、コンテンツ再生・表示部27では、要約情報35に含まれるコンテンツのロケーション情報に基づき、対象コンテンツを特定し、要約情報に含まれるシーンリストに基づき、再生するシーンの取得・再生・表示を行う。また、別の例として、要約情報が要約されたシーンの構造を階層的に記述したものである場合も考えられる。
【0072】
図9は、要約されたシーン構造を階層的に記述したものの一例を示す図である。同図(a)は、オリジナルコンテンツのシーン構造の例を示す。各シーンに対して、重要度が0.0〜1.0の範囲で付加されている。1.0は重要度が最も高く、0.0は重要度が最も低いことを意味する。重要度は、例えば、ユーザ嗜好に基づいて計算されたものであるとする。例えば、チームAのサッカーの試合に関するシーン、特に、試合結果と得点シーンは必ず見たいというユーザ嗜好を予め登録しておくと、各シーンにはユーザ嗜好を反映した重要度が付加される。
【0073】
そして、図9(a)において、重要度が最も高いシーンのみで要約を生成すると、要約されたシーン構造は同図(b)に示すようになる。なお、各シーンは、そのシーンを含むコンテンツのURLなどのロケーション情報と、そのシーンのコンテンツ内での位置情報(開始位置と終了位置)などのメタデータをもつ。要約されたシーン構造38に関する情報は、要約構造表示部26へ渡され、この要約構造表示部26は、要約されたシーン構造を例えば、図9(b)に示すようなツリー形式で表示する。
【0074】
また、ユーザ入力部22を介しユーザが構造表示部20または要約構造表示部26に表示されているシーン構造や、サムネイル画像表示部21や検索結果表示部24に表示されている各シーンのサムネイルの中から再生したい1つ以上のシーンを選択すると、コンテンツ再生・表示部27ではコンテンツに含まれるシーンを再生・表示することができる。
【0075】
従って、本実施の形態3に係るメタデータ再生装置200によれば、上記実施の形態1、2で説明したメタデータ編集装置により生成されたメタデータを用いて、ユーザが見たいシーンだけを集めて再生したり、メタデータに記述されている特徴量を用いて、見たいシーンを検索することができる。
【0076】
また、本実施の形態3では、コンテンツ再生・表示部27が、メタデータ再生装置200内にあったが、コンテンツ再生・表示部が別の装置内にあってもよい。これは、例えば、シーンの構造やサムネイル画像の表示等、メタデータ再生に関わる操作や表示は、携帯電話や携帯情報端末等で行い、マルチメディアコンテンツの再生に関わる処理や表示は、携帯電話や、携帯情報端末等にネットワークを介して接続した端末(例えば、PC等)で行う場合が考えられる。
【0077】
実施の形態4.
この実施の形態4では、コンテンツのメタデータをクライアント端末に対して配信するメタデータ配信サーバ(メタデータ配信装置)と、そのコンテンツをクライアント端末の端末能力に応じてスケーラブルに構成して配信するコンテンツ配信サーバと、について説明する。
【0078】
この発明の実施の形態4に係るコンテンツ配信システムについて図面を参照しながら説明する。図10は、この発明の実施の形態4に係るコンテンツ配信システムの構成を示すブロック図である。
【0079】
図10において、コンテンツ配信システム300は、メタデータ配信サーバ400と、各種のクライアント端末481〜48nと、コンテンツ配信サーバ500とを備える。
【0080】
メタデータ配信サーバ400は、メタデータ蓄積部41と、メタデータ解析部42と、端末能力判定部43と、メタデータ再生成部44と、メタデータ配信部45とから構成されている。
【0081】
メタデータ蓄積部41には、例えば上記実施の形態1、2のメタデータ編集装置が生成したメタデータが蓄積されている。メタデータ解析部42は、コンテンツの構造や特徴を記述したメタデータ49の解析を行う。端末能力判定部43は、クライアント端末の性能に関する情報51に基づいて、クライアント端末の端末能力を判定する。メタデータ再生成部44は、メタデータ解析結果50に基づき、クライアント端末の端末能力に応じてコンテンツを再構成し、その内容を記述したメタデータ52を再生成する。メタデータ配信部45は、メタデータ再生成部44で再生成されたメタデータ53を各種クライアント端末481〜48nに配信する。
【0082】
なお、メタデータ蓄積部41は、本実施の形態4のメタデータ配信サーバ400外に設けても良い。その場合には、メタデータ配信サーバ400は、ネットワーク(図示せず)等を介しメタデータ蓄積部41からメタデータ49を入力する。
【0083】
また、コンテンツ配信サーバ500は、コンテンツ蓄積部46と、コンテンツ配信部47とから構成されている。
【0084】
コンテンツ蓄積部46は、コンテンツ55を蓄積する。コンテンツ配信部47は、クライアント端末481〜48nからのコンテンツ配信要求54に応じてコンテンツ56を配信する。
【0085】
上述したメタデータ配信サーバ400の場合と同様に、コンテンツ蓄積部46はコンテンツ配信サーバ500外に設けてもよい。その場合、コンテンツ配信サーバ500は、ネットワーク(図示せず)を介してコンテンツデータ55を入力する。
【0086】
つぎに、この実施の形態4に係るコンテンツ配信システムの動作について図面を参照しながら説明する。
【0087】
まず、メタデータ配信サーバ400側では、メタデータ解析部42がメタデータ蓄積部41に蓄積されているメタデータの解析を行う。メタデータ解析部42の動作は、上記実施の形態3のメタデータ再生装置200のメタデータ解析部19と同様である。メタデータ解析部42は、メタデータを解析することにより、各コンテンツの構造や特徴に関する情報を取得する。
【0088】
図11は、この実施の形態4に係るメタデータ配信サーバのメタデータ解析部から出力されるコンテンツ(ニュース映像の例)の構造情報を示す図である。図11では、コンテンツの階層的なシーン構造を、ツリーを用いて表示している。ツリーの各ノードは、各々のシーンに対応し、各ノードには各種のシーン情報が対応付けられている。シーン情報とは、シーンのタイトル、アブストラクト、シーンの開始位置と終了位置の時間情報、シーンのサムネイル、代表フレーム、サムネイルショット、代表ショット、色や動きなど視覚的な特徴量等であるシーンの特徴である。なお、図11には、各種のシーン情報のうち、シーンのタイトルのみを図示している。
【0089】
ここで、クライアント端末は、端末能力の異なる各種の情報家電機器を想定する。端末能力とは、通信速度、処理速度や、再生・表示可能な画像フォーマット、画像解像度、ユーザ入力機能、などである。例えば、クライアント端末481は、通信速度、処理速度、表示性能、ユーザ入力機能において、十分な性能を有するPC(パソコン)を想定する。また、クライアント端末482は携帯電話を想定し、その他のクライアント端末はPDA等を想定する。各クライアント端末481〜48nからは、それぞれの端末性能に関する情報が送信される。
【0090】
端末能力判定部43は、各クライアント端末481〜48nから送信される端末性能に関する情報51を解析して、配信可能な画像フォーマット、最大画像解像度、コンテンツの長さ等を決定し、メタデータ再生成部44へ出力する。例えば、オリジナルのコンテンツがMPEG−2で符号化された解像度の大きなビデオコンテンツの場合、十分な性能を有するクライアント端末481では、オリジナルのコンテンツを再生できる。また、このクライアント端末481は、上記実施の形態3で説明した画像の要約再生や検索が可能な機能を有するものとする。一方、クライアント端末482では、MPEG−4で符号化された短いビデオショットのみ再生可能で、かつ、表示可能な最大解像度も小さいものとする。
【0091】
メタデータ再生成部44では、端末能力判定部43からの各クライアント端末481〜48nの端末性能に応じてコンテンツを再構成し、その構造や内容を記述したメタデータ52を再生成し、メタデータ配信部45へ出力する。例えば、クライアント端末481に対しては、オリジナルのメタデータをそのまま配信するため、コンテンツの再構成は行わない。一方、クライアント端末482に対しては、短いビデオショットの再生機能のみを有するため、すべてのシーンを再生することはできない。従って、重要なシーンの短いビデオショットでコンテンツを再構成する。
【0092】
図12は、実施の形態4に係るコンテンツ配信システムのメタデータ再生成部による再構成後のコンテンツの構造例を示す図である。図12に示すように、各ニュースのシーンの中から、重要なシーンを抽出し、そのシーンの代表ショットまたは、代表フレームのみで構成されるようにする。また、クライアント端末482は、上記実施の形態3で説明した検索機能を有しないため、シーンの各種情報のうち、検索に使用するシーンの特徴量をメタデータに記述する必要はない。そこで、メタデータ再生成部44は、再構成されたシーン構造と、そのシーンの代表ショットまたは代表フレームの位置情報のみを記述したメタデータを再生成し、メタデータ配信部45へ出力する。
【0093】
このメタデータ配信部45は、メタデータ再生成部44で生成されたメタデータ53をクライアント端末481〜48nに配信する。
【0094】
各クライアント端末481〜48nは、メタデータ配信部45より配信されたメタデータ53を解析し、コンテンツのシーン構造情報を取得する。各クライアント端末481〜48nのユーザは、再生したいシーンを選択すると、選択されたシーンの位置情報が各クライアント端末481〜48nからコンテンツ配信サーバ500のコンテンツ配信部47へ送信される。
【0095】
コンテンツ配信サーバ500のコンテンツ配信部47では、各クライアント端末481〜48nより送信されるシーンの位置情報を取得し、コンテンツ蓄積部46より対応するコンテンツ55を取得し、クライアント端末481〜48nへ配信する。クライアント端末481の場合には、シーンの開始位置と終了位置を送信し、オリジナルのコンテンツの対応するシーンを配信する。また、クライアント端末482の場合は、シーンの代表ショットの所在情報(URIなど)を送信する。なお、代表ショットが、クライアント端末482で再生・表示不可能な画像フォーマットや、画像解像度、画像ファイルサイズ等の場合には、コンテンツ配信部47で、フォーマット変換や解像度変換、ファイルサイズを小さくするためのコンテンツの要約等を行い、送信する。
【0096】
従って、本実施の形態4のメタデータ配信サーバ400によれば、各クライアント端末481〜48nの能力に応じてメタデータを再生成して各クライアント端末に配信することが可能となる。
【0097】
なお、図10では、メタデータ配信サーバ400とコンテンツ配信サーバ500とを別々に構成して示しているが、本発明では、これに限らず、メタデータ配信サーバの中にコンテンツ配信サーバを設けたり、あるいはコンテンツ配信サーバの中にメタデータ配信サーバを設けたりしてもよい。また、メタデータ配信サーバとコンテンツ配信サーバとを同一サーバ内に設けても勿論良い。このようにすれば、コンテンツ配信部47は、端末能力判定部43から各クライアント端末481〜48nの能力を簡単に知ることができるので、各クライアント端末481〜48nの能力に応じてフォーマット変換などコンテンツを再構成して各クライアント端末481〜48nに配信することが可能となる。
【0098】
また、この実施の形態4では、メタデータ蓄積部41に蓄積されているメタデータは、例えば上記実施の形態1、2のメタデータ編集装置が生成したものであると説明したが、これに限らず、上記実施の形態1、2のメタデータ編集装置以外が生成したメタデータを蓄積したものでも勿論良い。
【0099】
実施の形態5.
この実施の形態5では、上記実施の形態4で説明したメタデータ配信サーバの別の例を説明する。上記実施の形態4のメタデータ配信サーバでは、クライアント端末から送信される端末情報に基づいて、メタデータの再生成を行っていた。この実施の形態5では、より適切なメタデータの再生成を行うために、メタデータ再生成のためのヒント情報であるメタデータ最適化ヒント情報を用いて、メタデータの再生成を行うメタデータ解析・再生成部を備えたことを特徴とするメタデータ配信サーバ(メタデータ配信装置)について説明する。
【0100】
この発明の実施の形態5に係るメタデータ配信サーバについて図面を参照しながら説明する。図13は、この発明の実施の形態5に係るメタデータ配信サーバの構成を示すブロック図である。
【0101】
図13において、メタデータ配信サーバ400Aは、ヒント情報解析部61と、メタデータ解析・再生成部63と、メタデータ配信部45とを備える。
【0102】
ヒント情報解析部61は、メタデータ最適化ヒント情報60を解析しその結果を出力する。メタデータ解析・再生成部63は、解析されたメタデータ最適化ヒント情報62と、クライアント端末の性能に関する情報、あるいは、ユーザ嗜好等のメタデータ再生成に関する条件65とに基づいて、コンテンツの構造や特徴を記述したメタデータ49を解析して再構成したメタデータ64を出力する。メタデータ配信部45は、メタデータ53をクライアント端末に配信する。
【0103】
メタデータ蓄積部41(図10参照)には、コンテンツの構造や特徴を記述したメタデータ49と、そのメタデータ49を再生成するためのヒント情報のメタデータ最適化ヒント情報60が蓄積されている。メタデータ49を再生成するためのメタデータ最適化ヒント情報60とは、そのメタデータ49に、どのような種類の情報が、どのくらい含まれているか、メタデータ49の概要や複雑度を記したものである。
【0104】
つぎに、この実施の形態5に係るメタデータ配信サーバの動作について図面を参照しながら説明する。
【0105】
図14に示す構造をもったビデオコンテンツを例に、メタデータ最適化ヒント情報60について詳述する。
【0106】
ビデオコンテンツ(Root)(Soccer game program)は、大きく2つのシーン(Scene1,Scene2)の前半戦と後半戦から構成され、前半戦のシーンは、さらに複数のシーン(Scene1−1,Scene1−2,...,Scene1−n)(ゴールシーン、コーナーキックシーンなど)から構成されている。図14では、シーン間の時間的な階層構造をツリー構造により示している。
【0107】
対応するメタデータ49には、このようなコンテンツの時間的な階層構造、すなわち、シーン間の時間的関係や各シーンの開始時間と長さが記述されている。また、各シーンに対しては、階層のレベルに応じてそのシーンがもつ特徴(例えば、色のヒストグラムや動きの複雑性)のほか、タイトル、アブストラクト、ジャンル、注釈等のテキスト情報、重要度、などが記述されている。なお、本実施の形態5では、メタデータの記述フォーマットとして、ISOで標準化されているMPEG−7を用いるものとする。
【0108】
図15は、MPEG−7を用いた場合のメタデータの記述例を示す。MPEG−7では、各シーンは「ビデオセグメント」と呼ばれる単位で記述される。各ビデオセグメントには、時間情報(シーンの開始点と長さ)、タイトル、概要、ジャンル、などが記述される。なお、ビデオセグメントの階層に応じてビデオセグメント内で記述される情報が異なる場合がある。図15の例では、レベル2とレベル3のビデオセグメントには、重要度が記述されているが、レベル4では重要度は記述されない。また、色や動きの特徴量はレベル4のビデオセグメント内でのみ記述されている。
【0109】
シーン間の時間的な階層関係は、ビデオセグメントを再帰的に記述することにより表現することができる。図15の記述例では、「時間分割」という記述により、1つのビデオセグメントが時間的に分割された複数のビデオセグメントから構成されていることを記述している。MPEG−7では、コンテンツのもつ空間的な階層構造も同様に記述することができる。この場合には、「時間分割」という記述の替わりに、1つのセグメントが空間的に分割された複数のセグメントから構成されていることを示す「空間分割」という記述を用いる。
【0110】
メタデータ49の再生成のためのメタデータ最適化ヒント情報60は、そのメタデータ49に含まれる情報(記述子)の種類や内容を記述したものである。従って、メタデータ最適化ヒント情報60には、図15のメタデータに対しては、コンテンツのもつ時間的な階層構造を表現する記述子(「時間分割」)と、色のヒストグラムや動きの複雑性を表現する記述子、タイトル、アブストラクト、ジャンル、重要度を表現する記述子が含まれている。また、記述の内容や複雑性を表す指標として、ビデオセグメントの階層構造の深さは最大で4(レベル1〜レベル4)である。重要度は、5つの離散的な値({0.0,0.25,0.5,0.75,1.0})をとる。この重要度の視点として、“TeamA”の視点で観たときの重要度と、“TeamB”の視点で観たときの重要度が記述されている。また、重要度が記述されている階層位置(ビデオセグメントのどのレベルに記述されているか)も含まれている。
【0111】
図16は、メタデータ最適化ヒント情報60のフォーマット例を示す。図16に示すメタデータ最適化ヒント情報60には、メタデータファイル情報と、メタデータ構成要素情報とが含まれる。
【0112】
メタデータファイル情報は、メタデータファイルの所在、メタデータファイルサイズ、メタデータファイルフォーマット(XMLフォーマット、バイナリフォーマットなどファイルフォーマットを示す)、シンタックスファイル情報(メタデータの文法を規定するシンタックスファイルの所在)、メタデータに含まれる(出現する)要素の数を示す出現要素数など、メタデータを処理するために必要なリソース(メタデータの蓄積・解析を行うために必要とするメモリサイズやメタデータを解析するために必要な処理系(S/W)など)を予測するための情報を記述する。なお、メタデータファイルのフォーマットを規定したシンタックスファイルとは、例えば、メタデータがXMLで記述されている場合には、その記述フォーマット(文法)を規定するDTDファイルやschemaファイルなどがそれに相当し、シンタックスファイル情報とは、DTDファイルやschemaファイルなどのシンタックスファイルの所在を記述する。
【0113】
メタデータ構成要素情報とは、メタデータを構成する記述子の種類とその内容を記述する情報である。このメタデータ構成要素情報には、メタデータに含まれている記述子の名称、その記述子がメタデータ内に出現する頻度(回数)、その記述子が文法的に含む可能性のあるすべての記述子を含んでいるかどうかの記述(完全記述性)、またその記述子が再帰的に記述される場合には、その記述子がもつ時間または空間における階層性(深さの最大値)が含まれる。例えば、図15に示すメタデータ記述例では、「ビデオセグメント」が再帰的に記述される記述子であり、最大で4階層の構造をもっているため、「ビデオセグメント」記述子がもつ階層の深さは最大4になる。
【0114】
さらに、再帰的に記述される記述子内に含まれる記述子については、その記述子が出現する出現位置(階層)もヒント情報である。例えば、「重要度」は「ビデオセグメント」内に含まれる記述子であるが、レベル3以上の「ビデオセグメント」に含まれる、すなわち、レベル4のビデオセグメントには含まれないときに、「重要度」が出現する位置は、最大で3までになる。なお、このように、出現位置を階層レベルで指定することもできるが、「重要度」を含む「ビデオセグメント」、あるいは「ビデオセグメント」自体にIDが振られている場合には、出現位置をIDのリストとして記述することも可能である。また、値をもつ記述子の場合には記述子の型や記述子がとり得る値の範囲もヒント情報の一つである。例えば、重要度が“TeamA”,“TeamB”のそれぞれの視点から、5つの離散的な値({0.0,0.25,0.5,0.75,1.0})で表現されている場合には、「重要度」のとり得る値は、浮動小数点の型をもつリスト{0.0,0.25,0.5,0.75,1.0}である。以上の記述をメタデータの構成要素である記述子毎に繰り返す。
【0115】
図17は、図16のフォーマットに従って記述されたメタデータ最適化ヒント情報の一例を示す。図17に示すメタデータ最適化ヒント情報60の一例には、メタデータファイル情報と、“ビデオセグメント”と“タイトル”というメタデータ構成要素情報とが含まれていることがわかる。
【0116】
次に、メタデータ最適化ヒント情報60を使って、メタデータの再生成を行う手法について図13を用いて説明する。
【0117】
ヒント情報解析部61では、規定のフォーマットで記述されたメタデータ最適化ヒント情報60の解析を行う。メタデータ解析・再生成部63では、ヒント情報解析部61より出力される解析されたメタデータ最適化ヒント情報62を使って、メタデータ49の解析を行い、メタデータ再生成に関わる条件65に基づいて再生成したメタデータ64を出力する。
【0118】
図18は、解析されたメタデータ最適化ヒント情報62を使ったメタデータ解析・再生成部63によるメタデータの解析方法の一例を示す。この例では、もとのメタデータ49から重要度が0.5以上の特徴をもつビデオセグメントのみを抽出し、抽出したビデオセグメントに関する記述のみで構成されたメタデータを再生成するものとする。
【0119】
まず、メタデータ解析・再生成部63は、メタデータ再生成のための条件65より、再生成に必要なメタデータを特定する(ステップS1)。ここでは、重要度が0.5以上の特徴をもつビデオセグメントのみを抽出するため、「重要度」や「ビデオセグメント」が再生成に必要な記述子である。
【0120】
次に、解析されたメタデータ最適化ヒント情報62より、メタデータ49にステップS1で特定した記述子(以下、記述子「重要度」を例に説明する)が含まれるかどうかを判定する(ステップS2)。
【0121】
メタデータに「重要度」の記述子が含まれている場合には、メタデータの解析を行い(ステップS3)、「重要度」の記述子が含まれていない場合には、メタデータの解析処理を終了する(ステップS4)。
【0122】
また、解析されたメタデータ最適化ヒント情報62に、「重要度」の出現位置が階層構造のレベル3までと指定されている場合には、レベル3までのビデオセグメントの解析を終了した時点で(ステップS5)、レベル4以下の階層についての解析を行わずに解析処理を終了する(ステップS6)。
【0123】
なお、必要に応じて別のメタデータ49の解析を行うため、ステップS1以降の処理を繰り返す。また、メタデータ最適化ヒント情報62に「重要度」記述子の出現回数が20と指定されている場合には、20個の「重要度」記述子を解析し終えた時点で(ステップS5)、メタデータの解析を終了する(ステップS6)。さらに、ステップS4またはステップS6でメタデータの解析処理を終了後、必要に応じて別のメタデータの解析を行うため、ステップS1以降の処理を繰り返す。
【0124】
図19は、解析されたメタデータ最適化ヒント情報62を使ったメタデータの解析方法の別の例を示す。この例では、「タイトル」記述子を含むビデオセグメントのみを抽出してメタデータを再生成するものとする。メタデータに「タイトル」記述子を含むかどうかの判定は、図18の例と同じである。
【0125】
メタデータ解析・再生成部63は、メタデータに「タイトル」記述子を含む場合には、メタデータ最適化ヒント情報62に記述されている出現位置のIDに一致するビデオセグメントかどうかを判定する(ステップS13)。
【0126】
IDに一致しない場合には、「タイトル」記述子を含まないビデオセグメントのため、そのビデオセグメントの記述の解析をスキップする(ステップS16)。
【0127】
IDに一致する場合には、「タイトル」記述子を取得するため、そのビデオセグメントの記述の解析を行う(S15)。
【0128】
次に、出現位置のIDに一致するすべてのビデオセグメントを解析し終えた場合(ステップS17)には、これ以上、「タイトル」記述子を含むビデオセグメントはメタデータ内に存在しないため、解析処理を終了する(ステップS18)。
【0129】
なお、必要に応じて別のメタデータの解析を行うため、ステップS11以降の処理を繰り返す。以上の解析処理を通して抽出された記述子で再構成したメタデータ64を出力する。
【0130】
メタデータ配信部45では、再構成されたメタデータ64を各種クライアント端末へ配信する。
【0131】
なお、図示はしていないが、メタデータ再生成後にはメタデータファイルの所在やメタデータファイルサイズ、メタデータに出現する要素数、メタデータ構成要素に関する情報も変わるため、再生成後のメタデータに対応するメタデータ最適化ヒント情報を再生成してもよい。
【0132】
以上のように、従来はメタデータ再生成のためにメタデータに含まれるすべての記述子を解析しなければならなかったが、本実施の形態5においては、メタデータ49に含まれる記述子のリストや記述子の出現位置、出現回数等が記述されたメタデータ最適化ヒント情報60を使ってメタデータ49の記述子を解析を行うようにしたため、メタデータ再生成のためのメタデータ49自体の解析を省くことができ、また出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、メタデータの解析及び再生成に伴う処理コスト(処理量やメモリ使用量等)を低減することができる。
【0133】
実施の形態6.
上記の実施の形態5では、メタデータ再生成のためのメタデータ最適化ヒント情報を用いて、メタデータの解析および再生成に伴う処理コストを低減するメタデータ配信サーバについて説明したが、この実施の形態6では、メタデータ最適化ヒント情報を用いて、メタデータの検索に伴う処理を軽減するメタデータ検索サーバ(メタデータ検索装置)について説明する。
【0134】
この発明の実施の形態6に係るメタデータ検索サーバについて図面を参照しながら説明する。図20は、この発明の実施の形態6に係るメタデータ検索サーバの構成を示すブロック図である。
【0135】
図20において、メタデータ検索サーバ600は、ヒント情報解析部61と、メタデータ解析部71と、検索部73とを備えている。
【0136】
ヒント情報解析部61は、上記実施の形態5と同じであるので、説明を省略する。メタデータ解析部71は、解析されたメタデータ最適化ヒント情報62と検索条件70を用いて、コンテンツの構造や特徴を記述した膨大なメタデータ49の解析を少ない処理コストで効率的に行う。検索部73は、メタデータの解析結果72を利用して、検索条件に適合するコンテンツを検索する。
【0137】
つぎに、この実施の形態6に係るメタデータ検索サーバの動作について図面を参照しながら説明する。
【0138】
図21は、この実施の形態6に係るメタデータ検索サーバのメタデータ解析部の動作を示すフローチャートである。
【0139】
メタデータ解析部71は、1つ以上のメタデータの解析を各メタデータに対応するメタデータ最適化ヒント情報62を用いて行う。メタデータの解析とは、ここでは、メタデータから検索に必要な特徴記述の抽出を行うことである。例えば、検索条件としてビデオセグメントの色の特徴量が与えられ、そのビデオセグメントに近い特徴をもつビデオセグメントを検索する場合には、色に関する特徴記述をもつビデオセグメントを抽出する必要がある。図15に示すメタデータ例では、レベル4のビデオセグメントに対し、色の特徴記述(「色のヒストグラム」)が付加されているため、レベル4のビデオセグメントに関する記述を抽出する。
【0140】
メタデータ解析部71は、検索条件70を解析し、検索に有効な記述子の特定を行う(ステップS21)。検索条件として、MPEG−7に規定された記述に従った特徴量が与えられる場合と、画像やキーワードが与えられる場合などがある。検索条件がMPEG−7の記述に従った特徴量(例えば色配置情報)として与えられる場合には、その記述子(色配置情報)が検索に有効な記述子となる。また、キーワードとして検索条件が与えられる場合には、テキスト形式の記述子(タイトル、アブストラクト、注釈など)が、検索に有効な記述子となる。
【0141】
次に、メタデータ最適化ヒント情報62を参照して、選択された記述子がメタデータ49に含まれるかどうかの判定を行う(ステップS22)。検索に用いる記述子がメタデータ49に含まれない場合には、そのメタデータ49の解析処理を終了(ステップS24)し、必要に応じて別のメタデータ49の解析を行う。
【0142】
選択された記述子がメタデータ49に含まれる場合には、メタデータの解析を行う(ステップS23)。メタデータの解析方法については上記実施の形態5の場合と同様にメタデータ最適化ヒント情報62を用いて図18や図19に示すメタデータ解析処理を効率的に行う(ステップS25〜S26)。以上の処理を通して、メタデータ解析部71より検索に必要な特徴記述が抽出される。
【0143】
検索部73では、メタデータ解析部71より出力されるメタデータの解析結果(検索に必要な特徴記述)72を利用して、検索条件に適合するコンテンツを検索する。上述した例では、色の特徴記述(「色のヒストグラム」)をもったビデオセグメントに関する記述がメタデータ解析部71より出力されるので、検索条件として与えられた色の特徴量(ヒストグラム)との適合性を判定し、適合したビデオセグメントの情報(例えば「時間情報」)を検索結果74として出力する。
【0144】
以上のように、本実施の形態6では、メタデータ最適化ヒント情報60を使ってメタデータ49の解析を行うため、メタデータ再生成のためのメタデータ49自体の解析を省くことができる。また、出現位置や出現回数により、検索に必要ではない記述子の解析を省くことができるため、メタデータの検索に伴う処理コスト(処理量やメモリ使用量等)を低減することができる。
【0145】
実施の形態7.
上記の実施の形態5または実施の形態6では、メタデータ最適化ヒント情報を利用するサーバ側について説明したが、この実施の形態7では、メタデータ最適化ヒント情報を利用するクライアント端末(メタデータ再生成条件設定装置)について説明する。
【0146】
この発明の実施の形態7に係るクライアント端末について図面を参照しながら説明する。図22は、この発明の実施の形態7に係るクライアント端末の構成を示すブロック図である。
【0147】
図22において、クライアント端末48Aは、ヒント情報解析部80と、メタデータ再生成条件設定部82とを備えている。
【0148】
なお、図22には、クライアント端末48Aに備わる機能のうち、メタデータ最適化ヒント情報60を利用してメタデータ再生成のための条件を設定する手段に関わる部分のみを示している。
【0149】
つぎに、この実施の形態7に係るクライアント端末の動作について図面を参照しながら説明する。
【0150】
ヒント情報解析部80は、規定のフォーマットで記述されたメタデータ最適化ヒント情報60の解析を行う。このヒント情報解析部80は、上記実施の形態5と同じであるので、詳細な説明を省略する。
【0151】
メタデータ再生成条件設定部82は、ヒント情報解析部80より出力される解析結果81をもとに、メタデータ再生成の条件設定83を行う。条件設定とは、例えば、メタデータ最適化ヒント情報60に含まれる記述子の種類の中からクライアント端末48Aに不必要な記述子の選択がある。クライアント端末48Aが特徴量を用いた検索機能を備えない場合には、色のヒストグラムや動きの複雑性などの特徴量を表現する記述子は不要である。
【0152】
条件設定の別の例として、コンテンツのシーン関係を記述する階層構造が深くなるほどメタデータの複雑度が増すときに、メタデータ最適化ヒント情報60に記述されている階層構造の深さの最大値をもとに、クライアント端末で処理可能な階層構造の深さを設定する。また、別の例では、メタデータ最適化ヒント情報60に記述されている重要度がとり得る値の情報をもとに、ユーザが着目する視点と、選択するシーンの重要度の閾値を設定する。
【0153】
上述したように、重要度が“TeamA”、“TeamB”のそれぞれの視点から、5つの離散的な値({0.0,0.25,0.5,0.75,1.0})をとる場合には、“TeamA”の視点で0.5以上の重要度をもつシーンのみを選択するなどの設定を行うことができる。
【0154】
メタデータ再生成条件設定部82で設定されたメタデータ再生成のための条件83は、メタデータ配信サーバに送信される。メタデータ配信サーバ側では、メタデータ再生成のための条件と、クライアント端末の端末性能とに基づいてメタデータを再構成する。例えば、もとのメタデータの階層構造の深さの最大値が4で、メタデータ再生成条件に、クライアント端末で処理可能な階層構造の深さが2と設定されている場合には、階層構造の深さの最大値が2となるように、メタデータの構造を再構成する。
【0155】
また、メタデータ再生成条件に、“TeamA”の視点で重要度が0.5以上のシーンのみを選択すると設定されている場合には、同条件に合致するシーンのみで構成されたメタデータを再生成する。メタデータ再生成は、上記実施の形態5と同様にメタデータ最適化ヒント情報を用いて効率的に行うことができる。
【0156】
以上のように、本実施の形態7では、メタデータ最適化ヒント情報60を使ってメタデータ再生成のための条件を設定することができるため、クライアント端末やアプリケーションに応じて適切なメタデータを生成することができる。
【0157】
実施の形態8.
上記の実施の形態5または実施の形態6では、メタデータ最適化ヒント情報を用いてメタデータを再生成し、再生成したメタデータを配信するサーバについて説明したが、この実施の形態8では、メタデータ最適化ヒント情報を用いてメタデータを解析し、解析結果を利用してクライアント端末やユーザ嗜好に適したコンテンツを再生成して配信するコンテンツ配信サーバ(コンテンツ配信装置)について説明する。
【0158】
この発明の実施の形態8に係るコンテンツ配信サーバについて図面を参照しながら説明する。図23は、この発明の実施の形態8に係るコンテンツ配信サーバの構成を示すブロック図である。
【0159】
図23において、コンテンツ配信サーバ500Aは、ヒント情報解析部61と、メタデータ解析部86と、コンテンツ再構成・配信部88とを備える。
【0160】
つぎに、この実施の形態8に係るコンテンツ配信サーバの動作について図面を参照しながら説明する。
【0161】
ヒント情報解析部61の動作は、上記実施の形態5と同様であるので、説明を省略する。
【0162】
メタデータ解析部86は、ヒント情報解析部61より出力される解析されたメタデータ最適化ヒント情報62を使って、メタデータ49の解析を行い、クライアント端末に関する情報、あるいは、ユーザ嗜好等のコンテンツ再構成に関する条件85に合致する記述を抽出する。ヒント情報を使った解析方法は、上記実施の形態5と同様であるが、実施の形態5と異なる点は、抽出した記述を使ってメタデータを再生成するのではなく、コンテンツを再構成する点である。このメタデータ解析部86で抽出された記述、すなわち解析されたメタデータ87は、コンテンツ再構成・配信部88へ出力される。
【0163】
コンテンツ再構成・配信部88は、メタデータ解析部86で抽出された記述を元に、コンテンツ89の再構成を行う。ここでは、上記実施の形態5で述べた例を用いて説明する。実施の形態5の例では、メタデータ49から重要度が0.5以上の特徴をもつビデオセグメントのみを抽出し、抽出したビデオセグメントに関する記述のみで構成されたメタデータを再生成した。
【0164】
この実施の形態8では、メタデータ49から重要度が0.5以上の特徴をもつビデオセグメントのみを抽出し、抽出したビデオセグメントに対応するシーンのみで構成されたコンテンツ90を再構成して配信する。抽出したビデオセグメントに関する記述には、対応するコンテンツの所在とそのビデオセグメントのコンテンツ内での位置(時間情報)が記述されているので、コンテンツから対応するシーンを切り出し、一つのコンテンツ90に再構成した上で配信することもできるが、コンテンツから対応するシーンを切り出し、切り出したシーンを順次配信することもできる。
【0165】
以上のように、本実施の形態8に係るコンテンツ配信サーバ500Aでは、メタデータ49に含まれる記述子のリストや記述子の出現位置、出現回数等が記述されたメタデータ最適化ヒント情報60を使ってメタデータの解析を行うため、メタデータ再生成のためのメタデータ49自体の解析を省くことができる。また、出現位置や出現回数により、再生成条件に合致しない記述子の解析を省くことができるため、クライアント端末やユーザ嗜好に適したコンテンツを再生成して配信する際のメタデータの解析及びコンテンツの再構成に伴う処理コスト(処理量やメモリ使用量等)を低減することができる。
【産業上の利用可能性】
【0166】
この発明は、以上説明したとおり、動画像や音声を含むマルチメディアコンテンツを複数のシーンに分割し、複数に分割したシーンを編集してマルチメディアコンテンツの階層的な構造を記述するシーン構造情報メタデータを生成するようにしたので、ビデオデータ等を含むマルチメディアコンテンツのもつ階層的な構造を記述したメタデータを生成することができる。
【特許請求の範囲】
【請求項1】
コンテンツの意味内容、構造、特徴を記述する1つまたは複数の記述子から成るメタデータを操作する際のヒント情報として、メタデータに含まれる各記述子がとり得る値の範囲を記述するヒント情報記述方法。
【請求項1】
コンテンツの意味内容、構造、特徴を記述する1つまたは複数の記述子から成るメタデータを操作する際のヒント情報として、メタデータに含まれる各記述子がとり得る値の範囲を記述するヒント情報記述方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【公開番号】特開2009−171622(P2009−171622A)
【公開日】平成21年7月30日(2009.7.30)
【国際特許分類】
【出願番号】特願2009−111989(P2009−111989)
【出願日】平成21年5月1日(2009.5.1)
【分割の表示】特願2003−585438(P2003−585438)の分割
【原出願日】平成15年3月20日(2003.3.20)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成13年度、独立行政法人情報通信研究機構、「情報家電コンテンツ表現システムの研究開発」委託契約、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成21年7月30日(2009.7.30)
【国際特許分類】
【出願日】平成21年5月1日(2009.5.1)
【分割の表示】特願2003−585438(P2003−585438)の分割
【原出願日】平成15年3月20日(2003.3.20)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成13年度、独立行政法人情報通信研究機構、「情報家電コンテンツ表現システムの研究開発」委託契約、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]