特定シーン学習システム及びプログラム
【課題】特定シーンとして編集されたメタデータを述語形式に変換して機械学習させ、特定シーンの定義を抽出する特定シーン学習システム及びそのプログラムを提供する。
【解決手段】本発明の特定シーン学習システムは、編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して第１の知識ベース（１２）に蓄積するダイジェスト編集装置（１１）と、第１の知識ベース（１２）に蓄積された付加情報付きのメタ情報を述語形式に変換し、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベース（１５）に蓄積する定義知識抽出装置（１４）と、第２の知識ベース（１５）に蓄積された知識定義のデータを検索キーとして、第１の知識ベース（１２）に蓄積されたメタ情報の中から検索キーに該当するメタ情報を抽出するダイジェスト生成装置（１６）とを備える。
【解決手段】本発明の特定シーン学習システムは、編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して第１の知識ベース（１２）に蓄積するダイジェスト編集装置（１１）と、第１の知識ベース（１２）に蓄積された付加情報付きのメタ情報を述語形式に変換し、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベース（１５）に蓄積する定義知識抽出装置（１４）と、第２の知識ベース（１５）に蓄積された知識定義のデータを検索キーとして、第１の知識ベース（１２）に蓄積されたメタ情報の中から検索キーに該当するメタ情報を抽出するダイジェスト生成装置（１６）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが制作したスポーツ映像などのシーンの情報を利用して、特定シーン（例えばハイライトシーン）の定義を自動的に学習して蓄積するためのシステムに関し、このシステムを利用して特定シーンの自動制作を支援する装置に関する。
【背景技術】
【０００２】
近年、デジタル放送やＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓａｔｅｌｌｉｔｅ）放送などの普及により、多チャンネル時代が到来し、放送局のようなコンテンツプロバイダーにも、質の高い番組を数多く制作することが求められ、効率的な番組制作手法の実現が不可欠となっている。制作者が持つ高度なノウハウを十二分に発揮して制作される番組が存在する一方、定型化された番組も数多く存在する。そのため、このような番組の制作をある程度自動化できる支援システムを実現して、制作者の負担を軽減し、制作者がより高度な作業に注力することができるようにする技術が望まれる。
【０００３】
例えば、スポーツニュースなどで利用されるダイジェスト映像も、制作者がそのノウハウを活かして制作する種類のコンテンツではあるが、試合中の「盛り上がるシーン」というのはある程度制作者間でも共通するものと考えられ、制作者が持つ「盛り上がるシーン」に関する概念を知識構造化し、データベースに蓄積することができれば、容易にハイライトシーン候補の検索を行うことや、ダイジェスト映像そのものを自動的に制作することもできるようになる。
【０００４】
そこで、スポーツの試合に関する概念を予めオントロジとして構造化しておき、ダイジェスト映像の制作を行うユーザがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を用いてその概念を扱うことにより、試合中の重要シーン定義や抽出などの処理を行うことができるようにする技法が提案されている（例えば、特許文献１参照）。
【０００５】
一方、ハイライトンーンの自動抽出には、代表的にはコンテンツ中の音声情報を利用してスポーツ中継のハイライトシーンを自動的に検出する技法などが提案されている（例えば、特許文献２参照）。
【０００６】
これらの技法では、制作ノウハウをも第三者が見ても理解可能な知識表現形式になっていないため、制作者固有の知識に基づいてダイジェスト又はハイライト編集を行う。
【０００７】
【特許文献１】特開２００８−１３１１７０号公報
【特許文献２】特開２００４−２３３５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技法においては、あくまでもダイジェスト映像の制作又は編集を行うユーザが主体的にどのようなシーンが盛り上がるかということを考えながら概念を組み合わせていく必要があり、このユーザが明確な意図を持ってシーンを検索することが容易になったとはいえ、制作者の負担を大きく軽減したとは言えず、ハイライトシーンを自動的に抽出できるシステムが求められている。
【０００９】
また、特許文献２の技法においては、入力音声の音声認識を用いるのみであり、アナウンサーのコメントといった言語データが必要となる上に音声認識の認識率にも結果が左右されてしまうことが予想される。そのため、現在一般的に流通している試合メタデータを用いる方が、ハイライト抽出に用いる情報を一般化させるのには優れていると考えられる。
【００１０】
そこで、本発明の目的は、コンテンツ制作者によって選択された特定シーン（ハイライト情報）を識別可能な付加情報が付与されたメタデータを用いて、特定シーン（例えばハイライトシーン）の定義を確立し、ダイジェスト生成を支援することが可能な特定シーン学習システム及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
即ち、本発明による特定シーン学習システムは、所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行う手段と、前記特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して第１の知識ベースに蓄積する手段とを有するダイジェスト編集装置と、前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積する手段とを有する定義知識抽出装置と、任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出する手段を有するダイジェスト生成装置と、を備えることを特徴とする。
【００１２】
また、本発明による特定シーン学習システムにおいて、前記第１の知識ベースに蓄積されたメタ情報に、特定シーンとして編集されるべく予め規定されたオントロジを参照して、前記特定シーンとして編集されたメタデータに当該オントロジに基づく記述を付して高度化し、高度化したメタ情報を前記特定シーンとして編集されたメタ情報の代わりに蓄積する手段を有する知識メタデータ生成装置を更に備えることを特徴とする。
【００１３】
また、本発明による特定シーン学習システムにおいて、前記定義知識抽出装置は、メタデータを帰納論理プログラミング処理で用いることのできる述語形式に変換し、前記ダイジェスト生成装置は、前記知識定義のデータを、述語形式そのものか、又はＳＰＡＲＱＬ（ｓｐａｒｑｌ Ｐｒｏｔｏｃｏｌ ａｎｄ ＲＤＦ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）の知識ベースの問い合わせ言語形式に変換したデータで生成することを特徴とする。
【００１４】
また、本発明による特定シーン学習システムにおいて、前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を、前記ダイジェスト編集装置に送出する手段を有することを特徴とする。
【００１５】
また、本発明による特定シーン学習システムにおいて、前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を結合し、ダイジェスト映像を生成する手段を有することを特徴とする。
【００１６】
また、本発明による特定シーン学習システムにおいて、前記知識メタデータ生成装置は、前記生成したダイジェスト映像又は対応するメタデータのリストを記録装置に記録させるか、又は表示装置に表示する手段を更に有することを特徴とする。
【００１７】
更に、本発明は、本発明のダイジェスト編集装置として構成するコンピュータに、所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行うステップと、前記ステップによって特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して前記第１の知識ベースに蓄積するステップとを実行させるためのプログラムとしても特徴付けられる。
【００１８】
更に、本発明は、本発明の定義知識抽出装置として構成するコンピュータに、前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積するステップを実行させるためのプログラムとしても特徴付けられる。
【００１９】
更に、本発明は、本発明のダイジェスト生成装置として構成するコンピュータに、任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出するステップを実行させるためのプログラムとしても特徴付けられる。
【発明の効果】
【００２０】
本発明によれば、コンテンツ制作者が持つダイジェストシーン作成のノウハウを知識として蓄積することができる。その結果、制作者にとってはスポーツニュース向けのダイジェスト映像制作などが容易に行えるようになる。
【００２１】
また、ＴＶチューナなどのコンテンツ受信機にこの機能を内蔵することにより、コンテンツ視聴者の好みに合わせたダイジェスト映像が受信機内で生成可能になり、新たなコンテンツ視聴スタイルを提供することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明による一実施例のダイジェスト生成装置を用いた特定シーン学習システムを説明する。
【００２３】
[ダイジェスト生成装置を用いたシステム構成]
図１は、本発明による一実施例の特定シーン学習システムにおけるダイジェスト編集装置の本発明に係る一部の機能ブロック図である。図２は、本発明による一実施例の特定シーン学習システムにおける知識メタデータ生成装置１３の機能ブロック図である。図３は、本発明による一実施例の特定シーン学習システムにおける定義知識抽出装置の機能ブロック図である。図４は、本発明による一実施例の特定シーン学習システムにおけるダイジェスト生成装置の機能ブロック図である。
【００２４】
図１〜４に示される本実施例の特定シーン学習システムは、ダイジェスト編集装置１１と、定義知識抽出装置１４と、ダイジェスト生成装置１６とを備え、好適には、知識メタデータ生成装置１３を更に備える。
【００２５】
ダイジェスト編集装置１１は、所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行うとともに、特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して知識ベース（ＫＢ１）１２に蓄積する機能を有する。
【００２６】
知識メタデータ生成装置（ＫＭＧ）１３は、知識ベース（ＫＢ１）１２に蓄積されたメタ情報に、特定シーンとして編集されるべく予め規定されたオントロジを参照して、特定シーンとして編集されたメタデータに当該オントロジに基づく記述を付して高度化し、高度化したメタ情報を特定シーンとして編集されたメタ情報の代わりに知識ベース（ＫＢ１）１２に蓄積する機能を有する。
【００２７】
定義知識抽出装置１４は、知識ベース（ＫＢ１）１２に蓄積された付加情報付きのメタ情報を述語形式に変換し、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、定義知識ベース（ＫＢ２）１５に蓄積する機能を有する。
【００２８】
ダイジェスト生成装置（ＤＧ）１６は、任意のイメージ情報のダイジェスト編集のために、定義知識ベース（ＫＢ２）に蓄積された知識定義のデータを検索キーとして、知識ベース（ＫＢ１）１２に蓄積されたメタ情報の中から当該検索キーに該当するメタ情報を抽出する機能を有する。
【００２９】
以下、各装置についてより詳細に説明する。
【００３０】
本実施例の特定シーン学習システムは、ダイジェスト編集装置１１を利用する制作者のノウハウを知識メタデータ生成装置１３によって知識構造化できるようにするシステムであり、メタデータを処理する既存のメタデータ処理システム内に導入することが可能である。このようなスポーツ映像などのメタデータ処理システムにおいて、本実施例の特定シーン学習システムは、ハイライト情報が付加された試合メタデータを帰納論理プログラミング処理系（以下、ＩＬＰ処理系とも称する）等によって利用できる述語形式に変換し、ＩＬＰ処理系から出力された述語形式の特定シーン（例えば、ハイライトシーン）の定義を確立して蓄積し、蓄積したハイライトシーンの定義を用いてスポーツのハイライトシーンを検索するか、又は自動的にダイジェスト映像の生成を支援する。
【００３１】
従来の映像データや音声データを利用したハイライト生成技法では、制作者によって「なぜそのシーンが選ばれたのか？」という理由を、人間が理解可能な情報形式で取得することはできない。換言すれば、本実施例の特定シーン学習システムは、実際のダイジェスト制作の場合、「なぜそのシーンをハイライトに選んだか？」という問いに対して制作者は明確にその理由を答えることができるが、その理由を本実施例のダイジェスト生成装置１３の機械学習により獲得することにより、まさに制作ノウハウと呼ぶべき知識を蓄積した番組制作知識ベースの構築を可能にする。
【００３２】
即ち、本実施例の特定シーン学習システムにおけるダイジェスト生成装置１３は、コンテンツ制作者が或る試合のハイライト情報を付加したメタデータを用いてハイライトシーンの定義を獲得し、その定義に基づくハイライトシーンのダイジェストをコンテンツ制作者が利用するダイジェスト編集装置１１に提供可能にする。このハイライトシーンの定義は、スポーツのどのような試合状況が盛り上がるシーン（ハイライトシーン）に当たるかを、述語形式を用いて記述したものとすることができる。本実施例のダイジェスト生成装置１３は、この定義を利用して、例えば他の試合のメタデータからも自動的にハイライトシーンを自動抽出することも可能にする。
【００３３】
図１を参照するに、放送局の番組制作者（コンテンツ制作者）は、ダイジェスト編集装置１１を操作して、収録した試合映像（包括的に、イメージ情報とも称する）などを見ながら盛り上がるシーンを抽出して編集し、スポーツニュースなどで利用するダイジェスト映像を制作する。近年、放送局やＷｅｂのポータルサイト向けにスポーツの試合メタデータが流通しており、番組制作者は、任意にイメージ情報及びそのメタデータを入手可能である。
【００３４】
例えば、放送局などの番組制作者は、通常、試合映像に対して、スコアやＳＢＯなどの情報をスーパーインポーズするために、データ配信会社などから試合状況のメタデータの提供を受けることができる。スポーツデータ配信会社や、既知の映像・音響解析システムによって提供されるメタデータ（ｍ）は、表形式やＸＭＬ文書形式で知識ベース（ＫＢ１）１２に蓄積される。ＸＭＬ形式で記述されたメタデータ（ｍ）の一例の試合メタデータの例を図５に示す。このメタデータは、ある試合の一部を記述したものであり、ある打席において、投手がストレートを投げ、打者がそれをヒットにして結果として１点が入ったという状況を示している。本例においては、「投球、打撃、得点」といった一連の流れを「１勝負」という最小シーン単位としている。ハイライトシーンはすべてこの「１勝負」という単位で抽出される。知識メタデータ生成装置（ＫＭＧ）を用いてメタデータにより高度な情報（あるシーンが「サヨナラホームラン」「逆転の打撃」であるといったような高レベル情報）を付加することもできる（例えば、特開２００７−２４９９０７号公報参照）。
【００３５】
即ち、ダイジェスト編集装置１１は、イメージ情報及びそのメタデータを入力して、番組制作者がどのシーンを選んだかという情報を、メタデータに対して「ハイライトシーンとして選ばれた（例えばフラグ値１）／選ばれなかった（例えばフラグ値０）」といったデータを付加して（以下、付加情報付きメタデータとも称する）、知識として蓄えるためのデータベースとして機能する知識ベース（ＫＢ１）１２に蓄積する。
【００３６】
このコンテンツ制作者は、収録された映像群（シーン群）を編集し、盛り上がるシーンを繋ぎ合わせたダイジェスト映像を作成することができる。知識ベース（ＫＢ１）１２に蓄積されているメタデータには映像へのリンクが記述されているのが一般的であり、コンテンツ制作者が特定シーンを編集する際に、ダイジェスト編集装置１１は、このリンク情報を用いて知識ベース（ＫＢ１）１２内のメタデータに対してハイライト情報の識別情報（そのシーンがハイライトシーンとして選ばれたか／選ばれなかったかの付加情報）を追記することができる。
【００３７】
図２を参照するに、知識メタデータ生成装置（ＫＭＧ）１３は、オントロジ情報参照手段１３１及び高レベル情報付加手段１３２を有し、ダイジェスト編集装置１１によって蓄積された付加情報付きメタデータを、操作者の操作によるか、又は自動的に読み出し、次に、オントロジ情報参照手段１３１によって予め定義されたオントロジを参照して、高レベル情報付加手段１３２により付加情報付きメタデータの内容をより詳細に説明する記述を付して、高度化したメタデータ（以下、高度化メタデータと称する）を生成し、知識ベース（ＫＢ１）１２に追加又は更新する。
【００３８】
尚、知識メタデータ生成装置（ＫＭＧ）１３によって知識ベース（ＫＢ１）１２内のメタデータを高度化するか否かは随意選定可能であるが、高度化することによって情報が増えるため、後述する機械学習の性能を向上させることができる。尚、この知識ベース（ＫＢ１）１２に蓄積されるメタデータは、任意にイメージ情報及びそのメタデータを入手可能なＸＭＬ形式で記述されたままのものであることに留意する。
【００３９】
図３を参照するに、定義知識抽出装置１４は、例えばハイライトシーンの知識を抽出するハイライト知識抽出装置（ＨＫＥ）として機能し、述語形式変換手段１４１及び機械学習手段１４２を有する。定義知識抽出装置１４は、知識ベース（ＫＢ１）１２に蓄積された高度化メタデータ（又は、ダイジェスト編集装置１１に用いるメタデータ）を、操作者の操作によるか、又は自動的に読み出し、次に、述語形式変換手段１４１により、このＸＭＬ形式のメタデータを予め規定された既知の帰納論理プログラミング処理系の形式に変換し、機械学習手段１４２により、変換したメタデータを用いて機械学習させ、編集の概念を定義付ける知識データとしての定義知識データ（例えば、ハイライトシーンの概念定義のデータ）を獲得し、この定義知識データを専用の知識ベース（定義知識ベース（ＫＢ２）１５）に蓄積する。このようにして、定義知識抽出装置１４は、例えば、コンテンツ制作者が或る試合のハイライト情報を付加したメタデータを用いて、ハイライトシーンの定義を獲得し、定義知識ベース（ＫＢ２）１５）に蓄積する。
【００４０】
図６に、ハイライト知識抽出装置（ＨＫＥ）として機能する定義知識抽出装置１４によって、知識ベース（ＫＢ１）１２に蓄積されているメタデータを述語形式に変換して生成した述語の例を示す。前述したように、知識ベース（ＫＢ１）１２に蓄積されているメタデータ（例えば、試合メタデータ）は、表形式やＸＭＬ形式で記述されているため、その内容はすべて「主語−述語−目的語」という形式の集まりで記述するように規定することができる（以降、この形式を「トリプル」と称することにする）。トリプル形式は、述語形式に一意に変換することが可能であり、例えば図５に示すＸＭＬ形式の試合メタデータは図６に示す述語形式に変換することができる。この述語形式はＰｒｏｌｏｇのプログラムそのものであり、この形式にメタデータを変換することで、後段の機械学習手段１４２のＩＬＰ処理系による機械学習を可能にする。
【００４１】
ここで、帰納論理プログラミングによるハイライトシーン定義の学習及び蓄積の一例について、更に詳細に説明する。
【００４２】
[帰納論理プログラミングによるハイライトシーン定義の学習]
帰納論理プログラミングによる推論処理のＩＬＰ処理としては、ＰＲＯＧＯＬなどがよく知られている（例えば、古川康一他、「帰納論理プログラミング」、共立出版，２００１年５月発行）。そこで、ハイライト知識抽出装置（ＨＫＥ）として機能する定義知識抽出装置１４は、学習目標概念に関連する知識を帰納論理プログラミングの背景知識として利用することができ、述語形式変換手段１４１によって、このようなＩＬＰ処理系の入力として用いることのできる述語形式を生成することができる。
【００４３】
即ち、機械学習手段１４２に用いるＩＬＰ処理系は、主に、正例、負例、及び背景知識を入力とすることで、正例に共通する概念を学習することが可能である。野球の試合に関する正例、負例、及び背景知識の例を図７に示す。ＩＬＰ処理に入力する正例は「ハイライトシーンとして選ばれたシーン」とし（図７（Ａ））、負例は「ハイライトシーンに選ばれなかったシーン」とし（図７（Ｂ））、背景知識は、前述の各シーンに関連した試合状況を記述したものである（図７（Ｃ））。図１１は、ＸＭＬ形式の試合メタデータを行単位で述語形式に変換した例を示している。前述したように、「正例」「負例」及び「背景知識」に区分するのが、ＩＬＰ処理系１４２の機械学習にとってハイライト情報の識別性能を高める上で好適である。背景知識としては単純な試合状況だけでなく、野球に関連した各種概念を記述したオントロジのようなものも与えることもできる。
【００４４】
ＩＬＰ処理系は、これらの情報を用いて帰納推論を行い、出力として「ハイライトシーンの定義」を述語形式で出力する。ＩＬＰ処理系の出力例を図８に示す。
【００４５】
[ハイライトシーン定義の蓄積]
ＩＬＰ処理系の出力を「ハイライト定義知識」として定義知識ベース（ＫＢ２）１５に蓄積する。蓄積するときの形式は、述語形式そのものでもよいし、ＳＰＡＲＱＬ（ｓｐａｒｑｌ Ｐｒｏｔｏｃｏｌ ａｎｄ ＲＤＦ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）などの知識ベースの問い合わせ言語形式に変換して蓄積してもよい。例えば、述語形式とｓｐａｒｑｌクエリーの対応例を図９に示す。
【００４６】
図４を参照するに、ダイジェスト生成装置（ＤＧ）１６は、定義シーン抽出手段１６１、定義シーン結合手段１６２、及び定義シーン記録再生手段１６３を有する。定義シーン抽出手段１６１は、定義知識ベース（ＫＢ２）１５に蓄積されたハイライト知識からＳＰＡＲＱＬなどの問い合わせ言語を抽出し、知識ベース（ＫＢ１）１２内のメタデータを読み出して当該問い合わせ言語を適用し、定義知識（例えばハイライト定義）に該当するシーン群を抽出し、抽出して得られたシーン群を、「ハイライトシーンの候補」としてコンテンツ制作者が利用するダイジェスト編集装置１７に提供する。定義シーン結合手段１６２は、コンテンツ制作者の操作によるか、又は自動的に定義シーン抽出手段１６１によって抽出したシーン群を結合し、自動的にダイジェスト映像を生成する。定義シーン記録再生手段１６３は、コンテンツ制作者の操作によるか、又は自動的に、定義シーン結合手段１６２によって生成したダイジェスト映像又は対応するメタデータのリストを記録装置１８に記録させるか、又は表示装置１９に再生し表示させるように制御する。
【００４７】
例えば、定義知識ベース（ＫＢ２）１５に蓄積されたハイライト知識の利用例について更に詳細に説明する。
【００４８】
[ハイライト定義知識の利用]
ユーザ（例えば、放送局の番組制作者）は、ダイジェスト生成装置（ＤＧ）１６を利用して、知識ベース（ＫＢ１）１２及び定義知識ベース（ＫＢ２）１５から、任意のスポーツ映像のうちのハイライトシーンを抽出することができる。例えば、ダイジェスト生成装置（ＤＧ）１６は、定義知識ベース（ＫＢ２）１５に蓄積されたハイライト定義からＳＰＡＲＱＬなどの問い合わせ言語を抽出し、この問い合わせ言語を検索キーとして知識ベース（ＫＢ１）１２内のメタ情報を検索し、ハイライト定義に該当するシーン群を抽出することができる。得られたシーン群は、「ハイライトシーンの候補」として、識別情報を付してコンテンツ制作者に提供することで編集支援を行うか、又は得られたシーン群を結合することによって、自動的にダイジェスト映像を生成する。
【００４９】
このように、本実施例の特定シーン学習システムは、ハイライト情報が付加されたメタデータ及び帰納論理プログラミング処理系を用いて、ハイライトシーンの概念定義を自動的に獲得し、定義知識ベース（ＫＢ２）１５に蓄積する。
【００５０】
野球の試合を例に挙げると、試合メタデータには、試合の状況（スコア、ＳＢＯのカウント、進塁状況など）及び起こったイベントの情報が、知覚可能な表形式やＸＭＬ文書形式で記述されており、知識ベース（ＫＢ１）１２に蓄積される。本実施例の特定シーン学習システムは、この情報をＰｒｏｌｏｇプログラムのような述語形式に変換して、帰納論理プログラミング処理系により帰納推論処理を行う。つまり、本実施例の特定シーン学習システムは、ハイライトシーンの各種特徴（試合状況、起こったイベント、イベントに関連した選手の情報）及びハイライトシーンとして選ばれなかったシーンの各種特徴を用いて帰納推論を行い、ハイライトシーンがどのような特徴を持つかといった定義を機械学習で自動的に獲得する。得られた定義は「ハイライト知識」として定義知識ベース（ＫＢ２）１５に蓄積し、制作者はその知識を用いて容易に盛り上がるシーンを検索したり、システムが自動的にダイジェスト映像を制作したりといった機能を実現することができる。
【００５１】
次に、本発明による一実施例のダイジェスト生成装置を用いた特定シーン学習システムを、ダイジェスト映像制作支援システムとして構成した実現例１について説明する。
【００５２】
[実現例１]
図１０に、本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像制作支援システムを示す。本システムは、放送局のようなコンテンツプロバイダーにおいて利用されることを想定している。
【００５３】
放送局などは通常、試合映像に対して、スコアやＳＢＯなどの情報をスーパーインポーズするために、データ配信会社（例えば、スポーツデータ配信会社のメタデータ自動生成システム２０）などから試合状況のメタデータ（ｍ）の提供を受けている。このメタデータ（ｍ）を例えば受信したメタデータを逐次蓄積するメタデータ蓄積装置（ＭＤＳＳ）２１により放送局内の試合知識ベース１２ａ（上述の知識ベース１２に対応する）に蓄積しておく。試合知識ベース１２ａは、スポーツオントロジ１３１ａ（前述したオントロジ情報算出手段１３１に対応する）を備える知識メタデータ生成装置（ＫＭＧ）１３ａにより、より高度なメタデータを付加することも可能である。
【００５４】
番組制作者は、ダイジェスト編集システム（ＤＰＳ）２２（前述したダイジェスト編集装置１１に対応する）を操作して、試合知識ベース１２ａにメタ情報とともに蓄積される収録済みのスポーツの試合映像を見ながら、ハイライトシーンを手作業で検索し、それらをつなぎ合わせて編集し、特定のスポーツニュース用のダイジェスト映像を制作する。試合メタデータには、シーンの時刻情報などが含まれているため、ダイジェスト編集システム（ＤＰＳ）２２は、試合メタデータを試合知識ベース１２ａに蓄積する際に、制作者によって選ばれたシーンと試合メタデータとのリンク情報を利用して、試合メタデータ中にハイライト情報ｈ（そのシーンがハイライトシーンとして選ばれたか／選ばれなかったか）を付加する。ダイジェスト編集システム（ＤＰＳ）２２が知識メタデータ生成装置（ＫＭＧ）１３ａを制御して、より高度なメタデータを付加するようにしてもよい。
【００５５】
ハイライト情報が付加された試合メタデータ（ｍ）は、試合ごと、シーズンごとといった特定のイメージ情報の単位でハイライト知識抽出装置（ＨＫＥ）１４ａ（前述した定義知識抽出装置（ＨＫＥ）１４に対応する）に送られ、そこでＩＬＰ処理系（ＩＬＰＳ）１４２ａ（前述した機械学習手段１４２に対応する）のための「正例」「負例」及び「背景知識」に変換される。ＩＬＰ処理系（ＩＬＰＳ）１４２ａはそれらの情報を用いて帰納推論処理を行い、ハイライトシーンがどのような特徴を持っているかという「ハイライト定義知識」（前述した定義知識データに対応する）をハイライト抽出装置（ＨＫＥ）１４ａに送る。ハイライト抽出装置１４ａは、得られたハイライト定義知識をハイライト知識ベース（ＫＢ２）１５ａに蓄積しておき、制作者がダイジェスト編集システム（ＤＰＳ）２２を操作して自由に利用できる状況にしておく。
【００５６】
このように構築したダイジェスト映像制作支援システムにおいても、制作者は、ハイライト映像を作成するときに、従来のような「試合映像を目で見ながら自分でシーンを選択し、それらを編集で繋げていく」といった技法を用いることもできるが、ダイジェスト生成装置１６ａによって、ダイジェスト編集システム（ＤＰＳ）２２の画面に「ハイライトシーンの候補となる映像群」を自動的に提示させることもできるので、番組制作者は、全ての映像をみることなく、提示されたハイライト候補映像を選択し、繋げていくことでダイジェスト映像を作成することができるようになる。
【００５７】
この実現例によれば、ダイジェスト映像の制作作業を大幅に効率化させることができる。また、上述したように、本システムが抽出したハイライトシーンを自動的に繋ぎ、ダイジェスト映像を生成することも可能である。
【００５８】
次に、本発明による一実施例のダイジェスト生成装置を用いた特定シーン学習システムを、ダイジェスト映像提供システムとして構成した実現例２について説明する。
【００５９】
[実現例２]
図１２に、本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像提供システムを示す。本システムは、ユーザの家庭にある受信機やＰＣなどに内蔵することを想定している。尚、図１０と同様な構成要素には同一の参照番号を付して説明する。
【００６０】
スポーツデータ配信会社のメタデータ自動生成システム２０は、放送波やインターネット回線経由で各家庭の受信機やＰＣに対して試合メタデータ（ｍ）を配信する。メタデータ蓄積装置は受信したメタデータ（ｍ）を、試合知識ベース１２ａにリアルタイムで蓄積する。試合知識ベース１２ａは、知識メタデータ生成装置１３ａにより、より高度なメタデータを与えておくことも可能である。
【００６１】
家庭環境化の本システムのユーザは、受信機やＰＣなどに内蔵された既知の映像視聴システム（ＶＰＳ）２３（前述したダイジェスト編集装置１１に対応する）を操作して、通常のＴＶ番組などを視聴しているとする。既知の映像視聴システムには、ＨＤＤなど映像蓄積システムが内蔵されており、録画したスポーツ番組などを後から視聴することも可能となっている。ユーザが早送り／巻き戻しなどを行いながら録画した番組を視聴する際、ユーザがそのシーンを実時間で視聴した、或いは早送りで飛ばした、といったユーザによる視聴情報は、ハイライト情報ｈとして試合知識ベース（ＫＢ１）１２ａに送られ、試合メタデータを試合知識ベース１２ａに蓄積する際に、試合メタデータ中にハイライト情報（そのシーンがハイライトシーンとして選ばれたか／選ばれなかったか）を付加する。
【００６２】
ハイライト情報ｈが付加された試合メタデータ（ｍ）は、試合ごと、シーズンごとといった特定のイメージ情報の単位でハイライト知識抽出装置（ＨＫＥ）１４ａに送られ、そこでＩＬＰ処理系（ＩＬＰＳ）１４２ａのための「正例」「負例」及び「背景知識」に変換される。ＩＬＰ処理系（ＩＬＰＳ）１４２ａは、それらの情報を用いて帰納推論処理を行い、ハイライトシーンがどのような特徴を持っているかという「ハイライト定義知識」（前述した定義知識データに対応する）をハイライト知識抽出装置（ＨＫＥ）１４ａに送る。ハイライト知識抽出装置（ＨＫＥ）１４ａは、得られたハイライト定義知識をハイライト知識ベース（ＫＢ２）１５ａに蓄積しておき、ユーザが映像視聴システム（ＶＰＳ）２３を操作して（他の装置からも）自由にアクセス可能な状況にする。
【００６３】
ダイジェスト生成装置１６ａは、ハイライト知識ベース１５ａの情報を用いてメタデータ中からハイライトシーンを抽出し、ダイジェスト映像を自動生成する。制作されたダイジェスト映像は映像視聴シーンシステム(ＶＰＳ)２３上で「本日のチームＡ対チームＢのダイジェスト」などを複数の項目選択を可能な態様で表示させるようにすることもでき、ユーザは、随意選択して該当ダイジェスト映像を視聴することが可能となる。
【００６４】
本発明の一態様として、ダイジェスト編集装置１１、知識メタデータ生成装置１３、定義知識抽出装置１４、及びダイジェスト生成装置１６の各々をコンピュータとして構成することができ、前述した各手段および機能を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部（図示せず）に記憶される。このような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。プログラムを実行する制御部は、中央演算処理装置（ＣＰＵ）などで実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、コンピュータ上で各装置を実現することができる。ここで、いずれかの手段の機能をハードウェアの全部又は一部で実現しても良い。
【００６５】
上述した実施例において、各構成要素の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくこともできる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。
【００６６】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ‐ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶領域に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【００６７】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、各コンピュータの記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。尚、本態様におけるプログラムには、電子計算機の処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないが、コンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６８】
上述の実施例についてはハイライトシーンを代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、制作者が明確な意思に基づいて、特定の選手のダイジェスト生成を所望することも考えられ、ハイライトシーンを特定の選手のシーンに置き換えて本発明を適用することができる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
【産業上の利用可能性】
【００６９】
本発明のダイジェスト生成装置を用いた特定シーン学習システムによれば、提供されたメタ情報から自動的にダイジェスト生成に必要な情報を抽出することができるため、ダイジェスト生成を所望する用途に有用である。
【図面の簡単な説明】
【００７０】
【図１】本発明による一実施例の特定シーン学習システムにおけるダイジェスト編集装置の本発明に係る一部の機能ブロック図である。
【図２】本発明による一実施例の特定シーン学習システムにおける知識メタデータ生成装置１３の機能ブロック図である。
【図３】本発明による一実施例の特定シーン学習システムにおける定義知識抽出装置の機能ブロック図である。
【図４】本発明による一実施例の特定シーン学習システムにおけるダイジェスト生成装置の機能ブロック図である。
【図５】ＸＭＬ形式の試合メタデータの一例を示す図である。
【図６】図５に示すＸＭＬ形式の試合メタデータを述語形式に変換した一例を示す図である。
【図７】本発明による一実施例の特定シーン学習システムにおけるＩＬＰ処理系の入力情報としての正例、負例、及び背景知識の例を示す図である。
【図８】本発明による一実施例の特定シーン学習システムにおけるＩＬＰ処理系の出力例を示す図である。
【図９】本発明による一実施例の特定シーン学習システムにおける定義知識の述語形式とｓｐａｒｑｌクエリーの対応例を示す図である。
【図１０】本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像制作支援システムを示す図である。
【図１１】ＸＭＬ形式の試合メタデータを述語形式に変換した一例を示す図である。
【図１２】本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像提供システムを示す図である。
【符号の説明】
【００７１】
１１ ダイジェスト編集装置
１２ 知識ベース（ＫＢ１）
１３ 知識メタデータ生成装置（ＫＭＧ）
１４ 定義知識抽出装置
１５ 定義知識ベース（ＫＢ２）
１６ ダイジェスト生成装置（ＤＧ）
２０ メタデータ自動生成システム
２１ メタデータ蓄積装置（ＭＤＳＳ）
２２ ダイジェスト編集システム（ＤＰＳ）
２３ 映像視聴システム（ＶＰＳ）
１３１ オントロジ情報参照手段
１３２ 高レベル情報付加手段
１４１ 述語形式変換手段
１４２ 機械学習手段
１６１ 定義シーン抽出手段
１６２ 定義シーン結合手段
１６３ 定義シーン記録再生手段
１２ａ 試合知識ベース
１３ａ 知識メタデータ生成装置（ＫＭＧ）
１４ａ ハイライト知識抽出装置（ＨＫＥ）
１５ａ ハイライト知識ベース（ＫＢ２）
１６ａ ダイジェスト生成装置
１３１ａ スポーツオントロジ
１４２ａ ＩＬＰ処理系（ＩＬＰＳ）
【技術分野】
【０００１】
本発明は、ユーザが制作したスポーツ映像などのシーンの情報を利用して、特定シーン（例えばハイライトシーン）の定義を自動的に学習して蓄積するためのシステムに関し、このシステムを利用して特定シーンの自動制作を支援する装置に関する。
【背景技術】
【０００２】
近年、デジタル放送やＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓａｔｅｌｌｉｔｅ）放送などの普及により、多チャンネル時代が到来し、放送局のようなコンテンツプロバイダーにも、質の高い番組を数多く制作することが求められ、効率的な番組制作手法の実現が不可欠となっている。制作者が持つ高度なノウハウを十二分に発揮して制作される番組が存在する一方、定型化された番組も数多く存在する。そのため、このような番組の制作をある程度自動化できる支援システムを実現して、制作者の負担を軽減し、制作者がより高度な作業に注力することができるようにする技術が望まれる。
【０００３】
例えば、スポーツニュースなどで利用されるダイジェスト映像も、制作者がそのノウハウを活かして制作する種類のコンテンツではあるが、試合中の「盛り上がるシーン」というのはある程度制作者間でも共通するものと考えられ、制作者が持つ「盛り上がるシーン」に関する概念を知識構造化し、データベースに蓄積することができれば、容易にハイライトシーン候補の検索を行うことや、ダイジェスト映像そのものを自動的に制作することもできるようになる。
【０００４】
そこで、スポーツの試合に関する概念を予めオントロジとして構造化しておき、ダイジェスト映像の制作を行うユーザがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を用いてその概念を扱うことにより、試合中の重要シーン定義や抽出などの処理を行うことができるようにする技法が提案されている（例えば、特許文献１参照）。
【０００５】
一方、ハイライトンーンの自動抽出には、代表的にはコンテンツ中の音声情報を利用してスポーツ中継のハイライトシーンを自動的に検出する技法などが提案されている（例えば、特許文献２参照）。
【０００６】
これらの技法では、制作ノウハウをも第三者が見ても理解可能な知識表現形式になっていないため、制作者固有の知識に基づいてダイジェスト又はハイライト編集を行う。
【０００７】
【特許文献１】特開２００８−１３１１７０号公報
【特許文献２】特開２００４−２３３５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技法においては、あくまでもダイジェスト映像の制作又は編集を行うユーザが主体的にどのようなシーンが盛り上がるかということを考えながら概念を組み合わせていく必要があり、このユーザが明確な意図を持ってシーンを検索することが容易になったとはいえ、制作者の負担を大きく軽減したとは言えず、ハイライトシーンを自動的に抽出できるシステムが求められている。
【０００９】
また、特許文献２の技法においては、入力音声の音声認識を用いるのみであり、アナウンサーのコメントといった言語データが必要となる上に音声認識の認識率にも結果が左右されてしまうことが予想される。そのため、現在一般的に流通している試合メタデータを用いる方が、ハイライト抽出に用いる情報を一般化させるのには優れていると考えられる。
【００１０】
そこで、本発明の目的は、コンテンツ制作者によって選択された特定シーン（ハイライト情報）を識別可能な付加情報が付与されたメタデータを用いて、特定シーン（例えばハイライトシーン）の定義を確立し、ダイジェスト生成を支援することが可能な特定シーン学習システム及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
即ち、本発明による特定シーン学習システムは、所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行う手段と、前記特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して第１の知識ベースに蓄積する手段とを有するダイジェスト編集装置と、前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積する手段とを有する定義知識抽出装置と、任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出する手段を有するダイジェスト生成装置と、を備えることを特徴とする。
【００１２】
また、本発明による特定シーン学習システムにおいて、前記第１の知識ベースに蓄積されたメタ情報に、特定シーンとして編集されるべく予め規定されたオントロジを参照して、前記特定シーンとして編集されたメタデータに当該オントロジに基づく記述を付して高度化し、高度化したメタ情報を前記特定シーンとして編集されたメタ情報の代わりに蓄積する手段を有する知識メタデータ生成装置を更に備えることを特徴とする。
【００１３】
また、本発明による特定シーン学習システムにおいて、前記定義知識抽出装置は、メタデータを帰納論理プログラミング処理で用いることのできる述語形式に変換し、前記ダイジェスト生成装置は、前記知識定義のデータを、述語形式そのものか、又はＳＰＡＲＱＬ（ｓｐａｒｑｌ Ｐｒｏｔｏｃｏｌ ａｎｄ ＲＤＦ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）の知識ベースの問い合わせ言語形式に変換したデータで生成することを特徴とする。
【００１４】
また、本発明による特定シーン学習システムにおいて、前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を、前記ダイジェスト編集装置に送出する手段を有することを特徴とする。
【００１５】
また、本発明による特定シーン学習システムにおいて、前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を結合し、ダイジェスト映像を生成する手段を有することを特徴とする。
【００１６】
また、本発明による特定シーン学習システムにおいて、前記知識メタデータ生成装置は、前記生成したダイジェスト映像又は対応するメタデータのリストを記録装置に記録させるか、又は表示装置に表示する手段を更に有することを特徴とする。
【００１７】
更に、本発明は、本発明のダイジェスト編集装置として構成するコンピュータに、所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行うステップと、前記ステップによって特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して前記第１の知識ベースに蓄積するステップとを実行させるためのプログラムとしても特徴付けられる。
【００１８】
更に、本発明は、本発明の定義知識抽出装置として構成するコンピュータに、前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積するステップを実行させるためのプログラムとしても特徴付けられる。
【００１９】
更に、本発明は、本発明のダイジェスト生成装置として構成するコンピュータに、任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出するステップを実行させるためのプログラムとしても特徴付けられる。
【発明の効果】
【００２０】
本発明によれば、コンテンツ制作者が持つダイジェストシーン作成のノウハウを知識として蓄積することができる。その結果、制作者にとってはスポーツニュース向けのダイジェスト映像制作などが容易に行えるようになる。
【００２１】
また、ＴＶチューナなどのコンテンツ受信機にこの機能を内蔵することにより、コンテンツ視聴者の好みに合わせたダイジェスト映像が受信機内で生成可能になり、新たなコンテンツ視聴スタイルを提供することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明による一実施例のダイジェスト生成装置を用いた特定シーン学習システムを説明する。
【００２３】
[ダイジェスト生成装置を用いたシステム構成]
図１は、本発明による一実施例の特定シーン学習システムにおけるダイジェスト編集装置の本発明に係る一部の機能ブロック図である。図２は、本発明による一実施例の特定シーン学習システムにおける知識メタデータ生成装置１３の機能ブロック図である。図３は、本発明による一実施例の特定シーン学習システムにおける定義知識抽出装置の機能ブロック図である。図４は、本発明による一実施例の特定シーン学習システムにおけるダイジェスト生成装置の機能ブロック図である。
【００２４】
図１〜４に示される本実施例の特定シーン学習システムは、ダイジェスト編集装置１１と、定義知識抽出装置１４と、ダイジェスト生成装置１６とを備え、好適には、知識メタデータ生成装置１３を更に備える。
【００２５】
ダイジェスト編集装置１１は、所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行うとともに、特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して知識ベース（ＫＢ１）１２に蓄積する機能を有する。
【００２６】
知識メタデータ生成装置（ＫＭＧ）１３は、知識ベース（ＫＢ１）１２に蓄積されたメタ情報に、特定シーンとして編集されるべく予め規定されたオントロジを参照して、特定シーンとして編集されたメタデータに当該オントロジに基づく記述を付して高度化し、高度化したメタ情報を特定シーンとして編集されたメタ情報の代わりに知識ベース（ＫＢ１）１２に蓄積する機能を有する。
【００２７】
定義知識抽出装置１４は、知識ベース（ＫＢ１）１２に蓄積された付加情報付きのメタ情報を述語形式に変換し、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、定義知識ベース（ＫＢ２）１５に蓄積する機能を有する。
【００２８】
ダイジェスト生成装置（ＤＧ）１６は、任意のイメージ情報のダイジェスト編集のために、定義知識ベース（ＫＢ２）に蓄積された知識定義のデータを検索キーとして、知識ベース（ＫＢ１）１２に蓄積されたメタ情報の中から当該検索キーに該当するメタ情報を抽出する機能を有する。
【００２９】
以下、各装置についてより詳細に説明する。
【００３０】
本実施例の特定シーン学習システムは、ダイジェスト編集装置１１を利用する制作者のノウハウを知識メタデータ生成装置１３によって知識構造化できるようにするシステムであり、メタデータを処理する既存のメタデータ処理システム内に導入することが可能である。このようなスポーツ映像などのメタデータ処理システムにおいて、本実施例の特定シーン学習システムは、ハイライト情報が付加された試合メタデータを帰納論理プログラミング処理系（以下、ＩＬＰ処理系とも称する）等によって利用できる述語形式に変換し、ＩＬＰ処理系から出力された述語形式の特定シーン（例えば、ハイライトシーン）の定義を確立して蓄積し、蓄積したハイライトシーンの定義を用いてスポーツのハイライトシーンを検索するか、又は自動的にダイジェスト映像の生成を支援する。
【００３１】
従来の映像データや音声データを利用したハイライト生成技法では、制作者によって「なぜそのシーンが選ばれたのか？」という理由を、人間が理解可能な情報形式で取得することはできない。換言すれば、本実施例の特定シーン学習システムは、実際のダイジェスト制作の場合、「なぜそのシーンをハイライトに選んだか？」という問いに対して制作者は明確にその理由を答えることができるが、その理由を本実施例のダイジェスト生成装置１３の機械学習により獲得することにより、まさに制作ノウハウと呼ぶべき知識を蓄積した番組制作知識ベースの構築を可能にする。
【００３２】
即ち、本実施例の特定シーン学習システムにおけるダイジェスト生成装置１３は、コンテンツ制作者が或る試合のハイライト情報を付加したメタデータを用いてハイライトシーンの定義を獲得し、その定義に基づくハイライトシーンのダイジェストをコンテンツ制作者が利用するダイジェスト編集装置１１に提供可能にする。このハイライトシーンの定義は、スポーツのどのような試合状況が盛り上がるシーン（ハイライトシーン）に当たるかを、述語形式を用いて記述したものとすることができる。本実施例のダイジェスト生成装置１３は、この定義を利用して、例えば他の試合のメタデータからも自動的にハイライトシーンを自動抽出することも可能にする。
【００３３】
図１を参照するに、放送局の番組制作者（コンテンツ制作者）は、ダイジェスト編集装置１１を操作して、収録した試合映像（包括的に、イメージ情報とも称する）などを見ながら盛り上がるシーンを抽出して編集し、スポーツニュースなどで利用するダイジェスト映像を制作する。近年、放送局やＷｅｂのポータルサイト向けにスポーツの試合メタデータが流通しており、番組制作者は、任意にイメージ情報及びそのメタデータを入手可能である。
【００３４】
例えば、放送局などの番組制作者は、通常、試合映像に対して、スコアやＳＢＯなどの情報をスーパーインポーズするために、データ配信会社などから試合状況のメタデータの提供を受けることができる。スポーツデータ配信会社や、既知の映像・音響解析システムによって提供されるメタデータ（ｍ）は、表形式やＸＭＬ文書形式で知識ベース（ＫＢ１）１２に蓄積される。ＸＭＬ形式で記述されたメタデータ（ｍ）の一例の試合メタデータの例を図５に示す。このメタデータは、ある試合の一部を記述したものであり、ある打席において、投手がストレートを投げ、打者がそれをヒットにして結果として１点が入ったという状況を示している。本例においては、「投球、打撃、得点」といった一連の流れを「１勝負」という最小シーン単位としている。ハイライトシーンはすべてこの「１勝負」という単位で抽出される。知識メタデータ生成装置（ＫＭＧ）を用いてメタデータにより高度な情報（あるシーンが「サヨナラホームラン」「逆転の打撃」であるといったような高レベル情報）を付加することもできる（例えば、特開２００７−２４９９０７号公報参照）。
【００３５】
即ち、ダイジェスト編集装置１１は、イメージ情報及びそのメタデータを入力して、番組制作者がどのシーンを選んだかという情報を、メタデータに対して「ハイライトシーンとして選ばれた（例えばフラグ値１）／選ばれなかった（例えばフラグ値０）」といったデータを付加して（以下、付加情報付きメタデータとも称する）、知識として蓄えるためのデータベースとして機能する知識ベース（ＫＢ１）１２に蓄積する。
【００３６】
このコンテンツ制作者は、収録された映像群（シーン群）を編集し、盛り上がるシーンを繋ぎ合わせたダイジェスト映像を作成することができる。知識ベース（ＫＢ１）１２に蓄積されているメタデータには映像へのリンクが記述されているのが一般的であり、コンテンツ制作者が特定シーンを編集する際に、ダイジェスト編集装置１１は、このリンク情報を用いて知識ベース（ＫＢ１）１２内のメタデータに対してハイライト情報の識別情報（そのシーンがハイライトシーンとして選ばれたか／選ばれなかったかの付加情報）を追記することができる。
【００３７】
図２を参照するに、知識メタデータ生成装置（ＫＭＧ）１３は、オントロジ情報参照手段１３１及び高レベル情報付加手段１３２を有し、ダイジェスト編集装置１１によって蓄積された付加情報付きメタデータを、操作者の操作によるか、又は自動的に読み出し、次に、オントロジ情報参照手段１３１によって予め定義されたオントロジを参照して、高レベル情報付加手段１３２により付加情報付きメタデータの内容をより詳細に説明する記述を付して、高度化したメタデータ（以下、高度化メタデータと称する）を生成し、知識ベース（ＫＢ１）１２に追加又は更新する。
【００３８】
尚、知識メタデータ生成装置（ＫＭＧ）１３によって知識ベース（ＫＢ１）１２内のメタデータを高度化するか否かは随意選定可能であるが、高度化することによって情報が増えるため、後述する機械学習の性能を向上させることができる。尚、この知識ベース（ＫＢ１）１２に蓄積されるメタデータは、任意にイメージ情報及びそのメタデータを入手可能なＸＭＬ形式で記述されたままのものであることに留意する。
【００３９】
図３を参照するに、定義知識抽出装置１４は、例えばハイライトシーンの知識を抽出するハイライト知識抽出装置（ＨＫＥ）として機能し、述語形式変換手段１４１及び機械学習手段１４２を有する。定義知識抽出装置１４は、知識ベース（ＫＢ１）１２に蓄積された高度化メタデータ（又は、ダイジェスト編集装置１１に用いるメタデータ）を、操作者の操作によるか、又は自動的に読み出し、次に、述語形式変換手段１４１により、このＸＭＬ形式のメタデータを予め規定された既知の帰納論理プログラミング処理系の形式に変換し、機械学習手段１４２により、変換したメタデータを用いて機械学習させ、編集の概念を定義付ける知識データとしての定義知識データ（例えば、ハイライトシーンの概念定義のデータ）を獲得し、この定義知識データを専用の知識ベース（定義知識ベース（ＫＢ２）１５）に蓄積する。このようにして、定義知識抽出装置１４は、例えば、コンテンツ制作者が或る試合のハイライト情報を付加したメタデータを用いて、ハイライトシーンの定義を獲得し、定義知識ベース（ＫＢ２）１５）に蓄積する。
【００４０】
図６に、ハイライト知識抽出装置（ＨＫＥ）として機能する定義知識抽出装置１４によって、知識ベース（ＫＢ１）１２に蓄積されているメタデータを述語形式に変換して生成した述語の例を示す。前述したように、知識ベース（ＫＢ１）１２に蓄積されているメタデータ（例えば、試合メタデータ）は、表形式やＸＭＬ形式で記述されているため、その内容はすべて「主語−述語−目的語」という形式の集まりで記述するように規定することができる（以降、この形式を「トリプル」と称することにする）。トリプル形式は、述語形式に一意に変換することが可能であり、例えば図５に示すＸＭＬ形式の試合メタデータは図６に示す述語形式に変換することができる。この述語形式はＰｒｏｌｏｇのプログラムそのものであり、この形式にメタデータを変換することで、後段の機械学習手段１４２のＩＬＰ処理系による機械学習を可能にする。
【００４１】
ここで、帰納論理プログラミングによるハイライトシーン定義の学習及び蓄積の一例について、更に詳細に説明する。
【００４２】
[帰納論理プログラミングによるハイライトシーン定義の学習]
帰納論理プログラミングによる推論処理のＩＬＰ処理としては、ＰＲＯＧＯＬなどがよく知られている（例えば、古川康一他、「帰納論理プログラミング」、共立出版，２００１年５月発行）。そこで、ハイライト知識抽出装置（ＨＫＥ）として機能する定義知識抽出装置１４は、学習目標概念に関連する知識を帰納論理プログラミングの背景知識として利用することができ、述語形式変換手段１４１によって、このようなＩＬＰ処理系の入力として用いることのできる述語形式を生成することができる。
【００４３】
即ち、機械学習手段１４２に用いるＩＬＰ処理系は、主に、正例、負例、及び背景知識を入力とすることで、正例に共通する概念を学習することが可能である。野球の試合に関する正例、負例、及び背景知識の例を図７に示す。ＩＬＰ処理に入力する正例は「ハイライトシーンとして選ばれたシーン」とし（図７（Ａ））、負例は「ハイライトシーンに選ばれなかったシーン」とし（図７（Ｂ））、背景知識は、前述の各シーンに関連した試合状況を記述したものである（図７（Ｃ））。図１１は、ＸＭＬ形式の試合メタデータを行単位で述語形式に変換した例を示している。前述したように、「正例」「負例」及び「背景知識」に区分するのが、ＩＬＰ処理系１４２の機械学習にとってハイライト情報の識別性能を高める上で好適である。背景知識としては単純な試合状況だけでなく、野球に関連した各種概念を記述したオントロジのようなものも与えることもできる。
【００４４】
ＩＬＰ処理系は、これらの情報を用いて帰納推論を行い、出力として「ハイライトシーンの定義」を述語形式で出力する。ＩＬＰ処理系の出力例を図８に示す。
【００４５】
[ハイライトシーン定義の蓄積]
ＩＬＰ処理系の出力を「ハイライト定義知識」として定義知識ベース（ＫＢ２）１５に蓄積する。蓄積するときの形式は、述語形式そのものでもよいし、ＳＰＡＲＱＬ（ｓｐａｒｑｌ Ｐｒｏｔｏｃｏｌ ａｎｄ ＲＤＦ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）などの知識ベースの問い合わせ言語形式に変換して蓄積してもよい。例えば、述語形式とｓｐａｒｑｌクエリーの対応例を図９に示す。
【００４６】
図４を参照するに、ダイジェスト生成装置（ＤＧ）１６は、定義シーン抽出手段１６１、定義シーン結合手段１６２、及び定義シーン記録再生手段１６３を有する。定義シーン抽出手段１６１は、定義知識ベース（ＫＢ２）１５に蓄積されたハイライト知識からＳＰＡＲＱＬなどの問い合わせ言語を抽出し、知識ベース（ＫＢ１）１２内のメタデータを読み出して当該問い合わせ言語を適用し、定義知識（例えばハイライト定義）に該当するシーン群を抽出し、抽出して得られたシーン群を、「ハイライトシーンの候補」としてコンテンツ制作者が利用するダイジェスト編集装置１７に提供する。定義シーン結合手段１６２は、コンテンツ制作者の操作によるか、又は自動的に定義シーン抽出手段１６１によって抽出したシーン群を結合し、自動的にダイジェスト映像を生成する。定義シーン記録再生手段１６３は、コンテンツ制作者の操作によるか、又は自動的に、定義シーン結合手段１６２によって生成したダイジェスト映像又は対応するメタデータのリストを記録装置１８に記録させるか、又は表示装置１９に再生し表示させるように制御する。
【００４７】
例えば、定義知識ベース（ＫＢ２）１５に蓄積されたハイライト知識の利用例について更に詳細に説明する。
【００４８】
[ハイライト定義知識の利用]
ユーザ（例えば、放送局の番組制作者）は、ダイジェスト生成装置（ＤＧ）１６を利用して、知識ベース（ＫＢ１）１２及び定義知識ベース（ＫＢ２）１５から、任意のスポーツ映像のうちのハイライトシーンを抽出することができる。例えば、ダイジェスト生成装置（ＤＧ）１６は、定義知識ベース（ＫＢ２）１５に蓄積されたハイライト定義からＳＰＡＲＱＬなどの問い合わせ言語を抽出し、この問い合わせ言語を検索キーとして知識ベース（ＫＢ１）１２内のメタ情報を検索し、ハイライト定義に該当するシーン群を抽出することができる。得られたシーン群は、「ハイライトシーンの候補」として、識別情報を付してコンテンツ制作者に提供することで編集支援を行うか、又は得られたシーン群を結合することによって、自動的にダイジェスト映像を生成する。
【００４９】
このように、本実施例の特定シーン学習システムは、ハイライト情報が付加されたメタデータ及び帰納論理プログラミング処理系を用いて、ハイライトシーンの概念定義を自動的に獲得し、定義知識ベース（ＫＢ２）１５に蓄積する。
【００５０】
野球の試合を例に挙げると、試合メタデータには、試合の状況（スコア、ＳＢＯのカウント、進塁状況など）及び起こったイベントの情報が、知覚可能な表形式やＸＭＬ文書形式で記述されており、知識ベース（ＫＢ１）１２に蓄積される。本実施例の特定シーン学習システムは、この情報をＰｒｏｌｏｇプログラムのような述語形式に変換して、帰納論理プログラミング処理系により帰納推論処理を行う。つまり、本実施例の特定シーン学習システムは、ハイライトシーンの各種特徴（試合状況、起こったイベント、イベントに関連した選手の情報）及びハイライトシーンとして選ばれなかったシーンの各種特徴を用いて帰納推論を行い、ハイライトシーンがどのような特徴を持つかといった定義を機械学習で自動的に獲得する。得られた定義は「ハイライト知識」として定義知識ベース（ＫＢ２）１５に蓄積し、制作者はその知識を用いて容易に盛り上がるシーンを検索したり、システムが自動的にダイジェスト映像を制作したりといった機能を実現することができる。
【００５１】
次に、本発明による一実施例のダイジェスト生成装置を用いた特定シーン学習システムを、ダイジェスト映像制作支援システムとして構成した実現例１について説明する。
【００５２】
[実現例１]
図１０に、本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像制作支援システムを示す。本システムは、放送局のようなコンテンツプロバイダーにおいて利用されることを想定している。
【００５３】
放送局などは通常、試合映像に対して、スコアやＳＢＯなどの情報をスーパーインポーズするために、データ配信会社（例えば、スポーツデータ配信会社のメタデータ自動生成システム２０）などから試合状況のメタデータ（ｍ）の提供を受けている。このメタデータ（ｍ）を例えば受信したメタデータを逐次蓄積するメタデータ蓄積装置（ＭＤＳＳ）２１により放送局内の試合知識ベース１２ａ（上述の知識ベース１２に対応する）に蓄積しておく。試合知識ベース１２ａは、スポーツオントロジ１３１ａ（前述したオントロジ情報算出手段１３１に対応する）を備える知識メタデータ生成装置（ＫＭＧ）１３ａにより、より高度なメタデータを付加することも可能である。
【００５４】
番組制作者は、ダイジェスト編集システム（ＤＰＳ）２２（前述したダイジェスト編集装置１１に対応する）を操作して、試合知識ベース１２ａにメタ情報とともに蓄積される収録済みのスポーツの試合映像を見ながら、ハイライトシーンを手作業で検索し、それらをつなぎ合わせて編集し、特定のスポーツニュース用のダイジェスト映像を制作する。試合メタデータには、シーンの時刻情報などが含まれているため、ダイジェスト編集システム（ＤＰＳ）２２は、試合メタデータを試合知識ベース１２ａに蓄積する際に、制作者によって選ばれたシーンと試合メタデータとのリンク情報を利用して、試合メタデータ中にハイライト情報ｈ（そのシーンがハイライトシーンとして選ばれたか／選ばれなかったか）を付加する。ダイジェスト編集システム（ＤＰＳ）２２が知識メタデータ生成装置（ＫＭＧ）１３ａを制御して、より高度なメタデータを付加するようにしてもよい。
【００５５】
ハイライト情報が付加された試合メタデータ（ｍ）は、試合ごと、シーズンごとといった特定のイメージ情報の単位でハイライト知識抽出装置（ＨＫＥ）１４ａ（前述した定義知識抽出装置（ＨＫＥ）１４に対応する）に送られ、そこでＩＬＰ処理系（ＩＬＰＳ）１４２ａ（前述した機械学習手段１４２に対応する）のための「正例」「負例」及び「背景知識」に変換される。ＩＬＰ処理系（ＩＬＰＳ）１４２ａはそれらの情報を用いて帰納推論処理を行い、ハイライトシーンがどのような特徴を持っているかという「ハイライト定義知識」（前述した定義知識データに対応する）をハイライト抽出装置（ＨＫＥ）１４ａに送る。ハイライト抽出装置１４ａは、得られたハイライト定義知識をハイライト知識ベース（ＫＢ２）１５ａに蓄積しておき、制作者がダイジェスト編集システム（ＤＰＳ）２２を操作して自由に利用できる状況にしておく。
【００５６】
このように構築したダイジェスト映像制作支援システムにおいても、制作者は、ハイライト映像を作成するときに、従来のような「試合映像を目で見ながら自分でシーンを選択し、それらを編集で繋げていく」といった技法を用いることもできるが、ダイジェスト生成装置１６ａによって、ダイジェスト編集システム（ＤＰＳ）２２の画面に「ハイライトシーンの候補となる映像群」を自動的に提示させることもできるので、番組制作者は、全ての映像をみることなく、提示されたハイライト候補映像を選択し、繋げていくことでダイジェスト映像を作成することができるようになる。
【００５７】
この実現例によれば、ダイジェスト映像の制作作業を大幅に効率化させることができる。また、上述したように、本システムが抽出したハイライトシーンを自動的に繋ぎ、ダイジェスト映像を生成することも可能である。
【００５８】
次に、本発明による一実施例のダイジェスト生成装置を用いた特定シーン学習システムを、ダイジェスト映像提供システムとして構成した実現例２について説明する。
【００５９】
[実現例２]
図１２に、本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像提供システムを示す。本システムは、ユーザの家庭にある受信機やＰＣなどに内蔵することを想定している。尚、図１０と同様な構成要素には同一の参照番号を付して説明する。
【００６０】
スポーツデータ配信会社のメタデータ自動生成システム２０は、放送波やインターネット回線経由で各家庭の受信機やＰＣに対して試合メタデータ（ｍ）を配信する。メタデータ蓄積装置は受信したメタデータ（ｍ）を、試合知識ベース１２ａにリアルタイムで蓄積する。試合知識ベース１２ａは、知識メタデータ生成装置１３ａにより、より高度なメタデータを与えておくことも可能である。
【００６１】
家庭環境化の本システムのユーザは、受信機やＰＣなどに内蔵された既知の映像視聴システム（ＶＰＳ）２３（前述したダイジェスト編集装置１１に対応する）を操作して、通常のＴＶ番組などを視聴しているとする。既知の映像視聴システムには、ＨＤＤなど映像蓄積システムが内蔵されており、録画したスポーツ番組などを後から視聴することも可能となっている。ユーザが早送り／巻き戻しなどを行いながら録画した番組を視聴する際、ユーザがそのシーンを実時間で視聴した、或いは早送りで飛ばした、といったユーザによる視聴情報は、ハイライト情報ｈとして試合知識ベース（ＫＢ１）１２ａに送られ、試合メタデータを試合知識ベース１２ａに蓄積する際に、試合メタデータ中にハイライト情報（そのシーンがハイライトシーンとして選ばれたか／選ばれなかったか）を付加する。
【００６２】
ハイライト情報ｈが付加された試合メタデータ（ｍ）は、試合ごと、シーズンごとといった特定のイメージ情報の単位でハイライト知識抽出装置（ＨＫＥ）１４ａに送られ、そこでＩＬＰ処理系（ＩＬＰＳ）１４２ａのための「正例」「負例」及び「背景知識」に変換される。ＩＬＰ処理系（ＩＬＰＳ）１４２ａは、それらの情報を用いて帰納推論処理を行い、ハイライトシーンがどのような特徴を持っているかという「ハイライト定義知識」（前述した定義知識データに対応する）をハイライト知識抽出装置（ＨＫＥ）１４ａに送る。ハイライト知識抽出装置（ＨＫＥ）１４ａは、得られたハイライト定義知識をハイライト知識ベース（ＫＢ２）１５ａに蓄積しておき、ユーザが映像視聴システム（ＶＰＳ）２３を操作して（他の装置からも）自由にアクセス可能な状況にする。
【００６３】
ダイジェスト生成装置１６ａは、ハイライト知識ベース１５ａの情報を用いてメタデータ中からハイライトシーンを抽出し、ダイジェスト映像を自動生成する。制作されたダイジェスト映像は映像視聴シーンシステム(ＶＰＳ)２３上で「本日のチームＡ対チームＢのダイジェスト」などを複数の項目選択を可能な態様で表示させるようにすることもでき、ユーザは、随意選択して該当ダイジェスト映像を視聴することが可能となる。
【００６４】
本発明の一態様として、ダイジェスト編集装置１１、知識メタデータ生成装置１３、定義知識抽出装置１４、及びダイジェスト生成装置１６の各々をコンピュータとして構成することができ、前述した各手段および機能を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部（図示せず）に記憶される。このような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。プログラムを実行する制御部は、中央演算処理装置（ＣＰＵ）などで実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、コンピュータ上で各装置を実現することができる。ここで、いずれかの手段の機能をハードウェアの全部又は一部で実現しても良い。
【００６５】
上述した実施例において、各構成要素の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくこともできる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。
【００６６】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ‐ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶領域に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【００６７】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、各コンピュータの記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。尚、本態様におけるプログラムには、電子計算機の処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないが、コンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６８】
上述の実施例についてはハイライトシーンを代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、制作者が明確な意思に基づいて、特定の選手のダイジェスト生成を所望することも考えられ、ハイライトシーンを特定の選手のシーンに置き換えて本発明を適用することができる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
【産業上の利用可能性】
【００６９】
本発明のダイジェスト生成装置を用いた特定シーン学習システムによれば、提供されたメタ情報から自動的にダイジェスト生成に必要な情報を抽出することができるため、ダイジェスト生成を所望する用途に有用である。
【図面の簡単な説明】
【００７０】
【図１】本発明による一実施例の特定シーン学習システムにおけるダイジェスト編集装置の本発明に係る一部の機能ブロック図である。
【図２】本発明による一実施例の特定シーン学習システムにおける知識メタデータ生成装置１３の機能ブロック図である。
【図３】本発明による一実施例の特定シーン学習システムにおける定義知識抽出装置の機能ブロック図である。
【図４】本発明による一実施例の特定シーン学習システムにおけるダイジェスト生成装置の機能ブロック図である。
【図５】ＸＭＬ形式の試合メタデータの一例を示す図である。
【図６】図５に示すＸＭＬ形式の試合メタデータを述語形式に変換した一例を示す図である。
【図７】本発明による一実施例の特定シーン学習システムにおけるＩＬＰ処理系の入力情報としての正例、負例、及び背景知識の例を示す図である。
【図８】本発明による一実施例の特定シーン学習システムにおけるＩＬＰ処理系の出力例を示す図である。
【図９】本発明による一実施例の特定シーン学習システムにおける定義知識の述語形式とｓｐａｒｑｌクエリーの対応例を示す図である。
【図１０】本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像制作支援システムを示す図である。
【図１１】ＸＭＬ形式の試合メタデータを述語形式に変換した一例を示す図である。
【図１２】本発明による一実現例のダイジェスト生成装置を用いたダイジェスト映像提供システムを示す図である。
【符号の説明】
【００７１】
１１ ダイジェスト編集装置
１２ 知識ベース（ＫＢ１）
１３ 知識メタデータ生成装置（ＫＭＧ）
１４ 定義知識抽出装置
１５ 定義知識ベース（ＫＢ２）
１６ ダイジェスト生成装置（ＤＧ）
２０ メタデータ自動生成システム
２１ メタデータ蓄積装置（ＭＤＳＳ）
２２ ダイジェスト編集システム（ＤＰＳ）
２３ 映像視聴システム（ＶＰＳ）
１３１ オントロジ情報参照手段
１３２ 高レベル情報付加手段
１４１ 述語形式変換手段
１４２ 機械学習手段
１６１ 定義シーン抽出手段
１６２ 定義シーン結合手段
１６３ 定義シーン記録再生手段
１２ａ 試合知識ベース
１３ａ 知識メタデータ生成装置（ＫＭＧ）
１４ａ ハイライト知識抽出装置（ＨＫＥ）
１５ａ ハイライト知識ベース（ＫＢ２）
１６ａ ダイジェスト生成装置
１３１ａ スポーツオントロジ
１４２ａ ＩＬＰ処理系（ＩＬＰＳ）
【特許請求の範囲】
【請求項１】
所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行う手段と、前記特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して第１の知識ベースに蓄積する手段とを有するダイジェスト編集装置と、
前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積する手段とを有する定義知識抽出装置と、
任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出する手段を有するダイジェスト生成装置と、
を備えることを特徴とする、特定シーン学習システム。
【請求項２】
前記第１の知識ベースに蓄積されたメタ情報に、特定シーンとして編集されるべく予め規定されたオントロジを参照して、前記特定シーンとして編集されたメタデータに当該オントロジに基づく記述を付して高度化し、高度化したメタ情報を前記特定シーンとして編集されたメタ情報の代わりに蓄積する手段を有する知識メタデータ生成装置を更に備えることを特徴とする、請求項１に記載の特定シーン学習システム。
【請求項３】
前記定義知識抽出装置は、メタデータを帰納論理プログラミング処理で用いることのできる述語形式に変換し、
前記ダイジェスト生成装置は、前記知識定義のデータを、述語形式そのものか、又はＳＰＡＲＱＬ（ｓｐａｒｑｌ Ｐｒｏｔｏｃｏｌ ａｎｄ ＲＤＦ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）の知識ベースの問い合わせ言語形式に変換したデータで生成することを特徴とする、請求項１又は２に記載の特定シーン学習システム。
【請求項４】
前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を、前記ダイジェスト編集装置に送出する手段を有することを特徴とする、請求項１〜３のいずれか一項に記載の特定シーン学習システム。
【請求項５】
前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を結合し、ダイジェスト映像を生成する手段を有することを特徴とする、請求項１〜４のいずれか一項に記載の特定シーン学習システム。
【請求項６】
前記知識メタデータ生成装置は、前記生成したダイジェスト映像又は対応するメタデータのリストを記録装置に記録させるか、又は表示装置に表示する手段を更に有することを特徴とする、請求項５に記載の特定シーン学習システム。
【請求項７】
請求項１に記載のダイジェスト編集装置として構成するコンピュータに、
所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行うステップと、
前記ステップによって特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して前記第１の知識ベースに蓄積するステップとを実行させるためのプログラム。
【請求項８】
請求項１に記載の定義知識抽出装置として構成するコンピュータに、
前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積するステップを実行させるためのプログラム。
【請求項９】
請求項１に記載のダイジェスト生成装置として構成するコンピュータに、
任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出するステップを実行させるためのプログラム。
【請求項１】
所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行う手段と、前記特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して第１の知識ベースに蓄積する手段とを有するダイジェスト編集装置と、
前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積する手段とを有する定義知識抽出装置と、
任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出する手段を有するダイジェスト生成装置と、
を備えることを特徴とする、特定シーン学習システム。
【請求項２】
前記第１の知識ベースに蓄積されたメタ情報に、特定シーンとして編集されるべく予め規定されたオントロジを参照して、前記特定シーンとして編集されたメタデータに当該オントロジに基づく記述を付して高度化し、高度化したメタ情報を前記特定シーンとして編集されたメタ情報の代わりに蓄積する手段を有する知識メタデータ生成装置を更に備えることを特徴とする、請求項１に記載の特定シーン学習システム。
【請求項３】
前記定義知識抽出装置は、メタデータを帰納論理プログラミング処理で用いることのできる述語形式に変換し、
前記ダイジェスト生成装置は、前記知識定義のデータを、述語形式そのものか、又はＳＰＡＲＱＬ（ｓｐａｒｑｌ Ｐｒｏｔｏｃｏｌ ａｎｄ ＲＤＦ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）の知識ベースの問い合わせ言語形式に変換したデータで生成することを特徴とする、請求項１又は２に記載の特定シーン学習システム。
【請求項４】
前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を、前記ダイジェスト編集装置に送出する手段を有することを特徴とする、請求項１〜３のいずれか一項に記載の特定シーン学習システム。
【請求項５】
前記知識メタデータ生成装置は、前記検索キーによって抽出した該当するメタ情報に対応するシーン群を結合し、ダイジェスト映像を生成する手段を有することを特徴とする、請求項１〜４のいずれか一項に記載の特定シーン学習システム。
【請求項６】
前記知識メタデータ生成装置は、前記生成したダイジェスト映像又は対応するメタデータのリストを記録装置に記録させるか、又は表示装置に表示する手段を更に有することを特徴とする、請求項５に記載の特定シーン学習システム。
【請求項７】
請求項１に記載のダイジェスト編集装置として構成するコンピュータに、
所定のイメージ情報に関連付けられたメタ情報を外部から受信し、特定シーンのダイジェスト編集を行うステップと、
前記ステップによって特定シーンの編集に用いられたメタ情報に、特定シーンとして編集されたか否かを識別可能な付加情報を付して前記第１の知識ベースに蓄積するステップとを実行させるためのプログラム。
【請求項８】
請求項１に記載の定義知識抽出装置として構成するコンピュータに、
前記第１の知識ベースに蓄積された付加情報付きのメタ情報を述語形式に変換する手段と、述語形式に変換した情報を機械学習させて、特定シーンとして編集されるべき知識定義のデータを抽出し、第２の知識ベースに蓄積するステップを実行させるためのプログラム。
【請求項９】
請求項１に記載のダイジェスト生成装置として構成するコンピュータに、
任意のイメージ情報のダイジェスト編集のために、前記第２の知識ベースに蓄積された知識定義のデータを検索キーとして、前記第１の知識ベースに蓄積されたメタ情報の中から前記検索キーに該当するメタ情報を抽出するステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２６９８１（Ｐ２０１０−２６９８１Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１９０８４９（Ｐ２００８−１９０８４９）
【出願日】平成２０年７月２４日（２００８．７．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月２４日（２００８．７．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]