ビデオソースデータと同期したオーディオトリガーマーカを生成するマルチメディアシステム及び関係する方法
マルチメディアシステム（130）は、少なくとも１人のコメンテータ（132）がビデオソースからのビデオデータの視聴に基づいてオーディオコメントデータを生成することを可能にするように構成された少なくとも１つのオーディオコメント入力装置（141）を含んでもよい。更に、メディアプロセッサ（134）は、少なくとも１つのオーディオコメント入力装置（141）と協調動作し、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカをこれらから生成し、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合するように構成されてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディアシステムの分野に関し、特にビデオ、オーディオ及び他の関連するデータを処理するマルチメディアシステム及び方法に関する。
【背景技術】
【０００２】
アナログからデジタルへのメディアシステムの移行は、例えば、以前には異種のメディアタイプの結合（例えば、ビデオとチャットテキストとの結合等）を可能にしている。ビデオとテキストチャットとを結合する１つの例示的なシステムは、DeWeese他による米国特許出願公開第2005/0262542号に示されている。この参考文献は、テレビ視聴者がテレビを視聴しつつ、他のテレビ視聴者とのチャットグループのリアルタイム通信に関与することを可能にするテレビチャットシステムを開示している。テレビチャットシステムのユーザは、現在同じテレビ番組又はチャンネルを視聴している他のユーザとのリアルタイム通信に関与し得る。
【０００３】
更に、デジタルメディアフォーマットの使用は、大量のマルチメディアデータを生成及び格納する機能を拡張している。更に、増加する量のマルチメディアデータにより、データの処理において大きい課題が生じる。ビデオ処理を拡張するために様々な手法が開発されている。１つのこのような手法は、Fascianoによる米国特許第6,336,093号に示されている。ビデオ番組に関連するオーディオ（オーディオトラック又は生のコメント若しくは記録されたコメント等）は、１つ以上の所定の音のパターン（言葉又は音響効果等）を認識又は検出するために分析され得る。認識又は検出された音のパターンは、編集中のビデオキャプチャ及び／又は配信を制御することによりビデオ処理を拡張するために使用されてもよく、編集中のクリップ又はスプライス点の選択を容易にするために使用されてもよい。
【０００４】
McKoen他による米国特許出願公開第2008/0281592号は、音声認識技術を使用して生成されたメタデータでビデオコンテンツに注釈を付ける方法及び装置を開示している。この方法は、表示装置でビデオコンテンツを処理することで始まる。音声セグメントが現在処理されているビデオコンテンツの一部に注釈を付けるために、音声のセグメントがユーザから受信される。音声セグメントは、テキストセグメントに変換され、テキストセグメントは、ビデオコンテンツの処理された部分に関連付けられる。テキストセグメントは、ビデオコンテンツの処理された部分に関連付けられるように、選択的に取得可能な方法で格納される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなシステムにより提供される利点にもかかわらず、ユーザにとって有用な方法でマルチメディアデータを管理及び格納するための更なる改善が望まれる。
【０００６】
従って、前記の背景技術を鑑みて、マルチメディアデータ処理のためのシステム及び関係する方法を提供することが、本発明の目的である。
【課題を解決するための手段】
【０００７】
前記及び他の目的、特徴及び利点は、少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴に基づいてオーディオコメントデータを生成することを可能にするように構成された少なくとも１つのオーディオコメント入力装置を含んでもよいマルチメディアシステムにより提供される。更に、メディアプロセッサは、少なくとも１つのオーディオコメント入力装置と協調動作し、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカ（audio trigger marker）をこれらから生成するように構成されてもよい。メディアプロセッサは、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合するように更に構成されてもよい。従って、このシステムは、共有テキストコメントデータの容易に検索可能なアーカイブを提供する。有利には、共有テキストコメントデータは、ビデオソースデータと時間で相互に関連付けられる。
【０００８】
より具体的には、少なくとも１つのオーディオコメント入力装置は、複数のオーディオコメント入力装置を有してもよく、メディアプロセッサは、例えば、異なるオーディオコメント入力装置等からの設定時間内の所定のオーディオトリガーの複数の発生に基づいてオーディオトリガーマーカを生成するように更に構成されてもよい。メディアサーバは、オーディオトリガーマーカの発生に関連するメディアデータストリームの部分を格納するように更に構成されてもよい。
【０００９】
一例として、メディアプロセッサは、ビデオデータフィードとオーディオデータフィードとオーディオトリガーマーカとを多重により結合し、メディアデータストリームを生成してもよい。更に、例えば、メディアデータストリームは、MPEG（Moving Pictures Experts Group）トランスポートストリームを有してもよい。更に、メディアプロセッサは、オーディオコメントデータの所定のオーディオトリガーの発生に基づいて通知を生成するように更に構成されてもよい。
【００１０】
マルチメディアシステムは、複数のコメンテータがビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成された複数のテキストコメント入力装置を更に含んでもよい。更に、メディアプロセッサは、ビデオソースデータと共有テキストコメントデータとを処理し、ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを有するデータベースをこれらから生成するように更に構成されてもよい。更に、データベースは、ビデオソースデータの対応する部分を見つけるためにテキストキーワードにより検索可能でもよい。メディアプロセッサは、例えば、協調動作するメモリ及びプロセッサを含んでもよいメディアサーバを有してもよい。
【００１１】
関係するマルチメディアデータ処理方法は、少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴についてコメントすることを可能にするように構成された少なくとも１つのオーディオコメント入力装置を使用して、オーディオコメントデータを生成することを含んでもよい。この方法は、メディアプロセッサを使用して、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカをこれらから生成することを更に含んでもよい。更に、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとは、メディアプロセッサを使用してメディアデータストリームに結合されてもよい。
【００１２】
関係する物理的コンピュータ可読媒体は、メディアプロセッサに対して、メディアプロセッサを使用してビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカをこれらから生成することを含むステップを実行させるコンピュータ実行可能命令を有してもよい。更なるステップは、前述のように、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合することを含んでもよい。
【図面の簡単な説明】
【００１３】
【図１】本発明による例示的なマルチメディアシステムの概略ブロック図
【図２】図１のシステムの代替実施例の概略ブロック図
【図３】図２のメディアサーバの例示的な実施例を詳細に示す概略ブロック図
【図４】図１のシステムに関連する方法の態様を示すフローチャート
【図５】図２のシステムに関連する方法の態様を示すフローチャート
【図６】本発明による他の例示的なマルチメディアシステムの概略ブロック図
【図７】図６のシステムの代替実施例の概略ブロック図
【図８】図６のシステムに関連する方法の態様を示すフローチャート
【図９】図７のシステムに関連する方法の態様を示すフローチャート
【発明を実施するための形態】
【００１４】
本発明について、添付図面を参照して以下に詳細に説明する。添付図面には、本発明の好ましい実施例が示されている。しかし、本発明は、多くの異なる形式に具現されてもよく、ここに示す実施例に限定されるものとして解釈されるべきではない。むしろ、これらの実施例は、この開示が完全且つ包括的であるように提供されており、本発明の範囲を十分に当業者に伝えるものである。全体に渡って同様の番号は同様の要素を示し、代替実施例で同様の要素を示すためにプライム表記法が使用される。
【００１５】
当業者により分かるように、本発明の部分は、方法、データ処理システム又はコンピュータプログラムプロダクトとして具現されてもよい。従って、本発明のこれらの部分は、完全にハードウェアの実施例、物理的コンピュータ可読媒体上の完全にソフトウェアの実施例、又はソフトウェア及びハードウェアの態様を組み合わせた実施例の形式になってもよい。更に、本発明の部分は、媒体上にコンピュータ可読プログラムコードを有するコンピュータ使用可能記憶媒体上のコンピュータプログラムプロダクトでもよい。スタティック及びダイナミック記憶装置、ハードディスク、光記憶装置及び磁気記憶装置を含むが、これらに限定されない如何なる適切なコンピュータ可読媒体が利用されてもよい。
【００１６】
本発明について、本発明の実施例による方法、システム及びコンピュータプログラムプロダクトのフローチャートの例示を参照して以下に説明する。例示のブロック及び例示のブロックの組み合わせは、コンピュータプログラム命令により実現されてもよいことが分かる。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ又は他のプログラム可能データ処理装置のプロセッサに提供され、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行したときに、命令がブロックに指定された機能を実現するように機械を生成してもよい。
【００１７】
これらのコンピュータプログラム命令はまた、コンピュータ可読メモリに格納された命令がフローチャートのブロックで指定された機能を実現する命令を含む製造物を生じるように、コンピュータ又は他のプログラム可能データ処理装置が特定の方法で機能するように指示し得るコンピュータ可読メモリに格納されてもよい。コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能データ処理装置にロードされ、コンピュータ又は他のプログラム可能装置で実行する命令がフローチャートのブロックで指定された機能を実現するステップを提供するように、一連の動作ステップをコンピュータ又は他のプログラム可能装置で実行させ、コンピュータ実現処理を生成させてもよい。
【００１８】
まず図１〜５を参照して、マルチメディアシステム30及び関連する方法の態様について最初に説明する。特に、システム30は、例示的に、ブロック50-51において、複数のコメンテータ（commentator）32a-32nがビデオソースからのビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成された複数のテキストコメント入力装置31a-31nを含む。一例として、テキストコメント入力装置31a-31nは、デスクトップ又はラップトップコンピュータ等でもよく、コメンテータ32a-32nは、それぞれのディスプレイ33a-33nでビデオデータを視聴してもよい。しかし、当業者に分かるように、他の適切な構成も使用されてもよい。ここで使用される“ビデオデータ”は、当業者に分かるように、フルモーションのビデオと動画像（motion imagery）とを含むことを意図する。
【００１９】
システム30は、例示的に、テキストコメント入力装置31a-31nと協調動作し、ブロック52において、ビデオソースデータと共有テキストコメントデータとを処理し、ビデオソースデータの対応する部分を見つけるためにデータベースがテキストキーワードにより検索可能であるように、ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを含むデータベース35をこれらから生成するように有利に構成されたメディアプロセッサ34を更に含む。例えば、ブロック53において、メディアプロセッサ34は、ビデオソースデータと共有テキストコメントデータとを、MPEG（Moving Pictures Experts Group）（例えば、MPEG2）トランスポートストリームのようなメディアデータストリームに結合するように更に構成されてもよい。これにより、図４に示す方法が終了する（ブロック54）。
【００２０】
図２に示す実施例では、テキストコメント入力装置31a’及び31n’は、異なるそれぞれのテキストコメントフォーマット（ここでは、２つの異なるチャットテキストフォーマット）でテキストデータを生成するように構成される。より具体的には、当業者に分かるように、テキストコメント入力装置31a’は、インターネットリレーチャット（IRC：Internet Relay Chat）フォーマットに従ってチャットテキストデータを生成し、テキストコメント入力装置31n’は、AC（Adobe Acrobat（登録商標） Connect）フォーマットに従ってチャットテキストを生成する。しかし、これらの例示的なフォーマット以外の他の適切なテキストフォーマットも使用されてもよいことが分かる。
【００２１】
従って、メディアプロセッサ34’は、例示的に、メディアプロセッサ34’により使用するために、異なるテキストコメントフォーマットを共通のテキストコメントフォーマットに適合させるテキスト取り込みモジュール36’を更に含んでもよい。より具体的には、テキスト取り込みモジュール36は、異なるテキストコメントフォーマット（IRC、AC等）毎にそれぞれのアダプタ37a’-37n’を含んでもよい。従って、テキスト取り込みモジュール36’は、有利には、様々な異なるシステムからチャットデータのようなテキスト入力データを抽出し、様々なフォーマットを、メディアサーバ38’により使用される適切な共通のフォーマットに変換又は適合させてもよい。メディアサーバ38’は、前述の動作を実行する。図３に示す例では、メディアサーバは、例示的に、協調動作してこれらの動作を実行するメモリ40’及びプロセッサ39’を含む。
【００２２】
或る実施例では、ブロック55’-56’（図５）において、メディアサーバ38’は、共有テキストコメントデータの所定のテキストトリガーのためのテキストトリガーマーカ（text trigger marker）を共有テキストコメントデータから生成するように更に構成されてもよい。例えば、設定時間内における共有テキストコメントデータの１つ以上のテキストトリガー（所定のキーワード又は語句等）の発生時に、ビデオソースデータと同期したテキストトリガーマーカが生成される（例えば、発生時にビデオデータのタイムスタンプでマークが付けられる）。或る実施例では、テキストトリガーマーカはまた、データベース35に格納されてもよい。必要に応じて、所定のテキストトリガーの発生を適切な管理者又は他の作業員に警告するために、所定のテキストトリガーの発生に基づいて通知（例えば、電子メール通知、ポップアップウィンドウ等）も同様に生成されてもよい。
【００２３】
例えば、メディアプロセッサ34は、MPEG2、MPEG4、H264、JPEG2000等のようなフォーマットを使用してメディア取り出しを実行してもよい。更に、アーカイブ、検索及び取得／エクスポートのような機能が、MPEGトランスポート又はプログラムストリーム、MXF（Material eXchange Format）、AAF（Advanced Authoring Format）、JPIP（JPEG 2000 Interactive Protocol）等を使用して実行されてもよい。当業者に分かるように、他の適切なフォーマットが使用されてもよい。当業者に分かるように、データベース35は、様々な商用データベースシステムを使用して実現されてもよい。
【００２４】
従って、システム30は、有利には１人以上のコメンテータがビデオデータを視聴してコメントする用途に使用されてもよい。ビデオデータと時間で相互に関連付けられたテキストデータの容易に検索可能なアーカイブを提供する必要がある。このことは、有利には、ユーザが潜在的に大量のビデオのアーカイブの関係する部分を迅速に見つけることを可能にし、重要でないビデオ及びテキストの長い部分又は期間を検索又は視聴することを回避する。システムは、テレビショー又は映画の視聴、インテリジェンス分析（intelligence analysis）等のような様々なビデオアプリケーションに使用されてもよい。更に、システム30は、有利にはデータベース35’に格納されたテキストから概略レポートを生成するために使用されてもよい。例えば、テレビ又は映画の視聴に関して、ユーザは、映画を視聴しながら、好き嫌いについてチャットしてもよい。どのくらいの数の所定の“好き”又は“嫌い”の用語がビデオ、俳優等の特定の場面又は部分に関して使用されたかの概略レポートは、メディアプロセッサ34’又は他のコンピュータ装置により、データベース35’にアクセスすることで生成されてもよい。
【００２５】
関係する物理的コンピュータ可読媒体は、メディアプロセッサ34に対して、ビデオソースデータと共有テキストコメントデータとを処理し、ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを有するデータベース35をこれらから生成することを含むステップを実行させるコンピュータ実行可能命令を有してもよい。データベースは、ビデオソースデータの対応する部分を見つけるためにテキストキーワードにより検索可能でもよい。更なるステップは、ビデオソースデータと共有テキストコメントデータとをメディアデータストリームに結合することを含んでもよい。
【００２６】
更に図６〜９を参照して、関係するマルチメディアシステム130について説明する。背景技術として、前述のビデオの生成及びアーカイブを容易にすることにもかかわらず、不要な“おしゃべり（chatter）”をマルチメディアファイルに追加することなく、ビデオ分析者又はコメンテータからのオーディオ注釈又はオーディオトリガーを追加する効率的な機構がしばしば存在しない。例えば、インテリジェンス分析者は、何時間ものビデオデータのストリームを続けて視聴し、ビデオストリームで見ているものについてコメントする。多くのコメントは特に関係ないもの又は関心のないものである可能性があるが、コメンテータ又は分析者が関心のある項目を識別するときに、これらのインスタンスは他人により見直される必要がある可能性がある。しかし、多くの時間のアーカイブされたオーディオ／ビデオデータ内でこれらの特定の関心のあるものを見つけることは、時間がかかり面倒になり得る。
【００２７】
特定のキーワードの音声データを監視できる音声認識システムが現在使用されている。他方、例えば、オーディオ及びタグ語句をメディアストリーム（MPEG2トランスポートストリーム等）に多重するために、いくつかのメディア処理システムが使用されてもよい。しかし、システム130は、有利には、発生したときに（すなわち、リアルタイムで）特定のキーワード又はトリガーについてビデオ分析者からの音声の監視し、トリガーマーカを記録し、ビデオ及びオーディオから別々のままにしつつ（すなわち、ビデオ又はデータフィードに上書きせずに）、トリガーマーカをメディアコンテナ（MPEG2トランスポートストリーム等）に結合又は多重することを可能にする。
【００２８】
より具体的には、マルチメディアシステムは、例示的に、ブロック150-151において、コメンテータ132がビデオソースからのビデオデータの視聴に基づいてオーディオコメントデータを生成することを可能にするように構成された１つ以上のオーディオコメント入力装置141（例えば、マイクロフォン）を含む。更に、メディアプロセッサ134は、オーディオコメント入力装置141と協調動作し、ブロック152において、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカ（audio trigger marker）をこれらから生成するように構成されてもよい。メディアプロセッサ134は、ブロック153において、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合（例えば、多重）するように更に構成されてもよい。これにより、図８に示す方法が終了する（ブロック154）。一例として、メディアプロセッサ134’は、例えば、MPEG2トランスポートストリームへの多重のように、ビデオデータフィードとオーディオデータフィードとオーディオトリガーマーカとを多重により結合し、メディアデータストリームを生成してもよい。しかし、他の適切なフォーマットが使用されてもよい。
【００２９】
図７に示す例示的な実施例では、複数のオーディオコメント入力装置141a’-141n’がそれぞれのコメンテータ132a’-132n’により使用され、メディアプロセッサ134’は、ブロック155’、152’において、例えば、同じオーディオコメント入力装置又は異なるオーディオコメント入力装置からの設定時間内の所定のオーディオトリガーの複数の発生に基づいてオーディオトリガーマーカを生成するように更に構成されてもよい。このことは、例えば、特定の項目がビデオフィードに見つかったこと又はビデオデータに存在することを第２の分析者又はコメンテータが確認した場合等のように、所望のイベント等の真の発生の信頼度レートを有利に増加させてもよい。
【００３０】
メディアプロセッサ134’は、オーディオトリガーマーカの発生に関連するメディアデータストリームの部分を格納するように更に構成されてもよい。１つの例示的な用途によれば、オーディオトリガーマーカは、特定のトリガーに関係するビデオデータフィードの部分のみを記録して印を付けるために、ビデオ記録システムの一部として使用されてもよい。例えば、システムは、テレビ番組がタイトル、要約等とは対照的にオーディオコンテンツ（例えば、オーディオキーワード又は語句）に基づいて記録されるデジタルビデオレコーダに実現されてもよい。例えば、ユーザは、お気に入りの有名人についてのコメント、現在のイベント等と共に、最近のニュースクリップを記録したいと思うことがある。ユーザは、人の名前又は関心のあるイベントを所定のオーディオトリガーとして追加してもよい。メディアプロセッサ134’は、有利には１つ以上のテレビチャンネルを監視し、トリガーが聞こえると、ユーザは任意選択でテレビのポップアップウィンドウ等を通じて通知されてもよい。例えば、電子メール又はSMSメッセージのような他の通知も使用されてもよい。システム130’はまた、有利には番組の記録を開始し、オーディオトリガーマーカをビデオデータに多重する。その後、ユーザは、トリガーについて記録又はアーカイブされたマルチメディア番組を検索し、所定のオーディオトリガーが発生した場合にビデオフィードの正確な位置への手がかりとしてもよい。
【００３１】
一例として、メディアプロセッサ134は、所定のオーディオトリガーの発生時に記録を開始し、番組の予定された終了時間まで記録してもよい。或いは、メディアプロセッサ134は、数分、30分等のような設定された期間の間に記録してもよい。デジタルビデオレコーダが最近視聴された番組データをデータバッファに保持する或る実施例では、当業者に分かるように、メディアプロセッサ134は、有利には記録を辿って（reach back）、ユーザのためにその最初から全体の番組を格納してもよい。
【００３２】
更に、或る実施例では、メディアプロセッサ134’は、有利には、ブロック157’において、前述のように、オーディオコメントデータの所定のオーディオトリガーの発生に基づいて通知を生成するように構成されてもよい。この場合にも同様に、当業者に分かるように、このような発生は、１人以上のユーザ又は管理者のディスプレイ上のポップアップウィンドウ、電子メール又はSMS通知、自動電話メッセージ等を含んでもよい。所定のオーディオトリガーが見つからないビデオ／オーディオデータの部分では、当業者に分かるように、ブロック158’において、ビデオソースデータ及びオーディオコメントデータは、依然としてオーディオトリガーマーカなしにメディアデータストリームに結合されてもよい。これは、前述のシステム30’にも当てはまる。すなわち、利用可能な共有テキストコメントデータが存在しない場合であっても、ビデオソースデータは、依然としてメディアトランスポートストリームにおいて（存在する場合には）オーディオデータと結合されてもよい。
【００３３】
この点について、或る実施例では、システム30及び130の部分は、一緒に実現又は結合されてもよい。例えば、システム130’に複数のテキストコメント入力装置131a’-131n’が含まれ、前述のようにコメンテータ132a’-132n’がビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成される。すなわち、メディアプロセッサ134’は、有利には所定のオーディオトリガーの発生に基づくオーディオトリガーマーカに加えて、ビデオソースデータと時間でインデックス付された共有テキストコメントデータの前述のデータベースを生成してもよい。ここでも同様に、メディアプロセッサは、前述の機能を実行するように協調動作するメモリ140’及びプロセッサ139’を含むメディアサーバとして実現されてもよい。
【００３４】
従って、前述のシステム及び方法は、不要なおしゃべりを追加することなく、ビデオデータに付随するリアルタイムの貴重な情報を自動的に追加する機能を提供する。イベントマーカを備えたストリームは、オペレータ又はユーザが全体のアーカイブ又は格納されたビデオを視聴する必要なく、重要なイベントを迅速に識別するのに貴重になり得る。更に、この手法は、有利には貴重なオーディオ注釈を生のビデオ又はアーカイブされたビデオに結合又は追加するための効率的な方法を提供する。これは、ビデオが再生されたときに、ビデオのユーザがポップアップウィンドウ又はトリガーの他の通知を見ること、及び全体のビデオを視聴するのではなく、オーディオトリガーの点を検索して手がかりにすることを可能にする。
【００３５】
関係する物理的コンピュータ可読媒体は、メディアプロセッサ34に対して、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカをこれらから生成することを含むステップを実行させるコンピュータ実行可能命令を有してもよい。更なるステップは、前述のように、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合することを含んでもよい。
【技術分野】
【０００１】
本発明は、メディアシステムの分野に関し、特にビデオ、オーディオ及び他の関連するデータを処理するマルチメディアシステム及び方法に関する。
【背景技術】
【０００２】
アナログからデジタルへのメディアシステムの移行は、例えば、以前には異種のメディアタイプの結合（例えば、ビデオとチャットテキストとの結合等）を可能にしている。ビデオとテキストチャットとを結合する１つの例示的なシステムは、DeWeese他による米国特許出願公開第2005/0262542号に示されている。この参考文献は、テレビ視聴者がテレビを視聴しつつ、他のテレビ視聴者とのチャットグループのリアルタイム通信に関与することを可能にするテレビチャットシステムを開示している。テレビチャットシステムのユーザは、現在同じテレビ番組又はチャンネルを視聴している他のユーザとのリアルタイム通信に関与し得る。
【０００３】
更に、デジタルメディアフォーマットの使用は、大量のマルチメディアデータを生成及び格納する機能を拡張している。更に、増加する量のマルチメディアデータにより、データの処理において大きい課題が生じる。ビデオ処理を拡張するために様々な手法が開発されている。１つのこのような手法は、Fascianoによる米国特許第6,336,093号に示されている。ビデオ番組に関連するオーディオ（オーディオトラック又は生のコメント若しくは記録されたコメント等）は、１つ以上の所定の音のパターン（言葉又は音響効果等）を認識又は検出するために分析され得る。認識又は検出された音のパターンは、編集中のビデオキャプチャ及び／又は配信を制御することによりビデオ処理を拡張するために使用されてもよく、編集中のクリップ又はスプライス点の選択を容易にするために使用されてもよい。
【０００４】
McKoen他による米国特許出願公開第2008/0281592号は、音声認識技術を使用して生成されたメタデータでビデオコンテンツに注釈を付ける方法及び装置を開示している。この方法は、表示装置でビデオコンテンツを処理することで始まる。音声セグメントが現在処理されているビデオコンテンツの一部に注釈を付けるために、音声のセグメントがユーザから受信される。音声セグメントは、テキストセグメントに変換され、テキストセグメントは、ビデオコンテンツの処理された部分に関連付けられる。テキストセグメントは、ビデオコンテンツの処理された部分に関連付けられるように、選択的に取得可能な方法で格納される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなシステムにより提供される利点にもかかわらず、ユーザにとって有用な方法でマルチメディアデータを管理及び格納するための更なる改善が望まれる。
【０００６】
従って、前記の背景技術を鑑みて、マルチメディアデータ処理のためのシステム及び関係する方法を提供することが、本発明の目的である。
【課題を解決するための手段】
【０００７】
前記及び他の目的、特徴及び利点は、少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴に基づいてオーディオコメントデータを生成することを可能にするように構成された少なくとも１つのオーディオコメント入力装置を含んでもよいマルチメディアシステムにより提供される。更に、メディアプロセッサは、少なくとも１つのオーディオコメント入力装置と協調動作し、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカ（audio trigger marker）をこれらから生成するように構成されてもよい。メディアプロセッサは、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合するように更に構成されてもよい。従って、このシステムは、共有テキストコメントデータの容易に検索可能なアーカイブを提供する。有利には、共有テキストコメントデータは、ビデオソースデータと時間で相互に関連付けられる。
【０００８】
より具体的には、少なくとも１つのオーディオコメント入力装置は、複数のオーディオコメント入力装置を有してもよく、メディアプロセッサは、例えば、異なるオーディオコメント入力装置等からの設定時間内の所定のオーディオトリガーの複数の発生に基づいてオーディオトリガーマーカを生成するように更に構成されてもよい。メディアサーバは、オーディオトリガーマーカの発生に関連するメディアデータストリームの部分を格納するように更に構成されてもよい。
【０００９】
一例として、メディアプロセッサは、ビデオデータフィードとオーディオデータフィードとオーディオトリガーマーカとを多重により結合し、メディアデータストリームを生成してもよい。更に、例えば、メディアデータストリームは、MPEG（Moving Pictures Experts Group）トランスポートストリームを有してもよい。更に、メディアプロセッサは、オーディオコメントデータの所定のオーディオトリガーの発生に基づいて通知を生成するように更に構成されてもよい。
【００１０】
マルチメディアシステムは、複数のコメンテータがビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成された複数のテキストコメント入力装置を更に含んでもよい。更に、メディアプロセッサは、ビデオソースデータと共有テキストコメントデータとを処理し、ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを有するデータベースをこれらから生成するように更に構成されてもよい。更に、データベースは、ビデオソースデータの対応する部分を見つけるためにテキストキーワードにより検索可能でもよい。メディアプロセッサは、例えば、協調動作するメモリ及びプロセッサを含んでもよいメディアサーバを有してもよい。
【００１１】
関係するマルチメディアデータ処理方法は、少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴についてコメントすることを可能にするように構成された少なくとも１つのオーディオコメント入力装置を使用して、オーディオコメントデータを生成することを含んでもよい。この方法は、メディアプロセッサを使用して、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカをこれらから生成することを更に含んでもよい。更に、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとは、メディアプロセッサを使用してメディアデータストリームに結合されてもよい。
【００１２】
関係する物理的コンピュータ可読媒体は、メディアプロセッサに対して、メディアプロセッサを使用してビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカをこれらから生成することを含むステップを実行させるコンピュータ実行可能命令を有してもよい。更なるステップは、前述のように、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合することを含んでもよい。
【図面の簡単な説明】
【００１３】
【図１】本発明による例示的なマルチメディアシステムの概略ブロック図
【図２】図１のシステムの代替実施例の概略ブロック図
【図３】図２のメディアサーバの例示的な実施例を詳細に示す概略ブロック図
【図４】図１のシステムに関連する方法の態様を示すフローチャート
【図５】図２のシステムに関連する方法の態様を示すフローチャート
【図６】本発明による他の例示的なマルチメディアシステムの概略ブロック図
【図７】図６のシステムの代替実施例の概略ブロック図
【図８】図６のシステムに関連する方法の態様を示すフローチャート
【図９】図７のシステムに関連する方法の態様を示すフローチャート
【発明を実施するための形態】
【００１４】
本発明について、添付図面を参照して以下に詳細に説明する。添付図面には、本発明の好ましい実施例が示されている。しかし、本発明は、多くの異なる形式に具現されてもよく、ここに示す実施例に限定されるものとして解釈されるべきではない。むしろ、これらの実施例は、この開示が完全且つ包括的であるように提供されており、本発明の範囲を十分に当業者に伝えるものである。全体に渡って同様の番号は同様の要素を示し、代替実施例で同様の要素を示すためにプライム表記法が使用される。
【００１５】
当業者により分かるように、本発明の部分は、方法、データ処理システム又はコンピュータプログラムプロダクトとして具現されてもよい。従って、本発明のこれらの部分は、完全にハードウェアの実施例、物理的コンピュータ可読媒体上の完全にソフトウェアの実施例、又はソフトウェア及びハードウェアの態様を組み合わせた実施例の形式になってもよい。更に、本発明の部分は、媒体上にコンピュータ可読プログラムコードを有するコンピュータ使用可能記憶媒体上のコンピュータプログラムプロダクトでもよい。スタティック及びダイナミック記憶装置、ハードディスク、光記憶装置及び磁気記憶装置を含むが、これらに限定されない如何なる適切なコンピュータ可読媒体が利用されてもよい。
【００１６】
本発明について、本発明の実施例による方法、システム及びコンピュータプログラムプロダクトのフローチャートの例示を参照して以下に説明する。例示のブロック及び例示のブロックの組み合わせは、コンピュータプログラム命令により実現されてもよいことが分かる。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ又は他のプログラム可能データ処理装置のプロセッサに提供され、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行したときに、命令がブロックに指定された機能を実現するように機械を生成してもよい。
【００１７】
これらのコンピュータプログラム命令はまた、コンピュータ可読メモリに格納された命令がフローチャートのブロックで指定された機能を実現する命令を含む製造物を生じるように、コンピュータ又は他のプログラム可能データ処理装置が特定の方法で機能するように指示し得るコンピュータ可読メモリに格納されてもよい。コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能データ処理装置にロードされ、コンピュータ又は他のプログラム可能装置で実行する命令がフローチャートのブロックで指定された機能を実現するステップを提供するように、一連の動作ステップをコンピュータ又は他のプログラム可能装置で実行させ、コンピュータ実現処理を生成させてもよい。
【００１８】
まず図１〜５を参照して、マルチメディアシステム30及び関連する方法の態様について最初に説明する。特に、システム30は、例示的に、ブロック50-51において、複数のコメンテータ（commentator）32a-32nがビデオソースからのビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成された複数のテキストコメント入力装置31a-31nを含む。一例として、テキストコメント入力装置31a-31nは、デスクトップ又はラップトップコンピュータ等でもよく、コメンテータ32a-32nは、それぞれのディスプレイ33a-33nでビデオデータを視聴してもよい。しかし、当業者に分かるように、他の適切な構成も使用されてもよい。ここで使用される“ビデオデータ”は、当業者に分かるように、フルモーションのビデオと動画像（motion imagery）とを含むことを意図する。
【００１９】
システム30は、例示的に、テキストコメント入力装置31a-31nと協調動作し、ブロック52において、ビデオソースデータと共有テキストコメントデータとを処理し、ビデオソースデータの対応する部分を見つけるためにデータベースがテキストキーワードにより検索可能であるように、ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを含むデータベース35をこれらから生成するように有利に構成されたメディアプロセッサ34を更に含む。例えば、ブロック53において、メディアプロセッサ34は、ビデオソースデータと共有テキストコメントデータとを、MPEG（Moving Pictures Experts Group）（例えば、MPEG2）トランスポートストリームのようなメディアデータストリームに結合するように更に構成されてもよい。これにより、図４に示す方法が終了する（ブロック54）。
【００２０】
図２に示す実施例では、テキストコメント入力装置31a’及び31n’は、異なるそれぞれのテキストコメントフォーマット（ここでは、２つの異なるチャットテキストフォーマット）でテキストデータを生成するように構成される。より具体的には、当業者に分かるように、テキストコメント入力装置31a’は、インターネットリレーチャット（IRC：Internet Relay Chat）フォーマットに従ってチャットテキストデータを生成し、テキストコメント入力装置31n’は、AC（Adobe Acrobat（登録商標） Connect）フォーマットに従ってチャットテキストを生成する。しかし、これらの例示的なフォーマット以外の他の適切なテキストフォーマットも使用されてもよいことが分かる。
【００２１】
従って、メディアプロセッサ34’は、例示的に、メディアプロセッサ34’により使用するために、異なるテキストコメントフォーマットを共通のテキストコメントフォーマットに適合させるテキスト取り込みモジュール36’を更に含んでもよい。より具体的には、テキスト取り込みモジュール36は、異なるテキストコメントフォーマット（IRC、AC等）毎にそれぞれのアダプタ37a’-37n’を含んでもよい。従って、テキスト取り込みモジュール36’は、有利には、様々な異なるシステムからチャットデータのようなテキスト入力データを抽出し、様々なフォーマットを、メディアサーバ38’により使用される適切な共通のフォーマットに変換又は適合させてもよい。メディアサーバ38’は、前述の動作を実行する。図３に示す例では、メディアサーバは、例示的に、協調動作してこれらの動作を実行するメモリ40’及びプロセッサ39’を含む。
【００２２】
或る実施例では、ブロック55’-56’（図５）において、メディアサーバ38’は、共有テキストコメントデータの所定のテキストトリガーのためのテキストトリガーマーカ（text trigger marker）を共有テキストコメントデータから生成するように更に構成されてもよい。例えば、設定時間内における共有テキストコメントデータの１つ以上のテキストトリガー（所定のキーワード又は語句等）の発生時に、ビデオソースデータと同期したテキストトリガーマーカが生成される（例えば、発生時にビデオデータのタイムスタンプでマークが付けられる）。或る実施例では、テキストトリガーマーカはまた、データベース35に格納されてもよい。必要に応じて、所定のテキストトリガーの発生を適切な管理者又は他の作業員に警告するために、所定のテキストトリガーの発生に基づいて通知（例えば、電子メール通知、ポップアップウィンドウ等）も同様に生成されてもよい。
【００２３】
例えば、メディアプロセッサ34は、MPEG2、MPEG4、H264、JPEG2000等のようなフォーマットを使用してメディア取り出しを実行してもよい。更に、アーカイブ、検索及び取得／エクスポートのような機能が、MPEGトランスポート又はプログラムストリーム、MXF（Material eXchange Format）、AAF（Advanced Authoring Format）、JPIP（JPEG 2000 Interactive Protocol）等を使用して実行されてもよい。当業者に分かるように、他の適切なフォーマットが使用されてもよい。当業者に分かるように、データベース35は、様々な商用データベースシステムを使用して実現されてもよい。
【００２４】
従って、システム30は、有利には１人以上のコメンテータがビデオデータを視聴してコメントする用途に使用されてもよい。ビデオデータと時間で相互に関連付けられたテキストデータの容易に検索可能なアーカイブを提供する必要がある。このことは、有利には、ユーザが潜在的に大量のビデオのアーカイブの関係する部分を迅速に見つけることを可能にし、重要でないビデオ及びテキストの長い部分又は期間を検索又は視聴することを回避する。システムは、テレビショー又は映画の視聴、インテリジェンス分析（intelligence analysis）等のような様々なビデオアプリケーションに使用されてもよい。更に、システム30は、有利にはデータベース35’に格納されたテキストから概略レポートを生成するために使用されてもよい。例えば、テレビ又は映画の視聴に関して、ユーザは、映画を視聴しながら、好き嫌いについてチャットしてもよい。どのくらいの数の所定の“好き”又は“嫌い”の用語がビデオ、俳優等の特定の場面又は部分に関して使用されたかの概略レポートは、メディアプロセッサ34’又は他のコンピュータ装置により、データベース35’にアクセスすることで生成されてもよい。
【００２５】
関係する物理的コンピュータ可読媒体は、メディアプロセッサ34に対して、ビデオソースデータと共有テキストコメントデータとを処理し、ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを有するデータベース35をこれらから生成することを含むステップを実行させるコンピュータ実行可能命令を有してもよい。データベースは、ビデオソースデータの対応する部分を見つけるためにテキストキーワードにより検索可能でもよい。更なるステップは、ビデオソースデータと共有テキストコメントデータとをメディアデータストリームに結合することを含んでもよい。
【００２６】
更に図６〜９を参照して、関係するマルチメディアシステム130について説明する。背景技術として、前述のビデオの生成及びアーカイブを容易にすることにもかかわらず、不要な“おしゃべり（chatter）”をマルチメディアファイルに追加することなく、ビデオ分析者又はコメンテータからのオーディオ注釈又はオーディオトリガーを追加する効率的な機構がしばしば存在しない。例えば、インテリジェンス分析者は、何時間ものビデオデータのストリームを続けて視聴し、ビデオストリームで見ているものについてコメントする。多くのコメントは特に関係ないもの又は関心のないものである可能性があるが、コメンテータ又は分析者が関心のある項目を識別するときに、これらのインスタンスは他人により見直される必要がある可能性がある。しかし、多くの時間のアーカイブされたオーディオ／ビデオデータ内でこれらの特定の関心のあるものを見つけることは、時間がかかり面倒になり得る。
【００２７】
特定のキーワードの音声データを監視できる音声認識システムが現在使用されている。他方、例えば、オーディオ及びタグ語句をメディアストリーム（MPEG2トランスポートストリーム等）に多重するために、いくつかのメディア処理システムが使用されてもよい。しかし、システム130は、有利には、発生したときに（すなわち、リアルタイムで）特定のキーワード又はトリガーについてビデオ分析者からの音声の監視し、トリガーマーカを記録し、ビデオ及びオーディオから別々のままにしつつ（すなわち、ビデオ又はデータフィードに上書きせずに）、トリガーマーカをメディアコンテナ（MPEG2トランスポートストリーム等）に結合又は多重することを可能にする。
【００２８】
より具体的には、マルチメディアシステムは、例示的に、ブロック150-151において、コメンテータ132がビデオソースからのビデオデータの視聴に基づいてオーディオコメントデータを生成することを可能にするように構成された１つ以上のオーディオコメント入力装置141（例えば、マイクロフォン）を含む。更に、メディアプロセッサ134は、オーディオコメント入力装置141と協調動作し、ブロック152において、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカ（audio trigger marker）をこれらから生成するように構成されてもよい。メディアプロセッサ134は、ブロック153において、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合（例えば、多重）するように更に構成されてもよい。これにより、図８に示す方法が終了する（ブロック154）。一例として、メディアプロセッサ134’は、例えば、MPEG2トランスポートストリームへの多重のように、ビデオデータフィードとオーディオデータフィードとオーディオトリガーマーカとを多重により結合し、メディアデータストリームを生成してもよい。しかし、他の適切なフォーマットが使用されてもよい。
【００２９】
図７に示す例示的な実施例では、複数のオーディオコメント入力装置141a’-141n’がそれぞれのコメンテータ132a’-132n’により使用され、メディアプロセッサ134’は、ブロック155’、152’において、例えば、同じオーディオコメント入力装置又は異なるオーディオコメント入力装置からの設定時間内の所定のオーディオトリガーの複数の発生に基づいてオーディオトリガーマーカを生成するように更に構成されてもよい。このことは、例えば、特定の項目がビデオフィードに見つかったこと又はビデオデータに存在することを第２の分析者又はコメンテータが確認した場合等のように、所望のイベント等の真の発生の信頼度レートを有利に増加させてもよい。
【００３０】
メディアプロセッサ134’は、オーディオトリガーマーカの発生に関連するメディアデータストリームの部分を格納するように更に構成されてもよい。１つの例示的な用途によれば、オーディオトリガーマーカは、特定のトリガーに関係するビデオデータフィードの部分のみを記録して印を付けるために、ビデオ記録システムの一部として使用されてもよい。例えば、システムは、テレビ番組がタイトル、要約等とは対照的にオーディオコンテンツ（例えば、オーディオキーワード又は語句）に基づいて記録されるデジタルビデオレコーダに実現されてもよい。例えば、ユーザは、お気に入りの有名人についてのコメント、現在のイベント等と共に、最近のニュースクリップを記録したいと思うことがある。ユーザは、人の名前又は関心のあるイベントを所定のオーディオトリガーとして追加してもよい。メディアプロセッサ134’は、有利には１つ以上のテレビチャンネルを監視し、トリガーが聞こえると、ユーザは任意選択でテレビのポップアップウィンドウ等を通じて通知されてもよい。例えば、電子メール又はSMSメッセージのような他の通知も使用されてもよい。システム130’はまた、有利には番組の記録を開始し、オーディオトリガーマーカをビデオデータに多重する。その後、ユーザは、トリガーについて記録又はアーカイブされたマルチメディア番組を検索し、所定のオーディオトリガーが発生した場合にビデオフィードの正確な位置への手がかりとしてもよい。
【００３１】
一例として、メディアプロセッサ134は、所定のオーディオトリガーの発生時に記録を開始し、番組の予定された終了時間まで記録してもよい。或いは、メディアプロセッサ134は、数分、30分等のような設定された期間の間に記録してもよい。デジタルビデオレコーダが最近視聴された番組データをデータバッファに保持する或る実施例では、当業者に分かるように、メディアプロセッサ134は、有利には記録を辿って（reach back）、ユーザのためにその最初から全体の番組を格納してもよい。
【００３２】
更に、或る実施例では、メディアプロセッサ134’は、有利には、ブロック157’において、前述のように、オーディオコメントデータの所定のオーディオトリガーの発生に基づいて通知を生成するように構成されてもよい。この場合にも同様に、当業者に分かるように、このような発生は、１人以上のユーザ又は管理者のディスプレイ上のポップアップウィンドウ、電子メール又はSMS通知、自動電話メッセージ等を含んでもよい。所定のオーディオトリガーが見つからないビデオ／オーディオデータの部分では、当業者に分かるように、ブロック158’において、ビデオソースデータ及びオーディオコメントデータは、依然としてオーディオトリガーマーカなしにメディアデータストリームに結合されてもよい。これは、前述のシステム30’にも当てはまる。すなわち、利用可能な共有テキストコメントデータが存在しない場合であっても、ビデオソースデータは、依然としてメディアトランスポートストリームにおいて（存在する場合には）オーディオデータと結合されてもよい。
【００３３】
この点について、或る実施例では、システム30及び130の部分は、一緒に実現又は結合されてもよい。例えば、システム130’に複数のテキストコメント入力装置131a’-131n’が含まれ、前述のようにコメンテータ132a’-132n’がビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成される。すなわち、メディアプロセッサ134’は、有利には所定のオーディオトリガーの発生に基づくオーディオトリガーマーカに加えて、ビデオソースデータと時間でインデックス付された共有テキストコメントデータの前述のデータベースを生成してもよい。ここでも同様に、メディアプロセッサは、前述の機能を実行するように協調動作するメモリ140’及びプロセッサ139’を含むメディアサーバとして実現されてもよい。
【００３４】
従って、前述のシステム及び方法は、不要なおしゃべりを追加することなく、ビデオデータに付随するリアルタイムの貴重な情報を自動的に追加する機能を提供する。イベントマーカを備えたストリームは、オペレータ又はユーザが全体のアーカイブ又は格納されたビデオを視聴する必要なく、重要なイベントを迅速に識別するのに貴重になり得る。更に、この手法は、有利には貴重なオーディオ注釈を生のビデオ又はアーカイブされたビデオに結合又は追加するための効率的な方法を提供する。これは、ビデオが再生されたときに、ビデオのユーザがポップアップウィンドウ又はトリガーの他の通知を見ること、及び全体のビデオを視聴するのではなく、オーディオトリガーの点を検索して手がかりにすることを可能にする。
【００３５】
関係する物理的コンピュータ可読媒体は、メディアプロセッサ34に対して、ビデオソースデータとオーディオコメントデータとを処理し、オーディオコメントデータの所定のオーディオトリガーのためのビデオソースデータと同期したオーディオトリガーマーカをこれらから生成することを含むステップを実行させるコンピュータ実行可能命令を有してもよい。更なるステップは、前述のように、ビデオソースデータとオーディオコメントデータとオーディオトリガーマーカとをメディアデータストリームに結合することを含んでもよい。
【特許請求の範囲】
【請求項１】
少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴に基づいてオーディオコメントデータを生成することを可能にするように構成された少なくとも１つのオーディオコメント入力装置と、
前記少なくとも１つのオーディオコメント入力装置と協調動作し、ビデオソースデータとオーディオコメントデータとを処理し、前記オーディオコメントデータの所定のオーディオトリガーのための前記ビデオソースデータと同期したオーディオトリガーマーカを生成し、前記ビデオソースデータと前記オーディオコメントデータと前記オーディオトリガーマーカとをメディアデータストリームに結合するように構成されたメディアプロセッサと
を有するマルチメディアシステム。
【請求項２】
前記少なくとも１つのオーディオコメント入力装置は、複数のオーディオコメント入力装置を有し、
前記メディアプロセッサは、設定時間内の所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項３】
前記メディアプロセッサは、前記設定時間内の異なるオーディオコメント入力装置からのそれぞれの所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成するように更に構成される、請求項２に記載のマルチメディアシステム。
【請求項４】
前記メディアサーバは、前記オーディオトリガーマーカの発生に関連する前記メディアデータストリームの部分を格納するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項５】
前記メディアプロセッサは、前記オーディオコメントデータの前記所定のオーディオトリガーの発生に基づいて通知を生成するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項６】
複数のコメンテータが前記ビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成された複数のテキストコメント入力装置を更に有し、
前記メディアプロセッサは、ビデオソースデータと共有テキストコメントデータとを処理し、データベースが前記ビデオソースデータの対応する部分を見つけるためにテキストキーワードにより検索可能であるように、前記ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを有するデータベースを生成するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項７】
少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴についてコメントすることを可能にするように構成された少なくとも１つのオーディオコメント入力装置を使用して、オーディオコメントデータを生成するステップと、
メディアプロセッサを使用して、ビデオソースデータとオーディオコメントデータとを処理し、前記オーディオコメントデータの所定のオーディオトリガーのための前記ビデオソースデータと同期したオーディオトリガーマーカを生成するステップと、
前記メディアプロセッサを使用して、前記ビデオソースデータと前記オーディオコメントデータと前記オーディオトリガーマーカとをメディアデータストリームに結合するステップと
を有するマルチメディアデータ処理方法。
【請求項８】
前記少なくとも１つのオーディオコメント入力装置は、複数のオーディオコメント入力装置を有し、
前記メディアプロセッサを使用して、設定時間内の所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成するステップを更に有する、請求項７に記載の方法。
【請求項９】
前記生成するステップは、前記設定時間内の異なるオーディオコメント入力装置からのそれぞれの所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成することを有する、請求項８に記載の方法。
【請求項１０】
前記メディアサーバを使用して、前記オーディオトリガーマーカの発生に関連する前記メディアデータストリームの部分を格納することを更に有する、請求項７に記載の方法。
【請求項１】
少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴に基づいてオーディオコメントデータを生成することを可能にするように構成された少なくとも１つのオーディオコメント入力装置と、
前記少なくとも１つのオーディオコメント入力装置と協調動作し、ビデオソースデータとオーディオコメントデータとを処理し、前記オーディオコメントデータの所定のオーディオトリガーのための前記ビデオソースデータと同期したオーディオトリガーマーカを生成し、前記ビデオソースデータと前記オーディオコメントデータと前記オーディオトリガーマーカとをメディアデータストリームに結合するように構成されたメディアプロセッサと
を有するマルチメディアシステム。
【請求項２】
前記少なくとも１つのオーディオコメント入力装置は、複数のオーディオコメント入力装置を有し、
前記メディアプロセッサは、設定時間内の所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項３】
前記メディアプロセッサは、前記設定時間内の異なるオーディオコメント入力装置からのそれぞれの所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成するように更に構成される、請求項２に記載のマルチメディアシステム。
【請求項４】
前記メディアサーバは、前記オーディオトリガーマーカの発生に関連する前記メディアデータストリームの部分を格納するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項５】
前記メディアプロセッサは、前記オーディオコメントデータの前記所定のオーディオトリガーの発生に基づいて通知を生成するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項６】
複数のコメンテータが前記ビデオデータの視聴に基づいて共有テキストコメントデータを生成することを可能にするように構成された複数のテキストコメント入力装置を更に有し、
前記メディアプロセッサは、ビデオソースデータと共有テキストコメントデータとを処理し、データベースが前記ビデオソースデータの対応する部分を見つけるためにテキストキーワードにより検索可能であるように、前記ビデオソースデータと時間でインデックス付けされた共有テキストコメントデータを有するデータベースを生成するように更に構成される、請求項１に記載のマルチメディアシステム。
【請求項７】
少なくとも１人のコメンテータがビデオソースからのビデオデータの視聴についてコメントすることを可能にするように構成された少なくとも１つのオーディオコメント入力装置を使用して、オーディオコメントデータを生成するステップと、
メディアプロセッサを使用して、ビデオソースデータとオーディオコメントデータとを処理し、前記オーディオコメントデータの所定のオーディオトリガーのための前記ビデオソースデータと同期したオーディオトリガーマーカを生成するステップと、
前記メディアプロセッサを使用して、前記ビデオソースデータと前記オーディオコメントデータと前記オーディオトリガーマーカとをメディアデータストリームに結合するステップと
を有するマルチメディアデータ処理方法。
【請求項８】
前記少なくとも１つのオーディオコメント入力装置は、複数のオーディオコメント入力装置を有し、
前記メディアプロセッサを使用して、設定時間内の所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成するステップを更に有する、請求項７に記載の方法。
【請求項９】
前記生成するステップは、前記設定時間内の異なるオーディオコメント入力装置からのそれぞれの所定のオーディオトリガーの複数の発生に基づいて前記オーディオトリガーマーカを生成することを有する、請求項８に記載の方法。
【請求項１０】
前記メディアサーバを使用して、前記オーディオトリガーマーカの発生に関連する前記メディアデータストリームの部分を格納することを更に有する、請求項７に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１２−５２８３８８（Ｐ２０１２−５２８３８８Ａ）
【公表日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１２−５１３１３６（Ｐ２０１２−５１３１３６）
【出願日】平成２２年５月２０日（２０１０．５．２０）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０３５５２３
【国際公開番号】ＷＯ２０１０／１３８３６７
【国際公開日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（５９４０７１６７５）ハリス コーポレイション (287)
【氏名又は名称原語表記】Ｈａｒｒｉｓ Ｃｏｒｐｏｒａｔｉｏｎ
【Ｆターム（参考）】
【公表日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２２年５月２０日（２０１０．５．２０）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０３５５２３
【国際公開番号】ＷＯ２０１０／１３８３６７
【国際公開日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（５９４０７１６７５）ハリス コーポレイション (287)
【氏名又は名称原語表記】Ｈａｒｒｉｓ Ｃｏｒｐｏｒａｔｉｏｎ
【Ｆターム（参考）】
[ Back to top ]