動画の注釈フレームワーク
メディアファイルに関連付けられた注釈を転送するためのシステムと方法。メディアファイルに関連付けられた注釈は、そのメディアファイルの第1のインスタンスにインデックス付けられる。2つのインスタンスの特徴を比較することに基づいて、マッピングがメディアファイルの第1のインスタンスとメディアファイルの第2のインスタンスとの間で作成される。第1及び第2のインスタンスの間のマッピングを使って該第2のインスタンスに注釈がインデックス付けられる。該第2のインスタンスのインデックスに基づき、注釈は処理(表示、記憶、又は修正)され得る。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は概して動画の注釈のオーサリングと表示に関し、また、ネットワークを介しての注釈の共同的な共有と編集に関する。
【背景技術】
【0002】
注釈は、動画を補うためのメカニズムに有用な情報を提供する。注釈は、例えば動画、サブタイトル、あるいは添付されたオーディオトラックのコンテンツを記述しているメタデータを含み得る。注釈は、文字、オーディオ、画像、あるいは他の種類を含む種々のデータタイプになり得る。それらのコンテンツを有意義にするために、注釈は特定の動画、あるいは動画の特定の一部分に典型的には対応付けられる。
【0003】
注釈に含まれる有用な情報がやり取りされうる1つの方式は、ネットワークを介して注釈付きの動画を転送することによる。しかしながら、ネットワークを介して動画コンテンツを転送することは、いくつかの障害をもたらす。第一に、動画ファイルは一般的に非常に大きく、そして必要とされる回線容量と記憶ニーズをサポートすることができるホストと受信側のコンピュータを必要とするのと同様に、動画を転送することはかなりの回線容量が必要である。第二に、多くの動画ファイルはおそらく著作権が取られている、あるいはさもなければ費用の支払いなしで配布を禁じられている。著作権制限のコンプライアンスは、無許可のコピーを妨げるために付加的なソフトウェアとハードウェア投資を要求する。第三に、注釈付きの動画の受信者がすでに動画の注釈付きでない動画のコピーを持っているかもしれないとき、データ効率観点から、このような受信者への注釈付きの動画のコピーの転送は不必要に回線容量と記憶の両方を消費する。
【0004】
従って、完全な動画のコピーを転送することによって注釈付きの動画を交換することは不適当な解決法である。
【発明の概要】
【0005】
メディアファイルに関連付けられた注釈は、メディアファイルのどんなセグメントとでも該注釈の適当な時間あるいは空間な関係を維持しながら、対応するメディアファイルとは無関係にデバイス間で転送される。メディアファイルに関連付けられた注釈は、そのメディアファイルの第1のインスタンスにインデックス付けられる。マッピングは、2つのインスタンスの特徴を比較することに基づいて、メディアファイルの第1のインスタンスとメディアファイルの第2のインスタンスとの間に作成される。第1および第2のインスタンスの間のマッピングを使って第2のインスタンスに注釈がインデックス付けられる。第2のインスタンスのインデックスに基づき、注釈は表示、記憶、又は修正され得る。
【0006】
インスタンスの特徴を比較することは、注釈が、メディアファイルの複数の無関係に獲得されたインスタンスに相次いでインデックス付けられるようにする。注釈の相次ぐインデックス付けは注釈が共有されることを手助けし、そして注釈者、編集者と消費者の共同のコミュニティを可能にする。注釈は、広告又はプレミアムな有料のコンテンツを含むことができる。注釈を投稿する、編集するあるいは見るための特典は、予約基準価格、無料で売りに出され得るか、あるいはメディアファイルの購入とつながり得る。
【0007】
一実施例によれば、最初のユーザは注釈サーバにメディアファイルの彼のインスタンスにインデックスされた注釈を提出する。注釈サーバは、メディアファイルの第1のユーザのインスタンスをメディアファイルの正規インスタンスにマップし、そしてメディアファイルの正規インスタンスにインデックスされた提出された注釈を記憶する。第2のユーザは注釈をリクエストする、そして注釈サーバはメディアファイルの第2のユーザのインスタンスをメディアファイルの正規インスタンスにマップする。注釈サーバは、メディアファイルの第2のユーザのインスタンスにインデックスされた第2のユーザに注釈を送る。
【0008】
この要約に記述された特徴と効果及び詳細な記述は包括的ではない。 多くの付加的な特徴と効果が、図面、明細書、請求項に照らして当業者に明らかであるであろう。
【図面の簡単な説明】
【0009】
【図1】動画プロバイダのコミュニティとコンシューマとをつなぐネットワークを示す。
【0010】
【図2】動画のフレーム、1以上のフレームへの注釈のインデックス付けを表す。
【0011】
【図3】動画の2つのインスタンスのフレームを表す。
【0012】
【図4(a)】動画の正規インスタンスにインデックス付けた注釈を表す。
【0013】
【図4(b)】動画のクライアントインスタンスを動画の正規インスタンスにマッピングすることを表す。
【0014】
【図5】動画と注釈を記憶することの一実施例を表す。
【0015】
【図6】表示のイベントトレースと動画に対応付けられた注釈の変更である。
【0016】
【図7(a)】注釈を見る、作成する、編集するためのユーザインタフェースを表す。
【0017】
【図7(b)】新しい注釈を作成するためのユーザインタフェースを表す。
【0018】
【図8】表示する注釈を決定するための方法を表す。
【0019】
上記図面は本発明の好適な実施例を例示しただけである。当業者であれば、ここで説明する発明の本質から逸脱せずに、ここに例示されている構造及び方法について他の実施例を用いることが可能であることを以下の説明から容易に理解するであろう。
【発明を実施するための形態】
【0020】
図1は、動画プロバイダのコミュニティとコンシューマとをつなぐネットワークを示す。図1は、複数のユーザが動画と注釈を交換することができる一実施例を表す。動画は、注釈が対応付けられ得るメディアファイルの例としてここに使用される。この例は説明の目的のために選ばれたにすぎず、本発明におけるメディアファイルとは動画に限定されない。注釈が対応付けられ得るメディアファイルの他のタイプは、これらに限られないが、オーディオプログラム、フラッシュ、映画(どんな符号化様式ででも)、スライドプレゼンテーション、フォトコレクション、アニメ番組、他のドキュメントを含む。 他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。
【0021】
ユーザは、クライアント104を使って注釈を見たり、執筆したり、編集したりする。注釈は、メディアファイルを有効に補うことができるどんなデータでもある。例えば、注釈はオーディオ又はテキストの記録、翻訳、広告あるいは要点、前もって決定された尺度での評価(1乃至5の星)、メタデータ、あるいはどのようにメディアファイルが表示されるべきであるかの命令であり得る。注釈はまた、動画コンテンツを含み得る。クライアント104は、動画を表示するためのソフトウェアとハードウェアを含む。例えば、クライアント104は、テレビジョン、パーソナルコンピュータ、ディジタルビデオレコーダ(DVR)、個人情報端末(PDA)、携帯電話、あるいは表示装置を持っている又はつながれた他のデバイス;MPEG−2,MPEG−4,クィックタイム,VeD,あるいは他のいかなる現在あるいは将来の動画様式のような動画ファイルをデコードするのに適したどんなビデオプレーヤーでも含むソフトウェアとして実施され得る。クライアントの他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。一実施例によればクライアント104によって使われるグラフィカル・ユーザ・インタフェースが、図7(a)と図7(b)に関連して記述されている。
【0022】
クライアント104は、ネットワーク105につながれる。ネットワーク105は、注釈コンテンツを転送しうるどんな電子媒体で構成されていてもよい。ネットワーク105を通して、クライアント104は他のクライアント104からデータを送受信することができる。ネットワーク105は、世界的規模の(例えば、インターネット)、地方の、広域の、あるいはローカルエリアのネットワークであり得る。
【0023】
動画サーバ106は、電子媒体に動画のコレクションを記憶する。クライアント104による特定の動画(あるいは特定基準に一致する動画セット)のリクエストに対応して、動画サーバ106はネットワーク105を介してクライアント104に動画を転送する。動画サーバ106は、クライアントに動画を提供するサービスに対して費用を請求するように設定されるかもしれない、あるいは無料で動画を提供するかもしれない。動画サーバ106は、例えばオンデマンドコンテンツサービス、オンラインストア、あるいはストリームビデオサーバで実施され得る。動画サーバの他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。
【0024】
クライアント104の一部はまた、動画情報源102につながれる。動画情報源102は、クライアントに動画を供給する装置である。例えば、動画情報源102は、ケーブルボックス、テレビジョンアンテナ、ディジタルビデオレコーダ、ビデオカセットプレーヤ、カメラ、ゲーム操作卓、ディジタルビデオディスク(DVD)装置、あるいはクライアント104によって読み取り可能なフォーマットで動画出力を作成し得る他のいかなる装置であり得る。動画情報源102の他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。
【0025】
この発明の一実施例によれば、クライアント104はネットワーク105を介して動画を送ることができる。例えば、クライアント104Bは動画情報源102Bから動画を受け取ることができ、そしてネットワークを通してクライアント104Dのような他のクライアントにそれを転送することができる。クライアント104はまた、ネットワーク105を通して動画サーバ106に動画を送ることができる。クライアント104から動画サーバ106に送られた動画は、電子媒体に記憶され、他のクライアント104にとって入手可能である。
【0026】
注釈サーバ110は、ネットワーク105につながれる。注釈サーバ110は、電子媒体に注釈を記憶する。特定のメディアファイルに関連付けられた注釈のクライアント104からのリクエストに対応して、注釈サーバ110はメディアファイルに関連付けられた1以上の注釈をネットワーク105を通してクライアント104へ送る。クライアント104によるメディアファイルに関連付けられた1以上の注釈の提出に対応して、注釈サーバ110はメディアファイルに関連付けられた1以上の注釈を記憶する。注釈サーバ110は、1以上のメディアファイルあるいはその一部のインスタンス(オブジェクト指向プログラミングにおけるデータの実体)にインデックスされた注釈を記憶する。注釈サーバ110によって用いられる方法が、この発明のさまざまな実施例に従って、図4−6に関連して記述される。
【0027】
オプションとして、動画サーバ108は、ローカルに又はネットワーク105を介して注釈サーバ110に通信可能につながれる。動画サーバ108は、動画サーバ106に関連してここに記述されたように多くの同じ能力を持つことができる。動画サーバ108は、ネットワーク105を介してクライアント104へ動画を転送することができる。一実施例において、注釈サーバ110と動画サーバ108は一緒に、クライアント104へ注釈付けられた動画を転送する。他の実施例において、動画サーバ108は図5に関連して記述されたように、動画の正規インスタンスを記憶する。
【0028】
図に示されるように、いかなるクライアントでもいろいろな情報源から動画を入手できるようになっていてよい。例えば、クライアント104Aは、ネットワーク105を経由して動画情報源102Aあるいは動画サーバ106から直接的に動画を受け取ることができる。様々なクライアントは、様々な動画情報源に時々アクセスできる。例えば、クライアント104Aのように、クライアント104Bはネットワーク105を経由して動画サーバ106から動画を受け取ることができる、しかし、クライアント104Aと対照的に、動画情報源102Aの代わりに動画情報源102Bに直接アクセスできる。
【0029】
クライアントは潜在的に広い動画情報源の範囲から動画を入手することができるけれども、この発明はクライアントの動画のコピーが入手された情報源にかかわらず、特定のメディアファイル及びその一部に常に関連付けられるために、注釈サーバ110からクライアントへ注釈を送ることを許可する。メディアファイルと一体の一貫した注釈の関連性は、所定のメディアファイルの異なったインスタンス(あるいはコピー)を持っているユーザの間で注釈の交換を容易にする。この発明は、クライアントメディアファイルのさまざまなインスタンスのために注釈を再インデックス付けすることにより、複数のクライアント間で注釈の共有と交換を可能にする。例えば、2つのクライアントが異なる情報源から動画のコピーを獲得するかもしれない事実にもかかわらず、注釈サーバ110はクライアント104Aの動画のインスタンスにインデックスされた注釈を送り、そしてクライアント104Bの動画のインスタンスにインデックスされた注釈を送る。注釈サーバ110は、図4に関連して記述されたように、クライアント104によって表示された動画にふさわしいだけでなく、クライアント104が表示している動画の特定のインスタンスにふさわしい注釈を有利に提供する。
【0030】
図2を参照すると、どのようにして注釈が時間的及び/又は空間的に動画ファイル及び1以上のフレームに関連付けられるのかを説明する概念図が示されている。図2は、フレーム200からフレーム251までを流れる、動画フレームの一組を示す。クライアント104はこれらのフレームを表示する、そしてまた一時停止、巻戻し、早送り、飛び越しすることができ、あるいは別のやり方でフレームが表示される命令やスピードを調整する。
【0031】
説明の目的のため、以下の議論はフレームからなるものとして動画に言及する。動画は時々記憶されるか、又はフレームのブロック、フィールド、マクロブロックとして、あるいは不完全なフレームの一部の中で転送される。ここでフレームからなる動画について参照されるときに、中間段階の間で、動画が事実上種々の他のフォームのうちのいずれかとして記憶されてよいことが理解されるべきである。用語「フレーム」は明瞭さのためにここで用いられ、そして特定のフォーマット又は動画の記憶や表示の規約のどれにも限定されない。
【0032】
フレームのいくつかは、特定のユーザによって提供されたものとして、それらに関連付けられた(対応付けられた)注釈を持つ。示された例において、フレーム201はその対応付けられた注釈のいくつかを説明するために今まで以上に詳しく描かれている。図中に示されるように、複数の注釈が1フレーム中の特定の空間的位置に対応付けられ得るし、あるいは当該フレーム全体に対応付けられ得る。例えば、注釈1はフレーム201の上段の左隅を囲む長方形の箱(ボックス)と対応付けられる。その一方、注釈4はフレーム全体に対応付けられる。
【0033】
また、複数の注釈が、重複する複数の空間的位置に対応付けられ得る。例えば、注釈1は注釈2に対応付けられた異なる長方形の箱に重複している長方形の箱と対応付けられる。一実施例において、注釈は閉じられた外観を持つ如何なる形状によって定義された空間的位置に対応付けられ得る。例えば、図2に示すように、注釈3は楕円形の形状によって定義された空間的位置に対応付けられている。
【0034】
注釈リスト280は、注釈の空間的位置と注釈のコンテンツとの間の関連性を保持する。フレーム201において長方形の箱に対応付けられた注釈1は、文字「大統領」を含む。注釈1は、補足情報を強調するあるいはフレームの特定の部分に補足情報を加えるのに役立つ注釈の例である。注釈4はフレーム201全体に対応付けられ、そして文字「一般教書演説」を含む。注釈4は、フレームのコンテンツを要約するために使用された注釈の例である。 注釈5はフレーム201全体に対応付けられ、そして何らかのオーディオ、この場合、フランス語のオーディオ翻訳である、を含む。注釈5は補足のオーディオコンテンツを提供するために使用された注釈の例である。
【0035】
注釈はまた、メディアファイルやそのどの部分とでも時間の関連性を持ちうる。例えば、注釈は特定のフレーム、あるいはフレームの特定の範囲と対応付けられ得る。図2において、例えば、注釈5はフレーム201に対応付けられるだけなのに、注釈2はフレーム200〜251に対応付けられ得る。また、或る注釈に対応付けられた空間的位置の定義は時間的に変えることができる。例えば、注釈1はフレーム201において第1の領域と対応付けられ得る、そしてフレーム202において第2の領域と対応付けられ得る。時間と空間に依存する注釈の対応付けは、動いているオブジェクトに関して補足的情報を提供するのに特に有用であって、そして図に示された例のように、アメリカ合衆国大統領の動きに対応することができる。時間の注釈は、フレーム番号、タイムコード、あるいは他のインデックス基準によって定義されうる。テーブルとして例示した注釈リスト280は、そのような図示例で使用された内在する記憶様式に限定することを意味しておらず、記憶構成要素を減らす及び/又は検索スピードを増やすように最適化された様式を含めて、注釈情報のどんな様式や構成が用いられるようになっていてもよい。
【0036】
メディアファイルを再生している間に、クライアント104はファイルのフレームに対応付けられた注釈を表示するようになっている。例えば、動画フレームに重ねあわされた文字として、あるいはフレームと並んで見せられた図形として、あるいは動画と時を同じくして再生されたオーディオとして、注釈は表示され得る、注釈はまた別個の表示窓あるいは動画の直前のフレームに現われるかもしれない。注釈はまた、対応付けられたメディアファイルがどのように表示されるべきであるかに関しての命令を含み得る。注釈によって指示されるように、命令注釈は動画を表示することを含み得る。例えば、注釈に対応して、クライアント104は動画の異なった場所にスキップする、スローモーションで動画の一部分を表示する、又は一緒に異なる動画へジャンプするようになっていてもよい。
【0037】
クライアント104は、利用可能な注釈の一部を示すことができる。例えば、図2の動画を見ているユーザは、さまざまな基準の指定に従ってクライアント104により表示されるべき注釈を選択することができる。ユーザは、注釈の特定のタイプ(例えば、コメント、文字、図形、オーディオ)だけを、あるいは表示の特定の領域によって定義された注釈だけを受信することを選ぶことができる。ユーザは、(キーワードのような)特定の検索基準と一致するか、あるいは特定のユーザによって著作された、特定の言語内の注釈を受信することを選ぶことができる。他の例として、注釈が共同のユーザコミュニティの中で書かれた又は編集されたときに、ユーザは特定の閾値以上の評判をもつユーザによって著作された注釈だけを受信すること、あるいは特定の閾値以上のレーティングをもつ注釈だけを受信することを選ぶことができる。ユーザはまた注釈を検索し、そして注釈検索の結果に基づき対応付けられた動画を取り出すことができる。
【0038】
特定の注釈は、それらが表示されないようにすることをユーザに認めない優先順位を与えられ得る。例えば、広告注釈もまた表示される場合を除き、他の注釈が表示されない故に作成される、広告を含み得る。このような構成は、広告注釈の支払いを避けている間、ユーザが特定の注釈を見ることを妨げるであろう。表示するための注釈を決定する方法が、図8に関連して記述される。
【0039】
ユーザはまた、クライアント104を使って注釈を編集することができる。例えば、図2に示された注釈を見ているユーザは、注釈1に不満であるかもしれない。ユーザはクライアント104につながれた入力装置を使って、注釈文字「副大統領」を「合衆国副大統領」に変更する。注釈の将来の表示(このユーザあるいはもしかすると他のユーザへ)は、変更された文字「合衆国副大統領」を含むであろう。他の選択肢として、ユーザは注釈がもつあるいは関連した時間的又は空間的な定義を変更することができる。例えば、鋭いユーザは、フレームの右端に示された文書が実際は15合衆国法典§§78dd -1からの抜粋であること、そして憲法(ほとんど完全に大統領の位置によって不明瞭にされているにもかかわらず)がフレームの左端でただかろうじて目に見えることを認識するかもしれない。例えばクライアント104につながれた入力装置を使って、異なる場所へ空間的な定義をドラッグする(例えば、動画のフレームを説明している直接操作ユーザインタフェースで)ことによって、ユーザは、結果的に注釈3が対応付けられた時間的な定義を変更することができる。
【0040】
どのようにしてクライアントは注釈とそれらに対応付けられたフレームをまとめることができるかの1つの例として、注釈リスト280は説明の目的のために図2に示される。注釈リスト280は、フレームあるいはフレームの範囲に対応付けられた注釈を管理又は表示するために利用される、しかし種々のクライアントはこの発明の本質から逸脱せずに別に注釈をまとめることができる。
【0041】
図1に示すように、1つのクライアントは時々同じ動画の多重インスタンスにアクセスでき、また、異なったクライアントはさまざまな異なったインスタンスにしばしばアクセスできる。図3は、同じ動画の2つのインスタンスを作り出しているフレームの系列を示す。例えば、動画インスタンス304はオンライン動画ストアから受信した同じ動画の複写であり得るのに、動画インスタンス302はケーブルチャンネルから受信した動画の複写であり得る。他の例として、動画インスタンス302は第1の放送局から信号を受信する第1のユーザのディジタルビデオレコーダによって記録された動画の複写であり得るのに対して、動画インスタンス304は第2の放送局から信号を受信する第2のユーザのディジタルビデオレコーダによって記録された同じ動画の複写であり得る。
【0042】
動画インスタンス302は動画インスタンス304とは無関係に獲得されるけれども、2つのコピーは時間的に同期されていない及び/又は長さの異なっていることがありうる。例えば、動画インスタンス302はチューリッヒチャンネル、その時間の正確さと良いセンスで知られているテレビジョン系列から記録されたかもしれない。動画インスタンス304は、他方、タルサTV、そのいい加減な番組とでたらめなタイミングで知られているテレビジョン系列から記録されたかもしれない。それで、図3に示されるように、第1のインスタンスのフレームは、必ずしも第2のインスタンスのフレームに対応しないかもしれない。さらに、所定の番組又は放送の異なるインスタンスの間に生じうる多数の他の相違点がある。これらは限られないが、符号化パラメーター(例えば、分解能、フレーム率)の違いとファイル形式の違いを含む。
【0043】
示された例において、動画インスタンス302のフレーム306は、動画インスタンス304のフレーム308に関してタイムシフトされている。フレーム308の第1のフレームは、フレーム306の3番目のフレームと同じコンテンツを持つ。注釈が1ユーザによって動画の特定のフレームに対応付けられるならば、動画のさまざまなインスタンスの間でタイムシフトされる可能性にもかかわらず他のユーザに示されるとき、それらがそれらのフレームで表示されることは望ましい。なお、動画インスタンス304は4つのフレームを持つのに対して、動画インスタンス302は6つのフレームを持つ。
【0044】
注釈が動画のさまざまなインスタンスで適切に表示され得るように、注釈サーバ110はフレームのこのタイムシフティングの責任をとる。例えば、フレーム306の3番目のフレームに入る運転者を記述する注釈を仮定する。もしこの注釈がフレーム306に関してインデックス付けられているならば、注釈が動画インスタンス304に適切に表示され得るように、注釈サーバ110はフレーム308に関するインデックスへこのインデックスを転送する。注釈サーバ110は、1つの動画インスタンスを他へマッピングすることによって、注釈インデックスを転送する。
【0045】
図4(a)を参照すると、注釈404は動画の正規インスタンス406にインデックス付けられる。説明の目的のため、それにインデックス付けられた注釈を持つ動画インスタンスは正規インスタンスとして参照される、そしてクライアントで表示されるであろう動画のインスタンスは クライアントインスタンスとして参照される。1実施例によれば、注釈は2以上のクライアント間で多方向に共用され得る。従って、動画の正規インスタンスが確定的でない可能性がある。 用語「正規インスタンス」とは、注釈を交換する際の動画のインスタンスの役割に言及していることを理解されるべきであって、全体としての動画分配システム又は注釈フレームワーク内における動画のコピーのステータスを必ずしも言及するものではない。
【0046】
ビデオサーバ108は、チャンクに動画コンテンツを記憶するかもしれない。チャンクに動画を記憶するための1つのシステム及び方法は、2006年6月30日付特許出願第11/428,319号「動的なメディア提供インフラストラクチャー」マニッシュ・ガプタ他、代理人整理番号24207‐11584、2006年1月6日付仮出願第60/756,787号「メディア記事の不連続なダウンロード」マイケル・ユー他、代理人整理番号24207‐11081に開示され、両方ともがそれら全体における参照によりここに組み込まれる。図4(a)は、チャンク402Aとチャンク402Bとして記憶された動画の正規インスタンスを示す。1つのチャンクは、動画を記憶するための1つのデータ要素である。チャンクに動画を記憶することは、効率的なインデックス付けと動画の転送に有益であって、そしてより処理しやすいサイズの動画データとしての取り扱いを可能にさせる。
【0047】
図2に関連して記述されたように、注釈は動画中の特定のフレームに対応付けられ得る。注釈と特定のフレームの間の関連性は、注釈を動画の特定のインスタンス内のフレームにインデックス付けることによって記憶される。注釈404Aは、例えば、動画の正規インスタンス406のフレームに、この場合チャンク402A内のフレームに、インデックス付けられる。
【0048】
図2に関連してまた記述されたように、注釈は動画内中のフレームの範囲に対応付けられ得る。動画の1以上のフレームセットは、時々動画のセグメントとして言及される。注釈404Dは、例えば、動画の正規インスタンス406の動画のセグメントに、この場合チャンク402Bの1以上のフレームに含まれているセグメントに、インデックス付けられる。
【0049】
クライアントは動画源又はサーバ(図1に関連して記述されるそれらの1つのように)から動画を受け取り、そして動画のクライアントインスタンス408としてコピーを記憶する。クライアントは動画を表示するけれども、クライアントは定期的に、注釈サーバから、表示しようとしている動画のフレームに対応付けられた注釈を受け取る。それらに対応付けられたフレームと一緒に表示するのに十分な時間内で、注釈がリクエストされ、取り出され、伝送されそして受け取られることを確実にするために、フレームが表示される前の或る時点でクライアントは該フレームに対応付けられた注釈をリクエストする。
【0050】
更なる効率性のために、クライアントは、動画のセグメントに対応付けられた注釈のリクエストの中に特定のフレームに対応付けられた注釈を組み合わせることができる。リクエストは、例えば、所定の動画に対応付けられた注釈のすべてを取り出すために捜し求めることができる。示された例において、クライアントは動画のセグメント409に対応付けられた注釈をリクエストする。注釈のリクエストは、セグメントの個々のフレームに対応付けられた注釈、又はセグメントのフレームの上位セット又はサブセットに対応付けられた注釈を返すであろう。例えば、クライアントは、動画のセグメント409に正確に対応付けられた注釈、動画のセグメント409の個々の動画に対応付けられた注釈、あるいは全部の動画に対応付けられた注釈をリクエストすることができる。
【0051】
図4(b)を参照すると、注釈サーバ110は、動画のクライアントインスタンス408を動画の正規インスタンス406にマップする。マッピング412は、動画のクライアントインスタンス408のフレームと動画の正規インスタンス406のフレームとの間の対応付けを記述するものである。注釈サーバ110は、いろいろなテクニックを使って動画のクライアントインスタンス408を動画の正規インスタンス406にマップすることができる。この発明の1実施例によれば、注釈のクライアントリクエストは、動画のクライアントインスタンス408の特徴を含む。特徴は、似たような動画の1以上のフレームのコンテンツの簡潔な表現である。例えば、注釈サーバ110は、シーンあるいはショットのような、論理的な単位にフレームをグループ化してよい。注釈サーバ110は、自動的にフレームをグループ化するためのシーン検出アルゴリズムを使ってよい。1つのシーン検出アルゴリズムは、ここに参照によって組み込まれた、Naphade,M.R.など、「多重キューを使った高効率ショット境界検出アルゴリズム」、イメージプロッセシングの1998年インターナショナルカンファレンス(1998年10月4-7日)、第1巻884‐887ページに記述されている。
【0052】
従って、注釈サーバ110は、同じシーン(情景)に属するすべてのフレームのための1つの特徴を計算することができる。その特徴は、例えば、時間的、空間的、あるいは周波数の領域における特徴の記述であり得る。例えば、クライアントは、特定のフレームに対応付けられた注釈をリクエストすることができ、そして、その時間的、場所的、そして周波数の領域の特徴によって該フレームを記述することができる。クライアントは、ここに参照によって組み込まれた、Zabih,R.,Miller,J.,そしてMai,K.、「シーンブレイクを検出し分類するための特徴をベースとしたアルゴリズム」、Proc.ACMマルチメディア95、サンフランシスコ、カリフォルニア州(1993年11月)、189‐200ページ、Arman,F.,Hsu,A.,及びChiu,M‐Y、「エンコードされた動画シーケンス上のイメージプロセッシング」、マルチメディアシステム(1994年)、第1巻,5番,211‐219ページ、Ford,R.M.他、「ディジタル動画シーケンス中のショット境界検出のための測定基準」、マルチメディアシステム(2000年)、第8巻,37‐46ページ、に記述されるように、動画の特徴を決定するためにどんなテクニックでも使うことができる。当業者であれば、動画の特徴を決定するための様々なテクニックを理解するであろう。
【0053】
一般的に、距離関数は、フレームの潜在的なセットの親密さを獲得する特徴のユニバースの上に定義される。注釈サーバ110がその特徴セットとともに、或るフレームのために注釈のリクエストを受けるとき、サーバは最初に動画の正規インスタンス406内の最も近いフレームに当該リクエスト内のフレームをマップすることを試みる。注釈サーバ110は、動画のクライアントインスタンス408中のフレームの時間的な位置(特徴セットの中の特徴の1つ)を使用し、例えば選択されたフレームの前後に時間又はフレームの固定量の範囲内でフレームのための候補セットを制限することによって、このフレームにもしかしたらマップするかもしれない正規動画406中のフレームセットを絞り込む。候補セット中のすべてのフレームのために、注釈サーバ110はクライアント408のフレームの特徴セットと、正規動画406のフレームの特徴セットとの間の距離を計算する。最も短い距離を持つ正規動画406のフレームは、マッチングフレームとして名づけられる。クライアントフレームは、それからマッチングフレームにマップされる。もし最も近いフレームへの距離がある閾値より大きいならば、良いマッチの不在を示し、注釈は返送されない。このマッピングを生成するために使われた特徴によって記述されたコンポーネントは、注釈がリクエストされている動画セグメント中に存在してよいが、しかし必ずしもそうである必要がない。同様に、特徴によって示されるコンポーネントは、注釈がインデックスされたところの動画のセグメント中に存在してよいし存在していなくてもよい。
【0054】
これらの特徴は一連のもの(ストリング)として表現されていてよく、例えば、注釈サーバ110が、特徴ストリングからフレームへ反転されたインデックスを使って該特徴を検索できるようにする。注釈サーバ110はまた、特徴セットについて距離測定基準を定義することによって、そして最小の距離を持つ候補フレームを選択することによって、特徴を検索するようにしてよい。このようなマッピングはサーバ110がクライアントリクエストを受信するときに起こるようにしてもよいし、あるいは注釈サーバ110がオフライン処理で距離を前もって計算し維持するようにしてもよい。
【0055】
マッピング412を使って、注釈サーバ110は動画の正規インスタンス中の動画の対応するセグメント414を決定する。動画の対応するセグメント414は、上述したように、動画のセグメント409のコンテンツに密接にマッチするコンテンツを持つ。理想的な条件の下で、動画の対応するセグメント414は、動画のセグメント409として同じフレームのインスタンスを含む。注釈サーバ110は、動画の正規インスタンス中のフレームにマップするクライアント動画408中のそれぞれのフレームをフレーム番号に対応付けて、そしてそれぞれのフレームマッピングのためにフレーム番号のリストを維持する。1例において、フレーム番号のリストの長さは動画のクライアントインスタンス408中のフレーム数と等しく、各エントリーは対応するフレームを動画の正規インスタンス406中のフレームにマップする。
【0056】
注釈サーバは、動画の対応するセグメント414に(あるいは動画の対応するセグメント414の上位セット又はサブセット)にインデックスされた注釈を決定する。図4(b)の例に示されるように、注釈404Dは動画の対応するセグメント414に合った動画のセグメントにインデックスされる。セグメント409のための注釈のリクエストに応えて、注釈サーバ110はクライアントに注釈404Dを転送する。
【0057】
随意的に、注釈サーバはまた、注釈が対応付けられた動画のセグメントを記述している情報を送ることができる。例えば、参照ポイントとして特徴を使って、注釈サーバはその参照ポイントに関してフレーム(あるいはフレームの範囲)を記述し得る。
【0058】
図5は、動画と注釈の構成を表す。図5は、どのようにして注釈が注釈サーバの中で動画の正規インスタンスにインデックス付けされ得るかを示す。
【0059】
1実施例によれば、注釈は注釈の保管庫(リポジトリ)に記憶される。動画の正規インスタンスは、動画の保管庫(リポジトリ)に記憶される。注釈と保管庫は同じサーバに含められ得る、又はそれらは異なるサーバに含められ得る。例えば、注釈は注釈サーバ110に記憶され得るし、そして動画は動画サーバ108に記憶され得る。
【0060】
注釈は、動画のセグメントへの指示を含む。例えば、注釈404Dは、時間的な定義510Dを含む。時間的な定義は、動画の正規インスタンスの1以上のフレームを指定する。示された例において、時間的な定義510Dは、動画の正規インスタンス406のフレーム504の1つを参照する。他の例として、注釈404Fは時間的な定義510Fを含む。時間的な定義510Fは、動画の正規インスタンス406のフレームの範囲を参照する。前記時間的な定義は、限らないが、文書の識別子、フレーム識別子、タイムコード、フレームで表した長さ、ミリ秒で表した長さ、種々の他の組合せを含むいろいろな測定基準を使って記述され得る。
【0061】
前記時間的な定義は、どのようにして注釈は動画のセグメントに対応付けられ得るかの1つの例である。注釈を動画のセグメントに対応付けるための他の方法は、ここで説明する発明の本質から逸脱せずに、当業者に明らかであろう。
【0062】
注釈はまた、注釈コンテンツ511を含む。注釈コンテンツは、例えば、オーディオ、文字、メタデータ、命令、メディアファイルに対応付けられるのに有用な他のいかなるデータを含む。注釈は、注釈が対応付けられたフレームの領域(あるいはフレーム)を指示する空間的な定義509をオプションとして含み得る。空間的な定義509の使用は、フレーム上で特定の空間的な位置に注釈を対応付けるための1方法の例である。
【0063】
1例として、動画の対応するセグメント414がフレーム504を含むと仮定する。動画の対応するセグメント414は、タイムコードの領域として定義され得る。注釈サーバは、動画の対応するセグメント414を定義しているタイムコードの領域内にある又は重なっているタイムコードを参照して注釈を検索することによって注釈を取り出す。注釈サーバは、注釈コンテンツ511Dを含めて、注釈404Dを取り出す。注釈サーバは、注釈コンテンツ511Dを表示するクライアントに注釈コンテンツ511D(あるいは注釈コンテンツ511Dを含む注釈404D)を転送する。
【0064】
図6は、この発明の1実施例に従い、表示のイベントトレースと動画に対応付けられた注釈の変更例である。クライアント104は、動画サーバ106又は動画情報源102から動画のセグメントを受け取り、そして動画のクライアントインスタンスとしてコピーを記憶する。クライアントは、特徴検出アルゴリズムを使ってセグメントを処理し、動画の第1のセグメントに基づく特徴を決定する602。クライアントは、注釈サーバ110へ、動画の第2のセグメントに対応付けられた注釈のためのリクエスト、すなわち該特徴を含むリクエスト、を送る。
【0065】
動画の第1のセグメントは、動画の第2のセグメントと同じようにいくつかのフレームを含むかもしれないが、しかし必ずしもそうである必要もない。動画の第2のセグメントに対応付けられた注釈のためのリクエストに含まれている特徴は、隣り合ったセグメントから動画の第2のセグメントまでさらに特徴を含んでいてもよい。
【0066】
注釈サーバが適切な注釈を取り出すことができるように、リクエストはまた動画のコンテンツ又はタイトルを記述しているメタデータを含み得る。例えば、オンラインストアから購入された動画は、利用できる注釈のセットを通すために使用されうる動画タイトルを持っているかもしれない。他の例として、放送テレビジョン又はケーブルから獲得された動画のために注釈サーバに送られたメタデータは、動画が獲得された時間とチャンネルの記述を含み得る。注釈サーバは、適切な動画を決定し、その動画に対応付けられた注釈を取り出すために、この時間とチャンネル情報を使用することができる。
【0067】
注釈サーバ110は、注釈のためのリクエストを受信する。注釈サーバ110は、動画の正規インスタンス中のリクエストに含まれている特徴を検索し604、そして動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを作成する。1実施例において、注釈のためのリクエストは、注釈を取り出すための特定の動画を示しているメタデータを含み、そして注釈サーバ110は特徴のためのこのメタデータによって示された動画中の正規のインスタンス内を検索する604。
【0068】
注釈サーバ110は、動画に対応付けられた注釈のための注釈保管庫を検索し、注釈を返す。例えば、注釈サーバ110は動画の正規インスタンスにインデックス付けされた注釈を検索することができる。2つのインスタンス間のマッピングを使って、注釈サーバ110は動画のクライアントインスタンスのインデックスへ動画の正規インスタンスのインデックスを転送することができる。
【0069】
注釈サーバ110は、クライアントへ動画に対応付けられた注釈を送る。1実施例によれば、注釈はまた、該注釈に対応付けられた1以上のフレームセットを定義しているインデックス情報を含む。注釈サーバ110は、例えば、特徴に関しての関連性をインデックス付けることにより、注釈に対応付けられたフレームを定義することができる。
【0070】
クライアント104は、注釈を受け取り表示する610。クライアント104はまた、注釈が動画のクライアントインスタンスとともに適切に表示されるように、注釈のためのインデックス情報を処理することができる。
【0071】
随意的に、クライアントはユーザから注釈の変更を受け取る612。例えば、ユーザは文字を編集すること、オーディオを再録すること、注釈コンテンツ中に含まれるメタデータを変更すること、あるいは注釈命令を変えることができる。クライアント104は、注釈サーバ110に変更された注釈を送る、あるいは、代わりに、注釈サーバ110に変更内容を送る。
【0072】
注釈サーバ110は、変更された注釈を受け取る。注釈サーバ110は、変更された注釈を記憶し614、動画の正規インスタンスへ変更された注釈をインデックス付ける。注釈サーバ110は、いろいろな方式を使って動画の正規インスタンスと一緒に、変更された注釈をインデックス付けることができる。例えば、注釈サーバ110は、前に確立されたマッピングを使って動画のクライアントインスタンスにインデックスを転送することができる。他の例として、クライアント104は変更された注釈と一緒に特徴を含むことができる、そして注釈サーバ110は動画のクライアントインスタンスと動画の正規インスタンスとの間に新しいマッピングを確立することができる。
【0073】
説明の目的のために、特徴はクライアント104から注釈サーバ110までのフローとして示されている。しかしながら、動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを確立する目的のために、特徴はどちらの方向でも流れ得る。クライアント104によって送られた特徴に基づいてこのマッピングを維持している注釈サーバ110の例は説明の目的のために与えられるものであり、これに限定されない。他の実施例において、例えば、クライアント104へ注釈サーバ110によって送られた動画の正規インスタンスの特徴に基づいて、クライアントは動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを維持する。さらに他の実施例において、サードパーティは注釈サーバ110とクライアント104の両方から特徴を受け取ることによって、動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを維持する。
【0074】
クライアント104はまた、新しい注釈を提示するために使われ得る。例えば、ユーザは注釈コンテンツを作成して、それを動画に対応付けることができる。ユーザはまた、新しい注釈のために空間的な定義を指定し、注釈がインデックス付けられるであろう動画のクライアントインスタンスのフレームの範囲を選択することができる。クライアント104は、保管庫のために注釈サーバ110へ新しい注釈を転送する。
【0075】
図7(a)を参照すると、ユーザはグラフィカル・ユーザ・インタフェースを使って、注釈を検索、作成、編集することができる。示された例において、注釈のためのグラフィカル・ユーザ・インタフェースは、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702に組み入れられる。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、クライアント104の表示装置上に示されるかもしれないインタフェースの例である。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、メディアファイルを選択する、再生する、一時停止する、早送りする、そして巻き戻しするためのコントロールボタンのみならず、メディアファイル(示された例において動画)を提示するための表示エリアを含む。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702はまた、図7(a)に示された国立公文書館の広告のような、広告を含む。
【0076】
ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、動画のフレームを提示する。動画のフレームと一緒に示されるのは、注釈定義704である。注釈定義704は、注釈の空間的な定義及び/又は時間的な定義を図式的に示す。例えば、図7(a)に示される注釈定義704は、注釈が対応付けられたフレームのサブセットを描写する。他の例として、注釈定義704は、注釈が対応付けられたフレームの範囲を描写することができる。図7(a)には1つの注釈定義704が示されているが、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、この発明の本質から逸脱することなく、複数の注釈定義704を含み得る。
【0077】
注釈定義704は、ユーザ選択に応じて、あるいは既存の注釈の表示の一部として表示され得る。例えば、ユーザは新しい注釈が対応付けられるであろうフレームの領域を選択するために入力装置を使うことができ、そしてその選択に応じてビデオプレーヤーグラフィカル・ユーザ・インタフェース702はユーザによって作成された注釈定義704を表示する。他の例として、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、動画と対応付けた注釈を表示することができ、そして対応付けた注釈を表示することにあわせて注釈定義704を表示することができる。
【0078】
ビデオプレーヤーグラフィカル・ユーザ・インタフェース702はまた、ユーザがコンテンツ及び注釈の表示をコントロールできるようにする注釈コントロールボタン706を含む。例えば、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、注釈を検索するためのボタンを含み得る。検索注釈ボタンの選択に応じて、クライアントは注釈定義704(あるいは類似の定義)に対応付けられた注釈又はキーワードに対応付けられた注釈を検索する。検索結果はそれから、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702に表示され得る。他の例として、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、注釈を編集するためのボタンを含み得る。検索編集ボタンの選択に応じて、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は注釈定義704に対応付けられた1以上の注釈を表示し、ユーザが1以上の注釈を修正できるようにする。さらに他の例として、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、新しい注釈を作成するためのボタンを含み得る。新しい注釈作成ボタンの選択に応じて、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、図7(b)に示されたようなオプションを表示する。
【0079】
図7(b)を参照すると、注釈コントロールボタン706は新しい注釈作成ボタンが選択されていることを示す。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、新しい注釈コンテンツのユーザ入力を受け取るための表示領域を含む。示された例において、新しい注釈コンテンツはいくつかの新しい注釈文字708を含む。図7(b)に示されるように、ユーザが記述「マッカーサー将軍」を入力するときに、新しい注釈文字708が表示される。注釈コンテンツのオーサリングが完了したことを示す更なるユーザ選択に応じて、新しい注釈が例えば注釈サーバ110に提出されて、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702に表示される。
【0080】
新しい注釈文字708の記入は、注釈コンテンツの執筆者の1例として示されている。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、その上注釈コンテンツの他のタイプを受信するようになっている。例えば、注釈コンテンツはオーディオを含むことができ、そしてビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、マイクを通してオーディオのレコーディングをスタートするためのボタン、あるいは記憶媒体上の指定区域からオーディオファイルを選択するためのボタンを含み得る。注釈の他のタイプとユーザによるそれらの提出を受け取るための方法は、この発明の本質から逸脱せずに、当業者に明らかであろう。
【0081】
図8は、表示する注釈を決定するための方法を表す。1実施例において、クライアント104は受信した注釈のいくつかだけを表示する。クライアント104は、どちらの注釈が表示されるべきかあるいは表示されるべきでないかを決定するために、図8に示された1つのような方法を実行する。
【0082】
クライアント104は、注釈を受信する802。クライアントは、その注釈が最優先かどうかを判断する804。最優先の注釈は、注釈の表示のためのユーザ設定にかかわらず表示される。最優先の注釈は、例えば、広告、緊急の放送メッセージ、あるいはローカルなユーザ設定に取って代わるべき重要性がある他の通信を含む。
【0083】
もしクライアント104が注釈が最優先であると804で判断するならば、クライアントはその注釈を表示する812。もしクライアント104が注釈が最優先でないと804で判断するならば、クライアントは注釈が有効にされるかどうかを判断する806。注釈は、例えば、注釈表示モードのユーザ選択によって有効にされ得る又は無効にされ得る。もしユーザが注釈を無効にすることを選択していたならば、クライアント104は注釈を表示しない810。もしユーザが注釈を有効にすることを選択していたならば、クライアント104は注釈がユーザ定義基準にマッチするかどうかを判断する808。
【0084】
ここに記述されるように、クライアント104はユーザがいろいろな基準に基づき表示のための注釈を選択できるようにする。1実施例において、ユーザ定義基準は、注釈サーバ110によって送られた注釈を限定する、注釈用リクエストの中に記述され得る。他の実施例において、ユーザ定義基準は、注釈がクライアント104で受信されるやいなや、どの注釈を表示するかを制限するのに使われ得る。ユーザ定義基準は、例えば、言語、注釈コンテンツ、主要な著作者又は著作者のグループ、あるいは他の注釈属性に基づいて、どの注釈を表示すべきかを特定することができる。
【0085】
もしクライアント104が注釈はユーザ定義基準を満足すると808で判断するならば、クライアント104は注釈を表示する812。 もしクライアント104が注釈はユーザ定義基準を満たさないと808で判断するならば、クライアント104は注釈を表示しない810。
【0086】
図8は、クライアント104がどの注釈を表示すべきかを如何にして決定するかの1つの例を表す。注釈プロバイダーと注釈消費者によって確立された注釈優先順位を裁定するための他の方法は、この発明の本質から逸脱せずに、当業者に明らかであろう。
【0087】
ここに開示された動画の正規インスタンスを参照すると、動画の正規インスタンスはさまざまな実施例に従っていろいろな方法に組み入れられ得る。ある場合には、注釈サーバ110は新しい注釈の提出に先立って動画の正規インスタンスを選択した。クライアント104は、動画の正規インスタンスに対する新しい注釈のインデックス付けを容易にするために特徴を送ることができる。他の場合では、例えば、その注釈が或る特定の動画に対応付けられるべき最初のものであるとき、注釈サーバ110はまだ動画の正規インスタンスを特定しなかったかもしれない。 注釈サーバ110は、動画のクライアントインスタンスにインデックス付けされた注釈を記憶し、そして将来の注釈トランザクションのために動画の正規インスタンスとして動画のクライアントインスタンスを確立する。
【0088】
この発明の1実施例によれば、注釈は、記憶され、その注釈を提出したクライアントによって使われる動画のインスタンスの特徴にインデックス付けされる。注釈は記憶されることができ、そして内在している正規インスタンスなしで取り出されることができる。例えば、それぞれの注釈は、提出者の動画のインスタンスを参照するそれ自身の「動画の正規インスタンス」にインデックス付けされ得る。このようなアプローチは、注釈サーバ110が維持しないあるいは動画それ自身のコピーへのアクセスを持つ状況のために特に有益である。基本的に、注釈サーバ110は、それらの注釈が対応付けられた動画のそれ自身のコピーなしで執筆者から消費者まで注釈を送っている、注釈の見えないブローカーとしての機能を果たすことができる。
【0089】
コンテンツ‐ブラインド注釈サーバは、例えば、動画コンテンツが著作権を取得している、私的である、あるいはさもなければ秘密であるときに、有益であり得る。例えば、得意な母親は彼女の息子の最初の入浴のフィルムに注釈を付けたいかもしれない、しかし中央注釈サーバに動画の参照インスタンスさえ提出することに気が進まないかもしれない。コンテンツ‐ブラインド注釈サーバは、それ自身のインスタンスへのアクセスなしで、動画の母親のインスタンスにインデックス付けられた注釈を記憶する。叔母、叔父、あるいは動画のインスタンスと一緒の他の信頼できるユーザが注釈をリクエストするとき、彼のインスタンスは注釈の提出と一緒に受け取られた母親のインスタンスの特徴に彼のインスタンスの特徴の比較によって母親のインスタンスにマップされる。特徴は、フレームのコンテンツを見つけるために簡単に無効にされえないこのような方法で決定され得、このようにして動画のプライバシーを維持され得る。
【0090】
このような注釈サーバとクライアントのケースは、この発明が動画用の注釈の共有と分配のために有益に用いられるかもしれない1つの例でしかない。対応付けられた動画を転送する必要性なしに注釈を転送するためのここに記述された方法は、この発明の本質から逸脱せずに多様な他の利用法を持つであろうことを、当業者に明らかであろう。例えば、ここに記述された特徴は、直接的に動画を転送する又は受け入れる負担なしで、ユーザが執筆、編集、書評、公開、そして協力し合って注釈を見ることができるオンラインコミュニティの中で使用することができる。このようなコミュニティは、それらの注釈が対応付けられた動画の著作権保護を侵害することなしに、注釈のオープンソース様式の生成を許可するであろう。
【0091】
付加的な特徴として、そのようなコミュニティ内のユーザはまた、例えば、そのユーザの以前の執筆又は編集の品質の他のユーザのレビューに基づいて、評判を蓄積することができる。注釈を見たいユーザは、特定の閾値を下回る評判をもつユーザからの注釈を無視する、あるいはことのほか高い価値の評判をもつユーザによる注釈を検索するためにオプションを持つことができる。他の例として、 ユーザはただ特定のユーザからのみあるいはユーザの特定のグループからのみの注釈を見ることを選択することができる。
【0092】
ここに記述されたように、注釈はまたどのように動画は表示されるべきであるかを記述している命令、例えば、表示装置にその動画の正方向に読みとばすことをあるいは完全に他の動画に飛ぶことを教える命令を含み得る。ユーザは、ジャンプトゥ命令(jump-to command)注釈の文字列を執筆することができ、より大きい断片の中に動画セグメントの組合せのための示唆を効果的に提供することができる。1例として、命令注釈は1以上の他の映画の構成要素から新しい映画を作るために使用され得る。注釈サーバは、注釈によって指定された様々なセグメントを獲得し、ユーザへ表示するために断片を集めるクライアントに注釈を提供する。
【0093】
この発明は、それに限定されるものではないが、ピアツーピア (peer-to-peer)、分散型ホスティング、ウィキスタイル (wiki-style) ホスティング、集中型サービング、あるいはネットワークを介してデータを共有するための他の周知の方法を含む、様々なホスティングモデルのいずれにも適用可能である。
【0094】
ここに記述された注釈フレームワークは、複数の収益モデルのための機会を提供する。1例として、注釈サーバのオーナーは注釈に広告を含めるための費用を請求することができる。注釈サーバは、いろいろな要因に基づいてユーザに広告注釈をターゲットにすることができる。例えば、注釈サーバは、クライアントが表示している動画のタイトルやカテゴリ、ユーザについての知り得た事実、最近の注釈検索リクエスト(キーワード検索のような)、動画のために以前提出した他の注釈、クライアントの地理的位置、あるいは広告を効果的にターゲットにするために役立つ他の基準、に基づき、該クライアントへ送信するための広告を選択することができる。
【0095】
注釈へのアクセスは予約購読根拠の状態で供給され得る、あるいは注釈は動画コンテンツそれ自身を持っているパッケージで売られ得る。例えば、オンライン動画ストアから動画を購入するユーザは、その動画または他の動画のどちらかに対応付けられている注釈を見る、編集する、あるいは執筆(オーサリング)するための許可を与えられるかもしれない。オンライン動画ストアは、例えば、1カ月の動画の所定数の購入がその月の注釈サーバ上でユーザ特典を与える、という販売促進を持つかもしれない。
【0096】
代わりに、オンライン動画ストアからの動画の購入は、その動画に対応付けられた注釈を執筆(オーサリング)する、編集する、あるいは見るための特典に結びつけられるかもしれない。もし特定の注釈サーバがユーザにことさら評判が良くなるならば、注釈サーバへの制御されたアクセスは動画の著作権の保護を手助けすることができる。例えば、ユーザは、注釈を見る、編集する、あるいは執筆(オーサリング)することが許可される前に、彼が資格を持っている合法的に獲得された動画のコピーを持つことを証明しなければならないかもしれない。このような要件は、不法に獲得された動画のコピーの有用性又は望ましさを損ない得る。
【0097】
収益モデルのこれらの例は、説明の目的のために与えられて限定されない。他の応用例と潜在的な収益性の高い用途は、この発明の本質から逸脱せずに、当業者に明らかであろう。
【0098】
明細書内での「1実施例」あるいは「実施例」は、特定の特徴、仕組み、あるいは実施例に関連して記述した特徴がこの発明の少なくとも1実施例に含まれることを意味する。明細書内のあらゆる箇所でのフレーズ「1実施例において」の出現は、必ずしもすべて同じ実施例に言及していない。
【0099】
なお、この発明に係る処理ステップと命令群はソフトウェア、ファームウェアあるいはハードウェアの形態で実装されるようになっていてよく、また、ソフトウェアの形態で実装されたときには、いろいろなオペレーティング・システムによって使われる異なったプラットホームに属して操作されるためにダウンロードされるようになっていてよい。
【0100】
この発明はまた、ここに演算を実行するための機構と関係を持つ。この機構は、所要の目的のために特に組み立てられるかもしれない、あるいはそれはコンピュータに記憶されたコンピュータプログラムによって選択的に作動される又は再構成される多用途のコンピュータを意味するかもしれない。そのようなコンピュータプログラムは、それに限定されるものではないが、フレキシブル磁気ディスク、光学式ディスク、CD−ROM 、磁性−光学式ディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁性あるいは光学式カード、特定用途向け集積回路(ASIC)を含むディスクのあらゆるタイプ、あるいは電子命令群を記憶するのに適したメディアのあらゆるタイプ、のようなコンピュータ読み取り可能な記憶媒体に記憶されるようになっていてよく、そして各媒体がコンピュータシステムバスにつながれるようになっていてよい。さらに、明細書内で言及されたコンピュータは、シングルプロセッサを含むかもしれないし、また増大した演算能力のためにマルチプロセッサデザインを採用している構造であるかもしれない。
【0101】
ここに示されたアルゴリズムと動作は、どの特定のコンピュータや他の装置と本質的に関連付けられない。様々な多用途のシステムもやはりここの教示を踏まえてプログラムで用いられるかもしれない、あるいは必要とされた方法手順を実行するためのより専門の装置を組み立てるほうが都合がよいとわかるかもしれない。必要とされるこれらのシステムの多様性の仕組みは、同等の変形物に従って当業者に明らかであろう。さらに、この発明は特定のプログラミング言語に関連付けられて記述されない。プログラミング言語の種類はここに記述されたようなこの発明の教示を実装するのに用いられるかもしれないこと、そして特定の言語へのどんな言及でも実施要件の開示とこの発明の最良の形態が規定されていることが分かる。
【0102】
この発明は、好ましい実施例といくつかの代わりの実施例に対応付けられて詳しく示され記述されているとはいえ、この発明の精神と要旨から逸脱せずに形式と明細のさまざまな変更が行われうることが当業者に理解されるであろう。
【0103】
最後に、明細書に用いられた言語は読みやすさと教育の目的のために主に選択されること、そして発明の主題を描写する又は制限するために選択されなかったかもしれないことは指摘されるべきである。したがって、この発明の開示が説明に役立つものであることが意図されるが、次のクレームで示される発明の目的を制限するものでない。
【技術分野】
【0001】
本発明は概して動画の注釈のオーサリングと表示に関し、また、ネットワークを介しての注釈の共同的な共有と編集に関する。
【背景技術】
【0002】
注釈は、動画を補うためのメカニズムに有用な情報を提供する。注釈は、例えば動画、サブタイトル、あるいは添付されたオーディオトラックのコンテンツを記述しているメタデータを含み得る。注釈は、文字、オーディオ、画像、あるいは他の種類を含む種々のデータタイプになり得る。それらのコンテンツを有意義にするために、注釈は特定の動画、あるいは動画の特定の一部分に典型的には対応付けられる。
【0003】
注釈に含まれる有用な情報がやり取りされうる1つの方式は、ネットワークを介して注釈付きの動画を転送することによる。しかしながら、ネットワークを介して動画コンテンツを転送することは、いくつかの障害をもたらす。第一に、動画ファイルは一般的に非常に大きく、そして必要とされる回線容量と記憶ニーズをサポートすることができるホストと受信側のコンピュータを必要とするのと同様に、動画を転送することはかなりの回線容量が必要である。第二に、多くの動画ファイルはおそらく著作権が取られている、あるいはさもなければ費用の支払いなしで配布を禁じられている。著作権制限のコンプライアンスは、無許可のコピーを妨げるために付加的なソフトウェアとハードウェア投資を要求する。第三に、注釈付きの動画の受信者がすでに動画の注釈付きでない動画のコピーを持っているかもしれないとき、データ効率観点から、このような受信者への注釈付きの動画のコピーの転送は不必要に回線容量と記憶の両方を消費する。
【0004】
従って、完全な動画のコピーを転送することによって注釈付きの動画を交換することは不適当な解決法である。
【発明の概要】
【0005】
メディアファイルに関連付けられた注釈は、メディアファイルのどんなセグメントとでも該注釈の適当な時間あるいは空間な関係を維持しながら、対応するメディアファイルとは無関係にデバイス間で転送される。メディアファイルに関連付けられた注釈は、そのメディアファイルの第1のインスタンスにインデックス付けられる。マッピングは、2つのインスタンスの特徴を比較することに基づいて、メディアファイルの第1のインスタンスとメディアファイルの第2のインスタンスとの間に作成される。第1および第2のインスタンスの間のマッピングを使って第2のインスタンスに注釈がインデックス付けられる。第2のインスタンスのインデックスに基づき、注釈は表示、記憶、又は修正され得る。
【0006】
インスタンスの特徴を比較することは、注釈が、メディアファイルの複数の無関係に獲得されたインスタンスに相次いでインデックス付けられるようにする。注釈の相次ぐインデックス付けは注釈が共有されることを手助けし、そして注釈者、編集者と消費者の共同のコミュニティを可能にする。注釈は、広告又はプレミアムな有料のコンテンツを含むことができる。注釈を投稿する、編集するあるいは見るための特典は、予約基準価格、無料で売りに出され得るか、あるいはメディアファイルの購入とつながり得る。
【0007】
一実施例によれば、最初のユーザは注釈サーバにメディアファイルの彼のインスタンスにインデックスされた注釈を提出する。注釈サーバは、メディアファイルの第1のユーザのインスタンスをメディアファイルの正規インスタンスにマップし、そしてメディアファイルの正規インスタンスにインデックスされた提出された注釈を記憶する。第2のユーザは注釈をリクエストする、そして注釈サーバはメディアファイルの第2のユーザのインスタンスをメディアファイルの正規インスタンスにマップする。注釈サーバは、メディアファイルの第2のユーザのインスタンスにインデックスされた第2のユーザに注釈を送る。
【0008】
この要約に記述された特徴と効果及び詳細な記述は包括的ではない。 多くの付加的な特徴と効果が、図面、明細書、請求項に照らして当業者に明らかであるであろう。
【図面の簡単な説明】
【0009】
【図1】動画プロバイダのコミュニティとコンシューマとをつなぐネットワークを示す。
【0010】
【図2】動画のフレーム、1以上のフレームへの注釈のインデックス付けを表す。
【0011】
【図3】動画の2つのインスタンスのフレームを表す。
【0012】
【図4(a)】動画の正規インスタンスにインデックス付けた注釈を表す。
【0013】
【図4(b)】動画のクライアントインスタンスを動画の正規インスタンスにマッピングすることを表す。
【0014】
【図5】動画と注釈を記憶することの一実施例を表す。
【0015】
【図6】表示のイベントトレースと動画に対応付けられた注釈の変更である。
【0016】
【図7(a)】注釈を見る、作成する、編集するためのユーザインタフェースを表す。
【0017】
【図7(b)】新しい注釈を作成するためのユーザインタフェースを表す。
【0018】
【図8】表示する注釈を決定するための方法を表す。
【0019】
上記図面は本発明の好適な実施例を例示しただけである。当業者であれば、ここで説明する発明の本質から逸脱せずに、ここに例示されている構造及び方法について他の実施例を用いることが可能であることを以下の説明から容易に理解するであろう。
【発明を実施するための形態】
【0020】
図1は、動画プロバイダのコミュニティとコンシューマとをつなぐネットワークを示す。図1は、複数のユーザが動画と注釈を交換することができる一実施例を表す。動画は、注釈が対応付けられ得るメディアファイルの例としてここに使用される。この例は説明の目的のために選ばれたにすぎず、本発明におけるメディアファイルとは動画に限定されない。注釈が対応付けられ得るメディアファイルの他のタイプは、これらに限られないが、オーディオプログラム、フラッシュ、映画(どんな符号化様式ででも)、スライドプレゼンテーション、フォトコレクション、アニメ番組、他のドキュメントを含む。 他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。
【0021】
ユーザは、クライアント104を使って注釈を見たり、執筆したり、編集したりする。注釈は、メディアファイルを有効に補うことができるどんなデータでもある。例えば、注釈はオーディオ又はテキストの記録、翻訳、広告あるいは要点、前もって決定された尺度での評価(1乃至5の星)、メタデータ、あるいはどのようにメディアファイルが表示されるべきであるかの命令であり得る。注釈はまた、動画コンテンツを含み得る。クライアント104は、動画を表示するためのソフトウェアとハードウェアを含む。例えば、クライアント104は、テレビジョン、パーソナルコンピュータ、ディジタルビデオレコーダ(DVR)、個人情報端末(PDA)、携帯電話、あるいは表示装置を持っている又はつながれた他のデバイス;MPEG−2,MPEG−4,クィックタイム,VeD,あるいは他のいかなる現在あるいは将来の動画様式のような動画ファイルをデコードするのに適したどんなビデオプレーヤーでも含むソフトウェアとして実施され得る。クライアントの他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。一実施例によればクライアント104によって使われるグラフィカル・ユーザ・インタフェースが、図7(a)と図7(b)に関連して記述されている。
【0022】
クライアント104は、ネットワーク105につながれる。ネットワーク105は、注釈コンテンツを転送しうるどんな電子媒体で構成されていてもよい。ネットワーク105を通して、クライアント104は他のクライアント104からデータを送受信することができる。ネットワーク105は、世界的規模の(例えば、インターネット)、地方の、広域の、あるいはローカルエリアのネットワークであり得る。
【0023】
動画サーバ106は、電子媒体に動画のコレクションを記憶する。クライアント104による特定の動画(あるいは特定基準に一致する動画セット)のリクエストに対応して、動画サーバ106はネットワーク105を介してクライアント104に動画を転送する。動画サーバ106は、クライアントに動画を提供するサービスに対して費用を請求するように設定されるかもしれない、あるいは無料で動画を提供するかもしれない。動画サーバ106は、例えばオンデマンドコンテンツサービス、オンラインストア、あるいはストリームビデオサーバで実施され得る。動画サーバの他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。
【0024】
クライアント104の一部はまた、動画情報源102につながれる。動画情報源102は、クライアントに動画を供給する装置である。例えば、動画情報源102は、ケーブルボックス、テレビジョンアンテナ、ディジタルビデオレコーダ、ビデオカセットプレーヤ、カメラ、ゲーム操作卓、ディジタルビデオディスク(DVD)装置、あるいはクライアント104によって読み取り可能なフォーマットで動画出力を作成し得る他のいかなる装置であり得る。動画情報源102の他の例は、当業者であればこの発明の本質から逸脱せずに明らかであろう。
【0025】
この発明の一実施例によれば、クライアント104はネットワーク105を介して動画を送ることができる。例えば、クライアント104Bは動画情報源102Bから動画を受け取ることができ、そしてネットワークを通してクライアント104Dのような他のクライアントにそれを転送することができる。クライアント104はまた、ネットワーク105を通して動画サーバ106に動画を送ることができる。クライアント104から動画サーバ106に送られた動画は、電子媒体に記憶され、他のクライアント104にとって入手可能である。
【0026】
注釈サーバ110は、ネットワーク105につながれる。注釈サーバ110は、電子媒体に注釈を記憶する。特定のメディアファイルに関連付けられた注釈のクライアント104からのリクエストに対応して、注釈サーバ110はメディアファイルに関連付けられた1以上の注釈をネットワーク105を通してクライアント104へ送る。クライアント104によるメディアファイルに関連付けられた1以上の注釈の提出に対応して、注釈サーバ110はメディアファイルに関連付けられた1以上の注釈を記憶する。注釈サーバ110は、1以上のメディアファイルあるいはその一部のインスタンス(オブジェクト指向プログラミングにおけるデータの実体)にインデックスされた注釈を記憶する。注釈サーバ110によって用いられる方法が、この発明のさまざまな実施例に従って、図4−6に関連して記述される。
【0027】
オプションとして、動画サーバ108は、ローカルに又はネットワーク105を介して注釈サーバ110に通信可能につながれる。動画サーバ108は、動画サーバ106に関連してここに記述されたように多くの同じ能力を持つことができる。動画サーバ108は、ネットワーク105を介してクライアント104へ動画を転送することができる。一実施例において、注釈サーバ110と動画サーバ108は一緒に、クライアント104へ注釈付けられた動画を転送する。他の実施例において、動画サーバ108は図5に関連して記述されたように、動画の正規インスタンスを記憶する。
【0028】
図に示されるように、いかなるクライアントでもいろいろな情報源から動画を入手できるようになっていてよい。例えば、クライアント104Aは、ネットワーク105を経由して動画情報源102Aあるいは動画サーバ106から直接的に動画を受け取ることができる。様々なクライアントは、様々な動画情報源に時々アクセスできる。例えば、クライアント104Aのように、クライアント104Bはネットワーク105を経由して動画サーバ106から動画を受け取ることができる、しかし、クライアント104Aと対照的に、動画情報源102Aの代わりに動画情報源102Bに直接アクセスできる。
【0029】
クライアントは潜在的に広い動画情報源の範囲から動画を入手することができるけれども、この発明はクライアントの動画のコピーが入手された情報源にかかわらず、特定のメディアファイル及びその一部に常に関連付けられるために、注釈サーバ110からクライアントへ注釈を送ることを許可する。メディアファイルと一体の一貫した注釈の関連性は、所定のメディアファイルの異なったインスタンス(あるいはコピー)を持っているユーザの間で注釈の交換を容易にする。この発明は、クライアントメディアファイルのさまざまなインスタンスのために注釈を再インデックス付けすることにより、複数のクライアント間で注釈の共有と交換を可能にする。例えば、2つのクライアントが異なる情報源から動画のコピーを獲得するかもしれない事実にもかかわらず、注釈サーバ110はクライアント104Aの動画のインスタンスにインデックスされた注釈を送り、そしてクライアント104Bの動画のインスタンスにインデックスされた注釈を送る。注釈サーバ110は、図4に関連して記述されたように、クライアント104によって表示された動画にふさわしいだけでなく、クライアント104が表示している動画の特定のインスタンスにふさわしい注釈を有利に提供する。
【0030】
図2を参照すると、どのようにして注釈が時間的及び/又は空間的に動画ファイル及び1以上のフレームに関連付けられるのかを説明する概念図が示されている。図2は、フレーム200からフレーム251までを流れる、動画フレームの一組を示す。クライアント104はこれらのフレームを表示する、そしてまた一時停止、巻戻し、早送り、飛び越しすることができ、あるいは別のやり方でフレームが表示される命令やスピードを調整する。
【0031】
説明の目的のため、以下の議論はフレームからなるものとして動画に言及する。動画は時々記憶されるか、又はフレームのブロック、フィールド、マクロブロックとして、あるいは不完全なフレームの一部の中で転送される。ここでフレームからなる動画について参照されるときに、中間段階の間で、動画が事実上種々の他のフォームのうちのいずれかとして記憶されてよいことが理解されるべきである。用語「フレーム」は明瞭さのためにここで用いられ、そして特定のフォーマット又は動画の記憶や表示の規約のどれにも限定されない。
【0032】
フレームのいくつかは、特定のユーザによって提供されたものとして、それらに関連付けられた(対応付けられた)注釈を持つ。示された例において、フレーム201はその対応付けられた注釈のいくつかを説明するために今まで以上に詳しく描かれている。図中に示されるように、複数の注釈が1フレーム中の特定の空間的位置に対応付けられ得るし、あるいは当該フレーム全体に対応付けられ得る。例えば、注釈1はフレーム201の上段の左隅を囲む長方形の箱(ボックス)と対応付けられる。その一方、注釈4はフレーム全体に対応付けられる。
【0033】
また、複数の注釈が、重複する複数の空間的位置に対応付けられ得る。例えば、注釈1は注釈2に対応付けられた異なる長方形の箱に重複している長方形の箱と対応付けられる。一実施例において、注釈は閉じられた外観を持つ如何なる形状によって定義された空間的位置に対応付けられ得る。例えば、図2に示すように、注釈3は楕円形の形状によって定義された空間的位置に対応付けられている。
【0034】
注釈リスト280は、注釈の空間的位置と注釈のコンテンツとの間の関連性を保持する。フレーム201において長方形の箱に対応付けられた注釈1は、文字「大統領」を含む。注釈1は、補足情報を強調するあるいはフレームの特定の部分に補足情報を加えるのに役立つ注釈の例である。注釈4はフレーム201全体に対応付けられ、そして文字「一般教書演説」を含む。注釈4は、フレームのコンテンツを要約するために使用された注釈の例である。 注釈5はフレーム201全体に対応付けられ、そして何らかのオーディオ、この場合、フランス語のオーディオ翻訳である、を含む。注釈5は補足のオーディオコンテンツを提供するために使用された注釈の例である。
【0035】
注釈はまた、メディアファイルやそのどの部分とでも時間の関連性を持ちうる。例えば、注釈は特定のフレーム、あるいはフレームの特定の範囲と対応付けられ得る。図2において、例えば、注釈5はフレーム201に対応付けられるだけなのに、注釈2はフレーム200〜251に対応付けられ得る。また、或る注釈に対応付けられた空間的位置の定義は時間的に変えることができる。例えば、注釈1はフレーム201において第1の領域と対応付けられ得る、そしてフレーム202において第2の領域と対応付けられ得る。時間と空間に依存する注釈の対応付けは、動いているオブジェクトに関して補足的情報を提供するのに特に有用であって、そして図に示された例のように、アメリカ合衆国大統領の動きに対応することができる。時間の注釈は、フレーム番号、タイムコード、あるいは他のインデックス基準によって定義されうる。テーブルとして例示した注釈リスト280は、そのような図示例で使用された内在する記憶様式に限定することを意味しておらず、記憶構成要素を減らす及び/又は検索スピードを増やすように最適化された様式を含めて、注釈情報のどんな様式や構成が用いられるようになっていてもよい。
【0036】
メディアファイルを再生している間に、クライアント104はファイルのフレームに対応付けられた注釈を表示するようになっている。例えば、動画フレームに重ねあわされた文字として、あるいはフレームと並んで見せられた図形として、あるいは動画と時を同じくして再生されたオーディオとして、注釈は表示され得る、注釈はまた別個の表示窓あるいは動画の直前のフレームに現われるかもしれない。注釈はまた、対応付けられたメディアファイルがどのように表示されるべきであるかに関しての命令を含み得る。注釈によって指示されるように、命令注釈は動画を表示することを含み得る。例えば、注釈に対応して、クライアント104は動画の異なった場所にスキップする、スローモーションで動画の一部分を表示する、又は一緒に異なる動画へジャンプするようになっていてもよい。
【0037】
クライアント104は、利用可能な注釈の一部を示すことができる。例えば、図2の動画を見ているユーザは、さまざまな基準の指定に従ってクライアント104により表示されるべき注釈を選択することができる。ユーザは、注釈の特定のタイプ(例えば、コメント、文字、図形、オーディオ)だけを、あるいは表示の特定の領域によって定義された注釈だけを受信することを選ぶことができる。ユーザは、(キーワードのような)特定の検索基準と一致するか、あるいは特定のユーザによって著作された、特定の言語内の注釈を受信することを選ぶことができる。他の例として、注釈が共同のユーザコミュニティの中で書かれた又は編集されたときに、ユーザは特定の閾値以上の評判をもつユーザによって著作された注釈だけを受信すること、あるいは特定の閾値以上のレーティングをもつ注釈だけを受信することを選ぶことができる。ユーザはまた注釈を検索し、そして注釈検索の結果に基づき対応付けられた動画を取り出すことができる。
【0038】
特定の注釈は、それらが表示されないようにすることをユーザに認めない優先順位を与えられ得る。例えば、広告注釈もまた表示される場合を除き、他の注釈が表示されない故に作成される、広告を含み得る。このような構成は、広告注釈の支払いを避けている間、ユーザが特定の注釈を見ることを妨げるであろう。表示するための注釈を決定する方法が、図8に関連して記述される。
【0039】
ユーザはまた、クライアント104を使って注釈を編集することができる。例えば、図2に示された注釈を見ているユーザは、注釈1に不満であるかもしれない。ユーザはクライアント104につながれた入力装置を使って、注釈文字「副大統領」を「合衆国副大統領」に変更する。注釈の将来の表示(このユーザあるいはもしかすると他のユーザへ)は、変更された文字「合衆国副大統領」を含むであろう。他の選択肢として、ユーザは注釈がもつあるいは関連した時間的又は空間的な定義を変更することができる。例えば、鋭いユーザは、フレームの右端に示された文書が実際は15合衆国法典§§78dd -1からの抜粋であること、そして憲法(ほとんど完全に大統領の位置によって不明瞭にされているにもかかわらず)がフレームの左端でただかろうじて目に見えることを認識するかもしれない。例えばクライアント104につながれた入力装置を使って、異なる場所へ空間的な定義をドラッグする(例えば、動画のフレームを説明している直接操作ユーザインタフェースで)ことによって、ユーザは、結果的に注釈3が対応付けられた時間的な定義を変更することができる。
【0040】
どのようにしてクライアントは注釈とそれらに対応付けられたフレームをまとめることができるかの1つの例として、注釈リスト280は説明の目的のために図2に示される。注釈リスト280は、フレームあるいはフレームの範囲に対応付けられた注釈を管理又は表示するために利用される、しかし種々のクライアントはこの発明の本質から逸脱せずに別に注釈をまとめることができる。
【0041】
図1に示すように、1つのクライアントは時々同じ動画の多重インスタンスにアクセスでき、また、異なったクライアントはさまざまな異なったインスタンスにしばしばアクセスできる。図3は、同じ動画の2つのインスタンスを作り出しているフレームの系列を示す。例えば、動画インスタンス304はオンライン動画ストアから受信した同じ動画の複写であり得るのに、動画インスタンス302はケーブルチャンネルから受信した動画の複写であり得る。他の例として、動画インスタンス302は第1の放送局から信号を受信する第1のユーザのディジタルビデオレコーダによって記録された動画の複写であり得るのに対して、動画インスタンス304は第2の放送局から信号を受信する第2のユーザのディジタルビデオレコーダによって記録された同じ動画の複写であり得る。
【0042】
動画インスタンス302は動画インスタンス304とは無関係に獲得されるけれども、2つのコピーは時間的に同期されていない及び/又は長さの異なっていることがありうる。例えば、動画インスタンス302はチューリッヒチャンネル、その時間の正確さと良いセンスで知られているテレビジョン系列から記録されたかもしれない。動画インスタンス304は、他方、タルサTV、そのいい加減な番組とでたらめなタイミングで知られているテレビジョン系列から記録されたかもしれない。それで、図3に示されるように、第1のインスタンスのフレームは、必ずしも第2のインスタンスのフレームに対応しないかもしれない。さらに、所定の番組又は放送の異なるインスタンスの間に生じうる多数の他の相違点がある。これらは限られないが、符号化パラメーター(例えば、分解能、フレーム率)の違いとファイル形式の違いを含む。
【0043】
示された例において、動画インスタンス302のフレーム306は、動画インスタンス304のフレーム308に関してタイムシフトされている。フレーム308の第1のフレームは、フレーム306の3番目のフレームと同じコンテンツを持つ。注釈が1ユーザによって動画の特定のフレームに対応付けられるならば、動画のさまざまなインスタンスの間でタイムシフトされる可能性にもかかわらず他のユーザに示されるとき、それらがそれらのフレームで表示されることは望ましい。なお、動画インスタンス304は4つのフレームを持つのに対して、動画インスタンス302は6つのフレームを持つ。
【0044】
注釈が動画のさまざまなインスタンスで適切に表示され得るように、注釈サーバ110はフレームのこのタイムシフティングの責任をとる。例えば、フレーム306の3番目のフレームに入る運転者を記述する注釈を仮定する。もしこの注釈がフレーム306に関してインデックス付けられているならば、注釈が動画インスタンス304に適切に表示され得るように、注釈サーバ110はフレーム308に関するインデックスへこのインデックスを転送する。注釈サーバ110は、1つの動画インスタンスを他へマッピングすることによって、注釈インデックスを転送する。
【0045】
図4(a)を参照すると、注釈404は動画の正規インスタンス406にインデックス付けられる。説明の目的のため、それにインデックス付けられた注釈を持つ動画インスタンスは正規インスタンスとして参照される、そしてクライアントで表示されるであろう動画のインスタンスは クライアントインスタンスとして参照される。1実施例によれば、注釈は2以上のクライアント間で多方向に共用され得る。従って、動画の正規インスタンスが確定的でない可能性がある。 用語「正規インスタンス」とは、注釈を交換する際の動画のインスタンスの役割に言及していることを理解されるべきであって、全体としての動画分配システム又は注釈フレームワーク内における動画のコピーのステータスを必ずしも言及するものではない。
【0046】
ビデオサーバ108は、チャンクに動画コンテンツを記憶するかもしれない。チャンクに動画を記憶するための1つのシステム及び方法は、2006年6月30日付特許出願第11/428,319号「動的なメディア提供インフラストラクチャー」マニッシュ・ガプタ他、代理人整理番号24207‐11584、2006年1月6日付仮出願第60/756,787号「メディア記事の不連続なダウンロード」マイケル・ユー他、代理人整理番号24207‐11081に開示され、両方ともがそれら全体における参照によりここに組み込まれる。図4(a)は、チャンク402Aとチャンク402Bとして記憶された動画の正規インスタンスを示す。1つのチャンクは、動画を記憶するための1つのデータ要素である。チャンクに動画を記憶することは、効率的なインデックス付けと動画の転送に有益であって、そしてより処理しやすいサイズの動画データとしての取り扱いを可能にさせる。
【0047】
図2に関連して記述されたように、注釈は動画中の特定のフレームに対応付けられ得る。注釈と特定のフレームの間の関連性は、注釈を動画の特定のインスタンス内のフレームにインデックス付けることによって記憶される。注釈404Aは、例えば、動画の正規インスタンス406のフレームに、この場合チャンク402A内のフレームに、インデックス付けられる。
【0048】
図2に関連してまた記述されたように、注釈は動画内中のフレームの範囲に対応付けられ得る。動画の1以上のフレームセットは、時々動画のセグメントとして言及される。注釈404Dは、例えば、動画の正規インスタンス406の動画のセグメントに、この場合チャンク402Bの1以上のフレームに含まれているセグメントに、インデックス付けられる。
【0049】
クライアントは動画源又はサーバ(図1に関連して記述されるそれらの1つのように)から動画を受け取り、そして動画のクライアントインスタンス408としてコピーを記憶する。クライアントは動画を表示するけれども、クライアントは定期的に、注釈サーバから、表示しようとしている動画のフレームに対応付けられた注釈を受け取る。それらに対応付けられたフレームと一緒に表示するのに十分な時間内で、注釈がリクエストされ、取り出され、伝送されそして受け取られることを確実にするために、フレームが表示される前の或る時点でクライアントは該フレームに対応付けられた注釈をリクエストする。
【0050】
更なる効率性のために、クライアントは、動画のセグメントに対応付けられた注釈のリクエストの中に特定のフレームに対応付けられた注釈を組み合わせることができる。リクエストは、例えば、所定の動画に対応付けられた注釈のすべてを取り出すために捜し求めることができる。示された例において、クライアントは動画のセグメント409に対応付けられた注釈をリクエストする。注釈のリクエストは、セグメントの個々のフレームに対応付けられた注釈、又はセグメントのフレームの上位セット又はサブセットに対応付けられた注釈を返すであろう。例えば、クライアントは、動画のセグメント409に正確に対応付けられた注釈、動画のセグメント409の個々の動画に対応付けられた注釈、あるいは全部の動画に対応付けられた注釈をリクエストすることができる。
【0051】
図4(b)を参照すると、注釈サーバ110は、動画のクライアントインスタンス408を動画の正規インスタンス406にマップする。マッピング412は、動画のクライアントインスタンス408のフレームと動画の正規インスタンス406のフレームとの間の対応付けを記述するものである。注釈サーバ110は、いろいろなテクニックを使って動画のクライアントインスタンス408を動画の正規インスタンス406にマップすることができる。この発明の1実施例によれば、注釈のクライアントリクエストは、動画のクライアントインスタンス408の特徴を含む。特徴は、似たような動画の1以上のフレームのコンテンツの簡潔な表現である。例えば、注釈サーバ110は、シーンあるいはショットのような、論理的な単位にフレームをグループ化してよい。注釈サーバ110は、自動的にフレームをグループ化するためのシーン検出アルゴリズムを使ってよい。1つのシーン検出アルゴリズムは、ここに参照によって組み込まれた、Naphade,M.R.など、「多重キューを使った高効率ショット境界検出アルゴリズム」、イメージプロッセシングの1998年インターナショナルカンファレンス(1998年10月4-7日)、第1巻884‐887ページに記述されている。
【0052】
従って、注釈サーバ110は、同じシーン(情景)に属するすべてのフレームのための1つの特徴を計算することができる。その特徴は、例えば、時間的、空間的、あるいは周波数の領域における特徴の記述であり得る。例えば、クライアントは、特定のフレームに対応付けられた注釈をリクエストすることができ、そして、その時間的、場所的、そして周波数の領域の特徴によって該フレームを記述することができる。クライアントは、ここに参照によって組み込まれた、Zabih,R.,Miller,J.,そしてMai,K.、「シーンブレイクを検出し分類するための特徴をベースとしたアルゴリズム」、Proc.ACMマルチメディア95、サンフランシスコ、カリフォルニア州(1993年11月)、189‐200ページ、Arman,F.,Hsu,A.,及びChiu,M‐Y、「エンコードされた動画シーケンス上のイメージプロセッシング」、マルチメディアシステム(1994年)、第1巻,5番,211‐219ページ、Ford,R.M.他、「ディジタル動画シーケンス中のショット境界検出のための測定基準」、マルチメディアシステム(2000年)、第8巻,37‐46ページ、に記述されるように、動画の特徴を決定するためにどんなテクニックでも使うことができる。当業者であれば、動画の特徴を決定するための様々なテクニックを理解するであろう。
【0053】
一般的に、距離関数は、フレームの潜在的なセットの親密さを獲得する特徴のユニバースの上に定義される。注釈サーバ110がその特徴セットとともに、或るフレームのために注釈のリクエストを受けるとき、サーバは最初に動画の正規インスタンス406内の最も近いフレームに当該リクエスト内のフレームをマップすることを試みる。注釈サーバ110は、動画のクライアントインスタンス408中のフレームの時間的な位置(特徴セットの中の特徴の1つ)を使用し、例えば選択されたフレームの前後に時間又はフレームの固定量の範囲内でフレームのための候補セットを制限することによって、このフレームにもしかしたらマップするかもしれない正規動画406中のフレームセットを絞り込む。候補セット中のすべてのフレームのために、注釈サーバ110はクライアント408のフレームの特徴セットと、正規動画406のフレームの特徴セットとの間の距離を計算する。最も短い距離を持つ正規動画406のフレームは、マッチングフレームとして名づけられる。クライアントフレームは、それからマッチングフレームにマップされる。もし最も近いフレームへの距離がある閾値より大きいならば、良いマッチの不在を示し、注釈は返送されない。このマッピングを生成するために使われた特徴によって記述されたコンポーネントは、注釈がリクエストされている動画セグメント中に存在してよいが、しかし必ずしもそうである必要がない。同様に、特徴によって示されるコンポーネントは、注釈がインデックスされたところの動画のセグメント中に存在してよいし存在していなくてもよい。
【0054】
これらの特徴は一連のもの(ストリング)として表現されていてよく、例えば、注釈サーバ110が、特徴ストリングからフレームへ反転されたインデックスを使って該特徴を検索できるようにする。注釈サーバ110はまた、特徴セットについて距離測定基準を定義することによって、そして最小の距離を持つ候補フレームを選択することによって、特徴を検索するようにしてよい。このようなマッピングはサーバ110がクライアントリクエストを受信するときに起こるようにしてもよいし、あるいは注釈サーバ110がオフライン処理で距離を前もって計算し維持するようにしてもよい。
【0055】
マッピング412を使って、注釈サーバ110は動画の正規インスタンス中の動画の対応するセグメント414を決定する。動画の対応するセグメント414は、上述したように、動画のセグメント409のコンテンツに密接にマッチするコンテンツを持つ。理想的な条件の下で、動画の対応するセグメント414は、動画のセグメント409として同じフレームのインスタンスを含む。注釈サーバ110は、動画の正規インスタンス中のフレームにマップするクライアント動画408中のそれぞれのフレームをフレーム番号に対応付けて、そしてそれぞれのフレームマッピングのためにフレーム番号のリストを維持する。1例において、フレーム番号のリストの長さは動画のクライアントインスタンス408中のフレーム数と等しく、各エントリーは対応するフレームを動画の正規インスタンス406中のフレームにマップする。
【0056】
注釈サーバは、動画の対応するセグメント414に(あるいは動画の対応するセグメント414の上位セット又はサブセット)にインデックスされた注釈を決定する。図4(b)の例に示されるように、注釈404Dは動画の対応するセグメント414に合った動画のセグメントにインデックスされる。セグメント409のための注釈のリクエストに応えて、注釈サーバ110はクライアントに注釈404Dを転送する。
【0057】
随意的に、注釈サーバはまた、注釈が対応付けられた動画のセグメントを記述している情報を送ることができる。例えば、参照ポイントとして特徴を使って、注釈サーバはその参照ポイントに関してフレーム(あるいはフレームの範囲)を記述し得る。
【0058】
図5は、動画と注釈の構成を表す。図5は、どのようにして注釈が注釈サーバの中で動画の正規インスタンスにインデックス付けされ得るかを示す。
【0059】
1実施例によれば、注釈は注釈の保管庫(リポジトリ)に記憶される。動画の正規インスタンスは、動画の保管庫(リポジトリ)に記憶される。注釈と保管庫は同じサーバに含められ得る、又はそれらは異なるサーバに含められ得る。例えば、注釈は注釈サーバ110に記憶され得るし、そして動画は動画サーバ108に記憶され得る。
【0060】
注釈は、動画のセグメントへの指示を含む。例えば、注釈404Dは、時間的な定義510Dを含む。時間的な定義は、動画の正規インスタンスの1以上のフレームを指定する。示された例において、時間的な定義510Dは、動画の正規インスタンス406のフレーム504の1つを参照する。他の例として、注釈404Fは時間的な定義510Fを含む。時間的な定義510Fは、動画の正規インスタンス406のフレームの範囲を参照する。前記時間的な定義は、限らないが、文書の識別子、フレーム識別子、タイムコード、フレームで表した長さ、ミリ秒で表した長さ、種々の他の組合せを含むいろいろな測定基準を使って記述され得る。
【0061】
前記時間的な定義は、どのようにして注釈は動画のセグメントに対応付けられ得るかの1つの例である。注釈を動画のセグメントに対応付けるための他の方法は、ここで説明する発明の本質から逸脱せずに、当業者に明らかであろう。
【0062】
注釈はまた、注釈コンテンツ511を含む。注釈コンテンツは、例えば、オーディオ、文字、メタデータ、命令、メディアファイルに対応付けられるのに有用な他のいかなるデータを含む。注釈は、注釈が対応付けられたフレームの領域(あるいはフレーム)を指示する空間的な定義509をオプションとして含み得る。空間的な定義509の使用は、フレーム上で特定の空間的な位置に注釈を対応付けるための1方法の例である。
【0063】
1例として、動画の対応するセグメント414がフレーム504を含むと仮定する。動画の対応するセグメント414は、タイムコードの領域として定義され得る。注釈サーバは、動画の対応するセグメント414を定義しているタイムコードの領域内にある又は重なっているタイムコードを参照して注釈を検索することによって注釈を取り出す。注釈サーバは、注釈コンテンツ511Dを含めて、注釈404Dを取り出す。注釈サーバは、注釈コンテンツ511Dを表示するクライアントに注釈コンテンツ511D(あるいは注釈コンテンツ511Dを含む注釈404D)を転送する。
【0064】
図6は、この発明の1実施例に従い、表示のイベントトレースと動画に対応付けられた注釈の変更例である。クライアント104は、動画サーバ106又は動画情報源102から動画のセグメントを受け取り、そして動画のクライアントインスタンスとしてコピーを記憶する。クライアントは、特徴検出アルゴリズムを使ってセグメントを処理し、動画の第1のセグメントに基づく特徴を決定する602。クライアントは、注釈サーバ110へ、動画の第2のセグメントに対応付けられた注釈のためのリクエスト、すなわち該特徴を含むリクエスト、を送る。
【0065】
動画の第1のセグメントは、動画の第2のセグメントと同じようにいくつかのフレームを含むかもしれないが、しかし必ずしもそうである必要もない。動画の第2のセグメントに対応付けられた注釈のためのリクエストに含まれている特徴は、隣り合ったセグメントから動画の第2のセグメントまでさらに特徴を含んでいてもよい。
【0066】
注釈サーバが適切な注釈を取り出すことができるように、リクエストはまた動画のコンテンツ又はタイトルを記述しているメタデータを含み得る。例えば、オンラインストアから購入された動画は、利用できる注釈のセットを通すために使用されうる動画タイトルを持っているかもしれない。他の例として、放送テレビジョン又はケーブルから獲得された動画のために注釈サーバに送られたメタデータは、動画が獲得された時間とチャンネルの記述を含み得る。注釈サーバは、適切な動画を決定し、その動画に対応付けられた注釈を取り出すために、この時間とチャンネル情報を使用することができる。
【0067】
注釈サーバ110は、注釈のためのリクエストを受信する。注釈サーバ110は、動画の正規インスタンス中のリクエストに含まれている特徴を検索し604、そして動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを作成する。1実施例において、注釈のためのリクエストは、注釈を取り出すための特定の動画を示しているメタデータを含み、そして注釈サーバ110は特徴のためのこのメタデータによって示された動画中の正規のインスタンス内を検索する604。
【0068】
注釈サーバ110は、動画に対応付けられた注釈のための注釈保管庫を検索し、注釈を返す。例えば、注釈サーバ110は動画の正規インスタンスにインデックス付けされた注釈を検索することができる。2つのインスタンス間のマッピングを使って、注釈サーバ110は動画のクライアントインスタンスのインデックスへ動画の正規インスタンスのインデックスを転送することができる。
【0069】
注釈サーバ110は、クライアントへ動画に対応付けられた注釈を送る。1実施例によれば、注釈はまた、該注釈に対応付けられた1以上のフレームセットを定義しているインデックス情報を含む。注釈サーバ110は、例えば、特徴に関しての関連性をインデックス付けることにより、注釈に対応付けられたフレームを定義することができる。
【0070】
クライアント104は、注釈を受け取り表示する610。クライアント104はまた、注釈が動画のクライアントインスタンスとともに適切に表示されるように、注釈のためのインデックス情報を処理することができる。
【0071】
随意的に、クライアントはユーザから注釈の変更を受け取る612。例えば、ユーザは文字を編集すること、オーディオを再録すること、注釈コンテンツ中に含まれるメタデータを変更すること、あるいは注釈命令を変えることができる。クライアント104は、注釈サーバ110に変更された注釈を送る、あるいは、代わりに、注釈サーバ110に変更内容を送る。
【0072】
注釈サーバ110は、変更された注釈を受け取る。注釈サーバ110は、変更された注釈を記憶し614、動画の正規インスタンスへ変更された注釈をインデックス付ける。注釈サーバ110は、いろいろな方式を使って動画の正規インスタンスと一緒に、変更された注釈をインデックス付けることができる。例えば、注釈サーバ110は、前に確立されたマッピングを使って動画のクライアントインスタンスにインデックスを転送することができる。他の例として、クライアント104は変更された注釈と一緒に特徴を含むことができる、そして注釈サーバ110は動画のクライアントインスタンスと動画の正規インスタンスとの間に新しいマッピングを確立することができる。
【0073】
説明の目的のために、特徴はクライアント104から注釈サーバ110までのフローとして示されている。しかしながら、動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを確立する目的のために、特徴はどちらの方向でも流れ得る。クライアント104によって送られた特徴に基づいてこのマッピングを維持している注釈サーバ110の例は説明の目的のために与えられるものであり、これに限定されない。他の実施例において、例えば、クライアント104へ注釈サーバ110によって送られた動画の正規インスタンスの特徴に基づいて、クライアントは動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを維持する。さらに他の実施例において、サードパーティは注釈サーバ110とクライアント104の両方から特徴を受け取ることによって、動画のクライアントインスタンスと動画の正規インスタンスとの間にマッピングを維持する。
【0074】
クライアント104はまた、新しい注釈を提示するために使われ得る。例えば、ユーザは注釈コンテンツを作成して、それを動画に対応付けることができる。ユーザはまた、新しい注釈のために空間的な定義を指定し、注釈がインデックス付けられるであろう動画のクライアントインスタンスのフレームの範囲を選択することができる。クライアント104は、保管庫のために注釈サーバ110へ新しい注釈を転送する。
【0075】
図7(a)を参照すると、ユーザはグラフィカル・ユーザ・インタフェースを使って、注釈を検索、作成、編集することができる。示された例において、注釈のためのグラフィカル・ユーザ・インタフェースは、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702に組み入れられる。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、クライアント104の表示装置上に示されるかもしれないインタフェースの例である。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、メディアファイルを選択する、再生する、一時停止する、早送りする、そして巻き戻しするためのコントロールボタンのみならず、メディアファイル(示された例において動画)を提示するための表示エリアを含む。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702はまた、図7(a)に示された国立公文書館の広告のような、広告を含む。
【0076】
ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、動画のフレームを提示する。動画のフレームと一緒に示されるのは、注釈定義704である。注釈定義704は、注釈の空間的な定義及び/又は時間的な定義を図式的に示す。例えば、図7(a)に示される注釈定義704は、注釈が対応付けられたフレームのサブセットを描写する。他の例として、注釈定義704は、注釈が対応付けられたフレームの範囲を描写することができる。図7(a)には1つの注釈定義704が示されているが、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、この発明の本質から逸脱することなく、複数の注釈定義704を含み得る。
【0077】
注釈定義704は、ユーザ選択に応じて、あるいは既存の注釈の表示の一部として表示され得る。例えば、ユーザは新しい注釈が対応付けられるであろうフレームの領域を選択するために入力装置を使うことができ、そしてその選択に応じてビデオプレーヤーグラフィカル・ユーザ・インタフェース702はユーザによって作成された注釈定義704を表示する。他の例として、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、動画と対応付けた注釈を表示することができ、そして対応付けた注釈を表示することにあわせて注釈定義704を表示することができる。
【0078】
ビデオプレーヤーグラフィカル・ユーザ・インタフェース702はまた、ユーザがコンテンツ及び注釈の表示をコントロールできるようにする注釈コントロールボタン706を含む。例えば、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、注釈を検索するためのボタンを含み得る。検索注釈ボタンの選択に応じて、クライアントは注釈定義704(あるいは類似の定義)に対応付けられた注釈又はキーワードに対応付けられた注釈を検索する。検索結果はそれから、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702に表示され得る。他の例として、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、注釈を編集するためのボタンを含み得る。検索編集ボタンの選択に応じて、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は注釈定義704に対応付けられた1以上の注釈を表示し、ユーザが1以上の注釈を修正できるようにする。さらに他の例として、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、新しい注釈を作成するためのボタンを含み得る。新しい注釈作成ボタンの選択に応じて、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、図7(b)に示されたようなオプションを表示する。
【0079】
図7(b)を参照すると、注釈コントロールボタン706は新しい注釈作成ボタンが選択されていることを示す。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、新しい注釈コンテンツのユーザ入力を受け取るための表示領域を含む。示された例において、新しい注釈コンテンツはいくつかの新しい注釈文字708を含む。図7(b)に示されるように、ユーザが記述「マッカーサー将軍」を入力するときに、新しい注釈文字708が表示される。注釈コンテンツのオーサリングが完了したことを示す更なるユーザ選択に応じて、新しい注釈が例えば注釈サーバ110に提出されて、ビデオプレーヤーグラフィカル・ユーザ・インタフェース702に表示される。
【0080】
新しい注釈文字708の記入は、注釈コンテンツの執筆者の1例として示されている。ビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、その上注釈コンテンツの他のタイプを受信するようになっている。例えば、注釈コンテンツはオーディオを含むことができ、そしてビデオプレーヤーグラフィカル・ユーザ・インタフェース702は、マイクを通してオーディオのレコーディングをスタートするためのボタン、あるいは記憶媒体上の指定区域からオーディオファイルを選択するためのボタンを含み得る。注釈の他のタイプとユーザによるそれらの提出を受け取るための方法は、この発明の本質から逸脱せずに、当業者に明らかであろう。
【0081】
図8は、表示する注釈を決定するための方法を表す。1実施例において、クライアント104は受信した注釈のいくつかだけを表示する。クライアント104は、どちらの注釈が表示されるべきかあるいは表示されるべきでないかを決定するために、図8に示された1つのような方法を実行する。
【0082】
クライアント104は、注釈を受信する802。クライアントは、その注釈が最優先かどうかを判断する804。最優先の注釈は、注釈の表示のためのユーザ設定にかかわらず表示される。最優先の注釈は、例えば、広告、緊急の放送メッセージ、あるいはローカルなユーザ設定に取って代わるべき重要性がある他の通信を含む。
【0083】
もしクライアント104が注釈が最優先であると804で判断するならば、クライアントはその注釈を表示する812。もしクライアント104が注釈が最優先でないと804で判断するならば、クライアントは注釈が有効にされるかどうかを判断する806。注釈は、例えば、注釈表示モードのユーザ選択によって有効にされ得る又は無効にされ得る。もしユーザが注釈を無効にすることを選択していたならば、クライアント104は注釈を表示しない810。もしユーザが注釈を有効にすることを選択していたならば、クライアント104は注釈がユーザ定義基準にマッチするかどうかを判断する808。
【0084】
ここに記述されるように、クライアント104はユーザがいろいろな基準に基づき表示のための注釈を選択できるようにする。1実施例において、ユーザ定義基準は、注釈サーバ110によって送られた注釈を限定する、注釈用リクエストの中に記述され得る。他の実施例において、ユーザ定義基準は、注釈がクライアント104で受信されるやいなや、どの注釈を表示するかを制限するのに使われ得る。ユーザ定義基準は、例えば、言語、注釈コンテンツ、主要な著作者又は著作者のグループ、あるいは他の注釈属性に基づいて、どの注釈を表示すべきかを特定することができる。
【0085】
もしクライアント104が注釈はユーザ定義基準を満足すると808で判断するならば、クライアント104は注釈を表示する812。 もしクライアント104が注釈はユーザ定義基準を満たさないと808で判断するならば、クライアント104は注釈を表示しない810。
【0086】
図8は、クライアント104がどの注釈を表示すべきかを如何にして決定するかの1つの例を表す。注釈プロバイダーと注釈消費者によって確立された注釈優先順位を裁定するための他の方法は、この発明の本質から逸脱せずに、当業者に明らかであろう。
【0087】
ここに開示された動画の正規インスタンスを参照すると、動画の正規インスタンスはさまざまな実施例に従っていろいろな方法に組み入れられ得る。ある場合には、注釈サーバ110は新しい注釈の提出に先立って動画の正規インスタンスを選択した。クライアント104は、動画の正規インスタンスに対する新しい注釈のインデックス付けを容易にするために特徴を送ることができる。他の場合では、例えば、その注釈が或る特定の動画に対応付けられるべき最初のものであるとき、注釈サーバ110はまだ動画の正規インスタンスを特定しなかったかもしれない。 注釈サーバ110は、動画のクライアントインスタンスにインデックス付けされた注釈を記憶し、そして将来の注釈トランザクションのために動画の正規インスタンスとして動画のクライアントインスタンスを確立する。
【0088】
この発明の1実施例によれば、注釈は、記憶され、その注釈を提出したクライアントによって使われる動画のインスタンスの特徴にインデックス付けされる。注釈は記憶されることができ、そして内在している正規インスタンスなしで取り出されることができる。例えば、それぞれの注釈は、提出者の動画のインスタンスを参照するそれ自身の「動画の正規インスタンス」にインデックス付けされ得る。このようなアプローチは、注釈サーバ110が維持しないあるいは動画それ自身のコピーへのアクセスを持つ状況のために特に有益である。基本的に、注釈サーバ110は、それらの注釈が対応付けられた動画のそれ自身のコピーなしで執筆者から消費者まで注釈を送っている、注釈の見えないブローカーとしての機能を果たすことができる。
【0089】
コンテンツ‐ブラインド注釈サーバは、例えば、動画コンテンツが著作権を取得している、私的である、あるいはさもなければ秘密であるときに、有益であり得る。例えば、得意な母親は彼女の息子の最初の入浴のフィルムに注釈を付けたいかもしれない、しかし中央注釈サーバに動画の参照インスタンスさえ提出することに気が進まないかもしれない。コンテンツ‐ブラインド注釈サーバは、それ自身のインスタンスへのアクセスなしで、動画の母親のインスタンスにインデックス付けられた注釈を記憶する。叔母、叔父、あるいは動画のインスタンスと一緒の他の信頼できるユーザが注釈をリクエストするとき、彼のインスタンスは注釈の提出と一緒に受け取られた母親のインスタンスの特徴に彼のインスタンスの特徴の比較によって母親のインスタンスにマップされる。特徴は、フレームのコンテンツを見つけるために簡単に無効にされえないこのような方法で決定され得、このようにして動画のプライバシーを維持され得る。
【0090】
このような注釈サーバとクライアントのケースは、この発明が動画用の注釈の共有と分配のために有益に用いられるかもしれない1つの例でしかない。対応付けられた動画を転送する必要性なしに注釈を転送するためのここに記述された方法は、この発明の本質から逸脱せずに多様な他の利用法を持つであろうことを、当業者に明らかであろう。例えば、ここに記述された特徴は、直接的に動画を転送する又は受け入れる負担なしで、ユーザが執筆、編集、書評、公開、そして協力し合って注釈を見ることができるオンラインコミュニティの中で使用することができる。このようなコミュニティは、それらの注釈が対応付けられた動画の著作権保護を侵害することなしに、注釈のオープンソース様式の生成を許可するであろう。
【0091】
付加的な特徴として、そのようなコミュニティ内のユーザはまた、例えば、そのユーザの以前の執筆又は編集の品質の他のユーザのレビューに基づいて、評判を蓄積することができる。注釈を見たいユーザは、特定の閾値を下回る評判をもつユーザからの注釈を無視する、あるいはことのほか高い価値の評判をもつユーザによる注釈を検索するためにオプションを持つことができる。他の例として、 ユーザはただ特定のユーザからのみあるいはユーザの特定のグループからのみの注釈を見ることを選択することができる。
【0092】
ここに記述されたように、注釈はまたどのように動画は表示されるべきであるかを記述している命令、例えば、表示装置にその動画の正方向に読みとばすことをあるいは完全に他の動画に飛ぶことを教える命令を含み得る。ユーザは、ジャンプトゥ命令(jump-to command)注釈の文字列を執筆することができ、より大きい断片の中に動画セグメントの組合せのための示唆を効果的に提供することができる。1例として、命令注釈は1以上の他の映画の構成要素から新しい映画を作るために使用され得る。注釈サーバは、注釈によって指定された様々なセグメントを獲得し、ユーザへ表示するために断片を集めるクライアントに注釈を提供する。
【0093】
この発明は、それに限定されるものではないが、ピアツーピア (peer-to-peer)、分散型ホスティング、ウィキスタイル (wiki-style) ホスティング、集中型サービング、あるいはネットワークを介してデータを共有するための他の周知の方法を含む、様々なホスティングモデルのいずれにも適用可能である。
【0094】
ここに記述された注釈フレームワークは、複数の収益モデルのための機会を提供する。1例として、注釈サーバのオーナーは注釈に広告を含めるための費用を請求することができる。注釈サーバは、いろいろな要因に基づいてユーザに広告注釈をターゲットにすることができる。例えば、注釈サーバは、クライアントが表示している動画のタイトルやカテゴリ、ユーザについての知り得た事実、最近の注釈検索リクエスト(キーワード検索のような)、動画のために以前提出した他の注釈、クライアントの地理的位置、あるいは広告を効果的にターゲットにするために役立つ他の基準、に基づき、該クライアントへ送信するための広告を選択することができる。
【0095】
注釈へのアクセスは予約購読根拠の状態で供給され得る、あるいは注釈は動画コンテンツそれ自身を持っているパッケージで売られ得る。例えば、オンライン動画ストアから動画を購入するユーザは、その動画または他の動画のどちらかに対応付けられている注釈を見る、編集する、あるいは執筆(オーサリング)するための許可を与えられるかもしれない。オンライン動画ストアは、例えば、1カ月の動画の所定数の購入がその月の注釈サーバ上でユーザ特典を与える、という販売促進を持つかもしれない。
【0096】
代わりに、オンライン動画ストアからの動画の購入は、その動画に対応付けられた注釈を執筆(オーサリング)する、編集する、あるいは見るための特典に結びつけられるかもしれない。もし特定の注釈サーバがユーザにことさら評判が良くなるならば、注釈サーバへの制御されたアクセスは動画の著作権の保護を手助けすることができる。例えば、ユーザは、注釈を見る、編集する、あるいは執筆(オーサリング)することが許可される前に、彼が資格を持っている合法的に獲得された動画のコピーを持つことを証明しなければならないかもしれない。このような要件は、不法に獲得された動画のコピーの有用性又は望ましさを損ない得る。
【0097】
収益モデルのこれらの例は、説明の目的のために与えられて限定されない。他の応用例と潜在的な収益性の高い用途は、この発明の本質から逸脱せずに、当業者に明らかであろう。
【0098】
明細書内での「1実施例」あるいは「実施例」は、特定の特徴、仕組み、あるいは実施例に関連して記述した特徴がこの発明の少なくとも1実施例に含まれることを意味する。明細書内のあらゆる箇所でのフレーズ「1実施例において」の出現は、必ずしもすべて同じ実施例に言及していない。
【0099】
なお、この発明に係る処理ステップと命令群はソフトウェア、ファームウェアあるいはハードウェアの形態で実装されるようになっていてよく、また、ソフトウェアの形態で実装されたときには、いろいろなオペレーティング・システムによって使われる異なったプラットホームに属して操作されるためにダウンロードされるようになっていてよい。
【0100】
この発明はまた、ここに演算を実行するための機構と関係を持つ。この機構は、所要の目的のために特に組み立てられるかもしれない、あるいはそれはコンピュータに記憶されたコンピュータプログラムによって選択的に作動される又は再構成される多用途のコンピュータを意味するかもしれない。そのようなコンピュータプログラムは、それに限定されるものではないが、フレキシブル磁気ディスク、光学式ディスク、CD−ROM 、磁性−光学式ディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁性あるいは光学式カード、特定用途向け集積回路(ASIC)を含むディスクのあらゆるタイプ、あるいは電子命令群を記憶するのに適したメディアのあらゆるタイプ、のようなコンピュータ読み取り可能な記憶媒体に記憶されるようになっていてよく、そして各媒体がコンピュータシステムバスにつながれるようになっていてよい。さらに、明細書内で言及されたコンピュータは、シングルプロセッサを含むかもしれないし、また増大した演算能力のためにマルチプロセッサデザインを採用している構造であるかもしれない。
【0101】
ここに示されたアルゴリズムと動作は、どの特定のコンピュータや他の装置と本質的に関連付けられない。様々な多用途のシステムもやはりここの教示を踏まえてプログラムで用いられるかもしれない、あるいは必要とされた方法手順を実行するためのより専門の装置を組み立てるほうが都合がよいとわかるかもしれない。必要とされるこれらのシステムの多様性の仕組みは、同等の変形物に従って当業者に明らかであろう。さらに、この発明は特定のプログラミング言語に関連付けられて記述されない。プログラミング言語の種類はここに記述されたようなこの発明の教示を実装するのに用いられるかもしれないこと、そして特定の言語へのどんな言及でも実施要件の開示とこの発明の最良の形態が規定されていることが分かる。
【0102】
この発明は、好ましい実施例といくつかの代わりの実施例に対応付けられて詳しく示され記述されているとはいえ、この発明の精神と要旨から逸脱せずに形式と明細のさまざまな変更が行われうることが当業者に理解されるであろう。
【0103】
最後に、明細書に用いられた言語は読みやすさと教育の目的のために主に選択されること、そして発明の主題を描写する又は制限するために選択されなかったかもしれないことは指摘されるべきである。したがって、この発明の開示が説明に役立つものであることが意図されるが、次のクレームで示される発明の目的を制限するものでない。
【特許請求の範囲】
【請求項1】
注釈を検索して取り出すための方法であって、
クライアント装置に表示されているメディアファイルの第1のインスタンスのセグメントに対応付けられた注釈のリクエストを該クライアント装置から受け取ることと、
前記クライアント装置から離隔されたホスト装置に記憶された前記メディアファイルの第2のインスタンスの対応するセグメントに、前記メディアファイルの前記第1のインスタンスのセグメントをマッピングすることと、
前記メディアファイルの前記第2のインスタンスの前記対応するセグメントに対応付けられた注釈を検索して取り出すことと、
処理するために前記クライアント装置に前記注釈を転送することと
を具える方法。
【請求項2】
前記注釈のリクエストは、前記メディアファイルの第1のインスタンスの特徴を含む請求項1に記載の方法。
【請求項3】
前記メディアファイルの第2のインスタンスの対応するセグメントに、前記メディアファイルの第1のインスタンスのセグメントをマッピングすることは、前記メディアファイルの第2のインスタンスにおける特徴を検索することを含む請求項2に記載の方法。
【請求項4】
前記メディアファイルは動画を含む請求項1に記載の方法。
【請求項5】
前記メディアファイルの第1のインスタンスのセグメントは第1のフレームを含み、前記メディアファイルの第2のインスタンスの対応するセグメントは第2のフレームを含む請求項1に記載の方法。
【請求項6】
前記注釈はオーディオのセグメントを含む請求項1に記載の方法。
【請求項7】
前記注釈はメディアファイルの説明を含む請求項1に記載の方法。
【請求項8】
前記注釈は広告を含む請求項1に記載の方法。
【請求項9】
前記注釈は命令を含む請求項1に記載の方法。
【請求項10】
メディアファイルに関連付けられた注釈を処理するための方法であって、
メディアファイルの第1のセグメントの特徴を決定することと、
前記メディアファイルに関連付けられた注釈をサーバからリクエストすることと、ここで、該リクエストは前記メディアファイルの第1のセグメントの特徴を含んでおり、
前記リクエストの応答をサーバから受け取ることと、ここで、該応答は前記メディアファイルの第2のセグメントに対応付けられた注釈からなっており、
前記注釈を処理することと
を具える方法。
【請求項11】
前記特徴は、前記メディアファイルの第2のセグメント内のコンテンツを特定する請求項10に記載の方法。
【請求項12】
前記メディアファイルは動画を含む請求項10に記載の方法。
【請求項13】
前記第1のセグメントは第1のフレームを含み、前記第2のセグメントは第2のフレームを含む請求項10に記載の方法。
【請求項14】
前記注釈はオーディオのセグメントを含む請求項10に記載の方法。
【請求項15】
前記注釈はメディアファイルの説明を含む請求項10に記載の方法。
【請求項16】
前記注釈は広告を含む請求項10に記載の方法。
【請求項17】
前記注釈は命令を含む請求項10に記載の方法。
【請求項18】
注釈を記憶するための方法であって、
第1の注釈を第1のクライアント装置から受け取ることと、ここで、該第1の注釈は、前記第1のクライアント装置で表示されているメディアファイルの第1のインスタンスのセグメントに対応付けられており、
前記メディアファイルの第2のインスタンスにおける第1の対応するセグメントに前記メディアファイルの第1のインスタンスのセグメントをマッピングすることと、ここで、前記メディアファイルの第2のインスタンスは前記第1のクライアント装置から離隔されたホスト装置に記憶されており、
前記メディアファイルの第2のインスタンスの第1の対応するセグメントにインデックス付けられている注釈を記憶することと
を具える方法。
【請求項19】
さらに、前記メディアファイルの第1のインスタンスの特徴を受け取ることを含む請求項18に記載の方法。
【請求項20】
前記メディアファイルの第2のインスタンスの第1の対応するセグメントに前記メディアファイルの第1のインスタンスのセグメントをマッピングすることは、前記メディアファイルの第2のインスタンスにおける特徴を検索することを含む請求項19に記載の方法。
【請求項21】
前記メディアファイルは動画を含む請求項18に記載の方法。
【請求項22】
前記メディアファイルの第1のインスタンスのセグメントは第1のフレームを含み、前記メディアファイルの第2のインスタンスの対応するセグメントは第2のフレームを含む請求項18に記載の方法。
【請求項23】
前記第1の注釈はオーディオのセグメントを含む請求項18に記載の方法。
【請求項24】
前記第1の注釈はメディアファイルの説明を含む請求項18に記載の方法。
【請求項25】
前記第1の注釈は広告を含む請求項18に記載の方法。
【請求項26】
前記第1の注釈は命令を含む請求項18に記載の方法。
【請求項27】
第2の注釈を第2のクライアントから受け取ることと、
前記第2の注釈を記憶することと
を更に具え、前記第2の注釈は前記メディアファイルの第2のインスタンスの第1の対応するセグメントにインデックスされている、請求項18に記載の方法。
【請求項28】
注釈をインデックス付けるためのシステムであって、
メディアファイルの第2のインスタンスに対する該メディアファイルの第1のインスタンスのマッピングを生成する特徴検出装置と、
前記メディアファイルの第1のインスタンスにインデックス付けられた注釈を検索して取り出す注釈取得装置と、
前記マッピングを用いて前記メディアファイルの第2のインスタンスに前記注釈をインデックス付ける注釈インデックス付け装置と
を具えるシステム。
【請求項29】
さらに、前記メディアファイルの第2のインスタンスと一緒に前記注釈を表示する注釈表示装置を具える請求項28に記載のシステム。
【請求項30】
注釈を検索して取り出すためのシステムであって、
動画の第1のインスタンスのセグメントに対応付けられた注釈のリクエストをクライアント装置から受け取る手段と、ここで、前記動画の第1のインスタンスは前記クライアント装置に表示されており、前記注釈のリクエストは前記動画の第1のインスタンスの特徴を含んでおり、
前記動画の第2のインスタンスの対応するセグメントに前記動画の第1のインスタンスのセグメントをマッピングする手段と、ここで、前記動画の第2のインスタンスは前記クライアント装置から離隔されたホスト装置に記憶され、前記マッピングする手段は前記動画の第2のインスタンス内の特徴を検索する手段を含んでおり、
前記動画の第2のインスタンスの対応するセグメントに対応付けられた注釈を検索して取り出す手段と、
表示するためにクライアント装置に前記注釈を転送する手段と
を具えるシステム。
【請求項1】
注釈を検索して取り出すための方法であって、
クライアント装置に表示されているメディアファイルの第1のインスタンスのセグメントに対応付けられた注釈のリクエストを該クライアント装置から受け取ることと、
前記クライアント装置から離隔されたホスト装置に記憶された前記メディアファイルの第2のインスタンスの対応するセグメントに、前記メディアファイルの前記第1のインスタンスのセグメントをマッピングすることと、
前記メディアファイルの前記第2のインスタンスの前記対応するセグメントに対応付けられた注釈を検索して取り出すことと、
処理するために前記クライアント装置に前記注釈を転送することと
を具える方法。
【請求項2】
前記注釈のリクエストは、前記メディアファイルの第1のインスタンスの特徴を含む請求項1に記載の方法。
【請求項3】
前記メディアファイルの第2のインスタンスの対応するセグメントに、前記メディアファイルの第1のインスタンスのセグメントをマッピングすることは、前記メディアファイルの第2のインスタンスにおける特徴を検索することを含む請求項2に記載の方法。
【請求項4】
前記メディアファイルは動画を含む請求項1に記載の方法。
【請求項5】
前記メディアファイルの第1のインスタンスのセグメントは第1のフレームを含み、前記メディアファイルの第2のインスタンスの対応するセグメントは第2のフレームを含む請求項1に記載の方法。
【請求項6】
前記注釈はオーディオのセグメントを含む請求項1に記載の方法。
【請求項7】
前記注釈はメディアファイルの説明を含む請求項1に記載の方法。
【請求項8】
前記注釈は広告を含む請求項1に記載の方法。
【請求項9】
前記注釈は命令を含む請求項1に記載の方法。
【請求項10】
メディアファイルに関連付けられた注釈を処理するための方法であって、
メディアファイルの第1のセグメントの特徴を決定することと、
前記メディアファイルに関連付けられた注釈をサーバからリクエストすることと、ここで、該リクエストは前記メディアファイルの第1のセグメントの特徴を含んでおり、
前記リクエストの応答をサーバから受け取ることと、ここで、該応答は前記メディアファイルの第2のセグメントに対応付けられた注釈からなっており、
前記注釈を処理することと
を具える方法。
【請求項11】
前記特徴は、前記メディアファイルの第2のセグメント内のコンテンツを特定する請求項10に記載の方法。
【請求項12】
前記メディアファイルは動画を含む請求項10に記載の方法。
【請求項13】
前記第1のセグメントは第1のフレームを含み、前記第2のセグメントは第2のフレームを含む請求項10に記載の方法。
【請求項14】
前記注釈はオーディオのセグメントを含む請求項10に記載の方法。
【請求項15】
前記注釈はメディアファイルの説明を含む請求項10に記載の方法。
【請求項16】
前記注釈は広告を含む請求項10に記載の方法。
【請求項17】
前記注釈は命令を含む請求項10に記載の方法。
【請求項18】
注釈を記憶するための方法であって、
第1の注釈を第1のクライアント装置から受け取ることと、ここで、該第1の注釈は、前記第1のクライアント装置で表示されているメディアファイルの第1のインスタンスのセグメントに対応付けられており、
前記メディアファイルの第2のインスタンスにおける第1の対応するセグメントに前記メディアファイルの第1のインスタンスのセグメントをマッピングすることと、ここで、前記メディアファイルの第2のインスタンスは前記第1のクライアント装置から離隔されたホスト装置に記憶されており、
前記メディアファイルの第2のインスタンスの第1の対応するセグメントにインデックス付けられている注釈を記憶することと
を具える方法。
【請求項19】
さらに、前記メディアファイルの第1のインスタンスの特徴を受け取ることを含む請求項18に記載の方法。
【請求項20】
前記メディアファイルの第2のインスタンスの第1の対応するセグメントに前記メディアファイルの第1のインスタンスのセグメントをマッピングすることは、前記メディアファイルの第2のインスタンスにおける特徴を検索することを含む請求項19に記載の方法。
【請求項21】
前記メディアファイルは動画を含む請求項18に記載の方法。
【請求項22】
前記メディアファイルの第1のインスタンスのセグメントは第1のフレームを含み、前記メディアファイルの第2のインスタンスの対応するセグメントは第2のフレームを含む請求項18に記載の方法。
【請求項23】
前記第1の注釈はオーディオのセグメントを含む請求項18に記載の方法。
【請求項24】
前記第1の注釈はメディアファイルの説明を含む請求項18に記載の方法。
【請求項25】
前記第1の注釈は広告を含む請求項18に記載の方法。
【請求項26】
前記第1の注釈は命令を含む請求項18に記載の方法。
【請求項27】
第2の注釈を第2のクライアントから受け取ることと、
前記第2の注釈を記憶することと
を更に具え、前記第2の注釈は前記メディアファイルの第2のインスタンスの第1の対応するセグメントにインデックスされている、請求項18に記載の方法。
【請求項28】
注釈をインデックス付けるためのシステムであって、
メディアファイルの第2のインスタンスに対する該メディアファイルの第1のインスタンスのマッピングを生成する特徴検出装置と、
前記メディアファイルの第1のインスタンスにインデックス付けられた注釈を検索して取り出す注釈取得装置と、
前記マッピングを用いて前記メディアファイルの第2のインスタンスに前記注釈をインデックス付ける注釈インデックス付け装置と
を具えるシステム。
【請求項29】
さらに、前記メディアファイルの第2のインスタンスと一緒に前記注釈を表示する注釈表示装置を具える請求項28に記載のシステム。
【請求項30】
注釈を検索して取り出すためのシステムであって、
動画の第1のインスタンスのセグメントに対応付けられた注釈のリクエストをクライアント装置から受け取る手段と、ここで、前記動画の第1のインスタンスは前記クライアント装置に表示されており、前記注釈のリクエストは前記動画の第1のインスタンスの特徴を含んでおり、
前記動画の第2のインスタンスの対応するセグメントに前記動画の第1のインスタンスのセグメントをマッピングする手段と、ここで、前記動画の第2のインスタンスは前記クライアント装置から離隔されたホスト装置に記憶され、前記マッピングする手段は前記動画の第2のインスタンス内の特徴を検索する手段を含んでおり、
前記動画の第2のインスタンスの対応するセグメントに対応付けられた注釈を検索して取り出す手段と、
表示するためにクライアント装置に前記注釈を転送する手段と
を具えるシステム。
【図1】
【図2】
【図3】
【図4(a)】
【図4(b)】
【図5】
【図6】
【図7(a)】
【図7(b)】
【図8】
【図2】
【図3】
【図4(a)】
【図4(b)】
【図5】
【図6】
【図7(a)】
【図7(b)】
【図8】
【公表番号】特表2010−515120(P2010−515120A)
【公表日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2009−543172(P2009−543172)
【出願日】平成19年12月19日(2007.12.19)
【国際出願番号】PCT/US2007/088067
【国際公開番号】WO2008/079850
【国際公開日】平成20年7月3日(2008.7.3)
【出願人】(505281067)グーグル インク. (58)
【氏名又は名称原語表記】GOOGLE INC.
【Fターム(参考)】
【公表日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願日】平成19年12月19日(2007.12.19)
【国際出願番号】PCT/US2007/088067
【国際公開番号】WO2008/079850
【国際公開日】平成20年7月3日(2008.7.3)
【出願人】(505281067)グーグル インク. (58)
【氏名又は名称原語表記】GOOGLE INC.
【Fターム(参考)】
[ Back to top ]