マルチメディアイベントのプレゼンテーションの合成
マルチメディアイベントのプレゼンテーションを合成するためのメディア同期システム及び方法の例示的な実施形態を本明細書に一般的に説明する。一部の例示的な実施形態では、メディア同期システムは、複数のクライアントデバイスから受信された複数のメディアクリップにアクセスするメディア摂取モジュールと、複数のメディアクリップからの第１のメディアクリップと複数のメディアクリップからの第２のメディアクリップとの間の時間的関係を判断するメディア解析モジュールと、時間的関係に基づいて第１のメディアクリップと第２のメディアクリップを整列させ、第１のメディアクリップと第２のメディアクリップを組み合わせてプレゼンテーションを生成するコンテンツ作成モジュールとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権の主張
本特許出願は、内容全体が本明細書に引用によって組み込まれる２００７年９月２８日出願の米国特許仮出願第６０／９７６，１８６号の出願日の優先権の利益を請求するものである。
【０００２】
一部の例示的な実施形態は、一般にメディア同期、及び特にマルチメディアイベントのプレゼンテーションを合成することに関する。
【背景技術】
【０００３】
２１世紀の初めに、動画を記録することができるデジタルカメラ及び移動電話のようなデバイスが遍在するようになった。記録デバイスはどこにでも存在するので、基本的にあらゆる注目の公開イベントは、多くの異なる人々によって各々若干異なる手法で記録されている。これらの記録は、様々なウェブサイト上で共有される場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許仮出願第６０／９７６，１８６号
【発明の概要】
【課題を解決するための手段】
【０００５】
以下の説明及び図面は、当業者が例示的な実施形態を実施することを可能にするようにこれらの例示的な実施形態を十分に示すものである。他の例示的な実施形態は、構造的、論理的、電気的、処理的、及び他の変更を組み込むことができる。実施例は、可能な変形を代表しているに過ぎない。個々の構成要素及び機能は、明示的に必要とされない限り任意的であり、オペレーションの順序は変更することができる。一部の例示的な実施形態の各部分及び特徴は、他の例示的な実施形態の各部分及び特徴に含めるか、又はこれらで置換することができる。特許請求の範囲において示す例示的な実施形態は、これらの特許請求の範囲の全ての利用可能な均等物を網羅する。
【０００６】
アーティストが自らのファンと対話を行う際に認めることができる現在の傾向の１つは、コンサートビデオにおける職業編集者による将来の使用に向けて、ファンがコンサート中に撮影した映像を提出するようにファンに依頼することである。この依頼の一例は、ある劇団がファンに向けて発した、ニューヨーク市でのイベントを撮影してその素材を後に提供してもらう最近の呼び掛けである。この傾向は、上演中の移動電話又はポケットカメラのような撮影機器の益々頻繁な使用、及びあらゆる写真機器を禁止することによってこの傾向を抑制する試みの無益性に対するアーティストによる反応として捉えることができる。
【０００７】
一部の例示的な実施形態は、消費者が自らの個人的な素材を追加する機能を含む数々のビデオクリップへのアクセスを有することによって自らの個人的なコンサート記録を作成することを可能にすることにより、同じイベントから撮られた複数のビデオクリップを自動的に同期する技術的装置及び／又はシステムを提供することができる。上述のことは、多くの人々が短時間のメディア又はマルチメディアクリップ（写真、ビデオ、オーディオ、テキスト）を取り込むことができる機器を日頃の生活の中で携帯し、この機器をイベント又はショーの間に個人的な体験の記念を得るために用いることになるということを利用する。多くの人々は、自分達が作成した内容を共有することを望んでいる。このコンテンツ共有は、撮影したメディアクリップを投稿することに限定されず、メディアクリップを芸術的及び個性的な手法で整理することを含む。認められるこれらの傾向を助勢するために、一部の例示的な実施形態は、メディアクリップを識別し、同期するためにメディアフィンガープリントを用いる。
【０００８】
一部の例示的な実施形態では、個々の別々に記録されたイベントの場景からイベントの完全なプレゼンテーションを合成するために、メディア同期システムを用いることができる。この合成の例は、各々が上演会場の異なる部分に位置し、各々が異なる時点に記録を行う観衆内の多くの異なる人々によって記録された短いクリップからコンサートの完全なビデオを合成することである。これらの例示的な実施形態では、個々のクリップの間に十分なオーバーラップが存在し、従って、コンサート全体を表すことができるものとする。一部の例示的な実施形態では、コンサートの参加者がカメラ操作者のように機能することができ、システムのユーザが、コンサートビデオを制作する際に監視するように機能することができる。一部の例示的な実施形態では、同じイベントからのクリップを自動的に検出し、グループ分けし、かつ整列させる上でオーディオフィンガープリント及びデータマイニングのような技術が用いられる。
【０００９】
一部の例示的な実施形態は、コンサートのような公開イベントにおいて用いることができるのと同時にスポーツやパーティのような個人的及び半個人的なイベントにおいて用いることができる。例えば、一群の子供の各々は、別の子供がスケートボードの技を行うのを記録することができる。後に完全なスケートのビデオを作成するのに、これらの別々の記録をいくつもの異なる手法で縫い合わせることができ、このビデオは、その後共有することができる。電子メールが遍在的になった時にパーソナルコンピュータがより有利なものになったように、カメラ及び携帯電話のようなビデオ記録デバイスは、記録されたクリップの労力を要さない共有及び整理が可能になった時により有利なものになる。一部の例示的な実施形態は、このことにおいて、上述のコンテンツ整理のストレージ及び促進器として重要な役割を果たすことができる。
【００１０】
一部の例示的な実施形態は、イベントを記録し、自らのクリップを他の動画制作愛好家のものと共に後に共有される個人に特化したビデオへと編集かつ整理するのを楽しむ動画制作愛好家によって用いることができる。一部の例示的な実施形態は、動画制作愛好家が作り出したものを鑑賞して、それに対してコメントを述べ、それを友人と共有する動画閲覧愛好家によって用いることができる。両方のグループには、自分達のコンピュータを創造と娯楽とに用いて楽しむ「インターネット」熱狂者が大勢存在する。一部の例示的な実施形態は、全てが自らの上演への関心と認識度を改善して発生させる努力において、記録を是認することができて高品質の業務のために制作されたクリップをアマチュアが用いて改良することに向けて提供することができるイベント上演者自身によって用いることができる。
【００１１】
一部の例示的な実施形態は、コンサートを記録し、ファンが業務のために記録されたクリップ及び他のファンによって記録されたクリップを用いて自己監視動画を作成することを可能にするために用いることができる。
【図面の簡単な説明】
【００１２】
【図１】バンドが舞台上で演奏を行っており、独自の記録を行っている幾人かの観衆者及び舞台全体を記録している業務用カメラを含む仮想コンサートの図である。
【図２】一個人がコースを通してスケートボードに乗っており、同時に彼の友人が自分達のカメラ及び電話で彼を撮影している図である。
【図３】一部の例示的な実施形態によるメディア同期システムの機能図である。
【図４】例示的な実施形態によるユーザインタフェースの例の図である。
【図５】１つ又はそれよりも多くの例示的な実施形態を実施するのに適する処理システムのブロック図である。
【図６】一部の例示的な実施形態による例示的なシステムアーキテクチャの図である。
【図７】一部の例示的な実施形態によるマルチメディアイベントを合成するための手順の流れ図である。
【発明を実施するための形態】
【００１３】
図１は、バンド１０２が舞台１０４上で演奏を行っており、幾人かの観衆者１０６．１〜１０６．３が、画像取り込みデバイス１０８．１〜１０８．３、例えば、カメラ（例えば、コンパクトカメラ）及び携帯電話のカメラを用いて独自の記録を行い、業務用カメラ１０６．４が、舞台１０４全体を記録している仮想コンサート１００を示している。コンサート１００におけるオーディオを記録するために、主ミキシングボード１１０を設けることができる。業務用カメラ１０６．１は、舞台１０４全体を常時取り込むことができ、一方、ファンのカメラ１０８．１〜１０８．３は、個々の上演者１０２．１〜１０２．４又は観衆及び会場のような上演空間の舞台以外の区域を取り込むか、又は上演空間の回りで別のアングルを与えるか、又は移動することができる。
【００１４】
一部の例示的な実施形態は、コンサートのような公開イベントにおける使用に適するものとすることができ、また、子供がスケートボード上で技を行うような個人的又は半個人的イベントにおいて用いることができる。例えば、図２は、１人の人物２０２がコース２０４の中でスケートボードに乗っており、その間に彼の友人２０６．１〜２０６．３が画像取り込みデバイス、例えば、カメラ（例えば、コンパクトカメラ）及び携帯電話のカメラ２０８．１〜２０８．３を用いて彼を撮影しているところを示している。特に、雰囲気を作り出すために音楽を再生するステレオ２１０が存在する可能性がある。これらの例示的な実施形態では、カメラ２０８．１〜２０８．３によって取り込まれたクリップを蓄積し、同期し、例えば、「インターネット」上で共有することができる見栄えの良い動画へと編集することができる。
【００１５】
一例示的実施形態では、スケーターがカメラを横切ったので、このカメラの映像は、最終動画内に含めることができる。カメラはオーディオを記録することができるので、各カメラ２０８．１〜２０８．３は、ステレオ（又はイベントにおいて音楽を再生するいずれか他のオーディオ機器）によって再生される同じ音楽を同時に記録することができる。従って、例示的な実施形態ではフィンガープリントが用いられ、従来の同期（例えば、関連するフレームに基づいてビデオを同期する）を必要とせずにクリップが同期化される。これらの例示的な実施形態では、コンテンツ自体が同期処理を駆動することができる。記録中にいかなる音楽も再生されていない時には、一部の例示的な実施形態は、他のオーディオが適切な品質のオーディオフィンガープリントを計算することを可能にするのに十分な音量及び変化するものであった場合に、これらの他のオーディオを用いてクリップを同期することができるが、本発明の開示の範囲はこの点に関して限定を受けない。本発明の開示の目的では、オーディオフィンガープリントは、オーディオ自体から（例えば、オーディオ波形から）導出されるあらゆる音響又はオーディオ識別子を含む。
【００１６】
図３は、一部の例示的な実施形態によるメディア同期システム３００の機能図である。図３には、メディア同期システム３００の４つの主構成要素例が示されている。これらの構成要素例は、メディア摂取(ingestion)構成要素又はモジュール３０２、メディア解析構成要素又はモジュール３０４、コンテンツ作成構成要素又はモジュール３０６、及びコンテンツ公開構成要素又はモジュール３０８を含むことができるが、これらに限定されない。取り込まれたメディアをメディア摂取モジュール３０２からコンテンツ公開モジュール３０８へと順次処理することが論理的であると考えられるが、ユーザは、仕上がり動画を制作する際に、これらの構成要素の間を何回もジャンプする可能性が高いので、これは要件ではない。以下の説明では、クライアントサーバアーキテクチャを利用する一部の例示的な実施形態を説明する。しかし、他の代替アーキテクチャを用いることができるので、本発明の開示の範囲はこの点に関して限定を受けない。
【００１７】
一部の例示的な実施形態によると、メディア同期システム３００のメディア摂取モジュール３０２は、ソースクリップをシステム３００内に導き、これらのクリップに対するその後の操作を容易にするために、各クリップにメタデータをタグ付けするのに用いることができる。ソースクリップは、セルラー電話３１０．１、カメラ３１０．２、ビデオカムコーダー３１０．３、及び／又はパーソナルコンピュータ（ＰＣ）３１０．４を含む消費者用又は業務用メディア生成デバイス３１０をソースとすることができる。コンテンツを提出する各ユーザには、識別子（ＩＤ）を割り当てることができる。ユーザは、自分達の動画クリップをＩＤ割り当てサーバ３１２にアップロードすることができ、これらのクリップをアップロードする時に又は必要に応じてその後にメタデータを付加する。これらのメタデータは、例えば、以下のものを含むことができる。
【００１８】
イベントメタデータ：
●名前（例えば、Ｕ２コンサート）
●主題（例えば、ボノ）
●場所（例えば、ニューオリンズのスーパードーム）
●日付（例えば、１２／３１／０８）
●特定の座席番号又は会場の一般的な場所（例えば、第１１８区画５列９席）
●地理的座標（例えば、北緯２９．９５１，西経９０．０８１）
●一般的な注釈（例えば、特定の俳優によるハリケーン救済支援上演）
【００１９】
技術的メタデータ：
●ユーザＩＤ
●タイムスタンプ
●カメラ設定
●カメラＩＤ
●符号化フォーマット
●符号化ビットレート
●フレームレート
●解像度
●アスペクト比
【００２０】
映画メタデータ：
●イベント会場におけるカメラの場所（例えば、後列、舞台左等）
●カメラアングル（例えば、クローズアップ、ワイドアングル、ロー、ハイ等）
●カメラ技術（例えば、ダッチアングル、スター・トレック／バットマン方式、手持ち、三脚、移動等）
●カメラの動き（例えば、左／右／上／下に移動、ズームイン又はアウト、左／右／上／下に回転、計時方向又は反計時方向に回転等）
●照明（例えば、明るい、暗い、後方、前方、側方、色付き等）
●ビデオに対するオーディオの時間オフセット
【００２１】
コミュニティメタデータ：
●キーワード
●レーティング（例えば、オーディオ品質、ビデオ品質、カメラワーク、鮮明度、輝度等）
【００２２】
ＩＤ割り当てサーバ３１２に達すると、メディアＩＤが割り当てられ、そのメディアのメタデータと共にメディアデータベースに記憶されることができる。後の時点で、例えば、ユーザは、各クリップに関連付けられた非技術的メタデータを見直し、追加し、変更することができる。
【００２３】
アマチュアからのクリップが提出物の大部分を占めるが、一部の例示的な実施形態では、上演者、上演の主催会場、及び／又は商業メディア人員によって業務のために記録されたオーディオ及びビデオクリップを仕上がり動画の骨子を形成するのに用いることができる。これらの例示的な実施形態では、これらのクリップを基準オーディオ及び／又はビデオとすることができ、その上に全てのアマチュアクリップを重ね、そのようにラベル付けすることができる。一部の例示的な実施形態では、基準オーディオは、サウンドボード（例えば、図１に示している主ミキシングボード１０８）から直接供給することができ、コンサート会場にある場内アナウンスシステム（ＰＡ）を通じて再生されるミックスを表すことができる。ある実施形態では、個々の楽器又は上演者が基準オーディオを供給する。一部の例示的な実施形態では、基準ビデオは、舞台全体を取り込む高品質の安定したカメラ、又は会場のコーナに設けられて専門家によって操作される付加的なカメラ（例えば、業務用カメラ１０６．４）から供給することができる。
【００２４】
一部の例示的な実施形態は、より大きい動画へのビデオクリップの整理に向けられるが、一部の例示的な実施形態は、スチール写真、グラフィック、及びテキスト画面、並びにいずれか他のビデオを整理するのに用いることができる。これらの例示的な実施形態では、動画クリップと同様に、スチール写真、グラフィック、及びテキストをアップロードし、解析する（更に、任意的にフィンガープリント認証を行う）ことができる。これらの例示的な実施形態は、システム３００の同期機能を用いることを必要としない場合があるが、純粋なオーディオクリップをアップロードすることができる。これらの例示的な実施形態は、別の又はより高い品質の背景音楽、効果音、及び／又はボイスオーバーに対して有利なものとすることができるが、本発明の開示の範囲はこの点に関して限定を受けない。
【００２５】
一部の例示的な実施形態によると、メディア同期システム３００のメディア解析モジュール３０４は、各クリップが、如何にクリップ集合内の１つ又はそれよりも多くの他のクリップと関連するかを見出すのに、例えば、イベントと関連することを見出すのに用いることができる。システム３００内へのメディアの摂取の後に、クリップは、ＡｄｏｂｅのＦｌａｓｈフォーマットのような標準フォーマットへと符号化変換することができる。各クリップにおけるフィンガープリントは、フィンガープリントサブモジュール３１４によって計算され、認識サーバ３１６に追加することができる。一部の実施形態では、認識サーバは、データベースを含む。主フィンガープリントは、オーディオトラックから計算することができるが、ビデオフィンガープリントの今後の使用見込みによっては、ビデオフィンガープリントを収集することができる。
【００２６】
一部の例示的な実施形態では、付加的な処理を適用することができる（例えば、認識サーバ３１６及び／又はコンテンツ解析サブモジュール３１８により）。そのような付加的な処理の例は、以下のものを含むことができるが、これらに限定されない。
●顔、楽器、又は他の画像又は音の認識、
●輝度、コントラスト、色ヒストグラム、動きレベル、エッジレベル、解像感のような全体的な特徴に関する画像解析、
●カメラの動き及び手ぶれの測定（及び可能な補償）、
●テンポ推定、
●イベント開始の検出及び同期、
●旋律、和声、及び主音の検出（場合によっては、例えば、同じツアーのうちの異なるコンサートからのクリップを結合するために）、
●ドラム採譜、
●オーディオ信号レベル及びエネルギエンベロープ、
●一部のクリップを他のものに優先して推奨するための画像及びオーディオ品質の検出（品質は、ノイズレベル、解像度、サンプリング／フレームレートなどを含むことができる）、
●一部のクリップを他のものに優先して推奨するための画像及びオーディオ類似性の測定（解析される特徴は、色ヒストグラム、スペクトル、雰囲気、ジャンル、エッジレベル、動きレベル、詳細レベル、主音などを含むことができる）、
●クリップを拍子に同期するための拍子検出ソフトウエア、
●クリップ又はスチール画像を同期するための画像内挿ソフトウエア（個々のビデオクリップ、及び基準ビデオ原バージョンから上演の３Ｄモデルを導出することにより、他のクリップ又はスチール画像に対して任意の場面を内挿、照合、及び同期することができる）、又は
●会話認識。
【００２７】
最初の処理の後に、他のクリップとの符合を探すために、クリップにおけるフィンガープリントを内部認識サーバに対して照会することができる。クリップがいずれか他のものとオーバーラップする場合には、将来の使用に向けてオーバーラップの性質をデータベースに記憶することができる。システム３００は、それまでにいくつのクリップがアップロードされているかに関わらず、クリップのそのクリップ自身に対する符合を無視するように構成することができる。
【００２８】
一部の例示的な実施形態では、システム３００は、特定の提出を阻止するために、不正メディアのフィンガープリントの「ブラックリスト」を維持することができる。この阻止は、最初の解析中に行うことができ、又は特にブラックリストへの新しい追加が届いたといったような事実の後に行うことができる。
【００２９】
例示的な実施形態では、グループ検出モジュール３２０が設けられる。それに応じて、オーバーラップするクリップをグループ内に併合することができる。例えば、クリップＡがクリップＢとオーバーラップし、クリップＢがクリップＣとオーバーラップする場合には、クリップＡ、Ｂ、及びＣは、同じグループに属する。更に、クリップＥ、Ｆ、及びＧを含むグループが存在すると仮定する。新しいクリップＤが、Ｃ及びＥの両方とオーバーラップする場合には、２つのグループをクリップＤと組み合わせることができ、より大きなグループＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、及びＧが形成される。
【００３０】
フィンガープリント符合を通じて多くのオーバーラップを自動的に検出することができるが、フィンガープリント符合が失敗するか、又は２つのグループを繋ぐいかなるクリップもシステム３００内にアップロードされていないかのいずれかの場合が存在する可能性がある。この場合、グループを形成するのに他の技術を用いることができる。そのような技術は、クリップメタデータの解析、又は例えば以下のものに対する符合又はそれにおける近似を探す段階を含むことができる。
●イベント名及び日付、
●イベントの場所、
●クリップのタイムスタンプ、
●クリップのファイル名、
●提出者のユーザＩＤ、
●カメラフットプリント、
●和音進行又は旋律、又は
●画像類似性。
【００３１】
例示的な実施形態では、いかなるものともオーバーラップしないクリップをグループ内に含めることができる。そのようなクリップは、列を成して待つか又は上演に対して話す人々という会場の外の状況設定ショット、雰囲気又は基調を設定するショット、並びに人混み、露天商、設営のような他の上演以外の活動の様子のショットを含む。これらのクリップは、多くのグループに属する可能性がある。
【００３２】
一部の例示的な実施形態では、システム３００は、ユーザがどのグループを併合するのかを示すことを可能にするように構成することができる。全てのユーザがクリップを同じ手法でグループ分けするわけではない場合があるので、複数の同時分類法をサポートするように対処することができる。
【００３３】
例えば、同じ提出者ユーザＩＤ及び／又はカメラフットプリントに関連付けられたクリップは、互いにグループ分けすることができる。その後、所定のイベントにおけるこのカメラからの１つのクリップの時間オフセット（他のクリップ又は基準時間軸に対する）をグループ内の全てのクリップに適用することができる。この時間オフセットは、上述のカメラからのスチール画像に適用することができる。
【００３４】
一部の例示的な実施形態では、システム３００は、全員が同じイベントからのクリップをアップロードするためのシステム３００のユーザが共同制作、通信、及び／又は批評に向けてグループを形成することを可能にするように構成することができる。新しいクリップがアップロードされたか又は仕上がり動画が公開されたか否かを他のグループメンバに通知する自動メッセージ（例えば、電子メール、ＳＭＳ等）を生成することができる。
【００３５】
一部の例示的な実施形態では、システム３００は、特に、リード楽器、主な上演者、又は演奏者の重点演目を自動的に検出するように構成することができる。この自動検出は、画像又は音認識によって達成することができるが、代替の経験則は、例えば、ギタリストに対しては、その独奏中により多くの映像が入手可能な場合があることに気づくことである。これらの例示的な実施形態では、１つのシーンに対して多くの映像が利用可能である場合には、これは、このシーンが、独奏シーン又は上演の他の重要演目である可能性があり、殆どのメディア生成デバイス３１０が、その瞬間に独演者又は主上演者に集中している場合があることを示すと考えられる。
【００３６】
一部の例示的な実施形態では、システム３００のコンテンツ作成モジュール３０６は、メディアデータベース３２２内に含まれるソースクリップから仕上がり動画を構成するのに用いられる。様々な例示的な実施形態において、アップロード及び解析の後に、ユーザは、最終動画内に含めるべきクリップを選択することができる。この選択は、ユーザが、このユーザによってアップロードされたクリップ、他のユーザによってアップロードされたクリップ、及び／又はユーザが行ったテキストメタデータ検索を通じて識別されたクリップの中からクリップを選択することを可能にするクリップ閲覧及びグループ分けサブモジュール３２４によって行うことができる。メタデータ修正サブモジュール３２６は、ユーザが、クリップのメタデータを編集することを可能にする。一部の実施形態では、メディアデータベース３２２は、システム３００の外部に記憶されたクリップへの参照子（例えば、ポインタ、ハイパーリンク、及び／又はユニフォームリソースロケータ（ＵＲＬ））を収容する。選択されたクリップがいずれかのクリップグループの一部であった場合には、クリップ閲覧及びグループ分けサブモジュール３２４は、後にユーザが完全な動画へと組み立てることができる作業クリップセットをユーザに提供するのにこのグループ内の他のクリップを含むことができる。動画が構築される時に、その現在の状態を評価し、どのような作業が残っているかを判断するために、動画（又はその一部分）をプレビューすることができる。例えば、ユーザがクリップにアクセスして操作することを可能にするために、ウェブインタフェースによってグラフィカルユーザインタフェースを提供することができる。しかし、ユーザの介入は絶対に必要というわけではなく、ある実施形態は、仕上がり動画を自動的に構築することができる（例えば、ユーザの監視なしに）。
【００３７】
一部の例示的な実施形態では、動画編集サブモジュール３２８内に動画編集ツール及び機能を設けることができる。動画編集ツール及び機能は、以下のうちの１つ又はそれよりも多くを含む。
●単純な削除、
●マルチトラックオーディオミキシング、
●オーディオフェードイン及びフェードアウト、
●ビデオフェードイン及びフェードアウト
●オーディオクロスフェード、
●ビデオディソルブ、
●ワイプ及びマスキング、
●子画面表示、
●ダッキング（ボイスオーバー中に他のオーディオを自動的に低下させるか、又は人混みのノイズを自動的に低下させる）、
●タイトル及びテキストの重ね合わせ、
●クロマキー合成画像、並びにビデオオーバーレイ及びアンダーレイ、
●ビデオの早回し、スローモーション、及びフレーム静止、
●オーディオ及びビデオの時間延長及び短縮、
●ビデオ及びオーディオのダイナミックレンジ圧縮、
●ビデオの輝度、コントラスト、及び色調節、
●色付きから白黒又はセピアへの変換、
●オーディオ等化、
●余韻、エコー、フランジ、歪みのようなオーディオ効果、
●オーディオ及びビデオのノイズ低減、
●マルチチャンネルオーディオマスタリング（例えば、モノラル、ステレオ、５．１等）
●元来の目的（モーフィング）での又はカメラの動きを模擬するための２つ又はそれよりも多くのカメラ間の同期化された画像内挿、
●「マトリックス」様式の効果、及び／又は
●サブタイトル及び字幕付け。
【００３８】
一部の例示的な実施形態は、基本的なビデオエディタを含むので、ユーザインタフェース（例えば、ウェブベースのユーザインタフェース）において利用可能にすることができる機能数には基本的に制限が存在しないものとすることができる。あらゆる利用可能なビデオ編集技術又は特殊効果をシステム３００内に統合することができる。
【００３９】
一部の例示的な実施形態では、システム３００のコンテンツ作成モジュール３０６は、ブラウザを通してアクセスされるウェブアプリケーションとして実施することができる。人々はソフトウエアをインストールしたがらない場合があるので、ウェブベースのツールは、ウェブアプリケーションのクロスプラットフォーム性のみならず、ウェブ訪問者が、ソフトウエアをダウンロード、インストール、及び設定するのではなく、即時にそれを用いることができるということに起因して、より多くの閲覧者を得ることができる。また、プラットフォームの多様性は、ＰＣベースのアプリケーションに対して非常に低いので、ウェブアプリケーションは、維持及び管理することが容易なものとすることができるが、本発明の開示の範囲はこの点に関して限定を受けない。
【００４０】
ウェブベースのビデオ編集は、ネットワーク帯域幅及びサーバ速度に対して高い要求を課する場合がある。従って、コンテンツ作成モジュール３０６の一部の例示的な実施形態は、ＰＣ上に実装することができるが、ｍｐ３プレーヤ、携帯ゲーム専用機、及び移動電話のような組み込みデバイスのマルチメディア演算機能が高くなり、ネットワーク帯域幅が増加し、これらのプラットフォームがユーザインタフェースの対象になる可能性が高いので、本発明の開示の範囲はこの点に関して限定を受けない。
【００４１】
一部の例示的な実施形態では、メディア解析モジュール３０４及び／又はコンテンツ作成モジュール３０６は、部分的又は完全にサーバ又はクライアントデバイス上に実施することができる。「インターネット」又はピアツーピアネットワークアーキテクチャに接続した中央記憶サーバは、ユーザによって生成されたクリップのためのレポジトリとして機能することができる。中央サーバシステム、中継システム（エンドユーザのＰＣのような）、又はクライアントシステム（エンドユーザの移動電話のような）は、クリップの解析、編集、及び組み立てのための分散計算プラットフォームとすることができる。
【００４２】
一部の例示的な実施形態では、全ての動画合成をサーバ上で行うことができ、単純なユーザインタフェースのみをクライアント上に設けることができる。これらの例示的な実施形態では、最新の移動電話のような非ＰＣデバイスは、これらの例示的な実施形態の利用に対して可能なユーザプラットフォームになる場合がある。一般的に、これらのデバイスは、システム３００を動画へと組み立てることができるまさにそのクリップを記録することができるので、これらの例示的な実施形態は、特に有利なものとすることができる。
【００４３】
コンテンツ作成モジュール３０６及びコンテンツ公開モジュール３０８の両方にわたる機能は、仕上がり動画の最後における「クレジット」の生成であろう。これらのクレジットは、監視及び同じく最終動画に対してクリップに寄与した他者の名前を含むことができる。一部の例示的な実施形態では、システム３００は、これらのクレジットを自動的に生成するか又は手動で追加するように構成することができる。一部の例示的な実施形態では、クレジットを自動的にスクロールするか、スライドショーとして流すか、又は完全にユーザ制御によるものとすることができる。
【００４４】
図３のメディア同期システム３００のコンテンツ公開モジュール３０８は、仕上がり動画を実世界と共有するのに用いることができる。動画レンダリング器３３０は、仕上がり動画を生成する。動画が完成すると、ユーザは、それをシステムのウェブサイト３３２上で公開することができ、別のビデオ共有サイトに公開することができ、及び／又は別の動画に向けてのクリップとして用いることができる。ＲＳＳフィード、配信メールリスト、ユーザグループのような共有の機能を設けることができる。ウェブ訪問者には、鑑賞した動画に対するコメントを残し、これらの動画へのリンクを友人に電子メール送信し、これらの動画を自らのブログ及び個人的なウェブページ内に埋め込み、これらの動画の固定リンクを共有ブックマーク及びレーティングサイトへと提出することを可能にすることができる。注釈３３８、対話、クリック計数、レーティング、及び仕上がり動画に関連付けられた他のメタデータは、注釈データベース３３４に記憶することができる。プライバシーを尊重するために、一部のクリップ及び仕上がり動画は、プライベート又は準プライベートとマークすることができ、ユーザは、自らの動画を鑑賞することを許す者を制限することができる。動画閲覧サブモジュール３３６は、仕上がり動画を表示し、動画編集ツール３２８へのアクセスを提供することができる。
【００４５】
一部の例示的な実施形態では、以前のユーザが中断した場合に、将来のユーザが、継続することができ、互いの作業内容に修正を加え合い、互いの作業の上に構築する。他の者は、ユーザの動画から導出を行うことができるが、動画の原作者のみが、原動画への変更を行うことができる。一部の例示的な実施形態では、全ての他のユーザは、原物から別々に発展する複写物に対してのみ作業を行う。「元に戻す」機能を容易にし、他者が動画の展開を閲覧することを可能にするために、基本バージョン制御システムを任意的に設けることができる。
【００４６】
システム３００の様々な例示的な実施形態が、動画作成処理を制御し、ソースクリップを記憶することができるので、空間を節約するために、希にしか鑑賞されない仕上がり動画は削除し、将来誰かが鑑賞したいと思った場合には、オンザフライで再現することができる。更に、一般的なビデオは、中程度の経済的なビットレートで編集及び表示することができ、それに対してプレミアムバージョンは、ソースクリップからソースクリップに対して可能な最高品質で自動的に生成することができる。
【００４７】
適切なビジネス協定を作ることができる場合には、１つ又はそれよりも多くのビデオ共有サイトからソースクリップを入手し、仕上がり動画をそこに公開することができる。代替的に、本明細書で説明している例示的な実施形態のうちの１つ又はそれよりも多くを新しい機能としてウェブサイト内に直接組み込むことができるが、本発明の開示の範囲はこの点に関して限定を受けない。
【００４８】
一部の例示的な実施形態は、人々が自分達の好みのエディタを用いて、依然としてシステム例３００によって供給されるクリップで作業することができるように、人気の（そしてより強力な）ビデオ編集システムに対してシステム３００の機能を含むプラグインを提供することができる。この応用の展開例では、システム３００が自動的に判断する同期情報は、他の編集システムによる将来の使用に向けてメタデータとしてクリップに関連付けることができる。
【００４９】
例示的な実施形態は、動画作成アプリケーションによって行われる複合マッシュアップビデオの作成において用いることができる。一部の例示的な実施形態は、動画鑑賞者によって行われる最初のアプリケーションによって作成されたビデオの消費において用いることができる。
【００５０】
例示的な実施形態は、以下のイベント及び更に多くのものに関する複合マッシュアップビデオを作成するのに用いることができる。基本的に、カメラを手にした人々が多くの場合に見るあらゆるイベントが、例示的な実施形態を用いて作成されるビデオの良好な対象になる。イベントは以下のものを含む。
●大規模コンサート、
●小規模クラブ演奏、
●ナイトクラブでのダンス及び特別なイベント、
●パーティ、
●宗教的な式典：
○結婚式、
○洗礼式、
○ユダヤ教の男／女の成人式、
●アマチュア及びプロスポーツ：
○スケートボード、
○スノーボード、
○スキー、
○サッカー、
○バスケットボール、
○カーレース、
○他のスポーツ、
●遊園地の呼び物：
○動物の芸、
○人の芸、
○乗り物、
●パレード、
●大道芸、
●サーカス：
○曲芸、
○手品師、
○動物、
○道化師、
●学校及び課外イベント：
○ダンスリサイタル、
○学芸会、
○卒業式、
●祝祭日の伝統行事、及び／又は
●ニュース価値のあるイベント：
○政治集会、
○ストライキ、
○デモ行動、
○抗議行動。
【００５１】
本発明のシステムを利用してビデオを作成する一部の理由は、以下のものを含むことができる。
●純粋な創作活動及び楽しみ、
●共有、
●販売、
●マッシュアップビデオコンテスト、
●ファンによって提出されるリミックス及びパロディ、
●プロモーション及び認識度の上昇、
●複数ユーザ作成現場ニュース報告、及び／又は
●フラッシュモブの記録。
【００５２】
関心及びコンテンツを掘り起こすために、コンテスト及び他のインセンティブを創設することができる。
【００５３】
例示的な実施形態を用いて作成されるビデオは、以下のような多くのチャンネルを通じて楽しむことができる。
●システムサイト自体、
●ビデオ共有サイト、
●社会的ネットワークサイト、
●移動電話、
●上演アーティストのファンサイト、
●学校、
●個人のウェブページ、
●ブログ、
●ニュース及び娯楽サイト、
●電子メール、
●ＲＳＳシンジケーション、
●放送及びケーブルテレビジョン、及び／又は
●セットトップボックス。
【００５４】
運用サービスが動画コンテンツの配信を制御するので、収益を生成するためにビデオストリームに広告を追加することができる。クリップに関する権利保持者は、必要に応じてこの収益ストリームの一部分を受け取ることができる。
【００５５】
一部の例示的な実施形態では、システムの上述の４つの主構成要素は、意図する観衆、並びに経費、計算、又はデータ送信を最小にすることのような実際的な関心事に依存して、任意にいくつもの異なるマシンにわたって分散させることができる。一部の例示的なシステムアーキテクチャを下記に説明し、これらの相違の一部を表１に要約する。表１では、各オペレーションは、図３に例示しているものに対応すると考えられる。
【００５６】
（表１）
【００５７】
この表は、アーキテクチャ間の明確な線引きを表しているが、実際の実装は、１つ又はそれよりも多くのアーキテクチャからの要素の組合せを含むことができるので、本発明の開示の範囲はこの点に関して限定を受けない。図６は、下記により詳細に説明するように、システムアーキテクチャの例を示している。
【００５８】
一部の例示的な実施形態は、完全に単一のクライアントマシン上で動作するように構成することができる。しかし、単一のユーザは、本発明のシステムの自動同期機能を利用する程十分なオーバーラップビデオを持たない場合がある。友人グループ又は組織のメンバのような特殊なユーザは、自分達のクリップを中央ワークステーションに蓄積することができ、この中央ワークステーション上で自分達の動画を制作することになる。最終動画は、ウェブサイトにアップロードするか、他者に電子メール送信するか、又はＤＶＤ又は他の物理的媒体に焼き付けることができる。
【００５９】
一部の例示的な実施形態では、クライアント中心の実装は、可能な限り多くの作業をクライアントにプッシュすることができる。これらの例示的な実施形態では、サーバは、以下のものを含む最小限の機能しか持たない場合がある。
●クライアントマシンが引き出し、ウェブサイト上に表示することができるメディアクリップのレポジトリ、
●クリップのオーバーラップを検出するフィンガープリント照合サービス、及び／又は
●固有のＩＤを個々のクリップに割り当てるための中央認証拠点。
【００６０】
クライアントは、以下のものを含む他のあらゆるものを処理することができる。
●フィンガープリント認証、
●コンテンツ解析、
●ビデオ編集ＵＩ、
●ビデオ及びオーディオ処理、及び／又は
●最終動画レンダリング。
【００６１】
これらの例示的な実施形態は、非常に多くの同時ユーザを容易に処理するように規模を拡大することができる。
【００６２】
他の例示的な実施形態では、サーバ中心の実装が、可能な限り多くの作業を処理するようにサーバマシンを拠り所にすることができる。クライアントは、例えば、以下のものを含む最小限の機能しか持たない場合がある。
●データ入力、
●動画編集ツール、及び／又は
●動画閲覧。
【００６３】
サーバは、例えば、以下の他のあらゆるものの殆どを実施することができる。
●フィンガープリント認証、
●コンテンツ解析、
●ビデオ及びオーディオ処理、及び／又は
●最終動画レンダリング。
【００６４】
これらの例示的な実施形態の潜在的な利点は、機能及び性能に対する制御がサーバに一極集中されることである。クライアントソフトウエアへの更新を必要とせずに、要求が発生するのに応じてより速いハードウエア、より速いソフトウエア、又は新しい機能を舞台裏で装備することができる。クライアントがウェブベースのものである場合には、クライアントのユーザインタフェースの外観、使用感、及び機能さえもサーバによって制御することができる。別の潜在的な利点は、ユーザのシステムを極めて低価格のものとすることができ、移動電話、タブレットＰＣ、又はセットトップボックスを十分なものとすることができる。
【００６５】
一部の例示的な実施形態では、メディアクリップの中央ストレージが存在しない分散アーキテクチャを設けることができる。これらの例示的な実施形態では、ソースクリップは、ユーザコミュニティの各メンバのクライアントマシンにわたって記憶することができる。それらを同様に分散方式で実施することができない限り、一部の例示的な実施形態では、ホストマシンに対してクリップＩＤをマップする中央データベース、及びクリップのオーバーラップを検出する一極集中のフィンガープリント認識サーバが存在するものとすることができる。クライアント中心の例示的な実施形態と同様に、これらの分散型の例示的実施形態では、クライアントは、全ての信号処理及びビデオ編集を実施することができる。仕上がり動画もまた、クライアントが受け持つことができる。利用可能性を高めるために、個々のユーザがオフラインの場合に対して、クリップ及び仕上がり動画を複数のマシン上に記憶することができる。
【００６６】
これらの分散型の例示的実施形態の潜在的な利点は、ホスト企業がハードウエアにおいて潜在的に最小限の投資しか必要としないことであるが、中央クリップ登録サーバ又はフィンガープリント認識サーバを維持することが必要になる場合には、投資は増加することになる。
【００６７】
図４は、メディアクリップをこれらのクリップの時間オーバーラップによって判断される通りにタイムライン上で互いに対して位置決めすることができる例示的な動画編集ユーザインタフェースを示している。例えば、ユーザがコンサートの動画を編集している場合には、仕上がり動画が示される時の異なるシーン及び／又はカメラアングル間の複数のカットにも関わらず、メディアクリップは、音楽の連続性を保持する方式で整列させることができる。ユーザが講義の動画を編集している別の例では、仕上がり動画が示される時の異なるシーン及び／又はカメラアングルの間の複数のカットにも関わらず、メディアクリップは、講義のスピーチの連続性を保持する方式で整列することができる。ユーザが犯罪シーンの動画を編集している更に別の例では、仕上がり動画が示される時の異なるシーン及び／又はカメラアングルの間の複数のカットにも関わらず、メディアクリップは、１つ又はそれよりも多くのセキュリティカメラからの時間コード（例えば、局所時間）の連続性を保持する方式で整列することができる。他の例示的な実施形態では、オーディオ及び／又はテキストデータの整列は、ビデオフィンガープリントに基づくものとすることができる。
【００６８】
ユーザは自由にこの整列を調節することができるが、ユーザは、継ぎ目のないオーディオトラック又は時間コードトラック上に十分に同期化されたビデオを作成するのにこの整列を拠り所とすることができる。また、フィンガープリントによって導出される対応位置は、ミリ秒までは正確ではない場合があるので、拍子の位相が対応状態を保つことを保証するのに役立てるために、ある程度の調節を必要とする可能性がある。光と音との異なる速度に起因して、大きい会場の後方から取り込まれる舞台のビデオは、体感できるほどオーディオに先行する可能性がある。一部の例示的な実施形態は、光と音とのこれらの異なる速度を補償することができる。一部の例示的な実施形態では、整理されたプレゼンテーション（例えば、動画）において、ビデオとオーディオとが同期から外れているクリップがより良好に機能するように、このクリップ上でクリップにオフセット値を関連付けることができる。
【００６９】
殆どの業務のために制作される動画のように、画像と音は、同時に同じクリップからのものである必要はない。一部の例示的な実施形態では、システム３００は、例えば、シーン間のより魅力的な遷移を作成するために、数秒間対応する画像なしでオーディオを流すように構成することができる。代替的に、システム３００の一部の例示的な実施形態は、長いオーディオ／ビデオクリップの途中にビデオのみのクリップのシーケンスを落とし込むように構成することができる。システム３００の一部の例示的な実施形態は、会場又は人混みの音を存在させることができるあらゆる基準オーディオと共にミキシングするように構成することができる。
【００７０】
異なるデバイスは、異なる忠実度レベルを有するオーディオを記録することができる。オーディオ品質における急な乱れを回避するために、更に一般的な編集の自由度のために、例示的な実施形態は、複数のクリップからのオーディオ間のクロスフェードを可能にする。一部の例示的な実施形態では、システム３００は、利用可能な場合は基準オーディオトラックを用いるように構成することができる。一部の例示的な実施形態では、ディソルブのような類似のビデオ効果を提供する。一部の例示的な実施形態では、システム３００は、持続時間と品質とによってオーディオとビデオとを評価し、これら２つのパラメータ間の最良のトレードオフを推薦する論理を含む。一部の例示的な実施形態では、システム３００は、ユーザが、クリップの品質に対してレーティングを割り当てることを可能にする。
【００７１】
イベントの撮影範囲にはギャップが存在する可能性が非常に高いと考えられるので、システム３００は、予め制作された（例えば、事前準備された）効果、ワイプ、遷移、並びにギャップによって引き起こされる分断を低減するか又は最小にするのに役立つバンパーを提供し、理想的には、欠損データに対する穴埋めではなく、これらのギャップが、イベントの意図的な編集部として見えるようにするように構成することができる。
【００７２】
一部の例示的な実施形態は、クリップをアップロードエリア４１０にドラッグするのを可能にするユーザインタフェースを設けることができ、この時にクリップは、中央サーバに送信されて更に処理される。これらの例示的な実施形態では、クリップがアップロードされると同時に、メタデータを入力することを可能にするダイアログボックスを表示することができる。その後クリップは、クリップブラウザ４３０内で検索することができる。ブラウザ内で見つかったクリップは、編集タイムライン４４０へとドラッグすることができる。新しくドラッグされたクリップが、タイムライン内の他のクリップとオーバーラップする場合には、システム３００は、既存のクリップと同期された新しいクリップを自動的に位置決めすることができる。一部の例示的な実施形態は、ユーザが、最終動画内のあらゆる点でどのクリップを表示するかを選択するために編集タイムラインを操作し、及び／又は特殊効果及び他の編集技術を適用することを可能にする。最終動画が編集されると同時に、ユーザインタフェースは、その現在の状態をプレビューウィンドウ４２０内で閲覧することを可能にすることができる。一部の例示的な実施形態では、クリップに関連付けられたメタデータを修正するためにいつでもクリップを開くことができる。
【００７３】
図５は、１つ又はそれよりも多くの例示的な実施形態を実施するのに適する処理システム５００のブロック図である。処理システム５００は、パーソナルコンピュータ又はサーバのようなほぼあらゆる処理システム、又は無線通信デバイス又はシステムを含む通信システムとすることができる。処理システム５００は、一部の例示的な実施形態を実施するのに用いられる上述のサーバ又はクライアントデバイス（例えば、ＰＣ）のうちのいずれか１つ又はそれよりも多く、並びにビデオ及びオーディオを取得するのに用いることができる無線デバイスを含むクライアントデバイスのうちのいずれか１つ又はそれよりも多くとしての使用に適するものとすることができる。処理システム５００は、処理回路５０２、メモリ５０４、入力／出力（Ｉ／Ｏ）要素５０６、及びネットワークインタフェース回路５０８を含むように例示的に示したものである。処理回路５０２は、メモリを利用するほぼあらゆる種類の処理回路を含むことができ、更に、１つ又はそれよりも多くのデジタル信号プロセッサ（ＤＳＰ）、１つ又はそれよりも多くのマイクロプロセッサ、及び／又は１つ又はそれよりも多くのマイクロコントローラを含むことができる。メモリ５０４は、処理回路５０２をサポートすることができ、処理回路５０２に対してキャッシュメモリを提供することができる。Ｉ／Ｏ要素５０６は、システム５００の入力及び出力要件をサポートすることができ、キーボード、キーパッド、スピーカ、マイクロフォン、ビデオ取り込みデバイス、ディスプレイ、及び１つ又はそれよりも多くの通信ポートのような１つ又はそれよりも多くのＩ／Ｏ要素を含むことができる。ＮＩＣ５０８は、「インターネット」のような有線ネットワーク、又はアンテナ５１０を用いた無線ネットワーク上で他のデバイスと通信を行うために用いることができる。一部の例示的な実施形態では、処理システム５００がビデオ及びオーディオを取り込む上で用いられ、ビデオ取り込みデバイスとして動作させる時には、処理システム５００は、ビデオ及びオーディオを高品質フォーマットで記録し、及び／又は記憶する１つ又はそれよりも多くのビデオ記録要素（ＶＲＥ）５１２を含むことができる。
【００７４】
無線デバイスの例は、携帯情報端末（ＰＤＡ）、無線通信機能を有するラップトップ及び携帯コンピュータ、ウェブタブレット、無線電話、無線ヘッドセット、ポケットベル、インスタントメッセージデバイス、ＭＰ３プレーヤ、デジタルカメラ、及び無線で情報を受信及び／又は送信することができる他のデバイスを含むことができる。
【００７５】
図６は、一部の例示的な実施形態による例示的システムアーキテクチャを示している。システムアーキテクチャ６００は、表１で上述の例示的アーキテクチャのうちの１つ又はそれよりも多くを実施するのに適するものとすることができる。システムアーキテクチャ６００は、ビデオ取り込みデバイス（ＶＣＤ）６０４からビデオ及び他の情報を受信するのに用いることができる１つ又はそれよりも多くのユーザデバイス６０２を含む。ＶＣＤ６０４は、ビデオ情報を取り込む上で用いられるあらゆるデバイスを含むことができる。ユーザデバイス６０２は、ネットワーク６０６を通じて他のユーザデバイス６０２，並びに１つ又はそれよりも多くのサーバ６０８及び１つ又はそれよりも多くのデータベース６１０と通信を行うことができる。一部の例示的な実施形態では、データベース６１０は、上述のメディアデータベース、及び／又は上述の注釈データベースを含むことができるが、これらのデータベースは、ユーザデバイス６０２のうちの１つ又はそれよりも多くの上に記憶することができるので、本発明の開示の範囲はこの点に関して限定を受けない。サーバ６０８は、特に、上述の認識サーバ３１６、並びに例示的に上述したシステム３００の様々なオペレーションをサポートするサーバ機器を含むことができるが、これらのオペレーションは、ユーザデバイス６０２のうちの１つ又はそれよりも多くの上に記憶することができるので、本発明の開示の範囲はこの点に関して限定を受けない。処理システム５００は、ユーザデバイス６０２、ＶＣＤ６０４、及び／又はサーバ６０８を実施するための使用に適するものとすることができる。ユーザデバイス６０２は、上述のユーザのＰＣに対応するものとすることができる。
【００７６】
一部の例示的な実施形態では、消費者／複数のユーザは、マルチメディア素材（ビデオ、オーディオ、画像、テキスト．．．）を共通のレポジトリ／プール（例えば、特定のウェブサイト、又はＰ２Ｐ環境ではエンドユーザのコンピュータにおける特定のプール）に投稿することができ、次に、これらの実施形態の方法及びシステムは、メディアクリップを取り出し、提出されたメディア内又は基準メディアからの手掛かりを用いて空間的又は時間的のいずれかで整列させることができる。次に、整列したメディアクリップは、個々のメディア体験をまるで芸術的なコラージュ作品のように作成するために、消費者／複数のユーザが選択、編集、及び構成することができる。
【００７７】
例示的なシステムアーキテクチャ６００及びシステム３００は、いくつかの別々の機能要素を有する例として示したものであるが、これらの機能要素のうちの１つ又はそれよりも多くは、組み合わせることができ、かつデジタル信号プロセッサ（ＤＳＰ）を含む処理要素のようなソフトウエア構成式要素の組合せ、及び／又は他のハードウエア要素によって実施することができる。例えば、一部の要素は、１つ又はそれよりも多くのマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）、並びに少なくとも本明細書に説明している機能を実行するための様々なハードウエアと論理回路との組合せを含むことができる。一部の例示的な実施形態では、システムの機能要素は、１つ又はそれよりも多くの処理要素上で動作する１つ又はそれよりも多くの処理を参照することができる。
【００７８】
図７は、一部の例示的な実施形態によるマルチメディアイベントを合成する方法７００の流れ図である。方法７００のオペレーションは、１つ又はそれよりも多くのユーザデバイス６０２（図６を参照されたい）、及び／又はサーバ６０８（図６を参照されたい）によって実行することができる。オペレーション７０２は、ユーザのビデオ取り込みデバイスのような複数のソースから受信したメディアクリップにアクセスする段階を含む。オペレーション７０４は、各メディアクリップに識別子を割り当てる段階を含む。オペレーション７０４は、メディア摂取モジュール３０２（図３を参照されたい）によって実行することができる。一部の実施形態では、オペレーション７０４は省略される。オペレーション７０６は、メディアクリップの解析を実行してメディアクリップ間の時間的関係を判断する段階を含む。オペレーション７０６は、メディア解析モジュール３０４（図３を参照されたい）によって実行することができる。オペレーション７０８は、メディアクリップの時間的関係に基づいてメディアクリップを組み合わせてビデオを生成する段階を含む。一部の実施形態では、組み合わせる段階は、自動的に実行される。ある実施形態では、組み合わせる段階は、ユーザの監視下で実行される。オペレーション７０８は、コンテンツ作成モジュール３０６（図３を参照されたい）によって実行することができる。オペレーション７１０は、生成されたビデオを公開する段階を含む（例えば、ビデオをウェブサイトに公開する）。オペレーション７１０は、コンテンツ公開モジュール３０２（図３を参照されたい）によって実行することができる。例えば、コンテンツ公開モジュール３０２（図３を参照されたい）は、公開ネットワーク（例えば「インターネット」）、非公開ネットワーク（例えば、ビデオゲームデバイスの閉じたネットワーク）、移動デバイス（例えば、セルラー電話）、及び／又は静止デバイス（例えば、キオスク又は博物館の展示）に対してプレゼンテーションを公開することができる。
【００７９】
方法７００の個々のオペレーションは、別々のオペレーションとして例示して説明したが、個々のオペレーションの１つ又はそれよりも多くを同時に実行することができ、いかなるものも例示している順序でオペレーションを実行することを必要としない。
【００８０】
別途特記しない限り、処理、演算、計算、判断、又は表示などのような用語は、処理システムのレジスタ及びメモリ内の物理的（例えば、電子的）量として表されたデータを処理システムのレジスタ又はメモリ、又は他のそのような情報ストレージ、送信デバイス、又は表示デバイス内の物理量として同様に表される他のデータへと操作及び変換することができる１つ又はそれよりも多くの処理システム、計算システム、又は類似のデバイスの行為及び／又は処理を意味することができる。更に、本明細書に用いる場合、コンピュータデバイスは、揮発性メモリ又は不揮発性メモリ、又はこれらの組合せとすることができるコンピュータ可読メモリに結合した１つ又はそれよりも多くの処理要素を含む。
【００８１】
例示的な実施形態は、ハードウエア、ファームウエア、及びソフトウエアのうちの１つ又はこれらの組合せで実施することができる。例示的な実施形態は、本明細書に説明しているオペレーションを実行する少なくとも１つのプロセッサによって読み取って実行することができる機械可読媒体上に記憶された命令として実施することができる。機械可読媒体は、情報をマシン（例えば、コンピュータ）によって読み取ることができる形態で記憶又は送信するためのあらゆる機構を含むことができる。例えば、機械可読媒体は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び他のものを含むことができる。
【符号の説明】
【００８２】
３００ メディア同期システム
３０２ メディア摂取構成要素又はモジュール
３０４ メディア解析構成要素又はモジュール
３０６ コンテンツ作成構成要素又はモジュール
３０８ コンテンツ公開構成要素又はモジュール
【技術分野】
【０００１】
優先権の主張
本特許出願は、内容全体が本明細書に引用によって組み込まれる２００７年９月２８日出願の米国特許仮出願第６０／９７６，１８６号の出願日の優先権の利益を請求するものである。
【０００２】
一部の例示的な実施形態は、一般にメディア同期、及び特にマルチメディアイベントのプレゼンテーションを合成することに関する。
【背景技術】
【０００３】
２１世紀の初めに、動画を記録することができるデジタルカメラ及び移動電話のようなデバイスが遍在するようになった。記録デバイスはどこにでも存在するので、基本的にあらゆる注目の公開イベントは、多くの異なる人々によって各々若干異なる手法で記録されている。これらの記録は、様々なウェブサイト上で共有される場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許仮出願第６０／９７６，１８６号
【発明の概要】
【課題を解決するための手段】
【０００５】
以下の説明及び図面は、当業者が例示的な実施形態を実施することを可能にするようにこれらの例示的な実施形態を十分に示すものである。他の例示的な実施形態は、構造的、論理的、電気的、処理的、及び他の変更を組み込むことができる。実施例は、可能な変形を代表しているに過ぎない。個々の構成要素及び機能は、明示的に必要とされない限り任意的であり、オペレーションの順序は変更することができる。一部の例示的な実施形態の各部分及び特徴は、他の例示的な実施形態の各部分及び特徴に含めるか、又はこれらで置換することができる。特許請求の範囲において示す例示的な実施形態は、これらの特許請求の範囲の全ての利用可能な均等物を網羅する。
【０００６】
アーティストが自らのファンと対話を行う際に認めることができる現在の傾向の１つは、コンサートビデオにおける職業編集者による将来の使用に向けて、ファンがコンサート中に撮影した映像を提出するようにファンに依頼することである。この依頼の一例は、ある劇団がファンに向けて発した、ニューヨーク市でのイベントを撮影してその素材を後に提供してもらう最近の呼び掛けである。この傾向は、上演中の移動電話又はポケットカメラのような撮影機器の益々頻繁な使用、及びあらゆる写真機器を禁止することによってこの傾向を抑制する試みの無益性に対するアーティストによる反応として捉えることができる。
【０００７】
一部の例示的な実施形態は、消費者が自らの個人的な素材を追加する機能を含む数々のビデオクリップへのアクセスを有することによって自らの個人的なコンサート記録を作成することを可能にすることにより、同じイベントから撮られた複数のビデオクリップを自動的に同期する技術的装置及び／又はシステムを提供することができる。上述のことは、多くの人々が短時間のメディア又はマルチメディアクリップ（写真、ビデオ、オーディオ、テキスト）を取り込むことができる機器を日頃の生活の中で携帯し、この機器をイベント又はショーの間に個人的な体験の記念を得るために用いることになるということを利用する。多くの人々は、自分達が作成した内容を共有することを望んでいる。このコンテンツ共有は、撮影したメディアクリップを投稿することに限定されず、メディアクリップを芸術的及び個性的な手法で整理することを含む。認められるこれらの傾向を助勢するために、一部の例示的な実施形態は、メディアクリップを識別し、同期するためにメディアフィンガープリントを用いる。
【０００８】
一部の例示的な実施形態では、個々の別々に記録されたイベントの場景からイベントの完全なプレゼンテーションを合成するために、メディア同期システムを用いることができる。この合成の例は、各々が上演会場の異なる部分に位置し、各々が異なる時点に記録を行う観衆内の多くの異なる人々によって記録された短いクリップからコンサートの完全なビデオを合成することである。これらの例示的な実施形態では、個々のクリップの間に十分なオーバーラップが存在し、従って、コンサート全体を表すことができるものとする。一部の例示的な実施形態では、コンサートの参加者がカメラ操作者のように機能することができ、システムのユーザが、コンサートビデオを制作する際に監視するように機能することができる。一部の例示的な実施形態では、同じイベントからのクリップを自動的に検出し、グループ分けし、かつ整列させる上でオーディオフィンガープリント及びデータマイニングのような技術が用いられる。
【０００９】
一部の例示的な実施形態は、コンサートのような公開イベントにおいて用いることができるのと同時にスポーツやパーティのような個人的及び半個人的なイベントにおいて用いることができる。例えば、一群の子供の各々は、別の子供がスケートボードの技を行うのを記録することができる。後に完全なスケートのビデオを作成するのに、これらの別々の記録をいくつもの異なる手法で縫い合わせることができ、このビデオは、その後共有することができる。電子メールが遍在的になった時にパーソナルコンピュータがより有利なものになったように、カメラ及び携帯電話のようなビデオ記録デバイスは、記録されたクリップの労力を要さない共有及び整理が可能になった時により有利なものになる。一部の例示的な実施形態は、このことにおいて、上述のコンテンツ整理のストレージ及び促進器として重要な役割を果たすことができる。
【００１０】
一部の例示的な実施形態は、イベントを記録し、自らのクリップを他の動画制作愛好家のものと共に後に共有される個人に特化したビデオへと編集かつ整理するのを楽しむ動画制作愛好家によって用いることができる。一部の例示的な実施形態は、動画制作愛好家が作り出したものを鑑賞して、それに対してコメントを述べ、それを友人と共有する動画閲覧愛好家によって用いることができる。両方のグループには、自分達のコンピュータを創造と娯楽とに用いて楽しむ「インターネット」熱狂者が大勢存在する。一部の例示的な実施形態は、全てが自らの上演への関心と認識度を改善して発生させる努力において、記録を是認することができて高品質の業務のために制作されたクリップをアマチュアが用いて改良することに向けて提供することができるイベント上演者自身によって用いることができる。
【００１１】
一部の例示的な実施形態は、コンサートを記録し、ファンが業務のために記録されたクリップ及び他のファンによって記録されたクリップを用いて自己監視動画を作成することを可能にするために用いることができる。
【図面の簡単な説明】
【００１２】
【図１】バンドが舞台上で演奏を行っており、独自の記録を行っている幾人かの観衆者及び舞台全体を記録している業務用カメラを含む仮想コンサートの図である。
【図２】一個人がコースを通してスケートボードに乗っており、同時に彼の友人が自分達のカメラ及び電話で彼を撮影している図である。
【図３】一部の例示的な実施形態によるメディア同期システムの機能図である。
【図４】例示的な実施形態によるユーザインタフェースの例の図である。
【図５】１つ又はそれよりも多くの例示的な実施形態を実施するのに適する処理システムのブロック図である。
【図６】一部の例示的な実施形態による例示的なシステムアーキテクチャの図である。
【図７】一部の例示的な実施形態によるマルチメディアイベントを合成するための手順の流れ図である。
【発明を実施するための形態】
【００１３】
図１は、バンド１０２が舞台１０４上で演奏を行っており、幾人かの観衆者１０６．１〜１０６．３が、画像取り込みデバイス１０８．１〜１０８．３、例えば、カメラ（例えば、コンパクトカメラ）及び携帯電話のカメラを用いて独自の記録を行い、業務用カメラ１０６．４が、舞台１０４全体を記録している仮想コンサート１００を示している。コンサート１００におけるオーディオを記録するために、主ミキシングボード１１０を設けることができる。業務用カメラ１０６．１は、舞台１０４全体を常時取り込むことができ、一方、ファンのカメラ１０８．１〜１０８．３は、個々の上演者１０２．１〜１０２．４又は観衆及び会場のような上演空間の舞台以外の区域を取り込むか、又は上演空間の回りで別のアングルを与えるか、又は移動することができる。
【００１４】
一部の例示的な実施形態は、コンサートのような公開イベントにおける使用に適するものとすることができ、また、子供がスケートボード上で技を行うような個人的又は半個人的イベントにおいて用いることができる。例えば、図２は、１人の人物２０２がコース２０４の中でスケートボードに乗っており、その間に彼の友人２０６．１〜２０６．３が画像取り込みデバイス、例えば、カメラ（例えば、コンパクトカメラ）及び携帯電話のカメラ２０８．１〜２０８．３を用いて彼を撮影しているところを示している。特に、雰囲気を作り出すために音楽を再生するステレオ２１０が存在する可能性がある。これらの例示的な実施形態では、カメラ２０８．１〜２０８．３によって取り込まれたクリップを蓄積し、同期し、例えば、「インターネット」上で共有することができる見栄えの良い動画へと編集することができる。
【００１５】
一例示的実施形態では、スケーターがカメラを横切ったので、このカメラの映像は、最終動画内に含めることができる。カメラはオーディオを記録することができるので、各カメラ２０８．１〜２０８．３は、ステレオ（又はイベントにおいて音楽を再生するいずれか他のオーディオ機器）によって再生される同じ音楽を同時に記録することができる。従って、例示的な実施形態ではフィンガープリントが用いられ、従来の同期（例えば、関連するフレームに基づいてビデオを同期する）を必要とせずにクリップが同期化される。これらの例示的な実施形態では、コンテンツ自体が同期処理を駆動することができる。記録中にいかなる音楽も再生されていない時には、一部の例示的な実施形態は、他のオーディオが適切な品質のオーディオフィンガープリントを計算することを可能にするのに十分な音量及び変化するものであった場合に、これらの他のオーディオを用いてクリップを同期することができるが、本発明の開示の範囲はこの点に関して限定を受けない。本発明の開示の目的では、オーディオフィンガープリントは、オーディオ自体から（例えば、オーディオ波形から）導出されるあらゆる音響又はオーディオ識別子を含む。
【００１６】
図３は、一部の例示的な実施形態によるメディア同期システム３００の機能図である。図３には、メディア同期システム３００の４つの主構成要素例が示されている。これらの構成要素例は、メディア摂取(ingestion)構成要素又はモジュール３０２、メディア解析構成要素又はモジュール３０４、コンテンツ作成構成要素又はモジュール３０６、及びコンテンツ公開構成要素又はモジュール３０８を含むことができるが、これらに限定されない。取り込まれたメディアをメディア摂取モジュール３０２からコンテンツ公開モジュール３０８へと順次処理することが論理的であると考えられるが、ユーザは、仕上がり動画を制作する際に、これらの構成要素の間を何回もジャンプする可能性が高いので、これは要件ではない。以下の説明では、クライアントサーバアーキテクチャを利用する一部の例示的な実施形態を説明する。しかし、他の代替アーキテクチャを用いることができるので、本発明の開示の範囲はこの点に関して限定を受けない。
【００１７】
一部の例示的な実施形態によると、メディア同期システム３００のメディア摂取モジュール３０２は、ソースクリップをシステム３００内に導き、これらのクリップに対するその後の操作を容易にするために、各クリップにメタデータをタグ付けするのに用いることができる。ソースクリップは、セルラー電話３１０．１、カメラ３１０．２、ビデオカムコーダー３１０．３、及び／又はパーソナルコンピュータ（ＰＣ）３１０．４を含む消費者用又は業務用メディア生成デバイス３１０をソースとすることができる。コンテンツを提出する各ユーザには、識別子（ＩＤ）を割り当てることができる。ユーザは、自分達の動画クリップをＩＤ割り当てサーバ３１２にアップロードすることができ、これらのクリップをアップロードする時に又は必要に応じてその後にメタデータを付加する。これらのメタデータは、例えば、以下のものを含むことができる。
【００１８】
イベントメタデータ：
●名前（例えば、Ｕ２コンサート）
●主題（例えば、ボノ）
●場所（例えば、ニューオリンズのスーパードーム）
●日付（例えば、１２／３１／０８）
●特定の座席番号又は会場の一般的な場所（例えば、第１１８区画５列９席）
●地理的座標（例えば、北緯２９．９５１，西経９０．０８１）
●一般的な注釈（例えば、特定の俳優によるハリケーン救済支援上演）
【００１９】
技術的メタデータ：
●ユーザＩＤ
●タイムスタンプ
●カメラ設定
●カメラＩＤ
●符号化フォーマット
●符号化ビットレート
●フレームレート
●解像度
●アスペクト比
【００２０】
映画メタデータ：
●イベント会場におけるカメラの場所（例えば、後列、舞台左等）
●カメラアングル（例えば、クローズアップ、ワイドアングル、ロー、ハイ等）
●カメラ技術（例えば、ダッチアングル、スター・トレック／バットマン方式、手持ち、三脚、移動等）
●カメラの動き（例えば、左／右／上／下に移動、ズームイン又はアウト、左／右／上／下に回転、計時方向又は反計時方向に回転等）
●照明（例えば、明るい、暗い、後方、前方、側方、色付き等）
●ビデオに対するオーディオの時間オフセット
【００２１】
コミュニティメタデータ：
●キーワード
●レーティング（例えば、オーディオ品質、ビデオ品質、カメラワーク、鮮明度、輝度等）
【００２２】
ＩＤ割り当てサーバ３１２に達すると、メディアＩＤが割り当てられ、そのメディアのメタデータと共にメディアデータベースに記憶されることができる。後の時点で、例えば、ユーザは、各クリップに関連付けられた非技術的メタデータを見直し、追加し、変更することができる。
【００２３】
アマチュアからのクリップが提出物の大部分を占めるが、一部の例示的な実施形態では、上演者、上演の主催会場、及び／又は商業メディア人員によって業務のために記録されたオーディオ及びビデオクリップを仕上がり動画の骨子を形成するのに用いることができる。これらの例示的な実施形態では、これらのクリップを基準オーディオ及び／又はビデオとすることができ、その上に全てのアマチュアクリップを重ね、そのようにラベル付けすることができる。一部の例示的な実施形態では、基準オーディオは、サウンドボード（例えば、図１に示している主ミキシングボード１０８）から直接供給することができ、コンサート会場にある場内アナウンスシステム（ＰＡ）を通じて再生されるミックスを表すことができる。ある実施形態では、個々の楽器又は上演者が基準オーディオを供給する。一部の例示的な実施形態では、基準ビデオは、舞台全体を取り込む高品質の安定したカメラ、又は会場のコーナに設けられて専門家によって操作される付加的なカメラ（例えば、業務用カメラ１０６．４）から供給することができる。
【００２４】
一部の例示的な実施形態は、より大きい動画へのビデオクリップの整理に向けられるが、一部の例示的な実施形態は、スチール写真、グラフィック、及びテキスト画面、並びにいずれか他のビデオを整理するのに用いることができる。これらの例示的な実施形態では、動画クリップと同様に、スチール写真、グラフィック、及びテキストをアップロードし、解析する（更に、任意的にフィンガープリント認証を行う）ことができる。これらの例示的な実施形態は、システム３００の同期機能を用いることを必要としない場合があるが、純粋なオーディオクリップをアップロードすることができる。これらの例示的な実施形態は、別の又はより高い品質の背景音楽、効果音、及び／又はボイスオーバーに対して有利なものとすることができるが、本発明の開示の範囲はこの点に関して限定を受けない。
【００２５】
一部の例示的な実施形態によると、メディア同期システム３００のメディア解析モジュール３０４は、各クリップが、如何にクリップ集合内の１つ又はそれよりも多くの他のクリップと関連するかを見出すのに、例えば、イベントと関連することを見出すのに用いることができる。システム３００内へのメディアの摂取の後に、クリップは、ＡｄｏｂｅのＦｌａｓｈフォーマットのような標準フォーマットへと符号化変換することができる。各クリップにおけるフィンガープリントは、フィンガープリントサブモジュール３１４によって計算され、認識サーバ３１６に追加することができる。一部の実施形態では、認識サーバは、データベースを含む。主フィンガープリントは、オーディオトラックから計算することができるが、ビデオフィンガープリントの今後の使用見込みによっては、ビデオフィンガープリントを収集することができる。
【００２６】
一部の例示的な実施形態では、付加的な処理を適用することができる（例えば、認識サーバ３１６及び／又はコンテンツ解析サブモジュール３１８により）。そのような付加的な処理の例は、以下のものを含むことができるが、これらに限定されない。
●顔、楽器、又は他の画像又は音の認識、
●輝度、コントラスト、色ヒストグラム、動きレベル、エッジレベル、解像感のような全体的な特徴に関する画像解析、
●カメラの動き及び手ぶれの測定（及び可能な補償）、
●テンポ推定、
●イベント開始の検出及び同期、
●旋律、和声、及び主音の検出（場合によっては、例えば、同じツアーのうちの異なるコンサートからのクリップを結合するために）、
●ドラム採譜、
●オーディオ信号レベル及びエネルギエンベロープ、
●一部のクリップを他のものに優先して推奨するための画像及びオーディオ品質の検出（品質は、ノイズレベル、解像度、サンプリング／フレームレートなどを含むことができる）、
●一部のクリップを他のものに優先して推奨するための画像及びオーディオ類似性の測定（解析される特徴は、色ヒストグラム、スペクトル、雰囲気、ジャンル、エッジレベル、動きレベル、詳細レベル、主音などを含むことができる）、
●クリップを拍子に同期するための拍子検出ソフトウエア、
●クリップ又はスチール画像を同期するための画像内挿ソフトウエア（個々のビデオクリップ、及び基準ビデオ原バージョンから上演の３Ｄモデルを導出することにより、他のクリップ又はスチール画像に対して任意の場面を内挿、照合、及び同期することができる）、又は
●会話認識。
【００２７】
最初の処理の後に、他のクリップとの符合を探すために、クリップにおけるフィンガープリントを内部認識サーバに対して照会することができる。クリップがいずれか他のものとオーバーラップする場合には、将来の使用に向けてオーバーラップの性質をデータベースに記憶することができる。システム３００は、それまでにいくつのクリップがアップロードされているかに関わらず、クリップのそのクリップ自身に対する符合を無視するように構成することができる。
【００２８】
一部の例示的な実施形態では、システム３００は、特定の提出を阻止するために、不正メディアのフィンガープリントの「ブラックリスト」を維持することができる。この阻止は、最初の解析中に行うことができ、又は特にブラックリストへの新しい追加が届いたといったような事実の後に行うことができる。
【００２９】
例示的な実施形態では、グループ検出モジュール３２０が設けられる。それに応じて、オーバーラップするクリップをグループ内に併合することができる。例えば、クリップＡがクリップＢとオーバーラップし、クリップＢがクリップＣとオーバーラップする場合には、クリップＡ、Ｂ、及びＣは、同じグループに属する。更に、クリップＥ、Ｆ、及びＧを含むグループが存在すると仮定する。新しいクリップＤが、Ｃ及びＥの両方とオーバーラップする場合には、２つのグループをクリップＤと組み合わせることができ、より大きなグループＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、及びＧが形成される。
【００３０】
フィンガープリント符合を通じて多くのオーバーラップを自動的に検出することができるが、フィンガープリント符合が失敗するか、又は２つのグループを繋ぐいかなるクリップもシステム３００内にアップロードされていないかのいずれかの場合が存在する可能性がある。この場合、グループを形成するのに他の技術を用いることができる。そのような技術は、クリップメタデータの解析、又は例えば以下のものに対する符合又はそれにおける近似を探す段階を含むことができる。
●イベント名及び日付、
●イベントの場所、
●クリップのタイムスタンプ、
●クリップのファイル名、
●提出者のユーザＩＤ、
●カメラフットプリント、
●和音進行又は旋律、又は
●画像類似性。
【００３１】
例示的な実施形態では、いかなるものともオーバーラップしないクリップをグループ内に含めることができる。そのようなクリップは、列を成して待つか又は上演に対して話す人々という会場の外の状況設定ショット、雰囲気又は基調を設定するショット、並びに人混み、露天商、設営のような他の上演以外の活動の様子のショットを含む。これらのクリップは、多くのグループに属する可能性がある。
【００３２】
一部の例示的な実施形態では、システム３００は、ユーザがどのグループを併合するのかを示すことを可能にするように構成することができる。全てのユーザがクリップを同じ手法でグループ分けするわけではない場合があるので、複数の同時分類法をサポートするように対処することができる。
【００３３】
例えば、同じ提出者ユーザＩＤ及び／又はカメラフットプリントに関連付けられたクリップは、互いにグループ分けすることができる。その後、所定のイベントにおけるこのカメラからの１つのクリップの時間オフセット（他のクリップ又は基準時間軸に対する）をグループ内の全てのクリップに適用することができる。この時間オフセットは、上述のカメラからのスチール画像に適用することができる。
【００３４】
一部の例示的な実施形態では、システム３００は、全員が同じイベントからのクリップをアップロードするためのシステム３００のユーザが共同制作、通信、及び／又は批評に向けてグループを形成することを可能にするように構成することができる。新しいクリップがアップロードされたか又は仕上がり動画が公開されたか否かを他のグループメンバに通知する自動メッセージ（例えば、電子メール、ＳＭＳ等）を生成することができる。
【００３５】
一部の例示的な実施形態では、システム３００は、特に、リード楽器、主な上演者、又は演奏者の重点演目を自動的に検出するように構成することができる。この自動検出は、画像又は音認識によって達成することができるが、代替の経験則は、例えば、ギタリストに対しては、その独奏中により多くの映像が入手可能な場合があることに気づくことである。これらの例示的な実施形態では、１つのシーンに対して多くの映像が利用可能である場合には、これは、このシーンが、独奏シーン又は上演の他の重要演目である可能性があり、殆どのメディア生成デバイス３１０が、その瞬間に独演者又は主上演者に集中している場合があることを示すと考えられる。
【００３６】
一部の例示的な実施形態では、システム３００のコンテンツ作成モジュール３０６は、メディアデータベース３２２内に含まれるソースクリップから仕上がり動画を構成するのに用いられる。様々な例示的な実施形態において、アップロード及び解析の後に、ユーザは、最終動画内に含めるべきクリップを選択することができる。この選択は、ユーザが、このユーザによってアップロードされたクリップ、他のユーザによってアップロードされたクリップ、及び／又はユーザが行ったテキストメタデータ検索を通じて識別されたクリップの中からクリップを選択することを可能にするクリップ閲覧及びグループ分けサブモジュール３２４によって行うことができる。メタデータ修正サブモジュール３２６は、ユーザが、クリップのメタデータを編集することを可能にする。一部の実施形態では、メディアデータベース３２２は、システム３００の外部に記憶されたクリップへの参照子（例えば、ポインタ、ハイパーリンク、及び／又はユニフォームリソースロケータ（ＵＲＬ））を収容する。選択されたクリップがいずれかのクリップグループの一部であった場合には、クリップ閲覧及びグループ分けサブモジュール３２４は、後にユーザが完全な動画へと組み立てることができる作業クリップセットをユーザに提供するのにこのグループ内の他のクリップを含むことができる。動画が構築される時に、その現在の状態を評価し、どのような作業が残っているかを判断するために、動画（又はその一部分）をプレビューすることができる。例えば、ユーザがクリップにアクセスして操作することを可能にするために、ウェブインタフェースによってグラフィカルユーザインタフェースを提供することができる。しかし、ユーザの介入は絶対に必要というわけではなく、ある実施形態は、仕上がり動画を自動的に構築することができる（例えば、ユーザの監視なしに）。
【００３７】
一部の例示的な実施形態では、動画編集サブモジュール３２８内に動画編集ツール及び機能を設けることができる。動画編集ツール及び機能は、以下のうちの１つ又はそれよりも多くを含む。
●単純な削除、
●マルチトラックオーディオミキシング、
●オーディオフェードイン及びフェードアウト、
●ビデオフェードイン及びフェードアウト
●オーディオクロスフェード、
●ビデオディソルブ、
●ワイプ及びマスキング、
●子画面表示、
●ダッキング（ボイスオーバー中に他のオーディオを自動的に低下させるか、又は人混みのノイズを自動的に低下させる）、
●タイトル及びテキストの重ね合わせ、
●クロマキー合成画像、並びにビデオオーバーレイ及びアンダーレイ、
●ビデオの早回し、スローモーション、及びフレーム静止、
●オーディオ及びビデオの時間延長及び短縮、
●ビデオ及びオーディオのダイナミックレンジ圧縮、
●ビデオの輝度、コントラスト、及び色調節、
●色付きから白黒又はセピアへの変換、
●オーディオ等化、
●余韻、エコー、フランジ、歪みのようなオーディオ効果、
●オーディオ及びビデオのノイズ低減、
●マルチチャンネルオーディオマスタリング（例えば、モノラル、ステレオ、５．１等）
●元来の目的（モーフィング）での又はカメラの動きを模擬するための２つ又はそれよりも多くのカメラ間の同期化された画像内挿、
●「マトリックス」様式の効果、及び／又は
●サブタイトル及び字幕付け。
【００３８】
一部の例示的な実施形態は、基本的なビデオエディタを含むので、ユーザインタフェース（例えば、ウェブベースのユーザインタフェース）において利用可能にすることができる機能数には基本的に制限が存在しないものとすることができる。あらゆる利用可能なビデオ編集技術又は特殊効果をシステム３００内に統合することができる。
【００３９】
一部の例示的な実施形態では、システム３００のコンテンツ作成モジュール３０６は、ブラウザを通してアクセスされるウェブアプリケーションとして実施することができる。人々はソフトウエアをインストールしたがらない場合があるので、ウェブベースのツールは、ウェブアプリケーションのクロスプラットフォーム性のみならず、ウェブ訪問者が、ソフトウエアをダウンロード、インストール、及び設定するのではなく、即時にそれを用いることができるということに起因して、より多くの閲覧者を得ることができる。また、プラットフォームの多様性は、ＰＣベースのアプリケーションに対して非常に低いので、ウェブアプリケーションは、維持及び管理することが容易なものとすることができるが、本発明の開示の範囲はこの点に関して限定を受けない。
【００４０】
ウェブベースのビデオ編集は、ネットワーク帯域幅及びサーバ速度に対して高い要求を課する場合がある。従って、コンテンツ作成モジュール３０６の一部の例示的な実施形態は、ＰＣ上に実装することができるが、ｍｐ３プレーヤ、携帯ゲーム専用機、及び移動電話のような組み込みデバイスのマルチメディア演算機能が高くなり、ネットワーク帯域幅が増加し、これらのプラットフォームがユーザインタフェースの対象になる可能性が高いので、本発明の開示の範囲はこの点に関して限定を受けない。
【００４１】
一部の例示的な実施形態では、メディア解析モジュール３０４及び／又はコンテンツ作成モジュール３０６は、部分的又は完全にサーバ又はクライアントデバイス上に実施することができる。「インターネット」又はピアツーピアネットワークアーキテクチャに接続した中央記憶サーバは、ユーザによって生成されたクリップのためのレポジトリとして機能することができる。中央サーバシステム、中継システム（エンドユーザのＰＣのような）、又はクライアントシステム（エンドユーザの移動電話のような）は、クリップの解析、編集、及び組み立てのための分散計算プラットフォームとすることができる。
【００４２】
一部の例示的な実施形態では、全ての動画合成をサーバ上で行うことができ、単純なユーザインタフェースのみをクライアント上に設けることができる。これらの例示的な実施形態では、最新の移動電話のような非ＰＣデバイスは、これらの例示的な実施形態の利用に対して可能なユーザプラットフォームになる場合がある。一般的に、これらのデバイスは、システム３００を動画へと組み立てることができるまさにそのクリップを記録することができるので、これらの例示的な実施形態は、特に有利なものとすることができる。
【００４３】
コンテンツ作成モジュール３０６及びコンテンツ公開モジュール３０８の両方にわたる機能は、仕上がり動画の最後における「クレジット」の生成であろう。これらのクレジットは、監視及び同じく最終動画に対してクリップに寄与した他者の名前を含むことができる。一部の例示的な実施形態では、システム３００は、これらのクレジットを自動的に生成するか又は手動で追加するように構成することができる。一部の例示的な実施形態では、クレジットを自動的にスクロールするか、スライドショーとして流すか、又は完全にユーザ制御によるものとすることができる。
【００４４】
図３のメディア同期システム３００のコンテンツ公開モジュール３０８は、仕上がり動画を実世界と共有するのに用いることができる。動画レンダリング器３３０は、仕上がり動画を生成する。動画が完成すると、ユーザは、それをシステムのウェブサイト３３２上で公開することができ、別のビデオ共有サイトに公開することができ、及び／又は別の動画に向けてのクリップとして用いることができる。ＲＳＳフィード、配信メールリスト、ユーザグループのような共有の機能を設けることができる。ウェブ訪問者には、鑑賞した動画に対するコメントを残し、これらの動画へのリンクを友人に電子メール送信し、これらの動画を自らのブログ及び個人的なウェブページ内に埋め込み、これらの動画の固定リンクを共有ブックマーク及びレーティングサイトへと提出することを可能にすることができる。注釈３３８、対話、クリック計数、レーティング、及び仕上がり動画に関連付けられた他のメタデータは、注釈データベース３３４に記憶することができる。プライバシーを尊重するために、一部のクリップ及び仕上がり動画は、プライベート又は準プライベートとマークすることができ、ユーザは、自らの動画を鑑賞することを許す者を制限することができる。動画閲覧サブモジュール３３６は、仕上がり動画を表示し、動画編集ツール３２８へのアクセスを提供することができる。
【００４５】
一部の例示的な実施形態では、以前のユーザが中断した場合に、将来のユーザが、継続することができ、互いの作業内容に修正を加え合い、互いの作業の上に構築する。他の者は、ユーザの動画から導出を行うことができるが、動画の原作者のみが、原動画への変更を行うことができる。一部の例示的な実施形態では、全ての他のユーザは、原物から別々に発展する複写物に対してのみ作業を行う。「元に戻す」機能を容易にし、他者が動画の展開を閲覧することを可能にするために、基本バージョン制御システムを任意的に設けることができる。
【００４６】
システム３００の様々な例示的な実施形態が、動画作成処理を制御し、ソースクリップを記憶することができるので、空間を節約するために、希にしか鑑賞されない仕上がり動画は削除し、将来誰かが鑑賞したいと思った場合には、オンザフライで再現することができる。更に、一般的なビデオは、中程度の経済的なビットレートで編集及び表示することができ、それに対してプレミアムバージョンは、ソースクリップからソースクリップに対して可能な最高品質で自動的に生成することができる。
【００４７】
適切なビジネス協定を作ることができる場合には、１つ又はそれよりも多くのビデオ共有サイトからソースクリップを入手し、仕上がり動画をそこに公開することができる。代替的に、本明細書で説明している例示的な実施形態のうちの１つ又はそれよりも多くを新しい機能としてウェブサイト内に直接組み込むことができるが、本発明の開示の範囲はこの点に関して限定を受けない。
【００４８】
一部の例示的な実施形態は、人々が自分達の好みのエディタを用いて、依然としてシステム例３００によって供給されるクリップで作業することができるように、人気の（そしてより強力な）ビデオ編集システムに対してシステム３００の機能を含むプラグインを提供することができる。この応用の展開例では、システム３００が自動的に判断する同期情報は、他の編集システムによる将来の使用に向けてメタデータとしてクリップに関連付けることができる。
【００４９】
例示的な実施形態は、動画作成アプリケーションによって行われる複合マッシュアップビデオの作成において用いることができる。一部の例示的な実施形態は、動画鑑賞者によって行われる最初のアプリケーションによって作成されたビデオの消費において用いることができる。
【００５０】
例示的な実施形態は、以下のイベント及び更に多くのものに関する複合マッシュアップビデオを作成するのに用いることができる。基本的に、カメラを手にした人々が多くの場合に見るあらゆるイベントが、例示的な実施形態を用いて作成されるビデオの良好な対象になる。イベントは以下のものを含む。
●大規模コンサート、
●小規模クラブ演奏、
●ナイトクラブでのダンス及び特別なイベント、
●パーティ、
●宗教的な式典：
○結婚式、
○洗礼式、
○ユダヤ教の男／女の成人式、
●アマチュア及びプロスポーツ：
○スケートボード、
○スノーボード、
○スキー、
○サッカー、
○バスケットボール、
○カーレース、
○他のスポーツ、
●遊園地の呼び物：
○動物の芸、
○人の芸、
○乗り物、
●パレード、
●大道芸、
●サーカス：
○曲芸、
○手品師、
○動物、
○道化師、
●学校及び課外イベント：
○ダンスリサイタル、
○学芸会、
○卒業式、
●祝祭日の伝統行事、及び／又は
●ニュース価値のあるイベント：
○政治集会、
○ストライキ、
○デモ行動、
○抗議行動。
【００５１】
本発明のシステムを利用してビデオを作成する一部の理由は、以下のものを含むことができる。
●純粋な創作活動及び楽しみ、
●共有、
●販売、
●マッシュアップビデオコンテスト、
●ファンによって提出されるリミックス及びパロディ、
●プロモーション及び認識度の上昇、
●複数ユーザ作成現場ニュース報告、及び／又は
●フラッシュモブの記録。
【００５２】
関心及びコンテンツを掘り起こすために、コンテスト及び他のインセンティブを創設することができる。
【００５３】
例示的な実施形態を用いて作成されるビデオは、以下のような多くのチャンネルを通じて楽しむことができる。
●システムサイト自体、
●ビデオ共有サイト、
●社会的ネットワークサイト、
●移動電話、
●上演アーティストのファンサイト、
●学校、
●個人のウェブページ、
●ブログ、
●ニュース及び娯楽サイト、
●電子メール、
●ＲＳＳシンジケーション、
●放送及びケーブルテレビジョン、及び／又は
●セットトップボックス。
【００５４】
運用サービスが動画コンテンツの配信を制御するので、収益を生成するためにビデオストリームに広告を追加することができる。クリップに関する権利保持者は、必要に応じてこの収益ストリームの一部分を受け取ることができる。
【００５５】
一部の例示的な実施形態では、システムの上述の４つの主構成要素は、意図する観衆、並びに経費、計算、又はデータ送信を最小にすることのような実際的な関心事に依存して、任意にいくつもの異なるマシンにわたって分散させることができる。一部の例示的なシステムアーキテクチャを下記に説明し、これらの相違の一部を表１に要約する。表１では、各オペレーションは、図３に例示しているものに対応すると考えられる。
【００５６】
（表１）
【００５７】
この表は、アーキテクチャ間の明確な線引きを表しているが、実際の実装は、１つ又はそれよりも多くのアーキテクチャからの要素の組合せを含むことができるので、本発明の開示の範囲はこの点に関して限定を受けない。図６は、下記により詳細に説明するように、システムアーキテクチャの例を示している。
【００５８】
一部の例示的な実施形態は、完全に単一のクライアントマシン上で動作するように構成することができる。しかし、単一のユーザは、本発明のシステムの自動同期機能を利用する程十分なオーバーラップビデオを持たない場合がある。友人グループ又は組織のメンバのような特殊なユーザは、自分達のクリップを中央ワークステーションに蓄積することができ、この中央ワークステーション上で自分達の動画を制作することになる。最終動画は、ウェブサイトにアップロードするか、他者に電子メール送信するか、又はＤＶＤ又は他の物理的媒体に焼き付けることができる。
【００５９】
一部の例示的な実施形態では、クライアント中心の実装は、可能な限り多くの作業をクライアントにプッシュすることができる。これらの例示的な実施形態では、サーバは、以下のものを含む最小限の機能しか持たない場合がある。
●クライアントマシンが引き出し、ウェブサイト上に表示することができるメディアクリップのレポジトリ、
●クリップのオーバーラップを検出するフィンガープリント照合サービス、及び／又は
●固有のＩＤを個々のクリップに割り当てるための中央認証拠点。
【００６０】
クライアントは、以下のものを含む他のあらゆるものを処理することができる。
●フィンガープリント認証、
●コンテンツ解析、
●ビデオ編集ＵＩ、
●ビデオ及びオーディオ処理、及び／又は
●最終動画レンダリング。
【００６１】
これらの例示的な実施形態は、非常に多くの同時ユーザを容易に処理するように規模を拡大することができる。
【００６２】
他の例示的な実施形態では、サーバ中心の実装が、可能な限り多くの作業を処理するようにサーバマシンを拠り所にすることができる。クライアントは、例えば、以下のものを含む最小限の機能しか持たない場合がある。
●データ入力、
●動画編集ツール、及び／又は
●動画閲覧。
【００６３】
サーバは、例えば、以下の他のあらゆるものの殆どを実施することができる。
●フィンガープリント認証、
●コンテンツ解析、
●ビデオ及びオーディオ処理、及び／又は
●最終動画レンダリング。
【００６４】
これらの例示的な実施形態の潜在的な利点は、機能及び性能に対する制御がサーバに一極集中されることである。クライアントソフトウエアへの更新を必要とせずに、要求が発生するのに応じてより速いハードウエア、より速いソフトウエア、又は新しい機能を舞台裏で装備することができる。クライアントがウェブベースのものである場合には、クライアントのユーザインタフェースの外観、使用感、及び機能さえもサーバによって制御することができる。別の潜在的な利点は、ユーザのシステムを極めて低価格のものとすることができ、移動電話、タブレットＰＣ、又はセットトップボックスを十分なものとすることができる。
【００６５】
一部の例示的な実施形態では、メディアクリップの中央ストレージが存在しない分散アーキテクチャを設けることができる。これらの例示的な実施形態では、ソースクリップは、ユーザコミュニティの各メンバのクライアントマシンにわたって記憶することができる。それらを同様に分散方式で実施することができない限り、一部の例示的な実施形態では、ホストマシンに対してクリップＩＤをマップする中央データベース、及びクリップのオーバーラップを検出する一極集中のフィンガープリント認識サーバが存在するものとすることができる。クライアント中心の例示的な実施形態と同様に、これらの分散型の例示的実施形態では、クライアントは、全ての信号処理及びビデオ編集を実施することができる。仕上がり動画もまた、クライアントが受け持つことができる。利用可能性を高めるために、個々のユーザがオフラインの場合に対して、クリップ及び仕上がり動画を複数のマシン上に記憶することができる。
【００６６】
これらの分散型の例示的実施形態の潜在的な利点は、ホスト企業がハードウエアにおいて潜在的に最小限の投資しか必要としないことであるが、中央クリップ登録サーバ又はフィンガープリント認識サーバを維持することが必要になる場合には、投資は増加することになる。
【００６７】
図４は、メディアクリップをこれらのクリップの時間オーバーラップによって判断される通りにタイムライン上で互いに対して位置決めすることができる例示的な動画編集ユーザインタフェースを示している。例えば、ユーザがコンサートの動画を編集している場合には、仕上がり動画が示される時の異なるシーン及び／又はカメラアングル間の複数のカットにも関わらず、メディアクリップは、音楽の連続性を保持する方式で整列させることができる。ユーザが講義の動画を編集している別の例では、仕上がり動画が示される時の異なるシーン及び／又はカメラアングルの間の複数のカットにも関わらず、メディアクリップは、講義のスピーチの連続性を保持する方式で整列することができる。ユーザが犯罪シーンの動画を編集している更に別の例では、仕上がり動画が示される時の異なるシーン及び／又はカメラアングルの間の複数のカットにも関わらず、メディアクリップは、１つ又はそれよりも多くのセキュリティカメラからの時間コード（例えば、局所時間）の連続性を保持する方式で整列することができる。他の例示的な実施形態では、オーディオ及び／又はテキストデータの整列は、ビデオフィンガープリントに基づくものとすることができる。
【００６８】
ユーザは自由にこの整列を調節することができるが、ユーザは、継ぎ目のないオーディオトラック又は時間コードトラック上に十分に同期化されたビデオを作成するのにこの整列を拠り所とすることができる。また、フィンガープリントによって導出される対応位置は、ミリ秒までは正確ではない場合があるので、拍子の位相が対応状態を保つことを保証するのに役立てるために、ある程度の調節を必要とする可能性がある。光と音との異なる速度に起因して、大きい会場の後方から取り込まれる舞台のビデオは、体感できるほどオーディオに先行する可能性がある。一部の例示的な実施形態は、光と音とのこれらの異なる速度を補償することができる。一部の例示的な実施形態では、整理されたプレゼンテーション（例えば、動画）において、ビデオとオーディオとが同期から外れているクリップがより良好に機能するように、このクリップ上でクリップにオフセット値を関連付けることができる。
【００６９】
殆どの業務のために制作される動画のように、画像と音は、同時に同じクリップからのものである必要はない。一部の例示的な実施形態では、システム３００は、例えば、シーン間のより魅力的な遷移を作成するために、数秒間対応する画像なしでオーディオを流すように構成することができる。代替的に、システム３００の一部の例示的な実施形態は、長いオーディオ／ビデオクリップの途中にビデオのみのクリップのシーケンスを落とし込むように構成することができる。システム３００の一部の例示的な実施形態は、会場又は人混みの音を存在させることができるあらゆる基準オーディオと共にミキシングするように構成することができる。
【００７０】
異なるデバイスは、異なる忠実度レベルを有するオーディオを記録することができる。オーディオ品質における急な乱れを回避するために、更に一般的な編集の自由度のために、例示的な実施形態は、複数のクリップからのオーディオ間のクロスフェードを可能にする。一部の例示的な実施形態では、システム３００は、利用可能な場合は基準オーディオトラックを用いるように構成することができる。一部の例示的な実施形態では、ディソルブのような類似のビデオ効果を提供する。一部の例示的な実施形態では、システム３００は、持続時間と品質とによってオーディオとビデオとを評価し、これら２つのパラメータ間の最良のトレードオフを推薦する論理を含む。一部の例示的な実施形態では、システム３００は、ユーザが、クリップの品質に対してレーティングを割り当てることを可能にする。
【００７１】
イベントの撮影範囲にはギャップが存在する可能性が非常に高いと考えられるので、システム３００は、予め制作された（例えば、事前準備された）効果、ワイプ、遷移、並びにギャップによって引き起こされる分断を低減するか又は最小にするのに役立つバンパーを提供し、理想的には、欠損データに対する穴埋めではなく、これらのギャップが、イベントの意図的な編集部として見えるようにするように構成することができる。
【００７２】
一部の例示的な実施形態は、クリップをアップロードエリア４１０にドラッグするのを可能にするユーザインタフェースを設けることができ、この時にクリップは、中央サーバに送信されて更に処理される。これらの例示的な実施形態では、クリップがアップロードされると同時に、メタデータを入力することを可能にするダイアログボックスを表示することができる。その後クリップは、クリップブラウザ４３０内で検索することができる。ブラウザ内で見つかったクリップは、編集タイムライン４４０へとドラッグすることができる。新しくドラッグされたクリップが、タイムライン内の他のクリップとオーバーラップする場合には、システム３００は、既存のクリップと同期された新しいクリップを自動的に位置決めすることができる。一部の例示的な実施形態は、ユーザが、最終動画内のあらゆる点でどのクリップを表示するかを選択するために編集タイムラインを操作し、及び／又は特殊効果及び他の編集技術を適用することを可能にする。最終動画が編集されると同時に、ユーザインタフェースは、その現在の状態をプレビューウィンドウ４２０内で閲覧することを可能にすることができる。一部の例示的な実施形態では、クリップに関連付けられたメタデータを修正するためにいつでもクリップを開くことができる。
【００７３】
図５は、１つ又はそれよりも多くの例示的な実施形態を実施するのに適する処理システム５００のブロック図である。処理システム５００は、パーソナルコンピュータ又はサーバのようなほぼあらゆる処理システム、又は無線通信デバイス又はシステムを含む通信システムとすることができる。処理システム５００は、一部の例示的な実施形態を実施するのに用いられる上述のサーバ又はクライアントデバイス（例えば、ＰＣ）のうちのいずれか１つ又はそれよりも多く、並びにビデオ及びオーディオを取得するのに用いることができる無線デバイスを含むクライアントデバイスのうちのいずれか１つ又はそれよりも多くとしての使用に適するものとすることができる。処理システム５００は、処理回路５０２、メモリ５０４、入力／出力（Ｉ／Ｏ）要素５０６、及びネットワークインタフェース回路５０８を含むように例示的に示したものである。処理回路５０２は、メモリを利用するほぼあらゆる種類の処理回路を含むことができ、更に、１つ又はそれよりも多くのデジタル信号プロセッサ（ＤＳＰ）、１つ又はそれよりも多くのマイクロプロセッサ、及び／又は１つ又はそれよりも多くのマイクロコントローラを含むことができる。メモリ５０４は、処理回路５０２をサポートすることができ、処理回路５０２に対してキャッシュメモリを提供することができる。Ｉ／Ｏ要素５０６は、システム５００の入力及び出力要件をサポートすることができ、キーボード、キーパッド、スピーカ、マイクロフォン、ビデオ取り込みデバイス、ディスプレイ、及び１つ又はそれよりも多くの通信ポートのような１つ又はそれよりも多くのＩ／Ｏ要素を含むことができる。ＮＩＣ５０８は、「インターネット」のような有線ネットワーク、又はアンテナ５１０を用いた無線ネットワーク上で他のデバイスと通信を行うために用いることができる。一部の例示的な実施形態では、処理システム５００がビデオ及びオーディオを取り込む上で用いられ、ビデオ取り込みデバイスとして動作させる時には、処理システム５００は、ビデオ及びオーディオを高品質フォーマットで記録し、及び／又は記憶する１つ又はそれよりも多くのビデオ記録要素（ＶＲＥ）５１２を含むことができる。
【００７４】
無線デバイスの例は、携帯情報端末（ＰＤＡ）、無線通信機能を有するラップトップ及び携帯コンピュータ、ウェブタブレット、無線電話、無線ヘッドセット、ポケットベル、インスタントメッセージデバイス、ＭＰ３プレーヤ、デジタルカメラ、及び無線で情報を受信及び／又は送信することができる他のデバイスを含むことができる。
【００７５】
図６は、一部の例示的な実施形態による例示的システムアーキテクチャを示している。システムアーキテクチャ６００は、表１で上述の例示的アーキテクチャのうちの１つ又はそれよりも多くを実施するのに適するものとすることができる。システムアーキテクチャ６００は、ビデオ取り込みデバイス（ＶＣＤ）６０４からビデオ及び他の情報を受信するのに用いることができる１つ又はそれよりも多くのユーザデバイス６０２を含む。ＶＣＤ６０４は、ビデオ情報を取り込む上で用いられるあらゆるデバイスを含むことができる。ユーザデバイス６０２は、ネットワーク６０６を通じて他のユーザデバイス６０２，並びに１つ又はそれよりも多くのサーバ６０８及び１つ又はそれよりも多くのデータベース６１０と通信を行うことができる。一部の例示的な実施形態では、データベース６１０は、上述のメディアデータベース、及び／又は上述の注釈データベースを含むことができるが、これらのデータベースは、ユーザデバイス６０２のうちの１つ又はそれよりも多くの上に記憶することができるので、本発明の開示の範囲はこの点に関して限定を受けない。サーバ６０８は、特に、上述の認識サーバ３１６、並びに例示的に上述したシステム３００の様々なオペレーションをサポートするサーバ機器を含むことができるが、これらのオペレーションは、ユーザデバイス６０２のうちの１つ又はそれよりも多くの上に記憶することができるので、本発明の開示の範囲はこの点に関して限定を受けない。処理システム５００は、ユーザデバイス６０２、ＶＣＤ６０４、及び／又はサーバ６０８を実施するための使用に適するものとすることができる。ユーザデバイス６０２は、上述のユーザのＰＣに対応するものとすることができる。
【００７６】
一部の例示的な実施形態では、消費者／複数のユーザは、マルチメディア素材（ビデオ、オーディオ、画像、テキスト．．．）を共通のレポジトリ／プール（例えば、特定のウェブサイト、又はＰ２Ｐ環境ではエンドユーザのコンピュータにおける特定のプール）に投稿することができ、次に、これらの実施形態の方法及びシステムは、メディアクリップを取り出し、提出されたメディア内又は基準メディアからの手掛かりを用いて空間的又は時間的のいずれかで整列させることができる。次に、整列したメディアクリップは、個々のメディア体験をまるで芸術的なコラージュ作品のように作成するために、消費者／複数のユーザが選択、編集、及び構成することができる。
【００７７】
例示的なシステムアーキテクチャ６００及びシステム３００は、いくつかの別々の機能要素を有する例として示したものであるが、これらの機能要素のうちの１つ又はそれよりも多くは、組み合わせることができ、かつデジタル信号プロセッサ（ＤＳＰ）を含む処理要素のようなソフトウエア構成式要素の組合せ、及び／又は他のハードウエア要素によって実施することができる。例えば、一部の要素は、１つ又はそれよりも多くのマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）、並びに少なくとも本明細書に説明している機能を実行するための様々なハードウエアと論理回路との組合せを含むことができる。一部の例示的な実施形態では、システムの機能要素は、１つ又はそれよりも多くの処理要素上で動作する１つ又はそれよりも多くの処理を参照することができる。
【００７８】
図７は、一部の例示的な実施形態によるマルチメディアイベントを合成する方法７００の流れ図である。方法７００のオペレーションは、１つ又はそれよりも多くのユーザデバイス６０２（図６を参照されたい）、及び／又はサーバ６０８（図６を参照されたい）によって実行することができる。オペレーション７０２は、ユーザのビデオ取り込みデバイスのような複数のソースから受信したメディアクリップにアクセスする段階を含む。オペレーション７０４は、各メディアクリップに識別子を割り当てる段階を含む。オペレーション７０４は、メディア摂取モジュール３０２（図３を参照されたい）によって実行することができる。一部の実施形態では、オペレーション７０４は省略される。オペレーション７０６は、メディアクリップの解析を実行してメディアクリップ間の時間的関係を判断する段階を含む。オペレーション７０６は、メディア解析モジュール３０４（図３を参照されたい）によって実行することができる。オペレーション７０８は、メディアクリップの時間的関係に基づいてメディアクリップを組み合わせてビデオを生成する段階を含む。一部の実施形態では、組み合わせる段階は、自動的に実行される。ある実施形態では、組み合わせる段階は、ユーザの監視下で実行される。オペレーション７０８は、コンテンツ作成モジュール３０６（図３を参照されたい）によって実行することができる。オペレーション７１０は、生成されたビデオを公開する段階を含む（例えば、ビデオをウェブサイトに公開する）。オペレーション７１０は、コンテンツ公開モジュール３０２（図３を参照されたい）によって実行することができる。例えば、コンテンツ公開モジュール３０２（図３を参照されたい）は、公開ネットワーク（例えば「インターネット」）、非公開ネットワーク（例えば、ビデオゲームデバイスの閉じたネットワーク）、移動デバイス（例えば、セルラー電話）、及び／又は静止デバイス（例えば、キオスク又は博物館の展示）に対してプレゼンテーションを公開することができる。
【００７９】
方法７００の個々のオペレーションは、別々のオペレーションとして例示して説明したが、個々のオペレーションの１つ又はそれよりも多くを同時に実行することができ、いかなるものも例示している順序でオペレーションを実行することを必要としない。
【００８０】
別途特記しない限り、処理、演算、計算、判断、又は表示などのような用語は、処理システムのレジスタ及びメモリ内の物理的（例えば、電子的）量として表されたデータを処理システムのレジスタ又はメモリ、又は他のそのような情報ストレージ、送信デバイス、又は表示デバイス内の物理量として同様に表される他のデータへと操作及び変換することができる１つ又はそれよりも多くの処理システム、計算システム、又は類似のデバイスの行為及び／又は処理を意味することができる。更に、本明細書に用いる場合、コンピュータデバイスは、揮発性メモリ又は不揮発性メモリ、又はこれらの組合せとすることができるコンピュータ可読メモリに結合した１つ又はそれよりも多くの処理要素を含む。
【００８１】
例示的な実施形態は、ハードウエア、ファームウエア、及びソフトウエアのうちの１つ又はこれらの組合せで実施することができる。例示的な実施形態は、本明細書に説明しているオペレーションを実行する少なくとも１つのプロセッサによって読み取って実行することができる機械可読媒体上に記憶された命令として実施することができる。機械可読媒体は、情報をマシン（例えば、コンピュータ）によって読み取ることができる形態で記憶又は送信するためのあらゆる機構を含むことができる。例えば、機械可読媒体は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び他のものを含むことができる。
【符号の説明】
【００８２】
３００ メディア同期システム
３０２ メディア摂取構成要素又はモジュール
３０４ メディア解析構成要素又はモジュール
３０６ コンテンツ作成構成要素又はモジュール
３０８ コンテンツ公開構成要素又はモジュール
【特許請求の範囲】
【請求項１】
マルチメディアイベントのプレゼンテーションを合成するメディア同期システムであって、
複数のクライアントデバイスから受信された複数のメディアクリップにアクセスするメディア摂取モジュールと、
前記複数のメディアクリップからの第１のメディアクリップと該複数のメディアクリップからの第２のメディアクリップとの間の時間的関係を判断するメディア解析モジュールと、
前記時間的関係に基づいて前記第１のメディアクリップと前記第２のメディアクリップを整列させ、かつ該第１のメディアクリップと該第２のメディアクリップを組み合わせてプレゼンテーションを生成するコンテンツ作成モジュールと、
を含むことを特徴とするシステム。
【請求項２】
前記メディア摂取モジュールは、前記第１のメディアクリップに識別子を割り当てることを特徴とする請求項１に記載のシステム。
【請求項３】
前記複数のメディアクリップは、ビデオデータ、オーディオデータ、画像データ、又はテキストデータのうちの少なくとも１つを含むことを特徴とする請求項１に記載のシステム。
【請求項４】
前記複数のメディアクリップは、ユーザによって記録されたメディアクリップを含むことを特徴とする請求項１に記載のシステム。
【請求項５】
前記メディア解析モジュールは、前記第１のメディアクリップに関連付けられた認識データを生成するプロセッサを更に含むことを特徴とする請求項１に記載のシステム。
【請求項６】
前記メディア解析モジュールは、フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて前記複数のメディアクリップの少なくとも一部をグループ分けすることを特徴とする請求項１に記載のシステム。
【請求項７】
前記第１のメディアクリップは、ビデオデータに関連付けられたオーディオデータを含み、前記コンテンツ作成モジュールは、該オーディオデータと該ビデオデータを別々に整列させることを特徴とする請求項１に記載のシステム。
【請求項８】
前記コンテンツ作成モジュールは、フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて前記オーディオデータと前記ビデオデータを別々に整列させることを特徴とする請求項７に記載のシステム。
【請求項９】
前記コンテンツ作成モジュールは、自動組合せ又はユーザ監視型組合せの少なくとも一方に基づいて前記第１のメディアクリップと前記第２のメディアクリップを組み合わせることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記コンテンツ作成モジュールは、前記第１のメディアクリップと組み合わされるメディア効果を生成することを特徴とする請求項１に記載のシステム。
【請求項１１】
前記プレゼンテーションを公開するコンテンツ公開モジュールを更に含むことを特徴とする請求項１に記載のシステム。
【請求項１２】
前記コンテンツ公開モジュールは、移動デバイス、静止デバイス、公開ネットワーク、又は非公開ネットワークのうちの少なくとも１つに対して前記プレゼンテーションを公開することを特徴とする請求項１１に記載のシステム。
【請求項１３】
マルチメディアイベントのプレゼンテーションを合成するコンピュータにより実行される方法であって、
複数のクライアントデバイスから受信された複数のメディアクリップにアクセスする段階と、
前記複数のメディアクリップからの第１のメディアクリップと該複数のメディアクリップからの第２のメディアクリップとの間の時間的関係を判断する段階と、
前記時間的関係に基づいて前記第１のメディアクリップと前記第２のメディアクリップを整列させる段階と、
プレゼンテーションを生成するために前記第１のメディアクリップと前記第２のメディアクリップを組み合わせる段階と、
を含むことを特徴とする方法。
【請求項１４】
前記第１のメディアクリップに識別子を割り当てる段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記複数のメディアクリップは、ビデオデータ、オーディオデータ、画像データ、又はテキストデータのうちの少なくとも１つを含むことを特徴とする請求項１３に記載の方法。
【請求項１６】
前記複数のメディアクリップは、ユーザによって記録されたメディアクリップを含むことを特徴とする請求項１３に記載の方法。
【請求項１７】
前記第１のメディアクリップを処理して該第１のメディアクリップに関連付けられた認識データを生成する段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１８】
フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて前記複数のメディアクリップの少なくとも一部をグループ分けする段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１９】
前記第１のメディアクリップは、ビデオデータに関連付けられたオーディオデータを含み、前記整列させる段階は、該オーディオデータと該ビデオデータを別々に整列させる段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項２０】
前記オーディオデータと前記ビデオデータを別々に整列させる段階は、フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて該オーディオデータと該ビデオデータを別々に整列させる段階を含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記組み合わせる段階は、前記第１のメディアクリップに組み合わされるメディア効果を生成する段階を含むことを特徴とする請求項１３に記載の方法。
【請求項２２】
前記プレゼンテーションを公開する段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項２３】
前記公開する段階は、移動デバイス、静止デバイス、公開ネットワーク、又は非公開ネットワークのうちの少なくとも１つに対して公開する段階を含むことを特徴とする請求項２２に記載の方法。
【請求項２４】
前記公開する段階は、広告を表示する段階を含むことを特徴とする請求項２２に記載の方法。
【請求項２５】
１つ又はそれよりも多くのプロセッサによって実行された時に該１つ又はそれよりも多くのプロセッサをして、
複数のクライアントデバイスから受信された複数のメディアクリップにアクセスし、
前記複数のメディアクリップからの第１のメディアクリップと該複数のメディアクリップからの第２のメディアクリップとの間の時間的関係を判断し、
前記時間的関係に基づいて前記第１のメディアクリップと前記第２のメディアクリップを整列させ、かつ
プレゼンテーションを生成するために前記第１のメディアクリップと前記第２のメディアクリップを組み合わせる、
オペレーションを実行させる命令、
を含むことを特徴とする機械可読媒体。
【請求項１】
マルチメディアイベントのプレゼンテーションを合成するメディア同期システムであって、
複数のクライアントデバイスから受信された複数のメディアクリップにアクセスするメディア摂取モジュールと、
前記複数のメディアクリップからの第１のメディアクリップと該複数のメディアクリップからの第２のメディアクリップとの間の時間的関係を判断するメディア解析モジュールと、
前記時間的関係に基づいて前記第１のメディアクリップと前記第２のメディアクリップを整列させ、かつ該第１のメディアクリップと該第２のメディアクリップを組み合わせてプレゼンテーションを生成するコンテンツ作成モジュールと、
を含むことを特徴とするシステム。
【請求項２】
前記メディア摂取モジュールは、前記第１のメディアクリップに識別子を割り当てることを特徴とする請求項１に記載のシステム。
【請求項３】
前記複数のメディアクリップは、ビデオデータ、オーディオデータ、画像データ、又はテキストデータのうちの少なくとも１つを含むことを特徴とする請求項１に記載のシステム。
【請求項４】
前記複数のメディアクリップは、ユーザによって記録されたメディアクリップを含むことを特徴とする請求項１に記載のシステム。
【請求項５】
前記メディア解析モジュールは、前記第１のメディアクリップに関連付けられた認識データを生成するプロセッサを更に含むことを特徴とする請求項１に記載のシステム。
【請求項６】
前記メディア解析モジュールは、フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて前記複数のメディアクリップの少なくとも一部をグループ分けすることを特徴とする請求項１に記載のシステム。
【請求項７】
前記第１のメディアクリップは、ビデオデータに関連付けられたオーディオデータを含み、前記コンテンツ作成モジュールは、該オーディオデータと該ビデオデータを別々に整列させることを特徴とする請求項１に記載のシステム。
【請求項８】
前記コンテンツ作成モジュールは、フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて前記オーディオデータと前記ビデオデータを別々に整列させることを特徴とする請求項７に記載のシステム。
【請求項９】
前記コンテンツ作成モジュールは、自動組合せ又はユーザ監視型組合せの少なくとも一方に基づいて前記第１のメディアクリップと前記第２のメディアクリップを組み合わせることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記コンテンツ作成モジュールは、前記第１のメディアクリップと組み合わされるメディア効果を生成することを特徴とする請求項１に記載のシステム。
【請求項１１】
前記プレゼンテーションを公開するコンテンツ公開モジュールを更に含むことを特徴とする請求項１に記載のシステム。
【請求項１２】
前記コンテンツ公開モジュールは、移動デバイス、静止デバイス、公開ネットワーク、又は非公開ネットワークのうちの少なくとも１つに対して前記プレゼンテーションを公開することを特徴とする請求項１１に記載のシステム。
【請求項１３】
マルチメディアイベントのプレゼンテーションを合成するコンピュータにより実行される方法であって、
複数のクライアントデバイスから受信された複数のメディアクリップにアクセスする段階と、
前記複数のメディアクリップからの第１のメディアクリップと該複数のメディアクリップからの第２のメディアクリップとの間の時間的関係を判断する段階と、
前記時間的関係に基づいて前記第１のメディアクリップと前記第２のメディアクリップを整列させる段階と、
プレゼンテーションを生成するために前記第１のメディアクリップと前記第２のメディアクリップを組み合わせる段階と、
を含むことを特徴とする方法。
【請求項１４】
前記第１のメディアクリップに識別子を割り当てる段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記複数のメディアクリップは、ビデオデータ、オーディオデータ、画像データ、又はテキストデータのうちの少なくとも１つを含むことを特徴とする請求項１３に記載の方法。
【請求項１６】
前記複数のメディアクリップは、ユーザによって記録されたメディアクリップを含むことを特徴とする請求項１３に記載の方法。
【請求項１７】
前記第１のメディアクリップを処理して該第１のメディアクリップに関連付けられた認識データを生成する段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１８】
フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて前記複数のメディアクリップの少なくとも一部をグループ分けする段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１９】
前記第１のメディアクリップは、ビデオデータに関連付けられたオーディオデータを含み、前記整列させる段階は、該オーディオデータと該ビデオデータを別々に整列させる段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項２０】
前記オーディオデータと前記ビデオデータを別々に整列させる段階は、フィンガープリント符合、メタデータ符合、又は符合の欠如のうちの少なくとも１つに基づいて該オーディオデータと該ビデオデータを別々に整列させる段階を含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記組み合わせる段階は、前記第１のメディアクリップに組み合わされるメディア効果を生成する段階を含むことを特徴とする請求項１３に記載の方法。
【請求項２２】
前記プレゼンテーションを公開する段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項２３】
前記公開する段階は、移動デバイス、静止デバイス、公開ネットワーク、又は非公開ネットワークのうちの少なくとも１つに対して公開する段階を含むことを特徴とする請求項２２に記載の方法。
【請求項２４】
前記公開する段階は、広告を表示する段階を含むことを特徴とする請求項２２に記載の方法。
【請求項２５】
１つ又はそれよりも多くのプロセッサによって実行された時に該１つ又はそれよりも多くのプロセッサをして、
複数のクライアントデバイスから受信された複数のメディアクリップにアクセスし、
前記複数のメディアクリップからの第１のメディアクリップと該複数のメディアクリップからの第２のメディアクリップとの間の時間的関係を判断し、
前記時間的関係に基づいて前記第１のメディアクリップと前記第２のメディアクリップを整列させ、かつ
プレゼンテーションを生成するために前記第１のメディアクリップと前記第２のメディアクリップを組み合わせる、
オペレーションを実行させる命令、
を含むことを特徴とする機械可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１０−５４１４１５（Ｐ２０１０−５４１４１５Ａ）
【公表日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２０１０−５２７１７８（Ｐ２０１０−５２７１７８）
【出願日】平成２０年９月２６日（２００８．９．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０７７８４３
【国際公開番号】ＷＯ２００９／０４２８５８
【国際公開日】平成２１年４月２日（２００９．４．２）
【出願人】（５０１１１２３２３）グレースノート インコーポレイテッド (12)
【Ｆターム（参考）】
【公表日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２０年９月２６日（２００８．９．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０７７８４３
【国際公開番号】ＷＯ２００９／０４２８５８
【国際公開日】平成２１年４月２日（２００９．４．２）
【出願人】（５０１１１２３２３）グレースノート インコーポレイテッド (12)
【Ｆターム（参考）】
[ Back to top ]