ビデオ処理及びアプリケーションのシステム、方法、及び装置
モバイルデバイスへの配信のためのビデオデータを提供して処理するシステム、方法、及び装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概括的には、ビデオ処理及びビデオアプリケーションのシステム、装置、及び方法に関するものである。
【０００２】
本出願は、“Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｓｅｒｖｅｒ”と題し、２００６年６月１６日に出願した米国特許出願番号第６０／８１４，３８３号明細書の優先権を主張するものである。
【０００３】
本出願は、本発明の開示と同一の譲受人を有する、“ＭＯＢＩＬＥ ＩＭＡＧＩＮＧ ＡＰＰＬＩＣＡＴＩＯＮ，ＤＥＶＩＣＥ ＡＲＣＨＩＴＥＣＴＵＲＥ，ＳＥＲＶＩＣＥ ＰＬＡＴＦＯＲＭ ＡＲＣＨＩＴＥＣＴＵＲＥ ＡＮＤ ＳＥＲＶＩＣＥＳ”と題し、２００６年２月１６日に出願した同時係属の米国特許出願番号第１１／３５７，６６１号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００４】
本出願は、本発明の開示と同一の譲受人を有する、“ＣＯＭＰＲＥＳＳＩＯＮ ＲＡＴＥ ＣＯＮＴＲＯＬ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＷＩＴＨ ＶＡＲＩＡＢＬＥ ＳＵＢＢＡＮＤ ＰＲＯＣＥＳＳＩＮＧ”と題し、２００５年９月２０日に出願した同時係属の米国特許出願番号第１１／２３２，１６５号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００５】
本出願は更に、本発明の開示と同一の譲受人を有する、“ＭＵＬＴＩＰＬＥ ＴＥＣＨＮＩＱＵＥ ＥＮＴＲＯＰＹ ＣＯＤＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ”と題し、２００５年９月２１日に出願した同時係属の米国特許出願番号第１１／２３２，７２６号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００６】
本出願は更に、本発明の開示と同一の譲受人を有する、“ＰＥＲＭＵＴＡＴＩＯＮ ＰＲＯＣＲＡＳＴＩＮＡＴＩＯＮ”と題し、２００５年９月２１日に出願した同時係属の米国特許出願番号第１１／２３２，７２５号に関するものである。
【０００７】
本出願は更に、本発明の開示と同一の譲受人を有する、“ＭＯＢＩＬＥ ＩＭＡＧＩＮＧ ＡＰＰＬＩＣＡＴＩＯＮ， ＤＥＶＩＣＥ ＡＲＣＨＩＴＥＣＴＵＲＥ， ＳＥＲＶＩＣＥ ＰＬＡＴＦＯＲＭ ＡＲＣＨＩＴＥＣＴＵＲＥ”と題し、２００５年１０月１２日に出願した同時係属の米国特許出願番号第１１／２４９，５６１号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００８】
本出願は、本発明の開示と同一の譲受人を有する、“ＶＩＤＥＯ ＭＯＮＩＴＯＲＩＮＧ ＡＰＰＬＩＣＡＴＩＯＮ， ＤＥＶＩＣＥ ＡＲＣＨＩＴＥＣＴＵＲＥ，ＡＮＤ ＳＹＳＴＥＭ ＡＲＣＨＩＴＥＣＴＵＲＥ”と題し、２００５年１０月１３日に出願した同時係属の米国特許出願番号第１１／２５０，７９７号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００９】
特許、特許出願及び様々な出版物を含む可能性のある幾つかの引用文献を、本発開示の説明において引用して説明する。これらの引用文献の引用及び／又は説明は、単に本開示の記載を明確にするために提供されたものであり、引用文献が以下に説明する本開示に対する「先行技術」であることを認めるものではない。
【背景技術】
【００１０】
直接デジタル化された画像及びビデオはリソース集約に利用でき、画像及びビデオは、保存、送信、及び他の目的のために圧縮可能である。例えば、圧縮は３つの段、即ち変換、量子化、そしてエントロピー符号化によって特徴づけることができる。ほとんどの画像及びビデオ圧縮器は、変更してこの基本アーキテクチャを共有している。
【００１１】
ビデオ圧縮器における変換段において、画像又は連続画像における局所的な類似性及びパターンを利用して、元画像のエネルギー又は情報をできるだけコンパクトな形式に圧縮することができる。圧縮器は、典型的には入力毎に異なる圧縮レベルで圧縮する。例えば、圧縮器は「典型的な」入力に対して良好に機能し、「ランダムな」又は「異常な」入力に対する圧縮の失敗を無視するように設計できる。多くの画像圧縮、及びＭＰＥＧ−２及びＭＰＥＧ−４などのビデオ圧縮法は、変換段として離散コサイン変換（ＤＣＴ）を使用している。
【００１２】
量子化は、変換段の後に情報を切り捨てる可能性があり、従って、時には再構成されて解凍された画像は元画像を正確に再現しない可能性がある。エントロピー符号化は、概括的にはロスレスな処理であり、即ちこの処理は、量子化後に残された情報を取得し、復号器において再現可能なように符号化する。従ってどの情報を切り捨てるべきかについての設計判断は、次のエントロピー符号化段によって影響されないことになる。
【００１３】
ＤＣＴベースのビデオ圧縮／解凍（コーデック）技術は、場合によっては、例えばスタジオ作成のビデオコンテンツの放送及びストリーミングのために発展してきたが、例えばコンピュータワークステーション上で高い複雑性を有する符号器を動作させることができるスタジオ環境におけるビデオコンテンツの符号化に関係している。このような計算的に複雑な符号器は、民生用再生デバイスにおいて計算的に単純で比較的安価な復号器（プレーヤ）を導入することを可能にする。
【００１４】
しかし図１に示すように、符号器／復号器技術における非対称性のために、再生のみならず、自身においてビデオメッセージのキャプチャと圧縮が同時になされるテレビ電話などのモバイルマルチメディアデバイスにおいて、利用可能なプロセッサ能力を使用した完全なテレビサイズのビデオコンテンツの圧縮をサポートすることが困難になる可能性がある。その結果、図２に示すように、モバイルデバイスにおけるビデオは、他の民生用製品と比較して非常に小さなサイズ及び非常に低いフレームレートに限定されうる。
【００１５】
ＤＣＴベースの技術を使用したビデオ編集及び他のビデオ処理アプリケーションは、完全に又は部分的に復号化されたビデオを編集、又は他の処理をして、出力及び後の販売のために、その編集又は他の処理がなされたビデオデータの圧縮を行う前に、圧縮ビデオ入力データの完全又は部分的な復号化が必要になる可能性がある。従って、ＤＣＴベースのビデオ編集及び他の処理アプリケーションの計算の複雑性は、汎用のパーソナルコンピュータ（ＰＣ）の中央演算処理装置（ＣＰＵ）に基づく多くの標準サーバコンピュータの計算能力を超える可能性がある。
【００１６】
むしろ、ビデオ編集及び他の処理アプリケーションは典型的には特有のビデオアプリケーションサーバコンピュータを利用し、ビデオ処理はデジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディア処理器、及び再構成可能処理デバイス（ＲＰＤ）を含むがそれらのデバイスに限定されない、特有のデータ処理素子の組み合わせを使用して実行できる。このような特有のビデオデータ処理素子の数、コスト、及び消費電力は、汎用ＰＣのＣＰＵに基づく標準サーバコンピュータと比較して、非常に高いコスト、消費電力へとつながる。しかし、新興のモバイルビデオサービスの商用展開のためには、このようなビデオ編集及び他の処理を多数のサービス加入者に同時に提供し、対応するビデオアプリケーションサーバを展開して、維持するコストをできるだけ低くすることが必要になる。
【発明の概要】
【００１７】
本開示の様々な実施例は、例えば以下のようなものを１つ以上を含む、様々なビデオ処理及び他の処理を含むことができる。
・圧縮、
・完全な又は部分的な解凍、
・切り取り、トリミング、遷移効果の挿入、再配置、露出調整、バックライトの補正、カメラ撮像素子（典型的にはＣＭＯＳ，ＣＣＤ又は類似の素子）の限定された光感度の補正、カメラモジュールのレンズに由来する歪みの補正、ビデオ記録中に発生するカメラジッタ、画像背景の変更、及び赤目補正を含むがそれらに限定されない、完全に又は部分的に解凍されたビデオの編集、
・本開示のビデオフォーマットと、他の標準規格ベース、及び／又は適切なビデオフォーマットとの間の変換を含むトランスコーディング、
・ビデオ圧縮レベル、ビットレート、フレームレート、画像サイズ、及び異なるデバイスと画面サイズとの間の再生互換性のための圧縮フォーマットを含む変換、
・ビデオ検索アプリケーションのためのメタデータのタグ化及び埋め込み、
・安全性及び権利管理のための電子透かし、
・（データベースにおける場合も含む）ビデオ保存、検索、読み出し、
・ミュージックビート、ビデオカット、場面変更、視点変更、露出及びコントラスト特性、動作レート、動作の方向及び連続性、照明効果（太陽対蛍光など）、顔、赤目、ストックシーン及び電子透かしを含む画像及びビデオコンテンツの認識、測定、及び分類。
【００１８】
本開示の幾つかの実施例において、ビデオアプリケーションサーバ上で動作し、上記のビデオ処理機能の様々な組み合わせをサポートするように設計されたビデオアプリケーションは、以下の１つ以上を含むことができるがそれらに限定されない。
・圧縮、
・解凍、
・切り取り、トリミング、遷移効果の挿入、露出の調整、バックライトの補正、赤目補正、音声トラックのビートの同期、ストックタイトル及びストックシーンの挿入、テンプレートの適用、カメラ動作の修正、合成の改良、
・本開示のビデオフォーマットと、他の広く展開された標準規格に基づく適切なビデオフォーマットとの間の変換を含むトランスコーディング、
・ビデオ圧縮レベル、ビットレート、フレームレート、画像サイズ、及び異なるデバイスと画面サイズとの間の再生互換性のための圧縮フォーマットの改良を含む変換、
・ビデオ検索索引付加のためのメタデータのタグ化及び埋め込み、又は他の編集アプリケーション、
・（データベースにおいても含む）ビデオ記録、検索、読み出し、
・デジタル著作権管理（ＤＲＭ）、
・フィードを介してユーザ作成ビデオを他の受信者に配信するためのＲＳＳ（本当に単純なシンジケーション）アプリケーション、
・画像及びビデオコンテンツの認識、評価、及び分類。
【００１９】
幾つかの実施例において、ビデオアプリケーションサーバ上で動作して上記のビデオ処理機能の様々な組み合わせをサポートする、上記のビデオアプリケーションの組み合わせによってサポートされるビデオサービスは、以下の１つ以上を含むことができるがそれらに限定されない。
・ビデオメッセージング、共有及びブロギング：非同時の、つまりＲＳＳフィードによる場合も含めた記録と転送、
・ビデオＩＭＳ：ＩＰネットワークを超えた瞬間メッセージングサービス、つまり同時のビデオ送信及びストリーミング、
・ビデオ通話：ＩＰ、ＴＭ又は回路交換方式のネットワークを超えた同時通話、
・ビデオメール：音声メールに類似しており、通話された電話の相手が電話に応答しない場合にビデオメールを残す、
・ビデオ会議、例えば複数のユーザ間のピア・ツー・ピアネットワーク、
・携帯電話上でキャプチャしたビデオクリップの携帯電話又はネットワーク又はウェブベースのサーバ上での手動又は自動編集、
・オンラインビデオ保存、アルバム、ブログなど、
・キャプチャ／編集／保存したビデオクリップ及びアルバムの共有、
・アクセス管理、即ち誰がいつアクセスしたかを明確にし、誰が出現したか又は素材を要求したかを見つける、
・タグ化と、データベースの保存、検索、及び読み出しと、プレビューと、ダウンロード（ソフトコピー）と、ビデオのハードコピー（ＤＶＤ）の注文
・以下を含む個人のマルチメディア市場サービス、即ち、
○「ソフト」コピー（ダウンロード）又は「ハード」コピー（ＤＶＤ）のプレビュー、共有、購入、販売、
○索引付加、ＲＳＳフィードのためのメディア「タグ化」、
○既存のオンライン市場（例えばイーベイ、グーグル、ヤフー、マイクロソフト、他のポータル）へのインターフェース、
・友人及び公開ソースから購入した素材との比較、対比、並置。
【００２０】
幾つかの実施例において、ビデオアプリケーションサーバ上で動作し、上記のビデオ処理機能の様々な組み合わせをサポートする上記のビデオアプリケーションの組み合わせによってサポートされた、上で特定された１つ以上のビデオサービスを展開するためのビデオシステムは、以下の１つ以上を含むことができるがそれらに限定されない。
・回路交換方式のモバイル携帯ネットワーク、固定無線ネットワーク、地上通信線電話ネットワーク、地上ケーブルネットワーク、地上セキュリティネットワーク、又は衛星ネットワーク、
・ＩＰベースのモバイル携帯ネットワーク、モバイルメッシュネットワーク、モバイルアドホックネットワーク、固定無線ネットワーク、地上電話ネットワーク、地上データネットワーク、又は衛星ネットワーク、
・集中型の固定／モバイル無線ネットワーク、
・他の無線又は有線データネットワーク、即ちＡＴＭなど。
【００２１】
本開示の幾つかの実施例は、以下の１つ以上に対する、方法、デバイス、アプリケーション、システム及びサービスを含むことができる。即ち、
ビデオ画像記録、送信、保存、編集、処理、トランスコーディング、検索、読み出し、共有、配信、及びマーケティング、モバイルデバイス及びビデオ処理／アプリケーションサーバ、対応するモバイルデバイス及びビデオ処理／アプリケーションサーバアーキテクチャ、サービスプラットフォームアーキテクチャ、及び上記に関するネットワーク及び他のシステムサービスのみならず、無線及び有線ネットワーク及びシステムを越えて静止画及びビデオ画像を送信、保存、編集、処理、トランスコーディング、検索、読み出し、共有、配信及びマーケティングし、それらを表示可能デバイス上で視聴する方法及びサービス。
【００２２】
本開示の実施例は、画像記録及び処理技術、及びモバイルデバイス、ビデオ処理／アプリケーションサーバのアーキテクチャにおける対応する改良、及びサービスプラットフォームを更に具える。本開示は更に、モバイルビデオサービスの端末相互間機能及び性能を具える。これらは、モバイルデバイス中の撮像装置モジュールにおいてキャプチャされた手ぶれカメラ動き補償情報などの情報を、次の携帯電話デバイス、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は受信ビデオ再生デバイスにおけるビデオコーデックの１つ以上に渡すことによって可能になる。
【００２３】
次にこれらの情報は、例えば、別の方法で入力ビデオデータからビデオコーデックによって抽出できる追加の動き補償情報を与えることによって、ビデオコーデックの計算要件を更に低減するために使用できる。これらの情報は、モバイルネットワークにおいてビデオ処理アプリケーションサーバにおける次に実行される編集及び更にビデオ処理中に、モバイルデバイスにおいてビデオキャプチャ中に発生するカメラ動作を更に補償するためにも使用できる。これらの情報は、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は受信ビデオ再生デバイスにおいて次に実行される編集及び更にビデオ処理中に、モバイルデバイスのカメラモジュール中でのビデオ処理を介して以前に除去された、カメラ動作の効果を再形成するために使用することもできる。
【００２４】
本開示の態様は更に、以下の１つ以上を具えることができる。
１．ビデオ又は静止画を圧縮及び／又は解凍するためのソフトウェアビデオコーデック／テレビ電話デバイスアプリケーション、
２．圧縮、解凍、編集、トランスコーディング、検索アプリケーションのためのタグ化及び組み込み、保存、データベース化、検索、読み出し、及び配信するためのソフトウェアビデオ処理アプリケーション、
３．ソフトウェア処理アプリケーションとモバイル携帯電話のためのソフトウェアビデオコーデック／テレビ電話アプリケーションと連動してビデオメッセージを展開してサービスを共有するための、モバイルマルチメディアサービス（ＭＭＳ）インフラサーバコンピュータ及びアプリケーションを含む、インフラ製品、方法及び処理、
４．モバイルビデオメッセージング、共有、及びブロギングと、ビデオストリーミング及びビデオ通話と、モバイルデバイス上におけるモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングをサポートするパーソナルメディアプロデューササービスとを含む、革新的なＭＭＳサービスを構築、有効化、販売、及び動作させるための方法、プロセス、及びビジネスプロセス。
【図面の簡単な説明】
【００２５】
【図１】一実施例によるビデオコーデックの計算要件を示している。
【図２】一実施例によるモバイルデバイス及びサービスにおけるビデオ画像サイズの制限を示している。
【図３】一実施例によるモバイル画像サービスプラットフォームアーキテクチャを示している。
【図４】一実施例によるモバイル画像携帯電話アーキテクチャを示している。
【図５】一実施例によるビデオ処理及びアプリケーションサーバ機能のブロック線図を示している。
【図６】一実施例によるビデオ処理及びアプリケーションサーバアーキテクチャを示している。
【図７】一実施例による流通したビデオ編集システムアーキテクチャを示している。
【図８】一実施例によるビデオコーデック技術の比較を示している。
【図９】一実施例による、低減されたビデオコーデックの計算要件を示している。
【図１０】一実施例による改良されたモバイル画像携帯電話構造を示している。
【図１１】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャを示している。
【図１２】一実施例による代替の改良されたビデオ処理及びアプリケーションサーバアーキテクチャを示している。
【図１３】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャの全てがソフトウェアによる実装を示している。
【図１４】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャの全てがハードウェアによる実装を示している。
【図１５】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャのソフトウェアとハードウェアの複合型実装を示している。
【図１６】一実施例による改良された流通したビデオ編集システムアーキテクチャを示している。
【図１７】一実施例による改良されたモバイル画像サービスプラットフォームアーキテクチャを示している。
【図１８】一実施例による、トランスコーディングの必要性を排除して、既存のビデオ処理／アプリケーションサーバがビデオフォーマットを処理可能とする自己復号化ビデオＭＭＳを示している。
【図１９】一実施例による展開されたビデオ処理及びアプリケーションサーバのＯＴＮ更新を示している。
【図２０】一実施例による推定されるメディア生成者サービスを展開するのに必要なビデオ編集サーバの複雑性、コスト及び数を示している。
【図２１】一実施例による改良されたビデオメッセージング／共有／通話プラットフォームの機能要素を示している。
【図２２】一実施例によるより高品質なマルチメディア携帯電話及びサービスのより高速、低コストの発展及び展開を示している。
【図２３】一実施例による広帯域マルチメディアデバイス及びサービスに対するアプリケーションを示している。
【図２４ａ】ユーザ及びシステム管理者と相互作用するビデオ編集システムの一実施例を示している。
【図２４ｂ】ＳＳＰを介してＴＩＰと通信するためのＶＥＳクライアントの一実施例を示している。
【図２５】ＳＳＰを介してＴＩＰと通信するためのＶＥＳクライアントの工程の一実施例を示している。
【図２６】ＳＳＰを介してＴＩＰを通信するためのＶＥＳクライアントの別の工程の一実施例を示している。
【図２７】ＳＳＰを介してデータベースを通信するＶＥＳクライアントの工程の一実施例を示している。
【図２８】ウェブサイトと通信するための受信ＰＣの工程の一実施例を示している。
【図２９】テンプレートエディタの工程の一実施例を示している。
【図３０】テンプレートエディタの別の工程の一実施例を示している。
【図３１】スクリーンショットの一実施例を示している。
【図３２】スクリーンショットの一実施例を示している。
【図３３ａ】スクリーンショットの一実施例を示している。
【図３３ｂ】スクリーンショットの一実施例を示している。
【図３４】スクリーンショットの一実施例を示している。
【図３５】スクリーンショットの一実施例を示している。
【図３６】スクリーンショットの一実施例を示している。
【図３７】スクリーンショットの一実施例を示している。
【図３８】スクリーンショットの一実施例を示している。
【図３９】スクリーンショットの一実施例を示している。
【図４０】スクリーンショットの一実施例を示している。
【図４１】スクリーンショットの一実施例を示している。
【図４２】スクリーンショットの一実施例を示している。
【図４３】スクリーンショットの一実施例を示している。
【図４４】スクリーンショットの一実施例を示している。
【図４５】スクリーンショットの一実施例を示している。
【図４６】スクリーンショットの一実施例を示している。
【図４７】スクリーンショットの一実施例を示している。
【図４８】スクリーンショットの一実施例を示している。
【図４９】スクリーンショットの一実施例を示している。
【図５０】スクリーンショットの一実施例を示している。
【図５１】スクリーンショットの一実施例を示している。
【図５２】スクリーンショットの一実施例を示している。
【図５３】スクリーンショットの一実施例を示している。
【図５４】スクリーンショットの一実施例を示している。
【図５５】スクリーンショットの一実施例を示している。
【００２６】
以下の説明及び図は概略を示すものであり、それらに限定するものとして解釈されるべきではない。数値的に明確な詳細は、本開示の完全な理解を提供するために記載されている。しかし、場合によっては記載を曖昧にすることを防止するために、既知又は一般的な詳細は記載されていない。本開示における１つの実施例への１つの参照は、同一の実施例への複数の参照とすることができるが、必ずしもそのように解する必要はなく、このような複数の参照は、少なくとも１つの参照を意味している。
【００２７】
この明細書における「一実施例」への参照は、実施例に関連して記載された特徴、構造又は特性が、本開示の少なくとも一実施例において含まれていることを意味している。明細書における様々な位置での「一実施例」という語句の出現は、必ずしも全てが同一の実施例を参照しているわけでも、他の実施例を単に除外する別々の又は代替の実施例であるわけでもない。更に、特定の実施例によってのみ示すことができる様々な特徴が記載されている。同様に、特定の実施例にのみ必要となりうる様々な要件が記載されている。
【００２８】
画像処理
ウェーブレット変換は、１次元又は２次元以上においてウェーブレットフィルタペアをデータセットに対して繰り返し適用するステップを含むことができる。静止画圧縮のために、２−Ｄウェーブレット変換（水平及び垂直）を利用できる。本開示によるビデオコーデックは、３−Ｄウェーブレット変換（水平、垂直、及び時間）を使用できる。単一のコーデックにおいて静止画とビデオ画像の処理に対する同時サポートを可能にするのみならず、モバイルデバイスにおける計算の複雑性及び消費電力をＤＣＴベースコーデックに必要なものより大きく低減するために、対称３−Ｄウェーブレットベースのビデオ圧縮／解凍（コーデック）デバイスを使用できる。
【００２９】
単一のコーデックにおける静止画とビデオ画像に対する同時サポートは、別々のＭＰＥＧ（ビデオ）及びＪＰＥＧ（静止画）コーデックの必要性を除去又は低減させ、あるいは、例えばモーションＪＰＥＧコーデックに関して圧縮性能つまり保存効率を著しく向上させることができる。対称３−Ｄウェーブレットベースのビデオ処理デバイスを使用して、計算の複雑性及び消費電力を低減され、ユーザ作成ビデオのデータベースの保存、検索及び読み出しのみならず、ユーザ作成ビデオの自動又は手動の編集をサポートするように利用されるＭＭＳインフラ装置によってサポート可能な、同時モバイル加入者の数が増加する。
【００３０】
一実施例の態様は、モバイルビデオメッセージング、共有、及びブロギングと、ビデオストリーミング及びビデオ通話と、モバイルデバイス上においてモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングとをサポートするパーソナル「メディアプロデューサ」サービスとを含む、新世代の革新的ＭＭＳビデオサービスを提供する。本開示の態様によるモバイル画像サービスプラットフォームアーキテクチャの構成要素（図３を参照）は、
・モバイル携帯電話、
・モバイルベースステーション（ＢＴＳ）、
・ベースステーションコントローラ又はラジオネットワークコントローラ（ＢＳＣ／ＲＮＳ）及びモバイルスイッチングセンタ（ＭＳＣ）、
・ゲートウェイサービスノード（ＧＳＮ）、
・モバイルマルチメディアサービスコントローラ（ＭＭＳＣ）、
の１つ以上を具えることができる。
【００３１】
本発明の開示の態様によるＭＭＳＣに含まれる典型的な機能は、
・ビデオゲートウェイ
・電気通信サーバ
・ＭＭＳアプリケーションサーバ
・保存サーバ
の１つ以上を具えることができる。
【００３２】
本開示の態様によるＭＭＳＣにおけるビデオゲートウェイは、撮像サービスプラットフォームによってサポートされる、異なるビデオフォーマット間でトランスコーディングするように機能させることができる。トランスコーディングは、モバイル電話ネットワークにおいて使用される、異なる音声コーデックをサポートするように無線運営者によっても利用され、対応する音声トランスコーダをＲＮＣに統合できる。
【００３３】
図３に示すようなアーキテクチャを有するモバイル撮像サービスプラットフォームのアップグレードは、新たな携帯電話を展開及びＭＭＳＣビデオゲートウェイに新たなハードウェアの手動による追加を含むことができる。幾つかのモバイルビデオメッセージング及び共有アプリケーションにおいて、トランスコーディングに関するコスト及び複雑性が除去される。本開示の一態様は、送信されたビデオストリームの各々を使用したソフトウェアデコーダを組み込めることであり、共通の携帯電話及びＰＣビデオプレーヤ上における「自己再生」機能が可能になる。
【００３４】
ＭＭＳＣにおけるＭＭＳアプリケーションサーバは、データベースの保存、検索、及びユーザ作成ビデオの読み出し、及びユーザ作成ビデオの自動又は手動の編集のようなアプリケーションをサポートできる。ＤＣＴベースのビデオを使用するこのようなビデオ編集機能及び他の処理アプリケーションの実装に関係する計算の複雑性は、一般的な目的のパーソナルコンピュータ（ＰＣ）中央演算処理装置（ＣＰＵ）に基づく多くの標準サーバコンピュータの計算能力を超える。
【００３５】
本開示の態様によれば、将来性のある新たなモバイルビデオサービスの商用展開は、多数の同時サービス受信者に対するビデオ編集及び他の処理の提供、及び対応するビデオアプリケーションサーバの展開及び維持コストを可能な限り低くすることを含むことができる。新たな又は特有のハードウェアが必要な場合には、ＭＭＳＣインフラのアップグレードにも費用がかかる。携帯電話の自動無線（ＯＴＡ）ソフトウェアアップグレード、ＭＭＳＣビデオゲートウェイの無線（ＯＴＮ）ソフトウェアアップグレード、及び標準ＰＣ及びサーバを使用するモバイルビデオアプリケーションのサポートを可能にするために、ＳＷアプリケーション及びサービスプラットフォームが好ましいだろう。
【００３６】
本開示の態様は、モバイルデバイスに関連するビデオコンテンツの革新的なキャプチャ、圧縮、送信、編集、保存及び共有に関する新たな方法、サービス及びシステムを具える。本開示の態様は、電気通信会社（無線及び有線プロバイダ双方）及びインターネット、ケーブル、及び固定及びモバイル無線サービスプロバイダを含む他のデータ及びマルチメディア運営者に適用できる。本開示による態様は、よりリッチなコンテンツ、高い帯域幅利用及びユーザ当たりの高い平均収益（ＡＲＰＵ）を提供できる。
【００３７】
本開示の態様によるモバイルマルチメディアサービスは、革新的なビデオメッセージング、共有、ブロギング、及び対象の顧客が個人情報に通信することが可能になるパーソナル「メディアプロデューサ」アプリケーションを含む。モバイル画像メッセージング及び共有は、ユーザが送信したいビデオメッセージをキャプチャ（エンコード）して、受信したビデオメッセージを再生（デコード）できるように、モバイル携帯電話に追加のデジタルカメラ機能（静止画）及び／又はテレビ電話機能（ビデオ画像）が必要になる可能性がある。
【００３８】
本開示の態様によれば、モバイルデバイスは、統合された民生用マルチメディアエンターテインメントプラットフォームへと発展できる可能性がある。業界における多くの投資は、（ニュースクリップ、スポーツハイライト、及び人気テレビ番組の特別「モビソード」など）再パッケージされた放送テレビプログラミング、及び他の（映画プレビュー及び音楽ビデオなどの）スタジオ作成ビデオコンテンツを、モバイルデバイスに送信して視聴できる技術やプラットフォームに向けられている。この後者の場合において、モバイル加入者はビデオ消費者の新たなクラスとして開拓される。しかしこの後者の場合は、概して大規模な放送企業のサーバにおいて圧縮されたビデオコンテンツを利用する。
【００３９】
しかし本開示の態様によれば、世界中のモバイル運営者は、彼らの加入者を単なるメディア消費者ではなく、（本開示の態様によって可能になるように）メディアプロデューサとしてサポートする新たな重要な機会も得る。本開示の態様によって可能になるように、単体のデジタルカメラ及びテレビ電話と同一の品質で、モバイルデバイス上で写真及びビデオをキャプチャして共有できることは、より高速な携帯及び固定無線データネットワークの展開及び集中と共に、これらの新たなサービスに対して技術的に不可欠である。
【００４０】
本開示の態様は更に、テレビ電話通話及びビデオメッセージング／共有インフラ装置の双方の開発コスト及び販売価格における著しい低減を可能にし、これは成長した市場及び新興市場双方において、このような新規デバイス及び関連するモバイルマルチメディア／データサービスの大規模な商用採用に対する鍵となりうる。
【００４１】
モバイル画像メッセージング／共有サービス及びアプリケーションは、テレビ、パーソナルコンピュータ、デジタルビデオテレビ電話、及びパーソナルメディアプレーヤのような、他のマルチメディアデバイス（図２を参照）において典型的にキャプチャされて表示されるものよりも、非常に小さなサイズで非常に低いフレームレートのビデオ画像のキャプチャ及び送信に限定されうる。本開示の態様によって提供されるように、３０ｆｐｓのフレームレートにてＶＧＡ（又はそれより大きな）ビデオが可能なモバイル画像メッセージングサービス及びアプリケーションであることが好ましい。
【００４２】
本開示の態様は、以下の１つ以上を含むことができるソフトウェアモバイル画像アプリケーションサービスプラットフォームを更に具える。
１．展開した携帯電話の自動無線（ＯＴＡ）ソフトウェアアップグレードのサポート、
２．展開したＭＭＳＣの自動ネットワーク越え（ＯＴＮ）ソフトウェアアップグレードのサポート、
３．標準ＰＣ及び標準サーバを使用したモバイルビデオアプリケーション及びサービス展開のサポート、
４．より少数のサーバによる、より多数の同時モバイルビデオサービス加入者のサポートを可能にすること、
５．ネットワークの携帯電話においてビデオトランスコーディングをする必要なく、モバイルビデオアプリケーション及びサービス展開するサポート、
６．デジタルテレビ電話及びテレビのような民生用マルチメディアデバイス上でキャプチャして表示されるのと同様のフルサイズ及びフルフレームレートのビデオ画像をキャプチャして送信することをサポートする、モバイルビデオデバイス、アプリケーション及びサービスを可能にすること、
などである。
【００４３】
本開示の態様によるモバイル携帯電話及びＭＭＳサーバアプリケーションのＪａｖａ実装は、ウイルス、ワーム、及び他の「攻撃」に対する携帯電話／ネットワークの堅強性のために使用でき、一実施例において、モバイルネットワーク運営者が国内の当局者によって要求されるサービスの品質及び信頼性の提供を可能にする。
【００４４】
本開示の実施例において、モバイル携帯電話へのデジタルテレビ電話機能の追加は、概括的には、ハードウェア、ソフトウェアにおいて、又はハードウェアとソフトウェアの組み合わせとして、以下の機能の追加に関係している。
・対応するプリアンプ及びアナログ／デジタル（Ａ／Ｄ）信号変換回路を有する撮像装置アレイ（典型的にはＣＯＭＳ又はＣＣＤピクセルのアレイ）
・前処理、符号化／復号化（ｃｏｄｅｃ）、後処理などの画像処理機能
・無線又は有線ネットワークに亘る非同時送信又は同時ストリーミングのための処理された画像のバッファリング
・１つ以上の画像表示画面
・内蔵又はリムーバブルメモリ上への局所的な画像の保存
【００４５】
ＭＰＥＧ−４のようなＤＣＴ変換に基づくコーデックを使用する場合、市販の撮像可能モバイル携帯電話は、テレビ、パーソナルコンピュータ、デジタルビデオテレビ電話及びパーソナルメディアプレーヤのような他のマルチメディアデバイス上で典型的にキャプチャして表示されるものよりも、小さなサイズで低いフレームレートのビデオ画像のキャプチャに限定される。これら後者のデバイスは、典型的にはＶＧＡフォーマット（６４０ｘ４８０ピクセル）以上の大きさで、表示速度が３０フレーム／秒（ｆｐｓ）にてビデオ画像をキャプチャ／表示するのに対して、市販の撮像可能モバイル携帯電話は、例えばＱＶＧＡフォーマット（３２０ｘ２４０ピクセル）、ＱＣＩＦフォーマット（１７６ｘ１４４ピクセル）、またはそれより小さなサイズで、例えば１５ｆｐｓ以下の表示速度にてビデオ画像をキャプチャすることに限定されうる（例えば図２を参照）。
【００４６】
この低減されたビデオキャプチャ能力は、典型的には、ＤＣＴ変換を使用したビデオ圧縮／解凍に関連する計算ステップの数、型、及びシーケンスを完了するのに必要な大きな計算要件、プロセッサの消費電力、及びバッファメモリによるものとすることができる。
【００４７】
市販のビデオコーデック及びマイクロプロセッサ技術の使用は、ＶＧＡ（又はそれ以上の）ビデオを３０ｆｐｓ以上のフレームレートでキャプチャすることを対象にするモバイル画像携帯電話に対して、非常に複雑で電力を必要とする高価なアーキテクチャへとつながる。これらの携帯電話アーキテクチャは、大きなバッファメモリブロック（典型的には１メガバイト以上のメモリ容量）と、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）及び再配置可能処理デバイス（ＲＰＤ）の組み合わせ上で動作するソフトウェアプログラム及びハードウェアアクセラレータの双方の組み合わせを有するコーデックを利用している。
【００４８】
これらのコーデック機能は、ＲＩＳＣプロセッサ、ＤＳＰ、ＡＳＩＣマルチメディアプロセッサ、及びＲＰＤを、別々の集積回路（ＩＣ）として使用して実装でき、又はＲＩＳＣプロセッサ、ＤＳＰ、ＡＳＩＣマルチメディアプロセッサ、及びシステム・イン・パッケージ（ＳＩＰ）又はシステム・オン・チップ（ＳｏＣ）、及びＲＰＤの１つ以上を、組み合わせて一緒に集積させることができる。
【００４９】
ＲＩＳＣプロセッサ又はＤＳＰ上で動作するコーデック機能は、ソフトウェアルーチンとすることができ、プログラミングエラーを訂正する又は機能をアップグレードするために変更できる利点を有する。所定の複雑で反復的なコーデック機能をソフトウェアで実装する不利点は、結果として得られる全体のプロセッサリソース及び消費電力要件が、典型的にはモバイル通信デバイスにおけるリソースを超えることである。ＡＳＩＣ及びマルチメディアプロセッサ上で動作するコーデック機能は、典型的には複雑で反復的な計算ステップの固定されたハードウェア実装であり、典型的には特にオーダーメイドのハードウェアアクセラレーションの場合、コーデック全体の消費電力を著しく低減できる利点を有する。
【００５０】
固定されたハードウェアに所定のコーデック機能を実装する不利点には、長くより高価な設計サイクル、固定されたシリコンデバイス実装においてエラーが発見された場合における高価な製品リコールの危険性と、新たに開発された特性を画像アプリケーションに追加できる場合における展開された製品において固定されたシリコンデバイス機能をアップグレードできないことが含まれる。ＲＰＤ上で動作するコーデック機能は、典型的には、完成したモバイル画像携帯電話製品において、ハードウェアアクセラレーション及び機能を追加又は変更する能力の双方を利用するルーチンである。
【００５１】
上記のアーキテクチャを簡単化し、量産商用展開と同等のコストを可能にするために、全てがソフトウェアのアーキテクチャを有するモバイル画像携帯電話が、ＶＧＡ（又はそれ以上の）ビデオを３０ｆｐｓのフレームレートにてキャプチャできるように、複雑性、反復的なコーデック機能を低減又は削除する画像アプリケーションであることが好ましい。
【００５２】
マルチメディア携帯電話は、画像及びビデオメッセージング機能だけでなく、様々な追加のマルチメディア機能（音声、音楽、グラフィック）及び２．５Ｇ及び３Ｇ携帯アクセス、ＷｉＢｒｏ，ＨＳＤＰＡ，ＷｉＦｉ，無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈを含むがそれらに限定されない、様々な固定及びモバイル無線アクセスモードをサポートすることが要求される。新たな収益を創出するサービス及びアプリケーションをより効率的に展開し、コストのかかる商品リコールを防止するために、これらの製品の開発、展開及びサポートに伴う複雑性及びリスクは、多くの機能及びアプリケーションの無線（ＯＴＡ）配信及び管理を非常に有益にする。
【００５３】
携帯電話製造業者、モバイル通信運営者、及び他のＭＭＳサービスプロバイダによる画像アプリケーションの無線配信及び管理を可能にするように、ＳＷ（ｓｏｆｔｗａｒｅ）撮像アプリケーションであることが好ましい。本発明はこれらの目的を提供する。
【００５４】
本発明の態様は、
１．デジタルテレビ電話及びテレビなどの他の民生用マルチメディアデバイス上において、典型的にキャプチャして表示されるものと同様のフルサイズ及びフルフレームレートのビデオ画像を、キャプチャして送信することをサポートする、モバイルビデオデバイス、アプリケーション及びサービスを可能にすること、
２．展開した携帯電話の自動無線（ＯＴＡ）ソフトウェアアップグレードをサポートすること、
の１つ以上を含む。
【００５５】
本開示の態様によれば、モバイル携帯電話アプリケーションのＪａｖａ実装は、ウイルス、ワーム及び他の「攻撃」に対する携帯電話／ネットワークの堅強性のために使用でき、一実施例において、モバイルネットワーク運営者は、国内の当局者によって要求されるサービスの品質及び信頼性を提供できる。
【００５６】
一実施例において、ＭＭＳビデオサービスは、モバイルビデオメッセージング、共有及びブロギングと、ビデオストリーミング及びビデオ通話と、モバイルデバイス上でモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングをサポートするパーソナル「メディアプロデューサ」サービス、自動ビデオ編集、ビデオ「撮影後編集」及びモバイル携帯電話及び／又はＭＭＳＣアプリケーションサーバにおいて提供される他のビデオ処理アプリケーションとを含む。しかし、これらの機能の商用展開は、多くの同時サービスユーザに対するビデオ編集及び他の処理を提供し、対応するビデオアプリケーションサーバのコストを可能な限り低くすることを含む。
【００５７】
図５は、一実施例によるビデオ処理及びアプリケーションサーバに対する機能ブロック線図を示している。ビデオ入力データは、典型的には圧縮されたフォーマットにあり、ビデオ処理アルゴリズムをビデオ入力データに実装する前に完全に又は部分的に復号できる。処理されたビデオは、出力、及び後の送信及び配信のために再び圧縮できる。ビデオ処理機能は、
・圧縮、
・解凍、
・切り取り及び遷移効果のような一連の編集、及びカラー補正、フェード、及びジッタ除去のような画像コンテンツ編集を含む編集、
・タイトルの追加、又は選択したビデオのカットを作成テンプレートに挿入するような撮影後編集、
・本ウェーブレットフォーマットと他の一般に展開されている標準規格ベースで適切なビデオフォーマットとの間の変換を含むトランスコーディング、
・圧縮レベル、ビットレート、フレームレート、画像サイズ、及び異なる装置及び画像サイズ間の再生互換性のための圧縮フォーマットの変換、
・検索アプリケーションのためのメタデータのタグ化及び組み込み、
・保存（データベース、検索、読み出しにおける場合を含む）、
・来歴、所有権、承認及びライセンス制限の監査を含むコンテンツの管理、
の１つ以上を含むことができる。
【００５８】
ＤＣＴベースのビデオ編集及び他の処理アプリケーションの計算の複雑性は、汎用のパーソナルコンピュータ（ＰＣ）の中央演算処理装置（ＣＰＵ）に基づくサーバコンピュータの計算能力を超えうる。ある場合には、ビデオ編集及び他の処理アプリケーションは、特有のビデオアプリケーションサーバコンピュータを利用し、ビデオ処理は、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディアプロセッサ、及び再構成可能処理デバイス（ＲＰＤ）を含むがそれらに限定されない、特有のデータ処理素子の組み合わせを使用して実行できる。
【００５９】
図６は、一実施例によるＤＣＴベースのビデオ編集及び他の処理アプリケーションの計算要求を提供するために、代表的なビデオ処理及びアプリケーションサーバアーキテクチャを示している。特有ビデオデータ処理素子の数、コスト及び消費電力は、汎用ＰＣのＣＰＵに基づく標準サーバコンピュータと比較して、特有ビデオサーバの高いコスト及び消費電力へとつながる。
【００６０】
本開示の態様は、更に以下の特徴の１つ以上を有するシステムを具えることができる。
１．ビデオ符号化、復号化及び編集のための計算の複雑性を低減すること、
２．モバイルビデオアプリケーションが、特有の高価で電力を必要とするＤＳＰ又はＡＳＩＣ以外の低コストで低消費電力のＰＣのＣＰＵで動作することを可能にすること、
３．多数の特有のビデオアプリケーションサーバに代わるより少ない、高価ではないＰＣベースのサーバを可能にし、ユーザ当たりの展開稼働コストを低減すること、
４．各ビデオアプリケーションサーバによってサポートできる同時モバイルユーザ数の充分な増加を可能にすること、
５．展開したＭＭＳＣビデオアプリケーションサーバの自動無線（ＯＴＮ）ソフトウェアアップグレードをサポートすること、
６．携帯電話又はネットワークにおいてビデオトランスコーディングする必要なしに、モバイルビデオアプリケーション及びサービスの展開をサポートすること、
などである。
【００６１】
［ビデオ編集、アーカイビング、及び読み出しシステム］
一実施例において、モバイルビデオメッセージング、共有及びブロギングや、ビデオストリーミング及びビデオ通話や、モバイルデバイス上でモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングをサポートするパーソナル「メディアプロデューサ」サービスのようなＭＭＳビデオサービスは、モバイル携帯電話及び／又はＭＭＳＣアプリケーションサーバにおける自動ビデオ編集、ビデオの「撮影後編集」、及び他のビデオ処理アプリケーションの１つ以上を提供する。
【００６２】
ビデオ作成は、リソースが複数のサイトに亘って物理的に分散された分散プロセスである。例えば、放送産業において、放送業者は所定の作品及び作成後段階のものを特有のスタジオ又は間もなく実現する仮想スタジオに外注する。本開示の態様は更に、モバイルパーソナル「メディアプロデューサ」サービスのための分散仮想スタジオアプリケーションの展開を簡単化して加速する実施例を含む。
【００６３】
図７は、一実施例による、ビデオアーカイブ及び読み出し機能をサポートする要素を含む、放送アプリケーションのための分散ビデオ編集システムの機能及び要素を示している。これらのシステムは、放送事業者に分散したビデオの作成後編集に対する完全な解決策を提供する目的で設計されており、保存、読み出し及び編集機能を統合している。
【００６４】
一実施例において、本システムは、エンドユーザのためのアーカイブサーバ、編集サーバ、カタログサーバ、及び顧客ステーションを具える。本開示の態様は、単なる放送事業サービス以外に、モバイルパーソナル「メディアプロデューサ」サービスをサポートできる類似の仮想分散スタジオシステムの設計及び商用展開を単純化し、加速することを更に具える。
【００６５】
一実施例によれば、図７におけるアーカイブサーバは、低及び高ビットレートにてビデオを保存して、ビデオストリーミング及びファイル転送サービスを提供する。カタログサーバは、ビデオクリップのメタデータが保存されて索引付加されているデータベースを管理できる。顧客ステーションは、低ビットレートにて既存の材料を使用したビデオ編集ばかりでなく、ユーザがアーカイブ及び読み出し作業を行うことを可能にする。放送準備が整った最終的なビデオを作成するために、ユーザが作成した編集リストは次に編集サーバによって処理され、対応する高ビットレート素材に適用される。
【００６６】
カタログサーバは、メタデータを抽出するために、自動的にビデオアーカイブの新たなクリップの各々の低ビット版を取得し、それを前処理する。場面間の遷移を検出し、動き特性を分析することによって、ビデオクリップをより小さなセグメントに分解できる。各場面に対して、表示目的のために静止画（キーフレーム）を抽出でき、自動画像索引付加手法が可能になる。動きベクトルから、カメラ及びカメラレンズの動き（例えばパン、チルト、ズーム、静止）特性を計算できる。これらの前処理ステップは、解凍せずに低ビットレートストリーム（典型的にはＭＰＥＧ−１）上で実行される。
【００６７】
一実施例によれば、図７におけるアーカイブツールによって、ドキュメントリストがクリップ前処理アルゴリズムの結果を可視化／編集し、文字注釈を入力することを可能にする。
【００６８】
グラフィカルユーザインターフェースは、例えば、ジャーナリスト又はプログラムディレクタが、カタログサーバからの利用可能なメタデータを使用して、アーカイブからビデオ素材を読み出すことを可能にする。項目が選択されたら、それらを編集ツールに出力することが可能である。一実施例によれば、図７における検索ツールによって、文字及び視覚情報を使用してデータベースに問い合わせることが可能になる。文字のクエリーは、アーカイブ処理中に入力された所定の領域にアドレスする。視覚的クエリーは、前処理段の間に抽出されたメタデータにアドレスする。ユーザは画像例を特定し、所望のタイプのカメラ動作を規定する。
【００６９】
本開示の実施例は、更に以下を含む。
１．一実施例において、ビデオ符号化、復号化に対する計算の複雑性を低減する。
２．一実施例において、ウェーブレット変換領域におけるビデオ編集ステップ又は作業を実行する。その結果、逆ウェーブレット変換及び順方向ウェーブレット変換の計算の双方を節約し、ピクセルデータ値に対する従来の演算よりも少ないデータ項目にアクセスして変更することによって、計算の節約もできる。
３．一実施例において、モバイルビデオアプリケーションが、特有の高価で電力を必要とするＤＳＰ又はＡＳＩＣ以外の低コスト、低消費電力ＰＣのＣＰＵ上で実行することが可能になる。
４．一実施例において、より少なく、安価なＰＣベースサーバが多くの特有ビデオアプリケーションサーバに置き換わることができ、その結果、ユーザ当たりの展開及び動作コストを低減する。
５．一実施例において、オンライン編集システムの全機能の同時実行に必要な計算能力を低減し、これらの同時編集機能のソフトウェア実装を可能にする。
６．一実施例において、モバイル携帯電話、パーソナルメディアプレーヤ、ノート型コンピュータ、及びパーソナルコンピュータ上で、ＳＷクライアントによって自動ビデオ編集及び他の処理に対するエンドユーザサポートを可能にする。
７．モバイルデバイス中の撮像モジュールにおいてキャプチャできる手ぶれカメラ動き補償情報などの情報を、携帯電話デバイスの続くビデオコーデック、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は検索ビデオ再生装置の１つ以上に送信することによって可能になる、モバイルビデオサービスの端末相互間機能及び性能の更なる改良を可能にする。
【００７０】
ビデオ編集サービス、例えば「自動ビデオ編集システム」は、カメラ、撮像素子（典型的には、ＣＭＯＳ、ＣＣＤ又は類似のデバイス）の限定された低光感度、及び／又はカメラモジュールレンズに由来する歪みを補正又は訂正してビデオ記録中に発生するカメラジッタを補正するように使用することもできる。
【００７１】
一実施例において、このような情報は、次に、例えば入力ビデオデータからビデオコーデックによって別の方法で抽出できる追加の動き補償情報を提供することによって、ビデオコーデックの計算要件を更に低減するように使用することもできる。このような情報は、モバイルデバイスにおけるビデオキャプチャ中に、及びモバイルネットワークにおけるビデオ処理アプリケーションサーバ中で次に実行される編集及び更なるビデオ処理中に発生するカメラ動作を更に補償するように使用することもできる。一実施例によれば、このような情報は、モバイルネットワークにおけるビデオ処理アプリケーションサーバ中、及び／又は検索ビデオ再生装置中で次に実行される編集及び更なるビデオ処理中に、モバイルデバイス中のカメラモジュールにおいてビデオ前処理によって以前に除去されたカメラ動き効果を再形成するように使用することもできる。
【００７２】
本開示の実施例を使用して、ここでビデオとホームシネマ品質の放送（例えば３０ｆｐｓでのＶＧＡフルサイズ画像フォーマット）とを結合させるモバイルビデオサービスが市場に投入される。更に、このような多量の使用データの処理は、モバイル携帯電話における同時ビデオキャプチャ（符号化）に利用可能な計算リソース及びバッテリパワーを超える。
【００７３】
場合によっては、放送及びストリーミングアプリケーションのためのビデオコンテンツの符号化は、高複雑性符号器がコンピュータワークステーション上で動作可能なスタジオ環境で実行できる。ビデオメッセージは、携帯電話自身において同時にキャプチャされるため、それらは非常に小さなサイズで非常に低いフレームレートに限定される。
【００７４】
本開示の実施例は、モバイル携帯電話及びＭＭＳアプリケーションサーバにアプリケーションとして実装できる、より低い複雑性を有する画像アプリケーション（例えばモバイル携帯電話のためのビデオコーデッククライアント、ＭＭＳアプリケーションサーバのためのビデオ編集及び処理アプリケーション）を含み、携帯電話アーキテクチャ及びモバイル画像サービスプラットフォームアーキテクチャの複雑性が低減される。
【００７５】
本開示の実施例によれば、ビデオコーデックの解決策は、ベースバンドプロセッサ及びビデオアクセラレータのコスト、及びマルチメディア携帯電話における要件を低減又は削除する。ＯＴＡダウンロードによる製造後のコーデックをインストールできることと組み合わせて、この全てがソフトウェアによる解決策は、携帯電話開発及びビデオメッセージングサービスアーキテクチャ及び展開の双方の複雑性、リスク、及びコストを著しく低減する。テレビ電話開発時間の低減及び製品プラットフォームの柔軟性の増加は、更なるテレビ電話コストの低減をもたらす。
【００７６】
本開示によるソフトウェアビデオトランスコーダ及び編集、保存、検索、読み出しアプリケーションは、このようなアプリケーションを実行するための標準ＰＣ及びサーバの使用のみならず、展開されたＭＭＳ制御（ＭＭＳＣ）インフラの自動無線（ＯＴＮ）アップグレードを可能にする。更に、本発明のウェーブレットトランスコーダは、通信事業者に、ウェーブレットビデオフォーマットと他の標準規格ベース及び独自仕様のビデオフォーマットとの間の完全な相互運用性を与える。本発明の実施例は、送信された各々のビデオストリームに組み込まれたソフトウェア復号器を更に具え、共通の携帯電話及びＰＶビデオプレーヤ上での「自己再生」機能を可能にし、トランスコーディング全体のコスト及び複雑性を除去する。
【００７７】
一実施例において、本ビデオプラットフォームによって新たなＭＭＳサービスの迅速な展開が可能になる。本開示の幾つかの実施例は、他の既存の技術では利用不可能な処理速度及びビデオ作成精度の活用もしている。このような新たなＭＭＳサービスは、それ自身が本発明の態様である。
【００７８】
本開示のウェーブレットコーデックは、静止画及びビデオの双方を効率的に処理できる点で唯一でもあり、従って、別々のＭＰＥＧ及びＪＰＥＧコーデックを、モバイルピクチャーメール及びビデオメッセージングサービスの双方を同時にサポート可能な、単一のより低コスト及びより低消費電力の解決策で置き換えられる。本開示の実施例は、手ぶれカメラ動き補償情報のような情報を、携帯電話デバイスにおける次のビデオコーデック、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は読み出しビデオ再生デバイスと共有することによって、モバイルビデオサービスの端末相互間機能及び性能を改良することを更に含む。
【００７９】
［改良されたウェーブレットベースの画像処理］
本開示の態様は、ビデオ圧縮／解凍（コーデック）デバイスにおいて、例えばＤＣＴベースのコーデックよりも計算の複雑性を極めて小さくする３−Ｄウェーブレット変換を更に利用している。
【００８０】
本発明によれば、図８は、従来のＤＣＴ符号器技術と本開示の代表的な技術の相対的な計算要件の比較を提供している。ウェーブレット変換段のアプリケーションもまた、計算の複雑性を大きく低減させた量子化及びエントロピー符号化段の設計を可能にする。
【００８１】
一実施例によれば、図９は、本発明の態様によって可能になるビデオコーデックの計算要件の低減を示している。
【００８２】
幾つかの実施例において、ウェーブレットコーデック（例えば３−Ｄウェーブレットコーデック）は、モバイル画像アプリケーション、デバイス、及びサービスに対して、以下の１つ以上を更に具えることができる。
・対称的な低複雑性ビデオ符号化及び復号化、
・ソフトウェア及びハードウェアコーデック実装に対するより低いプロセッサ能力要件、
・ネイティブコード及びＪａｖａアプリケーションの双方として、既存の市販モバイル携帯電話と互換性があるプロセッサ要件を有する３０ｆｐｓ（又はそれ以上の）フレームレートでのＶＧＡビデオのソフトウェア符号化及び復号化、
・ＳｏＣ集積のためのより低いゲートカウントＡＳＩＣコア、
・より低いバッファメモリ要件、
・単一のコーデックによる静止画（ＪＰＥＧ）及びビデオ（ＭＰＥＧ）の双方のサポート、
・より短い画像グループ（ＧＯＰ，Ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）による簡単化されたビデオ編集（切り取り、挿入、テキストのオーバーレイ）、
・より短い画像グループによる音声コーデックとの簡単化された同期、
・より短い画像グループによる向上したビデオストリーミングに対する小さな待機時間、
・適応型レート制御、マルチキャスティング、及びジョイントソースチャネル符号化に対する堅強な拡張性、
・既存のＨＤＴＶビデオフォーマットに対する複雑性の低い性能拡張、
・一般的な携帯電話及びＰＣビデオプレーヤと互換性を有する「自己再生」ビデオメッセージを可能にするように各々の送信されたビデオストリームに組み込むことができるコンパクトなソフトウェアデコーダ（４０ｋＢ以下）、
などである。
【００８３】
幾つかの実施例において、ウェーブレット変換のアプリケーションは短い２進整数フィルタを利用する。例えば、Ｈａａｒの２〜６及び５〜３のウェーブレット及びそれらを変更したものを使用できる。
【００８４】
一実施例において、リフティング手法計算アルゴリズムを使用できる。例えば、これらのフィルタはリフティング手法を使用して計算され、面内計算を可能にする。これはレジスタ及び一時的なＲＡＭ記憶領域の使用を減少させ、キャッシュの高効率使用のために局所的な参照を維持している。
【００８５】
一実施例において、カスタマイズしたピラミッド構造を有するピラミッド形式のウェーブレット変換を使用できる。例えば、本開示の幾つかの実施例は、以前のウェーブレットレベルに由来するデータの半分に対して、ウェーブレット変換シーケンスの各レベルを計算するステップを更に含み、全体の計算をこれらのレベルの数からほぼ無関係となるようにする。一実施例において、このピラミッド構造は、上記のリフティング手法を利用して、レジスタ利用及びキャッシュメモリ帯域幅を更に節約するようにカスタマイズされる。
【００８６】
一実施例において、ブロック構造を利用できる。例えば、本開示は画像を矩形ブロックに分解して各々のブロックを互いに別々に処理し、これによりメモリ参照を局所的に維持してプロセッサのキャッシュに残っているデータを使用して変換ピラミッドの全体を扱うことができるようにすることで、ほとんどのプロセッサ内でかなりの量のデータ移動を節約できる。本発明のブロック構造は、信号フローにおいて大きな中間記憶容量の要件を防止できるため、ハードウェアの実施例において有益となりうる。
【００８７】
一実施例において、ブロック境界フィルタを使用できる。即ち本発明は、米国特許出願第１０／４１８，３６３号明細書にて説明されている、各ブロックの境界にて明瞭なアーチファクトを防止する改良されたフィルタ計算を使用する。
【００８８】
一実施例において、例えば、米国特許出願第１０／４４７，５１４号明細書で説明されている、１つのＧＯＰに対して単一の色差領域を使用して、色差一時除去を使用できる。
【００８９】
一実施例において、３−Ｄウェーブレットを使用する一時的圧縮を使用できる。即ち、代わりに本開示の所定の実施例は、領域間の一時的ウェーブレット変換を計算する。これは計算コストがずっと低い。リフティング手法を一形態において使用した短い整数フィルタも使用する。
【００９０】
一実施例において、動的量子化アルゴリズムを使用できる。即ち、本開示の所定の実施例においては、圧縮過程の量子化ステップは、係数位置の範囲に亘って一様にバイナリシフト演算を使用することによって達成される。
【００９１】
一実施例において、杭打ち（ｐｉｌｉｎｇ）アルゴリズムを使用できる。例えば、本開示の幾つかの実施例において、次のエントロピー符号器がラン・オブ・ゼロ（ｒｕｎ−ｏｆ−ｚｅｒｏ）変換を行うことによって取り扱われるデータ量が低減される。所定の実施例において、米国特許出願第１０／４４７，４５５号明細書において開示されており、並列処理アーキテクチャ上でゼロの続きを計数するために、その方法及び開示を利用している。
【００９２】
一実施例において、サイクル効率のよいエントロピー符号化を使用できる。例えば、圧縮過程のエントロピー符号化ステップは、従来の表参照（ｔａｂｌｅ ｌｏｏｋｕｐ）と入力符号に対する直接計算を組み合わせる技術とを使用して達成できる。符号の分布は特徴化されているため、ライス−ゴロム又は指数ゴロム又は２進単調（ｄｙａｄｉｃ ｍｏｎｏｔｏｎｉｃ）のような単純なエントロピー符号器を使用できる。エントロピー符号器の詳細の選択はプロセッサプラットフォーム性能に依存する。ここに内容を挿入した、米国特許出願第１０／４４７，４６７号明細書及び米国特許出願第１１／２３２，７２６号明細書に開示された方法を使用できる。
【００９３】
本願で開示する態様は、ビデオ編集プロセス又は作業をウェーブレット変換領域において実現可能にし、その結果、逆ウェーブレット変換及び順ウェーブレット変換双方の計算を節約でき、ピクセルデータ値に対する従来の演算に要求されるよりも少ないデータ項目にアクセス及び変更することによって計算の節約もできる。低減された計算を有するウェーブレット変換領域において達成されるこのようなビデオ編集プロセスの例は、更に以下を含むがそれらに限定されない。
【００９４】
１．フェード・トゥ・ブラック
一実施例において、ウェーブレット変換データ（ピクセルデータ値よりもむしろ係数）から開始し、画像の輝度ＤＣ係数を各時間ステップ毎にある量だけ減少させ、その結果、全体の明るさレベルをスムーズに黒に減少させることができる。この減少は、ＤＣレベルが完全な黒に到達したときに停止させるか、画像の全ての部分が黒に到達したと見なせるまで完全な黒を超えて継続できる。Ｄｒｏｐｌｅｔ社の現在の商用コーデックに使用されているようなブロック変換の場合、各時間ステップにてデータの約１／２５６、非ブロック化完全変換ウェーブレット実装の場合には、約１／３００，０００がアクセス及び／又は変更されることに注意されたい。
【００９５】
２．フェード・トゥ・ホワイト
一実施例によれば、これはＤＣ係数を完全な明るさレベルに向かって次第に増加させる以外は、フェード・トゥ・ブラックと同様である。
【００９６】
３．ブラーアウト
一実施例において、同一のウェーブレット変換データ係数から出発して、各々の逐次時間ステップにて、次の係数を高解像度空間から低解像度空間（ｆｉｎｅ−ｔｏ−ｃｏａｒｓｅ ｓｐａｃｅ）となる詳細の順に置き換える。この順序は、ＪＰＥＧ及びＭＰＥＧ符号化における係数の「逆ジグザグスキャン」順に対応している。最後の時間ステップにて、ＤＣ係数を中間グレーを表す値に置き換える。ブロック変換の場合、この置換は画像の各ブロック内で行われる。このプロセスは、情報が無くなるまで画像をぼかす効果を有する。各時間ステップにて、データの約１／２５６がアクセス及び／又は変更されることに注意されたい。
【００９７】
４．チェシャーフェード（詳細な細部へのフェード）
一実施例において、同一のウェーブレット変換データ係数から出発して、第１のステップにて、ＤＣ係数を中間グレーを表す値に置き換える。各逐次時間ステップにて、次の係数を高解像度空間から低解像度空間（ｆｉｎｅ−ｔｏ−ｃｏａｒｓｅ ｓｐａｃｅ）となる詳細の順に置き換える。この順序は、ＪＰＥＧ及びＭＰＥＧ符号化における係数の「逆ジグザグスキャン」順に対応している。この置換は、ブロック変換の場合、画像の各ブロック内で行われる。各時間ステップにて、データの約１／２５６がアクセス及び／又は変更されることに注意されたい。
【００９８】
５．カラー補正
同一のウェーブレット変換データ係数から出発して、色差ＤＣ係数のみを変更する。これは画像全体に亘ってカラーバランスを改良する効果を有し、データ要素の約１／２５６以下にアクセス及び変更する必要があるだけである。
【００９９】
[改良されたモバイル画像携帯電話アーキテクチャ]
本発明の一実施例によれば、図１０は、本発明の態様によって可能になるモバイル画像携帯電話アーキテクチャを示している。
【０１００】
［改良されたビデオ処理及びアプリケーションサーバアーキテクチャ］
本発明の一実施例によれば、図１１は、ビデオ処理及びアプリケーションサーバアーキテクチャを示しており、特有のデータ処理素子を含む別々のラインカードは、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディアプロセッサ、及び再構成可能処理デバイス（ＲＰＤ）を含むがそれらに限定されず、汎用のパーソナルコンピュータ（ＰＣ）中央演算処理装置（ＣＰＵ）によって置き換えられる。
【０１０１】
本開示の一実施例によれば、図１２はビデオ処理及びアプリケーションサーバアーキテクチャを示しており、本発明によるウェーブレットベースのＳＷビデオトランスコーダ及び編集、保存、検索、読み出しアプリケーションが、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディアプロセッサ、及び再構成可能処理デバイス（ＲＰＤ）上で動作しているＤＣＴベースのビデオ処理に置き換わる。
【０１０２】
本発明の様々な実施例は、ＭＭＳアプリケーションサーバアーキテクチャを向上させる。例えば、改良されたビデオ処理及びアプリケーションサーバにおいて（図１３を参照）、ＳＷウェーブレットベースのビデオ処理及びアプリケーションに対して幾つかのオプションの実装を考慮できる。ＯＴＮダウンロードによって、サーバのマルチメディア処理セクションに撮像アプリケーションをインストールできる。この撮像アプリケーションは、サーバのマルチメディア処理セクションに、製造中、販売店にて、又は設置時にインストールすることもできる。追加のオプションも実装可能である。
【０１０３】
本開示の態様によれば、モバイルデバイス計算ＨＷ（ＡＳＩＣ，ＤＳＰ，ＲＰＤ）及び集積技術（ＳｏＣ，ＳＩＰ）における継続する進歩を利用するために、ＨＷベースの処理リソースによって幾つかの計算素子を加速させることによって、ビデオ処理及びアプリケーションサーバの性能を改善でき、コスト及び消費電力を低減できる。サーバにこれらのハードウェアベースの処理リソースを統合するために、幾つかの全てがハードウェアによるオプションを実装できる（図１４を参照）。
【０１０４】
一実施例によれば、図１５に示すように、本開示の態様によって提供されるビデオ処理アプリケーションのためのハイブリッドアーキテクチャは、幾つかの生産集約型で反復的な固定機能をＨＷに実装し、製造後及びインストール後に変更することが好ましい又は必要な機能をＳＷに実装することによって強化できる。
【０１０５】
［改良されたビデオ編集、アーカイビング、及びシステムの読み出し］
本発明の一実施例によれば、図１６は、ビデオアーカイブ及び読み出し機能をサポートする素子を含む、放送アプリケーションのための分散ビデオ編集システムの機能及び素子を示している。本開示の態様は、単なる商用放送サービスと言うよりは、むしろモバイルパーソナル「メディアプロデューサ」サービスをサポート可能な、このような仮想分散スタジオシステムのデザインを簡単化して開発を加速する。本発明の実施例は、以下の１つ以上を更に含む。
１．ビデオ符号化、復号化、及び編集に対する計算の複雑性の低減、
２．ウェーブレット変換領域におけるビデオ編集ステップ又は演算の実行、その結果、逆ウェーブレット変換及び順方向ウェーブレット変換の計算の双方を節約し、ピクセルデータ値に対する従来の演算よりもより少ないデータ項目にアクセスして変更することによって、計算の節約もできるようにする。
３．モバイルビデオアプリケーションが、特有の高価で電力を必要とするＤＳＰ又はＡＳＩＣ以外の低コスト、低消費電力のＰＣのＣＰＵで動作することを可能にすること、
４．より少なく、安価なＰＣベースサーバは、多くの特有ビデオアプリケーションサーバに置き換わることができるようにして、その結果、ユーザ当たりの展開及び動作コストを低減する。
５．オンライン編集システムの全ての同時機能の実行に必要な計算能力を低減し、これらの同時編集機能のソフトウェア実装を可能にする。
６．モバイル携帯電話、パーソナルメディアプレーヤ、ノート型コンピュータ、及びパーソナルコンピュータ上で、ＳＷクライアントによって自動ビデオ編集及び他の処理に対するエンドユーザサポートを可能にする。
７．モバイルデバイス中の撮像モジュールにおいてキャプチャできる手ぶれカメラ動き補償情報などの情報を、携帯電話デバイスの続くビデオコーデック、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は検索ビデオ再生装置の１つ以上に送信することによって可能になる、モバイルビデオサービスの端末相互間機能及び性能の更なる改良を可能にする。次に、このような情報は、例えば入力ビデオデータからビデオコーデックによって別の方法で抽出できる追加の動き補償情報を提供することによって、ビデオコーデックの計算要件を更に低減するように使用することもできる。
【０１０６】
このような情報は、モバイルデバイスにおけるビデオキャプチャ中、及びモバイルネットワークにおけるビデオ処理アプリケーションサーバ中で次に実行される編集及び更なるビデオ処理中に発生するカメラの動きを更に補償するように使用することもできる。一実施例において、このような情報は、モバイルネットワークにおけるビデオ処理アプリケーションサーバ中、及び／又は検索ビデオ再生装置中で次に実行される編集及び更なるビデオ処理中に、モバイルデバイス中のカメラモジュールにおいてビデオ前処理によって以前に除去していた可能性のあるカメラ動きの効果を再形成するように使用することもできる。
【０１０７】
本開示の実施例による、改良されたモバイル撮像サービスプラットフォームアーキテクチャは、
・モバイル携帯電話
・モバイルベースステーション（ＢＴＳ）
・ベースステーションコントローラ又はラジオネットワークコントローラ（ＢＳＣ／ＲＮＣ）
・モバイルスイッチングセンタ（ＭＳＣ）
・ゲートウェイサービスノード（ＧＳＮ）
・モバイルマルチメディアサービスコントローラ（ＭＭＳＣ）
・画像サービスダウンロードサーバ
の１つ以上を具える。
【０１０８】
ＭＭＳＣに含まれる機能（図１７を参照）は、
・ビデオゲートウェイ
・電気通信サーバ
・ＭＭＳアプリケーションサーバ
・保存サーバ
の１つ以上を具える。
【０１０９】
改良した画像サービスプラットフォームを展開するためのプロセスを含む本開示の実施例は、
プロセス１．
ビデオ編集／処理アプリケーションが展開されたＭＭＳＣを更新するのに利用可能な信号ネットワーク。更新は、自動ＯＴＮ展開又は手動手続きによってインストールできる。
プロセス２．
自動ＯＴＮ展開又は手動手続きによるビデオ編集／処理ＳＷアプリケーションのインストール及び設定（図１７を参照）。
プロセス３．
モバイルビデオ画像アプリケーションがダウンロード及びインストールに利用可能な信号ユーザ携帯電話。
プロセス４．
ユーザに承認されて取引の合意が成功裏に完了した場合に、モバイルビデオ画像アプリケーションをダウンロードし、インストールする。
プロセス５．
携帯電話アップグレードが完了した信号ネットワーク。サービス及び関連アプリケーションの起動。モバイルビデオ画像アプリケーションに対する新たな課金を反映するようにユーザの月極課金記録を更新。
【０１１０】
本開示の一実施例によれば、図１８はＳＷ復号器を送信ビデオストリームに組み込むことによって達成される「自己復号」ビデオＭＭＳ機能を示しており、トランスコーディングの必要性を除去し、既存のビデオ処理／アプリケーションサーバが本開示によって提供されるビデオフォーマットの処理を可能にする。
【０１１１】
本開示の態様によれば、図１９はビデオ処理及びアプリケーションサーバのＯＴＮアップグレードを示している。
【０１１２】
本開示の一実施例によれば、図２０はユーザ作成ビデオのデータベースの保存、検索及び読み出しのみならず、ユーザ作成ビデオの自動又は手動の編集のような、メディアプロデューササービスの展開に必要なビデオアプリケーションサーバの複雑性、コスト及び数の低減を示している。
【０１１３】
本開示の一実施例によれば、図２１は改良されたウェーブレットベースのコーデック／テレビ電話アプリケーション、及び改良されたビデオ編集／処理、及びデータベースの保存、検索及び読み出しビデオメッセージング／共有／通話プラットフォームの機能プロセスを示している。
【０１１４】
本開示の一実施例によれば、図２２は、ユーザ作成オーディオ／ビデオコンテンツの「ソフト」コピー（ダウンロード）又は「ハード」コピー（ＤＶＤ）をユーザがプレビュー、共有、購入及び販売できる革新的なパーソナルマルチメディア市場プラットフォームを展開する能力を含む、より高品質のマルチメディア携帯電話及びサービスのより早い低コストの開発及び展開に関する利点を示している。本開示により、データベース索引付加及びネットワーク（ＲＳＳ）フィードのためのより効率的なビデオ「タグ化」も可能になり、イーベイ、グーグル、ヤフー、マイクロソフト、及び他のポータルのような、既存のウェブベース市場に対するインターフェースをサポートする。
【０１１５】
本開示の一実施例によれば、図２３は、固定無線、モバイル無線、及び有線アーキテクチャを組み合わせる「集中型の」ネットワーク固定無線、モバイル無線、及び有線ネットワーク上における新たなビデオサービスを展開するための、改良されたウェーブレットベースのコーデック／テレビ電話アプリケーション、及び改良されたビデオ編集／処理、及びデータベースの保存、検索及び読み出しビデオメッセージング／共有／通話プラットフォームのアプリケーションを示している。
【０１１６】
一実施例において、本開示は、そのウェーブレットベースのモバイルビデオ画像アプリケーション、携帯電話アーキテクチャ及びサービスプラットフォームアーキテクチャを有し、より高いモバイルビデオ画像の高品質化、携帯電話のコスト及び複雑性の低減、及びサービス展開コストの低減目的を達成している。
【０１１７】
本発明の撮像についての解決策は、ビデオ編集サーバにおけるプロセッサコスト及び要件を著しく低減させる。ＯＴＮダウンロードによってビデオ編集アプリケーション作成後のインストール及びアップグレードできることと組み合わせて、このＳＷによる解決策はビデオメッセージング及び共有サービス展開の複雑性、危険性及びコストを著しく低減できる。
【０１１８】
本開示は、モバイル通信運営者に対して消費者及び企業による巨大市場の採用に必要なビデオ品質及びサービス展開コストを供給する、最初のモバイルビデオメッセージング及び共有プラットフォームを提供する。本開示は、大多数のマルチメディア携帯電話に既に組み込まれているＲＩＳＣプロセッサのみを使用して、３０フレーム／秒（ｆｐｓ）にてフル（ＶＧＡ）サイズ画像のリアルタイムキャプチャが可能なＳＷテレビ電話アプリケーションを提供する。携帯電話会社に対しては、本開示の複雑性の低いビデオ処理及び分配技術が、既存のモバイル携帯電話及びモバイルマルチメディアメッセージングサービス（ＭＭＳ）インフラを使用して面倒な初期設定なし展開可能な、強力なソフトウェアプラットフォームに組み込まれている。
【０１１９】
一実施例によれば、本開示のコンテンツ管理プラットフォームは、上記のＳＷモバイルテレビ電話アプリケーションを補完するために、本技術に従ってオンザフライ編集、サムネールプレビュー、マルチメディアメールボックス、オンラインレポジトリ、共有、及びマーケティングサービス、及び申し込み管理とともに、圧縮画像及びビデオを完全なモバイルマルチメディアメッセージ及び「着信音」に統合するためのモジュールを携帯電話会社に提供する。
【０１２０】
典型的なビデオデータセグメントは、典型的には他のタイプのデータも含んで又は組み込むことができる。このような他のデータは、ビデオとともにキャプチャされたオーディオデータを含むことができる。そのデータは、キャプチャ時刻、位置情報（ＧＰＳから得られる、携帯電話タワーの位置、カメラ画像データからの場面認識から、無線送信機（例えばＷＩＦＩ）番号など）ユーザの識別番号、モバイルデバイスの識別番号、ユーザの付加情報（サービスの問い合わせに対するユーザの応答を含み、ビデオサービスの問い合わせ、チルト、ネーミング、後に追加された注釈、オーディオデータを含む）メタデータを含む他のデータを含むこともできる。
【０１２１】
データは、ビデオキャプチャプロセスからキャプチャされた又は得られたビデオ及びオーディオデータから得られたメタデータを含むこともできる。そのデータは、追加のセンサーデバイスから得られるメタデータ、例えば、ジャイロスコープ又は角速度センサから得られるジッタデータも含むこともできる。この追加データをビデオ編集、保存、検索、読み出し、位置認識、広告の組み込み、カメラユーザへのビデオ供給、及び本出願において記載された他のサービスにおいて様々に使用できる。
【０１２２】
一実施例において、ビデオ配信はユーザの位置に基づいている。例えば、モバイルデバイス（例えば携帯電話、ブラックベリーなど）はＧＰＳ追跡機能を具えることができ、地理的に特有のビデオデータをユーザに配信するために、モバイルデバイスユーザの位置を特定できる。
【０１２３】
位置に基づくビデオは、ユーザの位置によって決定されるようなシーニックツアー（ｓｃｅｎｉｃ ｔｏｕｒ）とすることができる。例えば、ウィーンに馴染みのないイタリアにいる旅行者が、モバイルデバイスからウィーンに特定した情報を要求できる。例えば要求に応じて、及び／又はユーザの設定に基づいて、ライブツアーのストリーミングビデオを自動的にユーザに配信することができる。同様に、特定されたユーザの地理情報に基づいて、ユーザに地理的に特有のビデオテンプレートを提案及び／又は提供できる。
【０１２４】
このような動的なテンプレートの提案は、ユーザの設定に基づいて、自動的に提供、又は要求に応じて提供できる。例えば、ユーザがニューヨーク市でビデオを撮影している場合、例えば、エンパイアステートビル、自由の女神などのテンプレートをユーザに提供できる。
【０１２５】
更に、ユーザの地理的な位置に基づいて、ビデオを一層良くできる。例えば、ユーザによって撮影されたビデオを一層良くするために、ユーザの現在の位置の前もって記録されたビデオを、要求に基づいて又は自動的に提供できる。一実施例において、対象の広告、例えば、ユーザデータなどを提供できる。
【０１２６】
そのユーザデータは、地理的なデータ、年齢データ、申し込みデータとすることができる。ユーザデータは、ユーザから提供される情報、課金情報、申し込み情報、リアルタイムに収集される情報（例えば、通話記録、ユーザの地理的な位置など）などの様々なソースから収集することができる。
【０１２７】
このようなユーザデータは、対象広告を配信するために、例えばユーザの好み及び趣味などを特定するために利用できる。幾つかの実施例において、視聴した広告に対して、サービス料金割引を提供できる。
【０１２８】
本開示の１つ以上の実施例を、例えば、代表的な実施例において、以下に説明するビデオ編集サービスシステムなどのシステムにおいて実施できる。
【０１２９】
［自動化されたビデオ編集サービス（ＡＶＥＳ）システム］
本開示の好適な実施例の一例は、自動ビデオ編集サービス（ＡＶＥＳ）を含むことができる。図２４ａは、本開示に従ってＡＶＥＳの構成を具えることができる要素の可能な概略図を示している。
【０１３０】
一実施例において、ビデオ編集サービスは、ユーザの要求に応じて、例えばビデオキャプチャ機能を有する携帯デバイスによって生成されたビデオ編集サービスを提供する。そのビデオ編集サービスは、複数のビデオプロセッサへのルーティングシステムによって、複数のユーザに同時に提供できる。
【０１３１】
一実施例において、新たな処理タスクが動作していないビデオプロセッサにルーティングされるように、又はより少ないタスクキューを有するプロセッサにルーティングされるように、ルータは１つ以上のビデオプロセッサの動作状況を追跡する。このように複数のビデオ処理タスクを同時に行うことができる。
【０１３２】
一実施例において、ビデオ編集サービスは、モバイルデバイスによって、ユーザに１つ以上のテンプレートを提供する。この１つ以上のテンプレートは、モバイルデバイス上に予め保存できる。幾つかの実施例において、例えばユーザの要求に基づいて、又はユーザの設定に基づいて自動的になど、このテンプレートをモバイルデバイスによってダウンロードできる。幾つかの実施例において、このテンプレートをユーザ特定データに基づいて提供でき、このデータは、例えばＧＰＳ機能、携帯電話タワーによって得られる三角測量データ、ユーザ申し込みデータなどの多くのプロセスの１つによって収集できる。一実施例において、このテンプレートをユーザに有料で提供する。
【０１３３】
ビデオ編集に対する要求は、ユーザによって選択される、ビデオクリップ及びテンプレートを含むことができる。要求を送信する前に、ビデオはユーザが切り取ることができる。ビデオ編集要件を受信したときに、ビデオサーバはその要求を処理し、ユーザによって指定された編集を実行する。この編集は、ユーザによって選択されたテンプレートに関係したビデオ編集を使用することを含むことができる。
【０１３４】
編集されたビデオの少なくとも一部は、編集の同時検査が可能なように、ユーザに送り返すことができる。ユーザが編集の承認を示したときに、編集されたビデオの完全な長さのバージョンをモバイルデバイスに送り返すことができる。一実施例において、ユーザの要求にて、編集されたビデオをモバイルデバイスによって受信される複数の受信者に送信することができる。幾つかの実施例において、ユーザの設定、例えば特定のテーマに関するビデオを受信するような設定に基づいて、編集したビデオを複数のユーザに提供できる。
【０１３５】
図２４ａを参照して、ＡＶＥＳは、ビデオ編集サービスクライアント（ＶＥＳクライアント）２４１０を具えることができる。ＶＥＳクライアントは、設計された如何なるモバイル基本ソフト上でも動作可能なモバイルアプリケーションを含むことができる。ＶＥＳクライアントは、符号化されるビデオを送信して編集するように、ＡＶＥＳと相互作用するアプリケーションを含むことが好ましい。本発明の一実施例に従って、ＶＥＳクライアントはＷｉＦｉを介してＡＶＥＳと接続できる。ＶＥＳクライアントとＡＶＥＳとを接続するように、既知の方法、又は将来開発される他の方法を使用することができる。
【０１３６】
ＶＥＳクライアントは多くの機能を具えることができる。この機能は、タイトルスクリーン（例えば、ビデオを送信する／編集する、マイフレンド、マイスタジオ、マイビデオなどのオプションを含むことができる）、１つ以上のビデオを選択する能力、ＭＰ３またはＷＭＡオーディオトラックを有するＡＶＩコンテナのサポート、トリミング能力（つまり、ビデオをある長さに切り取る）、トリミングされた（つまり切り取られた）ビデオのプレビュー能力、トリミングをやり直す能力、ビデオにタイトルを付ける能力、起動されたテンプレートを示す、複数のビデオをつなぎ合わせる、ビデオ及び／又はオーディオシーケンスをＡＶＥＳに送信する、編集して得られたファイルをプレビューする（幾つかの実施例において、このプレビューはビデオアップロード開始から１０秒以内に開始できる）、ユーザの関係に従って受信者リストを表示する（ウェブサイトを通して管理できる）、所望の受信者の電話番号及び／又は電子メールアドレスの入力を直接受信する機能、及びＶＥＳクライアントからＡＶＥＳに送信された最近のＮ個のビデオの要約を示す（ここでＮはどの整数であってもよい）、の１つ以上を含むがこれらに限定されない。一実施例において、ビデオ圧縮にウェーブレットコーデック（例えば３−Ｄウェーブレットコーデック）を使用できる。
【０１３７】
一実施例において、ＡＶＥＳは１つ以上のサービススイッチポイント（ＳＳＰ）２４２０を具える。図２４ｂはＮ個のＶＥＳクライアント及びＸ個のＴＰ（ここでＮ及びＸは互いに一致してもしなくてもよい整数である）に接続されたＳＳＰの代表的な実施例を示している。ＳＳＰは着信してくるクライアント接続を扱い、それらをビデオ編集に利用可能なテンプレートプロセッサに割り当てるスイッチを具えることができる。ＳＳＰは負荷分散を行うことができ、接続できる同時ＶＥＳクライアントの数を常に見積もるために、例えば、テンプレートプロセッサ又はテンプレートプロセッサのアレイに分散ネットワークを形成できる。
【０１３８】
ＳＳＰは多くの機能を含むことができる。この機能は、１つ以上のＶＥＳクライアント及び１つ以上のＳＳＰに接続する１つ以上のテンプレートプロセッサ接続を処理することの１つ以上を具えるがそれらに限定されない。ＳＳＰは、設定ファイルにおけるパラメータ値を指定することによって設定できる。
【０１３９】
一実施例において、システムはユーザログインを承認し、ＡＶＥＳデータベースにおいてログインが正当どうかを判断できる。一実施例において、システムはＶＥＳクライアント編集要求を処理するための利用可能なテンプレートプロセッサが存在するかどうかを判断できる。一実施例において、決定されたテンプレートプロセッサステータスに基づいて、ビジーステータスをＶＥＳクライアントに伝達できる。一実施例において、システムはＡＶＥＳデータベースから接続及び／又はテンプレート情報を得て、この情報をＶＥＳクライアントに送信できる。一実施例において、システムはＶＥＳクライアントから編集要求を受信し、この情報をデータベースに保存する。一実施例において、システムはテンプレート及び編集情報を１つにまとめて、ＶＥＳクライアントからデータチャンクを受信し、そのデータチャンクをテンプレートプロセッサに転送できる。
【０１４０】
一実施例において、システムはこのユーザによってアップロードされた既定の数のビデオ（例えば最近の１０個のビデオ）の要約をＡＶＥＳデータベースから得て、この情報をＶＥＳクライアントに送信することができ、システムは更にＶＥＳクライアントからプレビュー要求を受信し、その要求をテンプレートプロセッサに転送し、テンプレートプロセッサからプレビューのためのデータストリーム（例えばＡＶＩデータストリーム）を受信してＶＥＳクライアントに転送し、システムは更に、ＶＥＳクライアントから「プレビュースキップ」を受信してテンプレートプロセッサに通知することができる。
【０１４１】
一実施例において、システムは新たに予定されたジョブを特定するため、例えば、テンプレートプロセッサのプロセスを管理するために（例えば開始又は破棄する）、ＡＶＥＳデータベースをスキャンできる。一実施例において、システムは、ビデオが編集された後に、新たなビデオ通知を受信者に送信することができる。
【０１４２】
ＡＶＥＳは、１つ以上のテンプレートプロセッサ（ＴＰ）２４３０を具えることもできる。このＴＰはＳＳＰから編集要求を受信できる。例えば、処理のために編集要求をＴＰに送信でき、ＴＰは、編集されるビデオが構成されているのと同時にＶＥＳクライアントにストリームバックするために、ビデオの縮小されたプレビュー版を提供することもできる。一実施例において、ＴＰは更に、ユーザが非常に多くの記憶領域を消費するのを防止するために、各ユーザのディスク使用量を表示できる。
【０１４３】
ＴＰはＡＶＥＳのビデオ編集プロセス、又はその一部を遂行するように特に設定されているソフトウェアシステムを具えることができる。複数の別々のＴＰは、同一のハードウェアプラットフォーム上で同時に動作し、同一のプロセッサ、又はプロセッサのセットを共有できる。ＳＳＰがＶＥＳクライアントの要求を利用可能な１つのＴＰに誘導するように、ＴＰをアレイ中に構成できる。こうしてこのアーキテクチャは高度な拡張性を有し、各プラットフォームで利用可能な複数のソフトウェアＴＰエンジンを有する比較的低コストの一般的なプラットフォーム（つまりオーダーメイドのビデオ編集ハードウェアプラットフォームではない）を使用して構成できる。各ハードウェアプラットフォームは自身のＳＳＰを有することができ、又は幾つかの実施例においては、１つのハードウェアプラットフォーム上の１つのＳＳＰが、異なるハードウェアプラットフォーム上でＴＰと機能的に動作できる。
【０１４４】
ＴＰは多くの機能を具えることができる。この機能は、ＳＳＰから編集情報を受信すること（例えば、編集されたビデオを生成するように使用される他のメタデータに加えて、編集情報はビデオ編集テンプレートのＸＭＬ記述を含むことができる）、得られたビデオをどのように構成するかを決定するために編集情報を分析すること、の１つ以上を具えることができるが、これらに限定されない。
【０１４５】
本開示の一実施例において、ＳＳＰからアップロードされた（ＡＶＩであってよい）データストリームを受信できる。一実施例において、元の生データファイルをアップロードされるビデオのために保存できる。更に、ＡＶＩファイルからのビデオ及び音声を分配できる。更なる実施例は、編集されたビデオ及び音声を受信するステップと（ＴＰは関係するテンプレートに含まれる情報によって指示できる）、再多重化するステップと、及び／又は編集されたデータをＡＶＩファイルとして保存するステップとを含むことができる。
【０１４６】
一実施例は更に、ビデオをアップロードされたフィードの開始又は最後部分につなぎ合わせる、複数のビデオをつなぎ合わせる、ターゲットの編集したビデオとは異なる解像度を有する静止画を中心に合わせる又は合うように伸縮する、オーディオトラックを混合する、選択したテンプレートに従って、又は場面の遷移を分析することによって、ビデオセグメント間のある遷移効果を生成する（遷移効果は、幾つかある可能性の中から、ワイプ、クロスフェード、分解、フライ、誇張、ブラインド、チェッカー、及び出現、を具えることができる）、ビデオセグメントをブラックアンドホワイト、又はセピアに変換、ビデオにタイムスタンプ、日付スタンプ、及び／又は位置スタンプを追加する、編集したビデオからスライドショーを形成する、プレビューのＡＶＩストリームを生成する（ビデオは低減したフレームサイズ及びフレームレートを含むことができる）能力の１つ以上を具えることができる。
【０１４７】
本発明の実施例は更に、以下の能力の１つ以上を具える。即ち、ＳＳＰから「プレビュー」要求を受信し、次にプレビュービデオデータストリームを送り返す、ＳＳＰから「プレビュースキップ」を受信して次にプレビューストリームの生成を停止する、ユーザがどのテンプレートを選択したかに従って幾つかのメディアオブジェクトをＡＶＩファイルにまとめる、ビデオ及び音声効果を適用する（これはユーザが選択したテンプレートに基づくができる）、ビデオセグメントに対してカラーモーフィングする、ビデオセグメントに対してブラックアンドホワイト変換を適用する、ビデオセグメントに対してアニメーション及び背景のオーバーレイをサポートする、及び／又はビデオセグメントに対してテキストキャプションを挿入する能力である。
【０１４８】
ＡＶＥＳはウェブサイト２４４０を具えることもできる。ウェブサイトは、自身のビデオのリストを見るためにユーザが使用できる。例えば、ビデオはユーザが作成するか、別のユーザがそのユーザに送信できる。ウェブサイトは、アクセス情報を編集し、テンプレートを起動し、そしてメディアを起動するためにユーザが使用することもできる。一実施例によれば、ウェブサイトはユーザに、友人にビデオを見るように誘う、テンプレートエディタを起動する、オーディオトラックを起動する、位置によってビデオを表示する、アップロード又はユーザに送信されたビデオのリストを表示する、新たなテンプレートを購入する、及びユーザにアクセスリストの維持を可能にする能力の１つ以上を提供することもできる。
【０１４９】
ＡＶＥＳはテンプレートエディタ（ＴＥ）２４５０を更に具えることもできる。一実施例において、ＴＥはカスタムテンプレートを作成するために使用されるツールである。テンプレートエディタはフラッシュベースとすることができ、ユーザのブラウザにおいて動作できる。一実施例において、ＴＥはインターネット、又はＬＡＮ、ＷＡＮなどの他のタイプのネットワークを越えてＡＶＥＳとやりとりすることができる。
【０１５０】
幾つかの実施例において、ＴＥは、遷移効果コンポーネント、背景音楽、及び／又は静止画を含むビデオセグメントを構成できるテンプレートを作成する、メディアをテンプレートに加える、オーディオトラックを混合する、画像、オーディオトラック、及び／又はビデオ素材を混合する、２つのビデオセグメント間に遷移効果を挿入する、特性を画像にセットする（例えば画像が中心に位置させる又は合わせるために伸縮させる必要が有る場合のような）、静止画を表示して遷移するための持続時間、ビデオ枠をテンプレートに挿入する、生成したテンプレートをＡＶＥＳにアップロードする、テンプレートがどのように機能するかプレビューする、例えば、カラーモーフィング、アニメーション、背景オーバーレイ、及び／又はテキストの見出しなどの各ビデオ及び音声に対する特性をセットする、オーディオトラックが他のトラックにオーバーレイするウェイトをセットする、そしてユーザが起動したテンプレートを表示する、の１つ以上のサービスを更に提供する。
【０１５１】
ＡＶＥＳは、ＡＶＥＳデータベースにアクセスできるように、ウェブサイト及びＴＥによって使用されるＰＨＰファイルのセットからなるＰＨＰサービス２４６０を具えることもできる。これらのＰＨＰファイルは、受信ＰＣアプリケーションに対して、いつ新しいビデオが利用可能になったかについての通知を得るためのサポートを提供することもできる。
【０１５２】
ＡＶＥＳは、受信ＰＣアプリケーション（受信アプリ）を具えることもできる。受信アプリは、ユーザがサーバに新しいビデオを送信したかどうかを定期的に調査するアプリケーションである。ログインするためにユーザｉｄ及びパスワードを要求するようにセットアップできる。新しいビデオが到着したときにウェブサイトを起動するように使用して、ウェーブレットコーデック（例えば３Ｄウェーブレットコーデック）がインストールされたかどうか検出することもできる。更に、コーデックが存在しない場合には、受信ＰＣがコーデックをインストールできる。コーデックはサーバから得られる。
【０１５３】
ＡＢＥＳはデータベース２４７０を具えることもできる。ＡＶＥＳデータベースは、アイテムの中でも、ユーザアカウント、アップロードされたビデオ、編集されたビデオ、メディア、テンプレート、及びＴＥからのスケジュールされたジョブに関する情報を保持するように構成できる。このデータベースは、所望の如何なる情報をも保存するように構成できることに注意されたい。
【０１５４】
［ＡＶＥＳのセットアップ例］
この例は、本発明の代表的な実施例のアーキテクチャのセットアップ及び利用パターンの例を示している。
【０１５５】
（ＶＥＳクライアント）
１．ＶＥＳクライアントは、ローカルの設定ファイルからサーバ情報を得て、ＡＶＥＳに接続するためにこの情報を使用する。これは自動的に処理できるので、ユーザはサーバのＩＰアドレス情報を構成する必要はない。
２．ユーザが初めてＡＶＥＳにログインする場合、彼／彼女は彼／彼女の電話番号を入力しなければならない。以降、ＶＥＳクライアントは、この保存された番号を自動的にログインするために使用できる。
３．携帯電話番号がＡＶＥＳに既知の場合には、ログインは成功する。
４．ＡＶＥＳにログイン後、ＡＶＥＳはテンプレートリスト及び受信者リストをＶＥＳクライアントに返送する。
５．ユーザは、テンプレートリストから起動したテンプレートを選択して、ローカルシステム中の幾つかのビデオを選択して、更に要すればそれらの幾つかをトリミングできる。（トリミング作業は他のサブウィンドウ中に実装でき、ユーザは選択したビデオの開始点及び終了点をセットでき、選択した２つの点を使用してビデオをトリミングできる。）ユーザは、選択したビデオを満足するまで繰り返しトリミングできる。
６．既定のテンプレートに対して、ユーザはテンプレート中のスロット数と同数のビデオを選択できる。スロットが幾つのクリップを含んでいるかを示すインジケータがブラケット中に存在できる。
７．ユーザは、アップロードする前にビデオのタイトルを提供することもできる。
８．ＶＥＳクライアントは、選択したトリミングされたビデオをＡＶＥＳにアップロードできる。
９．ユーザは、アップロードしている間に、編集したビデオをプレビューできる。ユーザはプレビューを直接キャンセル又はスキップすることもできる。
１０．アップロードの完了後に、又はユーザがプレビューをスキップする場合に、ユーザは自らの連絡先リストから関係者（ｃｏｎｔａｃｔ)を選択することによって、誰が編集したビデオを受信するか決定できる。ユーザは、電話から自らの関係者を管理できる。
１１．編集したビデオを受信者に送信したあと、ＶＥＳクライアントは、このユーザによってアップロードされた最近の１０個のビデオを公開することができる。
１２．ユーザはＶＥＳクライアント内のホームスクリーンに戻ることができる。
【０１５６】
［ＳＳＰ（サービススイッチポイント）］
ＶＥＳクライアントに対して
１．ＶＥＳクライアントは、ＳＳＰに接続してその携帯電話番号を送信する。ＳＳＰはその携帯電話番号がデータベースに存在するかどうかを確認できる。
２．番号が存在しない場合、アカウントのためにサインアップする必要があることがユーザに通知される。
３．ログイン後、ＳＳＰはテンプレートのユーザリストを読み出し、ＡＶＥＳデータベースから情報に接触し、それらをＶＥＳクライアントに送信することができる。
４．次にＳＳＰはＶＥＳクライアントから編集情報を読み出すことができる。
５．ＳＳＰはＡＶＥＳデータベースから選択したテンプレートの詳細を読み出すことができる。次にＳＳＰはテンプレート及び編集情報を１つにまとめ、この編集情報をＡＶＥＳデータベースに保存できる。
６．次にＳＳＰは、１つにまとめられた情報を対応するＴＰに送信する。
７．次にＳＳＰは、ＶＥＳクライアントから到着するデータストリームを受信して、そのデータを直接ＴＰに転送できる。
８．ＳＳＰはＶＥＳクライアントからプレビュー要求を受信できる。次にＳＳＰは対応するＴＰにビデオデータストリームを送り返すように命令する。
９．次にＳＳＰはＴＰからビデオデータストリームを受信して、それをＶＥＳクライアントに転送できる。
１０．ＴＰは、編集処理が終了したときにＳＳＰに通知できる。ＳＳＰはＶＥＳクライアントに編集処理が終了し、データベースに注記することを通知できる。
１１．ＳＳＰは、ＶＥＳクライアントからタイトル及び受信者情報を受信して、この情報をデータベースに保存することができる。
１２．ＳＳＰはＶＥＳクライアントからヒストリ要求を受信して、次に対応するユーザによって作成された最近の１０個のビデオを返送することができる。
１３．処理全体が完了したあと、ＳＳＰはＡＶＥＳ中の読み出した全てのデータを削除できる（編集処理の間に使用された一時的ビデオファイルやデータベースの記録事項）
【０１５７】
［ＴＥに対して］
１．ＳＳＰは、スケジュールされた「トライ・イット・ナウ」ジョブテーブルを定期的にチェックする。
２．待ち状態のジョブが存在する場合、ＳＳＰはそのジョブに対してＴＰが利用可能かどうかチェックできる。利用可能なＴＰが存在しない場合、ジョブは利用可能なＴＰが出現するまで保留される。
３．ＳＳＰはジョブに関する情報を読み、新たに作成されたテンプレートをデータベースから読み出すことができる。次にＳＳＰはテンプレート及びジョブのメタデータを１つにまとめることができる。
４．ＳＳＰは１つにまとめられたジョブ情報をＴＰに送信できる。
５．ＴＰが処理を完了したあと、ＴＰはＳＳＰに通知できる。次にＳＳＰは、データベースを更新することによって、ウェブサイトに処理が完了したことを通知できる。
６．処理全体が完了したあと、ＳＳＰはＡＶＥＳ中の読み出した全ての情報を削除できる。
【０１５８】
［ＴＰ（テンプレートプロセッサ）］
１．ＴＰは、１つにまとめられたテンプレートを読み出し、分析することができる。
２．ＴＰは、アップロードされたビデオデータストリームを読み出し、それを元ファイルとして保存できる。
３．ＴＰは、そのデータストリームを分析されたテンプレートに従って編集できる。
４．ＴＰは、結果を編集したファイルとして保存できる。
５．ＴＰは、プレビューのためのビデオを作成できる（プレビューはメモリ中に保存される）。
６．ＴＰは、プレビュー要求を受信し、次にプレビューストリームをＳＳＰに返送できる。
７．ＴＰがプレビューをスキップする要求を受信した場合には、次にＴＰはプレビューデータストリームの作成を停止して、メモリ中の全てのプレビューのデータチャンクを削除することができる。
８．ＴＰの処理が完了したあと、ＴＰはＳＳＰに通知できる。
【０１５９】
［ウェブサイト］
ウェブサイトは、そのサイトにアクセスするのがユーザか又は管理者かによって異なるオプションを有することができる。ウェブサイトはユーザ及び管理者の双方をログイン及びログアウトさせる能力を有することができる。
【０１６０】
ユーザに対しては、ウェブサイトは、登録、関係者の管理、ビデオ管理（例えば送信されたビデオ、受信したビデオ、アップロードしたビデオを見るなど）、メディア管理（例えば、音楽を見る、音楽を購入する、背景画像を見る、背景画像を購入する、テンプレートを見る、テンプレートを購入するなど）、新しいテンプレートを作成する能力を提供できる。
【０１６１】
管理者に対しては、ウェブサイトはメディア管理（例えば、音楽を作成、音楽を削除、背景画像の作成、背景画像の削除など）、及びテンプレート管理（例えば、テンプレートの作成及び削除）の能力を提供できる。
【０１６２】
［ＴＥ（テンプレートエディタ）］
１．ユーザはウェブサイトからＴＥを起動できる。
２．ユーザは静止画、ビデオ、遷移効果などを時系列に追加できる。
３．ユーザは、背景音楽（及びその持続時間）を時系列にビデオスロットにセットできる。
４．テンプレートの編集が完了したあと、ユーザはそのテンプレートをＡＶＥＳにアップロードできる。
５．テンプレートをアップロードしたあと、ユーザは「トライ・イット・ナウ」をクリックすることによって効果をプレビューできる。
６．「トライ・イット・ナウ」は、テンプレートの開いたスロットの各々に対して、ユーザに既にＡＶＥＳにアップロードされたビデオを選択するように指示できる。
７．「トライ・イット・ナウ」ジョブが完了したとき、ユーザは最終結果をウェブサイトから見ることができる。
【０１６３】
［受信アプリ］
１．ウィンドウズ（登録商標）が起動したときに受信アプリを起動できる。
２．受信アプリが起動したときに、ログインのダイアログボックスがポップアップする（これは、ユーザログイン情報がキャッシュに格納されたあと、初回のみ発生する）。
３．ユーザは、ログインのための自身のドロップレットＩＤ及びパスワードを入力する。
４．次に受信アプリはウェブサイトに接続する。
５．受信アプリは、現在のユーザに対する編集されたビデオが存在するかどうかを定期的にチェックできる。
６．現在のユーザに対する編集されたビデオが存在する場合、受信アプリはバルーン通知をポップアップさせる。
７．ユーザがバルーンをクリックした場合、ウェブサイトが起動できる。
８．ウェブサイトを開くために、ユーザは、ウィンドウズ（登録商標）のステータスバーにおける受信アプリアイコンを右クリックできる。
【０１６４】
［接続］
分配システムとして、ＡＶＥＳ構成要素は、一方をＴＣＰに基づく方法、他方をＨＴＴＰに基づく方法の２つの方法によって接続できる。
【０１６５】
［ＶＥＳクライアント及びＳＳＰ］
ＶＥＳクライアント及びＳＳＰ間の接続は、ソケット及びＴＣＰベースとすることができる。どのＶＥＳクライアント及びＳＳＰ間にも２つの接続が存在しうる。一方は、命令のためのもので、プライベートバイナリプロトコルに基づいている。他方はデータストリームのプレビューのためのものである。
【０１６６】
［ＳＳＰ及びＴＰ］
ＳＳＰ及びＴＰ間の接続はソケット及びＴＣＰに基づくことができる。ＳＳＰ及びどの既定のＴＰ間にも２つの接続が存在する。一方は、ＳＳＰからＴＰへメッセージを送信するためのものである。他方はＴＰからＳＳＰへのプレビューデータストリームを受信するためのものである。これらのメッセージはプライベートバイナリプロトコルに基づくことができる。
【０１６７】
［ＴＥ及びＰＨＰサービス］
ＴＥ及びＰＨＰサービス間の接続はＨＴＴＰベースとすることができる。これらの接続はプライベートＨＴＴＰプロトコルの基づくことができる。
【０１６８】
受信アプリ及びＰＨＰサービス
受信アプリ及びＰＨＰサービス間の接続はＨＴＴＰベースとすることができる。これらの接続はプライベートＨＴＴＰプロトコルに基づくことができる。
【０１６９】
［ログイン及びアップロード処理］
図２５を参照するに、以下は、ＡＶＥＳのログイン及びアップロード処理に関係する本発明の代表的な実施例の動作フローの例である。
１．ＶＥＳクライアントは、ＳＳＰに携帯電話番号とともにログインメッセージを送信する。
２．ＳＳＰはデータベースを確認して携帯電話番号に一致する記録があるかどうかを見る。
３．ＳＳＰはＶＥＳクライアントが利用可能なＴＰが存在するかどうかを確認する。
４．携帯電話番号が一致して利用可能なＴＰが存在する場合、ログインが成功する。次にＳＳＰはＶＥＳクライアントは、データベースからテンプレート及び関係者情報を取得する。
５．ＳＳＰはテンプレート及び関係者情報をＶＥＳクライアントに返送する。
６．ユーザはテンプレート及びビデオを選択して、選択したビデオをトリミングできる。
７．ＶＥＳクライアントは編集情報をＳＳＰに送信する。
８．ＳＳＰは、要求のための対応するテンプレートの詳細をデータベースから取得して、そのテンプレートを編集情報とともに１つにまとめ、この編集情報をデータベースに保存する。
９．ＳＳＰは１つにまとめられたテンプレートをＴＰに送信する。
【０１７０】
［アップロード及びプレビュー］
図２５を参照するに、以下は、ＡＶＥＳのアップロード及びプレビュー処理に関係する、本発明の代表的な実施例の動作フローの例である。
１．ＳＳＰは受信ビデオのデータチャンクをＴＰに送信する。
２．ＴＰはこれらのデータチャンクを元ビデオファイルとして保存する。
３．ＴＰはこれらのチャンクを対応するテンプレートに従って編集する。
４．ＴＰは編集されたチャンクを編集されたビデオファイルとして保存する。
５．ＴＰはチャンクをプレビューのために生成する。
６．ユーザはいつプレビューが開始するか決定することができる。ＳＳＰはプレビュー要求をユーザから受信し、次にプレビューを開始するようにＴＰと通信する。
７．ＴＰはプレビューチャンクをＳＳＰに送信する。
８．ＳＳＰはプレビューチャンクをＶＥＳクライアントに送信する。
９．ＶＥＳクライアントは、これらのチャンクをビデオとしてウィンドウズメディアプレーヤ内に表示する。
１０．ユーザはプレビューをスキップ又はその終了を待つことができる。
１１．ユーザがプレビューをスキップする場合、ＳＳＰはＴＰにプレビューを停止させる。
１２．編集が完了したあと、ＴＰはＳＳＰに編集が完了したことを通知する。
１３．ＳＳＰは必要な情報をデータベースに保存し、データベースを整理する。
【０１７１】
［アップロード後］
図２７を参照すると、以下は、ＡＶＥＳのログイン及びアップロード後に発生する処理に関係する、本発明の代表的な実施例の動作フローの例である。
１．ユーザは編集したビデオを受信する受信者を選択できる。
２．ＶＥＳクライアントが、選択したタイトル及び受信者情報をＳＳＰに送信する。
３．ＳＳＰがこれらの受信者情報をデータベース中に保存する。
４．ＶＥＳクライアントがアップロードした最近の１０個のファイルのヒストリを要求する。
５．ＳＳＰがデータベースからヒストリを取得する。
６．ＳＳＰはヒストリをＶＥＳクライアントに返送する。
７．ＶＥＳクライアントがヒストリを表示する。
【０１７２】
［受信］
図２８を参照すると、以下は、ＡＶＥＳの受信処理に関係する、本発明の代表的な実施例の作業フローの例である。
１．受信アプリが起動したとき、ログインダイアログボックスがポップアップする。
２．ユーザがｉｄ及びパスワードを入力する。
３．受信アプリがＰＨＰページを問い合わせる。
４．ＰＨＰページはデータベースをチェックし、ユーザに送信されたビデオがあるかどうかを確認する。
５．ログインが成功した場合、ウェブサイトが起動する。
６．ユーザに送信された新たなビデオが存在する場合、インジケータがポップアップする。
７．ユーザはウェブサイトに行くためにインジケータを確認できる。
８．ウェブサイトにおいて、ユーザはビデオリスト又は利用可能なビデオの案内図を確認できる。
９．ウェブサイトに行くために、ユーザはデスクトップコンピュータ上のアプリケーションクリックすることもできる。
【０１７３】
［ログイン、編集及びテンプレートのアップロード］
図２９を参照するに、以下はＡＶＥＳのログイン、編集及びテンプレートのアップロードに関係する、本発明の代表的な実施例の動作フローの例である。
【０１７４】
［編集］
１．ユーザがテンプレートを作成したとき、メディア要素をテンプレートに挿入できる。これらの要素は、タイトル、静止画、ビデオ、音楽トラック、場面の遷移効果などを含むことができる。
２．ユーザが、要素に対するメディアのリソース（例えば画像ファイル）を指定したい場合、ＴＥはＰＨＰサービスに利用可能なリソースリストの要求を送信する。
３．ＰＨＰサービスはその要求を受信して、利用可能なリソースを見つけるためにデータメースに問い合わせる。次にＰＨＰサービスはこのリストをＴＥに返送する。
４．ユーザはこのリストからリソースを選択できる。
【０１７５】
［テンプレートのアップロード］
１．ユーザがテンプレートの作成を完了したあと、このテンプレートをアップロードするように「アップロード（Ｕｐｌｏａｄ）」ボタンをクリックできる。
２．アップロード要求がＰＨＰサービスに送信される。
３．ＰＨＰサービスはテンプレートスクリプトを受信してデータベース中に記録する。
【０１７６】
［トライ・イット・ナウ］
図３０を参照するに、以下は、ＡＶＥＳテンプレートに対するトライ・イット・ナウに関係する本発明の代表的な実施例の動作フローの例である。
１．ユーザは、「トライ・イット・ナウ（Ｔｒｙ Ｉｔ ＮＯＷ）」ボタンをクリックすることによって、新たに作成されたテンプレートを試すことができる。
２．サーバ上にある利用可能なビデオを問い合わせるために、要求がＰＨＰサービスに送信される。ＰＨＰサービスはＴＥにビデオ情報リストを返送する。
３．ポップアップウィンドウはこれらのビデオを一覧表にする。ユーザはテンプレート中のスロットに対して、リストから適切な数のビデオファイルを選択する。
４．ＴＥは編集要求をＰＨＰサービスに提示する。
５．ＰＨＰは、このジョブをデータベースに加えることによって、新しいジョブをスケジューリングする。
６．新たにスケジューリングされたジョブが存在するかどうかを確認するために、ＳＳＰは定期的にデータベースを調査する。新たにスケジューリングされたジョブを見つけた場合、それを実行するために利用可能なＴＰを探す。利用可能なＴＰが見つかった場合には、このＴＰはそのジョブを処理し、さもなければ、ＴＥはＴＰが利用可能になるまで待機しなければならない。ＴＰが処理し終えたあと、ＳＳＰはこの新しいジョブを削除し、新たなレコードを結果表に加える。
７．ユーザは、ウェブページ上のビデオリストを確認することによって、ビデオがいつ利用可能かどうかを決定できる。
８．編集プロセスが完了したあと、ユーザはビデオリストページにおいて、編集するビデオのための対応するリンクをクリックできる。これによりプレビューを起動する。
【０１７７】
［ユーザの使用例］
図３１〜５５を参照して、本発明の好適な実施例を使用して使用例を説明する。
【０１７８】
図３１は、本発明の一実施例によるユーザナビゲーションマップの例を示している。
【０１７９】
図３２は、ＶＥＳクライアントのタイトル画面及びホームページの例を示している。図３２に示された実施例において、ホーム画面は、ビデオ送信／編集、マイフレンド、マイスタジオ、及びマイビデオの４つのボタンを有している。
【０１８０】
ビデオ送信／編集ボタンを押すと、ユーザは「ビデオテンプレート選択」ページに案内され、その例が図３３ａ及び３３ｂに示されている。このページにより、ユーザはビデオ及びテンプレートを選択できる。図３３ａ及び３３ｂに図示された可能なボタンの説明は以下の通りである。即ち、
スクリプト（Ｓｃｒｉｐｔ）：使用するスクリプトを選択する。
ビデオリスト（Ｖｉｄｅｏ Ｃｌｉｐ Ｌｉｓｔ）：選択した全てのビデオを一覧表にする。
追加（Ａｄｄ）：ビデオをリストに追加する。
タイトル（Ｔｉｔｌｅ）：ビデオに対するタイトルを付加する。
上げる：位置を１つ上げる。
下げる：位置を１つ下げる。
削除：ビデオを「ビデオリスト」から削除する。
トリム（Ｔｒｉｍ）：選択したビデオをトリミングするようにビデオトリム画面を起動する。トリミングされたビデオは、その隣にトリムアイコンを有している。
アントリム（Ｕｎｔｒｉｍ）：０にて開始し、最後のフレームにて終了するように、フレームポインタをリセットする。
【０１８１】
［再生：ビデオのプレビュー］
図３３ａ及び３３ｂに示された画面から可能なシナリオを以下に説明する：
１．ユーザはスクリプトを選択できる。
２．ビデオを追加するために、ユーザは「追加」ボタンをクリックできる。
３．ユーザは選択したビデオの順序をセットする。（ユーザは「ビデオリスト」からビデオを選択して、位置を上に移動させるために「上げる」ボタンを押す。ユーザは「ビデオリスト（Ｖｉｄｅｏ Ｃｌｉｐ Ｌｉｓｔ）」からビデオを選択して、位置を下げるために「下げる」ボタンを押すこともできる）
４．ユーザは「ビデオリスト」からビデオを選択して、「ビデオリスト」からビデオを削除するために「削除」ボタンを押すことができる。
５．ユーザは「ビデオリスト」からビデオを選択して、ビデオをトリミングするために、「ビデオトリム」ページをポップアップさせるように「トリム」ボタンをクリックできる。
６．ユーザは、「ビデオリスト」からトリミングされたビデオを選択して、トリミングをキャンセルするために「アントリム」ボタンをクリックできる。
７．ユーザは、「ビデオリスト」からビデオを選択して、ビデオをプレビューするために「プレビュー」ボタンをクリックできる。
８．ユーザは「テンプレート」ドロップダウンリストからテンプレートを選択できる。
９．ユーザは、「ホーム」メニューをクリックすることによって、ＶＥＳクライアントホーム画面に戻ることができる。
１０． ビデオ及びテンプレートを選択したあと、ユーザは、「アップロード」メニュー項目をクリックできる。これによって、ユーザは「プレビュー」ページに行く。
【０１８２】
図３４は、追加するためにビデオを選択した場合にユーザが見る画面の例を示している。
【０１８３】
図３５は、プレビューするためにビデオを選択した場合にユーザが見る画面の例を示している。
【０１８４】
図３６は、トリミングするためにビデオを選択した場合にユーザが見る画面の例を示している。ビデオをトリミングするために「トリム」を選択したとき、ビデオを再生することができる。左側のメニュー項目は「取り消し」とすることができ、右側のメニュー項目は「開始位置のセット」とすることができる。「開始位置のセット」をクリックした場合、右側のメニュー項目は「停止位置のセット」に変化できる。ビデオの再生が終了したとき、又はユーザが「停止位置のセット」をクリックしたとき、ビデオはポーズし、左側のメニュー項目は「承認」へ変化できる。このビデオトリミングのページは、「開始位置のセット」、「終了位置のセット」、及び「再生完了」の３つのページに分割できる。
【０１８５】
図３７は、「開始位置のセット」ページの例を示している。この例において、ユーザが「取り消し」メニュー項目を選択した場合、ユーザはビデオテンプレート選択画面に戻ることができる。ユーザが「開始位置のセット」メニュー項目を選択した場合、トリム開始位置がセットされ、右側のメニュー項目は自動的に「終了位置のセット」に変化することができる。
【０１８６】
図３８は「終了位置のセット」ページの例を示している。この例において、ユーザは、ビデオ終了位置をセットするために「終了位置のセット」メニュー項目をクリックできる。ユーザが「終了位置のセット」項目を選択しなかった場合、ビデオの最後を終了位置としてセットできる。ユーザは、ビデオを再生して開始及び終了位置をリセットするために、「取り消し」ボタンを選択できる。
【０１８７】
図３９は「トリミングの承認」ページの例を示している。ユーザは、ビデオテンプレート選択ページに戻るために、「取り消し」メニュー項目をクリックできる。次にユーザはトリミングするためにビデオを再び選択、又は現在トリミングした選択したビデオを再生することができる。ユーザは、切り取られたビデオを承認してビデオテンプレート選択ページに戻るために、「承認」メニュー項目をクリックできる。
【０１８８】
ユーザがプレビューするためにビデオを選択した場合、３つのページを一続きで表示できる。図４０はアップロードページを示しており、ＶＥＳクライアントは最初に表示できる。「プレビュー」ボタンは最初は使用不可能であるが、プレビューが利用可能になったときに選択することができるようにすることができる。ビデオがアップロードされている間に、ある期間、広告を表示できる。
【０１８９】
図４１は、ビデオがアップロードされており、アップロードが継続する間にプレビューが「現在利用可能」であることを示している画面である。
【０１９０】
「取り消し」を選択した場合、ユーザは「ビデオテンプレート選択」ページに戻ることができる。図４２は、ユーザがアップロートのキャンセルを選択したときの画面の例を示している。ビデオのアップロード及びプレビューをキャンセルする意図があることを保証するために、ユーザに促すことができる。ユーザがプレビューするためにビデオを選択した場合、「プレビュー」ボタンを「スキップ」ボタンに変化させることができる。
【０１９１】
図４３は、ユーザにビデオのプレビューを示す画面の例を示している。ユーザがプレビューのスキップを選択した場合、「受信者選択」ページへ向かうことができる。
【０１９２】
図４４は、ユーザがアップロードのキャンセルを選択した場合の画面の例を示している。
【０１９３】
図４５は、プレビューが再生完了した画面の例を示している。「スキップ」ボタンは「完了」に変化できる。ユーザは、アップロードのキャンセル、プレビューのキャンセル、及び「ビデオテンプレート選択」ページに戻るために、「キャンセル」項目を選択できる。ユーザは、「受信者選択」ページに行くために、「完了」を選択できる。
【０１９４】
図４６は、ユーザがビデオを受信する受信者を選択できる、画面の例を示している。ユーザがビデオを送信する受信者を選択する場合、受信者ドロップダウンリストから受信者を選択して、「受信者リスト」に受信者を追加するために「追加」ボタンをクリックできる。ユーザは「受信者リスト」から受信者を選択して、「受信者リスト」からその受信者を削除するために「削除」ボタンをクリックできる。ユーザは、「ビデオテンプレート選択」ページに戻るために、「キャンセル」メニュー項目をクリックできる。受信者を選択したあと、ユーザは、編集したビデオを送信するように「送信」メニュー項目をクリックできる。
【０１９５】
図４６に示された画面項目の説明は以下の通りである。即ち、
送信（Ｓｅｎｄ）：アップロードが完了していない場合、この項目は利用不可能になる。
キャンセル（Ｃａｎｃｅｌ）：ビデオテンプレート選択ページに戻る。
受信者（Ｒｅｃｉｐｉｅｎｔｓ）：全受信者を一覧表にする。
受信者リスト（Ｒｅｃｉｐｉｅｎｔｓ Ｌｉｓｔ）：選択した全受信者を一覧表にする。
送信（Ｓｅｎｄ）：アップロードが完了したとき、この項目が利用可能になる。
【０１９６】
図４７はサマリー（Ｓｕｍｍａｒｙ）とヒストリ（Ｈｉｓｔｏｒｙ）ページの例を示している。この実施例において、サマリーとヒストリページは、ユーザが送信した最近の１０個の編集したビデオのタイトルを示している。ユーザが「ホーム（Ｈｏｍｅ）」メニュー項目を選択した場合、ビデオ編集プログラムがリスタートされ、ユーザを「ビデオテンプレート選択」ページに向かわせることができる。ユーザは「終了」を選択して、ＶＥＳクライアントアプリケーションを終了させることもできる。
【０１９７】
図４８は、受信ＰＣアプリケーションのためのログインページの例を示している。この代表的な実施例の例において、受信ＰＣアプリケーションは、ウィンドウズアプリケーショントレーに存在するマイクロソフト基礎クラス（ＭＦＣ）アプリケーションである。
【０１９８】
図４９は、ユーザログインが失敗した場合の画面ショットの例を示している。警告メッセージが出されて、ユーザはユーザ名及びパスワードを再入力することができる。
【０１９９】
ログインが成功した場合、アイコン（図５０の強調された四角の内部に示されるように）がタスクバーに現れ、ウェブサイトを起動できる。ウェブサイトは自動的に起動することが好ましい。ユーザが左のマウスボタンをアイコン上でダブルクリックした場合、アプリケーションはウェブサイトを自動的に開く。ユーザが右ボタンをアイコン上でクリックした場合、図５１に示すように、メニューをポップアップさせることができる。ユーザは、ウェブサイトを起動するように「ウェブ（Ｗｅｂ）」を選択、アプリケーションがウィンドウズ内で自動実行するかどうかを決定するために「自動スタート」を選択（又は選択解除）、又はアプリケーションを終了するために「終了」を選択することができる。
【０２００】
図５２は、新たに編集されたビデオが利用可能であることをユーザに警告するためにポップアップできるバブルを示している。ユーザがこのアイコン上で左クリックする場合、アプリケーションはウェブサイトを自動的に起動する。
【０２０１】
図５３，５４及び５５は、テンプレートエディタの画面ショットの異なる例を示している。テンプレートエディタページのこの代表的な実施例のあるアプリケーション及び特徴の例は以下の通りである。
【０２０２】
［ビデオパネル］
このパネルは画像、ビデオ及びスロットを含むことができる。
１．画像−静止画のリストをサーバからダウンロードできる。画像を選択した後、実際の画像データをサーバからダウンロードし、ユーザに示すことができる。
２．ビデオ−ビデオのリストのサーバからダウンロードできる。
３．スロット−スロットボタン上でのクリックによって、スロット項目を作成できる。
【０２０３】
［遷移効果コンポーネントパネル］
このパネルは、遷移効果コンポーネントの異なる例を（ボタンとして）含んでいる。ユーザは、遷移効果ボタン上でクリックしてビデオ時系列において遷移効果項目を作成できる。
【０２０４】
［ビデオライン］
ビデオ時系列を静止画、サーバ上のビデオ、元ビデオ、及び遷移効果コンポーネントを表す要素からなることができる。要素は時間順に並べられる。要素及び遷移効果コンポーネントが時系列に追加されたあと、ユーザは要素上での右クリックによってこのビデオ要素の特徴を変更し、背景音楽を追加し、又は要素を削除できる。ユーザが背景音楽の追加を選択した場合、音楽ラインが形成される。ユーザは、追加された各々の音楽要素に対するボリュームの重みをセットできる。これらの重みは最終的なビデオにおける重なる音楽をミキシングするために使用できる。
【０２０５】
［オーディオライン］
各々のビデオ要素は、このバージョンのためのそれに追加された少なくとも１つの音楽トラックを有することができる。使用されているテンプレートエディタの例を以下に示す：
１．ユーザは、ＴＥアプリケーションをウェブサイト上で起動する。
２．ユーザは、「ピクチャ」ボタン上でマウスを移動させる（サーバ上の画像のリストをポップアップウィンドウ中に示すことができる）。
３．ユーザは、リスト中の画像の１つをクリックする（画像要素がビデオライン上に作成することができる）。
４．ユーザは、「遷移効果パネル」中の遷移効果ボタンをクリックする（遷移効果コンポーネントをビデオライン上で作成できる。）
５．ユーザが「スロット」ボタンをクリックする（空いたスロットをビデオライン上に作成できる）。
６．スロット成分上での右クリックにより、メニューを表示することができる。「背景音楽の追加」を選択すると、追加すべき利用可能な音楽トラックのリストが表示される。背景音楽は複数のスロットに亘って完成まで再生できる。
７．ユーザは、ステップ２〜６を繰り返すことができる。
８．ユーザは、テンプレートをサーバにアップロードするように「アップロード（Ｕｐｌｏａｄ）」ボタンをクリックする（これは「トライ・イット・ナウ」ボタンを利用可能にする）。
９．ユーザは、テンプレートをアップロードしたあと、「トライ・イット・ナウ」ボタンをクリックする（テンプレート中の空いたスロットのためにユーザが以前アップロードしたビデオを選択するように、パネルを示すことができる。ユーザがこのための以前アップロードしたクリップを有していない場合には、ＡＶＥＳはＡＶＥＳのデフォルトの「トライ・イット・ナウ」クリップを使用できる）。
１０．「トライ・イット・ナウ」が実行された場合、ＴＰが作成したあと、ユーザはウェブサイト上で得られたビデオを見ることができる。
【０２０６】
一実施例において、ここで議論した１つ以上の方法をマシンに実行させるための命令セットをその内部で実行できる、コンピュータシステムの代表的な形式におけるマシンを提供できる。代替の実施例において、マシンは単独のデバイスとして動作、又は他のマシンに接続（例えばネットワーク接続）できる。ネットワーク化された配置において、マシンは、クライアント・サーバネットワーク環境におけるサーバ又はクライアントマシンとして、又はピア・ツー・ピア（又は分散）ネットワーク環境におけるピアマシンとして動作できる。このマシンはサーバコンピュータクライアントコンピュータ、パーソナルコンピュータ（ＰＣ）タブレットＰＣ，セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ウェブ装置、ネットワークルータ、スイッチ又はブリッジ、又はそのマシンによって取られる行動を指定する（逐次又は他の）命令セットを実行する能力があるどのようなマシンであってもよい。
【０２０７】
代表的な実施例において、マシンが読み出し可能な手段が、単数の手段であると示されているが、「マシン読み出し可能手段」という言葉は、１つ以上の命令セットを保存する単数又は複数の手段（例えば集中又は分散データベース、及び／又は関連キャッシュ及びサーバ）を含むと解釈されたい。「マシン読み出し可能手段」という言葉は、保存、符号化又は実行のための命令セットをマシンによって実行する能力があり、且つ本発明の１つ以上の方法をマシンに実行させる、如何なる手段を含むとも解釈されたい。概括的に、本発明の実施例を実装するように実行されるルーチンを、基本ソフトの一部、又は特定のアプリケーション、要素、プログラム、オブジェクト、モジュール又は「コンピュータプログラム」として参照されている命令のシーケンスとして実装できる。コンピュータプログラムは、典型的には、コンピュータ中の様々なメモリ及び記憶装置において様々な時に１つ以上の命令セットを含み、コンピュータ中で１つ以上のプロセッサによって読み出されて実行されるとき、本発明の様々な態様を共なる要素を実行するように、コンピュータに作業を行わせる。
【０２０８】
更に、実施例は完全に機能するコンピュータ及びコンピュータシステムに関連して説明されたが、当業者は、様々な実施例は様々な形式のプログラム製品として販売することが可能であり、本開示が、実際に販売をもたらす特定のタイプのマシン又はコンピュータ読み出し可能手段にかかわらず同様に適用できることを認識されよう。読み出し可能メディアの例は、とりわけ揮発性、不揮発性メモリデバイス、フロッピー及び他のリムーバブルディスク、ハードディスクドライブ、光学ディスク（例えばコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）など）の記録可能なタイプのメディア、デジタル及びアナログ通信リンクのような送信タイプ手段を含むが、それらに限定されない。
【０２０９】
実施例は特定の代表的な実施例を参照して説明したが、これらの実施例に対して様々な改良及び変更が可能であることは明らかでる。従って、明細書及び図面は限定的な意味ではなく、概要の意味で考えるべきである。前述の明細書は特定の代表的な実施例を参照して説明を提供している。続く請求項に記載された本発明の上位概念及び範囲から離れることなく、様々な改良が可能であることは明らかである。従って、明細書及び図面は限定的な意味ではなく、概要の意味で考えるべきである。
【技術分野】
【０００１】
本開示は、概括的には、ビデオ処理及びビデオアプリケーションのシステム、装置、及び方法に関するものである。
【０００２】
本出願は、“Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｓｅｒｖｅｒ”と題し、２００６年６月１６日に出願した米国特許出願番号第６０／８１４，３８３号明細書の優先権を主張するものである。
【０００３】
本出願は、本発明の開示と同一の譲受人を有する、“ＭＯＢＩＬＥ ＩＭＡＧＩＮＧ ＡＰＰＬＩＣＡＴＩＯＮ，ＤＥＶＩＣＥ ＡＲＣＨＩＴＥＣＴＵＲＥ，ＳＥＲＶＩＣＥ ＰＬＡＴＦＯＲＭ ＡＲＣＨＩＴＥＣＴＵＲＥ ＡＮＤ ＳＥＲＶＩＣＥＳ”と題し、２００６年２月１６日に出願した同時係属の米国特許出願番号第１１／３５７，６６１号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００４】
本出願は、本発明の開示と同一の譲受人を有する、“ＣＯＭＰＲＥＳＳＩＯＮ ＲＡＴＥ ＣＯＮＴＲＯＬ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＷＩＴＨ ＶＡＲＩＡＢＬＥ ＳＵＢＢＡＮＤ ＰＲＯＣＥＳＳＩＮＧ”と題し、２００５年９月２０日に出願した同時係属の米国特許出願番号第１１／２３２，１６５号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００５】
本出願は更に、本発明の開示と同一の譲受人を有する、“ＭＵＬＴＩＰＬＥ ＴＥＣＨＮＩＱＵＥ ＥＮＴＲＯＰＹ ＣＯＤＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ”と題し、２００５年９月２１日に出願した同時係属の米国特許出願番号第１１／２３２，７２６号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００６】
本出願は更に、本発明の開示と同一の譲受人を有する、“ＰＥＲＭＵＴＡＴＩＯＮ ＰＲＯＣＲＡＳＴＩＮＡＴＩＯＮ”と題し、２００５年９月２１日に出願した同時係属の米国特許出願番号第１１／２３２，７２５号に関するものである。
【０００７】
本出願は更に、本発明の開示と同一の譲受人を有する、“ＭＯＢＩＬＥ ＩＭＡＧＩＮＧ ＡＰＰＬＩＣＡＴＩＯＮ， ＤＥＶＩＣＥ ＡＲＣＨＩＴＥＣＴＵＲＥ， ＳＥＲＶＩＣＥ ＰＬＡＴＦＯＲＭ ＡＲＣＨＩＴＥＣＴＵＲＥ”と題し、２００５年１０月１２日に出願した同時係属の米国特許出願番号第１１／２４９，５６１号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００８】
本出願は、本発明の開示と同一の譲受人を有する、“ＶＩＤＥＯ ＭＯＮＩＴＯＲＩＮＧ ＡＰＰＬＩＣＡＴＩＯＮ， ＤＥＶＩＣＥ ＡＲＣＨＩＴＥＣＴＵＲＥ，ＡＮＤ ＳＹＳＴＥＭ ＡＲＣＨＩＴＥＣＴＵＲＥ”と題し、２００５年１０月１３日に出願した同時係属の米国特許出願番号第１１／２５０，７９７号に関するものである。その出願の出願人は本出願の出願人でもある。
【０００９】
特許、特許出願及び様々な出版物を含む可能性のある幾つかの引用文献を、本発開示の説明において引用して説明する。これらの引用文献の引用及び／又は説明は、単に本開示の記載を明確にするために提供されたものであり、引用文献が以下に説明する本開示に対する「先行技術」であることを認めるものではない。
【背景技術】
【００１０】
直接デジタル化された画像及びビデオはリソース集約に利用でき、画像及びビデオは、保存、送信、及び他の目的のために圧縮可能である。例えば、圧縮は３つの段、即ち変換、量子化、そしてエントロピー符号化によって特徴づけることができる。ほとんどの画像及びビデオ圧縮器は、変更してこの基本アーキテクチャを共有している。
【００１１】
ビデオ圧縮器における変換段において、画像又は連続画像における局所的な類似性及びパターンを利用して、元画像のエネルギー又は情報をできるだけコンパクトな形式に圧縮することができる。圧縮器は、典型的には入力毎に異なる圧縮レベルで圧縮する。例えば、圧縮器は「典型的な」入力に対して良好に機能し、「ランダムな」又は「異常な」入力に対する圧縮の失敗を無視するように設計できる。多くの画像圧縮、及びＭＰＥＧ−２及びＭＰＥＧ−４などのビデオ圧縮法は、変換段として離散コサイン変換（ＤＣＴ）を使用している。
【００１２】
量子化は、変換段の後に情報を切り捨てる可能性があり、従って、時には再構成されて解凍された画像は元画像を正確に再現しない可能性がある。エントロピー符号化は、概括的にはロスレスな処理であり、即ちこの処理は、量子化後に残された情報を取得し、復号器において再現可能なように符号化する。従ってどの情報を切り捨てるべきかについての設計判断は、次のエントロピー符号化段によって影響されないことになる。
【００１３】
ＤＣＴベースのビデオ圧縮／解凍（コーデック）技術は、場合によっては、例えばスタジオ作成のビデオコンテンツの放送及びストリーミングのために発展してきたが、例えばコンピュータワークステーション上で高い複雑性を有する符号器を動作させることができるスタジオ環境におけるビデオコンテンツの符号化に関係している。このような計算的に複雑な符号器は、民生用再生デバイスにおいて計算的に単純で比較的安価な復号器（プレーヤ）を導入することを可能にする。
【００１４】
しかし図１に示すように、符号器／復号器技術における非対称性のために、再生のみならず、自身においてビデオメッセージのキャプチャと圧縮が同時になされるテレビ電話などのモバイルマルチメディアデバイスにおいて、利用可能なプロセッサ能力を使用した完全なテレビサイズのビデオコンテンツの圧縮をサポートすることが困難になる可能性がある。その結果、図２に示すように、モバイルデバイスにおけるビデオは、他の民生用製品と比較して非常に小さなサイズ及び非常に低いフレームレートに限定されうる。
【００１５】
ＤＣＴベースの技術を使用したビデオ編集及び他のビデオ処理アプリケーションは、完全に又は部分的に復号化されたビデオを編集、又は他の処理をして、出力及び後の販売のために、その編集又は他の処理がなされたビデオデータの圧縮を行う前に、圧縮ビデオ入力データの完全又は部分的な復号化が必要になる可能性がある。従って、ＤＣＴベースのビデオ編集及び他の処理アプリケーションの計算の複雑性は、汎用のパーソナルコンピュータ（ＰＣ）の中央演算処理装置（ＣＰＵ）に基づく多くの標準サーバコンピュータの計算能力を超える可能性がある。
【００１６】
むしろ、ビデオ編集及び他の処理アプリケーションは典型的には特有のビデオアプリケーションサーバコンピュータを利用し、ビデオ処理はデジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディア処理器、及び再構成可能処理デバイス（ＲＰＤ）を含むがそれらのデバイスに限定されない、特有のデータ処理素子の組み合わせを使用して実行できる。このような特有のビデオデータ処理素子の数、コスト、及び消費電力は、汎用ＰＣのＣＰＵに基づく標準サーバコンピュータと比較して、非常に高いコスト、消費電力へとつながる。しかし、新興のモバイルビデオサービスの商用展開のためには、このようなビデオ編集及び他の処理を多数のサービス加入者に同時に提供し、対応するビデオアプリケーションサーバを展開して、維持するコストをできるだけ低くすることが必要になる。
【発明の概要】
【００１７】
本開示の様々な実施例は、例えば以下のようなものを１つ以上を含む、様々なビデオ処理及び他の処理を含むことができる。
・圧縮、
・完全な又は部分的な解凍、
・切り取り、トリミング、遷移効果の挿入、再配置、露出調整、バックライトの補正、カメラ撮像素子（典型的にはＣＭＯＳ，ＣＣＤ又は類似の素子）の限定された光感度の補正、カメラモジュールのレンズに由来する歪みの補正、ビデオ記録中に発生するカメラジッタ、画像背景の変更、及び赤目補正を含むがそれらに限定されない、完全に又は部分的に解凍されたビデオの編集、
・本開示のビデオフォーマットと、他の標準規格ベース、及び／又は適切なビデオフォーマットとの間の変換を含むトランスコーディング、
・ビデオ圧縮レベル、ビットレート、フレームレート、画像サイズ、及び異なるデバイスと画面サイズとの間の再生互換性のための圧縮フォーマットを含む変換、
・ビデオ検索アプリケーションのためのメタデータのタグ化及び埋め込み、
・安全性及び権利管理のための電子透かし、
・（データベースにおける場合も含む）ビデオ保存、検索、読み出し、
・ミュージックビート、ビデオカット、場面変更、視点変更、露出及びコントラスト特性、動作レート、動作の方向及び連続性、照明効果（太陽対蛍光など）、顔、赤目、ストックシーン及び電子透かしを含む画像及びビデオコンテンツの認識、測定、及び分類。
【００１８】
本開示の幾つかの実施例において、ビデオアプリケーションサーバ上で動作し、上記のビデオ処理機能の様々な組み合わせをサポートするように設計されたビデオアプリケーションは、以下の１つ以上を含むことができるがそれらに限定されない。
・圧縮、
・解凍、
・切り取り、トリミング、遷移効果の挿入、露出の調整、バックライトの補正、赤目補正、音声トラックのビートの同期、ストックタイトル及びストックシーンの挿入、テンプレートの適用、カメラ動作の修正、合成の改良、
・本開示のビデオフォーマットと、他の広く展開された標準規格に基づく適切なビデオフォーマットとの間の変換を含むトランスコーディング、
・ビデオ圧縮レベル、ビットレート、フレームレート、画像サイズ、及び異なるデバイスと画面サイズとの間の再生互換性のための圧縮フォーマットの改良を含む変換、
・ビデオ検索索引付加のためのメタデータのタグ化及び埋め込み、又は他の編集アプリケーション、
・（データベースにおいても含む）ビデオ記録、検索、読み出し、
・デジタル著作権管理（ＤＲＭ）、
・フィードを介してユーザ作成ビデオを他の受信者に配信するためのＲＳＳ（本当に単純なシンジケーション）アプリケーション、
・画像及びビデオコンテンツの認識、評価、及び分類。
【００１９】
幾つかの実施例において、ビデオアプリケーションサーバ上で動作して上記のビデオ処理機能の様々な組み合わせをサポートする、上記のビデオアプリケーションの組み合わせによってサポートされるビデオサービスは、以下の１つ以上を含むことができるがそれらに限定されない。
・ビデオメッセージング、共有及びブロギング：非同時の、つまりＲＳＳフィードによる場合も含めた記録と転送、
・ビデオＩＭＳ：ＩＰネットワークを超えた瞬間メッセージングサービス、つまり同時のビデオ送信及びストリーミング、
・ビデオ通話：ＩＰ、ＴＭ又は回路交換方式のネットワークを超えた同時通話、
・ビデオメール：音声メールに類似しており、通話された電話の相手が電話に応答しない場合にビデオメールを残す、
・ビデオ会議、例えば複数のユーザ間のピア・ツー・ピアネットワーク、
・携帯電話上でキャプチャしたビデオクリップの携帯電話又はネットワーク又はウェブベースのサーバ上での手動又は自動編集、
・オンラインビデオ保存、アルバム、ブログなど、
・キャプチャ／編集／保存したビデオクリップ及びアルバムの共有、
・アクセス管理、即ち誰がいつアクセスしたかを明確にし、誰が出現したか又は素材を要求したかを見つける、
・タグ化と、データベースの保存、検索、及び読み出しと、プレビューと、ダウンロード（ソフトコピー）と、ビデオのハードコピー（ＤＶＤ）の注文
・以下を含む個人のマルチメディア市場サービス、即ち、
○「ソフト」コピー（ダウンロード）又は「ハード」コピー（ＤＶＤ）のプレビュー、共有、購入、販売、
○索引付加、ＲＳＳフィードのためのメディア「タグ化」、
○既存のオンライン市場（例えばイーベイ、グーグル、ヤフー、マイクロソフト、他のポータル）へのインターフェース、
・友人及び公開ソースから購入した素材との比較、対比、並置。
【００２０】
幾つかの実施例において、ビデオアプリケーションサーバ上で動作し、上記のビデオ処理機能の様々な組み合わせをサポートする上記のビデオアプリケーションの組み合わせによってサポートされた、上で特定された１つ以上のビデオサービスを展開するためのビデオシステムは、以下の１つ以上を含むことができるがそれらに限定されない。
・回路交換方式のモバイル携帯ネットワーク、固定無線ネットワーク、地上通信線電話ネットワーク、地上ケーブルネットワーク、地上セキュリティネットワーク、又は衛星ネットワーク、
・ＩＰベースのモバイル携帯ネットワーク、モバイルメッシュネットワーク、モバイルアドホックネットワーク、固定無線ネットワーク、地上電話ネットワーク、地上データネットワーク、又は衛星ネットワーク、
・集中型の固定／モバイル無線ネットワーク、
・他の無線又は有線データネットワーク、即ちＡＴＭなど。
【００２１】
本開示の幾つかの実施例は、以下の１つ以上に対する、方法、デバイス、アプリケーション、システム及びサービスを含むことができる。即ち、
ビデオ画像記録、送信、保存、編集、処理、トランスコーディング、検索、読み出し、共有、配信、及びマーケティング、モバイルデバイス及びビデオ処理／アプリケーションサーバ、対応するモバイルデバイス及びビデオ処理／アプリケーションサーバアーキテクチャ、サービスプラットフォームアーキテクチャ、及び上記に関するネットワーク及び他のシステムサービスのみならず、無線及び有線ネットワーク及びシステムを越えて静止画及びビデオ画像を送信、保存、編集、処理、トランスコーディング、検索、読み出し、共有、配信及びマーケティングし、それらを表示可能デバイス上で視聴する方法及びサービス。
【００２２】
本開示の実施例は、画像記録及び処理技術、及びモバイルデバイス、ビデオ処理／アプリケーションサーバのアーキテクチャにおける対応する改良、及びサービスプラットフォームを更に具える。本開示は更に、モバイルビデオサービスの端末相互間機能及び性能を具える。これらは、モバイルデバイス中の撮像装置モジュールにおいてキャプチャされた手ぶれカメラ動き補償情報などの情報を、次の携帯電話デバイス、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は受信ビデオ再生デバイスにおけるビデオコーデックの１つ以上に渡すことによって可能になる。
【００２３】
次にこれらの情報は、例えば、別の方法で入力ビデオデータからビデオコーデックによって抽出できる追加の動き補償情報を与えることによって、ビデオコーデックの計算要件を更に低減するために使用できる。これらの情報は、モバイルネットワークにおいてビデオ処理アプリケーションサーバにおける次に実行される編集及び更にビデオ処理中に、モバイルデバイスにおいてビデオキャプチャ中に発生するカメラ動作を更に補償するためにも使用できる。これらの情報は、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は受信ビデオ再生デバイスにおいて次に実行される編集及び更にビデオ処理中に、モバイルデバイスのカメラモジュール中でのビデオ処理を介して以前に除去された、カメラ動作の効果を再形成するために使用することもできる。
【００２４】
本開示の態様は更に、以下の１つ以上を具えることができる。
１．ビデオ又は静止画を圧縮及び／又は解凍するためのソフトウェアビデオコーデック／テレビ電話デバイスアプリケーション、
２．圧縮、解凍、編集、トランスコーディング、検索アプリケーションのためのタグ化及び組み込み、保存、データベース化、検索、読み出し、及び配信するためのソフトウェアビデオ処理アプリケーション、
３．ソフトウェア処理アプリケーションとモバイル携帯電話のためのソフトウェアビデオコーデック／テレビ電話アプリケーションと連動してビデオメッセージを展開してサービスを共有するための、モバイルマルチメディアサービス（ＭＭＳ）インフラサーバコンピュータ及びアプリケーションを含む、インフラ製品、方法及び処理、
４．モバイルビデオメッセージング、共有、及びブロギングと、ビデオストリーミング及びビデオ通話と、モバイルデバイス上におけるモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングをサポートするパーソナルメディアプロデューササービスとを含む、革新的なＭＭＳサービスを構築、有効化、販売、及び動作させるための方法、プロセス、及びビジネスプロセス。
【図面の簡単な説明】
【００２５】
【図１】一実施例によるビデオコーデックの計算要件を示している。
【図２】一実施例によるモバイルデバイス及びサービスにおけるビデオ画像サイズの制限を示している。
【図３】一実施例によるモバイル画像サービスプラットフォームアーキテクチャを示している。
【図４】一実施例によるモバイル画像携帯電話アーキテクチャを示している。
【図５】一実施例によるビデオ処理及びアプリケーションサーバ機能のブロック線図を示している。
【図６】一実施例によるビデオ処理及びアプリケーションサーバアーキテクチャを示している。
【図７】一実施例による流通したビデオ編集システムアーキテクチャを示している。
【図８】一実施例によるビデオコーデック技術の比較を示している。
【図９】一実施例による、低減されたビデオコーデックの計算要件を示している。
【図１０】一実施例による改良されたモバイル画像携帯電話構造を示している。
【図１１】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャを示している。
【図１２】一実施例による代替の改良されたビデオ処理及びアプリケーションサーバアーキテクチャを示している。
【図１３】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャの全てがソフトウェアによる実装を示している。
【図１４】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャの全てがハードウェアによる実装を示している。
【図１５】一実施例による改良されたビデオ処理及びアプリケーションサーバアーキテクチャのソフトウェアとハードウェアの複合型実装を示している。
【図１６】一実施例による改良された流通したビデオ編集システムアーキテクチャを示している。
【図１７】一実施例による改良されたモバイル画像サービスプラットフォームアーキテクチャを示している。
【図１８】一実施例による、トランスコーディングの必要性を排除して、既存のビデオ処理／アプリケーションサーバがビデオフォーマットを処理可能とする自己復号化ビデオＭＭＳを示している。
【図１９】一実施例による展開されたビデオ処理及びアプリケーションサーバのＯＴＮ更新を示している。
【図２０】一実施例による推定されるメディア生成者サービスを展開するのに必要なビデオ編集サーバの複雑性、コスト及び数を示している。
【図２１】一実施例による改良されたビデオメッセージング／共有／通話プラットフォームの機能要素を示している。
【図２２】一実施例によるより高品質なマルチメディア携帯電話及びサービスのより高速、低コストの発展及び展開を示している。
【図２３】一実施例による広帯域マルチメディアデバイス及びサービスに対するアプリケーションを示している。
【図２４ａ】ユーザ及びシステム管理者と相互作用するビデオ編集システムの一実施例を示している。
【図２４ｂ】ＳＳＰを介してＴＩＰと通信するためのＶＥＳクライアントの一実施例を示している。
【図２５】ＳＳＰを介してＴＩＰと通信するためのＶＥＳクライアントの工程の一実施例を示している。
【図２６】ＳＳＰを介してＴＩＰを通信するためのＶＥＳクライアントの別の工程の一実施例を示している。
【図２７】ＳＳＰを介してデータベースを通信するＶＥＳクライアントの工程の一実施例を示している。
【図２８】ウェブサイトと通信するための受信ＰＣの工程の一実施例を示している。
【図２９】テンプレートエディタの工程の一実施例を示している。
【図３０】テンプレートエディタの別の工程の一実施例を示している。
【図３１】スクリーンショットの一実施例を示している。
【図３２】スクリーンショットの一実施例を示している。
【図３３ａ】スクリーンショットの一実施例を示している。
【図３３ｂ】スクリーンショットの一実施例を示している。
【図３４】スクリーンショットの一実施例を示している。
【図３５】スクリーンショットの一実施例を示している。
【図３６】スクリーンショットの一実施例を示している。
【図３７】スクリーンショットの一実施例を示している。
【図３８】スクリーンショットの一実施例を示している。
【図３９】スクリーンショットの一実施例を示している。
【図４０】スクリーンショットの一実施例を示している。
【図４１】スクリーンショットの一実施例を示している。
【図４２】スクリーンショットの一実施例を示している。
【図４３】スクリーンショットの一実施例を示している。
【図４４】スクリーンショットの一実施例を示している。
【図４５】スクリーンショットの一実施例を示している。
【図４６】スクリーンショットの一実施例を示している。
【図４７】スクリーンショットの一実施例を示している。
【図４８】スクリーンショットの一実施例を示している。
【図４９】スクリーンショットの一実施例を示している。
【図５０】スクリーンショットの一実施例を示している。
【図５１】スクリーンショットの一実施例を示している。
【図５２】スクリーンショットの一実施例を示している。
【図５３】スクリーンショットの一実施例を示している。
【図５４】スクリーンショットの一実施例を示している。
【図５５】スクリーンショットの一実施例を示している。
【００２６】
以下の説明及び図は概略を示すものであり、それらに限定するものとして解釈されるべきではない。数値的に明確な詳細は、本開示の完全な理解を提供するために記載されている。しかし、場合によっては記載を曖昧にすることを防止するために、既知又は一般的な詳細は記載されていない。本開示における１つの実施例への１つの参照は、同一の実施例への複数の参照とすることができるが、必ずしもそのように解する必要はなく、このような複数の参照は、少なくとも１つの参照を意味している。
【００２７】
この明細書における「一実施例」への参照は、実施例に関連して記載された特徴、構造又は特性が、本開示の少なくとも一実施例において含まれていることを意味している。明細書における様々な位置での「一実施例」という語句の出現は、必ずしも全てが同一の実施例を参照しているわけでも、他の実施例を単に除外する別々の又は代替の実施例であるわけでもない。更に、特定の実施例によってのみ示すことができる様々な特徴が記載されている。同様に、特定の実施例にのみ必要となりうる様々な要件が記載されている。
【００２８】
画像処理
ウェーブレット変換は、１次元又は２次元以上においてウェーブレットフィルタペアをデータセットに対して繰り返し適用するステップを含むことができる。静止画圧縮のために、２−Ｄウェーブレット変換（水平及び垂直）を利用できる。本開示によるビデオコーデックは、３−Ｄウェーブレット変換（水平、垂直、及び時間）を使用できる。単一のコーデックにおいて静止画とビデオ画像の処理に対する同時サポートを可能にするのみならず、モバイルデバイスにおける計算の複雑性及び消費電力をＤＣＴベースコーデックに必要なものより大きく低減するために、対称３−Ｄウェーブレットベースのビデオ圧縮／解凍（コーデック）デバイスを使用できる。
【００２９】
単一のコーデックにおける静止画とビデオ画像に対する同時サポートは、別々のＭＰＥＧ（ビデオ）及びＪＰＥＧ（静止画）コーデックの必要性を除去又は低減させ、あるいは、例えばモーションＪＰＥＧコーデックに関して圧縮性能つまり保存効率を著しく向上させることができる。対称３−Ｄウェーブレットベースのビデオ処理デバイスを使用して、計算の複雑性及び消費電力を低減され、ユーザ作成ビデオのデータベースの保存、検索及び読み出しのみならず、ユーザ作成ビデオの自動又は手動の編集をサポートするように利用されるＭＭＳインフラ装置によってサポート可能な、同時モバイル加入者の数が増加する。
【００３０】
一実施例の態様は、モバイルビデオメッセージング、共有、及びブロギングと、ビデオストリーミング及びビデオ通話と、モバイルデバイス上においてモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングとをサポートするパーソナル「メディアプロデューサ」サービスとを含む、新世代の革新的ＭＭＳビデオサービスを提供する。本開示の態様によるモバイル画像サービスプラットフォームアーキテクチャの構成要素（図３を参照）は、
・モバイル携帯電話、
・モバイルベースステーション（ＢＴＳ）、
・ベースステーションコントローラ又はラジオネットワークコントローラ（ＢＳＣ／ＲＮＳ）及びモバイルスイッチングセンタ（ＭＳＣ）、
・ゲートウェイサービスノード（ＧＳＮ）、
・モバイルマルチメディアサービスコントローラ（ＭＭＳＣ）、
の１つ以上を具えることができる。
【００３１】
本発明の開示の態様によるＭＭＳＣに含まれる典型的な機能は、
・ビデオゲートウェイ
・電気通信サーバ
・ＭＭＳアプリケーションサーバ
・保存サーバ
の１つ以上を具えることができる。
【００３２】
本開示の態様によるＭＭＳＣにおけるビデオゲートウェイは、撮像サービスプラットフォームによってサポートされる、異なるビデオフォーマット間でトランスコーディングするように機能させることができる。トランスコーディングは、モバイル電話ネットワークにおいて使用される、異なる音声コーデックをサポートするように無線運営者によっても利用され、対応する音声トランスコーダをＲＮＣに統合できる。
【００３３】
図３に示すようなアーキテクチャを有するモバイル撮像サービスプラットフォームのアップグレードは、新たな携帯電話を展開及びＭＭＳＣビデオゲートウェイに新たなハードウェアの手動による追加を含むことができる。幾つかのモバイルビデオメッセージング及び共有アプリケーションにおいて、トランスコーディングに関するコスト及び複雑性が除去される。本開示の一態様は、送信されたビデオストリームの各々を使用したソフトウェアデコーダを組み込めることであり、共通の携帯電話及びＰＣビデオプレーヤ上における「自己再生」機能が可能になる。
【００３４】
ＭＭＳＣにおけるＭＭＳアプリケーションサーバは、データベースの保存、検索、及びユーザ作成ビデオの読み出し、及びユーザ作成ビデオの自動又は手動の編集のようなアプリケーションをサポートできる。ＤＣＴベースのビデオを使用するこのようなビデオ編集機能及び他の処理アプリケーションの実装に関係する計算の複雑性は、一般的な目的のパーソナルコンピュータ（ＰＣ）中央演算処理装置（ＣＰＵ）に基づく多くの標準サーバコンピュータの計算能力を超える。
【００３５】
本開示の態様によれば、将来性のある新たなモバイルビデオサービスの商用展開は、多数の同時サービス受信者に対するビデオ編集及び他の処理の提供、及び対応するビデオアプリケーションサーバの展開及び維持コストを可能な限り低くすることを含むことができる。新たな又は特有のハードウェアが必要な場合には、ＭＭＳＣインフラのアップグレードにも費用がかかる。携帯電話の自動無線（ＯＴＡ）ソフトウェアアップグレード、ＭＭＳＣビデオゲートウェイの無線（ＯＴＮ）ソフトウェアアップグレード、及び標準ＰＣ及びサーバを使用するモバイルビデオアプリケーションのサポートを可能にするために、ＳＷアプリケーション及びサービスプラットフォームが好ましいだろう。
【００３６】
本開示の態様は、モバイルデバイスに関連するビデオコンテンツの革新的なキャプチャ、圧縮、送信、編集、保存及び共有に関する新たな方法、サービス及びシステムを具える。本開示の態様は、電気通信会社（無線及び有線プロバイダ双方）及びインターネット、ケーブル、及び固定及びモバイル無線サービスプロバイダを含む他のデータ及びマルチメディア運営者に適用できる。本開示による態様は、よりリッチなコンテンツ、高い帯域幅利用及びユーザ当たりの高い平均収益（ＡＲＰＵ）を提供できる。
【００３７】
本開示の態様によるモバイルマルチメディアサービスは、革新的なビデオメッセージング、共有、ブロギング、及び対象の顧客が個人情報に通信することが可能になるパーソナル「メディアプロデューサ」アプリケーションを含む。モバイル画像メッセージング及び共有は、ユーザが送信したいビデオメッセージをキャプチャ（エンコード）して、受信したビデオメッセージを再生（デコード）できるように、モバイル携帯電話に追加のデジタルカメラ機能（静止画）及び／又はテレビ電話機能（ビデオ画像）が必要になる可能性がある。
【００３８】
本開示の態様によれば、モバイルデバイスは、統合された民生用マルチメディアエンターテインメントプラットフォームへと発展できる可能性がある。業界における多くの投資は、（ニュースクリップ、スポーツハイライト、及び人気テレビ番組の特別「モビソード」など）再パッケージされた放送テレビプログラミング、及び他の（映画プレビュー及び音楽ビデオなどの）スタジオ作成ビデオコンテンツを、モバイルデバイスに送信して視聴できる技術やプラットフォームに向けられている。この後者の場合において、モバイル加入者はビデオ消費者の新たなクラスとして開拓される。しかしこの後者の場合は、概して大規模な放送企業のサーバにおいて圧縮されたビデオコンテンツを利用する。
【００３９】
しかし本開示の態様によれば、世界中のモバイル運営者は、彼らの加入者を単なるメディア消費者ではなく、（本開示の態様によって可能になるように）メディアプロデューサとしてサポートする新たな重要な機会も得る。本開示の態様によって可能になるように、単体のデジタルカメラ及びテレビ電話と同一の品質で、モバイルデバイス上で写真及びビデオをキャプチャして共有できることは、より高速な携帯及び固定無線データネットワークの展開及び集中と共に、これらの新たなサービスに対して技術的に不可欠である。
【００４０】
本開示の態様は更に、テレビ電話通話及びビデオメッセージング／共有インフラ装置の双方の開発コスト及び販売価格における著しい低減を可能にし、これは成長した市場及び新興市場双方において、このような新規デバイス及び関連するモバイルマルチメディア／データサービスの大規模な商用採用に対する鍵となりうる。
【００４１】
モバイル画像メッセージング／共有サービス及びアプリケーションは、テレビ、パーソナルコンピュータ、デジタルビデオテレビ電話、及びパーソナルメディアプレーヤのような、他のマルチメディアデバイス（図２を参照）において典型的にキャプチャされて表示されるものよりも、非常に小さなサイズで非常に低いフレームレートのビデオ画像のキャプチャ及び送信に限定されうる。本開示の態様によって提供されるように、３０ｆｐｓのフレームレートにてＶＧＡ（又はそれより大きな）ビデオが可能なモバイル画像メッセージングサービス及びアプリケーションであることが好ましい。
【００４２】
本開示の態様は、以下の１つ以上を含むことができるソフトウェアモバイル画像アプリケーションサービスプラットフォームを更に具える。
１．展開した携帯電話の自動無線（ＯＴＡ）ソフトウェアアップグレードのサポート、
２．展開したＭＭＳＣの自動ネットワーク越え（ＯＴＮ）ソフトウェアアップグレードのサポート、
３．標準ＰＣ及び標準サーバを使用したモバイルビデオアプリケーション及びサービス展開のサポート、
４．より少数のサーバによる、より多数の同時モバイルビデオサービス加入者のサポートを可能にすること、
５．ネットワークの携帯電話においてビデオトランスコーディングをする必要なく、モバイルビデオアプリケーション及びサービス展開するサポート、
６．デジタルテレビ電話及びテレビのような民生用マルチメディアデバイス上でキャプチャして表示されるのと同様のフルサイズ及びフルフレームレートのビデオ画像をキャプチャして送信することをサポートする、モバイルビデオデバイス、アプリケーション及びサービスを可能にすること、
などである。
【００４３】
本開示の態様によるモバイル携帯電話及びＭＭＳサーバアプリケーションのＪａｖａ実装は、ウイルス、ワーム、及び他の「攻撃」に対する携帯電話／ネットワークの堅強性のために使用でき、一実施例において、モバイルネットワーク運営者が国内の当局者によって要求されるサービスの品質及び信頼性の提供を可能にする。
【００４４】
本開示の実施例において、モバイル携帯電話へのデジタルテレビ電話機能の追加は、概括的には、ハードウェア、ソフトウェアにおいて、又はハードウェアとソフトウェアの組み合わせとして、以下の機能の追加に関係している。
・対応するプリアンプ及びアナログ／デジタル（Ａ／Ｄ）信号変換回路を有する撮像装置アレイ（典型的にはＣＯＭＳ又はＣＣＤピクセルのアレイ）
・前処理、符号化／復号化（ｃｏｄｅｃ）、後処理などの画像処理機能
・無線又は有線ネットワークに亘る非同時送信又は同時ストリーミングのための処理された画像のバッファリング
・１つ以上の画像表示画面
・内蔵又はリムーバブルメモリ上への局所的な画像の保存
【００４５】
ＭＰＥＧ−４のようなＤＣＴ変換に基づくコーデックを使用する場合、市販の撮像可能モバイル携帯電話は、テレビ、パーソナルコンピュータ、デジタルビデオテレビ電話及びパーソナルメディアプレーヤのような他のマルチメディアデバイス上で典型的にキャプチャして表示されるものよりも、小さなサイズで低いフレームレートのビデオ画像のキャプチャに限定される。これら後者のデバイスは、典型的にはＶＧＡフォーマット（６４０ｘ４８０ピクセル）以上の大きさで、表示速度が３０フレーム／秒（ｆｐｓ）にてビデオ画像をキャプチャ／表示するのに対して、市販の撮像可能モバイル携帯電話は、例えばＱＶＧＡフォーマット（３２０ｘ２４０ピクセル）、ＱＣＩＦフォーマット（１７６ｘ１４４ピクセル）、またはそれより小さなサイズで、例えば１５ｆｐｓ以下の表示速度にてビデオ画像をキャプチャすることに限定されうる（例えば図２を参照）。
【００４６】
この低減されたビデオキャプチャ能力は、典型的には、ＤＣＴ変換を使用したビデオ圧縮／解凍に関連する計算ステップの数、型、及びシーケンスを完了するのに必要な大きな計算要件、プロセッサの消費電力、及びバッファメモリによるものとすることができる。
【００４７】
市販のビデオコーデック及びマイクロプロセッサ技術の使用は、ＶＧＡ（又はそれ以上の）ビデオを３０ｆｐｓ以上のフレームレートでキャプチャすることを対象にするモバイル画像携帯電話に対して、非常に複雑で電力を必要とする高価なアーキテクチャへとつながる。これらの携帯電話アーキテクチャは、大きなバッファメモリブロック（典型的には１メガバイト以上のメモリ容量）と、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）及び再配置可能処理デバイス（ＲＰＤ）の組み合わせ上で動作するソフトウェアプログラム及びハードウェアアクセラレータの双方の組み合わせを有するコーデックを利用している。
【００４８】
これらのコーデック機能は、ＲＩＳＣプロセッサ、ＤＳＰ、ＡＳＩＣマルチメディアプロセッサ、及びＲＰＤを、別々の集積回路（ＩＣ）として使用して実装でき、又はＲＩＳＣプロセッサ、ＤＳＰ、ＡＳＩＣマルチメディアプロセッサ、及びシステム・イン・パッケージ（ＳＩＰ）又はシステム・オン・チップ（ＳｏＣ）、及びＲＰＤの１つ以上を、組み合わせて一緒に集積させることができる。
【００４９】
ＲＩＳＣプロセッサ又はＤＳＰ上で動作するコーデック機能は、ソフトウェアルーチンとすることができ、プログラミングエラーを訂正する又は機能をアップグレードするために変更できる利点を有する。所定の複雑で反復的なコーデック機能をソフトウェアで実装する不利点は、結果として得られる全体のプロセッサリソース及び消費電力要件が、典型的にはモバイル通信デバイスにおけるリソースを超えることである。ＡＳＩＣ及びマルチメディアプロセッサ上で動作するコーデック機能は、典型的には複雑で反復的な計算ステップの固定されたハードウェア実装であり、典型的には特にオーダーメイドのハードウェアアクセラレーションの場合、コーデック全体の消費電力を著しく低減できる利点を有する。
【００５０】
固定されたハードウェアに所定のコーデック機能を実装する不利点には、長くより高価な設計サイクル、固定されたシリコンデバイス実装においてエラーが発見された場合における高価な製品リコールの危険性と、新たに開発された特性を画像アプリケーションに追加できる場合における展開された製品において固定されたシリコンデバイス機能をアップグレードできないことが含まれる。ＲＰＤ上で動作するコーデック機能は、典型的には、完成したモバイル画像携帯電話製品において、ハードウェアアクセラレーション及び機能を追加又は変更する能力の双方を利用するルーチンである。
【００５１】
上記のアーキテクチャを簡単化し、量産商用展開と同等のコストを可能にするために、全てがソフトウェアのアーキテクチャを有するモバイル画像携帯電話が、ＶＧＡ（又はそれ以上の）ビデオを３０ｆｐｓのフレームレートにてキャプチャできるように、複雑性、反復的なコーデック機能を低減又は削除する画像アプリケーションであることが好ましい。
【００５２】
マルチメディア携帯電話は、画像及びビデオメッセージング機能だけでなく、様々な追加のマルチメディア機能（音声、音楽、グラフィック）及び２．５Ｇ及び３Ｇ携帯アクセス、ＷｉＢｒｏ，ＨＳＤＰＡ，ＷｉＦｉ，無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈを含むがそれらに限定されない、様々な固定及びモバイル無線アクセスモードをサポートすることが要求される。新たな収益を創出するサービス及びアプリケーションをより効率的に展開し、コストのかかる商品リコールを防止するために、これらの製品の開発、展開及びサポートに伴う複雑性及びリスクは、多くの機能及びアプリケーションの無線（ＯＴＡ）配信及び管理を非常に有益にする。
【００５３】
携帯電話製造業者、モバイル通信運営者、及び他のＭＭＳサービスプロバイダによる画像アプリケーションの無線配信及び管理を可能にするように、ＳＷ（ｓｏｆｔｗａｒｅ）撮像アプリケーションであることが好ましい。本発明はこれらの目的を提供する。
【００５４】
本発明の態様は、
１．デジタルテレビ電話及びテレビなどの他の民生用マルチメディアデバイス上において、典型的にキャプチャして表示されるものと同様のフルサイズ及びフルフレームレートのビデオ画像を、キャプチャして送信することをサポートする、モバイルビデオデバイス、アプリケーション及びサービスを可能にすること、
２．展開した携帯電話の自動無線（ＯＴＡ）ソフトウェアアップグレードをサポートすること、
の１つ以上を含む。
【００５５】
本開示の態様によれば、モバイル携帯電話アプリケーションのＪａｖａ実装は、ウイルス、ワーム及び他の「攻撃」に対する携帯電話／ネットワークの堅強性のために使用でき、一実施例において、モバイルネットワーク運営者は、国内の当局者によって要求されるサービスの品質及び信頼性を提供できる。
【００５６】
一実施例において、ＭＭＳビデオサービスは、モバイルビデオメッセージング、共有及びブロギングと、ビデオストリーミング及びビデオ通話と、モバイルデバイス上でモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングをサポートするパーソナル「メディアプロデューサ」サービス、自動ビデオ編集、ビデオ「撮影後編集」及びモバイル携帯電話及び／又はＭＭＳＣアプリケーションサーバにおいて提供される他のビデオ処理アプリケーションとを含む。しかし、これらの機能の商用展開は、多くの同時サービスユーザに対するビデオ編集及び他の処理を提供し、対応するビデオアプリケーションサーバのコストを可能な限り低くすることを含む。
【００５７】
図５は、一実施例によるビデオ処理及びアプリケーションサーバに対する機能ブロック線図を示している。ビデオ入力データは、典型的には圧縮されたフォーマットにあり、ビデオ処理アルゴリズムをビデオ入力データに実装する前に完全に又は部分的に復号できる。処理されたビデオは、出力、及び後の送信及び配信のために再び圧縮できる。ビデオ処理機能は、
・圧縮、
・解凍、
・切り取り及び遷移効果のような一連の編集、及びカラー補正、フェード、及びジッタ除去のような画像コンテンツ編集を含む編集、
・タイトルの追加、又は選択したビデオのカットを作成テンプレートに挿入するような撮影後編集、
・本ウェーブレットフォーマットと他の一般に展開されている標準規格ベースで適切なビデオフォーマットとの間の変換を含むトランスコーディング、
・圧縮レベル、ビットレート、フレームレート、画像サイズ、及び異なる装置及び画像サイズ間の再生互換性のための圧縮フォーマットの変換、
・検索アプリケーションのためのメタデータのタグ化及び組み込み、
・保存（データベース、検索、読み出しにおける場合を含む）、
・来歴、所有権、承認及びライセンス制限の監査を含むコンテンツの管理、
の１つ以上を含むことができる。
【００５８】
ＤＣＴベースのビデオ編集及び他の処理アプリケーションの計算の複雑性は、汎用のパーソナルコンピュータ（ＰＣ）の中央演算処理装置（ＣＰＵ）に基づくサーバコンピュータの計算能力を超えうる。ある場合には、ビデオ編集及び他の処理アプリケーションは、特有のビデオアプリケーションサーバコンピュータを利用し、ビデオ処理は、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディアプロセッサ、及び再構成可能処理デバイス（ＲＰＤ）を含むがそれらに限定されない、特有のデータ処理素子の組み合わせを使用して実行できる。
【００５９】
図６は、一実施例によるＤＣＴベースのビデオ編集及び他の処理アプリケーションの計算要求を提供するために、代表的なビデオ処理及びアプリケーションサーバアーキテクチャを示している。特有ビデオデータ処理素子の数、コスト及び消費電力は、汎用ＰＣのＣＰＵに基づく標準サーバコンピュータと比較して、特有ビデオサーバの高いコスト及び消費電力へとつながる。
【００６０】
本開示の態様は、更に以下の特徴の１つ以上を有するシステムを具えることができる。
１．ビデオ符号化、復号化及び編集のための計算の複雑性を低減すること、
２．モバイルビデオアプリケーションが、特有の高価で電力を必要とするＤＳＰ又はＡＳＩＣ以外の低コストで低消費電力のＰＣのＣＰＵで動作することを可能にすること、
３．多数の特有のビデオアプリケーションサーバに代わるより少ない、高価ではないＰＣベースのサーバを可能にし、ユーザ当たりの展開稼働コストを低減すること、
４．各ビデオアプリケーションサーバによってサポートできる同時モバイルユーザ数の充分な増加を可能にすること、
５．展開したＭＭＳＣビデオアプリケーションサーバの自動無線（ＯＴＮ）ソフトウェアアップグレードをサポートすること、
６．携帯電話又はネットワークにおいてビデオトランスコーディングする必要なしに、モバイルビデオアプリケーション及びサービスの展開をサポートすること、
などである。
【００６１】
［ビデオ編集、アーカイビング、及び読み出しシステム］
一実施例において、モバイルビデオメッセージング、共有及びブロギングや、ビデオストリーミング及びビデオ通話や、モバイルデバイス上でモバイルユーザによって作成されたビデオコンテンツの作成及びマーケティングをサポートするパーソナル「メディアプロデューサ」サービスのようなＭＭＳビデオサービスは、モバイル携帯電話及び／又はＭＭＳＣアプリケーションサーバにおける自動ビデオ編集、ビデオの「撮影後編集」、及び他のビデオ処理アプリケーションの１つ以上を提供する。
【００６２】
ビデオ作成は、リソースが複数のサイトに亘って物理的に分散された分散プロセスである。例えば、放送産業において、放送業者は所定の作品及び作成後段階のものを特有のスタジオ又は間もなく実現する仮想スタジオに外注する。本開示の態様は更に、モバイルパーソナル「メディアプロデューサ」サービスのための分散仮想スタジオアプリケーションの展開を簡単化して加速する実施例を含む。
【００６３】
図７は、一実施例による、ビデオアーカイブ及び読み出し機能をサポートする要素を含む、放送アプリケーションのための分散ビデオ編集システムの機能及び要素を示している。これらのシステムは、放送事業者に分散したビデオの作成後編集に対する完全な解決策を提供する目的で設計されており、保存、読み出し及び編集機能を統合している。
【００６４】
一実施例において、本システムは、エンドユーザのためのアーカイブサーバ、編集サーバ、カタログサーバ、及び顧客ステーションを具える。本開示の態様は、単なる放送事業サービス以外に、モバイルパーソナル「メディアプロデューサ」サービスをサポートできる類似の仮想分散スタジオシステムの設計及び商用展開を単純化し、加速することを更に具える。
【００６５】
一実施例によれば、図７におけるアーカイブサーバは、低及び高ビットレートにてビデオを保存して、ビデオストリーミング及びファイル転送サービスを提供する。カタログサーバは、ビデオクリップのメタデータが保存されて索引付加されているデータベースを管理できる。顧客ステーションは、低ビットレートにて既存の材料を使用したビデオ編集ばかりでなく、ユーザがアーカイブ及び読み出し作業を行うことを可能にする。放送準備が整った最終的なビデオを作成するために、ユーザが作成した編集リストは次に編集サーバによって処理され、対応する高ビットレート素材に適用される。
【００６６】
カタログサーバは、メタデータを抽出するために、自動的にビデオアーカイブの新たなクリップの各々の低ビット版を取得し、それを前処理する。場面間の遷移を検出し、動き特性を分析することによって、ビデオクリップをより小さなセグメントに分解できる。各場面に対して、表示目的のために静止画（キーフレーム）を抽出でき、自動画像索引付加手法が可能になる。動きベクトルから、カメラ及びカメラレンズの動き（例えばパン、チルト、ズーム、静止）特性を計算できる。これらの前処理ステップは、解凍せずに低ビットレートストリーム（典型的にはＭＰＥＧ−１）上で実行される。
【００６７】
一実施例によれば、図７におけるアーカイブツールによって、ドキュメントリストがクリップ前処理アルゴリズムの結果を可視化／編集し、文字注釈を入力することを可能にする。
【００６８】
グラフィカルユーザインターフェースは、例えば、ジャーナリスト又はプログラムディレクタが、カタログサーバからの利用可能なメタデータを使用して、アーカイブからビデオ素材を読み出すことを可能にする。項目が選択されたら、それらを編集ツールに出力することが可能である。一実施例によれば、図７における検索ツールによって、文字及び視覚情報を使用してデータベースに問い合わせることが可能になる。文字のクエリーは、アーカイブ処理中に入力された所定の領域にアドレスする。視覚的クエリーは、前処理段の間に抽出されたメタデータにアドレスする。ユーザは画像例を特定し、所望のタイプのカメラ動作を規定する。
【００６９】
本開示の実施例は、更に以下を含む。
１．一実施例において、ビデオ符号化、復号化に対する計算の複雑性を低減する。
２．一実施例において、ウェーブレット変換領域におけるビデオ編集ステップ又は作業を実行する。その結果、逆ウェーブレット変換及び順方向ウェーブレット変換の計算の双方を節約し、ピクセルデータ値に対する従来の演算よりも少ないデータ項目にアクセスして変更することによって、計算の節約もできる。
３．一実施例において、モバイルビデオアプリケーションが、特有の高価で電力を必要とするＤＳＰ又はＡＳＩＣ以外の低コスト、低消費電力ＰＣのＣＰＵ上で実行することが可能になる。
４．一実施例において、より少なく、安価なＰＣベースサーバが多くの特有ビデオアプリケーションサーバに置き換わることができ、その結果、ユーザ当たりの展開及び動作コストを低減する。
５．一実施例において、オンライン編集システムの全機能の同時実行に必要な計算能力を低減し、これらの同時編集機能のソフトウェア実装を可能にする。
６．一実施例において、モバイル携帯電話、パーソナルメディアプレーヤ、ノート型コンピュータ、及びパーソナルコンピュータ上で、ＳＷクライアントによって自動ビデオ編集及び他の処理に対するエンドユーザサポートを可能にする。
７．モバイルデバイス中の撮像モジュールにおいてキャプチャできる手ぶれカメラ動き補償情報などの情報を、携帯電話デバイスの続くビデオコーデック、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は検索ビデオ再生装置の１つ以上に送信することによって可能になる、モバイルビデオサービスの端末相互間機能及び性能の更なる改良を可能にする。
【００７０】
ビデオ編集サービス、例えば「自動ビデオ編集システム」は、カメラ、撮像素子（典型的には、ＣＭＯＳ、ＣＣＤ又は類似のデバイス）の限定された低光感度、及び／又はカメラモジュールレンズに由来する歪みを補正又は訂正してビデオ記録中に発生するカメラジッタを補正するように使用することもできる。
【００７１】
一実施例において、このような情報は、次に、例えば入力ビデオデータからビデオコーデックによって別の方法で抽出できる追加の動き補償情報を提供することによって、ビデオコーデックの計算要件を更に低減するように使用することもできる。このような情報は、モバイルデバイスにおけるビデオキャプチャ中に、及びモバイルネットワークにおけるビデオ処理アプリケーションサーバ中で次に実行される編集及び更なるビデオ処理中に発生するカメラ動作を更に補償するように使用することもできる。一実施例によれば、このような情報は、モバイルネットワークにおけるビデオ処理アプリケーションサーバ中、及び／又は検索ビデオ再生装置中で次に実行される編集及び更なるビデオ処理中に、モバイルデバイス中のカメラモジュールにおいてビデオ前処理によって以前に除去されたカメラ動き効果を再形成するように使用することもできる。
【００７２】
本開示の実施例を使用して、ここでビデオとホームシネマ品質の放送（例えば３０ｆｐｓでのＶＧＡフルサイズ画像フォーマット）とを結合させるモバイルビデオサービスが市場に投入される。更に、このような多量の使用データの処理は、モバイル携帯電話における同時ビデオキャプチャ（符号化）に利用可能な計算リソース及びバッテリパワーを超える。
【００７３】
場合によっては、放送及びストリーミングアプリケーションのためのビデオコンテンツの符号化は、高複雑性符号器がコンピュータワークステーション上で動作可能なスタジオ環境で実行できる。ビデオメッセージは、携帯電話自身において同時にキャプチャされるため、それらは非常に小さなサイズで非常に低いフレームレートに限定される。
【００７４】
本開示の実施例は、モバイル携帯電話及びＭＭＳアプリケーションサーバにアプリケーションとして実装できる、より低い複雑性を有する画像アプリケーション（例えばモバイル携帯電話のためのビデオコーデッククライアント、ＭＭＳアプリケーションサーバのためのビデオ編集及び処理アプリケーション）を含み、携帯電話アーキテクチャ及びモバイル画像サービスプラットフォームアーキテクチャの複雑性が低減される。
【００７５】
本開示の実施例によれば、ビデオコーデックの解決策は、ベースバンドプロセッサ及びビデオアクセラレータのコスト、及びマルチメディア携帯電話における要件を低減又は削除する。ＯＴＡダウンロードによる製造後のコーデックをインストールできることと組み合わせて、この全てがソフトウェアによる解決策は、携帯電話開発及びビデオメッセージングサービスアーキテクチャ及び展開の双方の複雑性、リスク、及びコストを著しく低減する。テレビ電話開発時間の低減及び製品プラットフォームの柔軟性の増加は、更なるテレビ電話コストの低減をもたらす。
【００７６】
本開示によるソフトウェアビデオトランスコーダ及び編集、保存、検索、読み出しアプリケーションは、このようなアプリケーションを実行するための標準ＰＣ及びサーバの使用のみならず、展開されたＭＭＳ制御（ＭＭＳＣ）インフラの自動無線（ＯＴＮ）アップグレードを可能にする。更に、本発明のウェーブレットトランスコーダは、通信事業者に、ウェーブレットビデオフォーマットと他の標準規格ベース及び独自仕様のビデオフォーマットとの間の完全な相互運用性を与える。本発明の実施例は、送信された各々のビデオストリームに組み込まれたソフトウェア復号器を更に具え、共通の携帯電話及びＰＶビデオプレーヤ上での「自己再生」機能を可能にし、トランスコーディング全体のコスト及び複雑性を除去する。
【００７７】
一実施例において、本ビデオプラットフォームによって新たなＭＭＳサービスの迅速な展開が可能になる。本開示の幾つかの実施例は、他の既存の技術では利用不可能な処理速度及びビデオ作成精度の活用もしている。このような新たなＭＭＳサービスは、それ自身が本発明の態様である。
【００７８】
本開示のウェーブレットコーデックは、静止画及びビデオの双方を効率的に処理できる点で唯一でもあり、従って、別々のＭＰＥＧ及びＪＰＥＧコーデックを、モバイルピクチャーメール及びビデオメッセージングサービスの双方を同時にサポート可能な、単一のより低コスト及びより低消費電力の解決策で置き換えられる。本開示の実施例は、手ぶれカメラ動き補償情報のような情報を、携帯電話デバイスにおける次のビデオコーデック、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は読み出しビデオ再生デバイスと共有することによって、モバイルビデオサービスの端末相互間機能及び性能を改良することを更に含む。
【００７９】
［改良されたウェーブレットベースの画像処理］
本開示の態様は、ビデオ圧縮／解凍（コーデック）デバイスにおいて、例えばＤＣＴベースのコーデックよりも計算の複雑性を極めて小さくする３−Ｄウェーブレット変換を更に利用している。
【００８０】
本発明によれば、図８は、従来のＤＣＴ符号器技術と本開示の代表的な技術の相対的な計算要件の比較を提供している。ウェーブレット変換段のアプリケーションもまた、計算の複雑性を大きく低減させた量子化及びエントロピー符号化段の設計を可能にする。
【００８１】
一実施例によれば、図９は、本発明の態様によって可能になるビデオコーデックの計算要件の低減を示している。
【００８２】
幾つかの実施例において、ウェーブレットコーデック（例えば３−Ｄウェーブレットコーデック）は、モバイル画像アプリケーション、デバイス、及びサービスに対して、以下の１つ以上を更に具えることができる。
・対称的な低複雑性ビデオ符号化及び復号化、
・ソフトウェア及びハードウェアコーデック実装に対するより低いプロセッサ能力要件、
・ネイティブコード及びＪａｖａアプリケーションの双方として、既存の市販モバイル携帯電話と互換性があるプロセッサ要件を有する３０ｆｐｓ（又はそれ以上の）フレームレートでのＶＧＡビデオのソフトウェア符号化及び復号化、
・ＳｏＣ集積のためのより低いゲートカウントＡＳＩＣコア、
・より低いバッファメモリ要件、
・単一のコーデックによる静止画（ＪＰＥＧ）及びビデオ（ＭＰＥＧ）の双方のサポート、
・より短い画像グループ（ＧＯＰ，Ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）による簡単化されたビデオ編集（切り取り、挿入、テキストのオーバーレイ）、
・より短い画像グループによる音声コーデックとの簡単化された同期、
・より短い画像グループによる向上したビデオストリーミングに対する小さな待機時間、
・適応型レート制御、マルチキャスティング、及びジョイントソースチャネル符号化に対する堅強な拡張性、
・既存のＨＤＴＶビデオフォーマットに対する複雑性の低い性能拡張、
・一般的な携帯電話及びＰＣビデオプレーヤと互換性を有する「自己再生」ビデオメッセージを可能にするように各々の送信されたビデオストリームに組み込むことができるコンパクトなソフトウェアデコーダ（４０ｋＢ以下）、
などである。
【００８３】
幾つかの実施例において、ウェーブレット変換のアプリケーションは短い２進整数フィルタを利用する。例えば、Ｈａａｒの２〜６及び５〜３のウェーブレット及びそれらを変更したものを使用できる。
【００８４】
一実施例において、リフティング手法計算アルゴリズムを使用できる。例えば、これらのフィルタはリフティング手法を使用して計算され、面内計算を可能にする。これはレジスタ及び一時的なＲＡＭ記憶領域の使用を減少させ、キャッシュの高効率使用のために局所的な参照を維持している。
【００８５】
一実施例において、カスタマイズしたピラミッド構造を有するピラミッド形式のウェーブレット変換を使用できる。例えば、本開示の幾つかの実施例は、以前のウェーブレットレベルに由来するデータの半分に対して、ウェーブレット変換シーケンスの各レベルを計算するステップを更に含み、全体の計算をこれらのレベルの数からほぼ無関係となるようにする。一実施例において、このピラミッド構造は、上記のリフティング手法を利用して、レジスタ利用及びキャッシュメモリ帯域幅を更に節約するようにカスタマイズされる。
【００８６】
一実施例において、ブロック構造を利用できる。例えば、本開示は画像を矩形ブロックに分解して各々のブロックを互いに別々に処理し、これによりメモリ参照を局所的に維持してプロセッサのキャッシュに残っているデータを使用して変換ピラミッドの全体を扱うことができるようにすることで、ほとんどのプロセッサ内でかなりの量のデータ移動を節約できる。本発明のブロック構造は、信号フローにおいて大きな中間記憶容量の要件を防止できるため、ハードウェアの実施例において有益となりうる。
【００８７】
一実施例において、ブロック境界フィルタを使用できる。即ち本発明は、米国特許出願第１０／４１８，３６３号明細書にて説明されている、各ブロックの境界にて明瞭なアーチファクトを防止する改良されたフィルタ計算を使用する。
【００８８】
一実施例において、例えば、米国特許出願第１０／４４７，５１４号明細書で説明されている、１つのＧＯＰに対して単一の色差領域を使用して、色差一時除去を使用できる。
【００８９】
一実施例において、３−Ｄウェーブレットを使用する一時的圧縮を使用できる。即ち、代わりに本開示の所定の実施例は、領域間の一時的ウェーブレット変換を計算する。これは計算コストがずっと低い。リフティング手法を一形態において使用した短い整数フィルタも使用する。
【００９０】
一実施例において、動的量子化アルゴリズムを使用できる。即ち、本開示の所定の実施例においては、圧縮過程の量子化ステップは、係数位置の範囲に亘って一様にバイナリシフト演算を使用することによって達成される。
【００９１】
一実施例において、杭打ち（ｐｉｌｉｎｇ）アルゴリズムを使用できる。例えば、本開示の幾つかの実施例において、次のエントロピー符号器がラン・オブ・ゼロ（ｒｕｎ−ｏｆ−ｚｅｒｏ）変換を行うことによって取り扱われるデータ量が低減される。所定の実施例において、米国特許出願第１０／４４７，４５５号明細書において開示されており、並列処理アーキテクチャ上でゼロの続きを計数するために、その方法及び開示を利用している。
【００９２】
一実施例において、サイクル効率のよいエントロピー符号化を使用できる。例えば、圧縮過程のエントロピー符号化ステップは、従来の表参照（ｔａｂｌｅ ｌｏｏｋｕｐ）と入力符号に対する直接計算を組み合わせる技術とを使用して達成できる。符号の分布は特徴化されているため、ライス−ゴロム又は指数ゴロム又は２進単調（ｄｙａｄｉｃ ｍｏｎｏｔｏｎｉｃ）のような単純なエントロピー符号器を使用できる。エントロピー符号器の詳細の選択はプロセッサプラットフォーム性能に依存する。ここに内容を挿入した、米国特許出願第１０／４４７，４６７号明細書及び米国特許出願第１１／２３２，７２６号明細書に開示された方法を使用できる。
【００９３】
本願で開示する態様は、ビデオ編集プロセス又は作業をウェーブレット変換領域において実現可能にし、その結果、逆ウェーブレット変換及び順ウェーブレット変換双方の計算を節約でき、ピクセルデータ値に対する従来の演算に要求されるよりも少ないデータ項目にアクセス及び変更することによって計算の節約もできる。低減された計算を有するウェーブレット変換領域において達成されるこのようなビデオ編集プロセスの例は、更に以下を含むがそれらに限定されない。
【００９４】
１．フェード・トゥ・ブラック
一実施例において、ウェーブレット変換データ（ピクセルデータ値よりもむしろ係数）から開始し、画像の輝度ＤＣ係数を各時間ステップ毎にある量だけ減少させ、その結果、全体の明るさレベルをスムーズに黒に減少させることができる。この減少は、ＤＣレベルが完全な黒に到達したときに停止させるか、画像の全ての部分が黒に到達したと見なせるまで完全な黒を超えて継続できる。Ｄｒｏｐｌｅｔ社の現在の商用コーデックに使用されているようなブロック変換の場合、各時間ステップにてデータの約１／２５６、非ブロック化完全変換ウェーブレット実装の場合には、約１／３００，０００がアクセス及び／又は変更されることに注意されたい。
【００９５】
２．フェード・トゥ・ホワイト
一実施例によれば、これはＤＣ係数を完全な明るさレベルに向かって次第に増加させる以外は、フェード・トゥ・ブラックと同様である。
【００９６】
３．ブラーアウト
一実施例において、同一のウェーブレット変換データ係数から出発して、各々の逐次時間ステップにて、次の係数を高解像度空間から低解像度空間（ｆｉｎｅ−ｔｏ−ｃｏａｒｓｅ ｓｐａｃｅ）となる詳細の順に置き換える。この順序は、ＪＰＥＧ及びＭＰＥＧ符号化における係数の「逆ジグザグスキャン」順に対応している。最後の時間ステップにて、ＤＣ係数を中間グレーを表す値に置き換える。ブロック変換の場合、この置換は画像の各ブロック内で行われる。このプロセスは、情報が無くなるまで画像をぼかす効果を有する。各時間ステップにて、データの約１／２５６がアクセス及び／又は変更されることに注意されたい。
【００９７】
４．チェシャーフェード（詳細な細部へのフェード）
一実施例において、同一のウェーブレット変換データ係数から出発して、第１のステップにて、ＤＣ係数を中間グレーを表す値に置き換える。各逐次時間ステップにて、次の係数を高解像度空間から低解像度空間（ｆｉｎｅ−ｔｏ−ｃｏａｒｓｅ ｓｐａｃｅ）となる詳細の順に置き換える。この順序は、ＪＰＥＧ及びＭＰＥＧ符号化における係数の「逆ジグザグスキャン」順に対応している。この置換は、ブロック変換の場合、画像の各ブロック内で行われる。各時間ステップにて、データの約１／２５６がアクセス及び／又は変更されることに注意されたい。
【００９８】
５．カラー補正
同一のウェーブレット変換データ係数から出発して、色差ＤＣ係数のみを変更する。これは画像全体に亘ってカラーバランスを改良する効果を有し、データ要素の約１／２５６以下にアクセス及び変更する必要があるだけである。
【００９９】
[改良されたモバイル画像携帯電話アーキテクチャ]
本発明の一実施例によれば、図１０は、本発明の態様によって可能になるモバイル画像携帯電話アーキテクチャを示している。
【０１００】
［改良されたビデオ処理及びアプリケーションサーバアーキテクチャ］
本発明の一実施例によれば、図１１は、ビデオ処理及びアプリケーションサーバアーキテクチャを示しており、特有のデータ処理素子を含む別々のラインカードは、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディアプロセッサ、及び再構成可能処理デバイス（ＲＰＤ）を含むがそれらに限定されず、汎用のパーソナルコンピュータ（ＰＣ）中央演算処理装置（ＣＰＵ）によって置き換えられる。
【０１０１】
本開示の一実施例によれば、図１２はビデオ処理及びアプリケーションサーバアーキテクチャを示しており、本発明によるウェーブレットベースのＳＷビデオトランスコーダ及び編集、保存、検索、読み出しアプリケーションが、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、マルチメディアプロセッサ、及び再構成可能処理デバイス（ＲＰＤ）上で動作しているＤＣＴベースのビデオ処理に置き換わる。
【０１０２】
本発明の様々な実施例は、ＭＭＳアプリケーションサーバアーキテクチャを向上させる。例えば、改良されたビデオ処理及びアプリケーションサーバにおいて（図１３を参照）、ＳＷウェーブレットベースのビデオ処理及びアプリケーションに対して幾つかのオプションの実装を考慮できる。ＯＴＮダウンロードによって、サーバのマルチメディア処理セクションに撮像アプリケーションをインストールできる。この撮像アプリケーションは、サーバのマルチメディア処理セクションに、製造中、販売店にて、又は設置時にインストールすることもできる。追加のオプションも実装可能である。
【０１０３】
本開示の態様によれば、モバイルデバイス計算ＨＷ（ＡＳＩＣ，ＤＳＰ，ＲＰＤ）及び集積技術（ＳｏＣ，ＳＩＰ）における継続する進歩を利用するために、ＨＷベースの処理リソースによって幾つかの計算素子を加速させることによって、ビデオ処理及びアプリケーションサーバの性能を改善でき、コスト及び消費電力を低減できる。サーバにこれらのハードウェアベースの処理リソースを統合するために、幾つかの全てがハードウェアによるオプションを実装できる（図１４を参照）。
【０１０４】
一実施例によれば、図１５に示すように、本開示の態様によって提供されるビデオ処理アプリケーションのためのハイブリッドアーキテクチャは、幾つかの生産集約型で反復的な固定機能をＨＷに実装し、製造後及びインストール後に変更することが好ましい又は必要な機能をＳＷに実装することによって強化できる。
【０１０５】
［改良されたビデオ編集、アーカイビング、及びシステムの読み出し］
本発明の一実施例によれば、図１６は、ビデオアーカイブ及び読み出し機能をサポートする素子を含む、放送アプリケーションのための分散ビデオ編集システムの機能及び素子を示している。本開示の態様は、単なる商用放送サービスと言うよりは、むしろモバイルパーソナル「メディアプロデューサ」サービスをサポート可能な、このような仮想分散スタジオシステムのデザインを簡単化して開発を加速する。本発明の実施例は、以下の１つ以上を更に含む。
１．ビデオ符号化、復号化、及び編集に対する計算の複雑性の低減、
２．ウェーブレット変換領域におけるビデオ編集ステップ又は演算の実行、その結果、逆ウェーブレット変換及び順方向ウェーブレット変換の計算の双方を節約し、ピクセルデータ値に対する従来の演算よりもより少ないデータ項目にアクセスして変更することによって、計算の節約もできるようにする。
３．モバイルビデオアプリケーションが、特有の高価で電力を必要とするＤＳＰ又はＡＳＩＣ以外の低コスト、低消費電力のＰＣのＣＰＵで動作することを可能にすること、
４．より少なく、安価なＰＣベースサーバは、多くの特有ビデオアプリケーションサーバに置き換わることができるようにして、その結果、ユーザ当たりの展開及び動作コストを低減する。
５．オンライン編集システムの全ての同時機能の実行に必要な計算能力を低減し、これらの同時編集機能のソフトウェア実装を可能にする。
６．モバイル携帯電話、パーソナルメディアプレーヤ、ノート型コンピュータ、及びパーソナルコンピュータ上で、ＳＷクライアントによって自動ビデオ編集及び他の処理に対するエンドユーザサポートを可能にする。
７．モバイルデバイス中の撮像モジュールにおいてキャプチャできる手ぶれカメラ動き補償情報などの情報を、携帯電話デバイスの続くビデオコーデック、モバイルネットワークにおけるビデオ処理アプリケーションサーバ、及び／又は検索ビデオ再生装置の１つ以上に送信することによって可能になる、モバイルビデオサービスの端末相互間機能及び性能の更なる改良を可能にする。次に、このような情報は、例えば入力ビデオデータからビデオコーデックによって別の方法で抽出できる追加の動き補償情報を提供することによって、ビデオコーデックの計算要件を更に低減するように使用することもできる。
【０１０６】
このような情報は、モバイルデバイスにおけるビデオキャプチャ中、及びモバイルネットワークにおけるビデオ処理アプリケーションサーバ中で次に実行される編集及び更なるビデオ処理中に発生するカメラの動きを更に補償するように使用することもできる。一実施例において、このような情報は、モバイルネットワークにおけるビデオ処理アプリケーションサーバ中、及び／又は検索ビデオ再生装置中で次に実行される編集及び更なるビデオ処理中に、モバイルデバイス中のカメラモジュールにおいてビデオ前処理によって以前に除去していた可能性のあるカメラ動きの効果を再形成するように使用することもできる。
【０１０７】
本開示の実施例による、改良されたモバイル撮像サービスプラットフォームアーキテクチャは、
・モバイル携帯電話
・モバイルベースステーション（ＢＴＳ）
・ベースステーションコントローラ又はラジオネットワークコントローラ（ＢＳＣ／ＲＮＣ）
・モバイルスイッチングセンタ（ＭＳＣ）
・ゲートウェイサービスノード（ＧＳＮ）
・モバイルマルチメディアサービスコントローラ（ＭＭＳＣ）
・画像サービスダウンロードサーバ
の１つ以上を具える。
【０１０８】
ＭＭＳＣに含まれる機能（図１７を参照）は、
・ビデオゲートウェイ
・電気通信サーバ
・ＭＭＳアプリケーションサーバ
・保存サーバ
の１つ以上を具える。
【０１０９】
改良した画像サービスプラットフォームを展開するためのプロセスを含む本開示の実施例は、
プロセス１．
ビデオ編集／処理アプリケーションが展開されたＭＭＳＣを更新するのに利用可能な信号ネットワーク。更新は、自動ＯＴＮ展開又は手動手続きによってインストールできる。
プロセス２．
自動ＯＴＮ展開又は手動手続きによるビデオ編集／処理ＳＷアプリケーションのインストール及び設定（図１７を参照）。
プロセス３．
モバイルビデオ画像アプリケーションがダウンロード及びインストールに利用可能な信号ユーザ携帯電話。
プロセス４．
ユーザに承認されて取引の合意が成功裏に完了した場合に、モバイルビデオ画像アプリケーションをダウンロードし、インストールする。
プロセス５．
携帯電話アップグレードが完了した信号ネットワーク。サービス及び関連アプリケーションの起動。モバイルビデオ画像アプリケーションに対する新たな課金を反映するようにユーザの月極課金記録を更新。
【０１１０】
本開示の一実施例によれば、図１８はＳＷ復号器を送信ビデオストリームに組み込むことによって達成される「自己復号」ビデオＭＭＳ機能を示しており、トランスコーディングの必要性を除去し、既存のビデオ処理／アプリケーションサーバが本開示によって提供されるビデオフォーマットの処理を可能にする。
【０１１１】
本開示の態様によれば、図１９はビデオ処理及びアプリケーションサーバのＯＴＮアップグレードを示している。
【０１１２】
本開示の一実施例によれば、図２０はユーザ作成ビデオのデータベースの保存、検索及び読み出しのみならず、ユーザ作成ビデオの自動又は手動の編集のような、メディアプロデューササービスの展開に必要なビデオアプリケーションサーバの複雑性、コスト及び数の低減を示している。
【０１１３】
本開示の一実施例によれば、図２１は改良されたウェーブレットベースのコーデック／テレビ電話アプリケーション、及び改良されたビデオ編集／処理、及びデータベースの保存、検索及び読み出しビデオメッセージング／共有／通話プラットフォームの機能プロセスを示している。
【０１１４】
本開示の一実施例によれば、図２２は、ユーザ作成オーディオ／ビデオコンテンツの「ソフト」コピー（ダウンロード）又は「ハード」コピー（ＤＶＤ）をユーザがプレビュー、共有、購入及び販売できる革新的なパーソナルマルチメディア市場プラットフォームを展開する能力を含む、より高品質のマルチメディア携帯電話及びサービスのより早い低コストの開発及び展開に関する利点を示している。本開示により、データベース索引付加及びネットワーク（ＲＳＳ）フィードのためのより効率的なビデオ「タグ化」も可能になり、イーベイ、グーグル、ヤフー、マイクロソフト、及び他のポータルのような、既存のウェブベース市場に対するインターフェースをサポートする。
【０１１５】
本開示の一実施例によれば、図２３は、固定無線、モバイル無線、及び有線アーキテクチャを組み合わせる「集中型の」ネットワーク固定無線、モバイル無線、及び有線ネットワーク上における新たなビデオサービスを展開するための、改良されたウェーブレットベースのコーデック／テレビ電話アプリケーション、及び改良されたビデオ編集／処理、及びデータベースの保存、検索及び読み出しビデオメッセージング／共有／通話プラットフォームのアプリケーションを示している。
【０１１６】
一実施例において、本開示は、そのウェーブレットベースのモバイルビデオ画像アプリケーション、携帯電話アーキテクチャ及びサービスプラットフォームアーキテクチャを有し、より高いモバイルビデオ画像の高品質化、携帯電話のコスト及び複雑性の低減、及びサービス展開コストの低減目的を達成している。
【０１１７】
本発明の撮像についての解決策は、ビデオ編集サーバにおけるプロセッサコスト及び要件を著しく低減させる。ＯＴＮダウンロードによってビデオ編集アプリケーション作成後のインストール及びアップグレードできることと組み合わせて、このＳＷによる解決策はビデオメッセージング及び共有サービス展開の複雑性、危険性及びコストを著しく低減できる。
【０１１８】
本開示は、モバイル通信運営者に対して消費者及び企業による巨大市場の採用に必要なビデオ品質及びサービス展開コストを供給する、最初のモバイルビデオメッセージング及び共有プラットフォームを提供する。本開示は、大多数のマルチメディア携帯電話に既に組み込まれているＲＩＳＣプロセッサのみを使用して、３０フレーム／秒（ｆｐｓ）にてフル（ＶＧＡ）サイズ画像のリアルタイムキャプチャが可能なＳＷテレビ電話アプリケーションを提供する。携帯電話会社に対しては、本開示の複雑性の低いビデオ処理及び分配技術が、既存のモバイル携帯電話及びモバイルマルチメディアメッセージングサービス（ＭＭＳ）インフラを使用して面倒な初期設定なし展開可能な、強力なソフトウェアプラットフォームに組み込まれている。
【０１１９】
一実施例によれば、本開示のコンテンツ管理プラットフォームは、上記のＳＷモバイルテレビ電話アプリケーションを補完するために、本技術に従ってオンザフライ編集、サムネールプレビュー、マルチメディアメールボックス、オンラインレポジトリ、共有、及びマーケティングサービス、及び申し込み管理とともに、圧縮画像及びビデオを完全なモバイルマルチメディアメッセージ及び「着信音」に統合するためのモジュールを携帯電話会社に提供する。
【０１２０】
典型的なビデオデータセグメントは、典型的には他のタイプのデータも含んで又は組み込むことができる。このような他のデータは、ビデオとともにキャプチャされたオーディオデータを含むことができる。そのデータは、キャプチャ時刻、位置情報（ＧＰＳから得られる、携帯電話タワーの位置、カメラ画像データからの場面認識から、無線送信機（例えばＷＩＦＩ）番号など）ユーザの識別番号、モバイルデバイスの識別番号、ユーザの付加情報（サービスの問い合わせに対するユーザの応答を含み、ビデオサービスの問い合わせ、チルト、ネーミング、後に追加された注釈、オーディオデータを含む）メタデータを含む他のデータを含むこともできる。
【０１２１】
データは、ビデオキャプチャプロセスからキャプチャされた又は得られたビデオ及びオーディオデータから得られたメタデータを含むこともできる。そのデータは、追加のセンサーデバイスから得られるメタデータ、例えば、ジャイロスコープ又は角速度センサから得られるジッタデータも含むこともできる。この追加データをビデオ編集、保存、検索、読み出し、位置認識、広告の組み込み、カメラユーザへのビデオ供給、及び本出願において記載された他のサービスにおいて様々に使用できる。
【０１２２】
一実施例において、ビデオ配信はユーザの位置に基づいている。例えば、モバイルデバイス（例えば携帯電話、ブラックベリーなど）はＧＰＳ追跡機能を具えることができ、地理的に特有のビデオデータをユーザに配信するために、モバイルデバイスユーザの位置を特定できる。
【０１２３】
位置に基づくビデオは、ユーザの位置によって決定されるようなシーニックツアー（ｓｃｅｎｉｃ ｔｏｕｒ）とすることができる。例えば、ウィーンに馴染みのないイタリアにいる旅行者が、モバイルデバイスからウィーンに特定した情報を要求できる。例えば要求に応じて、及び／又はユーザの設定に基づいて、ライブツアーのストリーミングビデオを自動的にユーザに配信することができる。同様に、特定されたユーザの地理情報に基づいて、ユーザに地理的に特有のビデオテンプレートを提案及び／又は提供できる。
【０１２４】
このような動的なテンプレートの提案は、ユーザの設定に基づいて、自動的に提供、又は要求に応じて提供できる。例えば、ユーザがニューヨーク市でビデオを撮影している場合、例えば、エンパイアステートビル、自由の女神などのテンプレートをユーザに提供できる。
【０１２５】
更に、ユーザの地理的な位置に基づいて、ビデオを一層良くできる。例えば、ユーザによって撮影されたビデオを一層良くするために、ユーザの現在の位置の前もって記録されたビデオを、要求に基づいて又は自動的に提供できる。一実施例において、対象の広告、例えば、ユーザデータなどを提供できる。
【０１２６】
そのユーザデータは、地理的なデータ、年齢データ、申し込みデータとすることができる。ユーザデータは、ユーザから提供される情報、課金情報、申し込み情報、リアルタイムに収集される情報（例えば、通話記録、ユーザの地理的な位置など）などの様々なソースから収集することができる。
【０１２７】
このようなユーザデータは、対象広告を配信するために、例えばユーザの好み及び趣味などを特定するために利用できる。幾つかの実施例において、視聴した広告に対して、サービス料金割引を提供できる。
【０１２８】
本開示の１つ以上の実施例を、例えば、代表的な実施例において、以下に説明するビデオ編集サービスシステムなどのシステムにおいて実施できる。
【０１２９】
［自動化されたビデオ編集サービス（ＡＶＥＳ）システム］
本開示の好適な実施例の一例は、自動ビデオ編集サービス（ＡＶＥＳ）を含むことができる。図２４ａは、本開示に従ってＡＶＥＳの構成を具えることができる要素の可能な概略図を示している。
【０１３０】
一実施例において、ビデオ編集サービスは、ユーザの要求に応じて、例えばビデオキャプチャ機能を有する携帯デバイスによって生成されたビデオ編集サービスを提供する。そのビデオ編集サービスは、複数のビデオプロセッサへのルーティングシステムによって、複数のユーザに同時に提供できる。
【０１３１】
一実施例において、新たな処理タスクが動作していないビデオプロセッサにルーティングされるように、又はより少ないタスクキューを有するプロセッサにルーティングされるように、ルータは１つ以上のビデオプロセッサの動作状況を追跡する。このように複数のビデオ処理タスクを同時に行うことができる。
【０１３２】
一実施例において、ビデオ編集サービスは、モバイルデバイスによって、ユーザに１つ以上のテンプレートを提供する。この１つ以上のテンプレートは、モバイルデバイス上に予め保存できる。幾つかの実施例において、例えばユーザの要求に基づいて、又はユーザの設定に基づいて自動的になど、このテンプレートをモバイルデバイスによってダウンロードできる。幾つかの実施例において、このテンプレートをユーザ特定データに基づいて提供でき、このデータは、例えばＧＰＳ機能、携帯電話タワーによって得られる三角測量データ、ユーザ申し込みデータなどの多くのプロセスの１つによって収集できる。一実施例において、このテンプレートをユーザに有料で提供する。
【０１３３】
ビデオ編集に対する要求は、ユーザによって選択される、ビデオクリップ及びテンプレートを含むことができる。要求を送信する前に、ビデオはユーザが切り取ることができる。ビデオ編集要件を受信したときに、ビデオサーバはその要求を処理し、ユーザによって指定された編集を実行する。この編集は、ユーザによって選択されたテンプレートに関係したビデオ編集を使用することを含むことができる。
【０１３４】
編集されたビデオの少なくとも一部は、編集の同時検査が可能なように、ユーザに送り返すことができる。ユーザが編集の承認を示したときに、編集されたビデオの完全な長さのバージョンをモバイルデバイスに送り返すことができる。一実施例において、ユーザの要求にて、編集されたビデオをモバイルデバイスによって受信される複数の受信者に送信することができる。幾つかの実施例において、ユーザの設定、例えば特定のテーマに関するビデオを受信するような設定に基づいて、編集したビデオを複数のユーザに提供できる。
【０１３５】
図２４ａを参照して、ＡＶＥＳは、ビデオ編集サービスクライアント（ＶＥＳクライアント）２４１０を具えることができる。ＶＥＳクライアントは、設計された如何なるモバイル基本ソフト上でも動作可能なモバイルアプリケーションを含むことができる。ＶＥＳクライアントは、符号化されるビデオを送信して編集するように、ＡＶＥＳと相互作用するアプリケーションを含むことが好ましい。本発明の一実施例に従って、ＶＥＳクライアントはＷｉＦｉを介してＡＶＥＳと接続できる。ＶＥＳクライアントとＡＶＥＳとを接続するように、既知の方法、又は将来開発される他の方法を使用することができる。
【０１３６】
ＶＥＳクライアントは多くの機能を具えることができる。この機能は、タイトルスクリーン（例えば、ビデオを送信する／編集する、マイフレンド、マイスタジオ、マイビデオなどのオプションを含むことができる）、１つ以上のビデオを選択する能力、ＭＰ３またはＷＭＡオーディオトラックを有するＡＶＩコンテナのサポート、トリミング能力（つまり、ビデオをある長さに切り取る）、トリミングされた（つまり切り取られた）ビデオのプレビュー能力、トリミングをやり直す能力、ビデオにタイトルを付ける能力、起動されたテンプレートを示す、複数のビデオをつなぎ合わせる、ビデオ及び／又はオーディオシーケンスをＡＶＥＳに送信する、編集して得られたファイルをプレビューする（幾つかの実施例において、このプレビューはビデオアップロード開始から１０秒以内に開始できる）、ユーザの関係に従って受信者リストを表示する（ウェブサイトを通して管理できる）、所望の受信者の電話番号及び／又は電子メールアドレスの入力を直接受信する機能、及びＶＥＳクライアントからＡＶＥＳに送信された最近のＮ個のビデオの要約を示す（ここでＮはどの整数であってもよい）、の１つ以上を含むがこれらに限定されない。一実施例において、ビデオ圧縮にウェーブレットコーデック（例えば３−Ｄウェーブレットコーデック）を使用できる。
【０１３７】
一実施例において、ＡＶＥＳは１つ以上のサービススイッチポイント（ＳＳＰ）２４２０を具える。図２４ｂはＮ個のＶＥＳクライアント及びＸ個のＴＰ（ここでＮ及びＸは互いに一致してもしなくてもよい整数である）に接続されたＳＳＰの代表的な実施例を示している。ＳＳＰは着信してくるクライアント接続を扱い、それらをビデオ編集に利用可能なテンプレートプロセッサに割り当てるスイッチを具えることができる。ＳＳＰは負荷分散を行うことができ、接続できる同時ＶＥＳクライアントの数を常に見積もるために、例えば、テンプレートプロセッサ又はテンプレートプロセッサのアレイに分散ネットワークを形成できる。
【０１３８】
ＳＳＰは多くの機能を含むことができる。この機能は、１つ以上のＶＥＳクライアント及び１つ以上のＳＳＰに接続する１つ以上のテンプレートプロセッサ接続を処理することの１つ以上を具えるがそれらに限定されない。ＳＳＰは、設定ファイルにおけるパラメータ値を指定することによって設定できる。
【０１３９】
一実施例において、システムはユーザログインを承認し、ＡＶＥＳデータベースにおいてログインが正当どうかを判断できる。一実施例において、システムはＶＥＳクライアント編集要求を処理するための利用可能なテンプレートプロセッサが存在するかどうかを判断できる。一実施例において、決定されたテンプレートプロセッサステータスに基づいて、ビジーステータスをＶＥＳクライアントに伝達できる。一実施例において、システムはＡＶＥＳデータベースから接続及び／又はテンプレート情報を得て、この情報をＶＥＳクライアントに送信できる。一実施例において、システムはＶＥＳクライアントから編集要求を受信し、この情報をデータベースに保存する。一実施例において、システムはテンプレート及び編集情報を１つにまとめて、ＶＥＳクライアントからデータチャンクを受信し、そのデータチャンクをテンプレートプロセッサに転送できる。
【０１４０】
一実施例において、システムはこのユーザによってアップロードされた既定の数のビデオ（例えば最近の１０個のビデオ）の要約をＡＶＥＳデータベースから得て、この情報をＶＥＳクライアントに送信することができ、システムは更にＶＥＳクライアントからプレビュー要求を受信し、その要求をテンプレートプロセッサに転送し、テンプレートプロセッサからプレビューのためのデータストリーム（例えばＡＶＩデータストリーム）を受信してＶＥＳクライアントに転送し、システムは更に、ＶＥＳクライアントから「プレビュースキップ」を受信してテンプレートプロセッサに通知することができる。
【０１４１】
一実施例において、システムは新たに予定されたジョブを特定するため、例えば、テンプレートプロセッサのプロセスを管理するために（例えば開始又は破棄する）、ＡＶＥＳデータベースをスキャンできる。一実施例において、システムは、ビデオが編集された後に、新たなビデオ通知を受信者に送信することができる。
【０１４２】
ＡＶＥＳは、１つ以上のテンプレートプロセッサ（ＴＰ）２４３０を具えることもできる。このＴＰはＳＳＰから編集要求を受信できる。例えば、処理のために編集要求をＴＰに送信でき、ＴＰは、編集されるビデオが構成されているのと同時にＶＥＳクライアントにストリームバックするために、ビデオの縮小されたプレビュー版を提供することもできる。一実施例において、ＴＰは更に、ユーザが非常に多くの記憶領域を消費するのを防止するために、各ユーザのディスク使用量を表示できる。
【０１４３】
ＴＰはＡＶＥＳのビデオ編集プロセス、又はその一部を遂行するように特に設定されているソフトウェアシステムを具えることができる。複数の別々のＴＰは、同一のハードウェアプラットフォーム上で同時に動作し、同一のプロセッサ、又はプロセッサのセットを共有できる。ＳＳＰがＶＥＳクライアントの要求を利用可能な１つのＴＰに誘導するように、ＴＰをアレイ中に構成できる。こうしてこのアーキテクチャは高度な拡張性を有し、各プラットフォームで利用可能な複数のソフトウェアＴＰエンジンを有する比較的低コストの一般的なプラットフォーム（つまりオーダーメイドのビデオ編集ハードウェアプラットフォームではない）を使用して構成できる。各ハードウェアプラットフォームは自身のＳＳＰを有することができ、又は幾つかの実施例においては、１つのハードウェアプラットフォーム上の１つのＳＳＰが、異なるハードウェアプラットフォーム上でＴＰと機能的に動作できる。
【０１４４】
ＴＰは多くの機能を具えることができる。この機能は、ＳＳＰから編集情報を受信すること（例えば、編集されたビデオを生成するように使用される他のメタデータに加えて、編集情報はビデオ編集テンプレートのＸＭＬ記述を含むことができる）、得られたビデオをどのように構成するかを決定するために編集情報を分析すること、の１つ以上を具えることができるが、これらに限定されない。
【０１４５】
本開示の一実施例において、ＳＳＰからアップロードされた（ＡＶＩであってよい）データストリームを受信できる。一実施例において、元の生データファイルをアップロードされるビデオのために保存できる。更に、ＡＶＩファイルからのビデオ及び音声を分配できる。更なる実施例は、編集されたビデオ及び音声を受信するステップと（ＴＰは関係するテンプレートに含まれる情報によって指示できる）、再多重化するステップと、及び／又は編集されたデータをＡＶＩファイルとして保存するステップとを含むことができる。
【０１４６】
一実施例は更に、ビデオをアップロードされたフィードの開始又は最後部分につなぎ合わせる、複数のビデオをつなぎ合わせる、ターゲットの編集したビデオとは異なる解像度を有する静止画を中心に合わせる又は合うように伸縮する、オーディオトラックを混合する、選択したテンプレートに従って、又は場面の遷移を分析することによって、ビデオセグメント間のある遷移効果を生成する（遷移効果は、幾つかある可能性の中から、ワイプ、クロスフェード、分解、フライ、誇張、ブラインド、チェッカー、及び出現、を具えることができる）、ビデオセグメントをブラックアンドホワイト、又はセピアに変換、ビデオにタイムスタンプ、日付スタンプ、及び／又は位置スタンプを追加する、編集したビデオからスライドショーを形成する、プレビューのＡＶＩストリームを生成する（ビデオは低減したフレームサイズ及びフレームレートを含むことができる）能力の１つ以上を具えることができる。
【０１４７】
本発明の実施例は更に、以下の能力の１つ以上を具える。即ち、ＳＳＰから「プレビュー」要求を受信し、次にプレビュービデオデータストリームを送り返す、ＳＳＰから「プレビュースキップ」を受信して次にプレビューストリームの生成を停止する、ユーザがどのテンプレートを選択したかに従って幾つかのメディアオブジェクトをＡＶＩファイルにまとめる、ビデオ及び音声効果を適用する（これはユーザが選択したテンプレートに基づくができる）、ビデオセグメントに対してカラーモーフィングする、ビデオセグメントに対してブラックアンドホワイト変換を適用する、ビデオセグメントに対してアニメーション及び背景のオーバーレイをサポートする、及び／又はビデオセグメントに対してテキストキャプションを挿入する能力である。
【０１４８】
ＡＶＥＳはウェブサイト２４４０を具えることもできる。ウェブサイトは、自身のビデオのリストを見るためにユーザが使用できる。例えば、ビデオはユーザが作成するか、別のユーザがそのユーザに送信できる。ウェブサイトは、アクセス情報を編集し、テンプレートを起動し、そしてメディアを起動するためにユーザが使用することもできる。一実施例によれば、ウェブサイトはユーザに、友人にビデオを見るように誘う、テンプレートエディタを起動する、オーディオトラックを起動する、位置によってビデオを表示する、アップロード又はユーザに送信されたビデオのリストを表示する、新たなテンプレートを購入する、及びユーザにアクセスリストの維持を可能にする能力の１つ以上を提供することもできる。
【０１４９】
ＡＶＥＳはテンプレートエディタ（ＴＥ）２４５０を更に具えることもできる。一実施例において、ＴＥはカスタムテンプレートを作成するために使用されるツールである。テンプレートエディタはフラッシュベースとすることができ、ユーザのブラウザにおいて動作できる。一実施例において、ＴＥはインターネット、又はＬＡＮ、ＷＡＮなどの他のタイプのネットワークを越えてＡＶＥＳとやりとりすることができる。
【０１５０】
幾つかの実施例において、ＴＥは、遷移効果コンポーネント、背景音楽、及び／又は静止画を含むビデオセグメントを構成できるテンプレートを作成する、メディアをテンプレートに加える、オーディオトラックを混合する、画像、オーディオトラック、及び／又はビデオ素材を混合する、２つのビデオセグメント間に遷移効果を挿入する、特性を画像にセットする（例えば画像が中心に位置させる又は合わせるために伸縮させる必要が有る場合のような）、静止画を表示して遷移するための持続時間、ビデオ枠をテンプレートに挿入する、生成したテンプレートをＡＶＥＳにアップロードする、テンプレートがどのように機能するかプレビューする、例えば、カラーモーフィング、アニメーション、背景オーバーレイ、及び／又はテキストの見出しなどの各ビデオ及び音声に対する特性をセットする、オーディオトラックが他のトラックにオーバーレイするウェイトをセットする、そしてユーザが起動したテンプレートを表示する、の１つ以上のサービスを更に提供する。
【０１５１】
ＡＶＥＳは、ＡＶＥＳデータベースにアクセスできるように、ウェブサイト及びＴＥによって使用されるＰＨＰファイルのセットからなるＰＨＰサービス２４６０を具えることもできる。これらのＰＨＰファイルは、受信ＰＣアプリケーションに対して、いつ新しいビデオが利用可能になったかについての通知を得るためのサポートを提供することもできる。
【０１５２】
ＡＶＥＳは、受信ＰＣアプリケーション（受信アプリ）を具えることもできる。受信アプリは、ユーザがサーバに新しいビデオを送信したかどうかを定期的に調査するアプリケーションである。ログインするためにユーザｉｄ及びパスワードを要求するようにセットアップできる。新しいビデオが到着したときにウェブサイトを起動するように使用して、ウェーブレットコーデック（例えば３Ｄウェーブレットコーデック）がインストールされたかどうか検出することもできる。更に、コーデックが存在しない場合には、受信ＰＣがコーデックをインストールできる。コーデックはサーバから得られる。
【０１５３】
ＡＢＥＳはデータベース２４７０を具えることもできる。ＡＶＥＳデータベースは、アイテムの中でも、ユーザアカウント、アップロードされたビデオ、編集されたビデオ、メディア、テンプレート、及びＴＥからのスケジュールされたジョブに関する情報を保持するように構成できる。このデータベースは、所望の如何なる情報をも保存するように構成できることに注意されたい。
【０１５４】
［ＡＶＥＳのセットアップ例］
この例は、本発明の代表的な実施例のアーキテクチャのセットアップ及び利用パターンの例を示している。
【０１５５】
（ＶＥＳクライアント）
１．ＶＥＳクライアントは、ローカルの設定ファイルからサーバ情報を得て、ＡＶＥＳに接続するためにこの情報を使用する。これは自動的に処理できるので、ユーザはサーバのＩＰアドレス情報を構成する必要はない。
２．ユーザが初めてＡＶＥＳにログインする場合、彼／彼女は彼／彼女の電話番号を入力しなければならない。以降、ＶＥＳクライアントは、この保存された番号を自動的にログインするために使用できる。
３．携帯電話番号がＡＶＥＳに既知の場合には、ログインは成功する。
４．ＡＶＥＳにログイン後、ＡＶＥＳはテンプレートリスト及び受信者リストをＶＥＳクライアントに返送する。
５．ユーザは、テンプレートリストから起動したテンプレートを選択して、ローカルシステム中の幾つかのビデオを選択して、更に要すればそれらの幾つかをトリミングできる。（トリミング作業は他のサブウィンドウ中に実装でき、ユーザは選択したビデオの開始点及び終了点をセットでき、選択した２つの点を使用してビデオをトリミングできる。）ユーザは、選択したビデオを満足するまで繰り返しトリミングできる。
６．既定のテンプレートに対して、ユーザはテンプレート中のスロット数と同数のビデオを選択できる。スロットが幾つのクリップを含んでいるかを示すインジケータがブラケット中に存在できる。
７．ユーザは、アップロードする前にビデオのタイトルを提供することもできる。
８．ＶＥＳクライアントは、選択したトリミングされたビデオをＡＶＥＳにアップロードできる。
９．ユーザは、アップロードしている間に、編集したビデオをプレビューできる。ユーザはプレビューを直接キャンセル又はスキップすることもできる。
１０．アップロードの完了後に、又はユーザがプレビューをスキップする場合に、ユーザは自らの連絡先リストから関係者（ｃｏｎｔａｃｔ)を選択することによって、誰が編集したビデオを受信するか決定できる。ユーザは、電話から自らの関係者を管理できる。
１１．編集したビデオを受信者に送信したあと、ＶＥＳクライアントは、このユーザによってアップロードされた最近の１０個のビデオを公開することができる。
１２．ユーザはＶＥＳクライアント内のホームスクリーンに戻ることができる。
【０１５６】
［ＳＳＰ（サービススイッチポイント）］
ＶＥＳクライアントに対して
１．ＶＥＳクライアントは、ＳＳＰに接続してその携帯電話番号を送信する。ＳＳＰはその携帯電話番号がデータベースに存在するかどうかを確認できる。
２．番号が存在しない場合、アカウントのためにサインアップする必要があることがユーザに通知される。
３．ログイン後、ＳＳＰはテンプレートのユーザリストを読み出し、ＡＶＥＳデータベースから情報に接触し、それらをＶＥＳクライアントに送信することができる。
４．次にＳＳＰはＶＥＳクライアントから編集情報を読み出すことができる。
５．ＳＳＰはＡＶＥＳデータベースから選択したテンプレートの詳細を読み出すことができる。次にＳＳＰはテンプレート及び編集情報を１つにまとめ、この編集情報をＡＶＥＳデータベースに保存できる。
６．次にＳＳＰは、１つにまとめられた情報を対応するＴＰに送信する。
７．次にＳＳＰは、ＶＥＳクライアントから到着するデータストリームを受信して、そのデータを直接ＴＰに転送できる。
８．ＳＳＰはＶＥＳクライアントからプレビュー要求を受信できる。次にＳＳＰは対応するＴＰにビデオデータストリームを送り返すように命令する。
９．次にＳＳＰはＴＰからビデオデータストリームを受信して、それをＶＥＳクライアントに転送できる。
１０．ＴＰは、編集処理が終了したときにＳＳＰに通知できる。ＳＳＰはＶＥＳクライアントに編集処理が終了し、データベースに注記することを通知できる。
１１．ＳＳＰは、ＶＥＳクライアントからタイトル及び受信者情報を受信して、この情報をデータベースに保存することができる。
１２．ＳＳＰはＶＥＳクライアントからヒストリ要求を受信して、次に対応するユーザによって作成された最近の１０個のビデオを返送することができる。
１３．処理全体が完了したあと、ＳＳＰはＡＶＥＳ中の読み出した全てのデータを削除できる（編集処理の間に使用された一時的ビデオファイルやデータベースの記録事項）
【０１５７】
［ＴＥに対して］
１．ＳＳＰは、スケジュールされた「トライ・イット・ナウ」ジョブテーブルを定期的にチェックする。
２．待ち状態のジョブが存在する場合、ＳＳＰはそのジョブに対してＴＰが利用可能かどうかチェックできる。利用可能なＴＰが存在しない場合、ジョブは利用可能なＴＰが出現するまで保留される。
３．ＳＳＰはジョブに関する情報を読み、新たに作成されたテンプレートをデータベースから読み出すことができる。次にＳＳＰはテンプレート及びジョブのメタデータを１つにまとめることができる。
４．ＳＳＰは１つにまとめられたジョブ情報をＴＰに送信できる。
５．ＴＰが処理を完了したあと、ＴＰはＳＳＰに通知できる。次にＳＳＰは、データベースを更新することによって、ウェブサイトに処理が完了したことを通知できる。
６．処理全体が完了したあと、ＳＳＰはＡＶＥＳ中の読み出した全ての情報を削除できる。
【０１５８】
［ＴＰ（テンプレートプロセッサ）］
１．ＴＰは、１つにまとめられたテンプレートを読み出し、分析することができる。
２．ＴＰは、アップロードされたビデオデータストリームを読み出し、それを元ファイルとして保存できる。
３．ＴＰは、そのデータストリームを分析されたテンプレートに従って編集できる。
４．ＴＰは、結果を編集したファイルとして保存できる。
５．ＴＰは、プレビューのためのビデオを作成できる（プレビューはメモリ中に保存される）。
６．ＴＰは、プレビュー要求を受信し、次にプレビューストリームをＳＳＰに返送できる。
７．ＴＰがプレビューをスキップする要求を受信した場合には、次にＴＰはプレビューデータストリームの作成を停止して、メモリ中の全てのプレビューのデータチャンクを削除することができる。
８．ＴＰの処理が完了したあと、ＴＰはＳＳＰに通知できる。
【０１５９】
［ウェブサイト］
ウェブサイトは、そのサイトにアクセスするのがユーザか又は管理者かによって異なるオプションを有することができる。ウェブサイトはユーザ及び管理者の双方をログイン及びログアウトさせる能力を有することができる。
【０１６０】
ユーザに対しては、ウェブサイトは、登録、関係者の管理、ビデオ管理（例えば送信されたビデオ、受信したビデオ、アップロードしたビデオを見るなど）、メディア管理（例えば、音楽を見る、音楽を購入する、背景画像を見る、背景画像を購入する、テンプレートを見る、テンプレートを購入するなど）、新しいテンプレートを作成する能力を提供できる。
【０１６１】
管理者に対しては、ウェブサイトはメディア管理（例えば、音楽を作成、音楽を削除、背景画像の作成、背景画像の削除など）、及びテンプレート管理（例えば、テンプレートの作成及び削除）の能力を提供できる。
【０１６２】
［ＴＥ（テンプレートエディタ）］
１．ユーザはウェブサイトからＴＥを起動できる。
２．ユーザは静止画、ビデオ、遷移効果などを時系列に追加できる。
３．ユーザは、背景音楽（及びその持続時間）を時系列にビデオスロットにセットできる。
４．テンプレートの編集が完了したあと、ユーザはそのテンプレートをＡＶＥＳにアップロードできる。
５．テンプレートをアップロードしたあと、ユーザは「トライ・イット・ナウ」をクリックすることによって効果をプレビューできる。
６．「トライ・イット・ナウ」は、テンプレートの開いたスロットの各々に対して、ユーザに既にＡＶＥＳにアップロードされたビデオを選択するように指示できる。
７．「トライ・イット・ナウ」ジョブが完了したとき、ユーザは最終結果をウェブサイトから見ることができる。
【０１６３】
［受信アプリ］
１．ウィンドウズ（登録商標）が起動したときに受信アプリを起動できる。
２．受信アプリが起動したときに、ログインのダイアログボックスがポップアップする（これは、ユーザログイン情報がキャッシュに格納されたあと、初回のみ発生する）。
３．ユーザは、ログインのための自身のドロップレットＩＤ及びパスワードを入力する。
４．次に受信アプリはウェブサイトに接続する。
５．受信アプリは、現在のユーザに対する編集されたビデオが存在するかどうかを定期的にチェックできる。
６．現在のユーザに対する編集されたビデオが存在する場合、受信アプリはバルーン通知をポップアップさせる。
７．ユーザがバルーンをクリックした場合、ウェブサイトが起動できる。
８．ウェブサイトを開くために、ユーザは、ウィンドウズ（登録商標）のステータスバーにおける受信アプリアイコンを右クリックできる。
【０１６４】
［接続］
分配システムとして、ＡＶＥＳ構成要素は、一方をＴＣＰに基づく方法、他方をＨＴＴＰに基づく方法の２つの方法によって接続できる。
【０１６５】
［ＶＥＳクライアント及びＳＳＰ］
ＶＥＳクライアント及びＳＳＰ間の接続は、ソケット及びＴＣＰベースとすることができる。どのＶＥＳクライアント及びＳＳＰ間にも２つの接続が存在しうる。一方は、命令のためのもので、プライベートバイナリプロトコルに基づいている。他方はデータストリームのプレビューのためのものである。
【０１６６】
［ＳＳＰ及びＴＰ］
ＳＳＰ及びＴＰ間の接続はソケット及びＴＣＰに基づくことができる。ＳＳＰ及びどの既定のＴＰ間にも２つの接続が存在する。一方は、ＳＳＰからＴＰへメッセージを送信するためのものである。他方はＴＰからＳＳＰへのプレビューデータストリームを受信するためのものである。これらのメッセージはプライベートバイナリプロトコルに基づくことができる。
【０１６７】
［ＴＥ及びＰＨＰサービス］
ＴＥ及びＰＨＰサービス間の接続はＨＴＴＰベースとすることができる。これらの接続はプライベートＨＴＴＰプロトコルの基づくことができる。
【０１６８】
受信アプリ及びＰＨＰサービス
受信アプリ及びＰＨＰサービス間の接続はＨＴＴＰベースとすることができる。これらの接続はプライベートＨＴＴＰプロトコルに基づくことができる。
【０１６９】
［ログイン及びアップロード処理］
図２５を参照するに、以下は、ＡＶＥＳのログイン及びアップロード処理に関係する本発明の代表的な実施例の動作フローの例である。
１．ＶＥＳクライアントは、ＳＳＰに携帯電話番号とともにログインメッセージを送信する。
２．ＳＳＰはデータベースを確認して携帯電話番号に一致する記録があるかどうかを見る。
３．ＳＳＰはＶＥＳクライアントが利用可能なＴＰが存在するかどうかを確認する。
４．携帯電話番号が一致して利用可能なＴＰが存在する場合、ログインが成功する。次にＳＳＰはＶＥＳクライアントは、データベースからテンプレート及び関係者情報を取得する。
５．ＳＳＰはテンプレート及び関係者情報をＶＥＳクライアントに返送する。
６．ユーザはテンプレート及びビデオを選択して、選択したビデオをトリミングできる。
７．ＶＥＳクライアントは編集情報をＳＳＰに送信する。
８．ＳＳＰは、要求のための対応するテンプレートの詳細をデータベースから取得して、そのテンプレートを編集情報とともに１つにまとめ、この編集情報をデータベースに保存する。
９．ＳＳＰは１つにまとめられたテンプレートをＴＰに送信する。
【０１７０】
［アップロード及びプレビュー］
図２５を参照するに、以下は、ＡＶＥＳのアップロード及びプレビュー処理に関係する、本発明の代表的な実施例の動作フローの例である。
１．ＳＳＰは受信ビデオのデータチャンクをＴＰに送信する。
２．ＴＰはこれらのデータチャンクを元ビデオファイルとして保存する。
３．ＴＰはこれらのチャンクを対応するテンプレートに従って編集する。
４．ＴＰは編集されたチャンクを編集されたビデオファイルとして保存する。
５．ＴＰはチャンクをプレビューのために生成する。
６．ユーザはいつプレビューが開始するか決定することができる。ＳＳＰはプレビュー要求をユーザから受信し、次にプレビューを開始するようにＴＰと通信する。
７．ＴＰはプレビューチャンクをＳＳＰに送信する。
８．ＳＳＰはプレビューチャンクをＶＥＳクライアントに送信する。
９．ＶＥＳクライアントは、これらのチャンクをビデオとしてウィンドウズメディアプレーヤ内に表示する。
１０．ユーザはプレビューをスキップ又はその終了を待つことができる。
１１．ユーザがプレビューをスキップする場合、ＳＳＰはＴＰにプレビューを停止させる。
１２．編集が完了したあと、ＴＰはＳＳＰに編集が完了したことを通知する。
１３．ＳＳＰは必要な情報をデータベースに保存し、データベースを整理する。
【０１７１】
［アップロード後］
図２７を参照すると、以下は、ＡＶＥＳのログイン及びアップロード後に発生する処理に関係する、本発明の代表的な実施例の動作フローの例である。
１．ユーザは編集したビデオを受信する受信者を選択できる。
２．ＶＥＳクライアントが、選択したタイトル及び受信者情報をＳＳＰに送信する。
３．ＳＳＰがこれらの受信者情報をデータベース中に保存する。
４．ＶＥＳクライアントがアップロードした最近の１０個のファイルのヒストリを要求する。
５．ＳＳＰがデータベースからヒストリを取得する。
６．ＳＳＰはヒストリをＶＥＳクライアントに返送する。
７．ＶＥＳクライアントがヒストリを表示する。
【０１７２】
［受信］
図２８を参照すると、以下は、ＡＶＥＳの受信処理に関係する、本発明の代表的な実施例の作業フローの例である。
１．受信アプリが起動したとき、ログインダイアログボックスがポップアップする。
２．ユーザがｉｄ及びパスワードを入力する。
３．受信アプリがＰＨＰページを問い合わせる。
４．ＰＨＰページはデータベースをチェックし、ユーザに送信されたビデオがあるかどうかを確認する。
５．ログインが成功した場合、ウェブサイトが起動する。
６．ユーザに送信された新たなビデオが存在する場合、インジケータがポップアップする。
７．ユーザはウェブサイトに行くためにインジケータを確認できる。
８．ウェブサイトにおいて、ユーザはビデオリスト又は利用可能なビデオの案内図を確認できる。
９．ウェブサイトに行くために、ユーザはデスクトップコンピュータ上のアプリケーションクリックすることもできる。
【０１７３】
［ログイン、編集及びテンプレートのアップロード］
図２９を参照するに、以下はＡＶＥＳのログイン、編集及びテンプレートのアップロードに関係する、本発明の代表的な実施例の動作フローの例である。
【０１７４】
［編集］
１．ユーザがテンプレートを作成したとき、メディア要素をテンプレートに挿入できる。これらの要素は、タイトル、静止画、ビデオ、音楽トラック、場面の遷移効果などを含むことができる。
２．ユーザが、要素に対するメディアのリソース（例えば画像ファイル）を指定したい場合、ＴＥはＰＨＰサービスに利用可能なリソースリストの要求を送信する。
３．ＰＨＰサービスはその要求を受信して、利用可能なリソースを見つけるためにデータメースに問い合わせる。次にＰＨＰサービスはこのリストをＴＥに返送する。
４．ユーザはこのリストからリソースを選択できる。
【０１７５】
［テンプレートのアップロード］
１．ユーザがテンプレートの作成を完了したあと、このテンプレートをアップロードするように「アップロード（Ｕｐｌｏａｄ）」ボタンをクリックできる。
２．アップロード要求がＰＨＰサービスに送信される。
３．ＰＨＰサービスはテンプレートスクリプトを受信してデータベース中に記録する。
【０１７６】
［トライ・イット・ナウ］
図３０を参照するに、以下は、ＡＶＥＳテンプレートに対するトライ・イット・ナウに関係する本発明の代表的な実施例の動作フローの例である。
１．ユーザは、「トライ・イット・ナウ（Ｔｒｙ Ｉｔ ＮＯＷ）」ボタンをクリックすることによって、新たに作成されたテンプレートを試すことができる。
２．サーバ上にある利用可能なビデオを問い合わせるために、要求がＰＨＰサービスに送信される。ＰＨＰサービスはＴＥにビデオ情報リストを返送する。
３．ポップアップウィンドウはこれらのビデオを一覧表にする。ユーザはテンプレート中のスロットに対して、リストから適切な数のビデオファイルを選択する。
４．ＴＥは編集要求をＰＨＰサービスに提示する。
５．ＰＨＰは、このジョブをデータベースに加えることによって、新しいジョブをスケジューリングする。
６．新たにスケジューリングされたジョブが存在するかどうかを確認するために、ＳＳＰは定期的にデータベースを調査する。新たにスケジューリングされたジョブを見つけた場合、それを実行するために利用可能なＴＰを探す。利用可能なＴＰが見つかった場合には、このＴＰはそのジョブを処理し、さもなければ、ＴＥはＴＰが利用可能になるまで待機しなければならない。ＴＰが処理し終えたあと、ＳＳＰはこの新しいジョブを削除し、新たなレコードを結果表に加える。
７．ユーザは、ウェブページ上のビデオリストを確認することによって、ビデオがいつ利用可能かどうかを決定できる。
８．編集プロセスが完了したあと、ユーザはビデオリストページにおいて、編集するビデオのための対応するリンクをクリックできる。これによりプレビューを起動する。
【０１７７】
［ユーザの使用例］
図３１〜５５を参照して、本発明の好適な実施例を使用して使用例を説明する。
【０１７８】
図３１は、本発明の一実施例によるユーザナビゲーションマップの例を示している。
【０１７９】
図３２は、ＶＥＳクライアントのタイトル画面及びホームページの例を示している。図３２に示された実施例において、ホーム画面は、ビデオ送信／編集、マイフレンド、マイスタジオ、及びマイビデオの４つのボタンを有している。
【０１８０】
ビデオ送信／編集ボタンを押すと、ユーザは「ビデオテンプレート選択」ページに案内され、その例が図３３ａ及び３３ｂに示されている。このページにより、ユーザはビデオ及びテンプレートを選択できる。図３３ａ及び３３ｂに図示された可能なボタンの説明は以下の通りである。即ち、
スクリプト（Ｓｃｒｉｐｔ）：使用するスクリプトを選択する。
ビデオリスト（Ｖｉｄｅｏ Ｃｌｉｐ Ｌｉｓｔ）：選択した全てのビデオを一覧表にする。
追加（Ａｄｄ）：ビデオをリストに追加する。
タイトル（Ｔｉｔｌｅ）：ビデオに対するタイトルを付加する。
上げる：位置を１つ上げる。
下げる：位置を１つ下げる。
削除：ビデオを「ビデオリスト」から削除する。
トリム（Ｔｒｉｍ）：選択したビデオをトリミングするようにビデオトリム画面を起動する。トリミングされたビデオは、その隣にトリムアイコンを有している。
アントリム（Ｕｎｔｒｉｍ）：０にて開始し、最後のフレームにて終了するように、フレームポインタをリセットする。
【０１８１】
［再生：ビデオのプレビュー］
図３３ａ及び３３ｂに示された画面から可能なシナリオを以下に説明する：
１．ユーザはスクリプトを選択できる。
２．ビデオを追加するために、ユーザは「追加」ボタンをクリックできる。
３．ユーザは選択したビデオの順序をセットする。（ユーザは「ビデオリスト」からビデオを選択して、位置を上に移動させるために「上げる」ボタンを押す。ユーザは「ビデオリスト（Ｖｉｄｅｏ Ｃｌｉｐ Ｌｉｓｔ）」からビデオを選択して、位置を下げるために「下げる」ボタンを押すこともできる）
４．ユーザは「ビデオリスト」からビデオを選択して、「ビデオリスト」からビデオを削除するために「削除」ボタンを押すことができる。
５．ユーザは「ビデオリスト」からビデオを選択して、ビデオをトリミングするために、「ビデオトリム」ページをポップアップさせるように「トリム」ボタンをクリックできる。
６．ユーザは、「ビデオリスト」からトリミングされたビデオを選択して、トリミングをキャンセルするために「アントリム」ボタンをクリックできる。
７．ユーザは、「ビデオリスト」からビデオを選択して、ビデオをプレビューするために「プレビュー」ボタンをクリックできる。
８．ユーザは「テンプレート」ドロップダウンリストからテンプレートを選択できる。
９．ユーザは、「ホーム」メニューをクリックすることによって、ＶＥＳクライアントホーム画面に戻ることができる。
１０． ビデオ及びテンプレートを選択したあと、ユーザは、「アップロード」メニュー項目をクリックできる。これによって、ユーザは「プレビュー」ページに行く。
【０１８２】
図３４は、追加するためにビデオを選択した場合にユーザが見る画面の例を示している。
【０１８３】
図３５は、プレビューするためにビデオを選択した場合にユーザが見る画面の例を示している。
【０１８４】
図３６は、トリミングするためにビデオを選択した場合にユーザが見る画面の例を示している。ビデオをトリミングするために「トリム」を選択したとき、ビデオを再生することができる。左側のメニュー項目は「取り消し」とすることができ、右側のメニュー項目は「開始位置のセット」とすることができる。「開始位置のセット」をクリックした場合、右側のメニュー項目は「停止位置のセット」に変化できる。ビデオの再生が終了したとき、又はユーザが「停止位置のセット」をクリックしたとき、ビデオはポーズし、左側のメニュー項目は「承認」へ変化できる。このビデオトリミングのページは、「開始位置のセット」、「終了位置のセット」、及び「再生完了」の３つのページに分割できる。
【０１８５】
図３７は、「開始位置のセット」ページの例を示している。この例において、ユーザが「取り消し」メニュー項目を選択した場合、ユーザはビデオテンプレート選択画面に戻ることができる。ユーザが「開始位置のセット」メニュー項目を選択した場合、トリム開始位置がセットされ、右側のメニュー項目は自動的に「終了位置のセット」に変化することができる。
【０１８６】
図３８は「終了位置のセット」ページの例を示している。この例において、ユーザは、ビデオ終了位置をセットするために「終了位置のセット」メニュー項目をクリックできる。ユーザが「終了位置のセット」項目を選択しなかった場合、ビデオの最後を終了位置としてセットできる。ユーザは、ビデオを再生して開始及び終了位置をリセットするために、「取り消し」ボタンを選択できる。
【０１８７】
図３９は「トリミングの承認」ページの例を示している。ユーザは、ビデオテンプレート選択ページに戻るために、「取り消し」メニュー項目をクリックできる。次にユーザはトリミングするためにビデオを再び選択、又は現在トリミングした選択したビデオを再生することができる。ユーザは、切り取られたビデオを承認してビデオテンプレート選択ページに戻るために、「承認」メニュー項目をクリックできる。
【０１８８】
ユーザがプレビューするためにビデオを選択した場合、３つのページを一続きで表示できる。図４０はアップロードページを示しており、ＶＥＳクライアントは最初に表示できる。「プレビュー」ボタンは最初は使用不可能であるが、プレビューが利用可能になったときに選択することができるようにすることができる。ビデオがアップロードされている間に、ある期間、広告を表示できる。
【０１８９】
図４１は、ビデオがアップロードされており、アップロードが継続する間にプレビューが「現在利用可能」であることを示している画面である。
【０１９０】
「取り消し」を選択した場合、ユーザは「ビデオテンプレート選択」ページに戻ることができる。図４２は、ユーザがアップロートのキャンセルを選択したときの画面の例を示している。ビデオのアップロード及びプレビューをキャンセルする意図があることを保証するために、ユーザに促すことができる。ユーザがプレビューするためにビデオを選択した場合、「プレビュー」ボタンを「スキップ」ボタンに変化させることができる。
【０１９１】
図４３は、ユーザにビデオのプレビューを示す画面の例を示している。ユーザがプレビューのスキップを選択した場合、「受信者選択」ページへ向かうことができる。
【０１９２】
図４４は、ユーザがアップロードのキャンセルを選択した場合の画面の例を示している。
【０１９３】
図４５は、プレビューが再生完了した画面の例を示している。「スキップ」ボタンは「完了」に変化できる。ユーザは、アップロードのキャンセル、プレビューのキャンセル、及び「ビデオテンプレート選択」ページに戻るために、「キャンセル」項目を選択できる。ユーザは、「受信者選択」ページに行くために、「完了」を選択できる。
【０１９４】
図４６は、ユーザがビデオを受信する受信者を選択できる、画面の例を示している。ユーザがビデオを送信する受信者を選択する場合、受信者ドロップダウンリストから受信者を選択して、「受信者リスト」に受信者を追加するために「追加」ボタンをクリックできる。ユーザは「受信者リスト」から受信者を選択して、「受信者リスト」からその受信者を削除するために「削除」ボタンをクリックできる。ユーザは、「ビデオテンプレート選択」ページに戻るために、「キャンセル」メニュー項目をクリックできる。受信者を選択したあと、ユーザは、編集したビデオを送信するように「送信」メニュー項目をクリックできる。
【０１９５】
図４６に示された画面項目の説明は以下の通りである。即ち、
送信（Ｓｅｎｄ）：アップロードが完了していない場合、この項目は利用不可能になる。
キャンセル（Ｃａｎｃｅｌ）：ビデオテンプレート選択ページに戻る。
受信者（Ｒｅｃｉｐｉｅｎｔｓ）：全受信者を一覧表にする。
受信者リスト（Ｒｅｃｉｐｉｅｎｔｓ Ｌｉｓｔ）：選択した全受信者を一覧表にする。
送信（Ｓｅｎｄ）：アップロードが完了したとき、この項目が利用可能になる。
【０１９６】
図４７はサマリー（Ｓｕｍｍａｒｙ）とヒストリ（Ｈｉｓｔｏｒｙ）ページの例を示している。この実施例において、サマリーとヒストリページは、ユーザが送信した最近の１０個の編集したビデオのタイトルを示している。ユーザが「ホーム（Ｈｏｍｅ）」メニュー項目を選択した場合、ビデオ編集プログラムがリスタートされ、ユーザを「ビデオテンプレート選択」ページに向かわせることができる。ユーザは「終了」を選択して、ＶＥＳクライアントアプリケーションを終了させることもできる。
【０１９７】
図４８は、受信ＰＣアプリケーションのためのログインページの例を示している。この代表的な実施例の例において、受信ＰＣアプリケーションは、ウィンドウズアプリケーショントレーに存在するマイクロソフト基礎クラス（ＭＦＣ）アプリケーションである。
【０１９８】
図４９は、ユーザログインが失敗した場合の画面ショットの例を示している。警告メッセージが出されて、ユーザはユーザ名及びパスワードを再入力することができる。
【０１９９】
ログインが成功した場合、アイコン（図５０の強調された四角の内部に示されるように）がタスクバーに現れ、ウェブサイトを起動できる。ウェブサイトは自動的に起動することが好ましい。ユーザが左のマウスボタンをアイコン上でダブルクリックした場合、アプリケーションはウェブサイトを自動的に開く。ユーザが右ボタンをアイコン上でクリックした場合、図５１に示すように、メニューをポップアップさせることができる。ユーザは、ウェブサイトを起動するように「ウェブ（Ｗｅｂ）」を選択、アプリケーションがウィンドウズ内で自動実行するかどうかを決定するために「自動スタート」を選択（又は選択解除）、又はアプリケーションを終了するために「終了」を選択することができる。
【０２００】
図５２は、新たに編集されたビデオが利用可能であることをユーザに警告するためにポップアップできるバブルを示している。ユーザがこのアイコン上で左クリックする場合、アプリケーションはウェブサイトを自動的に起動する。
【０２０１】
図５３，５４及び５５は、テンプレートエディタの画面ショットの異なる例を示している。テンプレートエディタページのこの代表的な実施例のあるアプリケーション及び特徴の例は以下の通りである。
【０２０２】
［ビデオパネル］
このパネルは画像、ビデオ及びスロットを含むことができる。
１．画像−静止画のリストをサーバからダウンロードできる。画像を選択した後、実際の画像データをサーバからダウンロードし、ユーザに示すことができる。
２．ビデオ−ビデオのリストのサーバからダウンロードできる。
３．スロット−スロットボタン上でのクリックによって、スロット項目を作成できる。
【０２０３】
［遷移効果コンポーネントパネル］
このパネルは、遷移効果コンポーネントの異なる例を（ボタンとして）含んでいる。ユーザは、遷移効果ボタン上でクリックしてビデオ時系列において遷移効果項目を作成できる。
【０２０４】
［ビデオライン］
ビデオ時系列を静止画、サーバ上のビデオ、元ビデオ、及び遷移効果コンポーネントを表す要素からなることができる。要素は時間順に並べられる。要素及び遷移効果コンポーネントが時系列に追加されたあと、ユーザは要素上での右クリックによってこのビデオ要素の特徴を変更し、背景音楽を追加し、又は要素を削除できる。ユーザが背景音楽の追加を選択した場合、音楽ラインが形成される。ユーザは、追加された各々の音楽要素に対するボリュームの重みをセットできる。これらの重みは最終的なビデオにおける重なる音楽をミキシングするために使用できる。
【０２０５】
［オーディオライン］
各々のビデオ要素は、このバージョンのためのそれに追加された少なくとも１つの音楽トラックを有することができる。使用されているテンプレートエディタの例を以下に示す：
１．ユーザは、ＴＥアプリケーションをウェブサイト上で起動する。
２．ユーザは、「ピクチャ」ボタン上でマウスを移動させる（サーバ上の画像のリストをポップアップウィンドウ中に示すことができる）。
３．ユーザは、リスト中の画像の１つをクリックする（画像要素がビデオライン上に作成することができる）。
４．ユーザは、「遷移効果パネル」中の遷移効果ボタンをクリックする（遷移効果コンポーネントをビデオライン上で作成できる。）
５．ユーザが「スロット」ボタンをクリックする（空いたスロットをビデオライン上に作成できる）。
６．スロット成分上での右クリックにより、メニューを表示することができる。「背景音楽の追加」を選択すると、追加すべき利用可能な音楽トラックのリストが表示される。背景音楽は複数のスロットに亘って完成まで再生できる。
７．ユーザは、ステップ２〜６を繰り返すことができる。
８．ユーザは、テンプレートをサーバにアップロードするように「アップロード（Ｕｐｌｏａｄ）」ボタンをクリックする（これは「トライ・イット・ナウ」ボタンを利用可能にする）。
９．ユーザは、テンプレートをアップロードしたあと、「トライ・イット・ナウ」ボタンをクリックする（テンプレート中の空いたスロットのためにユーザが以前アップロードしたビデオを選択するように、パネルを示すことができる。ユーザがこのための以前アップロードしたクリップを有していない場合には、ＡＶＥＳはＡＶＥＳのデフォルトの「トライ・イット・ナウ」クリップを使用できる）。
１０．「トライ・イット・ナウ」が実行された場合、ＴＰが作成したあと、ユーザはウェブサイト上で得られたビデオを見ることができる。
【０２０６】
一実施例において、ここで議論した１つ以上の方法をマシンに実行させるための命令セットをその内部で実行できる、コンピュータシステムの代表的な形式におけるマシンを提供できる。代替の実施例において、マシンは単独のデバイスとして動作、又は他のマシンに接続（例えばネットワーク接続）できる。ネットワーク化された配置において、マシンは、クライアント・サーバネットワーク環境におけるサーバ又はクライアントマシンとして、又はピア・ツー・ピア（又は分散）ネットワーク環境におけるピアマシンとして動作できる。このマシンはサーバコンピュータクライアントコンピュータ、パーソナルコンピュータ（ＰＣ）タブレットＰＣ，セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ウェブ装置、ネットワークルータ、スイッチ又はブリッジ、又はそのマシンによって取られる行動を指定する（逐次又は他の）命令セットを実行する能力があるどのようなマシンであってもよい。
【０２０７】
代表的な実施例において、マシンが読み出し可能な手段が、単数の手段であると示されているが、「マシン読み出し可能手段」という言葉は、１つ以上の命令セットを保存する単数又は複数の手段（例えば集中又は分散データベース、及び／又は関連キャッシュ及びサーバ）を含むと解釈されたい。「マシン読み出し可能手段」という言葉は、保存、符号化又は実行のための命令セットをマシンによって実行する能力があり、且つ本発明の１つ以上の方法をマシンに実行させる、如何なる手段を含むとも解釈されたい。概括的に、本発明の実施例を実装するように実行されるルーチンを、基本ソフトの一部、又は特定のアプリケーション、要素、プログラム、オブジェクト、モジュール又は「コンピュータプログラム」として参照されている命令のシーケンスとして実装できる。コンピュータプログラムは、典型的には、コンピュータ中の様々なメモリ及び記憶装置において様々な時に１つ以上の命令セットを含み、コンピュータ中で１つ以上のプロセッサによって読み出されて実行されるとき、本発明の様々な態様を共なる要素を実行するように、コンピュータに作業を行わせる。
【０２０８】
更に、実施例は完全に機能するコンピュータ及びコンピュータシステムに関連して説明されたが、当業者は、様々な実施例は様々な形式のプログラム製品として販売することが可能であり、本開示が、実際に販売をもたらす特定のタイプのマシン又はコンピュータ読み出し可能手段にかかわらず同様に適用できることを認識されよう。読み出し可能メディアの例は、とりわけ揮発性、不揮発性メモリデバイス、フロッピー及び他のリムーバブルディスク、ハードディスクドライブ、光学ディスク（例えばコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）など）の記録可能なタイプのメディア、デジタル及びアナログ通信リンクのような送信タイプ手段を含むが、それらに限定されない。
【０２０９】
実施例は特定の代表的な実施例を参照して説明したが、これらの実施例に対して様々な改良及び変更が可能であることは明らかでる。従って、明細書及び図面は限定的な意味ではなく、概要の意味で考えるべきである。前述の明細書は特定の代表的な実施例を参照して説明を提供している。続く請求項に記載された本発明の上位概念及び範囲から離れることなく、様々な改良が可能であることは明らかである。従って、明細書及び図面は限定的な意味ではなく、概要の意味で考えるべきである。
【特許請求の範囲】
【請求項１】
ビデオデータを処理するステップと、
処理されたビデオをモバイル配信のために提供するステップと、
を含むことを特徴とする方法。
【請求項１】
ビデオデータを処理するステップと、
処理されたビデオをモバイル配信のために提供するステップと、
を含むことを特徴とする方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４ａ】
【図２４ｂ】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３ａ】
【図３３ｂ】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４ａ】
【図２４ｂ】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３ａ】
【図３３ｂ】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【公表番号】特表２００９−５４２０４６（Ｐ２００９−５４２０４６Ａ）
【公表日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願番号】特願２００９−５１５５３６（Ｐ２００９−５１５５３６）
【出願日】平成１９年６月１８日（２００７．６．１８）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０１４２９２
【国際公開番号】ＷＯ２００７／１４９４４４
【国際公開日】平成１９年１２月２７日（２００７．１２．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．Ｂｌｕｅｔｏｏｔｈ
３．フロッピー
【出願人】（５０７０９１７３８）ドロップレット テクノロジー インコーポレイテッド (8)
【Ｆターム（参考）】
【公表日】平成２１年１１月２６日（２００９．１１．２６）
【国際特許分類】
【出願日】平成１９年６月１８日（２００７．６．１８）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０１４２９２
【国際公開番号】ＷＯ２００７／１４９４４４
【国際公開日】平成１９年１２月２７日（２００７．１２．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．Ｂｌｕｅｔｏｏｔｈ
３．フロッピー
【出願人】（５０７０９１７３８）ドロップレット テクノロジー インコーポレイテッド (8)
【Ｆターム（参考）】
[ Back to top ]