ビデオデータをストリーミングするための方法
【課題】ビデオデータをストリーミングするための方法を提供する。
【解決手段】ビデオデータをストリーミングするための方法。ビデオデータを受信する。ビデオデータの少なくとも１つのフレームを複数の領域に分割する。複数の領域の第１の領域に対応するビデオデータを、ネットワークを介して送信する。複数の領域の第２の領域に対応するビデオデータを、対話型入力に従って変更する。第２の領域の変更バージョンに対応するビデオデータを、ネットワークを介して送信する。
【解決手段】ビデオデータをストリーミングするための方法。ビデオデータを受信する。ビデオデータの少なくとも１つのフレームを複数の領域に分割する。複数の領域の第１の領域に対応するビデオデータを、ネットワークを介して送信する。複数の領域の第２の領域に対応するビデオデータを、対話型入力に従って変更する。第２の領域の変更バージョンに対応するビデオデータを、ネットワークを介して送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の様々な実施の形態は、ビデオストリーミングの分野に関する。
【背景技術】
【０００２】
ストリーミングビデオアプリケーションは、異なるタイプのビデオストリームの送信を容易にするために使用される。
たとえば、対話型ストリーミングビデオアプリケーションでは、ビデオストリームのコンテンツは、たとえばユーザ動作に応答してリアルタイムで感知される変化の影響下にある。
そのような対話型のアプリケーションの一例はビデオ会議である。
対照的に、非対話型ストリーミングビデオアプリケーション、たとえばビデオ・オン・デマンド（ＶｏＤ）システムでは、ビデオコンテンツは対話性に起因して変化しない。
対話型ストリーミングビデオの送信は、非対話型ストリーミングビデオよりもはるかに厳しい処理要件及びタイミング要件、したがって、並びにコストに関連することが理解される。
特に、活発なユーザ対話性を提供するために、通常、終端間遅延が少ないことが要求される。
【発明の概要】
【０００３】
本発明の実施の形態は、ビデオデータをストリーミングするための方法に関する。
【０００４】
本明細書に組み込まれ、その一部を成す添付の図面は、本発明の実施形態を説明し、詳細な説明と併せて、本発明の原理を説明するのに役立つ。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態による、ビデオデータをストリーミングするためのシステムのブロック図である。
【図２】本発明の一実施形態による、対話型入力に従って媒体のフレームの一部分を変更するためのシステムのブロック図である。
【図３Ａ】本発明の一実施形態による、ビデオフレームの独立して復号可能な領域を生成するための分割操作例を示す図である。
【図３Ｂ】本発明の一実施形態による、２つの領域を有するフレーム例を示す図である。
【図４】本発明の一実施形態による、ビデオデータを表示するためのシステムのブロック図である。
【図５】本発明の一実施形態による、ビデオデータをストリーミングするためのプロセスを示すフローチャートである。
【図６】本発明の一実施形態による、ビデオデータを表示するためのプロセスを示すフローチャートである。
【発明を実施するための形態】
【０００６】
この詳細な説明において参照される図面は、特に記載される場合を除いて、一定の縮尺で描かれたものとして理解されるべきではない。
【０００７】
ビデオデータをストリーミングする、本発明の様々な実施形態を本明細書において説明する。
一実施形態において、ビデオデータをストリーミングするための方法を説明する。
ビデオデータを受信する。
ビデオデータの少なくとも１つのフレームを複数の領域に分割する。
複数の領域の第１の領域に対応するビデオデータを、ネットワークを介して送信する。
複数の領域の第２の領域に対応するビデオデータを、対話型入力に従って変更する。
第２の領域の変更バージョンに対応するビデオデータを、ネットワークを介して送信する。
【０００８】
本発明の実施形態は、主要表現の一部分のみが対話性に従って変更される、局所的対話性を含むビデオデータをストリーミングするための方法を提供する。
たとえば、パーソナライズされた広告挿入、対話型テレビ、ビデオ対応遠隔協調ツールのような多くの対話型ストリーミングビデオアプリケーションは、局所的対話性を利用する。
本発明の実施形態は、局所的対話性を有するアプリケーションが、該アプリケーションのデータの非対話型部分、たとえばビデオフレームの１つの領域に対応するビデオデータを、遅延の長いストリーミング方法を使用して送信し、一方、データの対話型部分、たとえばビデオフレームの別の領域に対応するビデオデータを、遅延の短い方法を使用して送信し、対話性を容易にすることを可能にする。
本発明の実施形態は、遅延の短い送信方法を使用することなくビデオデータの非対話型部分を送信することによって、送信コスト及びリソース処理コストの低減を提供することができることを理解されたい。
【０００９】
ここで、本発明の様々な実施形態を詳細に参照する。
本発明の様々な実施形態の例は添付の図面に示される。
本発明を、様々な実施形態と併せて説明するが、これらの実施形態は、本発明を該実施形態に限定することを意図するものではないことが理解されよう。
それどころか、本発明の実施形態は、代替形態、変更形態、及び均等物を包含するように意図され、それらは添付の特許請求の範囲の精神及び範囲内に含むことができる。
さらに、本発明の様々な実施形態の以下の詳細な説明において、本発明の実施形態の完全な理解を提供するために、多数の特定の詳細を示す。
他の例では、本発明の実施形態の態様を不必要に不明確にしないようにするために、既知の方法、手順、構成要素、及び回路については詳細に説明されていない。
【００１０】
本発明の実施形態を、ビデオデータのストリーミングに関して説明するが、本発明の実施形態はビデオデータのストリーミングに限定されないことを理解されたい。
本発明の実施形態は、音声ベースのデータ、画像ベースのデータ、グラフィックデータ、ビデオベースのデータ、テキストベースのデータ、ウェブページベースのデータ等を含むがこれらに限定されない他のタイプの媒体にも当てはまることを理解されたい。
さらに、本発明の実施形態は、同期（たとえばライブ）、非同期（たとえばタイムシフト）を含むオンデマンドの送信、又はダウンロードにも適用することができることを理解されたい。
【００１１】
図１は、本発明の一実施形態による、ビデオデータをストリーミングするためのシステム１００のブロック図である。
システム１００は、フレーム分割器１１０と、遅延モジュール１２０と、変更モジュール１３０（たとえば図２）と、送信機１４０とを備える。
一実施形態では、システム１００は、ネットワーク接続（図示せず）を介して通信することが可能な演算装置内に実装される。
たとえば、システム１００は、コンピュータ、携帯電話、携帯情報端末、テレビ、セットトップボックス、及びネットワークを介してデータを送受信することが可能な任意の他の演算装置を含むがそれらに限定されない任意のタイプの演算装置とすることができる。
【００１２】
フレーム分割器１１０、遅延モジュール１２０、変更モジュール１３０、及び送信機１４０は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとして実装することができることを理解されたい。
さらに、システム１００は、本発明の実施形態の態様を不必要に不明確にしないようにするために図示されない、さらなる構成要素を備えることができることを理解されたい。
【００１３】
フレーム分割器１１０はビデオデータ１０５を受信する。
ビデオデータ１０５は複数のフレームを含む。
ビデオデータ１０５は、任意の種類のストリーミングビデオデータを含むことができることを理解されたい。
たとえば、ビデオデータ１０５は、リアルタイムビデオデータ又は予め記録されたビデオデータを含むことができる。
リアルタイムビデオデータは固有の遅延を含む場合があるが、ビデオデータは鑑賞者の観点からは概ねリアルタイムであることを理解されたい。
【００１４】
一実施形態では、ビデオデータ１０５をＨ．２６３ビデオ符号化標準規格を使用して符号化する。
しかしながら、本発明の実施形態は、Ｈ．２６４／ＡＶＣビデオ符号化標準規格及びＭＰＥＧ−４ビデオ符号化標準規格を含むがこれらに限定されない他のビデオ符号化標準規格を使用して符号化されたビデオデータ１０５も含むことができることを理解されたい。
【００１５】
本発明の実施形態は、局所的対話性を含むビデオデータをストリーミングするために使用される。
たとえば、パーソナライズされた広告挿入、対話型ＴＶ、及びビデオ対応遠隔協調ツールのようなアプリケーションでは、主要表現の小さなサブセットのみが対話型入力に従って変更される。
【００１６】
フレーム分割器１１０は、ビデオデータ１０５の少なくとも１つのフレームを複数の領域に分割するように動作可能である。
一実施形態では、フレームの２つの領域が識別され、ここで、フレームの一方の領域は固定領域として識別され、残りの領域は変更可能な領域である。
非対話型領域から独立した変更可能な領域の変更を容易にするために、フレーム分割器１１０は、フレームを複数の独立して復号可能な領域に分解する。
【００１７】
図３Ａは、本発明の一実施形態による、ビデオフレーム３００の独立して復号可能な領域を生成するための分割動作例を示している。
即時に明確化する目的で、対話型領域は、ビデオフレームの底部における多数のマクロブロック（ＭＢ）行として定義される。
しかしながら、対話型領域は、ビデオフレーム内の任意の形状として定義することができ、ＭＢの粒度レベルに制限されないことを理解されたい。
たとえば、対話型領域は、ピクセルレベルにおいて定義することができる。
さらに、本発明の実施形態は、複数の対話型領域を含むことができることを理解されたい。
【００１８】
一実施形態では、フレーム分割器１１０は、２つの独立して復号可能な領域、すなわち、上部の幾つかのＭＢ行から成る固定領域３１０と、残りのＭＢ行から成る変更可能な領域３２０を生成するように構成される。
独立して復号可能な領域とは、固定領域３１０を変更可能な領域３２０に依存せずに復号することができ、変更可能な領域３２０を固定領域３１０に依存せずに復号することができる関係を指すことを理解されたい。
【００１９】
他の実施形態によれば、フレーム分割器１１０は、一方の領域のみが独立して復号可能である２つの別個の領域を生成するように構成されることを理解されたい。
一実施形態では、固定領域３１０は変更可能な領域３２０から独立して復号可能であるが、変更可能な領域３２０は固定領域３１０に依存して復号を行い得る。
たとえば、対応するフレームの固定領域３１０は同じフレームの変更可能な領域３２０の前に送信されるため、変更可能な領域３２０は固定領域３１０に依存して復号を行い得る。
【００２０】
一実施形態では、固定領域３１０及び変更可能な領域３２０内のＭＢは、図３Ａにおいて矢印で示されるＭＢの動きベクトル（ＭＶ）が、該ＭＢが属する領域外を指さないように符号化される。
図３Ａに示すように、たとえば、固定領域３１０の最下ＭＢ行内のＭＢ３３０ａ及び３３０ｂは、下方向を指すＭＶ３４０ａ及び３４０ｂを有しないように制限され、一方、変更可能な領域３２０の最上ＭＢ行内のＭＢ３３０ｃ、３３０ｄ、及び３３０ｅは、上方向を指すＭＶ３４０ｃ、３４０ｄ、及び３４０ｅを有しないように制限される。
一実施形態では、ブロックグループ（ＧＯＢ）ヘッダ３５０（Ｈ．２６３の構文において定義される）を変更可能な領域３２０内の最初のＭＢ行の開始部に挿入して、変更可能な領域３２０に対応するビットストリームの識別を容易にすると共に、変更可能な領域３２０が独立して復号可能であることを確実にする。
【００２１】
図３Ｂは、本発明の一実施形態による、２つの独立して復号可能な領域を有するフレーム例３６０を示している。
フレーム分割器１１０は、固定領域３１０及び変更可能な領域３２０を生成するように構成される。
図１を参照すると、フレーム分割器１１０は、固定領域を含むビデオデータの第１の部分１１２を送信機１４０に送信し、変更可能な領域を含むビデオデータの第２の部分１１５を変更モジュール１３０に送信する。
したがって、変更モジュール１３０は、固定領域３１０を復号することなく、変更可能な領域３２０に対してのみ操作する。
【００２２】
図１を参照すると、別の実施形態では、変更可能な領域から固定領域に依存して（しかし逆は同様ではない）、分解可能なビデオが作成される。
本実施形態では、圧縮された固定領域を復号する必要がある。
この手法によって、システム１００における計算オーバヘッドが大きくなる。
しかしながら、分解可能なビデオを作成する際のＭＶに対する制限がより少ないため、これは符号化性能における利得につながり得る。
本実施形態では、１つのみの領域が独立して復号可能であり、固定領域内のＭＢは固定領域外を指さず、変更可能な領域内のＭＢは変更可能な領域外を指すことができる。
【００２３】
別の実施形態では、変更可能な領域の符号化は、ゼロＭＶを使用するようにさらに制限され得る。
この手法では、変更可能な部分を変更する際に要求される演算がより少ない。
これは、先行する復号器において動き補償を行うことなく、内部データ又は残余データに対する全てのオーバレイ操作をここで完了させることができるためである。
【００２４】
一実施形態では、第２の部分１１５は、変更モジュール１３０の前に遅延モジュール１２０において受信される。
遅延モジュール１２０は、第２の部分１１５を所定の時間遅延させ、変更モジュール１３０における対話型入力１３２の受信を可能にするように構成される。
遅延モジュール１２０は通常、変更モジュール１３０に対する第２の部分１１５の送信を或る時間量遅延させ、対話型入力１３２との同期を可能にするように構成されることを理解されたい。
一実施形態では、遅延量は約数ミリ秒である。
【００２５】
変更モジュール１３０は第２の部分１１５を受信し、対話型入力１３２に従って該第２の部分を変更するように構成される。
図２は、本発明の一実施形態による、対話型入力１３２に従って媒体のフレームの一部分を変更するための変更モジュール１２０のブロック図である。
変更モジュール１３０は、復号器２１０と、部分変更器２２０と、符号化器２３０とを備える。
復号器２１０、部分変更器２２０、及び符号化器２３０は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとして実装することができることを理解されたい。
さらに、変更モジュール１３０は、本発明の実施形態の態様を不必要に不明確にしないようにするために図示されない、さらなる構成要素を備えることができることを理解されたい。
【００２６】
一実施形態では、変更モジュール１３０はネットワークノードに配置される。
別の実施形態では、無線セルラネットワーク配置の場合、変更モジュール１３０は、３ＧＰＰリリース６以降の無線コアネットワーク内のＩＰマルチメディアサブシステム（ＩＭＳ）の構成要素として実装することができる。
【００２７】
本発明の実施形態は、ユーザグループに集合的な対話型経験を提供することを理解されたい。
したがって、ユーザグループは、変更モジュール１３０にアクセスすることができる。
本実施形態では、グループの各ユーザは、個々の対話型入力１３２を提供することが可能である場合があり、集合的な対話型入力に従ってビデオデータが変更される。
複数のユーザが、対話型入力１３２をビデオデータ１０５に与え、グループの各ユーザが全ての対話型入力を鑑賞するようにすることができる。
たとえば、テレビ番組の各鑑賞者は、対話型入力１３２をシステム１００に送信することによって、該番組にコメントを提供することができる。
【００２８】
復号器２１０は第２の部分１１５を受信し、該復号器２１０は該第２の部分１１５を復号するように構成される。
復号された第２の部分２１５は、部分変更器２２０において受信される。
部分変更器２２０は、復号された第２の部分２１５を対話型入力１３２に従って変更するように構成される。
対話型入力１３２を様々な形式で受信することができることを理解されたい。
一実施形態では、対話型入力１３２はビデオストリームを含み、該ビデオストリームは復号された第２の部分２１５の上にオーバレイされる。
一実施形態では、ビデオストリームは部分変更器２２０において受信される前に復号される。
部分変更器２２０は、復号された第２の部分２２５を変更することによって、変更された、復号された第２の部分２２５を生成するように構成される。
【００２９】
対話型入力１３２を、ビデオストリームの局所的対話性を利用するための、パーソナライズされた広告挿入、対話型テレビ、ビデオ対応遠隔協調ツールのような多数の異なる対話型ストリーミングビデオアプリケーションと関連付けることができることを理解されたい。
たとえば、図１のビデオデータ１０５を、テレビ番組に関連付けることができる。
テレビ番組の鑑賞者は、ビデオデータ１０５の変更可能な部分を変更するために、対話型入力１３２をシステム１００に送信することができる。
たとえば、対話型入力１３２は、テキストコメント、個人アバターのようなグラフィック、及び音声部分を含むことができる。
【００３０】
別の実施形態では、対話型入力１３２は、デュアルトーンマルチ周波数によって制御されるアバターを含み、説明される実施形態の使用を、一般的なビデオストリーミングか可能な携帯電話に拡張する。
別の例では、対話型入力は、パーソナライズされた広告を含むことができる。
【００３１】
一実施形態では、部分変更器２２０は、第２の部分２１５の上に対話型入力１３２をオーバレイすることによって、復号された第２の部分２１５を変更する。
一実施形態では、鑑賞者は、対話型入力１３２をリアルタイムで送信することによって、変更をビデオデータ１０５に与えることができる。
部分変更器２２０は、対応する対話型入力１３２とオーバレイされた新たなビデオストリームを構築する。
一実施形態では、部分変更器２２０は、ピクセルドメインにおいて対話型入力１３２をオーバレイする。
ピクセルドメイン動作は、アバターの位置、速度、サイズ、及び不透明度の変化のような豊富な対話型入力のセットをサポートする。
部分的符号化の使用は、関連付けられる計算の複雑度全体を低減するのに役立つ。
【００３２】
本発明の実施形態は、ビデオデータ１０５の一部分のみの変更を提供する。
たとえば、鑑賞者の主な目的がビデオデータ１０５を閲覧することである場合、ビデオデータ１０５の変更可能な領域はフレームの一部分しか占有しない。
フレームの一部分の変更しか必要としない局所的対話性を提供することによって、局所的対話性の影響下にない部分を復号、変更、及び再符号化する必要がない。
様々な実施形態は部分トランスコーディングを提供し、それによって、ビデオストリームの必要な部分のみが処理される。
【００３３】
本発明の実施形態は、ビデオデータ１０５の一部分のみの復号、変更、及び再符号化を実施することを理解されたい。
これによって計算が節約される。
これは、ビデオデータの変更されない部分が、復号、変更、及び再符号化されることなくネットワークを介して送信されるためである。
【００３４】
変更された、復号された第２の部分２２５を、符号化器２３０において符号化し、変更された第２の部分１２５を生成する。
【００３５】
送信機１４０は、第１の部分１１２及び第２の部分１２５を、ビデオデータ１４５として示される単一のストリーム内で送信するように構成される。
上述するように、第１の部分１１２は、復号、変更、及び再符号化の影響下にない。
一実施形態では、対応するフレームの第１の部分１１２は、送信機１４０において、該対応するフレームの第２の部分１２５の前に受信される。
したがって、所与のフレームについて、第１の部分１１２を、ストリーム内で、第２の部分１２５の前に送信することができる。
【００３６】
所与のフレームについて、第１の部分１１２を第２の部分１２５の前に送信することによって、システム１００は、ビデオストリームのレイテンシ要件を活用することができる。
換言すれば、本発明の実施形態は、パケットを、同じビデオフレーム内の異なる複数のレイテンシ要件と組み合わせることを提供する。
具体的には、変更されない領域に対応する情報を高レイテンシモードで配信することができる。
これは、ビデオデータ１０５と対話しない鑑賞者は、過度の起動レイテンシが生じないという制限のみで、かなりの遅延を伴った該ビデオデータを閲覧することができるためである。
逆に、観察者によって発行される対話型入力１３２に応じて変更されている領域は、対話型コミュニティ経験を提供するために、全ての鑑賞者に低レイテンシモードで迅速に伝達される必要がある。
【００３７】
さらに、全てのパケットに厳密な期限に従うことを強制することは、潜在的に非効率である可能性がある。
特に、長いレイテンシは一方向ストリーミングを使用することを可能にし、パケット損失回復のためのオーバヘッドの必要を少なくする（たとえば、損失パケットは常に再送信することができるため、オーバヘッドが実際のネットワーク動作と一致する）。
【００３８】
パケット損失を考慮する必要がない場合であっても、統計的多重化を利用することによって利得が可能である。
たとえば、一実施形態では、符号化器を可変ビットレート（ＶＢＲ）モードにおいて操作するとき、より良好なビデオ品質を達成することができる。
ＶＢＲ符号化ビデオを送信するために、ＶＢＲ送信をサポートする（たとえば可変帯域幅を可能にする）か、又は時間にわたってレート需要の平均を取ることによって、レート平均化を可能にすることが必要である。
本発明の実施形態は双方の様式をサポートし、品質を改善させる。
第１に、長いレイテンシによって、ストリームの変更されていない部分が、大容量のバッファリングから利益を受けることが可能になり、それによってＶＢＲ符号化データを一定又はほぼ一定の帯域幅を用いて送信することができる。
第２に、ストリームの変更された部分は厳しい期限の下で送信されるが、帯域幅を変動させることによって、より良好な性能を達成することができる。
このため、帯域幅全体は一定とすることができるが、ストリームの低レイテンシ部分は可変レートで送信することができる。
ストリームの高レイテンシ部分は、バッファリングを使用して、（自身のレートにおいて、及び帯域幅において）これらの変動を吸収することができる。
【００３９】
システム１００を、ビデオデータ１０５の複数の変更例をサポートするように変更することができることを理解されたい。
一実施形態では、変更モジュールは対話型入力１３２の異なる複数の例を受信し、該異なる複数の例に基づいて、第２の部分１２５の複数の例を生成することができる。
本実施形態では、第２の部分１２５の各例を、異なる複数の宛先に送信するすることができ、一方、各宛先は第１の部分１１２を受信する。
別の実施形態では、システム１００は、それぞれがビデオデータ１０５の異なる変更に専用である複数の変更モジュール１３０を備える。
【００４０】
図４は、本発明の一実施形態による、ビデオデータを表示するためのシステム４００のブロック図である。
システム４００は、受信機４１０と、復号器４２０と、ディスプレイ４３０とを備える。
様々な実施形態では、システム４００はバッファ４４０ａ及び／又はバッファ４４０ｂも備える場合がある。
一実施形態では、システム４００は、ネットワーク接続（図示せず）を介して通信することが可能な演算装置内に実装される。
たとえば、システム４００は、コンピュータ、携帯電話、携帯情報端末、テレビ、セットトップボックス、及びネットワークを介してデータを送受信することが可能な任意の他の演算装置を含むがそれらに限定されない任意のタイプの演算装置とすることができる。
【００４１】
受信機４１０、復号器４２０、ディスプレイ４３０、並びにバッファ４４０ａ及び４４０ｂは、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとして実装することができることを理解されたい。
さらに、システム４００は、本発明の実施形態の態様を不必要に不明確にしないようにするために図示されない、さらなる構成要素を備えることができることを理解されたい。
【００４２】
受信機４１０は、ビデオデータの複数の部分、たとえば図１の第１の部分１１２及び第２の部分１２５を含むビデオデータ１４５を、単一のストリーム内で受信するように構成される。
本発明の実施形態では、第１の部分１１２は第２の部分１２５の前に受信されることを理解されたい。
一実施形態では、第１の部分１１２は、バッファ４４０ａにおいて、第２の部分１２５の受信の前にバッファリングされる。
次に、第１の部分１１２及び第２の部分１２５は、復号器４２０において復号される。
第２の部分１２５が第１の部分１１２から独立して復号可能でない一実施形態では、復号器４２０は、第１の部分１１２を使用して第２の部分１２５を復号する。
一実施形態では、第１の部分１１２を第２の部分１２５から独立して復号することができ、復号された第１の部分４２２をバッファ４４０ｂにおいてバッファリングすることができ、一方、第１の部分１１２は、第２の部分１２５が受信及び復号されるまで、バッファ４４０ａにおいてバッファリングされることを理解されたい。
【００４３】
一実施形態では、第１の部分１１２を復号し、復号された第１の部分４２２を、受信機４１０において第２の部分１２５を受信する前に生成し、第２の部分１２５が復号されるまで、復号された第１の部分４２２をバッファ４４０ｂにおいてバッファリングする。
第２の部分１２５を復号器４２０において復号し、復号された第２の部分４２５を生成する。
対応するフレームの復号された第１の部分４２２及び復号された第２の部分４２５は、ディスプレイ４３０に表示される。
【００４４】
図５は、本発明の一実施形態による、ビデオデータをストリーミングするためのプロセス５００を示すフローチャートである。
一実施形態では、プロセス５００は、コンピュータ可読命令及びコンピュータ実行可能命令の制御下で、プロセッサ及び電気部品によって実行される。
コンピュータ可読命令及びコンピュータ実行可能命令は、たとえば、コンピュータ使用可能揮発性メモリ及びコンピュータ使用可能不揮発性メモリのようなデータストレージ機構内に存在する。
しかしながら、コンピュータ可読命令及びコンピュータ実行可能命令は、任意のタイプのコンピュータ可読媒体内に存在することができる。
一実施形態では、プロセス５００は図１のシステム１００によって実施される。
【００４５】
プロセス５００のブロック５０５において、ビデオデータを受信する。
一実施形態では、ビデオデータを、Ｈ．２６３ビデオ符号化標準規格を使用して符号化する。
【００４６】
ブロック５１０において、ビデオデータの少なくとも１つのフレームを複数の領域に分割する。
一実施形態では、ブロック５１２に示すように、フレーム内の複数の領域を識別する。
ブロック５１４において、複数の領域を、該複数の領域のうちの少なくとも１つの領域が独立して復号可能な領域になるように分解する。
一実施形態では、複数の領域のうちの少なくとも２つの領域が独立して復号可能な領域である。
【００４７】
ブロック５２０において、複数の領域の第１の領域に対応するビデオデータをネットワークを介して送信する。
【００４８】
一実施形態では、ブロック５３０に示すように、第２の領域に対応するビデオデータの変更を所定の時間遅延させる。
【００４９】
ブロック５４０において、複数の領域の第２の領域に対応するビデオデータを、対話型入力に従って変更する。
一実施形態では、対話型入力は、フレームの一部分を提示のために変更するように構成される情報を含む。
【００５０】
一実施形態では、ブロック５４２に示すように、対話型入力を受信する。
ブロック５４４において、第２の領域を復号する。
ブロック５４６において、第２の領域を対話型入力に従って変更する。
一実施形態では、ピクセルドメインにおいて、対話型入力を第２の領域の上にオーバレイする。
ブロック５４８において、対話型入力に従って変更された第２の領域を符号化し、第２の領域の変更バージョンを生成する。
【００５１】
本発明の実施形態によれば、ブロック５４０を対話型入力の異なる複数の例について実施することができることを理解されたい。
本実施形態では、複数の領域の第２の領域に対応するビデオデータを、第２の対話型入力に従って変更する。
【００５２】
ブロック５５０において、第２の領域の変更バージョンに対応するビデオデータを、ネットワークを介して送信する。
一実施形態では、ブロック５５０の第２の領域の変更バージョンに対応するビデオデータの送信を、ブロック５２０の第１の領域に対応するビデオデータの送信の後に実施する。
一実施形態では、第１の領域に対応するビデオデータを高レイテンシモードを使用して送信し、第２の領域に対応するビデオデータを低レイテンシモードを使用して送信する。
【００５３】
第２の領域の変更バーション及び第２の変更バージョンが存在する一実施形態では、第２の領域の第２の変更バージョンに対応するビデオデータをネットワークを介して送信する。
本実施形態では、第２の領域の変更バージョンに対応するビデオデータ、及び第２の領域の第２の変更バージョンに対応するビデオデータを、異なる宛先に送信する。
【００５４】
図６は、本発明の一実施形態による、ビデオデータを表示するためのプロセス６００を示すフローチャートである。
一実施形態では、プロセス６００は、コンピュータ可読命令及びコンピュータ実行可能命令の制御下で、プロセッサ及び電気部品によって実行される。
コンピュータ可読命令及びコンピュータ実行可能命令は、たとえば、コンピュータ使用可能揮発性メモリ及びコンピュータ使用可能不揮発性メモリのようなデータストレージ機構内に存在する。
しかしながら、コンピュータ可読命令及びコンピュータ実行可能命令は、任意のタイプのコンピュータ可読媒体内に存在することができる。
一実施形態では、プロセス６００は図４のシステム４００によって実施される。
【００５５】
プロセス６００のブロック６１０において、フレームの第１の領域に対応するビデオデータの第１の部分を受信する。
ここで、フレームは複数の領域を含み、第１の部分は独立して復号可能である。
ブロック６２０において、フレームの第２の領域に対応するビデオデータの第２の部分を受信する。
ここで、第２の部分は対話型入力に従って変更されている。
一実施形態では、第２の部分は独立して復号可能である。
ブロック６１０及びブロック６２０は、任意の順序で実施することができることを理解されたい。
一実施形態ではブロック６１０をブロック６２０の前に実施する。
【００５６】
ブロック６３０において、第１の部分を復号する。
一実施形態では、ブロック６１２に示すように、第１の部分をブロック６３０の前にバッファリングする。
一実施形態では、ブロック６３２に示すように、第１の部分をブロック６３０の後にバッファリングする。
様々な実施形態によれば、ブロック６１２及び／又はブロック６３２のバッファリングは、ブロック６２０における第２の部分の受信に依拠することを理解されたい。
【００５７】
ブロック６４０において、第２の部分を復号する。
第２の部分が独立して復号可能でない一実施形態では、第２の部分を、第１の部分に少なくとも部分的に基づいて復号する。
ブロック６５０において、第１の部分及び第２の部分を含むフレームを表示する。
【００５８】
本発明の実施形態は、ビットストリーム構文解析を（復号することなく）実施し、圧縮されたビットストリームを少なくとも２つの領域、すなわち、変更されないままであるもの（固定領域）、及び対話型入力による変更の影響下にあるもの（変更可能な領域）に分ける。
復号、変更、及び後続の符号化は、変更可能な領域に対してのみ実施される。
したがって、システム１００における計算負荷は、ビットストリーム全体の復号、変更、及び再符号化を必要とするシステムよりも低減される。
分解可能なビデオの使用は通常、圧縮効率に不利益を招くが、固定領域の再符号化を回避することによって、受信側のビデオ品質を高めることができることを理解されたい。
【００５９】
本発明の実施形態は、フレームを、異なるレイテンシ要件を使用して送信することができる固定の領域及び変更可能な領域に分解することを提供する。
一実施形態では、本発明は、固定領域に関連付けられるデータの部分を高レイテンシモードを使用して送信すること、及び変更可能な領域に関連付けられるデータの部分を低レイテンシモードを使用して送信することを提供する。
高レイテンシモードは低レイテンシモードよりも低い処理要件及びタイミング要件を有するため、ビデオデータの送信コストは、全ビデオデータを低レイテンシモードを使用して送信するよりも低減される。
【００６０】
このように、本発明の様々な実施形態、ビデオデータをストリーミングするための方法説明した。
本発明を、特定の実施形態において説明してきたが、本発明はそのような実施形態によって限定されるものと見なされるべきではなく、以下の特許請求の範囲に従うものと見なされるべきであることを理解されたい。
【符号の説明】
【００６１】
１００・・・システム，
１１０・・・フレーム分割器，
１２０・・・遅延モジュール，
１３０・・・変更モジュール，
１４０・・・送信機，
２１０・・・復号器，
２２０・・・部分変更器，
２３０・・・符号化器，
３００・・・ビデオフレーム，
３１０・・・固定領域，
３２０・・・変更可能領域，
３３０・・・マクロブロック（ＭＢ），
３４０・・・動きベクトル（ＭＶ），
３５０・・・ヘッダ，
４００・・・システム，
４１０・・・受信機，
４２０・・・復号器，
４３０・・・ディスプレイ，
４４０・・・バッファ
【技術分野】
【０００１】
本発明の様々な実施の形態は、ビデオストリーミングの分野に関する。
【背景技術】
【０００２】
ストリーミングビデオアプリケーションは、異なるタイプのビデオストリームの送信を容易にするために使用される。
たとえば、対話型ストリーミングビデオアプリケーションでは、ビデオストリームのコンテンツは、たとえばユーザ動作に応答してリアルタイムで感知される変化の影響下にある。
そのような対話型のアプリケーションの一例はビデオ会議である。
対照的に、非対話型ストリーミングビデオアプリケーション、たとえばビデオ・オン・デマンド（ＶｏＤ）システムでは、ビデオコンテンツは対話性に起因して変化しない。
対話型ストリーミングビデオの送信は、非対話型ストリーミングビデオよりもはるかに厳しい処理要件及びタイミング要件、したがって、並びにコストに関連することが理解される。
特に、活発なユーザ対話性を提供するために、通常、終端間遅延が少ないことが要求される。
【発明の概要】
【０００３】
本発明の実施の形態は、ビデオデータをストリーミングするための方法に関する。
【０００４】
本明細書に組み込まれ、その一部を成す添付の図面は、本発明の実施形態を説明し、詳細な説明と併せて、本発明の原理を説明するのに役立つ。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態による、ビデオデータをストリーミングするためのシステムのブロック図である。
【図２】本発明の一実施形態による、対話型入力に従って媒体のフレームの一部分を変更するためのシステムのブロック図である。
【図３Ａ】本発明の一実施形態による、ビデオフレームの独立して復号可能な領域を生成するための分割操作例を示す図である。
【図３Ｂ】本発明の一実施形態による、２つの領域を有するフレーム例を示す図である。
【図４】本発明の一実施形態による、ビデオデータを表示するためのシステムのブロック図である。
【図５】本発明の一実施形態による、ビデオデータをストリーミングするためのプロセスを示すフローチャートである。
【図６】本発明の一実施形態による、ビデオデータを表示するためのプロセスを示すフローチャートである。
【発明を実施するための形態】
【０００６】
この詳細な説明において参照される図面は、特に記載される場合を除いて、一定の縮尺で描かれたものとして理解されるべきではない。
【０００７】
ビデオデータをストリーミングする、本発明の様々な実施形態を本明細書において説明する。
一実施形態において、ビデオデータをストリーミングするための方法を説明する。
ビデオデータを受信する。
ビデオデータの少なくとも１つのフレームを複数の領域に分割する。
複数の領域の第１の領域に対応するビデオデータを、ネットワークを介して送信する。
複数の領域の第２の領域に対応するビデオデータを、対話型入力に従って変更する。
第２の領域の変更バージョンに対応するビデオデータを、ネットワークを介して送信する。
【０００８】
本発明の実施形態は、主要表現の一部分のみが対話性に従って変更される、局所的対話性を含むビデオデータをストリーミングするための方法を提供する。
たとえば、パーソナライズされた広告挿入、対話型テレビ、ビデオ対応遠隔協調ツールのような多くの対話型ストリーミングビデオアプリケーションは、局所的対話性を利用する。
本発明の実施形態は、局所的対話性を有するアプリケーションが、該アプリケーションのデータの非対話型部分、たとえばビデオフレームの１つの領域に対応するビデオデータを、遅延の長いストリーミング方法を使用して送信し、一方、データの対話型部分、たとえばビデオフレームの別の領域に対応するビデオデータを、遅延の短い方法を使用して送信し、対話性を容易にすることを可能にする。
本発明の実施形態は、遅延の短い送信方法を使用することなくビデオデータの非対話型部分を送信することによって、送信コスト及びリソース処理コストの低減を提供することができることを理解されたい。
【０００９】
ここで、本発明の様々な実施形態を詳細に参照する。
本発明の様々な実施形態の例は添付の図面に示される。
本発明を、様々な実施形態と併せて説明するが、これらの実施形態は、本発明を該実施形態に限定することを意図するものではないことが理解されよう。
それどころか、本発明の実施形態は、代替形態、変更形態、及び均等物を包含するように意図され、それらは添付の特許請求の範囲の精神及び範囲内に含むことができる。
さらに、本発明の様々な実施形態の以下の詳細な説明において、本発明の実施形態の完全な理解を提供するために、多数の特定の詳細を示す。
他の例では、本発明の実施形態の態様を不必要に不明確にしないようにするために、既知の方法、手順、構成要素、及び回路については詳細に説明されていない。
【００１０】
本発明の実施形態を、ビデオデータのストリーミングに関して説明するが、本発明の実施形態はビデオデータのストリーミングに限定されないことを理解されたい。
本発明の実施形態は、音声ベースのデータ、画像ベースのデータ、グラフィックデータ、ビデオベースのデータ、テキストベースのデータ、ウェブページベースのデータ等を含むがこれらに限定されない他のタイプの媒体にも当てはまることを理解されたい。
さらに、本発明の実施形態は、同期（たとえばライブ）、非同期（たとえばタイムシフト）を含むオンデマンドの送信、又はダウンロードにも適用することができることを理解されたい。
【００１１】
図１は、本発明の一実施形態による、ビデオデータをストリーミングするためのシステム１００のブロック図である。
システム１００は、フレーム分割器１１０と、遅延モジュール１２０と、変更モジュール１３０（たとえば図２）と、送信機１４０とを備える。
一実施形態では、システム１００は、ネットワーク接続（図示せず）を介して通信することが可能な演算装置内に実装される。
たとえば、システム１００は、コンピュータ、携帯電話、携帯情報端末、テレビ、セットトップボックス、及びネットワークを介してデータを送受信することが可能な任意の他の演算装置を含むがそれらに限定されない任意のタイプの演算装置とすることができる。
【００１２】
フレーム分割器１１０、遅延モジュール１２０、変更モジュール１３０、及び送信機１４０は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとして実装することができることを理解されたい。
さらに、システム１００は、本発明の実施形態の態様を不必要に不明確にしないようにするために図示されない、さらなる構成要素を備えることができることを理解されたい。
【００１３】
フレーム分割器１１０はビデオデータ１０５を受信する。
ビデオデータ１０５は複数のフレームを含む。
ビデオデータ１０５は、任意の種類のストリーミングビデオデータを含むことができることを理解されたい。
たとえば、ビデオデータ１０５は、リアルタイムビデオデータ又は予め記録されたビデオデータを含むことができる。
リアルタイムビデオデータは固有の遅延を含む場合があるが、ビデオデータは鑑賞者の観点からは概ねリアルタイムであることを理解されたい。
【００１４】
一実施形態では、ビデオデータ１０５をＨ．２６３ビデオ符号化標準規格を使用して符号化する。
しかしながら、本発明の実施形態は、Ｈ．２６４／ＡＶＣビデオ符号化標準規格及びＭＰＥＧ−４ビデオ符号化標準規格を含むがこれらに限定されない他のビデオ符号化標準規格を使用して符号化されたビデオデータ１０５も含むことができることを理解されたい。
【００１５】
本発明の実施形態は、局所的対話性を含むビデオデータをストリーミングするために使用される。
たとえば、パーソナライズされた広告挿入、対話型ＴＶ、及びビデオ対応遠隔協調ツールのようなアプリケーションでは、主要表現の小さなサブセットのみが対話型入力に従って変更される。
【００１６】
フレーム分割器１１０は、ビデオデータ１０５の少なくとも１つのフレームを複数の領域に分割するように動作可能である。
一実施形態では、フレームの２つの領域が識別され、ここで、フレームの一方の領域は固定領域として識別され、残りの領域は変更可能な領域である。
非対話型領域から独立した変更可能な領域の変更を容易にするために、フレーム分割器１１０は、フレームを複数の独立して復号可能な領域に分解する。
【００１７】
図３Ａは、本発明の一実施形態による、ビデオフレーム３００の独立して復号可能な領域を生成するための分割動作例を示している。
即時に明確化する目的で、対話型領域は、ビデオフレームの底部における多数のマクロブロック（ＭＢ）行として定義される。
しかしながら、対話型領域は、ビデオフレーム内の任意の形状として定義することができ、ＭＢの粒度レベルに制限されないことを理解されたい。
たとえば、対話型領域は、ピクセルレベルにおいて定義することができる。
さらに、本発明の実施形態は、複数の対話型領域を含むことができることを理解されたい。
【００１８】
一実施形態では、フレーム分割器１１０は、２つの独立して復号可能な領域、すなわち、上部の幾つかのＭＢ行から成る固定領域３１０と、残りのＭＢ行から成る変更可能な領域３２０を生成するように構成される。
独立して復号可能な領域とは、固定領域３１０を変更可能な領域３２０に依存せずに復号することができ、変更可能な領域３２０を固定領域３１０に依存せずに復号することができる関係を指すことを理解されたい。
【００１９】
他の実施形態によれば、フレーム分割器１１０は、一方の領域のみが独立して復号可能である２つの別個の領域を生成するように構成されることを理解されたい。
一実施形態では、固定領域３１０は変更可能な領域３２０から独立して復号可能であるが、変更可能な領域３２０は固定領域３１０に依存して復号を行い得る。
たとえば、対応するフレームの固定領域３１０は同じフレームの変更可能な領域３２０の前に送信されるため、変更可能な領域３２０は固定領域３１０に依存して復号を行い得る。
【００２０】
一実施形態では、固定領域３１０及び変更可能な領域３２０内のＭＢは、図３Ａにおいて矢印で示されるＭＢの動きベクトル（ＭＶ）が、該ＭＢが属する領域外を指さないように符号化される。
図３Ａに示すように、たとえば、固定領域３１０の最下ＭＢ行内のＭＢ３３０ａ及び３３０ｂは、下方向を指すＭＶ３４０ａ及び３４０ｂを有しないように制限され、一方、変更可能な領域３２０の最上ＭＢ行内のＭＢ３３０ｃ、３３０ｄ、及び３３０ｅは、上方向を指すＭＶ３４０ｃ、３４０ｄ、及び３４０ｅを有しないように制限される。
一実施形態では、ブロックグループ（ＧＯＢ）ヘッダ３５０（Ｈ．２６３の構文において定義される）を変更可能な領域３２０内の最初のＭＢ行の開始部に挿入して、変更可能な領域３２０に対応するビットストリームの識別を容易にすると共に、変更可能な領域３２０が独立して復号可能であることを確実にする。
【００２１】
図３Ｂは、本発明の一実施形態による、２つの独立して復号可能な領域を有するフレーム例３６０を示している。
フレーム分割器１１０は、固定領域３１０及び変更可能な領域３２０を生成するように構成される。
図１を参照すると、フレーム分割器１１０は、固定領域を含むビデオデータの第１の部分１１２を送信機１４０に送信し、変更可能な領域を含むビデオデータの第２の部分１１５を変更モジュール１３０に送信する。
したがって、変更モジュール１３０は、固定領域３１０を復号することなく、変更可能な領域３２０に対してのみ操作する。
【００２２】
図１を参照すると、別の実施形態では、変更可能な領域から固定領域に依存して（しかし逆は同様ではない）、分解可能なビデオが作成される。
本実施形態では、圧縮された固定領域を復号する必要がある。
この手法によって、システム１００における計算オーバヘッドが大きくなる。
しかしながら、分解可能なビデオを作成する際のＭＶに対する制限がより少ないため、これは符号化性能における利得につながり得る。
本実施形態では、１つのみの領域が独立して復号可能であり、固定領域内のＭＢは固定領域外を指さず、変更可能な領域内のＭＢは変更可能な領域外を指すことができる。
【００２３】
別の実施形態では、変更可能な領域の符号化は、ゼロＭＶを使用するようにさらに制限され得る。
この手法では、変更可能な部分を変更する際に要求される演算がより少ない。
これは、先行する復号器において動き補償を行うことなく、内部データ又は残余データに対する全てのオーバレイ操作をここで完了させることができるためである。
【００２４】
一実施形態では、第２の部分１１５は、変更モジュール１３０の前に遅延モジュール１２０において受信される。
遅延モジュール１２０は、第２の部分１１５を所定の時間遅延させ、変更モジュール１３０における対話型入力１３２の受信を可能にするように構成される。
遅延モジュール１２０は通常、変更モジュール１３０に対する第２の部分１１５の送信を或る時間量遅延させ、対話型入力１３２との同期を可能にするように構成されることを理解されたい。
一実施形態では、遅延量は約数ミリ秒である。
【００２５】
変更モジュール１３０は第２の部分１１５を受信し、対話型入力１３２に従って該第２の部分を変更するように構成される。
図２は、本発明の一実施形態による、対話型入力１３２に従って媒体のフレームの一部分を変更するための変更モジュール１２０のブロック図である。
変更モジュール１３０は、復号器２１０と、部分変更器２２０と、符号化器２３０とを備える。
復号器２１０、部分変更器２２０、及び符号化器２３０は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとして実装することができることを理解されたい。
さらに、変更モジュール１３０は、本発明の実施形態の態様を不必要に不明確にしないようにするために図示されない、さらなる構成要素を備えることができることを理解されたい。
【００２６】
一実施形態では、変更モジュール１３０はネットワークノードに配置される。
別の実施形態では、無線セルラネットワーク配置の場合、変更モジュール１３０は、３ＧＰＰリリース６以降の無線コアネットワーク内のＩＰマルチメディアサブシステム（ＩＭＳ）の構成要素として実装することができる。
【００２７】
本発明の実施形態は、ユーザグループに集合的な対話型経験を提供することを理解されたい。
したがって、ユーザグループは、変更モジュール１３０にアクセスすることができる。
本実施形態では、グループの各ユーザは、個々の対話型入力１３２を提供することが可能である場合があり、集合的な対話型入力に従ってビデオデータが変更される。
複数のユーザが、対話型入力１３２をビデオデータ１０５に与え、グループの各ユーザが全ての対話型入力を鑑賞するようにすることができる。
たとえば、テレビ番組の各鑑賞者は、対話型入力１３２をシステム１００に送信することによって、該番組にコメントを提供することができる。
【００２８】
復号器２１０は第２の部分１１５を受信し、該復号器２１０は該第２の部分１１５を復号するように構成される。
復号された第２の部分２１５は、部分変更器２２０において受信される。
部分変更器２２０は、復号された第２の部分２１５を対話型入力１３２に従って変更するように構成される。
対話型入力１３２を様々な形式で受信することができることを理解されたい。
一実施形態では、対話型入力１３２はビデオストリームを含み、該ビデオストリームは復号された第２の部分２１５の上にオーバレイされる。
一実施形態では、ビデオストリームは部分変更器２２０において受信される前に復号される。
部分変更器２２０は、復号された第２の部分２２５を変更することによって、変更された、復号された第２の部分２２５を生成するように構成される。
【００２９】
対話型入力１３２を、ビデオストリームの局所的対話性を利用するための、パーソナライズされた広告挿入、対話型テレビ、ビデオ対応遠隔協調ツールのような多数の異なる対話型ストリーミングビデオアプリケーションと関連付けることができることを理解されたい。
たとえば、図１のビデオデータ１０５を、テレビ番組に関連付けることができる。
テレビ番組の鑑賞者は、ビデオデータ１０５の変更可能な部分を変更するために、対話型入力１３２をシステム１００に送信することができる。
たとえば、対話型入力１３２は、テキストコメント、個人アバターのようなグラフィック、及び音声部分を含むことができる。
【００３０】
別の実施形態では、対話型入力１３２は、デュアルトーンマルチ周波数によって制御されるアバターを含み、説明される実施形態の使用を、一般的なビデオストリーミングか可能な携帯電話に拡張する。
別の例では、対話型入力は、パーソナライズされた広告を含むことができる。
【００３１】
一実施形態では、部分変更器２２０は、第２の部分２１５の上に対話型入力１３２をオーバレイすることによって、復号された第２の部分２１５を変更する。
一実施形態では、鑑賞者は、対話型入力１３２をリアルタイムで送信することによって、変更をビデオデータ１０５に与えることができる。
部分変更器２２０は、対応する対話型入力１３２とオーバレイされた新たなビデオストリームを構築する。
一実施形態では、部分変更器２２０は、ピクセルドメインにおいて対話型入力１３２をオーバレイする。
ピクセルドメイン動作は、アバターの位置、速度、サイズ、及び不透明度の変化のような豊富な対話型入力のセットをサポートする。
部分的符号化の使用は、関連付けられる計算の複雑度全体を低減するのに役立つ。
【００３２】
本発明の実施形態は、ビデオデータ１０５の一部分のみの変更を提供する。
たとえば、鑑賞者の主な目的がビデオデータ１０５を閲覧することである場合、ビデオデータ１０５の変更可能な領域はフレームの一部分しか占有しない。
フレームの一部分の変更しか必要としない局所的対話性を提供することによって、局所的対話性の影響下にない部分を復号、変更、及び再符号化する必要がない。
様々な実施形態は部分トランスコーディングを提供し、それによって、ビデオストリームの必要な部分のみが処理される。
【００３３】
本発明の実施形態は、ビデオデータ１０５の一部分のみの復号、変更、及び再符号化を実施することを理解されたい。
これによって計算が節約される。
これは、ビデオデータの変更されない部分が、復号、変更、及び再符号化されることなくネットワークを介して送信されるためである。
【００３４】
変更された、復号された第２の部分２２５を、符号化器２３０において符号化し、変更された第２の部分１２５を生成する。
【００３５】
送信機１４０は、第１の部分１１２及び第２の部分１２５を、ビデオデータ１４５として示される単一のストリーム内で送信するように構成される。
上述するように、第１の部分１１２は、復号、変更、及び再符号化の影響下にない。
一実施形態では、対応するフレームの第１の部分１１２は、送信機１４０において、該対応するフレームの第２の部分１２５の前に受信される。
したがって、所与のフレームについて、第１の部分１１２を、ストリーム内で、第２の部分１２５の前に送信することができる。
【００３６】
所与のフレームについて、第１の部分１１２を第２の部分１２５の前に送信することによって、システム１００は、ビデオストリームのレイテンシ要件を活用することができる。
換言すれば、本発明の実施形態は、パケットを、同じビデオフレーム内の異なる複数のレイテンシ要件と組み合わせることを提供する。
具体的には、変更されない領域に対応する情報を高レイテンシモードで配信することができる。
これは、ビデオデータ１０５と対話しない鑑賞者は、過度の起動レイテンシが生じないという制限のみで、かなりの遅延を伴った該ビデオデータを閲覧することができるためである。
逆に、観察者によって発行される対話型入力１３２に応じて変更されている領域は、対話型コミュニティ経験を提供するために、全ての鑑賞者に低レイテンシモードで迅速に伝達される必要がある。
【００３７】
さらに、全てのパケットに厳密な期限に従うことを強制することは、潜在的に非効率である可能性がある。
特に、長いレイテンシは一方向ストリーミングを使用することを可能にし、パケット損失回復のためのオーバヘッドの必要を少なくする（たとえば、損失パケットは常に再送信することができるため、オーバヘッドが実際のネットワーク動作と一致する）。
【００３８】
パケット損失を考慮する必要がない場合であっても、統計的多重化を利用することによって利得が可能である。
たとえば、一実施形態では、符号化器を可変ビットレート（ＶＢＲ）モードにおいて操作するとき、より良好なビデオ品質を達成することができる。
ＶＢＲ符号化ビデオを送信するために、ＶＢＲ送信をサポートする（たとえば可変帯域幅を可能にする）か、又は時間にわたってレート需要の平均を取ることによって、レート平均化を可能にすることが必要である。
本発明の実施形態は双方の様式をサポートし、品質を改善させる。
第１に、長いレイテンシによって、ストリームの変更されていない部分が、大容量のバッファリングから利益を受けることが可能になり、それによってＶＢＲ符号化データを一定又はほぼ一定の帯域幅を用いて送信することができる。
第２に、ストリームの変更された部分は厳しい期限の下で送信されるが、帯域幅を変動させることによって、より良好な性能を達成することができる。
このため、帯域幅全体は一定とすることができるが、ストリームの低レイテンシ部分は可変レートで送信することができる。
ストリームの高レイテンシ部分は、バッファリングを使用して、（自身のレートにおいて、及び帯域幅において）これらの変動を吸収することができる。
【００３９】
システム１００を、ビデオデータ１０５の複数の変更例をサポートするように変更することができることを理解されたい。
一実施形態では、変更モジュールは対話型入力１３２の異なる複数の例を受信し、該異なる複数の例に基づいて、第２の部分１２５の複数の例を生成することができる。
本実施形態では、第２の部分１２５の各例を、異なる複数の宛先に送信するすることができ、一方、各宛先は第１の部分１１２を受信する。
別の実施形態では、システム１００は、それぞれがビデオデータ１０５の異なる変更に専用である複数の変更モジュール１３０を備える。
【００４０】
図４は、本発明の一実施形態による、ビデオデータを表示するためのシステム４００のブロック図である。
システム４００は、受信機４１０と、復号器４２０と、ディスプレイ４３０とを備える。
様々な実施形態では、システム４００はバッファ４４０ａ及び／又はバッファ４４０ｂも備える場合がある。
一実施形態では、システム４００は、ネットワーク接続（図示せず）を介して通信することが可能な演算装置内に実装される。
たとえば、システム４００は、コンピュータ、携帯電話、携帯情報端末、テレビ、セットトップボックス、及びネットワークを介してデータを送受信することが可能な任意の他の演算装置を含むがそれらに限定されない任意のタイプの演算装置とすることができる。
【００４１】
受信機４１０、復号器４２０、ディスプレイ４３０、並びにバッファ４４０ａ及び４４０ｂは、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとして実装することができることを理解されたい。
さらに、システム４００は、本発明の実施形態の態様を不必要に不明確にしないようにするために図示されない、さらなる構成要素を備えることができることを理解されたい。
【００４２】
受信機４１０は、ビデオデータの複数の部分、たとえば図１の第１の部分１１２及び第２の部分１２５を含むビデオデータ１４５を、単一のストリーム内で受信するように構成される。
本発明の実施形態では、第１の部分１１２は第２の部分１２５の前に受信されることを理解されたい。
一実施形態では、第１の部分１１２は、バッファ４４０ａにおいて、第２の部分１２５の受信の前にバッファリングされる。
次に、第１の部分１１２及び第２の部分１２５は、復号器４２０において復号される。
第２の部分１２５が第１の部分１１２から独立して復号可能でない一実施形態では、復号器４２０は、第１の部分１１２を使用して第２の部分１２５を復号する。
一実施形態では、第１の部分１１２を第２の部分１２５から独立して復号することができ、復号された第１の部分４２２をバッファ４４０ｂにおいてバッファリングすることができ、一方、第１の部分１１２は、第２の部分１２５が受信及び復号されるまで、バッファ４４０ａにおいてバッファリングされることを理解されたい。
【００４３】
一実施形態では、第１の部分１１２を復号し、復号された第１の部分４２２を、受信機４１０において第２の部分１２５を受信する前に生成し、第２の部分１２５が復号されるまで、復号された第１の部分４２２をバッファ４４０ｂにおいてバッファリングする。
第２の部分１２５を復号器４２０において復号し、復号された第２の部分４２５を生成する。
対応するフレームの復号された第１の部分４２２及び復号された第２の部分４２５は、ディスプレイ４３０に表示される。
【００４４】
図５は、本発明の一実施形態による、ビデオデータをストリーミングするためのプロセス５００を示すフローチャートである。
一実施形態では、プロセス５００は、コンピュータ可読命令及びコンピュータ実行可能命令の制御下で、プロセッサ及び電気部品によって実行される。
コンピュータ可読命令及びコンピュータ実行可能命令は、たとえば、コンピュータ使用可能揮発性メモリ及びコンピュータ使用可能不揮発性メモリのようなデータストレージ機構内に存在する。
しかしながら、コンピュータ可読命令及びコンピュータ実行可能命令は、任意のタイプのコンピュータ可読媒体内に存在することができる。
一実施形態では、プロセス５００は図１のシステム１００によって実施される。
【００４５】
プロセス５００のブロック５０５において、ビデオデータを受信する。
一実施形態では、ビデオデータを、Ｈ．２６３ビデオ符号化標準規格を使用して符号化する。
【００４６】
ブロック５１０において、ビデオデータの少なくとも１つのフレームを複数の領域に分割する。
一実施形態では、ブロック５１２に示すように、フレーム内の複数の領域を識別する。
ブロック５１４において、複数の領域を、該複数の領域のうちの少なくとも１つの領域が独立して復号可能な領域になるように分解する。
一実施形態では、複数の領域のうちの少なくとも２つの領域が独立して復号可能な領域である。
【００４７】
ブロック５２０において、複数の領域の第１の領域に対応するビデオデータをネットワークを介して送信する。
【００４８】
一実施形態では、ブロック５３０に示すように、第２の領域に対応するビデオデータの変更を所定の時間遅延させる。
【００４９】
ブロック５４０において、複数の領域の第２の領域に対応するビデオデータを、対話型入力に従って変更する。
一実施形態では、対話型入力は、フレームの一部分を提示のために変更するように構成される情報を含む。
【００５０】
一実施形態では、ブロック５４２に示すように、対話型入力を受信する。
ブロック５４４において、第２の領域を復号する。
ブロック５４６において、第２の領域を対話型入力に従って変更する。
一実施形態では、ピクセルドメインにおいて、対話型入力を第２の領域の上にオーバレイする。
ブロック５４８において、対話型入力に従って変更された第２の領域を符号化し、第２の領域の変更バージョンを生成する。
【００５１】
本発明の実施形態によれば、ブロック５４０を対話型入力の異なる複数の例について実施することができることを理解されたい。
本実施形態では、複数の領域の第２の領域に対応するビデオデータを、第２の対話型入力に従って変更する。
【００５２】
ブロック５５０において、第２の領域の変更バージョンに対応するビデオデータを、ネットワークを介して送信する。
一実施形態では、ブロック５５０の第２の領域の変更バージョンに対応するビデオデータの送信を、ブロック５２０の第１の領域に対応するビデオデータの送信の後に実施する。
一実施形態では、第１の領域に対応するビデオデータを高レイテンシモードを使用して送信し、第２の領域に対応するビデオデータを低レイテンシモードを使用して送信する。
【００５３】
第２の領域の変更バーション及び第２の変更バージョンが存在する一実施形態では、第２の領域の第２の変更バージョンに対応するビデオデータをネットワークを介して送信する。
本実施形態では、第２の領域の変更バージョンに対応するビデオデータ、及び第２の領域の第２の変更バージョンに対応するビデオデータを、異なる宛先に送信する。
【００５４】
図６は、本発明の一実施形態による、ビデオデータを表示するためのプロセス６００を示すフローチャートである。
一実施形態では、プロセス６００は、コンピュータ可読命令及びコンピュータ実行可能命令の制御下で、プロセッサ及び電気部品によって実行される。
コンピュータ可読命令及びコンピュータ実行可能命令は、たとえば、コンピュータ使用可能揮発性メモリ及びコンピュータ使用可能不揮発性メモリのようなデータストレージ機構内に存在する。
しかしながら、コンピュータ可読命令及びコンピュータ実行可能命令は、任意のタイプのコンピュータ可読媒体内に存在することができる。
一実施形態では、プロセス６００は図４のシステム４００によって実施される。
【００５５】
プロセス６００のブロック６１０において、フレームの第１の領域に対応するビデオデータの第１の部分を受信する。
ここで、フレームは複数の領域を含み、第１の部分は独立して復号可能である。
ブロック６２０において、フレームの第２の領域に対応するビデオデータの第２の部分を受信する。
ここで、第２の部分は対話型入力に従って変更されている。
一実施形態では、第２の部分は独立して復号可能である。
ブロック６１０及びブロック６２０は、任意の順序で実施することができることを理解されたい。
一実施形態ではブロック６１０をブロック６２０の前に実施する。
【００５６】
ブロック６３０において、第１の部分を復号する。
一実施形態では、ブロック６１２に示すように、第１の部分をブロック６３０の前にバッファリングする。
一実施形態では、ブロック６３２に示すように、第１の部分をブロック６３０の後にバッファリングする。
様々な実施形態によれば、ブロック６１２及び／又はブロック６３２のバッファリングは、ブロック６２０における第２の部分の受信に依拠することを理解されたい。
【００５７】
ブロック６４０において、第２の部分を復号する。
第２の部分が独立して復号可能でない一実施形態では、第２の部分を、第１の部分に少なくとも部分的に基づいて復号する。
ブロック６５０において、第１の部分及び第２の部分を含むフレームを表示する。
【００５８】
本発明の実施形態は、ビットストリーム構文解析を（復号することなく）実施し、圧縮されたビットストリームを少なくとも２つの領域、すなわち、変更されないままであるもの（固定領域）、及び対話型入力による変更の影響下にあるもの（変更可能な領域）に分ける。
復号、変更、及び後続の符号化は、変更可能な領域に対してのみ実施される。
したがって、システム１００における計算負荷は、ビットストリーム全体の復号、変更、及び再符号化を必要とするシステムよりも低減される。
分解可能なビデオの使用は通常、圧縮効率に不利益を招くが、固定領域の再符号化を回避することによって、受信側のビデオ品質を高めることができることを理解されたい。
【００５９】
本発明の実施形態は、フレームを、異なるレイテンシ要件を使用して送信することができる固定の領域及び変更可能な領域に分解することを提供する。
一実施形態では、本発明は、固定領域に関連付けられるデータの部分を高レイテンシモードを使用して送信すること、及び変更可能な領域に関連付けられるデータの部分を低レイテンシモードを使用して送信することを提供する。
高レイテンシモードは低レイテンシモードよりも低い処理要件及びタイミング要件を有するため、ビデオデータの送信コストは、全ビデオデータを低レイテンシモードを使用して送信するよりも低減される。
【００６０】
このように、本発明の様々な実施形態、ビデオデータをストリーミングするための方法説明した。
本発明を、特定の実施形態において説明してきたが、本発明はそのような実施形態によって限定されるものと見なされるべきではなく、以下の特許請求の範囲に従うものと見なされるべきであることを理解されたい。
【符号の説明】
【００６１】
１００・・・システム，
１１０・・・フレーム分割器，
１２０・・・遅延モジュール，
１３０・・・変更モジュール，
１４０・・・送信機，
２１０・・・復号器，
２２０・・・部分変更器，
２３０・・・符号化器，
３００・・・ビデオフレーム，
３１０・・・固定領域，
３２０・・・変更可能領域，
３３０・・・マクロブロック（ＭＢ），
３４０・・・動きベクトル（ＭＶ），
３５０・・・ヘッダ，
４００・・・システム，
４１０・・・受信機，
４２０・・・復号器，
４３０・・・ディスプレイ，
４４０・・・バッファ
【特許請求の範囲】
【請求項１】
ビデオデータをストリーミングするための方法であって、
前記ビデオデータを受信することと、
前記ビデオデータの少なくとも１つのフレームを複数の領域に分割することと、
前記複数の領域の第１の領域に対応する前記ビデオデータを、ネットワークを介して送信することと、
前記複数の領域の第２の領域に対応する前記ビデオデータを、対話型入力に従って変更することと、
前記第２の領域の変更バージョンに対応する前記ビデオデータを、前記ネットワークを介して送信することと
を含む方法。
【請求項２】
前記第２の領域の前記変更バージョンに対応する前記ビデオデータを前記送信することは、前記第１の領域に対応する前記ビデオデータを前記送信することの後に実施される 請求項１に記載の方法。
【請求項３】
前記第２の領域に対応する前記ビデオデータを前記変更することの前に、前記方法は、
所定の時間、前記第２の領域に対応する前記ビデオデータを前記変更することを遅延させることを含む
請求項２に記載の方法。
【請求項４】
前記ビデオデータの少なくとも１つのフレームを前記複数の領域に前記分割することは、
前記フレーム内の前記複数の領域を識別することと、
前記複数の領域を、前記複数の領域のうちの少なくとも１つの領域が独立して復号可能な領域になるように分解することと
を含む請求項１に記載の方法。
【請求項５】
前記複数の領域の前記第２の領域に対応する前記ビデオデータを前記対話型入力に従って前記変更することは、
前記対話型入力を受信することと、
前記第２の領域を復号することと、
前記第２の領域を、前記対話型入力に従って変更することと、
前記対話型入力に従って変更された前記第２の領域を符号化することであって、前記第２の領域の前記変更バージョンを生成する、符号化することと
を含む請求項１に記載の方法。
【請求項６】
前記ビデオデータはＨ．２６３ビデオ符号化標準規格を使用して符号化される
請求項１に記載の方法。
【請求項７】
前記複数の領域の前記第２の領域に対応する前記ビデオデータを、第２の対話型入力に従って変更することと、
前記第２の領域の第２の変更バージョンに対応する前記ビデオデータを、前記ネットワークを介して送信することと、
をさらに含み、
前記第２の領域の前記変更バージョンに対応する前記ビデオデータ、および、前記第２の領域の前記第２の変更バージョンに対応する前記ビデオデータは、異なる宛先に送信される
請求項１に記載の方法。
【請求項８】
前記対話型入力は、前記フレームの一部分を提示のために変更するように構成される情報を含む
請求項１に記載の方法。
【請求項９】
前記第１の領域に対応する前記ビデオデータは、高レイテンシモードを使用して送信され、
前記第２の領域に対応する前記ビデオデータは、低レイテンシモードを使用して送信される
請求項１に記載の方法。
【請求項１０】
ビデオデータを復号するための方法であって、
フレームの第１の領域に対応するビデオデータの第１の部分を受信することであって、前記フレームは複数の領域を含み、前記第１の部分は独立して復号可能である、受信することと、
前記フレームの第２の領域に対応するビデオデータの第２の部分を受信することであって、前記第２の部分は対話型入力に従って変更されている、受信することと、
前記第１の部分を復号することと、
前記第２の部分を復号することと、
前記第１の部分および前記第２の部分を含む前記フレームを表示することと
を含む方法。
【請求項１１】
前記第１の部分は前記第２の部分の前に受信される
請求項１０に記載の方法。
【請求項１２】
前記第１の部分を、前記第２の部分の前記受信することの前にバッファリングすることをさらに含む
請求項１０に記載の方法。
【請求項１３】
前記第１の部分を前記復号することの後、前記第２の部分を前記復号することの前に、前記第１の部分をバッファリングすることをさらに含む
請求項１０に記載の方法。
【請求項１４】
前記第２の部分は独立して復号可能である
請求項１０に記載の方法。
【請求項１５】
１つ又は複数のプロセッサによって実行されると、ビデオデータをストリーミングするための方法を実施する命令を記憶するための１つまたは複数の演算装置可読媒体であって、前記方法は、
前記ビデオデータを受信することと、
前記ビデオデータの少なくとも１つのフレームを複数の領域に分割することと、
前記複数の領域の第１の領域に対応する前記ビデオデータの第１の部分を、ネットワークを介して送信することと、
前記複数の領域の第２の領域に対応する前記ビデオデータの第２の部分を、対話型入力に従って変更することと、
前記第２の部分の変更バージョンを、前記ネットワークを介して送信することと
を含む１つまたは複数の演算装置可読媒体。
【請求項１６】
前記第２の部分の前記変更バージョンを前記送信することは、前記第１の部分を前記送信することの後に実施される
請求項１５に記載の１つまたは複数の演算装置可読媒体。
【請求項１７】
前記第２の部分を前記変更することの前に、前記方法は、
所定の時間、前記第２の部分を前記変更することを遅延させることを含む
請求項１６に記載の１つ又は複数の演算装置可読媒体。
【請求項１８】
前記ビデオデータの少なくとも１つのフレームを前記複数の領域に前記分割することは、
前記フレーム内の前記複数の領域を識別することと、
前記複数の領域を、前記複数の領域のうちの少なくとも１つの領域が独立して復号可能な領域になるように分解することと
を含む請求項１５に記載の１つ又は複数の演算装置可読媒体。
【請求項１９】
前記複数の領域の前記第２の領域に対応する前記ビデオデータの前記第２の部分を、前記対話型入力に従って前記変更することは、
前記対話型入力を受信することと、
前記第２の部分を復号することと、
前記第２の部分を、前記対話型入力に従って変更することと、
前記対話型入力に従って変更された前記第２の部分を符号化することであって、前記第２の部分の前記変更バージョンを生成する、符号化することと
を含む請求項１５に記載の１つまたは複数の演算装置可読媒体。
【請求項２０】
前記方法は、
前記複数の領域の前記第２の領域に対応する前記ビデオデータの前記第２の部分を、第２の対話型入力に従って変更することと、
前記第２の部分の第２の変更バージョンを、前記ネットワークを介して送信することと
を含み、
前記第２の部分の前記変更バージョンに対応する前記ビデオデータ、および、前記第２の部分の前記第２の変更バージョンに対応する前記ビデオデータは、異なる宛先に送信される
請求項１５に記載の１つまたは複数の演算装置可読媒体。
【請求項１】
ビデオデータをストリーミングするための方法であって、
前記ビデオデータを受信することと、
前記ビデオデータの少なくとも１つのフレームを複数の領域に分割することと、
前記複数の領域の第１の領域に対応する前記ビデオデータを、ネットワークを介して送信することと、
前記複数の領域の第２の領域に対応する前記ビデオデータを、対話型入力に従って変更することと、
前記第２の領域の変更バージョンに対応する前記ビデオデータを、前記ネットワークを介して送信することと
を含む方法。
【請求項２】
前記第２の領域の前記変更バージョンに対応する前記ビデオデータを前記送信することは、前記第１の領域に対応する前記ビデオデータを前記送信することの後に実施される 請求項１に記載の方法。
【請求項３】
前記第２の領域に対応する前記ビデオデータを前記変更することの前に、前記方法は、
所定の時間、前記第２の領域に対応する前記ビデオデータを前記変更することを遅延させることを含む
請求項２に記載の方法。
【請求項４】
前記ビデオデータの少なくとも１つのフレームを前記複数の領域に前記分割することは、
前記フレーム内の前記複数の領域を識別することと、
前記複数の領域を、前記複数の領域のうちの少なくとも１つの領域が独立して復号可能な領域になるように分解することと
を含む請求項１に記載の方法。
【請求項５】
前記複数の領域の前記第２の領域に対応する前記ビデオデータを前記対話型入力に従って前記変更することは、
前記対話型入力を受信することと、
前記第２の領域を復号することと、
前記第２の領域を、前記対話型入力に従って変更することと、
前記対話型入力に従って変更された前記第２の領域を符号化することであって、前記第２の領域の前記変更バージョンを生成する、符号化することと
を含む請求項１に記載の方法。
【請求項６】
前記ビデオデータはＨ．２６３ビデオ符号化標準規格を使用して符号化される
請求項１に記載の方法。
【請求項７】
前記複数の領域の前記第２の領域に対応する前記ビデオデータを、第２の対話型入力に従って変更することと、
前記第２の領域の第２の変更バージョンに対応する前記ビデオデータを、前記ネットワークを介して送信することと、
をさらに含み、
前記第２の領域の前記変更バージョンに対応する前記ビデオデータ、および、前記第２の領域の前記第２の変更バージョンに対応する前記ビデオデータは、異なる宛先に送信される
請求項１に記載の方法。
【請求項８】
前記対話型入力は、前記フレームの一部分を提示のために変更するように構成される情報を含む
請求項１に記載の方法。
【請求項９】
前記第１の領域に対応する前記ビデオデータは、高レイテンシモードを使用して送信され、
前記第２の領域に対応する前記ビデオデータは、低レイテンシモードを使用して送信される
請求項１に記載の方法。
【請求項１０】
ビデオデータを復号するための方法であって、
フレームの第１の領域に対応するビデオデータの第１の部分を受信することであって、前記フレームは複数の領域を含み、前記第１の部分は独立して復号可能である、受信することと、
前記フレームの第２の領域に対応するビデオデータの第２の部分を受信することであって、前記第２の部分は対話型入力に従って変更されている、受信することと、
前記第１の部分を復号することと、
前記第２の部分を復号することと、
前記第１の部分および前記第２の部分を含む前記フレームを表示することと
を含む方法。
【請求項１１】
前記第１の部分は前記第２の部分の前に受信される
請求項１０に記載の方法。
【請求項１２】
前記第１の部分を、前記第２の部分の前記受信することの前にバッファリングすることをさらに含む
請求項１０に記載の方法。
【請求項１３】
前記第１の部分を前記復号することの後、前記第２の部分を前記復号することの前に、前記第１の部分をバッファリングすることをさらに含む
請求項１０に記載の方法。
【請求項１４】
前記第２の部分は独立して復号可能である
請求項１０に記載の方法。
【請求項１５】
１つ又は複数のプロセッサによって実行されると、ビデオデータをストリーミングするための方法を実施する命令を記憶するための１つまたは複数の演算装置可読媒体であって、前記方法は、
前記ビデオデータを受信することと、
前記ビデオデータの少なくとも１つのフレームを複数の領域に分割することと、
前記複数の領域の第１の領域に対応する前記ビデオデータの第１の部分を、ネットワークを介して送信することと、
前記複数の領域の第２の領域に対応する前記ビデオデータの第２の部分を、対話型入力に従って変更することと、
前記第２の部分の変更バージョンを、前記ネットワークを介して送信することと
を含む１つまたは複数の演算装置可読媒体。
【請求項１６】
前記第２の部分の前記変更バージョンを前記送信することは、前記第１の部分を前記送信することの後に実施される
請求項１５に記載の１つまたは複数の演算装置可読媒体。
【請求項１７】
前記第２の部分を前記変更することの前に、前記方法は、
所定の時間、前記第２の部分を前記変更することを遅延させることを含む
請求項１６に記載の１つ又は複数の演算装置可読媒体。
【請求項１８】
前記ビデオデータの少なくとも１つのフレームを前記複数の領域に前記分割することは、
前記フレーム内の前記複数の領域を識別することと、
前記複数の領域を、前記複数の領域のうちの少なくとも１つの領域が独立して復号可能な領域になるように分解することと
を含む請求項１５に記載の１つ又は複数の演算装置可読媒体。
【請求項１９】
前記複数の領域の前記第２の領域に対応する前記ビデオデータの前記第２の部分を、前記対話型入力に従って前記変更することは、
前記対話型入力を受信することと、
前記第２の部分を復号することと、
前記第２の部分を、前記対話型入力に従って変更することと、
前記対話型入力に従って変更された前記第２の部分を符号化することであって、前記第２の部分の前記変更バージョンを生成する、符号化することと
を含む請求項１５に記載の１つまたは複数の演算装置可読媒体。
【請求項２０】
前記方法は、
前記複数の領域の前記第２の領域に対応する前記ビデオデータの前記第２の部分を、第２の対話型入力に従って変更することと、
前記第２の部分の第２の変更バージョンを、前記ネットワークを介して送信することと
を含み、
前記第２の部分の前記変更バージョンに対応する前記ビデオデータ、および、前記第２の部分の前記第２の変更バージョンに対応する前記ビデオデータは、異なる宛先に送信される
請求項１５に記載の１つまたは複数の演算装置可読媒体。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【公表番号】特表２０１１−５１１５５４（Ｐ２０１１−５１１５５４Ａ）
【公表日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２０１０−５４４９４２（Ｐ２０１０−５４４９４２）
【出願日】平成２０年１月３０日（２００８．１．３０）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０５２４６３
【国際公開番号】ＷＯ２００９／０９６９５９
【国際公開日】平成２１年８月６日（２００９．８．６）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
【公表日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２０年１月３０日（２００８．１．３０）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０５２４６３
【国際公開番号】ＷＯ２００９／０９６９５９
【国際公開日】平成２１年８月６日（２００９．８．６）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
[ Back to top ]