説明

メディア信号を通信するためのシステム及び方法

【課題】メディア信号を流すためのメディア・ストリーミング・システムを提供する。
【解決手段】メディア・ストリーミング・システムは調査可能なCODECライブラリとして提供されると共に、メディア信号の同様な区分を識別すべく該メディア信号内の特定の特性を決定する際に使用される個別で別個の複数のCODEC(145)から成るCODECライブラリを取り入れる。メディア・ストリーミング・システムは、流されている状態のメディア信号としての該メディア信号の独特な特性を学習すべく且つ取り込むべく知能機構としてのコンピュータ具現化知能システムを用いる。またメディア・ストリーミング・システムは、ソース・メディア(100)から到着装置(130,135,140)まで流される際のメディア信号の圧縮/解凍をも為す。

【発明の詳細な説明】
【技術分野】
【0001】
関連出願
この出願は、2001年9月26日出願の出願番号第60/325,483号、代理人整理番号ID-PAT-001PR1の"System and Method for Communicating Media Signals"と題されたReynold等の仮出願の非仮出願である。
分野
この開示はソース装置と受信装置との間でメディア信号を通信するためのシステム及び方法に関する。より明確には、ストリーミング・メディア信号及びスタティック・メディア信号を圧縮及び解凍して、それら信号をソース装置及び受信装置の間で人工知能機構を用いて効率的に通信するためのシステム及び方法に関する。
【背景技術】
【0002】
ストリーミング・メディア及びスタティック・メディアを相互に遠隔的に配置された装置間で効率的に通信する能力は、インターネット等のネットワーク化された通信の到来に伴い指数関数的に出現した著しい需要である。この需要は、近年、世界的なスケールで実質的な開発リソースによって対処されてきた。
【0003】
用語「メディア」でこの明細書において意図されることは、ソース装置から到着装置までその到着装置での使用のための信号の形態で通信され得る情報を意味することであり、この明細書で使用されている場合、メディアはストリーミング・メディア信号或はスタティック・メディア信号の何れかを含むことが一般には企図される。この開示の目的のため、メディア信号に対する受信装置の動作として適用される用語「使用」は、再生(例えば、サウンド、画像、ビデオ)、処理(例えば、テレメトリーデータ)、或は、メディア信号の意図された目的である他の任意の使用或は操作を含むことが意図されている。
【0004】
用語「ストリーミング・メディア」は、一時的な流れるような状態で到着装置まで通信されたり、該到着装置によって使用されることが意図された情報を含むメディア信号を意味することがこの明細書では意図されている。ストリーミング・メディア信号に適用されている用語「ストリーミング」は、経時的に連続状態で通信及び処理され得る信号、経時的に連続状態で通信及び処理される信号、或は、相互に関係付けられ且つその後に到着装置によって連続的に相互に関係付けられた状態で使用される、一連の個別的なパケット、ピース、或は、ブロックで通信され得る信号を含むことがこの明細書では意図されている。この開示の目的のためにストリーミング信号の例は、それ故に、制限無しで、ビデオ、オーディオ、ビデオと組み合わせられたオーディオ、一時的なテレメトリー等のデータ・ストリング等のタイプのメディアを含む。用語「ストリーミング・メディア」は、対象メディアを表しているデータのディジタル化形態を参照することで殆どの場合に典型的には使用される。
【0005】
用語「スタティック・メディア」は、先に規定したような「ストリーミング」ではないメディアを一般的には意味するように意図されている。スタティック・メディア信号は、一般的には通信され得ると共に単一パケット、ブロック、或は、ピースとして使用されることが意図されているタイプのものである。それ故にスタティック・メディアは、例えば、制限無しに、個別の画像、個々別々であると共に相対的に一時的な短いビデオ・クリップ、サウンド若しくはサウンド・バイト、或は、テレメトリー情報等のピース情報若しくはブロック情報を含み得る。しかしながら企図されることは、スタティック・メディアのそうした「単一ピース」は、例えば、全体的な画像の複数領域若しくは複数ピクセル、一団となってビデオ・クリップを形成する個々別々のフレーム、一団となってサウンド、サウンド・バイトを含む複数サウンドから成るグループ、或は、一団となってより大きな情報ブロックを含む情報ビット等の複数のより小さなピース或はサブパーツから成るべく充分な大きさであり得ることである。
【0006】
ストリーミング・メディアは、スタティック・ファイルよりも著しく大きなデータ・ファイルを一般的には含むと共に、殆どのメディア・ファイルにて経験されるよりもそうしたファイルの一時的な通信にわたってより多くの変数をしばしば表す。それ故に使用のために到着装置への適切な通信に対するストリーミング・メディアを効率的に圧縮する能力は、しばしば、相当により複雑であると共にゴールに到るには難しい。従って、この開示の多くは特にストリーミング・メディアを参照することで提供され、そして本発明はそうした通信に対する著しい利益を提供すべく考察された。しかしながら、この背景技術に対してそしてここに開示された本発明の多くの利益に対してストリーミング・メディアがここで特に参照された場合、スタティック・メディアも当業者に従えば適切であることが企図されている。
【0007】
数多くの種々の「タイプ特有」メディア・システムは、ソース及び遠隔到着地の間においてストリーミング・メディア信号及びスタティック・メディア信号の特有タイプ(例えば、ビデオ、オーディオ、画像、声等々)を伝送又は送信するために相当に長期にわたって使用されてきた。そうしたタイプ特有メディア・システムの典型例はテレビ伝送システム、電話回線システム、並びに、ラジオ(無線)伝送システムを含み、テレビジョン、電話、並びに、ラジオはそれ故にメディアの受信装置である。従って、ストリーミング・メディア及びスタティック・メディアの効率的な通信に対する要求はまさに多様な通信産業になろうとしており、例えば、電話、テレビジョン、映画、音楽、並びに、より最近の双方向(対話式)ゲームに対する各種産業を含む。
【0008】
更には、以上の様々な長期持続タイプ特有システムを含む数多くのメディア通信システムは「フォーマット特有」でもあり、その対象メディア信号が特定のフォーマットで通信されて、ソース、送信チャネル、並びに、到着装置がそのフォーマット内での働きが特に従順でなければならない。フォーマット特有メディアシステムの例として、例えば、特定のタイプのメディアにだけ働きケーブル・キャリアから特定のコード化されたフォーマットで配信のみ為されるコード化ケーブル・テレビジョン・システムを含む。それ故に、これらシステムは、ハードウェア及びソフトウェアにおいて、一般にコンテンツ・プロバイダによって提供されるべきメディアのタイプ及びフォーマットのみに専用となる。
【0009】
社会のニーズは、これら専用コンテンツ特有システム及びフォーマット特有システムの能力より勝ってきた。特に専用システムは、特定のストリーミング・メディアに対する果てしなく増大するリアルタイムでのクライアント要求に適応すべく構成されていない。更には、今日相互接続された世界におけるテクノロジー開発は、1つの装置を用いて多数フォーマットでのメディアの多数タイプの引き出し、受け取り、押し込み、送信を為す能力に対する社会の知的趣味に挑んできた。更にコンテンツ・プロバイダは、多くの種々のメディア信号をそれらクライアント側のオフィス、リビングルーム、並びに、手元における多くの種々のタイプの装置へ配信できなければならない。個人及び会社も、様々な種々のフォーマットを用いると共に様々なそれぞれの装置を用いて相互に通信することを望んでいる。
【0010】
従って、ストリーミング・メディア及びスタティック・メディアをインターネットの集中したネットワークにわたって配信するためのかなり大きな産業が出現してきた。コンテンツ配信会社は、今日、生の競馬及び娯楽から医療テレメトリや教育までの広範なストリーミング・メディアをインターネットにわたって且つビデオ・フォーマット及びオーディオ・フォーマットで配信している。DFC Intelligenceからの1つの公開報告に従えば、2000年に215パーセントの成長して、9億を超える合計アクセス・ストリームに達した。これはブロードバンド・ストリームを含み、それは略29%の合計アクセスを作り上げた。この同一の報告は、有効なストリーム棚卸し資産の15パーセント程が、現在、続々と広告によって販売促進されていることが推定されもする。インターネット・リサーチャーとしてのJupiter Media Metrixによって公開された別の報告では、各種会社が従業員、消費者、並びに、他のビジネスとの通信での電子対話に向かっているように、ストリーミング・ビデオ・テクノロジーに沿ってのビジネスが2000年の1億4千万USドル(USドル140M)から2005年までの略30億USドル(USドル3B)まで膨らむことになる。
【0011】
更に、これらシステム上での送信を為す人口急増や増大する人数は有効情報に対する有効帯域幅と激しく衝突してきている。それ故に、限られた帯域幅リソース及び限られた有効送信速度を用いてメディアを効率的に流す能力が増大された社会の重大事である。
【0012】
圧縮/解凍アルゴリズム(「CODEC」)
種々のタイプのメディアを通信するための指数関数的な要求に鑑みて、様々な圧縮/解凍システム(「CODEC」)が多年にわたって開発されてきおり、そして特に著しい研究及び開発の最近の主題となってきている。CODECの特定タイプやストリーミング・メディア信号及びスタティック・メディア信号の通信に関するCODECの動作を管理するシステムは、例えば、グラフィックス及び映像等の静止フレーム画像やストリーミング・メディアを含む特定タイプのメディアに対して開発されてきている。
【0013】
画像CODEC
様々な異なるタイプのスタティック・メディアCODECが開発されてきており、幅広い種類のこれらCODECが広範に知られ且つ使用されている。特に注目の主題となってきている1つの特定タイプのスタティック・メディアは、(適切な圧縮/解凍要望に著しく衝撃を与えるようなフレーム間のサイズ及び一時的関係等のより複雑な変数によってストリーミング・メディアとしてビデオ前後関係において一般的には取り扱われるような複数の相関された画像フレームから成る長い一続きを介しての)様々な画像を含む。スタティック・メディアCODEC処理の例は従来の画像CODECテクノロジー及び方法の特定の特有タイプを参照することで例証される。
【0014】
ワールドワイドウェブ上でのグラフィック画像に対する2つの最も一般的なファイル・フォーマットは「GIF」及び「JPEG」フォーマットとして知られ、図面(例えばラインアート)や映像に対する各標準として一般的には考えられ、以下に更なる理解の目的で他の画像圧縮様式と一緒に更に記載される。
【0015】
「JPEG」は"Joint Photographic Experts Group"の頭字語であり、ISO(国際標準化機構)標準10918に準じているグラフィック画像ファイルである。映像圧縮/解凍に対して一般に使用されているJPEGファイルは圧縮品質の範囲から選択するか、或は、先にも記載したように、複数の圧縮アルゴリズムから成る一組の内の1つから選択することによって作り出される。JPEGファイルを作り出すために、或は、画像を別のフォーマットからJPEGへ変換するために、所望される画像の品質は特定化されなければならない。一般に、最高品質は最大ファイルとなるので、ユーザによって選択されるような画像品質及び画像サイズの間での妥協が為され得る。JPEG具現化手段はそれらの全てを用いることがないかもしれないが、圧縮のJPEGモードは、一般に、29個の個別コード化プロセスを含む。JPEG画像は典型的には名称添字「.jpg」が付与される。
【0016】
「GIF」は「Graphics Interchange Format」の頭字語であり、事実上、インターネット通信用の図面画像圧縮/解凍の標準フォーマットであると一般には考えられている。GIFフォーマット化はLZWアルゴリズムとして知られる圧縮アルゴリズムを用い、それはAbraham Lempel, Jacob Ziv, Terry Welchによって開発され、ユニシス・コーポレーション会社から商業的に入手可能である(一般にそうしたアルゴリズムは料金を負っているライセンスを要求することなしに公共的に入手可能とされていた)。より明確には、「LZW」圧縮アルゴリズムは所与の長さ(例えば12ビット)の複数ビットから成る各入力シーケンスを取り入れて、その特定のビット・パターンに対して、しばしば「辞書」或は「コード・ブック」と呼称されるテーブル内にエントリを作り出す。エントリはそのパターン自体とより短いコードから構成される。入力が読み取られると、先に読み取られた任意のパターンがより短いコードの代用となって、入力の総量をより小さなものに効率的に圧縮する。LZ77及びLZ78として知られたより早期のアプローチは圧縮ファイルの一部として検索テーブルを含まなかった。しかしながらより最近のLZWアルゴリズム様式はファイル内にテーブルを含んでおり、ビューイングのためにファイルを解凍するデコード化プログラムはそれがコード化入力を処理するにつれてアルゴリズムを用いてテーブルを構築できる。GIFフォーマットは2Dラスター・データ・タイプを用いてバイナリにコード化される。
【0017】
GIFフォーマットの2つのバージョンは、GIF87a、「動画GIF」ファイル作成を可能とするより最近のGIF89a、或は、画像内の動作或は変化を表すべくシーケンス内に再生される単一GIFファイル内の複数画像から成る短シーケンス(エンドレス・ループか或はエンドに到達するプログレッションを通じてかの何れか一方)。GIF89Aも「インターレースドGIF」共々許容され、それは受信者に到着して該受信者によって、完全な解像度が達成されるまで欠けているラインを満たすビット・ストリームから成る7つの連続的な波で漸次置き換わる画像のファジィー輪郭として表示される。インターレースドGIFは、例えば、(画像上でクリックしてリンク等の操作を実行する等の)決定を為す等の主題画像内の特定情報が処理され得る前に、より短い待機時間を監視すべく14.4Kbps及び28.8Kbpsモデムを用いてビューアを可能としている。
【0018】
画像シーケンスを満たしている解像度の波を表示することによって、インターレースドGIFは、連続的な波の中で「フェードイン」することになる圧縮プログラムから成るJPEG組を用いて作成された画像を記述する「プログレッシブJPEG」と同様となる。プログレッシブJPEGは、しばしば、画像をモデム接続速度で配信するより魅力的な方法であると注目されるが、より高速の接続を有するユーザはおそらく違いに注目することがないであろう。
【0019】
「PNG」又は「Protable Network Graphics」フォーマットは画像圧縮用により最近開発されたものであり、そしてそのうちにインターネット使用に対するGIFに置き換わるべく公表された(一般的にJPEGフォーマットはサイズ/品質妥協を許容しない)。このフォーマットは公共的な消費及び開発に対して開発された。GIFと同様に、PNGは「損失無し」圧縮フォーマットであり、そしてそれ故に全ての画像情報は圧縮ファイルがビューイング中に解凍されると復帰される。しかしながらPNGフォーマット化されたファイルはGIFフォーマットと比べて10乃至30パーセントより圧縮されるように一般的には意図されている。PNGファイル・フォーマットの更なる局面は、(i)カラースライドは1色のみには限定され得ず、透明度は制御され得る(「不透明」)、(ii)画像の「インターレーシング(interlacing)」は標準GIFに対して改善されている、(iii)「ガンマ修正」は可能とされて、特定のディスプレイ製造業者によって必要とされる色輝度と言う画像の「チューニング」を許容している、(iv)画像は純正カラー、パレット、並びに、GIFと同様なグレイスケール・フォーマットを用いて保存される、(v)「アニメーション又は動画」は一般的にはサポートされていないが、PNGは一般的には拡張可能であり且つそれ故にスクリプト可能画像動画化をもたらすべく層状に重ねられ得る。
【0020】
「TIFF」は「Tag Image File Format」の頭字語であり、例えばスキャナ画像に対して使用されるグラフィック等のアプリケーション・プログラム間でラスター・グラフィック(又は「ビットマップ」)画像を交換するための一般的なフォーマットである。TIFFファイルは、通常、名称添字「.tif」或は「.tiff」が付与され、一般的には1980年半ばにアドビー・ソフトウェア社、マイクロソフト社、並びに、ヒューレット-パッカード社のサポートで開発された。TIFFファイルはグレイスケール、カラーパレット、或は、RGBフルカラーを含む幾つかの分類の内の何れかであり得て、その記述及び違いはこの開示の別の場所で更に展開されている。TIFFファイルはJPEG、LZW、或は、CCITTグループ4標準ランレングス画像圧縮を伴うファイルをも含み、それらはここでの別の場所で更に記載される。最も一般的なグラフィック画像フォーマットの1つとして、TIFFファイルはデスクトップ・パブリッシング、ファクシング、3-D応用例、並びに、医療用画像形成応用例に典型的には使用される。
【0021】
ビデオCODEC
ビデオ圧縮は、(「ビデオ・オン・デマンド」等の)事前記録済みビデオ、テレコンファレンシング、並びに、(放送等の)ライブ・ビデオ等々を含む様々な応用例に強力に開発された主題であって。「デスクートップ」コンピュータ、ワイヤレス装置、従前のテレビジョン、並びに、高品位テレビジョンは、効率的なビデオ圧縮システムが対応しなければならない種々のタイプの受信装置の例である。
【0022】
一般に、ビデオCODECアルゴリズムは個々別々のフレーム単位に基づくか、及び/或は、各フレームが従来使用の最も一般的なビデオ圧縮であり幾つかの数学的原理に基づいている「一時的圧縮」に基づくかの何れか或はその双方で動作し、個別コサイン変換(「DCT」)、ウェーブレット(小波)変換、並びに、ピュア・フラクタルを含む。
【0023】
「個別コサイン変換」或は「DCT」は画像圧縮応用例に使用される最も評判がよい変換である。一般に、DCTはコサインの重量付け合計としての波形データを表す技術である。DCTは個別フーリエ変換と同様に、信号或は画像を空間的域から周波数域へ変換する。DCTは画像を異なる重要性(画像の視覚的品質に関する)の各種パーツ(或はスペクトル・サブ帯域)に分離する補助を為す。その好評判の理由は、典型的な画像に対するエネルギー圧縮と云う良好な性能を含むばかりではなく、幾つかの高速アルゴリズムの有効性をも含む。DCTは、JPEG及びMPEGの2つの国際的な画像/ビデオ圧縮標準で使用されている。
【0024】
「ウェーブレット変換」は一般的には数学的アルゴリズムであり、信号データを数学的表現の集合に変換し、それら数学的表現の数々は、例えばフーリエ変換と同様に、到着受信装置によってデコード化され得る。ウェーブレットはノイズから弱い信号を回復することを高めることで注目されてきおり、それ故にこの方法で処理された画像は著しいボケ或は細部の不明瞭性無しに向上させられ得る。この理由のため、ウェーブレット信号処理は医療用の特にX線や磁気共鳴画像に特に適用されてきた。インターネット通信において、ウェーブレットは他の従来方法で一般的に可能であるものよりも相当程度まで画像を圧縮すべく使用されてきた。幾つかの場合において、ウェーブレット圧縮画像はより一般的なJPEGフォーマットを用いての同様品質画像のサイズの約25パーセント程度に小さくすることができ、この開示の別の場所で更に詳細に議論される。よって、例えばJPEGフォーマットで200Kbを必要とすると共にダウンロードするのにちょっと時間を費やす映像は、ウェーブレット圧縮フォーマットで50Kbだけを必要とすると共にダウンロードするのに15秒を費やすだけであることが可能である。ウェーブレット圧縮画像ファイルは、しばしば、名称添字「.wif」が付与され、受信器(例えば、コンピュータ受信器上のインターネット・ブラウザ)はそれらのフォーマット・ファイルをサポートしなければならないか、或は、プラグ-イン・プログラムがそうしたファイルを読み取るために必要とされることとなる。
【0025】
フラクタル画像圧縮は損失が多い画像コード化の近代的な技術であり、現存のフーリエ級数圧縮方式を凌ぐ幾つかの改善を提供している。階段関数としてモデル化された際、エッジは適切な描写のために多数のフーリエ級数項を必要としているために、エッジ描写が改善されている。フラクタルの他の長所は高速デコード化時間とスケール独立性を含む。フラクタル圧縮はマンデルブロー集合に基づき、それは自然の自己類似スケーリング従属統計学的機能を活用している(マンデルブロー1983年)。フラクタル圧縮及び解凍は回転及びスケールとは独立したサンプル領域と同一の特性を示す領域を見出すクラスタリング・アプローチに係る。フラクタル画像は、それらをどのようにして再生させるかについての帰納的方程式及び指示として画像を圧縮する。これら方程式はそのコンポーネント間での関係の点で画像を記述する。記憶必要性の点での低減は、フラクタル圧縮が画像のピクセル表示の代わりに方程式及び指示を節約すると云う事実による。
【0026】
「MPEG」は「Moving Picture Experts Group」の頭字語であり、特定の発展ビデオ圧縮標準やそれらから広まったオーディオ圧縮標準と同義に使用されるようになった。一般に、MPEGビデオ・ファイルを使用するために、パーソナルコンピュータが充分なプロセッサ速度、内部メモリ、並びに、典型的に大きなMPEGファイルを取り扱い且つ再生すべくハードディスクのスペースを必要としており、通常名称添字「.mpg」が付与される。特定されたMPEGビューア或はMPEGファイルを再生するクライアント・ソフトウェアはクライアント・システム上で有効でなければならず、そして一般的にはウェブ上の様々なサイトから市販のMPEGプレイヤーのソフトウェア或はバージョンがダウンロードされ得る。MPEGフォーマット済みメディアに対する操作のモードは以下のこれら順次展開される標準を参照することでここに記載される。
【0027】
より詳細には、MPEG-1標準は一般的には約1.5Mbpsの伝送速度のコーディング・プログレッシブ・ビデオ用に設計された。これは、一般には、ビデオ-D及びCD-Iメディアに対する特定の応用例用に設計された。MPEG-1オーディオ・レイヤー-3(「MP3」)も早期のMPEG研究から発展したものである。「MPEG-2」は4Mbpsを上回る伝送速度のコーディング・インターレースド画像に対して一般的に設計された標準であり、多くのMPEG―2プレイヤーがMPEG-1データも取り扱うことができることで一般には注目され、逆のことは真であることが一般には注目されておらず、MPEG-2コード化ビデオは一般的にはMPEG-1プレイヤーと互換性がない。更に別のプログレッシブ標準である「MPEG-3」も高品位テレビジョン(「HDTV」)用に提案されてきたが、一般にMPEG-3はHDTV要件を満たすことが一般に信じられているMPEG-2と合併された。最後に「MPEG-4」標準も最も最近に開発され、スピーチ及びビデオ合成、フラクタル幾何形状、並びに、コンピュータ視覚化に対処すべく相当により意欲的な標準を提供することが意図されており、画像を再構築するために人工知性を組み入れるべく更に開示された。
【0028】
MPEG-1及び-2標準は25:1から50:1まで変動する要因によってディジタル・ビデオを圧縮する技術を規定している。この圧縮は5つの種々の圧縮技術、即ち、(i)個別コサイン変換(DCT)であり、周波数に基づく変換、(ii)「量子化」であり、選択的な情報を損失する技術であり、例えば、幾つかの画像が画像の直前及び直後の映像から予報されること、を一般的には用いてこれら標準に従って達成される。
【0029】
商業的に入手可能な圧縮テクノロジーの更により詳細な例としては、マイクロソフトメディアプレイヤー(Microsoft Media Player)(商標)(マイクロソフト・コーポレーション社から入手可能)、リアルプレイヤー(RealPlayer)(商標)、リアルシステム G2(RealSystem G2)(商標)(リアルネットワーク(商標)から商業的に入手可能)、アップルズクィックタイム(Apple's QuickTime)(商標)(ソレンソン(Sorenson)(商標)から商業的に入手可能)、並びに、「VDO」を含む。マイクロソフトメディアプレイヤー(商標)は圧縮/解凍に対するCODECのMPEG標準に適用するように一般的には信じられているが、その他のものがCODECの専有タイプを使用すべく主張されてきた。MPEG4等の標準圧縮アルゴリズムは、エンタープライズ・ストリーミング、セキュリティ、並びに、その類に対する埋め込みシステムを構築しているデベロッパーの手にそれらの道をつけた。
【0030】
ワイヤレス及びIPネットワークにわたるストリーミング・ビデオ解決策を提供するより最近の研究の一例はエンブレーゼ・システムズ(Emblaze Systems)(LSE:BLZ)と呼称される会社によって公表された。この会社は、ライブ及びオン・デマンドのビデオ・メッセージや、PC、PDA、ビデオ携帯電話、並びに、双方向テレビ等の任意のプラットフォーム上のコンテンツのコーディング及び再生を意図された特定のテクノロジーを開示した。エンブレーゼ・システムズは以前はGEOインターアクティブ・メディア・グループであると思われる。以下の公開された特許文献1及び2としての国際特許出願は、GEOインターアクティブ・メディア・グループが「譲受人」として指名された範囲でエンブレーゼ・システムズと関連されていると思われる。これら参考文献の開示はそれらを参照することでそれらの全体にわたってここに合体させる。
【特許文献1】Carmel et alのWO9731445
【特許文献2】CarmelのWO9910836
【0031】
ワイヤレス応用例に対するストリーミング・メディアの通信を改善すべく意図されたCODECテクノロジーを公開した別の会社はパケットビデオ(Packetvideo)(商標)・コーポレーション社であり、より詳細にはストリーミング・ビデオを携帯電話へ通信することを意図している。加えて、彼らは一時的スケーラビリティ及び信号過誤抵抗を追跡することを意図しているCODECテクノロジーを奨励すると信じており、ビデオ及びオーディオ・ストリームをワイヤレス環境の危険から保護している。下記の特許文献3は、その特許文献を見ると指名「譲受人」としてのパケットビデオと関連されていると思われる特定のストリーミング・メディア圧縮/解凍テクノロジーの更なる例を開示している。この特許文献の開示はそれを参照することでその全体にわたってここに合体させる。
【特許文献3】Lengwehasatitの米国特許第6,167,092号
【0032】
別の先行する参考文献は、移動画像用のカラー・ビデオ・データを圧縮するための費用効果的で連続的に適応できるディジタル・ビデオ・システムと方法とを提供することが意図されたCODECテクノロジーを開示している。この方法は、アナログ・ビデオ・フレームを取り込むことと、独特の損失有り(損失性)及び損失無し(無損失性)の、副帯域コーディング、ウェーブレット変換、運動検出、ラン・レングス・コーディング、並びに、可変レングス/コーディングを含んでいるディジタル圧縮テクノロジーの組み合わせを用いて、画像を圧縮用に好適なソース入力フォーマットにディジタル化することを含む。
【0033】
別の先行する参考文献は、移動画像用のカラー・ビデオ・データを圧縮するための費用効果的で連続的に適応できるディジタル・ビデオ・システムと方法とを提供することが意図されたCODECテクノロジーを開示している。この方法は、アナログ・ビデオ・フレームを取り込むことと、独特の損失有り及び損失無しの、副帯域コーディング、ウェーブレット変換、運動検出、ラン・レングス・コーディング、並びに、可変レングス/コーディングを含んでいるディジタル圧縮テクノロジーの組み合わせを用いて、画像を圧縮用に好適なソース入力フォーマットにディジタル化することを含む。このシステムは、良好から優れたビデオ品質を提供すべく意図された高圧縮を提供する視覚的画像の圧縮及び解凍のための「ハフマン・エンコーダ」を用いるべく一般的に開示されているエンコーダ及びデコーダ(CODEC)区分を含む。圧縮されたビデオ・データは基本ビデオと圧縮されたディジタル・オーディオと多重化されるビデオの追加層とを提供して、ローカル・エリア或はワイド・エリアにわたるワイヤレス・ネットワークを含んでいるインターネット或はイントラネットにわたっての配分のため、パケット化され得るデータ・ストリームを提供する。開示されたCODECシステムは、データ・チャンネル上の有効帯域幅を先行するフレームに対するチャンネル上の有効帯域幅と比較するに応じてフレーム単位でディジタル画像の圧縮を連続的に調整すべく意図されており、ネットワーク伝送チャンネルの有効帯域幅とクライアント・ユーザの受信器リソース能力とに相応する出力データ・ストリームを提供する。圧縮は出力データ・ストリームのフレーム速度の調整によって更に調整され得る。
【0034】
ビデオ通信をストリームする少なくとも一部で使用されるように意図されたCODECシステムの更により詳細な例は、以下の特許文献4乃至10に開示されている。これは参照文献の開示はそれらを参照することでそれらの全体にわたってここに合体させる。
【特許文献4】Adolph et alの米国特許第6,081,295号
【特許文献5】Guetz et alの米国特許第6,091,777号
【特許文献6】Leiの米国特許第6,130,911号
【特許文献7】Daly et alの米国特許第6,173,069B1号
【特許文献8】Gardos et alの米国特許第6,263,020B1号
【特許文献9】Murakami et alの米国特許第6,272,177号
【特許文献10】Leiの米国特許第6,272,180B1号
【0035】
全てとまではいかないが殆どの先行ストリーミング・ビデオ圧縮方法はそうしたCODEC内における極端に複雑な数学的ツールとそれらに対する微細な変化とに注目し、「ワン・サイズ・フィッツ・オール(one size fits all)」ビデオを全てのタイプの公開及び非公開のネットワークにわたって、ワイヤレス・ネットワークに見出されるような超低帯域幅ネットワークから衛星通信を介して超高速ファイバオプティックス設備まで伝送する。圧縮に関する様々な従来の方法の中、画像サイズ、フレーム・サイズ、カラー深さ、コントラスト、輝度、感知フレーム品質、バッファ・レングス等々の間での妥協策を含んでいるユーザ規定が可能であるパラメータが一般的にはある。更に、アルゴリズム自体内において、ユーザ規定が可能ではない品質及び重量付け計算が多数ある。1つの「全般的な」関心事に対して一回でこれらを設定して、製品を包装して出荷するかどうかはデベロッパー次第である。
【0036】
しかしながらビデオ・ストリーミング市場は急激に成長し続けている一方で、全てのビデオ・ソース、到着地、或は、伝送様式に対する理想としてのアルゴリズムが1つもないので、世界は圧縮に対する1つの標準をも選択してきていない。第1のCODECは信号の1つのタイプ或は信号の第1部分(例えば、一連のフレームを含むフレーム或はシーン)に対して最善である可能性があるが、別の第2のCODECが信号の別のタイプ或は同信号の更なる別の第2の部分に対して最善である可能性がある。更には、1つのCODECは通信ネットワークにおける送信、受信、並びに、伝送の装置の間での特定のストリーミング信号の圧縮/解凍に最も適合する可能性があり、別の第2のCODECは、通信装置パラメータの別の集合に対してではなく、同一ストリーミング・メディア信号に対して適合する第1のものより良好に適合する可能性がある。例えば、幾つかのビデオ・ストリームはカラーをハンドヘルド(手持ち)装置へ配送し、他のビデオ・ストリームはフレーム速度を増大すべく携帯電話へ黒白伝送におけるピクセル損失を利用できる。必要とされるサウンド品質、フレーム速度、明瞭性、並びに、バッファリング許容範囲の全ては断固として多数プラットフォームにわたる最適化されたビデオ及びオーディオ配送に対する選択の圧縮アルゴリズムに衝撃を与える。
【0037】
実際上、特定の通信装置パラメータはストリーミング・メディア伝送中に充分に長続きしない可能性があるので、パラメータから成る初期の集合に対する初期的には適切なCODECは、同一ストリームの信号伝送中、これらパラメータに関する変化によって別のCODECよりも効率性に劣るように為され得る。そうした長続きしないパラメータの例としては、制限無しに、データ伝送チャンネルにおける有効帯域幅、送信装置若しくは受信装置の何れかにおける有効メモリ若しくは処理能力、並びに、受信装置における専用化ディスプレイ解像度/ウィンドウ(例えば、スクリーン上のウィンドウを最少化する)を含む。これらの問題は、特定のストリーミング・メディア信号の圧縮、解凍、並びに、それら信号の特定の通信装置システムに沿っての配送にとって最も効率的であるように、一方のCODECを他方と区別し得るような複数要因の種々の組み合わせの夥しい数の繰り返しによって指数関数的に混ぜ合わされる。
【0038】
CODECシステムは「フォーマット特定」であるので、ソース及び到着装置は共通した特定の圧縮/解凍様式に従って相互間でメディア信号を通信すべく「予め構成」されていなければならず、またトランスコーダが使用されなければならない。しかしながら従来のトランスコーダが使用されていたとしても、通信システムにおける制約(例えば、ソース、伝送チャンネル、到着装置)は全般的に考慮されず、その通信は著しく不完全であり得る。更なる説明の目的のため、図1A及び図1Bはソース110−120と到着装置130−140との間でメディアを通信する従来方法の2つの異なる概略図を示している。これら図示は、特にストリーミング・ビデオ通信を例示しているが、他のメディア形態は同様システムによって表示され得る。
【0039】
注目されてきたことは、CODECアルゴリズムが特定の応用例用に変更され得て、同様の変更無しセットよりも良好に制限された例にわたって機能し得ることである。しかしながら、一般的にはこれは一連のフレームに対して、或は理想的には、各個別フレームに対して実行されなければならない。幾つかのDCTに基づくアルゴリズムはより高い解像度及びより低い感知品質で、各フレームに対して生ずる約20億という多数の数学的演算を有する。一般にこれは、平均的なマシンにとって或は商業的なサーバにとってすら、単位秒に30乃至60回を実行するにはあまりにも夥しい数学的処理である。これが専用化された圧縮基盤或はASICの出現に対する理由である。
【0040】
オーディオCODEC
ビデオ圧縮の改善に関する最近の社会的な関心事に加えて、オーディオ圧縮は同様に、オーディオ放送、音楽、ビデオと同期した伝送、並びに、ライブ双方向音声(例えば電話)を含んでいる様々なライブ或は事前記録された応用例に対する著しい研究開発の話題となってきた。これらオーディオ圧縮応用例の任意のもの或は全てのものは、広範に変動する能力及び動作パラメータを有する多数のハンドヘルド装置或はデスクトップ装置上等のクライアント側の広範囲にわたる受信器/プレイヤーと互換性がなければならない。
【0041】
従来のオーディオCODECは一般に幾つかのことなるタイプを含み、それらタイプの内の少数のものが説明の目的のためにここに簡単に要約される。
【0042】
「コード励起線形予報(Code Excited Linear Prediction)」又は「CELP」は、標的信号の波形符合に対する励起フィルタ・フレームワーク内において「統合毎の分解(Analysis-by-Synthesis)」又は「AbS」を使用する波形CODECを用いての1つのタイプのスピーチ圧縮方法である。CELPに基づくCODECは高音質スピーチ圧縮用の優勢な技術として最近徐々に発展し、約6kbpsという低くさ近辺のデータ速度で有料音質の圧縮スピーチを伝送すべく公表された。しかしながら少なくとも1つの公表物はCELPコード化スピーチの音質が4kbps或はそれ以下でのビットレートに対して著しく低減されることを開示している。
【0043】
「Vocoders」は波形コーディング方式に基づかないスピーチCODECであるが、標的入力スピーチの量子化されたパラメータ記述を用いて、再構築出力スピーチを統合する。vocodersは約4kbps等の低ビットレートでより良好なスピーチ音質を配送すべく開示されていると共に、そうした応用例に対して開発されてきた。低ビットレートのvocodersは音声化されたスピーチの周期的特性や静的な非音声化スピーチの「ノイズ様」特性をスピーチ分解、コーディング、並びに、統合のために使用する。Vocodersの幾つかの早期のバージョン(例えば、連邦規格1015 LPC-10は、時間領域分解及び統合方法を用いる。しかしながら、少なくとも1つの公表物が「調波コーダ」とラベル付けするより最近のバージョンの殆どは、音声化スピーチ・セグメントに対する調波スペクトル・モデルを利用する。
【0044】
特定のスピーチ圧縮技術の先行する記載にもかかわらず、夥しい数のスピーチCODEC及び標準が産業界で開発されてきて、産業界や非営利団体で管理されてきた。そうした団体の例としては、何等制限無しに、含み、それら標準はしばしばCODECの参照タイプとして使用される。即ち、欧州電気通信標準化機構(「ETSI」)、電気電子技術者学会(「IEEE」)、並びに、以前は「CCITT」である国際電気通信連合標準化部門(「ITU-T」)である。
【0045】
4Kbpsで特定されたスピーチのハイブリッド・コーディングに対する1つのより最近に開示された方法及び装置は、スピーチの再生のためにデコーダへの通信用のスピーチをコード化して、スピーチ信号が、(i)安定状態音声化或は「調波」、(ii)静的非音声化、並びに、(iii)「一時的」或は「変遷」スピーチの3つのタイプに分類される。コーディング方式の特定のタイプは各分類に対して使用される。調波コーディングは安定状態音声化スピーチに使用され、「ノイズ様」コーディングは静的非音声化スピーチに使用され、特別コーディング・モードは変遷スピーチに使用されて、スピーチの変遷部分を特徴付けるローカル時間事象の場所、構造、並びに、強度を取り込むべく設計されている。圧縮方式はスピーチ信号或はLP残留信号に対して適用されるべく意図されている。
【0046】
既存の電気通信システムに新スピーチ・エンコーディング方法を追加する最近開示された別の方法及び装置も以下に要約されている。CODECがディジタル電気通信システムのスピーチ伝送トランシーバに導入されて、そのシステム内で「新しい」CODECと「古い」CODECとを並列で使用する。CODECは、スピーチ・エンコーディング方法が全てのトランシーバ内で具現化されると共に関係する電気通信システム内で先行して使用されているようなトランシーバ間でのハンドシェーキング手続を具現化することで選択される。ハンドシェーキングは各接続の始めに使用される。電話呼び出しの始めや話を聞かせた後、この方法は両者も新スピーチ・エンコーディングを使用するか否かを調査する。ハンドシェーキング・メッセージが選択されて、スピーチの音質に対するそれらの影響が最小となり、且つ、そのメッセージを識別する可能性が最大となる。
【0047】
更に別の比較的最近の参照文献は、スピーチ圧縮用に意図されたタンデム(縦並び)CODECに対する調和可能な知覚的重量付けフィルタを開示している。特定のフィルタ・パラメータは縦並びの前後関係の点で改善された性能を提供するように調和されている。より詳細には、使用されるパラメータは第10番目LPC予知係数である。このシステムは「低遅延励起線形予報性(Low-Delay Excited Linear Predictive)」CODEC或は「LD-CELP」を使用すべく特定化されている。
【0048】
以上に記載された例等に従ったCODECを用いるストリーミング・オーディオ通信システムの更なるより詳細な例は、特許文献11乃至13の米国特許に提供されている。これら参照文献の開示はそれを参照することでそれらの全体にわたってここに合体させる。
【特許文献11】Chen et alの米国特許第6,144,935号
【特許文献12】Haavisto et alの米国特許第6,161,085号
【特許文献13】Gershoの米国特許第6,233,550号
【0049】
人工知能(「AI」)及びCODECを伴うニューラルネットワーク
最近は様々なシステム及び方法が開示され、人工知能(「AI」)或はストリーミング・メディア信号の圧縮及び解凍を伴うニューラルネットワークを統合すべく意図されている。
【0050】
用語「人工知能」は、コンピュータシステムによる人の知能プロセスのシミュレーションを意味すべくここでは意図されており、学習(情報と該情報を用いるための規則との取得)、推論(規則を用いて、近似的或は明確な結論に到達すること)、並びに、自己修正を含む。AIの特定の適用例は「エキスパート・システム」を含み、それは人或は特定の分野で専門知識及び経験を有する組織体の判断及び振る舞いを模倣するコンピュータ・プログラムである。典型的には、エキスパート・システムはプログラムに記述されている各特定の状況への知識ベースを含むと共に、知識ベース或は規則の集合に対しての追加によって向上され得る。
【0051】
用語「ニューラルネットワーク」は、各々がそれ自体の小さな知識球を具備してそのローカル・メモリにおけるデータにアクセスするような、並列して動作する多数のプロセッサを通常は含んでいる人の脳の動作を近似するプログラム及びデータ構造のシステムを意味することがここでは意図されている。典型的には、ニューラルネットワークは初期的に訓練されるか或は大量のデータとデータ関係の規則とが供給され、その後、プログラムがそのネットワークに外的刺激(例えば、入力情報)に応じてどのように振る舞うべきかを教えることができる。決定を為す場合、ニューラルネットワークは幾つかの原則を用い、それには制限無しに勾配に基づく訓練及びファジー論理が含まれる。ニューラルネットワークは知識層に換算して更に記述されて、一般的にはより深い層を有するより複雑なネットワークを具備する。「フィードフォワード」ニューラルネットワーク・システムにおいて、学習したデータについての関係はより高い知識の層へ「フィードフォワード」される。ニューラルネットワークは一時的概念をも学習でき、信号処理及び時間系列分析に広範に使用されてきた。ニューラルネットワークの他の公表された応用例は、石油探査データ分析、天気予報、生物学研究所でのヌクレオチド系列の解釈を含む。
【0052】
用語「ファジー論理」は、単なる真/偽(或は「1或は0のような「バイナリ」」区域内で動作する「ブール論理」ではなく「真理度」に基づく計算へのアプローチを意味すべくここでは意図されている。ファジー論理は、絶対ブール論理用語には容易に翻訳されない自然言語のコンピュータ理解の問題に対する研究に関連して、1960年代にバークレイのカリフォルニア大学のLotfi Zadeh博士によって先ず提唱された。ファジー論理は、しばしば、真理の極端な場合として0及び1の場合を含むが、中間の様々な真理状態をも含む(例えば、存在状態が0.98等の幾分かの閾値であることの決断は、演算における誤差の許容できる低発生に1を割り当てるべく決定の補助を為し得る)。
【0053】
人工知能を伴ってニューラルネットワークを介して使用することが意図された先行して開示されたストリーミング・メディア圧縮/解凍システムの一例は、ビデオ・データ等のデータを圧縮するためにラドン(Radon)変換を用いる。幾つかの先行して開示されたAI及び/或はニューラルネットワークのシステムは、ある特定化された損失無し圧縮CODECの使用中の誤差修正の目的のためにAI及び/或はニューラルネットワークを用いることが意図されている。例えば、学習システムは圧縮及び伝送の後に受信器によって受信されるものと、伝送末端で受信されたと予報されるものとの間の違いを決定すべく利用される。この違いは学習として処理されて、追加伝送に対するCODECの同調を変更する。
【0054】
開示された方法及び装置の別の例は、ディジタル・スピーチ・フレーム誤差を隠すため、喪失データ・セグメント内への挿入のために過去の信号-履歴データを外挿すべく意図されている。この外挿方法はバッファに記憶されている過去の信号履歴を用いる。この方法は、有限インパルス応答(「FIR」)、多数層、フィードフォワード、並びに、スピーチ圧縮アルゴリズム(「SCA」)・パラメータのワンステップ外挿に対する後方伝播によって訓練される人工ニューラルネットワークを利用すべく開示される装置によって具現化される。ひとたびスピーチ接続が設定されたならば、スピーチ圧縮アルゴリズム装置はコード化スピーチ・フレームの送信を始める。スピーチ・フレームが受信されると、それらはデコード化されスピーチ信号電圧に戻るように変換される。正規のでコーディング処理中、必要とされるSCAパラメータの事前処理が行われて、その結果が過去履歴バッファに記憶される。もしスピーチ・フレームが喪失或は誤差ありと検出されれば、外挿モジュールが実行され、代替SCAパラメータが発生させられてSCAが必要とするパラメータとして送信される。このようにして、SCAへの情報転送は透過性であることが意図され、SCA処理は通常通りに続行する。この開示が主張することは、スピーチ・フレームの最後に受信したもの、喪失したもの、並びに、次に受信したものの間での平滑な変遷のためにスピーチ・フレームが喪失してしまったことに聞き手が通常は気づかないことである。
【0055】
人工知能及び/或はニューラルネットワークをメディア圧縮及び/或は解凍に対するシステム内で使用することが意図されているシステムの更により詳細な例は、一般的にはメディア・タイプ特定CODEC方法(例えば、スピーチ、ビデオ)に関係しており、特許文献14乃至23の米国特許に様々に開示されている。また更なる例は公開国際特許出願である特許文献24及び25に提供されている。この段落におけるそれら全ての参照文献の開示はそれらを参照することでそれらの全体にわたってここに合体させる。
【特許文献14】Naillon et alの米国特許第5,005,206号
【特許文献15】Yoshida et alの米国特許第5,041,916号
【特許文献16】Gerdesの米国特許第5,184,218号
【特許文献17】Burel et alの米国特許第5,369,503号
【特許文献18】Fang et alの米国特許第5,598,354号
【特許文献19】Kurdzielの米国特許第5,692,098号
【特許文献20】Fang et alの米国特許第5,812,700号
【特許文献21】Imade et alの米国特許第5,872,864号
【特許文献22】Prieto, Jr.の米国特許第5,907,822号
【特許文献23】Mitchellの米国特許第6,216,267号
【特許文献24】RisingのWO 01/54285
【特許文献25】Naillon et alのEPO 0372608 A1
【0056】
フィードバックを用いたCODECシステム、或は、様々なストリーミング・メディア信号の処理用CODECを操作する他のシステムの他の開示は、それらはラベル「AI」或は「ニューラルネットワーク」を特に使用するとは思えないが、特許文献26乃至29の米国特許に開示されている。これら参照文献の開示はそれらを参照することでそれらの全体にわたってここに合体させる。
【特許文献26】Betts et alの米国特許第6,072,825号
【特許文献27】Malvarの米国特許第6,182,034 B1号
【特許文献28】Malvarの米国特許第6,253,165 B1号
【特許文献29】Malvarの米国特許第6,256,608 B1号
【0057】
CODECアルゴリズム自体における著しい前進にもかかわらず、且つ、通信に関しての圧縮効率を改善するためにCODECを操作するAI及び他のフィードバック・システムの先行して意図された使用にもかかわらず、変動する帯域幅及び通信プロトコルによって、広い種類の伝送チャンネルにわたって広い種類の到着受信器装置へ広い種類のストリーミング・メディア信号を効率的に提供する能力の点での著しい改善の更なる必要性がある。
【0058】
AI及び/或はニューラルネットワークを組み込んで、様々なパラメータに基づきストリーミング・メディア信号の通信用の適切なCODECに適用する更なる必要性があり、それらの様々なパラメータとしては、制限無しに以下の内の1つ或はそれ以上を含む。(a)異なるタイプ及び操作の有効CODECから成るライブラリから適切に最適化されたCODECの自動選択であり、特に選択されたCODECの操作の他のCODEC操作と比較した人工知能及び/或は標準と対する人工知能に基づくことを含むもの、(b)既存の状況を表す操作パラメータから成る所与の集合以内における特定のCODEC操作の事前学習及び/或は繰り返し学習が為された知識、並びに、(c)既存状況及び/或は試験状況に関するその操作の知的知識に基づく適切なCODECの参照パラメータに対する同調。
【0059】
特に、適用されたCODECを以下のパラメータの内の1つ或はそれ以上によって規定される既存の状況に基づかせる知的CODECに対する更なる必要性があり、それらパラメータとしては、ストリーミング・メディア信号自体のパラメータ、伝送チャンネル能力及び制約のパラメータ、並びに、受信器装置能力及び制約のパラメータを含む。
【0060】
更には、適切な圧縮、伝送、解凍、並びに、主題ストリーミング・メディア信号の再生を最適化するために、それら操作及び状況パラメータに関して知的知識に基づき動作する知的CODECシステムの更なる必要性がある。
【0061】
ストリーミング・メディア用の従来のトランスコーダ
また、ストリーミング・メディア通信の分野における最近の関心事の内の1つは、現行使用における「フォーマット特定」エンコーディング・システムの広範なアレイの間に相互通信を提供することである。様々な異なるフォーマット特定システム及び事前コード化コンテンツの既存の分野は、コード化されたコンテンツを処理すべく広範囲に分裂された能力を作り出し、コンテンツ・プロバイダ及びクライアント・ユーザの間に互換性争点の著しい窮地を生み出している。もしあるクライアントが特定のソースからストリーミング・コンテンツを見ること或は聞くことを望めば、そしてそのコンテンツが圧縮のためのCODECを通過させる必要があれば、互換性あるCODECがその信号を楽しむべく解凍のためにクライアント側で使用されなければならない。残念ながらソース・コンテンツは、ほんの少しのそしてしばしば1つのみの特定CODEC方式としばしば合体される。それ故に、もしクライアントがそうしたコード化コンテンツを要求すれば(或は、もしソースがそのコード化コンテンツを特定クライアントへの引き渡しを望めば)、2つの規準の内の1つが合致しなければならない、即ち、(1)クライアントはフォーマット特定CODEC(デコーダ)をダウンロード或は保持しなけれならない、或は、(2)ソース・メディアを「トランスコーダ」を通過させなければならなず、そのソース・メディアを第1フォーマットからクライアントの装置/システムと互換性ある第2フォーマットにデコードする。用語「トランスコーダ」は、メディア信号を1つのコード化(即ち圧縮)フォーマットから別のフォーマットに変換するシステムを意味するようにここでは意図されている。
【0062】
1つのメディア・フォーマットを別のものにトランスコーディングする様々な技術は先行して開示されている。図1Cは数多くの既知のトランスコーディング技術の特有である一般プロセスの1つの説明に役立つ実例を示す。より詳細には、要求159は初期的には非互換性フォーマットで存在するコンテンツに対する装置或はプレイヤーの特定タイプから先ず受信される。図1Cに示された特定例に従って、リアル(商標)・ビデオ・コンテンツ用にマイクロソフトメディア(商標)からの要求159が受信される。そのコンテンツははっきりと限定されて要求されているので、該コンテンツはその初期的フォーマット(例えばリアル-コード化フォーマット)からデコードされ、次いでその要求プレイヤー(例えば、マイクロソフトメディア(商標)・フォーマット用に適切なフォーマットに「再コード化」される。次いでこの再コード化メディアは、要求クライアントにとって、そのプレイヤーの残りシステム内でのでコーディング用に役立つ。
【0063】
この従来システムは重大なスケラービリティ制限を有し、多数のクライアント用に多数のチャンネルに対する同時供給が同等数のトランスコーダによってサポートされなければならない。例えば、図1Dは、4つのマイクロソフトメディアプレイヤーからの4つの同時ストリーム要求を管理するように先に記載された従来のトランスコーディング技術の概略的な具現化例を示し、要求されたコンテンツがリアル(商標)・フォーマットに初期的にコード化される。4つのエンコーダ151−154と4つのデコーダ155−158をサポートする必要があるこのシステム・アーキテクチャは、著しい計算リソースを必要とする。例えば確信されることは、この例に提供された各エンコーダ151−154が128Mバイトの有効RAMを具備して600MHz(例えばペンティアム(登録商標)III)を有するか、或は、256Mバイトの有効RAMを具備するデュアル400MHzプロセッサ(例えばペンティアム(登録商標)II)を有するコンピュータを必要とすることである。更に確信されることは、各デコーダ155−158は64Mバイトの有効RAMを有する233MHzマシン(例えばペンティアム(登録商標)II)が必要であることである。それで、4つのそうしたストリームは、(コンパック社、ヒューレット・パッカード社、デル社、IBM社から入手可能で、この出願開示時に小売価格で9,000ドル程度であると推定される)Quad 900 Xeonの等価物を必要とする。これは4つの同時ストリーム用であり、社会は、現在、何千という同時ストリームを要求している。
【0064】
最少の計算リソースを用いてコスト効果的に、多数のフォーマット特定コード化ストリーミング・メディア信号を多数の他のフォーマットに効率的に変換するトランスコーダ・システムを求める必要性が依然としてある。
【0065】
パラメータ影響型メディア通信
特定のストリーミング・メディア信号を所望標的に通信するために適切なCODECの選択に衝撃を与える可能性がある数多くの変数を更に説明する目的で、以下にストリーミング・ビデオ・フォーマットの様々な異なるタイプと処理システムとの簡単な要約を提供する。確信されることは、これら異なるシステムが、各々、異なるタイプの圧縮様式(例えば、CODEC)を必要としていることであり、有効な伝送速度及び帯域幅を考慮して、通信と、ストリーミング・メディア信号の再生とを受信器処理パラメータと共に最適化する。
【0066】
特定のタイプの通信フォーマット及びシステムが更にここで詳細に記載されるが、以下のテーブル1は、現在有効であると共に有効速度或は帯域幅を考慮して開示された、種々の異なる通信システム及び伝送キャリアの重要な断面の要約を提供している。
【0067】
【表1−1】

【0068】
【表1−2】

【0069】
【表1−3】

【0070】
【表1−4】

【0071】
(i)用語「Kbps」は「1秒当たり何千ビット」の省略形。合衆国以外の国際的な英語で、等価物の使用は「kビットs−1」或は「kビット/s」である。
(ii)技術者は速度よりもデータレートを用いるが、(「なぜ私のウェブページはここでより高速とならないのか?」のような)速度はより少ない技術的傾向に対してより意味深長であるように見える。
(iii)データ通信に対する関連用語、帯域幅或は「容量」はパイプがどの程度広いのか且つビットがパイプ内のチャンネルにどの程度迅速に送信され得るのかを意味する。即ち、キャリア内の多数信号チャンネル上のデータは、通常、異なる用途に対する或は異なるユーザ間でのチャンネルによって振り分けられる。
【0072】
キー:(i)「T」=合衆国、カナダ、並びに、日本におけるT-キャリア・システム...(ii)「DS」=ディジタル信号(T-キャリア或はE-キャリア上を移動)...(iii)「E」=1チャンネル当たり合計8ビットを使用する「T」の等価物;合衆国、カナダ、並びに、日本以外の国々で使用...(iv)「OC」=光キャリア(同期光ネットワーク)「STM」=同期トランスポート・モジュール(同期ディジタル階層参照)。(v)最も共通したテクノロジーだけが示されている。(vi)「物理的媒体」は一般的に記述され、ツイストペアの対の分類或は数や、光ファイバが単一モード或は多数モードであるのかを特定していない。(vii)テクノロジーの効果的な距離は示されていない。(viii)これらテクノロジーの多くに対して公表された標準がある。
カーブル・モデム注:ケーブル上での52Mbpsの上限はISP向けであり、現行では個人PC向けではない。今日のPCの殆どは10Mbps未満に適合できる内部設計に限定されている(PCIバス自体はより高速でデータを運ぶ)。52Mbpsケーブル・チャンネルは個々別々のユーザ間で分割されている。明らかに、チャンネルがより高速であれば、より少ないチャンネルがISPで必要とされ、個々別々のユーザをサポートするコストはより低くなる。
【0073】
インターネット・キャリア・システム
インターネットを介してのストリーミング・ビデオの通信は種々の通信様式にわたって行われ得て、例えばディジタル加入者線(「DSL」)、「T1」線、ケーブル・モデム、従来の電話サービス(「POTS」)・ダイアルアップ・モデム、並びに、ワイヤレス・キャリアを含んでいる。数多くの異なるワイヤレス通信様式の記載がここでは個別に取り扱われているが、これらのほかの通信モードの様々な要約は、以下のような更なる説明の目的のためにここでは以下に直ちに提供される。
【0074】
通信伝送チャンネルに適用されるような用語「POTS」、「従来の電話サービス」、或は、「ダイアルアップ」は、交換可能にここでは使用される。これら用語は、一般的には、家庭或は小企業におけるエンドユーザを電話会社局へ相互に巻回された或は「ツイストペア」と成った銅ワイヤを介して接続する「狭い帯域」通信を意味することを意図している。従来の電話サービスは、音量(信号振幅)及びピッチ(周波数変化)の点から見れば、電気的等価物に変換された音響アナログ信号を表すアナログ信号を介して音声情報を他の電話ユーザと交換させるように為すべく作り出された。電話会社の信号送りはこのアナログ波通信に対して既に組み上げられているので、それを各電話及び電話会社の間で情報を前後する方法として使用することは容易である。それ故に、ダイアルアップ・モデムが使用されて、アナログ信号を復調しその値をディジタル情報と呼称される0及び1の値のストリングに変える。アナログ伝送は銅ワイヤを介して伝送され得る情報の有効量の小さな一部のみを使用するので、通常のモデムを用いて受信可能なデータの最大量は約56Kbpsである。情報を受信する貴方のコンピュータの能力は、電話会社が、ディジタル・データとして到着する情報を濾過し、貴方の電話回線用にアナログ形態に変換し、そして貴方のモデムにそれをディジタルに戻すべく変更することを要求すると云う事実によって制約されている。言い換えれば、貴方の家庭若しくは会社と電話会社との間でのアナログ伝送は帯域幅のボトルネックである。
【0075】
DSLに制限された前触れと幾分考えられる「ISDN」又は「インターネット加入者ディジタル・ネットワーク」によって、約128Kbpsまでで入来するデータレートは幾つかのエンドユーザ・クライアントに対して達成され得る。
【0076】
「DSL」又は「ディジタル加入者線」は、一般的には、通常の銅製電話回線を介しての高い帯域幅通信を通信する「ブロードバンド(広帯域)」伝送キャリアとして規定される。数多くの異なるタイプのDSLサービスが開示されてきたが、変動データレート及び意図された用途とを一般的には有する。更なる議論がこれらDSLタイプの特定のものについてここに提供されているが、以下のテーブル2は、全体像理解を更に発展する目的のために、これらDSLの特定のものに対する情報の要約を提供している。
【0077】
【表2−1】

【0078】
【表2−2】

【0079】
提供サービス会社の中央局からの距離に依存して変動し得るDSLサービスに対する典型的な公表データレートは、6.1Mbpsまでのレートを含み(理論的には8.448Mbpsで公表されている)、その値は動作ビデオ、オーディオ、並びに、3-Dの効果の連続伝送を可能とすると信じられる。より典型的な個々別々の接続は、512Kbpsから1.544Mbpsまでの下りと約128Kbpsの上りを提供する。DSL線はデータ及び音声信号の双方を運ぶことができ、線のデータ部は連続的に接続される。DSLは幾つかの公表物において多くの領域でISDNと置き換わって、家庭及びビジネス向けマルチメディア通信用のケーブル・モデムと競合すると予知されてきた。DSLはディジタル区域内で純粋に動作し、アナログ形態への変化とその逆とを必要としない。ディジタル・データは直接的にディジタル・データとして到着コンピュータへ伝送され、これは電話会社が相当により広い帯域幅を前方伝送用に使用することを可能としている。一方で、もしクライアント・ユーザが選択すれば、信号は分離され得て、その帯域幅の幾分かがアナログ信号を伝送すべく使用されて、電話及びコンピュータが同一線且つ同一時間に使用され得ることになる。
【0080】
殆どのDSLテクノロジーは、信号スプリッタが家庭或は商店内にインストールされていることを要求し、それは電話会社の訪問や据付の費用が必要である。しかしながら中央局から遠隔的に分割又はスプリットを管理することが可能である。これはスプリットレスDSL、「DSLライト」、ジー・ライト(G. Lite)、或は、ユニバーサルADSL(以下に更に定義されている)として知られ、最近では標準となった。幾つかの変調テクノロジーが様々な種類のDSLによって使用されるが、これらは国際電気通信連合(ITU)によって標準化されている。異なるDSLモデム・メーカはDMT(マルチキャリア変調方式)或はCAP(キャリアレス振幅位相変調方式)の何れかを用いている。マルチプル専用線(MVL)として知られる第3のテクノロジーは別の可能性である。
【0081】
DSL動作の種々のパラメータは変数であり、達成可能な効果的なデータレートに影響する。DSLモデムは、北アメリカ及び欧州の標準によって設定されたデータレート・マルチプルに一般的には従う。一般に、リピータ無しのDSLに対する最大有効範囲は5.5km(18,000フィート)である。電話会社局に向かう距離が減少すると、データレートは増大する。別の要因は銅ワイヤのゲージである。より重い24ゲージ・ワイヤは26ゲージ・ワイヤよりも遙か遠くに同一データレートを運ぶことができる。5.5キロメートルの有効範囲を超える到着装置にとって、単にもし各電話会社プロバイダが光ファイバ・ケーブルでロカール・ループを延長したとしても、DSLは依然として設けられ得る。
【0082】
マルチプルDSLユーザを「バックボーン」としての高速ネットワークと相互接続すべく、電話会社はディジタル加入者線アクセス・マルチプレクサ(「DSLAM」)を使用する。典型的には、このDSLAMは、ギガビット・データレートでのデータ伝送を総計できる非同期転送モード(「ATM」)・ネットワークと接続する。各伝送の他方エンドで、DSLAMは信号を分解又は分波して、それらを適切な個々別々のDSL接続部へ送る。
【0083】
「ADSL」或は「非対称型ディジタル加入者線」はDSLの形態であり、家庭及び小企業のユーザに最も馴染み深いものである。ADSLは「非対称型」と云われるが、その2方向或は「デュプレックス」の帯域幅がダウンストリーム(下り)方向に充てられて、データをユーザへ送信しているからである。帯域幅のほんの小さな部分がアップストリーム(上り)或はユーザ双方向メッセージに対して有効である。しかしながら殆どのインターネット、特にグラフィック-メディア若しくはマルチ-メディア集中ウェブのデータはたくさんの下り帯域幅が必要であるが、ユーザ要求及び応答は小さく、上り帯域幅を殆ど必要としない。ADSLを用いて、単位秒当たり6.1メガビットまでのデータは下り送信可能であり、640Kbpsまでの上りが可能である。高ダウンストリーム(下り)帯域幅は、電話回線が動作ビデオ、オーディオ、並びに、3-D画像を到着コンピュータ或はテレビジョン・プレイヤーまで運び得ることを意味する。加えて、ダウンストリーム帯域幅の小さな部分はデータよりも音声に充てられ得て、電話会話は別の回線を必要とすることなく運ばれ得る。「ケーブル」テレビジョン線を介しての同様サービスとは異なり、ADSLは所与の領域内での近辺と帯域幅で競合しない。多く場合、貴方の既存の電話回線はADSLを伴って稼働することになる。幾つかの領域ではアップグレードが必要となる可能性がある。
【0084】
「CDSL」又は「消費者DSL」はDSLの商標バージョンであって、ロックウェル・コーポレーション社によって利用可能と為され、それはADSLよりも幾分遅いが(1Mbps下り、一般的にはより低い上りであると予想される)、ユーザ・エンドに「スプリッタ」を据え付ける必要がないと云う長所を有する。ハードウェアは、ローカルな電話会社によってCDSLを家庭或は商店向けて運ぶことが必要とされ得る。CDSLは、DMT又はCAP ADSLテクノロジーよりもそれ自体のキャリア・テクノロジーを用いる。
【0085】
様々な会社は、標準や、この開示の時に展開中であると信じられる「G.Lite」と呼称されるADSLのより容易な据付バージョンを開発する点において電話会社と一緒に稼働してきた。「G.Lite」又は「DSL Lite」(「スプリッタレスADSL」及び「ユニバーサルADSL」としても知られる)は本質的にはより緩慢なADSLであると信じられ、それはユーザ・エンドで回線の分割を要求しないが、電話会社で遠隔的にユーザ用に分割すべく管理しており、より低いコストである信じられている。G.Lite、公式にはITU-T標準G-992.2は、1.544Mbpsから6Mbpsまでの下りと約128Kbpsから約384Kbpsの上りとのデータレートを提供すると公表されている。少なくとも1つの公表物はG.LiteがDSLの最も広範に据え付けられる形態になると予想した。
【0086】
「HDSL」又は「High bite-rate DSL」はDSLのより早期のバージョンであると思われ、企業サイト内や電話会社及び顧客の間で広帯域ディジタル伝送用に広く用いられている。HDSLの主な特性は対称的であることであり、帯域幅の同等量が双方向で有効である。この理由のため、最大データレートはADSLに対するよりも一般に低い。HDSLは北アメリカにおけるT1上で運び得るか、或は、(約2.32Mbpsまで)欧州におけるE1線上で運び得るように、ツイストペアの単一ワイヤ上で多量に運び得る。
【0087】
「IDSL」又は「ISDN DSL」は、ISDNデータレートと実により緊密であると共にADSLと一般的に関連された相当により高いレートと比較して約128Kbpsでサービスする程に幾分間違った名称である。
【0088】
「RADSL」又は「レート-アダプティブDSL」はウェステル・カンパニー(Westell Company)社から入手可能であるADSLテクノロジーであり、そのソフトウェアは信号が所与の顧客電話回線上で伝送可能であるレートを決定し得て、それ故に配信レートを調整できる。ウェステルの「FlexCap2(商標)」バージョン・システムはRADSLを用いて、既存回線を介して、約640Kbpsから約2.2Mbpsまでの下りと約272Kbpsから約1.088Mbpsまでの上りで配信できる。
【0089】
「SDSL」又は「対称型DSL」は単ツイストペア線を具備する一HDSLと同様であり、デュプレックス線上の各方向で約1.544Mbps(合衆国及びカナダ)或は約2.048Mbps(欧州)を運ぶ。データレートは両方向で同一であるので対称型と云う。
【0090】
「UDSL」又は「単向性DSL」は欧州の会社によって提案され、HDSLの単向性バージョンを提供すると一般には思われている。
【0091】
「VDSL」又は「Very high data rate DSL」は、例えば約51Mbpsと約55Mbpsの間で、約1,000フィート或は約300メートルの長さの線を介して、比較的短い距離にわたって相当により高いデータレートを約束して開発中のテクノロジーであると思われる。少なくとも1つの公表物は、VDSLはADSLが広範に展開された幾分後で出現され得てそれと共存すると予想した。通信テクノロジー(CAP、DMT、或は、その他)と、幾つかの環境におけるその効果とは未だ決定されていない。多数の標準化組織がそれに対して作業している最中である。
【0092】
「x2/DSL」は3Com社のモデムであり56Kbpsモデム通信をサポートするが、ユーザの領域利用可能となる場合にADSLへの新ソフトウェアのインストールを介してアップグレードすることができる。少なくとも1つの公表物は、この技術は「貴方が必要とする最新のモデムである」と表明するものとして3Com社を挙げている。
【0093】
「T1」通信線は「ブロードバンド」キャリアと一般には考えられ、「T-キャリア」システムの1つのタイプとして規定されており、ディジタル化された音声伝送をサポートした第1成功システムとして1960年代に合衆国のベル・システム社(the Bell System)によって先ず導入されたと信じられる。このT-システムは、パルス・コード変調及び時分割多重化を用いた全体的にディジタルである。音声信号は、典型的には、単位秒に約8,000回サンプリングされ、各サンプルは8ビット・ワードにディジタル化される。こうして、同時にディジタル化された24チャンネルによって、24チャンネルの各々において8ビット・ワードを表している192ビット・フレームが単位秒に約8,000回伝送される。各フレームは次のものから単位ビットだけ分離されて193ビット・ブロックとなる。1.544MbpsのT-1が公表するデータレートは192ビット・フレームと、8,000で乗ぜられた1ビット・シグナリング・ビットを表す。
【0094】
T-1システムは、典型的には、4つのワイヤを用いてデュプレックス能力を提供し、2ワイヤが受信専用であり且つ同時に2ワイヤが送信専用である。T-1ディジタル・ストリームは多重化される24,64Kbpsチャンネルを含み、標準64Kbpsチャンネルが音声会話用に必要される帯域幅に基づいている。それら4ワイヤは、元々、一対のツイストペア銅ワイヤであったが、より最近のシステムは同軸ケーブル、光ファイバ、ディジタル・マイクロウェーブ、並びに、他のキャリアのテクノロジーを提供している。
【0095】
T-1線に対するオリジナルの伝送レート(1.544Mbps)は、インターネットへのインターネット・サービス・プロバイダ(「ISP」)接続で今日共通して使用されている。別のレベルとしてのT-3線は44.736Mbpsを提供すると公表されており、これもインターネット・サービス・プロバイダによって共通して使用されている。別の共通して使用されるサービスは「fractional T-1」であり、それは他の不使用のチャンネルを伴って、T-1線において24チャンネルの幾分かのレンタルである。
【0096】
表示能力/制約及び関連標準
様々な異なるタイプの受信器表示能力も、受信器による表示のための特定ストリーミング・メディア信号を効率的に通信するため、適切なCODECに著しい衝撃を与えた。そうした種々の表示パラメータ(例えば、解像度、明瞭性、カラー、深さ、サイズ、タイプ/フォーマット特定等)を説明する特定の例の簡単な要約がより良好な理解のために以下に提供されている。
【0097】
異なるタイプとストリーミング・メディア受信器装置のメーカとの間の大きな変数である1つのパラメータであり、それ故に使用されるべき適切なCODECに対して著しい衝撃を与え得る1つのパラメータは、表示装置或は「パレット」によって表現され得るカラーの範囲である。インターネットに基づくストリーミング・メディア表示に対して殆どのソフトウェアによって適合され得る標準的な「ブラウザーサーフ」パレットは例えば約216色を含み得るが、ウェブに基づくストリーミング・メディアに対してコンピュータ表示能力はブラウザ・ソフトウェア能力と共に理解されなければならない。
【0098】
コンピュータ表示テクノロジーに関して、カラーはスクリーンに対する各個別ピクセル或はアドレス指定可能な照明要素に対して設定されている。各ピクセルは、赤、緑、並びに、青(RGB)のコンポーネントを有する。これらコンポーネントの各々に対する濃度又は強度の量を特定することによって、個別カラーはそのピクセルに付与される。「真カラー(true color)」表示は、一般に、24ビット値を用いて表示スクリーン上二ピクセルのカラーを規定して、16,777,216個の可能カラーまでの可能性を許容している。ピクセルのカラー陰影を規定すべく使用されるビットの数は「ビット深さ」と呼称される。カラーはしばしば「24ビット・カラー」と言及されるが、多くの近代的なカラー表示システムは32ビット・カラー・モードを提供する。「アルファ・チャンネル」と呼称される余剰バイトは、典型的には、制御及び特別効果の情報に対して使用される。「グレイスケール」(灰色の個別的な陰影から構成される)表示設定はNビットの深さを有すると一般には規定され、Nはピクセル内の黒の飽和を表している。もしN=1であれば、画像はグレスケールと呼称されないが、代わりに単色或は黒及び白であり、それはそのビットが単なるオン或はオフであり得て陰影情報を何等含むことができないからである。
【0099】
一般的なコンピュータ解像度は、例えば且つ制限無しに、
(i)4:3のピクセル比で、16色で640x480ピクセルを表示するか或は256色で320x240ピクセルを表示するVGA又はビデオ・グラフィック・アレイ能力、
(ii)800x600x6ビット/ピクセル(16色)或は650x480x8ビット/ピクセル(256色)のSVGA又はスーパー・ビデオ・グラフィック・アレイ能力であり、SVGAはビデオ・エレクトロニクス・アソシエーション(VESA)によって作り出された、
(iii)32,768色で1024x768ピクセルのXGA(v1-4)又はエクステンデット・グラフィック・アレイ能力、
の事柄を含む。
【0100】
SXGA等の追加的な標準が追加され、1960x1440以上のピクセル・サイズと32ビット/ピクセル或はそれ以上のカラー深さを規定している。
【0101】
カラー(或はパレット)のより大きな範囲が特定の表示或はブラウザが取り扱い可能なメディア信号によって使用される場合、典型的には殆どのブラウザはカラーに「ディザ」すべく適合され、それでここで意図されようとすることは、ブラウザがそのパレットの外側である任意のカラーを代替できる、そのパレット内の複数カラーを見出すことを意味することである。種々のシステム表示能力の広範囲を更に説明すべく、ウィンドウズ(登録商標)(マイクロソフト・コーポレーション社から商業的に入手可能)を用いるシステムとマッキントッシュ(商標)(アップル・コーポレーション社から商業的に入手可能)に基づくオペレーティング・システムは同等のパレットを有することなく、通常的な256色パレット内で216色が両タイプのブラウザに共通しているが、40色が異なり、それ故に、画像信号がそれらシステムの一方によって特定されたフォーマットで他方のシステム・タイプに通信されれば、他方のシステムで動作しているブラウザによるディザリングを必要とする。
【0102】
また、視覚的な表示が電子情報からどのようにイネーブルされるかに関して数多くの異なるテクノロジーが存在する。用語「VDT」又は「ビデオ・ディスプレイ・ターミナル」はコンピュータ産業内で一般的には使用され、ここでは「ディスプレイ」との単純な言及で言い換えできるように使用されることが意図されている。コンピュータ・ターミナル使用に関して、VDTはコンピュータ出面面と、コンピュータ・ユーザにテキスト及びグラフィック画像を示す投影機構とを含む。VDTは種々の特定ディスプレイ・テクノロジーを使用でき、例えば、カソードレイチューブ(「CRT」)、液晶ディスプレイ(「LCD」)、発光ダイオード(「LED」)、ガス・プラズマ、或は、他の画像投影テクノロジーを含んでいる。通常、ディスプレイはスクリーン或は投影面と、そのスクリーン上に情報を作り出す装置とを含むと考えられる。ある種のコンピュータにおいて、ディスプレイは別のユニット或は「モニタ」の形でパッケージされるか、或は、ディスプレイはコンピュータ・プロセッサと一緒の単一ユニットに完全に統合されることなる。
【0103】
特にLCDに関して、このテクノロジーは他のVDTと比較して最少体積及び物理的深さを一般的には必要としており、それ故に典型的にはラップトップ型コンピュータ及び携帯電話/PDAで使用される。LCDはLED及びガス-ディスプレイVDTより相当に少ない電力を消費するが、それはそれらが発光すると云うよりは一般的には光を遮断する原則で稼働するからである。LCDは、「薄膜トランジスタ」又は「TFT」ディスプレイとしても知られる「受動マトリックス」或は「能動マトリックス」の何れかであり得る。受動マトリックスLCDは導体から成るグリッドを有し、ピクセルがグリッド内の各交差点に配置さている。電流がグリッドにおける2つの導体を横切って送られて、任意のピクセルに対する光を制御する。能動マトリックスは各ピクセル交差点に配置されたトランジスタを有し、ピクセルの輝度を制御すべくより少ない電流を必要としている。この理由のため、能動マトリックス・ディスプレイにおける電流はより頻繁にオン・オフとスイッチされ得て、スクリーン・リフレッシュ時間を改善すると共に、それ故にストリーミング・メディア(アクション・ビデオ)のより高い速度に対する効能を改善している。幾つかの受動マトリックスLCDはデュアル・スキャニングを為し、それはより早期のバージョンでの1スキャンと同じ時間でグリッドを電流で2度スキャンするが、能動マトリックスが依然としてそれら2つの内でより優れたテクノロジーであると一般的には考えられている。反射型カラー・ディスプレイ・テクノロジー、即ち、カラー・フィルタの受動マトリックス内への統合を為したディスプレイ構造は低電力で低コストな能動マトリックス・テクノロジーの代替である。それらは環境光を反射するので、反射型LCDは日中の屋外での使用中に特に高い性能を発揮する。様々に異なるディスプレイ・テクノロジーとそれ故の伝送フォーマットもテレビジョン視聴用に特に開発されてきた。よって、幾つかの異なる標準がテレビジョン伝送用に発展され、それらの相違はテレビジョン環境でストリーミング・メディアを通信するために所望された圧縮(そしてそれ故に特定のCODECの選択)の性質及び程度に著しい衝撃を与え得る。これらの標準は、特に且つ制限無しに、標準精細度テレビジョン(「SDTV」)及び高品位テレビジョン(「HDTV」)を含む。
【0104】
「SDTV」又は「標準鮮明度テレビジョン」と「HDTV」又は「高品位テレビジョン」はディジタル・テレビジョン(「DTV」)伝送用のディスプレイ・フォーマットの2つの分類であり、標準となってきている。これらフォーマットはディジタル万能ディスク(「DVD」)と同様な映像品質を提供し、それらの類似性及び相違に対して以下の様に要約される。
【0105】
HDTVはより高い品質のディスプレイを提供し、映画鑑賞と同様な視聴体験のために、約720pから少なくとも約1080iまでの垂直解像度表示と概略16:9のアスペクト比(スクリーンの幅対高さ)を具備する。新しいテレビ受像器は、信号をそれらの固有ディスプレイ・フォーマットに変換できる受信器を具備したHDTV能力或はSDTV能力の何れかとなる。HDTVと共通してSDTVは、MPEG-2ファイル圧縮方法を用いて、ディジタル信号を約166Mbpsから約3Mbpsまで一般的には低減する。これは放送局が既存のケーブル、衛星、並びに、地上システムを用いてディジタル信号を伝送させることを可能とする。MPEG-2は損失性圧縮方法を用い、それはテレビジョンに送信されたディジタル信号が圧縮され、そして幾分のデータが損失するが、この損失データは人の目が映像をどのように見るかについて影響を与えるか或は影響を与え得ない。ATSC及びDVBの双方はビデオ圧縮及び転送に対してMPEG-2を選択した。MPEG-2圧縮標準はここでの他の場所で更に詳細に記載される。
【0106】
圧縮SDTVディジタル信号は圧縮HDTV信号よりも小さいので、放送局はちょうど1つのHDTV番組の代わりに5つまでのSDTV番組を同時に伝送でき、これは「マルチキャスティング(multicasting)」としても知られる。マルチキャスティングは、テレビ局がそれら余剰な番組が提供する追加的な広告から追加的な収益を受けることができるので魅力的な特徴である。今日のアナログ・テレビジョン・システムによって、一時に1つの番組のみが伝送され得る。留意することは、用語「マルチキャスティング」のこの使用は、特別なアドレス指定技術を用いてそれが係わる場合、ストリーミング・ビデオにおいてのその使用からは区別されることである。
【0107】
合衆国はアナログ・テレビジョンからDTVへの移行を決定した際、米国連邦通信委員会は放送局にSDTV番組を放送すべきか或はHDTV番組を放送すべきかを決定させることに決めた。殆どの放送局は、日中はSDTV番組を放送し、ゴールデンアワーの放送はHDTV番組を放送することに決定した。これらSDTV及びHDTVは、ディジタル・ビデオ放送(DTV)及びアドバンスド・テレビジョン・システム委員会(ATSC)の標準の受像器によってサポートされる。
【0108】
テレビジョン・ディスプレイ・テクノロジーとしてのHDTVは35mm映画と同様な映像品質を提供すると共に、今日のコンパクト・ディスクの音質と同様の音質を提供する(更にオーディオ品質に関しては、HDTVはドルビー・ディジタル5.1を受信、再生、並びに、出力する)。幾つかのテレビ局は限られた数のチャンネルでHDTV放送をユーザ向けに伝送し始めた。HDTVはアナログ信号伝送ではなくディジタルを一般的に使用する。しかしながら日本では、最初のアナログHDTV番組が1989年6月3日に放送された。現れた最初の画像は自由の女神とニューヨーク港であった。それは20MHzチャンネルを必要としたが、これはアナログHDTV放送が殆ど国々で定着していないからである。
【0109】
HDTVはSDTVよりより高品質表示を提供し、720pから1080iまでの垂直解像度表示を伴う。このpはプログレッシブ・スキャニング(順次走査)を表し、各スキャンが1つの完全な画像に対する各線を含んでおり、そしてiはインターレースド・スキャニング(飛び越し走査)を表し、画像の半分に対する1つ置きの線を含む。これらのレートは60フレーム/秒までのフレーム・レートに転換し、重等のテレビジョンのものの2倍である。HDTVの最も顕著な特徴の内の1つは16:9と云うその広いアスペクト比であり(スクリーンの幅対高さ)、それは視聴者の経験はより広いスクリーンによって向上されると云う調査研究に基づく信念に基づく開発である。HDTVピクセル数は、300,000から百万までのSDTVの範囲と比較して、1から2百万までの範囲である。新しいテレビ受像器はHDTV能力或はSDTV能力の何れかとなり、受信器は信号をそれらの固有ディスプレイ・フォーマットに変換できる。
【0110】
合衆国において、FCC(米国連邦通信委員会)はDTV伝送に対する放送チャンネルを指定した。SDTVフォーマットにおいて、DTVはHDTVレベルでの単一信号の代わりに現行品質レベルでの多重信号に対する指定されたチャンネルを使用することを可能とし、それは同一の帯域幅の使用でより多くの番組を許容することになる。商業的且つ公共的な放送局は、現在、彼らがHDTVのそれらの使用をどのように具現化することを綿密に決定している。
【0111】
サイマルキャスト(simulcast)は、同一テレビ番組を、2つの異なるチャンネル或は周波数を用いてアナログ及びディジタルの両バージョンで同時伝送することである。DTV移行期間の最後に、アナログ伝送は実質的に置き換わって、現行のアナログチャンネルがDTV用だけに使用されることになると信じられる。ディジタル放送用に用いられた余剰チャンネルは、例えば競売にかけらより多くのテレビジョン・チャンネル或はデータ放送等の他のサービスのために使用され得る。サイマルキャストは、同時テレビジョン及びインターネット・サービスの伝送、アナログ及びディジタル無線放送の伝送、並びに、従来のフォーマット及びワイド・スクリーン・フォーマット等の種々のスクリーン・フォーマットでのテレビジョン番組の伝送のためにも使用される。サイマルキャスト放送は世界中で使用される。
【0112】
DTVへの移行は容易或は安価な移行ではない。DTV番組を伝送するテレビ局にとって、DTV施設を構築しなければならないが、ある局はこれら施設を構築すべく収益を得なければならない。サイマルキャストはテレビ局に従来のアナログ番組から収益を上げさせ続けさせると共に余剰のディジタル番組からも余剰収益を得させることを可能としている。DTVへの移行における別の障害は消費者間における興味の欠如である。特別の装置の必要性は視聴者がディジタル番組及びアナログ番組の間の相違を見ることを妨げ、それもDTVに対する公共の興味をスローダウンする。
【0113】
DTVを操作するために必要とされる装置は、地上サービス、ケーブル・サービス、或は、衛星サービスが伝送チャンネル/キャリアとして使用されるか否かに依存する。何れにしても既知のシステム或は予知されるシステムに従えば、消費者は、最小限、彼らの古いテレビ受像器上でDTV伝送を視聴すべくコンバータを購入しなければならない。加えて、テレビ信号を受信すべく地上サービス或はアンテナを利用する消費者はディジタル信号用に装備されたアンテナを必要とする。ATSC準拠国における山岳地形に配置する消費者は多重効果(multipath effects)のために地上ディジタル信号を受信することができない可能性がある。これは今日のアナログ・テレビジョン・システムですら共通している。DVB準拠の国々において、地上はディジタル信号の受信に影響しない。衛星ユーザはDTV放送を既に楽しんでいるが、より大きな衛星アンテナがHDTV番組視聴のために必要とされるであろう。
【0114】
「セット-トップ」・ボックスは、テレビ受像器がインターネットへのユーザ・インターフェースとなることを可能とする共に、アナログ・テレビ受像器がDTV放送を受信及びデコードすることを可能とする装置としてここでは定義される。DTVセット-トップ・ボックスはしばしば受信器と呼称される。3千5百万の家庭が2006年の終わりまでにディジタルのセット-トップ・ボックスを使用すると推定され、その推定年はDTVへの移行の終了年である。
【0115】
典型的なディジタル・セット-トップ・ボックスは、通常、リナックス或はウィンドウズ(登録商標)CEを走らすためそしてMPEG移送ストリームをパースするために1つ或はそれ以上のマイクロプロセッサを含む。セット-トップ・ボックスはRAM、MPEGデコーダ・チップ、並びに、オーディオのデコーディング及び処理のためのより多くのチップをも含む。セット-トップ・ボックスの中身は使用されているDTV標準に依存する。DVB準拠のセット-トップ・ボックスはCOFDM伝送をデコードするためのパーツを含むが、ATSC準拠のセット-トップ・ボックスはVSB伝送をデコードするためのパーツを含む。より高性能なセット-トップ・ボックスは記録されたテレビ放送の記憶、ダウンロードされたソフトウェアの記憶、並びに、DTVサービス・プロバイダによって提供される他のアプリケーションのためのハードディスクを含む。ディジタル・セット-トップ・ボックスは衛星及び地上DTV用に使用可能であるが、たいていはケーブル・テレビ用に使用される。セット-トップ・ボックス価格は基本構成に対する100ドルからより高性能なボックスに対する1,000ドル以上までの範囲である。
【0116】
インターネット分野においてセット-トップ・ボックスは、実際上、インターネットと「話す」ことができる特化されたコンピュータとしてしばしば機能し、即ちそれはウェブ・ブラウザ(実際にはハイパーテキスト・トランスファ・プロトコル・クライアント(Hypertext Transfer Protocol client))及びインターネットの主要プログラムであるTCP/IPを含む。セット-トップ・ボックスが結着するサービスはウェブTV等による電話回転を通じて、或は、TCIのようにケーブルTV会社を通じて行われ得る。
【0117】
衛星放送用にドルビー・ディジタル5.1チャンネルを利用するためには、ドルビー・ディジタル出力を提供する衛星受信器が必要である。ケーブル・ユーザ用に、全てのディジタル・セット-トップ・ボックスにはドルビー・ディジタル2-チャンネル・デコーダが装備されている。5.1チャンネル・サウンドを用いるためには、5.1チャンネル準拠セット-トップ・ボックスが或は外付け5.1チャンネル・デコーダ・ユニットが必要である。
【0118】
ディジタル・テレビジョン利益の最も劇的なデモンストレーションは高性能なHDTVを通じてであり、それはより大きなスクリーン、より広いアスペクト比、並びに、より良好な解像度の故である。しかしながら殆どの新しいテクノロジーのように、HDTVは高価である。それにもかかわらず、より安価なディジタルTVは今までのTVを凌いで著しく改善された視聴経験を提供し、古い受像器を保持することを選んだ人のために、セット-トップ・コンバータの追加は見分けがつく改善された映像及びサウンドを配信することになる。
【0119】
DTVへの移行に対する米国連邦通信委員会(FCC)のスケジュールは、合衆国の誰もが2002年までにDTVにアクセスし、ディジタル伝送への切り換えは2006年までに、或は、特定領域における世帯の内の85%がディジタル・テレビジョン受像器或はセット-トップ・コンバータを購入した際に完了しなければならない。
【0120】
1990年代始め、欧州放送、消費者装置製造業者、並びに、調整団体は欧州ランチング・グループ(European Launching Group: ELG)を形成し、DTVを欧州中に導入するために、「DVB」又は「ディジタル・ビデオ放送」計画に着手した。DVBは閉システムに対抗する開システムを提供すべく意図されている。閉システムはコンテンツ・プロバイダ特有であり、拡張的はなく、それらが発展されたシステムに対してだけに最適化されている。DVB等の開システムでは、加入者に異なるコンテンツ・プロバイダを選択させ、複数のPC及びテレビジョンの統合を可能としている。DVBシステムで意図されていることは、テレビジョンに対して最適化させられることであるが、ホームショッピング、バンキング、プライベート・ネットワーク放送(又は専用線放送)、並びに、対話式視聴をもサポートすることである。DVBで意図されていることは、非常に明瞭なテレビジョン番組をバス、自動車、並びに、列車のテレビジョンに提供する可能性や、携帯テレビジョンにすら提供する可能性を開放することである。DVBはコンテンツ・プロバイダにとって有益であり、促進されもして、それは彼らがそれら自体のサービスをDVBが地理学上の場所に拘わらずサポートされるどこにでも提供できるからである。彼らは彼ら自身のサービスを容易に且つ安価に拡張することもできて、加入者への制限されたアクセスを確保して、不承認の視聴による収益損失を低減する。今日、DVB計画は世界中の29カ国以上の国々における220の組織から構成され、DVB放送サービスは欧州、アフリカ、アジア、オーストラリア、並びに、南北アメリカの部分で有効である。
【0121】
フォーマット特定メディア
ストリーミング・メディア信号に対する様々な異なるフォーマット自体は、どのようにしてCODECが特定の場合に対して変動し得るかの更なる理解をも提供すべく、非限定例によってここでも要約される。
【0122】
「DVD」は「digital versatile disc」の頭字語であり、その2面の内の一方に約4.7ギガバイトまでの情報、或は、平均して約133分の映画に充分な情報を保持する比較的最近の光ディスク・テクノロジーとして一般には定義されている。その2つの面各々における2つの層によって、約600メガバイトを保持する略同一物理的サイズの現行のCD-ROMと比較して、17ギガバイトまでのビデオ、オーディオ、或は、他の情報を保持し得る(DVDはCD-ROMと比べ約28倍以上の情報を保持する)。DVDプレイヤーはDVDを再生すべく必要とされているが、またそれらは通常のCD-ROMディスクも再生することになる。DVDは、(i)ビデオ(例えば連続映画)、(ii)オーディオ(例えば長い演奏音楽)、並びに、(iii)混合(例えば対話式マルチメディア発表)に対して様々に最適化された3つの一般的なフォーマットの任意のフォーマットで記録され得る。DVDドライブは8速度CD-ROMプレイヤーよりも幾分速い転送速度を有する。DVDフォーマットはMPEG-2ファイル及び圧縮標準を典型的には使用し、それはMPEG-1画像の約4倍の解像度を有すると共に、2つのフィールドが1つの画像を構成する約60飛び越しフィールド/秒で配信され得る(MPEG-1は約30非飛び越しフレーム/秒で配信する)。MPEG-2及び-1標準はここの他の場所でより詳細に定義されてる。DVD上でのオーディオ品質は現行のオーディオ・コンパクトディスクに比肩し得る。
【0123】
「DVD-ビデオ」は、短縮無しの映画用に設計されたDVDフォーマットに対して典型的には付与された名前であり、テレビジョン受像器と一緒に稼働するボックスである。「DVD-ROM」は、コンピュータ内のCD-ROMへの将来の代替であると誰かによって信じられるプレイヤーに付与された名前であり、これらより新しいドライブはDVD-OMディスクと共に通常CD-ROMディスクの双方を再生すべく意図されているからである。「DVD-RAM」はDVDの書込可能バージョンに付与された名前である。「DVD-オーディオ」はコンパクト・ディスク/プレイヤーに置き換わるべく設計されたプレイヤーに典型的には付与された名前である。
【0124】
「VHS」は「Video Home System」の頭字語であり、磁気ビデオテープ・カートリッジ・フォーマットとして一般には定義されており、典型的にはハーフ・インチ幅で、アナログ・ビデオ及びオーディオ信号を記録及び再生する能力を伴ったホームユース用に開発された。VHSは普及したフォーマットとなり、主にその普及した存在及び記録性能によってホームムービー配給及び再生のための事実上の標準となった。VHSは、オーディオ・カセットのものと同様のテクノロジーを用いて、磁気テープ上に信号をアナログ・フォーマットとして記憶する。これらテープはVHSビデオカセット・レコーダ(VHS VCR)を用いて再生及び記録される。VHSテープは典型的には約2時間までのビデオを記憶するが、ある種のVCRはそれらをより遅い速度で記録できて
、1テープ当たり6時間まで或は8時間まですら記録できる。
【0125】
VHSフォーマットは200本を少し超える水平解像度を出力する。これは、500本を超える水平解像度を出力するDVDと比肩する。技術的且つ感覚的にVHSは、例えばDVD、S-VHS、Hi-8、並びに、その類を含む他のフォーマットに勝ったフォーマットである。しかしながらVHSはビデオを視聴する普及した手段であり続け、VHSテープは映画レンタル店から食料雑貨店までその国や世界中のいたるところで依然容易に見出される。
【0126】
「CD」は「compact disc(コンパクトディスク)」の頭字語であり、オーディオ、ビデオ、テキスト、並びに、ディジタル・フォームでの他の情報を電子的に記録、記憶、並びに/或は、再生するための小さい携帯可能な丸い媒体として一般に定義されている。最初、CDは読取り専用であったが、より新しいバージョンは記録も可能である(即ち、「CD-RW」)。
【0127】
「Super audio disc」又は「SACD」は高解像度オーディオCDフォーマットであり、DVD-オーディオ(「DVD-A」)と共に、標準的なオーディオCDに置き換わるべく競合する2つのフォーマットである(殆どの業界は、フィリップス及びソニーであると思われる一般的な例外を伴って、DVD-Aを後押している)。DVD-AのようなSACDは2-チャンネル・ステレオに加えて5.1チャンネル・サランドサウンドを提供する。両フォーマットはビットレート及びサンプルレートを増大することによってサウンドの錯綜性を改善し、そして既存のCDプレイヤー上で再生可能であるが、一般には従来のCDのものと単に同様な品質レベルである。SACDはソニー社の所有であると公表されているDirect Stream Digital又はダイレクト・ストリーム・ディジタル(「DSD」)記録を用い、パルス・コード変調(「PCM」)と標準CDで使用されているフィルタリングとの代わりに、アナログ波形をダイレクト記録用に1ビット信号に変換する。DSDは損失無しの圧縮と約2.8MHzのサンプリングレートとを用いて、サウンドの錯綜性及び写実性を改善する。SACDは、テキスト、グラフィック、並びに、ビデオ・クリップ等の追加情報をも含み得る。
【0128】
また更なる理解の目的のため、インターネットに基づく通信は、インターネット「スーパーハイウェイ(superhighway)」を用いてストリーミング・メディア通信によって適合されなければならない通信用の特定プロトコルをも有する。これらプロトコルは、特にストリーミング・メディア通信に関して、より詳細な理解を提供する目的で直ぐ下で簡単に要約される。
【0129】
インターネット通知に関して、ストリーミング・メディア信号はデータ・パケットを会してディジタル・フォーマットで一般には通信される。用語「パケット」がここで意図することは、インターネット或は他の任意のパケット-交換ネットワークを介して出所及び到着地の間で経路決めされたデータのユニットを意味することである。より明確には、ファイルが送信されると、通信システムのプロトコル層(例えば、TCP/IPに基づくシステムのTCP層)がそのファイルを経路決めのために効率的なサイズの大きな塊に分割する。これらパケットの各々は個々に番号付けされ、到着地のインターネット・アドレスを含む。所与のファイルに対する個々別々のパケットはインターネットを通じて異なるルート(経路)を移動し得る。それが全て到着した場合、それらは元のファイルに例えば受信末端でTCPによって再組み立てされる。パケット交換方式はインターネット等の接続無しネットワーク上での伝送を取り扱う効率的な方法である。回路交換方式等の代替方式は略音声接続に対して割り当てられたネットワーク用に使用される。回路交換において、ネットワークにおける線は複数のユーザ間でパケット交換で共有されるが、且つ各接続はその接続の期間に特定経路の専有化を一般には要求する。
【0130】
ワイヤレス通信及びWAPゲートウェイ
インターネットと同年代にとって等しく重要なことは、ワイヤレス通信の年代が、家庭或はオフィスの固定された領域の外側と対話すべく、社会的能力を著しく拡張したことであり、それによって我々の遠隔通信が電気ケーブルワイヤ及びケーブルから解放されることを可能とした。例えば2000年、移動電話(又は携帯電話)加入者の数は50%近くまで成長した。
【0131】
しかしながらワイヤレス通信システム、プロトコル、並びに、イネーブリング・テクノロジーは著しく分裂した「フォーマット特定」市場で世界規模で発展した。これが特にあてはまるのは、合衆国を除く残りの世界と比較した場合、合衆国における広範な用途でのシステムを比較する点である。それ故に、複数のフォーマット特定システム間や異なるプラットフォーム上で動作する関連ワイヤレス装置間での競合する争点を克服することに関して相当な労力が拡張された。後で本発明と関連されるようにワイヤレス通信を更に理解する目的のため、以下は、ワイヤレス通信産業界で使用される著しいテクノロジー、システム、並びに、プロトコルの簡単な大要である。
【0132】
一般に、セル電話用のワイヤレス通信システムの発展は、通称で用語「1G」、「2G」、「2.5G」、並びに、「3G」で付与され、それぞれ第1世代、第2世代等々を表している。初期のシステムは1G電話及びシステムとして知られ純粋なアナログである。しかしながら急激な成長に伴って、携帯電話用の利用可能な帯域幅は急激に減らされ、2Gでのディジタル信号処理への道が付与され、それは先進の遠隔通信用の複雑な信号処理に対する利用可能な帯域幅及び能力を著しく広げた。しかし、ワイヤレス・インターネット・アクセス用に向上された需要に伴って、テクノロジー発展は2G電話(一般にはインターネットでイネーブルされない)から2.5G及び3G(進歩的により多くイネーブルされた)に向かった。直ぐ下で更に展開されるように、システム、プロトコル、並びに、イネーブリング・テクノロジーはこうして2.5G及び3Gモードを産業界及び消費者にもたらす点で集中された焦点に向けて発展した。
【0133】
一般に、2Gテクノロジーに基づく4つの主要なディジタル・ワイヤレス・ネットワークがあり、即ち、時分割多重アクセス(「TDMA」)、コード分割多重アクセス(「CDMA」)、モバイル通信用グローバル・システム(「GSM」)、並びに、セルラー・ディジタル・パケット・データ(「CDPD」)である。これらはここでは以下のように簡単に説明される。
【0134】
時分割多重アクセス(「TDMA」)はディジタル携帯電話通信に使用されるテクノロジーであり、運ばれ得るデータの量を増大するために、各セル・チャンネルを3つの時間スロットに分割している。TDMAは、ディジタル-アメリカ携帯電話サービス(D-AMPS)、モバイル通信用グローバル・システム(「GSM」)、並びに、パーソナル・ディジタル・セルラー(「PDC」)によって採用されている。TDMA及びFDMAに対する代替的な多重方式はコード分割多重アクセス(「CDMA」)である。
【0135】
コード分割多重アクセス(「CDMA」)は2G及び3Gワイヤレス通信で使用される幾つかのプロトコルの内の任意のものを言及する。その用語が暗示するように、CDMAは数々の信号に単一伝送チャンネルを専有させることを可能として、利用可能な帯域幅の使用を最適化する。このテクノロジーは800MHz〜1.9GHz帯域において超高周波数(UHF)移動電話システムで使用される。CDMAは拡散スペクトル・テクノロジーと組み合わせてアナログ-ディジタル・コンバータ(ADC)を用いる。オーディオ入力は先ずバイナリー要素にディジタル化される。伝送された信号の周波数は規定されたパターン(コード)に従って変動するように為されて、その周波数応答が同一コードでプログラムされている受信器によってだけ妨害され得て、送信器周波数に正確に同調する。何兆もの可能性ある周波数配列決定コードがあり、プライバシーを向上させると共にクローニング又はコピーを難しくしている。CDMAチャンネルは、公称、1.23MHz幅である。CDMAネットワークは「ソフト・ハンドオフ」と呼称される方式を用いており、電話機が一方のセルから他方セルに移る際の信号分裂を最小化する。ディジタル・モード及び拡散スペクトル・モードの組み合わせは、アナログ・モードのように単位帯域幅毎に多数の信号としての幾つかの時間をサポートする。CDMAは他のセルラー・テクノロジーと互換性があり、これが全国的なローミングを可能としている。
【0136】
CDMA Oneとしても知られる元々のCDMAは1993年に標準化されたものであり、米国における移動(セルラー)電話で依然として普及している2Gテクノロジーと考えられる。cdmaOneの1つのバージョン、即ちIS-95Aは1.25MHzキャリアを利用して、800MHz或は1.9GHzの何れかのRF帯域で動作するプロトコルであり、これは14.4Kbpsまでのデータレートをサポートする。別のバージョンIS-95Bは8つのチャンネルまで束ねることによって115Kbpsまでの速度をサポートすることができる。
【0137】
より最近のCDMA変種、CDMA2000、並びに、広帯域CDMAは何度もより速いデータ速度を提供している。CDMA2000はIMT-CDMA Multi-Carrier或はIS-136としても知られ、国際電気通信連合(ITU)によって開発されたIMT-2000標準のCDMAバージョンである。このCDMA200標準は3Gテクノロジーであり、144Kbpsから2Mbpsまでの範囲の速度のデータ通信をサポートすべく意図されている。この標準のバージョンを開発した会社はEricsson corporation社及びQualcomm corporation社を含む。広帯域CDMA又は「WCDMA」はCDMAから誘導されたITU標準であり、IMT-2000 direct spreadとしても知られる。WCDMAは3Gテクノロジーであり、ローカル・エリア・アクセスに対して2Mbpsまでのデータレートと、ワイド・エリア・アクセスに対して384Kbpsまでのデータレートとをサポートし、且つ、これらの速度での可動性/携帯性の音声、画像、データ、並びに、ビデオの通信をサポートすべく意図されている。WCDMAは入力信号をディジタル化し、200KHz幅の狭帯域CDMAより相当に広い範囲である5MHz幅キャリアを介するコード化拡散スペクトル・モードでそのディジタル化出力を伝送する。
【0138】
モバイル通信用グローバル・システム(「GSM」)はディジタル移動電話システムであり、欧州や世界のその他の区域で広く使用されており、このシステムは(直ぐ下で紹介される)「TDMA」の1つの変形を使用し、3つのディジタル・ワイヤレス電話テクノロジー(TDMA、GSM、並びに、CDMA)の内の最も広く使用されている。GSMは、各々がそれ自体の時間スロットにおいて、データをディジタル化し、圧縮し、そしてユーザ・データの他の2つのストリームと一緒に1チャンネルで送信する。それは900MHz或は1800MHzの何れかの周波数帯域で動作する。この開示の際、GSMは欧州におけるワイヤレス電話標準と一般には考えられ、世界中に1億2千万以上のユーザを有して120カ国で利用可能であると公表された。合衆国における少なくとも1つの会社、即ちアメリカン・パーソナル通信(Sprint(商標)補助金交付)はブロードバンド・パーソナル通信サービス(「PCS」)に対するテクノロジーとしてGSMを用いる。PCSは遠隔通信サービスであり、音声通信、数値及びテキストのメッセージ、音声メールを1つの装置、サービスコンタクト、並びに、請求書に放り込む。PCSはディジタル・セルラー・リンクを介して最も頻繁に伝達される。このサービスは、Ericsson corporation社、Motora corporation社、並びに、Nokia corporation社等の製造業者によって製作されている様々な小型移動電話器に対する400以上の基地局を有するように計画されており、これら装置は、電話器、ポケットベル、並びに、留守番電話を一般には含む。GSMは、高速回路交換データ(HCSD)、ゼネラル・パケット・ラジオ・システム(GPRS)、エンハンスト・データGSM環境(EDGE)、並びに、ユニバーサル・モバイル・テレコミュニケーションズ・サービス(UMTS)を含むワイヤレス・モバイル・テレコミュニケーションズの進化の一部である。
【0139】
セルラー・ディジタル・パケット・データ(「CDPD」)は双方向性の19.2Kbpsでのパケット・データ通信を既存のセルラー電話(又は携帯電話)チャンネルにわたって提供するワイヤレス標準である。
【0140】
幾つかの異なるプロトコルは様々なワイヤレス・ネットワークにわたっての通信に対する使用に取り入れられた。
【0141】
「X.25」はパケットに基づくプロトコルであり、原則的には欧州におけるこの開示の時に使用されると共に国際電報電話諮問委員会(CCITT)によって標準として適用された。X.25は一般的に使用されたネットワークであり、異なる公共ネットワーク(例えば、Compuserve、Tymnet、或は、TCP/IPネットワーク)上のコンピュータに中間コンピュータを通じてネットワーク層で通信させることを可能としている。X.25のプロトコルは開放型システム間相互接続(「OSI」)によって規定されたデータ-リンク及び物理的層プロトコルと密に対応している。
【0142】
「OSI」はネットワーク・アーキテクチャの1つのモデルであって、それを具現化するためのプロトコルの1揃い(プロトコル・スタック)であり、外来コンピュータ・ネットワーク・アーキテクチャにおける国際標準に対するフレームワークとして1978年にISOによって開発された。OSIアーキテクチャは7層に分裂され、最低から最高にかけて、(1)物理的層、(2)データ・リンク層、(3)ネットワーク層、(4)輸送層、(5)セッション層、(6)表示層、並びに、(7)適応層である。各層はそれ自体の直下の層を用いて、上の層にサービスを提供する。幾つかの具現化例において、1つの層はそれ自体で複数の副次的層から構成され得る。
【0143】
汎用パケット無線システム(GPRS)はパケットに基づくワイヤレス通信サービスであって、56から114Kbpsまでのデータレートと移動電話及びコンピュータのユーザに対するインターネットへの連続的接続とを約束する。より高いデータレートはユーザにビデオ会議に参加させ、可動性手持ち装置をノートコンピュータと共に用いて、マルチメディア・ウェブ・サイトと相互作用(会話)させることを可能としている。GPRSはモバイル通信用グローバル・システム(「GSM」)に基づいており、回路交換セルラー電話接続及びショート・メッセージ・サービス(「SMS」)等の既存サービスを補充する。SMSはGSMディジタル・セルラー電話システムによって提供されたメッセージ・サービスである。SMSを用いて、英数字呼出システムと酷似するように、ショート英数字メッセージ(160個の英数字)が移動電話へ送信され得てそこに表示される。メッセージは電話がアクティブとなるまでGSMネットワークでバッファされる。
【0144】
GPRSのパケットに基づくサービスは回路交換サービスよりもユーザの費用負担を少なくさせるが、通信チャンネルを一時に一人のユーザだけに専用させるのではなくパケット必要性に応じての共有使用で用いられているからである。また意図されていることは、モバイル・ユーザにアプリケーションを利用可能とさせることであり、これはより速いデータレートが、現行ではアプリケーションをワイヤレス・システムのより遅い速度に適合させる必要性があるミドルウェアがもやは何等必要とされないことを意味するからである。GPRSは幅広く有効となっており、仮想プライベート・ネットワーク又は仮想専用線(「VPN」)のモバイル・ユーザはダイアル-アップ接続を介してよりも連続的にそのプライベート・ネットワークにアクセスできる。GPRSで更に意図されていることは、装置間の有線接続をワイヤレス無線接続で置き換える標準である、「ブルートゥース(Bluetooth)」を補足することである。インターネット・プロトコル(「IP」)に加えて、GPRSはX.25プロトコルをサポートする。GPRSは、エンハンスド・データGSM環境(「EDGE」)及びユニバーサル移動体通信システム(「UMTS」)に向かった1つの発展段階であるとも信じられる。
【0145】
ユニバーサル移動体通信システム(「UMTS」)で意図されていることは、2Mbpsまでのデータレートでの、3G、ブロードバンド、テキストのパケットに基づく伝送、ディジタル化音声、ビデオ、並びに、マルチメディアである。UMTSで更に意図されていることは、世界中のどこに位置されているかにかかわずモバイル・コンピュータ及び電話のユーザに複数のサービスから成る一貫したセットを提供することである。このサービスは、GSM通信標準に基づくと共に、主要な標準団体及び製造業者によって承認されており、2002年までに世界中のモバイル・ユーザ用の計画された標準である。ひとたびUMTSが完全に具現化されたならば、コンピュータ及び電話のユーザは彼らが移動しながらインターネットに絶えず結着可能となる。
【0146】
エンハンスド・ディジタルGSMエンタープライズ(「EDGE」)・サービスはモバイル(GSM)・ワイヤレス・サービス用グローバル・システムのより高速バージョンであり、384Kbpsまでのレートでデータを配信し且つマルチメディア及び他のブロードバンド・アプリケーションの移動電話及びコンピュータのユーザ向けの配信を可能とすべく設計されている。EDGE標準は、同じ時分割多重アクセス(TDMA)・フレーム構造及び既存のセル配列を用いて、既存のGSM標準の上に構築されている。EDGEは2001年に商業的に利用可能になると予想される。これは、ユニバーサル・モバイル・遠隔通信サービス(UMTS)への途中の進化標準と見なされる。
【0147】
ワイヤレス・アプリケーション・プロトコル(「WAP」)は、セルラー電話及び無線トランシーバ等のワイヤレス装置が、E−メール、ワールド・ワイド・ウェブ、ニュースグループ、並びに、インターネット・リレー・チャット(「IRC」)を含むインターネット・アクセス用に使用可能となる方法を標準化するための通信プロトコルの一組に対する仕様である。インターネット・アクセスがWAPに先行して可能であった一方、種々の製造業者が「フォーマット特定」テクノロジーを使用した。
【0148】
最近、以前はワイヤレス装置上の人々への到達から「情報ハイウェイ」を分離したコード、ワイヤ、並びに、ケーブルのギャップを架橋するためにワイヤレス通信及びインターネットの分野を合併すべく相当な労力が費やされた。そうしたテクノロジー合併は、ワイヤレスの赤外線及び無線周波数通信システムが「ワイヤレス」オフィス或は家庭内における装置をインターフェースするために開発されている例えば家庭及びオフィスのネットワーク設定自体内に発展した。別の実質的な労力も、セル電話及びパーソナル・ディジタル・アシスタント(「PDA」)等のより遠隔的なワイヤレス装置で情報を通信し共有すべく進行中である。
【0149】
PDAは典型的には小型のモバイル装置で、「手持ち型」であり得て、通常、電話帳、カレンダー、計算機、並びに、その類を管理、記憶、並びに、表示するための限られたプロセッサ及び表示スクリーンを含み得る。最近利用可能なPDAは、そのPDA自体内に埋め込まれたワイヤレス・モデムを有すること、或は、セル電話等のワイヤレス・モデム「プラグ-イン型」と結合されることによる、「ワイヤレス・イネーブル型」である。ワイヤレス・イネーブル型PDAも一般には限られた「ブラウザ」能力を具備する「インターネット・イネーブル型」であって、そのPDAがインターネットにわたってサーバ装置と通信することを可能としている。商業的に利用可能なワイヤレス「イネーブル型」PDAの例は、パームVII(Palm VII)(Palm, Inc.社製)やiPAQ(商標)(Compaq, Inc.社製)を含む。これらPDAはウィンドウズ(登録商標) CEオペレーティング・システムを含み、限られたブラウザ能力及びコンテンツ用のスクリーン・ディスプレイを提供する。これらの電話は約33MHzから約220MHzまでの処理能力と、例えば320x240ピクセルのスクリーン表示等の多様なスクリーン表示能力を有する。
【0150】
同様に、セル電話自体も「インターネット・イネーブル型」と為され、限られたブラウザ能力とコンテンツを表示するスクリーンをも具備する。「インターネット型」セル電話の例は、他の広範囲なものの中でも、Sanyo SCP-4000(商標)、Motorola i1000plus(商標)を含み、この幅広い分野は何百という種々の処理及び表示能力を主張している。
【0151】
「インターネット・イネーブル型」のPDA或はセル電話の何れの場合でも、通信のインターネット・プロトコルとの互換性が達成されなければならない。一般に、ワイヤレス通信はワイヤレス・アプリケーション・プロトコル(「WAP」)を介して行われるが、インターネットにわたる通信は幾つかの異なるプロトコルの内の1つに従って進行し、最も共通するものは伝送制御プロトコル/インターネット・プロトコル(「TCP/IP」)である。それ故に、図1Eに示されるようにWAPゲートウェイは、基本的にはそれぞれに横たわるテクノロジーが異なる、インターネットの世界(或は他のIPパケット・ネットワーク)とワイヤレス電話/データ・ネットワークとの間の架橋を形成している。このゲートウェイは、本質的には、これら2つの別個のエントリの間の解釈を為して、消費者がそれらセル電話或は手持ち計算装置(例えばPDA)をインターネットにワイヤ無しでアクセスすべく使用することを可能としている。
【0152】
しかしながら顕著な表示能力を有するデスクトップ・コンピュータ等のより高性能計算装置への伝送用にフォーマットされているストリーミング・メディアは、厳格に制限された処理及び表示機能を有するこれら装置上で受信及び視聴するためには一般に互換性がない。特定の「フォーマット特定」圧縮方式は特にこれら装置だけでの使用のために開発され、特定のメディア・コンテンツだけがそれらフォーマットの状態でこれら装置に伝送され得る。
【発明の開示】
【発明が解決しようとする課題】
【0153】
制限されると共に可変的な処理、メモリ、並びに、表示の能力等々の独特な制約を有するセル電話及びPDA等のワイヤレス装置によって再生させるべく、幅広い種々のストリーミング・メディア信号の適切なフォーマット状態での伝送に適合するストリーミング・メディア通信システムの需要が依然としてある。
【課題を解決するための手段】
【0154】
本発明は、様々な制限、非効率性、リソース(資源)制限、並びに、ストリーミング・メディア通信のための先行して知られる方法の非互換性に対処し克服するものであり、以下に述べる様々に有益なモード、局面、実施例、並びに、変形で提供される。
【0155】
一実施例に従った本発明はストリーミング・メディア通信システムであり、ニューラルネットワーク等のネットワーク・システムにおける人工知能等のコンピュータ具現化知能システムを用いて、伝送装置と少なくとも1つの到着装置との間でストリーミング・メディア信号を通信する。
【0156】
別の実施例に従った本発明は、伝送装置と、各々が異なるメディア信号処理能力を有する複数の到着装置との間でストリーミング・メディア信号を通信するシステムである。
【0157】
別の実施例に従った本発明は、単一伝送装置から少なくとも1つの到着装置まで、各々が異なる伝送能力或はストリーミング・メディア信号に関する制約を有する複数の異なる伝送チャンネルを介して、ストリーミング・メディア信号を通信すべく適合するストリーミング・メディア通信システムである。
【0158】
別の実施例に従った本発明は、ソースでストリーミング・メディア信号を圧縮して該ストリーミング・メディア信号の圧縮された表現と為し、その圧縮表現を伝送チャンネルにわたって到着装置へ伝送し、その圧縮表現を解凍して到着装置によって再生されるべく適応されたストリーミング・メディア信号の解凍された表現に為すべく、ストリーミング・メディア圧縮システム能力に関して適合性ある学習プロセスで訓練されるように適合する人工知能手段を組み込んでいるニューラルネットワークである。
【0159】
別の実施例に従った本発明は、少なくとも部分的にはストリーミング・メディア信号の通信に影響する少なくとも1つのパラメータに基づくCODECに従ってストリーミング・メディア信号を圧縮するシステムである。このモードの1つの局面に従えば、CODECは、別の基準信号に対するCODECの先行して学習された振る舞い、同一のストリーミング・メディア信号の圧縮及び解凍に対する先行する試みに対するCODECの先行して学習された振る舞い、ストリーミング・メディア信号の基準アルゴリズム圧縮に抗するストリーミング・メディア信号に対するCODECの動作の比較、伝送チャンネルの学習された制約、並びに、到着装置の学習された制約の各種パラメータの内の少なくとも1つに従って使用される。1つの有益な実施例において、CODECがこれらパラメータの内の2つ以上に基づき使用され、そして更なる有益な変形例においてはそれらパラメータの全てに基づきCODECが使用される。
【0160】
別の実施例に従った本発明は、種々のタイプ及び動作の多数のCODECを記憶すべく適合し、そしてニューラルネットワーク等のネットワーク・システムによって調査されると共にアクセスされるべく適合するCODECライブラリを用いてストリーミング・メディア信号を圧縮するシステムであり、CODECライブラリから適切なCODECを提供して入力ストリーミング・メディア信号を到着装置までの伝送用に圧縮された表現に圧縮するために使用する。
【0161】
別の実施例に従った本発明は、CODECライブラリと共にニューラルネットワークとにインターフェースすべく適合するCODEC動作システムであって、人工知能プロセス等のプロセスにおいて該ニューラルネットワークを用いて、CODECライブラリから適切なCODECを選択し、その選択されたCODECを用いて、到着装置までの伝送のためにストリーミング・メディア信号の圧縮表現にストリーミング・メディア信号を圧縮する。
【0162】
1つの局面に従えば、CODECライブラリは新しいCODECを受け取って記憶すべく適合し、その新しいCODECは、ニューラルネットワークとインターフェースされ得て、提供されるストリーミング・メディア信号を圧縮すべく選択されると共に適用される。
【0163】
別の実施例に従った本発明は、ストリーミング・メディア信号の圧縮表現を解凍する使用のため、到着装置によっての記憶に適合する到着媒介物である。この到着媒介物は遠隔配置された圧縮ストリーミング・メディア伝送システムと通信すべく適合し、そこからのストリーミング・メディア信号を受信して再生する。特に有益な局面において、ソフトウェア媒介物は到着装置に関する情報を圧縮ストリーミング・メディア伝送システムへ配信すべく適合する共に、その圧縮ストリーミング・メディア伝送システムからの特定のエンコード化されたストリーミング・メディア信号を受信してデコードするにも適合している。
【0164】
別の実施例に従った本発明は、到着装置によって再生され得る解凍済み表現にストリーミング・メディア信号の圧縮表現を解凍する到着装置の内部に記憶されるべく適合する到着媒介物を有するストリーミング・メディア信号を通信するシステムである。
【0165】
この実施例の1つの局面に従えば、到着媒介物は診断媒介物及び解凍媒介物を有する。診断媒介物は、処理、記憶、或は、再生の能力に関連された到着装置の少なくとも1つのパラメータに対する値を決定すべく適合する。解凍媒介物は、その少なくとも1つのパラメータの値に少なくとも部分的に基づいてCODECを用いて、解凍済み表現にストリーミング・メディア信号の圧縮表現を解凍するCODEC解凍器を適用すべく適合している。
【0166】
別の局面に従えば、到着媒介物はソフトウェア媒介物を含む。1つの変形例において、そのソフトウェア媒介物は到着装置内に埋め込まれている。別の変形例において、ソフトウェア媒介物は、ストリーミング・メディア信号の圧縮表現を到着装置へ配信すべく適合する遠隔的に配置されたソースによって少なくとも部分的に到着装置にロードさせるべく適合する。
【0167】
別の実施例に従った本発明は少なくとも1つの初期的なフォーマットと少なくとも1つのトラスコード済みフォーマットとの間でストリーミング・メディア信号をトランスコードするためのトランスコーダである。
【0168】
別の実施例に従った本発明は、添付図面に示されるかさもなければここに記載された実施例を組み入れているビデオ・オン・デマンド型ストリーミング・メディア・システムである。
【0169】
別の実施例に従った本発明は、添付図面に示されるかさもなければここに記載された実施例を組み入れている移動電話通信システムである。
【0170】
別の実施例に従った本発明は、添付図面に示されるかさもなければここに記載された実施例を組み入れている対話式ゲーム・システムである。
【0171】
別の実施例に従った本発明は、この明細書で以上に開示されるか或はその他の場所で開示された様々なモード、実施例、局面、特徴、並びに、変形等を処理(例えば圧縮)後にローカルに記憶されて伝送されていないメディアと共にスタティック・メディアに組み入れている。
【発明を実施するための最良の形態】
【0172】
以下の実施例を通じて(そして図面を参照することによって)様々に図示されている本発明はメディア通信システムを提供するものであり、圧縮システム、デリバリ・システム又は配信システム、並びに、解凍システムを含み、そして別の局面では、トランスコーダ・システムを含む。一般に、これら個々別々のサブシステムの組み合わせは、変数としてのシステム・パラメータから成るより大きなアレイに基づき無作為に選択されたストリーミング・メディア信号の圧縮、配信、並びに、解凍をカスタマイズすることに加えて、多数のエンコーディング・フォーマット間でメディアを効率的にトランスコードする能力を提供する。これら変数は、例えば、制限無しに、ソース・ビデオ信号、ソース伝送装置、伝送様式、並びに、到着装置に関係したパラメータを含む。こうしてメディア信号の圧縮、配信、並びに、解凍は与えられ且つ変化する使用環境に対して最適な状態で効率的であるようにカスタマイズされる。その結果、広い範囲の複雑なストリーミング・メディア信号は効率性の良いレベルで且つ他の既知のシステムを凌いで著しく改善された装置互換性の範囲で通信され得る。
【0173】
ここで記載された全てにわたるストリーミング・メディア通信システムの有益性にもかかわらず、先に記載された各サブシステムもストリーミング・メディア通信に対して有益で有用な結果を個別に提供する。少なくとも部分的にはこの開示に基づいて当業者には明かである、様々なサブシステム自体とこれらサブシステムの組み合わせの様々な繰り返しはこの発明の範囲内であることも意図されている。加えて、全体にわたる通信システムの様々な局面は、記載される各サブシステムと共に、特にストリーミング・メディア通信用以外の他の用途に対して有用であることも意図されている。それ故に、当業者には明らかなように、そうした追加的な用途は、改善されたストリーミング・メディア通信に適用された特に有用なモードにもかかわらず、本発明の範囲内であることが更に意図されている。
【0174】
トランスコーダ
ビデオ/オーディオ・トランスコーダ200は本発明に従って提供され、1つの入来ビデオ・ソース210が、人の介入無しに、多数のフォーマット215(例えば、MPEG4、Real Video(商標)、並びに、QuickTime(商標))を横切って1つの装置から流れることをイネーブルする。この実施例に従ったトランスコーダ200は、他の商業的に入手可能なトランスコーダ・システムの価格のほんの少しで実質的により大きな機能を提供する。更には、このシステムは「休む間もなく」稼働するので、ビデオ・ソース210の事前圧縮が著しく減らされている。
【0175】
より詳細には、本発明に従ったトランスコーダ200システム及び方法は任意の圧縮或は未圧縮フォーマットから生ずるディジタル化メディアを他の任意の圧縮フォーマット、例えば要望に応じてリアル-タイム(real-time)にトランスコードすべく適合する。システム200及び方法は、多数の異なる圧縮或は未圧縮のフォーマットから多数の異なる圧縮フォーマットに、異なったデータの多重ストリーム215の効率的で同時的な処理をイネーブルすることもできる。
【0176】
本発明のトランスコーダ200は、図3を参照することによる図示で、全体にわたるシステムにおいてここで記載される。示されているように、第1プレイヤーは最初にトランスコーダ200を収容するサーバ300との接続を行う。プレイヤー・フォーマット(例えばマイクロソフト・メディア(商標))、接続速度(例えば32Kbps)、並びに、プロトコル(HTTP)が識別される。サーバ300は生の或は事前エンコード化されたビデオを「ライブ・バッファ」或は「キャッシュ」310内に引き入れ、それを略未圧縮データであるがディジタル化データとしてエンコードする(例えばAVI或はMPEG2)。次いでサーバ300は接続速度(例えば32Kbps)で適切なCODECスレッド(例えばマイクロソフト・メディア(商標))をロードする。次に、サーバ300は第1クライアントに役立つHTTP/MSプレイヤーをロードする。そこで第2ストリームがMMSで100KbpsのM/Sプレイヤーを用いてクライアントによって要求される。サーバは適切な100Kbpsレートで適切なMS CODECスレッドをロードする。次いで、サーバ300は第2クライアントに役立つMMS/MSプレイヤー・スレッドをロードする。そこで、第3ストリームがRTSPで40Kbpsのリアルプレイヤーを用いてクライアントによって要求される。サーバ300は適切な40Kbpsレートで適切なReal CODECをロードする。次いでサーバ300は第3クライアントに役立つRTSP/Realプレイヤー・スレッドをロードする。再度、この図示は例示的であり、他の特定CODECが他のビットレートと共に適切に代替する。
【0177】
このトランスコーダ実施例の更なる理解を提供するため、図3は異なるクライアントへ多数の異なるビデオ・ストリームを運ぶべく適用された更なる例を用いてのトランスコーダ200を示している。
【0178】
手短に言えば、図示され記載されたこのトランスコーダ200は、数多くの従来のトランスコーディング技術に従った「IPC」或は「Inter Processor Communications」の代わりに「スレッド」通信を用いる。このトランスコーダ200記載の目的のため、用語「スレッド」がここで意図されていることは、制御の流れのプログラム内への被包を意味することである。単一スレッド・プログラムは「一時」にそれらのコードを通じて1つの経路を実行するだけのものである。マルチスレッド・プログラムは「同時に」異なるコード経路を通じて走る幾つかのスレッドを有し得る。多数のスレッドが存在する典型的なプロセスにおいて、ゼロ或はそれ以上のスレッドは任意の一時に実際に走ることができる。これはプロセスが走っているコンピュータのCPUの数に依存すると共に、スレッド・システムがどのようにして具現化されるかに依存する。n個のCPUを具備するマシン或はシステムが並列なn個未満のスレッドを走らせるべく適合し得る一方、このスレッド発明に従ったスレッディング動作は複数のスレッド間でCPUを共有することによってn個未満の数のスレッドを走らせる外見を付与し得る。
【0179】
トランスコーダ200は抽象的なAPIを提供し、それ故にCODECは(相当により大きな)元のエンコーダ・オーバーヘッド無しにアクセスされる。バッファリング310は異なるビデオ・ストリームに対するクライアント牽引の関数として作り出される。更には、本発明のトランスコーダ200はネットワーク・アーキテクチャ、即ち各異なる接続に対する単一スレッドを利用し、クライアントが同一コンテンツのバッファされたセグメント内にあれば同一スレッドに組み合わされる。ここで示され且つ記載されたようにスレッドのトランスコーダ200の使用は非常に有益であると考えられ、その理由は単一プロセスにおける2つのスレッド間のコンテキスト・スイッチが2つのプロセス間のコンテキスト・スイッチを用いるより相当に安価(処理/メモリ/IO)であると思われるからである。加えて、スタック及びレジスタを除く全てのデータが複数のスレッド間で共有されていると云う事実は協働して走らされ得る複数のサブタスクに分解され得る複数のタスクを実行する自然の機関にそれらスレッドを為す。
【0180】
ケースバイケースで特別に所望された結果を達成するために様々な特殊アーキテクチャが以上に記載されたトランスコーダ200実施例を巡って構築され得る一方。しかしながら更なる図示の目的のため、以下の例は以上に記載されたトランスコーダ200を用いているより詳細なシステムである。トランスコーダ200は各々が異なるフォーマットである多数の同時の顧客ストリームをサポートすべく適合されて提供されている。特にそうしたシステムは5000以上の同時ストリームをサポートし得て、幾つかの状況においては各々が異なるビデオ・フォーマットである7000以上の同時顧客ストリームをサポートし得る。更には、トランスコーダ200は広範囲の数のビデオ・ソースの内の任意のものを、各々が異なる要望を有している数多くの異なる個々別々のクライアントに対して独特に適切であるか或は必要とされるフォーマットに変換すべく具現化され得る。1つの特定例において、ここで記載されたトランスコーダ200は、MPEG1、MPEG2、MPEG4、モーションJPEG、AVI、H.261、H.263、H.263+、RealVideo(商標)、G-8、QuickTime(商標)、Shockwave Flash(商標)、Indeo Cinepak(商標)、並びに、ASFの各種フォーマットの内の任意のものに対するそうした高い要望を同時にサポートすべく具現化され得る。
【0181】
更に意図されていることは、トランスコーダ200が全体にわたる通信システムにおいて全て既存して直に予知され固定される可動的なターミナル及び装置に従順であるように適合し得る。更にはトランスコーダ200は出力ストリーム・フォーマット変数に適合して、各クライアントのチャンネル及びプラットフォームの状態に動的に適応するように具現化され得る。更には、トランスコーダを組み入れているシステムはロード平衡化サービスとマルチ・トランスコーダのインストレーションに対するルータとをサポートすべく適合している。従って、本発明のトランスコーダ200は、他の先行するトランスコーディング技術及びシステムよりも顕著により低いコストのために著しくより大きな機能を配信する。
【0182】
先に記載されたように、様々な異なるシステム・アーキテクチャは本発明の範囲から逸脱すること無しに本発明のトランスコーダ200を組み入れることができる。しかしながら先に記載されたサポートの有益なレベルを適切に提供すると思われる特別なアーキテクチャのより多くの細目は、(i)デュアルP3-933プロセッサ、(ii)Unix(登録商標) OSの任意の変種、(iii)512MB RAM、Redundant Firewire或はギガビット・イーサネット(登録商標)、並びに、Redundant Power Suppliesの局面を含む。そうしたシステムはラック取付携帯で提供され得るか、或は、特定の要望に適合して提供され得る。
【0183】
本発明に係るトランスコーダ200の以下の様々な局面は、少なくとも部分的にはこの開示に基づき当業者には明かなようにそれぞれ単独でも或は各種組み合わせでも広範に有益であると思われる。
【0184】
マルチプロセッサ及び/或は分配されたコンピューティング・プラットフォーム(クラスタリング等)の上で効率的なトランスコーディングを実行させるべく、ユーザ及びカーネル・スペースの双方で非同期的なソフトウェア・スレッド通信を利用するためのシステム及び方法が提供されている。この方法は、トランスコーダを具現化すべく、従来のIPC方法を利用するよりも効率的であると見られている。CODECアルゴリズムの共有されたライブラリは創設され、様々なCODECアルゴリズムにアクセスすべく使用され、それによってより低い処理オーバーヘッドを、大多数の商業的なエンコーダにおいて使用されているもの等の従来の組み合わせエンコーダ機能によって要求されるよりもより低いメモリ利用と共に招いている。特に有益であることは、共通スレッドが多数の接続用に使用され得て、実際上、単一スレッドでさえ本発明のトランスコーダを用いて個別接続毎に使用され得る。
【0185】
同一コンテンツが何時要求されようがそして動的バッファ(キャッシュ)が要求されたデータ点の全てに何時適合できようが、(効率性のため)同一スレッドによって供されるべく多数クライアントを組み合わせるシステム及び方法も提供されている。
【0186】
メディア圧縮及び配信システム
本発明は、所与の一連の制約を受けながら元のメディア・データの近似を最適に再生する、リアルタイムの動的データ信号処理用の、データ圧縮及び配信システム400、並びにその方法も提供する。このシステム400及び方法は図4A及び図5にブロック流れ図で概略的に図示されている。これ以下に、このシステムの多様の有益な特徴および動作の他の記載を、図4A〜図5につき示す記載をほぼ組み入れている実施例によって示す。
【0187】
図4Aは、本発明に係るデータ圧縮及び配信システム400の一実施例のブロック図である。図4Aに示されるように、データ圧縮及び配信システム400は、メディア・モジュール405、動的プレイヤー・モジュール407、画像プロセッサ410、基線スナップショット・モジュール415、分類器417、標準品質(QoS)モジュール420、ネットワーク層入力モジュール425、並びに、ネットワーク層出力モジュール430を含む。このシステムは、ニューラルネットワーク処理モジュール440、タイマ435、CODECライブラリ・モジュール445、動的クライアント要求モジュール450、ICMPモジュール455、装置及びネットワーク・パラメータ測定モジュール460、並びに、配信(デリバリ)及び伝送モジュール465を更に含む。
【0188】
一実施例において、システム400は(単数或は複数の)サーバ・ノードに常駐して、入力される未圧縮の或は先行して圧縮されたデータを処理する。システム400は、人工知能を伴うニューラルネットワーク440を利用して、入力されるデータを監視して、各データ・セグメントの複数のキーキャラクタを決定する。システム400は、事前開発された自己参照型の、経験に基づいて学習した、入力信号(例えばビデオ信号)の一連のフレーム内のシーンにおけるパターンの規則のライブラリ455と、外部から課せられた制約とに、入力データの特性を関連付けて、各データセグメントに対して好適な市販の圧縮/解凍アルゴリズム(即ち、CODEC)を選択する。次いでシステム400は、選択したアルゴリズムを最適化すべく、使用制御、パラメータ、並びに、変数から成る長大なアレイを組み立てる。アルゴリズムの選択とパラメータ及び変数のセットアップは、発展性の最適化プロセスそれ自体と同様に、データの特性に依存して、入力データの各セグメントによって動的に変動する。取り得るアルゴリズムの組は多数あり、有効性及び他の商業的対価によってのみ制限される。データの各セグメントは上述したようにコード化され圧縮されてから、通信チャンネルに供される。
【0189】
ここで記載する圧縮システム400は、ストリーミング・メディア圧縮エンジンとして特に有用であり、有効なCODEC及びストリーミング・メディア配信システムからの情報に基づき、別の人工知能ニューラルネットワーク440を用いて、入力ビデオをフレーム毎に解析する。次いでシステム400は、最も適切な圧縮フォーマットを選択し、例えば一実施例においては、下層システム環境からのピーク信号/ノイズ比の抽出によって測定されるような最良の品質に基づき、最適なビデオ圧縮に対する圧縮パラメータを構築又は構成する。その結果は、この装置及び現行状態に対する、「最適」なビデオ及びオーディオサービスとなる。
【0190】
ストリーミング・メディア信号に適用される、このシステムの人工知能/ニューラルネットワーク440の局面のより明確な説明を、以下に述べる。最初に、個別の異なるCODECから成るライブラリが、検索可能なCODECライブラリ445としてこのシステムに追加される。関連する参照情報から成るライブラリも追加され、これは、ネットワーク輸送標準(NTS)ライブラリ443及びサービス品質(QoS)ライブラリ447を含む。次いで、ビデオ(メディア・ソース)が、画像プロセッサ410を介して、ディジタル・フォーマット或は非ディジタル・フォーマット(ADコンバータを用いて)の何れかにおいて取り込まれる。画像プロセッサ410は、(もし必要であれば)ソースを解凍し、(単数又は複数の)ソース画像を「浄化」するために使用される様々な標準の画像処理アルゴリズムを利用する。結果としてのソース・メディアは基線スナップショット保管場所415へ渡され、そこで後の比較のために「完全ゴールド標準(perfect gold standard)」として使用されることになる。同時にこの結果得られるソース・メディアは分類器417へも供給される。
【0191】
分類器417は一時的、空間的、並びに、論理的な特徴に対するソース・メディアを分析するが、それは、一時的、空間的、並びに、論理的な特徴の同様の組み合わせを示すソース・メディア・サブセグメントを作り出すためである。この「同様」とは、共通の一時的、空間的、並びに、論理的な特徴を含むソース・メディアの、切れ目のない連続的なサブセグメントを意味し、それら自体は、(CODECライブラリ445内で見出される様な)特定のエンコーディング/圧縮アルゴリズムに貸与することになる。このソース・メディア・サブセグメント(或は、一実施例において、切れ目のない連続的なビデオ及びオーディオのフレームから成るグループ)を「シーン(scene)」と称する。
【0192】
次いでニューラルネットワーク・プロセス440は、CODECライブラリ445からCODECを利用することによってこのシーンに対して動作して、該シーンを圧縮する。各CODECの内部構成は、NTSライブラリ443、Qosライブラリ447、タイマ・プロセス435、ネットワーク入力層425、ICMP媒介物455、並びに、装置及びネットワークのパラメータ測定媒介物460から得られる入力に従って操作/変更される。次いで、圧縮シーンは解凍されて、品質標準プロセス420による品質測定を用いた、基線スナップショット415に対する比較が為される。本発明の一実施例において、品質標準プロセス420は、ピーク信号ノイズ比(PSNR)アルゴリズムを利用して、解凍されたシーンのソース・メディアを基線スナップショットに対して比較する。この比較プロセスは、CODECライブラリ445からの様々なCODECに対して、NTSライブラリ443、Qosライブラリ447、タイマ・プロセス435、ネットワーク入力層425、ICMP媒介物455、並びに、装置及びネットワークのパラメータ測定媒介物460から受信する入力の制約範囲内で、ニューラル・ネットワーク・プロセス440が結果として得られる圧縮シーンの品質を満足するまで繰り返される。最後に結果として得られる圧縮シーンは、その圧縮シーンを適切なネットワーク輸送プロトコル及びQoSアルゴリズムを用いてクライアントへ輸送するネットワーク層出力430へ送信される。
【0193】
先のプロセスは、全ソース・メディアがクライアントへ伝送されるまで、或は、クライアントからの中止要求、ネットワーク輸送の失敗、クライアント・ハードウェアの失敗等々を含み得る様々な考えられる条件によってこのプロセスが中止されるまで繰り返される。
【0194】
NTSライブラリ443は、ネットワーク輸送サービスの保管場所であり、そのネットワーク輸送サービスは、圧縮ソース・メディアをクライアントへ輸送するネットワーク層出力430によって選択使用され、さらに、クライアントから情報を受信するネットワーク層入力425によって選択使用される。この選択は、ネットワーク層入力425、ICMP媒介物445、並びに、装置及びネットワークのパラメータ測定媒介物460から受信する質的および量的な入力に基づいている。
【0195】
QoSライブラリ447は、サービス・アルゴリズムの保管場所であり、このサービス・アルゴリズムは、圧縮ソース・メディアをクライアントへ輸送するネットワーク層出力430によって選択使用される。この選択は、ネットワーク層入力425、ICMP媒介物445、並びに、装置及びネットワークのパラメータ測定媒介物460から受信する質的および量的な入力に基づいている。
【0196】
ICMP媒介物455は、ニューラルネットワーク・プロセス440への入力を生成し、該ニューラルネットワーク・プロセス440に、プロセッサとクライアントとの間で使用する輸送の量的及び質的な特性を動的に提供する。本発明の一実施例において、この目的のためにICMPプロトコルを使用する。
【0197】
装置及びネットワークのパラメータ測定媒介物460は、ニューラルネットワーク・プロセス440への入力を生成し、該ニューラルネットワーク・プロセス440に、クライアント環境の量的及び質的な特性を動的に提供する。本発明の一実施例において、これらクライアント環境特性は、中央演算処理ユニット(CPU)容量、ネットワーク・インターフェース特性、記憶容量、並びに、メディア解釈装置機能を含む。
【0198】
また図4Aに示すように、ネットワーク層入力425は、上り(クライアントから由来する。)ネットワーク輸送サービスを提供する。ネットワーク層出力430は下り(プロセッサから由来する。)ネットワーク輸送サービスを提供する。タイマ・プロセス435は、本発明のユーザに対して、ニューラルネットワーク・プロセス440が所与のソース・メディアを処理するために費やすであろう時間の最大値を制限する方法を提供する。
【0199】
図4Bは、本発明の一実施例に係るニューラルネットワーク処理モジュール440の、CODEC選択方式のブロック図である。図4Bに示されるニューラルネットワーク処理モジュール440は、ビデオ・フレーム選択モジュール475、CODECパラメータ・モジュール480、入力層モジュール485、隠れ層486−487、並びに、出力モジュール488を含む。本発明の一実施例において、ニューラルネットワーク処理モジュール440への入力信号に対する基準基線として使用するのに好適なCODEC表示信号を、このニューラルネットワーク処理モジュール440が生成する。一実施例において、分類器417は、下層CODECの有効パラメータの観点から、入力ビデオ信号のセグメントの内のどのシーンが最良シーンを表しているかを判定する。ニューラルネットワーク処理モジュール440は、複数の標準から成るリスト(標準リスト)を使用して、信号におけるどのシーンが最良シーンを表しているかを判定する。一実施例において、ニューラルネットワーク・プロセス440は、ビデオの特定のフレームにおける多数のピクセルをサンプリングして、そのビデオ信号における予め決定されたパラメータに対する、その特定のフレームにおけるピクセル数の変化を判定する。別の実施例において、ビデオ信号における特定のシーンでの顕著な動作変化は、引き続いて入力されるビデオに対する、基線基準シーン(「最良シーン」)として使用され得る。
【0200】
本発明の一実施例において、ニューラルネットワーク処理モジュール440は、入力として分類器417からビデオのセグメントを取り込み、続いてこの入力のサンプリングして、そのビデオ信号を特徴付ける充分な情報を引き出す。例えば、図4Bに図示する方式において、ニューラルネットワーク・プロセス440は、検査するためにウィンドウ・スナップショット(例えば、176x144ピクセル・ウィンドウ)を取り込む。ニューラルネットワークにとって、ビデオ信号に関する充分な情報を生成するのに、そのサンプル・ウィンドウの中心を見ることが有益である。本発明の一実施例において、ニューラルネットワーク・プロセス440は、最少の8フレームを用いて、ビデオ信号に関する不可欠な情報を生成する。サンプル・ウィンドウからの情報は、パラメータ・モジュール480から入力層485まで、特定のCODECパラメータを伴って渡される。
【0201】
入力層485は、複数のニューロンを介して複数の隠れ層486−487と結合され、その各接続は一方のニューロンから他方のニューロンまでの、強い或は弱いリンクを形成している。一実施例において、ニューラルネットワーク処理モジュール440によってサポートされる各CODECには、それ自体にニューラルネットワークが具備され、特定のCODECと共に入力されるCODECを特定するパラメータを処理する。ニューラルネットワーク・プロセス440は、「焼き上がり」と呼称されるラウンドロビンのようなプロセスを介して、ビデオ・サンプリングの取り込み期間中に処理される複数のCODECから、「最良」のビデオ信号を生成する。入力信号からの最良なビデオ表示の処理において、CODEC各々に対する対応するニューラルネットワークの各々は、隠れ層486―487から最良の表示サンプルを生成し、その信号を出力モジュール488に供給する。本発明の一実施例において、ニューラルネットワーク・プロセス440によって処理されるCODECの各クラスからの最良のCODECの出力データ・セットは、2つの可能性を有する。第1のものは、各CODECに対する最良の結果を、複数のCODEC各々に対する「最良」のサンプルの「焼き上がり」ニューラル・ネットワークへの出力モジュール488に与えるニューラルネットワーク・プロセス440であり、このニューラルネットワーク・プロセス440は、次いで、複数の最良のCODECから最も勝る最良のCODECを生成する。焼き上がりニューラルネットワークは、CODECの処理を取り扱うニューラルネットワークよりも小さく、且つ高速である。
【0202】
第2処理方式において、ニューラルネットワーク440は、複数のCODECによって生成される最良のCODECの遺伝アルゴリズム処理を具えてもよい。遺伝アルゴリズムは、おはじきゲームと同一の統計学的な選択アプローチに従う。よって、様々なニューラルネットワークから、最も勝る出力CODECを「焼き上がり」ニューラルネットワークへと供給する代わりに、様々なニューラル・ネットワークからバケツ内へと、出力モジュール488を供給し、さらに、例えば映画のような末端ソース・メディアでのシーンの集合から、最良のCODEC表示を選択するのに、遺伝アルゴリズム処理を適用することができる。本発明の一実施例において、ニューラルネットワーク・プロセス440は、CODECを処理するのに、前後に伝播するアルゴリズムの組み合わせを用いる。
【0203】
図4Aに戻り、この人工知能プロセスの更なる理解のため、1つの適用例を以下に提供する。理解して頂けるように、この模範的な適用例によって提供されるシステムの特徴及び動作は、本発明にかかるデータ圧縮及び配信のためのニューラルネットワーク440の範囲の広範な記述として考えられることである。他の適用例も為され得ると共に、本発明の範囲内に入り得る。
【0204】
ビデオ・コンテンツ・プロバイダは、本発明のシステムをそのサーバにインストールする。サンプル・ビデオがそのシステムに取り込まれて、先に記載した最初のAIプロセスを実行する。後で取り出されるべく、例えば、各ビットレート、ビデオ・パターン等々のようなCODEC特性の複雑なマトリックスが作り出される。次に、クライアント・エンドユーザは、コンテンツ・プロバイダと接続して、ビデオMを視聴する。サーバ上に常駐している本発明の通信システムは、ソフトウェアエージェントをクライアントの装置に配信し、従って、クライアントが、装置特定情報を配信するためにその通信システムと接続し、さらに、再生のための解凍CODECと共に適切な圧縮信号を受信することをイネーブルにする。次に、AIシステムは、各フレーム用に適切なCODECを選択し、且つ、伝送のために各フレームを適切に圧縮するために、ビデオMをストリーミング信号としてバッファへのローディングを始める。バッファの期間は多数の変数に依存するが、主にシステムの処理能力に依存し、予め記録されているが未圧縮のビデオ・メディアに対する適切な能力を有するシステムに対して、一般に略15分間であり得る。バッファ内において、各フレームは、図面上に示されたマトリックスにおける予めテストされた系列の「タイプ」に従って、各CODECと比較される。
【0205】
次に、システム400は、例えばスクリーン解像度、利用可能メモリ等のエンドユーザ・パラメータを、そのクライアントの装置におけるソフトウェアエージェントから受信する情報を介して見る。従って、最も適切なCODECが選択され、そのCODEC内における特定変数を固定量に設定すること(例えば、ソース・ビデオの、過去のパターン、転送チャンネル能力或は制約、並びに、到着装置能力或は制約に対する比較に基づく)によって、最適な性能用に構成/調整される。今説明したプロセスは、一般に、分類器417によってフレーム毎に為されるが、CODECは、一時的な圧縮効率と比較して、他の先行及び遅延フレームを考慮して、各フレームに対するプロセスを行う。ひとたび適切なCODECが選択され各フレーム用(或は、システムによって自動的に且つ適切に決定されれば複数フレームから成るブロック用)に調整されたならば、配信システムはクライアントエージェントに報告して、その調整されたCODECを解凍して再生する対応するフレーム(又は複数フレーム)の方へ配信する。
【0206】
理解して頂けるように、このシステム400のニューラルネットワーク440は、CODECライブラリ445内のCODECの性能及び動作を連続的に学習して記憶し、その学習内容を連続的に用いて、入力メディア信号の圧縮効率を改善する。ライブラリを介する信号フレームの稼動、CODECオペレーティング・パラメータの変更、比較論理525(図5)による基準標準圧縮と圧縮性能との比較、および、更なる変更とのループの再稼動のプロセスは、一般に、圧縮効率を改善するために反復550(図5)を続ける。事実、ライブラリ445内の1つ或は複数のCODECによる圧縮は、(単数或は複数の)基準圧縮アルゴリズムよりも良好な改善レベルに到達することができる。
【0207】
それにもかかわらず、時間の制約435(図4A)が存在する場合(ストリーミング・メディア・コンテンツに対するリアルタイムでの押し引き要望等)、処理中のある特定のフレーム或は一連のフレームが圧縮(575)され、タイマ435による了承できない遅延無しで、到着地まで配信(580)され得るように、このプロセスはある点でいつかは停止しなければならない。次いで、次のフレーム或は一連のフレームを、CODECオペレーティング・システム内のニューラルネットワーク440によって操作することができる。これらの最終目的地は、所定の所望の結果への到達によって規定することができ、例えばこれに限定されるものではないが、(i)例えば基準標準等と比較される所定のパーセンテージ(%)の圧縮効率への到達、(ii)例えばバッファ時間(例えば15秒間)と関連された時間に従ってプロセスに設定された、所定の或は課せられた時間限界への到達、或は、(iii)(i)若しくは(ii)の何れか早い方の発生によって規定され得る。いずれにしても、適切なCODECを選択して圧縮575及び配信580の操作を実行するための最終目的地には到達するが、これは、ニューラルネットワーク440が続ける訓練に対する最終目的地を表すものではない。プロセスにおける各ループを通じて集められた情報は、550に記憶される。引き続く同様のフレーム或は入力フレームにおけるシステム制約パラメータが、後に545に遭遇した場合に、ニューラルネットワーク440は、記憶された情報を思い出し再検索して、圧縮575及び配信580効率を改善する。
【0208】
数多くの異なる通信プロトコルが意図されている一方で、有益であると思われる1つの実施例は、サーバ及びクライアント装置間の双方向通信を可能とする“フル・デュプレックス・ネットワーク・スタック(full duplex network stack)”プロトコルを用いる。この場合もやはり、他のプロトコルをこの特定の適用例に適切である一方、このフル・デュプレックス・システムはより好ましい。
【0209】
ここで記載したシステム400は、レイテンシー問題を克服すべくストリーミング・メディア配信アーキテクチャを利用することや、速度問題を克服すべく埋め込まれたニューラルネットワーク440を利用することによって、既知のCODECシステムで遭遇する困難に対処する。次いでシステム400は、ニューラルネットワーク440内での圧縮用に使用されるアルゴリズムを再構築することができ、目的は、任意のネットワーク構成にわたってあらゆる時に最適な結果を達成することである。
【0210】
広範な種類のCODECが先に記載された全体的な圧縮システム及び方法に従ってCODECライブラリ445内で使用され得るが、本発明に従った任意の特定CODECの有益な使用は単独でか或は他のCODECと組み合わせでのそうしたCODECを意図している。例えば、適切なCODECライブラリ445は以下のタイプのCODECの内の1つ或はそれ以上を含み得るものであり、即ち、(i)ブロックCODEC(例えば、Micorosoft Medeia(商標)或はQuickTime(商標)等のMPEGバージョン)、(ii)フラクタルCODEC、並びに、(iii)ウェーブレットCODEC(例えばReal(商標))等の内の1つ或はそれ以上を含み得る。別の局面に従えば、適切なCODECライブラリ445は以下のタイプのCODECの内の1つ或はそれ以上を含み得るものであり、即ち、(i)運動予報CODEC、及び、(ii)静止CODEC等の内の1つ或はそれ以上を含み得る。更には、CODECライブラリ445は、(i)損失有りCODEC、及び、(ii)損失無しCODEC等の内の1つ或はそれ以上を含み得る。
【0211】
本発明の一実施例において、これら異なるタイプのCODECの全ては本発明に従ったCODECライブラリ445によって表現され得て、所与のタイプの2つ以上の特定CODECはそのライブラリに含まれ得る。さもなければ、それら様々なタイプの様々な組み合わせが提供され得て、所望の能力を達成して、広範囲の、信号自体内のリアルタイム変数、伝送チャンネル制約、或は、到着装置制約にわたってストリーミング・メディア通信の圧縮を最適化する。更には、本発明の追加的な高有益性である局面は新しいCODECがライブラリ445内にロードされて、ニューラルネットワーク440圧縮/配信システム400における使用に対して直ちに有効とされることを可能としている。それにもかかわらず、広範囲な予知されるストリーミング・メディア信号を最適に通信する点での使用に対して有益であると思われると共に画像信号に対して特に有益であると思われるCODECライブラリ445の1つの特定例は、以下の特定CODECを含むものであり、即ち、MPEGバージョン1,2,4(例えば、Micorosoft Medeia(商標)及びQuickTime(商標))、DUCK TruMotion(商標)、ON2、Real Media(商標)、MJPEG:H.261,H.263,H.263+、GIF、JPEG、JPEG2000、BMP、WBMP、DIVXを含む。
【0212】
以下には、少なくとも部分的にはこの開示に基づき当業者に明かなように、単独及び組み合わせの双方で、広範に有益であると考えられるべき先に記載された圧縮システム及び方法の様々な局面の更なる例である。そうした広範な局面の更なる例は「発明の要約」や「特許請求の範囲」に提供されている。
【0213】
記載された様々なCODEC動作を達成すべく人工知能を伴うニューラルネットワーク440を使用することは、広範に且つ独特に有益である。特に、信号品質、データ・コンテンツ、並びに、データのフォーマットへの、学習した応答の適用によって決定される、ソース・データの事前処理410に対するシステム及び方法が、提供されている。ソース・データの観測された特性、および、同様な圧縮データへの過去に学習した応答に依存して、好適なCODECを(CODECライブラリ445における複数の利用可能なCODECから成る集合から)選択及び適用することによって、ソース・データの各ユニット(例えば、フレーム或は複数フレームから成るブロック)を処理するためのシステム及び方法が、提供されている。元のデータの無欠性の取り込み及び保持を最適化すべく選択した圧縮アルゴリズム内の、多数の圧縮特性を設定することによって、ソース・データの各ユニットを処理するためのシステム及び方法が、提供されている。更には、先に述べた信号処理ステップの各々或は全ては、例えば、信号クリップ、ビデオ・フレーム、或は、適切であれば個別パケット等の信号データの独特で順次的なユニット各々に適用される。
【0214】
更に意図されていることは、本発明に従ったCODEC管理システム400が元のソース・データ/画像を正規化すると共に、ニューラルネットワーク処理モジュール440の仕様に合うように再度の元のデータの大きさを分類し且つサンプリングすることができる画像処理のためのシステム及び方法を提供することである。単一システムや任意のソース・データ・ストリームで任意の伝送或は記録チャンネルを供する能力も提供されている。更には、ここに記載されている様々なシステム及び方法は、個々別々でそして有益には組み合わせで、TCP、UDP、WTP/WDP、HTTP等々に限定されるわけではないがこれらを含んでいる任意の接続プロトコル或は無接続プロトコルとの互換性が具備されている。
【0215】
ここに図示し記載した本発明は、ニューラルネットワーク440の学習速度を加速する、非常に有益な用途を許容する一方で、そのネットワークを具現化すべく、データ記憶要件を最少化している。データ・ストリームの異なる分類は、それぞれ独特な特性を有し、それらは、ニューラルネットワーク440による実質的により大きな処理を必要とする。例えばビデオ・データ・ストリームは、運動の優勢及び度合い、カラーコントラスト、並びに、細目のパターン及び可視性によって異なる。より大きな処理は、最適な機能性に到達するためにより長い時間を必要とする。また、より大きな処理はより大きな予測ライブラリの記憶を必要とし、しばしば、無制限に大きなサイズに成長する。リアルタイムのニューラルネットワーク処理のために、機能性を大きく増大するように、データ・ストリームの分類の特性の事前に発展させた予測ライブラリを提供することによって、処理時間及び記憶を最少化することができる。
【0216】
従って以下に、単独で或は組み合わせで(ここ以外の場所で図示され且つ記載された他の実施例との組み合わせを含む)広範に有益である、本発明の事前に訓練したニューラルネットワーク440局面の例を示す。ニューラルネットワーク440において人工知能を創り出して使用し、さらに、問題の解決に用いられる知能ネットワークを事前に訓練する、システム及び方法を提供し、その問題は、必ずしもこれに限定されるわけではないが、本発明の特定の有益な態様にかかるストリーミング・メディア圧縮であり得る。また、解決すべき問題の領域を有用な部類に分類し、知能ネットワークによる学習履歴に従って処理することができる、システム及び方法が提供される。
【0217】
本発明は、知能ストリーミング/メディア配信システム及び方法であって、エンドユーザの能力に基づき、コンテンツ伝送や、例えばこれに限るものではないが、有効な伝送速度又は伝送帯域幅、並びに、インターネット混雑等の伝送チャンネル制約を管理するための、システム及び方法も提供する。データ圧縮及び配信システム400は、接続(これに限るものではないが、異なるビットレート、レイテンシー、伝送特性、並びに、装置制限を含む)の態様を分析して、圧縮方法における変更を行うと共に、サービス品質(「Qos」)420問題を管理すべく、ニューラルネットワークに基づく人工知能プロセス等のような、コンピュータで実行する知能プロセスを利用する。圧縮された、ディジタルの、復元可能な及び/或は解凍可能なデータ・ストリームは、従って多数の異なるローカル及び/或は遠隔の装置に、異なる機能によって特徴付けられる、多数の伝送媒体を介して配信される。加えて、解凍システムを具えて、解凍されたデータをターミナル装置で再生する。
【0218】
1つの有益な実施例において、ターミナル装置は、サーバ・ノード上に常駐するシステムとのリンクを設定する。通信を設定するために通常必要とされるソフトウェアを除いて、ターミナル装置は初期的には、その内部に、本発明にかかる常駐ソフトウェアを持たない場合がある。そのターミナル装置をサーバ・ノードとリンクするに及んで、システムはソフトウェア媒介物をそのターミナル装置に伝送し、それがサーバ側の他のソフトウェア・モジュールと協働して、一緒に全体的な配信システムを形成する。ソフトウェアエージェントは、そのシステムに、ターミナル装置構成やデータを解凍し表示するための処理能力を通知する。そのソフトウェアエージェントは、そのシステムに、ターミナル装置及びサーバの間の通信チャンネルの特性の特定の関連情報をも報告する。そうした情報は、これに限定するものではないが、レイテンシー、帯域幅、並びに、信号経路無欠性を含む。ターミナル装置構成とチャンネル特性及び能力のリアルタイム更新とに基づき、システムは、バッファ長、伝送済みビットレート、並びに、エラー修正等のパラメータを変更することによって、圧縮データの伝送を能動的に管理する。また、システムは、動作条件を圧縮システムに供給して、データの配信を最適化すべく、エンコーディング及び圧縮の設定を動的に変更する。ターミナル装置上に常駐する配信ソフトウェアエージェントは、圧縮/解凍アルゴリズム、及びその設定におけるセグメント毎の変化から構成される、データ・ストリームを解凍する。ターミナル装置構成に依存して、様々な指示を、解凍アルゴリズム及びエンディング設定の各組み合わせに対してセグメント毎に、特に非常に活気のないクライアントに対して、リフレッシュすることができる。解凍用の指示も、もしターミナル装置に適切であれば、残留させ続けることができる。
【0219】
到着装置への伝送、および到着装置による動作のために記載されたソフトウェアエージェントは、それ故に、記載された圧縮/配信システム及び方法の、非常に有益な態様とも考えられる。ソフトウェアエージェントをソースから装置へ配信することによって、広範囲に存在する到着装置を、1つ或はそれ以上のアルゴリズムの可変的な使用、又は伝送ソースでの他の動作を含み得る方法にかかる通信に対して、使用することができる。言い換えれば、到着装置は、従来のストリーミング及びスタティック・メディア通信システムの多くに必要とされるような、「フォーマット特定」のプレイヤーであることを要求しなくてもよい。また、診断機能を具備する宛先エージェントを提供することによって、様々な状況から成る所与の集合に対する適切なCODEC処理を行うためのニューラルネットワーク・プロセスにおいて、診断情報を到着装置に集めることができ、さらに、ソース使用に準拠するフォーマットで該ソースへ戻すように伝送することができる。
【0220】
リアルタイムでの、クライアント側の装置データ、及び通信チャネル状況を含む、サービス品質情報を提供するためにクライアント側のエージェントを使用することも、従って、特定の用途や、ここに提供する本発明の他の態様から成る組み合わせを超えて、幅広く有益であると思われる。加えて、クライアント側装置及びリアルタイム通信チャンネル条件に適合すべく圧縮された伝送準備済みデータの各ユニットの処理も、広範に及ぶ有益性を有すると幅広く解釈される。更には、クライアント側エージェントに指示して、順次一意的に圧縮されたデータユニットの各々の解凍を可能とするシステム及び方法を記載している。それ故に、本発明の別の広範な有益性は、到着装置に、元のメディア信号の圧縮表現を解凍して、元のメディア信号の態様、伝送チャンネル制約、並びに、到着装置制約の内の少なくとも1つに関連する可変パラメータに基づき、解凍した表現に為すことができるCODECを提供する(特定の実施例に対してここで記載した伝送ソースから等)。別の広範な態様において、到着装置は、元のメディア信号の態様に関連するパラメータに基づきCODECライブラリから選択されるCODECを用いることができる。
【0221】
ここに記載されたシステム及び方法は、例えば信号クリップ、ビデオ・フレーム、或は、適切であれば個別のパケット等の信号データの独特で順次的なユニット各々の信号処理にも適用可能である考えられる。加えて、システム及びその様々なサブシステムも、それぞれ適切な装置にロードされなければないないか、或は、サーバ側上等に、特定の状況ではクライアント側上に(例えば到着媒介物の様々な局面)ホスト・ハードウェアのコンポーネント若しくはチップに埋め込まれ得るか、さもなければ、フラッシュメモリ等に記憶され得るような純粋なソフトウェアであり得る。
【0222】
今記載されたメディア・システム及び方法の様々な局面は、例えば様々な通信装置、通信/伝送チャンネル・フォーマット及び標準、並びに、ここに記載されている以外(例えば先の「背景技術」の欄)のメディア・タイプ及びフォーマットに対する準拠を含む幅広い既知であると共に直に予知されるメディア通信要望に準拠する使用に対して有益であると考えられる。
【0223】
しかしながら更なる理解の目的のため、図6は本発明の一実施例に従った「ビデオ・オン・デマンド」局面に特に適用されたような全体的なストリーミング・メディア通信システム600の概略図を示し、数多くの異なる場所における数多くの異なるエンドユーザ610−620は遠隔ソースからリアルタイム(例えば実質的な遅延無し)で、事前記録されたビデオを要求して受信し得る。図6に提供される情報に加えて、少なくとも1つの特定具現化例は以下のビットレートで以下のタイプのビデオを配信するものであり(到着装置によって典型的な人の観測者の目によって観測されるような全く損失がないか或は実質の無い損失を有する解凍済み表現に変換可能な元の信号の圧縮表現に留意)、即ち、約250Kbsの低いVHS-フォーマット・ビデオ、約400KbsのDVD-フォーマット・ビデオ、約900KbpsのHDTV-フォーマット・ビデオである。これらの局面に従えば、ビデオ・オン・デマンドは、例えば既存のDSL線630−640にわたる等の常駐伝送線チャンネルにわたる電話キャリアによって提供され得ると思われる。
【0224】
しかしながら、利用可能な帯域幅やマスコミュニケーションが問題を提示し続けるように、より大きな効率性が達成されて、これらのタイプのビデオ信号の圧縮表現をより低いビットレートでさえ配信することになる。再度、ここ以外に記載されているように、本発明に係る圧縮効率性はニューラルネットワーク440にとって利用可能と為されている処理能力と、変更されたタイプのメディアに対して学習及び訓練が続行されたニューラルネットワーク440との関数と密に関連すると共にその関数として改善する。これらリソース(資源)は、本発明の基本的な特徴への変更無しに、より顕著な圧縮効率を達成可能と為す。
【0225】
それ故に、以下は、所望されると共に本発明の一実施例に従って達成可能であると思われる特定の圧縮ビデオ信号に対する伝送レートの更なる例であり、即ち、約200Kbps、より好ましくは約150Kbps、そして更により好ましくは約100Kbpsと低いVHS−フォーマット・ビデオ、約350Kbps、より好ましくは約300Kbps、そして更により好ましくは約250Kbpsと低いDVD−フォーマット・ビデオ、並びに、約800Kbps、そして更により好ましくは約700Kbpsと低いHDTV−フォーマット・ビデオである。
【0226】
更には、本発明の一実施例に係るメディア通信システム400の少なくとも1つの具現化例は7Kbpsの伝送レートで20〜24フレーム/秒のカラービデオを配信する。これは、これ以降の別の場所で更に展開されるように、WAPゲートを介して、ワイヤレス到着装置へのストリーミング・メディア信号の通信に関する実質的な前進をイネーブルすると思われる。
【0227】
また理解して頂きたいことは、ビデオ通信がこの開示において強調されたが、他のタイプのストリーミング或はスタティック・メディアも意図されていることである。例えば、圧縮及び配信実施例の少なくとも1つの具現化例が観察されて、実質的なCD品質サウンド(例えば、到着装置によって典型的な人の観測者の耳によって観測されるような全く損失がないか或は実質的な損失が無い)解凍済み表現に変換可能である元の信号の圧縮表現を介して)を約24Kbpsのビットレートで提供している。これらのレートで、オーディオマニア品質のサウンドがダイアルアップ・モデムにわたって再生用に配信され得る。しかしながら、更に利用可能なリソース責務やニューラルネットワーク訓練の程度に関して、更に意図されることは、本発明が約20Kbpsの低さ、そして約15Kbps或は10Kbpsの更なる低さの速度でCD品質サウンドを配信できることである。
【0228】
ワイヤレス・オーディオ通信システム
更に意図されていることは、本発明のストリーミング・メディア通信システムがワイヤレス・オーディオ通信ネットワーク内、特にセルラー通信系ネットワーク内において特に有用な用途を有する。それ故に、図7及び図8は、本発明の特定の各種実施例に従ったワイヤレス・オーディオ通信システムに特に適用されたストリーミング・メディア通信システム700及び800を細部の増大する量を伴って概略的に示している。特定の装置、システム・パラメータ、或は、図示された通信装置の配列が本発明の全体的な用途で有益であると思われる一方で、それらは制限していると考えられるべきではなく、この開示に基づき当業者に従って他の代替物で適切に置き換えられ得る。よって、この開示の他の場所で参照される様々なワイヤレス通信システム700及び800の標準及びプロトコルは、本発明の一実施例に従った圧縮、配信、解凍、並びに、トランスコーディングの様々な局面との統合の目的でこの欄に組み入れられる。
【0229】
本発明の一実施例に係る通信システム400のセルラー通信ネットワークの他の構成要素との組み合わせは、本発明に従った、向上された圧縮、配信、並びに、解凍を可能として、ワイヤレス・オーディオ通信に対するサービスの増大された品質に現れている。本発明に従ったセルラー通信における改善は、制限無しに、増大される利用可能帯域幅、拡張される受信範囲の例を含むと共に、適切な降格を提供するものの低信号品質或は低受信レベルの期間中に結合又は接続を維持する。
【0230】
より明確には、セルラー通信系信号は、例えばクライアントのローミング位置及び制限されたセル範囲、大気状態、並びに、毎日の使用サイクルにわたっての著しく制限され変化する利用可能帯域幅による比較的高い度合いの変数によって特徴付けられる。それ故に、本発明に従った自己最適化CODEC管理システムは、適切な通信や圧縮様式を変化する環境に合わせて調節することに対して特に良好に適合している。少なくとも、圧縮効率の増大や所与の信号に対して使用される帯域幅における結果としての減少は、ワイヤレス・チャンネル・トラフィックが混雑し続ける場合に価値ある偉業である。
【0231】
1つの特定の点において、本発明に従った増大された圧縮効率は充分に適用されて、図9に図示されるように、セル間の「ソフト・ハンドオフ」中の帯域幅問題を改善する。セルラー電話通信中、送信器或は受信器がセル適用範囲領域を移動すればいつでも、通信帯域幅要件及びその結果のコストがセル間のアクティブな通信を「うまく行わせる」べくシステム要件によって増大される。通信をうまく行わせる行為は、先行のアクティブなセルラー送信器から中心オフィスまでの「逆送」チャンネルを生じ、新しくアクティブとなったセルラー送信器へ転送する。この逆送チャンネルは帯域幅の主要な用途を表す。節約は増大された圧縮から生ずる。図に示されるように、そうした「逆送」は特定の信号を通信するために使用される帯域幅における倍増(通信のために第1セルから逆に送信されたメディアが立ち去って第2セルへ再送信される)或は4倍増(第1及び第2のセル双方からの部分的重複通信)すら含み得る。
【0232】
本発明のメディア通信システム400は、ソフトウェア媒介物に設けられた伝送チャンネル診断に従って等で逆送が何時生じているかを認識し得て、補償すべき圧縮度を調節することによって応答し得る。
【0233】
WAPビデオ・ゲートウェイ
ワイヤレス或はモバイル・インターネットで観測され予言される急激な成長の特別な検討によって、本発明の実施例はWAPゲートウェイ機能と組み合わせた知的圧縮/解凍の実施例の用途を意図している。
【0234】
それ故に、複雑なディジタル・メディア(例えばビデオ写真)をコード化、圧縮、並びに、ワイヤレス・アプリケーション・プロトコル(WAP)を利用する帯域幅制約ワイヤレス通信システムを介して伝送するシステム及び方法も本発明に従って提供されている。一実施例において、人工知能を伴ったニューラルネットワークを利用してデータは(単数或は複数の)サーバ・ノードに常駐するシステムによって処理される。データのサンプル・セグメントは入力ストリームから取り込まれ、処理されて、クライアントの分類に独特な要件に応じる。先に詳細に記載されたように、システムは連続的に変化するディジタル・データ・ストリームの特性を事前開発された経験的に学習された規則から成るライブラリと相関させると共に、最終的にはクライアント・インターフェースで受信され、デコードされ、そして提示されるようなデータの干渉性、連続性、並びに、詳細を最適に振り付ける又は構成すべく外部的に課せられた制約と相関される。
【0235】
ここで記載されたストリーミング・メディア通信システムの追加された機能が具備されたゲートウェイは図8に概略的に示されている。WAPゲートウェイ・システム830に従って、クライアント媒介物が提供されて、様々なプラットフォーム上に走ることができ、ビデオ・ストリームをデコードすべき特殊化されたハードウェアを何等必要としない。ここ以外に記載された本発明のストリーミング・メディア配信システムの使用に従って、WAP装置の視聴者は上流側のシステム・サーバとの一定通信を維持して、ユーザ側クライアント825がエンコーディング・プラットフォームにストリーミング・メディア通信のための関連情報、即ち、制限無しに、有効スクリーン・サイズ、処理能力、クライアントオペレーティング・システム及びブラウザ・バージョン、接続速度、並びに、レイテンシーを含む関連情報を具備させ得ることによって、ストリーミング・メディア配信システムがストリームを誂えてそれが「話す」各個別クライアント向けと為すことを可能としている。従って、ここで記載されたようなAI圧縮を組み入れているAI駆動サーバ830はWAPゲートウェイ830と組み合わせ可能であり、必要なWAPからTCP/IPプロトコル(或は他のプロトコル、即ちデュアル・サーバ・スタック)翻訳を、圧縮システム、配信システム、並びに、解凍システムとここに記載された方法とを利用するビデオ及びオーディオ・サーバ835と組み合わせる。WAPゲートウェイ830は、例えばトランスコーダ・システム及びここに記載された方法を組み入れているビデオ・トランスコーダを更に含み得る。このシステムに従った適切なホスト・アーキテクチャ(不図示)は、変更WAPゲートウェイ830によるか或は既存のサーバへのプラグ-インとしてのリナックスOSを走るラック取付システムを一般に含む。
【0236】
このWAPゲートウェイ830は、更に、全体的なストリーミング・メディア配信アーキテクチャ(特にワイヤレス以外の他の配信システムに適用可能)の別の有益性局面として、マスター/スレーブ関係で提供されている。Akamai及びInktomiを通じて利用可能であるような様々なコンテンツ分配ネットワークは、インターネットの境界上に常駐するサーバ上の「スマート・キャッシング(smart caching)」を用いることによって、インターネットにわたるデータ配信を改善する概念を活用した。そうしたマスター/スレーブ関係は本システムによって維持され、マスター・サーバが配信されるべきコンテンツのソースに常駐し、スレーブ・サーバは境界上に常駐する。これらサーバは「知的に」通信して、インターネットにわたるコンテンツ配信を最適化し、レイテンシー、帯域幅、並びに、記憶の要件を低減して、エンドユーザ向けのビデオ/オーディオ・ストリームの全体的な品質を改善すると共に、コンテンツ・プロバイダ向けメディア配信のコストを減少している。
【0237】
本発明のWAPゲートウェイ830はモバイル通信における続行された成長をサポートするが、これは大きな遠隔通信オペレータがマルチサービス・ブロードバンド・ネットワークに移行していく場合、そしてモバイル・インターネットへの加入者の数が急激に膨張し続ける場合である。特にモバイル通信はシステム及びプロトコルの広範な分類であり、各々がそれ自体の制約やストリーミング・メディアを通信すべく双方向装置の必要性を有する。特に有益な局面であるゲートウェイ830は、やがて現れる「2.5G」及び「3G」ネットワーク・テクノロジー(システムの数値的な前進はインターネット-イネーブル化能力の前進を一般に表す)の向上を伴って種々の「2G」システムをサポートし得る。
【0238】
以下のテーブル3は既知のモバイル通信標準の例を提供すると共に、メディアプレイヤーとしてモバイル到着装置の分野の間でストリーミング・メディア通信を最適化するために、本発明に係るAIシステムによって使用される特定の関連情報を提供している。
【0239】
【表3】

【0240】
加えて、本発明は広範な種々のメディア信号を様々な異なるタイプのワイヤレス通信装置へ流す能力に特に有益性がる。ストリーミング・メディア通信システムと本発明の方法との使用に適合するワイヤレス通信装置の例であり、それらシステム及び方法は交換可能にサポートしている場合の例は以下のテーブル4に提供されている。
【0241】
【表4】

【0242】
様々な特定例は以下に記載され、ここで記載されたように本発明の実際のワイヤレス・インターネット適用例の観察を提供する。そうした例は、(制限無しに)少なくとも、到着ワイヤレス通信装置、伝送チャンネル、通信プロトコル、並びに、それら自体の各ストリーミング・メディア信号と関連された多様なパラメータに従ったCODECライブラリの使用を含む。これらの例に従って使用されるシステム及び方法の様々な独特の特徴は本発明の独立して有益な局面を更に規定していると思われる。
【0243】
共有された対話式環境
顕著なクライアント側処理能力の必要性無しに、高品位、多重次元、多数参加者型のシミュレートされた環境とのリアルタイム遠隔クライアント対話をイネーブルするための本発明に従ったシステム及び方法が提供される。より詳細には、図10は本発明に従った共有された対話式ゲームに適用されるような全体的なストリーミング・メディア通信システムを示している。
【0244】
このシステムは、(i)プロキシー・サーバ、(ii)本発明の配信システムをサポートするクライアント・ソフトウェア媒介物、並びに、(iii)サーバからクライアントまでのストリーミングを含む。意図されていることは、設計によって共有された対話式のゲームを典型的には表す多数のクライアントに対して、今記載したような多数のコンポーネントが各クライアントをサポートすべく提供されていることである。
【0245】
対話式ゲーム実施例はデータ圧縮と、他の同様で遠隔的に配置された装置システムからの圧縮信号用の到着装置でもある装置を具備する配信実施例との具現化を意図している。この構成は広範な有益性があり、例えば、ビデオ会議等の更なる対話式メディア具現化において有益性がある。従って、各遠隔システムはソース及び到着装置の双方であり、それと他の遠隔システムとの間で媒介物を受送信する。
【0246】
到着装置
本発明の通信システムはストリーミング・メディア信号の広範囲な種類の到着装置向けに通信することを可能としており、本発明の更なる意図された特徴はクライアント・ユーザによる到着装置/プライヤーとして収容されるべき遠隔受信器を提供することである。このセット-トップ・ボックスは、ビデオ・オン・デマンド(VOD);ミュージック・オン・デマンド(MOD);要望に応じた対話式ゲーム(IGOD);ボイス・オーバー・インターネット・プロトコル(「VoIP」)であり、IP接続上のボイス・テレホニー・サービスを提供する任意のテクノロジー;テレビ・ウェブ・アクセス;ライブ・テレビを記録、ポーズ、並びに、再生すべくディジタル・ビデオ・レコーディング、ポーズ、並びに、プレイバック生テレビ;E−メール;チャット;DVDプレイヤー;並びに、当業者には明かな他の用途の内の、好ましくは、多数であり、ことによると全てであるが、少なくとも1つを供するべく適合し得る。この全てはユーザ自身の家庭の安楽な状態の中の既存のテレビジョンに配信され得る。更には、このボックス或は本発明の通信システムとインターフェース接続している他のシステムを利用しているクライアントはDVD品質ビデオ及びサラウンド・サウンドをケーブル及びDSL接続を介して受信し得る。
【0247】

本発明に達成され得る高有益性結果を更に説明する目的のため、以下は関連議論を伴う観測結果を含むストリーミング・メディア通信の異なるタイプに対して使用されている特定の実施例の例示である。これらの例は異なる伝送チャンネルにわたって同一事前記録ビデオの通信であって、異なる到着装置向けの通信を説明するものであり、事前記録されたビデオが、解像度720本、カラー情報32ビット、生起ファイル・サイズ約1.4ギガバイトの諸生起特性を有している。
【0248】
例1
「iPAQ」モデル3650手持ちPDA(この開示の際に約500ドルであるCompaq Inc.社から商業的に入手可能)が提供された。このPDAは、14.4Kbps(最大)ワイヤレスCDPDモデム(この開示の際に約200ドルであるSierra Wireless社から商業的に入手可能な「AirCard300」ワイヤレス外付けモデム)と拡張アセンブリ(Compaq Inc.社製のiPAQ(商標)PCMCIA拡張スリーブ)を用いてインターフェースさせられ、このワイヤレス・モデムと結合するPCMCIAカード・スロットを伴う。使用されるiPAQ(商標)は、一般に、206MHzプロセッサ、32Mbメモリ、12b/pixel カラー、240x320スクリーン寸法、Microsoft Corp.社製PocketPC(商標)オペレーティング・システム・バージョン3.0、並びに、ステレオサウンドの諸処理パラメータを有するように特徴付けられている。iPAQ(商標)は、約13.3Kbit/秒の接続帯域幅でAT&Tセルラー・ワイヤレス・キャリア・システムにわたって、インターフェースされたCDPDモデムを介してカリフォルニア州サンフランシスコ市のインターネットと接続された。カリフォルニア州サンホゼ市に配置されたサーバ(約5マイル遠方)がhttp及びrtspプロトコルを利用するPDAによって接触させれ、PDAは、解像度720本、カラー情報32ビット、生起ファイル・サイズ1.4ギガバイトの諸生起特性を有する事前記録ビデオの要求を始動すべく使用された。約7秒以内に、その事前記録されたビデオの圧縮近似物が受信され、解凍され、そしてPDAスクリーン上に該PDAによって表示された。全ビデオは観測可能な遅延或は欠陥無しに完全動作の240x320x12bpp解像度で見えた。
【0249】
例2
「Jornada(商標)」モデル548手持ちPDA(この開示の際に約300ドルであるHP Inc.社から商業的に入手可能)が提供されている。このPDAは、9.6Kbps(最大)ワイヤレスCDMA電話(この開示の際に約200ドルであるMotorola社の承認ベンダーから商業的に入手可能な「Motorola i85s」ワイヤレス外付けディジタル・セルラー電話)と、この電話及びPDAを一緒に結合してワイヤレス・モデムを形成するアダプター・ケーブル(Motorola社製及びHP社製のMotorola及びHP RS-232標準インターフェース・ケーブル)を用いてインターフェースさせられてた。使用されるJordnadaモデルPDA装置は、133MHzプロセッサ、32Mbメモリ、12b/pixel カラー、240x320スクリーン寸法、Microsoft Corp.社製PocketPC(商標)オペレーティング・システム・バージョン3.0、並びに、ステレオサウンドの諸処理パラメータを有するように特徴付けられている。Jordana(商標)は、約8Kbit/秒の接続帯域幅でNextelディジタル・セルラー・ワイヤレス・キャリア・システムにわたって、インターフェースされたCDMA電話/モデムを介してニュージャージ州ニューアーク市のインターネットと接続された。カリフォルニア州サンホゼ市に配置されたサーバ(約2900マイル遠方)がhttp及びWDPプロトコルを利用するPDAによって接触させれ、PDAは、解像度720本、カラー情報32ビット、生起ファイル・サイズ1.4ギガバイトの諸生起特性を有する事前記録ビデオの要求を始動すべく使用された。約7秒以内に、その事前記録されたビデオの圧縮近似物が受信され、解凍され、そしてPDAスクリーン上に該PDAによって表示された。全ビデオは観測可能な遅延或は欠陥無しにフルカラーの176x120x8bpp解像度で見えた。
【0250】
例3
「セット-トップ・ボックス」モデルst850ブック型PDA(この開示の際に約300ドルであるMSI Inc.社から商業的に入手可能)が提供されている。このセット-トップ・ボックスは、10Mbps(最大)イーサネット(登録商標)/802.11接続と、このセット-トップ・ボックスをブロードバンド接続(DS3)と結合するCATイーサネット(登録商標)・ケーブル(Generic)を用いてインターフェースさせられてた。使用されるセット-トップ・ボックスは、400MHzプロセッサ、64Mbメモリ、32b/pixel カラー、スクリーン解像度720本、Microsoft Corp.社製CEオペレーティング・システム・バージョン2.11、並びに、AC3ディジタル6チャンネル・サラウンド・サウンドの諸処理パラメータを有するように特徴付けられている。このセット-トップ・ボックスは、約376Kbit/秒の接続帯域幅でAlter.Net Internet Backboneにわたって、インターフェースされた共有DS3接続を介してニュージャージ州ニューアーク市のインターネットと接続された。カリフォルニア州サンホゼ市に配置されたサーバ(約2900マイル遠方)がhttp及びrtspプロトコルを利用するこのセット-トップ・ボックスによって接触させれ、このセット-トップ・ボックスは、解像度720本、カラー情報32ビット、生起ファイル・サイズ1.4ギガバイトの諸生起特性を有する事前記録ビデオの要求を始動すべく使用された。約9秒以内に、その事前記録されたビデオの圧縮近似物が受信され、解凍され、そして商業劇に入手可能な基準モニタ(Sony)・スクリーン上に該セット-トップ・ボックスによって表示された。全ビデオは観測可能な遅延或は欠陥無しに完全動作の720本x32bppで見えた。
【0251】
発明を説明する目的で著しく詳細に様々な特定実施例がここに示され且つ記載されたが、理解して頂きたいことは、更なる変更及び改善が、本発明の意図された範囲から逸脱すること無しに、この開示に基づき当業者であれば為され得ることである。例えば、詳細には記載されなかった様々な実施例の様々な可能性ある組み合わせが為され得るが、それらが本発明の意図された範囲内に依然として入る。別の例に従えば、明かな改善或は変更も様々な実施例に為され得て、この発明の意図された範囲内に依然として入る。
【図面の簡単な説明】
【0252】
【図1A】図1Aは従来のCODECシステムを用いた、先行技術に係るメディア通信システムの2つの各種変形例を表している概略ブロック線図を示す。
【図1B】図1Bは従来のCODECシステムを用いた、先行技術に係るメディア通信システムの2つの各種変形例を表している概略ブロック線図を示す。
【図1C】図1Cは先行技術に係るメディア・トランスコーダ・システムの2つの各種変形例を表している概略ブロック線図を示す。
【図1D】図1Dは先行技術に係るメディア・トランスコーダ・システムの2つの各種変形例を表している概略ブロック線図を示す。
【図1E】図1Eは先行技術に係るWAPゲートウェイ通信システムにおける様々な相互に関係する構成要素の概略ブロック流れ図を示す。
【図2】図2乃至図3は、2つの各種使用モード中における本発明の一実施例のトランスコーダ・システムの概略ブロック線図を示す。
【図3】図2乃至図3は、2つの各種使用モード中における本発明の一実施例のトランスコーダ・システムの概略ブロック線図を示す。
【図4A】図4A乃至図5は、本発明の一実施例に従ったメディア通信システムの様々な相関構成要素の概略ブロック流れ図を示す。
【図4B】図4A乃至図5は、本発明の一実施例に従ったメディア通信システムの様々な相関構成要素の概略ブロック流れ図を示す。
【図5】図4A乃至図5は、本発明の一実施例に従ったメディア通信システムの様々な相関構成要素の概略ブロック流れ図を示す。
【図6】図6は、本発明の一実施例に従った「ビデオ・オン・デマンド」ストリーミング・ビデオ通信システムの様々な相関構成要素の概略ブロック流れ図を示す。
【図7】図7は、本発明の一実施例に従ったワイヤレス・ストリーミング・ビデオ通信システムの様々な相関構成要素の概略ブロック流れ図を示す。
【図8】図8は、本発明の一実施例に従ったWAPゲートウェイ・メディア通信システムの様々な相関構成要素の概略ブロック流れ図を示す。
【図9】図9は、本発明の一実施例のメディア通信システムの1つの特定使用モードに従った逆送中のメディア通信システムの様々な相関構成要素の概略ブロック流れ図を示す。
【図10】図10は、本発明の一実施例に従った対話式ゲーム通信システムとセット-トップTVブラウズィング(browsing)の様々な相関構成要素の概略ブロック流れ図を示す。
【符号の説明】
【0253】
100 ソース・メディア
130,135,140 到着装置
145 CODEC
200 ビデオ/オーディオ・トランスコーダ
210 ビデオ・ソース
300 サーバ
400 データ圧縮及び配信システム
405 メディア・モジュール
407 動的プレイヤー・モジュール
410 画像プロセッサ
415 基線スナップショット
417 分類器
420 標準品質(QoS)モジュール
425 ネットワーク層入力モジュール
430 ネットワーク層出力モジュール
435 タイマ
440 ニュートラルネットワーク処理モジュール
445 CODECライブラリ・モジュール
450 動的クライアント要求モジュール
455 ICMPモジュール
460 装置及びネットワーク・パラメータ測定モジュール
465 配信及び伝送モジュール

【特許請求の範囲】
【請求項1】
方法であって、
送信先のエージェントに伝送すべき、各々が多数の時間的に近接するフレームを含む、複数のセグメントに分離されたメディア信号を取得するステップと、
前記メディア信号内の複数のセグメントの各々に対して、
品質および圧縮のレベルに関して各CODECが前記セグメントをどのようにコード化するかを判定するために、前記セグメントに対して複数の異なるCODECをテストするステップと、
帯域幅制約を超えずに、複数の規準に従って前記セグメントに対して最高品質のコード化出力を生成するCODECを自動的に選択するステップと、
前記選択されたCODECを用いてコード化されたセグメントを前記送信先のエージェントまで配信するステップと、さらに
前記送信先のエージェントに、どのCODECを前記セグメントのコード化に用いたかを報告するステップと、
を繰り返すステップとを含み、少なくとも2つのセグメントが異なるCODECを用いてコード化される方法。
【請求項2】
セグメントの1つ以上の識別された特性と前記選択されたCODECとの間の関連性を記憶するステップを更に含む、請求項1に記載の方法。
【請求項3】
前記テストするステップが、
前記セグメントの基準スナップショットを記憶するステップと、
テストされるべき各CODECに対して、
前記複数のCODECの内の1つを用いて前記帯域幅の制約以下で前記セグメントをコード化するステップと、
前記CODECと同一のCODECを用いて前記セグメントをデコードするステップと、
前記複数の規準に従って、前記デコードされたセグメントの品質を前記基準スナップショットと比較するステップと、
を更に含む、請求項1に記載の方法。
【請求項4】
前記比較するステップが、ピーク信号対ノイズ比(PSNR)に従って前記品質を比較するステップを更に含む、請求項3に記載の方法。
【請求項5】
前記送信先のエージェントの内の少なくとも1つと該送信先のエージェント向けの伝送チャンネルとの間の制約に基づき前記帯域幅制約を調整するステップを更に含む、請求項1に記載の方法。
【請求項6】
前記メディア信号の引き続くセグメントが、1つ以上の同一の識別された特性を有することが見出された場合、前記引き続くセグメントをコード化するために、前記記憶された関連性から自動的にCODECを選択するステップをさらに含む、請求項2に記載の方法。
【請求項7】
前記CODECが、人工知能(AI)システムを用いて、前記記憶された関連性から自動的に選択される、請求項6に記載の方法。
【請求項8】
前記AIシステムがニューラルネットワークを含む、請求項7に記載の方法。
【請求項9】
前記セグメントの特性が、時間的特性、空間的特性、並びに、論理的特性から成るグループから選択される、請求項2に記載の方法。
【請求項10】
前記CODECが、ブロックCODEC、フラクタルCODEC、並びに、ウェーブレットCODECから成るグループから選択される、請求項1に記載の方法。
【請求項11】
前記配信するステップが、前記コード化されたセグメントをネットワークを介して前記送信先のエージェントへ配信するステップを更に含み、前記報告するステップが、どのCODECを前記ネットワークを介して前記送信先のエージェント向けの前記セグメントのコード化に用いたか、の表示を送信するステップを含む、請求項1に記載の方法。
【請求項12】
前記配信するステップが、前記コード化されたセグメントを記憶媒体に記憶するステップを更に含み、前記報告するステップが、どのCODECが前記記憶媒体上の前記セグメントのコード化に用いたかの表示を記憶するステップを含む、請求項1に記載の方法。
【請求項13】
システムであって、
送信先のエージェントへ伝送すべき、各々が多数の時間的に近接するフレームを含む、複数のセグメントに分離されたメディア信号を取得する入力モジュールと、
品質および圧縮のレベルに関して各CODECが前記セグメントをどのようにコード化するかを判定するために、前記セグメントに対して複数の異なるCODECをテストし、帯域幅制約を超えずに、複数の規準に従って前記セグメントに対して最高品質のコード化出力を生成するCODECを自動的に選択する選択モジュールと、
それぞれの選択されたCODECを用いてコード化された各セグメントを前記送信先のエージェントまで配信し、さらに、前記送信先のエージェントに、どのCODECを前記各セグメントのコード化に用いたかを報告する出力モジュールと、
を含むシステム。
【請求項14】
前記選択モジュールが、
各セグメントの基準スナップショットを記憶して前記セグメントに対して複数のCODECをテストし、テストされるべき各CODECに対して、前記CODECの内の1つを用いて前記帯域幅で或はそれを下回るように前記セグメントをコード化し、同一の前記CODECを用いて前記セグメントをデコードし、そして、前記デコードしたセグメントの品質を前記複数の規準に従って前記基準スナップショットと比較するものである、請求項13に記載のシステム。
【請求項15】
前記選択モジュールが、
セグメントの1つ以上の識別された特性と前記選択されたCODECとの間の関連性を記憶する、請求項13に記載のシステム。
【請求項16】
前記選択モジュールが、
前記メディア信号の引き続くセグメントが、1つ以上の同一の識別された特性を有することが見出された場合、前記引き続くセグメントをコード化するために、前記記憶された関連性から自動的にCODECを選択する、請求項15に記載のシステム。
【請求項17】
前記CODECが、人工知能(AI)システムを用いて、前記記憶された関連性から自動的に選択される、請求項16に記載のシステム。
【請求項18】
前記AIシステムがニューラルネットワークを含む、請求項17に記載のシステム。
【請求項19】
前記シーンの特性が、時間的特性、空間的特性、並びに、論理的特性から成るグループから選択される、請求項15に記載のシステム。
【請求項20】
前記品質がピーク信号対ノイズ比(PSNR)に従って比較される、請求項14に記載のシステム。
【請求項21】
前記選択モジュールが、
前記送信先のエージェントと該送信先のエージェント向けの伝送チャンネルとの内の少なくとも1つの制約に応じて前記帯域幅制約を調整するものである、請求項13に記載のシステム。
【請求項22】
前記CODECが、ブロックCODEC、フラクタルCODEC、並びに、ウェーブレットCODECから成るグループから選択される、請求項13に記載のシステム。
【請求項23】
システムであって、
送信先のエージェントへ伝送すべき、各々が多数の時間的に近接するフレームを含む、複数のセグメントに分離されたメディア信号を取得する手段と、
品質および圧縮のレベルに関して各CODECが前記セグメントをどのようにコード化するかを判定するために、前記セグメントに対して複数の異なるCODECをテストする手段と、
帯域幅制約を超えずに、複数の規準に従って前記セグメントに対して最高品質のコード化出力を生成するCODECを選択する手段と、
それぞれの選択されたCODECを用いてコード化された各セグメントを前記送信先のエージェントまで配信し、さらに、前記送信先のエージェントに、どのCODECを前記各セグメントのコード化に用いたかを報告する手段と、
を含むシステム。
【請求項24】
前記テストする手段が、
各セグメントの基準スナップショットを記憶して前記セグメントに対して複数のCODECをテストし、テストされるべき各CODECに対して、前記CODECの内の1つを用いて前記帯域幅で或はそれを下回るように前記セグメントをコード化し、同一の前記CODECを用いて前記セグメントをデコードし、そして、前記デコードしたセグメントの品質を前記複数の規準に従って前記基準スナップショットと比較するものである、請求項23に記載のシステム。
【請求項25】
前記選択する手段が、
セグメントの1つ以上の識別された特性と前記選択されたCODECとの間の関連性を記憶する、請求項23に記載のシステム。
【請求項26】
前記選択する手段が、
前記メディア信号の引き続くセグメントが、1つ以上の同一の識別された特性を有することが見出された場合、前記引き続くセグメントをコード化するために、前記記憶された関連性から自動的にCODECを選択する、請求項25に記載のシステム。
【請求項27】
前記CODECが、人工知能(AI)システムを用いて、前記記憶された関連性から自動的に選択される、請求項26に記載のシステム。
【請求項28】
前記AIシステムがニューラルネットワークを含む、請求項27に記載のシステム。
【請求項29】
前記シーンの特性が、時間的特性、空間的特性、並びに、論理的特性から成るグループから選択される、請求項25に記載のシステム。
【請求項30】
前記品質がピーク信号対ノイズ比(PSNR)に従って比較される、請求項23に記載のシステム。
【請求項31】
前記選択する手段が、
前記送信先のエージェントと該送信先のエージェント向けの伝送チャンネルとの内の少なくとも1つの制約に応じて前記帯域幅制約を調整するものである、請求項23に記載のシステム。
【請求項32】
前記CODECが、ブロックCODEC、フラクタルCODEC、並びに、ウェーブレットCODECから成るグループから選択される、請求項23に記載のシステム。
【請求項33】
方法であって、
送信先のエージェントに伝送すべき、各々が多数の時間的に近接するフレームを含む、複数のセグメントに分離されたメディア信号を取得するステップと、
前記メディア信号内の複数のセグメントの各々に対して、
品質および圧縮のレベルに関して各CODECが前記セグメントをどのようにコード化するかを判定するために、前記セグメントに対して複数の異なるCODECを同時にテストするステップと、
帯域幅制約を超えずに、複数の規準に従って前記セグメントに対して最高品質のコード化出力を生成するCODECを自動的に選択するステップと、
前記選択されたCODECを用いてコード化されたセグメントを前記送信先のエージェントまで配信するステップと、さらに
前記送信先のエージェントに、どのCODECを前記セグメントのコード化に用いたかを報告するステップと、
を繰り返すステップとを含む方法。
【請求項34】
前記CODECが、並列に動作する複数のプロセッサを用いて、前記セグメントに対して同時にテストされる、請求項33に記載の方法。
【請求項35】
前記テストするステップが、
前記セグメントの基準スナップショットを格納するステップと、
テストされるべき各CODECに対して、
前記複数のCODECの内の1つを用いて前記帯域幅の制約以下で前記セグメントをコード化するステップと、
前記CODECと同一のCODECを用いて前記セグメントをデコードするステップと、さらに
前記複数の規準に従って、前記デコードされたセグメントの品質を前記基準スナップショットと比較するステップと、
をさらに含む、請求項33に記載の方法。

【図1A】
image rotate

【図1B】
image rotate

【図1C】
image rotate

【図1D】
image rotate

【図1E】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2008−236758(P2008−236758A)
【公開日】平成20年10月2日(2008.10.2)
【国際特許分類】
【出願番号】特願2008−81977(P2008−81977)
【出願日】平成20年3月26日(2008.3.26)
【分割の表示】特願2003−531343(P2003−531343)の分割
【原出願日】平成14年9月26日(2002.9.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.リナックス
2.Bluetooth
【出願人】(504119804)インタラクト デヴァイシーズ インコーポレイテッド (2)
【Fターム(参考)】