説明

複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステム

複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステム。1次ポートに関連付けられた1次データストリームが生成され、1次データストリームは、表示画面上に表示される1次画像を有する。1次ポートに結合された複数の2次ポートに関連付けられた2次データストリームが生成され、2次データストリームは、複数の2次ポートから受信した複数の2次画像を有する。2次データストリーム及び1次データストリームは、表示データストリーム内に融合され、表示データストリームは、1次画像を有し、更に複数のプレビュー画像として複数の2次画像を有する。1次画像及び複数のプレビュー画像は、表示画面上に表示され、複数のプレビュー画像の各々は、表示画面上のインセット画面を通じて表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、一般的に電子ネットワークの分野に関し、より具体的には、複数の保護されたソースから同時にコンテンツをプレビューすることに関する。
【背景技術】
【0002】
システムは、表示のための複数の媒体データストリームのような複数のデータストリームを作動において利用する。データは、本明細書でHDCPデータと呼ぶ「高帯域幅デジタルコンテンツ保護(HDCP)」データによって保護されたデータを含むことができる。複数の媒体データストリームの通信は、「高解像度マルチメディアインターフェイス(HDMI)」を通じて送信デバイス(例えば、ケーブル/衛星信号送信デバイス)を経由した送信側機関(例えば、ケーブルテレビジョン(TV)又は衛星会社)と受信側デバイス(例えば、TV)の間のコンテンツの流れを含むことができる。
【0003】
ある一定の受信側デバイス(例えば、テレビジョン)は、1つのプログラムを完全に表示すると同時にインセットウィンドウに別のプログラムを表示する従来の技術を利用する。しかし、この従来の技術は、それらの低解像度及びハードウエアリソースに対する低要求度のために、主にレガシーアナログ入力に対してのみ使用されてきた。しかし、近年、一部の従来技術は、デジタル入力を扱うようなってきたが、それにも関わらず、それらは、単一フィードをブロードキャストする従来の単一フィードシステムに依然として基づいており、一方、関連の送信側機関は、複数のコンテンツを単一の画像に収め、単一フィードを通じてこれを送信している。換言すると、インセットウィンドウを有する画像の生成は、ユーザ側から遠くに離れ、かつ従ってユーザ側受信デバイスを制御する送信側機関で行われる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステムを開示する。
【課題を解決するための手段】
【0005】
一実施形態では、方法は、表示画面上に表示される1次画像を有して1次ポートに関連付けられた1次データストリームを生成する段階と、複数の2次ポートから受信した複数の2次画像を有し、1次ポートに結合された複数の2次ポートに関連付けられた2次データストリームを生成する段階と、1次画像を有し、更に複数のプレビュー画像として複数の2次画像を有する表示データストリーム内に1次データストリームを有する2次データストリームを融合する段階と、1次画像及び複数のプレビュー画像を表示画面上に表示する段階とを含み、複数のプレビュー画像の各々は、表示画面上のインセット画面を通じて表示される。
【0006】
一実施形態では、システムは、ストレージ媒体とストレージ媒体に結合されたプロセッサとを有するデータ処理デバイスを含み、プロセッサは、表示画面上に表示される1次画像を有して1次ポートに関連付けられた1次データストリームを生成し、複数の2次ポートから受信した複数の2次画像を有して1次ポートに結合された複数の2次ポートに関連付けられた2次データストリームを生成し、1次画像を有して更に複数のプレビュー画像として複数の2次画像を有する表示データストリーム内に1次データストリームを有する2次データストリームを融合する。装置は、データ処理デバイスに結合された表示デバイスを更に含み、表示デバイスは、1次画像及び複数のプレビュー画像を表示画面上に表示し、複数のプレビュー画像の各々は、表示画面上のインセット画面を通じて表示される。
【0007】
一実施形態では、装置は、ストレージ媒体とストレージ媒体に結合されたプロセッサとを有するデータ処理デバイスを含み、プロセッサは、表示画面上に表示される1次画像を有して1次ポートに関連付けられた1次データストリームを生成し、複数の2次ポートから受信した複数の2次画像を有して1次ポートに結合された複数の2次ポートに関連付けられた2次データストリームを生成し、1次画像を有して更に複数のプレビュー画像として複数の2次画像を有する表示データストリーム内に1次データストリームを有する2次データストリームを融合する。
【0008】
本発明の実施形態は、制限ではなく例示的に示し、添付の図における類似の参照番号は類似の要素を示している。
【図面の簡単な説明】
【0009】
【図1】HDCP事前認証システムを示す論理ブロック図である。
【図2】HDCPエンジンと対応するポートとの間の1対1比率を利用するHDCPエンジン対ポートシステムの実施形態を示す図である。
【図3】複数のソースからの複数のデータストリームを表示するための技術の実施形態を示す図である。
【図4A】プレビューシステムの実施形態を示す図である。
【図4B】ストリーム混合器の実施形態を示す図である。
【図5】複数のソースからの複数のデータストリームを表示するための処理の実施形態を示す図である。
【図6】本発明の実施形態を利用するネットワークコンピュータデバイスの構成要素の実施形態を示す図である。
【発明を実施するための形態】
【0010】
本発明の実施形態は、一般的に、複数の保護されたソースからのコンテンツをプレビューすることに関連する。一実施形態では、受信側デバイス(例えば、TV)が、複数の保護されたソース又はポート(例えば、HDMI又は非HDMI入力ポート)を通じて複数のフィードから受信した複数のコンテンツ(例えば、音声を有するビデオ画像)を表示する。表示される複数の画像の1つは、表示画面の殆どを含む1次画像(主HDMI又は非HDMIポートを通じて受信される)としての役割をし、他の画像は、表示画面の小さな区画又はインセットを占める(対応するロービングHDMI又は非HDMIポートを通じて受信される)2次画像として表示される。更なる詳細は、本明細書を通して説明する。ポートは、HDMI又は非HDMIポートを含むことができ、HDMIポートは、本明細書では単に実施例として簡潔さ及び明確さのために使用されるものとする。
【0011】
本明細書で使用される「ネットワーク」又は「通信ネットワーク」は、「シリアル・アドバンスト・テクノロジー・アタッチメント(SATA)」、「フレーム情報構造(FIS)」などのようなあらゆる数の技術を使用するデバイス間でデジタルメディアコンテンツ(音楽、音声/ビデオ、ゲーム、写真などを含む)を配信するための相互接続ネットワークを意味する。娯楽ネットワークは、家庭におけるネットワークのような個人娯楽ネットワーク、職場環境におけるネットワーク、又はデバイス及び/又は構成要素のあらゆる他のネットワークを含むことができる。ネットワークは、「ローカルエリアネットワーク(LAN)」、「ワイドエリアネットワーク(WAN)」、「都市エリアネットワーク(MAN)」、イントラネット、「インターネット」などを含む。ネットワーク上では、デジタルテレビジョンチューナ、ケーブルセットトップボックス、手持ち式デバイス(例えば、携帯情報端末(PDA))、ビデオストレージサーバ、及び他のソースデバイスのような特定のネットワークデバイスをメディアコンテンツのソースとすることができる。デジタルテレビジョン、ホームシアターシステム、オーディオシステム、ゲームシステム、及び他のデバイスのような他のデバイスは、メディアコンテンツを表示又は使用することができる。更に、ビデオ及びオーディオストレージサーバのようなある一定のデバイスに、メディアコンテンツを格納又は転送させることができる。ある一定のデバイスは、ケーブルセットトップボックスが受信機デバイス(ケーブルヘッドエンドから情報を受信する)、並びに送信機デバイス(TVに情報を送信する)として及びその逆も同様に機能することができるように、複数の媒体機能を実行することができる。ネットワークデバイスは、単一のローカルエリアネットワーク上に同一場所で配置することができ、又はローカルエリアネットワーク間のトンネリングなどを通じて複数のネットワーク部分にわたって跨がることができる。ネットワークはまた、複数のデータ符号化及び暗号処理を含むことができ、同時に固有署名認証及び固有識別(ID)比較のような認証処理を識別することができる。
【0012】
コンテンツ送信−受信方式において、互いに通信するデバイスを検出、検証、及び認証するために様々なツール(例えば、取消リスト)が使用される。これらのデバイスは、デジタル多機能ディスク又はデジタルビデオディスク(DVD)プレーヤ、コンパクトディスク(CD)プレーヤ、TV、コンピュータなどのような媒体デバイスを含む。例えば、送信側デバイス(例えば、DVDプレーヤ)は、受信側デバイスが送信側デバイスから高価な保護されたメディアコンテンツを受信するのに適正か又は資格があるか否かを判断するために受信側デバイス(例えば、TV)を認証するためのこのようなツールを使用することができる。同様に、受信側デバイスは、送信側デバイスから保護されたメディアコンテンツを受け入れる前に送信側デバイスを認証する。このような認証処理の待ち時間を回避するために、デバイスの事前認証が行われる。
【0013】
「事前認証」は、入力間をより迅速に切り換えられるようにするためにHDMIスイッチ製品を含むデバイスの機能を示すために本明細書で使用される用語である。この用語は、切り換えた後の代わりに入力に切り換える前に必要なHDCP認証の実行を説明している。従って、認証に関連した重大な遅延は、前景の代わりに作動の背景に隠れていることがある。
【0014】
HDCP受信機がスレーブデバイスであると考えられるので、HDCP受信機は、いずれの要求又はステータスを送信機に明示的に信号送信することを期待されない。「壊れた」回線でも、一般的には、Riシーケンスを意図的に「壊す」ことによって暗黙的に(かつむしろ荒く)信号送信される(リンクが安全に同期化されているか否かをTxが検査した時の受信機(Rx)から送信機(Tx)への応答)。様々なHDCP送信機が存在する。これらの多くは、固有の奇妙な挙動を示すことがある。事前認証が対処する遅延の多くは、受信機によってではなく、これらの送信機の癖によって起こる。理想的には、送信機は、これらの性能問題を現実的に回避するために修正されることになるが、これを期待することができず、従って、事前認証は、データストリーム作動において有意な価値を提供することができる。
【0015】
HDCP同期に関して、一般的に、HDCP受信機は、送信機に同期させておくために2つの事柄を必要とする:(1)受信機は、フレーム境界の場所を知っている;及び(2)受信機は、これらのフレームのどれが、フレームが暗号化されていることを示す信号(例えば、CTL3)を含むかを知っている。「CTL3」は、解説し易いように簡潔さ及び明確さのために、いずれの制限もない暗号化インジケータの例として使用される。
【0016】
図1は、HDCP事前認証システム100の実施形態を示している。図示のHDCP事前認証システム100は、1つの入力ポート毎に専用HDCPエンジンブロック104−108、120を含むHDCP(事前認証)デバイス101を含む。一般的に、開ループ暗号がいずれの解読も行わない時でも、あらゆる場合に正常なHDCP論理が使用される。これは、再キーイング機能が、分散を最大にするためにHDCP論理を使用するためである。更に、開ループHDCPエンジン104−108は、フレーム境界が開ループモードで実行している間にフレーム速度をロックして進行情報を提供するために、位相ロックループ(PLL)110−114又はPLLのような回路を使用する。
【0017】
開ループ論理に基本的な情報を継続して提供するために、単一の専用「遷移最小化差分信号送信(TMDS)」受信機116(例えば、ロービング受信機)を使用することができる。このロービング受信機116は、現在未使用の入力を通じて循環し、フレーム境界を見出し(対応するPLL110−114がロックすることができるように)、更に認証が起こった時に第1のCTL3信号を見出す。場合によっては、これは、本質的に単にVSYNC及びCTL3インジケータを必要とするので、TMDS受信機116の解体バージョンとすることができる。
【0018】
更に、主/通常TVデータ経路132は、従来のスイッチ製品と同じ方式で機能することができる。作動において、入力ポートの1つを主/通常データ経路132に対して選択することができ、データストリームは、必要に応じて復号及び解読され(着信暗号化データからオリジナル音声/ビデオ(A/V)データを取り出すための解読)、次に、デバイスの残りを通じて経路指定される。
【0019】
ロービング受信機116は、一度に1つ、現在アイドルのポート(すなわち、見るためにユーザによって選択されたものを除く全てのポート)をサンプリングする。これは、処理を制御するために状態機械又は(恐らくは)ある種類のマイクロコントローラを必要とする。初期作動シーケンスは、一般的に以下の通りである:(1)ロービング受信機116が、未使用入力ポート(すなわち、見るためにユーザによって選択されていないポート)に接続され、ビデオに対してこれをモニタする;(2)HDCPエンジン104−108が、同様にポートに接続され、これは、I2Cバスが接続されていることを意味する(例えば、I2Cがリンク同期検査のためのTxとRx間の付加的な通信チャンネルとして見なされている)。これはまた、送信及びHDCP認証を受け取る準備ができていることをソースに示すための信号伝達ホットプラグを意味することができる。これはまた、「拡張表示識別データ(EDID)」情報の転送を容易にすることができるが、これは、本発明の開示の範囲を超えるものである;(3)ビデオが安定している時に、ロービング受信機116が、PLLをフレーム境界に整列させるために情報を提供し;(4)状態機械又はマイクロコントローラが、HDCP認証が始まる期間を待機する。HDCP認証が始まった場合、認証が完了し、第1のCTL3信号が受信されるまで待ち続ける;(5)HDCPブロックが、PLLからの情報だけを使用して「フレーム」を数える開ループ機能で循環し続ける。I2Cポートは接続したままであり、受信機が接続されていることをホットプラグ信号が示し続ける;(6)次に、ロービング受信機116が、次のポートに対して継続され、同じ作動を実行する。一部の実施形態では、ロービング受信機116が全てのポートを始動した状態で、ロービング受信機116は、次に、サービスループに進み、各ポートを順々に検査する。
【0020】
図示のシステム100は、「時分割多重送信(TDM)」技術を通じて背景で1つずつ各ポート124−130を選択するためにm個のポートを収容することができる。選択されたポート124−130からのHDMI信号は、事前認証のために使用される。その固有のHDCPエンジン104−108を有する各ロービングポート124−128は、各ロービングポート124−128が主ポート130を置換するように選択される変化に待機するように主ポート130に同期化される。従って、ロービングパイプは、1つずつ全ての背景ポート124−128からHDMI信号を取得し、これらを事前認証して待機する。
【0021】
図2は、HDCPエンジン202−208と対応するポート210−216との間の1対1比率を利用するHDCPエンジン対ポートシステム200の実施形態を示している。図示のシステム200は、1対1比率でポート210−216に対応する4つのHDCPエンジン202−208を含み、例えば、各HDCPエンジン202−208は、単一のポート210−216に対応する。システム200は、更に、主パイプ又は経路218としてポート1(210)を示し、これは、HDCPエンジン1(202)に関連付けられている。他の経路2−3(204−206)は、ロービングパイプ又は経路220であり、HDCPエンジン2−4(204−208)に関連付けられている。パイプ及び経路という用語は、本明細書を通して同じ意味で使用されることに注意されたい。主経路218のHDCPエンジン202は、各ピクセル(ビデオ及びオーディオデータを解読及び取得するために)及び同期(Tx及びRxがコンテンツの暗号及び解読のために使用される共有キーを変更した全てのフレーム境界を示す再キーイング)のために機能する。これは、キーが多くのデータに使用されないようにするためである。例えば、第1の28フレームで、Tx及びRxはキーの残りを交換し、HDCPにおけるRi検査と呼ぶリンクの同期を検査し、同時にロービング経路220のHDCPエンジン204−208は、同期(例えば、再キーイング)及びアイドルのために機能する。
【0022】
ロービング経路220のHDCPエンジン202−208は、受信機(Rx)が同期化されていることを送信機(Tx)に信頼させるために使用されるRi値を同期するためにのみ短時間(例えば、再キーイング処理を実行する)機能する。換言すると、HDCPエンジン204−208は、同期期間だけ必要とされ、かつ機能し、その期間の残りは、HDCPエンジン202が機能し続けている間は期間の残りに更に使用されることなくアイドルになる。
【0023】
図3は、複数のソース302−310からの複数のデータストリーム312−320を表示するための技術の実施形態を示している。一実施形態では、プレビューシステム324は、図1−2の事前認証及びロービング技術を利用して、受信側デバイス(例えば、テレビジョン)322に複数のデータストリーム312−320を表示する。複数の画面を通して表示される各データストリーム(例えば、ビデオデータ/コンテンツ/プログラム)は、個別のHDMI入力ソース/ポート302−310から受信される。一実施形態では、事前認証及びロービング機能を有するデータストリーム312−320は、主HDMIポートからの主データだけでなく(対応する主ポートとしてHDMI入力ポート302が機能すると仮定する)、次に、ロービングスナップショットとして縮小される1つ又はそれよりも多くのロービングHDMIポートから抽出されたロービングデータを含む(HDMI入力ポート304−310が対応するロービングポートとして機能すると仮定する)。ロービングポート304−310からのこれらのロービングスナップショットは、次に、主ポート302からの主データ画像に融合され、それによって視聴者は、本明細書に図示のように、受信側デバイス322のビデオ表示画面上のフル主画像として主ポートベースのデータストリーム312、及びインセットビデオ表示画面の対応する数を通じたロービングスナップショットとしてロービングポートベースのデータストリーク314−320を見る。
【0024】
説明する事前認証技術を使用すると、全てのポート、すなわち、主HDMIポート302、並びにロービングHDMIポート304−310を含む全てのポートの事前認証が実行される。例えば、ロービングポート304−310の事前認証は、背景で実行することができ、それによって各ロービングポート304−310は、主ポートとして機能する必要がある場合は(現在機能している主ポート302を置換するために)、いつでも認証され利用可能のままであり、同時にデータ/コンテンツが全てのポート302−310から抽出される。
【0025】
ロービングポートベースのデータストリーム(ロービングデータストリーム/画像)314−320の解像度の差及びその対応するクロック、SYNCなどのために、ロービングポート304−310から来る各ロービングデータストリーム314−320の各サブ画像は、フレームバッファに格納される。他方、主ポートベースのデータストリームの画像(主データストリーム/画像)312は、その相対的に大きなサイズのために(例えば、1080p/24bppに対して約6MB)フレームバッファに収めることができず、代わりに、主画像ピクセルは、主画像に対してフレームバッファを使用しないオンザフライのロービングサブ画像(例えば、上述のスナップショット)のピクセルと共に配置される。一実施形態では、ロービングサブ画像314−320は、主画像312に準拠し、かつ正確な位置で主画像312に入るように変換され、それによってユーザは、本明細書で図示のように、1つの画面(画面インセットを含む)で主ポート302及びロービングポート304−310それぞれからの主画像312及びロービングサブ画像314−320を含む全てのビデオフレームを見ることができる。
【0026】
図4Aは、プレビューシステム324の実施形態を示している。図示のプレビューシステム324は、ストリーム抽出器402、サブフレームハンドラ404、ストリーム混合器406、及びTxインターフェイス408を含む4つの主な部分を含む。ストリーム抽出器402は、2つのデータストリーム、すなわち、主ポート(例えば、主HDMIポート302)に関する主ポート(MP)データストリーム410及び対応する数のロービングポート(ロービングHDMIポート304−310など)に関するいくつかのロービングポート(RP)データストリーム412に生成される複数のHDMI入力(例えば、図3のHDMIポート302−310)を受信する。MPデータストリーム410は、受信機デバイスに関連付けられた表示画面にMP画像を提供するのに使用され、このMP画像は、更に対応するロービングポートから抽出されるロービングデータストリームから抽出されたサブ画像のプレビュー(例えば、スナップショット)を含む。MPデータストリーム410はまた、主画像及びサブ画像に関連付けられたオーディオ及び他の制御/情報パケットを収容する。
【0027】
図示のように、いずれの関連のMP情報414も生成されてMPデータストリーム410に関連付けられる。RPデータストリーム412は、時分割でロービングポートから受信されるロービング画像のスナップショットを有する複数のストリームを生成し、同時に背景で事前に認証されたロービングHDCPポートを維持する。RPデータストリーム412のいずれの制御/情報パケットも使用することができるが、TVへのダウンストリームには転送できない。MPデータストリーム410及びその対応するMP情報ストリーム414に関して、関連のRP情報ストリーム416も生成され、RPデータストリーム412に関連付けられる。これらのMP及びRP情報ストリーム414、416は、関連のビデオ情報(例えば、色深度、解像度など)、並びにMP、RPデータストリーム410、412に関するオーディオ情報を含むことができる。主パイプ(主ポートに関連付けられる)及びロービングパイプ(ロービングポートに関連付けられる)は、HDCP解読器428及び436及び制御/情報パケット(例えば、データアイランド(DI)パケット)分析器430及び438を含み、音声/映像(AV)データストリーム及びその関連の情報ストリーム(例えば、解像度、色深度(色を表現するのに使用されているビットの数))を生成し、必要に応じて背景で可能な劣悪なHDCP状況を検出してHDCP認証426又は事前認証を再初期化する。
【0028】
図示のように、MP及びRPに関するHDCP解読器428、436及びDIパケット分析器430、438の両方は、そのそれぞれの出力データストリーム410、412及びその関連の情報ストリーム414、416を処理及び生成するためのその対応するDPLL422、432及びパケット分析器424、434に結合される。ストリーム抽出器402は、更に、アナログコア418及びマルチプレクサ420、並びにHDCP再初期化器426、ポート変更制御構成要素440、及びm個のHDCPエンジン442を含み、m個のポートの認証を助ける。各選択されたポートからのいずれのHDMI信号も、次に、事前認証のために使用される。ストリーム抽出器402及びその機能の例示的な構成要素を図1に更に説明している。
【0029】
ストリーム抽出器402を離れた後のMPストリーム410、414は、ストリーム混合器406に入り、RPストリーム412、416は、サブフレームハンドラ404に入る。サブフレームハンドラ404は、RPストリーム412、416を通じて背景ロービングポートの画像を捕捉する。RPストリーム412、416は、RPストリーム412、416から色深度情報毎にピクセルを抽出する深色処理構成要素446で受信される。ピクセルの抽出が実行された状態で、色変換構成要素448を使用してピクセルの色変換が実行され、サブサンプリング/ダウンスケーリング論理450を通じて各解像度毎にダウンサンプリングを実行することが続き、次に圧縮が行われ(「離散コサイン変換(DCT)」/「実行長符号化(RLC)」論理454を使用して)次に、結果が入力バッファ462におけるフレームメモリに格納される。MP画像の各フレームに対して、圧縮された画像がフレームバッファ460から取り出され、次に解凍され、IDCT「逆離散コサイン変換(IDCT)」及び「実行長復号(RLD)」を通じて出力バッファ456に入れられ、適切な時間にストリーム混合器406に提供される。サブ画像は、ロービングパイプがポートに戻る度に更新され、コンテンツが更新されるまで同じ画像が何度も送信される。
【0030】
深色処理構成要素446は、RP情報ストリーム416を通じてRPの色深度情報(すなわち、ピクセルにおける各色を表すのに使用されるビットの数)を使用してピクセル境界を検出し、有効な信号を有するそのピクセルを抽出する。抽出されたピクセルは、色変換構成要素448を通じて色変換を通過する。
【0031】
論理450は、サブサンプリング/ダウンスケーリングを実行する(すなわち、ピクチャサイズを縮小する)。サブサンプリング/ダウンスケーリング比率は、主ポートの解像度、ビデオフォーマット(例えば、インターレーシング)、及び画像複製と、ロービングポートのそれらのものとによって判断される。各ポートがビデオソースの異なるサイズを有する時に、そのダウンサイジング率も異なる。例えば、1080p画像に対するピクセルの数は、主画像解像度に関わらずインセット表示(PV、プレビューと呼ぶ)の同じサイズを保護するために480p画像に対してよりも大きい。サブサンプリング/ダウンスケーリングされたピクセルは、ラインバッファ452の1つに入れられ、他のラインバッファ452のコンテンツは、それに続くブロックによって使用される(例えば、二重バッファ方式)。各ラインバッファ452は、それに続く作動(例えば、4x4DCT)に対してピクセルのいくつかのライン(例えば、4行)を含むことができる。DCT/RLC論理454でのDCT及びRLC(実行長符号化)は、新しいデータを取得していないラインバッファ452の1つからピクセルデータ(例えば、4x4ピクセルデータ)を取得して圧縮を実行する。DCT/RLC論理454でのDCTのRLCからの結果である出力係数が入力バッファ462に入れられる。
【0032】
入力バッファ462のコンテンツ(例えば、1フレーム)は、現在のRPに割り当てられているフレームバッファ460のいくつかの(例えば、4)セグメントの1つに複写される。この複写は、いずれの引き裂き効果も阻止するために主画像の垂直同期(VS)時間の間に、かつRPデータのサンプリングが確実に実行された場合に行われる。IDCT/RLD(実行長復号)論理458は、出力ラインバッファ456の「空」ステータスをモニタし、これらが空になった場合に、IDCT/RLD論理458は、フレームバッファ460から係数の1ブロックを取得して解凍を実行する。この解凍の出力(例えば、4x4ブロックでのYCbCr)は、空である出力ラインバッファ456の1つに入る。この出力ラインバッファ456は、次に、ストリーム混合器406から各要求毎に1ピクセルデータを送出する。フレームバッファ460及び出力ラインバッファ456の各ポートへのいずれのセグメントの割り当ても、MP選択毎に動的に変更することができ、単にm−1セグメントを有するm個のポート内でm−1PV(例えば、プレビュー、インセット表示)を助ける。
【0033】
ここで図4Bを参照すると、ストリーム混合器406は、MPデータ及び情報ストリーム410、414を受信する。MPデータストリーム410がその関連のMP情報ストリーム414と共に受信された状態で、そのピクセル境界が境界検出論理468によって検出される。次に、境界検出論理468は、サブフレームハンドラ404の出力バッファ456からピクセルを受信し、次に、色変換構成要素472を使用して主色に対して色変換を実行する段階が続き、更にオンザフライであらゆるサブ画像の色変換ピクセルにMPデータストリーム410のピクセルを混合又は置換する段階が続く。一実施形態では、MPピクセルをRPのピクセルに混合又はこれで置換するこの新しい技術を使用して、インセット表示を有する画像が、MPデータストリーム410のためのフレームバッファを使用することなく生成される。
【0034】
境界検出論理468は、MP情報ストリーム414から得られたあらゆる深色(例えば、ピクセルにおける色毎のビットの数を表す色深度)情報を使用してピクセル境界を検出し、ピクセル座標(X、Yなど)及びあらゆる関連のピクセル境界情報(例えば、Pos、Amt)を生成する。RPピクセルフェッチブロック480が、RP画像からの1つのピクセルが望ましいか否かを評価及び判断し、要求される場合に、RPピクセルフェッチブロック480は、ピクセルデータ読取要求を出力ラインバッファ456に送出する。例えば、現在のピクセル座標(X、Y)がPV(インセット表示)範囲のいずれかにある場合を考えて(RPからのピクセルデータが必要とされているか否かを意味する)、以前に読み出されてまだ使用されていないRPの残りのピクセルデータが十分にある場合を考える(十分にない場合には、RPの新しいピクセルが必要になる)。出力ラインバッファ456からのピクセルデータは、例えば、1つのピクセルに対して2バイト(例えば、YCbCr422)であり、色変換構成要素472に進み、MP画像の色になる。色変換構成要素472の出力は、RPピクセルカットアンドペーストブロック478に入り、これは、次に、入力からビットの必要とされる量を抽出し、これは、次に、新しいピクセル計算ブロック476に入り、MP情報ストリーム414から得られたピクセルに融合され、次に、融合された最終ピクセルになる。最終ピクセルは、新しいピクセルインセットブロック474でMP情報ストリーム414によって提供されたピクセルを置換する。新しいピクセルインセットブロック474は、新しいMPストリーム482を生成及び提供する。これらの処理において、いずれのサブ画像も、主画像に準拠するように変換され、その適切な位置で主画像に入れられる。例えば、主画像とロービング画像の両方の色深度、異なる色空間(例えば、YCbCr対RGB)、ピクセル反復、インターリーブ対進行、異なる解像度、及びビデオフォーマットが考慮される。
【0035】
図4Aを参照すると、新しいMPストリーム482は、TMDS符号化器464を使用してストリームのTMDS符号化を提供するTxインターフェイス408を通過する出力として機能し、「先入れ先出し(FIFO)」ブロック466は、Txアナログブロックを備えたインターフェイスに対してFIFOでMPストリーム482を配置する。新しいMPストリーム482は、次に、TXアナログコア484に送信することができる。MPストリーム482は、主画像、並びにロービングサブ画像を含み、これらの画像(ビデオ及び/又はオーディオを有する)は、主デバイスが、画面の殆どを占め、ロービングサブ画像が小さなインセット画面上に表示されるように、表示/最終受信側デバイス(例えば、TV)によって表示される。
【0036】
図5は、複数のソースからの複数のデータストリームを表示するための処理の実施形態を示している。一実施形態では、ストリーム抽出器は、いくつかの入力ポート(例えば、HDMI主ポート及び1つ又はそれよりも多くのHDMIロービングポートを含む)に結合される。ストリーム抽出器は、2つのデータストリーム、すなわち、主ポートに関するMPデータストリーム(MP_STRM)及びロービングポートに関するRPデータストリーム(RP_STRM)を処理ブロック502で生成するのに使用される。ストリーム抽出器は、一度に1つのロービングポートでいくつかのロービングポートの各1つに対してこの機能を繰返し実行する。処理ブロック504で、ストリーム抽出器と通信するサブフレームハンドラは、ロービングポートに関連付けられたRPデータストリームを縮小する。処理ブロック506で、サブフレームハンドラは、スケーリングされたロービングポートデータストリームの圧縮を実行し、次に、これを内部バッファに格納する。
【0037】
処理ブロック508で、ストリーム抽出器と通信するストリーム混合器は、MPデータストリームを受信し、その係数座標(例えば、X、Y)を計算する。判断ブロック510で、ストリーム混合器は、(X、Y)座標をユーザによって提供されたプレビュー画像の範囲と比較し、(X、Y)座標がプレビュー画像範囲にあるか否かを判断する。(X、Y)座標がプレビュー画像範囲にある場合、ストリーム混合器は、処理ブロック512でサブフレームハンドラに1つのピクセルデータを要求する。そうでない場合、処理は、処理ブロック508に続く。サブフレームハンドラがストリーム混合器から要求を取得した場合、サブフレームハンドラは、処理ブロック514でその内部バッファから現在の(X、Y)座標に対応するいくつかのプレビュー画像の1つを取り出す。
【0038】
処理ブロック516で、サブフレームハンドラは、以前に圧縮されたRPデータストリームを解凍し、その要求に対してストリーム混合器にピクセルを送信する。処理ブロック518で、ストリーム混合器は、次に、MPデータストリームのピクセルに従ってサブフレームハンドラから受信したピクセルのピクセルフォーマットを変換するのに使用される(例えば、その色変換論理を使用した色変換)。処理ブロック520で、ストリーム混合器は、受信したピクセルをMPデータストリームに入れる(MPデータストリームのピクセルをそのピクセル融合器を使用してプレビュー画像のピクセルで置換する)。
【0039】
以前に開示したように、HDMIポートは、単に一例としてかつ簡潔さと明確さのために説明されたものであり、他の非HDMIポートも使用及び利用することができると考えられている。例えば、古いレガシーアナログ入力のようなビデオソースは、HDMIストリームに容易に変換してその中に含めることができる内部処理のためのTVにおけるRGB及び制御ストリームに変換される。従って、これらは、本明細書を通して示すものと同じ方法でプレビュー作動において処理することができる。更に、本明細書に説明する圧縮及び格納機構は、一例として使用され、簡潔さ及び明確さのために提供されている。様々な他の圧縮/解凍及び格納方式を本発明の1つ又はそれよりも多くの実施形態によるフレームワークで使用することができるように考えられている。
【0040】
図6は、本発明の実施形態を利用するネットワークコンピュータデバイス605の構成要素の実施形態の図である。この図では、ネットワークデバイス605は、以下に限定されるものではないが、テレビジョン、ケーブルセットトップボックス、ラジオ、DVDプレーヤ、CDプレーヤ、スマートフォン、ストレージユニット、ゲームコンソール、又は他の媒体デバイスを含むネットワークにおけるあらゆるデバイスとすることができる。一部の実施形態では、ネットワークデバイス605は、ネットワーク機能を提供するためのネットワークユニット610を含む。ネットワーク機能は、以下に限定されるものではないが、メディアコンテンツストリームの生成、転送、格納、及び受信を含む。ネットワークユニット610は、チップ上の単一のシステム(SoC)として又は複数の構成要素として実施することができる。
【0041】
一部の実施形態では、ネットワークユニット610は、データの処理のためのプロセッサを含む。データの処理は、媒体データストリームの生成、転送、又は格納における媒体データストリームの編集、及び使用ための媒体データストリームの解読及び復号を含むことができる。ネットワークデバイスはまた、DRAM(動的ランダムアクセスメモリ)620又は他の類似のメモリ及びフラッシュメモリ625又は他の不揮発性メモリのようなネットワーク作動を助けるためのメモリを含むことができる。
【0042】
ネットワークデバイス605はまた、1つ又はそれよりも多くのネットワークインターフェイス655をそれぞれ介したネットワーク上のデータの送信又はネットワークからのデータの受信のための送信機630及び/又は受信機640を含むことができる。送信機630又は受信機640は、例えば、「イーサネット(登録商標)」ケーブル650、同軸ケーブルを含む有線送信ケーブル、又は無線ユニットに接続することができる。送信機630又は受信機640は、データ送信用回線635及びデータ受信用回線645のような1つ又はそれよりも多くの回線によってデータ転送及び制御信号のためのネットワークユニット610に接続することができる。付加的な接続も備えることができる。ネットワークデバイス605はまた、本明細書には例示されていないデバイスの媒体作動のための多数の構成要素を含むことができる。
【0043】
以上の説明では、解説の目的のために本発明の完全な理解を提供するための多数の特定の詳細が示されている。しかし、これらの特定の詳細のいくつかがなくても本発明を実施することができることは当業者には明らかであろう。他の例において、公知の構造及びデバイスは、ブロック図の形式で示されている。図示の構成要素の間に中間構造が存在する場合がある。本明細書で説明又は例示した構成要素は、例示又は説明していない付加的な入力又は出力を有することができる。
【0044】
本発明の様々な実施形態は、様々な処理を含むことができる。これらの処理は、ハードウエア構成要素によって実行することができ、又は命令によってプログラムされた汎用又は専用プロセッサ又は論理回路に処理を実行させるために使用することができるコンピュータプログラム又は機械実行可能命令に具現化することができる。代替的に、ハードウエア及びソフトウエアの組合せによって処理を実行することができる。
【0045】
ポート乗算器拡張機構の実施形態内に示されるか又はこれに関連付けられるような本明細書を通して説明する1つ又はそれよりも多くのモジュール、構成要素、又は要素は、ハードウエア、ソフトウエア、及び/又はその組合せを含むことができる。モジュールがソフトウエアを含む場合、ソフトウエアデータ、命令、及び/又は構成を機械/電子デバイス/ハードウエア毎に製造物品を通じて提供することができる。製造物品は、命令、データなどを提供するためにコンテンツを有する機械アクセス可能/可読媒体を含むことができる。コンテンツは、電子デバイス、例えば、説明する様々な作動又は実行を実施する本明細書に説明するファイラ、ディスク、又はディスクコントローラをもたらすことができる。
【0046】
本発明の様々な実施形態の各部分は、本発明の実施形態による処理を実行するためのコンピュータ(又は他の電子デバイス)をプログラムするために使用することができるコンピュータプログラム命令を格納するコンピュータ可読媒体を含むことができるコンピュータプログラム製品として提供することができる。機械可読媒体は、以下に限定されるものではないが、フロッピー(登録商標)ディスケット、光学ディスク、コンパクトディスク読取専用メモリ(CD−ROM)、及び磁気光学ディスク、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブル読取専用メモリ(EPROM)、電気的EPROM(EEPROM)、磁力又は光カード、フラッシュメモリ、又は電子命令を格納するのに適する媒体/機械可読媒体の他の種類を含むことができる。更に、本発明はまた、コンピュータプログラム製品としてダウンロードすることができ、リモートコンピュータから要求側コンピュータにプログラムを転送することができる。
【0047】
本方法の多くは、その最も基本的な形式で説明したが、本発明の基本的な範囲から逸脱することなく、処理は、方法のいずれかに追加又は方法のいずれかから削除することができ、情報は、説明したメッセージのいずれかに追加又は説明したメッセージのいずれかから取り除くことができる。多くの更に別の修正及び適応化を実施することができることは当業者には明らかであろう。特定的な実施形態は、本発明を制限ではなく例示するために提供されている。本発明の実施形態の範囲は、上記に提供した特定的な実施例によってではなく特許請求の範囲によってのみ判断されるものとする。
【0048】
要素「A」が、要素「B」に接続又はこれに結合されているとされる場合、要素Aは、要素Bに直接に接続又は例えば要素「C」を通じて間接的に接続することができる。構成要素、特徴、構造、処理、又は特性「A」が、構成要素、特徴、構造、処理、又は特性Bを「引き起こす」と本明細書又は特許請求の範囲が説明する時、これは、「A」が「B」の少なくとも部分的な原因であるが、「B」を引き起こすことを助ける少なくとも1つの他の構成要素、特徴、構造、処理、又は特性を存在させることができることを意味する。構成要素、特徴、構造、処理、又は特性を含めることが「できる場合がある」、「できる場合があると考えられる」、又は「できると考えられる」ことを示す場合、その特定の構成要素、特徴、構造、処理、又は特性は、含まれる必要はない。本明細書又は特許請求の範囲が「a」又は「an」要素に言及する場合、これは、説明した要素が1つのみであることを意味しない。
【0049】
実施形態は、本発明の実施又は例である。本明細書における「実施形態」、「一実施形態」、「一部の実施形態」、又は「他の実施形態」への言及は、実施形態に関して説明した特定の特徴、構造、又は特性が少なくとも一部の実施形態に含まれるが、必ずしも全ての実施形態に含まれるものではないことを意味する。「実施形態」、「一実施形態」、又は「一部の実施形態」の様々な出現は、必ずしも全て同じ実施形態を指すものではない。本発明の例示的な実施形態の以上の説明において、様々な特徴は、本発明の開示を整理して様々な発明的態様の1つ又はそれよりも多くの理解を助ける目的で本発明の単一の実施形態、図、又は説明に一緒に分類される場合もあることを理解すべきである。しかし、この開示した方法は、各特許請求の範囲に明示的に説明するより多くの特徴を特許請求する発明が要求するという意図を反映するように解釈すべきではない。むしろ、特許請求の範囲が反映するように、本発明の態様は、単一の上述の開示した実施形態の全ての特徴に満たないものにある。従って、特許請求の範囲は、これによって本明細書に明示的に組み込まれ、各特許請求の範囲は、本発明の個別の実施形態として成り立っている。
【符号の説明】
【0050】
302 HDMI入力
312 データストリーム
322 受信側デバイス
324 プレビューシステム

【特許請求の範囲】
【請求項1】
表示画面上に表示される1次画像を有し、1次ポートに関連付けられた1次データストリームを生成する段階と、
前記1次ポートに結合された複数の2次ポートに関連付けられ、該複数の2次ポートから受信した複数の2次画像を有する2次データストリームを生成する段階と、
前記1次画像を有し、更に複数のプレビュー画像として前記複数の2次画像を有する表示データストリーム内に前記1次データストリームを有する前記2次データストリームを融合する段階と、
前記1次画像及び前記複数のプレビュー画像を前記表示画面上に表示し、該複数のプレビュー画像の各々が該表示画面上のインセット画面を通じて表示される段階と、
を含むことを特徴とする方法。
【請求項2】
前記1次ポートは、主ポートを含み、
前記複数の2次ポートは、複数のロービングポートを含む、
ことを特徴とする請求項1に記載の方法。
【請求項3】
各ロービングポートがサービス提供の待機をすることができるように前記主ポートが前記1次ポートのままである間に背景で該ロービングポートを事前認証する段階を更に含むことを特徴とする請求項2に記載の方法。
【請求項4】
前記2次データストリームを処理する段階を更に含み、
処理する段階は、色深度毎にピクセルを抽出する段階、解像度毎に色変換及びダウンサンプリング/ダウンスケーリングを実行する段階、及び前記2次データストリームを圧縮及び格納する段階を含む、
ことを特徴とする請求項1に記載の方法。
【請求項5】
前記1次データストリームを処理する段階を更に含み、
処理する段階は、ピクセル境界を検出する段階及びピクセルを検出する段階を含む、
ことを特徴とする請求項1に記載の方法。
【請求項6】
前記2次データストリームの2次ピクセルを受信する段階と、
前記1次データストリームの1次ピクセルの色深度フォーマット設定に続いて前記2次ピクセルを色変換する段階と、
前記1次ピクセルを前記2次ピクセルに融合又はそれと置換する段階と、
を更に含むことを特徴とする請求項1に記載の方法。
【請求項7】
前記色変換された2次ピクセルを前記1次ピクセルに融合して表示ピクセルを生成する段階と、
前記表示ピクセルを含む前記表示データストリーム内にサブ画像として前記複数の2次画像を挿入する段階と、
を更に含むことを特徴とする請求項1に記載の方法。
【請求項8】
ストレージ媒体と該ストレージ媒体に結合されたプロセッサとを有するデータ処理デバイスであって、該プロセッサが、
表示画面上に表示される1次画像を有し、1次ポートに関連付けられた1次データストリームを生成し、
前記1次ポートに結合された複数の2次ポートに関連付けられ、該複数の2次ポートから受信した複数の2次画像を有する2次データストリームを生成し、
前記1次画像を有し、更に複数のプレビュー画像として前記複数の2次画像を有する表示データストリーム内に前記1次データストリームを有する前記2次データストリームを融合する、
前記データ処理デバイスと、
前記データ処理デバイスに結合された表示デバイスであって、該表示デバイスが、
前記1次画像及び前記複数のプレビュー画像を前記表示画面上に表示し、該複数のプレビュー画像の各々が該表示画面上のインセット画面を通じて表示される、
前記表示デバイスと、
を含むことを特徴とするシステム。
【請求項9】
前記1次ポートは、主ポートを含み、
前記複数の2次ポートは、複数のロービングポートを含む、
ことを特徴とする請求項8に記載のシステム。
【請求項10】
前記プロセッサは、更に、各ロービングポートがサービス提供の待機をするように前記主ポートが前記1次ポートのままである間に背景で該ロービングポートを事前認証するためのものであることを特徴とする請求項9に記載のシステム。
【請求項11】
前記プロセッサは、更に、前記2次データストリームを処理するためのものであり、
処理は、色深度毎にピクセルを抽出すること、解像度毎に色変換及びダウンサンプリング/ダウンスケーリングを実行すること、及び前記2次データストリームを圧縮及び格納することを含む、
ことを特徴とする請求項8に記載のシステム。
【請求項12】
前記プロセッサは、更に、前記1次データストリームを処理するためのものであり、
処理は、ピクセル境界を検出すること及びピクセルを検出することを含む、
ことを特徴とする請求項8に記載のシステム。
【請求項13】
前記プロセッサは、更に、
前記2次データストリームの2次ピクセルを受信し、
前記1次データストリームの1次ピクセルの色深度フォーマット設定に続いて前記2次ピクセルを色変換し、かつ
前記1次ピクセルを前記2次ピクセルに融合又はそれと置換する、
ためのものである、
ことを特徴とする請求項8に記載のシステム。
【請求項14】
前記プロセッサは、更に、
前記色変換された2次ピクセルを前記1次ピクセルに融合して表示ピクセルを生成し、かつ
前記表示ピクセルを含む前記表示データストリーム内にサブ画像として前記複数の2次画像を挿入する、
ためのものである、
ことを特徴とする請求項8に記載のシステム。
【請求項15】
ストレージ媒体を有するデータ処理デバイスと、
前記ストレージ媒体に結合されたプロセッサと、
を含み、
前記プロセッサは、
表示画面上に表示される1次画像を有し、1次ポートに関連付けられた1次データストリームを生成し、
前記1次ポートに結合された複数の2次ポートに関連付けられ、該複数の2次ポートから受信した複数の2次画像を有する2次データストリームを生成し、かつ
前記1次画像を有し、更に複数のプレビュー画像として前記複数の2次画像を有する表示データストリーム内に前記1次データストリームを有する前記2次データストリームを融合する、
ことを特徴とする装置。
【請求項16】
前記データ処理デバイスに結合された表示デバイスを更に含み、該表示デバイスは、前記表示画面上に前記1次画像及び前記複数のプレビュー画像を表示し、該複数のプレビュー画像の各々が、該表示画面上のインセット画面を通じて表示されることを特徴とする請求項15に記載の装置。
【請求項17】
前記1次ポートは、主ポートを含み、
前記複数の2次ポートは、複数のロービングポートを含む、
ことを特徴とする請求項16に記載の装置。
【請求項18】
前記プロセッサは、更に、各ロービングポートがサービス提供の待機をすることができるように前記主ポートが前記1次ポートのままである間に背景で該ロービングポートを事前認証するためのものであることを特徴とする請求項15に記載の装置。
【請求項19】
前記プロセッサは、更に、前記2次データストリームを処理するためのものであり、
処理は、色深度毎にピクセルを抽出すること、解像度毎に色変換及びダウンサンプリング/ダウンスケーリングを実行すること、及び前記2次データストリームを圧縮及び格納することを含む、
ことを特徴とする請求項15に記載の装置。
【請求項20】
前記プロセッサは、更に、前記1次データストリームを処理するためのものであり、
処理は、ピクセル境界を検出すること及びピクセルを検出することを含む、
ことを特徴とする請求項15に記載の装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate


【公表番号】特表2013−516840(P2013−516840A)
【公表日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2012−547145(P2012−547145)
【出願日】平成22年12月21日(2010.12.21)
【国際出願番号】PCT/US2010/061572
【国際公開番号】WO2011/090663
【国際公開日】平成23年7月28日(2011.7.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
2.EEPROM
【出願人】(504441048)シリコン イメージ,インコーポレイテッド (69)
【Fターム(参考)】