説明

メディア項目を編成、選択及び開始するためのズーム可能なグラフィカルユーザインタフェースを有する制御フレームワーク

【課題】多数のメディア項目及び新しいサービスのユーザへの供給を容易にする。
【解決手段】システム及び方法は、メディア項目の編成、選択及び開始を行なうための制御フレームワークを提供する。制御フレームワークは、ポインティング、クリック、スクロール、ホバー及びズームの基本的な制御基本命令群に対して、任意のフリースペースコントロールデバイスに結合されるグラフィカルユーザインタフェースを含む。これにより、例えば、映画、曲等のメディア項目を、大きな群又は小さな群から簡単に且つ迅速に選択できる。リモコンは、自然な手の動作及びジェスチャを適切なコマンドにマップする。この時、図形表示装置は、画像、詳細の増加/減少レベルに対するズーム及びGUIオブジェクトの連続性を使用して、ユーザに対して簡単なメディア項目の編成、選択及びナビゲーションを提供する。

【発明の詳細な説明】
【技術分野】
【0001】
背景
本発明は、メディア項目を編成、選択及び開始するためのフレームワークについて説明する。フレームワークの一部には、ポインティング、クリック、スクロール、ホバー及びズームの基本的構成ブロックを有するグラフィカルユーザインタフェース、特にフリースペースポインティングリモコンと共に使用されるメディア項目に関連するグラフィカルユーザインタフェースの設計及び動作を含む。
【背景技術】
【0002】
情報の通信に関連する技術は、過去数十年にわたり急速に発展してきた。テレビ、携帯電話通信、インターネット及び光通信技術(ここでは、数例のみ挙げる)は、利用可能な情報及びエンターテイメントの選択項目を消費者に大量に提供するために組み合わされる。例としてテレビを取り上げると、過去30年間に、有線テレビサービス、衛星テレビサービス、ペイ・パー・ビュー映画及びビデオオンデマンドが導入された。1960年代のテレビ視聴者は、通常、恐らく4つか5つの放送テレビチャンネルを視聴者のテレビ受信機に受信できたが、今日のTV視聴者は、数百及び場合によっては数千の番組チャンネル及び情報から選択する機会を有する。現在、主にホテル等で使用されているビデオオンデマンド技術により、数千の映画タイトルの中からホームエンターテイメントを選択できる可能性がある。TiVo, Inc., 2160 Gold Street, Alviso, CA 95002により提供されるようなデジタルビデオレコーディング(DVR)機器が、利用可能な選択範囲を更に拡張する。
【0003】
エンドユーザにそのように多くの情報及びコンテンツを提供する技術能力は、システム設計者及びサービスプロバイダに対して、機会と同時に課題も与える。1つの課題は、通常エンドユーザは少ない選択項目よりも多くの選択項目を好み、選択処理が迅速且つ単純であって欲しいと要望することである。しかし、エンドユーザがメディア項目にアクセスするために使用するシステム及びインタフェースが開発された結果、選択処理は迅速でも単純でもないものとなった。再度、テレビ番組の例を考慮する。テレビの発展段階にあった時、主に選択項目が少数である理由から、見る番組を決定することは比較的単純な処理であった。ユーザは、例えば、(1)隣接するテレビチャンネル、(2)これらのチャンネルに伝送されている番組、(3)日付/時間、の間の対応関係を示す一連の表としてフォーマットされ、印刷されたガイドを調べる。視聴者は、チューナのつまみを調整することにより、テレビを所望のチャンネルに同調させ、選択した番組を視聴した。後に、リモコンが導入され、視聴者は、距離を隔ててテレビを同調させることができるようになった。このユーザテレビインタフェースへの付加は、「チャンネルサーフィン」として知られる現象を引き起こした。それにより、視聴者は、多数のチャンネルで放送されている短い部分を迅速に視聴し、いつでも視聴可能な番組を迅速に知ることができた。
【0004】
チャンネル数及び視聴可能なコンテンツ量が劇的に増加したにも関わらず、通常利用可能なユーザインタフェース、並びにテレビに対するコントロールデバイスの選択及びフレームワークは、過去30年にわたり、それ程変化していない。現在でも印刷されたガイドが、番組情報を伝達するのに最も普及した方法である。現在でも、単純な上下の矢印を有するマルチボタンリモコンが、最も普及したチャンネル/コンテンツ選択方法である。入手可能なメディアコンテンツの増加に対して、TVユーザインタフェースを設計し実現する者の反応は、既存の選択手順及びインタフェースオブジェクトを単純に拡張することであった。従って、より多くのチャンネルを含むように、印刷されたガイドの表の列及び行の数が増加した。リモコン上のボタン数は、例えば図1に示すように、追加の機能及びコンテンツ処理を支援するために増加してきた。しかし、この方法により、視聴者が入手可能な情報を検討するために必要な時間が増加し、且つ選択を実現するのに必要な動作の複雑性が増加した。恐らく、既存のインタフェースの煩雑性は、ビデオオンデマンド等のいくつかのサービスの商業上の実現を妨害している。これは、消費者が、既に遅く複雑であると考えるインタフェースに対して複雑性を追加する新しいサービスに抵抗するからである。
【0005】
帯域幅及びコンテンツの増加に加え、ユーザインタフェースの障害の問題は、技術の集合により悪化している。消費者は、多数の別々の装置を購入するよりも一体型システムを購入できる選択肢に積極的に反応する。この動向の好適な例は、テレビ/VCR/DVDの組合せであり、以前は独立していた3つの装置が、今日、一体型ユニットとして一般に販売されている。現在、家庭で見られる通信装置の全てとはいかないまでも、その殆どが、例えばテレビ/VCR/DVD/インターネットアクセス/ラジオ/ステレオユニット等の一体型ユニットとして実装される結果となるまで、この動向は継続する。別々の装置を購入した消費者でも、それらの装置間の一貫した制御及び互換性を要求する。この集中した要求により、ユーザインタフェースは更に複雑となる可能性がある。例えば、TVリモコン及びVCRリモコンの機能を組み合わせるために、いわゆる「ユニバーサル」リモコンが導入された時、通常、これらユニバーサルリモコン上のボタン数は、TVリモコン及びVCRリモコンのいずれのボタン数よりも多かった。この追加されたボタンの数及び機能により、リモコン上の正確なボタンを捜さずに、TV又はVCRの最も単純な機能でないものを制御することは非常に困難となる。これらのユニバーサルリモコンは、多くの場合において、多くの制御レベル又はあるTVに固有の特徴にアクセスするのに十分なボタンを提供していない。この場合、元のデバイスリモコンも必要とされ、複数のリモコンを操作する本来の煩雑性は、集中した要求の複雑性から起こるユーザインタフェースの問題により依然として解決されない。リモコンの中には、エキスパートコマンドをプログラムできる「ソフト」ボタンを追加することにより、この問題に対処しているものもある。場合によっては、これらのソフトボタンは、その動作を示すために付属のLCD表示装置を有する。これは、TVから目を離してリモコンを見なければ、ボタンを使用することが困難であるという欠点を有する。これらリモコンにおける更に別の欠点は、ボタン数を減少するためにモードを使用することである。この「モード」ユニバーサルリモコンにおいて、リモコンがTV、DVDプレーヤ、ケーブルセットトップボックス、VCR等のいずれと通信すべきかを選択するための特別なボタンが存在する。これは、不適切な装置へのコマンドの送信、適切なモードであるかを確認するためにユーザにリモコンに視線を向けさせることを含む多くの操作性の問題を引き起こす。また、複数の装置の一体化に対して、簡単化が全く提供されない。最も高度化されたユニバーサルリモコンは、複数の装置に対する一連のコマンドをリモコンにプログラムすることをユーザに許可することにより、ある程度の統合を提供する。これは、多くのユーザが専門のインストーラにユニバーサルリモコンをプログラムしてもらう必要がある非常に困難なタスクである。
【0006】
エンドユーザとメディアシステムとの間の画面インタフェースを最新式にするための試みも、いくつかなされてきた。電子番組ガイド(EPG)が上述の媒体ガイドに代わるために開発され実現されてきた。初期のEPGは、実質的には印刷された媒体ガイドの電子複製を提供した。例えば、有線サービスオペレータは、専門のチャンネルでゆっくりスクロールするチャンネルのグリッド及び次の2時間等ある時間範囲にわたる関連番組を表示するアナログEPGを提供した。この方法で100チャンネルでもスクロールすることは退屈であり、例えば、ビデオオンデマンド等の有効な追加のコンテンツ配置を含むように縮尺変更することができない。更に高度なデジタルEPGが開発された。デジタルEPGにおいて、番組スケジュール情報及び必要に応じてアプリケーション/システムソフトウェアが、例えば、デジタルセットトップボックス(STB)等の専用のEPG機器に伝送される。デジタルEPGは、ローカル対話方式を提供する機能及びユーザと表示されるメディア項目の選択項目との間に1つ以上インタフェース層を介在させる機能により、メディアシステムに対するユーザインタフェースを設計する際に、更なる自由度を提供する。そのようなインタフェースの例は、Kamen et al.の米国特許第6,421,067号で参照され、その開示は、参考として本発明に取り入れられる。図2は、米国特許第6,421,067号において説明されるGUIを示す。同図において、Kamen et al.の特許によると、第1の欄190は、番組チャンネルを一覧表示し、第2の欄191は、現在放映中の番組を示す。欄192は、30分後に放映される番組を示し、第4の欄193は、その更に30分後に放映される番組を示す。野球のバットのアイコン121は、欄191及び192にわたっているため、野球の試合が欄192に対応する時間枠まで継続されることが予測されることを示す。しかし、テキストブロック111は、欄192まで達していない。これは、フットボールの試合が欄192に対応する時間枠まで延長しないことが予測されることを示す。図示するように、絵文字194は、フットボールの試合後、ABCが競馬を放映することを示す。図2に示されるアイコンは、不図示のカーソルを使用して操作され、例えば、選択した番組に関連する情報をダウンロードする等の種々の機能を実現できる。他のデジタルEPG及び関連するインタフェースは、例えば、米国特許第6,314,575号、米国特許第6,412,110号及び米国特許第6,577,350号において説明され、これら特許の開示もまた、参考として本発明に取り入れられる。
【0007】
しかし、上述のインタフェースは、複数ある欠点の中でも、大きなメディア項目群と小さなメディア項目群との間の倍率変更が容易にできないという点で不利である。例えば、項目リストに依存するインタフェースは、小さなメディア項目群に対しては十分に機能するであろうが、大きなメディア項目群を閲覧するには退屈となる。階層型のナビゲーション(例えば、木構造)に依存するインタフェースは、リストインタフェースより迅速に大きなメディア項目群を見ることができるが、小さなメディア項目群に対しては容易に適応できない。更に、ユーザは、木構造の3つ以上の層を移動しなければならない選択処理に興味を失う傾向がある。全てのこれらの場合において、現在のリモコンは、リスト又は階層をナビゲートするためにユーザに上下のボタンを繰り返し押下させることにより、この選択処理をする者を更に退屈させる。上下のページ移動等の選択スキップ制御が利用可能な場合、通常、ユーザは、これら特別なボタンを発見するためにリモコンを見る必要があるか、又はそれらの存在を知るために訓練される必要がある。
【0008】
従って、多数のメディア項目及び新しいサービスのユーザへの供給を容易にすることにより、エンドユーザ装置が利用可能な帯域幅の増加をサービスプロバイダが適切に利用することを可能にし、それと同時に、ユーザとメディアシステムとの間の制御及び画面インタフェースを簡単化し且つ選択処理を高速化する編成フレームワーク、技術及びシステムを提供することが望ましい。更に、閲覧されるメディア項目群のサイズに関わらず、簡単で迅速な選択経験を供給するインタフェースを提供することが望ましい。
【発明の概要】
【課題を解決するための手段】
【0009】
概要
本発明にかかるシステム及び方法は、メディア項目を編成、選択及び開始するための総合的な制御フレームワークを提供することにより、これらのニーズ及びその他に対して対処する。総合的な制御フレームワークは、簡単で迅速なメディア項目の選択を提供するユーザインタフェースフレームワークを含む。フレームワークの制御は、関連するグラフィカルユーザインタフェース上の選択項目をポインティング、クリック及びスクロールするための最小の一組のボタン及びスクロールホイールを含むフリースペースポインティングデバイスを採用できる。ポインタが選択項目上をホバーし且つ概要と詳細との画面間を円滑にナビゲートするために選択項目を拡大及び縮小する時、この好適なグラフィカルユーザインタフェース(GUI)は、画面上のポインタ及びグラフィカルアニメーションを使用して、ユーザにフィードバックを提供する。本発明の好適な実施形態は、ユーザによるナビゲーションを簡単化する画像、詳細のレベル増加/減少に対するズーム及びGUIオブジェクトの連続性を採用する。本発明によるグラフィカルユーザインタフェースは、仮想面においてメディア項目選択を編成する。類似する選択項目はグループ化される。最初に、インタフェースはその面の縮小したビューを提供し、殆どの場合、実際の選択項目の全詳細は、このレベルにおいて可視状態ではない。ユーザが内部に向けてズームするに従って、メディア項目グループ又は選択項目に関する更なる詳細が示される。異なるズームレベルにおいて、ユーザが選択項目グループ又は個々の選択項目を実行できるように、あるいは他の関連メディア項目を閲覧するために仮想面の別の部分へ移動できるように、異なる制御が利用可能である。
【0010】
本発明の好適な一実施形態によると、グラフィカルユーザインタフェースに情報を表示する方法は、第1の倍率で第1の複数の画像を表示するステップと、前記複数の画像のサブセットを識別する第1の選択指示を受信するステップと、第2の倍率で前記複数の画像の前記選択されたサブセットの第1のズームバージョンを表示するステップと、画像の前記サブセット内の1つの画像を識別する第2の選択指示を受信するステップと、少なくとも1つのユーザ操作可能な制御要素を含む前記識別された画像の第2のズームバージョンを表示するステップとを含む。この例における制御は、特定の所望するコマンドを判定する画面位置及び運動ベクトルの双方を規定するために、ジャイロスコープ又は他の機構を使用するフリースペースポインティングデバイスを含むことができる。また、「戻る」ボタンだけでなく「クリック」、すなわち選択するための一組のボタンも含まれる。
【0011】
本発明の別の好適な実施形態によると、グラフィカルユーザインタフェースは、第1の倍率で第1の複数の画像を表示する第1のGUI画面と、前記複数の画像のサブセットを識別する第1の選択指示を受信する手段と、第2の倍率で前記複数の画像の前記選択されたサブセットの第1のズームバージョンを表示する第2のGUI画面と、前記画像のサブセット内の1つの画像を識別する第2の選択指示を受信する手段と、少なくとも1つのユーザ操作可能な制御要素を含む前記識別された画像の前記第2のズームバージョンを表示する第3のGUI画面とを具備する。本発明の好適な実施形態に係るズーミンググラフィカルユーザインタフェースは、任意の深さ及びカテゴリのカテゴリに入れ子にされた画像のカテゴリを含むことができる。
添付の図面は、本発明の好適な実施形態を示す。
【図面の簡単な説明】
【0012】
【図1】娯楽システムに対する従来のリモコンを示す図である。
【図2】娯楽システムに対する従来のグラフィカルユーザインタフェースを示す図である。
【図3】本発明の好適な実施形態(表示装置及びリモコンの双方)が実現される好適なメディアシステムを示す図である。
【図4】図3のシステム制御器を更に詳細に示す図である。
【図5】、
【図6】、
【図7】、
【図8】本発明の好適な実施形態に係るメディアシステムに対するグラフィカルユーザインタフェースを示す図である。
【図9】本発明の好適な実施形態に係る好適なデータ構造を示す図である。
【図10(a)】、
【図10(b)】本発明の好適な実施形態に係る図9のデータ構造を使用して作成された好適なGUIの一部の縮小バージョン及び拡大バージョンを示す図である。
【図11】本発明の好適な実施形態に係る生成されたGUI表示に対して使用される順序付け二重リンクリストを示す図である。
【図12(a)】、
【図12(b)】本発明の好適な実施形態に係るノード監視アルゴリズムの動作を示すために使用される別の好適なGUIの一部の縮小バージョン及び拡大バージョンを示す図である。
【図13(a)】、
【図13(b)】本発明の好適な実施形態に係る図12(a)のビューから図12(b)のビューへのGUI遷移としてノード監視アルゴリズムの動作を示すために使用される好適なデータ構造を示す図である。
【図14】解像度一致ズーミングにおいて使用される仮想カメラを含む本発明の別の好適な実施形態に係るデータ構造を示す図である。
【図15(a)】、
【図15(b)】好適なGUIの一部の縮小バージョン及び拡大バージョンを示す図であり、これらは、本発明の好適な実施形態に係るセマンティックズーミングを示す図である。
【図16】、
【図17】、
【図18】、
【図19】、
【図20】本発明の別の好適な実施形態に係るズーム可能なグラフィカルユーザインタフェースを示す図である。
【図21】本発明の好適な実施形態に従って提供される好適な一組のオーバレイ制御を示す図である。
【図22】本発明によるズーム可能なグラフィカルユーザインタフェースを実現する好適なフレームワークを示す図である。
【発明を実施するための形態】
【0013】
詳細な説明
以下に、添付の図面を参照して、本発明を詳細に説明する。異なる複数の図面において、同一の図中符号は、同一の要素又は同様の要素を識別する。また、以下の詳細な説明は、本発明を制限しない。その代わりに、本発明の範囲は、添付の特許請求の範囲により規定される。
【0014】
この説明に対してある背景を提供するために、まず、本発明が実現可能である好適な集合メディアシステム200を図3に関して説明する。しかし、本発明は、この種類のメディアシステムにおける実現に制限されるものではなく、更に多くの構成要素又は更に少ない構成要素を含むことができることが、当業者には理解されるであろう。ここで、入出力(I/O)バス210は、メディアシステム200のシステム構成要素を相互に接続する。I/Oバス210は、メディアシステム構成要素間で信号を送信する複数の異なる機構及び技術のいずれかを表す。例えば、I/Oバス210は、オーディオ信号をルーティングする適当な数の独立したオーディオ「パッチ」ケーブル、ビデオ信号をルーティングする同軸ケーブル、制御信号をルーティングする2線式シリアル回線、赤外線周波数トランシーバ又はRFトランシーバ、あるいは、他の種類の信号をルーティングする光ファイバ又は他の任意のルーティング機構を含んでもよい。
【0015】
好適な本実施形態において、メディアシステム200は、I/Oバス210に結合されたテレビ/モニタ212、ビデオカセットレコーダ(VCR)214、デジタルビデオディスク(DVD)記録/再生装置216、オーディオ/ビデオチューナ218及びコンパクトディスクプレーヤ220を含む。VCR214、DVD216及びコンパクトディスクプレーヤ220は、単一のディスク装置又は単一のカセット装置でもよく、あるいは、複数のディスク装置又は複数のカセット装置でもよい。これらは、独立した装置でもよく、又は一体化されてもよい。更に、メディアシステム200は、マイク/スピーカシステム222、ビデオカメラ224及び無線I/O制御装置226を含む。本発明の好適な実施形態によると、無線I/O制御装置226は、フリースペースポインティングを支援し、ナビゲーションを支援する最小限のボタンを有し、且つRF信号を介して娯楽システム200と通信するメディアシステムリモコンである。例えば、無線I/O制御装置226は、特定の所望のコマンドを判定する画面の位置及び運動ベクトルの双方を規定するために、ジャイロスコープ又は他の機構を使用するフリースペースポインティングデバイスでもよい。一組のボタンは、「戻る」ボタンに加え、以下に説明される「クリック」基本命令を開始するために、無線I/O装置226上に含まれることも可能である。別の好適な実施形態において、無線I/O制御装置226は、IR信号を介して娯楽システム200の構成要素と通信するメディアシステムリモコンである。更に別の実施形態において、無線I/O制御装置134は、ユーザが娯楽システム100の表示装置上にカーソルを位置付けることを可能にするトラックボール又は他のナビゲーション機構の付加的な機能を有する、通常の娯楽システムリモコンに類似するIRリモコンであってもよい。
【0016】
娯楽システム200は、システム制御器228を更に含む。本発明の好適な一実施形態によると、システム制御器228は、複数の娯楽システムデータソースから入手可能な娯楽システムデータの格納及び表示を行い、システム構成要素の各々に関連する多種多様な機能を制御するように動作する。図3に示すように、システム制御器228は、必要に応じて、I/Oバス210を介して直接又は間接的にシステム構成要素の各々に結合される。好適な一実施形態において、I/Oバス210に加えて、又はI/Oバス210の代わりに、システム制御器228が、IR信号又はRF信号を介してシステム構成要素と通信することが可能な無線通信送信機(又はトランシーバ)で構成される。制御媒体に関わらず、システム制御器228は、以下に説明されるグラフィカルユーザインタフェースを介して、メディアシステム200のメディア構成要素を制御するように構成される。
【0017】
図3に更に示されるように、メディアシステム200は、種々のメディアソース及びサービスプロバイダからメディア項目を受信するように構成されてもよい。好適な本実施形態において、メディアシステム200は、以下のうち任意のソース又は全てのソースから、メディア入力を受信し、且つ任意に情報を送信できる。ソースは、有線放送230、衛星放送232(例えば、パラボラアンテナを介して)、放送テレビネットワーク234(例えば、アンテナを介して)の超短波(VHF)又は極超短波(UHF)RF通信、電話網236、及びケーブルモデム238(又はインターネットコンテンツの他のソース)である。図3に関して示され且つ説明されたメディア構成要素及びメディアソースは、単なる例であり、メディアシステム200は、更に多くの構成要素及びソースを含んでもよく、又は更に少ない構成要素及びソースを含んでもよいことが、当業者には理解されるであろう。例えば、システムに対する他の種類の入力は、AM/FMラジオ及び衛星ラジオを含む。
【0018】
図4は、本発明による好適なシステム制御器228の実施形態を示すブロック図である。システム制御器228は、例えば、セットトップボックスとして実現される。また、システム制御器228は、例えば、プロセッサ300、メモリ302、表示制御器304、他の装置の制御器(例えば、システム200の他の構成要素に関連付けられる)、1つ以上のデータ記憶装置308及びI/Oインタフェース310を含む。これらの構成要素は、バス312を介してプロセッサ300と通信する。プロセッサ300は、1つ以上の処理装置を使用して実現されることが、当業者には理解されるであろう。メモリ装置302は、例えば、DRAM又はSRAM、ROM、キャッシュメモリとして指定されるメモリを含んでもよい。メモリ装置302は、プロセッサ300により実行されるソフトウェア及び/又はそのようなプログラムにより使用可能なデータを格納する。これは、以下に説明されるグラフィカルユーザインタフェースに関連付けられたソフトウェア及び/又はデータを含む。表示制御器304は、以下に説明するように、特にGUI画面及びオブジェクトを表示するためにモニタ212の表示を制御するように、プロセッサ300により動作可能である。本発明の好適な実施形態に係るズーム可能なGUIは、解像度非依存ズーミングを提供する。これにより、モニタ212は、任意の解像度で表示できる。装置制御器306は、メディアシステム200の他の構成要素とプロセッサ300との間のインタフェースを提供する。データ記憶装置308は、ハードディスクドライブ、フロッピディスクドライブ、CD?ROMデバイス又は他の大容量記憶装置のうち1つ以上を含んでもよい。入出力インタフェース310は、例えば、キーボードインタフェース、RFインタフェース、IRインタフェース及びマイク/音声インタフェースを含む複数のインタフェースのうち1つ以上を含んでもよい。本発明の好適な一実施形態によると、I/Oインタフェース310は、無線ポインティングデバイスの動作に関連する場所情報を受信するインタフェースを含む。
【0019】
メディア項目選択情報を表示するための本発明の好適な実施形態に係るグラフィカルユーザインタフェースの生成及び制御は、メモリ302に含まれる一連の命令を実行するプロセッサ300に応答して、システム制御器228により実行される。そのような命令は、データ記憶装置308等の他のコンピュータ可読媒体から、又はメディアシステム200に外部接続されるコンピュータから、メモリ302に読み込まれてもよい。メモリ302に含まれる一連の命令を実行することにより、グラフィカルユーザインタフェースオブジェクト、及び、特にモニタ212上の制御手段をプロセッサに生成させる。他の実施形態において、本発明を実現するために、ハードワイヤード回路がソフトウェア命令の代わりに、又はソフトウェア命令と組み合わされて使用されてもよい。背景技術の節において説明したように、テレビ産業に関連する従来のインタフェースフレームワークは、単純で理解しやすい選択経験をユーザに提供する能力において、厳しく制限される。従って、本明細書で説明される制御フレームワークはこれらの制限を克服し、また、テレビと共に使用することを意図するが、これに限定するものではない。本明細書で説明される画期的な制御フレームワーク、グラフィカルユーザインタフェース及び/又は種々のアルゴリズムは、コンピュータ及びテレビ以外の他の装置に使用されるインタフェースへの適用の可能性があることが期待される。本発明の好適な実施形態の種々の応用例を区別するために、用語「テレビ」及び「TV」は、本明細書において、表示装置のサブセットを示すために使用される。また、「GUI」、「GUI画面」、「表示装置」及び「表示画面」は、一般的なものが意図され、テレビ表示装置、コンピュータ表示装置及び任意の他の表示装置を示す。更に詳細には、用語「テレビ」及び「TV」は、テレビ信号(例えば、NTSC信号、PAL信号又はSECAM信号)を別の形式(例えば、コンピュータビデオ形式)に変換するアダプタを使用せずに、テレビ信号を表示できる表示装置のサブセットを示すことが意図される。更に、用語「テレビ」及び「TV」は、一般に、数フィート又はそれ以上の距離(例えば、ソファから居間のTVまで)から見る表示装置のサブセットを示す。一方で、コンピュータ表示装置は、一般に、至近距離(例えば、椅子からデスクトップモニタまで)で見られる。
【0020】
本発明によるズーム可能なグラフィカルインタフェースを含む制御フレームワークを実現するために使用される好適なメディアシステムを説明したが、ここで、そのようなインタフェースのいくつかの例を説明する。本発明の好適な実施形態によると、ユーザインタフェースは、カテゴリによりグループ化される選択可能な項目を表示する。ユーザは、関心のある1つのカテゴリ又は複数のカテゴリにリモコンを向け、拡大するための選択ボタン又は元に戻すための「戻る」ボタンを押下する。ユーザによる拡大又は元に戻すための各動作の結果、ユーザインタフェースが画面上に描画する選択可能な項目の倍率及び/又はコンテキストが変化する。好適な実施形態によると、倍率の各変化は一貫している。すなわち、倍率は、所定のステップで変化する。また、本発明の好適な実施形態は、相当大きな値までの倍率変更を達成するためのいくつかの視覚技術を実装するユーザインタフェースに対応する。ユーザインタフェースオブジェクトへ迅速に再アクセスするためにユーザの視覚的な記憶を向上させるユーザインタフェースを適応する特定の技術において、視覚技術は、拡張性及び操作性の双方を達成する構成ブロック及び技術の組合せを含む。
【0021】
ユーザインタフェースは、主として視覚経験である。そのような環境において、本発明の好適な実施形態は、視覚環境内のオブジェクトの場所を記憶するユーザの能力を使用する。これは、安定した信頼性のある場所をユーザインタフェース選択項目に提供することにより達成される。各オブジェクトの場所は、ズーム可能なレイアウト中にある。ユーザは、関心オブジェクトを1度発見すると、オブジェクトの場所を特定するために進んだ方向を当然ながら覚えている。そのオブジェクトが特に関心オブジェクトである場合、ユーザは、複数回その項目に再アクセスする可能性があり、これにより、そのオブジェクトへのパスに対するユーザの記憶が強化される。本発明の好適な実施形態に係るユーザインタフェースは、ユーザが関心のある項目の場所を記憶するのを支援する視覚ニーモニックを提供する。そのような視覚ニーモニックは、以下に説明される例に基づいて更に明らかになることの中でも特にパン及びズームアニメーション、ユーザインタフェースの仮想面を横切る動作の地理的シーンを生成する遷移効果、並びに整合性のあるズーム機能を含む。
【0022】
編成機構が提供され、それにより、ユーザは、相当大きな項目群からの選択が可能となるが、編成機構は、大きな選択項目群に関連する詳細を知りえない状態にある。種々の編成機構は、本発明に従って使用され、以下に例が提供される。
【0023】
まず、図5〜図8を参照して、本発明の好適な実施形態に係るズーム可能なグラフィカルユーザインタフェースを含む好適な制御フレームワークを、音楽のメディア項目の表示及び選択の際の使用について説明する。図5は、最も縮小された状態のズーム可能なGUIを表現する。ここで、インタフェースは、一組の形状500を表示する。各形状500内に表示されているのは、テキスト502及び/又は写真504であり、それらは、GUIのその部分を介してアクセス可能なメディア項目選択群を説明する。図5に示すように、形状500は矩形であり、テキスト502及び/又は写真504はメディアのジャンルを説明する。しかし、この最初に参照されるGUIのグループ化は、ユーザが入手可能なメディア選択項目の他の面、例えば、アーティスト、制作年、アーティストの居住地域、項目の長さ又は選択項目の他の任意の特徴を表現できることが、当業者には理解されるであろう。また、GUIにおいて、種々のグループ化の概略を示すために使用される形状は、矩形である必要はない。アルバムの表紙及び他のアイコンの縮小バージョンは、形状グループ化500内のテキスト502及び/又は写真504の代わりに、又はそれに加えて、ナビゲーションの更なる手がかりをユーザに提供するために使用できる。GUIの背景部分506は、後にインタフェースを使用する時に必要な読み取りを減少させるように、ユーザがジャンルの空間場所を記憶するのを支援するマップ等の写真の一部であってもよく、又はべた色で塗りつぶされて表示されてもよい。選択ポインタ(カーソル)508は、入力装置の動作に追従し、ユーザが装置上のボタン(図5においては、不図示)を押下すると、拡大するべき場所を指示する。
【0024】
本発明の好適な一実施形態によると、入力装置は、以下に更に詳細に説明される構成ブロックのポインティング、クリック、スクロール、ホバー及びズームを支援するグラフィカルユーザインタフェースに結合される無線マウス、例えば、Gyration, Inc. 12930 Saratoga Avenue, Bldg.C, Saratoga, CA 95070製造の無線マウスでもよい。本発明と共に使用するのに有益であるこの好適な入力装置の1つの特徴は、2つのボタン及びスクロールホイールのみ、すなわち3つの入力操作オブジェクトのみを有することである。2つのボタンのうち一方は、拡大(選択)ボタンとして構成され、もう一方は、縮小(戻る)ボタンとして構成される。例えば、図1に示されるような従来のリモコンと比較すると、本発明は、ボタンの数を大幅に減少させることなどにより、ユーザがメディア項目選択を行なう際に直面するGUIのこの面を簡単化する。本発明の好適な実施形態に係る入力装置の追加の好ましい特徴は、ユーザに対して「フリースペースポインティング」の機能を提供することであるが、これは必須ではない。用語「フリースペースポインティング」は、表示画面の前で、3次元(又は3次元以上)空間において入力装置を自由に移動させることができるユーザの能力、及びその動作を画面上のカーソルの動作に直接変換する対応するユーザインタフェースの機能を示すために、本明細書で使用される。従って、「フリースペースポインティング」は、従来のコンピュータマウスポインティング技術とは異なる。従来のコンピュータマウスポインティング技術は、マウスの相対的な動作がコンピュータ表示画面上のカーソルの動作に変換される代理面として、机上面又はマウスパッド等の表示画面以外の表面を使用する。本発明の好適な実施形態に係る制御フレームワークにおいてフリースペースポインティングを使用することにより、ユーザの選択経験が更に簡単化される。それと同時に、インタフェースに対する識別可能な入力として、ジェスチャを導入する機会を与える。ジェスチャは、パターンがGUIコマンドに変換される期間にわたり、認識可能な動作のパターンとして考慮される。GUIコマンドは、例えば、x、y、z、偏揺れ(yaw)、縦揺れ(pitch)及び横揺れ(roll)次元、又はそれらの任意の組合せにおける動作機能である。しかし、任意の適切な入力装置が本発明によるズーム可能なGUIと共に使用されることは、当業者には理解されるであろう。適切な入力装置の他の例は、トラックボール、タッチパッド、従来のTVリモコン、音声入力、ユーザのジェスチャを通信し且つそれをGUIコマンドに変換できる任意の装置、又はそれらの任意の組合せを含むが、これらに制限されない。本明細書で説明されるGUI機能の各面は、ジェスチャ及び音声コマンドの少なくとも一方を使用して、本発明によるフレームワークにおいて開始されることが意図される。他の実施形態は、カーソル及び/又は他のリモコンキー、あるいは音声入力を使用して、選択する項目を識別することを含む。
【0025】
図6は、ジャンル3の拡大されたビューを示す。これは、ユーザが、例えば表示装置212上のジャンル3を囲む矩形により囲まれたエリア上にカーソル508を移動させ、入力装置のボタンを押下することにより、図5からジャンル3を選択する場合に表示される。インタフェースは、ズームが起こったことをユーザに対して明確にするため、図5から図6のズームを動画化できる。そのような動画化されたズーム/遷移効果の例を、以下に説明する。ジャンル3を囲む形状516が表示装置212上の画面の殆どを占有すると、インタフェースは、そのジャンルのアルバムを有するアーティストを示す。この例において、7つの異なるアーティスト及び/又はアーティストの作品が表示される。図5の縮小されたビューにおいて、ジャンル3に隣接していた非選択ジャンル515は、拡大されたビューにおいてもジャンル3に隣接しているが、表示装置212の端部により切り取られている。選択ポインタ508を使用して非選択ジャンルを選択することにより、その非選択ジャンルに迅速に移動できる。しかし、本発明の他の好適な実施形態において、隣接するオブジェクトの切り取りを省略し、切り取られていない選択項目のみを提供できることは、理解されるであろう。グループ512等の各アーティストグループは、縮小されたアルバムの表紙の画像又はアーティストの写真を含むことができ、あるいは、カテゴリがユーザにより作成された演奏リストを含む場合には、ユーザによりカスタマイズ可能な作品を含むことができる。
【0026】
その後、ユーザは、再検討及び/又は選択するために、アーティストグループのうち1つを選択してもよい。ユーザがカーソル508を位置付け且つ入力装置を操作することによりアーティスト3を選択したことに応答して、更に拡大されたビューを図7に示す。同図において、アルバムの表紙の画像520がビューに表示される。図5及び図6のGUI画面からの遷移と同様に、隣接する非選択アーティスト(この例においては、アーティスト#2、6及び7)は、拡大された表示装置の側部近くに示され、ユーザは、これらを選択ポインタ508でクリックし、これらのアーティストビューをパンできる。インタフェースのこの部分において、アルバムの表紙の画像520に加え、アーティスト情報524がアーティストグループの項目として表示される。この情報は、例えば、アーティストの写真、経歴、雑情報、ディスコグラフィ、影響力、ウェブサイトへのリンク及び他の関連データを含んでもよい。各アルバム画像520は、アルバムの表紙の写真を含むことができ、また、任意にテキストデータを含むこともできる。アルバム画像520がユーザ作成の演奏リストを含む場合、グラフィカルユーザインタフェースは、インタフェースにより自動的に選択される写真、又はユーザにより事前に選択される写真を表示できる。
【0027】
最後に、ユーザがグループ521内からアルバムの表紙画像520を選択すると、インタフェースは、図8に示されるように、アルバムの表紙を拡大する。ズームされるにつれて、アルバムの表紙は次第に薄れるか、あるいはモーフィングして複数の項目を含むビューになる。複数の項目の例は、アルバムのアーティスト及びタイトル530、トラックリスト532、アルバムに関する詳細情報536、アルバムの表紙の更に小さいバージョン528、並びに制御手段534を含む。制御手段534は、コンテンツの再生、分類の変更、アーティストのウェブページへのリンク、又は選択項目に関する任意の他の情報の検出を実行する。隣接するアルバム538が示されるが、これを、選択ポインタ508を使用して選択し、インタフェースにより表示することができる。上述のように、本発明の他の実施形態は、例えば、アルバム5等の選択オブジェクトのみを表示するように拡大し、アルバム4及び6等の非選択オブジェクトの切り取られた部分を省略できる。この最後のズームは、セマンティックズーミングの一例を提供する。セマンティックズーミングでは、先のズームレベルでは可視状態でなかったあるGUI要素を示す。本発明の好適な実施形態に係るセマンティックズーミングを実行する種々の技術が、以下に提供される。
【0028】
図5〜図8に示し説明したように、グラフィカルユーザインタフェースの好適な本実施形態は、音楽群のナビゲーションに対応する。本発明によるインタフェースは、DVD、VHSテープ、他の記録媒体、ビデオオンデマンド、ビデオセグメント及びホームムービー等のビデオ群に対しても使用される。他のオーディオの使用方法には、ラジオ番組、教材テープ、履歴アーカイブ及びサウンドクリップ群のナビゲーションが含まれる。ニュースの記事及び電子ブック等の印刷物又はテキスト媒体は、本発明を使用して、編成及びアクセスされる。
【0029】
上述の説明から当業者には明らかであるように、本発明によるズーム可能なグラフィカルユーザインタフェースは、大量の(又は少量の)メディア項目を迅速に且つ簡単に閲覧する機能をユーザに提供する。この機能は、本発明の好適な実施形態に係るインタフェースの多くの特性によるものである。この特性は以下を含むが、これに制限されない:(1)特定のメディア項目に対する全ての又は一部の選択項目情報として、画像を使用すること、(2)選択するのにユーザが必要とする情報量を迅速に提供するために、ズームを使用すること、(3)GUIのナビゲーションがユーザの方向感覚により達成され且つ記憶されるように、インタフェース全体が単一平面上に存在するという感覚をユーザに与えるために組み合わされるいくつかのGUI技術を使用すること。本発明によるGUIのこの最後の面は、いくつかある方法の中でも特に、現在のGUI画面の境界付近の隣接する非選択オブジェクトの端部を表示するなどして、1つのGUI画面から次のGUI画面までGUIオブジェクトの一貫性を維持し、それにより、種々のGUI画面を「地理的に」リンクさせることで達成される。あるいは、より鮮明な表示が要求され且つ他のGUI技術が十分な地理的フィードバックを提供する場合、切り取られたオブジェクトは省略される。この説明において使用されるように、用語「GUI画面」は、同時に1つ以上の表示装置に描画される一組のGUIオブジェクトを示す。GUI画面は、メディア項目を出力する同一の表示装置上に描画されてもよく、あるいは、異なる表示装置上に描画されてもよい。表示装置は、TV表示装置、コンピュータモニタ又は任意の他の適切なGUI出力装置でもよい。
【0030】
GUI画面連結性のユーザの感覚を向上させる別のGUI効果は、ズームが実行される場合、あるいはユーザが現在の選択オブジェクトと同一のズームレベルで隣接するオブジェクトを選択する場合に呼び出されるパニングアニメーション効果である。図5の例に戻ると、ユーザがこのGUI画面を最初に参照している時、ユーザの視点は点550が中心となる。しかし、ユーザが拡大するためにジャンル3を選択すると、ユーザの視点は点552に移動する。本発明の好適な実施形態によると、拡大処理は、点550から点552へ視点の中心を移動して動画化される。このパニングアニメーションは、ズームレベルの変化又は同一のGUIズームレベルにおける1つのオブジェクトから別のオブジェクトへの変化等のGUIの各変化に対して提供される。従って、例えば、図6のGUI画面に位置するユーザが最も左側にある非選択ジャンル515(ジャンル2)を選択した場合、左又は西への移動の視覚的印象をユーザに与えるパニングアニメーションが発生する。本発明の好適な実施形態は、GUI画面間の方向の移動で同一の感覚を提供するために、そのような技術を採用する。同一の感覚により、ユーザは、ズームレベル間、及び同一のズームレベルにおけるメディア項目間の双方において、GUIを更に迅速にナビゲートできる。
【0031】
種々のデータ構造及びアルゴリズムが、本発明によるズーム可能なGUIを実現するために使用される。例えば、写真を表示する画像ブラウザをパンし且つ拡大するデータ構造及びアルゴリズムが、Benjamin B. Bederson著「Quantum Treemaps and Bubblemaps for a Zoomable Image Browser」UIST2001, ACM Symposium on User Interface Software and Technology, CHI Letters, 3(2), 71〜80ページ等において説明されている。この開示は、参考として本明細書に取り入れられる。しかし、高いレベルにおいては、多数のアプリケーション間で切り替るメディア選択に対してGUIを提供するために、且つ低いレベルにおいては、選択された画像に関連するユーザ制御手段を提供し、種々のメディア選択機能を実行するために、追加のデータ構造及びアルゴリズムが必要とされる。
【0032】
ズーム可能なGUIは、表示装置のビューポートにおけるユーザインタフェース構成要素のシーンの周囲でのパン及びズームを支援するように概念化される。この効果を達成するために、本発明の好適な実施形態に係るズーム可能なGUIは、シーングラフデータ構造を使用して実現される。シーングラフの各ノードは、ボタン又はテキストラベル又はインタフェース構成要素のグループ等のユーザインタフェース構成要素の一部を表す。あるノードの子は、そのノードの内部の図形要素(線、テキスト、画像等)を表す。例えば、あるアプリケーションは、インタフェースの種々の図形要素に対する子を有するノードとして、シーングラフに表現される。本明細書において、2つの特殊な種類のノードは、カメラ及び層とする。カメラは、層ノードから見て、シーングラフの別の部分にビューポートを提供するノードである。これらの層ノードの下に、ユーザインタフェース要素が発見される。ズーム可能なインタフェースに対する制御ロジックは、プログラムに従ってカメラのビュー変換を調整し、パン及びズームの効果を提供する。
【0033】
図9は、本発明の好適な実施形態を実現するために使用される基本的なズーム可能なインタフェース要素を含むシーングラフを示し、具体的には、1つのカメラノード900及び1つの層ノード902を含むシーングラフを示す。カメラノード900と層ノード902との間の点線は、カメラノード900がカメラのビューポートにおいて層ノード902の子を描画するように構成されていることを示す。付加の表示装置904により、ユーザはカメラのビューポートを認識する。層ノード902は、1つの円及び1対の楕円を描く3つの子ノード904を有する。シーングラフは、ノード912〜918を介して、1つの矩形がその円内に描かれることと、3つの三角形がその矩形内に描かれることとを更に特定する。そのシーングラフは、ルートノード920により、データ構造の他のシーングラフに結合される。ノード906〜918の各々は、局所座標変換行列を使用し、親を基準として自身を変倍し位置付ける。図10(a)は、カメラを介して、縮小された倍率で描画された場合のシーングラフが表示される様子を示し、図10(b)は、拡大した倍率で描画された場合のシーングラフが表示される様子を示す。
【0034】
シーングラフの描画は、以下のように達成される。表示装置904が更新を必要とする度に、例えば、ユーザが図10(a)のビューから図10(b)のビューへの拡大をトリガすると、リペイント事象は、描画するために表示装置904に接続されるカメラノード900を呼び出す。その結果、カメラノード900は、カメラのビューポート内のエリアを描画するように層ノード902に通知する。層ノード902は、子に子自身を描画するように通知することにより、自身を描画する。更新すべき領域に対する現在の変換行列及びバウンディング矩形は、各ステップで渡され、描画するのに使用すべき適切な縮尺及びオフセットを各ノードに通知するために任意に変更される。本発明によるズーム可能なGUI内で動作するアプリケーションのシーングラフが数千ものノードを含む可能性があるため、各ノードは、描画動作がユーザにより実際に認識されることを保証するために、変換行列及び更新されるべきエリアをチェックできる。上述の例において、1つのカメラノード及び1つの層ノードを含むシーングラフを説明したが、本発明の好適な実施形態が複数のカメラ及び層を組み込むことができることは、理解されるであろう。これらの組込みカメラは、ズーム可能なインタフェース全体におけるユーザの現在のビューの場所を示す小さな縮小マップ等のユーザインタフェース要素を提供できる。また、組込みカメラにより、ユーザインタフェース構成要素は、単独でズーム可能及びパン可能となる。
【0035】
複数のアプリケーションの動作を連携して実行させるために、例えば、図14〜図18に関して以下に説明される好適なムービーブラウザのようなズーム可能なインタフェースを使用する場合、各アプリケーションに必要なメモリ及び資源は、メディアシステムにおいて利用可能な全体のメモリを超える可能性がある。ここで、ユーザが既に参照していないアプリケーションのコード及びデータの一部又は全てを、アプリケーションがアンロードすることを提案する。しかし、本発明によるズーム可能なGUIにおいて、一部又は全てのアプリケーションが常に稼動しているようにユーザに対して示すことが望ましい。この2つの対立する目的を満足するために、ユーザの視点からは「画面外」であるアプリケーションを、一時的に中断された状態に置くことができる。本発明の好適な実施形態に係るズーム可能なGUIにおいてこの動作を達成するため、事象をアプリケーションに送信し、アプリケーションがビューポートに入る時及び出る時を指示する。そのような事象を実現する1つの方法は、ユーザがビューポートに入る時を検出するように、構成要素を描画するコードにロジックを追加することである。しかし、これは、通知ロジックが描画事象毎に呼び出されることを意味し、更に重要なことには、ユーザが構成要素から離れたビューポートをナビゲートした時、それを簡単に検出できないことを意味する。アプリケーションに事象を送信する別の方法は、GUIナビゲーション要素が関心のある構成要素を含むようにカメラのビューポートを変更する時に構成要素に対して通知を送信するように、通知ロジックをGUIナビゲーション要素(ハイパーリンク及びボタン等)に組み込むことである。しかし、これは、プログラマが可能性のある全てのナビゲーションUI要素に対して通知コードを注意深く追加する必要がある。
【0036】
好適な一実施形態によると、コンピュータにとって効率的なノード監視アルゴリズムは、GUI構成要素及び/又はアプリケーションがカメラのビューに入る時及び出る時に関してアプリケーションに通知するために使用される。高いレベルにおいて、ノード監視アルゴリズムは、3つの主な処理段階を有する:(1)初期設定、(2)ビューポート変更評価、(3)シーングラフ変更評価。初期設定段階では、ビューポート変更評価段階で使用されるノード数を計算し、適切なデータ構造を初期化する。ビューポート変更評価段階は、ビューポートが変更され、ビューポートに入った全ての監視ノード又はビューポートを出た全ての監視ノードに通知する場合に呼び出される。最後に、シーングラフ変更評価段階では、シーングラフにおける変更のために無効となった初期設定段階で算出された計算値を更新する。例えば、監視ノードの先行ノードのシーングラフにおける場所が変更される場合、初期設定において算出された計算値は、再計算される必要があるだろう。
【0037】
これらの段階のうちビューポート変更評価が、残りのノード監視アルゴリズムを実行する。ノードがビューポートに入る時及び出る時を正確に示すために、初期設定ステップは、所望のノードのバウンディング矩形を判定し、バウンディング矩形をバウンディング矩形の局所座標系からビューポートの局所座標系に変換する。このように、ノード開始のチェックでは、ビューポートの変更の度に一連の座標変換を必要としない。ノードの親が変換行列を有する可能性があるため、この初期設定ステップは、そのノードからカメラまでシーングラフを横切る必要がある。以下に説明するように、組込みカメラがシーングラフデータ構造において使用される場合、複数のバウンディング矩形は、複数の場所に現れるノードを収容する必要があるだろう。
【0038】
各監視ノードに対するバウンディング矩形がビューポート座標系において計算されると、初期設定段階では、バウンディング矩形をビューポート変更評価データ構造に追加する。ノード監視アルゴリズムは、そのシーンにおける各次元に対する基本的構成ブロックを使用する。いくつかの好適な実施形態に係るズーム可能なインタフェースにおいて、これは、x次元、y次元及び縮尺次元を含む。以下に説明するように、他の好適な実施形態は、追加の次元又は異なる次元を有してもよい。縮尺次元は、ビューポートにおけるノードの倍率を示し、以下の式により示される:
s=d’/d
式中、sは縮尺である。また、dはノードの局所座標におけるノードの1つの点から別の点までの距離であり、d’はビューポートにおける点から他の点までの距離である。
【0039】
図11は、1つの次元において、シーンの開始及び終了を検出する好適な構成ブロックを示す。以下において、x次元における処理を説明するが、他の次元についても同様に処理されることが、当業者には理解されるであろう。リージョンブロック1100は、変換されたバウンディング矩形座標への参照を含む。これは、矩形の左右(上下又は最小/最大の縮尺)のオフセットを含む。左右のオフセットは、それぞれ、トランジションブロック1102及び1104に格納される。トランジションブロック1102及び1104は、オフセットの数字が小さい程、開始部分に近くになるように順序付けられた二重リンクリストに配置される。現在のビューポートの限界は、ビュー限界ブロック1106に格納される。ブロック1106は、ビューの左側及び右側をちょうど超えたトランジションブロックへのポインタを有する。例えば、ビュー左側により指し示されるトランジションブロックのすぐ右にあるトランジションブロックは、ビュー右側により指し示されていない限りビュー内に存在する。
【0040】
ビューポートが変更されると、以下の処理が各次元に対して発生する。まず、ビュー左側及びビュー右側のポインタを、トランジションブロックを含むように又は除外するように移動する必要があるかがチェックされる。次に、2つのポインタのうち一方又は双方を移動する必要がある場合、ポインタは、新しい場所までトランジションブロックのリスト上を移動する。ビュー左側及びビュー右側のポインタにより渡される各トランジションブロックに対して、ノード監視アルゴリズムは、以下に説明するトランジションブロック通知コードを実行する。この通知コードは、各ノードがビューポートに入る又は出ることが可能であるかを判定する。可能である場合、そのノードは後処理リストに追加される。最後に、各次元に対するこの処理の終了時に、後処理リスト上の各ノードについて、ビューポートの状態が実際に変更された(変更し、その変更を元に戻すことに反して)ことがチェックされる。変更が発生した場合、アルゴリズムは、構成要素に事象を送信する。尚、ビューポートがズーム可能なインタフェースの新しいエリアに迅速に移動する場合、アルゴリズムは、擬似の開始事象及び終了事象を検出してもよい。
【0041】
トランジションブロック通知コードは、チェックされている次元に対してビューポートの内側又は外側にノードが移動したかを判定するテーブルルックアップとして実現できる。好適なテーブルを以下に示す。
【0042】
【表1】

【0043】
欄1、2及び3は、トランジション通知テーブルに対する入力である。特に、ノード監視アルゴリズムは、ノード側、ビュー側及びビュー移動方向の組合せを使用してテーブルをアドレッシングし、評価中のノードが入ったか、出たか又は影響されなかったかを判定する。欄1は、ビューポートポインタにより渡されたトランジションブロックにより表されるノード側を示す。欄2は、ビューポート側を示し、欄3は、ノードのトランジションブロックを渡した時にビューポート側が移動した方向を示す。出力欄4又は5のいずれかが、ノードが部分的に視野に入る場合に通知されるべきか又は全体的に視野に入る場合に通知されるべきかによって選択される。例えば、いくつかの実施形態において、部分的に視野に入るビデオウィンドウをズーム可能なGUIにロードすることは視覚的に混乱を伴う可能性があるため、全体的に視野に入る状態の場合のみ、ストリーミングビデオウィンドウ等のアプリケーションに通知することが望ましいだろう。
【0044】
テーブルの出力が開始又は終了を示す場合、ノード監視アルゴリズムは、そのノードを後処理リストに追加する。表1の出力欄は、以下のルールに基づいて格納される。ノードが全ての次元において交差する場合、開始通知は、後処理ステップにおいて送信される。ノードがビューに存在し且つ1つ以上の次元が交差を終了した場合、終了通知は送信される。後処理リスト中のノード数を減少させるために、トランジションブロック通知コードは、ノードをリストに追加する前に、他の次元との交差をチェックする。これにより、例えば3次元又はそれ以上の次元である次元の総数のうち1次元又は2次元のみが交差する場合、後処理ステップは不要となる。ユーザインタフェースオブジェクト(例えば、アプリケーション)がGUIにおけるビューポートの状態の通知を必要とする場合、ノード監視アルゴリズムに機能を登録する。アプリケーションがビューの内側又は外側になると、ノード監視アルゴリズムは、発生した内容を示すパラメータを使用して、登録されたアプリケーションの機能を呼び出す。あるいは、メッセージの受け渡しを使用して通知される。この場合、各アプリケーションは、事象キューを有する。アプリケーションは、自身の事象キューとの通信方法をノード監視アルゴリズムに示す。例えば、アプリケーションは、キューのアドレスを指定できる。その後、ノード監視が遷移を検出すると、通知の理由を含むデータ構造を作成し、それをアプリケーションのキューに配置する。
【0045】
アプリケーションメモリの管理のためにノード監視通知を使用する他、このアルゴリズムは、本発明によるズーム可能なGUIにおいて、他の機能に対しても使用される。例えば、ノード監視アルゴリズムは、現在表示されているアプリケーションに対するオーディオ出力の焦点を切り替えるなどにより、ユーザの視点の焦点に基づくアプリケーションの動作を変更するために使用される。ノード監視アルゴリズムに対する他のアプリケーションは、倍率が変更されると、より高い解像度の合成画像をロード及びアンロードする。これにより、解像度が表示装置に更に厳密に一致するオブジェクトをより少ない数だけ図形描画装置に描画させることで、図形描画装置へのコンピュータによるロードが減少される。ノード監視アルゴリズムにカメラのビューポートを監視させる他に、アニメーション後のビューポートの場所をビューポートに示すナビゲーションコードを監視させることも有用である。これにより、ビュー内となる構成要素についての通知をより早く提供し、また、本発明の好適な実施形態に係るズーム可能なGUIは、パニングアニメーションによる影響を受けないノードに対して通知を送信することを回避できる。
【0046】
ノード監視アルゴリズムの動作を更に理解するために、図12(a)、図12(b)、図13(a)及び図13(b)を参照して一例を説明する。図12(a)及び図12(b)は、2つの異なる倍率におけるズーム可能なGUIの一部分を表す。図12(a)の低い倍率において、3つのノード:1つの円、1つの三角形及び1つの楕円が可視状態である。図12(b)において、ビューは相当拡大され、楕円及び円が部分的にのみ可視状態であり、三角形は完全にビューの外側にある。例えば、これらのノードは、有効な事象通知に依存し、そのため、本発明の好適な実施形態に係るノード監視アルゴリズムにより追跡されるアプリケーション又はユーザインタフェース構成要素を表してもよい。この例において、各ノードに対するバウンディング矩形が、図12(a)及び図12(b)に明示的に示されるが、通常、バウンディング矩形はGUI上に表示されないことが、当業者には理解されるであろう。各バウンディング矩形の各辺は、図12(a)及び図12(b)においてラベル付けされており、これらのラベルは、バウンディング矩形の辺と上述したトランジションブロックデータ構造との対応関係を示すために使用される。
【0047】
図13(a)は、図12(a)の縮小したビューの水平次元に対する好適なノード監視データ構造を示す。同図において、ノードのバウンディング矩形の各辺は、トランジションブロックを使用して表される。水平トランジションブロックは、左から右へGUI画面上に現れる順に図13(a)に示される。例えば、円の左側CLeftが最初に現れ、次に三角形の左側TLeftであり、楕円の右側ERightが現れるまで示される。リストの両端は、空の標識のトランジションブロックでマークされる。更に、各ノードに対するリージョンブロックとバウンディング矩形の水平トランジションブロックに対する対応するポインタとが、図13(a)に示される。図13(a)の下部には、現在のビューのちょうど外側となるトランジションブロックに対するポインタを含むビュー限界データ構造が示される。縮小されたビューの場合、全てのノードが完全に可視状態であるため、それらの全てのトランジションブロックは、ビュー限界データ構造により指し示されるトランジションブロックの間に存在する。
【0048】
図13(b)は、図12(b)の拡大されたビューに対するノード監視データ構造を示す。同図において、データ構造のビュー限界部分は、三角形の右側TRight及び楕円の右側ERightに対するトランジションブロックを指し示すように変更されたことが分かる。これは、これらのバウンディング矩形の2辺が現在の(拡大された)ビューのちょうど外側にあるためである。
【0049】
これらの好適なデータ構造及びGUIシーンにより、ズーム遷移発生中のノード監視アルゴリズム内の関連処理について、以下のように説明できる。ビューの左側から開始し、ノード監視アルゴリズムは、ビューの左側のちょうど外側となるトランジションブロックに到達するまで、ビュー左側のポインタを右へと移動させる。図13(b)に示すように、ビュー左側のポインタは、まずCLeftトランジションブロックを通過する。この例の場合、円ノードは、ビューにおいて全体が可視状態でない時に通知を必要とするズーム可能なGUIに関連するアプリケーション又は他のユーザインタフェースオブジェクトを表すと仮定する。これらの入力をノード監視アルゴリズムに対して与えるため、表1は、円ノードが水平次元に対する終了通知を受信すべきであることを示す。当然、ノード監視アルゴリズムは、重複した終了通知を送信することを回避するために、ノードへ通知する前に全ての次元からの通知を統合する。次に、ビュー左側のポインタは、三角形の左側TLeftを通過する。三角形ノードがビューから完全に外れる時に通知を必要とした場合、ノード監視アルゴリズムは、通知が必要ないことを表1にて指示する。しかし、ビューのポインタがTRightを通過すると、表1は、三角形が完全にビューから出ると通知されるべきであることを指示する。円のバウンディング矩形の右辺CRightがビューにおいて可視状態であるため、ビューのポインタはここで停止する。
【0050】
右側からのノード監視アルゴリズムの処理は、同様である。ビュー右側のポインタは、楕円の右側ERightへ向けて左に移動する。楕円が全体的な通知を必要としたか又は部分的な通知を要求したかによって、ノード監視アルゴリズムは、表1に従って、楕円に通知を送信するか、あるいは通知を送信しない。垂直次元は、同様のデータ構造及び境界矩形の上下の値を使用して、同様の方法で処理される。より厳密な通知が要求される場合、複数の境界矩形が非矩形であるノードを近似するために使用されることは、当業者には理解されるであろう。更に、本発明は、例えば、第3の幾何学上の次元(奥行き又は縮尺)、並びに時間、内容による入場者指定(アダルト、PG−13等)及び内容の種類(ドラマ、コメディ等)等の非幾何学上の次元である他の次元における動作がノード監視アルゴリズムにより追跡され処理されることを考慮する。使用されている次元数次第で、アルゴリズムは、境界セグメント、矩形及びn次元超立方体の交差をより正確に検出する。
【0051】
上述のノード監視アルゴリズムに加え、本発明の好適な実施形態は、本発明の好適な実施形態に係るズーム可能なGUIにおいて使用される解像度一致セマンティックズーミングアルゴリズムを提供する。セマンティックズーミングは、ズーム可能なGUIにおける構成要素の倍率に従って、その構成要素の詳細の追加、除去又は変更を行なうことを示す。例えば、以下に説明されるムービーブラウザインタフェースにおいて、ユーザが映画の画像を十分な近さまでズームする場合、インタフェースは、映画のメタデータ及び再生制御を示すように変化する。倍率の計算は、構成要素が表示装置上で使用する画素数に基づく。ズーム可能なGUIは、例えば映画のメタデータ及び再生制御を有さないビューから映画のメタデータ及び再生制御を有するビューへの切り替えが発生すべき時期を示す閾値倍率を格納できる。
【0052】
テレビ及びコンピュータの表示装置の表示解像度は、広範囲で変動する。高解像度であるいくつかのモニタでは、低解像度表示装置上で可読である図形及びテキストが、非常に小さく全く読めなくなる。このことは、特にHDTV等の高解像度表示装置上でセマンティックズーミングを使用するアプリケーションにおいて、ある問題を更に発生させる。この環境において、表示される画素数に基づいて描画するセマンティックズーミングコードは、更に詳細なビューが可読となる前に画像を変更する。セマンティックズーミングが構成要素のビューを変更する時を示す閾値をプログラムに従って変更することは、1つの解像度に対してのみ機能する。
【0053】
結果として、セマンティックズーミングが、全てのモニタの解像度において一貫して発生することが望ましい。1つの解決方法は、高解像度モニタで低解像度表示モードを使用して、全ての表示装置において解像度を同一にすることである。しかし、高解像度モニタのユーザは、セマンティックズーミングが予想通りに機能する場合には、最高の解像度で図形が描画されることを好むだろう。従って、本発明の好適な実施形態は、先に説明したセマンティック表示の問題を伴わずに、全ての異なる解像度の表示装置を支援するセマンティックズーミング技術を提供する。これは、例えば、シーングラフの内部に仮想表示装置を作成することにより達成される。これは、組込み仮想カメラノード1200を使用し、表示装置の解像度を補償するためのロジックを追加することにより、図14に示される。仮想カメラノード1200は、サイズがユーザの閲覧距離及びモニタサイズにマップするビューポートを規定する。例えば、大きな仮想カメラビューポートは、ユーザがモニタの十分近くに位置しているか、又は多くの詳細を解決するのに十分な大きさのモニタを有しているかのいずれかであることを示す。一方、小さなビューポートは、ユーザがモニタから遠く離れており、より大きなフォント及び画像を必要とすることを示す。ズーム可能なGUIのコードにより、セマンティックズーミング遷移は、この仮想カメラ上で認識される構成要素の倍率及びユーザの好みの表示条件の使用に基づく。
【0054】
表示装置1204に接続される主カメラノード1202は、仮想カメラ1200が示す全てのものを表示するように構成されたビューポートを有する。この主カメラ1202まで、図形画像及びテキストが画素にマップされないため、仮想カメラからの画質が損なわれることはない。この結果、高解像度モニタは、より高画質の画像を表示し、表示装置の読み取りを困難にするセマンティックズーミング変更をトリガしない。
【0055】
本発明の好適な実施形態によると、処理は以下のように機能する。シーングラフ中のカメラ及びノードの各々は、関連する変換行列(T1〜Tn)を有する。これらの行列は、表示装置に対して、ノードの局所座標系を次のノードの局所座標系に変換する。図中、T1は、ビューポートからの座標を表示装置の座標へ変換する。同様に、T2は、局所座標系をカメラのビューポートへ変換する。葉ノード1206が表示装置上に何かを描画する必要がある場合、以下の変換行列を計算する:
A=T12...T
この計算は、シーングラフを横切る間に実行される。セマンティックズーミングを支援するための構成要素の変更が仮想カメラ1200に基づいているため、以下の計算が実行される:
B=T45...Tn
通常、T〜T3は、モニタの解像度を問い合わせ且つシーングラフを検査することにより、事前に判定される。従って、以下のように、これらの行列を反転し且つ乗算することにより、AからBが判定される:
B=(T123-1
1〜T3を事前に計算することが問題である場合、例えば、グラフィックAPIが追加の変換を隠蔽する場合、表示装置に対して描画するために使用された変換行列を除外するロジックが仮想カメラに追加される。除外された変換は、セマンティックズーミング閾値を計算するために、上述のように反転され且つ乗算される。
【0056】
本発明の好適な実施形態に係るズーム可能なインタフェースの1つの長所は、インタフェースをナビゲートする間、コンテキストを維持できることである。全てのインタフェース構成要素がズーム可能な世界に存在するように表示され、ユーザは、それらの任意の構成要素に到達するためにパン及びズームのみを行なう必要がある。上述のセマンティックズーミング技術は、ズームレベル又は倍率に従って、構成要素の外観を変更する。図15(a)及び図15(b)は、ある構成要素に対するセマンティックズーミングの例を提供する。ここで、その構成要素の縮小バージョン(図15(a))は1つの写真であり、拡大バージョン(図15(b))は同一の写真と共にいくつかの制御手段及び詳細を含む。この更に詳細ないくつかの例は、以下に提供される。セマンティックズーミングに関連する1つの課題は、ビュー間の変更が突然発生し、そのような2つのビュー間で遷移する時にアルファブレンディング等の遷移技術が視覚的に満足する結果を与えないことである。
【0057】
従って、本発明の好適な実施形態は、構成要素の全てのビューにおいて共通の画像又はテキストに対応し、セマンティックズームが実行される場合に遷移効果に対して焦点を提供する。例えば、図15(a)及び図15(b)において、共通の要素は写真である。縮小バージョンと拡大バージョンとの間の遷移効果は、例えば上述のノード監視アルゴリズムを以下のように使用してトリガされる。まず、主カメラのビューポートが構成要素の縮小バージョンの倍率から拡大バージョンへ遷移する時、事象を受信するために、ノード監視への登録が実行される。その後、事象が発生すると、共通要素が縮小し且つ共通要素が縮小バージョンの場所から拡大バージョンの場所へ移動することを示すアニメーションが表示される。その間、カメラのビューポートは、構成要素を拡大し続ける。
【0058】
本発明によるグラフィカルユーザインタフェースのこれらの機能は、図16〜図20に関して以下に説明される別の好適な実施形態を検討すると、更に明らかとなるであろう。図中、スタートアップGUI画面1400は、メディアグループ表現として動作する複数の編成オブジェクトを表示する。単に例としてのホームビデオ、映画、TV、スポーツ、ラジオ、音楽及びニュースのメディアグループ表現は、当然、異なるより多くの又はより少ないメディアグループ表現を含む。ユーザがこれらのアイコンのうち1つを操作すると、好適な本実施形態に係るGUIは、各々が特定のカテゴリ又はジャンルにグループ化された複数の画像を表示する。例えば、図16の「映画」アイコンがユーザにより操作された場合、図17のGUI画面が表示される。図17において、例えば120又はそれ以上の多くの選択項目オブジェクトが表示される。これらの選択項目オブジェクトは、アクション、クラシック、コメディ、ドラマ、ファミリー及び新作等の特定のグループに分類される。より多くの又はより少ないカテゴリが提供されてもよいことは、当業者には理解されるであろう。好適な本実施形態において、メディア項目画像が、各映画選択項目に関連付けられる表紙でもよい。図17のブロックのサイズは、選択項目画像のこの比較的大きなグループの詳細な表示ができない程小さいが、実現例において、一部又は全てのテキストが簡単には読み取れない程小さい場合でも、映画の情報を関連画像により識別できるような画像の倍率になっている。
【0059】
カーソル(図17において不図示)は映画画像の1つのグループ上に配置され、入力装置が1つのグループに対して選択指示を提供するために操作される。この例において、ユーザはドラマグループを選択し、グラフィカルユーザインタフェースは、図18に示されるように、画像のドラマグループの拡大バージョンを表示する。先の実施形態と同様に、図17のGUI画面から図18のGUI画面へのGUIの移動に伴って、遷移効果が表示される。例えば、GUIは、ズームの間又はズームの前に、図17のGUI画面の中心から画像のドラマグループの中心へビューをパンしてもよい。尚、図18のドラマグループの拡大バージョンは、ドラマグループの画像の総数のサブセットのみを表示するが、この拡大バージョンは、選択されたグループ中の全ての画像を含んでもよい。GUI画面の任意の拡大バージョンにおいて、選択されたグループ中の全ての画像を表示するか否かの選択は、例えば、グループ中のメディア項目数及び特定のズームレベルに対するメディア項目の所望の最小倍率に基づいて行なわれる。本発明によるGUIのこの最後の特性は、システム設計者/サービスプロバイダにより事前に判定可能であり、あるいは、GUIのソフトウェア設定を介してユーザによりカスタマイズ可能である。例えば、グループ中のメディア項目数、並びに最小倍率及び/又は最大倍率は、サービスプロバイダ及びエンドユーザのいずれか一方又は双方により設定可能である。そのような特徴により、例えば視力の弱いユーザは、表示されているメディア項目の倍率を増加できる。これに対して、特に視力の良いユーザは倍率を低下させ、これにより、1度にGUI画面に表示されるメディア項目数を増加し、閲覧時間を減少させてもよい。
【0060】
本発明によるグラフィカルユーザインタフェースにおいて採用される好適な遷移効果の1つを、本明細書において、「シュー・トゥ・ディテイル(shoe-to-detail)」ビュー効果と呼ぶ。操作される際、この遷移効果は縮小画像を取得し、同時に、その縮小画像を更に小さいビュー、すなわち次に高い倍率に縮小し移動する。図17のGUI画面において使用された倍率から図18のGUI画面において使用されたより大きい倍率への遷移の結果、図18の拡大バージョンにおいて表示される画像に対する追加の詳細が、GUIにより示される。GUIは、現在選択されているズームレベルにおいて詳細が適切に表示されるか否かに基づいて、各ズームレベルにおいて、選択的に詳細を表示又は隠蔽する。肉眼に対する可視性に関わらず詳細を解決しようとするカメラのズームとは異なり、本発明の好適な実施形態は、全体の画像を示す時と提供されていない詳細を有する画像のバージョンを示す時との間の遷移点を特定する設定可能なズームレベルパラメータを用意する。遷移点は、画像の描写に依存しない内部の解像度、詳細にはTV/モニタ212の解像度に基づいてもよい。このように、本発明によるGUIは、メディアシステムにおいて使用されている表示装置の解像度に関わらず一貫している。
【0061】
好適な本実施形態において、特定の画像に対する付加的な倍率は、カーソルが特定の画像上を通過することにより提供される。この特徴は、図19に示される。図中、カーソルは、映画「Apollo 13」の画像上を通過している。図19には示さないが、そのような付加的な倍率により、例えば、より低い倍率である図18のGUI画面中の対応する画像と比較して、関連するメディア項目の表紙に現れる引用文「Houston, we have a problem」がより識別しやすくなる。例えば入力装置のボタンを押下することにより、この画像をユーザ選択した結果、更に拡大し、図20に示される詳細を表示できる。これは、図19のGUI画面では入手できなかった種々の情報及び制御要素が図20のGUI画面には存在するため、上述のようなセマンティックズーミングの更に別の例を提供する。例えば、特に映画の再生時間、価格及び出演者情報を含む映画「Apollo 13」に関する情報が示される。他の種類の情報がここで提供されてもよいことは、当業者には理解されるであろう。更に、このGUI画面は、例えば映画の購入のためのボタン制御オブジェクト、予告編を見るためのボタン制御オブジェクト又は先のGUI画面に戻る(これは、入力装置の縮小ボタンを押下することによっても達成される)ためのボタン制御オブジェクトを含むGUI制御オブジェクトを有する。また、ハイパーリンクを使用することにより、ユーザは、例えば、図20のGUI画面の右下に識別される関連映画に関連付けられたGUI画面、又はこの映画の出演者に関連する情報へと移動することができる。この例において、見出し「映画作品リスト」の下の一部又は全ての映画は、ハイパーリンクとして実現できる。ハイパーリンクは、ユーザにより入力装置を介して操作されると、指示された図20の映画に対応するGUI画面をGUIに表示させる。
【0062】
ユーザがハイパーリンクを操作すると、遷移効果もまた採用される。ハイパーリンクが非常に高い倍率において生成されてもよいため、単純にリンクされたメディア項目に移動すると、ユーザがメディア項目選択「マップ」において自分のいる位置を追跡できなくなる可能性がある。従って、本発明の好適な実施形態は、ハイパーリンクが操作された時にユーザの地理的な位置感覚を維持することを支援するための遷移効果を提供する。このために採用される好適な遷移効果の1つは、ホップ遷移である。遷移効果の第1段階において、GUIは、ハイパーリンクにより指し示された項目の方向に、縮小及びパンする。縮小及びパンは、目的の画像及び元の画像の双方がユーザにとって可視状態となるまで継続する。図20の例を再び使用すると、ユーザが「Saving Private Ryan」のハイパーリンクを選択する場合、ハイパーリンクホップ効果の第1段階では、「Saving Private Ryan」及び「Apollo 13」の双方の画像がユーザにとって可視状態となるまで、「Saving Private Ryan」の画像に向けて縮小及びパンする。この時点で、遷移効果は、上方向に円弧を描きながら目的の画像に向かって移動する視覚的印象をユーザに与える。目的の画像が見えると、遷移効果の第2段階では、例えば円弧のもう一方の半分において、目的の画像を拡大及びパンする視覚的印象をユーザに与える。ホップ時間、すなわち遷移効果の第1段階及び第2段階の双方が表示される時間が、ハイパーリンクされた任意の2つの画像項目間の時間として固定される。あるいは、ホップ時間は、例えばGUI上を移動する距離に基づいて変動してもよい。例えば、ホップ時間は、HopTime=A log(拡大した縮尺レベル/ホップ頂点の縮尺レベル)+B(ハイパーリンクされたメディア項目間の距離)+Cのようにパラメータ化できる。式中、A、B及びCは、適切に選択された定数である。
【0063】
図9〜図13(b)に関して上述されたノード監視アルゴリズムは、図19の好適なGUI画面において示されたズームレベルと図20の好適なGUI画面において示されたズームレベルとの間の遷移を支援するために使用されてもよい。選択された画像の他のズームレベルバージョンにおいて可視状態ではないテキスト及び/又は制御要素を含むGUI画面の描画は、より低い倍率の画像に比べ、よりコンピュータに依存し、且つ/又はより多くのメモリを使用する可能性がある。従って、ノード監視アルゴリズムは、本発明の好適な実施形態において、GUIのナビゲーションコードを監視することにより図20に示されるようなGUI画面を事前にロードし、拡大されている特定のメディア項目をより迅速に識別することを支援するために使用されてもよい。
【0064】
本発明の好適な実施形態には、画面の場所及びセマンティックベースのナビゲーション制御手段が含まれる。これらの制御手段が図21に示すように画面上の適切な制御手段に関連付けられた領域付近又は領域に、ユーザがカーソルを位置付けると、制御領域が現れる。例えば、映画を再生する場合、早送り、巻戻し、一時停止、停止等のいわゆる特殊機能が適切な意味を持つ。好適な本実施形態において、これらの機能に割り当てられた画面領域は右下に存在し、カーソルがその領域付近又はその領域に位置付けられると、これら特殊機能に対する一組のアイコンが現れる。これらのアイコンは、実行された機能が明らかに完了した時、又はカーソルが画面上の他の場所に位置付けられた時に見えなくなる。同一の技術が、テキスト探索及びホーム画面選択のような他のナビゲーション機能に対応するために使用される。好適な本実施形態において、これらの制御手段は、全ての画面上で関連した意味を持ち、これらの制御手段に割り当てられた領域は右上に存在する。カーソルがその領域付近又はその領域に位置付けられると、ナビゲーション制御手段に対する一組のアイコンが現れる。アイコンは、機能が起動された時、又はカーソルが画面上の他の場所に位置付けられた時に見えなくなる。尚、ユーザトレーニングのため、未経験のユーザに関連制御アイコンの存在に対する注意を喚起するために、関連制御アイコンは、一部又は全ての関連画面上に任意で最初に一時的に(例えば、5秒間)現れる。
【0065】
本発明によるズーム可能なグラフィカルユーザインタフェースのいくつかの例を提供したが、そのようなインタフェースを使用する好適なフレームワーク及びインフラストラクチャを次に説明する。図22は、フレームワークの図を提供する。同図において、映画、テレビ、音楽、ラジオ及びスポーツ等の種々の高水準アプリケーション1900に関連付けられたズーム可能なインタフェースは、基本命令1902(図中において、「原子」と呼ぶ)により支援される。好適な本実施形態において、基本命令1902は、ポインティング、クリック、ズーム、ホバー及びスクロールを含むが、パン及びドラッグ等の他の基本命令がこのグループに含まれてもよいことは、当業者には理解されるであろう。上述のように、例えば、ユーザがハンドヘルド入力装置上の拡大ボタン又は縮小ボタンを操作すると、ポインティング及びクリック基本命令は、カーソルの場所を判定し且つ事象をトリガするように動作する。これらの基本命令は、ナビゲーションを簡単化し、繰り返される上下左右のボタンの動作の必要性を除去する。上述のように、ズーム基本命令は、選択可能な項目の概要を提供し、ユーザの選択範囲を絞る場合にはユーザコンテキストを与える。この概念により、インタフェースは、大量のメディア選択項目及び任意の表示サイズに倍率変更できる。スクロール基本命令は、好適なハンドヘルド入力装置上のスクロールホイール入力装置からの入力を処理し、例えば、線形メニューナビゲーションを高速化するために使用される。ホバー基本命令は、ポインタの真下にある選択項目を動的に拡大し(及び/又は選択項目を変更し)、ユーザが処理することなく選択する可能性のあるものを閲覧することを可能にする。上述の基本命令の各動作は、多数の異なる方法で、本発明によるGUIにおいて操作される。例えば、ポインティング、クリック、ホバー、スクロール及びズームの各々は、ユーザにより実行される異なるジェスチャに関連付けられる。このジェスチャは、フリースペースポインタ、トラックボール、タッチパッド等の入力装置を介してシステムに通信され、適切な基本命令の操作に変換される。同様に、各基本命令は、各音声コマンドに関連付けられる。
【0066】
本発明によるズーム可能なGUIに関連付けられる画像の生成に関係する種々のソフトウェア及びハードウェアのインフラストラクチャ1904は、低水準基本命令1902と高水準アプリケーション1900との間に存在する。図22に示されるように、そのようなインフラストラクチャ1904は、ハンドヘルド入力装置/ポインタ、アプリケーションプログラムインタフェース(API)、ズーム可能なGUI画面、開発者ツール等を含むことができる。
【0067】
上述の好適な実施形態は、実際には単に例証である。各レベルにおいてユーザに提供される特定の情報及び制御手段だけでなく、ズームレベルの数が変動してもよい。ユーザが映画及び音楽等のメディア項目の探索、閲覧、編成及び再生を簡単に行なえるように、本発明がズーム可能なインタフェースを使用して大量及び少量のメディア項目群を提供する画期的な技術を提供することは、当業者には理解されるであろう。本発明によるグラフィカルユーザインタフェースは、類似する選択項目がグループ化されるように、仮想面上でメディア項目選択を編成する。まず、インタフェースはその面の縮小されたビューを提供する。殆どの場合、実際の選択項目はこのレベルにおいて可視状態ではなく、その選択項目のグループ名のみが可視状態である。ユーザが徐々に内部に向けてズームするに従って、メディア項目グループ又は選択項目に関する更なる詳細が示される。各ズームレベルにおいて、ユーザが選択項目グループ又は個々の選択項目を再生できるように、あるいは仮想面の別の部分に移動し、他の関連メディア項目を閲覧できるように、異なる制御手段が利用可能である。本発明の好適な実施形態に係るズーミンググラフィカルユーザインタフェースは、任意の深さ及びカテゴリのカテゴリに入れ子にされた画像のカテゴリを含むことができる。メディア項目は、ローカルに格納されるコンテンツ、放送プロバイダにより放送されるコンテンツ、コンテンツプロバイダから直接接続を介して受信されるコンテンツ、又はピアー単位のコンテンツを含むことができる。メディア項目は、スケジューリング形式で提供される。スケジューリング形式において、日付/時間の情報がGUIのあるレベルで提供される。更に、本発明の好適な実施形態に係るフレームワーク及びGUIは、選択項目がユーザに販売されている商業テレビにも適用できる。
【0068】
上述の好適な実施形態は、本発明を制限するものではなく、本発明の全ての面において例証となることを意図する。従って、本発明は、当業者が本明細書に含まれる説明から得られる詳細な実現方法において、種々の多くの変更が可能である。そのような変更及び変形は、以下の特許請求の範囲により規定されるように、本発明の趣旨の範囲内であると考えられる。本発明の説明において使用される要素、処理又は命令は、明示しない限り、本発明にとって不可欠のものであると解釈されるべきではない。また、本明細書で使用されたように、単数は1つ以上の項目を含むことを意図する。

【特許請求の範囲】
【請求項1】
メディア項目を編成、選択及び開始するための制御フレームワークであって、
前記メディア項目を編成する手段と、
前記メディア項目のうちの1つをポインティングする手段と、
前記メディア項目のうちの前記1つに関連付けられた複数の異なるセマンティックレベルのうちの1つを選択する手段と、
前記複数の異なるセマンティックレベルのうち前記選択された1つにおいて、前記メディア項目のうちの前記1つを開始する手段と
を具備することを特徴とする制御フレームワーク。
【請求項2】
前記メディア項目のうちの1つをポインティングする前記手段は、フリースペースポインタを含むことを特徴とする請求項1に記載の制御フレームワーク。
【請求項3】
前記メディア項目のうちの1つをポインティングする前記手段は、トラックボールを含むことを特徴とする請求項1に記載の制御フレームワーク。
【請求項4】
前記メディア項目のうちの1つをポインティングする前記手段は、音声認識ユニットを含むことを特徴とする請求項1に記載の制御フレームワーク。
【請求項5】
前記メディア項目のうちの1つをポインティングする前記手段は、ジェスチャ認識ユニットを含むことを特徴とする請求項1に記載の制御フレームワーク。
【請求項6】
複数の異なるセマンティックレベルのうち1つを選択する前記手段は、
前記メディア項目に関連付けられた選択オブジェクトを含むオブジェクトを表示する表示装置と、
前記複数の異なるセマンティックレベルにおいて、前記選択オブジェクトを生成するズーム可能なグラフィカルユーザインタフェースと
を更に含むことを特徴とする請求項1に記載の制御フレームワーク。
【請求項7】
第1のセマンティックレベルにおいて、第1の一組の所定情報オブジェクトが可視状態であり、第2のセマンティックレベルにおいて、第2の一組の所定情報オブジェクトが可視状態であることを特徴とする請求項6に記載の制御フレームワーク。
【請求項8】
前記第1のセマンティックレベルにおいて、選択項目がユーザ選択に対して有効ではなく、前記第2のセマンティックレベルにおいて、前記選択項目がユーザ選択に対して有効であることを特徴とする請求項7に記載の制御フレームワーク。
【請求項9】
前記編成する手段は、各々が特定のメディアカテゴリに関連付けられる一組のアイコンを更に含み、
前記アイコンのうちの1つを選択することにより、各メディアカテゴリ内の複数の選択項目を表示することを特徴とする請求項1に記載の制御フレームワーク。
【請求項10】
グラフィカルユーザインタフェースオブジェクトを表示する表示画面と、
グラフィカルユーザインタフェースに対するユーザ入力を提供する入力装置と、
前記表示画面上の前記グラフィカルユーザインタフェースオブジェクトの表示を調整するグラフィカルユーザインタフェースとを具備する制御フレームワークであって、
前記グラフィカルユーザインタフェースは、
前記入力装置により指し示された画面上の位置が所定期間にわたり固定されている時間を検出し、それに応答して画面上に追加の画像及び/又はテキストを表示する手段と、
前記入力装置からの第1の入力に基づいて、1つの画像範囲から別の画像範囲にズームする手段と、
前記入力装置からの第2の入力に基づいて、前記グラフィカルユーザインタフェースオブジェクトのうちの1つを選択する手段と、
前記入力装置からの第3の入力に基づいて、画面位置のリストを介して選択目標を移動する手段と、
前記指し示された位置及び前記入力装置からの第4の入力に基づいて、前記グラフィカルユーザインタフェースフレームワークにおいて動作を開始する手段と
を含むことを特徴とする制御フレームワーク。
【請求項11】
前記入力装置は、フリースペースポインタを含むことを特徴とする請求項10に記載の制御フレームワーク。
【請求項12】
前記入力装置は、トラックボールを含むことを特徴とする請求項10に記載の制御フレームワーク。
【請求項13】
前記入力装置は、タッチパッドを含むことを特徴とする請求項10に記載の制御フレームワーク。
【請求項14】
前記入力装置は、テレビリモコンを含むことを特徴とする請求項10に記載の制御フレームワーク。
【請求項15】
前記第1の入力、前記第2の入力、前記第3の入力及び前記第4の入力のうち少なくとも1つは音声コマンドであることを特徴とする請求項10に記載の制御フレームワーク。
【請求項16】
前記第1の入力、前記第2の入力、前記第3の入力及び前記第4の入力のうち少なくとも1つはジェスチャであることを特徴とする請求項10に記載の制御フレームワーク。
【請求項17】
選択目標を移動させる前記手段はタッチパッドを含み、前記第3の入力は前記タッチパッド上の動作であることを特徴とする請求項10に記載の制御フレームワーク。
【請求項18】
追加の画像及び/又はテキストを表示する前記手段は、ホバー機能に関連付けられたジェスチャ入力を受信する手段を更に含むことを特徴とする請求項10に記載の制御フレームワーク。
【請求項19】
前記ズームする手段の前記第1の入力はジェスチャ又は音声コマンドの一方であることを特徴とする請求項10に記載の制御フレームワーク。
【請求項20】
前記表示画面はテレビであることを特徴とする請求項10に記載の制御フレームワーク。
【請求項21】
表示画面を有するテレビと、
少なくとも部分的に前記ポインティングデバイスの動作に基づく入力を前記テレビに対して提供するポインティングデバイスと、
前記入力を受信し且つ前記入力に基づく前記表示画面に表示されるメディアコンテンツを制御し、前記メディアコンテンツの表示を制御する基本命令に関連付けられたソフトウェアコードを格納するメモリを含むシステム制御器とを具備するメディアシステムであって、
前記基本命令のうち第1の基本命令は、前記システム制御器が前記ポインティングデバイスからの第1の入力に対して迅速に応答する前記テレビの前記表示画面上に表示されるメディアコンテンツをスクロールするようなスクロール基本命令であり、
前記基本命令のうち第2の基本命令は、前記カーソルが所定期間にわたり前記表示画面の一部分の上をホバーする場合に、前記システム制御器が前記テレビの前記表示画面上に表示される前記メディアコンテンツの表示を変更するようなホバー基本命令であることを特徴とするメディアシステム。
【請求項22】
前記基本命令のうち第3の基本命令は、前記テレビの前記表示画面上にカーソル生成するポインティング基本命令であり、前記カーソルの位置は、前記ポインティングデバイスの動作に基づくことを特徴とする請求項21に記載のメディアシステム。
【請求項23】
前記ポインティングデバイスは、少なくとも1つのボタンを有し、前記基本命令のうちの1つは、前記少なくとも1つのボタンの操作を指示するクリック基本命令であることを特徴とする請求項21に記載のメディアシステム。
【請求項24】
前記ポインティングデバイスはスクロールホイールを含むことを特徴とする請求項21に記載のメディアシステム。
【請求項25】
前記システム制御器は、前記表示画面の前記一部分に関連するメディアコンテンツを拡大することにより前記メディアコンテンツの前記表示を変更することを特徴とする請求項21に記載のメディアシステム。
【請求項26】
前記基本命令のうち第3の基本命令は、前記システム制御器が前記ポインティングデバイスからの第2の入力に基づく前記テレビの前記表示画面上に表示される前記メディアコンテンツの倍率を変更するようなズーム基本命令であることを特徴とする請求項21に記載のメディアシステム。
【請求項27】
前記倍率における前記変更は、第1の倍率から第2の倍率への変更を含み、前記第1の倍率では不可視又は不適切であった情報が、前記第2の倍率では可視状態であることを特徴とする請求項26に記載のメディアシステム。
【請求項28】
前記ポインティングデバイスはトラックボールを含むことを特徴とする請求項21に記載のメディアシステム。
【請求項29】
前記ポインティングデバイスはタッチパッドを含むことを特徴とする請求項21に記載のメディアシステム。
【請求項30】
前記ポインティングデバイスはテレビリモコンを含むことを特徴とする請求項21に記載のメディアシステム。
【請求項31】
前記ポインティングデバイスはフリースペースポインティングデバイスを含むことを特徴とする請求項21に記載のメディアシステム。
【請求項32】
前記スクロール基本命令及び前記ホバー基本命令のうち少なくとも1つは、音声コマンドに応答して操作されることを特徴とする請求項21に記載のメディアシステム。
【請求項33】
前記スクロール基本命令及び前記ホバー基本命令のうち少なくとも1つは、ジェスチャに応答して操作されることを特徴とする請求項21に記載のメディアシステム。
【請求項34】
テレビと、
少なくとも部分的に前記フリースペースポインティングデバイスの動作に基づく前記テレビに対する入力を提供するフリースペースポインティングデバイスと、
前記入力を受信し且つ前記入力に基づく前記テレビに表示されるメディアコンテンツを制御し、前記メディアコンテンツの表示を制御する基本命令に関連付けられたソフトウェアコードを格納するメモリを含むシステム制御器と
を具備することを特徴とするメディアシステム。
【請求項35】
前記基本命令のうち1つは、前記システム制御器が前記フリースペースポインティングデバイスからの第1の入力に迅速に応答する前記テレビに表示されるメディアコンテンツをスクロールするようなスクロール基本命令であることを特徴とする請求項34に記載のメディアシステム。
【請求項36】
前記基本命令のうち1つは、前記カーソルが所定期間にわたり前記テレビ画面の一部分の上をホバーする場合、前記システム制御器が前記テレビに表示される前記メディアコンテンツの表示を変更するようなホバー基本命令であることを特徴とする請求項37に記載のメディアシステム。
【請求項38】
前記基本命令のうち1つは、テレビ上にカーソル生成するポインティング基本命令であり、前記カーソルの位置は、前記フリースペースポインティングデバイスの動作に基づくことを特徴とする請求項34に記載のメディアシステム。
【請求項39】
前記フリースペースポインティングデバイスは少なくとも1つのボタンを有し、前記基本命令のうち1つは、前記少なくとも1つのボタンの操作を指示するクリック基本命令であることを特徴とする請求項34に記載のメディアシステム。
【請求項40】
前記フリースペースポインティングデバイスはスクロールホイールを含むことを特徴とする請求項35に記載のメディアシステム。
【請求項41】
前記システム制御器は、前記表示画面の前記一部分に関連するメディアコンテンツを拡大することにより前記メディアコンテンツの前記表示を変更することを特徴とする請求項36に記載のメディアシステム。
【請求項42】
前記基本命令のうち1つは、前記システム制御器が前記フリースペースポインティングデバイスからの入力に基づく前記テレビに表示される前記メディアコンテンツの倍率を変更するようなズーム基本命令であることを特徴とする請求項34に記載のメディアシステム。
【請求項43】
前記倍率における前記変更は、第1の倍率から第2の倍率への変更を含み、前記第1の倍率では可視状態ではなかった情報が、前記第2の倍率では可視状態であることを特徴とする請求項42に記載のメディアシステム。
【請求項44】
基本命令のうち少なくとも1つは音声コマンドに応答して操作されることを特徴とする請求項34に記載のメディアシステム。
【請求項45】
前記基本命令のうち少なくとも1つはジェスチャに応答して操作されることを特徴とする請求項34に記載のメディアシステム。
【請求項46】
前記フリースペースポインティングデバイスは、前記テレビの前で自由に動作可能であり、前記システム制御器は、代理面を使用せずに前記フリースペースポインティングデバイスの動作をカーソルの場所に直接変換することを特徴とする請求項34に記載のメディアシステム。
【請求項47】
グラフィカルユーザインタフェースに情報を表示する方法であって、
第1の倍率で第1の複数の画像を表示するステップと、
前記複数の画像のサブセットを識別する第1の選択指示を受信するステップと、
第2の倍率で前記複数の画像の前記選択されたサブセットの第1のズームバージョンを表示するステップと、
画像の前記サブセット内の1つの画像を識別する第2の選択指示を受信するステップと、
少なくとも1つのユーザ操作可能な制御要素を含む前記識別された画像の第2のズームバージョンを表示するステップと
を含むことを特徴とする方法。
【請求項48】
前記複数の画像上を移動できるカーソルを表示するステップを更に含み、前記第1の選択指示及び前記第2の選択指示は、前記カーソルの位置に基づくことを特徴とする請求項47に記載の方法。
【請求項49】
前記第1のズームバージョンを表示する前記ステップと前記第2のズームバージョンを表示する前記ステップとの間に遷移効果を提供するステップを更に含むことを特徴とする請求項47に記載の方法。
【請求項50】
前記表示する第1のステップは、前記複数の画像の各々をカテゴリにより複数のグループにグループ化することを更に含むことを特徴とする請求項47に記載の方法。
【請求項51】
前記表示する第1のステップは、アクション、ドラマ及びコメディのカテゴリを含む映画ジャンルのカテゴリを提供し、前記表示した画像を映画ジャンルのカテゴリと共に配置するステップを更に含むことを特徴とする請求項50に記載の方法。
【請求項52】
前記表示する第1のステップは、カントリー、ブルース及びジャズを含む音楽ジャンルのカテゴリを提供し、前記表示された画像を音楽ジャンルのカテゴリと共に配置するステップを更に含むことを特徴とする請求項47に記載の方法。
【請求項53】
前記複数の画像は表紙の画像であり、前記複数の画像の各々はメディア項目に関連付けられることを特徴とする請求項47に記載の方法。
【請求項54】
前記表示する第1のステップは、各グループが略同一の表示エリアを有するように、前記画像を均等にグループ化するステップを更に含むことを特徴とする請求項50に記載の方法。
【請求項55】
前記表示する第1のステップは、前記グループのうち少なくとも2つのグループが一方に対して異なる表示エリアを有するように前記画像をグループ化するステップを更に含むことを特徴とする請求項50に記載の方法。
【請求項56】
前記表示エリアは矩形であることを特徴とする請求項54に記載の方法。
【請求項57】
前記表示エリアは矩形であることを特徴とする請求項55に記載の方法。
【請求項58】
第1の選択指示を受信する前記ステップは、選択項目及びカーソルの場所を指示するポインティングデバイスから、少なくとも1つの信号を受信するステップを更に含むことを特徴とする請求項47に記載の方法。
【請求項59】
前記ポインティングデバイスは無線ポインティングデバイスであることを特徴とする請求項58に記載の方法。
【請求項60】
遷移効果を提供する前記ステップは、前記識別された画像の前記第1のズームバージョンを縮小し移動するステップを更に含むことを特徴とする請求項49に記載の方法。
【請求項61】
前記画像群のサブセットである前記第1の複数の画像を選択的に生成するために、前記画像群を編成するステップを更に含むことを特徴とする請求項47に記載の方法。
【請求項62】
前記編成するステップは、
前記第1の複数の画像を表示する前に、各アイコンが前記画像群のサブセットを表す一組のアイコンを表示するステップと、
前記アイコンのうち1つを識別する第3の選択指示を受信するステップとを更に含むことを特徴とする請求項61に記載の方法。
【請求項63】
前記編成するステップは、
前記第1の複数の画像を表示する前に、前記第1の倍率より小さい第3の倍率で、前記第1の複数の画像を含む第2の複数の画像を表示するステップと、
前記第1の複数の画像を識別する第3の選択指示を受信するステップとを更に含むことを特徴とする請求項61に記載の方法。
【請求項64】
前記識別された画像は映画の表紙画像であり、前記識別された画像の前記第2のズームバージョンは、映画再生時間、価格、出演者情報のグループから選択された情報要素を含むことを特徴とする請求項47に記載の方法。
【請求項65】
前記制御要素は、前記識別された画像に関連付けられた映画を購入するために操作されるボタンであることを特徴とする請求項47に記載の方法。
【請求項66】
前記制御要素は、前記識別された画像に関連付けられた映画に関連する他の映画に関する情報に対するハイパーリンクであることを特徴とする請求項47に記載の方法。
【請求項67】
前記制御要素は、前記第1のズームバージョンにおいて可視状態ではないことを特徴とする請求項47に記載の方法。
【請求項68】
前記情報要素は、前記第1のズームバージョンにおいて可視状態ではないことを特徴とする請求項65に記載の方法。
【請求項69】
第1の倍率で第1の複数の画像を表示する第1のGUI画面と、
前記複数の画像のサブセットを識別する第1の選択指示を受信する手段と、
第2の倍率で前記複数の画像の前記選択されたサブセットの第1のズームバージョンを表示する第2のGUI画面と、
前記画像のサブセット内の1つの画像を識別する第2の選択指示を受信する手段と、
少なくとも1つのユーザ操作可能な制御要素を含む前記識別された画像の前記第2のズームバージョンを表示する第3のGUI画面と
を具備することを特徴とするグラフィカルユーザインタフェース(GUI)。
【請求項70】
前記複数の画像上を移動できるカーソルを表示する手段を更に具備し、前記第1の選択指示及び前記第2の選択指示は前記カーソルの位置に基づくことを特徴とする請求項69に記載のGUI。
【請求項71】
前記第1のズームバージョンを表示する前記ステップと前記第2のズームバージョンを表示する前記ステップとの間に遷移効果を提供する手段を更に具備することを特徴とする請求項69に記載のGUI。
【請求項72】
前記第1のGUI画面は、前記複数の画像の各々をカテゴリにより複数のグループに表示することを特徴とする請求項69に記載のGUI。
【請求項73】
前記カテゴリは、アクション、ドラマ及びコメディのカテゴリを含む映画ジャンルであり、表示された画像は、前記第1のGUI画面上に映画ジャンルのカテゴリと共に配置されることを特徴とする請求項72に記載のGUI。
【請求項74】
前記カテゴリは、カントリー、ブルース及びジャズを含む音楽ジャンルであり、前記表示された画像は、前記第1のGUI画面上に音楽ジャンルのカテゴリと共に配置されることを特徴とする請求項72に記載のGUI。
【請求項75】
前記第1の複数の画像は表紙の画像であり、前記第1の複数の画像の各々はメディア項目に関連付けられることを特徴とする請求項69に記載のGUI。
【請求項76】
前記第1のGUI画面は、各グループが前記第1のGUI画面上に略同一の表示エリアを有するように、前記画像を均等にグループ化することを特徴とする請求項72に記載のGUI。
【請求項77】
前記第1のGUI画面は、前記グループのうち少なくとも2つのグループが一方に対して異なる表示エリアを有するように、前記複数のグループを表示することを特徴とする請求項72に記載のGUI。
【請求項78】
前記表示エリアは矩形であることを特徴とする請求項76に記載のGUI。
【請求項79】
前記表示エリアは矩形であることを特徴とする請求項77に記載のGUI。
【請求項80】
前記第1の選択指示を受信する前記手段は、選択項目及びカーソルの場所を指示するポインティングデバイスから、少なくとも1つの信号を受信する手段を更に含むことを特徴とする請求項69に記載のGUI。
【請求項81】
前記ポインティングデバイスは無線フリースペースポインティングデバイスであることを特徴とする請求項80に記載のGUI。
【請求項82】
遷移効果を提供する前記手段は、前記識別された画像の前記第1のズームバージョンを縮小し移動する手段を更に含むことを特徴とする請求項71に記載のGUI。
【請求項83】
画像群のサブセットである前記第1の複数の画像を選択的に生成するために、前記画像群を編成する手段を更に具備することを特徴とする請求項70に記載のGUI。
【請求項84】
前記編成する手段は、
前記第1のGUI画面を表示する前に、各アイコンが前記画像群のサブセットを表す一組の前記アイコンを表示する第4のGUI画面と、
前記アイコンのうち1つを識別する第3の選択指示を受信する手段と
を更に含むことを特徴とする請求項83に記載のGUI。
【請求項85】
前記編成する手段は、
前記第1のGUI画面を表示する前に、前記第1の倍率より小さい第3の倍率で、前記第1の複数の画像を含む第2の複数の画像を表示する第4のGUI画面と、
前記第1の複数の画像を識別する第3の選択指示を受信する手段と
を更に含むことを特徴とする請求項83に記載のGUI。
【請求項86】
前記識別された画像は映画の表紙画像であり、前記識別された画像の前記第2のズームバージョンは、映画再生時間、価格、出演者情報のグループから選択された情報要素を含むことを特徴とする請求項69に記載のGUI。
【請求項87】
前記制御要素は、前記識別された画像に関連付けられた映画を購入するために操作されるボタンであることを特徴とする請求項69に記載のGUI。
【請求項88】
前記制御要素は、前記識別された画像に関連付けられた映画に関連する他の映画に関する情報に対するハイパーリンクであることを特徴とする請求項69に記載のGUI。
【請求項89】
前記制御要素は、前記第1のズームバージョンにおいて可視状態ではないことを特徴とする請求項69に記載のGUI。
【請求項90】
前記情報要素は、前記第1のズームバージョンにおいて可視状態ではないことを特徴とする請求項86に記載のGUI。
【請求項91】
メディア入力を受信し、メディア出力を制御し、且つズーム可能なグラフィカルユーザインタフェース(GUI)を生成するプロセッサと、
ユーザが複数のメディア項目からオーディオ/ビデオ出力装置のうち一方に出力するメディア項目を選択することを可能にする前記GUIとを具備するセットトップボックスであって、
前記GUIは、
第1の倍率で第1の複数の画像を表示する第1のGUI画面と、
前記複数の画像のサブセットを識別する第1の選択指示を受信する手段と、
第2の倍率で前記複数の画像の前記選択されたサブセットの第1のズームバージョンを表示する第2のGUI画面と、
前記画像のサブセット内の1つの画像を識別する第2の選択指示を受信する手段と、
少なくとも1つのユーザ操作可能な制御要素を含む前記識別された画像の第2のズームバージョンを表示する第3のGUI画面と
を含むことを特徴とするセットトップボックス。
【請求項92】
前記複数の画像上を移動できるカーソルを表示する手段を更に具備し、前記第1の選択指示及び前記第2の選択指示は、前記カーソルの位置に基づくことを特徴とする請求項71に記載のセットトップボックス。
【請求項93】
前記第1のズームバージョンを表示する前記ステップと前記第2のズームバージョンを表示する前記ステップとの間に遷移効果を提供する手段を更に具備することを特徴とする請求項71に記載のセットトップボックス。
【請求項94】
前記第1のGUI画面は、前記複数の画像の各々をカテゴリにより複数のグループに表示することを特徴とする請求項71に記載のセットトップボックス。
【請求項95】
前記カテゴリは、アクション、ドラマ及びコメディのカテゴリを含む映画ジャンルであり、表示された画像は、前記第1のGUI画面上に映画ジャンルのカテゴリと共に配置されることを特徴とする請求項94に記載のセットトップボックス。
【請求項96】
前記カテゴリは、カントリー、ブルース及びジャズを含む音楽ジャンルであり、前記表示された画像は、前記第1のGUI画面上に音楽ジャンルのカテゴリと共に配置されることを特徴とする請求項94に記載のセットトップボックス。
【請求項97】
前記第1の複数の画像は表紙の画像であり、前記第1の複数の画像の各々はメディア項目に関連付けられることを特徴とする請求項91に記載のセットトップボックス。
【請求項98】
前記第1のGUI画面は、各グループが前記第1のGUI画面上に略同一の表示エリアを有するように、前記画像を均等にグループ化することを特徴とする請求項94に記載のセットトップボックス。
【請求項99】
前記第1のGUI画面は、前記グループのうち少なくとも2つのグループが一方に対して異なる表示エリアを有するように、前記複数のグループを表示することを特徴とする請求項94に記載のセットトップボックス。
【請求項100】
前記表示エリアは矩形であることを特徴とする請求項99に記載のセットトップボックス。
【請求項101】
前記表示エリアは矩形であることを特徴とする請求項99に記載のセットトップボックス。
【請求項102】
前記第1の選択指示を受信する前記手段は、選択項目及びカーソルの場所を指示するポインティングデバイスから、少なくとも1つの信号を受信する手段を更に含むことを特徴とする請求項91に記載のセットトップボックス。
【請求項103】
前記ポインティングデバイスは無線フリースペースポインティングデバイスであることを特徴とする請求項102に記載のセットトップボックス。
【請求項104】
遷移効果を提供する前記手段は、前記識別された画像の前記第1のズームバージョンを縮小し移動する手段を更に含むことを特徴とする請求項91に記載のセットトップボックス。
【請求項105】
画像群のサブセットである前記第1の複数の画像を選択的に生成するために、前記画像群を編成する手段を更に具備することを特徴とする請求項91に記載のセットトップボックス。
【請求項106】
前記編成する手段は、
前記第1のGUI画面を表示する前に、各アイコンが前記画像群のサブセットを表す一組の前記アイコンを表示する第4のGUI画面と、
前記アイコンのうち1つを識別する第3の選択指示を受信する手段と
を更に含むことを特徴とする請求項105に記載のセットトップボックス。
【請求項107】
前記編成する手段は、
前記第1のGUI画面を表示する前に、前記第1の倍率より小さい第3の倍率で、前記第1の複数の画像を含む第2の複数の画像を表示する第4のGUI画面と、
前記第1の複数の画像を識別する第3の選択指示を受信する手段と
を更に含むことを特徴とする請求項95に記載のセットトップボックス。
【請求項108】
前記識別された画像は映画の表紙画像であり、前記識別された画像の前記第2のズームバージョンは、映画再生時間、価格、出演者情報のグループから選択された情報要素を含むことを特徴とする請求項91に記載のセットトップボックス。
【請求項109】
前記制御要素は、前記識別された画像に関連付けられた映画を購入するために操作されるボタンであることを特徴とする請求項91に記載のセットトップボックス。
【請求項110】
前記制御要素は、前記識別された画像に関連付けられた映画に関連する他の映画に関する情報に対するハイパーリンクであることを特徴とする請求項91に記載のセットトップボックス。
【請求項111】
前記制御要素は、前記第1のズームバージョンにおいて可視状態ではないことを特徴とする請求項91に記載のセットトップボックス。
【請求項112】
前記情報要素は、前記第1のズームバージョンにおいて可視状態ではないことを特徴とする請求項109に記載のセットトップボックス。
【請求項113】
グラフィカルユーザインタフェース上に情報を表示する方法であって、
第1の倍率で複数の画像を表示するステップと、
前記複数の画像の前記サブセットのうち少なくとも1つを識別する選択指示を受信するステップと、
前記第1の倍率では利用不可能であった少なくとも1つのユーザ操作可能な制御要素を含む前記少なくとも1つの識別された画像のズームバージョンを表示するステップと
を含むことを特徴とする方法。
【請求項114】
第1の倍率で複数のオブジェクトを表示する第1のGUIと、
前記複数のオブジェクトのうち少なくとも1つと関連付けられる選択指示を受信する手段と、
第2の倍率で複数のオブジェクトのうち前記少なくとも1つを表示する第2のGUI画面とを具備し、
前記第1の倍率では利用不可能であったユーザ操作可能な制御要素は、前記第2の倍率で利用可能であることを特徴とするグラフィカルユーザインタフェース(GUI)。
【請求項115】
複数のノードの1つのサブセットがグラフィカルユーザインタフェース(GUI)の表示された部分に関連付けられる前記複数のノードを有する制御フレームワーク内における前記複数のノードを追跡する方法であって、
前記ノードのサブセットの各々に関連する境界情報を含むデータ構造を維持するステップと、
前記GUIの前記表示された部分を第1の部分から第2の部分へ変更するステップと、
ノードが前記GUIの前記表示された部分の内側又は外側に移動したかを判定するために、前記変更ステップに基づく前記データ構造を評価するステップと
を含むことを特徴とする方法。
【請求項116】
前記複数のノードの前記各々は、ユーザインタフェースオブジェクトであることを特徴とする請求項115に記載の方法。
【請求項117】
前記ユーザインタフェースオブジェクトの少なくとも一部は、ソフトウェアアプリケーションに関連付けられることを特徴とする請求項116に記載の方法。
【請求項118】
データ構造を維持する前記ステップは、トランジションブロックのリンクリストを維持するステップを更に含み、前記トランジションブロックの各々は、前記ノードのサブセット中の前記ノードのうち1つのノードの境界に関連付けられることを特徴とする請求項115に記載の方法。
【請求項119】
データ構造を維持する前記ステップは、複数のリンクリストを維持するステップを更に含み、リンクリストの各々は、複数の異なる次元のうち1つと関連付けられることを特徴とする請求項115に記載の方法。
【請求項120】
前記複数の異なる次元は、水平次元、垂直次元及び深さ次元のうち少なくとも1つを含むことを特徴とする請求項119に記載の方法。
【請求項121】
前記複数の異なる次元は、時間を含むことを特徴とする請求項119に記載の方法。
【請求項122】
前記複数の異なる次元は、内容の種類及び内容による入場者指定のうち少なくとも1つを含むことを特徴とする請求項119に記載の方法。
【請求項123】
前記境界情報は、境界形状輪郭の場所を含むことを特徴とする請求項115に記載の方法。
【請求項124】
前記境界形状は矩形であることを特徴とする請求項123に記載の方法。
【請求項125】
前記GUIの前記表示された部分を変更する前記ステップは、前記GUIを拡大又は縮小するステップを更に含むことを特徴とする請求項115に記載の方法。
【請求項126】
前記GUIの前記表示された部分を変更する前記ステップは、前記GUIの前記第1の部分から前記第2の部分へパンするステップを更に含むことを特徴とする請求項115に記載の方法。
【請求項127】
前記GUIの前記表示された部分を変更する前記ステップは、前記GUIの前記第1の部分から前記GUIの前記第2の部分へ移動するためにフィルタリングを動作させるステップを更に含むことを特徴とする請求項115に記載の方法。
【請求項128】
前記データ構造を評価する前記ステップは、前記GUIの前記第2の部分の外側である前記データ構造の部分を指すようにポインタを変更するステップを更に含むことを特徴とする請求項115に記載の方法。
【請求項129】
前記データ構造を評価する前記ステップは、ノード側、ビュー側及びビュー移動方向のうち少なくとも1つに基づく前記複数のノードのうち1つのノードに通知するかを判定するステップを更に含むことを特徴とする請求項115に記載の方法。
【請求項130】
前記データ構造を評価する前記ステップは、前記ポインタにより渡される前記データ構造の各ブロックに対して、ノード側、ビュー側及びビュー移動方向のうち少なくとも1つに基づく前記複数のノードのうち対応する1つのノードに通知するかを判定するステップを更に含むことを特徴とする請求項128に記載の方法。
【請求項131】
前記評価するステップの結果に基づく前記ノードに選択的に通知するステップを更に含むことを特徴とする請求項115に記載の方法。
【請求項132】
選択的に通知する前記ステップは、前記ノードが前記GUIの前記第2の部分と部分的に交差する場合、前記ノードに通知するステップを更に含むことを特徴とする請求項131に記載の方法。
【請求項133】
選択的に通知する前記ステップは、前記ノードが前記GUIの前記第2の部分と完全に交差する場合にのみ、前記ノードに通知するステップを更に含むことを特徴とする請求項131に記載の方法。
【請求項134】
選択的に通知する前記ステップは、複数の次元と関連付けられた複数のデータ構造の評価後、前記ノードが前記GUIの前記第2の部分と交差する場合、前記ノードに通知するステップを更に含むことを特徴とする請求項131に記載の方法。
【請求項135】
前記ノードが前記GUIの前記表示された部分の内側又は外側に移動した場合、前記ノードに関連付けられた機能を開始するステップを更に含むことを特徴とする請求項115に記載の方法。
【請求項136】
前記ノードが前記GUIの前記表示された部分の内側に移動した場合、前記機能は、ソフトウェアアプリケーションを開始することを特徴とする請求項151に記載の方法。
【請求項137】
グラフィカルユーザインタフェース(GUI)上にインタフェースオブジェクトを表示する方法であって、
複数の倍率のうち1つの倍率で、前記インタフェースオブジェクトを表示するステップと、
前記複数の倍率のうち前記1つの倍率で、前記インタフェースオブジェクトの少なくとも1つの詳細を隠蔽するステップと、
前記複数の倍率のうち別の倍率で、前記インタフェースオブジェクトを表示するステップと、
前記インタフェースオブジェクトが表示される解像度に関わらず、前記複数の倍率のうち前記所定の別の倍率で、前記インタフェースオブジェクトの前記少なくとも1つの詳細を明示するステップと
を含むことを特徴とする方法。
【請求項138】
前記少なくとも1つの詳細は、前記複数の倍率のうち前記1つの倍率で表示された場合には前記インタフェースオブジェクトから切り取られるテキストのセグメントであることを特徴とする請求項137に記載の方法。
【請求項139】
前記少なくとも1つの詳細はハイパーリンクであることを特徴とする請求項137に記載の方法。
【請求項140】
前記少なくとも1つの詳細は別のインタフェースオブジェクトであることを特徴とする請求項137に記載の方法。
【請求項141】
前記インタフェースオブジェクトのための局所座標系に関連付けられた情報を含むデータ構造を維持するステップと、
変換行列を用いて前記局所座標系を変換し、前記インタフェースオブジェクトのための解像度非依存データセットを生成するステップと、
前記解像度非依存データセットを前記GUIの現在表示されている部分に関連付けられた画素にマッピングするステップと、
を更に含むことを特徴とする請求項137に記載の方法。
【請求項142】
前記明示するステップは、所定の次元における前記画素の数が画素の閾値を超えた場合に、前記インタフェースオブジェクトの前記少なくとも1つの詳細を明示するステップを更に含むことを特徴とする請求項141に記載の方法。
【請求項143】
グラフィカルユーザインタフェース(GUI)であって、
各々がメディア項目を表し、第1のズームレベルで表示される第1の複数のグラフィカルユーザインタフェースオブジェクトと、
前記第1の複数のグラフィカルユーザインタフェースオブジェクトのうち1つに関連付けられた選択指示を受信する手段と、
前記第1の複数のグラフィカルユーザインタフェースオブジェクトのうちの前記1つのグラフィカルユーザインタフェースオブジェクトに対してズームインすると共にそこへ向かってパニングし、少なくとも当該1つのグラフィカルユーザインタフェースオブジェクトを第2のズームレベルで表示する手段とを具備し、
前記第2のズームレベルにおいて、前記第1の複数のグラフィカルユーザインタフェースオブジェクトのうちの前記1つのグラフィカルユーザインタフェースオブジェクトは、前記第1のズームレベルにおける当該1つのグラフィカルユーザインタフェースオブジェクトとは異なるコンテンツを含むことを特徴とするグラフィカルユーザインタフェース(GUI)。
【請求項144】
前記第2のズームレベルは、セマンティックズーム閾値を超えていることを特徴とする請求項143に記載のグラフィカルユーザインタフェース。
【請求項145】
前記異なるコンテンツは、前記第1のズームレベルでは可視状態でなかった追加のテキスト情報であることを特徴とする請求項143に記載のGUI。
【請求項146】
前記異なるコンテンツは、前記第1のズームレベルでは可視状態でなかったGUI制御オブジェクトを少なくとも1つ含むことを特徴とする請求項143に記載のGUI。
【請求項147】
前記少なくとも1つのGUI制御オブジェクトは、異なるメディア項目に対するリンクを提供するハイパーリンクであることを特徴とする請求項146に記載のGUI。
【請求項148】
前記少なくとも1つのGUI制御オブジェクトは、操作された場合に、前記GUIに前記メディア項目を再生させる制御オブジェクトであることを特徴とする請求項146に記載のGUI。
【請求項149】
前記1つのグラフィカルユーザインタフェースオブジェクトのための局所座標系に関連付けられた情報を含むデータ構造を維持する手段と、
変換行列を用いて前記局所座標系を変換し、前記1つのグラフィカルユーザインタフェースオブジェクトのための解像度非依存データセットを生成する手段と、
前記解像度非依存データセットを前記GUIの現在表示されている部分に関連付けられた画素にマッピングする手段と
を更に具備することを特徴とする請求項143に記載のGUI。
【請求項150】
前記メディア項目は、映画、曲及びテレビチャンネルのうちの1つであることを特徴とする請求項143に記載のGUI。
【請求項151】
メディアシステムにおいてメディア項目を選択する方法であって、
前記メディアシステムの表示画面上に、複数のメディア項目を画像として表示するステップと、
前記メディアシステムに対するユーザ入力を受信するステップと、
前記ユーザ入力に基づいて、少なくとも1つの制御オブジェクトが前記表示画面上で可視状態となるまで前記複数のメディア項目に対してズームインするステップと、
対応するメディア項目を選択するために、前記ユーザが前記制御オブジェクトのうちの1つを操作するステップと
を含むことを特徴とする方法。
【請求項152】
前記ズームインするステップは、所定の倍率間で段階的にズームインするステップを更に含み、各段階は、対応するユーザ入力に関連付けられることを特徴とする請求項151に記載の方法。
【請求項153】
前記所定の倍率のうち1つはセマンティックズーミング閾値を表し、前記少なくとも1つの制御オブジェクトは、前記セマンティックズーミング閾値に到達すると、前記表示画面上で可視状態となることを特徴とする請求項152に記載の方法。
【請求項154】
前記セマンティックズーミング閾値は、前記表示画面の解像度に依存しないことを特徴とする請求項153に記載の方法。
【請求項155】
前記複数のメディア項目は、映画、曲及びテレビチャンネルのうち少なくとも1つを表すことを特徴とする請求項151に記載の方法。
【請求項156】
表示画面上に、複数のメディア項目を画像として表示するプロセッサと、
入力を受信する入力ポートと、
少なくとも1つの制御オブジェクトが前記表示画面上で可視状態となるまで、第1の入力に基づく前記複数のメディア項目を拡大する手段と、
第2の入力に応答して、前記少なくとも1つの制御オブジェクトに関連付けられるメディア項目を実行する手段と
を具備することを特徴とするメディア制御器。
【請求項157】
前記拡大する手段は、所定の倍率間のステップでズームする手段を更に含み、各ステップは受信した入力に応答して実行されることを特徴とする請求項156に記載のメディア制御器。
【請求項158】
前記所定の倍率のうち1つはセマンティックズーミング閾値を表し、前記少なくとも1つの制御オブジェクトは、前記セマンティックズーミング閾値に到達すると、前記表示画面上で可視状態となることを特徴とする請求項157に記載のメディア制御器。
【請求項159】
前記セマンティックズーミング閾値は、前記表示画面の解像度に依存しないことを特徴とする請求項158に記載のメディア制御器。
【請求項160】
前記複数のメディア項目は、映画、曲及びテレビチャンネルのうち少なくとも1つを表すことを特徴とする請求項156に記載のメディア制御器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10(a)】
image rotate

【図10(b)】
image rotate

【図11】
image rotate

【図12(a)】
image rotate

【図12(b)】
image rotate

【図13(a)】
image rotate

【図13(b)】
image rotate

【図14】
image rotate

【図15(a)】
image rotate

【図15(b)】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2012−69138(P2012−69138A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−237899(P2011−237899)
【出願日】平成23年10月28日(2011.10.28)
【分割の表示】特願2006−532896(P2006−532896)の分割
【原出願日】平成16年5月7日(2004.5.7)
【出願人】(505367154)ヒルクレスト ラボラトリーズ, インコーポレイテッド (3)
【氏名又は名称原語表記】Hillcrest Laboratories, Inc.
【住所又は居所原語表記】15245 Shady Grove Road Rockville, Maryland 20850, U.S.A.
【Fターム(参考)】