説明

マルチスクリーンのホールド及びページフリップジェスチャー

マルチスクリーンのホールド及びページフリップジェスチャーの実施態様が説明される。様々な実施態様において、ホールド入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、このホールド入力は、第1スクリーン上に表示されているジャーナルページを選択するためにホールドされた時に認識される。モーション入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、このモーション入力は、ホールド入力が適所にホールドされたままである間に認識される。次いで、この認識されたホールド及びモーション入力から、ホールド・ページフリップジェスチャーが決定されることが可能であり、当該ホールド・ページフリップジェスチャーは、1又は複数の追加のジャーナルページが捲られて第2スクリーン上に表示される間にジャーナルページの表示を保持するのに有効である。

【発明の詳細な説明】
【背景技術】
【0001】
[0001] パーソナルコンピューター、ラップトップコンピューター、テーブルトップコンピューター、エンターテインメントデバイス等のコンピューティングデバイスは、ますます多くの機能や特徴をもたらすようになり、ユーザーは、自分がデバイス上で起動したいと考える機能に関連したアプリケーションコマンドを操作し選択することが困難になっている。コンピューティングデバイスと対話するためのマウス、キーボード、及び他の入力デバイスといった従来の技術は、コンピューティングデバイスの機能や特徴が拡大を続けるにつれて、より非効率なものとなってきているといえる。これらのデバイスの設計者が直面し続けている問題は、単に直感的であるというだけではない、コンピューティングデバイスのこうした多くの機能や特徴とユーザーが簡単に素早く対話することを可能にする対話技術を、如何にして取り入れるかということである。
【発明の概要】
【0002】
[0002] この概要は、マルチスクリーンジェスチャーの簡略化された概念を導入するために提供される。当該簡略化された概念は、以下の詳細な説明において更に説明される。この概要は、クレームに記載された対象の本質的な特徴を特定することを意図したものではなく、また、クレームに記載された対象の範囲を決定するのに用いることを意図したものでもない。
【0003】
[0003] マルチスクリーンのホールド及びページフリップジェスチャーの実施態様が説明される。様々な実施態様において、ホールド入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、このホールド入力は、第1スクリーン上に表示されているジャーナルページを選択するためにホールドされた時に認識される。モーション入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、このモーション入力は、ホールド入力が適所にホールドされたままである間に認識される。次いで、この認識されたホールド及びモーション入力から、ホールド・ページフリップジェスチャーが決定されることが可能であり、当該ホールド・ページフリップジェスチャーは、1又は複数の追加のジャーナルページが捲られて第2スクリーン上に表示される間にジャーナルページの表示を保持するのに有効である。他の実施態様において、ホールド・ページフリップジェスチャーは、第1スクリーン上に表示されているジャーナルページを選択すると共に、ジャーナルページを(オプションとして、選択されたジャーナルページの方向へ)捲って2ページの追加のジャーナルページを第1及び第2スクリーン上にそれぞれ1ページずつ表示するために、第1スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを第2スクリーン上に表示するために、及び/又は、第1スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って不連続なジャーナルページを第1ジャーナルページと左右に並べて第2スクリーン上に表示するために、用いられることが可能である。
【0004】
[0004] マルチスクリーンジェスチャーの実施態様は、以下の図面を参照して説明される。図面の全体にわたって、同様の特徴及びコンポーネントを参照するために同一の符号が用いられる。
【図面の簡単な説明】
【0005】
【図1】図1は、マルチスクリーンジェスチャーの様々な実施態様を実現することが可能であるマルチスクリーンシステムの環境を示す。
【図2】図2は、ユビキタス環境においてシームレスなユーザー体験をもたらすマルチスクリーンジェスチャーの様々な実施態様を実現することが可能である複数のデバイスを備えた例示のシステムを示す。
【図3】図3は、マルチスクリーンシステム上におけるマルチスクリーン縮小・拡大ジェスチャーの例を示す。
【図4】図4は、1つ又は複数の実施態様に従うマルチスクリーン縮小・拡大ジェスチャーのための例示の方法を示す。
【図5】図5は、マルチスクリーンシステム上におけるマルチスクリーン縮小・収納ジェスチャーの例を示す。
【図6】図6は、1つ又は複数の実施態様に従うマルチスクリーン縮小・収納ジェスチャーのための例示の方法を示す。
【図7】図7は、マルチスクリーンシステム上におけるマルチスクリーンデュアルタップジェスチャーの例を示す。
【図8】図8は、1つ又は複数の実施態様に従うマルチスクリーンデュアルタップジェスチャーのための例示の方法を示す。
【図9】図9は、マルチスクリーンシステム上におけるマルチスクリーンホールド・タップジェスチャーの例を示す。
【図10】図10は、1つ又は複数の実施態様に従うマルチスクリーンホールド・タップジェスチャーのための例示の方法を示す。
【図11】図11は、マルチスクリーンシステム上におけるマルチスクリーンホールド・ドラッグジェスチャーの例を示す。
【図12】図12は、1つ又は複数の実施態様に従うマルチスクリーンホールド・ドラッグジェスチャーのための例示の方法を示す。
【図13】図13は、マルチスクリーンシステム上におけるマルチスクリーンホールド・ページフリップジェスチャーの例を示す。
【図14】図14は、1つ又は複数の実施態様に従うマルチスクリーンホールド・ページフリップジェスチャーのための例示の方法を示す。
【図15】図15は、マルチスクリーンシステム上におけるマルチスクリーンブックマークホールドジェスチャーの例を示す。
【図16】図16は、1つ又は複数の実施態様に従うマルチスクリーンブックマークホールドジェスチャーのための例示の方法を示す。
【図17】図17は、マルチスクリーンシステム上におけるマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの例を示す。
【図18】図18は、1つ又は複数の実施態様に従うマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーのための例示の方法を示す。
【図19】図19は、マルチスクリーンシステム上におけるマルチスクリーン同期スライドジェスチャーの例を示す。
【図20】図20は、1つ又は複数の実施態様に従うマルチスクリーン同期スライドジェスチャーのための例示の方法を示す。
【図21】図21は、マルチスクリーンジェスチャーの様々な実施態様を実現することが可能である例示のデバイスのコンポーネントを示す。
【発明を実施するための形態】
【0006】
[0005] マルチスクリーンジェスチャーの実施態様は、マルチスクリーンシステムにおける1つ又は複数のコンピューティングデバイスのユーザーが、コンピューティングデバイスの機能を起動するために当該システムの2つ以上のスクリーンに入力を与えることが可能であるということを規定する。マルチスクリーンジェスチャーの様々な実施態様において、マルチスクリーンシステムは、独立した複数のデバイスとして実現され、又は、単独のマルチスクリーンデバイスに統合されることができる、2つ以上のスクリーンを含む。ユーザーは、マルチスクリーンシステム又はマルチスクリーンデバイスにおける複数のスクリーンで認識される、セレクト、ホールド、モーション、タッチ、及び/又はタップ入力といったような、任意のタイプの様々な入力又は入力の組み合わせを入力することが可能である。次いで、これら様々な入力の組み合わせからマルチスクリーンジェスチャーが認識されて、コンピューティングデバイスの機能を起動することが可能である。したがって、このマルチスクリーンジェスチャーは、ユーザーが、コマンドをコンピューターデバイスに入力するのに用いられる従来の技術によってではなく、直感的な方法で、こうした様々な入力をマルチスクリーンシステム又はデバイスへ与えることが可能であるということを規定する。
【0007】
[0006] 様々な実施態様において、マルチスクリーンジェスチャーは、複数のスクリーンを有したコンピューターデバイスによって実現されることが可能である。あるいはまた、マルチスクリーンジェスチャーは、物理的に接続され又は単独のデバイスに統合されていないかもしれないが、そうではなく例えばデータ又はネットワーク接続を介して通信可能にリンクされている、2つ以上のスクリーンを持つマルチスクリーンシステムによって実現されることが可能である。マルチスクリーンシステムは、互いを自動的に見つけ出し、ユーザーによって明示的にペアリングされ、又は、その他の方法で一時的に物理的に近接して配置された、複数の独立したスレート(slate)型又はハンドヘルド型のデバイスを含むことが可能である。
【0008】
[0007] マルチスクリーンジェスチャーの様々な実施態様において、マルチスクリーン縮小ジェスチャーは、マルチスクリーンシステム又はデバイスの複数のスクリーン上の表示オブジェクトを縮小するために用いられることが可能である。あるいはまた、マルチスクリーン拡大ジェスチャーは、マルチスクリーンシステム又はデバイスの複数のスクリーン上における表示のための表示オブジェクトを拡大するために用いられることが可能である。マルチスクリーンの縮小・拡大ジェスチャーはまた、ディスプレイ、オブジェクト、及び/又はアプリケーションに関係付けられた情報アーキテクチャーの異なるレベルを通じて、意味的にズームすることもできる。マルチスクリーンの縮小・収納ジェスチャーは、例えば表示オブジェクトをサムネイル画像としてマルチスクリーンシステム又はデバイスのベゼルの下に保存する等、表示オブジェクトを収納するために用いられることが可能である。
【0009】
[0008] マルチスクリーンのデュアルタップジェスチャーは、マルチスクリーンシステム又はデバイスの複数のスクリーン上に表示されている表示オブジェクトを拡大又は収納するために用いられることが可能である。例えば、表示オブジェクトは、当該表示オブジェクトが収納されている間にデュアルタップジェスチャーが判定された場合に、第1及び第2スクリーン上において全画面表示に拡大されることが可能である。あるいはまた、表示オブジェクトは、当該表示オブジェクトが第1及び第2スクリーン上に全画面表示されている間にデュアルタップジェスチャーが判定された場合に、収納されることが可能である。
【0010】
[0009] マルチスクリーンのホールド・タップジェスチャーは、例えばオブジェクトをジャーナルページ上に移動若しくはコピーする、又はそのオブジェクトをノートブックに取り込むといったように、表示オブジェクトを1つの表示位置から別の位置へ移動及び/又はコピーするために用いられることが可能である。マルチスクリーンのホールド・ドラッグジェスチャーは、表示オブジェクトの第1部分の表示を一方のスクリーン上に保持すると共に、別のスクリーン上に表示されているその表示オブジェクトの第2部分をドラッグして分割画面ビューのために当該表示オブジェクトの第2部分を収納するために、用いられることが可能である。あるいはまた、ホールド・ドラッグジェスチャーは、表示オブジェクトの第1部分の表示を一方のスクリーン上に保持すると共に、その表示オブジェクトの収納された第2部分をドラッグして別のスクリーン上にその表示を拡大するために、用いられることが可能である。
【0011】
[0010] マルチスクリーンのホールド・ページフリップジェスチャーは、1つのスクリーン上に表示されているジャーナルページを選択し、本のページを捲るのとほとんど同じように、ジャーナルページを捲って更なる即ち新しい2ページのジャーナルページを表示するために、用いられることが可能である。ジャーナルページは、本のページを前方又は後方へ捲るのとほとんど同じように、2ページの新しいジャーナルページを表示するよう、選択されたジャーナルページの方向へ捲られる。あるいはまた、ホールド・ページフリップジェスチャーは、1つのスクリーン上に表示されているジャーナルページの表示を保持し、ジャーナルページを捲って異なるジャーナルページを別のスクリーン上に表示するために、用いられることが可能である。その後、不連続なジャーナルページが左右に並んで表示されることが可能であり、これは、本に関していえば、本から1ページを抜き取って、それを別のページと左右に並べて見えるように不連続なページ順に配置することに関わるであろう。
【0012】
[0011] マルチスクリーンのブックマークホールドジェスチャーは、スクリーン上のジャーナルページに対するホールド入力の場所にジャーナルページをブックマークするために用いられることが可能であり、また、当該ジャーナルページに対してこのブックマークが保持されている間、閲覧のために更なるジャーナルページが捲られることが可能である。ブックマークホールドジェスチャーは、本の他のページを次々と捲る間に本の中の場所を憶えておくために、読者が親指又は親指以外の指をページの間に挿む動作を真似たものである。加えて、ブックマークは、ジャーナルページへ戻る選択可能なリンクであり、また、このブックマークのセレクト入力によって、スクリーン上に当該ジャーナルページを表示するようにページが元の状態へと捲られる。マルチスクリーンのオブジェクトホールド・ページチェンジジェスチャーは、例えば表示オブジェクトをジャーナルページ上の表示のために取り込むべく、表示オブジェクトを1つの表示位置から別の位置へ移動及び/又はコピーするために用いられることが可能である。加えて、表示オブジェクトが1つの表示位置から別の位置へ移動又はコピーされる場合に、相対的な表示位置は保持されることが可能である。
【0013】
[0012] マルチスクリーンの同期スライドジェスチャーは、表示オブジェクトを1つのスクリーンから別のスクリーン上の表示のために移動する、デバイスのスクリーン上の表示オブジェクトを異なる表示オブジェクトで置換する、デバイスのスクリーン上に作業スペースを空けるために表示オブジェクトを移動する、及び/又は、このシステム若しくはデバイスのスクリーン上に表示されている1つ又は複数の作業スペース(例えば、アプリケーション、インターフェース等)の間を循環する(cycle through)ために、用いられることが可能である。同期スライドジェスチャーはまた、追加のビューへと移動する、又は現在のビューを異なるスクリーンに再割り当てするために、用いられることもできる。加えて、同期スライドジェスチャーによって、異なるアプリケーション又は作業スペースがスタック上に保持され、前方及び後方へ循環されることが可能である。
【0014】
[0013] マルチスクリーンジェスチャーに関する説明されたシステム及び方法の特徴や概念は多数の異なる環境、システム、及び/又は様々な構成において実現されることが可能であるけれども、マルチスクリーンジェスチャーの実施態様は、以下の例示のシステム及び環境のコンテキストで説明される。
【0015】
[0014] 図1は、マルチスクリーンジェスチャーの技術を利用するように実施可能である例示の具体化における環境100を示す。図示された環境100は、例えば任意のタイプのマルチスクリーンのコンピューター又はデバイスといったような、様々な方法で構成されることができるコンピューティングデバイス102の例を含む。例えば、コンピューティングデバイス102は、図2を参照して更に説明されるように、コンピューター(例えば、ラップトップコンピューター、ノートブックコンピューター、タブレットPC、テーブルトップコンピューター等)、モバイルステーション、エンターテインメント機器、ゲームデバイス等として構成されることができる。コンピューティングデバイス102はまた、当該コンピューティングデバイス102に1つ又は複数の演算を実行させるソフトウェアと共に実現されることもできる。
【0016】
[0015] この例示の環境100において、コンピューティングデバイス102は、第1スクリーン104及び第2スクリーン106を含むマルチスクリーンデバイスであり、第1スクリーン104及び第2スクリーン106は、それぞれが任意のタイプのディスプレイデバイス、ディスプレイシステム、及び/又はタッチスクリーンとして実現されることが可能である。第1及び第2スクリーンは、ユーザーインターフェースや様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)に加えて、任意のタイプの背景又はデスクトップを表示することが可能である。第1及び第2スクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。
【0017】
[0016] コンピューティングデバイス102は、ジェスチャーを判定し当該ジェスチャーに対応する演算が実行されるようにする機能を表すジェスチャーモジュール108を含む。コンピューティングデバイスはまた、セレクト入力、ホールド入力、モーション入力、タッチ入力、タップ入力等の、様々な入力又は入力の組み合わせを認識するように実現された入力認識システム110をも含む。入力認識システム110は、センサー、光感知ピクセル、タッチセンサー、カメラ、及び/又は、ユーザーの対話、ジェスチャー、入力、及び動作を解釈する自然ユーザーインターフェースといったような、様々なタイプの入力を感知する任意のタイプの入力検出機構を含むことができる。具体化において、入力認識システム110は、方向の変数(例えば右から左へ又はその反対)、開始領域位置の変数(例えば左1、上1、右1、下1)と終了領域位置の変数(例えば左2、上2、右2、下2)、及び/又はモーション速度の変数(例えば1秒当たりの具体的なピクセル数)といったような、判別可能な変数から第1又は第2スクリーンにおけるモーション入力を検出することが可能である。
【0018】
[0017] 入力認識システム110は、様々なタイプの入力を認識し、また、ジェスチャーモジュール108は、その認識された入力からマルチスクリーンジェスチャーを識別又は判定する。例えば、入力認識システム110は、第1スクリーン104においてタッチ入力112のような第1入力を認識し、また、第2スクリーン106においてセレクト入力114のような第2入力を認識することが可能である。ジェスチャーモジュール108は、次いで、この認識されたタッチ及びセレクト入力からマルチスクリーンジェスチャーのタイプを判定することが可能である。第1又は第2スクリーンにおける入力はまた、入力認識システム110によって認識される1つのタイプの入力を別の入力から区別する属性(例えば、動作、選択ポイント等)を含むものとして認識されることもできる。この区別は、その後、タッチ入力からモーション入力を識別又は判別するためのベースとして、そしてその結果、それに対応するジェスチャーの判定に基づいて実行されることとなる演算を識別又は判別するためのベースとして、役に立つことができる。具体化において、コンピューティングデバイス102は、ジェスチャーモジュール108がそれを用いてマルチスクリーンジェスチャーを判定又は識別することが可能であるところの、ジェスチャー、入力、及び/又はモーションの様々な決定可能な表現を含んでいるジェスチャーデータベースを含むことができる。
【0019】
[0018] コンピューティングデバイス102はまた、タッチ入力とスタイラス入力等の様々な入力を認識しそれらの違いを区別するように実現されることも可能である。この区別は、指による入力のサイズとスタイラス入力のサイズを認識することによる等の様々な方法で実行されることができる。この区別はまた、カメラの使用を通じて、タッチ入力(例えば1本又は複数本の指を持ち上げる)、スタイラス入力(例えば2本の指を1つにしてポイントを指し示す)、又は自然ユーザーインターフェース(natural user interface:NUI)による入力を判別するように実行されることもできる。様々なタイプの入力を判別するための様々な他の技術が予期される。
【0020】
[0019] 入力認識システム110によって様々な異なるタイプの入力が認識されることができ、また、ジェスチャーモジュール108によって、複合型入力に関わるジェスチャーのみならず単独型入力として認識されるジェスチャー等の様々な異なるジェスチャーが判定されることができる。それ故に、コンピューティングデバイス102のジェスチャーモジュール108は、複数の入力を認識し2モード入力に関わるジェスチャーを識別又は判定する機能を表す2モード入力モジュール116を含むことができる。ジェスチャーモジュール108は、この2モード入力モジュール116の使用を通じて異なるタイプの入力を識別しそれに影響を与えることによって、様々な異なるジェスチャー技術をサポートすることができる。例えば、2モード入力モジュール116はスタイラスを手書きツールとして認識するよう構成されることができるのに反して、第1又は第2スクリーン上に表示されたオブジェクトを操作するためにタッチが利用される。様々なタイプの入力を区別することによって、これらの入力のそれぞれ単独で可能とされるジェスチャーの数も増えることは、特筆されるべきである。
【0021】
[0020] したがって、ジェスチャーモジュール108は、様々な異なるマルチスクリーンジェスチャー118を、2モードであるものとそうでないものの両方とも、サポートすることが可能である。本明細書において説明されるマルチスクリーンジェスチャー118の例は、縮小・拡大ジェスチャー120、縮小・収納ジェスチャー122、デュアルタップジェスチャー124、ホールド・タップジェスチャー126、ホールド・ドラッグジェスチャー128、ホールド・ページフリップジェスチャー130、ブックマークホールドジェスチャー132、オブジェクトホールド・ページチェンジジェスチャー134、及び同期スライドジェスチャー136を含む。これらの異なるマルチスクリーンジェスチャーのそれぞれは、下記の議論の対応するセクションにおいて説明される。各マルチスクリーンジェスチャーは異なるセクションにおいて説明されるが、更なるジェスチャーをサポートするためにこれらのジェスチャーの特徴が結合及び/又は分離されることができることは、直ちに明らかであると言うべきである。したがって、本説明は、これらの例に限定されるものではない。加えて、下記の議論はセレクト、ホールド、モーション、タッチ、及びタップ入力の特定の例を説明するが、その趣旨及び範囲から逸脱することなく、様々なタイプの入力が別の例において交換されることができ(例えば、タッチ入力がセレクト入力として用いられることができ、その反対も同じである)、及び/又は、2つの入力の双方が同一の入力を与えられることができる。
【0022】
[0021] 図示された環境100はまた、例えばスクリーン142を有する第1デバイス140及びスクリーン146を有する第2デバイス144のような、それぞれが1つのスクリーンを有する2つ(又はそれ以上)のデバイスを含んだマルチスクリーンシステム138の例をも含む。これらのスクリーンは、物理的に接続され又は単独のデバイスに統合されていないが、それよりもむしろ、例えばデータ又はネットワーク接続を介して通信可能にリンクされている。マルチスクリーンシステムは、互いを自動的に見つけ出し、ユーザーによって明示的にペアリングされ、又は、その他の方法で一時的に物理的に近接して配置された、複数の独立したスレート(slate)型又はハンドヘルド型のデバイスを含むことが可能である。具体化において、マルチスクリーンシステムはまた、マルチスクリーンデバイスを含むこともできる。マルチスクリーンシステム138の第1デバイス140及び第2デバイス144はそれぞれ、コンピューティングデバイス102を参照して説明されたように、コンピューター(例えば、ラップトップコンピューター、ノートブックコンピューター、タブレットPC、テーブルトップコンピューター等)、モバイルステーション、エンターテインメント機器、ゲームデバイス等の如何なる形態でも構成されることが可能である。
【0023】
[0022] 図2は、図1を参照して説明されたようなコンピューティングデバイス102を含む例示のシステム200を示す。この例示のシステム200は、パーソナルコンピューター(personal computer:PC)、テレビジョンデバイス、及び/又はモバイルデバイス上でアプリケーションを動かした時にシームレスなユーザー体験をもたらすユビキタス環境を可能にする。アプリケーションの使用、ビデオゲームのプレイ、ビデオの鑑賞等の間に1つのデバイスから次のデバイスへ移行する場合に、サービス及びアプリケーションは、これら3つの環境の全てにおいて実質的に同じように動いて共通のユーザー体験をもたらす。
【0024】
[0023] 例示のシステム200において、多数のデバイスが中央コンピューティングデバイスを通じて相互接続される。中央コンピューティングデバイスは、当該多数のデバイスの近辺に存在することができ、又は当該多数のデバイスから離れて配置されることができる。1つの実施態様において、中央コンピューティングデバイスは、ネットワーク、インターネット、又は他のデータ通信リンクを通じて当該多数のデバイスに接続される1つ又は複数のサーバーコンピューターを含む、「クラウド」サーバーの形態である。1つの実施態様において、この相互接続アーキテクチャーは、当該多数のデバイスのユーザーに共通のシームレスな体験を提供する機能がそうした多数のデバイスにわたってもたらされることを可能にする。これら多数のデバイスのそれぞれは、異なる物理的要件及び能力を有するかもしれず、中央コンピューティングデバイスは、プラットフォームを用いて、当該デバイスに適合しながらも全てのデバイスに共通である体験をデバイスにもたらすことを可能にする。1つの実施態様において、ターゲットデバイスのクラスが生成されて、デバイスの包括的クラスに体験が適合される。デバイスのクラスは、当該デバイスの物理的特徴、使用タイプ、又は他の共通の特性によって定義されることができる。
【0025】
[0024] 様々な具体化において、コンピューティングデバイス102は、例えばコンピューター202、モバイル204、及びテレビ206の用途のための様々な異なる構成をとることができる。これらの構成のそれぞれは、概して異なる構造及び能力を有することができるデバイスを含み、それ故に、コンピューティングデバイス102は、異なるデバイスクラスのうちの1つ又は複数に従って構成されることができる。例えば、コンピューティングデバイス102は、パーソナルコンピューター、デスクトップコンピューター、マルチスクリーンテーブルトップコンピューター、ラップトップコンピューター、ネットブック等を含むデバイスである、コンピューター202のクラスとして実現されることができる。コンピューティングデバイス102はまた、例えば携帯電話、ポータブル音楽プレーヤー、ポータブルゲームデバイス、タブレットコンピューター、マルチスクリーンタブレットコンピューター等のモバイルデバイスを含むデバイスである、モバイル204のクラスとして実現されることもできる。コンピューティングデバイス102はまた、概してカジュアルなビュー環境におけるより大きなスクリーンを有する、又はそのようなスクリーンに接続されたデバイスを含むデバイスである、テレビ206のクラスとして実現されることもできる。これらのデバイスは、テレビ、セットトップボックス、ゲームコンソール等を含む。本明細書において説明される技術は、コンピューティングデバイス102のこうした様々な構成によってサポートされることができ、下記のセクションにおいて説明されるマルチスクリーンジェスチャーの特定の例に限定されるものではない。
【0026】
[0025] クラウド208は、サーバーベースのサービス212向けのプラットフォーム210を含む、及び/又は表す。プラットフォーム210は、クラウド208のハードウェア(例えばサーバー)及びソフトウェアリソースの潜在機能を抽象化したものである。サーバーベースのサービス212は、コンピューター処理の全て若しくは殆どがコンピューティングデバイス102から離れたサーバー上で実行される間に利用されることが可能な、アプリケーション及び/又はデータを含むことができる。サーバーベースのサービスは、インターネットを介した、及び/又は、携帯電話やWiFiネットワークのような加入者ネットワークを通じたサービスとして、提供されることが可能である。
【0027】
[0026] プラットフォーム210は、コンピューティングデバイス102を他のコンピューティングデバイスに接続するためのリソース及び機能を抽象化したものとすることができる。プラットフォーム210はまた、当該プラットフォーム210によって実現されるサーバーベースのサービス212に対して為された要求に対応するスケールのレベルを提供するためのリソースのスケーリングを抽象化する役目を果たすこともできる。したがって、相互接続されたデバイスの実施態様において、ジェスチャーモジュール108の機能の実装は、システム200にわたって分散されることができる。例えば、ジェスチャーモジュール108は、クラウド208の機能を抽象化したプラットフォーム210を介することに加えて、コンピューティングデバイス102上に部分的に実装されることができる。
【0028】
[0027] 更に、如何なる1つ又は複数の構成においても、コンピューティングデバイス102によって機能がサポートされることができる。例えば、ジェスチャーモジュール108及び入力認識システム110によってサポートされるマルチスクリーンジェスチャーの技術は、コンピューター202の構成におけるトラックパッド機能やモバイル204の構成におけるタッチスクリーン機能を用いて、及び/又は、テレビ206の構成において特定の入力デバイスとの接触を伴わない自然ユーザーインターフェース(NUI)の一部分としてのカメラによって、認識されることができる。更に、入力を検出及び認識して特定のマルチスクリーンジェスチャーを識別又は判定する演算の実行は、例えばコンピューティングデバイス102、及び/又は、クラウド208のプラットフォーム210によりサポートされたサーバーベースのサービス212によって、システム200にわたって分散されることができる。
【0029】
[0028] 様々なマルチスクリーンジェスチャーを説明する以下のセクションに加えて、マルチスクリーンジェスチャーの様々な実施態様に従い、それぞれの図を参照しながら例示の方法も説明される。一般に、本明細書において説明される機能、方法、手順、コンポーネント、及びモジュールの如何なるものも、ソフトウェア、ファームウェア、ハードウェア(例えば固定論理回路)、手動処理、又はそれらの任意の組み合わせを用いて実現されることが可能である。ソフトウェアの実装は、コンピューターのプロセッサーによって実行される時に指示されたタスクを実施するプログラムコードを表す。例示の方法は、コンピューター実行可能命令の一般的なコンテキストで説明されることができ、このコンピューター実行可能命令は、ソフトウェア、アプリケーション、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、手順、モジュール、機能等を含むことが可能である。プログラムコードは、コンピューターのプロセッサーにローカルな及び/又はリモートな両方を含む、1つ又は複数のコンピューター読み取り可能メモリデバイスに記憶されることが可能である。本方法は、多数のコンピューターデバイスによる分散コンピューティング環境において実施されることもできる。更に、本明細書において説明される特徴は、プラットフォームに非依存であり、また、様々なプロセッサーを有する様々なコンピューティングプラットフォーム上で実現されることが可能である。
【0030】
<マルチスクリーン縮小・拡大ジェスチャー>
[0029] 図3は、マルチスクリーンシステム302上におけるマルチスクリーン縮小・拡大ジェスチャーの例300を示し、これらの例において、マルチスクリーンシステム302は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム302は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム302は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン304と第2スクリーン306を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム302は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーン縮小・拡大ジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0031】
[0030] マルチスクリーン縮小ジェスチャーは、マルチスクリーンシステムの複数のスクリーン上における表示オブジェクトを縮小するために用いられることが可能である。あるいはまた、マルチスクリーン拡大ジェスチャーは、マルチスクリーンシステムの複数のスクリーン上における表示のための表示オブジェクトを拡大するために用いられることが可能である。マルチスクリーンシステム302の第1ビュー308において、第1スクリーン304上に第1ジャーナルページ310が表示され、第2スクリーン306上に第2ジャーナルページ312が表示される。入力認識システム110は、第1スクリーン304において第1入力314を認識するように実現され、ここで、当該第1入力は、第1モーション入力316をも含む。入力認識システム110はまた、第2スクリーン306において第2入力318を認識することも可能であり、ここで、当該第2入力は、第2モーション入力320をも含み、第1入力が認識されるのとほぼ同じ時に、第2入力が認識される。
【0032】
[0031] ジェスチャーモジュール108は、認識された第1及び第2入力314,318と関係付いているモーション入力316,320からマルチスクリーン縮小ジェスチャーを判定するように実現される。この縮小ジェスチャーは、表示されたジャーナルページ310,312を縮小するのに有効な、第1及び第2モーション入力のスクリーン間における連係動作として識別されることが可能である。具体化において、入力認識システム110は、第1及び第2入力間の距離がモーション入力と共に変化(例えば減少)することを認識することが可能である。この距離の変化はまた、最小限の距離の閾値を有することもできる。ジェスチャーモジュール108は、次に、第1及び第2入力間の距離の減少から縮小ジェスチャーを判定することが可能である。
【0033】
[0032] いくつかの実施態様において、マルチスクリーンデバイス上の第1及び第2スクリーンを隔てるベゼル等の、複数のスクリーンによって共有されるエッジ近傍の限定された区域又は領域内で縮小ジェスチャーのモーション入力が認識された場合に、マルチスクリーン縮小ジェスチャーが判定される。ベゼル近傍の当該区域又は領域は、縮小ジェスチャーが認識される、エッジ即ち境界をなす矩形からの最小限の距離として、定義されることが可能である。他の実施態様において、例えば縮小ジェスチャーが、隣り合ったエッジ上でほぼ同時に入力を行う動作(例えば、指のタッチ接触)、第1入力314を保持しながら第2モーション入力320をベゼルの方にスライドさせる動作(例えば、一方の指を保持しながら他方の指を共通のエッジの方にスライドさせる)、又は、ほぼ同時に両方の指を持ち上げて縮小ジェスチャーを合成する動作、から成る場合等には、細分化された縮小ジェスチャーがインクリメンタルに認識されることができる。加えて、ユーザーは、拡大及び縮小ジェスチャーを2つのジェスチャー状態の間で行き来させて反対の方向に入力した後、最後に第1及び第2入力を持ち上げることが可能である。ユーザーインターフェース上のダブルタップジェスチャーと同じように、アプリケーションは、細分化されたジェスチャーのいくつか又は全てを含む高水準の合成された縮小及び/又は拡大ジェスチャーを容認することが可能である。
【0034】
[0033] マルチスクリーンシステム302の第2ビュー322は、ジャーナルページ310,312が縮小ジェスチャーに応答して元の場所324からある方向326に縮小される推移を示す。マルチスクリーンシステム302の第3ビュー328は、表示のために縮小されたジャーナルページ310,312を示す。縮小ジェスチャーは、表示オブジェクトが縮小された時にズームアウトの様相をもたらす。この例において、縮小ジェスチャーは、ジャーナルページを縮小し、マルチスクリーンシステム302上の仮想デスクトップ330にズームアウトする。仮想デスクトップ330は、他のジャーナル又は本へと移動し、ジャーナルページ間で表示オブジェクトをドラッグし、又は、特定の個別のノート、電子書籍、ジャーナル、若しくは文書の外部において、素早くアクセスして視認できる付箋やToDoリストのような覚え書きを残すためのスペースとして、用いられることができる。代替の移動可能ビューは、ノートの多数のページに関するサムネイル画像の編成ビュー(例えば、「ライトテーブルビュー」)や、ノートから突き出した多数のページ、ページタブ、及び/又はブックマークを有する、現在のノートの最小化又は縮小化バージョン、並びに仮想デスクトップ330に類似した囲い(例えば、「バタフライビュー」)や、多数の本及び/又はジャーナルにわたる「ライブラリビュー」や、ホームスクリーンを含むことができる。
【0035】
[0034] 第3ビュー328から、第1ビュー308に示されるようなジャーナルページの全画面ビューに戻るために、マルチスクリーン拡大ジェスチャーが用いられることが可能である。ジェスチャーモジュール108はまた、マルチスクリーンシステムの第3ビュー328に示された縮小表示からジャーナルページ310,312を拡大するのに有効であるモーション入力のスクリーン間における連係動作として識別されることが可能な、マルチスクリーン拡大ジェスチャーを判定するようにも実現される。具体化において、入力認識システム110は、入力間の距離がモーション入力と共に変化(例えば増加)することを認識することが可能である。ジェスチャーモジュール108は、次に、入力間の距離の増加から拡大ジェスチャーを判定することが可能である。マルチスクリーンシステム302の第3ビュー328から第1ビュー308へ戻る推移は、ジャーナルページ310,312が第1及び第2スクリーン上において全画面表示に拡大されることを示す。拡大ジェスチャーは、表示オブジェクトが拡大された時にズームインの様相をもたらす。
【0036】
[0035] モーション方向の図示と同様に、第1及び第2入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。加えて、多数の指及び/又は接触を用いた入力から認識され判定されることができる、両手を使った伸縮ジェスチャーのように、2つ以上のスクリーンにわたって行われる3本、4本、若しくは5本の指によるマルチスクリーン縮小又は拡大ジェスチャーも予期される。
【0037】
[0036] 図4は、マルチスクリーン縮小・拡大ジェスチャーの例示の方法400を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0038】
[0037] ブロック402において、第1入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、この第1入力は第1モーション入力を含む。例えば、入力認識システム110は、マルチスクリーンシステム302の第1スクリーン304において第1入力314を認識し、この第1入力は第1モーション入力316を含む。ブロック404において、第2入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、この第2入力は第2モーション入力を含む。例えば、入力認識システム110は、第2スクリーン306において第2入力318をも認識し、この第2入力は第2モーション入力320を含み、第1入力が認識されるのとほぼ同じ時に、第2入力が認識される。これに代えて、又は加えて、第1スクリーン304における第1入力314は、もしそれ以降に第2入力が与えられなければ当該第1入力が他の単独のスクリーンジェスチャーとして処理されることとなる(例えば500msの)タイムアウトを、入力認識システム110について開始することができる。
【0039】
[0038] ブロック406において、第1及び第2モーション入力に基づいて第1及び第2入力間の距離の変化が認識される。例えば、入力認識システム110は、第1及び第2入力314,318間の距離がモーション入力と共に変化(例えば増加又は減少)することを認識する。ブロック408において、第1及び第2入力間の距離変化が距離の減少であるかどうかについて判定が行われる。
【0040】
[0039] もし第1及び第2入力の間で距離が減少したら(即ち、ブロック408からの「Yes」)、その場合は、ブロック410において、縮小ジェスチャーが判定され、この縮小ジェスチャーは、表示オブジェクトが縮小された時にズームアウトの様相をもたらす。例えば、ジェスチャーモジュール108は、第1及び第2入力間の距離を減少させる第1及び第2モーション入力に基づいて、縮小ジェスチャーを判定する。この縮小ジェスチャーは、表示されたジャーナルページ310,312等の表示オブジェクトを縮小するのに有効な、第1及び第2モーション入力のスクリーン間における連係動作として識別されることが可能である。この縮小ジェスチャーは、表示オブジェクトが縮小された時にズームアウトの様相をもたらす。
【0041】
[0040] もし第1及び第2入力の間で距離が増加したら(即ち、ブロック408からの「No」)、その場合は、ブロック412において、拡大ジェスチャーが判定され、この拡大ジェスチャーは、表示オブジェクトが拡大された時にズームインの様相をもたらす。例えば、ジェスチャーモジュール108は、第1及び第2入力間の距離を増加させる第1及び第2モーション入力に基づいて、拡大ジェスチャーを判定する。この拡大ジェスチャーは、表示されたジャーナルページ310,312がマルチスクリーンシステム302の第1及び第2スクリーン上において全画面表示に拡大される場合のように、表示オブジェクトを拡大するのに有効である第1及び第2モーション入力のスクリーン間における連係動作として識別されることが可能である。
【0042】
<マルチスクリーン縮小・収納ジェスチャー>
[0041] 図5は、マルチスクリーンシステム502上におけるマルチスクリーン縮小・収納ジェスチャーの例500を示し、これらの例において、マルチスクリーンシステム502は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム502は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム502は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン504と第2スクリーン506を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム502は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーン縮小・収納ジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0043】
[0042] マルチスクリーン縮小・収納ジェスチャーは、例えば表示オブジェクトをサムネイル画像としてマルチスクリーンシステムのベゼルの下に保存する等、表示オブジェクトを収納するために用いられることが可能である。マルチスクリーンシステム502の第1ビュー508において、第1スクリーン504上に第1ジャーナルページ510が表示され、第2スクリーン506上に第2ジャーナルページ512が表示される。入力認識システム110は、第1スクリーン504において第1スクリーン領域516へ向かう第1モーション入力514を認識するように実現され、ここで、当該第1モーション入力は、第1ジャーナルページ510が選択された時に認識される。入力認識システム110はまた、第2スクリーン506において第2スクリーン領域520へ向かう第2モーション入力518を認識することも可能であり、ここで、当該第2モーション入力は、第1ジャーナルページ510が選択された時に認識される。第1スクリーン504の第1スクリーン領域516及び第2スクリーン504の第2スクリーン領域520は、マルチスクリーンシステム502の第2ビュー522に示されている。
【0044】
[0043] ジェスチャーモジュール108は、認識されたモーション入力514,518から縮小・収納ジェスチャーを判定するように実現される。この縮小・収納ジェスチャーは、表示されたジャーナルページ510,512を第1及び第2スクリーン領域516,520内に縮小して、第1及び第2スクリーンを隔てるベゼル524の近傍にこれらジャーナルページを収納するのに有効な、第1及び第2モーション入力のスクリーン間における連係動作として識別されることが可能である。オプションとして、ジェスチャーモジュール108はまた、第1スクリーン504上のジャーナルページ510に対する第1入力と第2スクリーン506上の第2ジャーナルページ512に対する第2入力との間の距離を減少させる第1及び第2モーション入力514,518から、縮小・収納ジェスチャーを判定することもできる。
【0045】
[0044] マルチスクリーンシステム502の第2ビュー522は、ジャーナルページ510,512が縮小・収納ジェスチャーに応答して元の場所526からある方向528に縮小される推移を示す。マルチスクリーンシステム502の第3ビュー530は、ベゼル524の近傍に収納され表示のためのサムネイル画像532として保存された表示オブジェクト(例えばジャーナルページ)を示す。この例において、より多くの仮想デスクトップ534が表示され、また、ジャーナルページがサムネイル画像532として収納されている間に、デスクトップ上の他の表示オブジェクトのうち任意のものがアクセス可能である。別の例において、(例えば、図1においてコンピューティングデバイス102上に「ZEAL」というテキストのスケッチとして表示された)表示オブジェクト536がマルチスクリーンシステム502のベゼル524の下に収納される。
【0046】
[0045] 表示オブジェクトが収納され多くの他の表示オブジェクトへのアクセスのため仮想デスクトップ534が表示されると、ユーザーは、多数のタスクを多数のジャーナル又はアプリケーションビューに交互配置し、こうして容易に収納されたアイテムに戻ることが可能である。加えて、収納されたアイテムは、当該アイテムを他の仕事や覚え書きの場面に取り込むために、ノート又は開いたノートのジャーナルページ上へドロップされることが可能である。
【0047】
[0046] 様々な実施態様において、マルチスクリーン縮小・収納ジェスチャーは、スクリーンビュー及び/又はアプリケーションの異なるワーキングセットの間でマルチタスクを行うための汎用的なメカニズムとして用いられることができる。例えば、もし第1スクリーン504上にウェブブラウザーが表示され第2スクリーン506上にジャーナルページが表示されているのなら、ユーザーは、スクリーンビューの当該ペアを縮小・収納することが可能である。ユーザーはまた、多数のスクリーンビューを縮小・収納することもでき、その場合、デバイスのベゼル524に沿って収納されたビューのセットは、当該ユーザーが異なるアプリケーションやビューを切り替えることが可能であるタスクバーとして現れる。
【0048】
[0047] 実施態様において、ジャーナルページのサムネイル画像532は、収納される際に視覚的なクリップボードに保存される。加えて、このサムネイル画像532は、表示オブジェクトが収納された時に、ジャーナルページへの選択可能リンクとして第1及び/又は第2スクリーン上に表示されることができる。この第3ビュー530から、入力認識システム110は、セレクト入力を認識し、ジェスチャーモジュール108は、このセレクト入力を、例えばマルチスクリーンシステム502の第1ビュー508に示されるように第1及び第2スクリーン上の表示のためにジャーナルページ510,512を拡大するのに有効な、サムネイル画像532上のタップジェスチャーとして判定することが可能である。
【0049】
[0048] スクリーン領域と同様に、第1及び第2入力の表現並びにモーション方向の図示は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0050】
[0049] 図6は、マルチスクリーン縮小・収納ジェスチャーの例示の方法600を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0051】
[0050] ブロック602において、第1スクリーン領域へ向かう第1モーション入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、この第1モーション入力は表示オブジェクトを選択するために認識される。例えば、入力認識システム110は、第1スクリーン504において第1スクリーン領域516へ向かう第1モーション入力514を認識し、この第1モーション入力は第1ジャーナルページ510が選択された時に認識される。ブロック604において、第2スクリーン領域へ向かう第2モーション入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、この第2モーション入力は表示オブジェクトを選択するために認識される。例えば、入力認識システム110は、第2スクリーン506において第2スクリーン領域520へ向かう第2モーション入力518をも認識し、この第2モーション入力は第2ジャーナルページ512が選択された時に認識される。
【0052】
[0051] ブロック606において、第1及び第2スクリーン領域内でそれぞれ認識された第1及び第2モーション入力から縮小・収納ジェスチャーが判定される。例えば、ジェスチャーモジュール108は、認識されたモーション入力514,518から縮小・収納ジェスチャーを判定する。この縮小・収納ジェスチャーは、表示されたジャーナルページ510,512を第1及び第2スクリーン領域516,520内に縮小して、第1及び第2スクリーンを隔てるベゼル524の近傍にこれらジャーナルページを収納するのに有効な、第1及び第2モーション入力のスクリーン間における連係動作として識別されることが可能である。これに代えて、又は加えて、縮小・収納ジェスチャーは、第1スクリーン上の第1ジャーナルページ510に対する第1入力と第2スクリーン上の第2ジャーナルページ512に対する第2入力との間の距離を減少させる、第1及び第2モーション入力から判定される。
【0053】
[0052] ブロック608において、第1及び第2スクリーンを隔てるマルチスクリーンシステムのベゼルの近傍に表示オブジェクトが収納される。例えば、ジャーナルページ510,512(例えば表示オブジェクト)が、ベゼル524の近傍に収納され、表示のためにサムネイル画像532として保存される。実施態様において、このサムネイル画像532は、収納されたジャーナルページへの選択可能リンクであり、及び/又は、当該表示オブジェクトは、視覚的なクリップボードに保存される。
【0054】
[0053] ブロック610において、収納されている表示オブジェクト上のタップジェスチャーとしてセレクト入力が認識され、ブロック612において、このタップジェスチャーに応答して第1及び第2スクリーン上の表示のために当該表示オブジェクトが拡大される。例えば、入力認識システム110は、セレクト入力を認識し、ジェスチャーモジュール108は、このセレクト入力を、マルチスクリーンシステム502の第1及び第2スクリーン上の表示のためにジャーナルページ510,512を拡大するのに有効な、サムネイル画像532上のタップジェスチャーとして判定する。
【0055】
<マルチスクリーンデュアルタップジェスチャー>
[0054] 図7は、マルチスクリーンシステム702上におけるマルチスクリーンデュアルタップジェスチャーの例700を示し、これらの例において、マルチスクリーンシステム702は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム702は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム702は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン704と第2スクリーン706を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム702は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンデュアルタップジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0056】
[0055] マルチスクリーンデュアルタップジェスチャーは、マルチスクリーンシステムの複数のスクリーン上に表示されている表示オブジェクトを拡大又は収納するために用いられることが可能である。例えば、表示オブジェクトは、当該表示オブジェクトが収納されている間にデュアルタップジェスチャーが判定された場合に、第1及び第2スクリーン上において全画面表示に拡大されることが可能である。あるいはまた、表示オブジェクトは、当該表示オブジェクトが第1及び第2スクリーン上に全画面表示されている間にデュアルタップジェスチャーが判定された場合に、収納されることが可能である。
【0057】
[0056] マルチスクリーンシステム702の第1ビュー708において、第1スクリーン704上に第1ジャーナルページ710が表示され、第2スクリーン706上に第2ジャーナルページ712が表示される。入力認識システム110は、第1スクリーン704において第1ジャーナルページ710に対する第1タップ入力714を認識するように実現される。入力認識システム110はまた、第2スクリーン706において第2ジャーナルページ712に対する第2タップ入力716を認識することも可能であり、ここで、当該第2タップ入力は、第1タップ入力が認識されるのとほぼ同じ時に認識される。
【0058】
[0057] あるいはまた、デュアルタップジェスチャー入力を引き起こすために、(例えば、親指、親指以外の指、掌等による)単一の入力が第1及び第2スクリーンの両方にほぼ同時に接触することができる。例えば、マルチスクリーンデバイスはスクリーンの間に骨組み、ハウジング、若しくはベゼルを殆ど又は全く有さないことがあり、その場合、単一の入力が複数のスクリーンに共に接触することが可能である。更に、2つの(又はそれより多い)独立したスクリーンが、それらスクリーンの間に置いた親指又は親指以外の指が(例えば本のページの間に置いた指のように)両方のスクリーンと接触するように、配置されることができる。
【0059】
[0058] ジェスチャーモジュール108は、認識されたタップ入力714,716からマルチスクリーンデュアルタップジェスチャーを判定するように実現される。このデュアルタップジェスチャーは、第1及び第2タップ入力のスクリーン間における連係動作として識別されることが可能である。マルチスクリーンシステム702の第2ビュー718は、デュアルタップジェスチャーが、第1及び第2スクリーンを隔てるマルチスクリーンシステムのベゼル722の近傍にジャーナルページをサムネイル画像720として収納するのに有効であることを示す。この例において、仮想デスクトップ724が表示され、また、ジャーナルページがサムネイル画像720として収納されている間に、デスクトップ上の他の表示オブジェクトのうち任意のものがアクセス可能である。
【0060】
[0059] マルチスクリーンシステム702の第2ビュー718はまた、デュアルタップジェスチャーが、表示オブジェクトをマルチスクリーンシステムの第1及び第2スクリーン上における表示のために拡大するのに有効であることをも示す。例えば、入力認識システム110は、第1スクリーン704においてサムネイル画像720に対する第1タップ入力726を認識し、第2スクリーン706においてサムネイル画像720に対する第2タップ入力728を認識するように実現され、ここで、第2タップ入力は、第1タップ入力が認識されるのとほぼ同じ時に認識される。ジェスチャーモジュール108は、その次に、認識されたタップ入力726,728からマルチスクリーンデュアルタップジェスチャーを判定することが可能であり、当該デュアルタップジェスチャーは、ジャーナルページ710,712を、マルチスクリーンシステム702の第1ビュー708に示されるような第1及び第2スクリーン上における表示のために拡大するのに有効である。
【0061】
[0060] マルチスクリーンシステム702の第3ビュー730は、第1スクリーン上に全画面表示されている表示オブジェクトの第1部分と第2スクリーン上に縮小表示されている表示オブジェクトの第2部分を含む、分割画面ビューを示す。例えば、第1ジャーナルページ710が第1スクリーン704上に全画面表示され、また、第2ジャーナルページ712が第2スクリーン706上において表示のために収納される。実施態様において、入力認識システム110は、例えばマルチスクリーンシステム702の第2ビュー718に示されたタップ入力726,728の一方などの、第1又は第2スクリーン上の一方におけるジャーナルページ710,712のうちの1つに対する単一のセレクト入力を認識することが可能である。この単一のタップ入力は、例えばマルチスクリーンシステム702の第3ビュー730に示されるような、ジャーナルページの分割画面ビューを開始するのに有効である。
【0062】
[0061] 第1及び第2入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0063】
[0062] 図8は、マルチスクリーンデュアルタップジェスチャーの例示の方法800を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0064】
[0063] ブロック802において、表示オブジェクトに対する第1タップ入力がマルチスクリーンシステムの第1スクリーンにおいて認識される。例えば、入力認識システム110は、第1スクリーン704において第1ジャーナルページ710に対する第1タップ入力714を認識する。ブロック804において、表示オブジェクトに対する第2タップ入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、当該第2タップ入力は、第1タップ入力が認識されるのとほぼ同じ時に認識される。例えば、入力認識システム110は、第2スクリーン706において第2ジャーナルページ712に対する第2タップ入力716をも認識し、この第2タップ入力は、第1タップ入力が認識されるのとほぼ同じ時に認識される。
【0065】
[0064] ブロック806において、認識された第1及び第2タップ入力からデュアルタップジェスチャーが判定される。例えば、ジェスチャーモジュール108は、認識されたタップ入力714,716からマルチスクリーンデュアルタップジェスチャーを判定する。このデュアルタップジェスチャーは、第1及び第2タップ入力のスクリーン間における連係動作として識別されることが可能であり、また、マルチスクリーンシステム702の第1及び第2スクリーン上に表示されている表示オブジェクトを拡大又は収納するのに有効である。あるいはまた、第1及び第2スクリーンの両方にほぼ同時に接触する(例えば、親指、親指以外の指、掌等による)単一の入力が、認識され、デュアルタップジェスチャー入力として判定されることができる。実施態様において、表示オブジェクトは、当該表示オブジェクトが収納されている間にデュアルタップジェスチャーが判定された場合に、第1及び第2スクリーン上において全画面表示に拡大されることが可能である。あるいはまた、表示オブジェクトは、当該表示オブジェクトが第1及び第2スクリーン上に全画面表示されている間にデュアルタップジェスチャーが判定された場合に、収納されることが可能である。
【0066】
[0065] ブロック808において、表示オブジェクトの分割画面ビューを開始するのに有効な、当該表示オブジェクトに対する単一のセレクト入力が第1又は第2スクリーン上の一方において認識される。例えば、入力認識システム110は、マルチスクリーンシステム702の第2ビュー718に示されたタップ入力726,728の一方などの、第1又は第2スクリーン上の一方におけるジャーナルページ710,712のうちの1つに対する単一のセレクト入力を認識する。この単一のタップ入力は、例えばマルチスクリーンシステム702の第3ビュー730に示されるような、ジャーナルページの分割画面ビューを開始するのに有効である。
【0067】
<マルチスクリーンホールド・タップジェスチャー>
[0066] 図9は、マルチスクリーンシステム902上におけるマルチスクリーンホールド・タップジェスチャーの例900を示し、これらの例において、マルチスクリーンシステム902は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム902は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム902は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン904と第2スクリーン906を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム902は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンホールド・タップジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0068】
[0067] マルチスクリーンホールド・タップジェスチャーは、例えばオブジェクトをジャーナルページ上に移動若しくはコピーする、又はそのオブジェクトをノートブックに取り込むといったように、表示オブジェクトを1つの表示位置から別の位置へ移動及び/又はコピーするために用いられることが可能である。様々な実施態様において、全般的な機能は、あるコマンドに対する一方のスクリーン上のホールド入力と他方のスクリーン上でそのコマンドを適用するための当該他方のスクリーン上のタップ入力、あるパラメーター値(例えば、色、ブラシの太さ、画像効果、フィルター等)に対するホールド入力と他方のスクリーン上に表示されたオブジェクトに対してそのパラメーター値を適用するための当該他方のスクリーン上のタップ入力、及び/又は、タグ、カテゴリー、若しくは他のメタデータに対するホールド入力と他方のスクリーン上に表示されたオブジェクトに対してその特徴を適用するためのタップ入力、を含むことができる。1つの例において、ジャーナル又はノートは、そのジャーナル又はノートのあるページ上で見ることができるカスタムステッカーを含むことができる。ステッカーは、(例えば一方のスクリーン上に表示されたような)あるページ上でホールドされ、次いで、当該ステッカーを(例えば他方のスクリーン上の)別のページ上のタップ位置に適用するためにタップされることが可能である。ステッカーは、それに付随した「支出」、「ToDo」、「個人」、「レシピ」等の特定の意味を有することができ、また、ステッカーは、その後の検索及び編成を容易にするためのコンテンツにタグを付けるために利用されることが可能である。
【0069】
[0068] マルチスクリーンシステム902の第1ビュー908において、第1スクリーン904上にジャーナルページ910が表示され、第2スクリーン906の仮想デスクトップ914上に表示オブジェクト912等の様々なオブジェクトが表示される。入力認識システム110は、第2スクリーン906においてホールド入力916を認識するように実現され、ここで、当該ホールド入力は、第2スクリーン906上の表示オブジェクト912を選択するためにホールドされた時に認識される。入力認識システム110はまた、第1スクリーン904においてタップ入力918を認識することも可能であり、ここで、当該タップ入力は、表示オブジェクト912が第2スクリーン906上で選択されている間に認識される。
【0070】
[0069] ジェスチャーモジュール108は、認識されたホールド及びタップ入力916,918からマルチスクリーンホールド・タップジェスチャーを判定するように実現される。このホールド・タップジェスチャーは、ホールド及びタップ入力のスクリーン間における連係動作として識別されることが可能であり、また、このジェスチャーは、920において示されるように、表示オブジェクト912を、第2スクリーン906上の表示位置から第1スクリーン904上の表示のためのタップ入力位置へ移動するのに有効である。マルチスクリーンシステム902の第2ビュー922は、デュアルタップジェスチャーが、表示オブジェクト912を第2スクリーン906上の表示位置924から移動し、この表示オブジェクト912を、第1スクリーン904上のタップ入力位置926に表示されているジャーナルページ910上の表示のために取り込むのに有効であることを示す。マルチスクリーンシステム902の第3ビュー928は、デュアルタップジェスチャーが、表示オブジェクト912をコピーしてオブジェクトコピー930を生成し、第1スクリーン904上のタップ入力位置932において当該オブジェクトコピー930の表示を開始するのに有効であることを示す。
【0071】
[0070] マルチスクリーンホールド・タップジェスチャーの他の実施態様において、入力認識システム110は、第1スクリーン904上の追加の表示オブジェクト(例えばジャーナルページ910)に対するタップ入力918を認識することが可能であり、この場合、ホールド・タップジェスチャーは、表示オブジェクト912を当該追加の表示オブジェクトに関連付ける(例えば、表示オブジェクト912をジャーナルページ910に関連付ける)のに有効である。加えて、表示オブジェクトはある機能を代表することができ、ホールド・タップジェスチャーは、表示オブジェクトの当該機能を、マルチスクリーンシステム902の第1又は第2スクリーン上のタップ入力位置における追加の表示オブジェクトに対して適用するのに有効である。
【0072】
[0071] ホールド及びタップ入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0073】
[0072] 図10は、マルチスクリーンホールド・タップジェスチャーの例示の方法1000を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0074】
[0073] ブロック1002において、ホールド入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、このホールド入力は第1スクリーン上の表示オブジェクトを選択するためにホールドされた時に認識される。例えば、入力認識システム110は、スクリーン906においてホールド入力916を認識し、このホールド入力はスクリーン906上の表示オブジェクト912を選択するためにホールドされた時に認識される。ブロック1004において、タップ入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、このタップ入力は表示オブジェクトが選択されている間に認識される。例えば、入力認識システム110は、スクリーン904においてタップ入力918をも認識し、このタップ入力は表示オブジェクト912がスクリーン906上で選択されている間に認識される。実施態様において、このタップ入力は、第2スクリーン上の追加の表示オブジェクトに対するタップ入力として認識されることができ、ホールド・タップジェスチャーは、表示オブジェクトを当該追加の表示オブジェクトに関連付けるのに有効である。
【0075】
[0074] ブロック1006において、認識されたホールド及びタップ入力からホールド・タップジェスチャーが判定される。例えば、ジェスチャーモジュール108は、認識されたホールド及びタップ入力916,918からマルチスクリーンホールド・タップジェスチャーを判定し、このホールド・タップジェスチャーは、ホールド及びタップ入力のスクリーン間における連係動作として識別されることが可能である。様々な実施態様において、ホールド・タップジェスチャーは、表示オブジェクトを第1スクリーン上の表示位置から第2スクリーン上の表示のためのタップ入力位置へ移動する(ブロック1008)、表示オブジェクトを第2スクリーン上のタップ入力位置に表示されているジャーナルページ上の表示のために取り込む(ブロック1010)、表示オブジェクトをコピーしてオブジェクトコピーを生成し、第2スクリーン上のタップ入力位置において当該オブジェクトコピーを表示する(ブロック1012)、及び/又は、表示オブジェクトの機能を第2スクリーン上のタップ入力位置における追加の表示オブジェクトに対して適用する(ブロック1014)のに有効である。
【0076】
<マルチスクリーンホールド・ドラッグジェスチャー>
[0075] 図11は、マルチスクリーンシステム1102上におけるマルチスクリーンホールド・ドラッグジェスチャーの例1100を示し、これらの例において、マルチスクリーンシステム1102は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム1102は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム1102は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン1104と第2スクリーン1106を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム1102は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンホールド・ドラッグジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0077】
[0076] マルチスクリーンホールド・ドラッグジェスチャーは、表示オブジェクトの第1部分の表示を一方のスクリーン上に保持すると共に、別のスクリーン上に表示されているその表示オブジェクトの第2部分をドラッグして分割画面ビューのために当該表示オブジェクトの第2部分を収納するために、用いられることが可能である。あるいはまた、ホールド・ドラッグジェスチャーは、表示オブジェクトの第1部分の表示を一方のスクリーン上に保持すると共に、その表示オブジェクトの収納された第2部分をドラッグして別のスクリーン上にその表示を拡大するために、用いられることが可能である。ドラッグするジェスチャーの方向は、異なる意味論(例えば、上へ動く、下へ動く、ベゼルに向かう、ベゼルから離れる等)に基づいて判定されることもできる。マルチスクリーンホールド・ドラッグジェスチャーに関しては、4つ乃至8つの基本方向が、異なるアクションに対して定義されることが可能である。
【0078】
[0077] マルチスクリーンシステム1102の第1ビュー1108において、第1スクリーン1104上に第1ジャーナルページ1110が表示され、第2スクリーン1106上に第2ジャーナルページ1112が表示される。入力認識システム110は、第1スクリーン1104においてホールド入力1114を認識するように実現され、ここで、当該ホールド入力は、適所にホールドされた時に認識される。入力認識システム110はまた、第2スクリーン1106においてモーション入力1116を認識することも可能であり、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に、表示オブジェクト(例えばジャーナルページ1112)を選択するために認識される。
【0079】
[0078] ジェスチャーモジュール108は、認識されたホールド及びモーション入力1114,1116からマルチスクリーンホールド・ドラッグジェスチャーを判定するように実現される。このホールド・ドラッグジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、また、このジェスチャーは、第1ジャーナルページ1110の表示を第1スクリーン1104上に保持すると共に、第2スクリーン1106上に表示されている第2ジャーナルページ1112をドラッグしてジャーナルページの分割画面ビューのために当該第2ジャーナルページを収納するのに有効である。マルチスクリーンシステム1102の第2ビュー1118は、第1ジャーナルページ1110が第1スクリーン1104上に表示のため保持され、第2ジャーナルページ1112がホールド・ドラッグジェスチャーに応答してジャーナルページの分割画面ビューのために第2スクリーン1106上においてマルチスクリーンシステムのベゼル1120の近傍に収納されることを示す。実施態様において、この第2ジャーナルページ1112は、サムネイル画像として収納され、このサムネイル画像は、当該第2ジャーナルページ1112への選択可能リンクとすることもできる。
【0080】
[0079] マルチスクリーンシステム1102の第3ビュー1122は、マルチスクリーンホールド・ドラッグジェスチャーが、表示オブジェクトの第1部分の表示を一方のスクリーン上に保持すると共に、その表示オブジェクトの収納された第2部分をドラッグして別のスクリーン上にその表示を拡大する、即ち表示オブジェクトのマルチスクリーン表示を開始するために、用いられることが可能であることを示す。例えば、入力認識システム110は、第1スクリーン1104においてホールド入力1124を認識することが可能であり、ここで、当該ホールド入力は、適所にホールドされた時に認識される。入力認識システム110はまた、第2スクリーン1106においてモーション入力1126を認識することも可能であり、ここで、当該モーション入力は、(例えば第1ジャーナルページ1110をホールドするように)ホールド入力が適所に留まっている間に、収納されている時の第2ジャーナルページ1112(例えば、第2ビュー1118に示されるようなジャーナルページ1112)を選択するために認識される。ジェスチャーモジュール108は、認識されたホールド及びモーション入力1124,1126から、この収納された第2ジャーナルページ1112を第2スクリーン1106上の表示のために方向1128へ拡大するのに有効なマルチスクリーンホールド・ドラッグジェスチャーを判定することが可能である。
【0081】
[0080] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0082】
[0081] 図12は、マルチスクリーンホールド・ドラッグジェスチャーの例示の方法1200を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0083】
[0082] ブロック1202において、ホールド入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、このホールド入力は適所にホールドされた時に認識される。例えば、入力認識システム110は、第1スクリーン1104においてホールド入力1114を認識し、ここで、当該ホールド入力は、適所にホールドされた時に認識される。ブロック1204において、モーション入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、このモーション入力はホールド入力が適所に留まっている間に、表示オブジェクトを選択するために認識される。例えば、入力認識システム110は、第2スクリーン1106においてモーション入力1116をも認識し、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に、第2ジャーナルページ1112を選択するために認識される。
【0084】
[0083] ブロック1206において、認識されたホールド及びモーション入力からホールド・ドラッグジェスチャーが判定される。例えば、ジェスチャーモジュール108は、認識されたホールド及びモーション入力1114,1116からマルチスクリーンホールド・ドラッグジェスチャーを判定する。このホールド・ドラッグジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能である。様々な実施態様において、ホールド・ドラッグジェスチャーは、表示オブジェクトの第1部分の表示を第1スクリーン上に保持すると共に、第2スクリーン上に表示されているその表示オブジェクトの第2部分をドラッグして分割画面ビューのために当該表示オブジェクトの第2部分を収納する(ブロック1208)、表示オブジェクトの第1部分の表示を第1スクリーン上に保持すると共に、その表示オブジェクトの収納された第2部分をドラッグして第2スクリーン上にその表示を拡大する(ブロック1210)、表示オブジェクトの表示を第1スクリーン上に保持すると共に、表示オブジェクトの当該表示を第2スクリーン上に拡大する(ブロック1212)、及び/又は、表示オブジェクトのマルチスクリーン表示を開始する(ブロック1214)のに有効である。
【0085】
<マルチスクリーンホールド・ページフリップジェスチャー>
[0084] 図13は、マルチスクリーンシステム1302上におけるマルチスクリーンホールド・ページフリップジェスチャーの例1300を示し、これらの例において、マルチスクリーンシステム1302は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム1302は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム1302は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン1304と第2スクリーン1306を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム1302は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンホールド・ページフリップジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0086】
[0085] マルチスクリーンホールド・ページフリップジェスチャーは、1つのスクリーン上に表示されているジャーナルページを選択し、本のページを捲るのとほとんど同じように、ジャーナルページを捲って更なる即ち新しい2ページのジャーナルページを表示するために、用いられることが可能である。ジャーナルページは、本のページを前方又は後方へ捲るのとほとんど同じように、2ページの新しいジャーナルページを表示するよう、選択されたジャーナルページの方向へ捲られる。あるいはまた、ホールド・ページフリップジェスチャーは、1つのスクリーン上に表示されているジャーナルページの表示を保持し、ジャーナルページを捲って異なるジャーナルページを別のスクリーン上に表示するために、用いられることが可能である。その後、不連続なジャーナルページが左右に並んで表示されることが可能であり、これは、本に関していえば、本から1ページを抜き取って、それを別のページと左右に並べて見えるように不連続なページ順に配置することに関わるであろう。実施態様において、マルチスクリーンホールド・ページフリップジェスチャーは、2ページの新しいジャーナルページを表示するようにジャーナルページを捲るか、又は、第1ジャーナルページの表示を保持すると共に、不連続な異なる第2ジャーナルページを第1ジャーナルページと左右に並べて表示するようにジャーナルページを捲るか、その何れかであるように設定可能である。
【0087】
[0086] マルチスクリーンシステム1302の第1ビュー1308において、第1スクリーン1304上に第1ジャーナルページ1310が表示され、第2スクリーン1306上に第2ジャーナルページ1312が表示される。入力認識システム110は、第1スクリーン1304においてホールド入力1314を認識するように実現され、ここで、当該ホールド入力は、第1スクリーン1304上に表示されているジャーナルページ1310を選択するためにホールドされた時に認識される。入力認識システム110はまた、第2スクリーン1306においてモーション入力1316を認識することも可能であり、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。
【0088】
[0087] ジェスチャーモジュール108は、認識されたホールド及びモーション入力1314,1316からマルチスクリーンホールド・ページフリップジェスチャーを判定するように実現される。このホールド・ページフリップジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、このホールド及びモーション入力は、様々な実施態様において、1つ又は2つの入力デバイス(例えば1本の指又は2本の指)を使った両方のスクリーン上におけるホールド及びドラッグ入力、及び/又は、ホールド入力及び反対側のスクリーン上へのベゼルを横切るドラッグ入力を含むことができる。ホールド・ページフリップジェスチャーは、1又は複数の追加のジャーナルページが捲られて表示される間に第1スクリーン1304上でジャーナルページ1310を選択するのに有効である。マルチスクリーンシステム1302の第2ビュー1318は、2ページの追加のジャーナルページ1320,1322がそれぞれ第1及び第2スクリーン1304,1306上の表示のために捲られたことを示す。それに代えて、マルチスクリーンシステム1302の第3ビュー1324は、第1スクリーン1304上にジャーナルページ1310の表示が保持されると共に、不連続なジャーナルページ1322が第2スクリーン1306上の左右に並んだ表示のために捲られたことを示す。
【0089】
[0088] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0090】
[0089] 図14は、マルチスクリーンホールド・ページフリップジェスチャーの例示の方法1400を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0091】
[0090] ブロック1402において、ホールド入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、このホールド入力は第1スクリーン上に表示されているジャーナルページを選択するためにホールドされた時に認識される。例えば、入力認識システム110は、第1スクリーン1304においてホールド入力1314を認識し、当該ホールド入力は、第1スクリーン1304上に表示されているジャーナルページ1310を選択するためにホールドされた時に認識される。ブロック1404において、モーション入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、このモーション入力はホールド入力が適所に留まっている間に認識される。例えば、入力認識システム110は、第2スクリーン1306においてモーション入力1316をも認識し、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。
【0092】
[0091] ブロック1406において、認識されたホールド及びモーション入力からホールド・ページフリップジェスチャーが判定され、このホールド・ページフリップジェスチャーは、追加のジャーナルページが捲られて表示される間にジャーナルページを選択するのに有効である。例えば、ジェスチャーモジュール108は、認識されたホールド及びモーション入力1314,1316からマルチスクリーンホールド・ページフリップジェスチャーを判定する。このホールド・ページフリップジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別される。様々な実施態様において、ホールド・ページフリップジェスチャーは、第1スクリーン上に表示されているジャーナルページを選択すると共に、ジャーナルページを(オプションとして、選択されたジャーナルページの方向へ)捲って2ページの追加のジャーナルページを第1及び第2スクリーン上にそれぞれ1ページずつ表示する(ブロック1408)、第1スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを第2スクリーン上に表示する(ブロック1410)、及び/又は、第1スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って不連続なジャーナルページを第1ジャーナルページと左右に並べて第2スクリーン上に表示する(ブロック1412)のに有効である。
【0093】
[0092] 実施態様において、ホールド・ページフリップジェスチャーは、(ブロック1408を参照して説明されたように)第1スクリーン上に表示されているジャーナルページを選択すると共に、ジャーナルページを捲って2ページの追加のジャーナルページを第1及び第2スクリーン上にそれぞれ1ページずつ表示する、又は、(ブロック1410及び1412を参照して説明されたように)第1スクリーン上に表示されているジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを第2スクリーン上に表示するように、設定可能である。
【0094】
<マルチスクリーンブックマークホールドジェスチャー>
[0093] 図15は、マルチスクリーンシステム1502上におけるマルチスクリーンブックマークホールドジェスチャーの例1500を示し、これらの例において、マルチスクリーンシステム1502は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム1502は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム1502は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン1504と第2スクリーン1506を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム1502は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンブックマークホールドジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0095】
[0094] マルチスクリーンブックマークホールドジェスチャーは、スクリーン上のジャーナルページに対するホールド入力の場所にジャーナルページをブックマークするために用いられることが可能であり、また、当該ジャーナルページに対してこのブックマークが保持されている間、閲覧のために更なるジャーナルページが捲られることが可能である。ブックマークホールドジェスチャーは、本の他のページを次々と捲る間に本の中の場所を憶えておくために、読者が親指又は親指以外の指をページの間に挿む動作を真似たものである。加えて、ブックマークは、ジャーナルページへ戻る選択可能なリンクであり、また、このブックマークのセレクト入力によって、スクリーン上に当該ジャーナルページを表示するようにページが元の状態へと捲られる。
【0096】
[0095] マルチスクリーンシステム1502の第1ビュー1508において、第1スクリーン1504上に第1ジャーナルページ1510が表示され、第2スクリーン1506上に第2ジャーナルページ1512が表示される。第1ジャーナルページ1510は、ブックマークされているジャーナルページ1514に重ねて表示される。入力認識システム110は、第1スクリーン1504においてホールド入力1516を認識するように実現され、ここで、当該ホールド入力は、第1スクリーン1504上でブックマークされているジャーナルページ1514のエッジ近傍の適所にホールドされた時に認識される。入力認識システム110はまた、第2スクリーン1506においてモーション入力1518を認識することも可能であり、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。実施態様において、このモーション入力1518は、ジャーナルページ1512の外側のエッジに沿って、第2スクリーン1506において認識され、また、当該モーション入力は、ジャーナルページ1514に対するブックマークが第1スクリーン1504上に保持されている間に、1520においてジャーナルページを捲るのに有効である。
【0097】
[0096] ジェスチャーモジュール108は、認識されたホールド及びモーション入力1516,1518からマルチスクリーンブックマークホールドジェスチャーを判定するように実現される。このブックマークホールドジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、当該ジェスチャーは、第1スクリーン1504上のホールド入力1516の場所にジャーナルページ1514をブックマークするのに有効である。実施態様において、ブックマークされているジャーナルページ1514及び第1スクリーン上における当該ブックマークの場所を識別するためのブックマーク識別体1522が表示される。この例において、ブックマーク識別体1522は、ブックマークされているジャーナルページ1514の部分的な表示である。ブックマーク及び/又はブックマーク識別体は、第1スクリーン1504上でブックマークされているジャーナルページ1514への選択可能リンクであり、入力認識システム110は、ページを元の状態へと捲って第1スクリーン上にジャーナルページ1514を表示するのに有効な、ブックマークのセレクト入力を認識することが可能である。
【0098】
[0097] マルチスクリーンシステム1502の第2ビュー1524は、例えばユーザーが2つのスクリーンを持つデバイスを片手で把持しながら更に第1スクリーン1504上でジャーナルページ1510をブックマークする場合における、代替のホールド入力1526を示す。入力認識システム110は、第1スクリーン1504においてホールド入力1526を認識し、また第2スクリーン1506においてモーション入力1528をも認識するように実現され、ここで、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。実施態様において、このモーション入力1528は、第2スクリーン1506において認識され、また、ブックマークが保持されている間にジャーナルページを捲るのに有効である。具体化において、入力認識システム110は、ユーザーがデバイスを把持し且つページをブックマークする可能性が高い領域等の限定された領域において、ブックマークホールドジェスチャーを認識することが可能である。これに代えて、又は加えて、マルチスクリーンシステム1502は、ユーザーがデバイスを把持する仕方にページのブックマークが自動的に適応すべく、スクリーンの向きを検知するように実現されることができる。
【0099】
[0098] マルチスクリーンシステム1502の第3ビュー1530は、ブックマークが判定されるホールド入力が、ジャーナルページ1514のコーナー近傍におけるスライドモーション入力1532を含むことが可能であることを示す。スライドモーション入力1532は、ホールド入力を開始するためのモーションから継続して行われるものとして認識されることが可能であり、そしてこのスライドモーション入力は、ジャーナルページ1514を当該コーナーにブックマークするように判定されることが可能である。ジャーナルページ1514に対するブックマークは、他のジャーナルページが1534において閲覧のために捲られる間、第1スクリーン1504上に保持される。実施態様において、ページを押さえて一時的に場所を憶えておくこと、ブックマークでページの「隅を折る」こと、又は一時的な押さえ動作若しくはブックマークによって指示されるページまで捲って戻ることを識別するように実現されることが可能である様々な技術が存在する。実施態様において、ページの場所を一時的に暗に保存するためにホールド入力が認識されることが可能である。この場合、ユーザーは、その一時的なブックマークを放棄するために単に当該入力を中止するか、又はそれに代えて、保存されたページの場所へページを捲って戻るためにスライドモーション入力を与えることが可能である。別の実施態様において、もしスライドモーション入力がホールド入力とほぼ同時に開始されたら、そのときは、ページの隅を折ったブックマークが生成されることが可能である。別の実施態様において、ページの隅を折ったブックマークは、ジャーナルページの境界の周りの限定された場所において(例えばページのコーナーにおいて)のみ認識されることができるのに対して、一時的に暗にページを押さえる動作は、より広いエリア又は領域に対して実行されることが可能である。
【0100】
[0099] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0101】
[0100] 図16は、マルチスクリーンブックマークホールドジェスチャーの例示の方法1600を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0102】
[0101] ブロック1602において、ホールド入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、このホールド入力は第1スクリーン上に表示されているジャーナルページのエッジ近傍の適所にホールドされた時に認識される。例えば、入力認識システム110は、第1スクリーン1504においてホールド入力1516を認識し、当該ホールド入力は、第1スクリーン1504上でブックマークされているジャーナルページ1514のエッジ近傍の適所にホールドされた時に認識される。このホールド入力は、ジャーナルページ1514のコーナー近傍におけるスライドモーション入力1532を含むことが可能である。入力認識システム110は、スライドモーション入力を、ホールド入力を開始するためのモーションから継続して行われるものとして認識し、また、ジェスチャーモジュール108は、このスライドモーション入力からブックマークホールドジェスチャーを判定してジャーナルページをブックマークする。
【0103】
[0102] ブロック1604において、モーション入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、このモーション入力はホールド入力が適所に留まっている間に認識される。例えば、入力認識システム110は、第2スクリーン1506においてモーション入力1518をも認識し、当該モーション入力は、ホールド入力が適所に留まっている間に認識される。入力認識システム110は、第2スクリーン1506上に表示されている反対側のジャーナルページの外側のエッジに沿って、モーション入力を認識することが可能であり、また、当該モーション入力は、ジャーナルページ1514に対するブックマークが第1スクリーン1504上に保持されている間に、ジャーナルページを捲るのに有効である。
【0104】
[0103] ブロック1606において、認識されたホールド及びモーション入力からブックマークホールドジェスチャーが判定され、このブックマークホールドジェスチャーは、第1スクリーン上のホールド入力の場所にジャーナルページをブックマークするのに有効である。例えば、ジェスチャーモジュール108は、認識されたホールド及びモーション入力1516,1518からマルチスクリーンブックマークホールドジェスチャーを判定する。このブックマークホールドジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能である。ブックマーク及び/又はブックマーク識別体は、第1スクリーン1504上でブックマークされているジャーナルページへの選択可能リンクであり、入力認識システム110は、ページを元の状態へと捲って第1スクリーン上にジャーナルページを表示するのに有効な、ブックマークのセレクト入力を認識する。
【0105】
[0104] ブロック1608において、ブックマークされているジャーナルページ及び第1スクリーン上における当該ブックマークの場所を識別するためのブックマーク識別体を表示する。例えば、ブックマークされているジャーナルページ1514及び第1スクリーン上における当該ブックマークの場所を識別するために、ブックマーク識別体1522が表示される。具体化において、ブックマーク識別体1522は、ブックマークされているジャーナルページ自体の部分的な表示とすることが可能である。
【0106】
<マルチスクリーンオブジェクトホールド・ページチェンジジェスチャー>
[0105] 図17は、マルチスクリーンシステム1702上におけるマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの例1700を示し、これらの例において、マルチスクリーンシステム1702は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム1702は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム1702は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン1704と第2スクリーン1706を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム1702は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0107】
[0106] マルチスクリーンオブジェクトホールド・ページチェンジジェスチャーは、例えば表示オブジェクトをジャーナルページ上の表示のために取り込むべく、表示オブジェクト(又はオブジェクト)を1つの表示位置から別の位置へ移動及び/又はコピーするために用いられることが可能である。加えて、表示オブジェクトが1つの表示位置から別の位置へ移動又はコピーされる場合に、相対的な表示位置は保持されることが可能である。これはまた、一組のオブジェクトに対する連続したタップ・セレクト入力によって選択される複数のオブジェクトの選択を含むことも可能であり、その場合、ホールド入力が当該選択をホールドする一方、モーション入力がジャーナルページを変更するように認識される。このジェスチャーは、こうして、ホールドされたオブジェクトの全てを、オブジェクト間の相対的な表示位置及び/又は相対的な空間的関係を保持したまま、表示された新たなジャーナルページへ移動及び/又はコピーするように判定されることが可能である。これに代えて、又は加えて、このジェスチャーは、あるページ上において発生しその後ジャーナルページが捲られる間にホールドされる複数のオブジェクトの選択を含むことが可能であり、オブジェクトの当該選択に追加されグループと一緒に収容されるように、他のページからの更なるオブジェクトが選択される。
【0108】
[0107] マルチスクリーンシステム1702の第1ビュー1708において、第1スクリーン1704上に第1ジャーナルページ1710が表示され、第2スクリーン1706上に第2ジャーナルページ1712が表示される。入力認識システム110は、第1スクリーン1704においてホールド入力1714を認識するように実現され、ここで、当該ホールド入力は、第1スクリーン1704上の表示オブジェクト1716を選択するためにホールドされた時に認識される。入力認識システム110はまた、第2スクリーン1706においてモーション入力1718を認識することも可能であり、ここで、当該モーション入力は、表示オブジェクト1716が選択されている間に認識され、また、ジャーナルページを1720において変更するのに有効である。ジャーナルページが1720において変更されると、それに続くジャーナルページ1722が表に見える状態となって表示される。実施態様において、モーション入力1718は、ジャーナルページ1712の外側のエッジに沿って、第2スクリーン1706において認識され、また、当該モーション入力は、ジャーナルページ1514に対するブックマークが第1スクリーン1704上に保持されている間に、1720においてジャーナルページを捲るのに有効である。
【0109】
[0108] ジェスチャーモジュール108は、認識されたホールド及びモーション入力1714,1718からマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーを判定するように実現される。このオブジェクトホールド・ページチェンジジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能であり、当該ジェスチャーは、表示オブジェクト1716を現在表示されているジャーナルページ上の表示のために移動又はコピーするのに有効である。マルチスクリーンシステム1702の第2ビュー1724は、第1スクリーン1704上に現在表示されているジャーナルページ1726上の表示のために、表示オブジェクト1716がジャーナルページ1710から移動された(例えば、又はジャーナルページ1710からコピーされた)ことを示す。ジャーナルページが変更される一方で、表示オブジェクト1716は選択されたままである。入力認識システム110は、その後、表示オブジェクト1716がホールド入力から解除されたことを認識することが可能であり、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクトを現在表示されているジャーナルページ上の表示のために移動又はコピーするのに有効である。加えて、表示オブジェクトが1つの表示位置から別の位置へ移動又はコピーされる場合に、表示オブジェクトの相対的な表示位置は保持されることが可能である。
【0110】
[0109] ホールド及びモーション入力の表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0111】
[0110] 図18は、マルチスクリーンオブジェクトホールド・ページチェンジジェスチャーの例示の方法1800を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0112】
[0111] ブロック1802において、ホールド入力がマルチスクリーンシステムの第1スクリーンにおいて認識され、このホールド入力は第1スクリーン上の表示オブジェクトを選択するためにホールドされた時に認識される。例えば、入力認識システム110は、第1スクリーン1704においてホールド入力1714を認識し、当該ホールド入力は、第1スクリーン1704上の表示オブジェクト1716を選択するためにホールドされた時に認識される。ブロック1804において、モーション入力がマルチスクリーンシステムの第2スクリーンにおいて認識され、このモーション入力は、表示オブジェクトが選択されている間に認識され、また、1つ又は複数のジャーナルページを変更するのに有効である。例えば、入力認識システム110は、第2スクリーン1706においてモーション入力1718をも認識し、当該モーション入力は、表示オブジェクト1716が選択されている間に認識され、また、ジャーナルページを1720において変更するのに有効である。
【0113】
[0112] ブロック1806において、認識されたホールド及びモーション入力からオブジェクトホールド・ページチェンジジェスチャーが判定される。例えば、ジェスチャーモジュール108は、認識されたホールド及びモーション入力1714,1718からマルチスクリーンオブジェクトホールド・ページチェンジジェスチャーを判定する。このオブジェクトホールド・ページチェンジジェスチャーは、ホールド及びモーション入力のスクリーン間における連係動作として識別されることが可能である。実施態様において、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクト1716を現在表示されているジャーナルページ1726上の表示のためにコピーするコピーペースト機能を開始するのに有効である。
【0114】
[0113] ブロック1808において、表示オブジェクトが、ホールド入力から解除された時に認識され、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクトを現在表示されているジャーナルページ上の表示のために移動及び/又はコピーするのに有効である。例えば、入力認識システム110は、表示オブジェクト1716がホールド入力から解除された時に認識し、オブジェクトホールド・ページチェンジジェスチャーは、表示オブジェクトを現在表示されているジャーナルページ上の表示のために移動又はコピーするのに有効である。マルチスクリーンシステム1702の第2ビュー1724は、第1スクリーン1704上に現在表示されているジャーナルページ1726上の表示のために、表示オブジェクト1716がジャーナルページ1710から移動された(例えば、又はジャーナルページ1710からコピーされた)ことを示す。加えて、表示オブジェクトが1つの表示位置から別の位置へ移動又はコピーされる場合に、当該表示オブジェクトの相対的な表示位置は保持される。オブジェクトホールド・ページチェンジジェスチャーはまた、1つの表示位置から別の位置へグループとして移動及び/又はコピーされる複数の表示オブジェクトを選択するのにも有効であることができる。
【0115】
<マルチスクリーン同期スライドジェスチャー>
[0114] 図19は、マルチスクリーンシステム1902上におけるマルチスクリーン同期スライドジェスチャーの例1900を示し、これらの例において、マルチスクリーンシステム1902は、2つのスクリーンを持つデバイスとして示されている。このマルチスクリーンシステム1902は、図1及び2を参照して説明された様々なデバイスのうちの任意のものとして実現されることができる。この例において、マルチスクリーンシステム1902は、それぞれが任意のタイプのユーザーインターフェース及び様々な表示可能オブジェクト(例えば、任意のタイプの写真、画像、グラフィックス、テキスト、メモ、スケッチ、図面、選択可能なコントロールキー、ユーザーインターフェースエレメント等)を表示するように実現された、第1スクリーン1904と第2スクリーン1906を含む。これらスクリーンはまた、電子的な形式による任意のタイプのノート、雑誌、本、論文、単独の1ページといったような、ジャーナルページを表示することも可能である。マルチスクリーンシステム1902は、図1に示されたコンピューティングデバイス102を参照して説明されたようなジェスチャーモジュール108と入力認識システム110を含むことが可能であり、また、図21に示される例示のデバイスを参照して説明されるようなコンポーネントの任意の組み合わせにより実現されることもできる。本例は2つのスクリーンを持つデバイスを参照して図示及び説明されるが、マルチスクリーン同期スライドジェスチャーの実施態様は、2つより多いスクリーンを有するマルチスクリーンシステムによって実現されることが可能である。
【0116】
[0115] マルチスクリーン同期スライドジェスチャーは、表示オブジェクトを1つのスクリーンから別のスクリーン上の表示のために移動する、システムのスクリーン上の表示オブジェクトを異なる表示オブジェクトで置換する、システムのスクリーン上に作業スペースを空けるために表示オブジェクトを移動する、及び/又は、システムのスクリーン上に表示されている1つ又は複数の作業スペース(例えば、アプリケーション、インターフェース等)の間を循環する(cycle through)ために、用いられることが可能である。同期スライドジェスチャーはまた、追加のビューへと移動する、又は現在のビューを異なるスクリーンに再割り当てするために、用いられることもできる。加えて、同期スライドジェスチャーによって、異なるアプリケーション又は作業スペースがスタック上に保持され、前方及び後方へ循環されることが可能である。
【0117】
[0116] マルチスクリーンシステム1902の第1ビュー1908において、ジャーナルページ1910が、第1スクリーン1904から第2スクリーン1906上の表示のために移動されつつあるように表示される。入力認識システム110は、第1モーション入力が第1スクリーンを横切って特定の方向に移動する時に、第1スクリーン1904において第1モーション入力1912を認識するように実現される。入力認識システム110はまた、第2モーション入力が第2スクリーンを横切って当該特定の方向に移動する時であって第1モーション入力が認識されるのとほぼ同じ時に、第2スクリーン1906において第2モーション入力1914を認識することも可能である。
【0118】
[0117] ジェスチャーモジュール108は、認識されたモーション入力1912,1914からマルチスクリーン同期スライドジェスチャーを判定するように実現される。この同期スライドジェスチャーは、これらモーション入力のスクリーン間における連係動作として識別されることが可能であり、当該ジェスチャーは、ジャーナルページ1910を第1スクリーン1904上の表示から第2スクリーン1906上の表示へ移動するのに有効である。
【0119】
[0118] マルチスクリーンシステム1902の第2ビュー1916において、第1スクリーン1904上に表示された第1ジャーナルページ1910と第2スクリーン1906上に表示された第2ジャーナルページ1918が、異なるジャーナルページで置換されつつあるように示されている。入力認識システム110は、第1モーション入力が第1スクリーンを横切って特定の方向に移動する時に、第1スクリーン1904において第1モーション入力1920を認識することが可能である。入力認識システム110はまた、第2モーション入力が第2スクリーンを横切って当該特定の方向に移動する時であって第1モーション入力が認識されるのとほぼ同じ時に、第2スクリーン1906において第2モーション入力1922を認識することも可能である。ジェスチャーモジュール108は、認識されたモーション入力1920,1922からマルチスクリーン同期スライドジェスチャーを判定することが可能である。マルチスクリーンシステム1902の第3ビュー1924に示されるように、同期スライドジェスチャーは、ジャーナルページ1910,1918を移動し及び/又はシステムのスクリーン上の表示のために異なるジャーナルページ1926,1928で置換するのに有効である。
【0120】
[0119] モーション入力の様々な表現は、議論の目的のための単なる例示であり、説明された実施態様が実現される際にマルチスクリーンシステムのスクリーン上に現れても現れなくてもよいということは、留意されるべきである。加えて、別のスクリーンにおける別の入力又はモーションと相互に関連を有し得るあるスクリーンにおける入力又はモーションについての本明細書中の如何なる説明も、マルチスクリーンシステムの第1又は第2スクリーンの何れにも適用できる。
【0121】
[0120] 図20は、マルチスクリーン同期スライドジェスチャーの例示の方法2000を示す。本方法が説明される順序は、限定として解釈されることを意図されておらず、また、説明される方法のブロックのうちの任意の数が、本方法又は代替方法を実現するために任意の順序で組み合わせられることが可能である。
【0122】
[0121] ブロック2002において、第1モーション入力がマルチスクリーンシステムの第1スクリーンを横切って特定の方向に移動している時に、第1モーション入力が第1スクリーンにおいて認識される。例えば、入力認識システム110は、第1モーション入力が第1スクリーンを横切って特定の方向に移動する時に、第1スクリーン1904において第1モーション入力1912を認識する。ブロック2004において、第2モーション入力がマルチスクリーンシステムの第2スクリーンを横切って当該特定の方向に移動している時であって第1モーション入力が認識されるのとほぼ同じ時に、第2モーション入力が第2スクリーンにおいて認識される。例えば、入力認識システム110は、第2モーション入力が第2スクリーンを横切って当該特定の方向に移動する時であって第1モーション入力が認識されるのとほぼ同じ時に、第2スクリーン1906において第2モーション入力1914をも認識する。
【0123】
[0122] ブロック2006において、認識された第1及び第2モーション入力から同期スライドジェスチャーが判定される。例えば、ジェスチャーモジュール108は、認識されたモーション入力1912,1914からマルチスクリーン同期スライドジェスチャーを判定する。この同期スライドジェスチャーは、第1及び第2モーション入力のスクリーン間における連係動作として識別される。様々な実施態様において、同期スライドジェスチャーは、表示オブジェクトを第1スクリーン上の表示から第2スクリーン上の表示へ移動する(ブロック2008)、第1及び第2スクリーン上の1つ又は複数の表示オブジェクトを異なる表示オブジェクトで置換する(ブロック2010)、1つ又は複数の表示オブジェクトを移動して第1及び第2スクリーン上に作業スペースを空ける(ブロック2012)、第1及び第2スクリーン上に表示されている1つ又は複数の作業スペースの間を循環する(cycle through)(ブロック2014)、及び/又は、第1及び第2スクリーン上の1つ又は複数のアプリケーションを異なるアプリケーションで置換する(ブロック2016)のに有効である。
【0124】
[0123] 図21は、マルチスクリーンジェスチャーの実施態様を実現するために、図1及び2を参照して説明されたような任意のタイプのポータブル及び/又はコンピューティングデバイスとして実現されることが可能である、例示のデバイス2100の様々なコンポーネントを示す。実施態様において、デバイス2100は、有線及び/若しくは無線デバイス、マルチスクリーンデバイスのうちの、任意の1つ又は組み合わせとして、任意の形態のテレビ用クライアントデバイス(例えば、テレビ用セットトップボックス、デジタルビデオレコーダー(digital video recorder:DVR)等)、消費者向けデバイス、コンピューターデバイス、サーバーデバイス、ポータブルコンピューターデバイス、ユーザーデバイス、通信デバイス、映像処理及び/若しくは描画デバイス、家電デバイス、ゲームデバイス、電子デバイスとして、並びに/又は、任意の他のタイプのデバイスとして、実現されることが可能である。デバイス2100はまた、デバイスがユーザー、ソフトウェア、ファームウェア、及び/又はデバイスの組み合わせを含む論理的デバイスを表現するように、当該デバイスを操作するユーザー(即ち人)及び/又はエンティティに関連付けられることもできる。
【0125】
[0124] デバイス2100は、デバイスデータ2104(例えば、受信されたデータ、受信中のデータ、ブロードキャストする予定のデータ、それらデータのデータパケット等)の有線及び/又は無線通信を可能にする通信デバイス2102を含む。デバイスデータ2104又は他のデバイスコンテンツは、当該デバイスのコンフィギュレーション設定、当該デバイスに記憶されたメディアコンテンツ、及び/又は当該デバイスのユーザーに関連する情報を含むことが可能である。デバイス2100に記憶されたメディアコンテンツは、如何なるタイプの音声、映像、及び/又は画像データも含むことが可能である。デバイス2100は、例えば、ユーザー選択可能な入力、メッセージ、音楽、テレビ向けメディアコンテンツ、記録されたビデオコンテンツ、並びに、任意のコンテンツ及び/又はデータソースから受信された任意の他のタイプの音声、映像、及び/又は画像データ等の、任意のタイプのデータ、メディアコンテンツ、及び/又は入力が受信されることが可能である、1つ又は複数のデータ入力2106を含む。
【0126】
[0125] デバイス2100はまた、シリアル及び/又はパラレルインターフェース、無線インターフェース、任意のタイプのネットワークインターフェース、モデムのうちの任意の1つ又は複数として、並びに任意の他のタイプの通信インターフェースとして実現されることが可能である、通信インターフェース2108をも含む。通信インターフェース2108は、デバイス2100と、他の電子、コンピューティング、及び通信デバイスがデバイス2100とデータを通信する通信ネットワークとの間において、接続及び/又は通信リンクを提供する。
【0127】
[0126] デバイス2100は、デバイス2100の動作を制御し、またマルチスクリーンジェスチャーの実施態様を実現するための、様々なコンピューター実行可能命令を処理する1つ又は複数のプロセッサー2110(例えば、任意のマイクロプロセッサー、コントローラー等)を含む。これに代えて、又は加えて、デバイス2100は、ハードウェア、ファームウェア、又は、2112において概略的に特定された処理及び制御回路と共に実現される固定論理回路のうちの、任意の1つ又は組み合わせによって実現されることが可能である。図示されていないが、デバイス2100は、当該デバイス内部の様々なコンポーネントを接続する、システムバス即ちデータ転送システムを含むことが可能である。システムバスは、例えば、メモリバス若しくはメモリコントローラー、周辺機器バス、ユニバーサルシリアルバス、及び/又は、任意の様々なバスアーキテクチャーを利用するプロセッサー若しくはローカルバス等の、様々なバス構造のうちの任意の1つ又は組み合わせを含むことが可能である。
【0128】
[0127] デバイス2100はまた、1つ又は複数のメモリコンポーネント等のコンピューター読み取り可能媒体2114をも含み、その例は、ランダムアクセスメモリ(random access memory:RAM)、不揮発性メモリ(例えば、リードオンリメモリ(read only memory:ROM)、フラッシュメモリ、EPROM、EEPROM等のうちの任意の1つ又は複数)、及びディスクストレージデバイスを含む。ディスクストレージデバイスは、例えば、ハードディスクドライブ、レコーダブル及び/又はリライタブルなコンパクトディスク(compact disc:CD)、任意のタイプのデジタル多用途ディスク(digital versatile disc:DVD)等の、任意のタイプの磁気又は光学ストレージデバイスとして実現されることができる。デバイス2100はまた、大容量記憶媒体デバイス2116をも含むことが可能である。
【0129】
[0128] コンピューター読み取り可能媒体2114は、様々なデバイスアプリケーション2118並びにデバイス2100の動作に関わる側面に関連した任意の他のタイプの情報及び/又はデータに加えて、デバイスデータ2104を記憶するためのデータ記憶メカニズムを提供する。例えば、オペレーティングシステム2120は、コンピューター読み取り可能媒体2114によってコンピューターアプリケーションとして保持され、プロセッサー2110上で実行されることが可能である。デバイスアプリケーション2118は、デバイスマネージャー(例えば、制御アプリケーション、ソフトウェアアプリケーション、信号処理及び制御モジュール、特定のデバイス向けのコード、特定のデバイス向けのハードウェア抽象化レイヤー等)を含むことが可能である。
【0130】
[0129] デバイスアプリケーション2118はまた、マルチスクリーンジェスチャーの実施態様を実現するための任意のシステムコンポーネント又はモジュールをも含む。この例において、デバイスアプリケーション2118は、例えばデバイス2100がマルチスクリーンデバイスとして実現されている場合に、インターフェースアプリケーション2122及びジェスチャーモジュール2124を含むことが可能である。インターフェースアプリケーション2122及びジェスチャーモジュール2124は、ソフトウェアモジュール及び/又はコンピューターアプリケーションとして示されている。これに代えて、又は加えて、インターフェースアプリケーション2122及び/又はジェスチャーモジュール2124は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせとして実現されることが可能である。
【0131】
[0130] デバイス2100は、セレクト入力、ホールド入力、モーション入力、タッチ入力、タップ入力等の、様々な入力又は入力の組み合わせを認識するように実現された入力認識システム2126を含む。入力認識システム2126は、センサー、光感知ピクセル、タッチセンサー、カメラ、及び/又は、ユーザーの対話、ジェスチャー、入力、及び動作を解釈する自然ユーザーインターフェースといったような、様々なタイプの入力を感知する任意のタイプの入力検出機構を含むことができる。
【0132】
[0131] デバイス2100はまた、音声データを生成して音声システム2130へ供給し、及び/又は表示データを生成して表示システム2132へ供給する、音声及び/又は映像レンダリングシステム2128をも含む。音声システム2130及び/又は表示システム2132は、音声、表示、及び画像データを処理し、表示し、及び/又はその他の方法で表現する、如何なるデバイスも含むことが可能である。表示データ及び音声信号は、RF(radio frequency:高周波)リンク、Sビデオリンク、コンポジットビデオリンク、コンポーネントビデオリンク、DVI(digital video interface:デジタルビデオインターフェース)、アナログ音声接続、又は他の類似の通信リンクによって、デバイス2100から音声デバイス及び/又は表示デバイスへ通信されることが可能である。実施態様において、音声システム2130及び/又は表示システム2132は、デバイス2100の外部コンポーネントとして実現される。あるいはまた、音声システム2130及び/又は表示システム2132は、例示のデバイス2100の統合されたコンポーネントとして実現される。
【0133】
[0132] マルチスクリーンジェスチャーの実施態様が機能及び/又は方法に特有の言葉で説明されてきたが、添付されたクレームの対象は必ずしも説明された特定の機能又は方法に限定されないということは理解されなければならない。それどころか、当該特定の機能及び方法は、マルチスクリーンジェスチャーの例示的な具体化として開示されたのである。

【特許請求の範囲】
【請求項1】
マルチスクリーンシステムの第1スクリーンにおいてホールド入力を認識するステップであって、前記ホールド入力は前記第1スクリーン上に表示されているジャーナルページを選択するためにホールドされた時に認識される、ステップと、
前記マルチスクリーンシステムの第2スクリーンにおいてモーション入力を認識するステップであって、前記モーション入力は前記ホールド入力が適所に留まっている間に認識される、ステップと、
前記認識されたホールド及びモーション入力からホールド・ページフリップジェスチャーを判定するステップであって、前記ホールド・ページフリップジェスチャーは、1又は複数の追加のジャーナルページが捲られて表示される間に前記ジャーナルページを選択するのに有効である、ステップと、
を含む、コンピューターにより実現される方法。
【請求項2】
前記ホールド・ページフリップジェスチャーは、前記ホールド及びモーション入力のスクリーン間における連係動作として識別される、請求項1に記載の方法。
【請求項3】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページを選択すると共に、ジャーナルページを捲って2ページの追加のジャーナルページを前記第1及び第2スクリーン上にそれぞれ1ページずつ表示するのに有効である、請求項1に記載の方法。
【請求項4】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページを選択すると共に、ジャーナルページを前記選択されたジャーナルページの方向へ捲って2ページの追加のジャーナルページを前記第1及び第2スクリーン上にそれぞれ1ページずつ表示するのに有効である、請求項1に記載の方法。
【請求項5】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを前記第2スクリーン上に表示するのに有効である、請求項1に記載の方法。
【請求項6】
前記ホールド・ページフリップジェスチャーは、
前記第1スクリーン上に表示されている前記ジャーナルページを選択すると共に、ジャーナルページを捲って2ページの追加のジャーナルページを前記第1及び第2スクリーン上にそれぞれ1ページずつ表示すること、又は、
前記第1スクリーン上に表示されている前記ジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを前記第2スクリーン上に表示すること、
のうちの少なくとも1つを実施するように設定可能である、請求項1に記載の方法。
【請求項7】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページの表示を保持すると共に、ジャーナルページを捲って不連続なジャーナルページを前記第1ジャーナルページと左右に並べて前記第2スクリーン上に表示するのに有効である、請求項1に記載の方法。
【請求項8】
認識されたホールド及びモーション入力からホールド・ページフリップジェスチャーを判定するように構成され、前記ホールド・ページフリップジェスチャーは1又は複数の追加のジャーナルページが捲られて表示される間に第1スクリーン上でジャーナルページを選択するのに有効である、ジェスチャーモジュールと、
前記第1スクリーンにおいて前記ホールド入力を認識するように構成され、前記ホールド入力は前記第1スクリーン上に表示されている前記ジャーナルページを選択するためにホールドされた時に認識され、第2スクリーンにおいて前記モーション入力を認識するように構成され、前記モーション入力は前記ホールド入力が適所に留まっている間に認識される、入力認識システムと、
を実現するための少なくともメモリとプロセッサーを含む、マルチスクリーンシステム。
【請求項9】
前記ジェスチャーモジュールは、前記ホールド及びモーション入力のスクリーン間における連係動作として前記ホールド・ページフリップジェスチャーを識別するように更に構成された、請求項8に記載のマルチスクリーンシステム。
【請求項10】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページを選択すると共に、ジャーナルページを捲って2ページの追加のジャーナルページを前記第1及び第2スクリーン上にそれぞれ1ページずつ表示するのに有効である、請求項8に記載のマルチスクリーンシステム。
【請求項11】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページを選択すると共に、ジャーナルページを前記選択されたジャーナルページの方向へ捲って2ページの追加のジャーナルページを前記第1及び第2スクリーン上にそれぞれ1ページずつ表示するのに有効である、請求項8に記載のマルチスクリーンシステム。
【請求項12】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを前記第2スクリーン上に表示するのに有効である、請求項8に記載のマルチスクリーンシステム。
【請求項13】
前記ホールド・ページフリップジェスチャーは、
前記第1スクリーン上に表示されている前記ジャーナルページを選択すると共に、ジャーナルページを捲って2ページの追加のジャーナルページを前記第1及び第2スクリーン上にそれぞれ1ページずつ表示すること、又は、
前記第1スクリーン上に表示されている前記ジャーナルページの表示を保持すると共に、ジャーナルページを捲って異なるジャーナルページを前記第2スクリーン上に表示すること、
のうちの少なくとも1つを実施するように設定可能である、請求項8に記載のマルチスクリーンシステム。
【請求項14】
前記ホールド・ページフリップジェスチャーは、前記第1スクリーン上に表示されている前記ジャーナルページの表示を保持すると共に、ジャーナルページを捲って不連続なジャーナルページを前記第1ジャーナルページと左右に並べて前記第2スクリーン上に表示するのに有効である、請求項8に記載のマルチスクリーンシステム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公表番号】特表2013−521547(P2013−521547A)
【公表日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2012−555124(P2012−555124)
【出願日】平成23年2月24日(2011.2.24)
【国際出願番号】PCT/US2011/025974
【国際公開番号】WO2011/106468
【国際公開日】平成23年9月1日(2011.9.1)
【出願人】(500046438)マイクロソフト コーポレーション (3,165)
【Fターム(参考)】