曲面ディスプレイを用いたタッチ対話
（例えば、球、半球、円筒などの）曲面ディスプレイを用いたタッチ対話が、様々なＵＩ（ユーザインタフェース）機能を通して可能になる。例示的な一実施形態では、タッチ入力を検出するために、曲面ディスプレイが監視される。監視する動作に基づいて、タッチ入力が検出された場合、タッチ入力の１つまたは複数の位置が決定される。タッチ入力の決定された１つまたは複数の位置に応答して、少なくとも１つのユーザＵＩ機能が実施される。例示的なＵＩ機能は、水晶玉占いのジェスチャで起動を行う機能、回転ベースでドラッグを行う機能、ダークサイドに送るための対話を行う機能、およびプロキシ表現によりオブジェクトの表現および操作を行う機能を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、曲面ディスプレイでタッチ対話を可能にする装置および方法に関する。
【背景技術】
【０００２】
コンピュータおよび他の電子デバイスからの視覚的出力は、歴史的に、フラットスクリーン上に提示されてきた。最近２、３年の間に、ＣＲＴ（ブラウン管）モニタはＬＣＤ（液晶ディスプレイ）に取って代わられたが、スクリーンはフラットなままである。そのようなフラットスクリーンとのユーザ対話は、最初は、少なくとも主として、既存のタイプライタから派生したキーボードによって可能にされた。１９７０年代および１９８０年代になると、ＧＵＩ（グラフィカルユーザインタフェース）技術が、入力のためにマウスおよび他のポインタ型デバイスを使用することを可能にした。
【０００３】
入力のためにポインタ型デバイスが利用される場合、ユーザは、デバイスを操作して、表示スクリーン上のあちこちにポインタを動かす。一般に、デバイスを用いて、アイコンまたはボタンの上など、所定のスクリーン位置の上でクリックを行うことによって、機能がアクティブにされる。ポイントおよびクリックを伴うユーザインタフェースの人気が高まる中で、タッチスクリーンインタフェースが開発された。タッチスクリーンを用いる場合、ユーザは、所定のスクリーン位置に物理的にタッチすることおよび／または押すことによって、機能をアクティブにすることができる。しかし、そのようなタッチスクリーンも、依然としてフラットであった。
【０００４】
しかし、最近、いくつかの曲面ディスプレイ（curved display）が作成された。例えば、１つまたは別の種類の球面ディスプレイ（spherical display）が開発された。これらの球面ディスプレイは、プロモーション環境において、または３Ｄ（３次元）データの表示のために、特に利用される。球面ディスプレイは、複数のユーザに、遮るもののない３６０°の視界を提供することができる。これは、見る人が、ディスプレイの周囲を物理的に移動することによって、表示データを異なる視点から探求することを可能にする。
【０００５】
見る人は、球面上に表示されているデータを自分が空間的に見出し、理解する助けとなるように、ディスプレイの球面性、自分の物理的な身体位置および向き、並びに周囲環境からの付加的なキュー（cue）を使用することができる。球形ファクタをとるディスプレイの特徴は、より普及しているフラットディスプレイを用いて可能なことを超えた、面白い利用シナリオをもたらすことができる。球面ディスプレイは、様々な対話上の課題も提供する。残念なことに、従来のＵＩ（ユーザインタフェース）技術は、伝統的なフラットディスプレイに根ざしている。その結果、従来のＵＩ技術は、面白い利用シナリオを利用することができず、曲面ディスプレイの様々な対話上の課題に対処することができない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２０１０／００２３８９５号明細書
【発明の概要】
【０００７】
（例えば、球、半球、円筒などの）曲面ディスプレイを用いたタッチ対話（touch interaction）が、様々なＵＩ機能を通して可能になる。例示的な一実施形態では、タッチ入力を検出するために、曲面ディスプレイが監視される。監視する動作に基づいて、タッチ入力が検出された場合、タッチ入力の１つまたは複数の位置が決定される。タッチ入力の決定された１つまたは複数の位置に応答して、少なくとも１つのユーザＵＩ機能が実施される。例示的なＵＩ機能は、水晶玉占いのジェスチャで起動を行う機能（orb-like invocation gesture feature）、回転ベースでドラッグを行う機能（rotation-based dragging feature）、ダークサイドに送るための対話を行う機能（send-to-dark-side interaction feature）、およびプロキシ表現によりオブジェクトの表現および操作を行う機能（object representation and manipulation by proxy representation feature）を含む。
【０００８】
水晶玉占いのジェスチャで起動を行う機能の一実施例の場合、球形曲面ディスプレイの頂点などの固定点を中心にして実質的に対称な位置に、２つの相対的により大きなタッチ接触（touch contact）を作ることによって、メニューの提示またはタスクの切り換えが起動される。回転ベースでドラッグを行う機能の一実施例の場合、曲面ディスプレイ上でドラッグされるオブジェクトは、ドラッグ運動によって定義される円弧を表す回転を使用して移動される。
【０００９】
ダークサイドに送るための対話を行う機能の一実施例の場合、事前定義された時間閾値にわたるオブジェクト上の相対的により大きな接触が、曲面ディスプレイの一方の側から別の側へのオブジェクトのワープ移動（warping）を引き起こす。プロキシ表現によりオブジェクトの表現および操作を行う機能の一実施例の場合、曲面ディスプレイの他方の側の対応するオブジェクトに対して、プロキシ表現が表示される。プロキシ表現に対する操作は、対応するオブジェクトにおいて反映される。
【００１０】
「発明の概要」は、「発明を実施するための形態」において詳述される概念の抜粋を簡略な形で紹介するために提供される。この「発明の概要」は、特許請求される主題の主要な特徴または必須の特徴を識別することを意図しておらず、特許請求される主題の範囲を決定する助けとして使用されることも意図していない。さらに、他のシステム、方法、デバイス、媒体、装置、構成、および他の例示的な実施形態も、本明細書で説明される。
【図面の簡単な説明】
【００１１】
同様のおよび／または対応する態様、特徴、および構成要素を参照するために、すべての図面において、同じ番号が使用される。
【図１】曲面ディスプレイのための例示的なユーザ対話環境を示す図である。
【図２】タッチによって操作できるディスプレイを用いてドラッグ操作を実施する単純な手法を示す図である。
【図３】曲面ディスプレイを有する例示的なデバイスと、対話ユニットを介したタッチ入力に応答して対話を可能にする機能のブロック図である。
【図４】曲面ディスプレイを用いたタッチ対話のための方法の一例を説明するフロー図である。
【図５】４つの例示的なユニット、すなわち、水晶玉占いのジェスチャで起動を行うユニット、回転ベースでドラッグを行うユニット、ダークサイドに送るための対話を行うユニット、およびプロキシ表現によりオブジェクトの表現および操作を行うユニットを有する対話ユニットのブロック図である。
【図６Ａ】水晶玉占いのジェスチャで起動を行うユニットのための例示的なメカニズムを示す図である。
【図６Ｂ】水晶玉占いのジェスチャで起動を行う技法のための方法の一例を説明するフロー図である。
【図７Ａ】回転ベースでドラッグを行うユニットのための例示的なメカニズムを示す図である。
【図７Ｂ】回転ベースでドラッグを行う技法のための方法の一例を説明するフロー図である。
【図８Ａ】ダークサイドに送るための対話を行うユニットのための例示的なメカニズムを示す図である。
【図８Ｂ】ダークサイドに送るための対話を行う技法のための方法の一例を説明するフロー図である。
【図９Ａ】プロキシ表現によりオブジェクトの表現および操作を行うユニットのための例示的なメカニズムを示す図である。
【図９Ｂ】プロキシ表現によりオブジェクトの表現および操作を行う技法のための方法の一例を説明するフロー図である。
【図１０】曲面ディスプレイを用いたタッチ対話のための実施形態を実施するのに使用できる例示的なデバイスを示すブロック図である。
【発明を実施するための形態】
【００１２】
上述したように、従来のＵＩ技術は、伝統的なフラットディスプレイに根ざしている。その結果、従来のＵＩ技術は、曲面ディスプレイの面白い利用シナリオを利用することができず、曲面ディスプレイの様々な対話上の課題に対処することもできない。対照的に、本明細書で説明されるある実施形態は、曲面ディスプレイ上での対話およびコラボレーションを円滑化する１組のタッチ対話メカニズムおよび技法を提供する。直接的なタッチ対話のための手法は、曲面ディスプレイ上でのドラッグ、スケーリング、回転、および他のオブジェクト操作に対処する手法を含む。付加的な手法は、ジェスチャ対話を提供し、ビジュアルインタフェースの曲面性に配慮したタッチＵＩ概念を実施する。例示的な実施形態および実施例が、以下でさらに説明される。
【００１３】
図１は、曲面ディスプレイ１０２のための例示的なＵＩ環境１００を示す。図示されるように、ＵＩ環境１００は、曲面ディスプレイ１０２と、オブジェクト１０４と、複数のメンバ１０６とを含む。より具体的には、オブジェクト１０４は、曲面ディスプレイ１０２上に提示される。２つのメンバ１０６ａ、１０６ｂは、曲面ディスプレイ１０２と対話しているところが示されている。点線によって形成される楕円形は、曲面ディスプレイ１０２が３次元であることを示している。
【００１４】
一般に、曲面ディスプレイ上でユーザ対話を可能にすることには、選択、ドラッグ、回転、およびスケーリングなどの基本操作を実施することが含まれる。さらには、ブラウジングおよびタスク切り換えなどに対するサポートの提供も伴うことができる。各オブジェクト（例えば、写真、ビデオなど）は、独立にドラッグし、回転し、スケーリングすることができる。ほとんどのタッチセンシティブアプリケーションと同様に、オブジェクトの選択は、そのオブジェクト上に置かれたタッチ接触によって暗黙的にトリガされる。ビデオオブジェクト上に置かれたタッチ接触は、単純な再生トグルとして機能し、ビデオが一時停止している場合は、ビデオ再生を開始し、ビデオが再生中である場合は、ビデオ再生を停止させる。
【００１５】
例示的な実施形態の場合、曲面ディスプレイ１０２の表示要素は、メンバ１０６によって操作することができる。メンバ１０６は、１つまたは複数の指、１つまたは複数の手、１つまたは複数の掌、およびそれらの組み合わせなどとすることができる。メンバ１０６は、同じユーザに属することができ、または異なるユーザに属することができる。オブジェクト１０４は、写真またはビデオとして示されているが、任意の表示可能な要素（例えば、ウェブページ、テキスト文書、スプレッドシート、生データまたは画像、それらの組み合わせなど）とすることができる。
【００１６】
また、曲面ディスプレイ１０２は、球として示されているが、代替的に、円筒、立方体、半球、およびそれらの組み合わせなどとすることができる。図面に示される曲面ディスプレイ１０２は、球であり、本明細書ではしばしば球として説明されるが、これは例にすぎない。本明細書で説明される原理および対話は、一般に曲面ディスプレイ１０２に適用可能であることを理解されたい。
【００１７】
ユーザ対話１０８は、例えば、異なるタイプのタッチを含むことができる。タッチは、サイズ、持続時間、位置、動き、およびそれらの組み合わせなどによって様々とすることができる。ユーザ対話１０８は、ジェスチャ、姿勢、およびそれらの組み合わせなども含むことができる。これらのユーザ対話１０８は、ＵＩ技法およびメカニズムなど、異なるＵＩ手法１１０を可能にするために定義し、および／または組み合わせることができる。曲面ディスプレイの特性を利用し、および／または曲面ディスプレイの普通とは異なる特徴に配慮した、異なるＵＩ手法１１０が、本明細書で説明される。そのような特性および特徴が、以下で説明される。
【００１８】
非フラット対話ディスプレイは、そのフラットな対応物とは異なるいくつかの特性を有する。したがって、曲面ディスプレイには、異なる対話概念を適用することができる。特に、曲面ディスプレイは、以下の３つの例示的な本質的困難を有する。第１に、表示面は、従来のユークリッド空間ではなく、フラットな空間に容易にマッピングされない。これは、２Ｄ平行移動など、伝統的なフラット対話を困難にする。この第１の困難は、以下で図２を特に参照してより詳細に説明される。第２に、面上でのビジュアル要素の移動は、曲面ディスプレイの周囲を取り巻いていることがある複数の協力者の視点に関してなど、移動された要素の向きをおかしなものにする可能性があり得る。第３に、他方の側（例えば反対の半球）上に配置されたデータまたは他のオブジェクトは、ディスプレイの曲面性のために、現在はユーザから見ることができないので、ユーザは、たかだか１つの半球しか見られないように制限されることがある。
【００１９】
曲面ディスプレイは、本質的に多くの他の区別的特徴を有する。例えば、曲面ディスプレイは、自然な「マスタユーザ」位置をもたない。代わりに、各ユーザには平等主義のユーザエクスペリエンスを与えることができる。また、各ユーザから見える内容は、ユーザの高さおよび位置とともに変化する。さらに、ユーザがその高さおよび位置を変えるにつれて、球面表示は、垂直面および水平面の間で滑らかに推移していくようにすることが可能である。
【００２０】
ユーザが曲面ディスプレイの周囲を移動していく場合、曲面ディスプレイは、ボーダレスのように見えるが、実際には有限である。自然な方向付けランドマークが存在しないことも明らかになる。しかし、実際には、頂点（または球面ディスプレイの場合の「北極」）が、曲面ディスプレイのための最強の自然なランドマークになることが分かることがある。加えて、ユーザは一般に、曲面ディスプレイのたかだか一方の半分しか見られないように制限されるので、曲面ディスプレイの他方の領域は、疑似的なプライバシを提供する。言い換えると、１人のユーザが一方の半球上で見ているものは、反対の半球を見ている他のユーザの視覚からは相対的に遮られている。
【００２１】
曲面ディスプレイ上での対話およびコラボレーションを円滑化する、曲面ディスプレイのための１組のマルチタッチ対話メカニズム（または機能）および技法が、図２の説明に従って以下で紹介される。４つの例示的な実施形態が、図５のユニットを特に参照して説明される。これら４つの例示的な実施形態は、それぞれ図６Ａ／図６Ｂ、図７Ａ／図７Ｂ、図８Ａ／図８Ｂ、および図９Ａ／図９Ｂを特に参照して、より詳細に説明される。
【００２２】
図２は、タッチによって操作できるディスプレイを用いてドラッグ操作を実施する単純な手法２００を示している。図示されるように、手法２００は、メンバ１０６と、２つの点１、２と、ベクトルＶとを含む。メンバ１０６が、ディスプレイにタッチしながら、点１から点２に移動する。この移動はベクトルＶを定義する。ベクトルＶは、２つまたは３つの直交成分を組み合わせた次元性を有する。ベクトルＶは、方向と大きさ成分の両方を有すると考えることもできる。ベクトルＶは、フラットディスプレイ上など、ユークリッド空間内のオブジェクトを平行移動するために使用することができる。
【００２３】
他方で、ユーザが球面ディスプレイ上でオブジェクトをドラッグできるようにすることは、最初に思えるほど単純ではない。困難は、球面の曲面幾何学が、２Ｄフラット空間とは根本的に異なることである。ユークリッド空間では（標準的な２Ｄおよび３Ｄ環境はこのカテゴリに含まれる）、移動は、特定の直線上の移動の方向と大きさとを一括りにした変位ベクトルＶによって表すことができる。しかし、球面はユークリッド空間ではない。球上には真っ直ぐな線は存在せず、いわゆる「直線」は実際には曲線であり、より正確には円弧として表される。いくつかの場合には、ユークリッド幾何学が妥当な局所近似を提供できるが、ベクトルを用いて球上の変位を表すことは、最終的には問題のある挙動をもたらす。
【００２４】
したがって、曲面ディスプレイは、ＵＩ上の困難を生み出す多くの特性を伴う。これらの特性は、非ユークリッド空間を有することと、与えられたユーザの視覚からは遮られることのある領域を有することを含む。また、曲面ディスプレイは、ユーザがディスプレイの周囲を異なる位置まで移動しない限り、ユーザから届かない領域を有することがある。
【００２５】
曲面ディスプレイのこれらの説明された困難、特徴、および／または特性のうちの１つまたは複数を少なくとも改善し、または他の方法で対処するため、ある例示的な実施形態は、曲面ディスプレイに適合したＵＩ手法の実施を伴う。例えば、対話技法およびユーザインタフェースメカニズムは、曲面上に表示されたオブジェクトのマルチタッチ操作を円滑化することができる。これらの手法は、曲面の異なる特徴を利用することによって、複数のユーザ間のより容易なコラボレーションを可能にすることができる。
【００２６】
例示的なＵＩ手法は、水晶玉占いのジェスチャでの起動を含む。例示的な一実施では、曲面ディスプレイの頂上部における特定の両手姿勢を介して、モード切り換えまたはメニューが起動される。その姿勢は、覚えるのは比較的容易であるが、偶然に作り出すのは比較的困難である。別の例示的なＵＩ手法は、曲面に沿ったオブジェクトのドラッグを容易にすることを含む。一実施例では、平行移動指向の変位ベクトルの代わりに、回転指向の移動が、ドラッグの基本ユニットとして使用される。
【００２７】
また別の例示的なＵＩ手法は、ダークサイドに送るための対話を含む。一実施例では、ユーザは、オブジェクトを曲面ディスプレイの反対側に「瞬時に」ワープ移動／移動させることができる。また別の例示的なＵＩ手法は、シャドウオブジェクト（shadow object）の表現および操作を含む。一実施例では、ユーザは、ユーザにより近い半球上のプロキシ表現を使用して、曲面ディスプレイの他方の側のオブジェクト（例えば、他の方法では少なくとも部分的に見えないオブジェクト）を効果的に「見て」、操作する能力を与えられる。プロキシ表現は、例えば、実際のオブジェクトのシャドウまたはアウトライン表現とすることができる。
【００２８】
図３は、曲面ディスプレイ１０２を有する例示的なデバイス３００と、対話ユニット３０２を介したタッチ入力に応答して対話を可能にする機能のブロック図である。図示されるように、デバイス３００は、曲面ディスプレイ１０２と、表示コンポーネント３０４と、処理ユニット３１０とを含む。表示コンポーネント３０４は、投影コンポーネント３０６と、検出コンポーネント３０８とを含む。処理ユニット３１０は、投影ユニット３１２と、検出ユニット３１４と、対話ユニット３０２とを含む。メンバ１０６は、曲面ディスプレイ１０２の近くに示されている。
【００２９】
例示的な実施形態では、曲面ディスプレイ１０２は、内部および外部を有する任意のタイプの曲面ディスプレイとすることができる。曲面ディスプレイ１０２は、投影コンポーネント３０６によってその上に投影された画像を表示するための散乱性の面を有することができる。曲面ディスプレイ１０２の例は、球、円筒、半球、立方体、およびそれらの組み合わせなどを含むが、それらに限定されない。実施例では、曲面ディスプレイ１０２は、少なくとも部分的に空間を包み込む。曲面ディスプレイは、完全な球または立方体または「ソリッド（solid）」円柱などを用いて、空間を完全に包み込むこともできる。あるいは曲面ディスプレイは、開かれた半球または端部が開かれた円筒などを用いて、空間を部分的に包み込むことができる。他の代替の実施形態を実施することもできる。
【００３０】
一実施形態では、表示コンポーネント３０４は、少なくとも主として、デバイス３００のハードウェアコンポーネントである。投影コンポーネント３０６は、（例えば、曲面ディスプレイの内部からの）曲面ディスプレイ１０２上への画像の投影を可能にする。投影コンポーネントは、例えば、可視スペクトル光の投影器と、広角レンズとして実現することができる。検出コンポーネント３０８は、少なくとも１つのメンバ１０６による曲面ディスプレイ１０２上の１つまたは複数のタッチ接触を検出することを可能にする。メンバ１０６は、限定ではなく例を挙げると、指、複数の指、手、複数の手、１つまたは複数の掌、およびそれらの何らかの組み合わせなどとすることができる。メンバ１０６は、同じ人であってもよいし、または異なる人々であってもよい。
【００３１】
検出コンポーネント３０８は、メンバ１０６がいつ、曲面ディスプレイ１０２のどこにタッチ／接触したかを検出するように適合される。検出コンポーネント３０８は、例えば、曲面ディスプレイ１０２の中へ、および／または曲面ディスプレイ１０２に向けて放射するＩＲ（赤外線）同調ＬＥＤ（発光ダイオード）と、ＩＲ光が曲面ディスプレイ１０２から反射され戻ってきたときに検出するＩＲ検出器の組として実現することができる。ＩＲ光は、例えば、メンバ１０６のタッチによって、曲面ディスプレイ１０２から反射され、検出コンポーネント３０８に戻ってくることができる。検出コンポーネント３０８は、メンバ１０６による曲面ディスプレイ１０２上の１つまたは複数のタッチの１つまたは複数の位置を検出するように適合される。さらに、検出コンポーネント３０８は、メンバ１０６によるタッチのサイズ（例えば、指対掌）の検出も可能にすることができる。これらの検出は、分析のために処理ユニット３１０の検出ユニット３１４に提供され、曲面ディスプレイ１０２上のタッチを介したデバイス３００との対話を容易にすることができる。
【００３２】
処理ユニット３１０は、例えば、１つまたは複数のプロセッサと、少なくとも１つのメモリを用いて実現することができる。例示的な動作では、検出ユニット３１４は、検出されたタッチ接触の位置およびサイズを対話ユニット３０２に提供する。対話ユニット３０２は、曲面ディスプレイ１０２を介したデバイス３００とのＵＩ対話を可能にする。例示的な一実施形態では、検出ユニット３１４は、タッチ入力のサイズを検出し、検出されたタッチ入力のサイズを所定のサイズ閾値と比較することによって、曲面ディスプレイ１０２において、指サイズのタッチ入力が発生したか、それとも掌サイズのタッチ入力が発生したかを検出する。その後、対話ユニット３０２は、検出されたタッチ入力が指サイズか、それとも掌サイズかに基づいて、ＵＩ機能を実施することができる。
【００３３】
対話ユニット３０２は、ＵＩ要素および他の表示項目を操作するための表示コマンドを、投影ユニット３１２に送る。投影ユニット３１２は、どの画像を投影コンポーネント３０６によって曲面ディスプレイ１０２上に投影するかを制御することができる。例を挙げると、対話ユニット３０２は、本明細書でさらに説明される実施形態のうちの１つまたは複数を実施することができる。これらの実施形態は、（ｉ）概略的には図４を参照して、例示的なフロー図によって、（ｉｉ）より詳細には図５を参照して説明される。例示的な実施形態は、図６Ａ〜図９Ｂを参照して詳述される。
【００３４】
図４は、曲面ディスプレイを用いたタッチ対話のための方法の一例を説明するフロー図４００である。フロー図４００は、４つのブロック４０２〜４０８を含む。フロー図４００の実施は、例えば、プロセッサ実行可能命令として実現すること、並びに／または少なくとも部分的に投影ユニット３１２、検出ユニット３１４、および／もしくは対話ユニット３０２による実現を含む、（図３の）処理ユニット３１０の一部として実現することができる。フロー図４００を実施するための例示的な実施形態は、図１および図３の要素を参照して以下で説明される。
【００３５】
フロー図４００のステップ（および他のフロー図のステップ）は、多くの異なる環境において、（例えば図１０の）１つまたは複数の処理デバイスによるなど、様々な異なるデバイスを用いて実行することができる。説明される方法における順序は、限定解釈されることを意図しておらず、それぞれの方法またはそれと等価の代替的な方法を実施するために、任意の数の説明されるブロックを組み合わせること、増強すること、再配置すること、および／または省略することができる。フロー図の説明では、ある他の図の特定の要素が参照されるが、フロー図の方法は、代替的な要素を用いて実行することができる。
【００３６】
例示的な実施形態の場合、ブロック４０２において、タッチ入力に関して、曲面ディスプレイが監視される。例えば、曲面ディスプレイ１０２は、タッチ入力に関して、検出コンポーネント３０８および／または検出ユニット３１４によって監視することができる。ブロック４０４において、タッチ入力が検出されたかどうかが決定される。例えば、検出ユニット３１４は、曲面ディスプレイ１０２を監視して、１つまたは複数のメンバ１０６によるタッチ入力を検出することができる。タッチが検出されない場合、（ブロック４０２において）監視が継続される。
【００３７】
他方、（ブロック４０４において）タッチ入力が検出された場合、ブロック４０６において、タッチ入力の１つまたは複数の位置が決定される。例えば、メンバ１０６による曲面ディスプレイ１０２上のタッチ入力の位置を決定することができる。これらの決定は、タッチ入力のサイズ（例えば、指対掌）を確かめること、曲面ディスプレイ上のタッチ入力の数（例えば、指、掌、人の数など）を確かめること、タッチ入力の移動を追跡すること、タッチ入力の持続時間を監視すること、およびそれらの何らかの組み合わせなどを伴うことができる。
【００３８】
ブロック４０８において、タッチ入力の１つまたは複数の位置に応答して、少なくとも１つのＵＩ機能が実施される。例えば、タッチ入力の決定された位置に応答して、少なくとも１つのＵＩ手法（例えば、メカニズムおよび／または技法）を、対話ユニット３０２によって実施することができる。
【００３９】
例示的なＵＩ手法が図５を参照して概略的に説明される。さらなる例示的な実施形態が図６Ａ〜図９Ｂを参照して詳述される。例示的なＵＩ手法は、表示オブジェクトを移動することに関する手法、（例えば、指サイズのタッチから区別される）掌サイズのタッチを検出し、しかるべく応答することに関する手法、およびそれらの組み合わせなどを含む。
【００４０】
図５は、（図３の）対話ユニット３０２の例示的なユニット５０２〜５０８のブロック図である。図示されるように、対話ユニット３０２は、水晶玉占いのジェスチャで起動を行うユニット５０２と、回転ベースでドラッグを行うユニット５０４と、ダークサイドに送るための対話を行うユニット５０６と、プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８とを含む。これらのユニットの各々は、少なくとも１つのＵＩ機能を実施することが可能である。
【００４１】
対話ユニット３０２のこれらのユニット５０２〜５０８は、カテゴリに組織化することができる。例えば、回転ベースでドラッグを行うユニット５０４と、プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８は、曲面ディスプレイ上での表示オブジェクトの移動に関するものとして類別することができる。また、水晶玉占いのジェスチャで起動を行うユニット５０２と、ダークサイドに送るための対話を行うユニット５０６は、適切なＵＩ応答を有する掌サイズのタッチの検出に関するものとして類別することができる。
【００４２】
代替的な類別を様々な実施形態に適用できることに留意されたい。さらに、様々な実施形態を１つまたは複数の異なるカテゴリに配置できることに留意されたい。例えば、ダークサイドに送るための対話を行うユニット５０６は、曲面ディスプレイ上での表示オブジェクトの移動に関するものとしても類別することができる。
【００４３】
水晶玉占いのジェスチャで起動を行うユニット５０２に関する例示的な一実施形態では、曲面ディスプレイにタッチした２つの掌が、ＵＩ機能を起動する。所定の期間にわたって、２つの掌サイズのタッチ（例えば、北極を中心にして配置されたタッチ）が検出された場合、水晶玉占いのジェスチャで起動を行うユニット５０２によって、ＵＩ機能が実施される。ＵＩ機能は、メニュー提示およびモード切り換えなどとすることができる。メニューは、円形および半円形などとすることができる。水晶玉占いのジェスチャで起動を行うユニット５０２の例示的なメカニズムおよび技法は、図６Ａおよび図６Ｂを特に参照して以下でさらに説明される。
【００４４】
回転ベースでドラッグを行うユニット５０４に関する例示的な一実施形態では、曲面ディスプレイ１０２上でのオブジェクトの移動が、少なくとも部分的に、回転を使用して達成される。表示オブジェクトの移動は、曲面ディスプレイの中心の周り（例えば、球の中心の周り）の回転として明示される。例えば、軸を決定することができ、軸の周りの角度が、表示オブジェクトの移動を定義することができる。回転ベースでドラッグを行うユニット５０４は、他の実施形態に関連するオブジェクト移動を容易にするために使用することもできる。回転ベースでドラッグを行うユニット５０４のための例示的なメカニズムおよび技法は、図７Ａおよび図７Ｂを特に参照して以下でさらに説明される。
【００４５】
ダークサイドに送るための対話を行うユニット５０６に関する例示的な一実施形態では、オブジェクトを曲面ディスプレイの反対側に送ることができる。例示的な動作では、オブジェクトの送りは、オブジェクト上の掌タッチによって開始される。ダークサイドに送るための対話を行うユニット５０６は、事前定義された時間閾値（例えば約１秒）にわたって行われる掌サイズのタッチ（例えば、事前定義されたサイズ閾値を満たすタッチ）に応答して、送りを実行する。タッチされたオブジェクトは、曲面ディスプレイの約１８０度反対側に「ワープ移動」される。一実施例では、オブジェクトが反対側にワープ移動される場合、（球タイプの曲面ディスプレイに関する）オブジェクトの緯度は同じままである。言い換えると、オブジェクトの高度は同じままと見なすことができる。代替的な一実施例では、ワープ移動によってオブジェクトの「高度」も変化するように、オブジェクトは、曲面ディスプレイの「中心」を通ってワープ移動される。ダークサイドに送るための対話を行うユニット５０６のための例示的なメカニズムおよび技法は、図８Ａおよび図８Ｂを特に参照して以下でさらに説明される。
【００４６】
プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８に関する例示的な一実施形態では、曲面ディスプレイのダークサイドに表示されるオブジェクトを、プロキシ表現を用いて、ユーザにより近い側に描画することができる。プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８を用いる場合、プロキシ表現を使用して、他方の側の実際のオブジェクトを操作（例えば、サイジング、移動など）することができる。対応するオブジェクトとプロキシ表現の位置は、（ダークサイドに送るための対話を行うユニット５０６を用いて）一方の側と他方の側の間で入れ換えることができる。オブジェクトとそれぞれのプロキシ表現は、個別に入れ換えることができ、または現在存在する各プロキシ表現を入れ換える等、まとめて入れ換えることもできる。プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８のための例示的なメカニズムおよび技法は、図９Ａおよび図９Ｂを特に参照して以下でさらに説明される。
【００４７】
水晶玉占いのジェスチャで起動を行うユニット（orb-like invocation gesture unit）
対話システムでは、タスクを切り換える能力および異なる選択肢を選択する能力が、しばしば提供される。水晶玉占いのジェスチャで起動を行う技法は、この能力を提供することができる。一実施例では、円形メニューが起動され、ユーザが複数のアプリケーションの中から選択することを可能にする。メニューは、（例えば球面）ディスプレイの頂点の周りに円形配列で表示することができる。したがって、メニューはほとんどのユーザから見える。しかし、ユーザの位置が分かっている場合、メニューはユーザの方に向けて半円形に配置することもできる。選択肢の選択は、選択肢をタッチすることによって実行することができる。代替的に、選択は、メニューを定位置まで回転させることによって実現することもできる。タッチ接触が離れたときに強調表示された選択肢が選択される。（直接にタッチする代わりに）水晶玉占い起動を回転による選択と組み合わせることによって、タスク切り換えを１つの連続的な対話において実行すること（例えば、両手を置いて選択肢のメニューを起動し、所望の選択肢を定位置まで回転させ、両手を持ち上げて選択肢を選択すること）ができる。
【００４８】
図６Ａは、水晶玉占いのジェスチャで起動を行うユニットのための例示的なメカニズム６００Ａを示している。図示されるように、水晶玉占いのジェスチャで起動を行うメカニズム６００Ａは、部分（ａ）（図の上半分）に例示的な水晶玉占いのジェスチャでの起動の３Ｄ表現を含み、部分（ｂ）（図の下半分）に例示的なメニュー６０２を含む。部分（ａ）を見ると、２つのメンバ１０６ａ、１０６ｂを有するユーザが、曲面ディスプレイ１０２と対話している。水晶玉占いのジェスチャでの起動は、モード切り換えおよびメニューなどを起動する。具体的に示されるように、円形メニュー６０２が起動される。
【００４９】
例示的な実施形態の場合、このジェスチャの姿勢は、未来を予言する魔法の水晶玉との対話のイメージを呼び起こすことができる。このジェスチャは、２つの手を（例えば、掌を開いた姿勢で）、球の頂点など、所定の点からほぼ等しい距離だけ離して置くことを含む。姿勢は、曲面ディスプレイ上でのモード切り換えまたはメニュー起動を容易にするようにデザインされる。図示された例の場合、円形メニュー６０２は、エクスペリエンスを向上させるために、音響効果を伴ってフェードインする。
【００５０】
魔法のようで遊び心があるが、この両手の姿勢のジェスチャは、非常に覚えやすくもあり、繰り返すのも容易であり、偶然に作り出すのは比較的困難である。掌サイズの接触は、ほとんどの他のタッチ接触よりも実質的に大きい。したがって、２つの接触のサイズと、この姿勢の特に対称的な配置とが一緒になると、誤ってジェスチャがなされることは容易には起こらないことが保証される。
【００５１】
異なるメニュー６０２を起動することができる。しかし、図示されるメニュー６０２は円形である。メニューは、任意の数の異なるメニュー選択肢を含むことができる。６つの例示的なメニュー選択肢Ａ〜Ｆが、凡例６０４に示されている。それらは、ナビゲーション、写真、ビデオ、ゲーム、地球儀、および代替選択肢を示すための「その他」カテゴリを含む。他の代替選択肢は、全方向データビューア、ペイントアプリケーション、およびブラウザなどを含むが、それらに限定されない。選択肢は、アイコンもしくはテキストまたは両方によって、メニュー６０２に表すことができる。各選択肢のテキストは、ユーザの方を向かせること、および円形に配列することなどができる。
【００５２】
図６Ｂは、水晶玉占いのジェスチャで起動を行う技法のための方法の一例を説明するフロー図６００Ｂである。フロー図６００Ｂは、５つのブロック６５２〜６６０を含む。例示的な実施形態の場合、ブロック６５２において、曲面ディスプレイの面上に複数のタッチ接触が存在するかどうかがチェックされる。存在する場合、ブロック６５４において、複数のタッチ接触が、事前定義されたサイズ閾値を満たすほど十分に大きなものを少なくとも２つ含むかどうかがチェックされる。これは、例えば、掌タッチを「単なる」指タッチから区別することができる。
【００５３】
少なくとも２つを含む場合、ブロック６５６において、２つの大きなタッチ接触（事前定義されたサイズ閾値を満たすタッチ接触）の位置が、曲面上の固定点を中心にして実質的に対称であるかどうかがチェックされる。固定点は、例えば、球または半球の曲面ディスプレイの頂点とすることができる。この実質的な対称性のチェックは、多くの異なる方法のいずれかを使用して実行することができる。しかし、角度閾値と半径閾値を含む方法が例として説明される。角度閾値を実施するため、２つの接触は、固定点を中心として１８０度回転した位置関係からのずれが、たかだか「Ｘ」度までに制限することができる。半径閾値を実施するため、２つの接触は、固定点からの隔たりが、閾値の距離値以内に制限することができる。
【００５４】
２つの大きな接触の位置が、（ブロック６５６においてチェックされたように）曲面上の固定点を中心に実質的に対称である場合、ブロック６５８において、モード切り換えまたはメニュー提示の起動が実行される。言い換えると、チェック動作の各々が肯定的な結果をもたらした場合、モード切り換え、メニュー提示、または他の対話機能の起動を実行することができる。メニューは、説明された円形のタスク切り換えメニュー（例えば、図６Ａのメニュー６０２）と同一または同様とすることができる。モード切り換えは、循環的にメニュー選択肢を切り換えていくことができ、または他の方法で異なるモードの動作および対話などに切り換えることができる。ブロック６５２、ブロック６５４、またはブロック６５６のいずれかのチェックが否定的である場合、ブロック６６０において、ＵＩ処理を継続する。継続されるＵＩ処理は、本明細書で説明される技法または他のＵＩ関連処理のいずれかについてのものとすることができる。
【００５５】
回転ベースでドラッグを行うユニット（rotation-based dragging unit）
図２を特に参照して説明されたように、球面はユークリッド空間ではない。結果として、オブジェクトの平行移動を実施するための従来の２Ｄまたは３Ｄ線形指向ベクトルの利用は、曲面ディスプレイ上では問題のある挙動（例えば歪み）をもたらす。これらの問題のある挙動を回避するため、円弧指向の回転を利用して、曲面ディスプレイ上でのオブジェクト移動を実施することができる。回転は、例えば、４元数（quaternion）、オイラ角（Euler angle）、軸を中心とする弧長、およびそれらの組み合わせなどを使用して、実現することができる。
【００５６】
図７Ａは、回転ベースでドラッグを行うユニットのための例示的なメカニズム７００Ａを示している。図示されるように、回転ベースでドラッグを行うメカニズム７００Ａは、曲面ディスプレイ１０２と、メンバ１０６と、４元数７０２を含む。メンバ１０６が、曲面ディスプレイ１０２とタッチ接触する。メンバ１０６は、点１から点２に移動され、それが、曲面ディスプレイ１０２上で円弧を定義する。図７Ａでは、４元数７０２を参照して回転指向の移動が示されているが、これは例にすぎない。回転は、代替的な方法で実施することもできる。
【００５７】
例示的な一実施形態では、定義された円弧は、回転として解釈され、または回転にマッピングされる。したがって、平行移動変位のための線形ベクトルを使用する代わりに、曲面ディスプレイ上での移動は、回転（例えば、４元数、オイラ角、軸を中心とする弧長など）によって表される。この回転ベースの表現は、曲面上での対話の多くに影響を及ぼすことができる。例えば、２Ｄおよび３Ｄ環境で使用される従来の平行移動＋回転＋スケーリングの操作モデルは、曲面上（例えば球面ディスプレイ上）では、回転＋スケーリングの複合操作モデルに変換される。オブジェクトは、（ｉ）球の原点を中心とする回転と、その後の（ｉｉ）オブジェクトの局所座標系におけるさらなる方向付けによって、球面的に「配置」することができるので、回転はしばしば複合動作となる。
【００５８】
量的には、メンバ１０６の指が、球形の曲面ディスプレイ１０２上の点１と点２の間でオブジェクトをドラッグする場合、この移動は、（３Ｄベクトルである）軸Ａを中心とする角度θの円弧に従う。この円弧は、例えば、４Ｄの４元数Ｑによって表すことができる回転である。したがって、回転は、軸および角度に関連付けることができ、そのため、回転は、曲面ディスプレイ上の円弧を表す。したがって、回転を使用して、曲面ディスプレイ上でオブジェクトを移動させ、位置付け、または他の方法で提示することができる。
【００５９】
ユーザが、曲面ディスプレイ上でオブジェクトを位置付ける（すなわち回転させる）ことを可能にするのに加えて、局所座標系においてオブジェクトを方向付ける追加的な１Ｄ調整も可能にすることができる。調整は、フラットな面上のピクチャの面内回転と同様である。この操作は、オブジェクトにタッチする少なくとも２回の接触を伴う。それら２つの接触の間の局所的な角度差が、オブジェクトの１Ｄ回転にマッピングされる。基本的な操作に関して、複数の接触が特定のオブジェクトにタッチしている場合、それらの挙動を集約することができ、集約動作をオブジェクトに適用することができる。
【００６０】
図７Ｂは、回転ベースでドラッグを行う技法のための方法の一例を説明するフロー図７００Ｂである。フロー図７００Ｂは、５つのブロック７５２〜７６０を含む。フロー図７００Ｂは、曲面ディスプレイ上に提示されたオブジェクトのドラッグ移動に関する。例示的な実施形態の場合、ブロック７５２において、ドラッグが開始する曲面上の始点が見出される。ブロック７５４において、ドラッグが終了する曲面上の終点が見出される。
【００６１】
ブロック７５６において、始点と終点の間の移動を表す回転が計算される。ブロック７５８において、ドラッグ移動を達成するために、計算された回転が、ドラッグされるオブジェクトに適用される。ブロック７６０において、ＵＩ処理が継続される。
【００６２】
ダークサイドに送るための対話を行うユニット（send-to-dark-side interaction unit）
多くのシナリオでは、ユーザは、オブジェクトを曲面ディスプレイの他方の側に配置することを望むことがある。これは、ユーザが曲面ディスプレイの反対側に立っている見る人と協同している場合に、よくありがちなことである。ユーザは、オブジェクトを他方の側に単純にドラッグすることもできるが、この動作は、広い範囲にわたる身体的な移動を伴うので、しばしば繰り返される場合には面倒になる。ダークサイドに送るためのメカニズムは、ユーザの届く範囲を効果的にさらに拡大することによって、この動作を容易にすることができる。
【００６３】
図８Ａは、ダークサイドに送るための対話を行うユニットのための例示的なメカニズム８００Ａを示している。一般に、ユーザがより大きな接触（例えば平手）を用いてオブジェクトにタッチし、所定の時間間隔（例えば１秒）にわたって待ち続けた場合、タッチされたオブジェクトは、曲面ディスプレイ（例えば球面ディスプレイ）の他方の側にワープ移動される。図示されるように、ダークサイドに送るためのメカニズム８００Ａは、曲面ディスプレイ１０２と、オブジェクト１０４と、メンバ１０６と、２つの軌道８０４ａ、８０４ｂとを含む。
【００６４】
（図の上段３分の１の）部分（ａ）は、オブジェクト１０４が表示される初期位置を表す。（図の中段３分の１の）部分（ｂ）は、ダークサイドに送るための対話の動作フェーズを表す。部分（ｃ）は、オブジェクト１０４の最終位置を表す。部分（ｂ）を参照すると、「明るい側」は、曲面ディスプレイ１０２のユーザに近い方の側であると見なされ、平面８０２の左側にあたる。「ダークサイド」は、曲面ディスプレイ１０２のユーザから遠い方の側であり、少なくとも部分的にユーザから見通しがきかない。「ダークサイド」は、平面８０２の右側にあたる。
【００６５】
ダークサイドに送るための対話は、ユーザが、オブジェクト１０４を明示的にワープ移動させて、オブジェクト１０４を曲面ディスプレイ１０２の他方の側に「瞬間的に」（すなわち手動のドラッグを行わずに）送ることを可能にする。（部分（ｂ）に示されるように）ダークサイドに送るための動作を実行するために、ユーザは、相対的に大きなメンバ１０６（例えば平らな掌）をオブジェクト１０４の上に置き、所定の期間にわたって待つ。その後、オブジェクト１０４は、平面８０２を横断してワープ移動する。例えば、オブジェクト１０４は、（例えば緯度を維持して）他の半球上の対向する鏡像の位置に、軌道８０４ａに沿ってワープ移動することができる。この軌道８０４ａは、球の頂点と底点を通過する平面８０２の向こう側に、オブジェクト１０４の位置を反映させる。あるいはオブジェクト１０４は、（例えば緯度を変化させて）直接的に曲面ディスプレイ１０２の反対点に、軌道８０４ｂに沿ってワープ移動することができる。軌道８０４ｂをたどる場合、オブジェクト１０４の位置は、（例えば平面８０２を通過して）左半球と右半球の間で切り換わるばかりでなく、（例えば赤道面を通過して）上半球と下半球の間でも切り換わる。
【００６６】
ダークサイドに送るための機能を用いる場合、ユーザは、オブジェクトを小刻みに動かす必要がなく、その最終的な行き先を推測する必要もない。代わりに、ユーザは、最初に（明るい側の）現在の半球においてオブジェクトの位置を操作し、次にダークサイドに送るためのメカニズムをアクティブにすることによって、（ダークサイドの）オブジェクトが出現する場所を明示的に制御することができる。表示オブジェクトについて所定の方向付け（例えば「上」方向）の維持を保証できる自動回転機能がアクティブにされた場合、ダークサイドに送るための対話は、よりユーザフレンドリな結果をもたらすことができることに留意されたい。自動回転挙動は、アクティブにされた場合、オブジェクトが他方の半球に上下逆さまになって到着し、その結果、再方向付けが必要になることがないようにする。自動回転挙動については、本出願と同日出願の、本件出願人と同じ譲受人に譲渡された、Ｂｅｎｋｏ他の「Touch Interaction with a Curved Display」と題する特許文献１において説明されている。
【００６７】
図８Ｂは、ダークサイドに送るための対話を行う技法のための方法の一例を説明するフロー図８００Ｂである。フロー図８００Ｂは、６つのブロック８５２〜８６２を含む。例示的な実施形態の場合、ブロック８５２において、（第１のタッチ接触基準に関して）オブジェクト上にタッチ接触が存在するかどうかがチェックされる。存在する場合、ブロック８５４において、（第２のタッチ接触基準に関して）タッチ接触が事前定義されたサイズ閾値を満たすかどうかがチェックされる。事前定義されたサイズ閾値は、例えば、「単に」指１本または２本の接触ではなく、メンバ１０６による掌または手全体の接触を表すのに十分な相対的に大きなサイズに設定することができる。
【００６８】
（ブロック８５４において）事前定義されたサイズ閾値を満たすタッチ接触が検出された場合、ブロック８５６において、（第３のタッチ接触基準に関して）タッチ接触が事前定義された閾値以内で静的であるかどうかがチェックされる。言い換えると、タッチ接触位置および／またはサイズが事前定義された閾値以内で変動がないことを検証することができる。静的である場合、ブロック８５８において、（例えば、オブジェクト接触、事前定義されたサイズ、および静止状態についての）第１、第２、および第３のタッチ接触基準が、事前定義された時間閾値にわたって満たされるかどうかがチェックされる。例としてのみ挙げると、事前定義された時間閾値は、１秒とすることができる。
【００６９】
（ブロック８５８において）タッチ接触基準が、事前定義された時間閾値にわたって満たされたことが決定されると、ブロック８６０において、オブジェクトが曲面ディスプレイの他方の側にワープ移動される。オブジェクト１０４のワープ移動は、例えば、軌道８０４ａ、軌道８０４ｂ、または平面８０２を通過する別の軌道をたどることができる。ブロック８５２、８５４、８５６、またはブロック８５８におけるチェックのいずれかが否定的であるか、またはブロック８６０の動作を実施した後、ブロック８６２において、ＵＩ処理が継続される。継続されるＵＩ処理は、本明細書で説明される技法または他のＵＩ関連処理のいずれかについてのものとすることができる。
【００７０】
プロキシ表現によりオブジェクトの表現および操作を行うユニット（object representation and manipulation by proxy representation unit）
操作ユーザが、オブジェクトを曲面ディスプレイの他方の側の見る人に提示したい場合、ダークサイドに送るためのメカニズムを利用することができる。しかし、オブジェクトがワープ移動された後も、操作ユーザが、今では曲面ディスプレイの他方の側にあるオブジェクトと対話し続けることを望むことがある。この機能は、プロキシ表現によりオブジェクトの表現および操作を行う対話技法によって実現することができる。プロキシ表現の操作は、実際の対応するオブジェクトに反映させることができる。
【００７１】
図９Ａは、プロキシ表現によりオブジェクトの表現および操作を行うユニットのための例示的なメカニズム９００Ａを示している。図示されるように、プロキシ表現によりオブジェクトの表現および操作を行うメカニズム９００Ａは、曲面ディスプレイ１０２と、オブジェクト１０４と、１つまたは複数のメンバ１０６と、プロキシ表現９０２とを含む。プロキシ表現９０２は、オブジェクト１０４に対応する。一般に、（「シャドウオブジェクト」という別名をもつ）プロキシ表現９０２は、曲面ディスプレイ１０２の他方の側にある届きづらいオブジェクト１０４との対話を容易にする。これは、例えば、１人の人が、曲面ディスプレイの他方の側で人々にオブジェクトを表示し、それを操作することを望む場合に、使用することができる。図９Ａには、ただ１つのプロキシ表現９０２と対応するオブジェクト１０４が示されているにすぎないが、複数の対応するオブジェクトに対して、複数のプロキシ表現を同時にアクティブにすることもできる。
【００７２】
したがって、曲面ディスプレイの他方の側のオブジェクトとの対話を可能にするため、それらのオブジェクトのプロキシ表現を、（例えば、実際のオブジェクトの位置とは反対の）近い側に提供することができる。球面ディスプレイ上に示される写真の集まりが、例として説明される。各写真は、一方の半球からだけ見えることがあるが、他方の半球上で対応するプロキシ表現を使用して、現在は見えないおよび／または届きにくい、それらのオブジェクトと対話することができる。
【００７３】
例示的な実施形態の場合、操作は、ドラッグ移動、リサイジング、スケーリングまたは比例調整、および一番上にくる写真の変更などを含むことができるが、それらに限定されない。オブジェクトの内容に直接的に実行できる操作も、プロキシ表現を介して可能にすることができる。例えば、写真は、明るさまたはコントラストを変化させること、赤目現象（red eye）を低減させること、汎用的な修正機能をアクティブにすること、および別の写真に切り換えることなどによって、変更することができる。
【００７４】
上述された「ダークサイドに送るための」対話を実行することによって、本当のオブジェクトとプロキシ表現の位置を、個別にまたはまとめて、「即座に」入れ換えることができる。見える側のオブジェクト１０４は、普通に描画されるが、プロキシ表現９０２は、別の形式で（例えば、メカニズム９００Ａに示されるような線でつながれた円の列によって）描画することができる。代替的な形式は、アウトライン、ワイヤフレーム、グレイスケール、半透明、より暗い画像、低コントラスト画像、アイコン表現、およびそれらの組み合わせなどを含むが、それらに限定されない。さらに、プロキシ表現９０２は、（例えば、色違いのフレーム、画像またはフレーム上にインジケータアイコンを添えるなどして）実際の対応するオブジェクト１０４と同様または同じに描画することもできる。
【００７５】
ユーザの視点からは、完全な実際のオブジェクトと、隠れオブジェクトのシャドウプロキシ表現の両方を見ることができる。これは、それらの届きにくいオブジェクトにアクセスし、操作することを可能にする。どの操作が実行されているのかについての視覚的表示を見る人に提供するために、プロキシ表現を使用して、見える側に、実際に表示されるオブジェクトに加えて、ユーザの手および／またはタッチの表現を描画することもできる。
【００７６】
直感的に、プロキシ表現を提供することは、対話を行う２つの面を有することであると考えることができる。第１は、１次的な面であり、実際に見えるオブジェクトを有する面である。第２は、仮想的な２次的な面、「ダークサイド」であり、プロキシ表現を含む。ユーザには、面の個々のオブジェクトおよび全体を入れ換える能力を与えることができる。２次的な面のオブジェクトは、対話における副次的な役割を強調するために、（上記したような）簡略化された形式で描画することができる。
【００７７】
さらに、ユーザは、ダークサイドと比較して、見える側のオブジェクトの重要度を調整することができる。例えば、ユーザは、両方の側に等しい重要度を与えて、それによって、オブジェクトが等しい重みで描画されることを望むことができる。または、ユーザは、今現在のタスクに応じて、明るい側またはダークサイドを強調することもできる。重要度が異なるレベルにあるオブジェクトの視覚的表現を異なるように描画する概念は、マルチレイヤ面にも適用可能である。
【００７８】
図９Ｂは、プロキシ表現によりオブジェクトの表現および操作を行う技法のための方法の一例を説明するフロー図９００Ｂである。フロー図９００Ｂは、６つのブロック９５２〜９６２を含む。例示的な実施形態の場合、ブロック９５２において、対応するオブジェクトのプロキシ表現が表示される。例えば、対応するオブジェクト１０４に対して、曲面ディスプレイ１０２の反対側に、プロキシ表現９０２を表示することができる。
【００７９】
ブロック９５４において、プロキシ表現が操作されたかどうかが検出される。例えば、プロキシ表現９０２が、１つまたは複数のメンバ１０６による少なくとも１つの操作を受けたかどうかを検出することができる。操作を受けた場合、ブロック９５６において、プロキシ表現の操作が、対応するオブジェクトに反映される。例えば、メンバ１０６がプロキシ表現９０２をリサイジングした場合、対応するオブジェクト１０４をしかるべくリサイジングすることができる。
【００８０】
（ブロック９５４において）プロキシ表現操作が検出されない場合、またはブロック９５６の動作の実行後、ブロック９５８の検出動作が実行される。ブロック９５８において、ダークサイドに送るための対話がアクティブにされたかどうかが検出される。例示的なダークサイドに送るための対話は、図８Ａおよび図８Ｂを特に参照して説明された。検出された場合、ブロック９６０において、プロキシ表現と対応するオブジェクトの位置が入れ換えられる。検出されない場合、ブロック９６２において、ユーザインタフェース処理を継続することができる。
【００８１】
図１０は、曲面ディスプレイを用いたタッチ対話のための実施形態に使用できる例示的なデバイス３００を示すブロック図１０００である。図示されるように、ブロック図１０００は、２つのデバイス３００ａ、３００ｂと、人・デバイス間インタフェース機器１０１２と、１つまたは複数のネットワーク１００２とを含む。デバイス３００ａを用いて明示的に示されるように、各デバイス３００は、１つまたは複数の入出力インタフェース１００４と、少なくとも１つのプロセッサ１００６と、１つまたは複数の媒体１００８とを含むことができる。媒体１００８は、プロセッサ実行可能命令１０１０を含むことができる。
【００８２】
例示的な実施形態の場合、デバイス３００は、任意の処理可能デバイスを表すことができる。例示的なデバイス３００は、パーソナルコンピュータまたはサーバコンピュータ、ハンドヘルド電子機器または他のポータブル電子機器、娯楽用機器、媒体提示ツールまたは媒体連携ツール、ネットワークコンポーネント、およびそれらの何らかの組み合わせ等を含む。デバイス３００ａとデバイス３００ｂは、ネットワーク１００２を介して通信することができる。ネットワーク１００２は、限定することなく例を挙げると、インターネット、イントラネット、イーサネット（登録商標）、公衆ネットワーク、私設ネットワーク、ケーブルネットワーク、ＤＳＬ（デジタル加入者回線）ネットワーク、電話ネットワーク、ワイヤレスネットワーク、およびそれらの何らかの組み合わせ等とすることができる。人・デバイス間インタフェース機器１０１２は、キーボード／キーパッド、タッチスクリーン、リモコン、マウスまたは他のグラフィカルポインティングデバイス、（例えば図１および図３の）曲面ディスプレイ１０２、（例えば図３の）表示コンポーネント３０４などとすることができる。人・デバイス間インタフェース機器１０１２は、デバイス３００ａと一体化することができ、またはデバイス３００ａから分離することもできる。
【００８３】
Ｉ／Ｏインタフェース１００４は、（ｉ）ネットワーク１００２を介して監視および／または通信を行うためのネットワークインタフェース、（ｉｉ）表示スクリーン上に情報を表示するための表示デバイスインタフェース、並びに（ｉｉｉ）１つまたは複数の人・デバイス間インタフェースなどを含むことができる。（ｉ）のネットワークインタフェースの例は、ネットワークカード、モデム、１つまたは複数のポート、ネットワーク通信スタック、および無線などを含む。（ｉｉ）の表示デバイスインタフェースの例は、グラフィックスドライバ、グラフィックスカード、およびスクリーンまたはモニタのためのハードウェアドライバまたはソフトウェアドライバなどを含む。（ｉｉｉ）の人・デバイス間インタフェースの例は、人・デバイス間インタフェース機器１０１２に有線または無線によって伝達を行う人・デバイス間インタフェースを含む。与えられたインタフェース（例えば曲面ディスプレイ１０２）は、表示デバイスインタフェースおよび人・デバイス間インタフェースの両方として機能することができる。
【００８４】
プロセッサ１００６は、任意の利用可能な処理可能技術を使用して実施することができ、汎用プロセッサまたは専用プロセッサとして実現することができる。例は、ＣＰＵ（中央演算処理装置）、マイクロプロセッサ、コントローラ、ＧＰＵ（グラフィックス処理装置）、およびそれらの派生物または組み合わせ等を含む。媒体１００８は、デバイス３００の部分として含まれる、および／またはデバイス３００によってアクセス可能な任意の利用可能な媒体とすることができる。媒体１００８は、揮発性媒体および不揮発性媒体、着脱可能媒体および着脱不能媒体、保存媒体および伝送媒体（例えば、無線通信チャネルまたは有線通信チャネル）、ハードコード論理媒体、およびそれらの組み合わせなどを含む。媒体１００８は、製造物および／または複合物として具現される場合は、有形な媒体である。
【００８５】
一般に、プロセッサ１００６は、プロセッサ実行可能命令１０１０などのプロセッサ実行可能命令を遂行すること、実行すること、および／または他の方法で達成することが可能である。媒体１００８は、１つまたは複数のプロセッサアクセス可能媒体から成る。換言すると、媒体１００８は、デバイス３００による機能の実行を達成するために、プロセッサ１００６によって実行可能である、プロセッサ実行可能命令１０１０を含むことができる。プロセッサ実行可能命令１０１０は、ソフトウェア、ファームウェア、ハードウェア、固定論理回路、およびそれらの何らかの組み合わせ等として具現することができる。
【００８６】
したがって、曲面ディスプレイを用いたタッチ対話の実現は、プロセッサ実行可能命令という一般的な文脈において説明することができる。プロセッサ実行可能命令は、特定のタスクを実行および／もしくは使用可能にする、並びに／または特定の抽象データ型を実施する、ルーチン、プログラム、アプリケーション、コーディング、モジュール、プロトコル、オブジェクト、コンポーネント、メタデータおよびその定義、データ構造、ＡＰＩなどを含むことができる。プロセッサ実行可能命令は、別個の記録媒体内に配置することができ、異なるプロセッサによって実行することができ、および／または様々な伝送媒体を介して伝播すること、もしくは様々な伝送媒体上に存在することができる。
【００８７】
具体的に図示されるように、媒体１００８は、少なくともプロセッサ実行可能命令１０１０を含む。プロセッサ実行可能命令１０１０は、例えば、（図３の）処理ユニット３１０、またはその任意の部分（例えば対話ユニット３０２）を含むことができる。一般に、プロセッサ実行可能命令１０１０は、プロセッサ１００６によって実行された場合に、デバイス３００が、本明細書で説明された様々な機能を実行することを可能にする。そのような機能は、限定することなく、例を挙げると、（図４、図６Ｂ、図７Ｂ、図８Ｂ、および図９Ｂの）フロー図４００、６００Ｂ、７００Ｂ、８００Ｂ、９００Ｂに示された機能、並びに様々なブロック図に示された特徴およびメカニズムに関連する機能に加え、それらの組み合わせ等も含む。
【００８８】
図１および図３〜図１０のデバイス、動作、特徴、機能、方法、モジュール、データ構造、技法、コンポーネントなどが、複数のブロックおよび他の要素に分割される図において説明されている。しかし、図１および図３〜図１０を説明し、および／または示す、順序、相互接続、相互関係、レイアウトなどは、限定として解釈されることを意図しておらず、曲面ディスプレイを用いたタッチ対話のための１つまたは複数のシステム、方法、デバイス、媒体、装置、構成などを実施するために、多くの方法で、任意の数のブロックおよび／または他の要素を変更し、組み合わせ、再構成し、増強し、省略することなどができる。
【００８９】
システム、方法、デバイス、媒体、装置、構成、および他の例示的な実施形態が、構造的特徴、論理的特徴、アルゴリズム的特徴、および／または機能的特徴に固有の言葉で説明されたが、添付の特許請求の範囲において確定される本発明は、上述された特定の機能または動作に必ずしも限定されないことを理解されたい。むしろ、上述された特定の機能および動作は、特許請求される本発明を実施する例示的な形態として開示されている。
【技術分野】
【０００１】
本発明は、曲面ディスプレイでタッチ対話を可能にする装置および方法に関する。
【背景技術】
【０００２】
コンピュータおよび他の電子デバイスからの視覚的出力は、歴史的に、フラットスクリーン上に提示されてきた。最近２、３年の間に、ＣＲＴ（ブラウン管）モニタはＬＣＤ（液晶ディスプレイ）に取って代わられたが、スクリーンはフラットなままである。そのようなフラットスクリーンとのユーザ対話は、最初は、少なくとも主として、既存のタイプライタから派生したキーボードによって可能にされた。１９７０年代および１９８０年代になると、ＧＵＩ（グラフィカルユーザインタフェース）技術が、入力のためにマウスおよび他のポインタ型デバイスを使用することを可能にした。
【０００３】
入力のためにポインタ型デバイスが利用される場合、ユーザは、デバイスを操作して、表示スクリーン上のあちこちにポインタを動かす。一般に、デバイスを用いて、アイコンまたはボタンの上など、所定のスクリーン位置の上でクリックを行うことによって、機能がアクティブにされる。ポイントおよびクリックを伴うユーザインタフェースの人気が高まる中で、タッチスクリーンインタフェースが開発された。タッチスクリーンを用いる場合、ユーザは、所定のスクリーン位置に物理的にタッチすることおよび／または押すことによって、機能をアクティブにすることができる。しかし、そのようなタッチスクリーンも、依然としてフラットであった。
【０００４】
しかし、最近、いくつかの曲面ディスプレイ（curved display）が作成された。例えば、１つまたは別の種類の球面ディスプレイ（spherical display）が開発された。これらの球面ディスプレイは、プロモーション環境において、または３Ｄ（３次元）データの表示のために、特に利用される。球面ディスプレイは、複数のユーザに、遮るもののない３６０°の視界を提供することができる。これは、見る人が、ディスプレイの周囲を物理的に移動することによって、表示データを異なる視点から探求することを可能にする。
【０００５】
見る人は、球面上に表示されているデータを自分が空間的に見出し、理解する助けとなるように、ディスプレイの球面性、自分の物理的な身体位置および向き、並びに周囲環境からの付加的なキュー（cue）を使用することができる。球形ファクタをとるディスプレイの特徴は、より普及しているフラットディスプレイを用いて可能なことを超えた、面白い利用シナリオをもたらすことができる。球面ディスプレイは、様々な対話上の課題も提供する。残念なことに、従来のＵＩ（ユーザインタフェース）技術は、伝統的なフラットディスプレイに根ざしている。その結果、従来のＵＩ技術は、面白い利用シナリオを利用することができず、曲面ディスプレイの様々な対話上の課題に対処することができない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２０１０／００２３８９５号明細書
【発明の概要】
【０００７】
（例えば、球、半球、円筒などの）曲面ディスプレイを用いたタッチ対話（touch interaction）が、様々なＵＩ機能を通して可能になる。例示的な一実施形態では、タッチ入力を検出するために、曲面ディスプレイが監視される。監視する動作に基づいて、タッチ入力が検出された場合、タッチ入力の１つまたは複数の位置が決定される。タッチ入力の決定された１つまたは複数の位置に応答して、少なくとも１つのユーザＵＩ機能が実施される。例示的なＵＩ機能は、水晶玉占いのジェスチャで起動を行う機能（orb-like invocation gesture feature）、回転ベースでドラッグを行う機能（rotation-based dragging feature）、ダークサイドに送るための対話を行う機能（send-to-dark-side interaction feature）、およびプロキシ表現によりオブジェクトの表現および操作を行う機能（object representation and manipulation by proxy representation feature）を含む。
【０００８】
水晶玉占いのジェスチャで起動を行う機能の一実施例の場合、球形曲面ディスプレイの頂点などの固定点を中心にして実質的に対称な位置に、２つの相対的により大きなタッチ接触（touch contact）を作ることによって、メニューの提示またはタスクの切り換えが起動される。回転ベースでドラッグを行う機能の一実施例の場合、曲面ディスプレイ上でドラッグされるオブジェクトは、ドラッグ運動によって定義される円弧を表す回転を使用して移動される。
【０００９】
ダークサイドに送るための対話を行う機能の一実施例の場合、事前定義された時間閾値にわたるオブジェクト上の相対的により大きな接触が、曲面ディスプレイの一方の側から別の側へのオブジェクトのワープ移動（warping）を引き起こす。プロキシ表現によりオブジェクトの表現および操作を行う機能の一実施例の場合、曲面ディスプレイの他方の側の対応するオブジェクトに対して、プロキシ表現が表示される。プロキシ表現に対する操作は、対応するオブジェクトにおいて反映される。
【００１０】
「発明の概要」は、「発明を実施するための形態」において詳述される概念の抜粋を簡略な形で紹介するために提供される。この「発明の概要」は、特許請求される主題の主要な特徴または必須の特徴を識別することを意図しておらず、特許請求される主題の範囲を決定する助けとして使用されることも意図していない。さらに、他のシステム、方法、デバイス、媒体、装置、構成、および他の例示的な実施形態も、本明細書で説明される。
【図面の簡単な説明】
【００１１】
同様のおよび／または対応する態様、特徴、および構成要素を参照するために、すべての図面において、同じ番号が使用される。
【図１】曲面ディスプレイのための例示的なユーザ対話環境を示す図である。
【図２】タッチによって操作できるディスプレイを用いてドラッグ操作を実施する単純な手法を示す図である。
【図３】曲面ディスプレイを有する例示的なデバイスと、対話ユニットを介したタッチ入力に応答して対話を可能にする機能のブロック図である。
【図４】曲面ディスプレイを用いたタッチ対話のための方法の一例を説明するフロー図である。
【図５】４つの例示的なユニット、すなわち、水晶玉占いのジェスチャで起動を行うユニット、回転ベースでドラッグを行うユニット、ダークサイドに送るための対話を行うユニット、およびプロキシ表現によりオブジェクトの表現および操作を行うユニットを有する対話ユニットのブロック図である。
【図６Ａ】水晶玉占いのジェスチャで起動を行うユニットのための例示的なメカニズムを示す図である。
【図６Ｂ】水晶玉占いのジェスチャで起動を行う技法のための方法の一例を説明するフロー図である。
【図７Ａ】回転ベースでドラッグを行うユニットのための例示的なメカニズムを示す図である。
【図７Ｂ】回転ベースでドラッグを行う技法のための方法の一例を説明するフロー図である。
【図８Ａ】ダークサイドに送るための対話を行うユニットのための例示的なメカニズムを示す図である。
【図８Ｂ】ダークサイドに送るための対話を行う技法のための方法の一例を説明するフロー図である。
【図９Ａ】プロキシ表現によりオブジェクトの表現および操作を行うユニットのための例示的なメカニズムを示す図である。
【図９Ｂ】プロキシ表現によりオブジェクトの表現および操作を行う技法のための方法の一例を説明するフロー図である。
【図１０】曲面ディスプレイを用いたタッチ対話のための実施形態を実施するのに使用できる例示的なデバイスを示すブロック図である。
【発明を実施するための形態】
【００１２】
上述したように、従来のＵＩ技術は、伝統的なフラットディスプレイに根ざしている。その結果、従来のＵＩ技術は、曲面ディスプレイの面白い利用シナリオを利用することができず、曲面ディスプレイの様々な対話上の課題に対処することもできない。対照的に、本明細書で説明されるある実施形態は、曲面ディスプレイ上での対話およびコラボレーションを円滑化する１組のタッチ対話メカニズムおよび技法を提供する。直接的なタッチ対話のための手法は、曲面ディスプレイ上でのドラッグ、スケーリング、回転、および他のオブジェクト操作に対処する手法を含む。付加的な手法は、ジェスチャ対話を提供し、ビジュアルインタフェースの曲面性に配慮したタッチＵＩ概念を実施する。例示的な実施形態および実施例が、以下でさらに説明される。
【００１３】
図１は、曲面ディスプレイ１０２のための例示的なＵＩ環境１００を示す。図示されるように、ＵＩ環境１００は、曲面ディスプレイ１０２と、オブジェクト１０４と、複数のメンバ１０６とを含む。より具体的には、オブジェクト１０４は、曲面ディスプレイ１０２上に提示される。２つのメンバ１０６ａ、１０６ｂは、曲面ディスプレイ１０２と対話しているところが示されている。点線によって形成される楕円形は、曲面ディスプレイ１０２が３次元であることを示している。
【００１４】
一般に、曲面ディスプレイ上でユーザ対話を可能にすることには、選択、ドラッグ、回転、およびスケーリングなどの基本操作を実施することが含まれる。さらには、ブラウジングおよびタスク切り換えなどに対するサポートの提供も伴うことができる。各オブジェクト（例えば、写真、ビデオなど）は、独立にドラッグし、回転し、スケーリングすることができる。ほとんどのタッチセンシティブアプリケーションと同様に、オブジェクトの選択は、そのオブジェクト上に置かれたタッチ接触によって暗黙的にトリガされる。ビデオオブジェクト上に置かれたタッチ接触は、単純な再生トグルとして機能し、ビデオが一時停止している場合は、ビデオ再生を開始し、ビデオが再生中である場合は、ビデオ再生を停止させる。
【００１５】
例示的な実施形態の場合、曲面ディスプレイ１０２の表示要素は、メンバ１０６によって操作することができる。メンバ１０６は、１つまたは複数の指、１つまたは複数の手、１つまたは複数の掌、およびそれらの組み合わせなどとすることができる。メンバ１０６は、同じユーザに属することができ、または異なるユーザに属することができる。オブジェクト１０４は、写真またはビデオとして示されているが、任意の表示可能な要素（例えば、ウェブページ、テキスト文書、スプレッドシート、生データまたは画像、それらの組み合わせなど）とすることができる。
【００１６】
また、曲面ディスプレイ１０２は、球として示されているが、代替的に、円筒、立方体、半球、およびそれらの組み合わせなどとすることができる。図面に示される曲面ディスプレイ１０２は、球であり、本明細書ではしばしば球として説明されるが、これは例にすぎない。本明細書で説明される原理および対話は、一般に曲面ディスプレイ１０２に適用可能であることを理解されたい。
【００１７】
ユーザ対話１０８は、例えば、異なるタイプのタッチを含むことができる。タッチは、サイズ、持続時間、位置、動き、およびそれらの組み合わせなどによって様々とすることができる。ユーザ対話１０８は、ジェスチャ、姿勢、およびそれらの組み合わせなども含むことができる。これらのユーザ対話１０８は、ＵＩ技法およびメカニズムなど、異なるＵＩ手法１１０を可能にするために定義し、および／または組み合わせることができる。曲面ディスプレイの特性を利用し、および／または曲面ディスプレイの普通とは異なる特徴に配慮した、異なるＵＩ手法１１０が、本明細書で説明される。そのような特性および特徴が、以下で説明される。
【００１８】
非フラット対話ディスプレイは、そのフラットな対応物とは異なるいくつかの特性を有する。したがって、曲面ディスプレイには、異なる対話概念を適用することができる。特に、曲面ディスプレイは、以下の３つの例示的な本質的困難を有する。第１に、表示面は、従来のユークリッド空間ではなく、フラットな空間に容易にマッピングされない。これは、２Ｄ平行移動など、伝統的なフラット対話を困難にする。この第１の困難は、以下で図２を特に参照してより詳細に説明される。第２に、面上でのビジュアル要素の移動は、曲面ディスプレイの周囲を取り巻いていることがある複数の協力者の視点に関してなど、移動された要素の向きをおかしなものにする可能性があり得る。第３に、他方の側（例えば反対の半球）上に配置されたデータまたは他のオブジェクトは、ディスプレイの曲面性のために、現在はユーザから見ることができないので、ユーザは、たかだか１つの半球しか見られないように制限されることがある。
【００１９】
曲面ディスプレイは、本質的に多くの他の区別的特徴を有する。例えば、曲面ディスプレイは、自然な「マスタユーザ」位置をもたない。代わりに、各ユーザには平等主義のユーザエクスペリエンスを与えることができる。また、各ユーザから見える内容は、ユーザの高さおよび位置とともに変化する。さらに、ユーザがその高さおよび位置を変えるにつれて、球面表示は、垂直面および水平面の間で滑らかに推移していくようにすることが可能である。
【００２０】
ユーザが曲面ディスプレイの周囲を移動していく場合、曲面ディスプレイは、ボーダレスのように見えるが、実際には有限である。自然な方向付けランドマークが存在しないことも明らかになる。しかし、実際には、頂点（または球面ディスプレイの場合の「北極」）が、曲面ディスプレイのための最強の自然なランドマークになることが分かることがある。加えて、ユーザは一般に、曲面ディスプレイのたかだか一方の半分しか見られないように制限されるので、曲面ディスプレイの他方の領域は、疑似的なプライバシを提供する。言い換えると、１人のユーザが一方の半球上で見ているものは、反対の半球を見ている他のユーザの視覚からは相対的に遮られている。
【００２１】
曲面ディスプレイ上での対話およびコラボレーションを円滑化する、曲面ディスプレイのための１組のマルチタッチ対話メカニズム（または機能）および技法が、図２の説明に従って以下で紹介される。４つの例示的な実施形態が、図５のユニットを特に参照して説明される。これら４つの例示的な実施形態は、それぞれ図６Ａ／図６Ｂ、図７Ａ／図７Ｂ、図８Ａ／図８Ｂ、および図９Ａ／図９Ｂを特に参照して、より詳細に説明される。
【００２２】
図２は、タッチによって操作できるディスプレイを用いてドラッグ操作を実施する単純な手法２００を示している。図示されるように、手法２００は、メンバ１０６と、２つの点１、２と、ベクトルＶとを含む。メンバ１０６が、ディスプレイにタッチしながら、点１から点２に移動する。この移動はベクトルＶを定義する。ベクトルＶは、２つまたは３つの直交成分を組み合わせた次元性を有する。ベクトルＶは、方向と大きさ成分の両方を有すると考えることもできる。ベクトルＶは、フラットディスプレイ上など、ユークリッド空間内のオブジェクトを平行移動するために使用することができる。
【００２３】
他方で、ユーザが球面ディスプレイ上でオブジェクトをドラッグできるようにすることは、最初に思えるほど単純ではない。困難は、球面の曲面幾何学が、２Ｄフラット空間とは根本的に異なることである。ユークリッド空間では（標準的な２Ｄおよび３Ｄ環境はこのカテゴリに含まれる）、移動は、特定の直線上の移動の方向と大きさとを一括りにした変位ベクトルＶによって表すことができる。しかし、球面はユークリッド空間ではない。球上には真っ直ぐな線は存在せず、いわゆる「直線」は実際には曲線であり、より正確には円弧として表される。いくつかの場合には、ユークリッド幾何学が妥当な局所近似を提供できるが、ベクトルを用いて球上の変位を表すことは、最終的には問題のある挙動をもたらす。
【００２４】
したがって、曲面ディスプレイは、ＵＩ上の困難を生み出す多くの特性を伴う。これらの特性は、非ユークリッド空間を有することと、与えられたユーザの視覚からは遮られることのある領域を有することを含む。また、曲面ディスプレイは、ユーザがディスプレイの周囲を異なる位置まで移動しない限り、ユーザから届かない領域を有することがある。
【００２５】
曲面ディスプレイのこれらの説明された困難、特徴、および／または特性のうちの１つまたは複数を少なくとも改善し、または他の方法で対処するため、ある例示的な実施形態は、曲面ディスプレイに適合したＵＩ手法の実施を伴う。例えば、対話技法およびユーザインタフェースメカニズムは、曲面上に表示されたオブジェクトのマルチタッチ操作を円滑化することができる。これらの手法は、曲面の異なる特徴を利用することによって、複数のユーザ間のより容易なコラボレーションを可能にすることができる。
【００２６】
例示的なＵＩ手法は、水晶玉占いのジェスチャでの起動を含む。例示的な一実施では、曲面ディスプレイの頂上部における特定の両手姿勢を介して、モード切り換えまたはメニューが起動される。その姿勢は、覚えるのは比較的容易であるが、偶然に作り出すのは比較的困難である。別の例示的なＵＩ手法は、曲面に沿ったオブジェクトのドラッグを容易にすることを含む。一実施例では、平行移動指向の変位ベクトルの代わりに、回転指向の移動が、ドラッグの基本ユニットとして使用される。
【００２７】
また別の例示的なＵＩ手法は、ダークサイドに送るための対話を含む。一実施例では、ユーザは、オブジェクトを曲面ディスプレイの反対側に「瞬時に」ワープ移動／移動させることができる。また別の例示的なＵＩ手法は、シャドウオブジェクト（shadow object）の表現および操作を含む。一実施例では、ユーザは、ユーザにより近い半球上のプロキシ表現を使用して、曲面ディスプレイの他方の側のオブジェクト（例えば、他の方法では少なくとも部分的に見えないオブジェクト）を効果的に「見て」、操作する能力を与えられる。プロキシ表現は、例えば、実際のオブジェクトのシャドウまたはアウトライン表現とすることができる。
【００２８】
図３は、曲面ディスプレイ１０２を有する例示的なデバイス３００と、対話ユニット３０２を介したタッチ入力に応答して対話を可能にする機能のブロック図である。図示されるように、デバイス３００は、曲面ディスプレイ１０２と、表示コンポーネント３０４と、処理ユニット３１０とを含む。表示コンポーネント３０４は、投影コンポーネント３０６と、検出コンポーネント３０８とを含む。処理ユニット３１０は、投影ユニット３１２と、検出ユニット３１４と、対話ユニット３０２とを含む。メンバ１０６は、曲面ディスプレイ１０２の近くに示されている。
【００２９】
例示的な実施形態では、曲面ディスプレイ１０２は、内部および外部を有する任意のタイプの曲面ディスプレイとすることができる。曲面ディスプレイ１０２は、投影コンポーネント３０６によってその上に投影された画像を表示するための散乱性の面を有することができる。曲面ディスプレイ１０２の例は、球、円筒、半球、立方体、およびそれらの組み合わせなどを含むが、それらに限定されない。実施例では、曲面ディスプレイ１０２は、少なくとも部分的に空間を包み込む。曲面ディスプレイは、完全な球または立方体または「ソリッド（solid）」円柱などを用いて、空間を完全に包み込むこともできる。あるいは曲面ディスプレイは、開かれた半球または端部が開かれた円筒などを用いて、空間を部分的に包み込むことができる。他の代替の実施形態を実施することもできる。
【００３０】
一実施形態では、表示コンポーネント３０４は、少なくとも主として、デバイス３００のハードウェアコンポーネントである。投影コンポーネント３０６は、（例えば、曲面ディスプレイの内部からの）曲面ディスプレイ１０２上への画像の投影を可能にする。投影コンポーネントは、例えば、可視スペクトル光の投影器と、広角レンズとして実現することができる。検出コンポーネント３０８は、少なくとも１つのメンバ１０６による曲面ディスプレイ１０２上の１つまたは複数のタッチ接触を検出することを可能にする。メンバ１０６は、限定ではなく例を挙げると、指、複数の指、手、複数の手、１つまたは複数の掌、およびそれらの何らかの組み合わせなどとすることができる。メンバ１０６は、同じ人であってもよいし、または異なる人々であってもよい。
【００３１】
検出コンポーネント３０８は、メンバ１０６がいつ、曲面ディスプレイ１０２のどこにタッチ／接触したかを検出するように適合される。検出コンポーネント３０８は、例えば、曲面ディスプレイ１０２の中へ、および／または曲面ディスプレイ１０２に向けて放射するＩＲ（赤外線）同調ＬＥＤ（発光ダイオード）と、ＩＲ光が曲面ディスプレイ１０２から反射され戻ってきたときに検出するＩＲ検出器の組として実現することができる。ＩＲ光は、例えば、メンバ１０６のタッチによって、曲面ディスプレイ１０２から反射され、検出コンポーネント３０８に戻ってくることができる。検出コンポーネント３０８は、メンバ１０６による曲面ディスプレイ１０２上の１つまたは複数のタッチの１つまたは複数の位置を検出するように適合される。さらに、検出コンポーネント３０８は、メンバ１０６によるタッチのサイズ（例えば、指対掌）の検出も可能にすることができる。これらの検出は、分析のために処理ユニット３１０の検出ユニット３１４に提供され、曲面ディスプレイ１０２上のタッチを介したデバイス３００との対話を容易にすることができる。
【００３２】
処理ユニット３１０は、例えば、１つまたは複数のプロセッサと、少なくとも１つのメモリを用いて実現することができる。例示的な動作では、検出ユニット３１４は、検出されたタッチ接触の位置およびサイズを対話ユニット３０２に提供する。対話ユニット３０２は、曲面ディスプレイ１０２を介したデバイス３００とのＵＩ対話を可能にする。例示的な一実施形態では、検出ユニット３１４は、タッチ入力のサイズを検出し、検出されたタッチ入力のサイズを所定のサイズ閾値と比較することによって、曲面ディスプレイ１０２において、指サイズのタッチ入力が発生したか、それとも掌サイズのタッチ入力が発生したかを検出する。その後、対話ユニット３０２は、検出されたタッチ入力が指サイズか、それとも掌サイズかに基づいて、ＵＩ機能を実施することができる。
【００３３】
対話ユニット３０２は、ＵＩ要素および他の表示項目を操作するための表示コマンドを、投影ユニット３１２に送る。投影ユニット３１２は、どの画像を投影コンポーネント３０６によって曲面ディスプレイ１０２上に投影するかを制御することができる。例を挙げると、対話ユニット３０２は、本明細書でさらに説明される実施形態のうちの１つまたは複数を実施することができる。これらの実施形態は、（ｉ）概略的には図４を参照して、例示的なフロー図によって、（ｉｉ）より詳細には図５を参照して説明される。例示的な実施形態は、図６Ａ〜図９Ｂを参照して詳述される。
【００３４】
図４は、曲面ディスプレイを用いたタッチ対話のための方法の一例を説明するフロー図４００である。フロー図４００は、４つのブロック４０２〜４０８を含む。フロー図４００の実施は、例えば、プロセッサ実行可能命令として実現すること、並びに／または少なくとも部分的に投影ユニット３１２、検出ユニット３１４、および／もしくは対話ユニット３０２による実現を含む、（図３の）処理ユニット３１０の一部として実現することができる。フロー図４００を実施するための例示的な実施形態は、図１および図３の要素を参照して以下で説明される。
【００３５】
フロー図４００のステップ（および他のフロー図のステップ）は、多くの異なる環境において、（例えば図１０の）１つまたは複数の処理デバイスによるなど、様々な異なるデバイスを用いて実行することができる。説明される方法における順序は、限定解釈されることを意図しておらず、それぞれの方法またはそれと等価の代替的な方法を実施するために、任意の数の説明されるブロックを組み合わせること、増強すること、再配置すること、および／または省略することができる。フロー図の説明では、ある他の図の特定の要素が参照されるが、フロー図の方法は、代替的な要素を用いて実行することができる。
【００３６】
例示的な実施形態の場合、ブロック４０２において、タッチ入力に関して、曲面ディスプレイが監視される。例えば、曲面ディスプレイ１０２は、タッチ入力に関して、検出コンポーネント３０８および／または検出ユニット３１４によって監視することができる。ブロック４０４において、タッチ入力が検出されたかどうかが決定される。例えば、検出ユニット３１４は、曲面ディスプレイ１０２を監視して、１つまたは複数のメンバ１０６によるタッチ入力を検出することができる。タッチが検出されない場合、（ブロック４０２において）監視が継続される。
【００３７】
他方、（ブロック４０４において）タッチ入力が検出された場合、ブロック４０６において、タッチ入力の１つまたは複数の位置が決定される。例えば、メンバ１０６による曲面ディスプレイ１０２上のタッチ入力の位置を決定することができる。これらの決定は、タッチ入力のサイズ（例えば、指対掌）を確かめること、曲面ディスプレイ上のタッチ入力の数（例えば、指、掌、人の数など）を確かめること、タッチ入力の移動を追跡すること、タッチ入力の持続時間を監視すること、およびそれらの何らかの組み合わせなどを伴うことができる。
【００３８】
ブロック４０８において、タッチ入力の１つまたは複数の位置に応答して、少なくとも１つのＵＩ機能が実施される。例えば、タッチ入力の決定された位置に応答して、少なくとも１つのＵＩ手法（例えば、メカニズムおよび／または技法）を、対話ユニット３０２によって実施することができる。
【００３９】
例示的なＵＩ手法が図５を参照して概略的に説明される。さらなる例示的な実施形態が図６Ａ〜図９Ｂを参照して詳述される。例示的なＵＩ手法は、表示オブジェクトを移動することに関する手法、（例えば、指サイズのタッチから区別される）掌サイズのタッチを検出し、しかるべく応答することに関する手法、およびそれらの組み合わせなどを含む。
【００４０】
図５は、（図３の）対話ユニット３０２の例示的なユニット５０２〜５０８のブロック図である。図示されるように、対話ユニット３０２は、水晶玉占いのジェスチャで起動を行うユニット５０２と、回転ベースでドラッグを行うユニット５０４と、ダークサイドに送るための対話を行うユニット５０６と、プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８とを含む。これらのユニットの各々は、少なくとも１つのＵＩ機能を実施することが可能である。
【００４１】
対話ユニット３０２のこれらのユニット５０２〜５０８は、カテゴリに組織化することができる。例えば、回転ベースでドラッグを行うユニット５０４と、プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８は、曲面ディスプレイ上での表示オブジェクトの移動に関するものとして類別することができる。また、水晶玉占いのジェスチャで起動を行うユニット５０２と、ダークサイドに送るための対話を行うユニット５０６は、適切なＵＩ応答を有する掌サイズのタッチの検出に関するものとして類別することができる。
【００４２】
代替的な類別を様々な実施形態に適用できることに留意されたい。さらに、様々な実施形態を１つまたは複数の異なるカテゴリに配置できることに留意されたい。例えば、ダークサイドに送るための対話を行うユニット５０６は、曲面ディスプレイ上での表示オブジェクトの移動に関するものとしても類別することができる。
【００４３】
水晶玉占いのジェスチャで起動を行うユニット５０２に関する例示的な一実施形態では、曲面ディスプレイにタッチした２つの掌が、ＵＩ機能を起動する。所定の期間にわたって、２つの掌サイズのタッチ（例えば、北極を中心にして配置されたタッチ）が検出された場合、水晶玉占いのジェスチャで起動を行うユニット５０２によって、ＵＩ機能が実施される。ＵＩ機能は、メニュー提示およびモード切り換えなどとすることができる。メニューは、円形および半円形などとすることができる。水晶玉占いのジェスチャで起動を行うユニット５０２の例示的なメカニズムおよび技法は、図６Ａおよび図６Ｂを特に参照して以下でさらに説明される。
【００４４】
回転ベースでドラッグを行うユニット５０４に関する例示的な一実施形態では、曲面ディスプレイ１０２上でのオブジェクトの移動が、少なくとも部分的に、回転を使用して達成される。表示オブジェクトの移動は、曲面ディスプレイの中心の周り（例えば、球の中心の周り）の回転として明示される。例えば、軸を決定することができ、軸の周りの角度が、表示オブジェクトの移動を定義することができる。回転ベースでドラッグを行うユニット５０４は、他の実施形態に関連するオブジェクト移動を容易にするために使用することもできる。回転ベースでドラッグを行うユニット５０４のための例示的なメカニズムおよび技法は、図７Ａおよび図７Ｂを特に参照して以下でさらに説明される。
【００４５】
ダークサイドに送るための対話を行うユニット５０６に関する例示的な一実施形態では、オブジェクトを曲面ディスプレイの反対側に送ることができる。例示的な動作では、オブジェクトの送りは、オブジェクト上の掌タッチによって開始される。ダークサイドに送るための対話を行うユニット５０６は、事前定義された時間閾値（例えば約１秒）にわたって行われる掌サイズのタッチ（例えば、事前定義されたサイズ閾値を満たすタッチ）に応答して、送りを実行する。タッチされたオブジェクトは、曲面ディスプレイの約１８０度反対側に「ワープ移動」される。一実施例では、オブジェクトが反対側にワープ移動される場合、（球タイプの曲面ディスプレイに関する）オブジェクトの緯度は同じままである。言い換えると、オブジェクトの高度は同じままと見なすことができる。代替的な一実施例では、ワープ移動によってオブジェクトの「高度」も変化するように、オブジェクトは、曲面ディスプレイの「中心」を通ってワープ移動される。ダークサイドに送るための対話を行うユニット５０６のための例示的なメカニズムおよび技法は、図８Ａおよび図８Ｂを特に参照して以下でさらに説明される。
【００４６】
プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８に関する例示的な一実施形態では、曲面ディスプレイのダークサイドに表示されるオブジェクトを、プロキシ表現を用いて、ユーザにより近い側に描画することができる。プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８を用いる場合、プロキシ表現を使用して、他方の側の実際のオブジェクトを操作（例えば、サイジング、移動など）することができる。対応するオブジェクトとプロキシ表現の位置は、（ダークサイドに送るための対話を行うユニット５０６を用いて）一方の側と他方の側の間で入れ換えることができる。オブジェクトとそれぞれのプロキシ表現は、個別に入れ換えることができ、または現在存在する各プロキシ表現を入れ換える等、まとめて入れ換えることもできる。プロキシ表現によりオブジェクトの表現および操作を行うユニット５０８のための例示的なメカニズムおよび技法は、図９Ａおよび図９Ｂを特に参照して以下でさらに説明される。
【００４７】
水晶玉占いのジェスチャで起動を行うユニット（orb-like invocation gesture unit）
対話システムでは、タスクを切り換える能力および異なる選択肢を選択する能力が、しばしば提供される。水晶玉占いのジェスチャで起動を行う技法は、この能力を提供することができる。一実施例では、円形メニューが起動され、ユーザが複数のアプリケーションの中から選択することを可能にする。メニューは、（例えば球面）ディスプレイの頂点の周りに円形配列で表示することができる。したがって、メニューはほとんどのユーザから見える。しかし、ユーザの位置が分かっている場合、メニューはユーザの方に向けて半円形に配置することもできる。選択肢の選択は、選択肢をタッチすることによって実行することができる。代替的に、選択は、メニューを定位置まで回転させることによって実現することもできる。タッチ接触が離れたときに強調表示された選択肢が選択される。（直接にタッチする代わりに）水晶玉占い起動を回転による選択と組み合わせることによって、タスク切り換えを１つの連続的な対話において実行すること（例えば、両手を置いて選択肢のメニューを起動し、所望の選択肢を定位置まで回転させ、両手を持ち上げて選択肢を選択すること）ができる。
【００４８】
図６Ａは、水晶玉占いのジェスチャで起動を行うユニットのための例示的なメカニズム６００Ａを示している。図示されるように、水晶玉占いのジェスチャで起動を行うメカニズム６００Ａは、部分（ａ）（図の上半分）に例示的な水晶玉占いのジェスチャでの起動の３Ｄ表現を含み、部分（ｂ）（図の下半分）に例示的なメニュー６０２を含む。部分（ａ）を見ると、２つのメンバ１０６ａ、１０６ｂを有するユーザが、曲面ディスプレイ１０２と対話している。水晶玉占いのジェスチャでの起動は、モード切り換えおよびメニューなどを起動する。具体的に示されるように、円形メニュー６０２が起動される。
【００４９】
例示的な実施形態の場合、このジェスチャの姿勢は、未来を予言する魔法の水晶玉との対話のイメージを呼び起こすことができる。このジェスチャは、２つの手を（例えば、掌を開いた姿勢で）、球の頂点など、所定の点からほぼ等しい距離だけ離して置くことを含む。姿勢は、曲面ディスプレイ上でのモード切り換えまたはメニュー起動を容易にするようにデザインされる。図示された例の場合、円形メニュー６０２は、エクスペリエンスを向上させるために、音響効果を伴ってフェードインする。
【００５０】
魔法のようで遊び心があるが、この両手の姿勢のジェスチャは、非常に覚えやすくもあり、繰り返すのも容易であり、偶然に作り出すのは比較的困難である。掌サイズの接触は、ほとんどの他のタッチ接触よりも実質的に大きい。したがって、２つの接触のサイズと、この姿勢の特に対称的な配置とが一緒になると、誤ってジェスチャがなされることは容易には起こらないことが保証される。
【００５１】
異なるメニュー６０２を起動することができる。しかし、図示されるメニュー６０２は円形である。メニューは、任意の数の異なるメニュー選択肢を含むことができる。６つの例示的なメニュー選択肢Ａ〜Ｆが、凡例６０４に示されている。それらは、ナビゲーション、写真、ビデオ、ゲーム、地球儀、および代替選択肢を示すための「その他」カテゴリを含む。他の代替選択肢は、全方向データビューア、ペイントアプリケーション、およびブラウザなどを含むが、それらに限定されない。選択肢は、アイコンもしくはテキストまたは両方によって、メニュー６０２に表すことができる。各選択肢のテキストは、ユーザの方を向かせること、および円形に配列することなどができる。
【００５２】
図６Ｂは、水晶玉占いのジェスチャで起動を行う技法のための方法の一例を説明するフロー図６００Ｂである。フロー図６００Ｂは、５つのブロック６５２〜６６０を含む。例示的な実施形態の場合、ブロック６５２において、曲面ディスプレイの面上に複数のタッチ接触が存在するかどうかがチェックされる。存在する場合、ブロック６５４において、複数のタッチ接触が、事前定義されたサイズ閾値を満たすほど十分に大きなものを少なくとも２つ含むかどうかがチェックされる。これは、例えば、掌タッチを「単なる」指タッチから区別することができる。
【００５３】
少なくとも２つを含む場合、ブロック６５６において、２つの大きなタッチ接触（事前定義されたサイズ閾値を満たすタッチ接触）の位置が、曲面上の固定点を中心にして実質的に対称であるかどうかがチェックされる。固定点は、例えば、球または半球の曲面ディスプレイの頂点とすることができる。この実質的な対称性のチェックは、多くの異なる方法のいずれかを使用して実行することができる。しかし、角度閾値と半径閾値を含む方法が例として説明される。角度閾値を実施するため、２つの接触は、固定点を中心として１８０度回転した位置関係からのずれが、たかだか「Ｘ」度までに制限することができる。半径閾値を実施するため、２つの接触は、固定点からの隔たりが、閾値の距離値以内に制限することができる。
【００５４】
２つの大きな接触の位置が、（ブロック６５６においてチェックされたように）曲面上の固定点を中心に実質的に対称である場合、ブロック６５８において、モード切り換えまたはメニュー提示の起動が実行される。言い換えると、チェック動作の各々が肯定的な結果をもたらした場合、モード切り換え、メニュー提示、または他の対話機能の起動を実行することができる。メニューは、説明された円形のタスク切り換えメニュー（例えば、図６Ａのメニュー６０２）と同一または同様とすることができる。モード切り換えは、循環的にメニュー選択肢を切り換えていくことができ、または他の方法で異なるモードの動作および対話などに切り換えることができる。ブロック６５２、ブロック６５４、またはブロック６５６のいずれかのチェックが否定的である場合、ブロック６６０において、ＵＩ処理を継続する。継続されるＵＩ処理は、本明細書で説明される技法または他のＵＩ関連処理のいずれかについてのものとすることができる。
【００５５】
回転ベースでドラッグを行うユニット（rotation-based dragging unit）
図２を特に参照して説明されたように、球面はユークリッド空間ではない。結果として、オブジェクトの平行移動を実施するための従来の２Ｄまたは３Ｄ線形指向ベクトルの利用は、曲面ディスプレイ上では問題のある挙動（例えば歪み）をもたらす。これらの問題のある挙動を回避するため、円弧指向の回転を利用して、曲面ディスプレイ上でのオブジェクト移動を実施することができる。回転は、例えば、４元数（quaternion）、オイラ角（Euler angle）、軸を中心とする弧長、およびそれらの組み合わせなどを使用して、実現することができる。
【００５６】
図７Ａは、回転ベースでドラッグを行うユニットのための例示的なメカニズム７００Ａを示している。図示されるように、回転ベースでドラッグを行うメカニズム７００Ａは、曲面ディスプレイ１０２と、メンバ１０６と、４元数７０２を含む。メンバ１０６が、曲面ディスプレイ１０２とタッチ接触する。メンバ１０６は、点１から点２に移動され、それが、曲面ディスプレイ１０２上で円弧を定義する。図７Ａでは、４元数７０２を参照して回転指向の移動が示されているが、これは例にすぎない。回転は、代替的な方法で実施することもできる。
【００５７】
例示的な一実施形態では、定義された円弧は、回転として解釈され、または回転にマッピングされる。したがって、平行移動変位のための線形ベクトルを使用する代わりに、曲面ディスプレイ上での移動は、回転（例えば、４元数、オイラ角、軸を中心とする弧長など）によって表される。この回転ベースの表現は、曲面上での対話の多くに影響を及ぼすことができる。例えば、２Ｄおよび３Ｄ環境で使用される従来の平行移動＋回転＋スケーリングの操作モデルは、曲面上（例えば球面ディスプレイ上）では、回転＋スケーリングの複合操作モデルに変換される。オブジェクトは、（ｉ）球の原点を中心とする回転と、その後の（ｉｉ）オブジェクトの局所座標系におけるさらなる方向付けによって、球面的に「配置」することができるので、回転はしばしば複合動作となる。
【００５８】
量的には、メンバ１０６の指が、球形の曲面ディスプレイ１０２上の点１と点２の間でオブジェクトをドラッグする場合、この移動は、（３Ｄベクトルである）軸Ａを中心とする角度θの円弧に従う。この円弧は、例えば、４Ｄの４元数Ｑによって表すことができる回転である。したがって、回転は、軸および角度に関連付けることができ、そのため、回転は、曲面ディスプレイ上の円弧を表す。したがって、回転を使用して、曲面ディスプレイ上でオブジェクトを移動させ、位置付け、または他の方法で提示することができる。
【００５９】
ユーザが、曲面ディスプレイ上でオブジェクトを位置付ける（すなわち回転させる）ことを可能にするのに加えて、局所座標系においてオブジェクトを方向付ける追加的な１Ｄ調整も可能にすることができる。調整は、フラットな面上のピクチャの面内回転と同様である。この操作は、オブジェクトにタッチする少なくとも２回の接触を伴う。それら２つの接触の間の局所的な角度差が、オブジェクトの１Ｄ回転にマッピングされる。基本的な操作に関して、複数の接触が特定のオブジェクトにタッチしている場合、それらの挙動を集約することができ、集約動作をオブジェクトに適用することができる。
【００６０】
図７Ｂは、回転ベースでドラッグを行う技法のための方法の一例を説明するフロー図７００Ｂである。フロー図７００Ｂは、５つのブロック７５２〜７６０を含む。フロー図７００Ｂは、曲面ディスプレイ上に提示されたオブジェクトのドラッグ移動に関する。例示的な実施形態の場合、ブロック７５２において、ドラッグが開始する曲面上の始点が見出される。ブロック７５４において、ドラッグが終了する曲面上の終点が見出される。
【００６１】
ブロック７５６において、始点と終点の間の移動を表す回転が計算される。ブロック７５８において、ドラッグ移動を達成するために、計算された回転が、ドラッグされるオブジェクトに適用される。ブロック７６０において、ＵＩ処理が継続される。
【００６２】
ダークサイドに送るための対話を行うユニット（send-to-dark-side interaction unit）
多くのシナリオでは、ユーザは、オブジェクトを曲面ディスプレイの他方の側に配置することを望むことがある。これは、ユーザが曲面ディスプレイの反対側に立っている見る人と協同している場合に、よくありがちなことである。ユーザは、オブジェクトを他方の側に単純にドラッグすることもできるが、この動作は、広い範囲にわたる身体的な移動を伴うので、しばしば繰り返される場合には面倒になる。ダークサイドに送るためのメカニズムは、ユーザの届く範囲を効果的にさらに拡大することによって、この動作を容易にすることができる。
【００６３】
図８Ａは、ダークサイドに送るための対話を行うユニットのための例示的なメカニズム８００Ａを示している。一般に、ユーザがより大きな接触（例えば平手）を用いてオブジェクトにタッチし、所定の時間間隔（例えば１秒）にわたって待ち続けた場合、タッチされたオブジェクトは、曲面ディスプレイ（例えば球面ディスプレイ）の他方の側にワープ移動される。図示されるように、ダークサイドに送るためのメカニズム８００Ａは、曲面ディスプレイ１０２と、オブジェクト１０４と、メンバ１０６と、２つの軌道８０４ａ、８０４ｂとを含む。
【００６４】
（図の上段３分の１の）部分（ａ）は、オブジェクト１０４が表示される初期位置を表す。（図の中段３分の１の）部分（ｂ）は、ダークサイドに送るための対話の動作フェーズを表す。部分（ｃ）は、オブジェクト１０４の最終位置を表す。部分（ｂ）を参照すると、「明るい側」は、曲面ディスプレイ１０２のユーザに近い方の側であると見なされ、平面８０２の左側にあたる。「ダークサイド」は、曲面ディスプレイ１０２のユーザから遠い方の側であり、少なくとも部分的にユーザから見通しがきかない。「ダークサイド」は、平面８０２の右側にあたる。
【００６５】
ダークサイドに送るための対話は、ユーザが、オブジェクト１０４を明示的にワープ移動させて、オブジェクト１０４を曲面ディスプレイ１０２の他方の側に「瞬間的に」（すなわち手動のドラッグを行わずに）送ることを可能にする。（部分（ｂ）に示されるように）ダークサイドに送るための動作を実行するために、ユーザは、相対的に大きなメンバ１０６（例えば平らな掌）をオブジェクト１０４の上に置き、所定の期間にわたって待つ。その後、オブジェクト１０４は、平面８０２を横断してワープ移動する。例えば、オブジェクト１０４は、（例えば緯度を維持して）他の半球上の対向する鏡像の位置に、軌道８０４ａに沿ってワープ移動することができる。この軌道８０４ａは、球の頂点と底点を通過する平面８０２の向こう側に、オブジェクト１０４の位置を反映させる。あるいはオブジェクト１０４は、（例えば緯度を変化させて）直接的に曲面ディスプレイ１０２の反対点に、軌道８０４ｂに沿ってワープ移動することができる。軌道８０４ｂをたどる場合、オブジェクト１０４の位置は、（例えば平面８０２を通過して）左半球と右半球の間で切り換わるばかりでなく、（例えば赤道面を通過して）上半球と下半球の間でも切り換わる。
【００６６】
ダークサイドに送るための機能を用いる場合、ユーザは、オブジェクトを小刻みに動かす必要がなく、その最終的な行き先を推測する必要もない。代わりに、ユーザは、最初に（明るい側の）現在の半球においてオブジェクトの位置を操作し、次にダークサイドに送るためのメカニズムをアクティブにすることによって、（ダークサイドの）オブジェクトが出現する場所を明示的に制御することができる。表示オブジェクトについて所定の方向付け（例えば「上」方向）の維持を保証できる自動回転機能がアクティブにされた場合、ダークサイドに送るための対話は、よりユーザフレンドリな結果をもたらすことができることに留意されたい。自動回転挙動は、アクティブにされた場合、オブジェクトが他方の半球に上下逆さまになって到着し、その結果、再方向付けが必要になることがないようにする。自動回転挙動については、本出願と同日出願の、本件出願人と同じ譲受人に譲渡された、Ｂｅｎｋｏ他の「Touch Interaction with a Curved Display」と題する特許文献１において説明されている。
【００６７】
図８Ｂは、ダークサイドに送るための対話を行う技法のための方法の一例を説明するフロー図８００Ｂである。フロー図８００Ｂは、６つのブロック８５２〜８６２を含む。例示的な実施形態の場合、ブロック８５２において、（第１のタッチ接触基準に関して）オブジェクト上にタッチ接触が存在するかどうかがチェックされる。存在する場合、ブロック８５４において、（第２のタッチ接触基準に関して）タッチ接触が事前定義されたサイズ閾値を満たすかどうかがチェックされる。事前定義されたサイズ閾値は、例えば、「単に」指１本または２本の接触ではなく、メンバ１０６による掌または手全体の接触を表すのに十分な相対的に大きなサイズに設定することができる。
【００６８】
（ブロック８５４において）事前定義されたサイズ閾値を満たすタッチ接触が検出された場合、ブロック８５６において、（第３のタッチ接触基準に関して）タッチ接触が事前定義された閾値以内で静的であるかどうかがチェックされる。言い換えると、タッチ接触位置および／またはサイズが事前定義された閾値以内で変動がないことを検証することができる。静的である場合、ブロック８５８において、（例えば、オブジェクト接触、事前定義されたサイズ、および静止状態についての）第１、第２、および第３のタッチ接触基準が、事前定義された時間閾値にわたって満たされるかどうかがチェックされる。例としてのみ挙げると、事前定義された時間閾値は、１秒とすることができる。
【００６９】
（ブロック８５８において）タッチ接触基準が、事前定義された時間閾値にわたって満たされたことが決定されると、ブロック８６０において、オブジェクトが曲面ディスプレイの他方の側にワープ移動される。オブジェクト１０４のワープ移動は、例えば、軌道８０４ａ、軌道８０４ｂ、または平面８０２を通過する別の軌道をたどることができる。ブロック８５２、８５４、８５６、またはブロック８５８におけるチェックのいずれかが否定的であるか、またはブロック８６０の動作を実施した後、ブロック８６２において、ＵＩ処理が継続される。継続されるＵＩ処理は、本明細書で説明される技法または他のＵＩ関連処理のいずれかについてのものとすることができる。
【００７０】
プロキシ表現によりオブジェクトの表現および操作を行うユニット（object representation and manipulation by proxy representation unit）
操作ユーザが、オブジェクトを曲面ディスプレイの他方の側の見る人に提示したい場合、ダークサイドに送るためのメカニズムを利用することができる。しかし、オブジェクトがワープ移動された後も、操作ユーザが、今では曲面ディスプレイの他方の側にあるオブジェクトと対話し続けることを望むことがある。この機能は、プロキシ表現によりオブジェクトの表現および操作を行う対話技法によって実現することができる。プロキシ表現の操作は、実際の対応するオブジェクトに反映させることができる。
【００７１】
図９Ａは、プロキシ表現によりオブジェクトの表現および操作を行うユニットのための例示的なメカニズム９００Ａを示している。図示されるように、プロキシ表現によりオブジェクトの表現および操作を行うメカニズム９００Ａは、曲面ディスプレイ１０２と、オブジェクト１０４と、１つまたは複数のメンバ１０６と、プロキシ表現９０２とを含む。プロキシ表現９０２は、オブジェクト１０４に対応する。一般に、（「シャドウオブジェクト」という別名をもつ）プロキシ表現９０２は、曲面ディスプレイ１０２の他方の側にある届きづらいオブジェクト１０４との対話を容易にする。これは、例えば、１人の人が、曲面ディスプレイの他方の側で人々にオブジェクトを表示し、それを操作することを望む場合に、使用することができる。図９Ａには、ただ１つのプロキシ表現９０２と対応するオブジェクト１０４が示されているにすぎないが、複数の対応するオブジェクトに対して、複数のプロキシ表現を同時にアクティブにすることもできる。
【００７２】
したがって、曲面ディスプレイの他方の側のオブジェクトとの対話を可能にするため、それらのオブジェクトのプロキシ表現を、（例えば、実際のオブジェクトの位置とは反対の）近い側に提供することができる。球面ディスプレイ上に示される写真の集まりが、例として説明される。各写真は、一方の半球からだけ見えることがあるが、他方の半球上で対応するプロキシ表現を使用して、現在は見えないおよび／または届きにくい、それらのオブジェクトと対話することができる。
【００７３】
例示的な実施形態の場合、操作は、ドラッグ移動、リサイジング、スケーリングまたは比例調整、および一番上にくる写真の変更などを含むことができるが、それらに限定されない。オブジェクトの内容に直接的に実行できる操作も、プロキシ表現を介して可能にすることができる。例えば、写真は、明るさまたはコントラストを変化させること、赤目現象（red eye）を低減させること、汎用的な修正機能をアクティブにすること、および別の写真に切り換えることなどによって、変更することができる。
【００７４】
上述された「ダークサイドに送るための」対話を実行することによって、本当のオブジェクトとプロキシ表現の位置を、個別にまたはまとめて、「即座に」入れ換えることができる。見える側のオブジェクト１０４は、普通に描画されるが、プロキシ表現９０２は、別の形式で（例えば、メカニズム９００Ａに示されるような線でつながれた円の列によって）描画することができる。代替的な形式は、アウトライン、ワイヤフレーム、グレイスケール、半透明、より暗い画像、低コントラスト画像、アイコン表現、およびそれらの組み合わせなどを含むが、それらに限定されない。さらに、プロキシ表現９０２は、（例えば、色違いのフレーム、画像またはフレーム上にインジケータアイコンを添えるなどして）実際の対応するオブジェクト１０４と同様または同じに描画することもできる。
【００７５】
ユーザの視点からは、完全な実際のオブジェクトと、隠れオブジェクトのシャドウプロキシ表現の両方を見ることができる。これは、それらの届きにくいオブジェクトにアクセスし、操作することを可能にする。どの操作が実行されているのかについての視覚的表示を見る人に提供するために、プロキシ表現を使用して、見える側に、実際に表示されるオブジェクトに加えて、ユーザの手および／またはタッチの表現を描画することもできる。
【００７６】
直感的に、プロキシ表現を提供することは、対話を行う２つの面を有することであると考えることができる。第１は、１次的な面であり、実際に見えるオブジェクトを有する面である。第２は、仮想的な２次的な面、「ダークサイド」であり、プロキシ表現を含む。ユーザには、面の個々のオブジェクトおよび全体を入れ換える能力を与えることができる。２次的な面のオブジェクトは、対話における副次的な役割を強調するために、（上記したような）簡略化された形式で描画することができる。
【００７７】
さらに、ユーザは、ダークサイドと比較して、見える側のオブジェクトの重要度を調整することができる。例えば、ユーザは、両方の側に等しい重要度を与えて、それによって、オブジェクトが等しい重みで描画されることを望むことができる。または、ユーザは、今現在のタスクに応じて、明るい側またはダークサイドを強調することもできる。重要度が異なるレベルにあるオブジェクトの視覚的表現を異なるように描画する概念は、マルチレイヤ面にも適用可能である。
【００７８】
図９Ｂは、プロキシ表現によりオブジェクトの表現および操作を行う技法のための方法の一例を説明するフロー図９００Ｂである。フロー図９００Ｂは、６つのブロック９５２〜９６２を含む。例示的な実施形態の場合、ブロック９５２において、対応するオブジェクトのプロキシ表現が表示される。例えば、対応するオブジェクト１０４に対して、曲面ディスプレイ１０２の反対側に、プロキシ表現９０２を表示することができる。
【００７９】
ブロック９５４において、プロキシ表現が操作されたかどうかが検出される。例えば、プロキシ表現９０２が、１つまたは複数のメンバ１０６による少なくとも１つの操作を受けたかどうかを検出することができる。操作を受けた場合、ブロック９５６において、プロキシ表現の操作が、対応するオブジェクトに反映される。例えば、メンバ１０６がプロキシ表現９０２をリサイジングした場合、対応するオブジェクト１０４をしかるべくリサイジングすることができる。
【００８０】
（ブロック９５４において）プロキシ表現操作が検出されない場合、またはブロック９５６の動作の実行後、ブロック９５８の検出動作が実行される。ブロック９５８において、ダークサイドに送るための対話がアクティブにされたかどうかが検出される。例示的なダークサイドに送るための対話は、図８Ａおよび図８Ｂを特に参照して説明された。検出された場合、ブロック９６０において、プロキシ表現と対応するオブジェクトの位置が入れ換えられる。検出されない場合、ブロック９６２において、ユーザインタフェース処理を継続することができる。
【００８１】
図１０は、曲面ディスプレイを用いたタッチ対話のための実施形態に使用できる例示的なデバイス３００を示すブロック図１０００である。図示されるように、ブロック図１０００は、２つのデバイス３００ａ、３００ｂと、人・デバイス間インタフェース機器１０１２と、１つまたは複数のネットワーク１００２とを含む。デバイス３００ａを用いて明示的に示されるように、各デバイス３００は、１つまたは複数の入出力インタフェース１００４と、少なくとも１つのプロセッサ１００６と、１つまたは複数の媒体１００８とを含むことができる。媒体１００８は、プロセッサ実行可能命令１０１０を含むことができる。
【００８２】
例示的な実施形態の場合、デバイス３００は、任意の処理可能デバイスを表すことができる。例示的なデバイス３００は、パーソナルコンピュータまたはサーバコンピュータ、ハンドヘルド電子機器または他のポータブル電子機器、娯楽用機器、媒体提示ツールまたは媒体連携ツール、ネットワークコンポーネント、およびそれらの何らかの組み合わせ等を含む。デバイス３００ａとデバイス３００ｂは、ネットワーク１００２を介して通信することができる。ネットワーク１００２は、限定することなく例を挙げると、インターネット、イントラネット、イーサネット（登録商標）、公衆ネットワーク、私設ネットワーク、ケーブルネットワーク、ＤＳＬ（デジタル加入者回線）ネットワーク、電話ネットワーク、ワイヤレスネットワーク、およびそれらの何らかの組み合わせ等とすることができる。人・デバイス間インタフェース機器１０１２は、キーボード／キーパッド、タッチスクリーン、リモコン、マウスまたは他のグラフィカルポインティングデバイス、（例えば図１および図３の）曲面ディスプレイ１０２、（例えば図３の）表示コンポーネント３０４などとすることができる。人・デバイス間インタフェース機器１０１２は、デバイス３００ａと一体化することができ、またはデバイス３００ａから分離することもできる。
【００８３】
Ｉ／Ｏインタフェース１００４は、（ｉ）ネットワーク１００２を介して監視および／または通信を行うためのネットワークインタフェース、（ｉｉ）表示スクリーン上に情報を表示するための表示デバイスインタフェース、並びに（ｉｉｉ）１つまたは複数の人・デバイス間インタフェースなどを含むことができる。（ｉ）のネットワークインタフェースの例は、ネットワークカード、モデム、１つまたは複数のポート、ネットワーク通信スタック、および無線などを含む。（ｉｉ）の表示デバイスインタフェースの例は、グラフィックスドライバ、グラフィックスカード、およびスクリーンまたはモニタのためのハードウェアドライバまたはソフトウェアドライバなどを含む。（ｉｉｉ）の人・デバイス間インタフェースの例は、人・デバイス間インタフェース機器１０１２に有線または無線によって伝達を行う人・デバイス間インタフェースを含む。与えられたインタフェース（例えば曲面ディスプレイ１０２）は、表示デバイスインタフェースおよび人・デバイス間インタフェースの両方として機能することができる。
【００８４】
プロセッサ１００６は、任意の利用可能な処理可能技術を使用して実施することができ、汎用プロセッサまたは専用プロセッサとして実現することができる。例は、ＣＰＵ（中央演算処理装置）、マイクロプロセッサ、コントローラ、ＧＰＵ（グラフィックス処理装置）、およびそれらの派生物または組み合わせ等を含む。媒体１００８は、デバイス３００の部分として含まれる、および／またはデバイス３００によってアクセス可能な任意の利用可能な媒体とすることができる。媒体１００８は、揮発性媒体および不揮発性媒体、着脱可能媒体および着脱不能媒体、保存媒体および伝送媒体（例えば、無線通信チャネルまたは有線通信チャネル）、ハードコード論理媒体、およびそれらの組み合わせなどを含む。媒体１００８は、製造物および／または複合物として具現される場合は、有形な媒体である。
【００８５】
一般に、プロセッサ１００６は、プロセッサ実行可能命令１０１０などのプロセッサ実行可能命令を遂行すること、実行すること、および／または他の方法で達成することが可能である。媒体１００８は、１つまたは複数のプロセッサアクセス可能媒体から成る。換言すると、媒体１００８は、デバイス３００による機能の実行を達成するために、プロセッサ１００６によって実行可能である、プロセッサ実行可能命令１０１０を含むことができる。プロセッサ実行可能命令１０１０は、ソフトウェア、ファームウェア、ハードウェア、固定論理回路、およびそれらの何らかの組み合わせ等として具現することができる。
【００８６】
したがって、曲面ディスプレイを用いたタッチ対話の実現は、プロセッサ実行可能命令という一般的な文脈において説明することができる。プロセッサ実行可能命令は、特定のタスクを実行および／もしくは使用可能にする、並びに／または特定の抽象データ型を実施する、ルーチン、プログラム、アプリケーション、コーディング、モジュール、プロトコル、オブジェクト、コンポーネント、メタデータおよびその定義、データ構造、ＡＰＩなどを含むことができる。プロセッサ実行可能命令は、別個の記録媒体内に配置することができ、異なるプロセッサによって実行することができ、および／または様々な伝送媒体を介して伝播すること、もしくは様々な伝送媒体上に存在することができる。
【００８７】
具体的に図示されるように、媒体１００８は、少なくともプロセッサ実行可能命令１０１０を含む。プロセッサ実行可能命令１０１０は、例えば、（図３の）処理ユニット３１０、またはその任意の部分（例えば対話ユニット３０２）を含むことができる。一般に、プロセッサ実行可能命令１０１０は、プロセッサ１００６によって実行された場合に、デバイス３００が、本明細書で説明された様々な機能を実行することを可能にする。そのような機能は、限定することなく、例を挙げると、（図４、図６Ｂ、図７Ｂ、図８Ｂ、および図９Ｂの）フロー図４００、６００Ｂ、７００Ｂ、８００Ｂ、９００Ｂに示された機能、並びに様々なブロック図に示された特徴およびメカニズムに関連する機能に加え、それらの組み合わせ等も含む。
【００８８】
図１および図３〜図１０のデバイス、動作、特徴、機能、方法、モジュール、データ構造、技法、コンポーネントなどが、複数のブロックおよび他の要素に分割される図において説明されている。しかし、図１および図３〜図１０を説明し、および／または示す、順序、相互接続、相互関係、レイアウトなどは、限定として解釈されることを意図しておらず、曲面ディスプレイを用いたタッチ対話のための１つまたは複数のシステム、方法、デバイス、媒体、装置、構成などを実施するために、多くの方法で、任意の数のブロックおよび／または他の要素を変更し、組み合わせ、再構成し、増強し、省略することなどができる。
【００８９】
システム、方法、デバイス、媒体、装置、構成、および他の例示的な実施形態が、構造的特徴、論理的特徴、アルゴリズム的特徴、および／または機能的特徴に固有の言葉で説明されたが、添付の特許請求の範囲において確定される本発明は、上述された特定の機能または動作に必ずしも限定されないことを理解されたい。むしろ、上述された特定の機能および動作は、特許請求される本発明を実施する例示的な形態として開示されている。
【特許請求の範囲】
【請求項１】
曲面ディスプレイを用いたタッチ対話のための、デバイスによって実行される方法であって、
前記方法は、
タッチ入力を検出するために、曲面ディスプレイ（１０２）を監視するステップ（４０２）と、
前記監視するステップに基づいて、タッチ入力が検出された場合（４０４）、
前記タッチ入力の１つまたは複数の位置を決定するステップ（４０６）と、
前記タッチ入力の前記決定された１つまたは複数の位置に応答して、少なくとも１つのＵＩ（ユーザインタフェース）機能を実施するステップ（４０８）と
を含むことを特徴とする方法。
【請求項２】
前記実施するステップが、
回転ベースのメカニズムを使用して、前記曲面ディスプレイ上でオブジェクトを移動させるステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記実施するステップが、
オブジェクト上でのタッチ接触の検出に応答して、前記タッチ接触が事前定義された時間閾値にわたって事前定義されたサイズ閾値を満たす場合に、前記曲面ディスプレイの一方の側に表示された前記オブジェクトを前記曲面ディスプレイの別の側にワープ移動させるステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記実施するステップが、
２つのタッチ接触の検出に応答して、前記２つのタッチ接触が事前定義されたサイズ閾値を満たし、固定点を中心にして実質的に対称である場合に、対話機能を起動するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記実施するステップが、
対応するオブジェクトのプロキシ表現を表示するステップであって、前記プロキシ表現と前記対応するオブジェクトとは、前記曲面ディスプレイの異なる側に提示される、ステップと、
前記プロキシ表現のユーザ操作を前記対応するオブジェクトにおいて反映させるステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記実施するステップが、
対応するオブジェクトのプロキシ表現を表示するステップであって、前記プロキシ表現と前記対応するオブジェクトとは、前記曲面ディスプレイの異なる側に提示される、ステップと、
前記プロキシ表現または前記対応するオブジェクトに関して、ダークサイドに送るための対話がアクティブにされたかどうかを検出するステップと、
ダークサイドに送るための対話がアクティブにされたことが検出された場合、前記プロキシ表現と前記対応するオブジェクトの位置を入れ換えるステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
曲面ディスプレイを用いたタッチ対話を可能にするデバイス（３００）であって、
前記デバイスは、
曲面ディスプレイ（１０２）と、
検出ユニット（３１４）および対話ユニット（３０２）を含む処理ユニット（３１０）であって、前記検出ユニットは、タッチ入力を検出するために（４０４）、前記曲面ディスプレイを監視し（４０２）、前記タッチ入力の１つまたは複数の位置を決定し（４０６）、前記対話ユニットは、前記タッチ入力の前記決定された１つまたは複数の位置に応答して、少なくとも１つのＵＩ（ユーザインタフェース）機能を実施する（４０８）、処理ユニットと
を含むことを特徴とするデバイス。
【請求項８】
前記曲面ディスプレイは、球、半球、立方体、または円筒であることを特徴とする請求項７に記載のデバイス。
【請求項９】
投影コンポーネントおよび検出コンポーネントを含む表示コンポーネントであって、前記投影コンポーネントは、前記曲面ディスプレイ上に画像を投影するように適合され、前記検出コンポーネントは、前記曲面ディスプレイ上において前記タッチ入力の前記１つまたは複数の位置を検出するように適合される、表示コンポーネントをさらに含み、
前記曲面ディスプレイは、内側および外側を有し、オブジェクトは、前記曲面ディスプレイの前記外側から見えるように表示され、
前記処理ユニットは、前記実施された少なくとも１つのＵＩ機能に従ってオブジェクトを表示するよう、前記投影コンポーネントに命令する、投影ユニットをさらに含む
ことを特徴とする請求項７に記載のデバイス。
【請求項１０】
前記検出ユニットは、前記タッチ入力のサイズを検出し、前記検出されたタッチ入力の前記サイズを所定のサイズ閾値と比較することによって、前記曲面ディスプレイにおいて、指サイズのタッチ入力が発生しているのか、それとも掌サイズのタッチ入力が発生しているのかを検出し、前記対話ユニットは、前記検出されたタッチ入力が指サイズか、それとも掌サイズかに基づいて、前記少なくとも１つのＵＩ機能を実施することを特徴とする請求項７に記載のデバイス。
【請求項１１】
前記対話ユニットは、ドラッグが開始する起点とドラッグが終了する終点の間の移動の円弧を表すように、ドラッグされるオブジェクトを回転させることによって、前記曲面ディスプレイ上でオブジェクト移動を可能にする、回転ベースのドラッグユニットを含むことを特徴とする請求項７に記載のデバイス。
【請求項１２】
前記対話ユニットは、事前定義された時間閾値にわたって事前定義されたサイズ閾値を満たすオブジェクト上におけるタッチ接触の検出に応答して、前記曲面ディスプレイの一方の側から前記曲面ディスプレイの別の側にオブジェクトをワープ移動させる、ダークサイドに送るための対話を行うユニットを含むことを特徴とする請求項７に記載のデバイス。
【請求項１３】
前記曲面ディスプレイは、球または半球であり、前記対話ユニットは、事前定義されたサイズ閾値を満たし、前記曲面ディスプレイの固定点を中心にして実質的に対称な少なくとも２つのタッチ接触の検出に応答して、メニューまたはスイッチモードを提示する、水晶玉占いのジェスチャで起動を行うユニットを含み、前記水晶玉占いのジェスチャで起動を行うユニットは、前記メニューを定位置に回転させることによって、前記メニュー上の選択肢の選択を可能にすることを特徴とする請求項７に記載のデバイス。
【請求項１４】
前記対話ユニットは、対応するオブジェクトのプロキシ表現を表示し、前記プロキシ表現のユーザ操作によって前記対応するオブジェクトを操作することを可能にする、プロキシ表現によりオブジェクトの表現および操作を行うユニットを含むことを特徴とする請求項７に記載のデバイス。
【請求項１５】
前記プロキシ表現の位置と前記対応するオブジェクトの位置は、プロキシ表現とそれに対応するオブジェクトを前記曲面ディスプレイを横断してワープ移動させる、ダークサイドに送るための対話を行うメカニズムをアクティブにしたときに、入れ換えることができることを特徴とする請求項７に記載のデバイス。
【請求項１】
曲面ディスプレイを用いたタッチ対話のための、デバイスによって実行される方法であって、
前記方法は、
タッチ入力を検出するために、曲面ディスプレイ（１０２）を監視するステップ（４０２）と、
前記監視するステップに基づいて、タッチ入力が検出された場合（４０４）、
前記タッチ入力の１つまたは複数の位置を決定するステップ（４０６）と、
前記タッチ入力の前記決定された１つまたは複数の位置に応答して、少なくとも１つのＵＩ（ユーザインタフェース）機能を実施するステップ（４０８）と
を含むことを特徴とする方法。
【請求項２】
前記実施するステップが、
回転ベースのメカニズムを使用して、前記曲面ディスプレイ上でオブジェクトを移動させるステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記実施するステップが、
オブジェクト上でのタッチ接触の検出に応答して、前記タッチ接触が事前定義された時間閾値にわたって事前定義されたサイズ閾値を満たす場合に、前記曲面ディスプレイの一方の側に表示された前記オブジェクトを前記曲面ディスプレイの別の側にワープ移動させるステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記実施するステップが、
２つのタッチ接触の検出に応答して、前記２つのタッチ接触が事前定義されたサイズ閾値を満たし、固定点を中心にして実質的に対称である場合に、対話機能を起動するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記実施するステップが、
対応するオブジェクトのプロキシ表現を表示するステップであって、前記プロキシ表現と前記対応するオブジェクトとは、前記曲面ディスプレイの異なる側に提示される、ステップと、
前記プロキシ表現のユーザ操作を前記対応するオブジェクトにおいて反映させるステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記実施するステップが、
対応するオブジェクトのプロキシ表現を表示するステップであって、前記プロキシ表現と前記対応するオブジェクトとは、前記曲面ディスプレイの異なる側に提示される、ステップと、
前記プロキシ表現または前記対応するオブジェクトに関して、ダークサイドに送るための対話がアクティブにされたかどうかを検出するステップと、
ダークサイドに送るための対話がアクティブにされたことが検出された場合、前記プロキシ表現と前記対応するオブジェクトの位置を入れ換えるステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
曲面ディスプレイを用いたタッチ対話を可能にするデバイス（３００）であって、
前記デバイスは、
曲面ディスプレイ（１０２）と、
検出ユニット（３１４）および対話ユニット（３０２）を含む処理ユニット（３１０）であって、前記検出ユニットは、タッチ入力を検出するために（４０４）、前記曲面ディスプレイを監視し（４０２）、前記タッチ入力の１つまたは複数の位置を決定し（４０６）、前記対話ユニットは、前記タッチ入力の前記決定された１つまたは複数の位置に応答して、少なくとも１つのＵＩ（ユーザインタフェース）機能を実施する（４０８）、処理ユニットと
を含むことを特徴とするデバイス。
【請求項８】
前記曲面ディスプレイは、球、半球、立方体、または円筒であることを特徴とする請求項７に記載のデバイス。
【請求項９】
投影コンポーネントおよび検出コンポーネントを含む表示コンポーネントであって、前記投影コンポーネントは、前記曲面ディスプレイ上に画像を投影するように適合され、前記検出コンポーネントは、前記曲面ディスプレイ上において前記タッチ入力の前記１つまたは複数の位置を検出するように適合される、表示コンポーネントをさらに含み、
前記曲面ディスプレイは、内側および外側を有し、オブジェクトは、前記曲面ディスプレイの前記外側から見えるように表示され、
前記処理ユニットは、前記実施された少なくとも１つのＵＩ機能に従ってオブジェクトを表示するよう、前記投影コンポーネントに命令する、投影ユニットをさらに含む
ことを特徴とする請求項７に記載のデバイス。
【請求項１０】
前記検出ユニットは、前記タッチ入力のサイズを検出し、前記検出されたタッチ入力の前記サイズを所定のサイズ閾値と比較することによって、前記曲面ディスプレイにおいて、指サイズのタッチ入力が発生しているのか、それとも掌サイズのタッチ入力が発生しているのかを検出し、前記対話ユニットは、前記検出されたタッチ入力が指サイズか、それとも掌サイズかに基づいて、前記少なくとも１つのＵＩ機能を実施することを特徴とする請求項７に記載のデバイス。
【請求項１１】
前記対話ユニットは、ドラッグが開始する起点とドラッグが終了する終点の間の移動の円弧を表すように、ドラッグされるオブジェクトを回転させることによって、前記曲面ディスプレイ上でオブジェクト移動を可能にする、回転ベースのドラッグユニットを含むことを特徴とする請求項７に記載のデバイス。
【請求項１２】
前記対話ユニットは、事前定義された時間閾値にわたって事前定義されたサイズ閾値を満たすオブジェクト上におけるタッチ接触の検出に応答して、前記曲面ディスプレイの一方の側から前記曲面ディスプレイの別の側にオブジェクトをワープ移動させる、ダークサイドに送るための対話を行うユニットを含むことを特徴とする請求項７に記載のデバイス。
【請求項１３】
前記曲面ディスプレイは、球または半球であり、前記対話ユニットは、事前定義されたサイズ閾値を満たし、前記曲面ディスプレイの固定点を中心にして実質的に対称な少なくとも２つのタッチ接触の検出に応答して、メニューまたはスイッチモードを提示する、水晶玉占いのジェスチャで起動を行うユニットを含み、前記水晶玉占いのジェスチャで起動を行うユニットは、前記メニューを定位置に回転させることによって、前記メニュー上の選択肢の選択を可能にすることを特徴とする請求項７に記載のデバイス。
【請求項１４】
前記対話ユニットは、対応するオブジェクトのプロキシ表現を表示し、前記プロキシ表現のユーザ操作によって前記対応するオブジェクトを操作することを可能にする、プロキシ表現によりオブジェクトの表現および操作を行うユニットを含むことを特徴とする請求項７に記載のデバイス。
【請求項１５】
前記プロキシ表現の位置と前記対応するオブジェクトの位置は、プロキシ表現とそれに対応するオブジェクトを前記曲面ディスプレイを横断してワープ移動させる、ダークサイドに送るための対話を行うメカニズムをアクティブにしたときに、入れ換えることができることを特徴とする請求項７に記載のデバイス。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０】
【公表番号】特表２０１１−５２９２３３（Ｐ２０１１−５２９２３３Ａ）
【公表日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１１−５２０２２１（Ｐ２０１１−５２０２２１）
【出願日】平成２１年７月２４日（２００９．７．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０５１６５９
【国際公開番号】ＷＯ２０１０／０１１９０３
【国際公開日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
【公表日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２１年７月２４日（２００９．７．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０５１６５９
【国際公開番号】ＷＯ２０１０／０１１９０３
【国際公開日】平成２２年１月２８日（２０１０．１．２８）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
[ Back to top ]