多機能ハンドヘルド装置
【課題】多機能ハンドヘルド装置がどのように用いられるかに基づいて、ユーザ入力を構成することができる多機能ハンドヘルド装置を提供する。
【解決手段】好ましくは、多機能ハンドヘルド装置は、せいぜい少数の物理的ボタン、キーあるいはスイッチを有し、その表示サイズを実質的に増加させることができる。また、多機能ハンドヘルド装置は、タッチ感知スクリーン、タッチ感知ハウジング、ディスプレイアクチュエータ、音声入力などを含む種々の入力機構を統合する。さらに、多機能ハンドヘルド装置は、該装値の複数の機能のそれぞれにユーザ設定可能なGUIを統合する。
【解決手段】好ましくは、多機能ハンドヘルド装置は、せいぜい少数の物理的ボタン、キーあるいはスイッチを有し、その表示サイズを実質的に増加させることができる。また、多機能ハンドヘルド装置は、タッチ感知スクリーン、タッチ感知ハウジング、ディスプレイアクチュエータ、音声入力などを含む種々の入力機構を統合する。さらに、多機能ハンドヘルド装置は、該装値の複数の機能のそれぞれにユーザ設定可能なGUIを統合する。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、(1)2005年3月4日に出願され、「多機能ハンドヘルド装置」と題する米国仮特許出願第60/658,777号、および(2)2005年3月16日に出願され、「多機能ハンドヘルド装置」と題する米国仮特許出願第60/663,345号に関連し、これらの出願の優先権を主張する。これらの出願はそれぞれ、参照により本出願に組み込まれる。
【0002】
また、本出願は、以下の出願、すなわち、(1)2002年7月1日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/188,182号、(2)2003年11月25日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/722,948号、(3)2003年8月18日に出願され、「追加機能を有するモバイルタッチパッド」と題する米国特許出願第10/643,256号、(4)2003年9月2日に出願され、「両手用マウス」と題する米国特許出願第10/654,108号、(5)2004年5月6日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第10/840,862号、(6)2004年7月30日に出願され、「タッチ感知入力装置用ジェスチャー」と題する米国特許出願第10/903,964号、(7)2005年1月18日に出願され、「タッチ感知入力装置用モードベースグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号、(8)2005年2月11日に出願され、「ディスプレイアクチュエータ」と題する米国特許出願第11/057,050号、および(9)2005年4月26日に出願され、「多タッチ感知装置を有するハンドヘルド電子機器」と題する米国特許出願第11/115,539号に関連する。これらの出願はすべて参照により本出願に組み込まれる。
【背景技術】
【0003】
現在、多くの種類のハンドヘルド電子機器が存在する。各ハンドヘルド電子機器は、ある種のユーザインタフェースを利用する。そのユーザインタフェースは、典型的に、液晶ディスプレイ(LCD)などのディスプレイの形式の出力装置と、1以上の入力装置とを含む。この入力装置は、機械的に作動されるか(例えば、スイッチ、ボタン、キー、ダイアル、ジョイスティック、ジョイパッド)、電気的に作動される(例えば、タッチパッドやタッチスクリーン)。ディスプレイは、典型的に、テキストやグラフィックなどの視覚情報を提供するよう構成される。入力装置は、典型的に、電子機器において、コマンドを発行したり、選択したり、カーソルまたはセレクタを移動したりするような操作を実行するよう構成される。これらの周知の装置のそれぞれは、ハンドヘルド電子機器を設計するときに考慮されるべき大きさおよび形状の制限、コスト、機能性、複雑さなどのような考慮すべき事項を有する。ほとんどの場合、ユーザインタフェースは、ディスプレイの容易な視聴および入力装置の容易な操作のために、ハンドヘルド装置の表面(または前面)上に位置する。
【0004】
図1A〜図1Fは、携帯電話10A(図1A)、PDA10B(図1B)、メディアプレーヤ10C(図1C)、遠隔制御器10D(図1D)、カメラ10E(図1E)およびGPSモジュール10F(図1F)を一例として含む種々のハンドヘルド電子機器の図である。これらの各装置10では、ディスプレイ12は、典型的に、電子機器10の第1領域に位置する。このディスプレイ12は、電子機器10のハウジング内に固定され、ハウジング内の開口を介して見られ得る。また、これらの各装置は、1以上の入力装置14を含む。入力装置14は、典型的に、ディスプレイ12の次の電子機器10の第2領域に位置する。
【0005】
詳細に述べると、携帯電話10Aは、典型的に、文字またはグラフィックディスプレイなどのディスプレイ12と、数字キーパッドやいくつかの場合にはナビゲーションパッドなどの入力装置14とを備える。PDA10Bは、典型的に、グラフィカルディスプレイなどのディスプレイ12と、スタイラスベースの抵抗性タッチスクリーンおよびボタンなどの入力装置14とを備える。メディアプレーヤ10Cは、典型的に、文字またはグラフィックディスプレイなどのディスプレイ12と、ボタンまたはホイールなどの入力装置14とを備える。カリフォルニア州クパチーノのアップルコンピュータInc.により製造されたiPod(登録商標)メディアプレーヤは、ディスプレイと、該ディスプレイの次に配置される入力装置とを備えるメディアプレーヤの一例である。遠隔制御器10Dは、典型的に、キーパッドなどの入力装置14を含み、文字ディスプレイ12を有しても有さなくてもよい。GPSモジュール10Fは、典型的に、グラフィックディスプレイなどのディスプレイ12と、ボタンやある場合にはジョイパッドなどの入力装置14とを備える。
【0006】
最近、伝統的に別々のハンドヘルド電子機器が限定的な方法で組み合わされ始めた。例えば、携帯電話10AはPDA10Bと組み合わされた。遭遇した1つの問題は、装置への入力方法に関するものである。これらの装置はそれぞれ、その装置に入力を供給するための特定の入力機構セットを有する。これらの入力機構のいくつかはすべての装置で一般的であるが(例えば、電源ボタン)、その他は一般的ではない。一般的でない入力機構は、典型的に、装置の特定の機能に専用のものである。例として、PDAは、典型的に、4つの専用ボタンを含むが、携帯電話は、典型的に、数値キーパッドと、少なくとも2つの専用ボタンとを含む。
【発明の概要】
【発明が解決しようとする課題】
【0007】
そのため、各装置の専用入力に不利に影響することなく、限られた入力装置を有する併合装置を設計することは挑戦である。認識されるように、多くの入力機構を有するハンドヘルド装置に負荷をかけ過ぎないことが好ましい。なぜならば、これにより、ユーザを混乱させるとともに、貴重のスペース、すなわち、「物的財産(real estate)」を塞いでしまう傾向にあるからである。ハンドヘルド装置の場合、それらが小さいサイズであるため、スペースは需要が大きい。ある点では、必要なボタンやスイッチなどのすべてを収容するための装置上のスペースが十分にない。これらのすべての装置がそれ自身の多くのスペースを典型的に塞いでしまうディスプレイを必要とすることを考慮すると、このことは特に当てはまる。あるレベルを超えて入力装置の数を増やすために、設計者はディスプレイのサイズを小さくしなければならないだろう。しかしながら、典型的にユーザができる限り大きいディスプレイを望むので、このことは、しばしばユーザに悪い印象を残してしまう。その代わりに、より多くの入力装置を収容するために、設計者は、装置のサイズを大きくすることを選択してもよい。片手での操作が困難となり、ある点では、装置のサイズがあまりに大きいためにもはやハンドヘルド装置とは考えられなくなるので、同じくこのこともしばしばユーザに悪い印象を残してしまう。
【0008】
そのため、この技術において必要とされるのは、多機能ハンドヘルド装置のために作動する改善されたユーザインタフェースである。
【課題を解決するための手段】
【0009】
多機能ハンドヘルド装置がどのように用いられるかに基づいて、ユーザ入力を構成することができる多機能ハンドヘルド装置を開示する。好ましくは、多機能ハンドヘルド装置は、そのディスプレイサイズを十分に大きくすることができるように、せいぜいわずかな物理的ボタン、キーまたはスイッチだけを有する。還元すれば、物理的ボタン、キーまたはスイッチを電子機器の前面から排除することによって、追加となる表面積は、大きいディスプレイのために利用可能となる。最終的には、この戦略により、実質的なフルスクリーンディスプレイを可能とするであろう。ここで用いられるように、フルスクリーンディスプレイは、電子機器の表面(例えば、前面)を使いつくし、あるいは少なくとも支配するディスプレイである。
【0010】
多機能ハンドヘルド装置の種々の実施形態は、図2〜図28を参照して以下に論じられる。しかしながら、当業者は、これらの図面に関してここで示される詳細な記述が模範的であり、網羅的ではないこと、およびこれらの実施形態に多くの変形が可能であることを認識するであろう。
【図面の簡単な説明】
【0011】
【図1】(a)〜(f)は種々の電子機器の図である。
【図2】多機能ハンドヘルド装置の簡略図である。
【図3】限定数の限定されたボタンを有する実質的にフルスクリーンのハンドヘルド装置の斜視図である。
【図4】少なくとも1つのボタンを有するハンドヘルド装置の正面図である。
【図5】標準領域および制御領域に分離されたGUIの図である。
【図6】標準領域および制御領域に分離されたGUIの図である。
【図7】標準領域および制御領域に分離されたGUIの図である。
【図8】標準領域および制御領域に分離されたGUIの図である。
【図9】PDA用の模範的なGUIを示す。
【図10】携帯電話用の模範的なGUIを示す。
【図11】メディアプレーヤ用の模範的なGUIを示す。
【図12】ビデオプレーヤ用の模範的なGUIを示す。
【図13】ゲームプレーヤ用の模範的なGUIを示す。
【図14】カメラ用の模範的なGUIを示す。
【図15】GPS用の模範的なGUIを示す。
【図16】ハンドトップ用の模範的なGUIを示す。
【図17】遠隔制御器用の模範的なGUIを示す。
【図18】多機能ハンドヘルド装置のメインメニュー用の模範的なGUIを示す。
【図19】力感知ディスプレイを組み込んだハンドヘルド装置の側断面図である。
【図20】タッチされたときにx、yおよびz成分を提供するために、タッチ感知装置と力感知装置とを組み合わせた入力装置を示す。
【図21】タッチスクリーンを備えるディスプレイと力感知機構とを組み合わせたI/O装置の側面図である。
【図22】入力装置の側面図である。
【図23】スクイーズ機能を含むハンドヘルド装置の側断面図である。
【図24】ハンドヘルド電子機器の側断面図である。
【図25】タッチ感知方法のブロック図である。
【図26】タッチ感知方法のブロック図である。
【図27A】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27B】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27C】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27D】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27E】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図28】模範的な多機能ハンドヘルド装置のブロック図である。
【発明を実施するための形態】
【0012】
本発明は、添付の図面に関連して以下の詳細な説明を参照することにより最もよく理解されるであろう。
【0013】
1.多機能性
電子機器の製造業者は、多機能装置を作るために、別々のハンドヘルド電子機器を組み合わせることについての利点を発見した。一つの多機能装置を持つことにより、ユーザは、複数の装置を持ち歩いたり、購入したり、維持したりすることで悩まされることはない。また、ユーザは実行可能な操作に制限されることはない。すなわち、ユーザは、他の方法で異なる装置の使用を必要とするであろう異なる操作を一つの装置で実行することができる。
【0014】
ここで用いられるように、用語「多機能の(multi-functional)」は、2つ以上の伝統的な装置の能力を一つの装置内に有する装置を定義するために用いられる。多機能装置は、例えば、以下の装置の機能性、すなわち、PDA、携帯電話、ミュージックプレーヤ、ビデオプレーヤ、ゲームプレーヤ、デジタルカメラ、ハンドトップ、インターネット端末、GPSおよび遠隔制御器の2以上の機能性を含む。一つの装置に追加される各新しい装置機能性のために、装置の複雑さおよびサイズは増加する傾向にある。そのため、ハンドヘルド装置では、典型的に、まだ装置の機能性を極大化しつつ、設置面積を小さくすることに対する警鈴と複雑さを低減することに対する警鈴との間のトレードオフがある。
【0015】
ある場合には、複数の装置を組み合わせることにより、余分なハードウェアコンポーネントをもたらすかもしれない。このような組み合わせにより、多数の異なる装置の機能性のために構成要素を用いることができる。他の場合には、あるハードウェアコンポーネントは各装置に対して別であり、そのため、追加のスペースおよび結合性が利用可能にされなければならない。また、典型的に、各装置の機能性は、それ自身のプログラミングあるいはアプリケーションソフトウェアを有し、そのため、多機能装置は、種々のソフトウェアコンポーネントのすべてを収容するのに十分なメモリを持つように設計されなければならない。
【0016】
パーソナル携帯情報機器(PDA)は、個人使用やビジネス使用のためのコンピュータ計算、情報ストレージおよび検索能力を提供するモバイルハンドヘルド装置である。PDAは、名前、住所、電話番号およびアポイントメントを別々に追跡することができる。また、PDAは、しばしば、ノートを取ったり、計算、ページング、データメッセージ送信および電子メールを実行したりすることもできる。また、PDAは、簡単なゲーム、ミュージックおよび他のメディアファイルをプレイする機能性を含んでもよい。PDAの例としては、パームパイロット(Palm Pilot)やブラックベリー(Blackberry)が含まれる。
【0017】
ほとんどのハンドヘルド装置のように、典型的に、PDAはディスプレイと種々の入力装置とを含む。入力装置は、手書き認識プログラムとともに実行するスタイラスおよびタッチスクリーンと、キーパッドと、ミニキーボードと、ナビゲーションパッドと、ソフトまたは固定機能ボタンとの少なくともいずれかを含んでもよい。
【0018】
携帯電話は、ユーザがセルラーネットワークを用いて他の電話に接続することを可能にする移動電話である。携帯電話は、典型的に、発話および受話のためのトランシーバと、ディスプレイを介してトラバースするナビゲーションパッドなどの制御部と、数字入力(およびある場合にはアルファベット入力)のためのキーパッドと、ソフトまたは固定機能ボタンとを含む。例えば、多くの携帯電話では、一つの固定機能ボタンが通話を開始するために用いられ、もう一つの固定機能ボタンが通話を終了するために用いられる。
【0019】
メディアプレーヤは多様な形式で提供されている。ミュージックプレーヤは、一般に音楽を格納し、処理し、出力するよう構成される。ミュージックプレーヤは、音楽の圧縮システムであるMP3またはAACフォーマットに基づくことができる。ミュージックプレーヤは、典型的に、マイクロプロセッサ、メモリ、ディスプレイ、オーディオジャック、データポートおよび再生制御部を含む。再生制御部は、典型的に、メニュー、再生/一時停止、次へ、前へ、ボリュームアップおよびボリュームダウンなどの機能を含む。ビデオプレーヤは、ほとんどの点でミュージックプレーヤと類似している。ある場合には、ビデオプレーヤは、DVDなどの取り外し可能な記憶メディアを受け入れるためのデータ記憶装置を含んでいてもよい。カリフォルニア州クパチーノのアップルコンピュータ社により製造されるiPod(登録商標)メディアプレーヤはメディアプレーヤの一例である。
【0020】
ハンドトップは、ラップトップ(ノートタイプ)に類似する汎用コンピュータであるが、より小さい形状因子である。典型的に、ハンドトップはディスプレイとフルキーボードとを含む。
【0021】
図2は、多機能ハンドヘルド装置100の簡略図である。多機能ハンドヘルド装置100は、少なくとも2つの装置102を一つの装置に統合している。各装置102は、ハードウェアコンポーネント104とソフトウェアコンポーネント106の両方を含み、それらは多機能ハンドヘルド装置100に統合される。多機能ハンドヘルド装置100が2つの装置のみに限定されず、実際にはあらゆる数の装置を統合してもよいことが指摘されるべきである。
【0022】
また、多機能ハンドヘルド装置100はスイッチ110を含む。このスイッチ110により、一装置操作モードから別の装置操作モードに多機能ハンドヘルド装置100を切り替えることができる。例えば、スイッチ110は、ユーザが携帯電話、メディアプレーヤおよびPDAの操作モードを循環させることを可能にしてもよい。特定の操作モードが選択されると、多機能ハンドヘルド装置100は選択された装置として機能する。例えば、選択された装置に関するプログラミングは、多機能ハンドヘルド装置100により使用のために活性化される。プログラミングは、ユーザによりなされた入力が使用中の装置に関係するように、選択された装置に基づいてユーザインタフェースを再構成することを含んでもよい。例えば、ソフトボタン、スイッチまたはダイアルと同様に、いずれかの物理的ボタン、スイッチまたはダイアルの機能は、選択された装置に対応するよう再構成され得る。
【0023】
しかしながら、多機能ハンドヘルド装置100の操作モードは、完全に独立している必要はない。多くの場合、多数の機能性が互いに相互作用することができることが望ましい。例えば、ユーザは、PDAでコンタクトを取りたい電話番号を検索し、ダイアルすべき電話番号を電話機能に渡せばよい。
【0024】
2.形状因子
ハンドヘルド装置の形状因子は、一般に、片手で容易に保持することができる装置である。典型的なハンドヘルド装置は、その装置の前面上部の小さいディスプレイと、装置の前面下部の入力制御部とを含む。さらに、そのハンドヘルド装置は、上面、下面および側面に制御部およびポートを含んでいてもよい。先行技術のハンドヘルド装置は、典型的に、これらの装置のユーザにいくらかの不満をもたらす小さいディスプレイを有していた。一般的に、多くの情報を表示することができ、あるいは表示されている情報をより容易に見ることができる(例えば、より大きいテキスト)ような大きいディスプレイを有することが好ましい。特にビデオプレーヤおよびゲームプレーヤの場合、小さいディスプレイよりも大きいディスプレイがはるかに好ましい。
【0025】
しかしながら、しばしば要求される入力制御部が利用可能なスペースの相当の部分を塞いでしまうため、大きいディスプレイの使用は過去において制限されていた。また、装置機能性が集中するにつれて、各装置がそれ自身専用の制御部を含むならば、典型的に、装置上の制御部の数は増加してしまう。そのため、装置をより大きくするか、新しい制御部すべてを収容するために、ディスプレイをより小さくしなければならない。いずれの結果も満足し得ない。より大きい装置はかさばって、使用しづらく、より小さいスクリーンは、情報を中継し、そのスクリーンから情報を読み取るために利用するのが困難である。
【0026】
A.片手対両手の操作
ハンドヘルド電子機器は、片手操作または両手操作に向けられればよい。片手操作では、使用中ユーザインタフェースで操作を実行するとともに、装置を保持するために、一方の手が用いられる。携帯電話およびメディアプレーヤは、ハンドヘルド装置の一例であり、一般的に、単独で片手で操作可能なように意図される。携帯電話の場合、例えば、ユーザは、片手の指と手のひらの間に携帯電話をつかみ、キー、ボタンあるいは♯ジョイパッドを用いて入力するために親指を用いればよい。
【0027】
両手操作では、装置を保持するために片手を用いつつ、使用中もう一方の手がユーザインタフェースで操作を実行する。その代わりに、使用中両手で操作を実行するとともに、装置を保持してもよい。PDAおよびゲームプレーヤは、典型的に両手で操作されるハンドヘルド装置の一例である。PDAの場合、例えば、ユーザは、片手で装置をつかみ、その装置を保持しつついずれかの手でまたは両手を用いて入力すればよい。
【0028】
B.設置面積/サイズ
ハンドヘルド装置は、設置面積やサイズの異なる多様性を有してもよい。設置面積は、典型的に、装置がどのように使用されるかに関連する。PDAなどの装置は、典型的に、両手で用いられるため、より大きい傾向にある。その代わりに、携帯電話は、典型的に、片手で用いられるため、より小さい傾向にある。多数の装置を統合するとき、装置の適切な設置面積を決定するのが重要なタスクである。例えば、ある人は、PDAは電話として使用するにはあまりにも大きく、携帯電話はPDAとして使用するにはあまりにも小さいと信じている。一般的に、設計者は、その装置の主な用途を考慮し、その用途に設置面積を調整しなければならない。いくつもの異なった設置面積があるが、典型的には最小設置面積と最大設置面積がある。設置面積が大きすぎても小さすぎても、装置を使用するのは困難になってしまう。
【0029】
装置サイズのため、典型的に、より小さい装置はポケットに入れられ、より大きい装置はそうされない。メディアプレーヤは、ユーザのポケットに入れられるサイズのハンドヘルド装置の一例である。ポケットサイズにすることにより、ユーザは、装置を直接持ち運ぶ必要はなく、そのため、ユーザが移動するほとんどの場所に装置を持っていくことができる(例えば、ユーザは、ノートブックコンピュータのように、大きな、かさばった、時には重い装置を持ち運ぶことにより制限されない)。
【0030】
一般に、必ずしも必要ではないが、本明細書に開示されるタイプのハンドヘルド装置は、およそ5インチ×3インチ×1インチの寸法を有するのが好ましく、4.1インチ×2.4インチ×0.75インチの寸法を有するのがより好ましい。
【0031】
C.フルスクリーンディスプレイ
多機能ハンドヘルド装置の設置面積がその装置の意図された主な用途により実質的に固定されるので、設計者がユーザインタフェース用の適切なレイアウトを決定することが重要となる。例えば、ある装置は、限られた数のボタンと大きいディスプレイとを備えるとよりよく動作するが、他の装置は、多くのボタンまたは完全なキーボードと小さいディスプレイとを備えるとよりよく動作するかもしれない。
【0032】
好ましい多機能ハンドヘルド装置は、フルスクリーンディスプレイまたはほとんどフルスクリーンディスプレイを備えるように構成されてもよい。フルスクリーンディスプレイは、実質的にその装置の前面全体を使い果たす。そのディスプレイは、端部から端部まで延びていてもよく、その装置の端部におけるハウジングの小さいベゼル内に適合してもよい。フルスクリーンディスプレイは、ハンドヘルド電子機器のハウジングの前面の90%以上を使い果たす。
【0033】
フルスクリーンディスプレイは、装置の設置面積全体に応じて種々の異なる構成を有してもよい。装置が幅広であれば、フルスクリーンディスプレイは、概ね4:3の従来の縦横比を有すればよい。装置が細長ければ、フルスクリーンディスプレイは、16:9のようなよりパノラマの縦横比を有すればよい。
【0034】
D.機械式アクチュエータの限定数
フルスクリーンディスプレイを収容するために、好ましくは、多機能ハンドヘルド装置は、限定数の物理的ボタンを有するよう構成される。限定数の物理的ボタンが設けられると、好ましくは、ハンドヘルド装置は、主な入力装置としてタッチスクリーンを用いる。タッチスクリーンは、ディスプレイ上に位置する透明なタッチ感知装置である。典型的に、タッチスクリーンはディスプレイ上に示されるGUIと関連して動作する。例えば、GUIは、スクリーン上のボタンを提供してもよく、ユーザがそのスクリーン上のボタンを押すとき(例えば、スクリーン上のボタンにユーザの指やスタイラスを置くとき)、タッチスクリーンはそれを検出すればよい。以下、タッチスクリーンおよびGUIをより詳細に説明する。
【0035】
ハンドヘルド装置は、十字機能物理的ボタンのみを有するよう構成されてもよい。すなわち、個別の装置に専用のボタンはない。これらのタイプのボタンは、電源ボタンやホールドスイッチを含んでもよい。別の実施形態では、ハンドヘルド装置は物理的ボタンを全く含まなくてもよい。いくつかの実施形態では、物理的ボタンは、ハンドヘルド装置の側面および背面のみに限定される。他の実施形態では、ハンドヘルド装置の物理的ボタンは、ユーザが装置を物理的に保持する側面の領域(すなわち、保持領域)にボタンがないように、上部および下部の側面に限定される。さらに他の実施形態では、物理的ボタンは、前面上であるが、ディスプレイを囲むベゼル領域のみに位置してもよい。いくつかの実施形態では、ボタンは装置の上面および底面のみに位置してもよい。
【0036】
図3は、限定数のボタンを有する実質的にフルスクリーンの多機能ハンドヘルド装置120の斜視図である。前面124および側面126上に物理的ボタンはない。前面はディスプレイ122として完全に用いられる。また、側面126が装置120をつかむために用いられるので、装置を保持している間にユーザが不注意でボタンを押す場合に偶然のアクションを防止するために、側面にはボタンがないままにするのが好ましい。典型的に、装置を保持するために上面128および底面130は用いられないが、これらの面は、しばしば作動させるボタンのための理想の位置ではない。なぜならば、片手で装置を操作するとき、これらのボタンに届かせるのは扱いにくいからである。
【0037】
上面128は、十字機能的な、例えば電源やホールドスイッチであるアクションや一般的機能を限定したボタンのために取っておかれてもよい。また、上面128および底面130は、入出力(I/O)および通信ポートを配置するのに適切である。上面128は、例えば、ヘッドセット/マイクロフォンジャックおよびアンテナを含んでもよく、底面130は、電源およびデータポートを含んでもよい。
【0038】
ある場合には、つかんでいる手から離れた側面126の上部または下部領域にボタンを配置するのが望ましい。これは、特に、つかんでいる手の幅よりも大きい細長い装置に最適である。図4に示すように、ハンドヘルド装置120は、このハンドヘルド装置120の側面126上の上部領域に1つのボタン140を含む。ボタン140が上部領域にあるので、ボタン140は、つかんでいる手から離れている傾向にあり、そのため、偶然の活性化を実質的に排除する。上部ボタンは、多機能装置の機能性を切り替えるように構成されてもよい。すなわち、ボタン140は、図2のスイッチ110であればよい。例えば、ボタン140を押すことにより、新しい装置機能性が活性化され、現在の装置機能性が不活化される。用語「ボタン(button)」を用いているが、ボタン140は、ダイアル、ホイール、スイッチなどに対応してもよいことを認識されたい。
【0039】
一般に、要求されないが、物理的ボタンの数を8以下、好ましくは5以下に限定するのが好ましい。
【0040】
3.適応性
装置上の物理的制御部の数を制限するために(それにより、ディスプレイ面積を最大化するために)、多機能ハンドヘルド装置は改変可能であるのが好ましい。すなわち、装置は、どのように用いられるかに基づいてそのUIを変更することができる。例えば、多機能装置の携帯電話機能が用いられるならば、UIは携帯電話を収容するために変化する。その代わりに、多機能装置のPDA態様が用いられるならば、UIはPDAなどを収容するために変化する。本質的に、多機能装置は、その装置の状態またはモードに基づいてユーザインタフェースを再構成することができる。
【0041】
適応性は、各装置の機能性のための限定数の物理ボタンの機能を再割り当てすることにより達成されてもよい。例えば、第1装置が活性化されているときあるボタンが一機能を実行してもよく、別の装置が活性化されているとき別の機能を実行してもよい。これが動作している間、それは、物理的制限(すなわち、ボタン数)に苦しみ、(異なるボタンの意味を記憶しなければならない)ユーザを混乱させ得る。
【0042】
その代わりに、適応性は、各機能のための物理的入力をタッチスクリーンに関連してGUIに事実上統合することにより、達成されてもよい。これにより、GUIは選択された装置に適合することができ、タッチスクリーンは、GUIに対応する入力を受け付けることができる。各機能性のためのGUIでは、ハンドヘルド装置用のUIは、多機能装置が結果的に特定の装置になるように適合させる。例えば、携帯電話機能が選択されると、GUIは、携帯電話で典型的に用いられる物理的制御部(例えば、キーパッド、機能ボタン、可能であれば、ナビゲーションパッドなど)と同様に見える仮想またはソフト制御部を提供する。
【0043】
ディスプレイ全体は、この情報を示すために用いられてもよく、ディスプレイの一部だけがGUI制御部のために用いられてもよい。後者の場合には、図5〜図8において、GUI150は標準領域152と制御領域154とに分離されてもよい。標準領域152は、特定の装置を使用するときディスプレイ122上に通常表示されるものを表す。すなわち、選択された装置に関連した標準GUIスクリーンは標準領域に表示される。例えば、PDAの場合には、メインメニュー(アイコンセットを備えるウィンドウ)、カレンダー、アドレスブックまたはデートブックは、標準領域152に表示されてもよい。一方、制御領域154は、通常特定の装置上に物理的に配置される物理的制御部を事実上表す。すなわち、物理的制御部をまねる仮想の制御部は制御領域154に表示される。例えば、PDAの場合には、制御領域154は、手書き認識領域、ナビゲーションパッドおよび標準機能ボタンの仮想表示を含めばよい。
【0044】
標準領域152および制御領域154は、ディスプレイ122上のあらゆる位置(上部、底部、側部、中心部など)に置かれてもよい。例えば、それらは、図5に示すように、互いに垂直に(他方の上部に一方が)配置されてもよく、図6に示すように、互いに水平に(並んで)配置されてもよい。人物モードまたは風景モードにおいてこれらの構成を用いることができる。例として、装置が風景モードで操作される場合には、標準領域152は片側に配置されればよく、制御領域154は反対側に配置されればよい。風景配向は、例えば、片手の操作を容易にしてもよい。ある場合には、制御部が表示される側は、ユーザの利き手に基づく。例えば、制御部は、右利きのユーザには右側に配置されればよく、左利きのユーザには左側に配置されればよい。その代わりに、制御部は、図7に示すように、両側に配置されてもよい。この配置は、特に、ゲームをプレイするのみ適切である。また、各部に専用の面積量は広範囲に変更されてもよい。例えば、スクリーンは、等しく分割されてもよく、他の場合には、一方または他方の部分がディスプレイの多い部分を構成する。ある場合には、標準領域152は、ディスプレイの標準視聴エリアを増加させるために最大化される。
【0045】
特定の機能性が使用のために選択されると、ハンドヘルド装置は、選択された機能性のためのソフトウェアをロードし、標準領域152および制御領域154を含むGUI150を構成する。そのため、制御領域154の制御部は、何が標準領域152に示されるかを制御するために用いられてもよい。ある場合には、制御領域154は、特定の装置用の各表示ウィンドウのニーズに応じて変化さえしてもよい。
【0046】
その代わりに、図8に示すように、標準領域152がディスプレイ122全体を完全に利用することができるように、仮想制御部160は標準領域152の上に重ねられてもよい。実際、仮想制御部160は必要に応じて現れたり、消えたりするのがよい。例えば、ユーザがスクリーンにタッチし、これにより、既に表示されているものを含むディスプレイの部分の上に制御部を表示するように装置を駆動させてもよい。2005年1月18日に出願され、「タッチ感知入力装置のためのモードベースグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号において、このように操作する仮想制御部の例を見出すことができる。
【0047】
A.機能性に基づいたGUI
図9〜図17は、多機能装置の異なる状態またはモードのためのGUIの種々の例を示す。
【0048】
図9はPDAモードで用いられるGUI170の図である。図示のように、GUI170は標準領域152および制御領域154に分割される。仮想手書きパッド172、4つの仮想ボタン174および仮想ナビゲーションパッド176が制御領域154内に位置する。
【0049】
図10は携帯電話モードで用いられるGUI180の図である。図示のように、GUI180は、標準領域152および制御領域154に分割される。仮想キーパッド182、仮想ナビゲーションパッド184および2つの仮想ボタン186が制御領域154内に位置する。
【0050】
図11はメディアプレーヤモードで用いられるGUI190の図である。図示のように、GUI190は、標準領域152および制御領域154に分割される。仮想スクロールホイール192および5つの仮想ボタン194が制御領域154内に位置する。仮想スクロールホイールについての追加の詳細は、2005年1月18日に出願され、「タッチ感知入力装置のためのモードベースグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号で提供される。
【0051】
図12はビデオプレーヤモードで用いられるGUI200の図である。図示のように、GUI200は、標準領域152および制御領域154に分割される。複数の仮想ボタン202が制御領域154内に位置する。その代わりに、ビデオプレーヤがフルスクリーン視聴モードに関連して主に用いられるので、制御部は必要に応じて現れたり、消えたりしてもよい。
【0052】
図13はゲームプレーヤモードで用いられるGUI210の図である。図示のように、GUI210は、標準領域152と、この標準領域152の両側部の2つの制御領域154Aおよび154Bとに分割される。左側制御領域154Aはナビゲーションまたは方向パッド212を含み、右側制御領域154Bは4つの仮想ボタン214を含む(あるいは、ユーザの特定の必要性に応じて左右が反対であってもよい)。
【0053】
図14はカメラモードで用いられるGUI220の図である。図示のように、GUI220は、標準領域152および制御領域154に分割される。標準領域152は、ファインダを表せばよい。例えば、写真クリック、ズーム、フラッシュなどを含む種々のボタンが制御領域154内に位置する。また、メニューナビゲーションを通してまたはそれのために写真をスクロールすることができるように、ナビゲーションパッド224が含まれていてもよい。
【0054】
図15はGPS受信機モードで用いられるGUI230の図である。図示のように、GUI230は、標準領域152および制御領域154に分割される。例えば、ズーム、パンなどを含む種々のボタン222が制御領域154内に位置する。また、ナビゲーションパッド224も含まれていてもよい。
【0055】
図16はハンドトップモードで用いられるGUI240の図である。図示のように、GUI240は、標準領域152および制御領域154に分割される。仮想キーボード242が制御領域154内に位置する。
【0056】
図17は遠隔制御器モードで用いられるGUI250の図である。図示のように、GUI250は、標準領域152および制御領域154に分割される。TV、DVDプレーヤ、A/Vアンプ、VHS、CDプレーヤなどの遠隔の装置を制御するのに関連付けられた種々のキーおよびボタン252が制御領域154内に位置する。
【0057】
B.装置(GUI)の切り替え
特定の装置機能性を使用可能とする前に、典型的に、それは使用のために選択されなければならない。その選択は様々な形式ですることができる。例えば、ソフトボタンやアイコンを含むメインメニューを介してその選択がなされてもよい。選択されると、ソフトボタンやアイコンは、それソフトボタンに関連した装置機能性を活性化する。活性化の間、その特定の装置用のGUIはディスプレイ上に示され(図9〜図17参照)、その装置に関連したソフトウェアは、インストールされ、ロードされ、あるいは作動する。それ以降、多機能装置は選択された装置のように作動する。
【0058】
図18は、多機能装置の模範的なメインメニューGUI260を示す。図示のように、GUI260は、種々の装置機能性のそれぞれを起動させるためのアイコン/ボタン262を含む。この特定の例では、メインメニューページ260は、PDAボタン262Aと、携帯電話ボタン262Bと、ミュージックプレーヤボタン262Cと、ゲームプレーヤボタン262Dと、ビデオプレーヤボタン262Eと、GPSボタン262Fと、遠隔制御部ボタン262Gと、カメラボタン262Hと、ハンドトップボタン262Iとを含む。種々のボタン262は仮想ボタンである。あるボタンが押されると、選択された機能性のためのメインページ(例えば、図9〜図17に示すような)がディスプレイ上に示される。別の装置を選択するには、ユーザは、各装置のGUIに位置するソフトホームボタン264を単に選択し、メインメニューページ260に戻り、その後メインメニューページ260内の所望の機能性を選択する。
【0059】
また、その代わりの機能性の選択は、所望のGUIを見付けるまで種々のGUIを通してフリップ(めくる)こと(あるいはスクロールすること)により達成されてもよい。例えば、次の(フリップ)コマンド信号(例えば、スライドショー効果)が生成されると、異なるGUIは、ページ(あるいはフレーム)を次々と示してもよい。ページ間の遷移は大きく変化されてもよい。その遷移は、左右に、上下に、中央から中央になされてもよい。また、その遷移は、フェードイン・アウト、ポップイン・アウト、あるいは大きくなり・小さくなることを含めばよい。コマンド信号は、物理的または仮想ボタンあるいはホイールにより生成されればよい。ボタンを用いる各押下により、新しいページが表示されればよい。ホイールを用いる所定量の回転により、新しいページが表示されてもよい。
【0060】
また、コマンド信号は、種々の他の方法で生成されてもよい。例えば、コマンド信号は、タッチスクリーン上で始められるジェスチャーにより生成されてもよい。例えば、ディスプレイを横切る指(またはスタイラス)のスライドにより、新しいページが表示されてもよい。右にスライドすると、次のページが表示され、左にスライドすると、前のページが表示されればよい。また、コマンド信号は、ハンドヘルド装置全体が空間的に移動されると生成される3D装置ジェスチャーによって生成されてもよい。例として、装置を振ることにより、新しいページが表示されてもよい。
【0061】
さらに、コマンド信号は、装置に与えられる力によって生成されてもよい。例として、装置をぎゅっと握ることにより、新しいページが表示されてもよい。また、コマンド信号は、加速度計により感知されるように、地面に関して、あるいは、内部コンパスにより示されるコンパス方位に関して、装置の配向を感知することにより生成されてもよい。例えば、装置が0°であるならば、最初のページが表示され、90°では第2ページが表示され、180°では第3ページが表示され、270°では第4ページが表示される。
【0062】
また、コマンド信号は、ユーザの声をモニタする(すなわち、音声認識)により生成されてもよい。ユーザが「電話」と呼び出すならば、携帯電話に関連したページが表示され、「PDA」と呼び出すならば、PDAに関連したページが表示される。
【0063】
また、コマンド信号は、(無線またはケーブルを介して送信されるか否かにかかわらず)他のシステムから入ってくる信号をモニタすることにより生成されてもよい。例えば、電話を受けると、装置は、自動的に携帯電話としてシステムを構成してもよい。その代わりに、装置は電話を取るか見送るための制御パネルを提供のみしてもよい。
【0064】
複数の機能性を統合するための選択肢として、装置は種々のモードを別々に保持するように構成されてもよい。すなわち、装置は、(レイヤおよびGUIが統合されて)機能性を一緒に統合するのではなく、代わりにそれらを互いに全く別なものとして保持する。ある場合には、異なる機能性を全く別として保持することにより、ユーザの混乱が低減され得る。
【0065】
C.少なくとも2つの機能性の同時操作
好ましくは、ユーザは、2つ以上の装置機能性を同時に活性化することができてもよい。そのような場合、多数の機能性のためのソフトウェアが同時に活性化され、ディスプレイは、スクリーンが特定の装置GUIを含む異なる複数のセクションに解析される分割スクリーンモードで作動する。一般に、これは、スクリーン上に適合する各機能性のためのGUIを必要とする。多機能モードは、種々の方法で選択されてもよい。一実施では、ユーザが2以上の装置アイコンを同時にタッチすると、装置は、多装置機能性を活性化し、適当なGUIをスクリーンに示させる。
【0066】
D.構成可能なGUI(ユーザ選択)
各装置機能性のためのGUI制御パネルはユーザにより構成可能であってもよい。例えば、ユーザは、各装置のためのユーザ自身のUIを設計またはカスタマイズし、UIの種々の要素に複数の機能を割り当てればよい。複数の機能は、コマンド開始、アイテム選択、ファイルまたはドキュメントを開く、プログラム起動、命令実行、ディスプレイスクリーンでのメニュー視聴などを含めばよい。ユーザにより構成可能なパラメータは、GUI要素(ボタン)のページ上の位置と同様に、GUI要素の数およびタイプを選択することを含めばよい。ある場合、システムは、ユーザがUIレイアウトをレビューあるいはカスタマイズするのを可能にするデザインパレットを含んでもよい。すなわち、ユーザが前に設定されもしくはデフォルトのレイアウトを素早く便利にレビューし、それを変更することを可能にしてもよい。一度変更されると、修正されたレイアウトは、自動的にセーブされ、それにより将来のイベントを処理するために用いられる。
【0067】
4.入力装置
ハンドヘルドコンピュータのための現在の入力装置には多くの問題がある。例えば、ますます多くのボタンが小さいスペースに適合されなければならないので、各装置に必要であるすべての専用の物理的ボタンを適合する現実的な方法がない。多くの物理的ボタンが装置に統合され、ボタンがともにより接近し、これによりユーザの器用さを敢えて要求するという関連する問題が起こる。さらに、物理的ボタンが突出するので、通常の使用中、あるいは例えばユーザのポケット内で装置を搬送している間に、それらはしばしば偶然に活性化される。最終的に、多くの小さい物理的ボタンは、美的に満足しないとともに、ユーザを混乱させ得る。
【0068】
これらのおよび他の問題を解決するために、種々の代わりの入力アレンジメント(物理的ボタン、スイッチなどに加えて、あるいはその代わりに)が提案されている。基本的なアイデアは、物理的および機械的入力機構の数(それゆえ、装置の表面上に必要とされる専用スペースの量)を減らし、あるいは物理的および機械的入力機構を完全に排除することである。物理的入力装置を削減または排除することにより、電子機器の表示を最大にすることができ、あるいは、電子機器のサイズを最小にすることができる。さらに、そのような装置は美的にもより満足する。ある場合には、ディスプレイのみを有するが、専用の物理的入力装置を有さないと思われるように、ハンドヘルド装置を構成することができる。
【0069】
また、代わりの入力手段がユーザには見えないように視界から隠れていてもよい。結果として、ハンドヘルド電子機器は、目に見えるボタン、スイッチなどがないディスプレイのみを有すると思われてもよい。そのような装置は、より美的に満足し(例えば、ギャップや線による中断のないなめらかな表面を備えればよい)、多くの場合、スクリーンサイズおよび入力機能性を犠牲にすることなく、装置をより小さくすることができる。
【0070】
A.タッチスクリーン
一つの特に適切な入力アレンジメントはタッチスクリーンである。GUIに関連したタッチスクリーンは、ハンドヘルド装置の主な入力アレンジメントとして構成されてもよい。タッチスクリーンは、基本的に、ディスプレイの前面に配置された透明な入力パネルである。指またはスタイラスのようなオブジェクトがタッチし、あるいはタッチスクリーンの表面を横切って移動されるとき、タッチスクリーンは入力信号を生成する。ほとんどの場合、タッチスクリーンにより、ユーザは、ディスプレイスクリーンを指で単にタッチすることにより、GUIを選択したり、その移動を開始したりすることができる。例えば、ユーザは、ディスプレイスクリーンに表示されているグラフィカルオブジェクトを直接指すことによりそれを選択してもよい。これは、ハンドヘルド電子機器の特定のアクションを実行するためのスクリーン上のボタンに対応する。一般に、タッチスクリーンは、ディスプレイ上のタッチおよびタッチ位置を認識し、ハンドヘルド電子機器の制御部は、そのタッチを解釈し、その後そのタッチイベントに基づいたアクションを実行する。抵抗性、容量性、赤外線および表面弾性波を含むいくつかのタイプのタッチスクリーン技術がある。
【0071】
多機能ハンドヘルドコンピュータの好ましいタッチスクリーンはマルチポイント容量性タッチスクリーンである。そのようなタッチスクリーンは、独立した空間的に別のいくつかの感知ポイント、ノードまたは領域を備える。それらはタッチスクリーンを通して配置される。感知ポイントは、タッチスクリーンの表面の異なる位置を表す各感知ポイントを有するタッチスクリーンについて分散される。感知ポイントは、それぞれが信号を生成することができるグリッドまたはピクセルアレイに配置されてもよい。オブジェクトがある感知位置上に置かれるたびに信号が生成される。オブジェクトが多数の感知位置上に置かれ、あるいは、オブジェクトが多数の感知位置間またはその上で移動されるとき、多数の信号を生成することができる。一般に、感知ポイントは、タッチスクリーン平面をデカルト座標系や極座標系のような座標系にマッピングする。そのようなタッチスクリーンの一例は、2004年5月6日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第10/840,862号に開示される。
【0072】
B.タッチ感知ハウジング
また、ハンドヘルド電子機器は、装置ハウジング自身の1以上のタッチ感知面を統合してもよい。タッチ感知面はタッチ入力を追跡するためのより大きな表面か専用の機能を実行するためのタッチボタンなどのより小さい専用領域のいずれかを提供する。そのような表面は、ハウジングのあらゆる面、ハウジングのあらゆる側面、ハウジングのあらゆる側面のあらゆる部分、あるいはハウジングの表面上の専用の位置に位置してもよい。例えば、タッチ領域は、ハウジングの側面または背面に位置してもよく、ハウジングの前面に位置するベゼルにさえ位置してもよい。これらのすべての場合、ハウジングの前面の大きな部分は、ハンドヘルド電子機器の視聴領域を最大化することができるように、ディスプレイのためにセーブされる。ハウジングのタッチ感知面は、ハウジング内に配置される1以上のタッチパネルの形式を取ってもよい。その代わりに、またはそれに加えて、タッチ感知面はハウジングにより直接提供されてもよい。すなわち、タッチ感知構成要素は、ハウジング自身が(別のタッチパネルを用いるよりもむしろ)タッチ感知装置であるように、ハウジングに統合されてもよく、ハウジングの下に配置されてもよい。タッチスクリーンと同様に、タッチ感知ハウジングは、表面上のタッチおよびタッチ位置を認識し、ハンドヘルド電子機器の制御部は、そのタッチを解釈し、その後タッチイベントに基づいたアクションを実行する。タッチ面は、実質的に透明である必要がない表面を除き、基本的に、タッチスクリーンと同様に構成される。
【0073】
例として、タッチ感知ハウジングは、一般に、2005年4月26日に出願され、「多数のタッチ感知装置を備えるハンドヘルド電子機器」と題する米国特許出願第11/115,539号により詳細に記述されるタッチ感知ハウジングに対応すればよい。
【0074】
C.ディスプレイアクチュエータ
また、ハンドヘルド多機能電子機器はディスプレイアクチュエータを含んでもよい。ディスプレイアクチュエータは、装置に入力を提供するためにハンドヘルド装置のディスプレイを(タッチスクリーンのような電気的よりむしろ)機械的に用いる入力装置である。ディスプレイアクチュエータは、タッチスクリーンとは別にあるいはそれと組み合わせて用いられてもよい。ディスプレイアクチュエータは、移動すると1以上の入力信号が生成される可動ディスプレイを含んでもよい。そして、コマンドを始め、選択をし、ディスプレイにおける動きを制御するために、入力信号を用いることができる。
【0075】
可動ディスプレイは、フレームに関して水平移動し、スライドし、回動あるいは回転するように構成されてもよい。ディスプレイは、典型的に、種々の位置に置いてディスプレイを可動的に支持するフレームまたはハウジングに関して可動である。ある場合には、ディスプレイはフレームに可動的に連結され、他の場合には、フレームは浮動ディスプレイを可動的に抑制する。
【0076】
入力信号は、ディスプレイの移動をモニタし、そのような移動を示す信号を作り出す移動インジケータにより生成されてもよい。検出機構は、例えば、1以上のスイッチ、センサ、エンコーダなどであればよい。あらゆる適切な機械式、電気式、あるいは光学式スイッチ、センサまたはエンコーダが用いられればよい。例えば、タクトスイッチ、力感知抵抗器、圧力センサ、近接センサ、赤外線センサ、機械式または光学式エンコーダなどが用いればよい。移動インジケータは、必要に応じてディスプレイの下またはディスプレイの側面に配置されればよい。その代わりにまたはそれに加えて、これらの移動インジケータは、ディスプレイまたはディスプレイのある部品に取り付けられてもよい。
【0077】
模範的なディスプレイアクチュエータは、2005年2月11日に出願され、「ディスプレイアクチュエータ」と題する米国特許出願第11/057,050号に開示される。
【0078】
D.圧力または力感知装置
上述の多機能ハンドヘルド電子機器は、力感知ディスプレイまたはハウジングのような力あるいは圧力感知装置をさらに含んでいてもよい。
【0079】
(1)力感知ディスプレイ
力感知ディスプレイは、装置のディスプレイスクリーン上に圧力が加えられると、1以上の入力信号を生成させる。入力信号は、コマンドを開始したり、選択したり、ディスプレイの動きを制御するために用いられ得る。そのようなディスプレイは、一般に、ディスプレイの下に一般に設けられる力検出アレンジメントによってその上に加えられる力を測定することができるように、(ユーザには知覚できない)わずかな量のコードを提供する。力検出アレンジメントは、ディスプレイ上に加えられる力をモニタし、それを示す信号を作り出す。力検出アレンジメントは、力感知抵抗器、力感知コンデンサ、ロードセル、圧力プレート、圧電変換器、ひずみゲージなどの1以上の力センサを含んでいてもよい。力センサは、ディスプレイの背面あるいは装置のハウジング内に位置する構造的プラットフォームに取り付けられればよい。ディスプレイに力が加えられると、ディスプレイを通してディスプレイの下に位置する力センサにその力が伝達される。
【0080】
図19は、力感知ディスプレイ302を統合するハンドヘルド装置300の側断面図である。力感知ディスプレイ302は、ディスプレイ308と、そのディスプレイ308の下(ディスプレイと構造的プラットフォーム306の間)に配置される1以上の力センサ301とを含む。ほとんどの場合、力感知ディスプレイ302は、配列された複数のセンサ310を含む。例えば、センサ310は行と列に並んで配置されればよい。力センサ310は、ディスプレイに加えられている力の大きさを計測し、所望の力閾値に達すると、制御信号を生成する。ある場合には、ディスプレイの表面に加えられている力をディスプレイの下に配置される力センサに伝達するのを助けるために、エラストマー312がディスプレイと構造的プラットフォームの間に配置される。
【0081】
力感知は、軽い(light)タッチと堅い(hard)タッチとを区別するために、タッチスクリーンに関連して設けられてもよい。タッチが軽いタッチか堅いタッチかの決定は、力センサでもその力をモニタし、その力を所定の閾値と比較することによりなされてもよい。力が閾値を超えないとき、そのタッチは軽いタッチとして考慮される。力が閾値を超えると、そのタッチは堅いタッチとして考慮される。各タイプのタッチは、その装置の異なる態様を制御するために用いられればよい。軽いタッチは、ナビゲーションなどの受動的なイベント(例えば、カーソル制御スクロール、パン、ズーム、回転など)に関連すればよく、堅いタッチは、選択やコマンドのような能動的イベント(例えば、ボタンクリック)に関連すればよい。
【0082】
図20は、タッチされたときにx、yおよびz成分を提供するために、タッチ感知装置と力感知装置とを組み合わせた入力装置320を示す。タッチ感知装置は、x、y方向の位置感知を提供し、力感知装置は、z方向の力感知を提供する。これらの装置は、タッチ面上のタッチがあるか否かについてのx、y位置およびz圧力情報を出力するために協動する。
【0083】
図21は、タッチスクリーン334を備えるディスプレイ332と力感知機構336とを組み合わせたI/O装置330の側面図である。タッチスクリーン334は高分解能タッチ位置を提供し、力感知機構336は、力全体と同様に力がどこから来るかの測定を提供する。タッチスクリーン334は、ディスプレイ332上に配置され、力感知機構336は、他の配置も可能であるが、ディスプレイ332の下に配置される。
【0084】
また、力感知機構336は広範囲に変更されてもよい。図示の実施形態では、力感知機構336は、静電容量、とりわけ自己静電容量に基づく。図示の力感知機構336は、電極層338、エラストマー層340および導電層342を含む種々の層から形成される。
【0085】
電極層338は、ディスプレイ332の底面を横切って配置される空間的に分離された複数の電極339を含む。電極339は、典型的に、しばしば形成する可能性があるが、行と列の配列に配置される。いくつの電極が用いられてもよい。
【0086】
エラストマー層340は、電極層338と導電層342の間に配置される1以上の弾性部材341を含む。弾性部材341は、ディスプレイ332が配置の限定量で内部に移動することを可能にする。一実施では、弾性部材341は、約0.2mmの厚さを持つシリコーンパッチである。
【0087】
導電層342は、典型的に、接地金属板343の形式を取る。容量性回路は、各電極339と接地金属板343の間に形成される。ユーザがディスプレイ332を下に押すと、その上に加えられる力により、ディスプレイ332は、弾性部材を圧縮するように、弾性部材341に対して内側に移動される。これは、電極339と金属板343の間の静電容量の変化をもたらす。この静電容量の変化は、各電極339に操作可能に接続される制御回路により感知される。静電感知回路は種々の組み込まれた参考文献に開示される。
【0088】
図22は、ディスプレイ上に配置され得る入力装置350の側面図である。入力装置350は、タッチ感知および力感知を一つの装置に結合する。本実施形態では、タッチ感知および力感知の両方が相互キャパシタンスにより提供される。図示のように、入力装置350は、上部駆動層352、中間感知層354および底部駆動層356を含む種々の層から形成される。さらに、中間感知層354は、中間感知層354と底部駆動層356の間に配置されるエラストマー層358上に位置する。上部駆動層352および底部駆動層356は、列をなす空間的に分離された複数のラインを含み、中間感知層354は、行をなす空間的に分離された複数のラインを含む。そのため、上部層352および中間層354はグリッドを形成するとともに、底部層356および中間層354はグリッドを形成する。
【0089】
作動中、上部層352上のラインがスキャンされ、その後底部層356上のラインがスキャンされる(あるいはその全く逆でもよい)。タッチがあると、上部駆動層352と中間感知層354の間で測定される相互キャパシタンスは、そのタッチのx、y位置を提供する。さらに、底部駆動層356と中間感知層354の間で測定される相互キャパシタンスは、タッチの力の大きさを提供する。この特定のアレンジメントは、タッチのフルイメージ上に重ね合わせられる力のフルイメージを提供する。タッチ層および力層を含む入力装置は、2004年5月6日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第10/840,862号に開示される方法と同様に操作されればよい。
【0090】
(2)力感知ハウジング
また、ハンドヘルド装置は、力感知ハウジングを含んでもよい。力感知ハウジングは、ハンドヘルド装置のハウジングに力が加えられると、入力を提供する。力感知ハウジングは、ここにおける力感知スクリーンに類似する。ハウジングは、ハウジング内に位置する力検出アレンジメントによってその上に加えられる力を分配することができるように、(可能であれば、ユーザには知覚できない)わずかな量のコードを提供する。上記で議論した力感知ディスプレイと同様に、力検出アレンジメントは、ハウジング上の力をモニタし、それを示す信号を作り出す。力検出機構は、力感知抵抗器、力感知コンデンサ、ロードセル、圧力プレート、圧電変換器、ひずみゲージなどの、ハウジング内に配置される1以上の力センサを含んでいてもよい。ハウジングに力が加えられると(ハウジングをぎゅっと握り、あるいは押す)と、ハウジングを通してハウジング内に位置する力センサにその力が伝達される。
【0091】
ハウジングの力感知部分は、ハウジングのあらゆる面、ハウジングのあらゆる側面、ハウジングのあらゆる側面のあらゆる部分上に、あるいは、ハウジングの面の専用位置に位置してもよい。ハウジングの側面は、スクイーズ(握り)機能を実行するために理想の場所である。これは、ユーザの複数の指が典型的にその装置の片側に位置し、親指が反対側に位置し、そのため手がつかむアクションを介してその側面を簡単に握ることができるためである。スクイーズ機能を活性化するのに都合がよいので、通常使用中偶然に活性化されないように、スクイーズ機能を設計するとき、特別な注意が取られなければならない。したがって、装置は、軽い(light)タッチと堅い(hard)タッチとを区別することができる必要がある。活性表面に加えられる力の増加とともに抵抗の減少を示す力感知抵抗器(FSR)を用いてスクイーズ機能が実行されるならば、予め設定された力閾値に達するとき活性化を示す信号を出力するために、比較回路を用いることができる。
【0092】
図23は、スクイーズ機能を含むハンドヘルド装置370の側断面図である。図示のように、装置370は、ハウジング372と、ハウジング372内の支持プラットフォーム374とを含む。支持プラットフォーム374とハウジング372の内表面には、一対の力センサ376がある。例えば、手の本質をつかむことによりハウジング372に力が加えられると、ハウジング372はその圧力下で内側に曲がる。これにより、力センサ376はハウジング372と支持プラットフォーム374の間に挟み込まれる。力センサ376は、加えられている力の大きさを測定し、所望の力閾値に到達すると、制御信号を生成する。例えば、挟み込みの結果として、力抵抗センサは低減された抵抗を示し、所望の閾値に達すると、制御信号が生成される。
【0093】
力感知ハウジングは、上述のようなタッチ感知ハウジングに関連して設けられてもよい。
【0094】
E.動き活性化入力装置
また、ハンドヘルド電子機器は、動き活性化入力装置を含んでいてもよい。動き活性化入力装置は、ハンドヘルド装置が動いていたり、ある方向に置かれたりしているとき、入力を提供する。動き活性化入力装置は、典型的に、加速度計のような運動センサを含む。運動センサは、x、y、z軸に沿った装置の動きをモニタし、それを示す信号を作り出す。運動センサは、例えば、加速度計を含めばよい。その代わりに、運動センサは、電子コンパスのような配向センサであってもよい。配向センサにより、装置は一般に水平面におけるその方向を決定することができる。運動センサは、ハウジング、または装置のハウジング内に位置する他の構造的部品に取り付けられればよい。装置に動き(ジェスチャー、揺動、手を振るなど)が与えられると、ハウジングを通して運動センサにその運動が伝達される。
【0095】
運動センサが、典型的に、意図した運動だけではなく、すべての動きを計測するので、意図した運動情報は、典型的に、正確なコマンド信号を作り出すために、他の運動情報から分離されなければならない。例えば、装置を振るような大規模の運動は、主に低周波情報を作り出すであろう。逆に、振動のような小規模の運動は高周波情報を主に作り出す。高周波情報はフィルタで取り除かれ、それにより大規模な運動(例えば、揺動)を示す低周波情報だけを残すことができる。そして、フィルタで取り除かれた後の情報を制御信号に変換することができる。
【0096】
図24はハンドヘルド電子機器380の側断面図である。ハンドヘルド装置380は、そのハンドヘルド装置380のハウジング384に取り付けられる加速度計382を含む。装置380がユーザにより移動されると、加速度計382はその動きを認識し、ハンドヘルド電子機器380の制御部は、その動きを解釈し、その後その動きイベントに基づいたアクションを実行する。
【0097】
F.機械式アクチュエータ
ボタンやホイールなどのすべての表面設置アクチュエータを排除したいが、それは時には非現実的である。そのため、ハンドヘルド装置は、いくつかの表面設置アクチュエータを含んでもよい。好ましくは、これらのアクチュエータは統合された各装置に一般的である。すなわち、どの装置機能性が活性化されているかにかかわらず、その意味は同じである。また、表面設置アクチュエータが前面以外の表面に配置されるのが好ましい。これが必要とされないが、前面はディスプレイの視聴領域を収容する。
【0098】
一つの特に有用な機械式アクチュエータはホールドスイッチである。ホールドスイッチは、主な入力手段、例えば、タッチスクリーンを始動および停止するように構成されてもよい。これにより、ユーザは、例えば、装置をユーザのポケット内にしまうときの不必要な入力を防止することができる。一実施では、ホールドスイッチは、つかんでいる手を避けた上面であるが、(底面とは反対のように)簡単なアクセスのための位置に配置されればよい。ホールドスイッチは、タッチスクリーンだけでなく、機械式アクチュエータおよび他の入力装置を停止することもできる。
【0099】
もう一つの特に有用な機械式アクチュエータは電源スイッチである。電源スイッチがオンされると、装置は電源を入れられ、起動準備をする。電源スイッチがオフされると、装置はシャットダウンされる。一実施では、電源スイッチは、つかんでいる手を避けた上面であるが、(底面とは反対のように)簡単なアクセスのための位置に配置されればよい。
【0100】
別の有用な機械式アクチュエータはナビゲーションパッドである。ナビゲーションパッドは典型的に多くのハンドヘルド装置に含まれる。ナビゲーションパッドの機能性は、装置の現在の作動モードに従って変更されてもよい。ミュージックプレーヤの場合、例えば、方向キーは、プレイ/ポーズ、次へ、前へ、およびボリュームアップ・ダウンに割り当てられてもよい。また、他の割当て可能なボタンが装置に含まれてもよい。
【0101】
さらに別の有用な機械式アクチュエータはスイッチングアクチュエータである。スイッチングアクチュエータは、装置の機能性を変更するよう構成されてもよい。すなわち、スイッチングアクチュエータを作動することにより、装置の機能性または状態は、あるモードから別のモードに切り替わる。スイッチングアクチュエータは広範囲に変更されてもよい。
【0102】
例えば、スイッチングアクチュエータはダイアルまたはホイールであればよい。ホイールを徐々に回転することにより、装置は、ある装置からその他の装置に(一般にある所定の順番で)徐々に切り替えられる。各装置のフル回転は、一般に、統合された装置の全グループを通して循環する。ホイールまたはダイアルは、例えば、スクロールホイールのように作動すればよい。その設置場所は広範囲に変更されてもよいが、スイッチングホイールは装置の側面の上部領域に配置されればよい。ホイールをここに配置することにより、そのホイールを容易に回転するためにユーザの親指を用いることができる。例えば、ユーザの親指は、ホイールを回転することができるように、つかみアクションから延ばされればよい。
【0103】
その代わりに、スイッチングアクチュエータはボタンであってもよい。ボタンを繰り返し押すことにより、装置はある装置から別の装置に(一般にある所定の順番で)切り替えられる。その設置場所は広範囲に変更されてもよいが、スイッチングボタンは装置の側面の上部領域に配置されればよい。ボタンをここに配置することにより、そのボタンを容易に押すために、ユーザの親指または人差し指を用いることができる。
【0104】
また、ハンドヘルド装置は、商業的に利用可能なあらゆるタッチパッドを含んでいてもよい。タッチパッドのいくつかの例は、2002年7月1日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/188,182号、2003年11月25日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/722,948号、および2003年8月18日に出願され、「追加機能性を備えるモバイルタッチパッド」と題する米国特許出願第10/643,256号において見出される。
【0105】
別の実施形態では、ハンドヘルド装置はスクロールホイールを含んでもよい。ウィンドウを通してスクロールする各機能性において、スクロールホイールを用いることができる。
【0106】
G.マイクロフォン
また、ハンドヘルド装置は、音声を拾うマイクロフォンを含んでいてもよい。マイクロフォンは、ユーザの声などの音を伝達する携帯電話に関連して用いられればよい。また、マイクロフォンは、音を記録し、あるいはハンドヘルド装置に音声コマンドを入力するために用いられてもよい。例えば、音声認識ソフトウェアを用いて、ハンドヘルド装置は、音声コマンドを認識し、それに関連した制御信号を生成することができればよい。マイクロフォンは、ハンドヘルド装置の底面、あるいは可能であれば、前面底部ベゼルに配置されればよい。この特定の構成は、電話中にユーザの声を拾うのに適切である。
【0107】
H.イメージセンサ
また、ハンドヘルド電子機器は、ハンドヘルド装置がカメラのように作動することができるように、イメージセンサとレンズ関連部品を含んでいてもよい。イメージセンサは、例えば、電荷結合素子(CCD)カメラを含めばよい。
【0108】
I.入力装置機能性
(1)タッチジェスチャー
ハンドヘルド電子機器は、タッチスクリーンあるいはハウジングのタッチ感知面に与えられるタッチジェスチャーを認識し、それによりハンドヘルド電子機器の態様を制御するように設計されてもよい。ジェスチャーは、定型化された入力装置との相互作用である。それは、1以上の特定の計算演算にマッピングされる。ジェスチャーは、種々の手や指の動きを通してなされればよい。一般に、ジェスチャーは、接触コード、例えば、1以上の指と、そのコードに関連した動きとを含む。その代わりにまたはそれに加えて、ジェスチャーはスタイラスでなされてもよい。これらのすべての場合には、入力装置、すなわち、タッチスクリーンあるいはタッチ感知面はジェスチャーを受け付け、ハンドヘルド電子機器の制御部は、そのジェスチャーに関連した演算を行うインストラクションを実行する。ハンドヘルド電子機器は、タッチジェスチャー演算プログラムを含んでいればよい。このプログラムは、オペレーティングシステムの一部であっても別のアプリケーションであってもよい。ジェスチャー演算プログラムは、一般に、ジェスチャーの発生を認識し、そのジェスチャーの1以上のソフトウェアエージェントおよびそのジェスチャーに応じてどのようなアクションが取られるかについて通知するインストラクションセットを含む。例えば、使用可能なジェスチャーは、2004年7月30日に出願され、「タッチ感知入力装置用のジェスチャー」と題する米国特許出願第10/903,964号、および2005年1月18日に出願され、「タッチ感知入力装置のためのモードベースのグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号に開示される。
【0109】
(2)3D空間ジェスチャー
一実施形態によれば、ハンドヘルド電子機器は、加速度計により計測された3D空間ジェスチャーを認識し、その3D空間ジェスチャーに基づいてハンドヘルド電子機器の態様を制御するよう設計されてもよい。空間ジェスチャーは、装置自身の定型化された動きである。その動きは2以上の特定の計算演算にマッピングされる。3D空間ジェスチャーは、例えば、振動、波打ちなどの種々の手および腕を通してなされればよい。加速度計は、3D空間ジェスチャーに関連した動きを計測し、制御部は、3D空間ジェスチャーとしてその動きを認識し、その後3D空間ジェスチャーに関連した演算を行うインストラクションを実行する。ハンドヘルド電子機器は、3D空間ジェスチャー演算プログラムを含めばよい。そのプログラムは、オペレーティングシステムの一部であっても別のアプリケーションであってもよい。そのジェスチャー演算プログラムは、一般に、ジェスチャーの発生を認識し、そのジェスチャーの1以上のソフトウェアエージェントおよびそのジェスチャーに応じてどのようなアクションが取られるかについて通知するインストラクションセットを含む。
【0110】
一つの模範的な3Dジェスチャーは装置を振ることである。振ることは、ハンドヘルド装置がモードまたは状態間で切り替わることをもたらすことができる。その代わりに、ハンドヘルド装置を振ることは、選択イベントの発生をもたらすことができる。例えば、メディアプレーヤの場合、装置を振ることは、装置に写真または歌のグループから一つの写真または歌をランダムに選択させてもよい。その代わりに、装置を振ることは、装置に一連の歌から次の写真または歌を選択させてもよい。
【0111】
他のジェスチャーは、装置を水平移動しまたは回転することを含んでもよい。(上向きのまま)ハンドヘルド装置を左右に水平移動することは、その装置でパンまたはスクロールを開始するために用いられてもよく、(上向きのまま)装置を上下に移動することは、ズームを開始するために用いられてもよい。装置を回転することは、装置がモードまたは状態を変更させるために用いられてもよい。ある場合、例えば、装置の配向性は特定のモードに対応してもよい。例えば、第1モードは0°に関連し、第2モードは90°に関連し、第3モードは180°に関連し、第4モードは270°に関連すればよい。これらすべての場合、その装置が回転されるとき表示部が直立に保持されるように、装置は構成されてもよい。すなわち、装置がどの配向になっていても、それは直立イメージを維持する。
【0112】
3D空間ジェスチャーは、手話、手書きの動きなどのより複雑な動きに基づいてもよい。
【0113】
(3)多数の入力に基づいたアクションの実行
装置が多数入力モードを有してもよいので、ハンドヘルド装置は、異なる入力装置からの同時の入力を受け付け、その多数の同時の入力に基づいたアクションを実行するよう構成されてもよい。新しいコマンドを作り出すために結合され得る入力は、音声、2Dタッチジェスチャー、3D空間ジェスチャー、アクチュエータなどから選択されてもよい。例えば、この機能は、音声選択を介して電話を掛けるとき助けになればよい。発呼者は「トム」と言葉で表せばよい。これにより、装置は「トム」の電話番号にダイアルする。「トム」が多数の電話番号を所有するならば、ユーザは、トムの2番目の電話番号を選択するために、言葉によるコマンド「トム」と揺動のような3D空間ジェスチャーとを組み合わせればよい。種々の他の可能性は当業者によって認識されるだろう。
【0114】
(4)軽い(light)タッチと堅い(hard)タッチの区別
上述のように、タッチ感知に関連した力感知は、軽いタッチと堅いタッチとの2つの別のタイプの相互作用を容易にする。軽いタッチは、一般に、主要なイベントを発生させることなく、コンテンツやコンテンツ操作を通してナビゲートするような受動的アクションを実行するために用いられてもよい。受動的なイベントの例は、カーソルを移動したり、スクロールしたり、パンしたりすることなどを含む。堅いタッチの相互作用は、スクリーンボタン上で選択したり、コマンドを開始したり(例えば、重要な変化を発生させたり)するために用いられてもよい。
【0115】
図25は、この技術を実行するためのタッチ方法400の図である。方法400は、ブロック402にて始まり、1以上のタッチが検出される。タッチは、x、y成分だけでなく、z成分も含む。x、y成分は、タッチスクリーン、タッチパッドあるいはタッチハウジングのようなタッチ感知装置により供給されてもよい。z成分は、タッチ感知装置のタッチ面の後ろに位置する力センサまたはディスプレイアクチュエータによって提供されてもよい。
【0116】
ブロック402に次いで、その方法は、ブロック404に移行し、そのタッチが軽い(light)タッチか堅い(hard)タッチかについての決定がなされる。一般に、その決定はタッチの力または圧力(z成分)に基づく。例えば、タッチの力が所定の閾値より小さいならば、タッチは軽いタッチと考えられ、タッチの力がその所定の閾値より大きいならば、そのタッチは堅いタッチと考えられる。そのタッチが軽いタッチと決定されると、その方法は、ブロック406に移行し、そのタッチに関連した受動的なアクションを開始する。タッチが堅いタッチと決定されると、そのタッチに関連した能動的アクションが実行される(ブロック408)。
【0117】
タッチ方法は、1以上のタッチが最初のタッチまたは第2のタッチとして分類されるブロックをさらに含んでいてもよい。最初のタッチは、アクションをもたらすように意図されるタッチであり、第2のタッチは、アクションをもたらすように意図されないタッチである。ジェスチャーは、最初のタッチの例であり、装置を保持するためにタッチ領域上に置かれた親指は、第2のタッチの例である。タッチが最初または第2のタッチとして分類されると、第2のタッチは除外され、タッチが軽いタッチか堅いタッチかの決定が最初のタッチでなされる。
【0118】
(5)新しいタッチ用語の例
新しいタッチ用語を形成するために、タッチ感知装置上に加えられるz圧力をタッチのx、y位置と組み合わせることができる。認識されるべきであるように、この時点までタッチ用語は、xおよびy位置だけが含まれ、z圧力は含まれていなかった。提案されるタッチ用語は、UIモード、タッチの力(例えば、軽いか堅いか)、用いる指の数、タッチ中に移動があるか否か、タッチの期間、およびタッチ位置を含む種々の変数を含んでいる。これらのすべてまたはいくつかは、種々の行動やユーザフィードバックを形成するために結合され得る。
【0119】
UIモードは、一般に、装置のモードまたは状態に関連する。各装置は種々の状態を含み、各状態は異なるUIモードを必要としてもよい。メディアプレーヤ(あるモード)は、例えば、異なるUIを必要とする各層で階層(状態)セットを含んでもよい。
【0120】
上述のように、タッチの力は、例えば、軽いまたは堅いとして記述されればよい。ユーザがタッチ面の表面を軽くタッチするとき、すなわち、指が表面の上部に留まり、xおよびy方向に主に移動するとき、軽いタッチが発生すればよい。ユーザがある大きさの力でタッチ面上を押し、すなわち、指がタッチ面に対してz方向に主に移動するとき、堅いタッチが発生すればよい。
【0121】
タッチ中の動きは、指がタッチイベント中静止したままであるか、X−Y平面で実質的に移動したか(例えば、水平移動、回転など)を記述するために用いられればよい。その動きは、全くない、強打、あるいはある特定の方向へのねじりとして記述されてもよい。例として、強打は、上、下、右、左あるいはそのいくつかの組み合わせであればよく、ねじりは、時計回りまたは反時計回りであればよい。
【0122】
継続時間は、指があるポイントに留まっている時間量として定義される。継続時間は可変的であればよく、短い、長いなどの状態を含めばよい。タッチ位置は、ランダムなポイントまたはスクリーン上のボタンなどの特定の位置であればよい。
【0123】
図26は、この技術を実行する追加のタッチ方法500である。その方法は、ブロック502にて始まり、1以上のタッチが検出される。その後、ブロック504では、UIモードが決定される。ブロック506では、タッチが軽いタッチであるか堅いタッチであるかについて決定がなされる。その代わりに、ブロック502および504を逆にすることができ、各モードのためのタッチ方法の例をもたらす。ブロック508では、別のタッチ数(例えば、複数の指)が決定される。ブロック510では、タッチが静止しているか、動いているかについての決定がなされる。ブロック512では、タッチの継続時間が決定される。ブロック514では、タッチの位置が決定される。ブロック502〜514に次いで、方法はブロック516に移行し、UIモード、タッチの圧力、タッチ数、タッチが移動しているか否か、タッチの継続時間、およびタッチ位置に基づいてアクションが実行される。そのアクションは、各特徴の値に応じて受動的または能動的であればよい。
【0124】
ミュージックプレーヤに関連したタッチ用語の一例は図27A〜図27Eに示される。
【0125】
5.出力装置
A.ディスプレイ
ハンドヘルド電子機器の原理出力は、典型的にディスプレイである。ディスプレイは、テキスト、文字またはグラフィックの形式で視覚情報を提供する。他のタイプのディスプレイが用いられてもよいが、ディスプレイは通常フラットパネル装置である。ディスプレイは、テキストおよび記号を表示することができるキャラクタ(文字)LCD、イメージ、ビデオおよびグラフィカルユーザインタフェース(GUI)を表示することができるグラフィカルLCDなどの液晶ディスプレイ(LCD)であればよい。その代わりに、ディスプレイは、有機発光ダイオード(OLED)に基づいたディスプレイ、あるいは電子インクに基づいたディスプレイに対応してもよい。
【0126】
好ましくは、ディスプレイは、ハウジングの前面を実質的に占めるように構成されればよい。ディスプレイは、ハウジングの一端から他端に延びればよく、ハウジングは、ディスプレイの端部を囲む小さいベゼルを含んでもよい。いずれの場合でも、ディスプレイは、ハンドヘルド電子機器の前面の実質的部分を占め、それによって、従来のユーザインタフェースに関連したボタンまたはスイッチのためのあらゆるスペースを排除する。
【0127】
上述のように、視覚情報を出力する他に、ディスプレイは、入力装置のようにも振る舞う。例えば、タッチスクリーンは、ディスプレイ上に配置されてもよく、センサは、装置が押圧されるか他の方法で移動されるときを感知するために、ディスプレイの下に配置されてもよい。ほとんどの場合、ハンドヘルド装置の小さい形状因子は、持ち運んだり、手で用いたりする間操作を許容するために、入力インタフェースの中央配置を必要とする。ディスプレイ領域は、中央位置を提供し、そこは両手によりアクセス可能である。
【0128】
ディスプレイ領域は複数のディスプレイにより形成されてもよい。例えば、ディスプレイ領域は、並んでいるか一つの上にもう一つが重なっている一対のディスプレイにより形成されてもよい。第1のディスプレイは、標準スクリーンを提供するために用いられ、第2のディスプレイは、図5〜図8を参照した上述のように、制御スクリーンを提供するために用いられればよい。また、第1のディスプレイが従来のディスプレイであり、第2のディスプレイがディスプレイアクチュエータであってもよい。さらに、第1のディスプレイは第1のタイプを構成し、第2のディスプレイは第2のタイプを構成してもよい。例えば、第1のディスプレイはLCDであり、第2のディスプレイは電子インクに基づくディスプレイであればよい。
【0129】
異なるタイプを用いる決定は、ディスプレイの一つが標準視聴エリアに専用であり、もう一つが制御エリアに専用であるという事実に基づけばよい。これら2つのエリアが異なる解像度を必要とするので、より高解像度スクリーンが標準エリアに用いられ、より低解像度スクリーンが制御エリアに用いられればよい。その代わりにまたはそれに加えて、ディスプレイの一つは、特に低解像度を許容可能な制御エリアにおいてバッテリ消費を低減するために選択されてもよい。ある場合には、2つの異なるディスプレイが用いられるが、そこに表示されるイメージは一つの統一されたイメージを形成するために結合されてもよい。
【0130】
B.スピーカ
また、ハンドヘルド装置はスピーカを含んでもよい。スピーカは、アンプからオーディオ情報を表す電子信号を受け入れ、その電子信号を音波に変換する構成要素である。スピーカは、ミュージックプレーヤ機能性に関連して音楽を聴いたり、携帯電話機能性に関連して着信音を聞いたりするために用いられればよい。スピーカは、ハンドヘルド装置の上面あるいは可能であればハンドヘルド装置の前面上部ベゼル上に配置されればよい。このアレンジメントは、装置が携帯電話として用いられるとき特にうまく機能する。
【0131】
C.インジケータ(LED)
また、ハンドヘルド装置は、ユーザフィードバックを提供したり、装置に関連したイベントを示したりする1以上のインジケータを含んでもよい。そのイベントは、信号や、装置の状態またはステータスに関連すればよい。例えば、インジケータは、バッテリ寿命のステータスを提供し、あるいは着信があることをユーザに警告する。発光ダイオード(LED)のような光源を含むインジケータは、典型的に、イベントが発生するときに照らされ、そのイベントが止まるときに照らされない。また、インジケータは、付いたり消えたり(明滅したり)、その強度を増加しあるいは減少して循環してもよい。ある場合には、インジケータは、モニタされているイベントについてのより詳細な情報を提供するために、色を変更さえしてもよい。
【0132】
インジケータは、小さい透明なプラスチック挿入物を典型的に含む従来のインジケータであればよい。その挿入物は、LEDの前に位置し、ハウジングの表面に存在させるようにハウジングの開口内に挿入される。また、LED自身は、挿入物として用いられるよりもむしろ、ハウジングの開口内に位置すればよい。その代わりに、インジケータは、ハウジングの表面を切らないように構成され得る。この構成では、光源はハウジングの内部に完全に配置され、ハウジングにその外観、すなわち、その色を変化させるように、ハウジングの一部を照らすよう構成される。
【0133】
D.音声/触覚フィードバック装置
ハンドヘルド装置は、ユーザに音声フィードバックを与えるために、スピーカまたはブザーを含んでもよい。これらは、上述のインジケータと同様に機能してもよく、あるいは、ソフトボタンまたはスクロールホイールのようなGUI要素を活性化する感触を高めるために用いられてもよい。例えば、スピーカは、ユーザが仮想ボタンを押したり、仮想スクロールホイールを回転したりするとき「クリッキング」音を出力するよう構成されてもよい。この特定の機能は、ユーザの経験を高め、仮想UIの感触をより物理的UIのようにする。
【0134】
また、ハンドヘルド装置は触覚学機構を含んでもよい。触覚学は、触覚の間隔および制御をコンピュータアプリケーションとの相互作用に与える科学である。触覚学により、本質的に、ユーザは情報すなわち手に送られる信号を感じることができる。触覚学機構は広範囲に変更されてもよい。それらは、モータ、バイブレータ、電磁石などを含めばよい。そのすべては振動または震動の形式で力のフィードバックを提供することができる。触覚学機構は、上述のインジケータ(警報)と同様に機能すればよく、あるいは、ソフトボタンまたはスクロールホイールのようなGUI要素を活性化する感覚を高めるために用いられればよい。例えば、触覚学機構は、ユーザが仮想ボタンを押したり、仮想スクロールホイールを回転したりするときに振動するように構成されればよい。この特定の機能は、ユーザの経験を高め、仮想UIの感触をより物理的UIのようにする。また、触覚学はスクリーン上のアクションと同時に用いられてもよい。例えば、映画やゲームのプレイ中、触覚学機能は表示されているアクションをシミュレートすることができる。例えば、触覚学機構は、車が映画やゲーム中に爆発するときバイブレーションの形式で力のフィードバックを提供してもよい。
【0135】
触覚学がソフトボタンやスクロールホイールのようなGUI要素を活性化する感覚を高めるために用いられる場合には、触覚学機構は、ユーザのアクションの下に直接力のフィードバックを提供するように、ディスプレイの領域内でディスプレイのさらに下に位置してもよい。実際、多数の触覚学機構は、その感覚をさらに高めるために、ディスプレイのいたる所に局部的に用いられてもよい。一般に、振動がユーザのアクションに近ければ近いほど、触覚学効果が大きいと信じられている。一実施では、接触学機構はディスプレイの下にアレイで間隔を空けられる。すなわち、それらは空間的に分離され、異なる位置に配置される。例として、それらは、2×2、2×4、4×4、4×8、8×8のアレイで、ディスプレイの下に配置されればよい。
【0136】
音声あるいは触覚フィードバックはユーザ入力がなされたことをユーザに警告するために用いられてもよい。例えば、GUIの仮想ボタンにタッチすると、接触学はバイブレーションの形式で力のフィードバックを提供し、スピーカはクリックの形式で音声のフィードバックを提供してもよい。タッチイベント、動きイベント、握りイベントを含む入力イベントに関連して、触覚音声フィードバックを用いることができる。フィードバックは、インプットを実際に実行したことをユーザが知る(ボタンまたはスイッチの音声および触覚感覚をシミュレートする)ように、情報を提供してもよい。一実施では、フィードバックは力感知装置に加えられる力のレベルに結び付けられる。例えば、ある力閾値に到達するとき、音声フィードバック装置は、押下についての「クリック」と、離す(解除)についての「クロック」とを作り出してもよい。用いられる力閾値は、タッチが軽いタッチか堅いタッチかを決定するために用いられる閾値と同様であってもよい。「クリック」および「クロック」は、堅いタッチがなされるときボタンクリックをシミュレートするために用いられてもよい。
【0137】
6.通信装置
A.有線
また、ハンドヘルド装置は、装置との間でデータを送受信するための1以上のコネクタを含んでもよい。例として、装置は、1以上のオーディオジャック、ビデオジャック、データポート、ドッキングポートなどを含めばよい。また、ハンドヘルド装置は、装置との間で電力を送受するための1以上のコネクタを含んでもよい。
【0138】
ハンドヘルド装置は、ヘッドフォン/マイクロフォンジャックおよびデータポートを含んでもよい。そのジャックは、音声が装置に入力され、および音声が装置から出力されるように、スピーカあるいはマイクロフォンプラグを受け入れることができる。データポートは、汎用コンピュータ(例えば、デスクトップコンピュータ、ポータブルコンピュータ)のようなホスト装置との間でデータを送受信するように構成されるデータプラグ/ケーブルアセンブリを受け入れることができる。例えば、データポートは、ハンドヘルド装置との間でデータをアップロードまたはダウンロードするために用いられればよい。そのようなデータは、ハンドヘルド装置への歌および演奏リスト、オーディオブック、eブック、写真、アドレスブック、ドキュメント、アポイントメントなどを含めばよい。データポートは、PS/2ポート、シリアルポート、パラレルポート、ネットワークインタフェースポート、USBポート、ファイアワイヤポートなどであればよい。また、ハンドヘルド装置は、ハンドヘルド装置に電力を受け渡すよう構成される電源プラグ/ケーブルアセンブリを受け入れる電力ポートを含んでもよい。ある場合には、データポートは、標準コネクタか専有コネクタのいずれかを用いることにより、データポートと電源ポートの両方として機能してもよい。
【0139】
B.無線
無線でデータを送受信するために、装置は、一般に、送信機、受信機(またはトランシーバ)およびある種のアンテナを必要とする。無線通信リンクは、ブルートゥース、WiFi(802.11)、赤外線(IR)などに対応すればよい。アンテナは、装置内に完全に含まれてもよく装置の外に延出してもよい。アンテナは、用いられる周波数などに応じて種々の形式を取ればよい。例えば、ゴムに包まれた巻き上げ要素からなる頑丈なラバーダックであってもよい。その代わりに、アンテナは、装置内の回路基板上にプリントされてもよい。
【0140】
また、ハンドヘルド装置は、携帯ネットワークまたはGPS受信機を介した通信のための無線トランシーバを含んでもよい。
【0141】
C.受信通信信号に基づくUIの変更
ハンドヘルド電子機器は、周囲の環境における信号を能動的に探し、その信号に基づいてモードを変更するよう構成されてもよい。すなわち、装置は、モードをその信号に合わせるように試みる。装置が携帯ネットワーク上で携帯信号を受信すると、装置は携帯電話に変わればよい。すなわち、携帯電話モードが活性化し、あるいは他のモードと比較して先にもたらされる。装置が電子メールを受信すれば、その装置は電子メール端末に変わればよい。別の例として、ユーザがホームシアタールームに歩いて入るとき、装置はメディア制御装置からの信号を感知し、ホームシアターの種々の装置(TV、アンプ、DVD、照明)を制御する機能性を含む遠隔制御器に変わればよい。他の場合には、装置は、物理的商店で放送されている信号を感知し、その商店に適切な装置に変わればよい。例えば、銀行では、装置は電卓に変わってもよく、資金プログラムを見えるようにしてもよい。あるいは、食料品店では、装置は支払い装置に変わってもよく、買い物リストを見えるようにしてもよい。
【0142】
7.ハンドヘルド装置の他の構成要素
ハンドヘルド装置は、1以上の以下のハードウェアコンポーネント、すなわち、制御装置(例えば、マイクロプロセッサ、DSP、A/D、D/A、コンバータ、コード)、メモリ(例えば、RAM、ROM、ソリッドステート(フラッシュ)、ハードディスク(マイクロドライブ))、バッテリ(例えば、リチウムイオン)などをさらに含んでいてもよい。
【0143】
8.全体的ブロック図
図28は模範的なハンドヘルド装置600のブロック図である。ハンドヘルド装置600は、典型的に、インストラクションを実行し、ハンドヘルド装置に関連した操作を実行するよう構成される制御装置602(例えば、CPU)を含む。例えば、メモリから検索されたインストラクションを用いて、制御装置602は、ハンドヘルド装置600の構成要素間の入出力データの受信および操作を制御してもよい。制御装置602は、シングルチップ、マルチチップまたはマルチ電子部品において実施され得る。例えば、専用または内蔵のプロセッサ、専用のプロセッサ、制御装置、ASICなどを含む制御装置602のために種々のアーキテクチャを用いることができる。例として、制御装置602は、マイクロプロセッサ、DSP、A/D変換器、D/A変換器、圧縮器、減圧器等を含んでもよい。
【0144】
ほとんどの場合、オペレーティングシステムとともに、制御装置602は、コンピュータコードを実行し、データを作り出して使用するために稼働する。オペレーティングシステムは、OS/2、DOS、Unix(登録商標)、Linux(登録商標)、およびPalmOSのような周知のオペレーティングシステムに対応すればよく、その代わりに、限定目的の電気器具タイプの装置のために用いられるもののような特別な目的のオペレーティングシステムに対応してもよい。オペレーティングシステム、他のコンピュータコードおよびデータは、制御装置602に操作可能に接続されるメモリブロック604内に存してもよい。メモリブロック604は、一般に、ハンドヘルド装置により用いられるコンピュータコードおよびデータを格納する場所を提供する。例として、メモリブロック604は、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、ハードディスクドライブ(例えば、マイクロドライブ)、フラッシュメモリなどを含めばよい。メモリブロック604に関連して、ハンドヘルド装置は、DVDを受け入れ、再生する光ディスクプレーヤなどの着脱可能な記憶装置あるいはメモリカード(またはメモリスティック)などの媒体を受け入れるカードスロットを含んでいてもよい。ハンドヘルド装置の形状因子が小さいので、光ディスク装置はミニDVDのためにのみ構成されてもよい。
【0145】
また、ハンドヘルド装置600は、制御装置602に操作可能に接続される種々の入力装置606を含んでもよい。入力装置606は、外界からのデータをハンドヘルド装置600に転送するよう構成されてもよい。図示のように、入力装置606は、データ入力機構およびデータ収集機構の両方に対応してもよい。特に、入力装置606は、タッチスクリーン、タッチパッドおよびタッチ感知面などのタッチ感知装置608と、ボタン、ホイールまたはホールドスイッチ(611)などの機械式アクチュエータ610と、加速度計等の動き感知装置612と、力感知ディスプレイやハウジングなどの力感知装置614と、イメージセンサ616と、マイクロフォン618とを含めばよい。また、入力装置606は、クリック可能なディスプレイアクチュエータ619を含んでもよい。
【0146】
また、ハンドヘルド装置600は、制御装置602に操作可能に接続される種々の出力装置620を含んでもよい。出力装置620は、ハンドヘルド装置600からのデータを外界に転送するよう構成される。出力装置620は、LCDなどのディスプレイ622と、スピーカまたはジャック624と、音声/触覚フィードバック装置626と、光インジケータ628などを含んでもよい。
【0147】
また、ハンドヘルド装置600は、制御装置602に操作可能に接続される種々の通信装置630を含んでもよい。例えば、通信装置630は、IR、USB、ファイアワイヤポートなどのI/Oポート632と、GPS受信機634と、無線受信機636とから選択される有線および無線連結性の両方を含んでもよい。
【0148】
また、ハンドヘルド装置600は、バッテリ650と、可能であれば充電システム652とを含んでもよい。バッテリは、変圧器および電源コードを通して、またはホスト装置を介して、あるいはドッキングステーションを介して充電されてもよい。ドッキングステーションの場合には、充電は、電気ポートを通して、あるいは可能であれば、なされるべき物理的電気接続を必要としないインダクタンス充電手段を通して、転送されてもよい。
【0149】
上述の本発明の種々の態様、特徴、実施形態または実施を単独でまたは種々の組み合わせにより用いることができる。ソフトウェア、ハードウェアあるいはハードウェアとソフトウェアの組み合わせにより本発明の方法を実施することができる。また、コンピュータに読み取り可能な媒体上のコンピュータに読み取り可能なコードとして本発明を具体化することもできる。コンピュータに読み取り可能な媒体は、上記で定義されるような転送装置および非転送装置を含むコンピュータシステムによりその後読み取ることができるデータを格納可能なあらゆるデータ記憶装置である。コンピュータに読み取り可能な媒体の例は、リードオンリーメモリ、ランダムアクセスメモリ、CD−ROM、フラッシュメモリカード、DVD、磁気テープ、光学データ記憶装置および搬送波を含む。また、コンピュータに読み取り可能な媒体は、コンピュータに読み取り可能なコードが分散方法で格納され、実行されるように、ネットワークで接続されたコンピュータシステムを介して分散され得る。
【0150】
いくつかの好ましい実施形態に関して本発明を記述したが、本発明の範囲内に含まれる変更、置換および同等物がある。また、本発明の方法および装置を実施する多くの代わりの方法があることにも注意されたい。したがって、添付の特許請求の範囲が本発明の真の意図および範囲内に含まれるような変更、置換および同等物のすべてを含むように解釈されることが意図される。
【技術分野】
【0001】
本出願は、(1)2005年3月4日に出願され、「多機能ハンドヘルド装置」と題する米国仮特許出願第60/658,777号、および(2)2005年3月16日に出願され、「多機能ハンドヘルド装置」と題する米国仮特許出願第60/663,345号に関連し、これらの出願の優先権を主張する。これらの出願はそれぞれ、参照により本出願に組み込まれる。
【0002】
また、本出願は、以下の出願、すなわち、(1)2002年7月1日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/188,182号、(2)2003年11月25日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/722,948号、(3)2003年8月18日に出願され、「追加機能を有するモバイルタッチパッド」と題する米国特許出願第10/643,256号、(4)2003年9月2日に出願され、「両手用マウス」と題する米国特許出願第10/654,108号、(5)2004年5月6日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第10/840,862号、(6)2004年7月30日に出願され、「タッチ感知入力装置用ジェスチャー」と題する米国特許出願第10/903,964号、(7)2005年1月18日に出願され、「タッチ感知入力装置用モードベースグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号、(8)2005年2月11日に出願され、「ディスプレイアクチュエータ」と題する米国特許出願第11/057,050号、および(9)2005年4月26日に出願され、「多タッチ感知装置を有するハンドヘルド電子機器」と題する米国特許出願第11/115,539号に関連する。これらの出願はすべて参照により本出願に組み込まれる。
【背景技術】
【0003】
現在、多くの種類のハンドヘルド電子機器が存在する。各ハンドヘルド電子機器は、ある種のユーザインタフェースを利用する。そのユーザインタフェースは、典型的に、液晶ディスプレイ(LCD)などのディスプレイの形式の出力装置と、1以上の入力装置とを含む。この入力装置は、機械的に作動されるか(例えば、スイッチ、ボタン、キー、ダイアル、ジョイスティック、ジョイパッド)、電気的に作動される(例えば、タッチパッドやタッチスクリーン)。ディスプレイは、典型的に、テキストやグラフィックなどの視覚情報を提供するよう構成される。入力装置は、典型的に、電子機器において、コマンドを発行したり、選択したり、カーソルまたはセレクタを移動したりするような操作を実行するよう構成される。これらの周知の装置のそれぞれは、ハンドヘルド電子機器を設計するときに考慮されるべき大きさおよび形状の制限、コスト、機能性、複雑さなどのような考慮すべき事項を有する。ほとんどの場合、ユーザインタフェースは、ディスプレイの容易な視聴および入力装置の容易な操作のために、ハンドヘルド装置の表面(または前面)上に位置する。
【0004】
図1A〜図1Fは、携帯電話10A(図1A)、PDA10B(図1B)、メディアプレーヤ10C(図1C)、遠隔制御器10D(図1D)、カメラ10E(図1E)およびGPSモジュール10F(図1F)を一例として含む種々のハンドヘルド電子機器の図である。これらの各装置10では、ディスプレイ12は、典型的に、電子機器10の第1領域に位置する。このディスプレイ12は、電子機器10のハウジング内に固定され、ハウジング内の開口を介して見られ得る。また、これらの各装置は、1以上の入力装置14を含む。入力装置14は、典型的に、ディスプレイ12の次の電子機器10の第2領域に位置する。
【0005】
詳細に述べると、携帯電話10Aは、典型的に、文字またはグラフィックディスプレイなどのディスプレイ12と、数字キーパッドやいくつかの場合にはナビゲーションパッドなどの入力装置14とを備える。PDA10Bは、典型的に、グラフィカルディスプレイなどのディスプレイ12と、スタイラスベースの抵抗性タッチスクリーンおよびボタンなどの入力装置14とを備える。メディアプレーヤ10Cは、典型的に、文字またはグラフィックディスプレイなどのディスプレイ12と、ボタンまたはホイールなどの入力装置14とを備える。カリフォルニア州クパチーノのアップルコンピュータInc.により製造されたiPod(登録商標)メディアプレーヤは、ディスプレイと、該ディスプレイの次に配置される入力装置とを備えるメディアプレーヤの一例である。遠隔制御器10Dは、典型的に、キーパッドなどの入力装置14を含み、文字ディスプレイ12を有しても有さなくてもよい。GPSモジュール10Fは、典型的に、グラフィックディスプレイなどのディスプレイ12と、ボタンやある場合にはジョイパッドなどの入力装置14とを備える。
【0006】
最近、伝統的に別々のハンドヘルド電子機器が限定的な方法で組み合わされ始めた。例えば、携帯電話10AはPDA10Bと組み合わされた。遭遇した1つの問題は、装置への入力方法に関するものである。これらの装置はそれぞれ、その装置に入力を供給するための特定の入力機構セットを有する。これらの入力機構のいくつかはすべての装置で一般的であるが(例えば、電源ボタン)、その他は一般的ではない。一般的でない入力機構は、典型的に、装置の特定の機能に専用のものである。例として、PDAは、典型的に、4つの専用ボタンを含むが、携帯電話は、典型的に、数値キーパッドと、少なくとも2つの専用ボタンとを含む。
【発明の概要】
【発明が解決しようとする課題】
【0007】
そのため、各装置の専用入力に不利に影響することなく、限られた入力装置を有する併合装置を設計することは挑戦である。認識されるように、多くの入力機構を有するハンドヘルド装置に負荷をかけ過ぎないことが好ましい。なぜならば、これにより、ユーザを混乱させるとともに、貴重のスペース、すなわち、「物的財産(real estate)」を塞いでしまう傾向にあるからである。ハンドヘルド装置の場合、それらが小さいサイズであるため、スペースは需要が大きい。ある点では、必要なボタンやスイッチなどのすべてを収容するための装置上のスペースが十分にない。これらのすべての装置がそれ自身の多くのスペースを典型的に塞いでしまうディスプレイを必要とすることを考慮すると、このことは特に当てはまる。あるレベルを超えて入力装置の数を増やすために、設計者はディスプレイのサイズを小さくしなければならないだろう。しかしながら、典型的にユーザができる限り大きいディスプレイを望むので、このことは、しばしばユーザに悪い印象を残してしまう。その代わりに、より多くの入力装置を収容するために、設計者は、装置のサイズを大きくすることを選択してもよい。片手での操作が困難となり、ある点では、装置のサイズがあまりに大きいためにもはやハンドヘルド装置とは考えられなくなるので、同じくこのこともしばしばユーザに悪い印象を残してしまう。
【0008】
そのため、この技術において必要とされるのは、多機能ハンドヘルド装置のために作動する改善されたユーザインタフェースである。
【課題を解決するための手段】
【0009】
多機能ハンドヘルド装置がどのように用いられるかに基づいて、ユーザ入力を構成することができる多機能ハンドヘルド装置を開示する。好ましくは、多機能ハンドヘルド装置は、そのディスプレイサイズを十分に大きくすることができるように、せいぜいわずかな物理的ボタン、キーまたはスイッチだけを有する。還元すれば、物理的ボタン、キーまたはスイッチを電子機器の前面から排除することによって、追加となる表面積は、大きいディスプレイのために利用可能となる。最終的には、この戦略により、実質的なフルスクリーンディスプレイを可能とするであろう。ここで用いられるように、フルスクリーンディスプレイは、電子機器の表面(例えば、前面)を使いつくし、あるいは少なくとも支配するディスプレイである。
【0010】
多機能ハンドヘルド装置の種々の実施形態は、図2〜図28を参照して以下に論じられる。しかしながら、当業者は、これらの図面に関してここで示される詳細な記述が模範的であり、網羅的ではないこと、およびこれらの実施形態に多くの変形が可能であることを認識するであろう。
【図面の簡単な説明】
【0011】
【図1】(a)〜(f)は種々の電子機器の図である。
【図2】多機能ハンドヘルド装置の簡略図である。
【図3】限定数の限定されたボタンを有する実質的にフルスクリーンのハンドヘルド装置の斜視図である。
【図4】少なくとも1つのボタンを有するハンドヘルド装置の正面図である。
【図5】標準領域および制御領域に分離されたGUIの図である。
【図6】標準領域および制御領域に分離されたGUIの図である。
【図7】標準領域および制御領域に分離されたGUIの図である。
【図8】標準領域および制御領域に分離されたGUIの図である。
【図9】PDA用の模範的なGUIを示す。
【図10】携帯電話用の模範的なGUIを示す。
【図11】メディアプレーヤ用の模範的なGUIを示す。
【図12】ビデオプレーヤ用の模範的なGUIを示す。
【図13】ゲームプレーヤ用の模範的なGUIを示す。
【図14】カメラ用の模範的なGUIを示す。
【図15】GPS用の模範的なGUIを示す。
【図16】ハンドトップ用の模範的なGUIを示す。
【図17】遠隔制御器用の模範的なGUIを示す。
【図18】多機能ハンドヘルド装置のメインメニュー用の模範的なGUIを示す。
【図19】力感知ディスプレイを組み込んだハンドヘルド装置の側断面図である。
【図20】タッチされたときにx、yおよびz成分を提供するために、タッチ感知装置と力感知装置とを組み合わせた入力装置を示す。
【図21】タッチスクリーンを備えるディスプレイと力感知機構とを組み合わせたI/O装置の側面図である。
【図22】入力装置の側面図である。
【図23】スクイーズ機能を含むハンドヘルド装置の側断面図である。
【図24】ハンドヘルド電子機器の側断面図である。
【図25】タッチ感知方法のブロック図である。
【図26】タッチ感知方法のブロック図である。
【図27A】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27B】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27C】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27D】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図27E】ミュージックプレーヤに関連したタッチ語彙の一例を表すテーブルである。
【図28】模範的な多機能ハンドヘルド装置のブロック図である。
【発明を実施するための形態】
【0012】
本発明は、添付の図面に関連して以下の詳細な説明を参照することにより最もよく理解されるであろう。
【0013】
1.多機能性
電子機器の製造業者は、多機能装置を作るために、別々のハンドヘルド電子機器を組み合わせることについての利点を発見した。一つの多機能装置を持つことにより、ユーザは、複数の装置を持ち歩いたり、購入したり、維持したりすることで悩まされることはない。また、ユーザは実行可能な操作に制限されることはない。すなわち、ユーザは、他の方法で異なる装置の使用を必要とするであろう異なる操作を一つの装置で実行することができる。
【0014】
ここで用いられるように、用語「多機能の(multi-functional)」は、2つ以上の伝統的な装置の能力を一つの装置内に有する装置を定義するために用いられる。多機能装置は、例えば、以下の装置の機能性、すなわち、PDA、携帯電話、ミュージックプレーヤ、ビデオプレーヤ、ゲームプレーヤ、デジタルカメラ、ハンドトップ、インターネット端末、GPSおよび遠隔制御器の2以上の機能性を含む。一つの装置に追加される各新しい装置機能性のために、装置の複雑さおよびサイズは増加する傾向にある。そのため、ハンドヘルド装置では、典型的に、まだ装置の機能性を極大化しつつ、設置面積を小さくすることに対する警鈴と複雑さを低減することに対する警鈴との間のトレードオフがある。
【0015】
ある場合には、複数の装置を組み合わせることにより、余分なハードウェアコンポーネントをもたらすかもしれない。このような組み合わせにより、多数の異なる装置の機能性のために構成要素を用いることができる。他の場合には、あるハードウェアコンポーネントは各装置に対して別であり、そのため、追加のスペースおよび結合性が利用可能にされなければならない。また、典型的に、各装置の機能性は、それ自身のプログラミングあるいはアプリケーションソフトウェアを有し、そのため、多機能装置は、種々のソフトウェアコンポーネントのすべてを収容するのに十分なメモリを持つように設計されなければならない。
【0016】
パーソナル携帯情報機器(PDA)は、個人使用やビジネス使用のためのコンピュータ計算、情報ストレージおよび検索能力を提供するモバイルハンドヘルド装置である。PDAは、名前、住所、電話番号およびアポイントメントを別々に追跡することができる。また、PDAは、しばしば、ノートを取ったり、計算、ページング、データメッセージ送信および電子メールを実行したりすることもできる。また、PDAは、簡単なゲーム、ミュージックおよび他のメディアファイルをプレイする機能性を含んでもよい。PDAの例としては、パームパイロット(Palm Pilot)やブラックベリー(Blackberry)が含まれる。
【0017】
ほとんどのハンドヘルド装置のように、典型的に、PDAはディスプレイと種々の入力装置とを含む。入力装置は、手書き認識プログラムとともに実行するスタイラスおよびタッチスクリーンと、キーパッドと、ミニキーボードと、ナビゲーションパッドと、ソフトまたは固定機能ボタンとの少なくともいずれかを含んでもよい。
【0018】
携帯電話は、ユーザがセルラーネットワークを用いて他の電話に接続することを可能にする移動電話である。携帯電話は、典型的に、発話および受話のためのトランシーバと、ディスプレイを介してトラバースするナビゲーションパッドなどの制御部と、数字入力(およびある場合にはアルファベット入力)のためのキーパッドと、ソフトまたは固定機能ボタンとを含む。例えば、多くの携帯電話では、一つの固定機能ボタンが通話を開始するために用いられ、もう一つの固定機能ボタンが通話を終了するために用いられる。
【0019】
メディアプレーヤは多様な形式で提供されている。ミュージックプレーヤは、一般に音楽を格納し、処理し、出力するよう構成される。ミュージックプレーヤは、音楽の圧縮システムであるMP3またはAACフォーマットに基づくことができる。ミュージックプレーヤは、典型的に、マイクロプロセッサ、メモリ、ディスプレイ、オーディオジャック、データポートおよび再生制御部を含む。再生制御部は、典型的に、メニュー、再生/一時停止、次へ、前へ、ボリュームアップおよびボリュームダウンなどの機能を含む。ビデオプレーヤは、ほとんどの点でミュージックプレーヤと類似している。ある場合には、ビデオプレーヤは、DVDなどの取り外し可能な記憶メディアを受け入れるためのデータ記憶装置を含んでいてもよい。カリフォルニア州クパチーノのアップルコンピュータ社により製造されるiPod(登録商標)メディアプレーヤはメディアプレーヤの一例である。
【0020】
ハンドトップは、ラップトップ(ノートタイプ)に類似する汎用コンピュータであるが、より小さい形状因子である。典型的に、ハンドトップはディスプレイとフルキーボードとを含む。
【0021】
図2は、多機能ハンドヘルド装置100の簡略図である。多機能ハンドヘルド装置100は、少なくとも2つの装置102を一つの装置に統合している。各装置102は、ハードウェアコンポーネント104とソフトウェアコンポーネント106の両方を含み、それらは多機能ハンドヘルド装置100に統合される。多機能ハンドヘルド装置100が2つの装置のみに限定されず、実際にはあらゆる数の装置を統合してもよいことが指摘されるべきである。
【0022】
また、多機能ハンドヘルド装置100はスイッチ110を含む。このスイッチ110により、一装置操作モードから別の装置操作モードに多機能ハンドヘルド装置100を切り替えることができる。例えば、スイッチ110は、ユーザが携帯電話、メディアプレーヤおよびPDAの操作モードを循環させることを可能にしてもよい。特定の操作モードが選択されると、多機能ハンドヘルド装置100は選択された装置として機能する。例えば、選択された装置に関するプログラミングは、多機能ハンドヘルド装置100により使用のために活性化される。プログラミングは、ユーザによりなされた入力が使用中の装置に関係するように、選択された装置に基づいてユーザインタフェースを再構成することを含んでもよい。例えば、ソフトボタン、スイッチまたはダイアルと同様に、いずれかの物理的ボタン、スイッチまたはダイアルの機能は、選択された装置に対応するよう再構成され得る。
【0023】
しかしながら、多機能ハンドヘルド装置100の操作モードは、完全に独立している必要はない。多くの場合、多数の機能性が互いに相互作用することができることが望ましい。例えば、ユーザは、PDAでコンタクトを取りたい電話番号を検索し、ダイアルすべき電話番号を電話機能に渡せばよい。
【0024】
2.形状因子
ハンドヘルド装置の形状因子は、一般に、片手で容易に保持することができる装置である。典型的なハンドヘルド装置は、その装置の前面上部の小さいディスプレイと、装置の前面下部の入力制御部とを含む。さらに、そのハンドヘルド装置は、上面、下面および側面に制御部およびポートを含んでいてもよい。先行技術のハンドヘルド装置は、典型的に、これらの装置のユーザにいくらかの不満をもたらす小さいディスプレイを有していた。一般的に、多くの情報を表示することができ、あるいは表示されている情報をより容易に見ることができる(例えば、より大きいテキスト)ような大きいディスプレイを有することが好ましい。特にビデオプレーヤおよびゲームプレーヤの場合、小さいディスプレイよりも大きいディスプレイがはるかに好ましい。
【0025】
しかしながら、しばしば要求される入力制御部が利用可能なスペースの相当の部分を塞いでしまうため、大きいディスプレイの使用は過去において制限されていた。また、装置機能性が集中するにつれて、各装置がそれ自身専用の制御部を含むならば、典型的に、装置上の制御部の数は増加してしまう。そのため、装置をより大きくするか、新しい制御部すべてを収容するために、ディスプレイをより小さくしなければならない。いずれの結果も満足し得ない。より大きい装置はかさばって、使用しづらく、より小さいスクリーンは、情報を中継し、そのスクリーンから情報を読み取るために利用するのが困難である。
【0026】
A.片手対両手の操作
ハンドヘルド電子機器は、片手操作または両手操作に向けられればよい。片手操作では、使用中ユーザインタフェースで操作を実行するとともに、装置を保持するために、一方の手が用いられる。携帯電話およびメディアプレーヤは、ハンドヘルド装置の一例であり、一般的に、単独で片手で操作可能なように意図される。携帯電話の場合、例えば、ユーザは、片手の指と手のひらの間に携帯電話をつかみ、キー、ボタンあるいは♯ジョイパッドを用いて入力するために親指を用いればよい。
【0027】
両手操作では、装置を保持するために片手を用いつつ、使用中もう一方の手がユーザインタフェースで操作を実行する。その代わりに、使用中両手で操作を実行するとともに、装置を保持してもよい。PDAおよびゲームプレーヤは、典型的に両手で操作されるハンドヘルド装置の一例である。PDAの場合、例えば、ユーザは、片手で装置をつかみ、その装置を保持しつついずれかの手でまたは両手を用いて入力すればよい。
【0028】
B.設置面積/サイズ
ハンドヘルド装置は、設置面積やサイズの異なる多様性を有してもよい。設置面積は、典型的に、装置がどのように使用されるかに関連する。PDAなどの装置は、典型的に、両手で用いられるため、より大きい傾向にある。その代わりに、携帯電話は、典型的に、片手で用いられるため、より小さい傾向にある。多数の装置を統合するとき、装置の適切な設置面積を決定するのが重要なタスクである。例えば、ある人は、PDAは電話として使用するにはあまりにも大きく、携帯電話はPDAとして使用するにはあまりにも小さいと信じている。一般的に、設計者は、その装置の主な用途を考慮し、その用途に設置面積を調整しなければならない。いくつもの異なった設置面積があるが、典型的には最小設置面積と最大設置面積がある。設置面積が大きすぎても小さすぎても、装置を使用するのは困難になってしまう。
【0029】
装置サイズのため、典型的に、より小さい装置はポケットに入れられ、より大きい装置はそうされない。メディアプレーヤは、ユーザのポケットに入れられるサイズのハンドヘルド装置の一例である。ポケットサイズにすることにより、ユーザは、装置を直接持ち運ぶ必要はなく、そのため、ユーザが移動するほとんどの場所に装置を持っていくことができる(例えば、ユーザは、ノートブックコンピュータのように、大きな、かさばった、時には重い装置を持ち運ぶことにより制限されない)。
【0030】
一般に、必ずしも必要ではないが、本明細書に開示されるタイプのハンドヘルド装置は、およそ5インチ×3インチ×1インチの寸法を有するのが好ましく、4.1インチ×2.4インチ×0.75インチの寸法を有するのがより好ましい。
【0031】
C.フルスクリーンディスプレイ
多機能ハンドヘルド装置の設置面積がその装置の意図された主な用途により実質的に固定されるので、設計者がユーザインタフェース用の適切なレイアウトを決定することが重要となる。例えば、ある装置は、限られた数のボタンと大きいディスプレイとを備えるとよりよく動作するが、他の装置は、多くのボタンまたは完全なキーボードと小さいディスプレイとを備えるとよりよく動作するかもしれない。
【0032】
好ましい多機能ハンドヘルド装置は、フルスクリーンディスプレイまたはほとんどフルスクリーンディスプレイを備えるように構成されてもよい。フルスクリーンディスプレイは、実質的にその装置の前面全体を使い果たす。そのディスプレイは、端部から端部まで延びていてもよく、その装置の端部におけるハウジングの小さいベゼル内に適合してもよい。フルスクリーンディスプレイは、ハンドヘルド電子機器のハウジングの前面の90%以上を使い果たす。
【0033】
フルスクリーンディスプレイは、装置の設置面積全体に応じて種々の異なる構成を有してもよい。装置が幅広であれば、フルスクリーンディスプレイは、概ね4:3の従来の縦横比を有すればよい。装置が細長ければ、フルスクリーンディスプレイは、16:9のようなよりパノラマの縦横比を有すればよい。
【0034】
D.機械式アクチュエータの限定数
フルスクリーンディスプレイを収容するために、好ましくは、多機能ハンドヘルド装置は、限定数の物理的ボタンを有するよう構成される。限定数の物理的ボタンが設けられると、好ましくは、ハンドヘルド装置は、主な入力装置としてタッチスクリーンを用いる。タッチスクリーンは、ディスプレイ上に位置する透明なタッチ感知装置である。典型的に、タッチスクリーンはディスプレイ上に示されるGUIと関連して動作する。例えば、GUIは、スクリーン上のボタンを提供してもよく、ユーザがそのスクリーン上のボタンを押すとき(例えば、スクリーン上のボタンにユーザの指やスタイラスを置くとき)、タッチスクリーンはそれを検出すればよい。以下、タッチスクリーンおよびGUIをより詳細に説明する。
【0035】
ハンドヘルド装置は、十字機能物理的ボタンのみを有するよう構成されてもよい。すなわち、個別の装置に専用のボタンはない。これらのタイプのボタンは、電源ボタンやホールドスイッチを含んでもよい。別の実施形態では、ハンドヘルド装置は物理的ボタンを全く含まなくてもよい。いくつかの実施形態では、物理的ボタンは、ハンドヘルド装置の側面および背面のみに限定される。他の実施形態では、ハンドヘルド装置の物理的ボタンは、ユーザが装置を物理的に保持する側面の領域(すなわち、保持領域)にボタンがないように、上部および下部の側面に限定される。さらに他の実施形態では、物理的ボタンは、前面上であるが、ディスプレイを囲むベゼル領域のみに位置してもよい。いくつかの実施形態では、ボタンは装置の上面および底面のみに位置してもよい。
【0036】
図3は、限定数のボタンを有する実質的にフルスクリーンの多機能ハンドヘルド装置120の斜視図である。前面124および側面126上に物理的ボタンはない。前面はディスプレイ122として完全に用いられる。また、側面126が装置120をつかむために用いられるので、装置を保持している間にユーザが不注意でボタンを押す場合に偶然のアクションを防止するために、側面にはボタンがないままにするのが好ましい。典型的に、装置を保持するために上面128および底面130は用いられないが、これらの面は、しばしば作動させるボタンのための理想の位置ではない。なぜならば、片手で装置を操作するとき、これらのボタンに届かせるのは扱いにくいからである。
【0037】
上面128は、十字機能的な、例えば電源やホールドスイッチであるアクションや一般的機能を限定したボタンのために取っておかれてもよい。また、上面128および底面130は、入出力(I/O)および通信ポートを配置するのに適切である。上面128は、例えば、ヘッドセット/マイクロフォンジャックおよびアンテナを含んでもよく、底面130は、電源およびデータポートを含んでもよい。
【0038】
ある場合には、つかんでいる手から離れた側面126の上部または下部領域にボタンを配置するのが望ましい。これは、特に、つかんでいる手の幅よりも大きい細長い装置に最適である。図4に示すように、ハンドヘルド装置120は、このハンドヘルド装置120の側面126上の上部領域に1つのボタン140を含む。ボタン140が上部領域にあるので、ボタン140は、つかんでいる手から離れている傾向にあり、そのため、偶然の活性化を実質的に排除する。上部ボタンは、多機能装置の機能性を切り替えるように構成されてもよい。すなわち、ボタン140は、図2のスイッチ110であればよい。例えば、ボタン140を押すことにより、新しい装置機能性が活性化され、現在の装置機能性が不活化される。用語「ボタン(button)」を用いているが、ボタン140は、ダイアル、ホイール、スイッチなどに対応してもよいことを認識されたい。
【0039】
一般に、要求されないが、物理的ボタンの数を8以下、好ましくは5以下に限定するのが好ましい。
【0040】
3.適応性
装置上の物理的制御部の数を制限するために(それにより、ディスプレイ面積を最大化するために)、多機能ハンドヘルド装置は改変可能であるのが好ましい。すなわち、装置は、どのように用いられるかに基づいてそのUIを変更することができる。例えば、多機能装置の携帯電話機能が用いられるならば、UIは携帯電話を収容するために変化する。その代わりに、多機能装置のPDA態様が用いられるならば、UIはPDAなどを収容するために変化する。本質的に、多機能装置は、その装置の状態またはモードに基づいてユーザインタフェースを再構成することができる。
【0041】
適応性は、各装置の機能性のための限定数の物理ボタンの機能を再割り当てすることにより達成されてもよい。例えば、第1装置が活性化されているときあるボタンが一機能を実行してもよく、別の装置が活性化されているとき別の機能を実行してもよい。これが動作している間、それは、物理的制限(すなわち、ボタン数)に苦しみ、(異なるボタンの意味を記憶しなければならない)ユーザを混乱させ得る。
【0042】
その代わりに、適応性は、各機能のための物理的入力をタッチスクリーンに関連してGUIに事実上統合することにより、達成されてもよい。これにより、GUIは選択された装置に適合することができ、タッチスクリーンは、GUIに対応する入力を受け付けることができる。各機能性のためのGUIでは、ハンドヘルド装置用のUIは、多機能装置が結果的に特定の装置になるように適合させる。例えば、携帯電話機能が選択されると、GUIは、携帯電話で典型的に用いられる物理的制御部(例えば、キーパッド、機能ボタン、可能であれば、ナビゲーションパッドなど)と同様に見える仮想またはソフト制御部を提供する。
【0043】
ディスプレイ全体は、この情報を示すために用いられてもよく、ディスプレイの一部だけがGUI制御部のために用いられてもよい。後者の場合には、図5〜図8において、GUI150は標準領域152と制御領域154とに分離されてもよい。標準領域152は、特定の装置を使用するときディスプレイ122上に通常表示されるものを表す。すなわち、選択された装置に関連した標準GUIスクリーンは標準領域に表示される。例えば、PDAの場合には、メインメニュー(アイコンセットを備えるウィンドウ)、カレンダー、アドレスブックまたはデートブックは、標準領域152に表示されてもよい。一方、制御領域154は、通常特定の装置上に物理的に配置される物理的制御部を事実上表す。すなわち、物理的制御部をまねる仮想の制御部は制御領域154に表示される。例えば、PDAの場合には、制御領域154は、手書き認識領域、ナビゲーションパッドおよび標準機能ボタンの仮想表示を含めばよい。
【0044】
標準領域152および制御領域154は、ディスプレイ122上のあらゆる位置(上部、底部、側部、中心部など)に置かれてもよい。例えば、それらは、図5に示すように、互いに垂直に(他方の上部に一方が)配置されてもよく、図6に示すように、互いに水平に(並んで)配置されてもよい。人物モードまたは風景モードにおいてこれらの構成を用いることができる。例として、装置が風景モードで操作される場合には、標準領域152は片側に配置されればよく、制御領域154は反対側に配置されればよい。風景配向は、例えば、片手の操作を容易にしてもよい。ある場合には、制御部が表示される側は、ユーザの利き手に基づく。例えば、制御部は、右利きのユーザには右側に配置されればよく、左利きのユーザには左側に配置されればよい。その代わりに、制御部は、図7に示すように、両側に配置されてもよい。この配置は、特に、ゲームをプレイするのみ適切である。また、各部に専用の面積量は広範囲に変更されてもよい。例えば、スクリーンは、等しく分割されてもよく、他の場合には、一方または他方の部分がディスプレイの多い部分を構成する。ある場合には、標準領域152は、ディスプレイの標準視聴エリアを増加させるために最大化される。
【0045】
特定の機能性が使用のために選択されると、ハンドヘルド装置は、選択された機能性のためのソフトウェアをロードし、標準領域152および制御領域154を含むGUI150を構成する。そのため、制御領域154の制御部は、何が標準領域152に示されるかを制御するために用いられてもよい。ある場合には、制御領域154は、特定の装置用の各表示ウィンドウのニーズに応じて変化さえしてもよい。
【0046】
その代わりに、図8に示すように、標準領域152がディスプレイ122全体を完全に利用することができるように、仮想制御部160は標準領域152の上に重ねられてもよい。実際、仮想制御部160は必要に応じて現れたり、消えたりするのがよい。例えば、ユーザがスクリーンにタッチし、これにより、既に表示されているものを含むディスプレイの部分の上に制御部を表示するように装置を駆動させてもよい。2005年1月18日に出願され、「タッチ感知入力装置のためのモードベースグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号において、このように操作する仮想制御部の例を見出すことができる。
【0047】
A.機能性に基づいたGUI
図9〜図17は、多機能装置の異なる状態またはモードのためのGUIの種々の例を示す。
【0048】
図9はPDAモードで用いられるGUI170の図である。図示のように、GUI170は標準領域152および制御領域154に分割される。仮想手書きパッド172、4つの仮想ボタン174および仮想ナビゲーションパッド176が制御領域154内に位置する。
【0049】
図10は携帯電話モードで用いられるGUI180の図である。図示のように、GUI180は、標準領域152および制御領域154に分割される。仮想キーパッド182、仮想ナビゲーションパッド184および2つの仮想ボタン186が制御領域154内に位置する。
【0050】
図11はメディアプレーヤモードで用いられるGUI190の図である。図示のように、GUI190は、標準領域152および制御領域154に分割される。仮想スクロールホイール192および5つの仮想ボタン194が制御領域154内に位置する。仮想スクロールホイールについての追加の詳細は、2005年1月18日に出願され、「タッチ感知入力装置のためのモードベースグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号で提供される。
【0051】
図12はビデオプレーヤモードで用いられるGUI200の図である。図示のように、GUI200は、標準領域152および制御領域154に分割される。複数の仮想ボタン202が制御領域154内に位置する。その代わりに、ビデオプレーヤがフルスクリーン視聴モードに関連して主に用いられるので、制御部は必要に応じて現れたり、消えたりしてもよい。
【0052】
図13はゲームプレーヤモードで用いられるGUI210の図である。図示のように、GUI210は、標準領域152と、この標準領域152の両側部の2つの制御領域154Aおよび154Bとに分割される。左側制御領域154Aはナビゲーションまたは方向パッド212を含み、右側制御領域154Bは4つの仮想ボタン214を含む(あるいは、ユーザの特定の必要性に応じて左右が反対であってもよい)。
【0053】
図14はカメラモードで用いられるGUI220の図である。図示のように、GUI220は、標準領域152および制御領域154に分割される。標準領域152は、ファインダを表せばよい。例えば、写真クリック、ズーム、フラッシュなどを含む種々のボタンが制御領域154内に位置する。また、メニューナビゲーションを通してまたはそれのために写真をスクロールすることができるように、ナビゲーションパッド224が含まれていてもよい。
【0054】
図15はGPS受信機モードで用いられるGUI230の図である。図示のように、GUI230は、標準領域152および制御領域154に分割される。例えば、ズーム、パンなどを含む種々のボタン222が制御領域154内に位置する。また、ナビゲーションパッド224も含まれていてもよい。
【0055】
図16はハンドトップモードで用いられるGUI240の図である。図示のように、GUI240は、標準領域152および制御領域154に分割される。仮想キーボード242が制御領域154内に位置する。
【0056】
図17は遠隔制御器モードで用いられるGUI250の図である。図示のように、GUI250は、標準領域152および制御領域154に分割される。TV、DVDプレーヤ、A/Vアンプ、VHS、CDプレーヤなどの遠隔の装置を制御するのに関連付けられた種々のキーおよびボタン252が制御領域154内に位置する。
【0057】
B.装置(GUI)の切り替え
特定の装置機能性を使用可能とする前に、典型的に、それは使用のために選択されなければならない。その選択は様々な形式ですることができる。例えば、ソフトボタンやアイコンを含むメインメニューを介してその選択がなされてもよい。選択されると、ソフトボタンやアイコンは、それソフトボタンに関連した装置機能性を活性化する。活性化の間、その特定の装置用のGUIはディスプレイ上に示され(図9〜図17参照)、その装置に関連したソフトウェアは、インストールされ、ロードされ、あるいは作動する。それ以降、多機能装置は選択された装置のように作動する。
【0058】
図18は、多機能装置の模範的なメインメニューGUI260を示す。図示のように、GUI260は、種々の装置機能性のそれぞれを起動させるためのアイコン/ボタン262を含む。この特定の例では、メインメニューページ260は、PDAボタン262Aと、携帯電話ボタン262Bと、ミュージックプレーヤボタン262Cと、ゲームプレーヤボタン262Dと、ビデオプレーヤボタン262Eと、GPSボタン262Fと、遠隔制御部ボタン262Gと、カメラボタン262Hと、ハンドトップボタン262Iとを含む。種々のボタン262は仮想ボタンである。あるボタンが押されると、選択された機能性のためのメインページ(例えば、図9〜図17に示すような)がディスプレイ上に示される。別の装置を選択するには、ユーザは、各装置のGUIに位置するソフトホームボタン264を単に選択し、メインメニューページ260に戻り、その後メインメニューページ260内の所望の機能性を選択する。
【0059】
また、その代わりの機能性の選択は、所望のGUIを見付けるまで種々のGUIを通してフリップ(めくる)こと(あるいはスクロールすること)により達成されてもよい。例えば、次の(フリップ)コマンド信号(例えば、スライドショー効果)が生成されると、異なるGUIは、ページ(あるいはフレーム)を次々と示してもよい。ページ間の遷移は大きく変化されてもよい。その遷移は、左右に、上下に、中央から中央になされてもよい。また、その遷移は、フェードイン・アウト、ポップイン・アウト、あるいは大きくなり・小さくなることを含めばよい。コマンド信号は、物理的または仮想ボタンあるいはホイールにより生成されればよい。ボタンを用いる各押下により、新しいページが表示されればよい。ホイールを用いる所定量の回転により、新しいページが表示されてもよい。
【0060】
また、コマンド信号は、種々の他の方法で生成されてもよい。例えば、コマンド信号は、タッチスクリーン上で始められるジェスチャーにより生成されてもよい。例えば、ディスプレイを横切る指(またはスタイラス)のスライドにより、新しいページが表示されてもよい。右にスライドすると、次のページが表示され、左にスライドすると、前のページが表示されればよい。また、コマンド信号は、ハンドヘルド装置全体が空間的に移動されると生成される3D装置ジェスチャーによって生成されてもよい。例として、装置を振ることにより、新しいページが表示されてもよい。
【0061】
さらに、コマンド信号は、装置に与えられる力によって生成されてもよい。例として、装置をぎゅっと握ることにより、新しいページが表示されてもよい。また、コマンド信号は、加速度計により感知されるように、地面に関して、あるいは、内部コンパスにより示されるコンパス方位に関して、装置の配向を感知することにより生成されてもよい。例えば、装置が0°であるならば、最初のページが表示され、90°では第2ページが表示され、180°では第3ページが表示され、270°では第4ページが表示される。
【0062】
また、コマンド信号は、ユーザの声をモニタする(すなわち、音声認識)により生成されてもよい。ユーザが「電話」と呼び出すならば、携帯電話に関連したページが表示され、「PDA」と呼び出すならば、PDAに関連したページが表示される。
【0063】
また、コマンド信号は、(無線またはケーブルを介して送信されるか否かにかかわらず)他のシステムから入ってくる信号をモニタすることにより生成されてもよい。例えば、電話を受けると、装置は、自動的に携帯電話としてシステムを構成してもよい。その代わりに、装置は電話を取るか見送るための制御パネルを提供のみしてもよい。
【0064】
複数の機能性を統合するための選択肢として、装置は種々のモードを別々に保持するように構成されてもよい。すなわち、装置は、(レイヤおよびGUIが統合されて)機能性を一緒に統合するのではなく、代わりにそれらを互いに全く別なものとして保持する。ある場合には、異なる機能性を全く別として保持することにより、ユーザの混乱が低減され得る。
【0065】
C.少なくとも2つの機能性の同時操作
好ましくは、ユーザは、2つ以上の装置機能性を同時に活性化することができてもよい。そのような場合、多数の機能性のためのソフトウェアが同時に活性化され、ディスプレイは、スクリーンが特定の装置GUIを含む異なる複数のセクションに解析される分割スクリーンモードで作動する。一般に、これは、スクリーン上に適合する各機能性のためのGUIを必要とする。多機能モードは、種々の方法で選択されてもよい。一実施では、ユーザが2以上の装置アイコンを同時にタッチすると、装置は、多装置機能性を活性化し、適当なGUIをスクリーンに示させる。
【0066】
D.構成可能なGUI(ユーザ選択)
各装置機能性のためのGUI制御パネルはユーザにより構成可能であってもよい。例えば、ユーザは、各装置のためのユーザ自身のUIを設計またはカスタマイズし、UIの種々の要素に複数の機能を割り当てればよい。複数の機能は、コマンド開始、アイテム選択、ファイルまたはドキュメントを開く、プログラム起動、命令実行、ディスプレイスクリーンでのメニュー視聴などを含めばよい。ユーザにより構成可能なパラメータは、GUI要素(ボタン)のページ上の位置と同様に、GUI要素の数およびタイプを選択することを含めばよい。ある場合、システムは、ユーザがUIレイアウトをレビューあるいはカスタマイズするのを可能にするデザインパレットを含んでもよい。すなわち、ユーザが前に設定されもしくはデフォルトのレイアウトを素早く便利にレビューし、それを変更することを可能にしてもよい。一度変更されると、修正されたレイアウトは、自動的にセーブされ、それにより将来のイベントを処理するために用いられる。
【0067】
4.入力装置
ハンドヘルドコンピュータのための現在の入力装置には多くの問題がある。例えば、ますます多くのボタンが小さいスペースに適合されなければならないので、各装置に必要であるすべての専用の物理的ボタンを適合する現実的な方法がない。多くの物理的ボタンが装置に統合され、ボタンがともにより接近し、これによりユーザの器用さを敢えて要求するという関連する問題が起こる。さらに、物理的ボタンが突出するので、通常の使用中、あるいは例えばユーザのポケット内で装置を搬送している間に、それらはしばしば偶然に活性化される。最終的に、多くの小さい物理的ボタンは、美的に満足しないとともに、ユーザを混乱させ得る。
【0068】
これらのおよび他の問題を解決するために、種々の代わりの入力アレンジメント(物理的ボタン、スイッチなどに加えて、あるいはその代わりに)が提案されている。基本的なアイデアは、物理的および機械的入力機構の数(それゆえ、装置の表面上に必要とされる専用スペースの量)を減らし、あるいは物理的および機械的入力機構を完全に排除することである。物理的入力装置を削減または排除することにより、電子機器の表示を最大にすることができ、あるいは、電子機器のサイズを最小にすることができる。さらに、そのような装置は美的にもより満足する。ある場合には、ディスプレイのみを有するが、専用の物理的入力装置を有さないと思われるように、ハンドヘルド装置を構成することができる。
【0069】
また、代わりの入力手段がユーザには見えないように視界から隠れていてもよい。結果として、ハンドヘルド電子機器は、目に見えるボタン、スイッチなどがないディスプレイのみを有すると思われてもよい。そのような装置は、より美的に満足し(例えば、ギャップや線による中断のないなめらかな表面を備えればよい)、多くの場合、スクリーンサイズおよび入力機能性を犠牲にすることなく、装置をより小さくすることができる。
【0070】
A.タッチスクリーン
一つの特に適切な入力アレンジメントはタッチスクリーンである。GUIに関連したタッチスクリーンは、ハンドヘルド装置の主な入力アレンジメントとして構成されてもよい。タッチスクリーンは、基本的に、ディスプレイの前面に配置された透明な入力パネルである。指またはスタイラスのようなオブジェクトがタッチし、あるいはタッチスクリーンの表面を横切って移動されるとき、タッチスクリーンは入力信号を生成する。ほとんどの場合、タッチスクリーンにより、ユーザは、ディスプレイスクリーンを指で単にタッチすることにより、GUIを選択したり、その移動を開始したりすることができる。例えば、ユーザは、ディスプレイスクリーンに表示されているグラフィカルオブジェクトを直接指すことによりそれを選択してもよい。これは、ハンドヘルド電子機器の特定のアクションを実行するためのスクリーン上のボタンに対応する。一般に、タッチスクリーンは、ディスプレイ上のタッチおよびタッチ位置を認識し、ハンドヘルド電子機器の制御部は、そのタッチを解釈し、その後そのタッチイベントに基づいたアクションを実行する。抵抗性、容量性、赤外線および表面弾性波を含むいくつかのタイプのタッチスクリーン技術がある。
【0071】
多機能ハンドヘルドコンピュータの好ましいタッチスクリーンはマルチポイント容量性タッチスクリーンである。そのようなタッチスクリーンは、独立した空間的に別のいくつかの感知ポイント、ノードまたは領域を備える。それらはタッチスクリーンを通して配置される。感知ポイントは、タッチスクリーンの表面の異なる位置を表す各感知ポイントを有するタッチスクリーンについて分散される。感知ポイントは、それぞれが信号を生成することができるグリッドまたはピクセルアレイに配置されてもよい。オブジェクトがある感知位置上に置かれるたびに信号が生成される。オブジェクトが多数の感知位置上に置かれ、あるいは、オブジェクトが多数の感知位置間またはその上で移動されるとき、多数の信号を生成することができる。一般に、感知ポイントは、タッチスクリーン平面をデカルト座標系や極座標系のような座標系にマッピングする。そのようなタッチスクリーンの一例は、2004年5月6日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第10/840,862号に開示される。
【0072】
B.タッチ感知ハウジング
また、ハンドヘルド電子機器は、装置ハウジング自身の1以上のタッチ感知面を統合してもよい。タッチ感知面はタッチ入力を追跡するためのより大きな表面か専用の機能を実行するためのタッチボタンなどのより小さい専用領域のいずれかを提供する。そのような表面は、ハウジングのあらゆる面、ハウジングのあらゆる側面、ハウジングのあらゆる側面のあらゆる部分、あるいはハウジングの表面上の専用の位置に位置してもよい。例えば、タッチ領域は、ハウジングの側面または背面に位置してもよく、ハウジングの前面に位置するベゼルにさえ位置してもよい。これらのすべての場合、ハウジングの前面の大きな部分は、ハンドヘルド電子機器の視聴領域を最大化することができるように、ディスプレイのためにセーブされる。ハウジングのタッチ感知面は、ハウジング内に配置される1以上のタッチパネルの形式を取ってもよい。その代わりに、またはそれに加えて、タッチ感知面はハウジングにより直接提供されてもよい。すなわち、タッチ感知構成要素は、ハウジング自身が(別のタッチパネルを用いるよりもむしろ)タッチ感知装置であるように、ハウジングに統合されてもよく、ハウジングの下に配置されてもよい。タッチスクリーンと同様に、タッチ感知ハウジングは、表面上のタッチおよびタッチ位置を認識し、ハンドヘルド電子機器の制御部は、そのタッチを解釈し、その後タッチイベントに基づいたアクションを実行する。タッチ面は、実質的に透明である必要がない表面を除き、基本的に、タッチスクリーンと同様に構成される。
【0073】
例として、タッチ感知ハウジングは、一般に、2005年4月26日に出願され、「多数のタッチ感知装置を備えるハンドヘルド電子機器」と題する米国特許出願第11/115,539号により詳細に記述されるタッチ感知ハウジングに対応すればよい。
【0074】
C.ディスプレイアクチュエータ
また、ハンドヘルド多機能電子機器はディスプレイアクチュエータを含んでもよい。ディスプレイアクチュエータは、装置に入力を提供するためにハンドヘルド装置のディスプレイを(タッチスクリーンのような電気的よりむしろ)機械的に用いる入力装置である。ディスプレイアクチュエータは、タッチスクリーンとは別にあるいはそれと組み合わせて用いられてもよい。ディスプレイアクチュエータは、移動すると1以上の入力信号が生成される可動ディスプレイを含んでもよい。そして、コマンドを始め、選択をし、ディスプレイにおける動きを制御するために、入力信号を用いることができる。
【0075】
可動ディスプレイは、フレームに関して水平移動し、スライドし、回動あるいは回転するように構成されてもよい。ディスプレイは、典型的に、種々の位置に置いてディスプレイを可動的に支持するフレームまたはハウジングに関して可動である。ある場合には、ディスプレイはフレームに可動的に連結され、他の場合には、フレームは浮動ディスプレイを可動的に抑制する。
【0076】
入力信号は、ディスプレイの移動をモニタし、そのような移動を示す信号を作り出す移動インジケータにより生成されてもよい。検出機構は、例えば、1以上のスイッチ、センサ、エンコーダなどであればよい。あらゆる適切な機械式、電気式、あるいは光学式スイッチ、センサまたはエンコーダが用いられればよい。例えば、タクトスイッチ、力感知抵抗器、圧力センサ、近接センサ、赤外線センサ、機械式または光学式エンコーダなどが用いればよい。移動インジケータは、必要に応じてディスプレイの下またはディスプレイの側面に配置されればよい。その代わりにまたはそれに加えて、これらの移動インジケータは、ディスプレイまたはディスプレイのある部品に取り付けられてもよい。
【0077】
模範的なディスプレイアクチュエータは、2005年2月11日に出願され、「ディスプレイアクチュエータ」と題する米国特許出願第11/057,050号に開示される。
【0078】
D.圧力または力感知装置
上述の多機能ハンドヘルド電子機器は、力感知ディスプレイまたはハウジングのような力あるいは圧力感知装置をさらに含んでいてもよい。
【0079】
(1)力感知ディスプレイ
力感知ディスプレイは、装置のディスプレイスクリーン上に圧力が加えられると、1以上の入力信号を生成させる。入力信号は、コマンドを開始したり、選択したり、ディスプレイの動きを制御するために用いられ得る。そのようなディスプレイは、一般に、ディスプレイの下に一般に設けられる力検出アレンジメントによってその上に加えられる力を測定することができるように、(ユーザには知覚できない)わずかな量のコードを提供する。力検出アレンジメントは、ディスプレイ上に加えられる力をモニタし、それを示す信号を作り出す。力検出アレンジメントは、力感知抵抗器、力感知コンデンサ、ロードセル、圧力プレート、圧電変換器、ひずみゲージなどの1以上の力センサを含んでいてもよい。力センサは、ディスプレイの背面あるいは装置のハウジング内に位置する構造的プラットフォームに取り付けられればよい。ディスプレイに力が加えられると、ディスプレイを通してディスプレイの下に位置する力センサにその力が伝達される。
【0080】
図19は、力感知ディスプレイ302を統合するハンドヘルド装置300の側断面図である。力感知ディスプレイ302は、ディスプレイ308と、そのディスプレイ308の下(ディスプレイと構造的プラットフォーム306の間)に配置される1以上の力センサ301とを含む。ほとんどの場合、力感知ディスプレイ302は、配列された複数のセンサ310を含む。例えば、センサ310は行と列に並んで配置されればよい。力センサ310は、ディスプレイに加えられている力の大きさを計測し、所望の力閾値に達すると、制御信号を生成する。ある場合には、ディスプレイの表面に加えられている力をディスプレイの下に配置される力センサに伝達するのを助けるために、エラストマー312がディスプレイと構造的プラットフォームの間に配置される。
【0081】
力感知は、軽い(light)タッチと堅い(hard)タッチとを区別するために、タッチスクリーンに関連して設けられてもよい。タッチが軽いタッチか堅いタッチかの決定は、力センサでもその力をモニタし、その力を所定の閾値と比較することによりなされてもよい。力が閾値を超えないとき、そのタッチは軽いタッチとして考慮される。力が閾値を超えると、そのタッチは堅いタッチとして考慮される。各タイプのタッチは、その装置の異なる態様を制御するために用いられればよい。軽いタッチは、ナビゲーションなどの受動的なイベント(例えば、カーソル制御スクロール、パン、ズーム、回転など)に関連すればよく、堅いタッチは、選択やコマンドのような能動的イベント(例えば、ボタンクリック)に関連すればよい。
【0082】
図20は、タッチされたときにx、yおよびz成分を提供するために、タッチ感知装置と力感知装置とを組み合わせた入力装置320を示す。タッチ感知装置は、x、y方向の位置感知を提供し、力感知装置は、z方向の力感知を提供する。これらの装置は、タッチ面上のタッチがあるか否かについてのx、y位置およびz圧力情報を出力するために協動する。
【0083】
図21は、タッチスクリーン334を備えるディスプレイ332と力感知機構336とを組み合わせたI/O装置330の側面図である。タッチスクリーン334は高分解能タッチ位置を提供し、力感知機構336は、力全体と同様に力がどこから来るかの測定を提供する。タッチスクリーン334は、ディスプレイ332上に配置され、力感知機構336は、他の配置も可能であるが、ディスプレイ332の下に配置される。
【0084】
また、力感知機構336は広範囲に変更されてもよい。図示の実施形態では、力感知機構336は、静電容量、とりわけ自己静電容量に基づく。図示の力感知機構336は、電極層338、エラストマー層340および導電層342を含む種々の層から形成される。
【0085】
電極層338は、ディスプレイ332の底面を横切って配置される空間的に分離された複数の電極339を含む。電極339は、典型的に、しばしば形成する可能性があるが、行と列の配列に配置される。いくつの電極が用いられてもよい。
【0086】
エラストマー層340は、電極層338と導電層342の間に配置される1以上の弾性部材341を含む。弾性部材341は、ディスプレイ332が配置の限定量で内部に移動することを可能にする。一実施では、弾性部材341は、約0.2mmの厚さを持つシリコーンパッチである。
【0087】
導電層342は、典型的に、接地金属板343の形式を取る。容量性回路は、各電極339と接地金属板343の間に形成される。ユーザがディスプレイ332を下に押すと、その上に加えられる力により、ディスプレイ332は、弾性部材を圧縮するように、弾性部材341に対して内側に移動される。これは、電極339と金属板343の間の静電容量の変化をもたらす。この静電容量の変化は、各電極339に操作可能に接続される制御回路により感知される。静電感知回路は種々の組み込まれた参考文献に開示される。
【0088】
図22は、ディスプレイ上に配置され得る入力装置350の側面図である。入力装置350は、タッチ感知および力感知を一つの装置に結合する。本実施形態では、タッチ感知および力感知の両方が相互キャパシタンスにより提供される。図示のように、入力装置350は、上部駆動層352、中間感知層354および底部駆動層356を含む種々の層から形成される。さらに、中間感知層354は、中間感知層354と底部駆動層356の間に配置されるエラストマー層358上に位置する。上部駆動層352および底部駆動層356は、列をなす空間的に分離された複数のラインを含み、中間感知層354は、行をなす空間的に分離された複数のラインを含む。そのため、上部層352および中間層354はグリッドを形成するとともに、底部層356および中間層354はグリッドを形成する。
【0089】
作動中、上部層352上のラインがスキャンされ、その後底部層356上のラインがスキャンされる(あるいはその全く逆でもよい)。タッチがあると、上部駆動層352と中間感知層354の間で測定される相互キャパシタンスは、そのタッチのx、y位置を提供する。さらに、底部駆動層356と中間感知層354の間で測定される相互キャパシタンスは、タッチの力の大きさを提供する。この特定のアレンジメントは、タッチのフルイメージ上に重ね合わせられる力のフルイメージを提供する。タッチ層および力層を含む入力装置は、2004年5月6日に出願され、「マルチポイントタッチスクリーン」と題する米国特許出願第10/840,862号に開示される方法と同様に操作されればよい。
【0090】
(2)力感知ハウジング
また、ハンドヘルド装置は、力感知ハウジングを含んでもよい。力感知ハウジングは、ハンドヘルド装置のハウジングに力が加えられると、入力を提供する。力感知ハウジングは、ここにおける力感知スクリーンに類似する。ハウジングは、ハウジング内に位置する力検出アレンジメントによってその上に加えられる力を分配することができるように、(可能であれば、ユーザには知覚できない)わずかな量のコードを提供する。上記で議論した力感知ディスプレイと同様に、力検出アレンジメントは、ハウジング上の力をモニタし、それを示す信号を作り出す。力検出機構は、力感知抵抗器、力感知コンデンサ、ロードセル、圧力プレート、圧電変換器、ひずみゲージなどの、ハウジング内に配置される1以上の力センサを含んでいてもよい。ハウジングに力が加えられると(ハウジングをぎゅっと握り、あるいは押す)と、ハウジングを通してハウジング内に位置する力センサにその力が伝達される。
【0091】
ハウジングの力感知部分は、ハウジングのあらゆる面、ハウジングのあらゆる側面、ハウジングのあらゆる側面のあらゆる部分上に、あるいは、ハウジングの面の専用位置に位置してもよい。ハウジングの側面は、スクイーズ(握り)機能を実行するために理想の場所である。これは、ユーザの複数の指が典型的にその装置の片側に位置し、親指が反対側に位置し、そのため手がつかむアクションを介してその側面を簡単に握ることができるためである。スクイーズ機能を活性化するのに都合がよいので、通常使用中偶然に活性化されないように、スクイーズ機能を設計するとき、特別な注意が取られなければならない。したがって、装置は、軽い(light)タッチと堅い(hard)タッチとを区別することができる必要がある。活性表面に加えられる力の増加とともに抵抗の減少を示す力感知抵抗器(FSR)を用いてスクイーズ機能が実行されるならば、予め設定された力閾値に達するとき活性化を示す信号を出力するために、比較回路を用いることができる。
【0092】
図23は、スクイーズ機能を含むハンドヘルド装置370の側断面図である。図示のように、装置370は、ハウジング372と、ハウジング372内の支持プラットフォーム374とを含む。支持プラットフォーム374とハウジング372の内表面には、一対の力センサ376がある。例えば、手の本質をつかむことによりハウジング372に力が加えられると、ハウジング372はその圧力下で内側に曲がる。これにより、力センサ376はハウジング372と支持プラットフォーム374の間に挟み込まれる。力センサ376は、加えられている力の大きさを測定し、所望の力閾値に到達すると、制御信号を生成する。例えば、挟み込みの結果として、力抵抗センサは低減された抵抗を示し、所望の閾値に達すると、制御信号が生成される。
【0093】
力感知ハウジングは、上述のようなタッチ感知ハウジングに関連して設けられてもよい。
【0094】
E.動き活性化入力装置
また、ハンドヘルド電子機器は、動き活性化入力装置を含んでいてもよい。動き活性化入力装置は、ハンドヘルド装置が動いていたり、ある方向に置かれたりしているとき、入力を提供する。動き活性化入力装置は、典型的に、加速度計のような運動センサを含む。運動センサは、x、y、z軸に沿った装置の動きをモニタし、それを示す信号を作り出す。運動センサは、例えば、加速度計を含めばよい。その代わりに、運動センサは、電子コンパスのような配向センサであってもよい。配向センサにより、装置は一般に水平面におけるその方向を決定することができる。運動センサは、ハウジング、または装置のハウジング内に位置する他の構造的部品に取り付けられればよい。装置に動き(ジェスチャー、揺動、手を振るなど)が与えられると、ハウジングを通して運動センサにその運動が伝達される。
【0095】
運動センサが、典型的に、意図した運動だけではなく、すべての動きを計測するので、意図した運動情報は、典型的に、正確なコマンド信号を作り出すために、他の運動情報から分離されなければならない。例えば、装置を振るような大規模の運動は、主に低周波情報を作り出すであろう。逆に、振動のような小規模の運動は高周波情報を主に作り出す。高周波情報はフィルタで取り除かれ、それにより大規模な運動(例えば、揺動)を示す低周波情報だけを残すことができる。そして、フィルタで取り除かれた後の情報を制御信号に変換することができる。
【0096】
図24はハンドヘルド電子機器380の側断面図である。ハンドヘルド装置380は、そのハンドヘルド装置380のハウジング384に取り付けられる加速度計382を含む。装置380がユーザにより移動されると、加速度計382はその動きを認識し、ハンドヘルド電子機器380の制御部は、その動きを解釈し、その後その動きイベントに基づいたアクションを実行する。
【0097】
F.機械式アクチュエータ
ボタンやホイールなどのすべての表面設置アクチュエータを排除したいが、それは時には非現実的である。そのため、ハンドヘルド装置は、いくつかの表面設置アクチュエータを含んでもよい。好ましくは、これらのアクチュエータは統合された各装置に一般的である。すなわち、どの装置機能性が活性化されているかにかかわらず、その意味は同じである。また、表面設置アクチュエータが前面以外の表面に配置されるのが好ましい。これが必要とされないが、前面はディスプレイの視聴領域を収容する。
【0098】
一つの特に有用な機械式アクチュエータはホールドスイッチである。ホールドスイッチは、主な入力手段、例えば、タッチスクリーンを始動および停止するように構成されてもよい。これにより、ユーザは、例えば、装置をユーザのポケット内にしまうときの不必要な入力を防止することができる。一実施では、ホールドスイッチは、つかんでいる手を避けた上面であるが、(底面とは反対のように)簡単なアクセスのための位置に配置されればよい。ホールドスイッチは、タッチスクリーンだけでなく、機械式アクチュエータおよび他の入力装置を停止することもできる。
【0099】
もう一つの特に有用な機械式アクチュエータは電源スイッチである。電源スイッチがオンされると、装置は電源を入れられ、起動準備をする。電源スイッチがオフされると、装置はシャットダウンされる。一実施では、電源スイッチは、つかんでいる手を避けた上面であるが、(底面とは反対のように)簡単なアクセスのための位置に配置されればよい。
【0100】
別の有用な機械式アクチュエータはナビゲーションパッドである。ナビゲーションパッドは典型的に多くのハンドヘルド装置に含まれる。ナビゲーションパッドの機能性は、装置の現在の作動モードに従って変更されてもよい。ミュージックプレーヤの場合、例えば、方向キーは、プレイ/ポーズ、次へ、前へ、およびボリュームアップ・ダウンに割り当てられてもよい。また、他の割当て可能なボタンが装置に含まれてもよい。
【0101】
さらに別の有用な機械式アクチュエータはスイッチングアクチュエータである。スイッチングアクチュエータは、装置の機能性を変更するよう構成されてもよい。すなわち、スイッチングアクチュエータを作動することにより、装置の機能性または状態は、あるモードから別のモードに切り替わる。スイッチングアクチュエータは広範囲に変更されてもよい。
【0102】
例えば、スイッチングアクチュエータはダイアルまたはホイールであればよい。ホイールを徐々に回転することにより、装置は、ある装置からその他の装置に(一般にある所定の順番で)徐々に切り替えられる。各装置のフル回転は、一般に、統合された装置の全グループを通して循環する。ホイールまたはダイアルは、例えば、スクロールホイールのように作動すればよい。その設置場所は広範囲に変更されてもよいが、スイッチングホイールは装置の側面の上部領域に配置されればよい。ホイールをここに配置することにより、そのホイールを容易に回転するためにユーザの親指を用いることができる。例えば、ユーザの親指は、ホイールを回転することができるように、つかみアクションから延ばされればよい。
【0103】
その代わりに、スイッチングアクチュエータはボタンであってもよい。ボタンを繰り返し押すことにより、装置はある装置から別の装置に(一般にある所定の順番で)切り替えられる。その設置場所は広範囲に変更されてもよいが、スイッチングボタンは装置の側面の上部領域に配置されればよい。ボタンをここに配置することにより、そのボタンを容易に押すために、ユーザの親指または人差し指を用いることができる。
【0104】
また、ハンドヘルド装置は、商業的に利用可能なあらゆるタッチパッドを含んでいてもよい。タッチパッドのいくつかの例は、2002年7月1日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/188,182号、2003年11月25日に出願され、「ハンドヘルド装置用タッチパッド」と題する米国特許出願第10/722,948号、および2003年8月18日に出願され、「追加機能性を備えるモバイルタッチパッド」と題する米国特許出願第10/643,256号において見出される。
【0105】
別の実施形態では、ハンドヘルド装置はスクロールホイールを含んでもよい。ウィンドウを通してスクロールする各機能性において、スクロールホイールを用いることができる。
【0106】
G.マイクロフォン
また、ハンドヘルド装置は、音声を拾うマイクロフォンを含んでいてもよい。マイクロフォンは、ユーザの声などの音を伝達する携帯電話に関連して用いられればよい。また、マイクロフォンは、音を記録し、あるいはハンドヘルド装置に音声コマンドを入力するために用いられてもよい。例えば、音声認識ソフトウェアを用いて、ハンドヘルド装置は、音声コマンドを認識し、それに関連した制御信号を生成することができればよい。マイクロフォンは、ハンドヘルド装置の底面、あるいは可能であれば、前面底部ベゼルに配置されればよい。この特定の構成は、電話中にユーザの声を拾うのに適切である。
【0107】
H.イメージセンサ
また、ハンドヘルド電子機器は、ハンドヘルド装置がカメラのように作動することができるように、イメージセンサとレンズ関連部品を含んでいてもよい。イメージセンサは、例えば、電荷結合素子(CCD)カメラを含めばよい。
【0108】
I.入力装置機能性
(1)タッチジェスチャー
ハンドヘルド電子機器は、タッチスクリーンあるいはハウジングのタッチ感知面に与えられるタッチジェスチャーを認識し、それによりハンドヘルド電子機器の態様を制御するように設計されてもよい。ジェスチャーは、定型化された入力装置との相互作用である。それは、1以上の特定の計算演算にマッピングされる。ジェスチャーは、種々の手や指の動きを通してなされればよい。一般に、ジェスチャーは、接触コード、例えば、1以上の指と、そのコードに関連した動きとを含む。その代わりにまたはそれに加えて、ジェスチャーはスタイラスでなされてもよい。これらのすべての場合には、入力装置、すなわち、タッチスクリーンあるいはタッチ感知面はジェスチャーを受け付け、ハンドヘルド電子機器の制御部は、そのジェスチャーに関連した演算を行うインストラクションを実行する。ハンドヘルド電子機器は、タッチジェスチャー演算プログラムを含んでいればよい。このプログラムは、オペレーティングシステムの一部であっても別のアプリケーションであってもよい。ジェスチャー演算プログラムは、一般に、ジェスチャーの発生を認識し、そのジェスチャーの1以上のソフトウェアエージェントおよびそのジェスチャーに応じてどのようなアクションが取られるかについて通知するインストラクションセットを含む。例えば、使用可能なジェスチャーは、2004年7月30日に出願され、「タッチ感知入力装置用のジェスチャー」と題する米国特許出願第10/903,964号、および2005年1月18日に出願され、「タッチ感知入力装置のためのモードベースのグラフィカルユーザインタフェース」と題する米国特許出願第11/038,590号に開示される。
【0109】
(2)3D空間ジェスチャー
一実施形態によれば、ハンドヘルド電子機器は、加速度計により計測された3D空間ジェスチャーを認識し、その3D空間ジェスチャーに基づいてハンドヘルド電子機器の態様を制御するよう設計されてもよい。空間ジェスチャーは、装置自身の定型化された動きである。その動きは2以上の特定の計算演算にマッピングされる。3D空間ジェスチャーは、例えば、振動、波打ちなどの種々の手および腕を通してなされればよい。加速度計は、3D空間ジェスチャーに関連した動きを計測し、制御部は、3D空間ジェスチャーとしてその動きを認識し、その後3D空間ジェスチャーに関連した演算を行うインストラクションを実行する。ハンドヘルド電子機器は、3D空間ジェスチャー演算プログラムを含めばよい。そのプログラムは、オペレーティングシステムの一部であっても別のアプリケーションであってもよい。そのジェスチャー演算プログラムは、一般に、ジェスチャーの発生を認識し、そのジェスチャーの1以上のソフトウェアエージェントおよびそのジェスチャーに応じてどのようなアクションが取られるかについて通知するインストラクションセットを含む。
【0110】
一つの模範的な3Dジェスチャーは装置を振ることである。振ることは、ハンドヘルド装置がモードまたは状態間で切り替わることをもたらすことができる。その代わりに、ハンドヘルド装置を振ることは、選択イベントの発生をもたらすことができる。例えば、メディアプレーヤの場合、装置を振ることは、装置に写真または歌のグループから一つの写真または歌をランダムに選択させてもよい。その代わりに、装置を振ることは、装置に一連の歌から次の写真または歌を選択させてもよい。
【0111】
他のジェスチャーは、装置を水平移動しまたは回転することを含んでもよい。(上向きのまま)ハンドヘルド装置を左右に水平移動することは、その装置でパンまたはスクロールを開始するために用いられてもよく、(上向きのまま)装置を上下に移動することは、ズームを開始するために用いられてもよい。装置を回転することは、装置がモードまたは状態を変更させるために用いられてもよい。ある場合、例えば、装置の配向性は特定のモードに対応してもよい。例えば、第1モードは0°に関連し、第2モードは90°に関連し、第3モードは180°に関連し、第4モードは270°に関連すればよい。これらすべての場合、その装置が回転されるとき表示部が直立に保持されるように、装置は構成されてもよい。すなわち、装置がどの配向になっていても、それは直立イメージを維持する。
【0112】
3D空間ジェスチャーは、手話、手書きの動きなどのより複雑な動きに基づいてもよい。
【0113】
(3)多数の入力に基づいたアクションの実行
装置が多数入力モードを有してもよいので、ハンドヘルド装置は、異なる入力装置からの同時の入力を受け付け、その多数の同時の入力に基づいたアクションを実行するよう構成されてもよい。新しいコマンドを作り出すために結合され得る入力は、音声、2Dタッチジェスチャー、3D空間ジェスチャー、アクチュエータなどから選択されてもよい。例えば、この機能は、音声選択を介して電話を掛けるとき助けになればよい。発呼者は「トム」と言葉で表せばよい。これにより、装置は「トム」の電話番号にダイアルする。「トム」が多数の電話番号を所有するならば、ユーザは、トムの2番目の電話番号を選択するために、言葉によるコマンド「トム」と揺動のような3D空間ジェスチャーとを組み合わせればよい。種々の他の可能性は当業者によって認識されるだろう。
【0114】
(4)軽い(light)タッチと堅い(hard)タッチの区別
上述のように、タッチ感知に関連した力感知は、軽いタッチと堅いタッチとの2つの別のタイプの相互作用を容易にする。軽いタッチは、一般に、主要なイベントを発生させることなく、コンテンツやコンテンツ操作を通してナビゲートするような受動的アクションを実行するために用いられてもよい。受動的なイベントの例は、カーソルを移動したり、スクロールしたり、パンしたりすることなどを含む。堅いタッチの相互作用は、スクリーンボタン上で選択したり、コマンドを開始したり(例えば、重要な変化を発生させたり)するために用いられてもよい。
【0115】
図25は、この技術を実行するためのタッチ方法400の図である。方法400は、ブロック402にて始まり、1以上のタッチが検出される。タッチは、x、y成分だけでなく、z成分も含む。x、y成分は、タッチスクリーン、タッチパッドあるいはタッチハウジングのようなタッチ感知装置により供給されてもよい。z成分は、タッチ感知装置のタッチ面の後ろに位置する力センサまたはディスプレイアクチュエータによって提供されてもよい。
【0116】
ブロック402に次いで、その方法は、ブロック404に移行し、そのタッチが軽い(light)タッチか堅い(hard)タッチかについての決定がなされる。一般に、その決定はタッチの力または圧力(z成分)に基づく。例えば、タッチの力が所定の閾値より小さいならば、タッチは軽いタッチと考えられ、タッチの力がその所定の閾値より大きいならば、そのタッチは堅いタッチと考えられる。そのタッチが軽いタッチと決定されると、その方法は、ブロック406に移行し、そのタッチに関連した受動的なアクションを開始する。タッチが堅いタッチと決定されると、そのタッチに関連した能動的アクションが実行される(ブロック408)。
【0117】
タッチ方法は、1以上のタッチが最初のタッチまたは第2のタッチとして分類されるブロックをさらに含んでいてもよい。最初のタッチは、アクションをもたらすように意図されるタッチであり、第2のタッチは、アクションをもたらすように意図されないタッチである。ジェスチャーは、最初のタッチの例であり、装置を保持するためにタッチ領域上に置かれた親指は、第2のタッチの例である。タッチが最初または第2のタッチとして分類されると、第2のタッチは除外され、タッチが軽いタッチか堅いタッチかの決定が最初のタッチでなされる。
【0118】
(5)新しいタッチ用語の例
新しいタッチ用語を形成するために、タッチ感知装置上に加えられるz圧力をタッチのx、y位置と組み合わせることができる。認識されるべきであるように、この時点までタッチ用語は、xおよびy位置だけが含まれ、z圧力は含まれていなかった。提案されるタッチ用語は、UIモード、タッチの力(例えば、軽いか堅いか)、用いる指の数、タッチ中に移動があるか否か、タッチの期間、およびタッチ位置を含む種々の変数を含んでいる。これらのすべてまたはいくつかは、種々の行動やユーザフィードバックを形成するために結合され得る。
【0119】
UIモードは、一般に、装置のモードまたは状態に関連する。各装置は種々の状態を含み、各状態は異なるUIモードを必要としてもよい。メディアプレーヤ(あるモード)は、例えば、異なるUIを必要とする各層で階層(状態)セットを含んでもよい。
【0120】
上述のように、タッチの力は、例えば、軽いまたは堅いとして記述されればよい。ユーザがタッチ面の表面を軽くタッチするとき、すなわち、指が表面の上部に留まり、xおよびy方向に主に移動するとき、軽いタッチが発生すればよい。ユーザがある大きさの力でタッチ面上を押し、すなわち、指がタッチ面に対してz方向に主に移動するとき、堅いタッチが発生すればよい。
【0121】
タッチ中の動きは、指がタッチイベント中静止したままであるか、X−Y平面で実質的に移動したか(例えば、水平移動、回転など)を記述するために用いられればよい。その動きは、全くない、強打、あるいはある特定の方向へのねじりとして記述されてもよい。例として、強打は、上、下、右、左あるいはそのいくつかの組み合わせであればよく、ねじりは、時計回りまたは反時計回りであればよい。
【0122】
継続時間は、指があるポイントに留まっている時間量として定義される。継続時間は可変的であればよく、短い、長いなどの状態を含めばよい。タッチ位置は、ランダムなポイントまたはスクリーン上のボタンなどの特定の位置であればよい。
【0123】
図26は、この技術を実行する追加のタッチ方法500である。その方法は、ブロック502にて始まり、1以上のタッチが検出される。その後、ブロック504では、UIモードが決定される。ブロック506では、タッチが軽いタッチであるか堅いタッチであるかについて決定がなされる。その代わりに、ブロック502および504を逆にすることができ、各モードのためのタッチ方法の例をもたらす。ブロック508では、別のタッチ数(例えば、複数の指)が決定される。ブロック510では、タッチが静止しているか、動いているかについての決定がなされる。ブロック512では、タッチの継続時間が決定される。ブロック514では、タッチの位置が決定される。ブロック502〜514に次いで、方法はブロック516に移行し、UIモード、タッチの圧力、タッチ数、タッチが移動しているか否か、タッチの継続時間、およびタッチ位置に基づいてアクションが実行される。そのアクションは、各特徴の値に応じて受動的または能動的であればよい。
【0124】
ミュージックプレーヤに関連したタッチ用語の一例は図27A〜図27Eに示される。
【0125】
5.出力装置
A.ディスプレイ
ハンドヘルド電子機器の原理出力は、典型的にディスプレイである。ディスプレイは、テキスト、文字またはグラフィックの形式で視覚情報を提供する。他のタイプのディスプレイが用いられてもよいが、ディスプレイは通常フラットパネル装置である。ディスプレイは、テキストおよび記号を表示することができるキャラクタ(文字)LCD、イメージ、ビデオおよびグラフィカルユーザインタフェース(GUI)を表示することができるグラフィカルLCDなどの液晶ディスプレイ(LCD)であればよい。その代わりに、ディスプレイは、有機発光ダイオード(OLED)に基づいたディスプレイ、あるいは電子インクに基づいたディスプレイに対応してもよい。
【0126】
好ましくは、ディスプレイは、ハウジングの前面を実質的に占めるように構成されればよい。ディスプレイは、ハウジングの一端から他端に延びればよく、ハウジングは、ディスプレイの端部を囲む小さいベゼルを含んでもよい。いずれの場合でも、ディスプレイは、ハンドヘルド電子機器の前面の実質的部分を占め、それによって、従来のユーザインタフェースに関連したボタンまたはスイッチのためのあらゆるスペースを排除する。
【0127】
上述のように、視覚情報を出力する他に、ディスプレイは、入力装置のようにも振る舞う。例えば、タッチスクリーンは、ディスプレイ上に配置されてもよく、センサは、装置が押圧されるか他の方法で移動されるときを感知するために、ディスプレイの下に配置されてもよい。ほとんどの場合、ハンドヘルド装置の小さい形状因子は、持ち運んだり、手で用いたりする間操作を許容するために、入力インタフェースの中央配置を必要とする。ディスプレイ領域は、中央位置を提供し、そこは両手によりアクセス可能である。
【0128】
ディスプレイ領域は複数のディスプレイにより形成されてもよい。例えば、ディスプレイ領域は、並んでいるか一つの上にもう一つが重なっている一対のディスプレイにより形成されてもよい。第1のディスプレイは、標準スクリーンを提供するために用いられ、第2のディスプレイは、図5〜図8を参照した上述のように、制御スクリーンを提供するために用いられればよい。また、第1のディスプレイが従来のディスプレイであり、第2のディスプレイがディスプレイアクチュエータであってもよい。さらに、第1のディスプレイは第1のタイプを構成し、第2のディスプレイは第2のタイプを構成してもよい。例えば、第1のディスプレイはLCDであり、第2のディスプレイは電子インクに基づくディスプレイであればよい。
【0129】
異なるタイプを用いる決定は、ディスプレイの一つが標準視聴エリアに専用であり、もう一つが制御エリアに専用であるという事実に基づけばよい。これら2つのエリアが異なる解像度を必要とするので、より高解像度スクリーンが標準エリアに用いられ、より低解像度スクリーンが制御エリアに用いられればよい。その代わりにまたはそれに加えて、ディスプレイの一つは、特に低解像度を許容可能な制御エリアにおいてバッテリ消費を低減するために選択されてもよい。ある場合には、2つの異なるディスプレイが用いられるが、そこに表示されるイメージは一つの統一されたイメージを形成するために結合されてもよい。
【0130】
B.スピーカ
また、ハンドヘルド装置はスピーカを含んでもよい。スピーカは、アンプからオーディオ情報を表す電子信号を受け入れ、その電子信号を音波に変換する構成要素である。スピーカは、ミュージックプレーヤ機能性に関連して音楽を聴いたり、携帯電話機能性に関連して着信音を聞いたりするために用いられればよい。スピーカは、ハンドヘルド装置の上面あるいは可能であればハンドヘルド装置の前面上部ベゼル上に配置されればよい。このアレンジメントは、装置が携帯電話として用いられるとき特にうまく機能する。
【0131】
C.インジケータ(LED)
また、ハンドヘルド装置は、ユーザフィードバックを提供したり、装置に関連したイベントを示したりする1以上のインジケータを含んでもよい。そのイベントは、信号や、装置の状態またはステータスに関連すればよい。例えば、インジケータは、バッテリ寿命のステータスを提供し、あるいは着信があることをユーザに警告する。発光ダイオード(LED)のような光源を含むインジケータは、典型的に、イベントが発生するときに照らされ、そのイベントが止まるときに照らされない。また、インジケータは、付いたり消えたり(明滅したり)、その強度を増加しあるいは減少して循環してもよい。ある場合には、インジケータは、モニタされているイベントについてのより詳細な情報を提供するために、色を変更さえしてもよい。
【0132】
インジケータは、小さい透明なプラスチック挿入物を典型的に含む従来のインジケータであればよい。その挿入物は、LEDの前に位置し、ハウジングの表面に存在させるようにハウジングの開口内に挿入される。また、LED自身は、挿入物として用いられるよりもむしろ、ハウジングの開口内に位置すればよい。その代わりに、インジケータは、ハウジングの表面を切らないように構成され得る。この構成では、光源はハウジングの内部に完全に配置され、ハウジングにその外観、すなわち、その色を変化させるように、ハウジングの一部を照らすよう構成される。
【0133】
D.音声/触覚フィードバック装置
ハンドヘルド装置は、ユーザに音声フィードバックを与えるために、スピーカまたはブザーを含んでもよい。これらは、上述のインジケータと同様に機能してもよく、あるいは、ソフトボタンまたはスクロールホイールのようなGUI要素を活性化する感触を高めるために用いられてもよい。例えば、スピーカは、ユーザが仮想ボタンを押したり、仮想スクロールホイールを回転したりするとき「クリッキング」音を出力するよう構成されてもよい。この特定の機能は、ユーザの経験を高め、仮想UIの感触をより物理的UIのようにする。
【0134】
また、ハンドヘルド装置は触覚学機構を含んでもよい。触覚学は、触覚の間隔および制御をコンピュータアプリケーションとの相互作用に与える科学である。触覚学により、本質的に、ユーザは情報すなわち手に送られる信号を感じることができる。触覚学機構は広範囲に変更されてもよい。それらは、モータ、バイブレータ、電磁石などを含めばよい。そのすべては振動または震動の形式で力のフィードバックを提供することができる。触覚学機構は、上述のインジケータ(警報)と同様に機能すればよく、あるいは、ソフトボタンまたはスクロールホイールのようなGUI要素を活性化する感覚を高めるために用いられればよい。例えば、触覚学機構は、ユーザが仮想ボタンを押したり、仮想スクロールホイールを回転したりするときに振動するように構成されればよい。この特定の機能は、ユーザの経験を高め、仮想UIの感触をより物理的UIのようにする。また、触覚学はスクリーン上のアクションと同時に用いられてもよい。例えば、映画やゲームのプレイ中、触覚学機能は表示されているアクションをシミュレートすることができる。例えば、触覚学機構は、車が映画やゲーム中に爆発するときバイブレーションの形式で力のフィードバックを提供してもよい。
【0135】
触覚学がソフトボタンやスクロールホイールのようなGUI要素を活性化する感覚を高めるために用いられる場合には、触覚学機構は、ユーザのアクションの下に直接力のフィードバックを提供するように、ディスプレイの領域内でディスプレイのさらに下に位置してもよい。実際、多数の触覚学機構は、その感覚をさらに高めるために、ディスプレイのいたる所に局部的に用いられてもよい。一般に、振動がユーザのアクションに近ければ近いほど、触覚学効果が大きいと信じられている。一実施では、接触学機構はディスプレイの下にアレイで間隔を空けられる。すなわち、それらは空間的に分離され、異なる位置に配置される。例として、それらは、2×2、2×4、4×4、4×8、8×8のアレイで、ディスプレイの下に配置されればよい。
【0136】
音声あるいは触覚フィードバックはユーザ入力がなされたことをユーザに警告するために用いられてもよい。例えば、GUIの仮想ボタンにタッチすると、接触学はバイブレーションの形式で力のフィードバックを提供し、スピーカはクリックの形式で音声のフィードバックを提供してもよい。タッチイベント、動きイベント、握りイベントを含む入力イベントに関連して、触覚音声フィードバックを用いることができる。フィードバックは、インプットを実際に実行したことをユーザが知る(ボタンまたはスイッチの音声および触覚感覚をシミュレートする)ように、情報を提供してもよい。一実施では、フィードバックは力感知装置に加えられる力のレベルに結び付けられる。例えば、ある力閾値に到達するとき、音声フィードバック装置は、押下についての「クリック」と、離す(解除)についての「クロック」とを作り出してもよい。用いられる力閾値は、タッチが軽いタッチか堅いタッチかを決定するために用いられる閾値と同様であってもよい。「クリック」および「クロック」は、堅いタッチがなされるときボタンクリックをシミュレートするために用いられてもよい。
【0137】
6.通信装置
A.有線
また、ハンドヘルド装置は、装置との間でデータを送受信するための1以上のコネクタを含んでもよい。例として、装置は、1以上のオーディオジャック、ビデオジャック、データポート、ドッキングポートなどを含めばよい。また、ハンドヘルド装置は、装置との間で電力を送受するための1以上のコネクタを含んでもよい。
【0138】
ハンドヘルド装置は、ヘッドフォン/マイクロフォンジャックおよびデータポートを含んでもよい。そのジャックは、音声が装置に入力され、および音声が装置から出力されるように、スピーカあるいはマイクロフォンプラグを受け入れることができる。データポートは、汎用コンピュータ(例えば、デスクトップコンピュータ、ポータブルコンピュータ)のようなホスト装置との間でデータを送受信するように構成されるデータプラグ/ケーブルアセンブリを受け入れることができる。例えば、データポートは、ハンドヘルド装置との間でデータをアップロードまたはダウンロードするために用いられればよい。そのようなデータは、ハンドヘルド装置への歌および演奏リスト、オーディオブック、eブック、写真、アドレスブック、ドキュメント、アポイントメントなどを含めばよい。データポートは、PS/2ポート、シリアルポート、パラレルポート、ネットワークインタフェースポート、USBポート、ファイアワイヤポートなどであればよい。また、ハンドヘルド装置は、ハンドヘルド装置に電力を受け渡すよう構成される電源プラグ/ケーブルアセンブリを受け入れる電力ポートを含んでもよい。ある場合には、データポートは、標準コネクタか専有コネクタのいずれかを用いることにより、データポートと電源ポートの両方として機能してもよい。
【0139】
B.無線
無線でデータを送受信するために、装置は、一般に、送信機、受信機(またはトランシーバ)およびある種のアンテナを必要とする。無線通信リンクは、ブルートゥース、WiFi(802.11)、赤外線(IR)などに対応すればよい。アンテナは、装置内に完全に含まれてもよく装置の外に延出してもよい。アンテナは、用いられる周波数などに応じて種々の形式を取ればよい。例えば、ゴムに包まれた巻き上げ要素からなる頑丈なラバーダックであってもよい。その代わりに、アンテナは、装置内の回路基板上にプリントされてもよい。
【0140】
また、ハンドヘルド装置は、携帯ネットワークまたはGPS受信機を介した通信のための無線トランシーバを含んでもよい。
【0141】
C.受信通信信号に基づくUIの変更
ハンドヘルド電子機器は、周囲の環境における信号を能動的に探し、その信号に基づいてモードを変更するよう構成されてもよい。すなわち、装置は、モードをその信号に合わせるように試みる。装置が携帯ネットワーク上で携帯信号を受信すると、装置は携帯電話に変わればよい。すなわち、携帯電話モードが活性化し、あるいは他のモードと比較して先にもたらされる。装置が電子メールを受信すれば、その装置は電子メール端末に変わればよい。別の例として、ユーザがホームシアタールームに歩いて入るとき、装置はメディア制御装置からの信号を感知し、ホームシアターの種々の装置(TV、アンプ、DVD、照明)を制御する機能性を含む遠隔制御器に変わればよい。他の場合には、装置は、物理的商店で放送されている信号を感知し、その商店に適切な装置に変わればよい。例えば、銀行では、装置は電卓に変わってもよく、資金プログラムを見えるようにしてもよい。あるいは、食料品店では、装置は支払い装置に変わってもよく、買い物リストを見えるようにしてもよい。
【0142】
7.ハンドヘルド装置の他の構成要素
ハンドヘルド装置は、1以上の以下のハードウェアコンポーネント、すなわち、制御装置(例えば、マイクロプロセッサ、DSP、A/D、D/A、コンバータ、コード)、メモリ(例えば、RAM、ROM、ソリッドステート(フラッシュ)、ハードディスク(マイクロドライブ))、バッテリ(例えば、リチウムイオン)などをさらに含んでいてもよい。
【0143】
8.全体的ブロック図
図28は模範的なハンドヘルド装置600のブロック図である。ハンドヘルド装置600は、典型的に、インストラクションを実行し、ハンドヘルド装置に関連した操作を実行するよう構成される制御装置602(例えば、CPU)を含む。例えば、メモリから検索されたインストラクションを用いて、制御装置602は、ハンドヘルド装置600の構成要素間の入出力データの受信および操作を制御してもよい。制御装置602は、シングルチップ、マルチチップまたはマルチ電子部品において実施され得る。例えば、専用または内蔵のプロセッサ、専用のプロセッサ、制御装置、ASICなどを含む制御装置602のために種々のアーキテクチャを用いることができる。例として、制御装置602は、マイクロプロセッサ、DSP、A/D変換器、D/A変換器、圧縮器、減圧器等を含んでもよい。
【0144】
ほとんどの場合、オペレーティングシステムとともに、制御装置602は、コンピュータコードを実行し、データを作り出して使用するために稼働する。オペレーティングシステムは、OS/2、DOS、Unix(登録商標)、Linux(登録商標)、およびPalmOSのような周知のオペレーティングシステムに対応すればよく、その代わりに、限定目的の電気器具タイプの装置のために用いられるもののような特別な目的のオペレーティングシステムに対応してもよい。オペレーティングシステム、他のコンピュータコードおよびデータは、制御装置602に操作可能に接続されるメモリブロック604内に存してもよい。メモリブロック604は、一般に、ハンドヘルド装置により用いられるコンピュータコードおよびデータを格納する場所を提供する。例として、メモリブロック604は、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、ハードディスクドライブ(例えば、マイクロドライブ)、フラッシュメモリなどを含めばよい。メモリブロック604に関連して、ハンドヘルド装置は、DVDを受け入れ、再生する光ディスクプレーヤなどの着脱可能な記憶装置あるいはメモリカード(またはメモリスティック)などの媒体を受け入れるカードスロットを含んでいてもよい。ハンドヘルド装置の形状因子が小さいので、光ディスク装置はミニDVDのためにのみ構成されてもよい。
【0145】
また、ハンドヘルド装置600は、制御装置602に操作可能に接続される種々の入力装置606を含んでもよい。入力装置606は、外界からのデータをハンドヘルド装置600に転送するよう構成されてもよい。図示のように、入力装置606は、データ入力機構およびデータ収集機構の両方に対応してもよい。特に、入力装置606は、タッチスクリーン、タッチパッドおよびタッチ感知面などのタッチ感知装置608と、ボタン、ホイールまたはホールドスイッチ(611)などの機械式アクチュエータ610と、加速度計等の動き感知装置612と、力感知ディスプレイやハウジングなどの力感知装置614と、イメージセンサ616と、マイクロフォン618とを含めばよい。また、入力装置606は、クリック可能なディスプレイアクチュエータ619を含んでもよい。
【0146】
また、ハンドヘルド装置600は、制御装置602に操作可能に接続される種々の出力装置620を含んでもよい。出力装置620は、ハンドヘルド装置600からのデータを外界に転送するよう構成される。出力装置620は、LCDなどのディスプレイ622と、スピーカまたはジャック624と、音声/触覚フィードバック装置626と、光インジケータ628などを含んでもよい。
【0147】
また、ハンドヘルド装置600は、制御装置602に操作可能に接続される種々の通信装置630を含んでもよい。例えば、通信装置630は、IR、USB、ファイアワイヤポートなどのI/Oポート632と、GPS受信機634と、無線受信機636とから選択される有線および無線連結性の両方を含んでもよい。
【0148】
また、ハンドヘルド装置600は、バッテリ650と、可能であれば充電システム652とを含んでもよい。バッテリは、変圧器および電源コードを通して、またはホスト装置を介して、あるいはドッキングステーションを介して充電されてもよい。ドッキングステーションの場合には、充電は、電気ポートを通して、あるいは可能であれば、なされるべき物理的電気接続を必要としないインダクタンス充電手段を通して、転送されてもよい。
【0149】
上述の本発明の種々の態様、特徴、実施形態または実施を単独でまたは種々の組み合わせにより用いることができる。ソフトウェア、ハードウェアあるいはハードウェアとソフトウェアの組み合わせにより本発明の方法を実施することができる。また、コンピュータに読み取り可能な媒体上のコンピュータに読み取り可能なコードとして本発明を具体化することもできる。コンピュータに読み取り可能な媒体は、上記で定義されるような転送装置および非転送装置を含むコンピュータシステムによりその後読み取ることができるデータを格納可能なあらゆるデータ記憶装置である。コンピュータに読み取り可能な媒体の例は、リードオンリーメモリ、ランダムアクセスメモリ、CD−ROM、フラッシュメモリカード、DVD、磁気テープ、光学データ記憶装置および搬送波を含む。また、コンピュータに読み取り可能な媒体は、コンピュータに読み取り可能なコードが分散方法で格納され、実行されるように、ネットワークで接続されたコンピュータシステムを介して分散され得る。
【0150】
いくつかの好ましい実施形態に関して本発明を記述したが、本発明の範囲内に含まれる変更、置換および同等物がある。また、本発明の方法および装置を実施する多くの代わりの方法があることにも注意されたい。したがって、添付の特許請求の範囲が本発明の真の意図および範囲内に含まれるような変更、置換および同等物のすべてを含むように解釈されることが意図される。
【特許請求の範囲】
【請求項1】
マルチタッチ入力面と、
前記マルチタッチ入力面に操作可能に接続され、前記マルチタッチ入力面を介してユーザからの複数の同時に発生するタッチ入力を受け付け、該タッチ入力からユーザの要求するアクションを識別することが可能な処理部と、
前記処理部に操作可能に接続され、ユーザインタフェースを提供するよう構成される表示部とを備えることを特徴とするハンドヘルド電子機器。
【請求項2】
前記ハンドヘルド電子機器は、以下の装置機能性、すなわち、PDA、携帯電話、音楽プレーヤ、カメラ、ビデオプレーヤ、ゲームプレーヤ、ハンドトップ、インターネット端末、GPS受信機および遠隔制御器の2つ以上を含むことを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項3】
前記ハンドヘルド電子機器は、該ハンドヘルド電子機器の状態またはモードに基づいて、前記ユーザインタフェースを再構成しあるいは適合可能であることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項4】
前記表示部はフルスクリーンディスプレイであることを特徴とする請求項3に記載のハンドヘルド電子機器。
【請求項5】
前記マルチタッチ入力面は前記表示部に統合されていることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項6】
前記ハンドヘルド電子機器は、以下の装置機能性、すなわち、PDA、携帯電話、音楽プレーヤ、カメラ、ビデオプレーヤ、ゲームプレーヤ、カメラ、ハンドトップ、インターネット端末、GPS受信機および遠隔制御器の2つ以上を含むことを特徴とする請求項5に記載のハンドヘルド電子機器。
【請求項7】
前記マルチタッチ入力面は、前記ハンドヘルド電子機器と相互作用するのに必要な主要入力手段として機能することを特徴とする請求項5に記載のハンドヘルド電子機器。
【請求項8】
前記ハンドヘルド電子機器は十字機能物理的ボタンを含むことを特徴とする請求項7に記載のハンドヘルド電子機器。
【請求項9】
前記表示部を統合された前記マルチタッチ入力面は、マルチポイント容量性タッチスクリーンであることを特徴とする請求項5に記載のハンドヘルド電子機器。
【請求項10】
前記ハンドヘルド電子機器は、該ハンドヘルド電子機器の態様を制御するために用いられ、前記マルチタッチ入力面に適用されるタッチジェスチャーを認識するように操作可能であることを特徴とする請求項9に記載のハンドヘルド電子機器。
【請求項11】
前記ハンドヘルド電子機器は、異なる入力装置からの同時入力を受け付け、該同時入力に基づいてアクションを実行するように操作可能であることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項12】
前記ハンドヘルド電子機器の種々の入力装置からの信号は、該ハンドヘルド電子機器のあるモードに基づいて異なる意味または出力を有することを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項13】
前記ユーザインタフェースは、データを表示するために用いられる標準領域と、ユーザ相互作用のための1以上の仮想制御部を含む制御領域とを備えることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項14】
前記標準領域および前記制御領域の少なくとも一方はユーザによる設定が可能であることを特徴とする請求項13に記載のハンドヘルド電子機器。
【請求項15】
前記表示部は力感知ディスプレイを含み、該力感知ディスプレイは、その上に力が加わるときに生成される1以上の入力信号を作り出すことを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項16】
前記力感知ディスプレイは力指示を感知し、前記ハンドヘルド電子機器は、該力指示を少なくとも第1タッチタイプおよび第2タッチタイプに区別することを特徴とする請求項15に記載のハンドヘルド電子機器。
【請求項17】
前記第1タッチタイプは軽いタッチに対応し、前記第2タッチタイプは堅いタッチに対応することを特徴とする請求項16に記載のハンドヘルド電子機器。
【請求項18】
前記ハンドヘルド電子機器は、該ハンドヘルド電子機器に対してなされるユーザ入力に基づいて、音声または触覚のフィードバックをユーザに提供することを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項19】
前記ハンドヘルド電子機器は、周囲の環境において信号を能動的に探し、該信号に基づいて、ユーザインタフェースまたは動作モードを変更するよう構成可能であることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項20】
ハウジングと、
前記ハウジング内に位置し、ディスプレイとタッチスクリーンとを含むディスプレイアレンジメントと、
前記ディスプレイアレンジメントのある部分が動かされると、信号を生成するように構成される装置と、
を備えることを特徴とするハンドヘルドコンピューティング装置。
【請求項21】
ハンドヘルド電子機器であって、
タッチスクリーンと、
前記タッチスクリーンに操作可能に接続され、該タッチスクリーンを介してユーザからの複数のタッチ入力を同時に受け付け、該タッチ入力からユーザの要求するアクションを識別する処理部とを備え、
前記タッチスクリーンは、前記ハンドヘルド電子機器と相互作用するのに必要な主要入力手段として機能することを特徴とするハンドヘルド電子機器。
【請求項22】
前記メディア装置は、携帯電話、PDA、メディアプレーヤ、カメラ、ゲームプレーヤ、ハンドトップ、インターネット端末、GPS受信機および遠隔制御器の1以上として作動することを特徴とする請求項21に記載のハンドヘルド電子機器。
【請求項23】
ディスプレイと、該ディスプレイ上に位置するタッチスクリーンとを有するコンピューティング装置において実行される方法であって、
1以上のタッチを検出する工程と、
前記1以上のタッチを第1のタッチまたは第2のタッチとして分類する工程と、
前記第2のタッチを除去する工程と、
前記第1のタッチが軽いタッチであるか堅いタッチであるかを区別する工程と、
前記第1のタッチが軽いタッチであるならば、制御イベントを開始する工程と、
前記第1のタッチが堅いタッチであるならば、選択イベントを実行する工程とを含むことを特徴とする方法。
【請求項1】
マルチタッチ入力面と、
前記マルチタッチ入力面に操作可能に接続され、前記マルチタッチ入力面を介してユーザからの複数の同時に発生するタッチ入力を受け付け、該タッチ入力からユーザの要求するアクションを識別することが可能な処理部と、
前記処理部に操作可能に接続され、ユーザインタフェースを提供するよう構成される表示部とを備えることを特徴とするハンドヘルド電子機器。
【請求項2】
前記ハンドヘルド電子機器は、以下の装置機能性、すなわち、PDA、携帯電話、音楽プレーヤ、カメラ、ビデオプレーヤ、ゲームプレーヤ、ハンドトップ、インターネット端末、GPS受信機および遠隔制御器の2つ以上を含むことを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項3】
前記ハンドヘルド電子機器は、該ハンドヘルド電子機器の状態またはモードに基づいて、前記ユーザインタフェースを再構成しあるいは適合可能であることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項4】
前記表示部はフルスクリーンディスプレイであることを特徴とする請求項3に記載のハンドヘルド電子機器。
【請求項5】
前記マルチタッチ入力面は前記表示部に統合されていることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項6】
前記ハンドヘルド電子機器は、以下の装置機能性、すなわち、PDA、携帯電話、音楽プレーヤ、カメラ、ビデオプレーヤ、ゲームプレーヤ、カメラ、ハンドトップ、インターネット端末、GPS受信機および遠隔制御器の2つ以上を含むことを特徴とする請求項5に記載のハンドヘルド電子機器。
【請求項7】
前記マルチタッチ入力面は、前記ハンドヘルド電子機器と相互作用するのに必要な主要入力手段として機能することを特徴とする請求項5に記載のハンドヘルド電子機器。
【請求項8】
前記ハンドヘルド電子機器は十字機能物理的ボタンを含むことを特徴とする請求項7に記載のハンドヘルド電子機器。
【請求項9】
前記表示部を統合された前記マルチタッチ入力面は、マルチポイント容量性タッチスクリーンであることを特徴とする請求項5に記載のハンドヘルド電子機器。
【請求項10】
前記ハンドヘルド電子機器は、該ハンドヘルド電子機器の態様を制御するために用いられ、前記マルチタッチ入力面に適用されるタッチジェスチャーを認識するように操作可能であることを特徴とする請求項9に記載のハンドヘルド電子機器。
【請求項11】
前記ハンドヘルド電子機器は、異なる入力装置からの同時入力を受け付け、該同時入力に基づいてアクションを実行するように操作可能であることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項12】
前記ハンドヘルド電子機器の種々の入力装置からの信号は、該ハンドヘルド電子機器のあるモードに基づいて異なる意味または出力を有することを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項13】
前記ユーザインタフェースは、データを表示するために用いられる標準領域と、ユーザ相互作用のための1以上の仮想制御部を含む制御領域とを備えることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項14】
前記標準領域および前記制御領域の少なくとも一方はユーザによる設定が可能であることを特徴とする請求項13に記載のハンドヘルド電子機器。
【請求項15】
前記表示部は力感知ディスプレイを含み、該力感知ディスプレイは、その上に力が加わるときに生成される1以上の入力信号を作り出すことを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項16】
前記力感知ディスプレイは力指示を感知し、前記ハンドヘルド電子機器は、該力指示を少なくとも第1タッチタイプおよび第2タッチタイプに区別することを特徴とする請求項15に記載のハンドヘルド電子機器。
【請求項17】
前記第1タッチタイプは軽いタッチに対応し、前記第2タッチタイプは堅いタッチに対応することを特徴とする請求項16に記載のハンドヘルド電子機器。
【請求項18】
前記ハンドヘルド電子機器は、該ハンドヘルド電子機器に対してなされるユーザ入力に基づいて、音声または触覚のフィードバックをユーザに提供することを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項19】
前記ハンドヘルド電子機器は、周囲の環境において信号を能動的に探し、該信号に基づいて、ユーザインタフェースまたは動作モードを変更するよう構成可能であることを特徴とする請求項1に記載のハンドヘルド電子機器。
【請求項20】
ハウジングと、
前記ハウジング内に位置し、ディスプレイとタッチスクリーンとを含むディスプレイアレンジメントと、
前記ディスプレイアレンジメントのある部分が動かされると、信号を生成するように構成される装置と、
を備えることを特徴とするハンドヘルドコンピューティング装置。
【請求項21】
ハンドヘルド電子機器であって、
タッチスクリーンと、
前記タッチスクリーンに操作可能に接続され、該タッチスクリーンを介してユーザからの複数のタッチ入力を同時に受け付け、該タッチ入力からユーザの要求するアクションを識別する処理部とを備え、
前記タッチスクリーンは、前記ハンドヘルド電子機器と相互作用するのに必要な主要入力手段として機能することを特徴とするハンドヘルド電子機器。
【請求項22】
前記メディア装置は、携帯電話、PDA、メディアプレーヤ、カメラ、ゲームプレーヤ、ハンドトップ、インターネット端末、GPS受信機および遠隔制御器の1以上として作動することを特徴とする請求項21に記載のハンドヘルド電子機器。
【請求項23】
ディスプレイと、該ディスプレイ上に位置するタッチスクリーンとを有するコンピューティング装置において実行される方法であって、
1以上のタッチを検出する工程と、
前記1以上のタッチを第1のタッチまたは第2のタッチとして分類する工程と、
前記第2のタッチを除去する工程と、
前記第1のタッチが軽いタッチであるか堅いタッチであるかを区別する工程と、
前記第1のタッチが軽いタッチであるならば、制御イベントを開始する工程と、
前記第1のタッチが堅いタッチであるならば、選択イベントを実行する工程とを含むことを特徴とする方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27A】
【図27B】
【図27C】
【図27D】
【図27E】
【図28】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27A】
【図27B】
【図27C】
【図27D】
【図27E】
【図28】
【公開番号】特開2012−142033(P2012−142033A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2012−101602(P2012−101602)
【出願日】平成24年4月26日(2012.4.26)
【分割の表示】特願2007−558347(P2007−558347)の分割
【原出願日】平成18年3月3日(2006.3.3)
【出願人】(503260918)アップル インコーポレイテッド (568)
【Fターム(参考)】
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願日】平成24年4月26日(2012.4.26)
【分割の表示】特願2007−558347(P2007−558347)の分割
【原出願日】平成18年3月3日(2006.3.3)
【出願人】(503260918)アップル インコーポレイテッド (568)
【Fターム(参考)】
[ Back to top ]