説明

情報処理装置

【課題】操作者に特に意識させることなく、操作者にとって最適な表示を行なうことができる、持ちやすい情報処理装置を提供する。
【解決手段】情報処理装置100は、片手で保持可能な大きさの、主表面を有する概略長方体形状を有する扁平な筐体110を含み、筐体110は、主表面をはさんで配置された第1及び第2の側面を有する。情報処理装置100はさらに、主表面に設けられた表示面を有する表示装置118と、第1及び第2の側面に設けられ、第1及び第2の側面と人の手との接触領域の分布を検知するためのシート状の感圧センサ120R及び120Lと、感圧センサ120R及び120Lの出力に基づいて、表示装置118により表示面上に表示される内容を制御するための制御部とを含む。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は情報処理装置に関し、特に、片手で持って操作することが可能な、タッチパネルを備えた情報処理装置における入力インタフェースに関する。
【背景技術】
【0002】
最近の携帯電話機の性能の進歩、特にその多機能化は著しく、もはや電話機と呼ぶよりは、携帯型のコンピュータと呼ぶほうがふさわしい。携帯電話機には、電話機能に加えて、時計、電卓、ゲーム機能が備えられ、さらにインターネットアクセス機能も備えられている。そのために、携帯電話機は、フルブラウザ、電子メールなどのアプリケーションを稼動させるプラットフォームとしても動作する。
【0003】
このように、もはや単なる電話機ではなく、携帯情報端末とも呼ぶべき携帯電話機であるが、依然として解決すべき課題が存在している。最も大きな課題は、人間とのインタフェース、特に情報の入力インタフェースである。携帯される装置であるため、携帯電話機はあくまで小型でなければならい。
【0004】
コンピュータの場合であれば、多数のキーを備えたキーボードを用いて高速に情報を入力できる。しかし、携帯電話機の場合、装置の物理的大きさによる制約のため、多数のキーを設けることが困難である。あまり多くのキーを設けると、指の大きさとの関係で入力がしづらくなる。キーを大きくすると、筐体も大きくしなければならない。
【0005】
さらに、携帯電話機に特有の問題として、片手で文字等の入力がされることが多いという事実がある。したがって、特に片手での入力が容易に行えるような工夫も必要となる。特許文献1には、片手でも容易に入力できるようにキーを配置した携帯電話機が開示されている。
【0006】
図1に、特許文献1に記載の携帯電話機の正面図を示す。図1を参照して、特許文献1に記載された携帯電話30は、片手36で保持可能な程度の大きさの、ほぼ縦長のほぼ直方体の筐体32と、筐体32の正面上部に設けられた液晶表示部34と、筐体32の正面下部に配置された多数のキー40,42,44,46及び48とを含む。
【0007】
この携帯電話30では、右手で筐体32を保持したときに、親指38でキーを容易に押すことができるように、親指の付け根の関節付近の点Oを中心とした円上に複数のキー40を配置し、さらにこの円と同心の円上に、それぞれ複数のキー42,44,46及び48を配置している。
【0008】
この配置により、右手で筐体32を保持したときに、親指38を点Oを中心として回転させることにより、同心円上に配置された複数のキーを容易に操作することができる。
【0009】
しかし特許文献1に記載の携帯電話30では、右手用にキーが配列されている場合には、左手では極めて操作がしづらくなるという問題がある。また、例えば一方の手で携帯電話30を保持し、他方の手でキーを操作しようとすると、キーがマトリクス状に配置されていないため、かえって使いづらいという問題がある。
【0010】
一方、携帯情報端末として、特許文献2には、操作者が右手で端末を操作しているか、左手で端末を操作しているかを判定し、その結果にしたがって表示方法を変化させるものがある。図2に、特許文献2に開示された携帯情報端末である電子手帳70の正面図を示す。
【0011】
図2を参照して、この電子手帳70は、扁平な直方体状の筐体72と、筐体72の正面のほぼ全面に配置された液晶表示部74と、液晶表示部74をはさんで筐体72の対向する側面に配置されたロータリスイッチ80、並びに実行キー76及び中止キー78とを含む。ロータリスイッチ80は、液晶表示部74に表示されたメニューの項目を選択するときに操作するスイッチであり、実行キー76は選択された項目の実行を指示するときに操作するキーであり、中止キー78は選択された項目の実行を中止するときに操作するキーである。
【0012】
電子手帳70はさらに、筐体72の、ロータリスイッチ80が配置された側面に、ロータリスイッチ80をはさんで互いに対称となる位置に配置されたホトセンサ82及び84を含む。
【0013】
この電子手帳70では、ロータリスイッチ80をはさんだ位置にホトセンサ82及び84が配置されている。例えば利用者が図2に示されるように左手で筐体72を保持している場合、ロータリスイッチ80は左手により操作されるため、ホトセンサ82は左手により隠される。一方ホトセンサ84は隠されない。したがって、この場合ホトセンサ82及び84の出力は互いに異なる。逆に右手で電子手帳70を保持した場合、ロータリスイッチ80が右側となり、筐体72が上下反対となるように保持される。この場合、ホトセンサ84が右手により隠され、ホトセンサ82は隠されない。
【0014】
したがって、ホトセンサ82及び84の出力を調べることにより、電子手帳70が右手で保持されているか左手で保持されているかを判定できる。そして、右手で保持されている場合と、左手で保持されている場合とで、表示されている画面を天地逆となるように回転させる。その結果、利用者が電子手帳70を右手で保持していても左手で保持していても、利用者から見たときには液晶表示部74に正しい向きとなるように画面が表示される。その結果、利用者が筐体72を右手で保持しても左手で保持しても、正しい表示を行なうことができる。
【特許文献1】特開2002−164980号(図1)
【特許文献2】特開平4−88546号(図2)
【発明の開示】
【発明が解決しようとする課題】
【0015】
携帯電話機のような携帯情報端末は、片手のみで保持され操作される機会が多い。そうした場合、利用者が筐体を右手で保持していても、左手で保持していても、同様に操作しやすい携帯情報端末が必要である。特に、右手で保持している場合には右手用に最適化された形で、左手で保持している場合には左手用に最適化された形で、キーが配列されることが望ましい。
【0016】
そのためには、何らかの手段により携帯情報端末が右手で保持されているか、左手で保持されているかを判定することが必要である。
【0017】
特許文献2に開示された電子手帳70は、主としてロータリスイッチ80並びに実行キー76及び中止キー78によって操作することが想定されている。したがって、筐体72の保持の仕方もおのずから上記した二通りに定まり、その結果、ホトセンサ82及び84により、右手で保持されているか、左手で保持されているかの判別ができる。しかし携帯電話機のように常時携帯する情報処理装置の場合には、筐体の厚みは小さいほうが好ましく、このようなスイッチを筐体の側部に設けると持ちづらくなり実用的でない。また多様な文字を入力する機会も多く、そのために上記したスイッチを使用するのは現実的でない。したがって、特許文献2に開示の技術を特許文献1に開示の携帯電話機のような小型の情報処理装置に適用することは困難である。さらに、表示装置上にタッチパネルを設けた場合には、そもそも上記したスイッチを操作しないことが予想され、特許文献2に記載の方式では操作者がどのように筐体を保持しているかがセンサ出力だけでは明確に判定できない。したがって、タッチパネルによる入力を想定した情報処理装置に特許文献2に記載の技術を提供することは極めて難しい。
【0018】
それゆえに本発明の目的は、片手で保持可能な大きさの情報処理装置であって、操作者に特に意識させることなく、操作者にとって最適な表示を行なうことができる、持ちやすい情報処理装置を提供することである。
【0019】
本発明の他の目的は、片手で保持可能な大きさの情報処理装置であって、操作者に特に意識させることなく、効率的な入力を行なうことができる、持ちやすい情報処理装置を提供することである。
【課題を解決するための手段】
【0020】
本発明の第1の局面に係る情報処理装置は、片手で保持可能な大きさの、主表面を有する概略長方体形状を有する扁平な筐体を含む情報処理装置である。筐体は、主表面をはさんで配置された第1及び第2の側面を有する。情報処理装置はさらに、主表面に設けられた表示面を有する表示装置と、第1及び第2の側面に設けられ、当該第1及び第2の側面と人の手(指を含む。)との接触領域の分布を検知するための第1の検知手段と、第1の検知手段の出力に基づいて、表示装置により表示面上に表示される内容を制御するための表示制御手段とを含む。
【0021】
操作者が筐体を手で保持すると、その手と筐体側面との接触領域の分布が第1の検知手段により検知される。表示制御手段は、第1の検知手段の出力に基づいて、表示画面上に表示される内容を制御する。例えば操作者が左手で筐体を保持しているときと、右手で筐体を保持しているときとでは、画面上のGUI(Graphical User Interface)部品の配置などを左右対称に変化させたほうが好ましい場合がある。また、操作者が筐体を横方向に保持している場合等には、表示を横位置に適した形に切替えることが望ましい。又は、筐体を保持している手の位置に応じ、手によって隠されないような位置に重要な情報を表示するように表示位置を変化させることが望ましい場合もある。筐体の二つの側面に第1の検知手段を配置することで、操作者の手が筐体に対しどのような配置になっているかを検知し、操作者による筐体の保持の仕方を判定できる。その判定結果に適した表示内容となるように、表示制御手段が表示装置を制御する。その結果、操作者に特に意識させずに、操作者にとって最適な表示を行なうことができる情報処理装置を提供できる。
【0022】
好ましくは、情報処理装置は、表示面上において操作者により指示された位置の座標を出力するための座標検出装置をさらに含む。表示制御手段は、表示装置及び座標検出装置との協働によって、操作者による入力を受けるための入力手段と、第1の検知手段の出力に基づいて、複数の入力画面を切替えて入力を受けるように入力手段を制御するための画面切替手段とを含む。
【0023】
入力手段は、表示装置と座標検出装置との協働により、操作者からの入力を受ける。この入力の際には、操作者は指を使用する。第1の検知手段の出力から、操作者にとって操作しやすいような形で入力画面を切替えたり、操作者に表示すべき注意事項を見やすい位置に表示させたりすることが可能になる。したがって、操作者にとって入力が楽になり、入力誤りも減少する。操作者に特に意識させずに、操作者の筐体の保持の仕方にかかわらず、効率的な入力が可能な情報処理装置を提供できる。
【0024】
より好ましくは、情報処理装置には天地の区別があり、第1及び第2の側面は、装置の天を上方にして筐体を操作者が保持したときに、それぞれ筐体の、主表面をはさむ左の側面及び右の側面である。画面切替手段は、第1の検知手段の出力に基づいて、操作者が筐体を左手のみ、右手のみ、及び両手、のいずれで操作しているかを判定するための判定手段と、判定手段の判定結果によって、左手用、右手用、及び両手用の入力画面を切替えて入力を受けるように入力手段を制御するための手段とを含む。
【0025】
情報処理装置を縦型で使用する場合、操作者は通常は天地を中心に左右の側面を保持する。これら側面における手と筐体との接触領域の分布から、左手のみ、右手のみ、又は両手のいずれで操作しているかを例えばルールベースで判定することができる。判定結果に基づき、左手用、右手用、及び両手用の入力画面を切替えて入力を受けるように入力手段が制御される。したがって、片手のみで操作しているときと、両手で操作しているときとで、それぞれに適した入力画面を用いて入力できる。その結果、入力を効率的にすることができる。
【0026】
さらに好ましくは、情報処理装置には天地の区別があり、第1及び第2の側面は、装置の天を上方にして筐体を操作者が保持したときに、それぞれ筐体の、主表面をはさむ左の側面及び右の側面である。画面切替手段は、筐体を操作者が保持するときの、第1の検知手段の典型的な出力に対応する複数のテンプレートを記憶するためのテンプレート記憶手段と、第1の検知手段の出力を、テンプレート記憶手段に記憶された複数のテンプレートとのパターンマッチングにより、操作者が筐体を左手で保持し左手で操作しているか、右手で保持し右手で操作しているか、又は一方の手で保持し他方の手で操作しているか、を判定するための判定手段と、判定手段の判定結果によって、左手用、右手用、及び両手用の入力画面を切替えて入力を受けるように入力手段を制御するための手段とを含む。
【0027】
筐体の側面における手と筐体との接触領域の分布から、左手のみ、右手のみ、又は両手のいずれで操作しているかをテンプレートとのパターンマッチングにより判定する。判定結果に基づき、左手用、右手用、及び両手用の入力画面を切替えて入力を受けるように入力手段が制御される。パターンマッチングによって判定するため、テンプレートを適切に準備しておくことにより、多様な保持の仕方を適切に判定でき、その結果によって、片手のみで操作しているときと、両手で操作しているときとで、それぞれに適した入力画面を用いて入力できる。すなわち、保持の仕方を精密に判定してその結果によって最も適した入力画面を使用することができ、その結果、入力をより正確で、効率的にすることができる。
【0028】
左手用入力画面と、右手用入力画面とは、実質的に互いに左右対称の入力用のGUI部品の配置を有していてもよい。
【0029】
左手で筐体を保持しているときと、右手で筐体を保持しているときとでは、操作するための指の配置が丁度左右対称となる。したがって、左手用入力画面と、右手用入力画面とを、実質的に互いに左右対称とすることで、左右いずれの手で片手入力する場合も、同様の効率で入力することができる。
【0030】
両手用の入力画面は、左右対称なGUI部品の配置を有していてもよい。
【0031】
両手で操作する場合、従来と同様の左右対称なGUI部品の配置で入力を行なうことができる。したがって、両手で操作する場合でも、少なくとも従来と同様の効率で入力を行なうことができ、片手持ち片手入力時の効率のよさにより、全体として入力の効率を向上させることができる。
【0032】
好ましくは、左手用入力画面は、複数行及び複数列のマトリクス状に配列された複数のGUI部品を有し、マトリクスは、いずれの列も、その列より右側の列と比較して上方に配置されているように構成される。
【0033】
左手持ち左手入力を行なう場合、左手の親指を使用する。したがって、左の親指の付け根付近を中心として親指で押さえやすい範囲にGUI部品を配置する必要がある。すなわち、親指の付け根を中心とした円形に近い範囲内にGUI部品を配置し、かつGUI部品が見やすいような配置とする必要がある。いずれの列も、その列より右側の列と比較して上方に配置されているようにGUI部品のマトリクスを構成すると、GUI部品が左手の親指で押さえやすい範囲に位置し、かつマトリクス状に配置されているため、GUI部品を容易に区別できる。その結果、左手に無理をかけず、効率的に、少ない誤りで入力を行なうことができる。
【0034】
より好ましくは、左手用入力画面は、複数行及び複数列のマトリクス状に配列された複数のGUI部品を有し、複数のGUI部品は、複数のGUI部品の中央よりも左側に想定されるある点からの距離が大きくなるほど、面積が大きくなるように構成されている。
【0035】
左手持ち左手入力を行なう場合、左手の親指を使用する。したがって、左の親指の付け根付近のGUI部品は親指の先端でほぼ垂直に押さえることができる。しかし遠くにあるGUI部品を押さえようとすると、親指を伸ばすため、親指が表示面と平行に近くなり、狭い範囲を押すことが難しくなる。そこで、そうした位置のGUI部品の面積を大きくすることにより、GUI部品を少ない誤りで効率よく押さえることができる。しかもGUI部品はマトリクス状に配置されているため、GUI部品を容易に区別できる。その結果、左手に無理をかけず、効率的に、少ない誤りで入力を行なうことができる。
【0036】
さらに好ましくは、第1の検知手段は、第1及び第2の側面に設けられたシート状の感圧センサ、若しくは第1及び第2の側面の各々の複数個の箇所に設けられた温度センサ又は光センサを含んでもよい。
【0037】
画面切替手段はさらに、判定手段の判定結果に基づいて、文字入力が必要なアプリケーションのウィンドウが、利用者の手の位置とは逆の方向から入力画面に隣接する位置に配置されるように、表示面上におけるアプリケーションを表示するウィンドウの配置を変更するための手段を含んでもよい。
【0038】
変更するための手段は、判定手段の判定結果に基づいて、文字入力が必要なアプリケーションのウィンドウが、利用者の手の位置とは逆の方向から入力画面に隣接する位置に配置され、かつそれ以外のアプリケーションのウィンドウが表示されないように、表示面上におけるアプリケーションを表示するウィンドウの配置を変更するための手段を含んでもよい。
【0039】
好ましくは、情報処理装置は、筐体の、第1及び第2の側面と異なる第3及び第4の側面に設けられ、当該第3及び第4の側面と人の手との接触領域の分布を検知するための第2の検知手段をさらに含む。表示制御手段は、第1及び第2の検知手段の出力に基づいて、画像が互いに90度異なる向きで表示面上に表示される第1及び第2の表示態様の間で表示装置による表示を切替えるための表示切替手段を含む。
【0040】
表示切替手段は、第1及び第2の表示態様の間で表示装置による表示を切替える際に、表示面上に表示するアプリケーションのウィンドウ数を表示態様によって変更するように構成されていてもよいし、これに代えて、又はこれに加えて、第1及び第2の表示態様の間で表示装置による表示を切替える際に、表示面上に表示するアプリケーションのウィンドウの相対的な位置を、それらアプリケーションの種類によって変更するように構成されていてもよい。
【発明の効果】
【0041】
以上のように本発明によれば、筐体の二つの側面に第1の検知手段を配置することで、操作者の手が筐体に対しどのような配置になっているかを検知し、操作者による筐体の保持の仕方を判定できる。第1の検知手段の出力から、操作者にとって操作しやすいような形で入力画面を切替えたり、操作者に表示すべき注意事項を見やすい位置に表示させたりすることが可能になる。例えば、第1の検知手段の出力に基づいて、操作者が筐体を左手のみ、右手のみ、及び両手、のいずれで操作しているかを判定し、判定結果によって、左手用、右手用、及び両手用の入力画面を切替えて入力を受けるように入力手段を制御することができる。したがって、片手のみで操作しているときと、両手で操作しているときとで、それぞれに適した入力画面を用いて入力できる。
【0042】
その結果、片手で保持可能な情報処理装置であって、操作者に特に意識させることなく、操作者にとって最適な表示を行なったり、効率的な入力をしたりすることができる情報処理装置を提供できる。
【発明を実施するための最良の形態】
【0043】
以下、図面を参照しつつ本発明の実施の形態について説明する。以下の説明及び図面においては、同じ部品には同じ参照番号を付してある。それらの機能及び名称も同一である。したがって、それらについての詳細な説明をその都度繰返すことはしない。
【0044】
なお、以下の説明では、表示装置及び座標検出装置として、静電容量方式の全画面液晶タッチパネルを用いたものについて説明しているが、表示装置及び座標検出装置はこの実施の形態で用いたものには限定されない。表示上のある位置が指定されたか否かを示す情報を出力する機能、及び指定された位置に関する座標情報を出力する機能を持つものであれば、どのような表示装置と座標検出装置との組合せでも使用することができる。またタッチパネルとしては、全画面のものが種々の点で好適であるが、筐体の主表面の一部のみに表示装置を設けたタッチパネルであってもよい。
【0045】
例えば、静電容量式のタッチパネルに代えて、抵抗膜方式等、他の方式のタッチパネル、又はタブレットを採用してもよい。
【0046】
なお、以下の説明で「手」というときは、いわゆる手の平の部分だけではなく指の部分まで指している。
【0047】
<外観>
図3に本発明の一実施の形態に係る携帯情報端末である携帯電話機100の斜視図を示す。図3を参照して、この携帯電話機100は、主表面を有する、扁平な概略直方体形状を有する筐体110と、筐体110の主表面のほぼ全面に配置された、積層された液晶表示装置(LCD)118と静電容量式タッチパネル119とからなる、表示装置一体型タッチパネルである全画面液晶タッチパネル116と、筐体110の主表面の、全画面液晶タッチパネル116の上側及び下側にそれぞれ配置されたスピーカ112及びマイクロフォン114とを含む。スピーカ112が上方(天)に、マイクロフォン114が下方(地)に位置するようにして全画面液晶タッチパネル116を正面から見たときの筐体110の右側側面には、筐体110を保持する利用者の指による圧力分布を面状の領域で検知し、2値化された画像の形で出力するシート状の右側感圧センサ120Rが設けられており、反対側の側面(左側側面)にも、同様の左側感圧センサ120Lが設けられている。
【0048】
全画面液晶タッチパネル116は、一部に指が接触することにより位置が指定されると、指定された箇所を示す、所定の座標系における座標情報を出力し、指の接触がなくなると、すなわち指定が解除されると座標情報の出力を停止する機能を有する。
【0049】
<ハードウェア構成>
図4に、本実施の形態に係る携帯電話機100のハードウェア構成をブロック図形式で示す。図4を参照して、携帯電話機100は、スピーカ112、マイクロフォン114、全画面液晶タッチパネル116(LCD118及び静電容量式タッチパネル119)、並びに右側感圧センサ120R及び左側感圧センサ120Lに加え、アンテナ180と、リンガ186と、携帯電話機100の初期設定値、入力画面プログラム、及び持ち方判定プログラムなど所要のプログラムを記憶するための不揮発性のメモリ188と、スピーカ112、マイクロフォン114、全画面液晶タッチパネル116、アンテナ180、リンガ186及びメモリ188を用い、携帯電話機としての機能と、利用者による携帯電話機100の持ち方を判定し、判定結果に最適化された入力キー配置の画面を表示する機能と、その他種々の機能を実現するための制御回路182とを含む。
【0050】
制御回路182は、アンテナ180を介して基地局から受信した信号に基づき、別の拠点にあるほかの携帯通信端末からの着信の有無を検出して着信検出信号を出力するための着信信号検出部208と、所定の制御信号に応答して、アンテナ180を介した通信回線のオン/オフを制御するための回線閉結部206と、回線閉結部206及びアンテナ180を介して基地局との間で授受する信号の強さの制御を行なうためのRF(Radio Frequency)処理部204と、基地局との安全な信号の授受を行なうために、RF処理部204に与える信号及びRF処理部204を介して受ける信号に所定の信号処理を施すためのベースバンド処理部202と、DAコンバータ及びADコンバータを有し、マイクロフォン114及びスピーカ112を介した音声の入出力を行なうためのオーディオインタフェース(オーディオI/F)200と、オーディオI/F200、ベースバンド処理部202、RF処理部204、及び回線閉結部206、全画面液晶タッチパネル116、リンガ186を制御することにより、ユーザからの要求に応じて電話の呼を発信したり、着呼を処理したりして、ユーザと他の携帯通信端末との間の音声通信を行なったり、文字通信を行なったり、ユーザの入力する文字列に対する処理を行なったりするための通信制御部210とを含む。
【0051】
通信制御部210は、実質的にはCPU(中央演算処理装置)とソフトウェアとからなる。ソフトウェアは本実施の形態ではメモリ188に記憶されていて、適宜通信制御部210に読出され、実行される。本実施の形態では、詳細は説明しないが、メモリ188の内容を書き換えることが可能であり、それによって携帯電話機100による種々の機能のアップグレード及び追加を行なうことができる。
【0052】
<判定の原理>
本実施の形態では、利用者が携帯電話を右手で持っているか、左手で持っているか、及び片手で操作しているか、両手を用いて操作しているかを、右側感圧センサ120R及び左側感圧センサ120Lの出力を用いたパターンマッチングにより判定する。以下、代表的なパターンについて説明する。
【0053】
図5に、片手持ちの場合に特徴的な右側感圧センサ120R及び左側感圧センサ120Lの出力パターンを示す。図5(A)に示す携帯電話機100を図5(B)に示すように左手で保持した場合、典型的には、図5(B)に示されるように、左側感圧センサ120Lには手との接触領域240が、右側感圧センサ120Rには手との接触領域242が、それぞれ生じる。図5(B)に示されるケースでは、左側面は左手の親指の腹の部分と、親指の付け根の部分との2箇所で左側感圧センサ120Lに接触している。その結果、図5(C)に示されるように、左側感圧センサ120Lからは二つの接触領域画像252及び250が得られる。右側面では、指3本が右側感圧センサ120Rに接触しているものとすると、三つの接触領域画像254,256及び258が得られる。
【0054】
一方、図5(D)に示されるように、右手で携帯電話機100を保持すると、左手の場合と丁度逆の状態となる。すなわち、左側感圧センサ120Lには手との接触領域270が、右側感圧センサ120Rには手との接触領域272が、それぞれ生じる。図5(D)に示されるケースでは、左側面は左手の中指、薬指、及び小指の3箇所で左側感圧センサ120Lに接触している。その結果、図5(E)に示されるように、左側感圧センサ120Lからは三つの接触領域画像280、282及び284が得られる。右側面では、右手の親指の腹の部分と親指の付け根の部分とが右側感圧センサ120Rに接触している。したがって、二つの接触領域画像286及び288が得られる。
【0055】
もちろん、携帯電話機100の筐体の大小と手の大小との関係により、例えば図5(C)の場合に、右側感圧センサ120Rと左手の人差し指〜小指の全てが接触し、したがって四つの接触領域画像が得られることもあり得る。右手の場合も同様である。
【0056】
一方、単に携帯電話機100を保持しているだけでなく、保持している手の親指で、全画面液晶タッチパネル116をタッチすることで入力を行なおうとしている場合には、右側感圧センサ120R、左側感圧センサ120Lの出力は次のようになる。
【0057】
図6(A)(B)にはそれぞれ、左手では単に携帯電話機100を保持しているだけで、入力を右手で行なおうとしているときの左手と携帯電話機100との間の関係、並びに左側感圧センサ120L及び右側感圧センサ120Rの出力との関係を示す。図6(C)(D)にはそれぞれ、左手で携帯電話機100を保持しながら、左手の親指を使って入力を行なおうとしているときの左手と携帯電話機100との間の関係をそれぞれ示す。
【0058】
図6(A)及び(B)は、図5(B)及び(C)とそれぞれ同一である。一方、図6(C)においては、図6(A)と異なり、携帯電話機100の左側面は左手の親指の付け根の領域300のみと接しており、親指とは接していない。その結果、図6(D)に示すように、左側面からは一つの接触領域画像310のみが出力される。一方、右手領域は図6(A)と同様、領域302で3本の指と接触している。したがって右側感圧センサ120Rからは、三つの接触領域画像312,314,316(又は四つの接触領域画像)が出力される。
【0059】
右手でも同様の関係が得られる。したがって、図6(B)のような出力が得られたときは携帯電話機100は左手で保持されており、入力は右手で行なわれると判定できる。図6(D)のような出力が得られたときは携帯電話機100は左手で保持されており、入力も左手で行なわれると判定できる。右手の場合にはこれと対称な出力によって同様の判定ができる。
【0060】
実際には、携帯電話機100の保持の仕方には人により微妙な違いが生じるので、本実施の形態では上記したような規則による判定ではなく、多数の出力例を集めてテンプレート化しておき、実際に得られた出力画像と、テンプレートとをマッチングすることにより、最も可能性の高い保持の仕方を判定する。なお本実施の形態では、保持及び入力の仕方の組合せとして、(1)両手操作(左手で保持し右手で入力、又は右手で保持し左手で入力)、(2)左手操作(左手で保持し左手で入力)、及び(3)右手操作(右手で保持し右手で入力)、の三つの場合を判定するようにすればよい。
【0061】
なお、携帯電話機での判定であるため、マッチングに多くの計算コストをかけることは好ましくない。そこで本実施の形態では、例えば出力画像の中心線上の画素値のみをサンプルとし、同様の形で予め作成しておいたテンプレートとの間でマッチングする。マッチングには、例えばDP(Dynamic Programming)マッチングを用いる。予め適切なしきい値を定めておき、テンプレートと出力画像との間のDPマッチングにより得られたDP距離が最も小さく、かつその距離がしきい値以下のテンプレートが存在している場合のみ、そのテンプレートにより定められる保持及び入力の仕方を採用し、それ以外の場合には全て上記した(1)、すなわち両手操作と判定する。右側感圧センサ120Rから得られた画像と左側感圧センサ120Lから得られた画像とをそれぞれ独立にテンプレート内の右手側テンプレート及び左手側テンプレートとDPマッチングし、得られたDP距離の合計値を各テンプレートと得られたデータとの間のDP距離とする。
【0062】
図7及び図8に、テンプレートに対応するセンサ出力のパターン例を示す。図7(A)及び(B)は、いずれも左手で携帯電話機100を保持し、右手で入力する場合(両手操作)のパターン例である。図8(A)及び(B)は、いずれも左手で携帯電話機100を保持し、左手で入力する場合のパターン例である。右手用のパターンは、左手用のパターンを左右反転したものを用いればよく、したがって右手用の独自のパターンは必要ないと考えられるが、本実施の形態では一応右手用のパターンも左手用のパターンとは別に用意してある。
【0063】
また、上記したように、マッチングの結果得られたテンプレートと出力画像との間のDP距離がしきい値より大きい場合には、両手操作と判定される。したがって、実際には左手用のテンプレートさえ準備しておけばよいが、本実施の形態では両手操作と判定するためのテンプレートも予め準備してある。
【0064】
以下、左手で携帯電話機100を保持していることを「左手持ち」、右手で携帯電話機100を保持していることを「右手持ち」と呼ぶ。
【0065】
図9に、左手持ちで左手操作(以下これを「左手持ち片手操作」と呼ぶ。)の際に携帯電話機100の全画面液晶タッチパネル116に表示される文字ボタン配列340と、右手持ちで右手操作(以下これを「右手持ち片手操作」と呼ぶ。)の際に同様に表示される文字ボタン配列342とを示す。
【0066】
図9(A)及び(B)を参照して、左手持ち片手操作の際の文字ボタン配列340は、全体として左上がりのマトリクスを形成するように配列された複数のボタン350〜364を含む。中央列の最下行のボタン352は、右端列の最下行のボタン354よりも上に配列されている。最左端の最下行のボタン350は、ボタン352よりさらに上に配列されている。最も上の行も同様で、最左端のボタン360が最も高く、中央列のボタン362がその次に高く、最右端のボタン364が最も低い。
【0067】
列を中心として見ると、ある列は、その列よりも右側の列と比較してより高い位置に配置されている、ということができる。
【0068】
このような配列となっているのは、特許文献1と同様、左手で操作する際に、親指で操作しやすい位置にキーを配置したためである。親指の付け根付近は親指では押さえにくい。したがって、最左端の列のキーをいずれも他の列のキーよりも少し上げ、親指で押さえやすくしている。
【0069】
なお、本実施の形態では、文字ボタンを入力用のGUI部品として用いているが、本発明は文字ボタンを用いるもののみには限定されない。指一本で操作可能なものであれば、どのようなGUI部品を用いたものにも適用できる。
【0070】
図9(C)及び(D)に示される右手持ち片手操作用の文字ボタン配列342も同様である。この場合、左手持ち片手操作用と左右対称の配列となる。つまり、ボタンは全体として右上がりのマトリクスを形成するように配列されている。
【0071】
図10に、両手操作と判定されたときに全画面液晶タッチパネル116に表示される文字ボタン配列410を示す。図10を参照して、文字ボタン配列410は、筐体110の長辺に対し直交する方向の行と、長辺と平行な方向の行とからなるマトリクス状に配列された複数のキー420〜434を含む。このようにボタンが左右対称に配列されているため、左手持ち、右手入力の場合にも、右手持ち、左手入力の場合にも、特に支障なく入力操作を行なうことができる。ただし、ボタン配列が厳密に左右対称である必要はない。一部対称でない部分があってもよいことはいうまでもない。
【0072】
<プログラム構成>
既に述べたように、両手操作、左手持ち片手操作、右手持ち片手操作についての判定は、右側感圧センサ120R及び左側感圧センサ120Lの出力に対し、予め準備されたテンプレートとのマッチングにより行なう。持ち手及び操作方法を判定するためのプログラムの制御構造を図11にフローチャート形式で示す。なお、以下に説明する制御構造を有するプログラムは、例えば図4に示すメモリ188に格納され、適宜通信制御部210内のCPUにより読出され実行される。こうしたプログラムは、携帯電話機100の出荷時にメモリ188に格納されてもよいし、この携帯電話機100によるデータ通信を介して図示しないサーバから携帯電話機100にダウンロードされ、メモリ188に記録されてもよい。携帯電話機にメモリカード等の記録媒体を装着できる場合などには、そのメモリカードにプログラムを格納しておいてそこから読出したり、メモリカードからメモリ188に移動させてメモリ188から読出すようにしてもよい。
【0073】
図11を参照して、ステップ450で携帯電話機100の動作モードが入力モードか否かを判定する。入力モードであればステップ452に進むが、入力モードでなければ入力モードになるまでステップ450の処理を繰返す。入力モード以外のときには、ユーザが予め設定した向き、又はアプリケーションにより決定される向きで画面表示を行なうことが好ましい。そもそも、そうした場合にはキーボードを表示する必要がない。したがって、ステップ450の処理により、入力モード以外のときにはキーボードの表示を行なわないようにする。
【0074】
ステップ452では、左側感圧センサ120L及び右側感圧センサ120Rの出力である画像データを取得する処理を行なう。この処理は、図4に示すブロック図において、通信制御部210に含まれるCPUが、左側感圧センサ120L及び右側感圧センサ120Rに割当てられたアドレスからデータを読出すことにより実現される。
【0075】
ステップ454では、ステップ452で取得した左側感圧センサ120Lの出力画像及び右側感圧センサ120Rの出力画像から、手の接触領域の判定のための特徴量を抽出する処理が実行される。本実施の形態では、前述した通り、両画像において、長手方向(筐体110の縦方向)に沿った中心線の画像データのみをパターンマッチングのために取出し、それぞれ特徴量とする。
【0076】
ステップ456では、予め準備された複数のテンプレートと、ステップ454で抽出された特徴量との間で、パターンマッチングをDPマッチングにより行なう。このマッチングの結果、ステップ454で抽出された特徴量との間で算出されたDP距離が最も小さなテンプレートが選択され、さらにそのDP距離が所定のしきい値以下か否かを判定する。もしもそのようなテンプレートがあれば、そのテンプレートが両手操作のテンプレートか、左手持ち片手操作のテンプレートか、右手持ち片手操作のテンプレートかによって、ステップ456の判定結果が定められる。上記した条件を充足するテンプレートが存在しない場合には、デフォルトとしてユーザが両手操作を行なっているものと判定される。
【0077】
ステップ458では、ステップ456におけるマッチングの結果により、三つのステップに処理が分岐する。すなわち、ユーザが左手持ち片手操作をしていると判定された場合にはステップ460に進み、ユーザが両手操作をしていると判定された場合にはステップ462に進み、ユーザが右手持ち右手操作をしていると判定された場合にはステップ464に進む。これ以外の場合には、全てステップ462に進む。
【0078】
ステップ460では、左手持ち左手操作のキーボード画面(図9(A)(B))を実現するプログラムが実行される。ステップ462では、両手操作のキーボード画面(図10)を実現するプログラムが実行される。ステップ464では、右手持ち片手操作のキーボード画面(図9(C)(D))を実現するプログラムが実行される。
【0079】
以後、制御は各キーボード画面を実現するプログラムに移り、図11に示すプログラムの実行は終了する。
【0080】
図12に、図11のステップ452〜ステップ456で行なわれるマッチング処理を模式的に示す。図12を参照して、予め複数のテンプレート474が図4に示すメモリ188に記憶されている。これらテンプレートには、両手操作に対応するテンプレートか、左手持ち片手操作に対応するテンプレートか、右手持ち片手操作に対応するテンプレートかを示す情報が付されている。
【0081】
右側感圧センサ120Rからの出力画像は右側特徴量抽出部470に与えられ、その特徴量が抽出される。本実施の形態では、特徴量として画像の中心線上の画素列の画素値が特徴量として抽出される。同様に、左側感圧センサ120Lからの出力画像は左側特徴量抽出部472に与えられ、その特徴量が抽出される。本実施の形態では、右側特徴量抽出部470及び左側特徴量抽出部472は、図4に示す通信制御部210に含まれるCPUと、図11に制御構造を示すプログラムのステップ454とにより実現される。
【0082】
マッチング部476が、右側特徴量抽出部470からの特徴量と左側特徴量抽出部472からの特徴量とを組合せ、テンプレート474に格納された各テンプレートとの間でDPマッチングをし、その結果を判定結果478として出力する。マッチング部476が行なうDPマッチングは、商業的に利用可能な数理処理のプログラムツールにより実現することができる。
【0083】
<動作>
図3〜図12を参照して、本実施の形態に係る携帯電話機100は以下のように動作する。図3を参照して、利用者が携帯電話機100のスイッチを投入すると、図11に制御構造を示す持ち手及び操作方法を判定するためのプログラムが起動する。図11を参照して、持ち手及び操作方法を判定するためのプログラムは、ステップ450で携帯電話機100の動作モードが入力モードか否かを判定する。何もアプリケーションが起動されていない場合、携帯電話機100は入力モードとならないので、ステップ450の判定結果はNOとなり、ステップ450が繰返される。
【0084】
利用者が、例えば電子メール等、文字入力を行なうアプリケーションを起動したものとする。すると、図11に示すステップ450における判定結果がYESとなり、ステップ452に進む。
【0085】
図4に示す右側感圧センサ120R及び左側感圧センサ120Lは、ユーザの手の圧力を示す2値画像を生成し、通信制御部210に与える。このときの画像のパターンは、例えば図7及び図8に示されるようなものとなる。図11に示すステップ452で、これらの画像情報がCPUに読取られ、プログラムで処理される。
【0086】
ステップ454において、ステップ452で得られた右側感圧センサ120R及び左側感圧センサ120Lの出力する画像データから、特徴量を抽出する。すなわち、両者の画像の中心線上の画素列のみを取り出し、それらの画素値からなる二つのデータ列が特徴量として抽出される。
【0087】
ステップ456において、このようにして抽出された特徴量と、テンプレート474とのDPマッチングが実行される。マッチングの結果、左手持ち片手操作のテンプレートとの間のDP距離が最も小さく、かつその値がしきい値以下であれば、図9(A)(B)に示すような左手持ち片手操作用の文字ボタン配列340を全画面液晶タッチパネル116に表示し入力を受付けるプログラムが起動される。同様にして右手持ち片手操作と判定されると、図9(C)(D)に示す右手持ち片手操作用の文字ボタン配列342を全画面液晶タッチパネル116に表示し入力を受付けるプログラムが起動される。両手操作と判定されると、図10に示す両手操作用の文字ボタン配列410を全画面液晶タッチパネル116に表示し入力を受付けるプログラムが起動される。
【0088】
これら文字ボタン配列を使用して入力された文字列は、図示しない仮名漢字変換プログラムを介して仮名漢字に変換され、電子メールプログラムなどに渡される。
【0089】
以上のようにこの実施の形態に係る携帯電話機100によれば、携帯電話機100の筐体110を利用者がどのように保持しているかを、右側感圧センサ120R及び左側感圧センサ120Lで読取った筐体110と手との接触領域のパターンと、予め準備されたテンプレートとのマッチングによって判定する。そしてその判定結果にしたがって、左手持ち片手操作、右手持ち片手操作、又は両手操作用の文字ボタン配列によって文字入力を行なう。パターンマッチングによる判定を採用しているため、筐体110を持つパターンとして多種多様なものがあっても、ある程度の信頼性を持って持ち手と操作方法とを判定できる。判定の結果選択され表示される文字ボタン配列は、いずれもそれぞれの場合に適した配列となっているため、文字の入力が効率的に行なえ、入力誤りも少なくなり、高速かつ確実な入力を実現できる。さらに、片手操作と判定できなかったときはデフォルトとして両手操作用の文字ボタン配列が表示されるので、最悪な場合でも従来の携帯電話機と同等の速度で文字入力を行なうことができる。
【0090】
右側感圧センサ120R及び左側感圧センサ120Lとして本実施の携帯ではシート状のものを採用しているため、筐体110が薄型で小さくても両側面における手との接触領域を判定でき、筐体110を保持したときに邪魔になることもない。
【0091】
その結果、本実施の形態に係る携帯電話は、従来の携帯電話等の携帯情報端末と比較してより効率的な文字入力を実現することができる。
【0092】
<変形例>
上記した実施の形態では、右側感圧センサ120R及び左側感圧センサ120Lの出力に応じ、左手持ち片手操作、右手持ち片手操作、又は両手操作用の文字ボタン配列が自動的に選択されて表示される。個々の文字ボタン配列そのものの表示位置又は表示の大きさについては固定されている。
【0093】
しかし、携帯電話機100を使用する人の体格には様々なものがあることが予想される。したがって、文字ボタン配列の表示位置を調整可能にしたり、その表示される大きさを調整可能にしたりすることが有効である。
【0094】
図13(A)(B)は、そうした機能をさらに備えた携帯電話機500における文字ボタン配列の例を示す。図13(A)は、例えば携帯電話機500の筐体の大きさに比して手の大きさが小さな人に適した、左手持ち片手操作用の文字ボタン配列の表示位置510を示す。この例では、文字ボタン配列の表示位置510は全画面液晶タッチパネル116の下部で中央よりやや左寄りを中心とした、小さめの領域である。図13(B)は、同じ携帯電話機500において、右手持ち片手操作用の文字ボタン配列の表示位置512を示す。この例では、文字ボタン配列の表示位置512は、全画面液晶タッチパネル116の下部で中央よりやや右寄りを中心とした小さめの領域である。
【0095】
このように文字ボタン配列の表示位置及び大きさを調整可能とすることにより、利用者の手の大きさ及び入力時の癖などに適した位置及び大きさの文字ボタン配列で文字入力を行なうことが可能になる。その結果、文字入力がより効率的となる。
【0096】
このような調整は、利用者が適宜行なうことができるようにし、その調整のためのパラメータを例えば図4のメモリ188中に記憶させるようにする。文字ボタン配列の表示にあたっては、このパラメータをチェックし、パラメータにしたがった調整を行なった位置及び大きさで文字ボタン配列を表示するようにすればよい。
【0097】
また、上記実施の形態では、片手操作用文字ボタン配列として図9(A)〜(D)に示されるようなものを採用している。しかし本発明はそのような実施の形態には限定されず、片手操作に適した文字配列であればどのようなものを使用してもよい。一つの例を図14に示す。
【0098】
図14(A)(B)に示す例は、この変形例に係る携帯電話機530の全画面液晶タッチパネル116に表示される左手持ち片手操作用の文字ボタン配列540を示す。文字ボタン配列540は、基本的には全画面液晶タッチパネル116の横方向及び縦方向にそれぞれ平行な行及び列からなるマトリクス状に配列された複数のボタン550〜576を含む。これらボタンは、操作する左手の親指の付け根からの距離が大きくなるほど面積が大きくなるように配置されている。
【0099】
図14(B)を参照して、例えばボタン560が親指の付け根に最も近いものとすると、このボタン560から遠ざかるほど、ボタンの面積が大きくなっていることが分かる。もしも親指の付け根に最も近いボタンがボタン560より他のものであるときには、そのボタンを中心とし、そのボタンから遠ざかるほどボタンの面積を大きくする。
【0100】
一般的に、左手で筐体110を保持する際には、左手の親指の付け根は、筐体110の左側面付近又はそこよりも左側に位置すると考えられる。ただし、左手で入力する際には、親指を画面上で伸ばすことも考えられる。したがって、親指の付け根の位置としては、ボタン配列540の中心部より左側のいずれかの点を想定すればよい。ただし、この点の上下方向の位置は、ボタン配列540の上下方向の分布範囲よりも上下方向にずれないようにすることが望ましい。
【0101】
図14(C)(D)は、携帯電話機530で採用された右手持ち片手操作用の文字ボタン配列542を示す。文字ボタン配列542のボタンの配列形状は、全画面液晶タッチパネル116の横方向及び縦方向にそれぞれ平行な行及び列に配列された複数のボタン590〜616を含む。これらボタンは、操作する右手の親指の付け根からの距離が大きくなるほど面積が大きくなるように配置されている。基本的には、文字ボタン配列542は図14(B)に示される文字ボタン配列540と左右対称である。ただし、各ボタンに割当てられた文字は、文字ボタン配列540と左右対称ではなく、文字ボタン配列540でボタンに割当てられた文字と一致している。
【0102】
通常、携帯電話機の筐体を片手で持ちながら、同じ手の親指でボタンを操作しようとすると、図15(A)に示すように、親指の付け根から近い位置では、親指はタッチパネル表面と垂直に近い角度で接するが、図15(C)に示すように、親指の付け根から遠ざかるにつれ、親指はタッチパネル表面と平行な姿勢に変化する。そのため、親指の付け根では図15(B)に示すように比較的小さな領域を押すことができるが、親指から遠い位置では図15(D)に示すように親指の腹に相当する広い領域が同時にタッチパネル表面に接してしまう。こうした問題に対応するために、図14(B)に示すような文字ボタン配列とすることにより、親指の付け根から離れた位置に表示されたボタンを押すときにも、無理なく目的のボタンを押すことができる。したがって、指の動きが楽になり、疲労も少なく、効率的に入力を行なうことができる。
【0103】
上記実施の形態では、シート状の右側感圧センサ120R及び左側感圧センサ120Lにより、携帯電話機の筐体の両側部のうち、利用者の手と接している領域のパターンを検知している。しかし、利用者の手と接している領域のパターンを検知するための手段はシート状の感圧センサに限らず、別の手段を用いてもよい。例えば、小さな光センサを多数含む光センサアレイを筐体の両側部に設け、これらから得た信号のパターンを用いてもよい。又は、筐体の両側部にシート状の温度センサを貼り付け、温度センサから得られる温度分布のパターンを用いてもよい。又は、電磁誘導を用いて人体との接触を感知するセンサを用いてもよい。
【0104】
上記実施の形態では、テンプレートとのマッチングに、DPマッチングを用いている。しかしDPマッチングに限らず、他のマッチング方法を用いてもよい。例えば、上記したようにセンサの中心線の出力を得た後、センサの中心線を予め定められた複数個の領域に分割し、それらの中に存在する黒画素の数を要素とするベクトルを用いてマッチングを行なってもよい。この場合、テンプレートとしては予め実験により得た代表的なパターンに対し同様のベクトル化を行なっておき、テンプレートベクトルと、センサから得られたデータを処理して得たベクトルとの間のコサイン類似度によって持ち手と操作方法とを判定すればよい。
【0105】
また、装置に備えられたCPUの性能及びメモリの記憶容量が許すのであれば、センサから得られた画像を、そのままパターンマッチングに用いてもよい。この場合には、テンプレートとしても各持ち手及び操作方法の組合せに応じた典型的ないくつかの画像を準備しておく必要がある。
【0106】
<縦横表示を切替える変形例>
上記実施の形態では、携帯電話機100の筐体110の左右側面のみに手との接触を検知するセンサを配置している。携帯電話機100を通常の携帯電話として使用する場合には、縦長に持って使用することが想定されるので、これで十分と考えられる。しかし、図3に示すような全画面液晶タッチパネル116を備えた筐体110の場合、例えばTV(テレビジョン)放送を受信して表示する機能が備えられることもある。そうした場合には、筐体110を横長に保持し、その状態で何らかの入力を行なう可能性もある。そのため、筐体110の左右の側面だけでなく、上下の側面にもセンサを配置するようにしてもよい。この場合も、利用者がどのように筐体110を保持しているかは、各センサからの出力を用いたパターンマッチングで判定することができる。そして、その判定結果により、画像を縦横に切替える。すなわち、互いに90度だけ異なる角度で画像が表示される縦型表示態様及び横型表示態様のいずれかに切替える。
【0107】
図16に携帯電話機100を横方向と縦方向とで切替えて使用するときの全画面液晶タッチパネル116上の表示例を示す。図16(A)は横表示で右手持ち右手操作のときの表示例、図16(B)は横表示で左手持ち左手操作のときの表示例、図16(C)は縦表示で右手持ち右手操作のときの表示例をそれぞれ示す。本変形例では、縦型と横型との間の切替はユーザの指示により行ない、持ち手と操作の仕方とを筐体110の天地及び上下側面に配置したセンサからの出力で判定する。そして、判定結果にしたがって全画面液晶タッチパネル116上の表示を制御する。
【0108】
図16(A)(B)のように横型表示を行なう場合には、二つ以上のアプリケーションを同時に起動することが容易となる。例えば、図16(A)に示すように、全画面液晶タッチパネル116上のウィンドウ710では第1のアプリケーションとして地上デジタルのいわゆるワンセグ放送を受信・表示し、ウィンドウ712では第2のアプリケーションとしてメールの返信を入力する、等という使い方である。この場合、右手で操作する場合には、図16(A)のウィンドウ714により示されるように右に文字入力領域を設定することが望ましい。
【0109】
左手で操作する場合の全画面液晶タッチパネル116の表示例は、図16(B)に示すように、例えば二つのアプリケーションのためのウィンドウ722及び724を右側に表示し、ウィンドウ720で示されるように左に文字入力領域を設定することが望ましい。
【0110】
また、右手で操作する場合には、文字入力を必要とするアプリケーションが文字入力領域すぐ左に隣接して表示されることが望ましく、左手で操作する場合には文字入力領域のすぐ右に隣接して表示されることが望ましい。これは文字入力の場合にタッチする領域と文字が入力される領域が距離的に近接しているほうが操作しやすいためである。つまり、入力部分を左右のどちらに表示するかにより、それぞれのアプリケーションのレイアウトを変更することが望ましい。したがって、図16(A)に示す例では、ウィンドウ712に電子メールの入力プログラムが表示され、図16(B)に示す例では、ウィンドウ722に電子メールの入力プログラムが表示されることが望ましい。
【0111】
なお、例えば図16(A)に示されるように、右手持ちで右手操作をしているときに、最も左側のウィンドウ710を使用しているアプリケーションにおいて、文字入力をすることが必要となる場合がある。こうしたときには、ユーザの指示に応じて、ウィンドウ714で行なわれた文字入力の結果がウィンドウ710のアプリケーションに入力されるという切替えを行ってもよい。又は、ウィンドウ710とウィンドウ712の左右の順番を入替えてもよい。順序を入替えることにより、ウィンドウ710を用いていたアプリケーションは、ウィンドウ714にの文字入力領域に隣接したウィンドウ712を利用して動作するようになり、入力しやすくなる。
【0112】
例えば、図16(B)に示す横型表示から図16(C)に示すような縦型表示にユーザが携帯電話機100の持ち方を変えた場合について考える。この場合には、横型表示のときよりもユーザが文字入力に専念しようとしていると考えられる。文字入力領域を全画面液晶タッチパネル116の最下部のウィンドウ730に表示し、文字入力を必要とするアプリケーションだけをウィンドウ732に残すことが考えられる。このとき、文字入力に関係しないアプリケーションは表示しないようにすることもできるし、アプリケーションそのものを終了させるようにしてもよい。
【0113】
図17に縦型表示から横型表示に変更する場合の、携帯電話機100が実行するプログラムのフローチャートを示す。ステップ750では、ユーザ入力などにより横型への切替指示があったかどうかを判定する。切替指示がなければステップ750に戻り、切替指示を待つ。
【0114】
切替指示があった場合、ステップ752で現在の動作モードが右手での入力モード(以下「右手モード」と呼ぶ。)なのか左手での入力モード(以下「左手モード」と呼ぶ。)なのかを判定する。右手モードであればステップ754に進み、左手モードであればステップ756に進む。
【0115】
ステップ752での判定には、第1の実施の形態に係る携帯電話機100の場合、縦型表示のときに両側面に配置した右側感圧センサ120R及び左側感圧センサ120Lにより検知した結果を用いることが望ましい。しかし本発明はそのような実施の形態には限定されず、横方向表示の場合の表示モードを予めユーザに設定させておいてもよい。もちろん、筐体110の天地方向の側面にセンサを配置することにより、横方向にしたときの左右の持ち手と操作方法とを検知するようにした場合には、検知した結果を用いてもよい。
【0116】
ステップ756では左手モードでの、アプリケーションを表示するウィンドウの設定を行なう。ステップ754では逆に、右手モードでの、アプリケーションの表示の設定を行なう。ここでは、文字入力領域の中の表示などの設定だけではなく、図16(A)及び(B)に示すように、アプリケーションを表示するウィンドウの並びを変更することも含んでいる。
【0117】
続くステップ758では、ステップ754又は756において行なわれた設定に基づき、全画面液晶タッチパネル116に表示する横型画面の表示レイアウトを決める。単に左右のモードだけでなく、どのアプリケーションが動作するかによりレイアウトが変わるが、基本的には文字入力を必要とするアプリケーションは文字入力領域に近いところに設定する。いずれの場合にも、設定が完了するとステップ760に進む。
【0118】
ステップ760では、ステップ758決定されたレイアウトにしたがって、ワンセグ放送のアプリケーション、メール作成プログラムなどのアプリケーションが表示される。
【0119】
このように、センサの出力に基づいて、表示の縦横の切替だけでなく、アプリケーションの表示位置までも調整するので、ユーザが筐体110を持つ持ち方の変化にあわせ、最適と思われる表示方法で全画面液晶タッチパネル116上の表示を行なうことができる。特に、入力が必要なアプリケーションの場合、文字入力領域の表示位置を持ち手及び操作方法によって適宜決定することにより、容易に文字入力が行なえるようになり、高速で文字が入力できる上、入力に伴う目などの負担も小さくなる。
【0120】
なお、上記変形例では、縦型配置のときにはアプリケーションの一部の表示を隠すような設定としたが、図16(A)(B)と同様、アプリケーションを双方とも表示するが、文字入力が必要なアプリケーションのウィンドウが文字入力領域に近くなるように、アプリケーションの表示位置を決定するようにしてもよい。また、ユーザの手と装置の側面との接触領域の分布を検知するためのセンサは、縦型配置のときの両側面に配置可能なわけではない。例えば、横型配置のときの両側面(すなわち縦型配置のときの天地の端面)のみに配置してもよいし、四つの側面の全てに配置してもよい。さらに、携帯電話の場合には縦型配置で天地の区別が存在することに鑑み、縦型配置のときの両側面でも、下半分の領域、又は全側面のうち、下端部から2/3程度の高さまでのところだけにセンサを配置するようにしてもよい。
【0121】
上記した実施の形態では、センサ出力とテンプレートとの間のパターンマッチングにより持ち手と操作方法とを判定している。しかし本発明はそのような実施の形態には限定されない。特に人間の片手の指の数には上限があるので、携帯電話機100を保持しているときの、筐体110と指との間の接触領域及び非接触領域が生ずる数及び順番にはそれほどのバリエーションはない。したがって、左右の接触領域及び非接触領域が生ずる数及び順番に基づいて持ち手及び操作状態を判定するルールを作成し、ルールベースで判定を行なってもよい。特に決定木などを使用すると好適である。
【0122】
例えば、次のようなルールが考えられる。
【0123】
右側の接触領域の数>左側の接触領域の数→左側の接触領域の数=1→左手持ち片手操作
右側の接触領域の数>左側の接触領域の数→左側の接触領域の数=2→左手持ち両手操作
右側の接触領域の数<左側の接触領域の数→右側の接触領域の数=1→右手持ち片手操作
右側の接触領域の数<左側の接触領域の数→右側の接触領域の数=2→右手持ち両手操作
それ以外→両手持ち
ただしルールベースで判定する場合、画像中に存在するノイズの影響を受けやすいので、判定前に画像処理(例えば太め細め処理、又は画像の各行に存在する黒画素の数を行ごとに計算し、その値が所定のしきい値以上か否かによって画像の長手方向のプロフィールを計算する処理等)によってノイズを除去することが望ましい。
【0124】
なお、本発明は、上記実施の形態で述べたような携帯電話にのみ適用可能なわけではない。これ以外にも、いわゆるPDA(Personal Digital Assistant)にも適用できる。PDAの場合には、指でなくペンで入力する装置もあるが、そうした場合にも上記したようなセンサによる持ち手及び操作方法の検出結果を利用し、ユーザにとって操作のしやすい表示方法を選択できる。
【0125】
さらに、携帯電話及びPDAのように、それ自体独立した情報処理装置に分類されるものだけでなく、例えばテレビジョン受像機、ハードディスクレコーダなどに付属するリモートコントローラ(以下「リモコン」と呼ぶ。)等の情報処理装置にも本発明を適用することができる。特に、図18に示すような、操作画面の大部分にタッチパネル790を使用するリモコン780などに本発明を好適に用いることができる。タッチパネルには液晶が好適であるが、液晶以外の表示装置を使用したものでもよい。テレビジョン受像機、ハードディスクレコーダ等では、機能が多様化しているため、このようにタッチパネルを用いて多様な操作パネルを表示できるようにすることが望ましい。そして、多くのユーザはリモコンを片手のみで操作するので、持ち手を判別することにより、図18(A)及び(B)に示すように持ち手に適した形での操作パネルの表示を行なうことで、ユーザにとって操作しやすいリモコンを提供することができる。
【0126】
なお、本発明のような持ち手及び操作方法の判別機能を用いることにより、全画面タッチパネルを有効に使用する情報処理装置の場合でも、何らかの機能に対応するボタンをハードウェアとして残しておいてもよいことは当然である。
【0127】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【0128】
【図1】特許文献1に開示された携帯電話30の文字ボタン配列を示す図である。
【図2】特許文献2に開示された電子手帳70における、持ち手の判定メカニズムを説明する図である。
【図3】本発明の第1の実施の形態に係る携帯電話機100の外観を示す図である。
【図4】図3に示す携帯電話機100のハードウェア構成を示すブロック図である。
【図5】利用者が携帯電話機100を片手で保持するときの、携帯電話機100の筐体110と手との接触領域のパターンを模式的に説明する図である。
【図6】利用者が携帯電話機100を片手又は両手で操作するときの、携帯電話機100の筐体110と手との接触領域のパターンを模式的に説明する図である。
【図7】左手持ち、両手操作時のセンサ出力のパターンを模式的に示す図である。
【図8】左手持ち、片手操作時のセンサ出力のパターンを模式的に示す図である。
【図9】片手操作と判定されたときに表示される、持ち手によって変化する文字ボタン配列340及び342を模式的に示す図である。
【図10】両手操作時の文字ボタン配列410を示す模式図である。
【図11】実施の形態に係る携帯電話機100を実現するためのプログラムの制御構造を示すフローチャートである。
【図12】実施の形態に係る携帯電話機100で実行されるパターンマッチング処理を模式的に示す図である。
【図13】変形例に係る、表示位置及び大きさが変化する文字ボタン配列の表示位置510及び512を模式的に示す図である。
【図14】変形例に係る、ボタンの大きさが親指の付け根からの距離によって変化する文字ボタン配列540及び542を模式的に示す図である。
【図15】携帯電話機の筐体を片手で持ち、同じ手の親指でボタンを操作する際の指の接触面を模式的に示す図である。
【図16】携帯電話機を横方向で使う場合を説明する図である。
【図17】縦型表示から横型表示に表示を切り替えるためのプログラムの制御構造を示すフローチャートである。
【図18】全画面のタッチパネルを採用したリモコンの外観と表示の切替とを示す図である。
【符号の説明】
【0129】
100 携帯電話機
110 筐体
116 全画面液晶タッチパネル
118 LCD
119 静電容量式タッチパネル
120L 左側感圧センサ
120R 右側感圧センサ
188 メモリ
210 通信制御部
240,242,270,272,300,302 接触領域
250,252,254,256,258,280,282,284,286,288,310,312,314,316 接触領域画像
340,342,410,540,542 文字ボタン配列
780 リモコン
790 タッチパネル


【特許請求の範囲】
【請求項1】
片手で保持可能な大きさの、主表面を有する概略長方体形状を有する扁平な筐体を含む情報処理装置であって、
前記筐体は、前記主表面をはさんで配置された第1及び第2の側面を有し、
前記情報処理装置はさらに、
前記主表面に設けられた表示面を有する表示装置と、
前記第1及び第2の側面に設けられ、当該第1及び第2の側面と人の手との接触領域の分布を検知するための第1の検知手段と、
前記第1の検知手段の出力に基づいて、前記表示装置により前記表示面上に表示される内容を制御するための表示制御手段とを含む、情報処理装置。
【請求項2】
前記表示面上において操作者により指示された位置の座標を出力するための座標検出装置をさらに含み、
前記表示制御手段は、
前記表示装置及び前記座標検出装置との協働によって、操作者による入力を受けるための入力手段と、
前記第1の検知手段の出力に基づいて、複数の入力画面を切替えて入力を受けるように前記入力手段を制御するための画面切替手段とを含む、請求項1に記載の情報処理装置。
【請求項3】
前記情報処理装置には天地の区別があり、前記第1及び第2の側面は、前記情報処理装置の天を上方にして前記筐体を操作者が保持したときに、それぞれ前記筐体の、前記主表面をはさむ左の側面及び右の側面であり、
前記画面切替手段は、
前記第1の検知手段の出力に基づいて、操作者が前記筐体を左手のみ、右手のみ、及び両手、のいずれで操作しているかを判定するための判定手段と、
前記判定手段の判定結果によって、左手用、右手用、及び両手用の入力画面を切替えて入力を受けるように前記入力手段を制御するための手段とを含む、請求項2に記載の情報処理装置。
【請求項4】
前記情報処理装置には天地の区別があり、前記第1及び第2の側面は、前記情報処理装置の天を上方にして前記筐体を操作者が保持したときに、それぞれ前記筐体の、前記主表面をはさむ左の側面及び右の側面であり、
前記画面切替手段は、
前記筐体を操作者が保持するときの、前記第1の検知手段の典型的な出力に対応する複数のテンプレートを記憶するためのテンプレート記憶手段と、
前記第1の検知手段の出力を、前記テンプレート記憶手段に記憶された前記複数のテンプレートとのパターンマッチングにより、操作者が前記筐体を左手で保持し左手で操作しているか、右手で保持し右手で操作しているか、又は一方の手で保持し他方の手で操作しているか、を判定するための判定手段と、
前記判定手段の判定結果によって、左手用、右手用、及び両手用の入力画面を切替えて入力を受けるように前記入力手段を制御するための手段とを含む、請求項2に記載の情報処理装置。
【請求項5】
前記左手用入力画面は、複数行及び複数列のマトリクス状に配列された複数のGUI部品を有し、
前記マトリクスは、いずれの列も、その列より右側の列と比較して上方に配置されているように構成される、請求項3又は請求項4に記載の情報処理装置。
【請求項6】
前記左手用入力画面は、複数行及び複数列のマトリクス状に配列された複数のGUI部品を有し、
前記複数のGUI部品は、前記複数のGUI部品の中央よりも左側に想定されるある点からの距離が大きくなるほど、面積が大きくなるように構成されている、請求項3〜請求項5のいずれかに記載の情報処理装置。
【請求項7】
前記左手用入力画面と、前記右手用入力画面とは、実質的に互いに左右対称の入力用のGUI部品の配置を有している、請求項3〜請求項6のいずれかに記載の情報処理装置。
【請求項8】
前記両手用の入力画面は、左右対称なGUI部品の配置を有している、請求項3〜請求項7のいずれかに記載の情報処理装置。
【請求項9】
前記第1の検知手段は、前記第1及び第2の側面に設けられたシート状の感圧センサ、又は前記第1及び第2の側面の各々の複数個の箇所に設けられた温度センサ若しくは光センサを含む、請求項1〜請求項8のいずれかに記載の情報処理装置。
【請求項10】
前記画面切替手段はさらに、
前記判定手段の判定結果に基づいて、文字入力が必要なアプリケーションのウィンドウが、利用者の手の位置とは逆の方向から前記入力画面に隣接する位置に配置されるように、前記表示面上におけるアプリケーションを表示するウィンドウの配置を変更するための手段を含む、請求項3に記載の情報処理装置。
【請求項11】
前記変更するための手段は、前記判定手段の判定結果に基づいて、文字入力が必要なアプリケーションのウィンドウが、利用者の手の位置とは逆の方向から前記入力画面に隣接する位置に配置され、かつそれ以外のアプリケーションのウィンドウが表示されないように、前記表示面上におけるアプリケーションを表示するウィンドウの配置を変更するための手段を含む、請求項10に記載の情報処理装置。
【請求項12】
前記筐体の、前記第1及び第2の側面と異なる第3及び第4の側面に設けられ、当該第3及び第4の側面と人の手との接触領域の分布を検知するための第2の検知手段をさらに含み、
前記表示制御手段は、前記第1及び第2の検知手段の出力に基づいて、画像が互いに90度異なる向きで前記表示面上に表示される第1及び第2の表示態様の間で前記表示装置による表示を切替えるための表示切替手段を含む、請求項1〜請求項11のいずれかに記載の情報処理装置。
【請求項13】
前記表示切替手段は、前記第1及び第2の表示態様の間で前記表示装置による表示を切替える際に、前記表示面上に表示するアプリケーションのウィンドウ数を表示態様によって変更するように構成されている、請求項12に記載の情報処理装置。
【請求項14】
前記表示切替手段は、前記第1及び第2の表示態様の間で前記表示装置による表示を切替える際に、前記表示面上に表示するアプリケーションのウィンドウの相対的な位置を、それらアプリケーションの種類によって変更するように構成されている、請求項12又は請求項13に記載の情報処理装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2008−27183(P2008−27183A)
【公開日】平成20年2月7日(2008.2.7)
【国際特許分類】
【出願番号】特願2006−198904(P2006−198904)
【出願日】平成18年7月21日(2006.7.21)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】