携帯情報端末
【課題】 光学式タッチパネルを用いて、タッチパネルを操作する指又はタッチペンを判別し、適切な画面配置やスクロールの設定変更等を行うことができる携帯情報端末を提供することを目的とする。
【解決手段】 光学式タッチパネルの撮像画像からタッチパネルに接触させる操作子がタッチペン又は指のいずれであるのかを判別する。また、指の場合であれば、親指又はそれ以外の指のいずれであるのかを判別する。この判別結果に基づいて、表示画面２２上に配置されるボタン等のサイズを変更する。また、操作子の傾き方向を判別し、操作する手の左右に応じて、表示画面２２内におけるボタン等の配置を変更する。
【解決手段】 光学式タッチパネルの撮像画像からタッチパネルに接触させる操作子がタッチペン又は指のいずれであるのかを判別する。また、指の場合であれば、親指又はそれ以外の指のいずれであるのかを判別する。この判別結果に基づいて、表示画面２２上に配置されるボタン等のサイズを変更する。また、操作子の傾き方向を判別し、操作する手の左右に応じて、表示画面２２内におけるボタン等の配置を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯情報端末に係り、更に詳しくは、光学式タッチパネルを備えた携帯情報端末に関する。
【背景技術】
【０００２】
タッチパネルを備えた携帯電話機は広く知られている（例えば、特許文献１）。タッチパネルは、表示画面上に任意の画像を表示することができ、また、指やタッチペン等の操作子が接触する表示画面上の位置を検出することができる。このため、表示画面上にボタンを表示し、当該ボタンの表示領域に対する操作子の接触を検出すれば、表示画面上に仮想的な操作ボタンを形成することができる。
【０００３】
また、タッチパッド上におけるボタンのレイアウトをユーザが簡単に変更することができる携帯電話機が提案されている（例えば、特許文献２）。特許文献２に記載された携帯電話機は、タッチパネル上に線図を描くユーザ操作に基づいて表示画面上に表示する複数のボタンの大きさや表示位置を決定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１０３７９号公報
【特許文献２】特開２００７−２７４１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、タッチパネルの操作子は、指及びタッチペンのいずれであってもよいが、操作子の種類によって、タッチパネルに対する接触面積は大きく異なる。また、指で操作する場合であれば、指の種類によっても、タッチパネルに対する接触面積が異なる。このため、タッチパネル上には、操作子の接触面積に応じたサイズのボタンを配置することが望ましい。例えば、接触面積の小さい操作子で操作する場合には、小さなボタンを用いて、表示画面上に多数のボタンを配置することが望ましい。一方、接触面積の大きな操作子で操作する場合には、操作しやすい大きなボタンを配置することが望ましい。
【０００６】
また、携帯電話機は表示画面が小さく、操作する手で表示画面が隠れてしまう場合が少なくない。このため、右手で操作する場合には、ボタンをより右側に配置し、文字をより左側に配置することが望ましく、左手で操作する場合には、これらの配置を逆にすることが望ましい。スクロールバーのサイズ及び配置についてもボタンの場合と同様である。
【０００７】
さらに、操作子をタッチパネル上に接触させた状態で移動させるドラッグ操作を行う場合、操作子を移動させることが可能な距離は、操作子とタッチパネルとの接触領域が大きくなれば短くなり、距離の長いドラッグ操作を行うことが難しくなる。
【０００８】
従って、操作子の接触面積に応じて、タッチパネルの表示画面上に表示されるボタン、スクロールバー、文字などの表示オブジェクトのサイズや配置を変更することができれば、操作性を向上させることができると考えられる。しかしながら、ユーザが設定変更のための操作を行うことによって、表示オブジェクトのサイズや配置を変更するのは煩雑であるという問題があった。
【０００９】
上述した通り、特許文献２の携帯電話機は、簡単な操作によってボタンの大きさや表示位置をユーザが決定するこができる。しかしながら、表示オブジェクトが操作子に応じた適切なサイズや配置となるように変更するものではない。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、操作子の種類に応じた表示オブジェクトをタッチパネル上に表示する携帯情報端末を提供することを目的とする。また、ドラッグ操作時に操作子の種類に応じた画面スクロールが行われる携帯情報端末を提供することを目的とする。さらに、操作子に応じて誤操作を防止することができる携帯情報端末を提供することを目的とする。
【課題を解決するための手段】
【００１１】
第１の本発明による携帯情報端末は、表示画面上に多数の光センサが２次元配置され、外側に向って撮影した撮影画像を生成する光学式タッチパネルと、上記撮影画像に基づいて、上記光学式タッチパネルを操作する操作子の種別を判別する操作子判別手段と、２以上の表示パターンを保持する表示パターン記憶手段と、上記操作子の種別に基づいて、上記表示パターンを選択する表示パターン選択手段と、選択された上記表示パターンに基づいて、上記表示画面を制御する表示制御手段とを備えて構成される。
【００１２】
このような構成により、光学式タッチパネルを操作する操作子の種別に応じた表示パターンを選択し、当該表示パターンに基づいて光学式タッチパネルの表示を行うことができる。このため、ユーザが煩雑な設定作業を行うことなく、操作子の種類に応じた良好な操作性を確保することができる。例えばタッチペンのように接触面積が小さい操作子が用いられる場合には、小さな操作オブジェクトを選択し、表示画面内の情報量を増大させることができる。一方、指のように接触面積が大きい操作子が用いられる場合には、指でも操作しやすい大きな操作オブジェクトを配置することができる。また、指で操作する場合であっても、親指で操作する場合と、それ以外の指で操作する場合とで、大きさの異なる操作オブジェクトを配置することができる。
【００１３】
第２の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記光学式タッチパネルに対する上記操作子の傾き方向を判別する傾き方向判別手段を備え、上記表示パターン記憶手段が、右手操作用及び左手操作用の表示パターンを保持し、上記表示パターン選択手段が、上記傾き方向に基づいて、上記表示パターンを選択するように構成される。
【００１４】
この様な構成により、操作子の傾き方向を判別し、ユーザが右手又は左手のいずれで操作しているのかを判別し、この判別結果にもとづいて、左手操作用又は右手操作用の表示パターンを選択することができる。このため、操作する手に応じた表示オブジェクトが選択され、左右のどちらの手で操作を行う場合であっても良好な操作性を得ることができる。
【００１５】
第３の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記表示パターンに含まれる操作オブジェクトの配置位置及び上記操作子の操作位置に基づいて、オブジェクト選択信号を生成するオブジェクト操作判別手段とを備え、上記表示パターン選択手段が、上記操作子の種別に応じた上記操作オブジェクトを含む表示パターンを選択するように構成される。
【００１６】
この様な構成により、操作子の種別に応じた操作オブジェクトを含む表示パターンを選択することができる。このため、例えば、小さな操作オブジェクトでも容易に操作することができる操作子の場合には、小さな操作オブジェクトを含む表示パターンを選択し、表示画面内に表示できる情報量を増大させることができる。一方、小さな操作オブジェクトでは誤操作が生じやすい操作子の場合には、大きな操作オブジェクトを含む表示パターンを選択し、誤操作の発生を防止することができる。
【００１７】
第４の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記操作位置に基づいて、上記操作子によるドラッグ操作を判別するドラッグ操作判別手段と、上記ドラッグ操作の判別結果に基づいて、上記表示画面上における表示パターンのスクロールを制御するスクロール制御手段とを備え、上記スクロール制御手段は、上記操作子の種別に基づいて、スクロール量を決定するように構成される。
【００１８】
このような構成によれば、操作子の種別に応じてスクロール量を決定することができるので、異なる操作子のいずれでドラッグ操作を行った場合であっても、良好なスクロール制御を行うことができ、操作性を向上させることができる。例えば、ドラッグ移動量に対するスクロール量の比率を操作子の種別によって異ならせることにより、操作子によるドラッグ操作の差を補償し、いずれの操作子を用いる場合であっても、良好な操作性を得ることができる。
【００１９】
第５の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段と、上記ピンチ操作の判別結果に基づいて、上記表示画面上における表示パターンの表示倍率を制御する表示倍率制御手段とを備え、上記表示倍率制御手段が、上記操作子の種別に基づいて、表示倍率を決定するように構成される。
【００２０】
このような構成によれば、操作子の種別に応じて表示倍率を決定することができるので、異なる操作子のいずれでピンチ操作を行った場合であっても、良好な表示倍率制御を行うことができ、操作性を向上させることができる。例えば、ピンチ操作量に対する表示倍率量の比率を操作子の種別によって異ならせることにより、操作子によるピンチ操作の差を補償し、いずれの操作子を用いる場合であっても、良好な操作性を得ることができる。
【００２１】
第６の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段を備え、上記ピンチ操作判別手段が、上記操作子の種別に基づいて、ピンチ操作を無効化するように構成される。
【００２２】
このような構成によれば、操作子の種別に応じてピンチ操作を無効化することができるので、通常、ピンチ操作が行われない操作子の場合に、誤操作又は誤検出によってピンチ操作に対応する処理が行われるのを防止することができる。
【００２３】
第７の本発明による携帯情報端末は、上記構成に加えて、上記操作子判別手段が、上記操作子がタッチペン及び指のいずれであるのかを判別するように構成される。
【００２４】
第８の本発明による携帯情報端末は、上記構成に加えて、上記操作子判別手段が、上記操作子が指である場合に、親指及びそれ以外の指のいずれであるのかを判別するように構成される。
【発明の効果】
【００２５】
本発明によれば、操作子の種類に応じた表示オブジェクトをタッチパネル上に表示する携帯情報端末を提供することができる。また、ドラッグ操作時に操作子の種類に応じた画面スクロールが行われる携帯情報端末を提供することができる。さらに、操作子に応じて誤操作を防止することができる携帯情報端末を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態による携帯情報端末の一例を示した外観図である。
【図２】図１の光学式タッチパネル２の一構成例を示した図である。
【図３】図１の携帯電話機１の内部構成の一例を示したブロック部である。
【図４】図３の操作処理部４及び表示画像生成部５の詳細構成の一例を示したブロック図である。
【図５】操作処理部４における動作の一例を示したフローチャートである。
【図６】図１の光学式タッチパネル２による画面表示の一例を示した図である。
【発明を実施するための形態】
【００２７】
図１は、本発明の実施の形態による携帯情報端末の一例を示した外観図であり、携帯情報端末の一例として、光学式タッチパネルを備えた携帯電話機１が示されている。この携帯電話機１は、筐体１０、受信用レシーバ１１、光学式タッチパネル２、操作キー１３及び送信用マイクロホン１４により構成される。
【００２８】
受信用レシーバ１１は、通話時に受話音を出力する音声出力手段である。光学式タッチパネル２は、画像を表示する表示画面を有するとともに、当該表示画面に対するユーザの操作入力を検出する表示装置である。例えば、表示画面上にメニュー表示を行うとともに、ユーザによる表示画面上の操作位置を検出し、ユーザが選択したメニュー選択肢を判別することができる。操作キー１３は、接点式の操作入力手段であり、ユーザによる押圧操作を検出することができる。例えば、操作キー１３を押圧操作することによって、光学式タッチパネル２の表示画面にメニューを表示させることができる。送信用マイクロホン１４は、通話時に送話音が入力される音声入力手段である。
【００２９】
ユーザは、光学式タッチパネル２を用いて、様々な種類の操作入力を行うことができる。ここでは、操作子で表示画面を１回軽く叩く「シングルタップ」、所定範囲の時間間隔で２回軽く叩く「ダブルタップ」、操作子を表示画面に接触させたままで移動させる「ドラッグ」、操作子を表示画面上で軽く払う、つまり、操作子を素早く移動させながら表示画面から離す「フリック」、２つの操作子をともに接触させたままで両者の距離を変化させる「ピンチ」の各操作を行うことができるものとする。
【００３０】
例えば、ユーザが、表示画面内のアイコン上においてタップ操作を行えば、当該アイコンを選択し、あるいは、当該アイコンに関連づけられた機能を実行することができる。また、ドラッグ操作を行えば、画面表示をスクロールさせることができ、ピンチ操作を行えば、画面表示を拡大又は縮小することができる。
【００３１】
この光学式タッチパネル２は、ユーザが操作入力を行った表示画面上の操作位置だけでなく、操作入力に用いられた操作子の種別も判別することができる。つまり、ユーザがタッチペン又は指のいずれを用いて操作したのかを判別することができ、指で操作した場合であれば、親指又はその他の指のいずれが用いられたのかも判別することができる。また、光学式タッチパネル２は、操作子が表示画面に対して傾いている方向を判別することができる。このため、ユーザが右手又は左手のいずれで操作しているのかを判別することもできる。
【００３２】
携帯電話機１では、このような光学式タッチパネル２を用いることにより、操作子の種別や傾き方向に基づいて、表示画面に表示させる表示パターンを異ならせている。このため、操作子に応じた表示パターンを表示することができ、また、右手操作又は左手操作に応じた表示パターンを表示することができる。
【００３３】
また、この携帯電話機１では、操作子の種別や傾き方向に基づいて、操作入力時の動作を異ならせている。このため、操作子の種類や、操作している手に応じて良好な操作性を実現することができる。また、タッチペン使用時におけるピンチ操作のように、通常はあり得ない操作入力を禁止することにより、誤操作を防止することもできる。
【００３４】
図２は、図１の光学式タッチパネル２の一構成例を示した図である。この光学式タッチパネル２は、液晶パネル内に多数の光センサを形成することによって、表示装置及びタッチパネルが不可分の一体的な装置として構成されている。これらの光センサを用いて、表示画面から外側に向けて、表示画面の近傍を撮影し、撮影画像を生成することができる。
【００３５】
図２（ａ）は、光学式タッチパネル２の外観を示した斜視図である。この光学式タッチパネル２は、液晶パネル２０、バックライト２１、液晶駆動回路２３及び光センサ制御回路２４によって構成される。液晶パネル２０内には、液晶駆動回路２３によって駆動される多数の表示画素２５と、光センサ制御回路２４によって制御される多数の光センサ２６が設けられている。また、液晶駆動回路２３及び光センサ制御回路２４は、表示画面２２を囲む液晶パネル２０の額縁部にそれぞれ配置されている。
【００３６】
図２（ｂ）は、表示画面２２を形成する表示画素２５の一例を示した拡大図である。表示画面１２内には、多数の表示画素２５がマトリクス状に２次元配置されている。各表示画素２５は、赤色サブ画素２５ｒ、緑色サブ画素２５ｇ及び青色サブ画素２５ｂからなり、表示画素２５ごとに光センサ２６が配置されている。つまり、表示画素２５と同じ数の光センサ２６がマトリクス状に２次元配置されている。なお、両者の数が同じである必要はない。
【００３７】
図２（ｃ）は、表示画面２２上における液晶パネル２０及びバックライト２１の断面が示されている。液晶パネル２０は、２枚のガラス板２８の隙間に液晶が封入され、一方のガラス板２８の内面に表示画素２５及び光センサ２６が形成され、他方のガラス板２８の内面に共通電極２７が形成されている。
【００３８】
バックライト１０１は、液晶パネル２０の背面側に配置された光源であり、バックライト２１の光が表示画素２５を透過することによって表示画面２２上に画像が表示される。ユーザが表示画面２２に操作子を近づけた場合、表示画面２２からの出射光が操作子によって反射され、この反射光が光センサ２６に入射される。従って、各光センサ２６において入射光量を検出すれば、表示画面２２から外側に向って撮影した撮影画像が得られる。
【００３９】
この撮影画像には、光学式タッチパネル２との接触部分の画像だけでなく、光学式タッチパネル２の近傍に位置する非接触部分の画像も含まれている。また、接触部分と非接触部分は、画像の明るさなどによって判別することができる。このため、操作子の種別を判別することができるだけでなく、光学式タッチパネル２に対し、操作子がどの方向に傾いているのかを判別することもできる。
【００４０】
図３は、図１の携帯電話機１の内部構成の一例を示したブロック部である。この携帯電話機１は、光学式タッチパネル２、操作解析部３、操作処理部４、表示画像生成部５、機能実行部６及び表示制御部７により構成される。
【００４１】
操作解析部３は、操作位置判別部３１、操作子判別部３２及び傾き方向判別部３３からなり、光センサ制御回路２４から出力される撮影画像に基づいて、光学式タッチパネル２に対するユーザ操作を解析している。
【００４２】
操作位置判別部３１は、撮影画像に基づいて、表示画面２２内における操作位置を判別している。操作位置とは、表示画面上における操作子の先端の位置である。例えば、撮影画像から操作子の接触領域を抽出し、この接触領域の中心の表示画面２２内における座標位置として求めることができる。
【００４３】
操作子判別部３２は、撮影画像に基づいて、操作子の種別を判別している。ここでは、タッチペン又は指のいずれで操作しているのかを判別し、指で操作している場合には、さらに親指又はそれ以外の指のいずれで操作しているのかを判別している。このような操作子の種別は、操作子の先端の形状や大きさによって判別することができる。例えば、接触領域の面積を２つの閾値と比較することによって、タッチペン、親指又はその他の指のいずれであるのかを判別することができる。
【００４４】
傾き方向判別部３３は、撮影画像に基づいて、光学式タッチパネルに対する操作子の傾き方向を判別している。操作子の傾きは、撮影画像内における操作子の接触部及び非接触部の位置関係によって判別することができる。接触部の右側に非接触部があれば、操作子は右へ傾いていると判断することができ、ユーザが右手で操作していることがわかる。一方、接触部の左側に非接触部があれば、操作子が左へ傾いていると判断することができ、ユーザが左手で操作していることがわかる。ここでは、左右方向の傾きを判別することによって、ユーザが右手又は左手のいずれで操作しているのかを判別している。なお、傾き判別は、操作子がタッチペン及び指のいずれの場合であっても行うことができる。
【００４５】
操作処理部４は、操作子の操作位置及び種別に基づいて、タッチパネル操作の有無及び種別を判別し、当該タッチパネル操作に基づく処理を決定し、表示画像生成部５及び機能実行部６に対し、当該処理を指示する。例えば、表示画面２２上の操作ボタンに対し、シングルタップ操作が行われた場合には、機能実行部６に当該操作ボタンに対応する機能の実行を指示する。一方、表示画面２２内においてドラッグ操作又はピンチ操作が行われた場合には、表示画像生成部５に対し、スクロール又は表示倍率変更を指示する。
【００４６】
表示画像生成部５は、操作解析部３及び操作処理部４の出力に基づいて、表示画面２２に表示するための表示画像を生成している。表示制御部７は、表示画像生成部５からの表示画像に基づいて、光学式タッチパネル２内の液晶駆動回路２３を制御する。
【００４７】
図４は、図３の操作処理部４及び表示画像生成部５の詳細構成の一例を示したブロック図である。操作処理部４は、操作判別部４１、有効性判別部４２、処理決定部４３、判定パラメータ記憶部４１ｓ、許容操作記憶部４２ｓ及び制御パラメータ記憶部４３ｓからなる。
【００４８】
操作判別部４１は、操作子の操作位置に基づいて、シングルタップ操作、ドラッグ操作、ピンチ操作などのタッチパネル操作の種別を判別する。この操作種別の判別処理は、操作子の種別に基づいて、判定パラメータ記憶部４１ｓから読み出された判別パラメータを用いて行われる。
【００４９】
判定パラメータ記憶部４１ｓは、操作子の種別ごとに、当該操作子による操作種別の判定に用いられる判定パラメータを保持している。例えば、シングルタップ操作の判定パラメータとして、表示画面２２に触れている時間や、ダブルタップ操作の判定パラメータとして、1回目のタップ操作から２回目のタップ操作までの時間や、フリック操作の判定パラメータとして、操作子が移動するスピードや、ドラッグ操作の判定パラメータとして、操作子の移動量などが保持されている。このような判定パラメータを操作子の種別ごとに保持しておくことによって、操作子の種別に応じた操作種別の判定を行うことができる。
【００５０】
有効性判別部４２は、操作子の種別に基づいて、操作判別部４１によって判別された操作種別が有効であるか否かを判別する。この有効性の判別処理は、操作子の種別に基づいて、許容操作記憶部４２ｓから読み出された許容操作を用いて行われる。つまり、操作判別部４１により判別されたタッチパネル操作が、読み出された許容操作に含まれていない場合には、当該タッチパネル操作は無効な操作であると判断される。
【００５１】
許容操作記憶部４２ｓには、操作子の種別ごとに、当該操作子によって操作入力することができるタッチパネル操作を許容操作として保持している。ここでは、タッチペン、親指及び親指以外の指の３つの操作子に対し、シングルタップ操作、ダブルタップ操作、ドラッグ操作、ピンチ操作などのタッチパネル操作が許容操作として対応づけられている。ただし、２点を接触させて行われるピンチ操作がタッチペンで行われることはないため、タッチペンの許容操作には、ピンチ操作は含まれていない。このような許容操作を操作子の種別ごとに保持しておくことによって、有り得ない操作入力や、禁止されている操作入力が誤検出されるのを防止することができる。
【００５２】
処理決定部４３は、有効なタッチパネル操作に基づいて行われる処理内容を決定し、機能実行部６又は表示画像生成部５へ制御信号を出力する。この処理内容の決定処理は、表示画面上に表示されている操作オブジェクトの配置情報及び操作子の操作位置に基づいて行われる。操作オブジェクトとは、表示画面上に表示されている様々なオブジェクトのうち、操作ボタンやスクロールバーのハンドルのようにユーザ操作の対象となるオブジェクトである。例えば、操作ボタン上において、当該操作ボタンを選択するためのシングルタップ操作又はダブルタップ操作が行われた場合、当該操作ボタンに予め対応づけられた処理内容を実行することが決定される。
【００５３】
また、処理内容の決定処理は、操作子の種別に基づいて、制御パラメータ記憶部４３ｓから読み出された制御パラメータを用いて行われ、同じタッチパネル操作が行われた場合であっても、操作子の種別が異なっていれば処理内容も異なる。
【００５４】
制御パラメータ記憶部４３ｓは、操作子の種別ごとに、当該操作子による操作入力に基づいて行われる表示制御に用いられる制御パラメータが保持されている。例えば、スクロールの制御パラメータとして、ドラッグ移動量に対するスクロール移動量の比率や、表示倍率変更の制御パラメータとして、ピンチ移動量に対する拡大又は縮小する比率などが保持されている。
【００５５】
このような制御パラメータを操作子の種別ごとに保持しておくことによって、操作子の種別に応じた表示制御を行うことができる。例えば、親指は他の指よりも短く、可動範囲が狭いため、表示画面上における移動距離もより短くなってしまう。このため、親指でドラッグ操作が行われた場合、親指以外の指でドラッグ操作が行われた場合に比べて、ドラッグ移動量に対するスクロール移動量の比率を示す制御パラメータをより大きな値にしておくことにより、親指でドラッグ操作した場合であっても、他の指と同様、移動量の大きなスクロールを行うことができる。逆に、タッチペンでドラッグ操作を行う場合であれば、可動範囲が広いため、移動量の大きなドラッグ操作を行うことは容易である。このため、タッチペンによるドラッグ操作の場合、ドラッグ移動量に対するスクロール移動量の比率を示す制御パラメータを小さくすることによって、短い移動量のスクロールも行うことができる。
【００５６】
図５のステップＳ１０１〜Ｓ１０９は、操作処理部４における動作の一例を示したフローチャートである。この操作判別処理は、光学式タッチパネル２に対し操作入力が行われた場合に実行される。
【００５７】
まず、操作判別部４１が、操作子判別部３２において判別された操作子の種別を取得し(ステップＳ１０１)、この操作子の種別に対応づけられた判定パラメータが判定パラメータ記憶部４１ｓから読み出される（ステップＳ１０２）。次に、操作位置判別部３１において判別された表示画面２２上の操作位置を取得し（ステップＳ１０３）、先に読み出された判定パラメータを用いて、当該操作位置からタッチパネル操作の種別が判別される（ステップＳ１０４）。つまり、操作種別の判定が操作子の種別に応じて行われる。
【００５８】
次に、有効性判別部４２によって、操作子の種別に対応づけられた許容操作が許容操作記憶部４２ｓから読み出される（ステップＳ１０５）。有効性判別部４２は、操作判別部４１によって先に判定された操作種別を読み出された許容操作と比較することにより、その有効性を判定する（ステップＳ１０６）。つまり、当該タッチパネル操作が、その操作子による操作として許容されているか否かを判定する。当該タッチパネル操作が許容操作でない無効な操作であった場合には、処理内容を決定することなく処理を終了する（ステップＳ１０７）。
【００５９】
一方、上記タッチパネル操作が許容操作であれば、処理決定部４３によって、必要な制御パラメータが許容操作記憶部４２ｓから読み出される（ステップＳ１０８）。制御パラメータは、操作子の種別及び操作種別に応じたものが読み出される。処理決定部４３は、読み出された制御パラメータに基づいて、処理内容を決定し、当該処理を行う機能実行部６又は表示制御部７に対し制御信号を出力する（ステップＳ１０９）。
【００６０】
表示画像生成部５は、表示パターン選択部５１、スクロール制御部５２及び表示倍率制御部５３及び表示パターン記憶部５１ｓからなる。
【００６１】
表示パターン選択部５１は、操作子の種別及び傾き方向に基づいて、表示パターン記憶部５１ｓ内の表示パターンのいずれかを選択する。表示パターン選択部５１による表示パターンの選択は、表示画面２２への操作入力が行われた場合や、機能実行部６から表示更新信号が出力された場合に行われる。
【００６２】
表示パターン記憶部５１ｓ内には、操作子の種別及び傾き方向に対応づけられた２以上の表示パターンが保持されている。表示パターンは、表示画面２２用の表示画像を生成するための情報であり、表示画像上に配置される１又は２以上のオブジェクトと、これらのオブジェクトに関するパラメータからなる。例えば、リスト画面やサムネイル画面を規定する表示パターンの場合、テキストラベル、テキストボックス、チェックボックス、スクロールバー、リストボックス、操作ボタンなどのオブジェクトと、これらのオブジェクトの表示位置、サイズ（高さや幅）、フォントサイズ、タイトル、テキスト表示位置（右寄せ、左寄せ、中央揃え）などのパラメータとが含まれる。
【００６３】
表示パターン選択部５１では、操作子の種別に応じた表示パターンが選択される。特に、操作子の種別に応じたサイズの操作オブジェクトが配置されている表示パターンが選択されることが望ましい。例えば、操作子が親指であれば、大きなオブジェクトが配置された表示パターンが選択される。一方、操作子がタッチペンであれば、より小さなオブジェクトが配置された表示パターンが選択され、表示画面内には、より多くのオブジェクトを表示することができる。
【００６４】
また、表示パターン選択部５１では、操作子の傾き方向に応じた表示パターンが選択される。つまり、ユーザが右手で操作している場合には、右手用の表示パターンが選択され、左で操作している場合には、左手用の表示パターンが選択される。右手用の表示パターンは、タッチパネル操作が容易となり、また、操作している手で表示画面２２が隠れにくくなるように、左手用の表示パターンに比べて、オブジェクトがより右側に、文字が左寄せ形式で配置されている。これに対し、左手用の表示パターンは、右手用オブジェクトの場合に比べて、オブジェクトがより左側に、文字が右寄せ形式で配置されている。
【００６５】
スクロール制御部５２は、表示パターンから生成される表示画像のスクロール制御を行っている。このスクロール制御は、処理決定部４３からのスクロール制御信号に基づいて行われる。また、表示倍率制御部５３は、処理決定部４３からの表示倍率制御信号に基づいて、上記表示画像の表示画面内における表示倍率を制御している。
【００６６】
図６は、図１の光学式タッチパネル２による画面表示の一例を示した図であり、図中の（ａ）〜（ｃ）には、操作子の種別又は傾き方向が異なる場合のリスト画面６０ａ〜６０ｃが示されている。これらのリスト画面６０ａ〜６０ｃは、リストボックス６１、決定ボタン６４及びクリアボタン６５により構成され、例えば、アドレス帳に登録された連絡先を一覧表示するような場合に利用することができる。リストボックス６１内には、２以上の項目６３及びスクロールバー６２が配置されている。決定ボタン６４及びクリアボタン６５は、ユーザ操作の対象となるオブジェクトである。
【００６７】
図６（ａ）には、ユーザが右手の親指で操作している場合のリスト画面６０ａが示されている。一般に、右手の指で光学式タッチパネル２を操作している場合、表示画面２２内の操作位置よりも右側の領域は、右手の指や掌によって隠れやすい。また、右手で携帯電話機１を持ち、右手の親指で表示画面２２を操作する場合、指が表示画面２２の左側には届きにくい。このため、右手の親指で操作している場合には、図示したように、決定ボタン６４及び決定ボタン６４を右側に寄せて配置している。また、スクロールバー６３もリストボックス６１の右端に配置されている。一方、リストボックス６１内の各項目６３に表示されるテキストは左寄せで表示され、文字が右手の指や掌によって隠れにくいように配置されている。つまり、操作対象となるオブジェクトは、表示画面内において、操作入力に使用される手に近い方向に偏在させ、文字列は、上記方向とは反対側に偏在させている。このため、文字列が指や掌によって隠れにくく、親指であってもボタン操作が容易な表示パターンとなっている。
【００６８】
図６（ｂ）は、ユーザが左手の親指で操作している場合のリスト画面５０ｂが示されている。このリスト画面６０ｂでは、左手の親指が届きやすいように、決定ボタン６４、クリアボタン６５及びスクロールバー６２を左側に寄せて配置している。また、各項目６３に表示されるテキストは、右寄せで表示され、文字が右手の指や掌によって隠れにくくなるように配置されている。
【００６９】
図６（ｃ）は、タッチペンを右手で操作している場合のリスト画面６０ｃが示されている。一般に、指で光学式タッチパネル２を操作する場合、指の接触領域よりも小さな操作ボタン６４，６５を配置すると誤操作が生じやすいことから、上記接触領域よりも大きな操作ボタンを表示する必要があり、その結果、表示画面２２内に表示できる情報量は少なくなってしまう。これに対し、タッチペンは接触面積が十分に小さく、このような誤操作は生じにくい。このため、図示したように、小さな操作ボタン６４，６５を配置し、リストボックス６１を大きくすることによって、表示できる情報量を増大させることができる。
【００７０】
なお、本実施の形態では、光学式タッチパネル２への操作入力が行われるごとに、操作子の種別及び傾き方向を判別し、これらの判別結果に基づいて表示パターンに更新する場合の例について説明したが、本発明は、この様な場合には限定されない。例えば、バックライトの点灯後、最初に操作入力が行われた時に表示パターンを更新するようにしてもよい。つまり、電源投入後や、バックライトを消灯させる省電力モードからの復帰時に表示パターンを更新し、その後のバックライト点灯中は、表示パターンが自動的に更新されない構成であってもよい。また、一定の時間間隔で表示パターンを更新するように構成することもできる。
【００７１】
また、本実施の形態では、ドラッグ操作に基づくスクロール制御について、操作子の移動量に基づいてスクロール量が決定されるものとしたが、本発明はこれに限定されない。例えば、操作位置の移動速度に基づいて、スクロール量が決定されるように構成することもできる。この場合、制御パラメータ記憶部４３ｓには、操作位置の移動速度に対するスクロール量の比率を示す制御パラメータが保持されている必要がある。
【符号の説明】
【００７２】
１ 携帯電話機
２ 光学式タッチパネル
３ 操作解析部
４ 操作処理部
５ 表示画像生成部
６ 機能実行部
７ 表示制御部
１０ 筐体
１１ 受信用レシーバ
１２ 表示画面
１３ 操作キー
１４ 送信用マイクロホン
２０ 液晶パネル
２１ バックライト
２２ 表示画面
２３ 液晶駆動回路
２４ 光センサ制御回路
２５ 表示画素
２６ 光センサ
２７ 共通電極
２８ ガラス板
３１ 操作位置判別部
３２ 操作子判別部
３３ 傾き方向判別部
４１ 操作判別部
４１ｓ 判定パラメータ記憶部
４２ 有効性判別部
４２ｓ 許容操作記憶部
４３ 処理決定部
４３ｓ 制御パラメータ記憶部
５１ 表示パターン選択部
５１ｓ 表示パターン記憶部
５２ スクロール制御部
５３ 表示倍率制御部
６０ａ〜６０ｃ リスト画面
６１ リストボックス
６２ スクロールバー
６３ 項目
６４ 決定ボタン
６５ クリアボタン
【技術分野】
【０００１】
本発明は、携帯情報端末に係り、更に詳しくは、光学式タッチパネルを備えた携帯情報端末に関する。
【背景技術】
【０００２】
タッチパネルを備えた携帯電話機は広く知られている（例えば、特許文献１）。タッチパネルは、表示画面上に任意の画像を表示することができ、また、指やタッチペン等の操作子が接触する表示画面上の位置を検出することができる。このため、表示画面上にボタンを表示し、当該ボタンの表示領域に対する操作子の接触を検出すれば、表示画面上に仮想的な操作ボタンを形成することができる。
【０００３】
また、タッチパッド上におけるボタンのレイアウトをユーザが簡単に変更することができる携帯電話機が提案されている（例えば、特許文献２）。特許文献２に記載された携帯電話機は、タッチパネル上に線図を描くユーザ操作に基づいて表示画面上に表示する複数のボタンの大きさや表示位置を決定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１０３７９号公報
【特許文献２】特開２００７−２７４１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、タッチパネルの操作子は、指及びタッチペンのいずれであってもよいが、操作子の種類によって、タッチパネルに対する接触面積は大きく異なる。また、指で操作する場合であれば、指の種類によっても、タッチパネルに対する接触面積が異なる。このため、タッチパネル上には、操作子の接触面積に応じたサイズのボタンを配置することが望ましい。例えば、接触面積の小さい操作子で操作する場合には、小さなボタンを用いて、表示画面上に多数のボタンを配置することが望ましい。一方、接触面積の大きな操作子で操作する場合には、操作しやすい大きなボタンを配置することが望ましい。
【０００６】
また、携帯電話機は表示画面が小さく、操作する手で表示画面が隠れてしまう場合が少なくない。このため、右手で操作する場合には、ボタンをより右側に配置し、文字をより左側に配置することが望ましく、左手で操作する場合には、これらの配置を逆にすることが望ましい。スクロールバーのサイズ及び配置についてもボタンの場合と同様である。
【０００７】
さらに、操作子をタッチパネル上に接触させた状態で移動させるドラッグ操作を行う場合、操作子を移動させることが可能な距離は、操作子とタッチパネルとの接触領域が大きくなれば短くなり、距離の長いドラッグ操作を行うことが難しくなる。
【０００８】
従って、操作子の接触面積に応じて、タッチパネルの表示画面上に表示されるボタン、スクロールバー、文字などの表示オブジェクトのサイズや配置を変更することができれば、操作性を向上させることができると考えられる。しかしながら、ユーザが設定変更のための操作を行うことによって、表示オブジェクトのサイズや配置を変更するのは煩雑であるという問題があった。
【０００９】
上述した通り、特許文献２の携帯電話機は、簡単な操作によってボタンの大きさや表示位置をユーザが決定するこができる。しかしながら、表示オブジェクトが操作子に応じた適切なサイズや配置となるように変更するものではない。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、操作子の種類に応じた表示オブジェクトをタッチパネル上に表示する携帯情報端末を提供することを目的とする。また、ドラッグ操作時に操作子の種類に応じた画面スクロールが行われる携帯情報端末を提供することを目的とする。さらに、操作子に応じて誤操作を防止することができる携帯情報端末を提供することを目的とする。
【課題を解決するための手段】
【００１１】
第１の本発明による携帯情報端末は、表示画面上に多数の光センサが２次元配置され、外側に向って撮影した撮影画像を生成する光学式タッチパネルと、上記撮影画像に基づいて、上記光学式タッチパネルを操作する操作子の種別を判別する操作子判別手段と、２以上の表示パターンを保持する表示パターン記憶手段と、上記操作子の種別に基づいて、上記表示パターンを選択する表示パターン選択手段と、選択された上記表示パターンに基づいて、上記表示画面を制御する表示制御手段とを備えて構成される。
【００１２】
このような構成により、光学式タッチパネルを操作する操作子の種別に応じた表示パターンを選択し、当該表示パターンに基づいて光学式タッチパネルの表示を行うことができる。このため、ユーザが煩雑な設定作業を行うことなく、操作子の種類に応じた良好な操作性を確保することができる。例えばタッチペンのように接触面積が小さい操作子が用いられる場合には、小さな操作オブジェクトを選択し、表示画面内の情報量を増大させることができる。一方、指のように接触面積が大きい操作子が用いられる場合には、指でも操作しやすい大きな操作オブジェクトを配置することができる。また、指で操作する場合であっても、親指で操作する場合と、それ以外の指で操作する場合とで、大きさの異なる操作オブジェクトを配置することができる。
【００１３】
第２の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記光学式タッチパネルに対する上記操作子の傾き方向を判別する傾き方向判別手段を備え、上記表示パターン記憶手段が、右手操作用及び左手操作用の表示パターンを保持し、上記表示パターン選択手段が、上記傾き方向に基づいて、上記表示パターンを選択するように構成される。
【００１４】
この様な構成により、操作子の傾き方向を判別し、ユーザが右手又は左手のいずれで操作しているのかを判別し、この判別結果にもとづいて、左手操作用又は右手操作用の表示パターンを選択することができる。このため、操作する手に応じた表示オブジェクトが選択され、左右のどちらの手で操作を行う場合であっても良好な操作性を得ることができる。
【００１５】
第３の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記表示パターンに含まれる操作オブジェクトの配置位置及び上記操作子の操作位置に基づいて、オブジェクト選択信号を生成するオブジェクト操作判別手段とを備え、上記表示パターン選択手段が、上記操作子の種別に応じた上記操作オブジェクトを含む表示パターンを選択するように構成される。
【００１６】
この様な構成により、操作子の種別に応じた操作オブジェクトを含む表示パターンを選択することができる。このため、例えば、小さな操作オブジェクトでも容易に操作することができる操作子の場合には、小さな操作オブジェクトを含む表示パターンを選択し、表示画面内に表示できる情報量を増大させることができる。一方、小さな操作オブジェクトでは誤操作が生じやすい操作子の場合には、大きな操作オブジェクトを含む表示パターンを選択し、誤操作の発生を防止することができる。
【００１７】
第４の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記操作位置に基づいて、上記操作子によるドラッグ操作を判別するドラッグ操作判別手段と、上記ドラッグ操作の判別結果に基づいて、上記表示画面上における表示パターンのスクロールを制御するスクロール制御手段とを備え、上記スクロール制御手段は、上記操作子の種別に基づいて、スクロール量を決定するように構成される。
【００１８】
このような構成によれば、操作子の種別に応じてスクロール量を決定することができるので、異なる操作子のいずれでドラッグ操作を行った場合であっても、良好なスクロール制御を行うことができ、操作性を向上させることができる。例えば、ドラッグ移動量に対するスクロール量の比率を操作子の種別によって異ならせることにより、操作子によるドラッグ操作の差を補償し、いずれの操作子を用いる場合であっても、良好な操作性を得ることができる。
【００１９】
第５の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段と、上記ピンチ操作の判別結果に基づいて、上記表示画面上における表示パターンの表示倍率を制御する表示倍率制御手段とを備え、上記表示倍率制御手段が、上記操作子の種別に基づいて、表示倍率を決定するように構成される。
【００２０】
このような構成によれば、操作子の種別に応じて表示倍率を決定することができるので、異なる操作子のいずれでピンチ操作を行った場合であっても、良好な表示倍率制御を行うことができ、操作性を向上させることができる。例えば、ピンチ操作量に対する表示倍率量の比率を操作子の種別によって異ならせることにより、操作子によるピンチ操作の差を補償し、いずれの操作子を用いる場合であっても、良好な操作性を得ることができる。
【００２１】
第６の本発明による携帯情報端末は、上記構成に加えて、上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段を備え、上記ピンチ操作判別手段が、上記操作子の種別に基づいて、ピンチ操作を無効化するように構成される。
【００２２】
このような構成によれば、操作子の種別に応じてピンチ操作を無効化することができるので、通常、ピンチ操作が行われない操作子の場合に、誤操作又は誤検出によってピンチ操作に対応する処理が行われるのを防止することができる。
【００２３】
第７の本発明による携帯情報端末は、上記構成に加えて、上記操作子判別手段が、上記操作子がタッチペン及び指のいずれであるのかを判別するように構成される。
【００２４】
第８の本発明による携帯情報端末は、上記構成に加えて、上記操作子判別手段が、上記操作子が指である場合に、親指及びそれ以外の指のいずれであるのかを判別するように構成される。
【発明の効果】
【００２５】
本発明によれば、操作子の種類に応じた表示オブジェクトをタッチパネル上に表示する携帯情報端末を提供することができる。また、ドラッグ操作時に操作子の種類に応じた画面スクロールが行われる携帯情報端末を提供することができる。さらに、操作子に応じて誤操作を防止することができる携帯情報端末を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態による携帯情報端末の一例を示した外観図である。
【図２】図１の光学式タッチパネル２の一構成例を示した図である。
【図３】図１の携帯電話機１の内部構成の一例を示したブロック部である。
【図４】図３の操作処理部４及び表示画像生成部５の詳細構成の一例を示したブロック図である。
【図５】操作処理部４における動作の一例を示したフローチャートである。
【図６】図１の光学式タッチパネル２による画面表示の一例を示した図である。
【発明を実施するための形態】
【００２７】
図１は、本発明の実施の形態による携帯情報端末の一例を示した外観図であり、携帯情報端末の一例として、光学式タッチパネルを備えた携帯電話機１が示されている。この携帯電話機１は、筐体１０、受信用レシーバ１１、光学式タッチパネル２、操作キー１３及び送信用マイクロホン１４により構成される。
【００２８】
受信用レシーバ１１は、通話時に受話音を出力する音声出力手段である。光学式タッチパネル２は、画像を表示する表示画面を有するとともに、当該表示画面に対するユーザの操作入力を検出する表示装置である。例えば、表示画面上にメニュー表示を行うとともに、ユーザによる表示画面上の操作位置を検出し、ユーザが選択したメニュー選択肢を判別することができる。操作キー１３は、接点式の操作入力手段であり、ユーザによる押圧操作を検出することができる。例えば、操作キー１３を押圧操作することによって、光学式タッチパネル２の表示画面にメニューを表示させることができる。送信用マイクロホン１４は、通話時に送話音が入力される音声入力手段である。
【００２９】
ユーザは、光学式タッチパネル２を用いて、様々な種類の操作入力を行うことができる。ここでは、操作子で表示画面を１回軽く叩く「シングルタップ」、所定範囲の時間間隔で２回軽く叩く「ダブルタップ」、操作子を表示画面に接触させたままで移動させる「ドラッグ」、操作子を表示画面上で軽く払う、つまり、操作子を素早く移動させながら表示画面から離す「フリック」、２つの操作子をともに接触させたままで両者の距離を変化させる「ピンチ」の各操作を行うことができるものとする。
【００３０】
例えば、ユーザが、表示画面内のアイコン上においてタップ操作を行えば、当該アイコンを選択し、あるいは、当該アイコンに関連づけられた機能を実行することができる。また、ドラッグ操作を行えば、画面表示をスクロールさせることができ、ピンチ操作を行えば、画面表示を拡大又は縮小することができる。
【００３１】
この光学式タッチパネル２は、ユーザが操作入力を行った表示画面上の操作位置だけでなく、操作入力に用いられた操作子の種別も判別することができる。つまり、ユーザがタッチペン又は指のいずれを用いて操作したのかを判別することができ、指で操作した場合であれば、親指又はその他の指のいずれが用いられたのかも判別することができる。また、光学式タッチパネル２は、操作子が表示画面に対して傾いている方向を判別することができる。このため、ユーザが右手又は左手のいずれで操作しているのかを判別することもできる。
【００３２】
携帯電話機１では、このような光学式タッチパネル２を用いることにより、操作子の種別や傾き方向に基づいて、表示画面に表示させる表示パターンを異ならせている。このため、操作子に応じた表示パターンを表示することができ、また、右手操作又は左手操作に応じた表示パターンを表示することができる。
【００３３】
また、この携帯電話機１では、操作子の種別や傾き方向に基づいて、操作入力時の動作を異ならせている。このため、操作子の種類や、操作している手に応じて良好な操作性を実現することができる。また、タッチペン使用時におけるピンチ操作のように、通常はあり得ない操作入力を禁止することにより、誤操作を防止することもできる。
【００３４】
図２は、図１の光学式タッチパネル２の一構成例を示した図である。この光学式タッチパネル２は、液晶パネル内に多数の光センサを形成することによって、表示装置及びタッチパネルが不可分の一体的な装置として構成されている。これらの光センサを用いて、表示画面から外側に向けて、表示画面の近傍を撮影し、撮影画像を生成することができる。
【００３５】
図２（ａ）は、光学式タッチパネル２の外観を示した斜視図である。この光学式タッチパネル２は、液晶パネル２０、バックライト２１、液晶駆動回路２３及び光センサ制御回路２４によって構成される。液晶パネル２０内には、液晶駆動回路２３によって駆動される多数の表示画素２５と、光センサ制御回路２４によって制御される多数の光センサ２６が設けられている。また、液晶駆動回路２３及び光センサ制御回路２４は、表示画面２２を囲む液晶パネル２０の額縁部にそれぞれ配置されている。
【００３６】
図２（ｂ）は、表示画面２２を形成する表示画素２５の一例を示した拡大図である。表示画面１２内には、多数の表示画素２５がマトリクス状に２次元配置されている。各表示画素２５は、赤色サブ画素２５ｒ、緑色サブ画素２５ｇ及び青色サブ画素２５ｂからなり、表示画素２５ごとに光センサ２６が配置されている。つまり、表示画素２５と同じ数の光センサ２６がマトリクス状に２次元配置されている。なお、両者の数が同じである必要はない。
【００３７】
図２（ｃ）は、表示画面２２上における液晶パネル２０及びバックライト２１の断面が示されている。液晶パネル２０は、２枚のガラス板２８の隙間に液晶が封入され、一方のガラス板２８の内面に表示画素２５及び光センサ２６が形成され、他方のガラス板２８の内面に共通電極２７が形成されている。
【００３８】
バックライト１０１は、液晶パネル２０の背面側に配置された光源であり、バックライト２１の光が表示画素２５を透過することによって表示画面２２上に画像が表示される。ユーザが表示画面２２に操作子を近づけた場合、表示画面２２からの出射光が操作子によって反射され、この反射光が光センサ２６に入射される。従って、各光センサ２６において入射光量を検出すれば、表示画面２２から外側に向って撮影した撮影画像が得られる。
【００３９】
この撮影画像には、光学式タッチパネル２との接触部分の画像だけでなく、光学式タッチパネル２の近傍に位置する非接触部分の画像も含まれている。また、接触部分と非接触部分は、画像の明るさなどによって判別することができる。このため、操作子の種別を判別することができるだけでなく、光学式タッチパネル２に対し、操作子がどの方向に傾いているのかを判別することもできる。
【００４０】
図３は、図１の携帯電話機１の内部構成の一例を示したブロック部である。この携帯電話機１は、光学式タッチパネル２、操作解析部３、操作処理部４、表示画像生成部５、機能実行部６及び表示制御部７により構成される。
【００４１】
操作解析部３は、操作位置判別部３１、操作子判別部３２及び傾き方向判別部３３からなり、光センサ制御回路２４から出力される撮影画像に基づいて、光学式タッチパネル２に対するユーザ操作を解析している。
【００４２】
操作位置判別部３１は、撮影画像に基づいて、表示画面２２内における操作位置を判別している。操作位置とは、表示画面上における操作子の先端の位置である。例えば、撮影画像から操作子の接触領域を抽出し、この接触領域の中心の表示画面２２内における座標位置として求めることができる。
【００４３】
操作子判別部３２は、撮影画像に基づいて、操作子の種別を判別している。ここでは、タッチペン又は指のいずれで操作しているのかを判別し、指で操作している場合には、さらに親指又はそれ以外の指のいずれで操作しているのかを判別している。このような操作子の種別は、操作子の先端の形状や大きさによって判別することができる。例えば、接触領域の面積を２つの閾値と比較することによって、タッチペン、親指又はその他の指のいずれであるのかを判別することができる。
【００４４】
傾き方向判別部３３は、撮影画像に基づいて、光学式タッチパネルに対する操作子の傾き方向を判別している。操作子の傾きは、撮影画像内における操作子の接触部及び非接触部の位置関係によって判別することができる。接触部の右側に非接触部があれば、操作子は右へ傾いていると判断することができ、ユーザが右手で操作していることがわかる。一方、接触部の左側に非接触部があれば、操作子が左へ傾いていると判断することができ、ユーザが左手で操作していることがわかる。ここでは、左右方向の傾きを判別することによって、ユーザが右手又は左手のいずれで操作しているのかを判別している。なお、傾き判別は、操作子がタッチペン及び指のいずれの場合であっても行うことができる。
【００４５】
操作処理部４は、操作子の操作位置及び種別に基づいて、タッチパネル操作の有無及び種別を判別し、当該タッチパネル操作に基づく処理を決定し、表示画像生成部５及び機能実行部６に対し、当該処理を指示する。例えば、表示画面２２上の操作ボタンに対し、シングルタップ操作が行われた場合には、機能実行部６に当該操作ボタンに対応する機能の実行を指示する。一方、表示画面２２内においてドラッグ操作又はピンチ操作が行われた場合には、表示画像生成部５に対し、スクロール又は表示倍率変更を指示する。
【００４６】
表示画像生成部５は、操作解析部３及び操作処理部４の出力に基づいて、表示画面２２に表示するための表示画像を生成している。表示制御部７は、表示画像生成部５からの表示画像に基づいて、光学式タッチパネル２内の液晶駆動回路２３を制御する。
【００４７】
図４は、図３の操作処理部４及び表示画像生成部５の詳細構成の一例を示したブロック図である。操作処理部４は、操作判別部４１、有効性判別部４２、処理決定部４３、判定パラメータ記憶部４１ｓ、許容操作記憶部４２ｓ及び制御パラメータ記憶部４３ｓからなる。
【００４８】
操作判別部４１は、操作子の操作位置に基づいて、シングルタップ操作、ドラッグ操作、ピンチ操作などのタッチパネル操作の種別を判別する。この操作種別の判別処理は、操作子の種別に基づいて、判定パラメータ記憶部４１ｓから読み出された判別パラメータを用いて行われる。
【００４９】
判定パラメータ記憶部４１ｓは、操作子の種別ごとに、当該操作子による操作種別の判定に用いられる判定パラメータを保持している。例えば、シングルタップ操作の判定パラメータとして、表示画面２２に触れている時間や、ダブルタップ操作の判定パラメータとして、1回目のタップ操作から２回目のタップ操作までの時間や、フリック操作の判定パラメータとして、操作子が移動するスピードや、ドラッグ操作の判定パラメータとして、操作子の移動量などが保持されている。このような判定パラメータを操作子の種別ごとに保持しておくことによって、操作子の種別に応じた操作種別の判定を行うことができる。
【００５０】
有効性判別部４２は、操作子の種別に基づいて、操作判別部４１によって判別された操作種別が有効であるか否かを判別する。この有効性の判別処理は、操作子の種別に基づいて、許容操作記憶部４２ｓから読み出された許容操作を用いて行われる。つまり、操作判別部４１により判別されたタッチパネル操作が、読み出された許容操作に含まれていない場合には、当該タッチパネル操作は無効な操作であると判断される。
【００５１】
許容操作記憶部４２ｓには、操作子の種別ごとに、当該操作子によって操作入力することができるタッチパネル操作を許容操作として保持している。ここでは、タッチペン、親指及び親指以外の指の３つの操作子に対し、シングルタップ操作、ダブルタップ操作、ドラッグ操作、ピンチ操作などのタッチパネル操作が許容操作として対応づけられている。ただし、２点を接触させて行われるピンチ操作がタッチペンで行われることはないため、タッチペンの許容操作には、ピンチ操作は含まれていない。このような許容操作を操作子の種別ごとに保持しておくことによって、有り得ない操作入力や、禁止されている操作入力が誤検出されるのを防止することができる。
【００５２】
処理決定部４３は、有効なタッチパネル操作に基づいて行われる処理内容を決定し、機能実行部６又は表示画像生成部５へ制御信号を出力する。この処理内容の決定処理は、表示画面上に表示されている操作オブジェクトの配置情報及び操作子の操作位置に基づいて行われる。操作オブジェクトとは、表示画面上に表示されている様々なオブジェクトのうち、操作ボタンやスクロールバーのハンドルのようにユーザ操作の対象となるオブジェクトである。例えば、操作ボタン上において、当該操作ボタンを選択するためのシングルタップ操作又はダブルタップ操作が行われた場合、当該操作ボタンに予め対応づけられた処理内容を実行することが決定される。
【００５３】
また、処理内容の決定処理は、操作子の種別に基づいて、制御パラメータ記憶部４３ｓから読み出された制御パラメータを用いて行われ、同じタッチパネル操作が行われた場合であっても、操作子の種別が異なっていれば処理内容も異なる。
【００５４】
制御パラメータ記憶部４３ｓは、操作子の種別ごとに、当該操作子による操作入力に基づいて行われる表示制御に用いられる制御パラメータが保持されている。例えば、スクロールの制御パラメータとして、ドラッグ移動量に対するスクロール移動量の比率や、表示倍率変更の制御パラメータとして、ピンチ移動量に対する拡大又は縮小する比率などが保持されている。
【００５５】
このような制御パラメータを操作子の種別ごとに保持しておくことによって、操作子の種別に応じた表示制御を行うことができる。例えば、親指は他の指よりも短く、可動範囲が狭いため、表示画面上における移動距離もより短くなってしまう。このため、親指でドラッグ操作が行われた場合、親指以外の指でドラッグ操作が行われた場合に比べて、ドラッグ移動量に対するスクロール移動量の比率を示す制御パラメータをより大きな値にしておくことにより、親指でドラッグ操作した場合であっても、他の指と同様、移動量の大きなスクロールを行うことができる。逆に、タッチペンでドラッグ操作を行う場合であれば、可動範囲が広いため、移動量の大きなドラッグ操作を行うことは容易である。このため、タッチペンによるドラッグ操作の場合、ドラッグ移動量に対するスクロール移動量の比率を示す制御パラメータを小さくすることによって、短い移動量のスクロールも行うことができる。
【００５６】
図５のステップＳ１０１〜Ｓ１０９は、操作処理部４における動作の一例を示したフローチャートである。この操作判別処理は、光学式タッチパネル２に対し操作入力が行われた場合に実行される。
【００５７】
まず、操作判別部４１が、操作子判別部３２において判別された操作子の種別を取得し(ステップＳ１０１)、この操作子の種別に対応づけられた判定パラメータが判定パラメータ記憶部４１ｓから読み出される（ステップＳ１０２）。次に、操作位置判別部３１において判別された表示画面２２上の操作位置を取得し（ステップＳ１０３）、先に読み出された判定パラメータを用いて、当該操作位置からタッチパネル操作の種別が判別される（ステップＳ１０４）。つまり、操作種別の判定が操作子の種別に応じて行われる。
【００５８】
次に、有効性判別部４２によって、操作子の種別に対応づけられた許容操作が許容操作記憶部４２ｓから読み出される（ステップＳ１０５）。有効性判別部４２は、操作判別部４１によって先に判定された操作種別を読み出された許容操作と比較することにより、その有効性を判定する（ステップＳ１０６）。つまり、当該タッチパネル操作が、その操作子による操作として許容されているか否かを判定する。当該タッチパネル操作が許容操作でない無効な操作であった場合には、処理内容を決定することなく処理を終了する（ステップＳ１０７）。
【００５９】
一方、上記タッチパネル操作が許容操作であれば、処理決定部４３によって、必要な制御パラメータが許容操作記憶部４２ｓから読み出される（ステップＳ１０８）。制御パラメータは、操作子の種別及び操作種別に応じたものが読み出される。処理決定部４３は、読み出された制御パラメータに基づいて、処理内容を決定し、当該処理を行う機能実行部６又は表示制御部７に対し制御信号を出力する（ステップＳ１０９）。
【００６０】
表示画像生成部５は、表示パターン選択部５１、スクロール制御部５２及び表示倍率制御部５３及び表示パターン記憶部５１ｓからなる。
【００６１】
表示パターン選択部５１は、操作子の種別及び傾き方向に基づいて、表示パターン記憶部５１ｓ内の表示パターンのいずれかを選択する。表示パターン選択部５１による表示パターンの選択は、表示画面２２への操作入力が行われた場合や、機能実行部６から表示更新信号が出力された場合に行われる。
【００６２】
表示パターン記憶部５１ｓ内には、操作子の種別及び傾き方向に対応づけられた２以上の表示パターンが保持されている。表示パターンは、表示画面２２用の表示画像を生成するための情報であり、表示画像上に配置される１又は２以上のオブジェクトと、これらのオブジェクトに関するパラメータからなる。例えば、リスト画面やサムネイル画面を規定する表示パターンの場合、テキストラベル、テキストボックス、チェックボックス、スクロールバー、リストボックス、操作ボタンなどのオブジェクトと、これらのオブジェクトの表示位置、サイズ（高さや幅）、フォントサイズ、タイトル、テキスト表示位置（右寄せ、左寄せ、中央揃え）などのパラメータとが含まれる。
【００６３】
表示パターン選択部５１では、操作子の種別に応じた表示パターンが選択される。特に、操作子の種別に応じたサイズの操作オブジェクトが配置されている表示パターンが選択されることが望ましい。例えば、操作子が親指であれば、大きなオブジェクトが配置された表示パターンが選択される。一方、操作子がタッチペンであれば、より小さなオブジェクトが配置された表示パターンが選択され、表示画面内には、より多くのオブジェクトを表示することができる。
【００６４】
また、表示パターン選択部５１では、操作子の傾き方向に応じた表示パターンが選択される。つまり、ユーザが右手で操作している場合には、右手用の表示パターンが選択され、左で操作している場合には、左手用の表示パターンが選択される。右手用の表示パターンは、タッチパネル操作が容易となり、また、操作している手で表示画面２２が隠れにくくなるように、左手用の表示パターンに比べて、オブジェクトがより右側に、文字が左寄せ形式で配置されている。これに対し、左手用の表示パターンは、右手用オブジェクトの場合に比べて、オブジェクトがより左側に、文字が右寄せ形式で配置されている。
【００６５】
スクロール制御部５２は、表示パターンから生成される表示画像のスクロール制御を行っている。このスクロール制御は、処理決定部４３からのスクロール制御信号に基づいて行われる。また、表示倍率制御部５３は、処理決定部４３からの表示倍率制御信号に基づいて、上記表示画像の表示画面内における表示倍率を制御している。
【００６６】
図６は、図１の光学式タッチパネル２による画面表示の一例を示した図であり、図中の（ａ）〜（ｃ）には、操作子の種別又は傾き方向が異なる場合のリスト画面６０ａ〜６０ｃが示されている。これらのリスト画面６０ａ〜６０ｃは、リストボックス６１、決定ボタン６４及びクリアボタン６５により構成され、例えば、アドレス帳に登録された連絡先を一覧表示するような場合に利用することができる。リストボックス６１内には、２以上の項目６３及びスクロールバー６２が配置されている。決定ボタン６４及びクリアボタン６５は、ユーザ操作の対象となるオブジェクトである。
【００６７】
図６（ａ）には、ユーザが右手の親指で操作している場合のリスト画面６０ａが示されている。一般に、右手の指で光学式タッチパネル２を操作している場合、表示画面２２内の操作位置よりも右側の領域は、右手の指や掌によって隠れやすい。また、右手で携帯電話機１を持ち、右手の親指で表示画面２２を操作する場合、指が表示画面２２の左側には届きにくい。このため、右手の親指で操作している場合には、図示したように、決定ボタン６４及び決定ボタン６４を右側に寄せて配置している。また、スクロールバー６３もリストボックス６１の右端に配置されている。一方、リストボックス６１内の各項目６３に表示されるテキストは左寄せで表示され、文字が右手の指や掌によって隠れにくいように配置されている。つまり、操作対象となるオブジェクトは、表示画面内において、操作入力に使用される手に近い方向に偏在させ、文字列は、上記方向とは反対側に偏在させている。このため、文字列が指や掌によって隠れにくく、親指であってもボタン操作が容易な表示パターンとなっている。
【００６８】
図６（ｂ）は、ユーザが左手の親指で操作している場合のリスト画面５０ｂが示されている。このリスト画面６０ｂでは、左手の親指が届きやすいように、決定ボタン６４、クリアボタン６５及びスクロールバー６２を左側に寄せて配置している。また、各項目６３に表示されるテキストは、右寄せで表示され、文字が右手の指や掌によって隠れにくくなるように配置されている。
【００６９】
図６（ｃ）は、タッチペンを右手で操作している場合のリスト画面６０ｃが示されている。一般に、指で光学式タッチパネル２を操作する場合、指の接触領域よりも小さな操作ボタン６４，６５を配置すると誤操作が生じやすいことから、上記接触領域よりも大きな操作ボタンを表示する必要があり、その結果、表示画面２２内に表示できる情報量は少なくなってしまう。これに対し、タッチペンは接触面積が十分に小さく、このような誤操作は生じにくい。このため、図示したように、小さな操作ボタン６４，６５を配置し、リストボックス６１を大きくすることによって、表示できる情報量を増大させることができる。
【００７０】
なお、本実施の形態では、光学式タッチパネル２への操作入力が行われるごとに、操作子の種別及び傾き方向を判別し、これらの判別結果に基づいて表示パターンに更新する場合の例について説明したが、本発明は、この様な場合には限定されない。例えば、バックライトの点灯後、最初に操作入力が行われた時に表示パターンを更新するようにしてもよい。つまり、電源投入後や、バックライトを消灯させる省電力モードからの復帰時に表示パターンを更新し、その後のバックライト点灯中は、表示パターンが自動的に更新されない構成であってもよい。また、一定の時間間隔で表示パターンを更新するように構成することもできる。
【００７１】
また、本実施の形態では、ドラッグ操作に基づくスクロール制御について、操作子の移動量に基づいてスクロール量が決定されるものとしたが、本発明はこれに限定されない。例えば、操作位置の移動速度に基づいて、スクロール量が決定されるように構成することもできる。この場合、制御パラメータ記憶部４３ｓには、操作位置の移動速度に対するスクロール量の比率を示す制御パラメータが保持されている必要がある。
【符号の説明】
【００７２】
１ 携帯電話機
２ 光学式タッチパネル
３ 操作解析部
４ 操作処理部
５ 表示画像生成部
６ 機能実行部
７ 表示制御部
１０ 筐体
１１ 受信用レシーバ
１２ 表示画面
１３ 操作キー
１４ 送信用マイクロホン
２０ 液晶パネル
２１ バックライト
２２ 表示画面
２３ 液晶駆動回路
２４ 光センサ制御回路
２５ 表示画素
２６ 光センサ
２７ 共通電極
２８ ガラス板
３１ 操作位置判別部
３２ 操作子判別部
３３ 傾き方向判別部
４１ 操作判別部
４１ｓ 判定パラメータ記憶部
４２ 有効性判別部
４２ｓ 許容操作記憶部
４３ 処理決定部
４３ｓ 制御パラメータ記憶部
５１ 表示パターン選択部
５１ｓ 表示パターン記憶部
５２ スクロール制御部
５３ 表示倍率制御部
６０ａ〜６０ｃ リスト画面
６１ リストボックス
６２ スクロールバー
６３ 項目
６４ 決定ボタン
６５ クリアボタン
【特許請求の範囲】
【請求項１】
表示画面上に多数の光センサが２次元配置され、外側に向って撮影した撮影画像を生成する光学式タッチパネルと、
上記撮影画像に基づいて、上記光学式タッチパネルを操作する操作子の種別を判別する操作子判別手段と、
２以上の表示パターンを保持する表示パターン記憶手段と、
上記操作子の種別に基づいて、上記表示パターンを選択する表示パターン選択手段と、
選択された上記表示パターンに基づいて、上記表示画面を制御する表示制御手段とを備えたことを特徴とする携帯情報端末。
【請求項２】
上記撮影画像に基づいて、上記光学式タッチパネルに対する上記操作子の傾き方向を判別する傾き方向判別手段を備え、
上記表示パターン記憶手段は、右手操作用及び左手操作用の表示パターンを保持し、
上記表示パターン選択手段は、上記傾き方向に基づいて、上記表示パターンを選択することを特徴とする請求項１に記載の携帯情報端末。
【請求項３】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記表示パターンに含まれる操作オブジェクトの配置位置及び上記操作子の操作位置に基づいて、オブジェクト選択信号を生成するオブジェクト操作判別手段とを備え、
上記表示パターン選択手段は、上記操作子の種別に応じた上記操作オブジェクトを含む表示パターンを選択することを特徴とする請求項１に記載の携帯情報端末。
【請求項４】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記操作位置に基づいて、上記操作子によるドラッグ操作を判別するドラッグ操作判別手段と、
上記ドラッグ操作の判別結果に基づいて、上記表示画面上における表示パターンのスクロールを制御するスクロール制御手段とを備え、
上記スクロール制御手段は、上記操作子の種別に基づいて、スクロール量を決定することを特徴とする請求項１に記載の携帯情報端末。
【請求項５】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段と、
上記ピンチ操作の判別結果に基づいて、上記表示画面上における表示パターンの表示倍率を制御する表示倍率制御手段とを備え、
上記表示倍率制御手段が、上記操作子の種別に基づいて、表示倍率を決定することを特徴とする請求項１に記載の携帯情報端末。
【請求項６】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段を備え、
上記ピンチ操作判別手段が、上記操作子の種別に基づいて、ピンチ操作を無効化することを特徴とする請求項１に記載の携帯情報端末。
【請求項７】
上記操作子判別手段は、上記操作子がタッチペン及び指のいずれであるのかを判別することを特徴とする請求項１〜６のいずれかに記載の携帯情報端末。
【請求項８】
上記操作子判別手段は、上記操作子が指である場合に、親指及びそれ以外の指のいずれであるのかを判別することを特徴とする請求項１〜６のいずれかに記載の携帯情報端末。
【請求項１】
表示画面上に多数の光センサが２次元配置され、外側に向って撮影した撮影画像を生成する光学式タッチパネルと、
上記撮影画像に基づいて、上記光学式タッチパネルを操作する操作子の種別を判別する操作子判別手段と、
２以上の表示パターンを保持する表示パターン記憶手段と、
上記操作子の種別に基づいて、上記表示パターンを選択する表示パターン選択手段と、
選択された上記表示パターンに基づいて、上記表示画面を制御する表示制御手段とを備えたことを特徴とする携帯情報端末。
【請求項２】
上記撮影画像に基づいて、上記光学式タッチパネルに対する上記操作子の傾き方向を判別する傾き方向判別手段を備え、
上記表示パターン記憶手段は、右手操作用及び左手操作用の表示パターンを保持し、
上記表示パターン選択手段は、上記傾き方向に基づいて、上記表示パターンを選択することを特徴とする請求項１に記載の携帯情報端末。
【請求項３】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記表示パターンに含まれる操作オブジェクトの配置位置及び上記操作子の操作位置に基づいて、オブジェクト選択信号を生成するオブジェクト操作判別手段とを備え、
上記表示パターン選択手段は、上記操作子の種別に応じた上記操作オブジェクトを含む表示パターンを選択することを特徴とする請求項１に記載の携帯情報端末。
【請求項４】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記操作位置に基づいて、上記操作子によるドラッグ操作を判別するドラッグ操作判別手段と、
上記ドラッグ操作の判別結果に基づいて、上記表示画面上における表示パターンのスクロールを制御するスクロール制御手段とを備え、
上記スクロール制御手段は、上記操作子の種別に基づいて、スクロール量を決定することを特徴とする請求項１に記載の携帯情報端末。
【請求項５】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段と、
上記ピンチ操作の判別結果に基づいて、上記表示画面上における表示パターンの表示倍率を制御する表示倍率制御手段とを備え、
上記表示倍率制御手段が、上記操作子の種別に基づいて、表示倍率を決定することを特徴とする請求項１に記載の携帯情報端末。
【請求項６】
上記撮影画像に基づいて、上記操作子による操作位置を判別する操作位置判別手段と、
上記操作位置に基づいて、上記操作子によるピンチ操作を判別するピンチ操作判別手段を備え、
上記ピンチ操作判別手段が、上記操作子の種別に基づいて、ピンチ操作を無効化することを特徴とする請求項１に記載の携帯情報端末。
【請求項７】
上記操作子判別手段は、上記操作子がタッチペン及び指のいずれであるのかを判別することを特徴とする請求項１〜６のいずれかに記載の携帯情報端末。
【請求項８】
上記操作子判別手段は、上記操作子が指である場合に、親指及びそれ以外の指のいずれであるのかを判別することを特徴とする請求項１〜６のいずれかに記載の携帯情報端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１８２０７１（Ｐ２０１０−１８２０７１Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２４７５６（Ｐ２００９−２４７５６）
【出願日】平成２１年２月５日（２００９．２．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月５日（２００９．２．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]