情報処理装置及びこれに用いるプログラム
【課題】 タッチパネル等の座標入力装置を用いた情報処理装置において、ユーザの操作状況を明示的に通知する処理によって、操作結果をユーザに呈示する。
【解決手段】 座標入力装置２及び該装置が一体化された表示手段５を備えた情報処理装置１において、座標入力装置２を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行う。操作時における座標入力装置２への接触回数や接触の持続状態に応じた視覚的表示又は音声若しくは振動パターンを出力することにより、タップ操作やドラッグ操作がユーザの意図通りに行われたどうかを確認できるように構成した。
【解決手段】 座標入力装置２及び該装置が一体化された表示手段５を備えた情報処理装置１において、座標入力装置２を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行う。操作時における座標入力装置２への接触回数や接触の持続状態に応じた視覚的表示又は音声若しくは振動パターンを出力することにより、タップ操作やドラッグ操作がユーザの意図通りに行われたどうかを確認できるように構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネル等の座標入力装置（あるいは座標読取装置）を使って画面表示を見ながらユーザが操作入力を行えるように構成された情報処理装置において、ユーザに対する操作結果の確認や、誤入力、誤操作についての呈示や注意喚起を視覚的又は聴覚的又は触覚的に行うことで、操作性を向上させるための技術に関する。
【背景技術】
【０００２】
コンピュータ等の情報処理装置における操作入力形態として、ソフトウェアキーボードにより実現される操作用画面（仮想キーボード等）を用いた構成が知られている。
【０００３】
例えば、タッチパネルやタブレット等の座標入力装置を用いた構成形態において、装置に搭載されたオペレーティングシステム（以下、「ＯＳ」という。）上で動作するアプリケーションが実装され、ユーザは画面上の表示情報を見ながら、グラフィカルユーザインターフェースを利用して操作を行うことができる。
【０００４】
座標入力装置を備えた電子機器において、ドラッグ操作（タッチパネルでは、その操作面上での手指やペン等の接触状態を持続させて接触位置を変化させた後、所望の接触位置で非接触状態とする操作）上のミスを低減するために、ユーザの操作に応じて操作用指示アイテムの表示又は非表示を制御する方法が知られている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】特開２００４−４８２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の装置にあっては、手指やペン、スタイラス等が操作面に接触したことを音でユーザに通知する程度の処理が操作の種類には無関係に行われるにすぎず、ユーザが行った操作結果を自ら確認したり、操作ミス等を低減させるための手段が充分に講じられていないことが問題とされる。
【０００７】
例えば、タッチパネルを具備するコンピュータ機器等において、下記に示すような不都合が生じ得る。
【０００８】
・ユーザの意図しない操作面への接触が、誤って入力操作とみなされてしまうこと
・時間的に連続した操作（ダブルタップ等）をユーザが行おうとしたときに、実際に該操作が成功したかどうかを直ちにユーザが把握できないこと
・ユーザの視点と、指先やペン先等との位置関係に応じて視差が発生し、これが指示上の位置ずれの原因となった場合に、正しい操作が行われないこと
・ドラッグ操作時に、手指やペン等が意図せずに操作面から離れてしまい、ユーザが知らないうちにドラッグ操作が終了してしまうこと。
【０００９】
そこで、本発明は、座標入力装置を用いた情報処理装置において、ユーザの操作状況についての明示的な通知処理を行い、操作結果をユーザに呈示することを課題とする。
【課題を解決するための手段】
【００１０】
本発明情報処理装置は、上記した課題を解決するために、座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知をユーザに対して行うように構成したものである。
【００１１】
また、本発明情報処理装置に用いるプログラムは、座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行うステップを有する。
【００１２】
従って、本発明では、ユーザの操作に応じた通知によりユーザ自身が操作状態や操作結果を確認したり、あるいは誤操作やユーザの意図しない操作が行われたことを速やかに把握できる。
【発明の効果】
【００１３】
本発明によれば、ユーザの操作状況について明示的に通知することにより、操作結果をユーザに呈示したり注意を喚起することができ、操作性の向上や操作ミス等の低減に寄与する。
【００１４】
そして、座標入力装置の操作に応じた視覚的表示として通知することにより、操作結果を表示画面に直ちに反映させることができる。
【００１５】
また、音声出力手段を備えた構成においては、操作時の音を一律に発生させるのではなく、座標入力装置の操作に応じた音声を出力して操作結果等をユーザに通知することにより、操作の種類に応じた装置の応答をユーザが聴覚的に把握できるので便利である。
【００１６】
振動発生手段を備えた構成においては、座標入力装置の操作に応じた振動を発生させて操作結果等をユーザに通知することにより、操作の種類に応じた装置の応答を視覚や聴覚に頼らずに把握することができる。例えば、音声発生等を差し控えたい状況や騒音環境下での使用時等において有効である。
【００１７】
そして、座標入力装置への接触回数又は接触の持続状態に応じた視覚的表示又は音声若しくは振動パターンを出力し又は変更することによって、各種操作に応じた反応をユーザに対して多様に呈示することができる。
【発明を実施するための最良の形態】
【００１８】
本発明は、座標入力装置を用いた情報処理装置において、ユーザが座標入力装置を用いて操作する場合の操作状況をユーザに対して明示的にフィードバックするための構成を提供するものである。尚、本発明に係る情報処理装置は、タッチパネル等を備えたコンピュータ機器やＰＤＡ（個人情報端末）、各種映像機器、音響機器等へ適用が可能である。
【００１９】
図１は本発明に係る情報処理装置１の基本構成例を示す概念図である。
【００２０】
座標入力装置２による操作情報は、ＣＰＵ（中央処理装置）やシステムコントローラ等を用いた演算処理手段３によって処理される。
【００２１】
尚、座標入力装置２には、後述の表示手段と一体化されたタッチパネルや、ペン入力式デバイス、デジタイザ等が用いられる。例えば、ユーザが手指やペン、スタイラス等で操作面上での位置を指定した場合に絶対位置座標が検出される。
【００２２】
操作釦やスイッチ等を含む操作部４の操作情報は演算処理手段３によって処理されるが、本発明の適用においては該操作部４を設けない構成形態も勿論可能である。
【００２３】
座標入力装置２と一体化された表示手段５には、液晶式表示パネル等のデバイスが用いられ、各種の表示情報（キートップ配列の画面情報等）を表示する。例えば、ユーザは画面表示を見ながら座標入力装置２を用いて文字や記号等の選択操作を行うことができる。
【００２４】
情報処理装置１において、座標入力装置２を用いた操作の種類に応じて、ユーザが操作状態や操作結果を確認したり、又は誤操作、誤入力を防止するための通知処理が、下記に示す形態で行われる。
【００２５】
（１）視覚的表示による通知形態
（２）音声出力による聴覚的な通知形態
（３）振動発生による触覚的な通知形態
（４）上記（１）乃至（３）を任意に組み合わせた形態
【００２６】
先ず、形態（１）では、座標入力装置２の操作に応じた視覚的表示、例えば、マークやアイコン、カーソル、図形等の表示子を表示手段５に表示して通知する。ユーザは表示を見て自分の行った操作を確認したり、誤操作の発生や原因等を知ることができる。
【００２７】
また、形態（２）では、スピーカ等の音声出力手段６を備えた構成において、座標入力装置２の操作に応じた音声（ビープ音等）を出力してユーザに通知する。例えば、操作時における座標入力装置２への接触回数又は接触の持続状態や時間に応じて音色や周波数、発生回数等を変化させてユーザに注意を促す。ユーザは音を聞いて自分の行った操作を確認したり、誤操作の発生や原因等を知ることができる（例えば、周囲照度が明るい場合等でも視覚によらずに操作確認等を行える。）。
【００２８】
形態（３）では、バイブレーションモータ等の振動発生手段７を備えた構成において、座標入力装置２の操作に応じた振動を発生させてユーザに通知する。例えば、操作時における座標入力装置２への接触回数又は接触の持続状態や時間に応じて振動周波数や振動発生回数、振動パターン等を変化させてユーザに注意を促す。ユーザは振動の種類から自分の行った操作を確認したり、誤操作の発生や原因等を知ることができる（視覚や聴覚によらずに操作確認等を行える。）。
【００２９】
上記形態（１）乃至（３）については、それぞれ単独での適用が可能であるが、それらのうちの任意の形態をユーザが選択したり、あるいは必要に応じて複数の形態を組み合わせることが可能である。
【００３０】
本発明では座標入力装置を用いた操作の種類に応じた視覚的又は聴覚的又は触覚的な各種通知が可能であるが、表示装置と、タッチパネル等の絶対座標入力装置とが一体化したシステム構成において、ユーザ操作には、例えば、下記の操作が挙げられる。
【００３１】
・タッチ＝指先やスタイラス等でタッチパネルを触り、そのまま触り続けること（マイクロソフト社製ＯＳ等において、通常のタッチパネルの設定では、マウス操作時における左ボタンの押下に相当する。）
・リリース＝操作面にタッチした状態から、指先やスタイラスをタッチパネルから離すこと（マウス操作において左ボタンを放すことに相当する。）
・シングルタップ(タップ)＝指先やスタイラス等で、タッチパネルにタッチして直ちにリリースすること（マウス操作における左ボタンのクリックに相当する。）
・ダブルタップ＝シングルタップを２回連続して行うこと（マウス操作における左ボタンのダブルクリックに相当する。）
・ドラッグ＝操作面にタッチした状態（接触状態）を維持したまま、指先やスタイラス等を動かすこと（マウス操作において左ボタンを用いたドラッグ操作に相当する。）。
【００３２】
図２は、シングルタップ、ダブルタップ、ドラッグについての概念的な説明図であり、図中に示す点Ｐ、ＳＰ、ＥＰは座標入力装置２の操作面９上での接触点を表し、これらの点に向かう矢印付線分の脇に示す「Ｔ」がタッチを意味し、当該点から離れる矢印付線分の脇に示す「Ｒ」がリリースを意味する。また、点ＳＰがドラッグ開始点を示し、点ＥＰがドラッグ終了点を示している。
【００３３】
シングルタップでは、（Ａ）図に示すように、点Ｐでのタップとリリースが行われ、ダブルタップでは、（Ｂ）図に示すように、同一点又は所定距離範囲内の２点について所定の時間内にタップ及びリリースが２回連続して行われる。また、ドラッグでは、（Ｃ）図に示すように、点ＳＰでのタッチ後に、軌跡１０で示すように接触状態でのスライド操作が行われた後、点ＥＰにてリリースが行われる。
【００３４】
このような操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行うステップを含むプログラムは、図１の記憶手段８から読み出され、ＣＰＵにより解釈されて実行される。つまり、情報処理装置１における処理主体は、ＣＰＵ等の演算手段を含むハードウェアと、該演算手段を用いて実行される各種プログラムの総体であり、操作情報に応じたプログラムの実行によって所定の処理が行われる。
【００３５】
本発明に係るプログラムには、下記に示す処理ステップが含まれる。
【００３６】
（ａ）座標入力装置を用いた操作が行われたことを検出するステップ
（ｂ）（ａ）の操作時における該座標入力装置への接触回数又は接触の持続状態に応じたユーザへの通知を指示するステップ
【００３７】
先ず、（ａ）では座標入力装置２を用いて操作が行われているか否かについての検出処理が行われ、（ｂ）では操作に応じた視覚的又は聴覚的又は触覚的な通知処理が行われる。例えば、上記形態（１）では、操作状況に応じた視覚的表示の出力又は変更（表示色や形状等の変更を含む。）が行われる。また、上記形態（２）では、操作状況に応じた音声の出力又は変更（音色や周波数、回数等の変更を含む。）が行われ、上記形態（３）では、操作状況に応じた振動の出力又は変更（周波数、回数、振動パターン等の変更を含む。）が行われる。
【００３８】
本発明に係る装置やプログラム又は該プログラムを含む記憶媒体の適用により、例えば、ユーザが行うタッチパネルでの入力や操作に対して、操作結果のフィードバックを実現して、下記に示す対策を講じることが可能となる。
【００３９】
・ユーザの意図しないタッチ操作が正規の入力と見なされてしまうことへの対策
＝＞シングルタップ用の視覚的表示を所定時間又は設定時間に亘って行うか、あるいは、シングルタップ操作時に特定の音声又は振動パターンを所定時間又は設定時間に亘って発生させること。
【００４０】
例えば、ユーザがスタイラスでの入力を意図した場合に、スタイラスを持っている手の方が先にタッチパネルに触れてしまった場合には、誤って触ってしまった手の入力が認識され、ユーザの意図しない入力が行われたことに気付かない場合が生じる。このような不具合は、シングルタップ時の通知により対処することができ、例えば、視覚的表示を見てユーザがスタイラスの先を操作面に接触させる前にどの位置が押されたのかを知ることができる。
【００４１】
・ユーザがタッチパネルでダブルタップ操作を行おうとしたときに、実際にユーザが行った操作を確認できないことへの対策
＝＞ダブルタップ用の視覚的表示を所定時間又は設定時間に亘って行うか、あるいは、ダブルタップ操作時に特定の音声又は振動パターンを所定時間又は設定時間に亘って発生させること。
【００４２】
タッチパネル上でダブルタップを行うには、設定された時間内にかつ設定された距離内で２回のタップ操作を行う必要がある。ユーザは、自分の行った操作がこの条件を満たし、装置側でダブルタップとして正しく認識されているかどうかが解らない場合があり得る。このような不具合は、ダブルタップ時の通知により対処することができ、例えば、ユーザは操作後の視覚的表示を見てダブルタップが正しく行われたか否かを知ることができる。
【００４３】
・ユーザが指先やスタイラス等でタッチパネルに入力を行う時に、ユーザの視点と、指先やスタイラスの位置関係に応じて視差が発生してしまうことに起因する弊害への対策
＝＞ドラッグ操作中に視差が発生しにくい視覚的表示（ポインタアイコン等）に変更するか又は該視覚的表示に代えて特定の音声又は振動パターンを発生させること。
【００４４】
例えば、スタイラスを用いてタッチパネル上でドラッグ操作を行っている時に、視差の為にユーザが意図した位置とは違うところでドラッグ操作を終了してしまう場合がある。このような不具合は、例えば、ドラッグ操作中の視覚的表示を変更して、視差の影響を緩和することで対処できる。
【００４５】
・ユーザがタッチパネル上でドラッグ操作を行おうとしたときに、ユーザの意に反して指先やスタイラスがタッチパネルからリリースされてしまい、ユーザが知らない内にドラッグ操作が終了してしまうことへの対策
＝＞ドラッグ終了を示す視覚的表示を所定時間又は設定時間に亘って行うか又は該視覚的表示に代えて特定の音声又は振動パターンを発生させること。
【００４６】
例えば、スタイラスでドラッグ操作を行っているときに、不意のリリースが生じた場合（誤って一瞬だけスタイラスがタッチパネルから離れてしまうような場合）、スタイラスの先がタッチパネルから離れた時点でリリースと認識されてしまい、ユーザは意図しないリリースが行われたことに気付かない場合がある。このような不具合は、ドラッグ操作の終了を明示的に通知することで対処できる。
【００４７】
図３は、操作に応じた通知処理について例示したフローチャート図であり、タッチパネルを用いた入力装置において、上記形態（１）を採用した場合を示している。
【００４８】
先ず、ステップＳ１では、手指やスタイラス等を用いたタッチパネルの操作が検出された後、次ステップＳ２で操作の種別が判別される。１回のタップとリリースの操作が行われた場合にはステップＳ３に進んでシングルタップ用の表示（マークやアイコン等）が所定時間に亘って行われ、ダブルタップ操作が行われた場合にはステップＳ４に進んで、ダブルタップ用の表示が所定時間に亘って行われる。
【００４９】
また、ドラッグ操作が行われた場合には、ステップＳ５に進み、ドラッグ操作中であるか又は該操作が終了したかを判断する。ドラッグ操作中の場合には、ステップＳ６に進み、特定のポインタ表示が行われるか又はスライド操作に伴う接触位置の変化に応じた軌跡が表示される。また、ドラッグ操作が終了時には、ステップＳ７に進んでその旨を示す表示が所定時間に亘って行われる。
【００５０】
上記のように、操作状況に応じた通知により操作結果等がユーザに直ちにフィードバックされて、操作ミスや意図しない操作等の低減に反映される。
【００５１】
尚、操作の種類に応じた通知のための表示や出力については、下記に示す形態が挙げられる。
【００５２】
・操作に関連付けられた視覚的表示又は音声若しくは振動パターンの種類や設定時間等が事前に規定されている構成形態
・ユーザ設定により視覚的表示又は音声若しくは振動パターンを任意に選択したり、設定時間等を変更できるようにした構成形態（ユーザカスタマイズ可能な形態）
【実施例】
【００５３】
以下に、本発明を携帯型コンピュータ機器に適用した実施の一例について説明する。
【００５４】
図４に示すように、情報処理装置１１の筐体１２は、横長の扁平な矩形状に形成され、その前面１３には画像表示手段を構成する表示デバイス（液晶式ディスプレイ等）１４が設けられている。
【００５５】
表示デバイス１４の表面１５にはタッチパネルが設けられており、ユーザが表示画面を見ながら操作面上の所望の位置を手指や専用ペン（スタイラス等）１６で指示することにより選択操作や入力操作等を行うことができる。尚、筐体１２の所定の位置には、各種の操作要素（釦やスイッチ、操作スティック等）１７、１７、…が付設されている。
【００５６】
図５は情報処理装置１１のハードウェア構成例を示したものである。
【００５７】
制御中枢であるＣＰＵ１０１は、バス（FSB:Front Side Bus）を介して制御装置１０２に接続されており、該制御装置１０２は、後述する制御装置やデバイスとともに前記した演算処理手段３を構成している。制御装置１０２はメインメモリ１０３の制御やグラフィック機能に係る制御を担当し、主に大量データを高速に処理する役目をもつ。ＡＴ互換機では「ノースブリッジ」と呼ばれ、本例に示す制御装置１０２には、ＣＰＵ１０１、メインメモリ１０３、制御装置１０４、液晶表示デバイス等のグラフィック表示装置１０５（上記表示手段５を構成する。）が接続されている。
【００５８】
制御装置１０４は、ユーザインターフェース用の制御デバイス等を主に制御するものであり、デバイスのバスリンク等を行う。ＡＴ互換機では「サウスブリッジ」と呼ばれ、「PCI to ISA bridge」では、バス（ＰＣＩ:Peripheral Component Interconnect bus）を低速なバス（ＩＳＡ:Industry Standard Architecture bus等）に橋渡しする役目をもち、ＩＳＡコントローラ、ＩＤＥ（Integrated Drive Electronics）コントローラ等の機能を有する。
【００５９】
バス（ＰＣＩバス）には、無線通信用デバイス１０６としての無線式ＬＡＮ（Ｗ−ＬＡＮ）や、外部メモリや外部機器との接続や制御を行うためのデバイス１０７が接続されている。外部メモリとしては、装置本体部への着脱が可能な半導体メモリ装置、例えば、スティック状記憶媒体のデータを読み書きするための制御用デバイス１０８や、カード状記憶媒体等の制御用デバイス１０９が設けられている。また、デバイス１０７は外部機器との接続用インターフェース（例えば、シリアルデバイスをコンピュータに追加するためのハードウェアの仕様を定義する「IEEE 1394」等）の機能を有する。
【００６０】
制御装置１０４には、ＬＡＮ（Local Area Network）接続用デバイス１１０が接続されるとともに、タッチパネル１１１（前記座標入力装置２を構成する。）がＵＳＢ（Universal Serial Bus）ポートに接続されている。
【００６１】
補助記憶装置１１２には、例えば、磁気ディスクや光学式ディスクを用いたドライブ装置が用いられるが、本例では、ハードディスク等の大容量記憶媒体を用いたドライブ装置が用いられ、制御装置１０４（内のＩＤＥコントローラ）に接続される。
【００６２】
また、制御装置１０４に接続されているオーディオ信号処理部（Audio Codec）１１３は、ディジタル−アナログ変換されたオーディオ信号を、例えば、スピーカ１１４やヘッドフォン１１５に送出して音声を出力する（例えば、前記形態（２）の適用において操作の種類に応じた音声出力により操作結果の確認等を行える。）。あるいは、マイクロフォンを備えた装置形態では、オーディオ信号処理部１１３において、音声入力データをディジタル化する処理等を行う。
【００６３】
記憶装置１１６には、コンピュータを動作させるための制御プログラム等が格納されており、ＬＰＣ（Low Pin Count：シリアルバス）等を用いて制御装置１０４、１１７に接続されている。
【００６４】
制御装置１１７は、各種信号の制御を行う汎用装置であり、例えば、「ＥＣ」（Embedded Controller：組み込みコントローラ）が用いられ、キーボードコントローラの機能や、システムの電源制御やシステムの付加機能等について制御を行う（携帯型機器等ではマイクロコンピュータが搭載されている。）。尚、記憶装置１１６内の制御プログラムを変更することによってコンピュータの制御方法を変えることができる。
【００６５】
スティック型ポインティングデバイス（トラックポイント等）を構成する操作デバイス１１８は、制御装置１１７のポート（ＰＳ／２（Personal System/2）ポート等）に接続されている。また、装置本体部に設けられた複数の操作要素１７を含む操作部１１９からの信号が制御装置１１７に対して送出される。装置本体部に外部機器を直接的に接続するための接続部１２０としては、ＵＳＢコネクタが設けられており、該コネクタは制御装置１０４に接続されている。
【００６６】
尚、図示しない電源部には、ＡＣアダプタからの商用電源電圧の供給、あるいは二次電池や燃料電池等を用いたバッテリパックからの直流電源供給が行われる。
【００６７】
図６は、タッチパネル１１１を用いた操作処理に関してソフトウェア構成の要部を示した概念図である。
【００６８】
タッチパネル１１１の操作情報は制御装置１０４に送出された上で、タッチパネルドライバ１８を介して常駐プログラム１９に送られる。この常駐プログラムは、タッチパネル１１１の操作状況に応じた通知処理等を担当しており、上位階層（ＯＳ）に対して操作メッセージ等を伝える。これにより、ＯＳから図示しないアプリケーションへと操作情報が伝達されて所定の処理が行われる。
【００６９】
常駐プログラム１９は、タッチパネル１１１に関する設定プログラム２０の情報を参照して、操作の種類や状況に応じたリアクションをユーザに呈示する。尚、常駐プログラム１９のもつ機能の一部又は全部をタッチパネルドライバ１８に含める実施形態も可能である。
【００７０】
図７は、常駐プログラム１９による処理例を示したフローチャート図であり、また、図８はシングルタップ操作及びダブルタップ操作時における表示例の説明図、図９はドラッグ操作における表示例の説明図である。尚、以下に示す例では前記形態（１）が採用されるものとする。
【００７１】
図７のステップＳＳ１にて、タッチパネル１１１に対するユーザ操作が行われた場合に、次ステップＳＳ２では、ユーザ操作がタップ操作であるか、ドラッグ操作であるかが判別される。
【００７２】
先ず、タップ操作について図７のステップＳＳ３乃至ＳＳ５及び図８を用いて説明する。
【００７３】
ステップＳＳ３では、シングルタップ用の表示（アイコンやマーク等）が行われる。つまり、図８（Ａ）に示すように、ユーザがタッチパネル１１１の操作面を最初にタップしたとき、これがシングルタップと認識され、その結果、図８（Ｂ）に示すように、シングルタップ用の表示子２１（本例では、白丸で示す。）が、予め設定された時間だけ表示される。
【００７４】
次ステップＳＳ４では、所定時間間隔内において所定距離範囲内で連続するタップ操作が行われたか否かを判断し、ダブルタップ操作が行われた場合にはステップＳＳ５に進んでダブルタップ用の表示に変更される。つまり、図８（Ｃ）に示すように、ユーザがタッチパネル１１１の操作面を再度タップしたときにダブルタップと認識され、その結果、図８（Ｄ）に示すように、ダブルタップ用の表示子２２（本例では、黒丸で示す。）が、予め設定された時間だけ表示される。尚、本例のように表示子の色を変更する方法の他、表示子の形状や大きさ等を変更したり、点滅等の方法で区別する方法が挙げられる。
【００７５】
このように、タッチパネルに対する入力が行われ、それがシングルタップと認識された場合には、指定位置（接触位置）において、シングルタップ用の表示子が、設定された期間だけ表示される。この処理により、ユーザが意図せずタッチパネルに触れてしまい、入力とみなされてしまった時に、その旨をユーザに対して明示的に表示させることが可能となる。
【００７６】
また、タップ操作が連続して行われ、該操作がダブルタップと認識された場合には、指定位置（接触位置）においてダブルタップ用の表示子へと変更され、設定された期間だけ表示される。この処理により、ユーザがダブルタップを意図して行った操作が、実際にダブルタップとして正しく認識されたか否かを、明示的な形で表示させることが可能になる。
【００７７】
次に、ドラッグ操作について図７のステップＳＳ６乃至ＳＳ９及び図９を用いて説明する。
【００７８】
ステップＳＳ６では、ドラッグ操作の開始位置にアイコンやマーク等が表示される。例えば、上記したシングルタップ用の表示子が画面上に表示される。つまり、図９（Ａ）に示すように、ユーザがタッチパネル１１１の操作面をタッチしてドラッグ操作を開始すると、表示子２１（本例では、白丸で示す。）が表示される。
【００７９】
そして、次ステップＳＳ７に示すドラッグ操作中には、操作面に対するスタイラス等の接触位置の変更に伴って移動される表示子がドラッグ専用の表示子２３（本例では「＋」印で示す。）に変更される。つまり、図９（Ｂ）に示す例では、操作開始点での表示子２１とは形状の異なる表示子２３が表示されるとともに、ドラッグ操作の軌跡２４が表示される。
【００８０】
図７のステップＳＳ８では、リリース操作が行われたか否かを判断し、リリース操作が行われた場合にはステップＳＳ９に進むが、そうでない場合にはステップＳＳ７に戻る。
【００８１】
ステップＳＳ９では、ユーザがリリースした位置、つまり、ドラッグ操作の終了位置において該終了を示す旨の表示子に変更される。つまり、図９（Ｃ）に示すように、ユーザがタッチパネル１１１の操作面から手指やスタイラス等を離したときに、ドラッグ操作の終了と認識され、その結果、図９（Ｄ）に示すように、終了位置において特定の表示子２５（本例では、二重丸で示す。）が、予め設定された時間だけ表示される。尚、本例ではドラッグ開始位置での表示子２１、軌跡２４、ドラッグ終了位置での表示子２５がドラッグ操作の開始時点から所定期間中に表示される。また、表示子の変更方法については、色や形状や大きさ等を変更したり、点滅等の方法で区別する方法が挙げられる。
【００８２】
このように、タッチパネルに対する入力や操作が行われ、それがドラッグとして認識された場合には、ドラッグが行われている間、ドラッグ専用の表示子へと変更する。そして、ドラッグ操作が終了した場合には、その旨の表示子へと変更するとともに、操作終了時点から設定された期間の間だけ、ドラッグの開始位置での表示子及びドラッグの軌跡を画面上に表示させることが好ましい。
【００８３】
尚、ドラッグ操作が行われている最中には、視差が生じ難い専用表示子（マウスポインタのアイコン等）への表示変更を行うことで、ドラッグ中の視差に起因する弊害を防止することが可能になる。
【００８４】
また、ドラッグ操作中にリリースが行われて、ドラッグ操作が終了したときには、ドラッグ処理終了時用の表示子に変更して、設定された期間の間だけ表示を変更させる。この処理により、ユーザが意図したとおりにドラッグ操作が行われたのか、あるいは意図しない箇所でドラッグ操作が終了していないかどうかを、ユーザに対して明示的にフィードバックすることが可能になる。
【００８５】
例えば、手書き入力等による文字操作中に、ユーザの意に反してドラッグ操作が一時的に中断されてしまったことを知らずに該操作を継続した場合においては、操作面上での接触位置に不連続性が発生するため（操作上の軌跡が途切れる。）、ユーザの意図する入力操作ができないことは勿論、ユーザはその理由を知る術がなく困惑する。上記のように、ドラッグ途中に生じたリリース時には、ドラッグ終了位置での表示子２５と過去の操作軌跡２４が明示され、後続のドラッグ操作の開始位置には表示子２１が明示される結果、例えば、図１０に示すように、意図しない操作中断が操作の切れ目としてユーザに対して視覚的に呈示される。即ち、ユーザの意図しない操作が行われたこと及びその理由についてユーザが容易に把握できる。
【００８６】
以上に説明した構成によれば、下記に示す利点が得られる。
【００８７】
・タッチパネルに対する入力操作時に、ユーザに対して操作結果の明示的なフィードバックを実現できること。
・ユーザの意図しない入力操作について、操作結果を直ぐに確認できること。
・ダブルタップ操作をユーザが意図した場合に、該操作が実際に正しく行われたかどうかを操作直後に確認できること。
・ドラッグ操作中における視差に起因する弊害を防止できること。
・ユーザが意図した通りにドラッグ操作が行われたか、あるいは意図しない箇所でドラッグ操作が中断されていないかを確認できること。
【図面の簡単な説明】
【００８８】
【図１】本発明の基本構成例を示す図である。
【図２】各種操作についての概念的な説明図である。
【図３】操作に応じた通知処理を例示したフローチャート図である。
【図４】図５乃至図１０とともに本発明に係る実施例について説明するための図であり、本図は装置の外観例を示す斜視図である。
【図５】装置のハードウェア構成例を示す図である。
【図６】操作処理に関するソフトウェア構成の要部を示した概念図である。
【図７】表示処理例を示したフローチャート図である。
【図８】シングルタップ操作及びダブルタップ操作の一例を（Ａ）乃至（Ｄ）に示す説明図である。
【図９】ドラッグ操作の一例を（Ａ）乃至（Ｄ）に示す説明図である。
【図１０】ドラッグ操作中に意図しないリリースが生じた場合の説明図である。
【符号の説明】
【００８９】
１…情報処理装置、２…座標入力装置、５…表示手段、６…音声出力手段、７…振動発生手段、１１…情報処理装置
【技術分野】
【０００１】
本発明は、タッチパネル等の座標入力装置（あるいは座標読取装置）を使って画面表示を見ながらユーザが操作入力を行えるように構成された情報処理装置において、ユーザに対する操作結果の確認や、誤入力、誤操作についての呈示や注意喚起を視覚的又は聴覚的又は触覚的に行うことで、操作性を向上させるための技術に関する。
【背景技術】
【０００２】
コンピュータ等の情報処理装置における操作入力形態として、ソフトウェアキーボードにより実現される操作用画面（仮想キーボード等）を用いた構成が知られている。
【０００３】
例えば、タッチパネルやタブレット等の座標入力装置を用いた構成形態において、装置に搭載されたオペレーティングシステム（以下、「ＯＳ」という。）上で動作するアプリケーションが実装され、ユーザは画面上の表示情報を見ながら、グラフィカルユーザインターフェースを利用して操作を行うことができる。
【０００４】
座標入力装置を備えた電子機器において、ドラッグ操作（タッチパネルでは、その操作面上での手指やペン等の接触状態を持続させて接触位置を変化させた後、所望の接触位置で非接触状態とする操作）上のミスを低減するために、ユーザの操作に応じて操作用指示アイテムの表示又は非表示を制御する方法が知られている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】特開２００４−４８２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の装置にあっては、手指やペン、スタイラス等が操作面に接触したことを音でユーザに通知する程度の処理が操作の種類には無関係に行われるにすぎず、ユーザが行った操作結果を自ら確認したり、操作ミス等を低減させるための手段が充分に講じられていないことが問題とされる。
【０００７】
例えば、タッチパネルを具備するコンピュータ機器等において、下記に示すような不都合が生じ得る。
【０００８】
・ユーザの意図しない操作面への接触が、誤って入力操作とみなされてしまうこと
・時間的に連続した操作（ダブルタップ等）をユーザが行おうとしたときに、実際に該操作が成功したかどうかを直ちにユーザが把握できないこと
・ユーザの視点と、指先やペン先等との位置関係に応じて視差が発生し、これが指示上の位置ずれの原因となった場合に、正しい操作が行われないこと
・ドラッグ操作時に、手指やペン等が意図せずに操作面から離れてしまい、ユーザが知らないうちにドラッグ操作が終了してしまうこと。
【０００９】
そこで、本発明は、座標入力装置を用いた情報処理装置において、ユーザの操作状況についての明示的な通知処理を行い、操作結果をユーザに呈示することを課題とする。
【課題を解決するための手段】
【００１０】
本発明情報処理装置は、上記した課題を解決するために、座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知をユーザに対して行うように構成したものである。
【００１１】
また、本発明情報処理装置に用いるプログラムは、座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行うステップを有する。
【００１２】
従って、本発明では、ユーザの操作に応じた通知によりユーザ自身が操作状態や操作結果を確認したり、あるいは誤操作やユーザの意図しない操作が行われたことを速やかに把握できる。
【発明の効果】
【００１３】
本発明によれば、ユーザの操作状況について明示的に通知することにより、操作結果をユーザに呈示したり注意を喚起することができ、操作性の向上や操作ミス等の低減に寄与する。
【００１４】
そして、座標入力装置の操作に応じた視覚的表示として通知することにより、操作結果を表示画面に直ちに反映させることができる。
【００１５】
また、音声出力手段を備えた構成においては、操作時の音を一律に発生させるのではなく、座標入力装置の操作に応じた音声を出力して操作結果等をユーザに通知することにより、操作の種類に応じた装置の応答をユーザが聴覚的に把握できるので便利である。
【００１６】
振動発生手段を備えた構成においては、座標入力装置の操作に応じた振動を発生させて操作結果等をユーザに通知することにより、操作の種類に応じた装置の応答を視覚や聴覚に頼らずに把握することができる。例えば、音声発生等を差し控えたい状況や騒音環境下での使用時等において有効である。
【００１７】
そして、座標入力装置への接触回数又は接触の持続状態に応じた視覚的表示又は音声若しくは振動パターンを出力し又は変更することによって、各種操作に応じた反応をユーザに対して多様に呈示することができる。
【発明を実施するための最良の形態】
【００１８】
本発明は、座標入力装置を用いた情報処理装置において、ユーザが座標入力装置を用いて操作する場合の操作状況をユーザに対して明示的にフィードバックするための構成を提供するものである。尚、本発明に係る情報処理装置は、タッチパネル等を備えたコンピュータ機器やＰＤＡ（個人情報端末）、各種映像機器、音響機器等へ適用が可能である。
【００１９】
図１は本発明に係る情報処理装置１の基本構成例を示す概念図である。
【００２０】
座標入力装置２による操作情報は、ＣＰＵ（中央処理装置）やシステムコントローラ等を用いた演算処理手段３によって処理される。
【００２１】
尚、座標入力装置２には、後述の表示手段と一体化されたタッチパネルや、ペン入力式デバイス、デジタイザ等が用いられる。例えば、ユーザが手指やペン、スタイラス等で操作面上での位置を指定した場合に絶対位置座標が検出される。
【００２２】
操作釦やスイッチ等を含む操作部４の操作情報は演算処理手段３によって処理されるが、本発明の適用においては該操作部４を設けない構成形態も勿論可能である。
【００２３】
座標入力装置２と一体化された表示手段５には、液晶式表示パネル等のデバイスが用いられ、各種の表示情報（キートップ配列の画面情報等）を表示する。例えば、ユーザは画面表示を見ながら座標入力装置２を用いて文字や記号等の選択操作を行うことができる。
【００２４】
情報処理装置１において、座標入力装置２を用いた操作の種類に応じて、ユーザが操作状態や操作結果を確認したり、又は誤操作、誤入力を防止するための通知処理が、下記に示す形態で行われる。
【００２５】
（１）視覚的表示による通知形態
（２）音声出力による聴覚的な通知形態
（３）振動発生による触覚的な通知形態
（４）上記（１）乃至（３）を任意に組み合わせた形態
【００２６】
先ず、形態（１）では、座標入力装置２の操作に応じた視覚的表示、例えば、マークやアイコン、カーソル、図形等の表示子を表示手段５に表示して通知する。ユーザは表示を見て自分の行った操作を確認したり、誤操作の発生や原因等を知ることができる。
【００２７】
また、形態（２）では、スピーカ等の音声出力手段６を備えた構成において、座標入力装置２の操作に応じた音声（ビープ音等）を出力してユーザに通知する。例えば、操作時における座標入力装置２への接触回数又は接触の持続状態や時間に応じて音色や周波数、発生回数等を変化させてユーザに注意を促す。ユーザは音を聞いて自分の行った操作を確認したり、誤操作の発生や原因等を知ることができる（例えば、周囲照度が明るい場合等でも視覚によらずに操作確認等を行える。）。
【００２８】
形態（３）では、バイブレーションモータ等の振動発生手段７を備えた構成において、座標入力装置２の操作に応じた振動を発生させてユーザに通知する。例えば、操作時における座標入力装置２への接触回数又は接触の持続状態や時間に応じて振動周波数や振動発生回数、振動パターン等を変化させてユーザに注意を促す。ユーザは振動の種類から自分の行った操作を確認したり、誤操作の発生や原因等を知ることができる（視覚や聴覚によらずに操作確認等を行える。）。
【００２９】
上記形態（１）乃至（３）については、それぞれ単独での適用が可能であるが、それらのうちの任意の形態をユーザが選択したり、あるいは必要に応じて複数の形態を組み合わせることが可能である。
【００３０】
本発明では座標入力装置を用いた操作の種類に応じた視覚的又は聴覚的又は触覚的な各種通知が可能であるが、表示装置と、タッチパネル等の絶対座標入力装置とが一体化したシステム構成において、ユーザ操作には、例えば、下記の操作が挙げられる。
【００３１】
・タッチ＝指先やスタイラス等でタッチパネルを触り、そのまま触り続けること（マイクロソフト社製ＯＳ等において、通常のタッチパネルの設定では、マウス操作時における左ボタンの押下に相当する。）
・リリース＝操作面にタッチした状態から、指先やスタイラスをタッチパネルから離すこと（マウス操作において左ボタンを放すことに相当する。）
・シングルタップ(タップ)＝指先やスタイラス等で、タッチパネルにタッチして直ちにリリースすること（マウス操作における左ボタンのクリックに相当する。）
・ダブルタップ＝シングルタップを２回連続して行うこと（マウス操作における左ボタンのダブルクリックに相当する。）
・ドラッグ＝操作面にタッチした状態（接触状態）を維持したまま、指先やスタイラス等を動かすこと（マウス操作において左ボタンを用いたドラッグ操作に相当する。）。
【００３２】
図２は、シングルタップ、ダブルタップ、ドラッグについての概念的な説明図であり、図中に示す点Ｐ、ＳＰ、ＥＰは座標入力装置２の操作面９上での接触点を表し、これらの点に向かう矢印付線分の脇に示す「Ｔ」がタッチを意味し、当該点から離れる矢印付線分の脇に示す「Ｒ」がリリースを意味する。また、点ＳＰがドラッグ開始点を示し、点ＥＰがドラッグ終了点を示している。
【００３３】
シングルタップでは、（Ａ）図に示すように、点Ｐでのタップとリリースが行われ、ダブルタップでは、（Ｂ）図に示すように、同一点又は所定距離範囲内の２点について所定の時間内にタップ及びリリースが２回連続して行われる。また、ドラッグでは、（Ｃ）図に示すように、点ＳＰでのタッチ後に、軌跡１０で示すように接触状態でのスライド操作が行われた後、点ＥＰにてリリースが行われる。
【００３４】
このような操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行うステップを含むプログラムは、図１の記憶手段８から読み出され、ＣＰＵにより解釈されて実行される。つまり、情報処理装置１における処理主体は、ＣＰＵ等の演算手段を含むハードウェアと、該演算手段を用いて実行される各種プログラムの総体であり、操作情報に応じたプログラムの実行によって所定の処理が行われる。
【００３５】
本発明に係るプログラムには、下記に示す処理ステップが含まれる。
【００３６】
（ａ）座標入力装置を用いた操作が行われたことを検出するステップ
（ｂ）（ａ）の操作時における該座標入力装置への接触回数又は接触の持続状態に応じたユーザへの通知を指示するステップ
【００３７】
先ず、（ａ）では座標入力装置２を用いて操作が行われているか否かについての検出処理が行われ、（ｂ）では操作に応じた視覚的又は聴覚的又は触覚的な通知処理が行われる。例えば、上記形態（１）では、操作状況に応じた視覚的表示の出力又は変更（表示色や形状等の変更を含む。）が行われる。また、上記形態（２）では、操作状況に応じた音声の出力又は変更（音色や周波数、回数等の変更を含む。）が行われ、上記形態（３）では、操作状況に応じた振動の出力又は変更（周波数、回数、振動パターン等の変更を含む。）が行われる。
【００３８】
本発明に係る装置やプログラム又は該プログラムを含む記憶媒体の適用により、例えば、ユーザが行うタッチパネルでの入力や操作に対して、操作結果のフィードバックを実現して、下記に示す対策を講じることが可能となる。
【００３９】
・ユーザの意図しないタッチ操作が正規の入力と見なされてしまうことへの対策
＝＞シングルタップ用の視覚的表示を所定時間又は設定時間に亘って行うか、あるいは、シングルタップ操作時に特定の音声又は振動パターンを所定時間又は設定時間に亘って発生させること。
【００４０】
例えば、ユーザがスタイラスでの入力を意図した場合に、スタイラスを持っている手の方が先にタッチパネルに触れてしまった場合には、誤って触ってしまった手の入力が認識され、ユーザの意図しない入力が行われたことに気付かない場合が生じる。このような不具合は、シングルタップ時の通知により対処することができ、例えば、視覚的表示を見てユーザがスタイラスの先を操作面に接触させる前にどの位置が押されたのかを知ることができる。
【００４１】
・ユーザがタッチパネルでダブルタップ操作を行おうとしたときに、実際にユーザが行った操作を確認できないことへの対策
＝＞ダブルタップ用の視覚的表示を所定時間又は設定時間に亘って行うか、あるいは、ダブルタップ操作時に特定の音声又は振動パターンを所定時間又は設定時間に亘って発生させること。
【００４２】
タッチパネル上でダブルタップを行うには、設定された時間内にかつ設定された距離内で２回のタップ操作を行う必要がある。ユーザは、自分の行った操作がこの条件を満たし、装置側でダブルタップとして正しく認識されているかどうかが解らない場合があり得る。このような不具合は、ダブルタップ時の通知により対処することができ、例えば、ユーザは操作後の視覚的表示を見てダブルタップが正しく行われたか否かを知ることができる。
【００４３】
・ユーザが指先やスタイラス等でタッチパネルに入力を行う時に、ユーザの視点と、指先やスタイラスの位置関係に応じて視差が発生してしまうことに起因する弊害への対策
＝＞ドラッグ操作中に視差が発生しにくい視覚的表示（ポインタアイコン等）に変更するか又は該視覚的表示に代えて特定の音声又は振動パターンを発生させること。
【００４４】
例えば、スタイラスを用いてタッチパネル上でドラッグ操作を行っている時に、視差の為にユーザが意図した位置とは違うところでドラッグ操作を終了してしまう場合がある。このような不具合は、例えば、ドラッグ操作中の視覚的表示を変更して、視差の影響を緩和することで対処できる。
【００４５】
・ユーザがタッチパネル上でドラッグ操作を行おうとしたときに、ユーザの意に反して指先やスタイラスがタッチパネルからリリースされてしまい、ユーザが知らない内にドラッグ操作が終了してしまうことへの対策
＝＞ドラッグ終了を示す視覚的表示を所定時間又は設定時間に亘って行うか又は該視覚的表示に代えて特定の音声又は振動パターンを発生させること。
【００４６】
例えば、スタイラスでドラッグ操作を行っているときに、不意のリリースが生じた場合（誤って一瞬だけスタイラスがタッチパネルから離れてしまうような場合）、スタイラスの先がタッチパネルから離れた時点でリリースと認識されてしまい、ユーザは意図しないリリースが行われたことに気付かない場合がある。このような不具合は、ドラッグ操作の終了を明示的に通知することで対処できる。
【００４７】
図３は、操作に応じた通知処理について例示したフローチャート図であり、タッチパネルを用いた入力装置において、上記形態（１）を採用した場合を示している。
【００４８】
先ず、ステップＳ１では、手指やスタイラス等を用いたタッチパネルの操作が検出された後、次ステップＳ２で操作の種別が判別される。１回のタップとリリースの操作が行われた場合にはステップＳ３に進んでシングルタップ用の表示（マークやアイコン等）が所定時間に亘って行われ、ダブルタップ操作が行われた場合にはステップＳ４に進んで、ダブルタップ用の表示が所定時間に亘って行われる。
【００４９】
また、ドラッグ操作が行われた場合には、ステップＳ５に進み、ドラッグ操作中であるか又は該操作が終了したかを判断する。ドラッグ操作中の場合には、ステップＳ６に進み、特定のポインタ表示が行われるか又はスライド操作に伴う接触位置の変化に応じた軌跡が表示される。また、ドラッグ操作が終了時には、ステップＳ７に進んでその旨を示す表示が所定時間に亘って行われる。
【００５０】
上記のように、操作状況に応じた通知により操作結果等がユーザに直ちにフィードバックされて、操作ミスや意図しない操作等の低減に反映される。
【００５１】
尚、操作の種類に応じた通知のための表示や出力については、下記に示す形態が挙げられる。
【００５２】
・操作に関連付けられた視覚的表示又は音声若しくは振動パターンの種類や設定時間等が事前に規定されている構成形態
・ユーザ設定により視覚的表示又は音声若しくは振動パターンを任意に選択したり、設定時間等を変更できるようにした構成形態（ユーザカスタマイズ可能な形態）
【実施例】
【００５３】
以下に、本発明を携帯型コンピュータ機器に適用した実施の一例について説明する。
【００５４】
図４に示すように、情報処理装置１１の筐体１２は、横長の扁平な矩形状に形成され、その前面１３には画像表示手段を構成する表示デバイス（液晶式ディスプレイ等）１４が設けられている。
【００５５】
表示デバイス１４の表面１５にはタッチパネルが設けられており、ユーザが表示画面を見ながら操作面上の所望の位置を手指や専用ペン（スタイラス等）１６で指示することにより選択操作や入力操作等を行うことができる。尚、筐体１２の所定の位置には、各種の操作要素（釦やスイッチ、操作スティック等）１７、１７、…が付設されている。
【００５６】
図５は情報処理装置１１のハードウェア構成例を示したものである。
【００５７】
制御中枢であるＣＰＵ１０１は、バス（FSB:Front Side Bus）を介して制御装置１０２に接続されており、該制御装置１０２は、後述する制御装置やデバイスとともに前記した演算処理手段３を構成している。制御装置１０２はメインメモリ１０３の制御やグラフィック機能に係る制御を担当し、主に大量データを高速に処理する役目をもつ。ＡＴ互換機では「ノースブリッジ」と呼ばれ、本例に示す制御装置１０２には、ＣＰＵ１０１、メインメモリ１０３、制御装置１０４、液晶表示デバイス等のグラフィック表示装置１０５（上記表示手段５を構成する。）が接続されている。
【００５８】
制御装置１０４は、ユーザインターフェース用の制御デバイス等を主に制御するものであり、デバイスのバスリンク等を行う。ＡＴ互換機では「サウスブリッジ」と呼ばれ、「PCI to ISA bridge」では、バス（ＰＣＩ:Peripheral Component Interconnect bus）を低速なバス（ＩＳＡ:Industry Standard Architecture bus等）に橋渡しする役目をもち、ＩＳＡコントローラ、ＩＤＥ（Integrated Drive Electronics）コントローラ等の機能を有する。
【００５９】
バス（ＰＣＩバス）には、無線通信用デバイス１０６としての無線式ＬＡＮ（Ｗ−ＬＡＮ）や、外部メモリや外部機器との接続や制御を行うためのデバイス１０７が接続されている。外部メモリとしては、装置本体部への着脱が可能な半導体メモリ装置、例えば、スティック状記憶媒体のデータを読み書きするための制御用デバイス１０８や、カード状記憶媒体等の制御用デバイス１０９が設けられている。また、デバイス１０７は外部機器との接続用インターフェース（例えば、シリアルデバイスをコンピュータに追加するためのハードウェアの仕様を定義する「IEEE 1394」等）の機能を有する。
【００６０】
制御装置１０４には、ＬＡＮ（Local Area Network）接続用デバイス１１０が接続されるとともに、タッチパネル１１１（前記座標入力装置２を構成する。）がＵＳＢ（Universal Serial Bus）ポートに接続されている。
【００６１】
補助記憶装置１１２には、例えば、磁気ディスクや光学式ディスクを用いたドライブ装置が用いられるが、本例では、ハードディスク等の大容量記憶媒体を用いたドライブ装置が用いられ、制御装置１０４（内のＩＤＥコントローラ）に接続される。
【００６２】
また、制御装置１０４に接続されているオーディオ信号処理部（Audio Codec）１１３は、ディジタル−アナログ変換されたオーディオ信号を、例えば、スピーカ１１４やヘッドフォン１１５に送出して音声を出力する（例えば、前記形態（２）の適用において操作の種類に応じた音声出力により操作結果の確認等を行える。）。あるいは、マイクロフォンを備えた装置形態では、オーディオ信号処理部１１３において、音声入力データをディジタル化する処理等を行う。
【００６３】
記憶装置１１６には、コンピュータを動作させるための制御プログラム等が格納されており、ＬＰＣ（Low Pin Count：シリアルバス）等を用いて制御装置１０４、１１７に接続されている。
【００６４】
制御装置１１７は、各種信号の制御を行う汎用装置であり、例えば、「ＥＣ」（Embedded Controller：組み込みコントローラ）が用いられ、キーボードコントローラの機能や、システムの電源制御やシステムの付加機能等について制御を行う（携帯型機器等ではマイクロコンピュータが搭載されている。）。尚、記憶装置１１６内の制御プログラムを変更することによってコンピュータの制御方法を変えることができる。
【００６５】
スティック型ポインティングデバイス（トラックポイント等）を構成する操作デバイス１１８は、制御装置１１７のポート（ＰＳ／２（Personal System/2）ポート等）に接続されている。また、装置本体部に設けられた複数の操作要素１７を含む操作部１１９からの信号が制御装置１１７に対して送出される。装置本体部に外部機器を直接的に接続するための接続部１２０としては、ＵＳＢコネクタが設けられており、該コネクタは制御装置１０４に接続されている。
【００６６】
尚、図示しない電源部には、ＡＣアダプタからの商用電源電圧の供給、あるいは二次電池や燃料電池等を用いたバッテリパックからの直流電源供給が行われる。
【００６７】
図６は、タッチパネル１１１を用いた操作処理に関してソフトウェア構成の要部を示した概念図である。
【００６８】
タッチパネル１１１の操作情報は制御装置１０４に送出された上で、タッチパネルドライバ１８を介して常駐プログラム１９に送られる。この常駐プログラムは、タッチパネル１１１の操作状況に応じた通知処理等を担当しており、上位階層（ＯＳ）に対して操作メッセージ等を伝える。これにより、ＯＳから図示しないアプリケーションへと操作情報が伝達されて所定の処理が行われる。
【００６９】
常駐プログラム１９は、タッチパネル１１１に関する設定プログラム２０の情報を参照して、操作の種類や状況に応じたリアクションをユーザに呈示する。尚、常駐プログラム１９のもつ機能の一部又は全部をタッチパネルドライバ１８に含める実施形態も可能である。
【００７０】
図７は、常駐プログラム１９による処理例を示したフローチャート図であり、また、図８はシングルタップ操作及びダブルタップ操作時における表示例の説明図、図９はドラッグ操作における表示例の説明図である。尚、以下に示す例では前記形態（１）が採用されるものとする。
【００７１】
図７のステップＳＳ１にて、タッチパネル１１１に対するユーザ操作が行われた場合に、次ステップＳＳ２では、ユーザ操作がタップ操作であるか、ドラッグ操作であるかが判別される。
【００７２】
先ず、タップ操作について図７のステップＳＳ３乃至ＳＳ５及び図８を用いて説明する。
【００７３】
ステップＳＳ３では、シングルタップ用の表示（アイコンやマーク等）が行われる。つまり、図８（Ａ）に示すように、ユーザがタッチパネル１１１の操作面を最初にタップしたとき、これがシングルタップと認識され、その結果、図８（Ｂ）に示すように、シングルタップ用の表示子２１（本例では、白丸で示す。）が、予め設定された時間だけ表示される。
【００７４】
次ステップＳＳ４では、所定時間間隔内において所定距離範囲内で連続するタップ操作が行われたか否かを判断し、ダブルタップ操作が行われた場合にはステップＳＳ５に進んでダブルタップ用の表示に変更される。つまり、図８（Ｃ）に示すように、ユーザがタッチパネル１１１の操作面を再度タップしたときにダブルタップと認識され、その結果、図８（Ｄ）に示すように、ダブルタップ用の表示子２２（本例では、黒丸で示す。）が、予め設定された時間だけ表示される。尚、本例のように表示子の色を変更する方法の他、表示子の形状や大きさ等を変更したり、点滅等の方法で区別する方法が挙げられる。
【００７５】
このように、タッチパネルに対する入力が行われ、それがシングルタップと認識された場合には、指定位置（接触位置）において、シングルタップ用の表示子が、設定された期間だけ表示される。この処理により、ユーザが意図せずタッチパネルに触れてしまい、入力とみなされてしまった時に、その旨をユーザに対して明示的に表示させることが可能となる。
【００７６】
また、タップ操作が連続して行われ、該操作がダブルタップと認識された場合には、指定位置（接触位置）においてダブルタップ用の表示子へと変更され、設定された期間だけ表示される。この処理により、ユーザがダブルタップを意図して行った操作が、実際にダブルタップとして正しく認識されたか否かを、明示的な形で表示させることが可能になる。
【００７７】
次に、ドラッグ操作について図７のステップＳＳ６乃至ＳＳ９及び図９を用いて説明する。
【００７８】
ステップＳＳ６では、ドラッグ操作の開始位置にアイコンやマーク等が表示される。例えば、上記したシングルタップ用の表示子が画面上に表示される。つまり、図９（Ａ）に示すように、ユーザがタッチパネル１１１の操作面をタッチしてドラッグ操作を開始すると、表示子２１（本例では、白丸で示す。）が表示される。
【００７９】
そして、次ステップＳＳ７に示すドラッグ操作中には、操作面に対するスタイラス等の接触位置の変更に伴って移動される表示子がドラッグ専用の表示子２３（本例では「＋」印で示す。）に変更される。つまり、図９（Ｂ）に示す例では、操作開始点での表示子２１とは形状の異なる表示子２３が表示されるとともに、ドラッグ操作の軌跡２４が表示される。
【００８０】
図７のステップＳＳ８では、リリース操作が行われたか否かを判断し、リリース操作が行われた場合にはステップＳＳ９に進むが、そうでない場合にはステップＳＳ７に戻る。
【００８１】
ステップＳＳ９では、ユーザがリリースした位置、つまり、ドラッグ操作の終了位置において該終了を示す旨の表示子に変更される。つまり、図９（Ｃ）に示すように、ユーザがタッチパネル１１１の操作面から手指やスタイラス等を離したときに、ドラッグ操作の終了と認識され、その結果、図９（Ｄ）に示すように、終了位置において特定の表示子２５（本例では、二重丸で示す。）が、予め設定された時間だけ表示される。尚、本例ではドラッグ開始位置での表示子２１、軌跡２４、ドラッグ終了位置での表示子２５がドラッグ操作の開始時点から所定期間中に表示される。また、表示子の変更方法については、色や形状や大きさ等を変更したり、点滅等の方法で区別する方法が挙げられる。
【００８２】
このように、タッチパネルに対する入力や操作が行われ、それがドラッグとして認識された場合には、ドラッグが行われている間、ドラッグ専用の表示子へと変更する。そして、ドラッグ操作が終了した場合には、その旨の表示子へと変更するとともに、操作終了時点から設定された期間の間だけ、ドラッグの開始位置での表示子及びドラッグの軌跡を画面上に表示させることが好ましい。
【００８３】
尚、ドラッグ操作が行われている最中には、視差が生じ難い専用表示子（マウスポインタのアイコン等）への表示変更を行うことで、ドラッグ中の視差に起因する弊害を防止することが可能になる。
【００８４】
また、ドラッグ操作中にリリースが行われて、ドラッグ操作が終了したときには、ドラッグ処理終了時用の表示子に変更して、設定された期間の間だけ表示を変更させる。この処理により、ユーザが意図したとおりにドラッグ操作が行われたのか、あるいは意図しない箇所でドラッグ操作が終了していないかどうかを、ユーザに対して明示的にフィードバックすることが可能になる。
【００８５】
例えば、手書き入力等による文字操作中に、ユーザの意に反してドラッグ操作が一時的に中断されてしまったことを知らずに該操作を継続した場合においては、操作面上での接触位置に不連続性が発生するため（操作上の軌跡が途切れる。）、ユーザの意図する入力操作ができないことは勿論、ユーザはその理由を知る術がなく困惑する。上記のように、ドラッグ途中に生じたリリース時には、ドラッグ終了位置での表示子２５と過去の操作軌跡２４が明示され、後続のドラッグ操作の開始位置には表示子２１が明示される結果、例えば、図１０に示すように、意図しない操作中断が操作の切れ目としてユーザに対して視覚的に呈示される。即ち、ユーザの意図しない操作が行われたこと及びその理由についてユーザが容易に把握できる。
【００８６】
以上に説明した構成によれば、下記に示す利点が得られる。
【００８７】
・タッチパネルに対する入力操作時に、ユーザに対して操作結果の明示的なフィードバックを実現できること。
・ユーザの意図しない入力操作について、操作結果を直ぐに確認できること。
・ダブルタップ操作をユーザが意図した場合に、該操作が実際に正しく行われたかどうかを操作直後に確認できること。
・ドラッグ操作中における視差に起因する弊害を防止できること。
・ユーザが意図した通りにドラッグ操作が行われたか、あるいは意図しない箇所でドラッグ操作が中断されていないかを確認できること。
【図面の簡単な説明】
【００８８】
【図１】本発明の基本構成例を示す図である。
【図２】各種操作についての概念的な説明図である。
【図３】操作に応じた通知処理を例示したフローチャート図である。
【図４】図５乃至図１０とともに本発明に係る実施例について説明するための図であり、本図は装置の外観例を示す斜視図である。
【図５】装置のハードウェア構成例を示す図である。
【図６】操作処理に関するソフトウェア構成の要部を示した概念図である。
【図７】表示処理例を示したフローチャート図である。
【図８】シングルタップ操作及びダブルタップ操作の一例を（Ａ）乃至（Ｄ）に示す説明図である。
【図９】ドラッグ操作の一例を（Ａ）乃至（Ｄ）に示す説明図である。
【図１０】ドラッグ操作中に意図しないリリースが生じた場合の説明図である。
【符号の説明】
【００８９】
１…情報処理装置、２…座標入力装置、５…表示手段、６…音声出力手段、７…振動発生手段、１１…情報処理装置
【特許請求の範囲】
【請求項１】
ユーザ操作により指示される位置座標を検出するための座標入力装置及び該座標入力装置が一体化された表示手段を備えた情報処理装置において、
上記座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行う
ことを特徴とする情報処理装置。
【請求項２】
請求項１に記載した情報処理装置において、
上記座標入力装置の操作に応じた視覚的表示により通知する
ことを特徴とする情報処理装置。
【請求項３】
請求項１に記載した情報処理装置において、
音声出力手段を備え、上記座標入力装置の操作に応じた音声を出力して通知する
ことを特徴とする情報処理装置。
【請求項４】
請求項１に記載した情報処理装置において、
振動発生手段を備え、上記座標入力装置の操作に応じた振動を発生させて通知する
ことを特徴とする情報処理装置。
【請求項５】
ユーザ操作により指示される位置座標を検出するための座標入力装置及び該座標入力装置が一体化された表示手段を備えた情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行うステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項６】
請求項５に記載した情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作が行われたことを検出するステップと、該操作時における該座標入力装置への接触回数又は接触の持続状態に応じた視覚的表示の出力又は変更を指示するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項７】
請求項５に記載した情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作が行われたことを検出するステップと、該操作時における該座標入力装置への接触回数又は接触の持続状態に応じた音声の出力又は変更を指示するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項８】
請求項５に記載した情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作が行われたことを検出するステップと、該操作時における該座標入力装置への接触回数又は接触の持続状態に応じた振動の発生又は変更を指示するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項１】
ユーザ操作により指示される位置座標を検出するための座標入力装置及び該座標入力装置が一体化された表示手段を備えた情報処理装置において、
上記座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行う
ことを特徴とする情報処理装置。
【請求項２】
請求項１に記載した情報処理装置において、
上記座標入力装置の操作に応じた視覚的表示により通知する
ことを特徴とする情報処理装置。
【請求項３】
請求項１に記載した情報処理装置において、
音声出力手段を備え、上記座標入力装置の操作に応じた音声を出力して通知する
ことを特徴とする情報処理装置。
【請求項４】
請求項１に記載した情報処理装置において、
振動発生手段を備え、上記座標入力装置の操作に応じた振動を発生させて通知する
ことを特徴とする情報処理装置。
【請求項５】
ユーザ操作により指示される位置座標を検出するための座標入力装置及び該座標入力装置が一体化された表示手段を備えた情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作の種類に応じて、操作状態若しくは操作結果の確認又は誤操作防止のための通知を行うステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項６】
請求項５に記載した情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作が行われたことを検出するステップと、該操作時における該座標入力装置への接触回数又は接触の持続状態に応じた視覚的表示の出力又は変更を指示するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項７】
請求項５に記載した情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作が行われたことを検出するステップと、該操作時における該座標入力装置への接触回数又は接触の持続状態に応じた音声の出力又は変更を指示するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項８】
請求項５に記載した情報処理装置に用いるプログラムにおいて、
上記座標入力装置を用いた操作が行われたことを検出するステップと、該操作時における該座標入力装置への接触回数又は接触の持続状態に応じた振動の発生又は変更を指示するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−２４０３９（Ｐ２００６−２４０３９Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２０２３４９（Ｐ２００４−２０２３４９）
【出願日】平成１６年７月８日（２００４．７．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月８日（２００４．７．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]