情報処理装置、情報処理方法およびプログラム
【課題】ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をする。
【解決手段】情報処理装置10は、少なくとも2以上の操作体によって接触操作される接触操作部202と、接触操作部に接触された2以上の操作体の接触状態を検出する検出部204と、検出部により検出された2以上の操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部208と、検出部により検出される2以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出する相対位置算出部210と、相対位置算出部により算出された2以上の操作体の相対位置における、検出部により検出される2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部212と、を備える。
【解決手段】情報処理装置10は、少なくとも2以上の操作体によって接触操作される接触操作部202と、接触操作部に接触された2以上の操作体の接触状態を検出する検出部204と、検出部により検出された2以上の操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部208と、検出部により検出される2以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出する相対位置算出部210と、相対位置算出部により算出された2以上の操作体の相対位置における、検出部により検出される2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部212と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、タッチスクリーンを用いて任意の操作を行う情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサを設けるタッチスクリーン(タッチパネル)がある。タッチスクリーンによれば、表示部の画面に触れることで情報処理装置の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。
【0003】
タッチスクリーンを用いた入力において、ユーザの使い勝手を向上する技術が開示されている(例えば、特許文献1)。特許文献1によれば、タッチスクリーンを用いて線画の入力を受け付けるだけでなく、タッチスクリーンで検出された指によるジェスチャーに応じてメニュー画面の表示や表示画面の切り替えなどができることとなった。
【0004】
【特許文献1】特2005−339420号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、ユーザが所望の操作をするためには、ディスプレイを視認し、表示画面を確認して操作を行わなければならないという問題があった。例えば、鞄の中やポケットの中などでタッチスクリーンを用いて任意の操作をする場合には、ディスプレイを視認するために機器を鞄やポケットから取り出さなければならず不便であった。さらに、決められたジェスチャーにより機器を操作するためには、機器を一定の方向で把持しなければならなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、操作体によって接触操作される接触操作部と、接触操作部に接触された操作体の接触状態を検出する検出部と、検出部により検出された操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部と、2以上の操作体による追加接触操作により前記検出部により検出される前記2以上の操作体の接触位置と、座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出する相対位置算出部と、相対位置算出部により算出された2以上の操作体の相対位置における、検出部により検出される2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、を備える、情報処理装置が提供される。
【0007】
かかる構成によれば、接触操作部に接触した操作体の操作状態を検出して、当該操作体の操作方向に応じて接触操作部の座標系を決定する。そして、2以上の操作体による追加的な接触操作により検出部により検出される2以上の操作体の接触位置と、決定した座標系とから2以上の操作体の相対位置を算出し、当該相対位置における、2以上の操作体の接触状態に基づいて所定の操作コマンドを発行することができる。
【0008】
これにより、情報処理装置の筐体がどのような向きにあったとしても、操作体の操作方向を判別することにより、筐体の向きを気にすることなくユーザは所望の操作をすることが可能となる。したがって、ユーザは、情報処理装置の筐体やディスプレイを視認せずとも、タッチスクリーンパネルを用いて所望の操作をすることができる。例えば、鞄の中やポケットの中に情報処理装置が収納されている場合でも、装置を鞄やポケットから取り出さずとも所望の操作が可能となる。
【0009】
また、上記座標系決定部は、検出部により検出された操作体の操作方向と平行となる方向をy軸とし、操作方向と垂直となる方向をx軸として接触操作部の座標系を決定するようにしてもよい。
【0010】
また、上記座標系決定部は、検出部により、2以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、接触操作部の座標系を決定するようにしてもよい。
【0011】
上記相対位置算出部は、座標系決定部により接触操作部の座標系が決定された後に、2以上の操作体による追加接触操作により検出部により検出された2以上の操作体の接触位置から2以上の操作体の相対位置を算出するようにしてもよい。
【0012】
上記情報処理装置の筐体の垂直方向をy軸とし、筐体の水平方向をx軸とする第1のモードと、操作体の操作方向と平行となる方向をy軸とし、操作方向と垂直となる方向をx軸とする第2のモードと、のいずれかを選択するモード選択部を備え、モード選択部は、検出部により、2以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、第2のモードを選択するようにしてもよい。
【0013】
モード選択部により第2のモードが選択された場合に、座標系決定部は、2以上の操作体の操作方向に応じて接触操作部の座標系を決定し、相対位置算出部は、モード選択部により第2のモードが選択された後に検出部により検出される2以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出するようにしてもよい。また、検出部は、2以上の操作体の接触順および接触回数を含む接触状態を検出し、コマンド発行部は、2以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行するようにしてもよい。
【0014】
上記課題を解決するために、本発明の別の観点によれば、操作体によって接触操作される接触操作部に接触された操作体の接触状態を検出するステップと、検出された操作体の操作方向に応じて接触操作部の座標系を決定するステップと、2以上の操作体による追加接触操作により検出された2以上の操作体の接触位置と、座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出するステップと、算出された2以上の操作体の相対位置における、検出された2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するステップと、を含む、情報処理方法が提供される。
【0015】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、操作体によって接触操作される接触操作部と、接触操作部に接触された操作体の接触状態を検出する検出部と、検出部により検出された操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部と、2以上の操作体による追加接触操作により検出される2以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出する相対位置算出部と、相対位置算出部により算出された2以上の操作体の相対位置における、検出部により検出される2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、を備える、情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【0016】
以上説明したように本発明によれば、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることができる。
【発明を実施するための最良の形態】
【0017】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0018】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔1〕本実施形態の目的
〔2〕情報処理装置のハードウェア構成
〔3〕情報処理装置の機能構成
〔4〕情報処理装置の動作
〔5〕接触操作とコマンドの例
【0019】
〔1〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサを設けるタッチスクリーン(タッチパネル)がある。タッチスクリーンによれば、表示部の画面に触れることで情報処理装置の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。
【0020】
近年、タッチスクリーンを用いて線画の入力を受け付けるだけでなく、タッチスクリーンで検出された指によるジェスチャーに応じてメニュー画面の表示や表示画面の切り替えなどができることとなっている。これにより、タッチスクリーンを用いた入力において、ユーザの使い勝手を向上することが可能となった。
【0021】
従来、ハードウェアボタンを備えた機器では、鞄の中やポケットの中などでも、ロックを解除した後に、当該ハードウェアボタンを探ることにより所望の操作をすることが可能であった。このような操作は以下の手順により行われていた。
(1)機器を一定の方向で把持する。
(2)ロック解除ボタンを探りロック解除を行う。
(3)機器に備わるハードウェアボタンを探す。
(4)ハードウェアボタンの押下等により所望の操作を行う。
【0022】
上記(1)〜(4)の操作は、音楽機器における再生、早送り、曲送り、巻き戻し、曲戻し(以下、基本機能とも称する。)などには、通常、各機能にハードウェアボタンが割り当てられていた。このため、卓上においても機器を視認することなく操作することが可能であった。以下、このような機器を視認せずに行う操作をブラインド操作と称する。ブラインド操作では、デバイスを把持する向きを一定にしなければならず、また、指でボタンを探すのも困難であった。
【0023】
一方、タッチスクリーンを用いた機器では、ディスプレイを視認し、ボタンの位置を確認して操作を行う必要がある。このため、上記のようなブラインド操作を行うことは困難であった。また、頻繁に使う基本機能に対しても、機器を把持し、ディスプレイを視認し、ロックを解除した後に、再度ディスプレイを視認して操作しなければならない。したがって、タッチスクリーンを用いた機器においては、基本機能を利用する際にも、ディスプレイを視認しなければならず、ユーザ操作に負担がかかるという問題があった。
【0024】
上記問題を解決するために、例えば、機器とは別の小型操作装置を取り付けて、基本機能を当該小型操作装置で行うことが提案されている。しかしながら、このような小型操作装置を使用する際には、まず、装置を服などに取り付け、かつ、小型操作装置を視認して操作する必要がある。また、このような小型操作装置を作製するコストもかかってしまう。
【0025】
また、タッチスクリーンを用いたデスクトップサイズの機器、もしくは機器を片手で把持し、もう片方の手で操作するようなデバイス機器において、複雑なジェスチャーを入力することにより、再生・停止などの操作を行うものも提案されている。しかし、片手で操作するデバイス機器では、当該デバイス機器を把持しながら操作を行う必要がある。そのため、指の稼働域が小さく、複雑なジェスチャーを入力することは難しい。
【0026】
上記のように、タッチスクリーンを用いた操作方法は数多く提案されているが、これらの操作は機器自体やディスプレイを見ながら行うことが前提である。また、機器に対する操作方向を認識しながら、各操作を行う必要がある。そのため、デバイスに対する操作の向きが変わると、ユーザにより操作された内容を誤認識してしまうことがあった。したがって、機器の任意の向きで把持しながら操作を行うことは難しかった。
【0027】
例えば、鞄の中やポケットの中などでタッチスクリーンを用いて任意の操作をする場合には、ディスプレイを視認するために機器を鞄やポケットから取り出さなければならず不便であった。さらに、決められたジェスチャーにより機器を操作するためには、機器を一定の方向で把持しなければならなかった。
【0028】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置10が創作されるに至った。本実施形態にかかる情報処理装置10によれば、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることが可能となる。
【0029】
本実施形態では、情報処理装置10として、図1に示したような小型のオーディオプレイヤーやメディアプレイヤー、PDA(personal digitl assistant)、携帯電話などを例示して説明するが、かかる例に限定されず、パーソナルコンピュータなどに適用することも可能である。また、ディスプレイ等の表示装置と一体の装置として構成したが、かかる例に限定されず。情報処理装置10と表示装置とを別体の装置として構成するようにしてもよい。
【0030】
また、図1の把持例502および把持例504に示したように、ユーザは、情報処理装置10を片手で把持しながら2本以上の指でタッチスクリーンに触れることができる。把持例502と把持例504とにより、ユーザによる把持の仕方によって指の向きが変わっていることがわかる。すなわち、把持例502では、ユーザの指の向きは情報処理装置10の筐体の垂直方向と平行であるが、把持例504では、ユーザの指の向きは情報処理装置10の筐体の垂直方向でも平行方向でもない。
【0031】
情報処理装置10が鞄やポケットに入っていた場合に、ユーザは、情報処理装置10を把持例502のように持ったり、把持例504のように持ったりすることとなる。情報処理装置10を一定の方向で把持しなければならないとすると、鞄やポケットから情報処理装置10を取り出して、筐体の方向やディスプレイを確認しなければならない。しかし、本実施形態にかかる情報処理装置10によれば、ユーザが情報処理装置10を一定の方向で把持していなくとも、タッチスクリーンパネルを用いて所望の操作をすることが可能となる。
【0032】
〔2〕情報処理装置のハードウェア構成
次に、図2に基づいて、本実施形態にかかる情報処理装置10のハードウェア構成について説明する。図2は、本実施形態にかかる情報処理装置10のハードウェア構成を示すブロック図である。
【0033】
図2に示したように、情報処理装置10は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、ホストバス104と、ブリッジ105と、外部バス106と、インターフェイス107と、入力装置108と、出力装置109と、ストレージ装置(HDD)110と、ドライブ111と、通信装置112とを備える。
【0034】
CPU101は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバスなどから構成されるホストバス104により相互に接続されている。
【0035】
ホストバス104は、ブリッジ105を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス106に接続されている。なお、必ずしもホストバス104、ブリッジ105および外部バス106を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0036】
入力装置108は、例えば、マウス、キーボード、タッチスクリーン、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、該入力装置108を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0037】
本実施形態では、主に、タッチスクリーンを用いてユーザの指などの操作体を検知することで、ユーザの操作を受け付ける。タッチスクリーンは、表示と入力の2つの機能を備えている。本実施形態にかかるタッチスクリーンは、ユーザの指等の操作による線画の入力を受け付けるだけでなく、2以上のユーザの指によるジェスチャーを検出することもできる。すなわち、当該タッチスクリーンは2点以上の複数の接触点を検出することが可能な入力装置である。接触点の検出方法としては、透明電極を構成する金属薄膜を利用した抵抗膜方式、指先と導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式など、ディスプレイにおける操作体の位置情報を検出できる方法であればよい。
【0038】
出力装置109は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置109は、例えば、再生されたコンテンツを出力する。具体的には、表示装置はメニュー画面や再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【0039】
ストレージ装置110は、本実施形態にかかる情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置110は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置110は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置110は、ハードディスクを駆動し、CPU101が実行するプログラムや各種データを格納する。
【0040】
ドライブ111は、記憶媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ111は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体120に記録されている情報を読み出して、RAM103に出力する。
【0041】
通信装置112は、例えば、通信網121に接続するための通信デバイス等で構成された通信インターフェイスである。また、通信装置112は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。この通信装置112は、外部機器との間で、通信網121を介して、各種データを送受信する。
【0042】
〔3〕情報処理装置の機能構成
以上、図2を参照して本実施形態にかかる情報処理装置10のハードウェア構成を説明した。次に、図3を参照して、本実施形態にかかる情報処理装置10の機能を説明する。
【0043】
図3は、本実施形態にかかる情報処理装置10の機能構成を示したブロック図である。図3に示したように、本実施形態にかかる情報処理装置10は、主に、接触操作部202、検出部204、モード選択部206、座標系決定部208、相対位置算出部210、コマンド発行部212などを備える。
【0044】
接触操作部202および検出部204は、上記したタッチスクリーンの一例である。接触操作部202は、タッチスクリーンの表示部であり、少なくとも2以上の操作体によって接触操作される。2以上の操作体としては、ユーザの指や手、スタイラスなどを例示できるが、以下では、ユーザの2本以上の指を操作体の例として説明する。
【0045】
検出部204は、接触操作部202に接触された2以上の操作体の接触状態を検出する機能を有する。検出部204は、検出した2以上の操作体の接触状態をモード選択部206または座標系決定部208に提供する。検出部204により検出される2以上の操作体の接触状態とは、2本以上の操作体の接触順、接触位置、接触回数、接触時間等である。ここで、図4を参照して、検出部204により検出される2以上の操作体の接触状態について説明する。
【0046】
図4は、検出部204により検出される2以上の操作体の接触状態について説明する説明図である。図4に示したように、検出部204は、情報処理装置10の筐体の垂直方向をy軸とし、該筐体の水平方向をx軸として、操作体の接触点の位置および接触回数(接触時間)などを取得することにより、データ配列402を取得する。データ配列402の数値は接触体の接触強さを表し、数値が大きい程接触強さが強いことを表す。このようなデータを、例えば1秒間に20回程度取得することにより、接触体の接触本数や接触中心等を含む接触状態を検出することが可能となる。
【0047】
図3に戻り、検出部204により検出結果を提供されたモード選択部206は、検出された接触状態に基づいて、ブラインドモードとするか通常モードとするか否かのモード選択を行う。ブラインドモードとは、ユーザが情報処理装置10の筐体やディスプレイを視認せずに操作を行うモードである。具体的には、2以上の操作体の操作方向と平行となる方向をy軸とし、操作方向と垂直となる方向をx軸とするモードであって、本発明の第2のモードの一例である。
【0048】
また、通常モードとは、ユーザが情報処理装置10の筐体やディスプレイを視認しながら操作を行うモードである。具体的には、情報処理装置10の筐体の垂直方向をy軸とし、筐体の水平方向をx軸とするモードであって、本発明の第1のモードの一例である。モード選択部206は、検出部204による検出の結果、2以上の操作体が所定の間隔で接触された状態で、接触操作部202上を所定距離移動したことが検出された場合に、ブラインドモードであると判定することができる。モード選択部206は、通常モード(第1のモード)かブラインドモード(第2のモード)か否かを座標系決定部208に通知する。
【0049】
座標系決定部208は、検出部204により検出された2以上の操作体の操作方向に応じて、接触操作部202の座標系を決定する機能を有する。また、モード選択部206によりブラインドモードであるとの通知を受けた場合に、接触操作部202の座標系を決定するようにしてもよい。図5を参照して、座標系決定部208による、接触操作部202の座標系の決定について説明する。
【0050】
図5は、座標系決定部208による接触操作部202の座標系の決定について説明する説明図である。図5の接触状態506に示したように、ユーザの2本の指である2以上の操作体20は、接触方向30に示した方向に接触操作部202を移動している。座標系決定部208は、操作体20の操作方向30と平行となる方向をy軸とし、操作方向30と垂直となる方向をx軸として座標系を決定する。
【0051】
図3に戻り、相対位置算出部210は、検出部204により検出された2以上の操作体の操作位置と、座標系決定部208により決定された接触操作部202の座標系とから、2以上の操作体の相対位置を算出する機能を有する。相対位置算出部210は、座標系決定部208により接触操作部202の座標系が決定された後に、検出部204により検出された2以上の操作体の接触位置から2以上の操作体の相対位置を算出するようにしてもよい。さらに、相対位置算出部210は、モード選択部206によりブラインドモード(第2のモード)が選択された後に、検出部204により検出される2以上の操作体の接触位置と座標系決定部208により決定された接触操作部202の座標系とから、2以上の操作体の相対位置を算出するようにしてもよい。
【0052】
コマンド発行部212は、相対位置算出部210により算出された2以上の操作体の相対位置における、検出部204により検出された2以上の操作体の接触状態に基づいて所定の操作コマンドを発行する機能を有する。コマンド発行部212は、2以上の操作体の相対位置と該操作体の接触状態との組み合わせにより、情報処理装置10の所定の機能を操作するためのコマンドを特定する。情報処理装置10の所定の機能とは、例えば、情報処理装置10が音楽再生機能を有する装置であった場合に、音楽の再生・停止、早送り・巻き戻し、曲送り・曲戻しなどの機能である。コマンド発行部212により発行されるコマンドについては、後で詳細に説明する。
【0053】
〔4〕情報処理装置の動作
以上、情報処理装置10の機能構成について説明した。次に、図6〜図8を参照して、情報処理装置10の情報処理方法について説明する。図6は、情報処理装置10の情報処理方法について説明するフローチャートである。
【0054】
まず、検出部204は、2本以上の操作体の接触状態を検出する(S102)。そして、モード選択部206は、通常モードかブラインドモードか否かを判定する(S104)。ここで、図7を参照して、図6のステップS104におけるブラインドモードか否かの判定処理について詳細に説明する。図7は、ブラインドモードの判定処理を説明するフローチャートである。図7では、操作体が2本である場合について説明する。
【0055】
図7に示したように、まず、検出部204は、2本の操作体の2点の接触点が接触操作部202に接しているか否かを判定する(S202)。ステップS202において、2本の操作体の2点の接触点が接触操作部202に接していないと判定された場合には、現在のモードを維持する(S216)。
【0056】
ステップS202において2本の操作体の2点の接触点が接触操作部202に接していると判定された場合には、2点の接触点のドラッグ距離を算出する(S204)。ステップS204において算出されるドラッグ距離とは、接触操作部202における2本の操作体の移動距離である。そして、ステップS204において算出されたドラッグ距離が閾値以上か否かを判定する(S206)。
【0057】
ステップS206における閾値は、例えば、30mm程度を例示できるが、該閾値は、情報処理装置100の筐体のサイズに応じて変化するようにしてもよい。ステップS206においてドラッグ距離が閾値以上であった場合には、ステップS208以下の処理によってモードの切り替えを行う。すなわち、2本の操作体のドラッグ距離が閾値以上であった場合には、2本の操作体の操作がモード切り替え指示であることを表す。モード切り替え指示とは、通常モードであった場合にはブラインドモードに切り替え、ブラインドモードであった場合には通常モードに切り換えることをいう。
【0058】
ステップS206において、ドラッグ距離が閾値以上であった場合には、現在のモードがブラインドモードか否かを判定する(S208)。ステップS206において、ドラッグ距離が閾値以下であった場合には、現在のモードを維持する(S216)。
【0059】
ステップS208において、現在のモードがブラインドモードであると判定された場合には、通常モードに切り換えるため通常モード指令とする(S214)。一方、ステップS208において、現在のモードがブラインドモードではないと判定された場合には、ブラインドモードに切り換えるため、ブラインドモードの座標系基底を算出する(S210)。そして、ブラインド入力モードを指令し、接触操作部202の座標系を基底する(S212)。
【0060】
図6に戻り、ステップS104において、モード選択部206は、ステップS102において検出された接触状態で、2以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、ブラインドモードであると判定する。
【0061】
ステップS104において、ブラインドモードであると判定された場合に、座標系決定部208は、接触操作部202の座標系を決定する(S106)。そして、相対位置算出部210は、ステップS106において決定された接触操作部202の座標系と、2以上の操作体の接触位置とから、2以上の操作体の相対位置を算出する(S108)。ステップS104において、ブラインドモードではないと判定された場合、すなわち、通常モードであると判定された場合には、通常通り、筐体の垂直方向をy軸とし、水平方向をx軸として、2以上の操作体の接触位置を算出する(S110)。
【0062】
その後、検出部204は、2以上の操作体の接触状態を検出する(S112)。そして、コマンド発行部212は、ステップS108に算出された相対位置における、ステップS112において検出された接触状態に基づいて所定の操作コマンドを発行する(S114)。ステップS104において通常モードであると判定された場合には、ステップS110において算出された位置における、接触状態に基づいて所定の操作コマンドを発行する(S114)。
【0063】
ここで、図8を参照して、ステップS112における操作体の接触状態の検出およびコマンドの発行について詳細に説明する。図8は、操作体の接触状態の検出処理からコマンド発行処理までの流れを示すフローチャートである。図8に示したように、まず、操作体が接触操作部202に接しているか否かを判定する(S302)。ステップS302において、接触体が接触操作部202に接していると判定された場合には、接触体の本数が変わったか否かを判定する(S304)。ステップS302において、接触体が接触操作部202に接していないと判定された場合には、コマンドは出力されない(S312)。
【0064】
ステップS304において、接触体の本数が変わっていないと判定された場合には、操作履歴データ402の操作履歴を更新する(S306)。
【0065】
そして、ステップS304において、接触操作部202に接触している本数が変わったと判定された場合には、操作履歴データに基づいてコマンドを認識する(S308)。ステップS208において認識したコマンドを出力する(S310)。
【0066】
ここで、図9を参照して、ステップS308におけるコマンド認識について説明する。図9は、操作履歴データ402について説明する説明図である。図9に示したように、操作履歴データ例410では、人差し指(1本目の操作体)のみが接触した時間を開始1としている。その後、一定時間経過後に中指(2本目の操作体)が接触し、中指の接触時間が一定時間以下の時点を開始2としている。操作履歴データ例410では、開始2の時点で曲送りのコマンドを発行する。すなわち、指の接触本数が1→2→1と変化した場合に曲送りのコマンドを発行することとなる。
【0067】
次に、操作履歴データ例412について説明する。操作履歴データ例412では、人差し指(1本目の操作体)が接触した時間を開始1としている。その後、一定時間経過後に中指(2本目の操作体)が接触し、中指の接触時間が一定時間以下の時点を開始2としている。操作履歴例412では、開始2の時点以降も一定時間中指が接触している場合には、接触している間早送りのコマンドを発行する。
【0068】
〔5〕接触操作とコマンドの例
以上、情報処理装置10の情報処理方法について説明した。次に、図10〜図16を参照して、コマンド発行部212により発行されるコマンドの例について説明する。図10は、2本の接触操作体による接触操作例について説明する説明図である。図10では、2本の接触操作体を、人差し指と中指として説明する。接触操作例21は、人差し指で接触面を上下にフリック・ドラッグし、中指は接触していない状態を表す。ここでフリック・ドラッグとは、指で接触面をなぞってはじく行為である。
【0069】
接触操作例22は、人差し指および中指で接触面を同時にタップする状態を表す。ここでタップとは、指で接触面を軽く叩く行為である。接触操作例23は、人差し指、中指の順で接触面をタップする状態を表す。接触操作例24は、人差し指、中指で接触面を同時にダブルタップする状態を表す。
【0070】
次に、図11を参照して、2本指による接触操作例について説明する。図11は、2本指の接触操作例を説明する説明図である。図11に示したように、接触操作例25は、2本指で接触面をフリック・ドラッグする状態を表している。例えば、人差し指と中指で交互に上下してフリック・ドラッグしたり、中指は接触した状態で人差し指のみをフリック・ドラッグしたりする。また、中指と人差し指を同時にフリック・ドラッグしてもよい。
【0071】
接触操作例26は、2本指でタップのみする状態を表している。例えば、人差し指と中指で同時にタップしたり、順番にタップしたりする。また、接触操作例27は、人差し指または中指のいずれかの指で接触面をタップとフリック・ドラッグする状態を表している。例えば、人差し指のみまたは中指のみでフリック・ドラッグしたり、人差し指のみまたは中指のみでタップしたりする。
【0072】
次に、図12を参照して、3本指による接触操作例について説明する。図12は、3本指の接触操作例を説明する説明図である。図12に示したように、接触操作例28は、人差し指、中指、薬指の3本指のいずれか2本の指で接触面をフリック・ドラッグする状態を表している。例えば、中指のフリック・ドラッグと薬指のタップを同時に行ったり、中指と薬指で同時にフリック・ドラッグを行ったりする。
【0073】
接触操作例29は、3本指のいずれか2本の指で接触面をタップする状態を表している。例えば、人差し指と薬指で同時にタップしたり、中指と薬指で順番にタップしたりする。接触例30は、3本指のいずれかの1本の指で接触面をフリック・ドラッグしたりタップしたりする状態を表している。例えば、人差し指のみでタップしたり、薬指のみでフリック・ドラッグしたりする。
【0074】
接触操作例31は、3本指のいずれかの指でフリック・ドラッグ操作が行われる状態を表している。例えば、中指と薬指は接触面に接触したままで、人差し指のみフリック・ドラッグしたり、人差し指は接触したままで中指と薬指をフリック・ドラッグしたりする。接触操作例32および接触操作例33は、3本指で接触面をタップする状態を表している。例えば、人差し指と中指を同時にタップした後に薬指をタップしたり、3本の指を順にタップしたりする。
【0075】
次に、図13を参照して、2本指でモード切り替え等を行う場合の接触操作例について説明する。図13に示したように、接触操作例41は、2本指で同時にフリック・ドラッグしてモードを切り替える状態を表している。例えば、2本指を上から下にフリック・ドラッグした場合にブラインドモードをオンにしたり、2本指を下から上にフリック・ドラッグした場合にブラインドモードをオフにしたりすることができる。
【0076】
接触操作例42は、2本指のいずれかの指で接触面をダブルタップしたり、同時にタップしたりすることにより、音楽コンテンツの再生・停止を行う状態を表している。例えば、人差し指のみでダブルタップすることにより音楽を再生し、人差し指と中指で同時にタップしたりすることにより音楽コンテンツの再生を停止する。
【0077】
接触操作例43および接触操作例44は、2本指で順に接触面をタップすることにより、音楽コンテンツの早送り・曲送りや巻戻し・曲戻しを行う状態を表している。例えば、人差し指、中指の順にタップした場合に早送りや曲送りを行い、中指、人差し指の順にタップした場合に巻戻しや曲戻しを行う。接触操作例45は、2本指のいずれかの指で接触面をフリック・ドラッグすることにより、ボリュームを大きくしたり小さくしたりする状態を表している。例えば、人差し指を下から上にフリック・ドラッグしてボリュームを大きくしたり、人差し指を上から下にフリック・ドラッグしてボリュームを小さくしたりする。
【0078】
次に、図14を参照して、3本指でモード切り替え等を行う場合の接触操作例について説明する。図14に示したように、接触操作例46は、3本指で同時にフリック・ドラッグしてモードを切り替える状態を表している。例えば、3本指を上から下にフリック・ドラッグした場合にブラインドモードをオンにしたり、3本指を下から上にフリック・ドラッグした場合にブラインドモードをオフにしたりすることができる。
【0079】
接触操作例47は、3本指を同時にまたは順に接触面をダブルタップすることにより、音楽コンテンツの再生・停止を行う状態を表している。例えば、人差し指と薬指を同時にタップした後に中指をタップすることにより音楽を再生し、中指をタップした後に人差し指と薬指を同時にタップすることにより音楽コンテンツの再生を停止する。
【0080】
接触操作例48および接触操作例49は、3本指で同時にまたは順に接触面をタップすることにより、音楽コンテンツの早送り・曲送りや巻戻し・曲戻しを行う状態を表している。例えば、人差し指と中指を同時にタップした後に薬指をタップした場合に早送りや曲送りを行う。また、中指と薬指を同時にタップした後に人差し指をタップした場合に巻戻しや曲戻しを行う。接触操作例50は、3本指のいずれかの指で接触面をフリック・ドラッグすることにより、ボリュームを大きくしたり小さくしたりする状態を表している。例えば、人差し指と薬指は接した状態で中指を下から上にフリック・ドラッグしてボリュームを大きくしたり、中指を上から下にフリック・ドラッグしてボリュームを小さくしたりする。
【0081】
次に、図15および図16を参照して、情報処理装置10が、通常の音楽コンテンツを再生するアプリケーション(以下、音楽コンテンツ再生アプリと称する。)のユーザインタフェースと同様の階層構造を有する場合の接触操作について説明する。以下では、2本または3本の指により階層の選択範囲を変更したり階層を上下したりする場合について説明する。
【0082】
図15は、コンテンツが、階層構造により格納されている場合について説明する説明図である。図15に示したように、階層が上から、ジャンル(Genre)、アーティスト(Artist)、アルバム(Album)、ソング(Song)、プレイリスト(Playlist)となっている。ユーザは、2本指または3本指で接触操作を行うことによって、選択範囲を変更したり、上の階層へ移動したり下の階層へ移動したりすることができる。
【0083】
図16を参照して、選択対象を変更したり、階層を移動したりする場合の接触操作例について説明する。図16の接触操作例52〜54は、2本指を利用して接触操作を行う場合について説明する説明図である。接触操作例52は、2本指を順に接触することで選択対象を変更する状態を表している。例えば、人差し指を接触した後に中指を接触し続けて選択対象をひとつ送りしたり、人差し指を接触した後に中指をタップして選択対象を順に送ったりしたりする。
【0084】
接触操作例53は、2本の指を同時にタップすることにより上の階層に移動する状態を表している。例えば、人差し指と中指を同時にタップして上の階層へ移動する。接触操作例54は、2本の指のいずれかをダブルタップすることにより下の階層に移動する状態を表している。例えば、人差し指のみをダブルタップして下の階層へ移動する。
【0085】
図16の接触操作例55〜57は、3本指を利用して接触操作を行う場合について説明する説明図である。接触操作例55は、3本指を同時にまたは順に接触することで選択対象を変更する状態を表している。例えば、人差し指と中指を同時に接触した後に薬指を接触し続けて選択対象をひとつ送りしたり、中指と薬指を接触した後に人差し指でタップして選択対象を順に送ったりしたりする。
【0086】
接触操作例56は、3本の指をダブルタップしたりタップしたりすることにより上の階層に移動する状態を表している。例えば、3本の指を同時に接触させて、人差し指をダブルタップし、中指と薬指をタップして上の階層に移動する。接触操作例57は、3本の指をダブルタップしたりタップしたりすることにより下の階層に移動する状態を表している。例えば、3本の指を同時に接触させて、人差し指と中指をタップし、薬指をダブルタップしたりすることにより下の階層に移動する。以上、接触操作とコマンドの例について説明した。
【0087】
本実施形態にかかる情報処理装置10によれば、接触操作部202に接触した2以上の操作体の操作状態を検出して、当該2以上の操作体の操作方向に応じて接触操作部202の座標系を決定する。そして、2以上の操作体の接触位置と決定した座標系とから2以上の操作体の相対位置を算出し、当該相対位置における、2以上の操作体の接触状態に基づいて上記したような種々の操作コマンドを発行することができる。
【0088】
これにより、情報処理装置10の筐体がどのような向きにあったとしても、操作体の操作方向を判別することにより、筐体の向きを気にすることなくユーザは所望の操作をすることが可能となる。したがって、ユーザは、情報処理装置10の筐体やディスプレイを視認せずとも、タッチスクリーンパネルを用いて所望の操作をすることができる。例えば、鞄の中やポケットの中に情報処理装置10が収納されている場合でも、装置を鞄やポケットから取り出さずとも所望の操作が可能となる。
【0089】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0090】
例えば、上記実施形態では、ユーザが情報処理装置10の筐体やディスプレイを視認していない場合でも所望の操作ができる場合について説明したが、本発明はかかる例に限定されない。例えば、音楽コンテンツを再生するアプリケーション(以下音楽コンテンツ再生アプリと称する。)とは別のアプリケーションを起動している場合に、表示されているアプリケーションの切り替えを行うことなく音楽コンテンツの再生や停止等の操作をするようにしてもよい。すなわち、音楽コンテンツ再生アプリとは別のアプリケーションが起動しているときに、上記したような操作体の特定の操作によりブラインドモードに切り替えて操作体の操作を検出する。ブラインドモードに切り替えて操作体の操作を検出することにより、音楽コンテンツ再生アプリとは別のアプリケーションを起動させたまま、音楽コンテンツの再生や停止等が可能となる。
【図面の簡単な説明】
【0091】
【図1】本発明の一実施形態にかかる情報処理装置の把持例を示す断面図である。
【図2】同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。
【図3】同実施形態にかかる情報処理装置の機能構成を示したブロック図である。
【図4】同実施形態にかかる検出される2以上の操作体の接触状態について説明する説明図である。
【図5】同実施形態にかかる座標系決定部による接触操作部の座標系の決定について説明する説明図である。
【図6】同実施形態にかかる情報処理方法について説明するフローチャートである。
【図7】同実施形態にかかるブラインドモードの判定処理を説明するフローチャートである。
【図8】同実施形態にかかる操作体の接触状態の検出処理からコマンド発行処理までの流れを示すフローチャートである。
【図9】同実施形態にかかる操作履歴について説明する説明図である。
【図10】同実施形態にかかる2本の接触操作体による接触操作例について説明する説明図である。
【図11】同実施形態にかかる2本指の接触操作例を説明する説明図である。
【図12】同実施形態にかかる3本指の接触操作例を説明する説明図である。
【図13】同実施形態にかかる2本指でモード切り替え等を行う場合の接触操作例について説明する説明図である。
【図14】同実施形態にかかる3本指でモード切り替え等を行う場合の接触操作例について説明する説明図である。
【図15】同実施形態にかかる情報処理装置10が有する階層構造について説明する説明図である。
【図16】同実施形態にかかる階層構造を有する場合の接触操作について説明する説明図である。
【符号の説明】
【0092】
10 情報処理装置
202 接触操作部
204 検出部
206 モード選択部
208 座標系決定部
210 相対位置算出部
212 コマンド発行部
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、タッチスクリーンを用いて任意の操作を行う情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサを設けるタッチスクリーン(タッチパネル)がある。タッチスクリーンによれば、表示部の画面に触れることで情報処理装置の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。
【0003】
タッチスクリーンを用いた入力において、ユーザの使い勝手を向上する技術が開示されている(例えば、特許文献1)。特許文献1によれば、タッチスクリーンを用いて線画の入力を受け付けるだけでなく、タッチスクリーンで検出された指によるジェスチャーに応じてメニュー画面の表示や表示画面の切り替えなどができることとなった。
【0004】
【特許文献1】特2005−339420号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、ユーザが所望の操作をするためには、ディスプレイを視認し、表示画面を確認して操作を行わなければならないという問題があった。例えば、鞄の中やポケットの中などでタッチスクリーンを用いて任意の操作をする場合には、ディスプレイを視認するために機器を鞄やポケットから取り出さなければならず不便であった。さらに、決められたジェスチャーにより機器を操作するためには、機器を一定の方向で把持しなければならなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、操作体によって接触操作される接触操作部と、接触操作部に接触された操作体の接触状態を検出する検出部と、検出部により検出された操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部と、2以上の操作体による追加接触操作により前記検出部により検出される前記2以上の操作体の接触位置と、座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出する相対位置算出部と、相対位置算出部により算出された2以上の操作体の相対位置における、検出部により検出される2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、を備える、情報処理装置が提供される。
【0007】
かかる構成によれば、接触操作部に接触した操作体の操作状態を検出して、当該操作体の操作方向に応じて接触操作部の座標系を決定する。そして、2以上の操作体による追加的な接触操作により検出部により検出される2以上の操作体の接触位置と、決定した座標系とから2以上の操作体の相対位置を算出し、当該相対位置における、2以上の操作体の接触状態に基づいて所定の操作コマンドを発行することができる。
【0008】
これにより、情報処理装置の筐体がどのような向きにあったとしても、操作体の操作方向を判別することにより、筐体の向きを気にすることなくユーザは所望の操作をすることが可能となる。したがって、ユーザは、情報処理装置の筐体やディスプレイを視認せずとも、タッチスクリーンパネルを用いて所望の操作をすることができる。例えば、鞄の中やポケットの中に情報処理装置が収納されている場合でも、装置を鞄やポケットから取り出さずとも所望の操作が可能となる。
【0009】
また、上記座標系決定部は、検出部により検出された操作体の操作方向と平行となる方向をy軸とし、操作方向と垂直となる方向をx軸として接触操作部の座標系を決定するようにしてもよい。
【0010】
また、上記座標系決定部は、検出部により、2以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、接触操作部の座標系を決定するようにしてもよい。
【0011】
上記相対位置算出部は、座標系決定部により接触操作部の座標系が決定された後に、2以上の操作体による追加接触操作により検出部により検出された2以上の操作体の接触位置から2以上の操作体の相対位置を算出するようにしてもよい。
【0012】
上記情報処理装置の筐体の垂直方向をy軸とし、筐体の水平方向をx軸とする第1のモードと、操作体の操作方向と平行となる方向をy軸とし、操作方向と垂直となる方向をx軸とする第2のモードと、のいずれかを選択するモード選択部を備え、モード選択部は、検出部により、2以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、第2のモードを選択するようにしてもよい。
【0013】
モード選択部により第2のモードが選択された場合に、座標系決定部は、2以上の操作体の操作方向に応じて接触操作部の座標系を決定し、相対位置算出部は、モード選択部により第2のモードが選択された後に検出部により検出される2以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出するようにしてもよい。また、検出部は、2以上の操作体の接触順および接触回数を含む接触状態を検出し、コマンド発行部は、2以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行するようにしてもよい。
【0014】
上記課題を解決するために、本発明の別の観点によれば、操作体によって接触操作される接触操作部に接触された操作体の接触状態を検出するステップと、検出された操作体の操作方向に応じて接触操作部の座標系を決定するステップと、2以上の操作体による追加接触操作により検出された2以上の操作体の接触位置と、座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出するステップと、算出された2以上の操作体の相対位置における、検出された2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するステップと、を含む、情報処理方法が提供される。
【0015】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、操作体によって接触操作される接触操作部と、接触操作部に接触された操作体の接触状態を検出する検出部と、検出部により検出された操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部と、2以上の操作体による追加接触操作により検出される2以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、2以上の操作体の相対位置を算出する相対位置算出部と、相対位置算出部により算出された2以上の操作体の相対位置における、検出部により検出される2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、を備える、情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【0016】
以上説明したように本発明によれば、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることができる。
【発明を実施するための最良の形態】
【0017】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0018】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔1〕本実施形態の目的
〔2〕情報処理装置のハードウェア構成
〔3〕情報処理装置の機能構成
〔4〕情報処理装置の動作
〔5〕接触操作とコマンドの例
【0019】
〔1〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサを設けるタッチスクリーン(タッチパネル)がある。タッチスクリーンによれば、表示部の画面に触れることで情報処理装置の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。
【0020】
近年、タッチスクリーンを用いて線画の入力を受け付けるだけでなく、タッチスクリーンで検出された指によるジェスチャーに応じてメニュー画面の表示や表示画面の切り替えなどができることとなっている。これにより、タッチスクリーンを用いた入力において、ユーザの使い勝手を向上することが可能となった。
【0021】
従来、ハードウェアボタンを備えた機器では、鞄の中やポケットの中などでも、ロックを解除した後に、当該ハードウェアボタンを探ることにより所望の操作をすることが可能であった。このような操作は以下の手順により行われていた。
(1)機器を一定の方向で把持する。
(2)ロック解除ボタンを探りロック解除を行う。
(3)機器に備わるハードウェアボタンを探す。
(4)ハードウェアボタンの押下等により所望の操作を行う。
【0022】
上記(1)〜(4)の操作は、音楽機器における再生、早送り、曲送り、巻き戻し、曲戻し(以下、基本機能とも称する。)などには、通常、各機能にハードウェアボタンが割り当てられていた。このため、卓上においても機器を視認することなく操作することが可能であった。以下、このような機器を視認せずに行う操作をブラインド操作と称する。ブラインド操作では、デバイスを把持する向きを一定にしなければならず、また、指でボタンを探すのも困難であった。
【0023】
一方、タッチスクリーンを用いた機器では、ディスプレイを視認し、ボタンの位置を確認して操作を行う必要がある。このため、上記のようなブラインド操作を行うことは困難であった。また、頻繁に使う基本機能に対しても、機器を把持し、ディスプレイを視認し、ロックを解除した後に、再度ディスプレイを視認して操作しなければならない。したがって、タッチスクリーンを用いた機器においては、基本機能を利用する際にも、ディスプレイを視認しなければならず、ユーザ操作に負担がかかるという問題があった。
【0024】
上記問題を解決するために、例えば、機器とは別の小型操作装置を取り付けて、基本機能を当該小型操作装置で行うことが提案されている。しかしながら、このような小型操作装置を使用する際には、まず、装置を服などに取り付け、かつ、小型操作装置を視認して操作する必要がある。また、このような小型操作装置を作製するコストもかかってしまう。
【0025】
また、タッチスクリーンを用いたデスクトップサイズの機器、もしくは機器を片手で把持し、もう片方の手で操作するようなデバイス機器において、複雑なジェスチャーを入力することにより、再生・停止などの操作を行うものも提案されている。しかし、片手で操作するデバイス機器では、当該デバイス機器を把持しながら操作を行う必要がある。そのため、指の稼働域が小さく、複雑なジェスチャーを入力することは難しい。
【0026】
上記のように、タッチスクリーンを用いた操作方法は数多く提案されているが、これらの操作は機器自体やディスプレイを見ながら行うことが前提である。また、機器に対する操作方向を認識しながら、各操作を行う必要がある。そのため、デバイスに対する操作の向きが変わると、ユーザにより操作された内容を誤認識してしまうことがあった。したがって、機器の任意の向きで把持しながら操作を行うことは難しかった。
【0027】
例えば、鞄の中やポケットの中などでタッチスクリーンを用いて任意の操作をする場合には、ディスプレイを視認するために機器を鞄やポケットから取り出さなければならず不便であった。さらに、決められたジェスチャーにより機器を操作するためには、機器を一定の方向で把持しなければならなかった。
【0028】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置10が創作されるに至った。本実施形態にかかる情報処理装置10によれば、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることが可能となる。
【0029】
本実施形態では、情報処理装置10として、図1に示したような小型のオーディオプレイヤーやメディアプレイヤー、PDA(personal digitl assistant)、携帯電話などを例示して説明するが、かかる例に限定されず、パーソナルコンピュータなどに適用することも可能である。また、ディスプレイ等の表示装置と一体の装置として構成したが、かかる例に限定されず。情報処理装置10と表示装置とを別体の装置として構成するようにしてもよい。
【0030】
また、図1の把持例502および把持例504に示したように、ユーザは、情報処理装置10を片手で把持しながら2本以上の指でタッチスクリーンに触れることができる。把持例502と把持例504とにより、ユーザによる把持の仕方によって指の向きが変わっていることがわかる。すなわち、把持例502では、ユーザの指の向きは情報処理装置10の筐体の垂直方向と平行であるが、把持例504では、ユーザの指の向きは情報処理装置10の筐体の垂直方向でも平行方向でもない。
【0031】
情報処理装置10が鞄やポケットに入っていた場合に、ユーザは、情報処理装置10を把持例502のように持ったり、把持例504のように持ったりすることとなる。情報処理装置10を一定の方向で把持しなければならないとすると、鞄やポケットから情報処理装置10を取り出して、筐体の方向やディスプレイを確認しなければならない。しかし、本実施形態にかかる情報処理装置10によれば、ユーザが情報処理装置10を一定の方向で把持していなくとも、タッチスクリーンパネルを用いて所望の操作をすることが可能となる。
【0032】
〔2〕情報処理装置のハードウェア構成
次に、図2に基づいて、本実施形態にかかる情報処理装置10のハードウェア構成について説明する。図2は、本実施形態にかかる情報処理装置10のハードウェア構成を示すブロック図である。
【0033】
図2に示したように、情報処理装置10は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、ホストバス104と、ブリッジ105と、外部バス106と、インターフェイス107と、入力装置108と、出力装置109と、ストレージ装置(HDD)110と、ドライブ111と、通信装置112とを備える。
【0034】
CPU101は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバスなどから構成されるホストバス104により相互に接続されている。
【0035】
ホストバス104は、ブリッジ105を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス106に接続されている。なお、必ずしもホストバス104、ブリッジ105および外部バス106を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0036】
入力装置108は、例えば、マウス、キーボード、タッチスクリーン、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、該入力装置108を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0037】
本実施形態では、主に、タッチスクリーンを用いてユーザの指などの操作体を検知することで、ユーザの操作を受け付ける。タッチスクリーンは、表示と入力の2つの機能を備えている。本実施形態にかかるタッチスクリーンは、ユーザの指等の操作による線画の入力を受け付けるだけでなく、2以上のユーザの指によるジェスチャーを検出することもできる。すなわち、当該タッチスクリーンは2点以上の複数の接触点を検出することが可能な入力装置である。接触点の検出方法としては、透明電極を構成する金属薄膜を利用した抵抗膜方式、指先と導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式など、ディスプレイにおける操作体の位置情報を検出できる方法であればよい。
【0038】
出力装置109は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Display)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置109は、例えば、再生されたコンテンツを出力する。具体的には、表示装置はメニュー画面や再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【0039】
ストレージ装置110は、本実施形態にかかる情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置110は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置110は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置110は、ハードディスクを駆動し、CPU101が実行するプログラムや各種データを格納する。
【0040】
ドライブ111は、記憶媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ111は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体120に記録されている情報を読み出して、RAM103に出力する。
【0041】
通信装置112は、例えば、通信網121に接続するための通信デバイス等で構成された通信インターフェイスである。また、通信装置112は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。この通信装置112は、外部機器との間で、通信網121を介して、各種データを送受信する。
【0042】
〔3〕情報処理装置の機能構成
以上、図2を参照して本実施形態にかかる情報処理装置10のハードウェア構成を説明した。次に、図3を参照して、本実施形態にかかる情報処理装置10の機能を説明する。
【0043】
図3は、本実施形態にかかる情報処理装置10の機能構成を示したブロック図である。図3に示したように、本実施形態にかかる情報処理装置10は、主に、接触操作部202、検出部204、モード選択部206、座標系決定部208、相対位置算出部210、コマンド発行部212などを備える。
【0044】
接触操作部202および検出部204は、上記したタッチスクリーンの一例である。接触操作部202は、タッチスクリーンの表示部であり、少なくとも2以上の操作体によって接触操作される。2以上の操作体としては、ユーザの指や手、スタイラスなどを例示できるが、以下では、ユーザの2本以上の指を操作体の例として説明する。
【0045】
検出部204は、接触操作部202に接触された2以上の操作体の接触状態を検出する機能を有する。検出部204は、検出した2以上の操作体の接触状態をモード選択部206または座標系決定部208に提供する。検出部204により検出される2以上の操作体の接触状態とは、2本以上の操作体の接触順、接触位置、接触回数、接触時間等である。ここで、図4を参照して、検出部204により検出される2以上の操作体の接触状態について説明する。
【0046】
図4は、検出部204により検出される2以上の操作体の接触状態について説明する説明図である。図4に示したように、検出部204は、情報処理装置10の筐体の垂直方向をy軸とし、該筐体の水平方向をx軸として、操作体の接触点の位置および接触回数(接触時間)などを取得することにより、データ配列402を取得する。データ配列402の数値は接触体の接触強さを表し、数値が大きい程接触強さが強いことを表す。このようなデータを、例えば1秒間に20回程度取得することにより、接触体の接触本数や接触中心等を含む接触状態を検出することが可能となる。
【0047】
図3に戻り、検出部204により検出結果を提供されたモード選択部206は、検出された接触状態に基づいて、ブラインドモードとするか通常モードとするか否かのモード選択を行う。ブラインドモードとは、ユーザが情報処理装置10の筐体やディスプレイを視認せずに操作を行うモードである。具体的には、2以上の操作体の操作方向と平行となる方向をy軸とし、操作方向と垂直となる方向をx軸とするモードであって、本発明の第2のモードの一例である。
【0048】
また、通常モードとは、ユーザが情報処理装置10の筐体やディスプレイを視認しながら操作を行うモードである。具体的には、情報処理装置10の筐体の垂直方向をy軸とし、筐体の水平方向をx軸とするモードであって、本発明の第1のモードの一例である。モード選択部206は、検出部204による検出の結果、2以上の操作体が所定の間隔で接触された状態で、接触操作部202上を所定距離移動したことが検出された場合に、ブラインドモードであると判定することができる。モード選択部206は、通常モード(第1のモード)かブラインドモード(第2のモード)か否かを座標系決定部208に通知する。
【0049】
座標系決定部208は、検出部204により検出された2以上の操作体の操作方向に応じて、接触操作部202の座標系を決定する機能を有する。また、モード選択部206によりブラインドモードであるとの通知を受けた場合に、接触操作部202の座標系を決定するようにしてもよい。図5を参照して、座標系決定部208による、接触操作部202の座標系の決定について説明する。
【0050】
図5は、座標系決定部208による接触操作部202の座標系の決定について説明する説明図である。図5の接触状態506に示したように、ユーザの2本の指である2以上の操作体20は、接触方向30に示した方向に接触操作部202を移動している。座標系決定部208は、操作体20の操作方向30と平行となる方向をy軸とし、操作方向30と垂直となる方向をx軸として座標系を決定する。
【0051】
図3に戻り、相対位置算出部210は、検出部204により検出された2以上の操作体の操作位置と、座標系決定部208により決定された接触操作部202の座標系とから、2以上の操作体の相対位置を算出する機能を有する。相対位置算出部210は、座標系決定部208により接触操作部202の座標系が決定された後に、検出部204により検出された2以上の操作体の接触位置から2以上の操作体の相対位置を算出するようにしてもよい。さらに、相対位置算出部210は、モード選択部206によりブラインドモード(第2のモード)が選択された後に、検出部204により検出される2以上の操作体の接触位置と座標系決定部208により決定された接触操作部202の座標系とから、2以上の操作体の相対位置を算出するようにしてもよい。
【0052】
コマンド発行部212は、相対位置算出部210により算出された2以上の操作体の相対位置における、検出部204により検出された2以上の操作体の接触状態に基づいて所定の操作コマンドを発行する機能を有する。コマンド発行部212は、2以上の操作体の相対位置と該操作体の接触状態との組み合わせにより、情報処理装置10の所定の機能を操作するためのコマンドを特定する。情報処理装置10の所定の機能とは、例えば、情報処理装置10が音楽再生機能を有する装置であった場合に、音楽の再生・停止、早送り・巻き戻し、曲送り・曲戻しなどの機能である。コマンド発行部212により発行されるコマンドについては、後で詳細に説明する。
【0053】
〔4〕情報処理装置の動作
以上、情報処理装置10の機能構成について説明した。次に、図6〜図8を参照して、情報処理装置10の情報処理方法について説明する。図6は、情報処理装置10の情報処理方法について説明するフローチャートである。
【0054】
まず、検出部204は、2本以上の操作体の接触状態を検出する(S102)。そして、モード選択部206は、通常モードかブラインドモードか否かを判定する(S104)。ここで、図7を参照して、図6のステップS104におけるブラインドモードか否かの判定処理について詳細に説明する。図7は、ブラインドモードの判定処理を説明するフローチャートである。図7では、操作体が2本である場合について説明する。
【0055】
図7に示したように、まず、検出部204は、2本の操作体の2点の接触点が接触操作部202に接しているか否かを判定する(S202)。ステップS202において、2本の操作体の2点の接触点が接触操作部202に接していないと判定された場合には、現在のモードを維持する(S216)。
【0056】
ステップS202において2本の操作体の2点の接触点が接触操作部202に接していると判定された場合には、2点の接触点のドラッグ距離を算出する(S204)。ステップS204において算出されるドラッグ距離とは、接触操作部202における2本の操作体の移動距離である。そして、ステップS204において算出されたドラッグ距離が閾値以上か否かを判定する(S206)。
【0057】
ステップS206における閾値は、例えば、30mm程度を例示できるが、該閾値は、情報処理装置100の筐体のサイズに応じて変化するようにしてもよい。ステップS206においてドラッグ距離が閾値以上であった場合には、ステップS208以下の処理によってモードの切り替えを行う。すなわち、2本の操作体のドラッグ距離が閾値以上であった場合には、2本の操作体の操作がモード切り替え指示であることを表す。モード切り替え指示とは、通常モードであった場合にはブラインドモードに切り替え、ブラインドモードであった場合には通常モードに切り換えることをいう。
【0058】
ステップS206において、ドラッグ距離が閾値以上であった場合には、現在のモードがブラインドモードか否かを判定する(S208)。ステップS206において、ドラッグ距離が閾値以下であった場合には、現在のモードを維持する(S216)。
【0059】
ステップS208において、現在のモードがブラインドモードであると判定された場合には、通常モードに切り換えるため通常モード指令とする(S214)。一方、ステップS208において、現在のモードがブラインドモードではないと判定された場合には、ブラインドモードに切り換えるため、ブラインドモードの座標系基底を算出する(S210)。そして、ブラインド入力モードを指令し、接触操作部202の座標系を基底する(S212)。
【0060】
図6に戻り、ステップS104において、モード選択部206は、ステップS102において検出された接触状態で、2以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、ブラインドモードであると判定する。
【0061】
ステップS104において、ブラインドモードであると判定された場合に、座標系決定部208は、接触操作部202の座標系を決定する(S106)。そして、相対位置算出部210は、ステップS106において決定された接触操作部202の座標系と、2以上の操作体の接触位置とから、2以上の操作体の相対位置を算出する(S108)。ステップS104において、ブラインドモードではないと判定された場合、すなわち、通常モードであると判定された場合には、通常通り、筐体の垂直方向をy軸とし、水平方向をx軸として、2以上の操作体の接触位置を算出する(S110)。
【0062】
その後、検出部204は、2以上の操作体の接触状態を検出する(S112)。そして、コマンド発行部212は、ステップS108に算出された相対位置における、ステップS112において検出された接触状態に基づいて所定の操作コマンドを発行する(S114)。ステップS104において通常モードであると判定された場合には、ステップS110において算出された位置における、接触状態に基づいて所定の操作コマンドを発行する(S114)。
【0063】
ここで、図8を参照して、ステップS112における操作体の接触状態の検出およびコマンドの発行について詳細に説明する。図8は、操作体の接触状態の検出処理からコマンド発行処理までの流れを示すフローチャートである。図8に示したように、まず、操作体が接触操作部202に接しているか否かを判定する(S302)。ステップS302において、接触体が接触操作部202に接していると判定された場合には、接触体の本数が変わったか否かを判定する(S304)。ステップS302において、接触体が接触操作部202に接していないと判定された場合には、コマンドは出力されない(S312)。
【0064】
ステップS304において、接触体の本数が変わっていないと判定された場合には、操作履歴データ402の操作履歴を更新する(S306)。
【0065】
そして、ステップS304において、接触操作部202に接触している本数が変わったと判定された場合には、操作履歴データに基づいてコマンドを認識する(S308)。ステップS208において認識したコマンドを出力する(S310)。
【0066】
ここで、図9を参照して、ステップS308におけるコマンド認識について説明する。図9は、操作履歴データ402について説明する説明図である。図9に示したように、操作履歴データ例410では、人差し指(1本目の操作体)のみが接触した時間を開始1としている。その後、一定時間経過後に中指(2本目の操作体)が接触し、中指の接触時間が一定時間以下の時点を開始2としている。操作履歴データ例410では、開始2の時点で曲送りのコマンドを発行する。すなわち、指の接触本数が1→2→1と変化した場合に曲送りのコマンドを発行することとなる。
【0067】
次に、操作履歴データ例412について説明する。操作履歴データ例412では、人差し指(1本目の操作体)が接触した時間を開始1としている。その後、一定時間経過後に中指(2本目の操作体)が接触し、中指の接触時間が一定時間以下の時点を開始2としている。操作履歴例412では、開始2の時点以降も一定時間中指が接触している場合には、接触している間早送りのコマンドを発行する。
【0068】
〔5〕接触操作とコマンドの例
以上、情報処理装置10の情報処理方法について説明した。次に、図10〜図16を参照して、コマンド発行部212により発行されるコマンドの例について説明する。図10は、2本の接触操作体による接触操作例について説明する説明図である。図10では、2本の接触操作体を、人差し指と中指として説明する。接触操作例21は、人差し指で接触面を上下にフリック・ドラッグし、中指は接触していない状態を表す。ここでフリック・ドラッグとは、指で接触面をなぞってはじく行為である。
【0069】
接触操作例22は、人差し指および中指で接触面を同時にタップする状態を表す。ここでタップとは、指で接触面を軽く叩く行為である。接触操作例23は、人差し指、中指の順で接触面をタップする状態を表す。接触操作例24は、人差し指、中指で接触面を同時にダブルタップする状態を表す。
【0070】
次に、図11を参照して、2本指による接触操作例について説明する。図11は、2本指の接触操作例を説明する説明図である。図11に示したように、接触操作例25は、2本指で接触面をフリック・ドラッグする状態を表している。例えば、人差し指と中指で交互に上下してフリック・ドラッグしたり、中指は接触した状態で人差し指のみをフリック・ドラッグしたりする。また、中指と人差し指を同時にフリック・ドラッグしてもよい。
【0071】
接触操作例26は、2本指でタップのみする状態を表している。例えば、人差し指と中指で同時にタップしたり、順番にタップしたりする。また、接触操作例27は、人差し指または中指のいずれかの指で接触面をタップとフリック・ドラッグする状態を表している。例えば、人差し指のみまたは中指のみでフリック・ドラッグしたり、人差し指のみまたは中指のみでタップしたりする。
【0072】
次に、図12を参照して、3本指による接触操作例について説明する。図12は、3本指の接触操作例を説明する説明図である。図12に示したように、接触操作例28は、人差し指、中指、薬指の3本指のいずれか2本の指で接触面をフリック・ドラッグする状態を表している。例えば、中指のフリック・ドラッグと薬指のタップを同時に行ったり、中指と薬指で同時にフリック・ドラッグを行ったりする。
【0073】
接触操作例29は、3本指のいずれか2本の指で接触面をタップする状態を表している。例えば、人差し指と薬指で同時にタップしたり、中指と薬指で順番にタップしたりする。接触例30は、3本指のいずれかの1本の指で接触面をフリック・ドラッグしたりタップしたりする状態を表している。例えば、人差し指のみでタップしたり、薬指のみでフリック・ドラッグしたりする。
【0074】
接触操作例31は、3本指のいずれかの指でフリック・ドラッグ操作が行われる状態を表している。例えば、中指と薬指は接触面に接触したままで、人差し指のみフリック・ドラッグしたり、人差し指は接触したままで中指と薬指をフリック・ドラッグしたりする。接触操作例32および接触操作例33は、3本指で接触面をタップする状態を表している。例えば、人差し指と中指を同時にタップした後に薬指をタップしたり、3本の指を順にタップしたりする。
【0075】
次に、図13を参照して、2本指でモード切り替え等を行う場合の接触操作例について説明する。図13に示したように、接触操作例41は、2本指で同時にフリック・ドラッグしてモードを切り替える状態を表している。例えば、2本指を上から下にフリック・ドラッグした場合にブラインドモードをオンにしたり、2本指を下から上にフリック・ドラッグした場合にブラインドモードをオフにしたりすることができる。
【0076】
接触操作例42は、2本指のいずれかの指で接触面をダブルタップしたり、同時にタップしたりすることにより、音楽コンテンツの再生・停止を行う状態を表している。例えば、人差し指のみでダブルタップすることにより音楽を再生し、人差し指と中指で同時にタップしたりすることにより音楽コンテンツの再生を停止する。
【0077】
接触操作例43および接触操作例44は、2本指で順に接触面をタップすることにより、音楽コンテンツの早送り・曲送りや巻戻し・曲戻しを行う状態を表している。例えば、人差し指、中指の順にタップした場合に早送りや曲送りを行い、中指、人差し指の順にタップした場合に巻戻しや曲戻しを行う。接触操作例45は、2本指のいずれかの指で接触面をフリック・ドラッグすることにより、ボリュームを大きくしたり小さくしたりする状態を表している。例えば、人差し指を下から上にフリック・ドラッグしてボリュームを大きくしたり、人差し指を上から下にフリック・ドラッグしてボリュームを小さくしたりする。
【0078】
次に、図14を参照して、3本指でモード切り替え等を行う場合の接触操作例について説明する。図14に示したように、接触操作例46は、3本指で同時にフリック・ドラッグしてモードを切り替える状態を表している。例えば、3本指を上から下にフリック・ドラッグした場合にブラインドモードをオンにしたり、3本指を下から上にフリック・ドラッグした場合にブラインドモードをオフにしたりすることができる。
【0079】
接触操作例47は、3本指を同時にまたは順に接触面をダブルタップすることにより、音楽コンテンツの再生・停止を行う状態を表している。例えば、人差し指と薬指を同時にタップした後に中指をタップすることにより音楽を再生し、中指をタップした後に人差し指と薬指を同時にタップすることにより音楽コンテンツの再生を停止する。
【0080】
接触操作例48および接触操作例49は、3本指で同時にまたは順に接触面をタップすることにより、音楽コンテンツの早送り・曲送りや巻戻し・曲戻しを行う状態を表している。例えば、人差し指と中指を同時にタップした後に薬指をタップした場合に早送りや曲送りを行う。また、中指と薬指を同時にタップした後に人差し指をタップした場合に巻戻しや曲戻しを行う。接触操作例50は、3本指のいずれかの指で接触面をフリック・ドラッグすることにより、ボリュームを大きくしたり小さくしたりする状態を表している。例えば、人差し指と薬指は接した状態で中指を下から上にフリック・ドラッグしてボリュームを大きくしたり、中指を上から下にフリック・ドラッグしてボリュームを小さくしたりする。
【0081】
次に、図15および図16を参照して、情報処理装置10が、通常の音楽コンテンツを再生するアプリケーション(以下、音楽コンテンツ再生アプリと称する。)のユーザインタフェースと同様の階層構造を有する場合の接触操作について説明する。以下では、2本または3本の指により階層の選択範囲を変更したり階層を上下したりする場合について説明する。
【0082】
図15は、コンテンツが、階層構造により格納されている場合について説明する説明図である。図15に示したように、階層が上から、ジャンル(Genre)、アーティスト(Artist)、アルバム(Album)、ソング(Song)、プレイリスト(Playlist)となっている。ユーザは、2本指または3本指で接触操作を行うことによって、選択範囲を変更したり、上の階層へ移動したり下の階層へ移動したりすることができる。
【0083】
図16を参照して、選択対象を変更したり、階層を移動したりする場合の接触操作例について説明する。図16の接触操作例52〜54は、2本指を利用して接触操作を行う場合について説明する説明図である。接触操作例52は、2本指を順に接触することで選択対象を変更する状態を表している。例えば、人差し指を接触した後に中指を接触し続けて選択対象をひとつ送りしたり、人差し指を接触した後に中指をタップして選択対象を順に送ったりしたりする。
【0084】
接触操作例53は、2本の指を同時にタップすることにより上の階層に移動する状態を表している。例えば、人差し指と中指を同時にタップして上の階層へ移動する。接触操作例54は、2本の指のいずれかをダブルタップすることにより下の階層に移動する状態を表している。例えば、人差し指のみをダブルタップして下の階層へ移動する。
【0085】
図16の接触操作例55〜57は、3本指を利用して接触操作を行う場合について説明する説明図である。接触操作例55は、3本指を同時にまたは順に接触することで選択対象を変更する状態を表している。例えば、人差し指と中指を同時に接触した後に薬指を接触し続けて選択対象をひとつ送りしたり、中指と薬指を接触した後に人差し指でタップして選択対象を順に送ったりしたりする。
【0086】
接触操作例56は、3本の指をダブルタップしたりタップしたりすることにより上の階層に移動する状態を表している。例えば、3本の指を同時に接触させて、人差し指をダブルタップし、中指と薬指をタップして上の階層に移動する。接触操作例57は、3本の指をダブルタップしたりタップしたりすることにより下の階層に移動する状態を表している。例えば、3本の指を同時に接触させて、人差し指と中指をタップし、薬指をダブルタップしたりすることにより下の階層に移動する。以上、接触操作とコマンドの例について説明した。
【0087】
本実施形態にかかる情報処理装置10によれば、接触操作部202に接触した2以上の操作体の操作状態を検出して、当該2以上の操作体の操作方向に応じて接触操作部202の座標系を決定する。そして、2以上の操作体の接触位置と決定した座標系とから2以上の操作体の相対位置を算出し、当該相対位置における、2以上の操作体の接触状態に基づいて上記したような種々の操作コマンドを発行することができる。
【0088】
これにより、情報処理装置10の筐体がどのような向きにあったとしても、操作体の操作方向を判別することにより、筐体の向きを気にすることなくユーザは所望の操作をすることが可能となる。したがって、ユーザは、情報処理装置10の筐体やディスプレイを視認せずとも、タッチスクリーンパネルを用いて所望の操作をすることができる。例えば、鞄の中やポケットの中に情報処理装置10が収納されている場合でも、装置を鞄やポケットから取り出さずとも所望の操作が可能となる。
【0089】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0090】
例えば、上記実施形態では、ユーザが情報処理装置10の筐体やディスプレイを視認していない場合でも所望の操作ができる場合について説明したが、本発明はかかる例に限定されない。例えば、音楽コンテンツを再生するアプリケーション(以下音楽コンテンツ再生アプリと称する。)とは別のアプリケーションを起動している場合に、表示されているアプリケーションの切り替えを行うことなく音楽コンテンツの再生や停止等の操作をするようにしてもよい。すなわち、音楽コンテンツ再生アプリとは別のアプリケーションが起動しているときに、上記したような操作体の特定の操作によりブラインドモードに切り替えて操作体の操作を検出する。ブラインドモードに切り替えて操作体の操作を検出することにより、音楽コンテンツ再生アプリとは別のアプリケーションを起動させたまま、音楽コンテンツの再生や停止等が可能となる。
【図面の簡単な説明】
【0091】
【図1】本発明の一実施形態にかかる情報処理装置の把持例を示す断面図である。
【図2】同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。
【図3】同実施形態にかかる情報処理装置の機能構成を示したブロック図である。
【図4】同実施形態にかかる検出される2以上の操作体の接触状態について説明する説明図である。
【図5】同実施形態にかかる座標系決定部による接触操作部の座標系の決定について説明する説明図である。
【図6】同実施形態にかかる情報処理方法について説明するフローチャートである。
【図7】同実施形態にかかるブラインドモードの判定処理を説明するフローチャートである。
【図8】同実施形態にかかる操作体の接触状態の検出処理からコマンド発行処理までの流れを示すフローチャートである。
【図9】同実施形態にかかる操作履歴について説明する説明図である。
【図10】同実施形態にかかる2本の接触操作体による接触操作例について説明する説明図である。
【図11】同実施形態にかかる2本指の接触操作例を説明する説明図である。
【図12】同実施形態にかかる3本指の接触操作例を説明する説明図である。
【図13】同実施形態にかかる2本指でモード切り替え等を行う場合の接触操作例について説明する説明図である。
【図14】同実施形態にかかる3本指でモード切り替え等を行う場合の接触操作例について説明する説明図である。
【図15】同実施形態にかかる情報処理装置10が有する階層構造について説明する説明図である。
【図16】同実施形態にかかる階層構造を有する場合の接触操作について説明する説明図である。
【符号の説明】
【0092】
10 情報処理装置
202 接触操作部
204 検出部
206 モード選択部
208 座標系決定部
210 相対位置算出部
212 コマンド発行部
【特許請求の範囲】
【請求項1】
操作体によって接触操作される接触操作部と、
前記接触操作部に接触された前記操作体の接触状態を検出する検出部と、
前記検出部により検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定する座標系決定部と、
2以上の操作体による追加接触操作により前記検出部により検出される前記2以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出する相対位置算出部と、
前記相対位置算出部により算出された前記2以上の操作体の相対位置における、前記検出部により検出される前記2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、
を備える、情報処理装置。
【請求項2】
前記座標系決定部は、
前記検出部により検出された前記操作体の操作方向と平行となる方向をy軸とし、前記操作方向と垂直となる方向をx軸として前記接触操作部の座標系を決定する、請求項1に記載の情報処理装置。
【請求項3】
前記座標系決定部は、
前記検出部により、2以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記接触操作部の座標系を決定する、請求項1または2のいずれかに記載の情報処理装置。
【請求項4】
前記相対位置算出部は、
前記座標系決定部により前記接触操作部の座標系が決定された後に、2以上の操作体による追加接触操作により前記検出部により検出された前記2以上の操作体の接触位置から前記2以上の操作体の相対位置を算出する、請求項1〜3のいずれかに記載の情報処理装置。
【請求項5】
前記情報処理装置の筐体の垂直方向をy軸とし、前記筐体の水平方向をx軸とする第1のモードと、前記操作体の操作方向と平行となる方向をy軸とし、前記操作方向と垂直となる方向をx軸とする第2のモードと、のいずれかを選択するモード選択部を備え、
前記モード選択部は、前記検出部により、2以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記第2のモードを選択する、請求項1〜4のいずれかに記載の情報処理装置。
【請求項6】
前記モード選択部により前記第2のモードが選択された場合に、
前記座標系決定部は、前記2以上の操作体の操作方向に応じて前記接触操作部の座標系を決定し、
前記相対位置算出部は、前記モード選択部により前記第2のモードが選択された後に前記検出部により検出される2以上の操作体の接触位置と前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出する、請求項5に記載の情報処理装置。
【請求項7】
前記検出部は、前記2以上の操作体の接触順および接触回数を含む接触状態を検出し、
前記コマンド発行部は、前記2以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行する、請求項1〜6に記載の情報処理装置。
【請求項8】
操作体によって接触操作される接触操作部に接触された前記操作体の接触状態を検出するステップと、
前記検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定するステップと、
2以上の操作体による追加接触操作により前記検出される2以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出するステップと、
前記算出された前記2以上の操作体の相対位置における、前記検出された前記2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するステップと、
を含む、情報処理方法。
【請求項9】
コンピュータを、
操作体によって接触操作される接触操作部と、
前記接触操作部に接触された前記操作体の接触状態を検出する検出部と、
前記検出部により検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定する座標系決定部と、
2以上の操作体による追加接触操作により前記検出部により検出される前記2以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出する相対位置算出部と、
前記相対位置算出部により算出された前記2以上の操作体の相対位置における、前記検出部により検出される前記2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、
を備える、情報処理装置として機能させるためのプログラム。
【請求項1】
操作体によって接触操作される接触操作部と、
前記接触操作部に接触された前記操作体の接触状態を検出する検出部と、
前記検出部により検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定する座標系決定部と、
2以上の操作体による追加接触操作により前記検出部により検出される前記2以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出する相対位置算出部と、
前記相対位置算出部により算出された前記2以上の操作体の相対位置における、前記検出部により検出される前記2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、
を備える、情報処理装置。
【請求項2】
前記座標系決定部は、
前記検出部により検出された前記操作体の操作方向と平行となる方向をy軸とし、前記操作方向と垂直となる方向をx軸として前記接触操作部の座標系を決定する、請求項1に記載の情報処理装置。
【請求項3】
前記座標系決定部は、
前記検出部により、2以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記接触操作部の座標系を決定する、請求項1または2のいずれかに記載の情報処理装置。
【請求項4】
前記相対位置算出部は、
前記座標系決定部により前記接触操作部の座標系が決定された後に、2以上の操作体による追加接触操作により前記検出部により検出された前記2以上の操作体の接触位置から前記2以上の操作体の相対位置を算出する、請求項1〜3のいずれかに記載の情報処理装置。
【請求項5】
前記情報処理装置の筐体の垂直方向をy軸とし、前記筐体の水平方向をx軸とする第1のモードと、前記操作体の操作方向と平行となる方向をy軸とし、前記操作方向と垂直となる方向をx軸とする第2のモードと、のいずれかを選択するモード選択部を備え、
前記モード選択部は、前記検出部により、2以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記第2のモードを選択する、請求項1〜4のいずれかに記載の情報処理装置。
【請求項6】
前記モード選択部により前記第2のモードが選択された場合に、
前記座標系決定部は、前記2以上の操作体の操作方向に応じて前記接触操作部の座標系を決定し、
前記相対位置算出部は、前記モード選択部により前記第2のモードが選択された後に前記検出部により検出される2以上の操作体の接触位置と前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出する、請求項5に記載の情報処理装置。
【請求項7】
前記検出部は、前記2以上の操作体の接触順および接触回数を含む接触状態を検出し、
前記コマンド発行部は、前記2以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行する、請求項1〜6に記載の情報処理装置。
【請求項8】
操作体によって接触操作される接触操作部に接触された前記操作体の接触状態を検出するステップと、
前記検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定するステップと、
2以上の操作体による追加接触操作により前記検出される2以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出するステップと、
前記算出された前記2以上の操作体の相対位置における、前記検出された前記2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するステップと、
を含む、情報処理方法。
【請求項9】
コンピュータを、
操作体によって接触操作される接触操作部と、
前記接触操作部に接触された前記操作体の接触状態を検出する検出部と、
前記検出部により検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定する座標系決定部と、
2以上の操作体による追加接触操作により前記検出部により検出される前記2以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記2以上の操作体の相対位置を算出する相対位置算出部と、
前記相対位置算出部により算出された前記2以上の操作体の相対位置における、前記検出部により検出される前記2以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、
を備える、情報処理装置として機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2010−108273(P2010−108273A)
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願番号】特願2008−280021(P2008−280021)
【出願日】平成20年10月30日(2008.10.30)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願日】平成20年10月30日(2008.10.30)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]