説明

操作情報入力システムとその操作情報処理装置

【課題】カメラの視野を意識する必要がなく、かつ手指に障害を持つユーザであっても簡単な操作で操作情報を入力できるようにする。
【解決手段】内部に加速度センサ14を収容しかつ各面の頂点に導電体12を設けた正多面体からなる操作端末1を用いる。そして、この操作端末1がタッチスクリーン2上で転がし操作及び回転操作されたとき、操作情報処理装置3において、タッチスクリーン2上における操作端末1の各導電体12の接触位置座標をもとに操作端末1の種類を認識すると共に、上記加速度センサ14の加速度情報をもとに操作端末1のどの面がタッチスクリーン2に接触しているかを認識する。そして、認識された種類と接触面に対応するショートカット機能を選択し、このショートカット機能を上記操作端末1の回転操作方向に応じて起動又は終了する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えばポインティングデバイスを用いてコンピュータに操作情報を入力する操作情報入力システムと、このシステムで使用される操作情報処理装置に関する。
【背景技術】
【0002】
近年、テーブルや机などに取り付け可能な大型なタッチスクリーンが登場し、タッチスクリーンを用いた様々な操作情報入力システムが提案されている。一方、パーソナル・コンピュータにおいては、アプリケーションやフォルダを選択し実行させる際に、マウス等のポインティングデバイスを用いた操作情報入力システムは依然して大きな役割を果たしている。
【0003】
しかし、マウス等のポインティングデバイスを用いた入力システムでは、アプリケーションやフォルダを選択し実行させる際に、その都度ポインティングデバイスを移動させる必要があり、特に頻繁に利用するアプリケーションやフォルダを実行させる場合にはその操作が非常に面倒である。
【0004】
そこで、例えばハンドジェスチァによってショートカット機能を実行することによりアプリの操作を可能にする操作情報入力システムが提案されている(例えば非特許文献1を参照)。このシステムを使用すると、ショートカット機能の早期記憶、簡易動作による作業の効率化等が期待できる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】「SIFT特徴量による手形状の相関分析とハンドジェスチャによるアプリ操作」、平山健一他、情報処理学会研究報告Vol.2010-CVIM-172 No.17 2010年5月27日
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、上記システムではショートカット機能を使用するためにカメラの視野内に手を移動させる動作が必要となり、また手指が不自由なユーザにとっては複雑なハンドジェスチャを行うことが困難な場合があり、操作性に課題があった。
この発明は上記事情に着目してなされたもので、その目的とするところは、カメラの視野を意識する必要がなく、かつ手指が不自由なユーザであっても簡単な操作で操作情報を入力することが可能な操作情報入力システムとその操作情報処理装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するためにこの発明の1つの観点は、正多面体からなる操作端末と、この操作端末との間で無線通信が可能でかつ操作対象のコンピュータとの間で通信が可能な操作情報処理装置とを具備する操作情報入力システムにあって、操作端末に、自端末を転がす操作が行われたときその操作後の当該端末の姿勢を検出してその姿勢検出情報を操作情報処理装置へ送信する手段を備える。一方、操作情報処理装置には、操作端末の各面を表す情報と、操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶した記憶手段を設ける。そして、操作端末から送信された姿勢検出情報をもとに上記転がし操作により選択された操作端末の面を認識し、この認識された操作端末の面に対応するショートカット情報を上記記憶手段から読み出してコンピュータへ送信するように構成したものである。
【0008】
このように構成すると、正多面体からなる操作端末を転がし操作して所望の面を選択すると、当該選択された面に対応するショートカット情報が操作情報処理装置からコンピュータに送られる。このため、ユーザは正多面体からなる操作端末を転がし操作するだけで、コンピュータのショートカット機能を使用することが可能となる。したがって、操作の都度カメラの視野内に手を移動させたり複雑なハンドジェスチャを行うことなくショートカット機能を使用することができ、これによりユーザの操作性を高めることが可能となる。特に手指が不自由なユーザにとっては、転がし操作という簡単な操作のみで多数のショートカット機能を選択使用でききわめて有用である。
【0009】
また、この発明の1つの観点は以下のような態様を備えることを特徴とする。
第1の態様は、タッチスクリーンを備え、このタッチスクリーン上で上記操作端末を転がす操作が行われたとき、その操作後の当該端末の底面の形状を表す情報を検出して操作情報処理装置へ送信する。これに対し操作情報処理装置の記憶手段には、操作端末の種類ごとに、その各面を表す情報と操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶しておく。そして、タッチスクリーンから送信された面形状の検出情報をもとに上記転がし操作された操作端末の種類を判定し、この判定された操作端末の種類に該当しかつ上記認識された操作端末の面に対応するショートカット情報を上記記憶手段から読み出し、この読み出されたショートカット情報をコンピュータへ送信するように構成したものである。
このようにすると、面の数が異なる複数種類の正多面体操作端末を選択的に使用して、より多くのショートカット情報をコンピュータに入力することが可能となる。
【0010】
第2の態様は、上記タッチスクリーンにより、転がし操作後の操作端末の底面の頂点の数及び辺の長さを検出してその検出情報を操作情報処理装置へ送信し、操作情報処理装置が操作端末の種類を判定する際に、上記タッチスクリーンから送信された底面の頂点の数及び辺の長さを表す情報をもとに上記転がし操作された操作端末の種類を判定するようにしたものである。
このようにすると、面の数が異なるものの面形状が同一の複数種類の正多面体操作端末を使用した場合にも、これらの正多面体操作端末を識別することが可能となる。
【0011】
第3の態様は、上記タッチスクリーンにより、転がし操作後の操作端末の底面の各頂点の位置座標を検出してその検出情報を操作情報処理装置へ送信し、操作情報処理装置が操作端末の種類を判定する際に、上記タッチスクリーンから送信された検出情報に含まれる底面の各頂点の位置座標をもとにその重心を算出し、この算出された重心に対し上記各頂点が同心円上にあるか否かを判定して、同心円上にあると判定された頂点群を1個の操作端末の底面を表す頂点群として認識するようにしたものである。
このようにすると、タッチスクリーン上に複数の正多面体操作端末が同時に載置されている場合でも、これら複数の操作端末を個別に認識することが可能となる。
【0012】
第4の態様は、操作端末により、自端末を二次元方向に回転させる操作が行われたとき当該端末の回転方向を検出して操作情報処理装置へ送信し、操作情報処理装置において、上記操作端末から送信された回転方向検出情報をもとにショートカット情報の起動又は終了を指示する情報を生成してコンピュータへ送信するようにしたものである。
このようにすると、正多面体操作端末の転がし操作により所望のショートカット機能を選択したのち、当該正多面体端末を右又は左方向に回転させることで上記選択されたショートカット機能の起動/終了指示を入力することが可能となる。
【発明の効果】
【0013】
すなわちこの発明によれば、カメラの視野を意識する必要がなく、かつ手指が不自由なユーザであっても簡単な操作で操作情報を入力することが可能な操作情報入力システムとその操作情報処理装置を提供することができる。
【図面の簡単な説明】
【0014】
【図1】この発明の第1の実施形態に係る操作情報入力システムの全体の構成を示す図。
【図2】図1に示したシステムで使用される正多面体操作端末の構成を示すもので、(a)は正6面体の操作端末、(b)は正4面体の操作端末、(c)は正8面体の操作端末をそれぞれ示す図。
【図3】図1に示したシステムで使用される正多面体操作端末のその他の構成を示すもので、(a)は正12面体の操作端末、(b)は正20面体の操作端末をそれぞれ示す図。
【図4】図1に示したシステムで使用される操作情報処理装置の構成を示すブロック図。
【図5】図4に示した操作情報処理装置に設けられたショートカットマッピングデータベースに記憶されたマッピングデータの一例を示す図。
【図6】図2(a)に示した正6面体からなる操作端末の姿勢の変化を示す図。
【図7】図4に示した操作情報処理装置に設けられた接触面情報データベースに記憶された、接触面と加速度データとの関係を示す接触面情報の一例を示す図。
【図8】図4に示した操作情報処理装置による全体の処理手順と処理内容を示すフローチャート。
【図9】図8に示した全体の処理手順のうち操作端末信号受信処理の処理手順と処理内容を示すフローチャート。
【図10】図8に示した全体の処理手順のうち多面体種別認識処理の処理手順と処理内容を示すフローチャート。
【図11】図8に示した全体の処理手順のうち接触面認識処理の処理手順と処理内容を示すフローチャート。
【図12】図8に示した全体の処理手順のうち操作制御処理の処理手順と処理内容を示すフローチャート。
【図13】正多面体操作端末のスライド移動操作に応じたポインタの移動動作を説明するための図。
【図14】正多面体操作端末を回転操作したときの加速度センサの状態変化の一例を示す図。
【図15】この発明の第2の実施形態に係る操作情報入力システムの操作情報処理装置による接触面認識処理の処理手順と処理内容を示すフローチャート。
【発明を実施するための形態】
【0015】
以下、図面を参照してこの発明に係わる実施形態を説明する。
(第1の実施形態)
[構成]
図1は、この発明の第1の実施形態に係る操作情報入力システムの全体の構成を示す図である。この操作情報入力システムは、正多面体からなる操作端末1と、机上に配置されたタッチスクリーン2と、操作情報処理装置3とを備え、この操作情報処理装置3にはディスプレイ4が接続されている。
【0016】
正多面体操作端末(以後操作端末と称する)1の形状の種類としては、図2(a),(b),(c)に示すように正6面体、正4面体、正8面体、及び図3(a),(b)に示すように正12面体、正20面体等がある。
操作端末1は、図2(a)に示す正6面体を例にとると、例えば樹脂製の筐体11の各面の頂点部位にそれぞれ導電体12を埋設すると共に、各面の中央部位にキー13を配設し、さらに筐体11内に加速度センサ14と、制御回路及び通信インタフェース(図示省略)を収容したものとなっている。
【0017】
導電体12は、例えば導電性ゴムシートからなり、操作端末1の種類を識別するために用いられる。キー13は、一般的なマウスに設けられている左右クリックキーと同じ機能を有する。加速度センサ14は直方体をなし、操作端末1が転がし操作されたときの3次元方向(x,y,z)における加速度を検出する。通信インタフェースは、Wire Fire(登録商標)やBluetooth(登録商標)等の微弱又は小電力を使用した無線インタフェースからなる。
【0018】
制御回路は、予め設定された一定の周期で、上記加速度センサ14により検出された加速度情報と、上記キー13のオン/オフ情報とを含む操作情報を生成する。そして、この生成された操作情報を上記通信インタフェースから上記操作情報処理装置3に向け無線送信する機能を有する。
【0019】
タッチスクリーン2は、例えば静電容量型のタッチパネルを用いたもので、予め設定された検出周期で上記操作端末1の各導電体12の接触位置を示す位置座標情報を生成する。そして、この生成された位置座標情報を図示しない信号線を介して上記操作情報処理装置3へ送出する。
【0020】
ところで、操作情報処理装置3は以下のように構成される。図4はその構成を示すブロック図である。
すなわち、操作情報処理装置3は、操作端末信号受信ユニット10と、タッチスクリーン信号受信ユニット20と、記憶ユニット30と、操作制御ユニット40と、表示画面制御ユニット50とを備えている。
【0021】
記憶ユニット30は、記憶媒体としてHDDやNAND型フラッシュメモリ等の随時書込読出が可能な不揮発性メモリを使用したもので、テンキー及び加速度センサ情報蓄積部31と、タッチスクリーン情報蓄積部32と、ショートカットマッピングデータベース33と、表示画像データベース34と、接触面情報データベース35が設けられている。
【0022】
テンキー及び加速度センサ情報蓄積部31は、上記操作端末1から送信されたキー13のオン/オフ情報及び加速度センサ14による加速度の検出情報を蓄積するために用いられる。
タッチスクリーン情報蓄積部32は、上記タッチスクリーン2から送信された、タッチスクリーン2に対する操作端末1の各導電体12の接触位置を示す位置座標情報を蓄積するために用いられる。
【0023】
ショートカットマッピングデータベース33には、正多面体の種類ごとに、その各面に対応付けて操作内容として予め定義されたショートカット情報が、相互に関連付けられて記憶されている。図5はその一例を示すもので、ここでは正4面体、正6面体及び正8面体の場合を例示している。
【0024】
表示画像データベース34には、後述する操作制御ユニット40で判断された操作内容に対応した表示画像を作成するための情報が記憶されている。
接触面情報データベース35には、上記操作端末1の加速度センサ14の姿勢を表す情報と、タッチシート2に対する当該操作端末1の接触面を表す情報とが、相互に関連付けられて記憶されている。図7はその記憶データの一例を示すもので、図中の(1) 〜(6) は正6面体の面の識別番号を示している。図6は、この(1) 〜(6) で示される正6面体の面がタッチシート2に接触されているときの、操作端末1内の加速度センサ14の姿勢を例示したものである。
【0025】
操作端末信号受信ユニット10は、操作端末1から無線送信された操作情報を受信し、この受信した操作情報に含まれる加速度センサ14の検出情報とキー13のオン/オフ情報をその検出時刻を表す情報と関連付けて、記憶ユニット30内のキー及び加速度センサ情報蓄積部31に記憶させる機能を有する。
【0026】
タッチスクリーン信号受信ユニット20は、タッチスクリーン2から送信された接触位置を示す位置座標情報を受信し、この受信した位置座標情報をその検出時刻を表す情報と関連付けて、記憶ユニット30内のタッチスクリーン情報蓄積部32に記憶させる処理を行う。
【0027】
操作制御ユニット40は、この発明を実施する上で必要な制御機能として、多面体種別認識部41と、接触面認識部42と、操作制御部43を備えている。これらの処理機能又は制御機能はいずれも、図示しないプログラムメモリに格納されたプログラムを図示しないプロセッサに実行させることにより実現される。
【0028】
多面体種別認識部41は、上記タッチスクリーン情報蓄積部32に記憶された、タッチスクリーン2に対する操作端末1の各導電体12の接触位置を表す位置座標情報をもとに、操作端末1の種類を識別する処理を行う。
【0029】
接触面認識部42は、テンキー及び加速度センサ情報蓄積部31に記憶された加速度検出情報をもとに、操作端末1のどの面がタッチスクリーン2に接触しているか、つまり転がし操作により選択された操作端末1の面を一意に認識する処理を行う。
【0030】
操作制御部43は、以下の処理機能を有する。
(1) 操作端末1がその任意の面をタッチスクリーン2に接触させた状態でスライド移動操作された場合に、そのスライド移動量及び移動方向を表す情報をもとにディスプレイ4の表示画面上におけるマウスカーソルの移動方向及び移動量を計算し、この計算結果に基づいて上記ディスプレイ4の表示画面上におけるマウスカーソルの表示位置を移動させる処理。上記スライド移動量及び移動方向を表す情報は、タッチスクリーン情報蓄積部32に記憶された、操作端末1の各導電体12のタッチスクリーン2に対する接触位置を示す位置座標情報の変化から求められる。
【0031】
(2) 操作端末1がその任意の面をタッチスクリーン2上に接触させた状態で回転操作された場合に、その回転方向が右方向か左方向かを判定する。そして、この回転方向の判定結果に応じて、アプリケーション又はフォルダのショートカットを起動又は終了させる処理。
上記起動又は終了対象のショートカットは、上記多面体種別認識部41により認識された操作端末1の正多面体の種類と、接触面認識部42により認識されたタッチスクリーン2に対する操作端末1の接触面を表す情報とをもとに、上記ショートカットマッピングデータベース33から読み出される。なお、上記回転方向も、タッチスクリーン情報蓄積部32に記憶された、操作端末1の各導電体12のタッチスクリーン2に対する接触位置を示す位置座標情報の変化から求められる。
【0032】
表示画面制御ユニット50は、上記操作制御ユニット40により判断された操作内容と、表示画面データベース34に記憶された表示画面データとをもとに、上記操作内容に応じた表示画面データを生成し、この生成された表示画面データをディスプレイ4へ出力して表示させる処理を行う。
【0033】
[動作]
次に、以上のように構成されたシステムによる操作情報入力処理を説明する。
(1)操作端末1及びタッチスクリーン2の動作
操作端末1では、一定の周期で、加速度センサ14により加速度が検出されると共にキー13のオン/オフ状態が検出され、これらの検出情報を含む操作情報が操作情報処理装置3に向け無線送信される。また、タッチスクリーン2では、一定の周期で、上記操作端末1に設けられた各導電体12の接触位置を示す位置座標情報が生成され、この生成された位置座標情報が上記操作情報処理装置3へ送出される。
【0034】
(2)操作情報処理装置3における処理
操作情報処理装置3では以下のような処理が実行される。図8はその全体の処理手順と処理内容を示すフローチャートである。
(2−1)操作情報及び位置座標情報の受信処理
操作端末信号受信ユニット10では、ステップS1,S2において以下のように操作情報の受信及び蓄積処理が行われる。すなわち、図9に示すように先ずステップS11において操作端末1からの操作情報の受信が監視されている。この状態で操作情報が受信されると、ステップS12において、この受信された操作情報から加速度センサ14の検出情報及びキー13のオン/オフ情報が抽出され、この抽出された検出情報がその検出時刻を表す情報と関連付けられてキー及び加速度センサ情報蓄積部31に記憶される。
【0035】
また、それと並行してタッチスクリーン信号受信ユニット20においても、タッチスクリーン2からの位置座標情報の受信が監視されており、位置座標情報が受信されるとこの受信された位置座標情報がその検出時刻を表す情報と関連付けられてタッチスクリーン情報蓄積部32に記憶される。
【0036】
(2−2)操作端末1の種類の認識処理
上記キー及び加速度センサ情報蓄積部31に、加速度の検出情報及びキー13のオン/オフ情報が新たに記憶され、これに応じてキー及び加速度センサ情報蓄積部31から記憶情報の更新通知が発生されたとする。そうすると、ステップS3により多面体種別認識部41が起動され、この多面体種別認識部41により使用中の操作端末1の種類を認識するための処理が以下のように実行される。図10はその処理手順と処理内容を示すフローチャートである。
【0037】
すなわち、先ずステップS31において、タッチスクリーン情報蓄積部32からタッチスクリーン2に対する操作端末1の各導電体12の接触位置を示す位置座標情報がみ出され、この位置座標情報から、タッチスクリーン2に接触している上記操作端末1の面、つまりいま底面となっている面の頂点の数が検出される。そして、ステップS32,S34,S36において、それぞれ上記検出された頂点の数が「5個」、「4個」、「3個」のいずれであるかが順次判定される。この判定の結果、頂点の数が「5個」であればステップS33において上記操作端末1は正12面体であると認識される。また、頂点の数が「4個」であればステップS35において上記操作端末1は正6面体であると認識され、また「3個」であればステップS37において上記操作端末1は正20面体であると認識される。
【0038】
(2−3)タッチスクリーン2に対し接触している操作端末1の面の認識処理
次に操作制御ユニット40では、ステップS4により接触面認識部42が起動され、この接触面認識部42により、タッチスクリーン2に対し操作端末1のどの面が接触しているかを認識する処理が以下のように実行される。図11はその処理手順と処理内容を示すフローチャートである。
【0039】
先ずステップS41において、上記キー及び加速度センサ情報蓄積部31に記憶された加速度の検出情報をもとに、操作端末1に内蔵された加速度センサ14が振動しているか静止しているかが判定される。加速度センサ14の状態は、図14に示すように振動状態と静止状態とに分けることができる。この加速度センサ14の状態の判別方法としては例えば以下の方法が用いられる。
【0040】
すなわち、上記キー及び加速度センサ情報蓄積部31から、加速度センサ14により検出された加速度の情報を最新のものから順番にいくつか読み出す。そして、その平均値と各加速度情報との差がすべてしきい値より小さい値であれば「静止状態」、差が一つでもしきい値以上であれば「振動状態」と判定する。この判定の結果、加速度センサ14の状態が「振動状態」であればそのまま処理を終了する。
【0041】
これに対し「静止状態」であれば、ステップS42において、いまタッチスクリーン2に接触されている操作端末1の面が認識される。この接触面の認識処理は、接触面情報データベース35に記憶された情報の中から、上記検出された加速度情報により表される加速度値に最も近いものを選択し、この選択された加速度値に対応する面の識別番号を選択することによりなされる。
【0042】
(2−4)操作制御処理
次に操作制御ユニット40では、ステップS5により操作制御部43が起動され、この操作制御部43の制御のもとで、上記ステップS3の多面体種別認識処理により認識された操作端末1の種類と、上記ステップS4の接触面認識処理S4により認識されたタッチスクリーン2に対する接触面を表す情報をもとに、以下のように操作制御が実行される。図12はその処理手順及び処理内容を示すフローチャートである。
【0043】
すなわち、先ずステップS51,S52において、ユーザが操作端末1をタッチスクリーン2上でスライド移動させたか、或いは回転させたかが判定される。判定手法としては例えば次のようなものが用いられる。
すなわち、先ずタッチスクリーン2上における操作端末1の接触面の各導電体12の位置座標をもとに当該操作端末1の接触面の重心座標を算出し、この算出された重心座標が予め設定された範囲内にあるか否かを判定する。この判定の結果、重心座標が設定範囲外へ移動している場合には、操作端子1は「スライド移動」と判定する。これに対し、重心座標が設定範囲内にある場合には、上記各導電体12の位置座標、つまり接触面の頂点の位置座標が所定量以上変化しているか否かを判定する。そして、接触面の頂点の位置座標が所定量以上変化しているときは、上記操作端末1の操作は「回転」と判定する。
【0044】
上記ステップS51により「スライド移動」と判定された場合には、ステップS52において上記操作端末1のスライド移動の方向と距離をもとに、ディスプレイ4の表示画面上に表示されるマウスカーソルの移動方向と移動距離を算出し、表示画面制御ユニット50へ出力する。この結果、ディスプレイ4の表示画面上に表示されるマウスカーソルは、上記操作端末1のスライド移動操作に応じて表示位置が移動する。例えば、図13に示すようにユーザがタッチスクリーン2上で操作端末1を図中P1からP2へスライド移動させたとすると、この操作に応じてディスプレイ4の表示画面上ではマウスカーソルの表示位置が図中Q1からQ2に移動する。
【0045】
一方、上記ステップS53において操作端末1の操作が「回転」と判定されたとする。この場合には、上記ステップS3の多面体種別認識処理により認識された操作端末1の種類と、上記ステップS4の接触面認識処理S4により認識されたタッチスクリーン2に対する接触面を表す情報をもとに、当該操作端末1の種類と接触面に対応するショートカット情報をショートカットマッピングデータベース33から読み出す。そして、この読み出されたショートカット情報がアプリケーションのショートカットであるか、又はフォルダのショートカットであるかをステップS54,S56において判定する。
【0046】
この判定の結果、アプリケーションのショートカットであれば、ステップS55によりアプリケーションのショートカットを起動又は終了させる処理が実行される。例えば、いま正6面体からなる操作端末1が使用され、かつタッチスクリーン2に接触した面が(4) であれば、図5に示すマッピングデータをもとに「ゲームアプリケーション1」のショートカット機能が起動又は終了される。
【0047】
これに対し、フォルダのショートカットであれば、ステップS57においてアプリケーションのショートカットを起動又は終了させる処理が実行される。例えば、いま正8面体(図2(c))からなる操作端末1が使用され、かつタッチスクリーン2に接触した面が(2) であれば、図5に示すマッピングデータをもとに「画像専用フォルダ」のショートカット機能が起動又は終了される。
【0048】
かくして、上記操作端末1の種類と、タッチスクリーン2に対する当該操作端末1の接触面に対応するアプリケーション又はフォルダについて、そのショートカット機能を起動又は終了する処理が実行される。
【0049】
なお、上記ショートカットを「起動」するか「終了」するかは、先に「回転」と判定されたときの、重心座標を中心に上記各頂点の位置座標が動いた方向が時計回りか反時計回りかを判定することにより判定される。例えば、時計回りの場合には「起動」、反時計回りの場合には「終了」とそれぞれ判定される。
【0050】
またステップS58において、操作端末1の面に設けられたキーが押下されているか否かが判定される。この判定の結果、キーが押下されている場合はステップS59において押下されたキーに対応する処理が実行される。例えば、右クリックに対応するキーが押下されていれば右クリック操作に応じた処理が行われ、これに対し左クリックに対応するキーが押下されていれば左クリック操作に応じた処理が行われる。
【0051】
最後にステップS6では、上記ステップS5による操作制御に伴う表示画像データが、表示画面データベース34に記憶されたデータをもとに生成され、この生成された表示画像データがディスプレイ4の表示下面に表示される。
【0052】
以上詳述したように第1の実施形態では、内部に加速度センサ14を収容しかつ各面の頂点に導電体12を設けた正多面体からなる操作端末1を用いる。そして、この操作端末1がタッチスクリーン2上で転がし操作及び回転操作されたとき、操作情報処理装置3において、タッチスクリーン2上における操作端末1の各導電体12の接触位置座標をもとに操作端末1の種類を認識すると共に、上記加速度センサ14の加速度情報をもとに操作端末1のどの面がタッチスクリーン2に接触しているかを認識する。そして、認識された種類と接触面に対応するショートカット機能を選択し、このショートカット機能を上記操作端末1の回転操作方向に応じて起動又は終了するようにしている。
【0053】
したがって、正多面体からなる操作端末1をタッチスクリーン2上で転がし操作及び回転操作することにより所望のショートカット機能を起動又は終了することが可能となる。このため、操作の都度カメラの視野内に手を移動させたり複雑なハンドジェスチャを行うことなくショートカット機能を使用することができ、これによりユーザの操作性を高めることができる。特に手指が不自由なユーザにとっては、転がし操作及び回転操作という簡単な操作のみで多数のショートカット機能を選択使用できるので、きわめて有用である。
【0054】
また、操作端末1のスライド移動をタッチスクリーン2により検出することで、ディスプレイ4の表示画面上におけるマウスカーソルを移動させることができる。さらに、操作端末1の各面にキー13を設けたことにより、このキー13によりクリック操作を行うことが可能となる。しかも、その際キー13はすべての面に設けているので、転がし操作により操作端末1のどの面が選択されている場合でも、操作性を損なわずに済む利点がある。
【0055】
(第2の実施形態)
第1の実施形態では、操作端末1として正6面体、正12面体及び正20面体を選択的に使用する場合を例にとって説明したが、これらに正4面体及び正8面体を含めるようにしてもよい。しかし、正4面体、正8面体及び正20面体はいずれも面の形状が正三角形であるため、面の頂点の数だけでは正多面体の種類を識別することができない。
【0056】
そこでこの発明の第2の実施形態は、マウスのように握りやすい正多面体のサイズが一意に決められており、同じ外接球の半径をもつ正多面体を用いるとすれば、正三角形をなす各面の辺の長さが異なることに着目し、接触面の頂点の数と辺の長さをもとに正多面体の種類を判別するようにしたものである。
【0057】
すなわち、外接球の半径をRとしたときの正4面体、正8面体、正20面体の各辺の長さはそれぞれ下記の式で算出することができ、実際の辺の長さは頂点間の位置座標の差として計算することができる。そして、この算出された実際の辺の長さを、上記式により算出された辺の長さに基づくしきい値と比較することで、一意に正多面体の種類を識別することができる。
【表1】

【0058】
図15は、この発明の第2の実施形態に係る操作情報処理装置による多面体種別認識処理の手順と処理内容を示すフローチャートである。なお、同図において前記図10と同一ステップには同一符号を付して詳しい説明は省略する。
ステップS36において頂点が3個と判定されると、上記ステップS371,S373,S375において、先に述べた多面体種別認識処理の過程で頂点間の位置座標をもとに算出される接触面の一辺の長さが、予め設定したしきい値TH1,TH2と比較される。そして、辺の長さがしきい値TH1以上より長ければ、ステップS372において操作端末1は正4面体と判断される。また、辺の長さがしきい値TH1以下でかつしきい値TH2より長ければ、ステップS374において操作端末1は正8面体と判断される。さらに、辺の長さがしきい値TH2以下であれば、ステップS376において操作端末1は正20面体と判断される。
【0059】
したがって、第2の実施形態によれば、操作端末1として、正6面体及び正12面体に加え、面形状がいずれも正三角形をなす正4面体、正8面体及び正20面体を一意に判別することが可能となり、これによりショートカット機能を用いて操作する対象のタスクをさらに増やすことができる。
【0060】
(第3の実施形態)
前記第1及び第2の実施形態では、タッチスクリーン2上に正多面体からなる操作端末1を同時に1個しか接触させない条件の下で操作制御を行う場合について述べた。しかし、実用上においてはタッチスクリーン2上に複数の操作端末を同時に置いた場合に、これらの操作端末を識別できるようにするとより利便性が向上する。
【0061】
そこで、この発明の第3の実施形態では、多面体種別認識処理において、先ずタッチスクリーン2に接触している面の頂点の中から任意に例えば5個を選び出し、この選択した5個の頂点が面を形成していると仮定して重心を導出する。続いて、この算出された重心と各頂点との間の長さをそれぞれ計算し、計算された各長さが一定の誤差の範囲内で一致するか否かを判定する。そして、一致すると判定された場合には、上記選択した5個の頂点は同心円上にあると見なし、当該同心円上に5個の頂点を持つ操作端末を正12面体と判別する。
【0062】
同様に、選択する頂点の数を変化させながらすべての頂点の組み合わせについて上記アルゴリズムを実行し、選択した頂点がすべて同心円上にあった場合には、当該頂点の位置座標から操作端末1の種類を判別する。
したがって、タッチスクリーン2上に複数種の正多面体操作端末が同時に載置されている場合でも、これらの操作端末の種類をそれぞれ識別することができる。
【0063】
(その他の実施形態)
フォルダのショートカット機能が実行されたときに、ただ単にフォルダを表示するだけでなく、そのフォルダ内に含まれるフォルダにマウスカーソルの位置を自動的に合わせるようにするとよい。このようにすると、ショットカット機能を実行した後のフォルダの選択に必要なマウスカーソルの移動距離を少なくすることができる。
【0064】
また、正多面体操作端末を1種類のみ使用する場合には、正多面体操作端末の種類を識別するための構成要素と処理を省略することができる。さらに、前記各実施形態では操作情報処理装置1において多面体種別の認識や接触面の認識処理等を実行するようにしたが、これらの情報処理装置1において実行していた各処理機能をディスプレイ内に設けたり、また正多面体操作端末内に設けるようにしてもよい。
その他、操作情報処理装置の構成やその各処理手順及び処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【0065】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0066】
1A,1B…正多面体操作端末、2…タッチスクリーン、3…操作情報処理装置、4…ディスプレイ、10…操作端末信号受信ユニット、11…操作端末の筐体、12…導電体、13…キー、14…加速度センサ、20…タッチスクリーン信号受信ユニット、30…記憶ユニット、31…テンキー及び加速度センサ情報蓄積部、32…タッチスクリーン情報蓄積部、33…ショートカットマッピングデータベース、34…表示画像データベース、35…接触面情報データベース、40…操作制御ユニット、41…多面体種別認識部、42…接触面認識部、43…操作制御部、50…表示画面制御ユニット。

【特許請求の範囲】
【請求項1】
正多面体からなる操作端末と、この操作端末との間で無線通信が可能でありかつ操作対象のコンピュータとの間で通信が可能な操作情報処理装置とを具備し、
前記操作端末は、自端末を転がす操作が行われたときその操作後の当該端末の姿勢を検出してその姿勢検出情報を前記操作情報処理装置へ送信する手段を備え、
前記操作情報処理装置は、
前記操作端末の各面を表す情報と、操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶した記憶手段と、
前記操作端末から送信された姿勢検出情報を受信し、この受信された姿勢検出情報をもとに、前記転がし操作により選択された操作端末の面を認識する手段と、
前記認識された操作端末の面に対応するショートカット情報を前記記憶手段から読み出し、この読み出されたショートカット情報を前記コンピュータへ送信する送信手段と
を備えることを特徴とする操作情報入力システム。
【請求項2】
前記操作端末を転がす操作が行われたとき、その操作後の当該端末の底面と接触してその形状を表す情報を検出し、この面形状検出情報を前記操作情報処理装置へ送信するタッチスクリーンを、さらに具備し、
前記操作情報処理装置の記憶手段は、前記操作端末の種類ごとに、その各面を表す情報と操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶し、
前記操作情報処理装置の送信手段は、
前記タッチスクリーンから送信された面形状検出情報を受信し、この受信された面形状検出情報をもとに前記転がし操作された操作端末の種類を判定する手段と、
前記判定された操作端末の種類に該当し、かつ前記認識された操作端末の面に対応するショートカット情報を前記記憶手段から読み出し、この読み出されたショートカット情報を前記コンピュータへ送信する手段と
を備えることを特徴とする請求項1記載の操作情報入力システム。
【請求項3】
前記タッチスクリーンは、転がし操作後の操作端末の底面の頂点の数及び辺の長さを検出し、この検出された底面の頂点の数及び辺の長さを表す情報を含む面形状検出情報を前記操作情報処理装置へ送信し、
前記操作端末の種類を判定する手段は、前記タッチスクリーンから送信された面形状検出情報に含まれる底面の頂点の数及び辺の長さを表す情報をもとに、前記転がし操作された操作端末の種類を判定することを特徴とする請求項2記載の操作情報入力システム。
【請求項4】
前記タッチスクリーンは、転がし操作後の操作端末の底面の各頂点の位置座標を検出して、この検出された各頂点の位置座標を表す情報を含む面形状検出情報を前記操作情報処理装置へ送信し、
前記操作端末の種類を判定する手段は、
前記タッチスクリーンから送信された面形状検出情報に含まれる底面の各頂点の位置座標をもとにその重心を算出し、この算出された重心に対し前記各頂点が同心円上にあるか否かを判定して、同心円上にあると判定された頂点群を1個の操作端末の底面を表す頂点群として認識する手段を、さらに有することを特徴とする請求項2又は3記載の操作情報入力システム。
【請求項5】
前記操作端末は、自端末を二次元方向に回転させる操作が行われたとき当該端末の回転方向を検出し、その回転方向検出情報を前記操作情報処理装置へ送信する手段を、さらに備え、
前記操作情報処理装置は、前記操作端末から送信された回転方向検出情報を受信し、この受信された回転方向検出情報をもとに前記ショートカット情報の起動又は終了を指示する情報を生成して、この生成された起動/終了指示情報を前記コンピュータへ送信する手段を、さらに備えることを特徴とする請求項1乃至4のいずれかに記載の操作情報入力システム。
【請求項6】
正多面体からなり自端末を転がす操作が行われたときその操作後の当該端末の姿勢を検出してその姿勢検出情報を送信する機能を備えた操作端末と共に使用される操作情報処理装置であって、
前記操作端末の各面を表す情報と、操作対象として予め設定された複数のタスクへのショートカット情報とを関連付けて記憶した記憶手段と、
前記操作端末から送信された姿勢検出情報を受信し、この受信された姿勢検出情報をもとに、前記転がし操作により選択された操作端末の面を認識する手段と、
前記認識された操作端末の面に対応するショートカット情報を前記記憶手段から読み出し、この読み出されたショートカット情報を操作対象のコンピュータへ送信する手段と
を具備することを特徴とする操作情報処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−123530(P2012−123530A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−272629(P2010−272629)
【出願日】平成22年12月7日(2010.12.7)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】