説明

情報処理装置及びその制御方法及びそのプログラム

【課題】 2個所以上の指示位置による操作者の指示に基づいて動作する情報処理装置の動作量を、指示位置での接触圧力によって制御できるようにする。
【解決手段】 上記課題を解決するため、本発明は、タッチパネル上の複数個所が同時に接触されることにより指示される複数の指示位置を検し、前記複数の指示位置に基づいて前記操作者の指示を解釈し、前記複数の指示位置での接触圧力の大きさを示す情報を取得し、前記指示に基づく動作の動作量を、前記取得した情報が示す接触圧力の大きさに基づいて判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、指、ペンまたは指示棒等で指示された位置に基づいてユーザの指示を解釈して操作を行なう情報処理装置及びその方法及びそのプログラムに関するものである。
【背景技術】
【0002】
従来、例えば、タッチパネルにおける操作において、複数の接触点の位置座標を検知することができた。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、上記従来の装置は、固定された一点に対してもう一つの入力を未知の入力データとして検知するものであり、同時に移動する2個所以上の指示位置の軌跡をそれぞれ検知することはできなかった。
【0004】
従って、このような同時に移動する複数の指示位置の軌跡の組合せにより表現された指示を解釈することはできなかった。
【0005】
本発明は上述した課題を解決するためになされたものであり、同時に移動する2個所以上の指示位置の軌跡をそれぞれ検知することのできる位置情報処理装置及びその方法を提供することを目的とする。
【0006】
また、本発明の他の目的は、2個所以上の指示位置による操作者の指示に基づいて動作する情報処理装置の動作量を、指示位置での接触圧力によって制御する技術を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決する為、本発明は、操作者の指示に基づいて動作する情報処理装置であって、タッチパネル上の複数個所が同時に接触されることにより指示される複数の指示位置を検知する検知手段と、前記検知手段が検知した複数の指示位置に基づいて前記操作者の指示を解釈する解釈手段と、前記検知手段が検知した複数の指示位置での接触圧力の大きさを示す情報を取得する取得手段と、前記解釈手段が解釈した指示に基づく動作の動作量を、前記取得手段が取得した情報が示す接触圧力の大きさに基づいて判定する判定手段とを備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、2個所以上の指示位置による操作者の指示に基づいて動作する情報処理装置の動作量を、指示位置での接触圧力によって制御することが行できる。
【図面の簡単な説明】
【0009】
【図1】実施形態の情報処理装置のハードウェア構成を示すブロック図である。
【図2】タッチパネルを用いた指による位置入力の例を示す図である。
【図3】撮影装置を用いた指による位置入力の例を示す図である。
【図4】指示位置の軌跡を用いる処理の手順を示すフローチャートである。
【図5】軌跡検知処理の手順を示すフローチャートである。
【図6】組合せ特定処理の手順を示すフローチャートである。
【図7】記憶された指示位置データの例を示す図である。
【図8】取得される現在の指示位置データの例を示す図である。
【図9】複数指示位置の軌跡検知で利用されるデータの流れを示す図である。
【図10】指示面積の大きさを利用した軌跡検知処理の手順を示すフローチャートである。
【図11】指示面積を利用した組合せ特定処理の手順を示すフローチャートである。
【図12】取得される現在の指示位置の面積を表した図である。
【図13】記憶された指示位置の面積データの例を示す図である。
【図14】指示面積の大きさを利用した処理で利用されるデータの流れを示す図である。
【図15】複数指示位置の軌跡を用いた操作手順を示すフローチャートである。
【図16】指示解釈処理の流れを示すフローチャートである。
【図17】指示位置間の距離変化の取得処理の手順を示すフローチャートである。
【図18】距離変化に基づく指示解釈処理の手順を示すフローチャートである。
【図19】距離変化に基づく指示解釈処理の別の手順を示すフローチャートである。
【図20】縮小操作として解釈される操作例を示す図である。
【図21】縮小操作として解釈されるデータの例を示す図である。
【図22】拡大操作として解釈される操作例を示す図である。
【図23】拡大操作として解釈されるデータ例を示す図である。
【図24】指示位置の角度変化を利用する指示解釈の手順を示すフローチャートである。
【図25】指示位置の角度変化の取得処理の手順を示すフローチャートである。
【図26】角度変化に基づく指示解釈処理の手順を示すフローチャートである。
【図27】右回転操作として解釈される操作例を示す図である。
【図28】右回転操作として解釈されるデータの例を示す図である。
【図29】左回転操作として解釈される操作例を示す図である。
【図30】左回転操作として解釈されるデータの例を示す図である。
【図31】固定指示位置と移動指示位置の関係を利用する指示解釈処理の手順を示すフローチャートである。
【図32】固定指示位置検出処理の手順を示すフローチャートである。
【図33】移動方向に基づく指示解釈処理の手順を示すフローチャートである。
【図34】指示位置移動方向判定処理の手順を示すフローチャートである。
【図35】指示位置移動方向判定処理で利用される角度の解釈について示す図である。
【図36】左移動操作として解釈される操作例を示す図である。
【図37】左移動操作として解釈されるデータの例を示す図である。
【図38】上移動操作として解釈される操作例を示す図である。
【図39】上移動操作として解釈されるデータの例を示す図である。
【図40】下移動操作として解釈される操作例を示す図である。
【図41】下移動操作として解釈されるデータの例を示す図である。
【図42】右移動操作として解釈される操作例を示す図である。
【図43】右移動操作として解釈されるデータを示す図である。
【図44】固定指示位置と移動指示位置との距離変化を利用する指示解釈処理の手順を示すフローチャートである。
【図45】指示位置間距離変化に基づく指示解釈処理の手順を示すフローチャートである。
【図46】縮小操作として解釈される操作例を示す図である。
【図47】縮小操作として解釈されるデータの例を示す図である。
【図48】拡大操作として解釈される操作例を示す図である。
【図49】拡大操作として解釈されるデータの例を示す図である。
【図50】固定指示位置を中心とした縮小操作として解釈される操作例を示す図である。
【図51】固定指示位置を中心とした縮小操作として解釈されるデータの例を示す図である。
【図52】移動指示位置間の距離を利用する処理の手順を示すフローチャートである。
【図53】移動指示位置間の距離変化に基づく指示解釈処理の手順を示すフローチャートである。
【図54】縮小操作として解釈される操作例を示す図である。
【図55】縮小操作として解釈されるデータの例を示す図である。
【図56】拡大操作として解釈される操作例を示す図である。
【図57】拡大操作として解釈されるデータを示す図である。
【図58】複数移動指示操作として解釈される操作例を示す図である。
【図59】複数移動指示操作として解釈されるデータを示す図である。
【図60】指示位置間の角度変化を利用する処理の手順を示すフローチャートである。
【図61】指示位置間の角度変化に基づく指示解釈処理の手順を示すフローチャートである。
【図62】右回転操作として解釈される操作例を示す図である。
【図63】右回転操作として解釈されるデータの例を示す図である。
【図64】左回転操作として解釈される操作例を示す図である。
【図65】左回転操作として解釈されるデータの例を示す図である。
【図66】移動指示位置の角度変化を利用する処理の手順を示すフローチャートである。
【図67】移動指示位置の角度変化に基づく指示解釈処理の手順を示すフローチャートである。
【図68】右回転操作として解釈される操作例を示す図である。
【図69】右回転操作として解釈されるデータの例を示す図である。
【図70】左回転操作として解釈される操作例を示す図である。
【図71】左回転操作として解釈されるデータの例を示す図である。
【図72】重心を中心とした回転操作として解釈される操作例を示す図である。
【図73】重心を中心とした回転操作として解釈されるデータの例を示す図である。
【図74】指示位置間の位置関係を利用する処理の手順を示すフローチャートである。
【図75】指示位置間の位置関係判定処理の手順を示すフローチャートである。
【図76】指示位置間の位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図77】上下移動操作として解釈される操作例を示す図である。
【図78】上下移動操作として解釈されるデータの例を示す図である。
【図79】左右移動操作として解釈される操作例を示す図である。
【図80】左右移動操作として解釈されるデータを示す図である。
【図81】指示位置間の位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図82】位置関係変化に基づく指示解釈処理の手順を示すフローチャートである。
【図83】指示位置間関係変化取得処理の手順を示すフローチャートである。
【図84】反転操作として解釈される操作例を示す図である。
【図85】反転操作として解釈されるデータ例を示す図である。
【図86】左右反転操作として解釈される操作例を示す図である。
【図87】左右反転操作として解釈されるデータ例を示す図である。
【図88】上下反転操作として解釈される操作例を示す図である。
【図89】上下反転操作として解釈されるデータ例を示す図である。
【図90】指示位置間の位置関係判定処理の手順を示すフローチャートである。
【図91】固定指示位置に対する位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図92】固定指示位置に対する位置関係に基づく指示解釈処理の詳細手順を示すフローチャートである。
【図93】固定指示位置に対する位置関係判定処理の手順を示すフローチャートである。
【図94】指示位置移動方向取得処理の手順を示すフローチャートである。
【図95】移動方向が同一である時に、位置関係によりそれぞれ解釈が異なる二つの操作例を示す図である。
【図96】次項目操作として解釈されるデータ例を示す図である。
【図97】固定指示位置と移動指示位置との位置関係に基づく処理の手順を示すフローチャートである。
【図98】固定指示位置と移動指示位置との位置関係判定処理の手順を示すフローチャートである。
【図99】指示位置間関係判定処理の手順を示すフローチャートである。
【図100】指示位置間関係変化取得処理の手順を示すフローチャートである。
【図101】固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図102】対称反転として解釈される操作例を示す図である。
【図103】対称反転操作として解釈される場合のデータ例を示す図である。
【図104】固定指示位置が三個所以上ある場合の処理の流れを示すフローチャートである。
【図105】複数固定指示位置に対する移動指示位置の位置関係判定処理の手順を示すフローチャートである。
【図106】指示位置間関係取得処理の手順を示すフローチャートである。
【図107】領域内であるとして解釈される操作例を示す図である。
【図108】領域内であるとして解釈される操作のデータ例を示す図である。
【図109】指示位置間の位置関係変化の取得処理の手順を示すフローチャートである。
【図110】領域外移動として解釈される操作例を示す図である。
【図111】領域外移動として解釈される操作のデータ例を示す図である。
【図112】複数固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図113】固定指示位置間領域内への属性付与として解釈される操作例を示す図である。
【図114】固定指示位置間領域内への属性付与として解釈される操作のデータ例を示す図である。
【図115】複数指示位置の指示位置数変化を用いた指示解釈処理の手順を示すフローチャートである。
【図116】初期指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。
【図117】操作対象指定途中として解釈される場合の操作例を示す図である。
【図118】操作対象指定途中として解釈される場合の操作のデータ例を示す図である。
【図119】指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。
【図120】初期指示位置を基準にした指示解釈処理の手順を示すフローチャートである。
【図121】指示位置を中心とした回転操作として解釈される場合の操作例を示す図である。
【図122】指示位置を中心とした回転操作として解釈される場合のデータ例を示す図である。
【図123】最終指示位置数変化を用いた処理の手順を示すフローチャートである。
【図124】最終指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。
【図125】直前の操作に対するキャンセル指示として解釈される場合の操作例を示す図である。
【図126】直前の操作に対するキャンセル指示として解釈される場合の操作のデータ例を示す図である。
【図127】指示軌跡以外の指示情報を用いた処理の手順を示すフローチャートである。
【図128】指示軌跡以外の指示情報を用いた処理の手順を示すフローチャートである
【図129】全指示位置数を用いた処理の手順を示すフローチャートである。
【図130】指示位置数を用いた指示解釈処理の手順を示すフローチャートである。
【図131】ページめくり操作として解釈される操作例を示す図である。
【図132】ページめくり操作として解釈されるデータ例を示す図である。
【図133】指示軌跡以外の指示情報として指示位置移動速度を取得する処理の手順を示すフローチャートである。
【図134】指示位置移動速度取得処理の手順を示すフローチャートである。
【図135】指示位置移動速度に基づく指示解釈処理の手順を示すフローチャートである。
【図136】指示位置移動速度を用いてページめくり操作として解釈される場合の操作例を示す図である。
【図137】指示位置移動速度を用いてページめくり操作として解釈される場合のデータ例を示す図である。
【図138】指示軌跡以外の指示情報として指示位置接触圧力を用いた処理の手順を示すフローチャートである。
【図139】指示位置接触圧力に基づく指示解釈処理の手順を示すフローチャートである。
【図140】指示位置接触圧力により画面移動操作として解釈される操作例を示す図である。
【図141】指示位置接触圧力により画面移動操作として解釈されるデータ例を示す図である。
【図142】複数指示位置の移動距離を用いた処理の手順を示すフローチャートである。
【図143】複数指示位置の移動距離に基づく指示解釈処理の手順を示すフローチャートである。
【図144】複数指示位置の移動距離を用いたページめくり操作として解釈される場合の操作例を示す図である。
【図145】複数指示位置の移動距離を用いたページめくり操作として解釈される場合のデータ例を示す図である。
【図146】複数指示位置の不動時間に着目した場合の処理の手順を示すフローチャートである。
【図147】範囲指定操作として解釈される場合の操作例を示す図である。
【図148】範囲指定操作として解釈される場合のデータ例を示す図である。
【図149】指定範囲に対する拡大操作として解釈される操作例を示す図である。
【図150】指定範囲に対する拡大操作として解釈されるデータ例を示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しながら、本発明に係る好適な一実施例を詳細に説明する。
【0011】
図1は、本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
同図において、入力部1は、指示位置により情報を入力するためのタッチパネルなどである。CPU2は、各種処理のための演算、論理判断等を行ない、バス6に接続された各構成要素を制御する。出力部3は、情報を表示するディスプレイや情報を印刷するプリンタ、情報を送信するモデムなどである。
【0012】
プログラムメモリ4は、フローチャートにつき後述する処理手順を含む、CPU2による制御のためのプログラムを格納するメモリである。プログラムメモリ4は、ROMであってもよいし、外部記憶装置などからプログラムがロードされるRAMであってもよい。
【0013】
データメモリ5は、各種処理で生じたデータを格納するほか、後述する知識ベースの知識を格納する。データメモリ5は、例えばRAMとしてよいが、知識ベースの知識は、不揮発な外部記憶媒体から、処理に先立ってロードしておく、あるいは、必要があるごとに参照するものとする。
【0014】
バス6は、CPU2の制御の対象とする構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号、各構成機器相互間でやりとりされるデータの転送を行なう。
【0015】
〔実施形態1〕
図2は、タッチパネルを用いた指による位置入力の例を示す図である。同図に示すように、指の接触した2点A、Bのそれぞれの始点から終点までの軌跡により、2点の関係を取得して入力を理解する。
【0016】
例1(平行方向)のように、各点の距離が変化せず、軌跡が平行になる場合がある。このような入力の例としては、対象物の平行移動などが考えられる。
【0017】
例2(内側方向)のように、各点の軌跡が他方の点に向っている場合がある。このような入力の例としては、対象物の縮小または最小化などが考えられる。
【0018】
逆に、例3(外側方向)のように、各点の軌跡が他方から離れていく場合がある。このような入力の例としては、対象物の拡大または最大化などが考えられる。
【0019】
図3は、カメラなどの撮影装置を用いた指による位置入力の例を示す図である。ここでは、上述したタッチパネルに直接触れて指示を与える代わりに、カメラ301の有効領域302内で303及び304に示すように指先を動かすことにより、撮像した指示先(指先)位置を認識することで、指示位置を検知している。
【0020】
図4は、指示位置の軌跡を用いる処理の手順を示すフローチャートである。同図において、ステップS401で入力が検知されると、次のステップS402で終了が検知されない場合には、ステップS403に進み、軌跡検知処理が起動される。続いてステップS404において、検知した軌跡を入力情報として対応した処理が起動される。
【0021】
図5は、ステップS403の軌跡検知処理の手順を示すフローチャートである。ステップS501で指示位置検知処理が実行され、現在の指示位置の座標データが取得される。次にステップS502で組合せ特定処理が実行され、現在の各指示位置とそれぞれに最も近い直前の指示位置との組合せが特定される。続くステップS503で指示位置記憶処理が実行され、現在の指示位置を最適な指示位置データテーブル(最も近い直前の位置と同じテーブル)に格納する。
【0022】
図6は、ステップS502の組合せ特定処理の手順を示すフローチャートである。同図において、ステップS601で、現在の指示位置の1つと直前の指示位置のそれぞれとの距離を求める処理が起動され、次のステップS602で、現在の指示位置と最も距離の短い直前の指示位置との組合せを特定する。続くステップS603で、該当する組合せがあった場合にはステップS604に進み、組となる直前の指示位置と同じテーブルに、現在の指示位置を追加する。これをステップS603において該当する組合せが無くなるまで繰り返す。
【0023】
図7は、軌跡検知処理により記憶された指示位置データの例を示す図である。同図において、グラフ701のように時刻t1における点At1のXY座標は(3,3)であり、時刻t5における点At5のXY座標は(7,5)であり、この間t1からt5に対応する点A、Bの座標データがそれぞれテーブル702、703に格納されている。
【0024】
図8は、軌跡検知処理により取得される現在の指示位置データの例を示す図である。同図において、グラフ801のように、現在の時刻t6において、複数箇所の指示位置として、XY座標(8,6)である点aと、XY座標(8,8)である点bが存在し、取得された現在(t6)の位置データがテーブル802に格納されている。
【0025】
図9は、複数指示位置の軌跡検知処理で利用されるデータの流れを示す図である。同図において、テーブル901に、現在の指示位置データとして点a(8,6)及び点b(8,8)が取得されており、この現在の指示位置データを参照し、テーブル902に、現在の指示位置である各点に対して、直前の各指示位置との距離を取得する。この場合、例えば、点aに対して直前の指示位置At5との距離1.414、直前の指示位置Bt5との距離4.123が取得される。
【0026】
その結果、点aは、最も距離の近い直前の指示位置At5と同じテーブル903に格納される。点bにも同様に、直前の指示位置Bt5と同じテーブル904に格納される。
【0027】
図10は、指示面積の大きさを利用した軌跡検知処理の手順を示すフローチャートである。上述の例では、現在の各指示位置が、直前の複数の指示位置の中で距離の最も近い位置に対応するとして軌跡を求めたが、ここでは、現在の各指示位置が、直前の複数の指示位置の中で指示面積(例えば、タッチパネルにおける指の接触面積)が最も近位置に対応するとして軌跡を求める。
【0028】
同図において、ステップS1001で指示面積検知処理が起動され、現在の指示面積が取得される。次にステップS1002で組合せ特定処理が起動され、直前の指示面積との差分より現在の指示面積に最も近い直前の指示面積との組合せが特定される。続いてステップS1003で、指示面積記憶処理が起動され、現在の指示面積データが最適なテーブル(現在の指示面積に最も近い直前の指示面積が格納されたテーブル)に格納される。
【0029】
図11は、ステップS1002における、指示面積の大きさを利用した組合せ特定処理の手順を示すフローチャートである。同図において、ステップS1101で、現在の指示位置の面積と直前の各指示位置の面積との差分を求める処理が起動され、次のステップS1102で、現在の指示位置と最も面積の近い直前の指示位置との組合せを特定する。続くステップS1103で該当する組合せがあった場合にはステップS1104に進み、最も面積の近い直前の指示位置と指示面積とのテーブルに、現在の指示位置と指示面積とを追加する。これをステップS1103において該当する組合せが無くなるまで繰り返す。
【0030】
図12は、取得される現在の指示位置の面積の例を示す図である。グラフ1201において、現在の指示位置が点a(8,6)にあり、点aを指示した時のタッチパネルの接触の様子を示したのが拡大図1202である。その結果、指示位置の面積が求められる。
【0031】
図13は、記憶された指示位置の面積データの例を示す図である。同図において、グラフ1301のように、時刻t1における指示位置点At1のXY座標は(3,3)、指示位置点Bt1のXY座標は(12,14)であり、時刻t5における指示位置点At5のXY座標は(7,5)、指示位置点Bt5のXY座標は(8,8)である。更に、現在の時刻t6において、現在の指示面積として点a(8,6)を含む指示面積1と、点b(8,8)を含む指示面積2とが存在する。
【0032】
また、テーブル1302において、時刻t1における点Aの面積は12.5であり、続いて時刻t2からt5に対応する点Aの面積データが格納されている。同様に、テーブル1303に、点Bの各時刻の面積データが格納されている。更に、テーブル1304に、取得された現在時刻t6の指示面積データとして点aを含む面積データ11.5、及び点bを含む面積データ20.0が格納されている。
【0033】
図14は、指示面積の大きさを利用した軌跡取得処理で利用されるデータの流れを示す図である。同図において、テーブル1401に、現在の指示面積データとして、点a(8,6)を含む面積11.5と、点b(8,8)を含む面積20.0とが取得されており、現在の指示位置の面積データを参照し、テーブル1402に、各面積データと直前の各指示位置の面積データとの差分を取得する。ここでは、点aを含む指示面積11.5に対して、直前の指示面積Aとの差分0.5、及び直前の指示面積Bとの差分9.0が取得される。
【0034】
その結果、点aを含む指示面積データ11.5は、最も差分の小さい直前の指示面積Aと同じテーブル1403に格納される。また、点bを含む指示面積データも同様にして、直前の指示面積Bと同じテーブル1404に格納される。
【0035】
〔実施形態2〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから、行うべき操作を解釈する処理について具体的に説明する。
【0036】
図15は、複数指示位置の軌跡を用いた操作手順を示すフローチャートである。同図において、ステップS1501で入力が検知されると、次のステップS1502で終了が検知されない場合には、ステップS1503に進み、移動軌跡検知処理が起動される。次に、ステップS1504で指示解釈処理が起動され、続いてステップS1505において指示に対応した処理が起動される。
【0037】
図16は、ステップS1504における指示解釈処理の手順を示すフローチャートである。同図において、ステップS1601で指示位置間距離測定処理が起動され、現在の指示位置間の距離が測定される。次に、ステップS1602に進み、指示位置間の距離変化の取得処理が起動され、指示位置間の距離の変化を取得する。続いてステップS1603で、距離変化に基づく指示解釈処理が起動され、取得された距離変化に応じて行なうべき操作を解釈する。
【0038】
図17は、ステップS1602における指示位置間の距離変化の取得処理の手順を示すフローチャートである。同図において、ステップS1701で移動開始時の指示位置間の距離が測定され、続いてステップS1702で移動終了時の指示位置間の距離が測定される。次にステップS1703に進み、移動開始時の指示位置間の距離と、移動終了時の指示位置間の距離との差分が取得される。
【0039】
図18は、ステップS1603における距離変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS1801において、変化量が0より小さかった場合には縮小操作と解釈される(ステップS1802)。同様に変化量が0より大きかった場合には、拡大操作と解釈され(ステップS1803)、変化量が0に等しい場合には、縮小または拡大操作以外であると解釈される(ステップS1804)。
【0040】
図19は、距離変化に基づく指示解釈処理の別の手順を示すフローチャートである。同図において、ステップS1901において、指示位置間の距離変化の取得処理により取得された距離変化より操作倍率が取得される。次に、s1902において変化率が取得され、続いてステップS1903で操作倍率と変化率データより実倍率が取得される。
【0041】
計算式:実倍率=100−(100−操作倍率X)×変化率α
図20は、縮小操作として解釈される操作例を示す図である。同図において、移動開始時t1における指示位置点A及び点Bから、移動終了時t5における指示位置点A’及び点B’へと変化した場合、縮小操作であると解釈される。
【0042】
図21は、縮小操作として解釈されるデータの例を示す図である。同図において、グラフ2101の各指示位置のXY座標は、移動開始時t1では点At1(3,3), 点Bt1(12,10)、移動終了時t5では点At5(7,5)、点Bt5(8,6)である。この時、テーブル2102に示すように、指示位置A,B間の距離は移動開始時t1では15.000、移動終了時t6では1.118であり、移動開始時t1から移動終了時t5の間の指示位置間の距離の変化量は−13.882である。また、移動開始時t1から移動終了時t5の間の指示位置間の距離変化の倍率は7%である。
【0043】
図22は、拡大操作として解釈される操作例を示す図である。同図において、移動開始時t1の指示位置点A及び点Bから、移動終了時t5の指示位置点A’及び点B’へと変化した場合、拡大操作であると解釈される。
【0044】
図23は、拡大操作として解釈されるデータの例を示す図である。同図において、グラフ2301のように各指示位置のXY座標は、移動開始時t1では点At1(7,5)、点Bt1(8,6)、移動終了時t5では点At5(3,3)、点Bt5(12,10)である。この時、テーブル2302に示すように、指示位置A,B間の距離は移動開始時t1では1.118、移動終了時t6では11.402であり、移動開始時t1から移動終了時t5の間の指示位置間の距離の変化量は+13.586である。また、移動開始時t1から移動終了時t5の間の指示位置間の距離変化の倍率は1020%である。
【0045】
〔実施形態3〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから、行うべき操作を解釈する際に、2つの指示位置を結ぶ線と基準線とのなす角の角度(以下、単に指示位置の角度と称する)の変化に着目した例について具体的に説明する。
【0046】
図24は、指示位置の角度変化を利用する指示解釈処理の流れを示す図である。同図において、ステップS2401で指示位置の角度の測定処理が起動され、各時点において、指示位置の角度が測定される。次に、ステップS2402に進み、指示位置角度変化取得処理が起動され、指示位置を結ぶ線の角度の変化を取得する。続いて、ステップS2403で角度変化に基づく指示解釈処理が起動され、取得された角度変化に応じて行なうべき操作を解釈する。
【0047】
図25は、指示位置の角度変化の測定処理の手順を示すフローチャートである。同図において、ステップS2501で移動開始時の指示位置を結ぶ線の角度が測定され、続いてステップS2502で移動終了時の指示位置を結ぶ線の角度が測定される。次に、ステップS2503に進み、移動開始時の指示位置を結ぶ線の角度と、移動終了時の指示位置を結ぶ線の角度との差分が取得される。
【0048】
図26は、角度変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS2601で、変化量が0°より大きかった場合には、左回転操作として解釈される(ステップS2602)。同様に変化量が0°より小さかった場合には右回転操作として解釈され(ステップS2603)、変化量が0°に等しい場合には回転操作以外であると解釈される(ステップS2604)。
【0049】
図27は、右回転操作として解釈される操作例を示す図である。同図において、移動開始時t1の指示位置点A及び点Bから、移動終了時t5の指示位置点A’及び点B’へと変化した場合、右回転操作であると解釈される。
【0050】
図28は、指示位置を結ぶ線の角度及びその変化データのうち、右回転操作として解釈されるデータ例を示す図である。同図において、グラフ2801のように指示位置AB間の角度は、移動開始時t1では、X軸に対して60度であり、移動終了時t5では26度である。この時、テーブル2802のように、移動開始時t1から移動終了時t5の間の指示位置間の角度の変化量は−34°である。
【0051】
図29は、左回転操作として解釈される操作例を示す図である。移動開始時t1の指示位置点A及び点Bから、移動終了時t5の指示位置点A’及び点B’へと変化した場合、左回転操作であると解釈される。
【0052】
図30は、指示位置を結ぶ線の角度及びその変化を示すデータのうち、左回転操作として解釈されるデータの例を示す図である。同図において、グラフ3001のように指示位置AB間の角度は、移動開始時t1では、X軸に対して60度であり、移動終了時t5では87度である。この時、テーブル3002のように、移動開始時t1から移動終了時t5の間の指示位置間の角度の変化量は+27°である。
【0053】
〔実施形態4〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置との関係の変化に着目した例について具体的に説明する。
【0054】
図31は、固定指示位置と移動指示位置の関係を利用する指示解釈処理の手順を示すフローチャートである。同図において、ステップS3101で固定指示位置検出処理が起動され、固定指示位置が検出される。次に、ステップS3102に進み、固定指示位置に基づく指示解釈処理が起動され、行なうべき操作を解釈する。
【0055】
図32は、ステップS3101における固定指示位置検出処理の手順を示すフローチャートである。同図において、固定指示位置検出処理が起動されると、ステップS3201で時刻tの指示位置が検出され、続くステップS3202で位置データが存在する場合には、次のステップS3203に進み、指示位置の初期値と比較する。その結果、位置データが一致しなかった場合には、ステップS3204で指示位置は移動していると判断される。位置データが一致した場合にはステップS3205に進み、時刻tを進めて、再びステップS3201から繰り返す。そして、ステップS3202において位置データが存在しない場合にはステップS3206で指示位置は固定と判断され、固定指示位置が検出される。
【0056】
図33は、移動方向に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS3301で指示位置移動方向判定処理が起動され、移動指示位置の移動方向が判定される。次にステップS3302で、判定された移動方向に基づき指示操作を解釈する。
【0057】
移動方向が上であった場合には、ステップ3303に進み、次項目操作として解釈する。また、この他に次ページ操作、または次画面操作、または末尾行操作、または上画面移動操作、または上下方向のみの拡大操作、または上下方向のみの縮小操作、として解釈される場合もある。移動方向が下であった場合には、ステップ3304に進み、前項目操作として解釈する。また、この他に前ページ操作、または前画面操作、または先頭行操作、または下画面移動操作、または上下方向のみの拡大操作、または上下方向のみの縮小操作、として解釈される場合もある。
【0058】
移動方向が左であった場合には、ステップ3305に進み、次項目操作として解釈する。また、この他に次ページ操作、または次画面操作、または末尾行操作、または左画面移動操作、または左右方向のみの拡大操作、または左右方向のみの縮小操作、として解釈される場合もある。移動方向が右であった場合には、ステップ3306に進み、前項目操作として解釈する。また、この他に前ページ操作、または前画面操作、または先頭行操作、または右画面移動操作、または左右方向のみの拡大操作、または左右方向のみの縮小操作、として解釈される場合もある。
【0059】
図34は、ステップS3301の指示位置移動方向判定処理の手順を示すフローチャートである。同図において、ステップS3401で指示位置の移動量が取得され、次のステップS3402で、移動指示位置の現在座標より移動方向が判定される。その際、移動指示位置の現在座標(X,Y)のarctangentを求め、単位をラジアンから度数に変換する。
【0060】
図35は、指示位置移動方向判定処理で利用される角度の解釈について表す図である。同図において、3501のように、X軸を基準に360°をY軸正方向 0°〜180、Y軸負方向−1°〜−179°に分けている。
【0061】
これに従い、0°を中心として±35°(−35°〜35°)を右方向として解釈し、90°を中心として±35°(65°〜135°)を上方向として解釈し、180°を中心として±35°(155°〜180°及び−179°〜−145°)を左方向として解釈し、−90°を中心として±35°(−65°〜−135°)を下方向として解釈する。また、それぞれ45°,135°,−135°,−45°を中心とした±10°の範囲については、それ以外の操作であると解釈する。
【0062】
図36は、左移動操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から点Bt5へと移動した場合、左移動操作であると解釈される。
【0063】
図37は、左移動操作として解釈されるデータの例を示す図である。同図において、グラフ3701のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時t1では点Bt1(6,3)、移動終了時t5では点Bt5(4,2)である。テーブル3702は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。3703は、指示位置移動データを示すものであり、移動終了時t5の指示位置の移動量は固定指示位置点Aが0、移動指示位置点Bが2.236であり、また移動方向は−153.43°である。
【0064】
図38は、上移動操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から点Bt5へと移動した場合、上移動操作であると解釈される。
【0065】
図39は、上移動操作として解釈される場合のデータの例を示す図である。同図において、グラフ3901のように固定指示位置の座標は点A(6,6)であり、移動指示位置の座標は移動開始時t1では点Bt1(5,1)、移動終了時t5では点Bt5(7,4)である。テーブル3902は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル3903は、指示位置移動データを示すものであり、移動終了時t5の指示位置の移動量は固定指示位置点Aが0、移動指示位置点Bが3.606であり、また移動方向は56.31°である。
【0066】
図40は、下移動操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から点Bt5へと移動した場合、下移動操作であると解釈される。
【0067】
図41は、下移動操作として解釈されるデータの例を示す図である。同図において、グラフ4101のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時t1では点Bt1(5,8)、移動終了時t5では点Bt5(5,5)である。テーブル4102は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4103は、指示位置移動データを示すものであり、移動終了時t5の時点での指示位置の移動量は固定指示位置点Aが0、移動指示位置点Bが3.000であり、また移動方向は−90°である。
【0068】
図42は、右移動操作として解釈される操作例を示す図である。同図において、固定指示位置Aが固定されており、移動指示位置点Bが4201のようにBt1から4202のように点Bt5へと移動した場合、右移動操作であると解釈される。
【0069】
図43は、右移動操作として解釈されるデータの例を示す図である。同図において、グラフ4301のように固定指示位置の座標は点A(6,6)であり、移動指示位置の座標は移動開始時t1では点Bt1(2,6)、移動終了時t5では点Bt5(5,5)である。テーブル4302は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4303は、指示位置移動データを示すものであり、移動終了時t5の指示位置の移動量は固定指示位置点Aが0、移動指示位置点Bが3.162であり、また移動方向は−18.43°である。
【0070】
〔実施形態5〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置との距離変化に着目した例について具体的に説明する。
【0071】
図44は、固定指示位置と移動指示位置との距離変化を利用する指示解釈処理の手順を示すフローチャートである。同図において、指示解釈処理が起動されると、ステップS4401で指示位置間距離測定処理が起動され、固定指示位置と移動指示位置との各時点の距離が測定される。次にステップS4402に進み、指示位置間距離変化取得処理によって、指示位置間の距離変化が取得される。続くステップS4403で、指示位置距離変化に基づく指示解釈処理が起動され、取得された指示位置間の距離変化に対応して、行なうべき操作を解釈する。
【0072】
図45は、ステップS4403の指示位置間距離変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS4501で変化量が判断され、変化量が減少傾向にある場合には縮小操作として解釈し(ステップS4502)、変化量が増加傾向にある場合には拡大操作として解釈する(ステップS4503)。
【0073】
図46は、縮小操作として解釈される操作例を示す図である。同図において、固定指示位置(点A)が固定されており、移動指示位置(点B)が、点Bt1から固定指示位置(点A)の方向にある点Bt5へと移動した場合、縮小操作であると解釈される。
【0074】
図47は、縮小操作として解釈される場合のデータの例を示す図である。同図において、グラフ4701のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時t1では点Bt1(6,3)、移動終了時t5では点Bt5(4,2)である。テーブル4702は、時刻t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4703は、指示位置間の距離変化データを示すものであり、移動開始時t1の指示位置AB間の距離は3.000であり、移動終了時t5の指示位置AB間の距離は1.414であり、指示位置AB間の距離のt1からt5に対する倍率は47%である。
【0075】
図48は、拡大操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から固定指示位置点Aとは反対の方向にある点Bt5へと移動した場合、拡大操作であると解釈される。
【0076】
図49は、縮小操作として解釈される場合のデータの例を示す図である。同図において、グラフ4901のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時t1では点Bt1(4,2)、移動終了時t5では点Bt5(6,3)である。テーブル4902は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4903は、固定指示位置間の距離変化データを示すものであり、移動開始時t1の指示位置AB間の距離は1.414であり、移動終了時t5の指示位置AB間の距離は3.000であり、指示位置AB間の距離のt1からt5に対する倍率は212%である。
【0077】
図50は、固定指示位置を中心とした縮小操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、5001のように移動指示位置1点Bt1及び移動指示位置2点Ct1があり、5002のように固定指示位置点Aの方向に向かって、移動指示位置1点Bt1がBt5へ、移動指示位置2点Ct1が点Ct5へと移動した場合、それぞれ固定指示位置点A方向への縮小操作であると解釈される。
【0078】
図51は、固定指示位置を中心とした縮小操作として解釈される場合のデータの例を示す図である。同図において、グラフ5101のように固定指示位置の座標は点A(3,3)であり、移動指示位置1である点Bの座標は移動開始時t1では点Bt1(4,8)、移動終了時t5では点Bt5(5,5)であり、移動指示位置2である点Cの座標は移動開始時t1では点Ct1(2,2)、移動終了時t5では点Ct5(4,3.5)である。テーブル5102は、t1からt5における、固定指示位置点A及び、移動指示位置1点B、移動指示位置2点Cの位置データを示すものである。
【0079】
テーブル5103は、固定指示位置間の距離変化データを示すものであり、指示位置間距離変化データ1において、移動開始時t1の指示位置AB間の距離は5.099であり、移動終了時t5の指示位置AB間の距離は2.828であり、指示位置AB間の距離のt1からt5に対する倍率は55%である。また、指示位置間距離変化データ2において、移動開始時t1の指示位置AC間の距離は1.414であり、移動終了時t5の指示位置AC間の距離は1.118であり、指示位置AC間の距離のt1からt5に対する倍率は79%である。
【0080】
〔実施形態6〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置の存在と、その他の移動指示位置間の距離変化に着目した例について具体的に説明する。
【0081】
図52は、移動指示位置間の距離を利用する処理の手順を示すフローチャートである。同図において、固定指示位置対応指示解釈処理が起動されると、ステップS5201で移動指示位置間距離測定処理が起動され、現在の移動指示位置間の距離が測定される。次に、ステップS5202に進み、移動指示位置間距離変化取得処理が起動され、取得された距離の変化量を取得する。続いて、ステップS5203で移動指示位置間の距離変化に基づく指示解釈処理が起動され、取得された移動指示位置間距離の変化量に基づいて行なうべき操作を解釈する。
【0082】
図53は、移動指示位置間の距離変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS5301で固定指示位置が存在する場合には、ステップS5302に進み、変化量が0より小さい場合には、ステップS5303で固定指示位置に対する縮小操作として解釈される。変化量が0より大きい場合には、ステップS5304で固定指示位置に対する拡大操作として解釈される。変化量が0に等しい場合には、ステップS5305で縮小または拡大操作以外であると解釈する。ステップS5301において、固定指示位置の存在が確認されない場合には、ステップS5306に進み、全体に対する操作であると解釈する。
【0083】
図54は、固定指示位置を中心とした縮小操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、2つの移動指示位置点Bt1及び移動指示位置点Ct1があり、それらが固定指示位置点Aの方向に向かって、移動指示位置点Bt1がBt5へ、移動指示位置点Ct1が点Ct5へと移動した場合、移動指示位置間の距離の変化量に応じて、固定指示位置点Aを中心とした縮小操作であると解釈される。
【0084】
図55は、固定指示位置を中心とした縮小操作として解釈される場合のデータ例を示す図である。同図において、グラフ5501のように固定指示位置の座標は点A(3,3)であり、移動指示位置点Bの座標は移動開始時t1では点Bt1(4,8)、移動終了時t5では点Bt5(5,5)であり、移動指示位置点Cの座標は移動開始時t1では点Ct1(3,2)、移動終了時t5では点Ct5(4,2.8)である。
【0085】
テーブル5502は、t1からt5における固定指示位置点A及び、移動指示位置点B、移動指示位置点Cの位置データを示すものである。テーブル5503は、移動指示位置間の距離変化データを示すものであり、指示位置間距離変化データにおいて、移動開始時t1の指示位置BC間の距離は6.083であり、移動終了時t5の指示位置BC間の距離は2.417であり、指示位置BC間の距離のt1からt5に対する変化量は40%である。
【0086】
図56は、固定指示位置を中心とした拡大操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置1点Bt1及び移動指示位置2点Ct1があり、それらが固定指示位置点Aの方向に向かって、移動指示位置1点Bt1がBt5へ、移動指示位置2点Ct1が点Ct5へと移動した場合、移動指示位置間の距離の比に応じて、固定指示位置点Aを中心とした拡大操作であると解釈される。
【0087】
図57は、固定指示位置を中心とした拡大操作として解釈される場合のデータ例を示す図である。同図において、グラフ5701のように固定指示位置の座標は点A(3,3)であり、移動指示位置1である点Bの座標は移動開始時t1では点Bt1(5,5)、移動終了時t5では点Bt5(4,8)であり、移動指示位置2である点Cの座標は移動開始時t1では点Ct1(4,2.8)、移動終了時t5では点Ct5(2,2)である。
【0088】
テーブル5702は、t1からt5における固定指示位置点A及び、移動指示位置1点B、移動指示位置2点Cの位置データを示すものである。テーブル5703は、移動指示位置間の距離変化データを示すものであり、指示位置間距離変化データ1において、移動開始時t1の指示位置BC間の距離は2.417であり、移動終了時t5の指示位置BC間の距離は6.325であり、指示位置BC間の距離のt1からt5に対する変化量は262%である。
【0089】
図58は、固定指示位置を中心とした複数移動指示操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、5801のように移動指示位置1点Bt1及び移動指示位置2点Ct1、移動指示位置3点Dt1、があり、5802のように固定指示位置点Aの方向に向かって、移動指示位置1点Bt1がBt5へ、移動指示位置2点Ct1が点Ct5へ、移動指示位置3点Dt1が点Dt5へと移動した場合、移動指示位置間の距離の変化量に応じて、固定指示位置点Aを中心とした複数移動指示操作であると解釈される。
【0090】
図59は、固定指示位置を中心とした複数移動指示操作として解釈される場合のデータ例を示す図である。同図において、グラフ5901のように固定指示位置の座標は点A(3,3)であり、移動指示位置1である点Bの座標は移動開始時t1では点Bt1(5,5)、移動終了時t5では点Bt5(4,8)であり、移動指示位置2である点Cの座標は移動開始時t1では点Ct1(4,3.5)、移動終了時t5では点Ct5(2,2)であり、移動指示位置3である点Dの座標は移動開始時t1では点Dt1(5.5,4.5)、移動終了時t5では点Dt5(6,9)である。
【0091】
テーブル5902は、t1からt5における、固定指示位置点A及び、3つの移動指示位置点B、移動指示位置点C、移動指示位置点Dの位置データを示すものである。テーブル5903は、移動指示位置間の距離変化データを示すものであり、指示位置間距離変化データ1において、移動開始時t1の指示位置BC間の距離は1.803であり、移動終了時t5の指示位置BC間の距離は6.325であり、指示位置BC間の距離のt1からt5に対する変化量は352%である。指示位置間距離変化データ2において、移動開始時t1の指示位置BD間の距離は0.707であり、移動終了時t5の指示位置BD間の距離は2.236であり、指示位置BC間の距離のt1からt5に対する変化量は316%である。指示位置間距離変化データ3において、移動開始時t1の指示位置CD間の距離は1.803であり、移動終了時t5の指示位置CD間の距離は8.062であり、指示位置BC間の距離のt1からt5に対する変化量は447%である。
【0092】
〔実施形態7〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置とを結ぶ線の水平方向に対する角度(以下、指示位置間の角度と称する)の変化に着目した例について具体的に説明する。
【0093】
図60は、指示位置間の角度変化を利用する処理の手順を示すフローチャートである。同図において、ステップS6001で指示位置間角度測定処理が起動され、指示位置間の角度が測定される。次に、ステップS6002に進み、固定指示位置間角度変化取得処理が起動され、取得された角度の変化量を取得する。続いて、ステップS6003で指示位置間の角度変化に基づく指示解釈処理が起動され、取得された角度変化に応じて行なうべき操作を解釈する。
【0094】
図61は、指示位置間の角度変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS6101で固定指示位置が存在しない場合には、ステップS6106に進み、全体に対する操作として解釈する。ステップS6101で固定指示位置が存在する場合にはステップS6102に進み、変化量が0°より小さい場合にはステップS6104に進み、固定指示位置を中心とする右回転操作として解釈する。変化量が0°より大きい場合には、ステップS6103に進み、固定指示位置を中心とする左回転操作として解釈する。変化量が0°に等しい場合には、ステップS6105で回転操作以外、または固定指示位置を固定した状態での回転方向への変形操作として解釈する。
【0095】
図62は、右回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動開始時t1の移動指示位置点Bt1から、移動終了時t5の移動指示位置点Bt5へと変化したので、右回転操作であると解釈される。
【0096】
図63は、右回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ6301のように固定指示位置点Aと移動指示位置点Bとを結ぶ直線の水平線に対する角度は、移動開始時t1では、71.57°であり、移動終了時t5では18.43°である。テーブル6302A、Bは、t1からt5における固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル6303は、指示位置間の角度変化データを示すものであり、指示位置間角度変化データにおいて、移動終了時t5の固定指示位置間角度の変化量は−53.13°である。
【0097】
図64は、左回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動開始時t1の移動指示位置点Bt1から、移動終了時t5の移動指示位置点Bt5へと変化した場合、左回転操作であると解釈される。
【0098】
図65は、左回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ6501のように固定指示位置点Aに対する移動指示位置点Bの角度は、移動開始時t1では、71.57°であり、移動終了時t5では108.43°である。テーブル6502A、Bは、t1からt5における固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル6503は、固定指示位置間の角度変化データを示すものであり、固定指示位置間角度変化データにおいて、移動終了時t5の固定指示位置間角度の変化量は+36.87°である。
【0099】
〔実施形態8〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、2つの移動指示位置を結ぶ線の水平線に対する角度(以下、移動指示位置の角度と称する)の変化に着目した例について具体的に説明する。
【0100】
図66は、移動指示位置の角度変化を利用する処理の手順を示すフローチャートである。同図において、ステップS6601で移動指示位置の角度測定処理が起動され、固定指示位置以外の指示位置の角度を測定する。次に、ステップS6602で、移動指示位置の角度変化の取得処理が起動され、角度の変化量を取得する。続いてステップS6603で、移動指示位置の角度変化に基づく指示解釈処理が起動され、取得された角度変化に基づいて行なうべき操作を解釈する。
【0101】
図67は、移動指示位置の角度変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS6701で固定指示位置が存在しない場合には、ステップS6706に進み、全体に対する操作として解釈する。ステップS6701で固定指示位置が存在する場合には、ステップS6702で変化量を調べ、変化量が0°より小さい場合にはステップS6704に進み、固定指示位置を中心とする右回転操作として解釈する。変化量が0°より大きい場合には、ステップS6703に進み、固定指示位置を中心とする左回転操作として解釈する。変化量が0°に等しい場合には、ステップS6705に進み、回転操作以外であると解釈する。または、固定指示位置を固定した状態での移動指示位置の重心を中心とした回転方向への変形操作として解釈する。
【0102】
図68は、右回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置1点Bt1及び移動指示位置点Ct1があり、移動指示位置1点Bt1がBt5へ、移動指示位置2点Ct1が点Ct5へと移動した場合、右回転操作であると解釈される。
【0103】
図69は、右回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ6901のように固定指示位置の座標は点A(3,3)であり、移動指示位置点Bの座標は移動開始時t1では点Bt1(4,6)、移動終了時t5では点Bt5(6,4)であり、移動指示位置点Cの座標は移動開始時t1では点Ct1(2,1)、移動終了時t5では点Ct5(1,2)である。テーブル6902は、t1からt5における固定指示位置点A及び、移動指示位置1点B、移動指示位置2点Cの位置データを示すものである。テーブル6903は、移動指示位置間の角度変化データを示すものであり、移動指示位置間角度変化データにおいて、移動指示位置間角度は移動開始時t1には68.20°、移動終了時t5には36.87°であり、移動指示位置間角度の変化量は−31.33°である。
【0104】
図70は、左回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点Bt1及びCt1があり、移動指示位置点Bt1がBt5へ、移動指示位置点Ct1が点Ct5へと移動した場合、左回転操作であると解釈される。
【0105】
図71は、左回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ7101のように固定指示位置の座標は点A(3,3)であり、移動指示位置である点Bの座標は移動開始時t1では点Bt1(4,6)、移動終了時t5では点Bt5(2,5)であり、移動指示位置である点Cの座標は移動開始時t1では点Ct1(2,1)、移動終了時t5では点Ct5(2.5,2)である。テーブル7102は、t1からt5における固定指示位置点A及び、移動指示位置点B、Cの位置データを示すものである。テーブル7103は、移動指示位置間の角度変化データを示すものであり、移動指示位置間角度変化データにおいて、移動指示位置間角度は移動開始時t1には68.20°、移動終了時t5には99.46°であり、移動指示位置間角度の変化量は+31.26°である。
【0106】
図72は、3つの移動指示位置が重心を中心とした回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点Bt1、Ct1及びDt1があり、移動指示位置点Bt1がBt5へ、移動指示位置点Ct1が点Ct5へ、移動指示位置点Dt1が点Dt5へと移動した場合、重心を中心とした回転操作であると解釈される。
【0107】
図73は、重心を中心とした回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ7301のように固定指示位置の座標は点A(3,3)であり、移動指示位置である点Bの座標は移動開始時t1では点Bt1(5,5)、移動終了時t5では点Bt5(4,8)であり、移動指示位置である点Cの座標は移動開始時t1では点Ct1(4,3.5)、移動終了時t5では点Ct5(2,2) であり、移動指示位置である点Dの座標は移動開始時t1では点Dt1(5.5,4.5)、移動終了時t5では点Dt5(6,9)である。テーブル7302は、t1からt5における固定指示位置点A及び、移動指示位置点B、C、Dの位置データを示すものである。テーブル7303は、移動指示位置間の距離変化データを示すものであり、移動指示位置BC間の距離は、移動開始時t1には1.803、移動終了時t5には6.325であり、移動指示位置間距離の変倍率は351%である。また、移動指示位置BD間の距離は、移動開始時t1には0.707、移動終了時t5には2.236であり、移動指示位置間距離の変倍率は316%である。移動指示位置CD間の距離は、移動開始時t1には1.803、移動終了時t5には8.062であり、移動指示位置間距離の変倍率は447%である。
【0108】
〔実施形態9〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数の指示位置間の位置関係に着目した例について具体的に説明する。
【0109】
図74は、指示位置間の位置関係を利用する処理の手順を示すフローチャートである。同図において、ステップS7401で指示位置の位置関係判定処理が起動され、指示位置間の位置関係を判定する。次に、ステップS7402に進み、指示位置間の位置関係に基づく指示解釈処理が起動され、判定された位置関係に応じて行なうべき操作を解釈する。
【0110】
図75は、ステップS7401の指示位置間の位置関係判定処理の手順を示すフローチャートである。同図において、ステップS7501で指示位置間の角度が取得される。続いて、ステップS7502において、取得された角度が90°を中心として45°から135°の間、または−90°を中心として−45°から−135°の間であった場合には、指示位置間位置関係は上下関係であると解釈する。0°を中心として45°から‐45°の間、または180°を中心として135°から‐135°の間であった場合には、指示位置間位置関係は左右関係であると解釈する。角度の解釈については、図35に示した通りである。
【0111】
図76は、ステップS7402の、指示位置の位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS7601で指示位置移動範囲取得処理が起動され、指示位置の移動対象範囲が取得される。次に、ステップS7602で位置関係を判断し、位置関係が上下関係であった場合は、ステップS7603に進み、カット操作指示または削除操作指示として解釈する。位置関係が左右であった場合には、ステップS7604に進み、コピー操作指示として解釈する。
【0112】
図77は、上下関係移動操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、指示位置点At1から点At5へ、指示位置点Bt1から点Bt5へと移動する場合、上下関係移動操作であると解釈する。
【0113】
図78は、上下関係移動操作として解釈される場合のデータ例を示す図である。同図において、グラフ7801のように移動開始時t1の各指示位置の座標が点At1(4,5)及び点Bt1(3,8)である時、指示位置間の位置関係を表す角度t1は108.43°であり、移動終了時t5の各指示位置の座標が点At5(8,5)及び点Bt5(7,8)である時、指示位置間の位置関係を表す角度t5は108.43°である。テーブル7802は、t1からt5における指示位置点A及び、指示位置点Bの位置データを示すものである。テーブル7803は、指示位置間の位置関係を表す角度データを示すものであり、指示位置間位置関係データにおいて、t1からt5までの指示位置間角度が格納されている。
【0114】
図79は、左右関係移動操作として解釈される操作例を示す図である。同図において、各指示位置がそれぞれ、指示位置点At1から点At5へ、指示位置点Bt1から点Bt5へと移動する場合、左右関係移動操作であると解釈する。
【0115】
図80は、左右移動操作として解釈される場合のデータ例を示す図である。同図において、グラフ8001のように、移動開始時t1の各指示位置の座標が点At1(3,8)及び点Bt1(5,9)である時、指示位置間の位置関係を表す角度t1は26.57°であり、移動終了時t5の各指示位置の座標が点At5(7,8)及び点Bt5(9,9)である時、指示位置間の位置関係を表す角度t5は26.57°である。テーブル8002は、t1からt5における指示位置点A及び、指示位置点Bの位置データを示すものである。
【0116】
テーブル8003は、指示位置間位置関係を表す角度データを示すものであり、指示位置間位置関係データにおいて、t1からt5における指示位置間角度が格納されている。
【0117】
〔実施形態10〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示位置間の位置関係変化に着目した例について具体的に説明する。
【0118】
図81は、指示位置間の位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS8101で指示位置間の位置関係変化判定処理が起動され、指示位置間の位置関係変化を判定する。次に、ステップS8102に進み、位置関係変化に基づく指示解釈処理が起動され、判定された位置関係変化データに応じて行なうべき操作を解釈する。
【0119】
図82は、位置関係変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS8201で反転角度変化量がチェックされ、取得された角度変化量が反転角度変化量であった場合には、ステップS8202に進み、任意反転操作、または削除、またはカット指示操作として解釈する。ステップS8201で角度変化量が反転角度変化量でなかった場合には、ステップS8203に進み、X方向位置変化がチェックされ、各指示位置が左右逆転であった場合には、ステップS8204に進み、左右反転操作、または削除、またはカット指示操作として解釈する。
【0120】
ステップS8203で、左右逆転でなかった場合には、ステップS8205でY方向位置変化がチェックされ、取得された各指示位置が上下逆転であった場合には、ステップS8206に進み、上下反転操作、または削除、またはカット指示操作として解釈する。ステップS8205で、上下逆転でなかった場合には、ステップS8207に進み、拡大、または縮小指示操作として解釈する。
【0121】
図83は、指示位置間関係変化取得処理の手順を示すフローチャートである。同図において、ステップS8301で指示位置間角度測定処理が起動され、指示位置間の角度が測定される。次にステップS8302で指示位置間角度変化取得処理が起動され、指示位置間の角度変化を取得し、続くステップS8303において、取得された角度変化が180°対称の一定範囲内にある場合には、ステップS8304に進み、指示位置間位置関係変化を逆転と解釈する。
【0122】
ステップS8303において、取得された角度変化が180°対称の一定範囲内に無い場合には、ステップS8305に進み、指示位置間水平位置関係判定処理が起動され、指示位置間の水平方向の位置関係が取得される。次のステップS8306で指示位置間水平位置関係変化判定処理が起動され、指示位置間の水平位置関係変化が取得され、続くステップS8307において、取得された水平位置関係が負であった場合には、ステップS8308に進み、指示位置間位置関係変化を左右逆転として取得する。
【0123】
ステップS8307において、取得された水平位置関係変化が正であった場合には、ステップS8309に進み、指示位置間垂直位置関係判定処理が起動され、指示位置間の垂直方向の位置関係が取得される。次のステップS8310で指示位置間垂直位置関係変化判定処理が起動され、指示位置間の垂直位置関係変化が取得され、続くステップS8311において、取得された垂直位置関係が負であった場合には、ステップS8312に進み、指示位置間位置関係変化を上下逆転として取得する。一方、ステップS8311において、取得された垂直位置関係変化が正であった場合には、ステップS8313に進み、指示位置間位置関係を変化無しとして取得する。
【0124】
図84は、反転操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、指示位置点At1から点At5へ、指示位置点Bt1から点Bt5へと移動する場合、反転操作であると解釈する。
【0125】
図85は、反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ8501のように移動開始時t1の各指示位置の座標が点At1(4,10)及び点Bt1(8,11)である時、点Aの点B対する角度t1は14.04°であり、移動終了時t5の各指示位置の座標が点At5(8,4)及び点Bt5(4,3)である時、角度t5は−165.96である。テーブル8502は、t1からt5における指示位置点A及びBの位置データを示すものである。テーブル8503は、指示位置間の位置関係を示すものであり、位置関係変化データにおいて、t1からt5における指示位置間のX方向位置変化、Y方向位置変化、及び指示位置間角度に基づく位置関係変化量が格納されている。この場合、位置関係変化量が180°となり、指示位置点Aと指示位置点Bの位置は逆転している。
【0126】
図86は、左右反転操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、点At1から点At5へ、点Bt1から点Bt5へと移動する場合、左右反転操作であると解釈する。
【0127】
図87は、左右反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ8701のように移動開始時t1の各指示位置の座標が点At1(10,10)及び点Bt1(11,13)である時、点Aの点B対する角度t1は71.57°であり、移動終了時t5の各指示位置の座標が点At5(9,3)及び点Bt5(8,5)である時、角度t5は116.57°である。テーブル8702は、t1からt5における指示位置点A及びBの位置データを示すものである。テーブル8703は、指示位置間の位置関係を示すものであり、位置関係変化データにおいて、t1からt5における指示位置間のX方向位置変化、Y方向位置変化、及び指示位置間角度に基づく位置関係変化量が格納されている。この場合、X方向位置関係が負から正へ変化しており、指示位置点AとBの位置は左右反転している。
【0128】
図88は、上下反転操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、点At1から点At5へ、点Bt1から点Bt5へと移動する場合、上下反転操作であると解釈する。
【0129】
図89は、上下反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ8901のように移動開始時t1の各指示位置の座標が点At1(5,12)及び点Bt1(7,15)である時、点Aの点B対する角度t1は56.31°であり、移動終了時t5の各指示位置の座標が点At5(5,2)及び点Bt5(6,1)である時、角度t5は−45.00°である。テーブル8902は、t1からt5における指示位置点A及びBの位置データを示すものである。テーブル8903は、指示位置間の位置関係を示すものであり、位置関係変化データにおいて、t1からt5における指示位置間のY方向位置変化、Y方向位置変化、及び指示位置間角度に基づく位置関係変化量が格納されている。この場合、Y方向位置関係が負から正へ変化しており、指示位置点AとBの位置は上下反転している。
【0130】
〔実施形態11〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置との位置関係に着目した例について具体的に説明する。
【0131】
図90は、指示位置間位置関係の取得処理の手順を示すフローチャートである。同図において、ステップS9001で固定指示位置検出処理が起動され、固定指示位置を検出する。次に、ステップS9002に進み、固定指示位置に対する位置関係判定処理が起動され、検出された固定指示位置と移動指示位置との位置関係が取得される。
【0132】
図91は、固定指示位置に対する位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS9101で対固定指示位置間位置関係対応指示解釈処理が起動され、判定された位置関係データに応じて行なうべき操作を解釈する。
【0133】
図92は、固定指示位置に対する位置関係に基づく指示解釈処理の詳細手順を示すフローチャートである。同図において、ステップS9201で指示位置移動方向取得処理が起動され、移動指示位置の移動方向が取得される。続くステップS9202において移動方向を判定する。移動方向が左であった場合には、ステップS9203に進む。
【0134】
ステップS9203において、固定指示位置に対する位置関係が右側であった場合には、ステップS9207に進み、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または左右方向のみの縮小操作であると解釈する。ステップS9203において、位置関係が左側であった場合には、ステップS9208に進み、行うべき操作左画面移動操作、または左右方向のみの拡大操作であると解釈する。ステップS9203において、位置関係が上側であった場合には、ステップS9209に進み、行うべき操作左回転操作として解釈する。ステップS9203において、位置関係が下側であった場合には、ステップS9210に進み、行うべき操作を右回転操作として解釈する。
【0135】
一方、ステップS9202において、移動方向が上であった場合には、ステップS9204に進み、固定指示位置に対する位置関係が右側であった場合には、ステップS9211に進み、行うべき操作を左回転操作として解釈する。ステップS9204において、位置関係が左側であった場合には、ステップS9212に進み、行うべき操作を右回転操作として解釈する。ステップS9204において、位置関係が上側であった場合には、ステップS9213に進み、、行うべき操作を上画面移動操作、または上下方向のみの拡大操作として解釈する。ステップS9204において、位置関係が下側であった場合には、ステップS9214に進み、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または上下方向のみの縮小操作として解釈する。
【0136】
また、ステップS9202において、移動方向が下であった場合には、ステップS9205に進み、固定指示位置に対する位置関係が右側であった場合には、ステップS9215に進み、行うべき操作を右回転操作として解釈する。ステップS9205において、位置関係が左側であった場合には、ステップS9216に進み、行うべき操作を左回転操作として解釈する。ステップS9205において、位置関係が上側であった場合には、ステップS9217に進み、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または上下方向のみの縮小操作として解釈する。ステップS9205において、位置関係が下側であった場合には、ステップS9218に進み、行うべき操作を下画面移動操作として解釈する。
【0137】
また、ステップS9202において、移動方向が右であった場合には、ステップS9206に進み、固定指示位置に対する位置関係が右側であった場合には、ステップS9219に進み、行うべき操作右画面移動操作、または左右方向のみの拡大操作として解釈する。ステップS9206において、位置関係が左側であった場合には、ステップS9220に進み、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または左右方向のみの縮小操作として解釈する。ステップS9206において、位置関係が上側であった場合には、ステップS9221に進み、行うべき操作を右回転操作として解釈する。ステップS9206において、位置関係が下側であった場合には、ステップS9222に進み、行うべき操作を左回転操作として解釈する。
【0138】
図93は、固定指示位置に対する位置関係判定処理の手順を示すフローチャートである。同図において、ステップS9301で、指示位置間角度取得処理が起動され、指示位置間の角度が取得される。続くステップS9302において、取得された角度が上方向の一定範囲内にある場合、ステップS9303で位置関係を上と判定する。またステップS9302において、取得された角度が下方向の一定範囲内にある場合、ステップS9304で位置関係を下と判定する。またステップS9302において、取得された角度が左方向の一定範囲内にある場合、ステップS9305で位置関係を左と判定する。またステップS9302において、取得された角度が右方向の一定範囲内にある場合、ステップS9306で位置関係を右と判定する。
【0139】
図94は、指示位置移動方向取得処理の手順を示すフローチャートである。同図において、ステップS9401で、指示位置移動角度取得処理が起動され、指示位置の移動角度が取得される。続くステップS9402において、取得された角度が上方向の一定範囲内にある場合、ステップS9403で移動方向を上と判定する。ステップS9402において、取得された角度が下方向の一定範囲内にある場合、ステップS9404で移動方向を下と判定する。ステップS9402において、取得された角度が左方向の一定範囲内にある場合、ステップS9405で移動方向を左と判定する。ステップS9402において、取得された角度が右方向の一定範囲内にある場合、ステップS9406で移動方向を右と判定する。
【0140】
図95は、移動指示位置の移動方向が同一である時に、位置関係により、次項目操作、または左画面移動操作として解釈される二つの操作例を示す図である。同図において、移動指示位置点Bは、移動方向が左方向であり、かつ位置関係が固定指示位置点Aの右側であるので、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または左右方向のみの縮小操作であると解釈する。一方、移動指示位置点Dは、移動方向が左方向であり、かつ位置関係が固定指示位置点Cの左側であるので、行うべき操作を左画面移動操作、または左右方向のみの拡大操作であると解釈する。
【0141】
同様に、移動方向が左方向で、位置関係が固定指示位置の上側の場合には、行うべき操作を左回転操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を右回転操作として解釈する。
【0142】
また、移動方向が上方向で、位置関係が固定指示位置の右側の場合には、行うべき操作を左回転操作として解釈し、位置関係が固定指示位置の左側の場合には、行うべき操作を右回転操作として解釈し、位置関係が固定指示位置の上側の場合には、行うべき操作を上画面移動操作、または上下方向のみの拡大操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または上下方向のみの縮小操作、として解釈する。
【0143】
また、移動方向が下方向で、位置関係が固定指示位置の右側の場合には、行うべき操作を右回転操作、として解釈し、位置関係が固定指示位置の左側の場合、行うべき操作を左回転操作、として解釈し、位置関係が固定指示位置の上側の場合には、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または上下方向のみの縮小操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を下画面移動操作、または上下方向のみの拡大操作として解釈する。
【0144】
また、移動方向が右方向で、位置関係が固定指示位置の右側の場合には、行うべき操作を右画面移動操作、または左右方向のみの拡大操作、として解釈し、位置関係が固定指示位置の左側の場合には、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または左右方向のみの縮小操作として解釈し、位置関係が固定指示位置の上側の場合には、行うべき操作を右回転操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を左回転操作として解釈する。
【0145】
図96は、次項目操作として解釈される場合のデータ例を示す図である。同図において、グラフ9601のように固定指示位置点A(3,3)があり、移動指示位置は移動開始時t1では点Bt1(6,2.8)、移動終了時t5では点Bt5(4,2)である。テーブル9602は、t1からt5における、固定指示位置点A及び移動指示位置点Bの位置データを示すものである。テーブル9603は、固定指示位置と移動指示位置の位置関係を示すものであり、指示位置移動データにおいて、移動終了時t5の指示位置の移動量は固定指示位置点Aが0、移動指示位置点Bが2.236であり、固定指示位置点Aと移動指示位置点Bの関係はt1の時176.19°であり、t5の時には135.00°へと変化している。また移動指示位置点Bの移動方向は−153.43°である。
【0146】
〔実施形態12〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置2個所と移動指示位置の位置関係変化に着目した例について具体的に説明する。
【0147】
図97は、固定指示位置と移動指示位置との位置関係に基づく処理の手順を示すフローチャートである。同図において、ステップS9701で、固定指示位置と移動指示位置との位置関係判定処理が起動され、検出された2個所の固定指示位置に対する移動指示位置の位置関係が取得される。ステップS9702で、固定指示位置と移動指示位置との位置関係に基づく指示解釈処理が起動され、取得された指示位置関係に応じて行うべき操作を解釈する。
【0148】
図98は、固定指示位置と移動指示位置との位置関係判定処理の手順を示すフローチャートである。同図において、ステップS9801で、固定指示位置間角度取得処理が起動され、2つの固定指示位置間の角度を取得する。次にステップS9802で、移動指示位置間角度取得処理が起動され、2つの固定指示位置間のうちの任意の一方と移動指示位置との間の角度を取得する。次にステップS9803で、指示位置間関係判定処理が起動され、取得された固定指示位置間角度と、移動指示位置間角度との関係を判定する。次にステップS9804で、指示位置間関係変化取得処理が起動され、関係の変化を取得する。
【0149】
図99は、指示位置間関係判定処理の手順を示すフローチャートである。同図において、ステップS9901で、取得された固定指示位置間角度が移動指示位置間角度より小さかった場合には、ステップS9902に進み、指示位置関係を右回転方向と判定する。固定指示位置間角度と移動指示位置間角度が一致する場合には、ステップS9903に進み、指示位置関係を一致と判定する。固定指示位置間角度が移動指示位置間角度より大きかった場合には、ステップS9904に進み、指示位置関係を左回転方向と判定する。
【0150】
図100は、指示位置間関係変化取得処理の手順を示すフローチャートである。同図において、ステップS10001で、初期位置と最新位置が一致しなかった場合には、ステップS10002に進み、さらに初期位置関係が一致でなかった場合には、ステップS10003に進み、さらに最新位置関係が一致でなかった場合には、ステップS10004に進み、位置関係を逆転として解釈する。
【0151】
図101は、固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS10101で、判定された位置関係変化が逆転であった場合には、ステップS10102に進み、行うべき操作を固定指示位置間を挟んだ対象反転として解釈する。
【0152】
図102は、対称反転として解釈される操作例を示す図である。同図において、固定指示位置である点A及びBに対して移動指示位置点Ct1があり、この点が移動指示位置点Ct5へと移動する場合、対称反転操作であると解釈する。
【0153】
図103は、対称反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ10301のように固定指示位置点A(3,1)及び、固定指示位置点B(4,6)があり、固定指示位置間角度は78.69°であり、移動開始時t1において、移動指示位置が点Ct1(5,3)であり、固定指示位置点Aに対する移動指示位置間角度t1は45.00°である。この時、移動指示位置点Ct1は、固定指示位置間線分ABの右側にある。移動終了時t5において移動指示位置点がCt5(3,3)であり、固定指示位置点1Aに対する移動指示位置間角度t5は90.00°であり、移動指示位置点Ct5は、固定指示位置間線分ABの左側にある。
【0154】
テーブル10302は、t1からt5における固定指示位置点A、点B、及び移動指示位置点Cの位置データを示すものである。テーブル10303は、2つの固定指示位置と移動指示位置の位置関係を示すものであり、固定指示位置と移動指示位置の位置関係データにおいて、固定指示位置間角度はt1からt5の間78.69°と一定であり、移動指示位置間角度はt1において45.00°であり、以後増加を続け、t5において固定指示位置間角度より大きい90.00°となっている。
【0155】
〔実施形態13〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置3個所と移動指示位置との位置関係変化に着目した例について具体的に説明する。
【0156】
図104は、固定指示位置が三個所以上ある場合の処理の流れを示す図である。同図において、ステップS10401で固定指示位置が三個所以上であった場合には、ステップS10402に進み、複数固定指示位置に対する移動指示位置の位置関係判定処理が起動され、既に検出された三個所以上の固定指示位置に対する移動指示位置の位置関係を判定する。ステップS10403で、複数固定指示位置に対する移動指示位置の位置関係に基づく指示解釈処理が起動され、判定された位置関係に応じて行なうべき操作を解釈する。
【0157】
図105は、複数固定指示位置に対する移動指示位置の位置関係判定処理の手順を示すフローチャートである。同図において、ステップS10501で固定指示位置間角度取得処理が起動され、固定指示位置間の角度を取得し、次にステップS10502で、移動指示位置間角度取得処理が起動され、取得された固定指示位置のうち任意の固定指示位置と移動指示位置との角度を取得する。次に、ステップS10503で、指示位置間関係判定処理が駆動され、取得された固定指示位置間角度と移動指示位置間角度の関係を判定する。次に、ステップS10504で指示位置間関係変化取得処理が起動され、取得された関係の変化を取得する。
【0158】
図106は、固定指示位置が三個所以上ある場合の指示位置間位置関係判定処理の手順を示すフローチャートである。同図において、ステップS10601で、取得対象固定指示位置を、固定指示位置テーブルの固定指示位置リストより取得し、次にステップS10602で、取得した固定指示位置リストより先頭固定指示位置を取得する。次に、ステップS10603において、取得対象固定指示位置が、固定指示位置リストの末尾固定指示位置よりリスト順位が小さい場合には、ステップS10604に進み、固定指示位置を取得する。続いて、ステップS10605において、移動指示位置間角度が、取得された固定指示位置に対して最大角を作る固定指示位置間角度以下である場合には、ステップS10606に進み、取得された固定指示位置に対して最小角を作る固定指示位置間角度以上である場合には、ステップS10607に進み、固定指示位置リストを次に進める。
【0159】
ステップS10603において、取得対象固定指示位置が、固定指示位置リストが末尾固定指示位置に達した場合には、ステップS10608に進み、領域内であるとして解釈する。ステップS10605において、移動指示位置間角度が、取得された固定指示位置に対して最大角を作る固定指示位置間角度より大きい場合、または、ステップS10606において、取得された固定指示位置に対して最小角を作る固定指示位置間角度より小さい場合には、ステップS10609に進み、領域外であるとして解釈する。
【0160】
図107は、複数固定指示位置に対する移動指示位置の位置関係が固定指示位置間領域内として解釈される操作例を示す図である。同図において、10701のように固定指示位置点A、点B、点Cで囲まれた領域に対して、移動指示位置点Dt1の位置関係は固定指示位置間領域内でとして解釈される。
【0161】
図108は、指示位置間位置関係判定処理により、複数固定指示位置に対する移動指示位置の位置関係が固定指示位置間領域内として解釈される操作のデータ例を示す図である。同図において、グラフ10801のように、固定指示位置点A(3,1)、固定指示位置点B(4,6)、固定指示位置点C(6,5.5)、及び移動指示位置点Dt1(4,4)があり、固定指示位置点Aに対する点Dt1の角度DAO 71.57°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 56.31°の間にあり、同時に、固定指示位置点Bに対する点Dt1の角度O’BD −90.00°は、固定指示位置点Bを中心とした角度O’BA 101.31°と角度O’BC 14.04°の間にある。
【0162】
テーブル10802は、t1からt5における固定指示位置点A、点B、点C、及び移動指示位置点Dの位置データを示すものである。テーブル10803は、固定指示位置と移動指示位置の位置関係変化を示すものであり、位置関係変化データにおいて、固定指示位置点Aに対する移動指示位置点Dの角度DAO71.57°は、固定指示位置間角度BAO78.69°と固定指示位置間角度CAO56.31°の間にあり、また、固定指示位置点Bに対する移動指示位置点Dの角度O’BD 90.00°は、固定指示位置間角度O’BA−101.31°と固定指示位置間角度O’BC−14.04°の間にある。
【0163】
図109は、指示位置間の位置関係変化の取得処理の手順を示すフローチャートである。同図において、ステップS10901で、判定された位置関係変化が領域内から領域外への移動であった場合は、ステップS10902に進み、領域外移動として解釈する。ステップS10901において、位置関係変化が領域内から領域外への移動でなかった場合には、ステップS10903に進み、位置関係変化が領域外から領域内への移動であった場合には、ステップS10904に進み、領域内移動として解釈する。
【0164】
図110は、指示位置間位置関係変化判定処理により、固定指示位置間領域外移動として解釈される操作例を示す図である。同図において、固定指示位置点A、点B、点Cで囲まれた領域に対して、移動指示位置点Dt1が、点Dt5へと移動する場合、複数固定指示位置に対する移動指示位置の位置関係を固定指示位置間の領域外移動として解釈する。
【0165】
図111は、指示位置間位置関係変化判定処理により、固定指示位置間領域外移動として解釈される操作のデータ例を示す図である。同図において、グラフ11101のように移動開始時t1において、固定指示位置点A(3,1)、固定指示位置点B(4,6)、固定指示位置点C(6,5.5)、及び移動指示位置点Dt1(4,4)があり、固定指示位置点Aに対する点Dt1の角度DAO 71.57°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 56.31°の間にあり、同時に、固定指示位置点Bに対する点Dt1の角度O’BD −90.00°は、固定指示位置点Bを中心とした角度O’BA 101.31°と角度O’BC 14.04°の間にある。移動終了時t5において、移動指示位置点Dt5(3,4)があり、固定指示位置点Aに対する点Dt5の角度DAO 90.00°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 59.04°の外にあり、同時にまた、固定指示位置点Bに対する点Dt5の角度O’BD −116.57°は、固定指示位置点Bを中心とした角度O’BA 101.31°と角度O’BC 14.04°の外にある。
【0166】
テーブル11102は、t1からt5における固定指示位置点A、点B、点C、及び移動指示位置点Dの位置データを示すものである。テーブル11103は、固定指示位置と移動指示位置の位置関係変化を示すものであり、位置関係変化データにおいて、固定指示位置点Aに対する移動指示位置点Dの角度DAO、及び、固定指示位置点Bに対する移動指示位置点Dの角度O’BD は、t1からt3の間は固定指示位置領域内に存在し、t4において領域外に移動している。
【0167】
図112は、複数固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS11201で、判定された位置関係変化が領域外移動であった場合は、ステップS11202に進み、行うべき操作を固定指示位置間領域内の削除として解釈する。ステップS11201において、位置関係変化が領域外移動でなかった場合には、ステップS11203に進み、さらに位置関係変化が領域内移動であった場合には、ステップS11204に進み、行うべき操作を固定指示位置間領域内への属性付与として解釈する。なお、この場合の固定指示位置間領域内への属性付与とは、固定指示位置間領域内への色付けを含む。
【0168】
図113は、固定指示位置間領域内への属性付与として解釈されるもののうち、固定指示位置間領域内への色付けとして解釈される操作例を示す図である。同図において、固定指示位置点A、点B、点Cで囲まれた領域に対して、移動指示位置点Dt1が点Dt5へと移動する場合、行うべき操作を固定指示位置間領域内への色付けとして解釈する。
【0169】
図114は、対複数固定指示位置間位置関係対応指示解釈処理により、固定指示位置間領域内への属性付与として解釈されるもののうち、固定指示位置間領域内への色付けとして解釈される場合の操作のデータ例を示す図である。同図において、11431のように移動開始時t1において、固定指示位置点A(3,1)、固定指示位置点B(4,6)、固定指示位置点C(6,5.5)、及び移動指示位置点Dt1(3,4)があり、固定指示位置点Aに対する点Dt1の角度DAO 90.00°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 56.31°の外にあり、同時に、固定指示位置点Bに対する点Dt1の角度O’BD 116.57°は、固定指示位置点Bを中心とした角度O’BA 101.31°と角度O’BC 14.04°の外にある。移動終了時t5において、移動指示位置点Dt5(4,4)があり、固定指示位置点Aに対する点Dt5の角度DAO 71.57°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 59.04°の間にあり、同時にまた、固定指示位置点Bに対する点Dt5の角度O’BD 90.00°は、固定指示位置点Bを中心とした角度O’BA 101.31°と角度O’BC 14.04°の間にある。
【0170】
テーブル11432は、t1からt5における固定指示位置点A、点B、点C、及び移動指示位置点Dの位置データを示すものである。テーブル11433は、固定指示位置と移動指示位置の位置関係変化を示すものであり、位置関係変化データにおいて、固定指示位置点Aに対する移動指示位置点Dの角度DAO、及び、固定指示位置点Bに対する移動指示位置点Dの角度O’BD は、t1からt3の間は固定指示位置領域外に存在し、t4において領域内に移動している。
【0171】
〔実施形態14〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数指示位置の指示位置数変化に着目した例について具体的に説明する。
【0172】
図115は、複数指示位置の指示位置数変化を用いた指示解釈処理の手順を示すフローチャートである。同図において、ステップS11401で指示位置数取得処理が起動されて、指示位置数が取得され、続くステップS11402で、指示位置数変化取得処理が起動し、指示位置数変化が取得される。次にステップS11403で、指示位置数変化に基づく指示解釈処理が起動され、取得された指示位置数に応じて行なうべき操作を解釈する。
【0173】
図116は、初期指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS11601で、初期指示位置数と現在指示位置数を比較し、ステップS11602において、初期指示位置数より増加している場合には、ステップS11603に進み、操作対象指定途中であると解釈する。
【0174】
図117は、初期指示位置数変化に基づく指示解釈処理により、操作対象指定途中であると解釈される場合の操作例を示す図である。時刻t1において、初期指示位置点At1とBt1があり、指示位置数は2つであり、時刻t2において、指示位置点At2とBt2とCt2とがあり、指示位置数は3つで、時刻t1より1つ増加している。
【0175】
図118は、操作対象指定途中であると解釈される場合の操作のデータ例を示す図である。グラフ11801のように、時刻t1において、指示位置点At1と、指示位置点Bt1があり、指示位置数は2つであり、時刻t2において、指示位置点At2と、指示位置点Bt2と、指示位置点Ct2があり、指示位置数は3つである。テーブル11802は、t1からt3における指示位置点A及び、指示位置点B及び、指示位置点Cの位置データを示すものである。テーブル11803は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1の時、指示位置数は2であり、初期指示位置数変化は0である。時刻t2の時、指示位置数は3であり、初期指示位置数変化は1である。
【0176】
図119は、初期指示位置を基準にした指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、初期指示位置数変化対応指示解釈処理が起動されると、ステップS11901で、初期指示位置取得処理が起動され、最初の指示位置を取得する。続いて、ステップS11902において、取得された指示位置数が初期指示位置数より増加している場合には、ステップS11903に進み、初期指示位置基準指示解釈処理が起動され、取得された初期指示位置を基準として、行なうべき操作を解釈する。
【0177】
図120は、初期指示位置を基準にした指示解釈処理の手順を示すフローチャートである。同図において、ステップS12001で、指示位置数が一個所であった場合には、ステップS12002に進み、行うべき操作を、取得された指示位置を中心とした回転操作であると解釈する。
【0178】
図121は、指示位置を中心とした回転操作であると解釈される場合の操作例を示す図である。時刻t1において初期指示位置点Aがあり、時刻t5において、指示位置点Aがあり、指示位置点Bt5が指示位置点Bt3から移動してきた場合、指示位置点Aを中心とした回転操作であると解釈される。
【0179】
図122は、指示位置を中心とした回転操作として解釈される場合のデータ例を示す図である。グラフ12201のように、指示位置点Aが時刻t1からt6の間同一座標(3,3)にあり、指示位置点Bは、時刻t3の時には点Bt3(6,2.8)にあり、時刻t4の時には点Bt4(5.6,3.5)にあり、時刻t5の時には点Bt5(5.2,4.2)にあり、時刻t6の時には点Bt6(5,5)へと移動している。テーブル12202は、時刻t1からt6における指示位置点A及びBの位置データを示すものである。テーブル12203は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1及びt2の時、指示位置数は1であり、初期指示位置数変化は0である。時刻t3の時、指示位置数は2であり、初期指示位置数変化は1である。以後、時刻t6まで指示位置数は変化していない。
【0180】
〔実施形態15〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数指示位置の最終指示位置数変化に着目した例について具体的に説明する。
【0181】
図127は、最終指示位置数変化を用いた処理の手順を示すフローチャートである。同図において、ステップS12301で最終指示位置数変化取得処理が起動し、最終指示位置数変化が取得される。ステップS12302で最終指示位置数変化に基づく指示解釈処理を行う。
【0182】
図124は、最終指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS12401で、指示位置数が減少していた場合には、ステップS12402に進み、直前の操作に対するキャンセル指示として解釈する。ステップS12401で、指示位置数が減少していない場合には、ステップS12403に進み、直前の操作に対する了承指示として解釈する。
【0183】
図125は、最終指示位置数変化に基づく指示解釈処理において、キャンセル指示操作として解釈される場合の操作例を示す図である。時刻t1において、初期指示位置点At1とBt1とCt1があり、指示位置数は3つであり、時刻t2において、指示位置点At2とBt2とがあり、指示位置数は2つであり、時刻t1より1つ減少している。
【0184】
図126は、最終指示位置数変化に基づく指示解釈処理において、キャンセル指示操作として解釈される場合の操作のデータ例を示す図である。グラフ12601のように、時刻t1において、指示位置点At1とBt1とCt1があり、指示位置数は3つであり、時刻t2において、指示位置点At2とBt2があり、指示位置数は2つである。テーブル12602は、時刻t1からt2における指示位置点A、B、Cの位置データを示すものである。テーブル12603は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1の時、指示位置数は3であり、初期指示位置数変化は0である。時刻t2の時、指示位置数は2であり、初期指示位置数変化は−1である。
【0185】
〔実施形態16〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として指示位置数に着目した例について具体的に説明する。
【0186】
図127は、指示軌跡以外の指示情報を用いた処理の手順を示すフローチャートである。同図において、ステップS12701で指示情報取得処理が起動され、指示軌跡以外の指示情報が取得される。次にステップS12702において、操作が繰り返されていない場合には、ステップS12703に進み、指示情報に基づく指示解釈処理が起動され、取得した指示情報に基づいて行うべき操作を解釈する。ステップS12702において、操作が繰り返されている場合には、ステップS12703に進み、中断操作解釈処理が起動され、操作を中断するよう解釈し、ステップS12703に進む。
【0187】
図128は、指示軌跡以外の指示情報を用いた指示解釈処理の手順を示すフローチャートである。同図において、ステップS12801で指示情報が最大判定値以上であった場合には、ステップS12802に進み、最大操作量として解釈する。ステップS12801において、指示情報が最大判定値に満たない場合には、ステップS12803に進み、さらに指示情報が繰り返し判定値以上であった場合は、ステップS12804に進み、操作量を大きくするよう解釈し、次にステップS12805に進み、繰り返し間隔を減少するよう解釈する。ステップS12803において、指示情報が繰り返し判定値に満たない場合には、ステップS12806に進み、操作量を大きくするよう解釈する。
【0188】
図129は、全指示位置数を用いた処理の手順を示すフローチャートである。同図において、ステップS12901で、全指示位置数取得処理が起動され、全指示位置数を取得する。
【0189】
図130は、指示軌跡以外の指示情報として指示位置数を用いた処理の手順を示すフローチャートである。同図において、ステップS13001で指示位置数が最大判定値以上であった場合には、ステップS13002に進み、最大ページ数、または最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS13001において、指示位置数が最大判定値に満たない場合には、ステップS13003に進み、さらに指示位置数が繰り返し判定値以上であった場合は、ステップS13004に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS13005に進み、繰り返し間隔を減少するよう解釈する。ステップS13003において、指示位置数が繰り返し判定値に満たない場合には、ステップS13006に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS13007に進み、ページ移動操作、または画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【0190】
図131は、ページめくり操作として解釈される場合の操作例を示す図である。時刻t1において、指示位置点At1及び点Bt1があり、全指示位置数が2である場合と、時刻t2において、指示位置点At2及び点Bt2の他に、指示位置点Ct2と点Dt2があり、全指示位置数が4の場合とでは、全指示位置数が多い時刻t2の方が、ページめくり操作における操作対象ページ数が大であると解釈する。
【0191】
図132は、ページめくり操作として解釈される場合の操作のデータ例を示す図である。グラフ13201のように、時刻t1において、指示位置点At1とBt1があり、全指示位置数は2つであり、時刻t2において、指示位置点At2とBt2とCt2とDt2とがあり、全指示位置数は4つである。テーブル13202は、時刻t1からt2における指示位置点A、B、C、Dの位置データを示すものである。テーブル13203は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1の時、増加指示位置数は2であり、全指示位置数は3である。時刻t2の時、増加指示位置数は2であり、全指示位置数は5である。
【0192】
〔実施形態17〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として指示位置移動速度に着目した例について具体的に説明する。
【0193】
図133は、指示軌跡以外の情報として、指示位置移動速度を用いる処理の手順を示すフローチャートである。同図において、ステップS13301で指示位置移動速度取得処理が起動され、指示位置の移動速度が取得される。ステップS13302で指示位置移動速度に基づく指示解釈処理が起動され、指示位置の移動速度に基づいて指示が解釈される。
【0194】
図134は、指示位置移動速度取得処理の手順を示すフローチャートである。同図において、ステップS13401で直前の指示位置からの移動距離を取得し、次にステップS13042で、取得した距離と時間より速度を算出する。
【0195】
図135は、指示軌跡以外の指示情報として指示位置移動速度を用いた指示解釈処理の手順を示すフローチャートである。同図において、ステップS13501で指示位置速度が最大判定値以上であった場合には、ステップS13502に進み、最大ページ数、または最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS13501において、指示位置速度が最大判定値に満たない場合には、ステップS13503に進み、さらに指示位置速度が繰り返し判定値以上であった場合は、ステップS13504に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS13505に進み、繰り返し間隔を減少するよう解釈する。ステップS13503において、指示位置速度が繰り返し判定値に満たない場合には、ステップS13506に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS13507に進み、ページ移動操作、または画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【0196】
図136は、指示位置移動速度を用いてページめくり操作として解釈される場合の操作例を示す図である。指示位置点A及び点Bが、時刻t1から時刻t5のように移動する場合と、指示位置点A’及び点B’が、時刻t1から時刻t5のように移動する場合、同じ時間内における移動速度は後者の方が大きいとして解釈する。
【0197】
図137は、指示位置移動速度を用いてページめくり操作として解釈される場合の操作のデータ例を示す図である。グラフ13701のように、時刻t1において、指示位置点Aと指示位置点Bの組み合わせが、指示位置点At1と指示位置点A’t1が同一座標(4,2)にあり、また指示位置点Bt1と指示位置点B’t1が同一座標(5,3)にあり、時刻t5において、それぞれの座標が指示位置点At5(3,3)、指示位置点Bt5(4,4)に、指示位置点A’t5(3,4)、指示位置点B’t5(4,5)に移動している。
【0198】
テーブル13702は、t1からt5における指示位置点A、B、A’、B’の位置データを示すものである。テーブル13703は、指示位置の移動速度を示すものであり、指示位置移動速度データにおいて、各指示位置の移動速度及び速度増加量により、指示位置点A’の移動速度0.559及び指示位置点B’の移動速度0.559は、指示位置点Aの移動速度0.354及び指示位置点Bの移動速度0.283より大きい。
【0199】
〔実施形態18〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として指示位置の接触圧力に着目した例について具体的に説明する。
【0200】
図138は、指示軌跡以外の情報として、指示位置接触圧力を用いた処理の手順を示すフローチャートである。同図において、ステップS13801で指示位置接触圧力取得処理が起動され、指示位置の接触圧力が取得される。ステップS13802で指示位置接触圧力に基づく指示解釈処理が起動され、指示位置の接触圧力に基づいて指示が解釈される。
【0201】
図139は、指示位置接触圧力に基づく指示解釈処理の手順を示すフローチャートである。同図において、指示情報対応指示解釈処理が起動されると、ステップS13901で指示位置接触圧力が最大判定値以上であった場合には、ステップS13902に進み、最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS13901において、指示位置接触圧力が最大判定値に満たない場合には、ステップS13903に進み、さらに指示位置接触圧力が繰り返し判定値以上であった場合は、ステップS13904に進み、画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS13905に進み、繰り返し間隔を減少するよう解釈する。ステップS13903において、指示位置接触圧力が繰り返し判定値に満たない場合には、ステップS13906に進み、画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS13907に進み、画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【0202】
図140は、指示位置接触圧力により画面移動操作として解釈される場合の操作例を示す図である。指示位置点At1(3,3)及び点Bt1(4,4)と、指示位置点At5(3,3)及び点Bt5(4,4)では、後者の方が接触圧力が大きいとして解釈する。
【0203】
図141は、指示位置接触圧力により画面移動操作として解釈される操作のデータ例を示す図である。グラフ14101のように、時刻t1から時刻t5において、指示位置点At1(3,3)及び点Bt1(4,4)から指示位置点At5(3,1)及びBt5(4,2)へ、同様に指示位置点Ct1(3,3)及び点Dt1(4,4)から指示位置点Ct5(3,1)、Dt5(4,2)へと移動している。テーブル14102は、t1からt5における指示位置点A、指示位置点B、指示位置点C、指示位置点Dの位置データを示すものである。テーブル14103は、指示位置の接触圧力を示すものであり、指示位置接触圧力データにおいて、指示位置点A及び指示位置点Bの、時刻t1からt5における接触圧力変化より、指示位置点C及び指示位置点Dの接触圧力変化の方が大きい。
【0204】
〔実施形態19〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として複数指示位置の移動距離に着目した例について具体的に説明する。
【0205】
図142は、指示軌跡以外の情報として、複数指示位置の移動距離を用いた処理の手順を示すフローチャートである。同図において、ステップS14201で指示位置移動距離取得処理が起動され、指示位置の移動距離が取得される。ステップS14202で指示位置移動距離に基づく指示解釈処理が起動され、指示位置の移動距離に基づいて指示が解釈される。
【0206】
図143は、複数指示位置の移動距離に基づく指示解釈処理の手順を示すフローチャートである。同図において、指示情報対応指示解釈処理が起動されると、ステップS14301で指示位置移動距離が最大判定値以上であった場合には、ステップS14302に進み、最大ページ数、または最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS14301において、指示位置移動距離が最大判定値に満たない場合には、ステップS14303に進み、さらに指示位置移動距離が繰り返し判定値以上であった場合は、ステップS14304に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS14305に進み、繰り返し間隔を減少するよう解釈する。ステップS14303において、指示位置移動距離が繰り返し判定値に満たない場合には、ステップS14306に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS14307に進み、ページ移動操作、または画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【0207】
図144は、ページめくり操作として解釈される場合の操作例を示す図である。時刻t1における指示位置点At1(4,2)及び点Bt1(5,3)が、時刻t5において指示位置点At5(3,3)及び点Bt5(4,4)のように移動する場合と、時刻t1における指示位置点A’t1(4,2)及び点B’t1(5,3)が、時刻t5において指示位置点A’t5(3,6)及び点B’t5(4,7)のように移動する場合とでは、後者の方が移動距離大きいとして解釈する。
【0208】
図145は、ページめくり操作として解釈される操作のデータ例を示す図である。グラフ14501のように、時刻t1において、指示位置点Aと指示位置点Bの組み合わせが、指示位置点At1と指示位置点A’t1が同一座標(4,2)にあり、また指示位置点Bt1と指示位置点B’t1が同一座標(5,3)にあり、時刻t5において、それぞれの座標が指示位置点At5(3,3)、指示位置点Bt5(4,4)に、指示位置点A’t5(3,6)、指示位置点B’t5(4,7)に移動している。テーブル14602は、時刻t1からt5における指示位置点A、B、A’、B’の位置データを示すものである。テーブル14603は、複数指示位置の移動距離を示すものであり、指示位置の移動距離データにおいて、各指示位置の移動距離及び移動距離増加量により、指示位置点A’の移動距離4.123及び指示位置点B’の移動距離4.123は、指示位置点Aの移動距離1.414及び指示位置点Bの移動距離1.131より大きい。
【0209】
〔実施形態20〕
本実施形態では、取得された2個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数指示位置の不動時間に着目した例について具体的に説明する。
【0210】
図146は、複数指示位置の不動時間を用いた処理の手順を示すフローチャートである。同図において、ステップs14601で指示位置不動時間取得処理が起動され、指示位置の不動時間が取得される。次にステップs14602において、指示位置が一定時間不動であった場合には、ステップs14603に進み、範囲指定操作として解釈し、表示上で指定範囲を他と識別可能な形態で明示する。ステップs14602において、指示位置が不動でなかった場合には、ステップs14604に進み、指定範囲に対する操作として解釈する。
【0211】
図147は、複数指示位置の不動時間を用いた処理において、範囲指定操作として解釈される操作例を示す図である。時刻t1において、指示位置点At1とBt1が任意の文字列上にあり、時刻t5において、指示位置点At5及びBt5が同じ文字列上にある場合、指示位置間の領域を指定したと解釈される。
【0212】
図148は、複数指示位置の不動時間を用いた処理において、範囲指定操作として解釈される場合のデータ例を示す図である。グラフ14801のように、指示位置点A(3,3)は、時刻t1からt5の間、同一座標にあり、指示位置点B(4,4)もまた、時刻t1からt5の間、同一座標にある。テーブル14802は、指示位置の時刻t1からt5における指示位置点A及びBの位置データを示すものである。テーブル14803は、指示位置の移動量を示すものであり、指示位置移動データにおいて、指示位置点Aの移動量は、時刻t1には0であり、t2以降時刻t5においても0である。指示位置点Bの移動量も同様に時刻t1からt5まで0であり、指示位置点Aと点Bが、時刻t1からt5において不動であることが分かる。
【0213】
図149は、複数指示位置の不動時間を用いた処理において、指定範囲に対する拡大操作として解釈される場合の操作例を示す図である。時刻t5において、指示位置点At5と、指示位置点Bt5が任意の文字列上にあり、時刻t6において、指示位置点At6及び、指示位置点Bt6がそれぞれt5の位置より移動した場合、指定された指定範囲に対する拡大操作であると解釈される。
【0214】
図150は、複数指示位置の不動時間を用いた処理において、指定範囲に対する拡大操作として解釈される場合のデータ例を示す図である。グラフ15001のように、指示位置点A(3,3)及びB(4,4)は、時刻t1からt5の間同一座標にあり、指示位置点At6(2,2.5)及びBt6(4,4)は、それぞれ時刻t5における位置から見て、他方の指示位置から遠ざかる方向に存在している。テーブル15002は、指示位置の時刻t1からt6における指示位置点A及び、指示位置点Bの位置データを示すものである。テーブル15003は、指示位置の時間変化を示すものであり、指示位置移動データにおいて、指示位置点A及び指示位置点Bの移動量は、時刻t1からt5の間0であり、指示位置AB間の距離変化倍率は100%であり、変化していない。また時刻t6において、点Aの移動量は1.118、点Bの移動量は2.236であり、指示位置AB間の距離変化倍率は285%と拡大している。
【0215】
尚、本発明は、上記実施形態の機能が実現できる範囲において、単一の機器からなる装置に適用しても、複数の機器(例えばコンピュータ本体、インターフェイス機器、ディスプレイなど)から構成されるシステムに適用してもよい。
【0216】
また、前述した実施形態の機能を実現するように各種デバイスを動作させることを目的として、該各種デバイスと接続された装置あるいはシステム内のコンピュータに、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を供給し、装置あるいはシステム内のコンピュータが記憶媒体に格納されたプログラムコードを読み出して実行することによって達成してもよい。
【0217】
かかるプログラムコードを供給する為の記憶媒体としては、例えば、フロッピーディスク(登録商標)、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を使用できる。
【0218】
あるいは、通信回線を介して上記プログラムコードを外部から提供してもよい。
【0219】
更に、装置あるいはシステム内のコンピュータが記憶媒体に格納されたプログラムコードを読み出して実行することによって、上述した実施形態の機能を直接実現するばかりでなく、そのプログラムコードの指示に基づいて、コンピュータ上で稼動しているOSなどの処理により、上述の機能を実現される場合も含まれる。
【0220】
これらの場合、そのプログラムコードを記憶した記憶媒体及びプログラムコードそのものは本発明を構成することになる。

【特許請求の範囲】
【請求項1】
操作者の指示に基づいて動作する情報処理装置であって、
タッチパネル上の複数個所が同時に接触されることにより指示される複数の指示位置を検知する検知手段と、
前記検知手段が検知した複数の指示位置に基づいて前記操作者の指示を解釈する解釈手段と、
前記検知手段が検知した複数の指示位置での接触圧力の大きさを示す情報を取得する取得手段と、
前記解釈手段が解釈した指示に基づく動作の動作量を、前記取得手段が取得した情報が示す接触圧力の大きさに基づいて判定する判定手段と
を備えることを特徴とする情報処理装置。
【請求項2】
前記判定手段は、前記取得手段が取得した情報が示す接触圧力の大きさの大きさに対応する動作量を判定することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記判定手段は、前記取得手段が取得した情報が示す接触圧力の大きさが、予め定めた第1の値以上ではない場合、前記接触圧力に基づいて前記動作量を増加させ、前記接触圧力が前記予め定めた第1の値以上の場合、前記動作量を最大動作量として判定することを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記動作量とは、少なくともページ数、画面数、項目数、縮尺倍率のいずれか1つ以上であることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
【請求項5】
前記取得手段が取得した情報が示す接触圧力の大きさに基づいて、前記判定手段が判定した動作量での動作を繰り返し実行する実行手段を更に備えることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
【請求項6】
前記実行手段は、前記取得手段が取得した情報が示す接触圧力の大きさに基づいて、前記繰り返しの間隔を制御することを特徴とする請求項5に記載の情報処理装置。
【請求項7】
操作者の指示に基づいて動作する情報処理装置の制御方法であって、
検知手段により、タッチパネル上の複数個所が同時に接触されることにより指示される複数の指示位置を検知する検知工程と、
解釈手段により、前記検知工程で検知した複数の指示位置に基づいて前記操作者の指示を解釈する解釈工程と、
取得手段により、前記検知工程で検知した複数の指示位置での接触圧力を取得する取得工程と、
判定工程により、前記解釈工程で解釈した指示に基づく動作の動作量を、前記取得工程で取得した情報が示す接触圧力の大きさに基づいて判定する判定手段と
を備えることを特徴とする情報処理装置。
【請求項8】
コンピュータを、請求項1乃至7のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項9】
コンピュータを、請求項1乃至7のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate

【図58】
image rotate

【図59】
image rotate

【図60】
image rotate

【図61】
image rotate

【図62】
image rotate

【図63】
image rotate

【図64】
image rotate

【図65】
image rotate

【図66】
image rotate

【図67】
image rotate

【図68】
image rotate

【図69】
image rotate

【図70】
image rotate

【図71】
image rotate

【図72】
image rotate

【図73】
image rotate

【図74】
image rotate

【図75】
image rotate

【図76】
image rotate

【図77】
image rotate

【図78】
image rotate

【図79】
image rotate

【図80】
image rotate

【図81】
image rotate

【図82】
image rotate

【図83】
image rotate

【図84】
image rotate

【図85】
image rotate

【図86】
image rotate

【図87】
image rotate

【図88】
image rotate

【図89】
image rotate

【図90】
image rotate

【図91】
image rotate

【図92】
image rotate

【図93】
image rotate

【図94】
image rotate

【図95】
image rotate

【図96】
image rotate

【図97】
image rotate

【図98】
image rotate

【図99】
image rotate

【図100】
image rotate

【図101】
image rotate

【図102】
image rotate

【図103】
image rotate

【図104】
image rotate

【図105】
image rotate

【図106】
image rotate

【図107】
image rotate

【図108】
image rotate

【図109】
image rotate

【図110】
image rotate

【図111】
image rotate

【図112】
image rotate

【図113】
image rotate

【図114】
image rotate

【図115】
image rotate

【図116】
image rotate

【図117】
image rotate

【図118】
image rotate

【図119】
image rotate

【図120】
image rotate

【図121】
image rotate

【図122】
image rotate

【図123】
image rotate

【図124】
image rotate

【図125】
image rotate

【図126】
image rotate

【図127】
image rotate

【図128】
image rotate

【図129】
image rotate

【図130】
image rotate

【図131】
image rotate

【図132】
image rotate

【図133】
image rotate

【図134】
image rotate

【図135】
image rotate

【図136】
image rotate

【図137】
image rotate

【図138】
image rotate

【図139】
image rotate

【図140】
image rotate

【図141】
image rotate

【図142】
image rotate

【図143】
image rotate

【図144】
image rotate

【図145】
image rotate

【図146】
image rotate

【図147】
image rotate

【図148】
image rotate

【図149】
image rotate

【図150】
image rotate


【公開番号】特開2013−50998(P2013−50998A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2012−269658(P2012−269658)
【出願日】平成24年12月10日(2012.12.10)
【分割の表示】特願2011−177129(P2011−177129)の分割
【原出願日】平成13年1月30日(2001.1.30)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】