表示入力装置およびそのためのコンピュータプログラム
【課題】タッチディスプレイパネルを有する表示入力装置において、直接的なオブジェクトの操作感を向上させる。
【解決手段】表示入力装置は、タッチディスプレイパネルで構成される表示部上で指先の接触を検出しているときに、接触が検出された接触範囲に存在する接触オブジェクトを接触範囲外に移動して表示させるとともに、接触オブジェクトに隣接する隣接オブジェクトを、接触オブジェクトの移動により押し出される方向に移動させて表示させる。
【解決手段】表示入力装置は、タッチディスプレイパネルで構成される表示部上で指先の接触を検出しているときに、接触が検出された接触範囲に存在する接触オブジェクトを接触範囲外に移動して表示させるとともに、接触オブジェクトに隣接する隣接オブジェクトを、接触オブジェクトの移動により押し出される方向に移動させて表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はタッチスクリーンを備えるデバイスの新たな操作手法を提供する方法およびシステムに関する。
【背景技術】
【０００２】
携帯電話などの小さいディスプレイや、壁掛け型サイズのマルチタッチディスプレイシステムやテーブルトップ型ディスプレイシステムなどの大型のディスプレイでも、タッチディスプレイ装置が人気を集めてきている。タッチディスプレイは表示されたアイテムの直接的な操作を可能にする魅力的な機能を提供する。ユーザは操作と表示とが一致するように、オブジェクトのタッチおよび操作を行うことができるので、現実の物理的な世界で生じた操作のように感じることができる。
しかし、現実世界では、人間の指先よりも小さいオブジェクトを操作することは難しい。例えば、ユーザは数画素しか違わないオブジェクトを指すことが困難であり、エラー率の増加とユーザの不満とが高まる原因となる。このため、こうしたディスプレイ上では、指による表示の遮蔽（オクルージョン）が小さなターゲットの指定を困難にしている。こうした課題に対して幾つかの研究が過去になされている。もっとも最近の解決策は、この問題を軽減するために、他の領域への表示（Call-out)、指先とカーソル位置にオフセットをもうける（オフセットカーソル）あるいは指定部分を拡大する（拡大レンズ）といった方法を用いている。
指によるオクルージョンはタッチディスプレイでの操作における大きな課題であり、ディスプレイのサイズが小さいときには顕著になる。もしディスプレイのサイズが小さくてディスプレイ上に相当の量の情報を表示しなければならない場合、表示されたテキストデータは小さいフォントを用いて表示しなければならず、図形素材を表示する場合には小さなグラフィカルオブジェクトを用いて表示しなければならない。小さな対象の選択やターゲットの挿入といった頻繁に用いられる操作ではオクルージョンの問題がさらに大きくなる。しかし、大きなタッチディスプレイにおいても同様に課題は生じうる。
オクルージョン問題に対する対策としては、表示された素材の表示倍率を変更する（ズーミング）、対象を空いているディスプレイ領域で拡大させる、入力位置とポインターの位置とにオフセットを設ける、あるいは遮蔽される領域部分を切り出してやはりカーソルにオフセットを設ける、などの方法が提案されている。これらのアプローチはユーザの注目箇所や文脈を見失わせ易く、ユーザを当惑させる。ターゲットの拡大は、テキストの選択の場合のように、対象が大量で密集した状態では、表示が困難である。
過去の研究では、エラー発生の主要因は、ユーザが指先でターゲットを遮蔽し、これにより、正確に指先を配置する場所がわからないことであると報告されている。
多様な機構がこの問題の対策として提案されてきている。一つの機構は、指先が接触した領域を拡大して、実際のターゲットよりも大きいターゲットを用意するものである。このターゲットのゾーンは通常ディスプレイの空き領域に拡大して表示され、他の表示素材の障害にならないようにしている。拡大ゾーンのターゲットをタップすることで、ターゲットを選択することができる。この方法はターゲットがまばらにある場合には有効であるが、大量の密集した状態のターゲットでは適切な拡大が難しい。さらに、選択を正確に行うためにターゲット自体ではなく拡大された領域での操作を行うことで、ユーザの直接的な操作感が損なわれてしまう。
こうした場合の一つのアプローチとして、ジェスチャに基づいて一貫性を保つ方法がある。ユーザは対象に狙いを定め、対象のアイコンにより示される方向に指を動かす。ただし、その方向はタップをする前に覚えておかなければならず、遮蔽が生じる間は記憶しておく必要がある。一貫性を与えるジェスチャをユーザが利用できるように、ターゲットにはグラフィカルな付加情報を必要とする。多くの付加情報によって表示に支障が生じてしまうような場合、例えば文字列の選択、には、この方法は有効とはいえない。
【０００３】
他の代替は、ユーザの指の下に現在あるものを見せる拡大レンズの形態におけるオフセットカーソルおよび他の領域への表示を含む。選択は、通常、指を持ち上げることによって行われる。これは、一般的にはタッチディスプレイにおけるエラー率を、具体的には小さなターゲットを取得する場合のエラー率を相当に低減する。しかしながら、この場合に他の領域への表示を利用することはあまり効率的ではない。
また、所望のターゲットに選択用カーソルを配置するためのカーソルキーも使用されている。これは確実に叩ける程度の大きさの仮想キー、マウス、仮想トラックパッドなど、多様な方法で実現することができる。しかし、こうしたカーソルキーの表示で空間を使ってしまうことは、特にスペースの限られた携帯デバイスで実行性のあるものとはいえない。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ペア−アンダース アルビッションら（Par-Anders Albinsson et al)、「高精密タッチスクリーンインタラクション（High precision touch screen interaction）」、２００３年コンピュータシステムにおける人の要因に関するSIGCHI会議予稿集（Proceedings of the SIGCHI conference on Human factors in computing systems）、エイシーエム（ACM）、米国、２００３年４月５日、第５巻、第１号、第105−112頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチディスプレイパネルを有する表示入力装置において、指先による画面遮蔽の問題を改善するための既存の操作手法は、タッチパネルを利用する利点である、直接的なオブジェクトの操作感を損ねていた。
【課題を解決するための手段】
【０００６】
この課題を解決するため、本発明の表示入力装置とそのためのコンピュータプログラムは以下の特徴を有する。
本発明の第１の態様である表示入力装置は、複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、前記検出部からの前記接触信号に基づく入力を受信する入力部と、前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備え、前記表示制御部が、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示することを特徴とする。
さらに、第２の態様において、前記表示制御部は、前記入力部から得られた前記表示部上での同時に接触が検出されている位置情報に基づいて前記接触範囲を定めることを特徴とする。
更に第３の態様において、前記表示制御部は、前記接触範囲を楕円形状の空白として表示することを特徴とする。
更に第４の態様において、前記複数のオブジェクトは複数の文字列が行を構成するテキスト情報を含み、前記表示制御部は、前記接触オブジェクトが前記複数の文字列の少なくとも一つであるときに、前記接触オブジェクトの移動方向を前記行の方向とするとともに、前記行内に含まれる文字列のうち少なくとも前記接触オブジェクトの移動方向に存在する文字列全体を前記移動方向に移動させて表示させることを特徴とする。
更に第５の態様は、前記接触オブジェクトの処理単位が単語であることを特徴とする。
更に第６の態様は、前記複数のオブジェクトが一つの図形を構成する複数の図形情報を含み、前記表示制御部は、前記接触オブジェクトが前記図形情報の少なくとも１つであるときに、前記接触オブジェクトの前記接触外への移動に伴い、一つの図形を構成する前記複数の図形情報のうち少なくとも前記隣接オブジェクトにあたる図形情報を前記接触オブジェクトの移動方向に応じて画像を歪ませた状態で移動し表示させることを特徴とする。
更に、第７の態様は、前記表示制御部は、前記接触範囲の移動に伴い、前記複数のオブジェクトの表示を同時に変更することを特徴とする。
更に、第８の態様は、前記表示制御部は、前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に、位置指定子を表示させることを特徴とする。
更に、第９の態様は、前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に存在する前記複数のオブジェクトの少なくとも一つを利用した処理を行う処理手段を更に備えることを特徴とする。
本発明の第１０の態様であるコンピュータプログラムは、複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、前記検出部からの前記接触信号に基づく入力を受信する入力部と、前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備える表示入力装置を制御するためのコンピュータプログラムであって、コンピュータに、前記表示制御部により、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示させるためのプログラムである。
【発明の効果】
【０００７】
タッチスクリーンを備えるデバイスでの直接的なオブジェクトの操作感を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に関わる一実施形態のディスプレイ表示の一例を示すものである。
【図２】本発明の一実施形態の一例のハードウェアの機能構成例を示すものである。
【図３】本発明のシステムを構成することができるコンピュータプラットフォームの一例を示すものである。
【発明を実施するための形態】
【０００９】
以下の詳細な説明において、対応する図面中の符号は、同じ機能要素については同様の番号を付してある。これらの図面は例示であって、その手法を限定するものではなく、個々の実施形態と適用例は今回の発明の原理を示すためのものである。これらの適用例は当業者が実施可能な程度に十分な詳細が記載されており、他の適用例への適用、構成の変更や各構成要素の変更および／または置き換えが、本発明の範囲および思想から逸脱することなく適用できることは理解されるだろう。従って、以下の詳細な説明は限定的に解釈されるものではない。加えて、記述される多様な実施形態は、一般用のコンピュータ上で動作するソフトウェアの形態、専用のハードウェアから成る形態、あるいはソフトウェアとハードウェアとの組み合わせにより実現されてよい。
本発明において提示する新たな方法は、指が接触した点の付近のディスプレイ領域中で、表示されるコンテント中に情報が表示されない領域（穴）が形成されるものである。コンテンツは情報が表示されない領域（穴）の両脇にコンテントが押し出され、その結果指で接触した後も見え続ける。これにより素材が完全に遮蔽されることは避けられる。
本発明について、ここでは示す形態では西洋式の記述方式（横書き、行内では左から右、行は上から下）に従って、文字列挿入や文字列選択のタスクの実施形態を示す。この形態を他の記述形式（たとえば、縦書き、行内では上から下、行は右から左など）に対してもそのまま適用することができる。従って、本発明の思想の範囲にわたって、この実施形態を一般化し、他の用途にも利用することができる。つまり、本発明は開示した例にのみ限定されるものではない。さらに、ここで説明する実施形態は文字列選択、文字列挿入の簡単な場合であり、記述の単位は文字ではなく単語としている。しかし、ここでの記述は、文字やコンピュータデバイスが認識しディスプレイで表現できる他のシンボルであってもよい。
この実施形態では、ユーザはすでに文字列挿入あるいはテキストマークモードにあるとする。ユーザのモードの選択は本発明とは直接的には関係しない。モード変更の仕方としてはいくつもの方法があり、テキストディスプレイをタップおよび保持する、あるいはディスプレイのモード変更領域をなぞるなどがある。
テキスト挿入モードでは、本実施形態ではタッチディスプレイ上のユーザの指の位置を追跡する。指の位置を、水平方向を主軸、垂直方法を副軸とする楕円の中心とする。楕円のサイズは調整可能であり、ユーザの指によるタッチディスプレイの遮蔽領域を大まかに個人別に設定できるようにしてもよい。
他の形状もまた利用可能であるが、最良の実施形態としてここでは楕円形状を用いて説明をする。なお、形状は閲覧方向（ディスプレイの位置と利き手の選択に基づいて）、指の傾斜など要因に応じて補正するようにパラメータ化しておくこともできる。
本発明の一実施形態に関わるメカニズムにおいて、テキスト行に交わる形状に基づいて、主軸の交差点を計算する。西洋式の記述方式（横書き）で記載されたドキュメントの場合、楕円形状がディスプレイの水平および垂直方向に沿っているとした場合、主軸はこの楕円の副軸（垂直）である。
各交差点において、このメカニズムでは単語の中心と交差点との水平距離が最小となるように、単語を見つける。この単語をここではｗとする。まず、ｗの中心が交差点の左にあるとする。ｖがその行で右隣にあるとする（なお、ｗの右隣に文字が無い場合はｖは空となる）。このメカニズムは、ｗとその左にあるすべての単語を、ｗが楕円と交わらないようになるまで、左側に押し出す。さらに、このメカニズムはｖとｖの右側にあるすべての単語を、ｖが楕円と交差しなくなるまで右側に押し出す。これを単語の分割とここでは呼ぶことにする。もしｗの中心が交差点の右側だと、単純にｖをｗとして、ｗをｖの左隣とするだけである。
本形態のメカニズムでは、接触点のテキスト中に楕円の穴を作る。この穴は、ユーザがディスプレイ上で指をなぞらせるのに伴って、ユーザの指先を追跡する。すべての単語が楕円形状の外側に表示されるので、遮蔽されてしまう単語が無くなる。指がディスプレイを離れたとき、本形態のメカニズムは、単語を押し戻して、本来の位置を復元する。このプロセスはアニメーション表示することができる。
図１は、本実施形態において、テキスト表示のときにどのように処理がなされるかを説明するものである。
本形態のメカニズムは、交差点とオリジナルの単語位置に基づいて単語の中心を決定する。（単語分割が進行しているときの位置ではない。）こうすることで、単語分割の両脇にすべての単語を表示することができる。いかなる単語の中心であってもその中心の左および右への点が存在するからである。（なお、各単語は少なくとも３画素の幅をもち、単語が表示されるすべての画素に接触できると仮定している。）
テキスト分割子は二つの単語間の位置を示す。テキスト挿入点あるいはテキスト位置マーキング点は指が離れたときの接触点への最小垂直距離での分割子である。本実施形態においては、テキスト挿入点が存在する行１０１を、行の背景色を変更するか、行自体、あるいは他の方法で、強調表示するように構成されている。ゾーンが形成されたときに、主軸と副軸を示す表示を行ってもよい。穴１０２は、ユーザの指が接触したディスプレイ上に形成される。右側にある表示１０３は、指を離したあとに本形態のメカニズムがどのようにテキスト境界で作用するかを示すものである。
なお、行の選択では、受け取った接触中心に対して現実の選択とのずれが生じる場合には補正を行って調整することができ、例えば、接触点の最も近い行に適当なオフセットを設定して行を選択するようにしてもよい。
前述の場合に、挿入あるいはマーカポイントは単語の境界、例えば単語間、のテキスト上に配置される。この手法は、文字単位の分割にも拡張することができ、指先の粒度の挿入とマーキングを可能とする。テキストの範囲選択は、上述の方法で、最初に始点を選択し、次に終点を選択することで実行することができる。
もしタッチスクリーンデバイスが、加速度計、コンパス、傾斜センサといった、付加的なセンサを持つ場合には、単語の選択は一回の単語分割で行うこともできる。例えば、上述の方法でテキストの選択開始点を決定した後、ユーザはデバイス全体を選択したい方向に傾斜させる。
なお、本メカニズムは、例えば、地図上の中継地点や都市といった、適当な選択対象を単語と同じように取り扱うことで、他のアプリケーションにも適用することができる。一例として、地図を格子上に沿わせて、ユーザの指がある箇所に穴が開くように地図を歪ませることで、地図を分割することができる。例えば非英語文字、通貨記号といった、他の記号単位に適用することもできる。
図２は、本発明の一実施形態である、ハードウェア装置の機能構成図の一例を示す。
ユーザがタッチディスプレイ２００に接触すると、検知ユニット２０１（タッチスクリーン入力インターフェース）がタッチディスプレイの接触に基づく入力を受信する。検知ユニットは指令をＲＡＭ２０３と他のＩ／Ｏ２０４を備える処理ユニット２０２に伝送する。処理ユニットは接触入力に基づく処理を行い、ディスプレイへの表示を行わせるディスプレイコントローラ２０５に指令を伝送する。本発明においては、ユーザが接触した箇所に穴が開いた表示を行うとともに、カーソルが現在位置している行を示すために行を強調表示する指令が送られる。
【００１０】
図３は、本発明の実施形態に関わるコンピュータ／サーバーシステム３００の実現例を例示したものである。このシステム３００は、コンピュータ／サーバプラットフォーム３０１、周辺装置３０２とネットワークリソース３０３を含んで構成される。
【００１１】
コンピュータプラットフォーム３０１は、情報をコンピュータプラットフォーム３０１内の多様なモジュールとの間で通信するためのデータバス３０４あるいは他の通信機構を有している。そして、プロセッサ（ＣＰＵ）３０５は、情報処理や他の計算および制御処理を行うために、バス３０４と接続されている。コンピュータプラットフォーム３０１ではさらに、多様な情報やプロセッサ３０５で処理される命令を記憶する、ランダムアクセスメモリ（RAM）や他の動的記憶装置のような揮発性記憶領域３０６がバス３０４に接続されている。揮発性記憶領域３０６はプロセッサ３０５の処理において一時的な変数や中間情報を記憶するのに用いられてもよい。コンピュータプラットフォーム３０１は、統計情報や、基本入出力システム（BIOS）のような、プロセッサ３０５の命令や、様々なシステムのパラメータを記憶するために、バス３０４に接続されたリードオンリーメモリ（ROM）や他の静的記憶装置を備えても良い。
【００１２】
コンピュータプラットフォーム３０１には、システム管理者あるいはユーザに情報を提示するために、CRT、プラズマディスプレイ、ＥＬディスプレイあるいは液晶ディスプレイなどのディスプレイ３０９が、バス３０４を介して接続されている。入力装置（キーボード）３１０はアルファベットと他のキーを備えており、プロセッサ３０５との通信や指示のためにバス３０４に接続されている。他のユーザ用入力装置としては、方向に関する情報を通信し、ディスプレイ３０９上でのカーソルの動きを制御するマウス、トラックボールあるいはカーソル方向キーのようなカーソル制御装置３１１がある。この入力装置は通常２軸での自由度をもっており、第１の軸（例えばｘ）および第２の軸（例えばｙ）を持つことで平面上での位置をそのデバイスで特定できることとなる。
【００１３】
外部記憶装置３１２を、拡張あるいは取り外し可能な記憶容量をコンピュータプラットフォーム３０１に提供するために、バス３０４を介してコンピュータプラットフォーム３０１に接続してもよい。コンピュータシステム３００の一例では、外付けのリムーバブルメモリ（外部記憶装置３１２）が他のコンピュータシステムとのデータ交換を容易にするために、使用されてもよい。
【００１４】
本発明は、ここに記述された技術を実現するためのコンピュータシステム３００の使い方に関連するものである。実施形態として、コンピュータプラットフォーム３０１のような機械上に、本発明に関するシステムを搭載する。本発明の一形態としては、ここで記載された技術を、揮発性メモリ（記憶領域）３０６中の１以上の命令による１以上の処理をプロセッサ３０５に処理させることで実現させる。こうした命令は不揮発性記憶領域３０８のような他のコンピュータ読取可能な媒体から、揮発性メモリ３０６に読み出してもよい。揮発性メモリ３０６中に保持された一連の命令をプロセッサ３０５に実行させることで、ここに述べた処理ステップを実現させる。他の形態としては、ハードウェアの電子回路を、発明を実現するソフトウェアと、一部置き換え、あるいは、組み合わせてもよい。なお、本発明は特定のスペックを有するハードウェアやソフトウェアの組み合わせに限定されるものではない。
【００１５】
ここで、コンピュータ可読媒体とは、プロセッサ３０５が実行するための命令を提供するのに用いられるあらゆる媒体を指す。コンピュータ可読媒体は機械読取可能媒体の一例であり、ここで述べた、いかなる方法もしくは技術を実現するための命令を保持することができるものである。このような媒体は多様な形態をとり、不揮発性媒体、揮発性媒体、そして通信媒体といったものに限られない。不揮発性媒体としては、例えば、記憶装置（不揮発性記憶領域３０８）のような、光、磁気ディスクが含まれる。揮発性媒体としては、例えば揮発性記憶装置（領域）３０６のような動的メモリを含む。通信媒体は、データバス３０４のような配線を含む同軸ケーブル、銅線、光ファイバーなどであってよい。通信媒体は、電磁波や赤外光データ通信のような、音波や光を利用したものも含む。
【００１６】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープあるいは他の磁気媒体、CD-ROMあるいは他の光記憶媒体、パンチカード、紙テープなどの穴の配置を用いる媒体、RAM、ROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリーカードなどのメモリチップやカートリッジ、通信波、あるいはコンピュータが読むことができる他の媒体、といった通常のコンピュータ可読媒体を含む。
【００１７】
さまざまな形態のコンピュータ可読媒体が、プロセッサ３０５で処理される１以上の処理を実行させるために用いることができる。例えば、その命令が最初はリモートコンピュータから磁気ディスクに保持されてもよい。あるいは、リモートコンピュータがその命令を動的記憶装置にロードして、モデムを用いた電話回線を通じて該命令を送信してもよい。コンピュータシステム３００に接続されたモデムは、電話回線を通じてデータを受け取るともに、データを赤外線信号に変換して赤外線として伝送するようにしてもよい。赤外線検出装置は、赤外線信号に重畳されたデータを受信し、適当な回路がそのデータをデータバス３０４に伝送する。バス３０４は揮発性記憶領域３０６にデータを伝送し、プロセッサ３０５がその命令を参照して実行できる状態におく。揮発性メモリ（揮発性記憶領域３０６）から受け取った命令はプロセッサ３０５により処理される前あるいは後に不揮発性記憶装置（領域）３０８に保存されるようにしてもよい。命令は、周知のネットワークデータ通信プロトコルのいずれかで、インターネットを介してコンピュータプラットフォーム３０１にダウンロードするようにしてもよい。
【００１８】
コンピュータプラットフォーム３０１は、データバス３０４に結合したネットワークインターフェースカード３１３のような通信インターフェースも有する。通信インターフェース３１３はローカルエリアネットワーク３１５に接続されたネットワークリンク３１４に接続し、双方向のデータ通信が可能とされる。例えば、通信インターフェース３１３はＩＳＤＮカードやモデムと一体化され、対応する電話回線でのデータ通信を行わせるようにしてもよい。他の例としては、LANや802.11a, 802.11b, 802.11g として周知の無線LANリンクに適合したデータ通信接続を行うローカルエリアネットワークインターフェースカード（LAN NIC）としたり、Bluetooth(登録商標)を用いて実現してもよい。いずれの場合でも、通信インターフェース３１３は、様々なタイプの情報を表すデジタルデータ列を伝送する、電気、電磁、あるいは光信号を送受信する。
【００１９】
ネットワークリンク３１４は、１以上の他のネットワークとデータ通信を通常可能とする。例えば、ネットワークリンク３１４は、ローカルエリアネットワーク３１５を介して、ホストコンピュータ３１６やネットワークストレージやサーバー３２２への接続を提供する。加えて、あるいは代替として、ネットワークリンク３１４は、インターネットのような、広域あるいはグローバルネットワーク３１８にゲートウェイ／ファイアウォール３１７を通じて接続する。そしてコンピュータプラットフォーム３０１はインターネット３１８上のどこかにある、例えばリモートネットワークストレージ／サーバーといった、ネットワークリソースにもアクセスすることが可能となる。一方、コンピュータプラットフォーム３０１は、ローカルエリアネットワーク３１５および／またはインターネット３１８上のいかなる位置にいるクライアントからもアクセスできるようにしてもよい。ネットワーククライアント３２０および３２１は、プラットフォーム３０１と同様のコンピュータプラットフォームに基づいて構築しても良い。
【００２０】
ローカルエリアネットワーク３１５とインターネット３１８は、共に電気、電磁、あるいは光信号を、データ信号列を伝播するのに用いる。なお、デジタルデータをコンピュータプラットフォーム３０１に入出させる、多様なネットワークを通じた信号、ネットワークリンク３１４上や、通信インターフェース３１３を介した信号は情報伝送の伝送波の例示的な形態である。
【００２１】
コンピュータプラットフォーム３０１は、メッセージの送信、プログラムコードを含むデータの受信を、インターネット３１８およびLAN３１５を含む多様なネットワーク、ネットワークリンク３１４および通信インターフェース３１３を介して行うことができる。インターネットの例では、コンピュータプラットフォーム３０１はネットワークサーバとして機能し、クライアント３２０および／または３２１で実行されるアプリケーションプログラム用の、リクエストコードやデータを、インターネット３１８、ゲートウェイ／ファイアウォール３１７、ローカルエリアネットワーク３１５および通信インターフェース３１３を介して伝送する。同様に、他のネットワークリソースからコードを受信してもよい。
【００２２】
受信したコードはプロセッサ３０５によって受信時に実行されるか、不揮発記憶装置（領域）３０８あるいは揮発記憶装置（領域）３０６に保存する、あるいは他の不揮発性記憶領域に記憶して、後で実行してもよい。このようにしてコンピュータ（プラットフォーム）３０１は伝送波からアプリケーションコードを取得できる。
【００２３】
最後に、ここに記載した方法や技法は、特定の装置固有に成り立つものでなく、いかなる適当な構成要素の組み合わせによっても実現できることを理解されたい。また、この開示の示唆に従って、多様な一般用途の装置を用いてもよい。またここで開示した手法を実現する専用の装置を作成することも有効である。この発明は特定の例示に基づいて記述されているが、それらは全て限定的にするためではなく、例示するためのものである。当業者であれば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが本発明を実施するのに適当であることは理解されうることであろう。例えば、ソフトウェアの記述は、アセンブラ, C/C++, pearl, shell, PHP, Java（登録商標）といった多様なプログラムあるいはスクリプト言語を用いて実現できる。
【００２４】
さらに、当業者であればここに開示された本発明の明細書および実施例に基づいて、本発明の他の改良もまた明らかであろう。実施形態に記述された多様な観点や構成は、このコンピュータにより実現される画像検索システムを単独もしくは組み合わることにより利用することができる。明細書と実施例は例示的なものと解釈され、真の発明の示す範囲と思想はクレームにより示されるものである。
【符号の説明】
【００２５】
１０１ カーソルが存在する行
１０２ 穴
【技術分野】
【０００１】
本発明はタッチスクリーンを備えるデバイスの新たな操作手法を提供する方法およびシステムに関する。
【背景技術】
【０００２】
携帯電話などの小さいディスプレイや、壁掛け型サイズのマルチタッチディスプレイシステムやテーブルトップ型ディスプレイシステムなどの大型のディスプレイでも、タッチディスプレイ装置が人気を集めてきている。タッチディスプレイは表示されたアイテムの直接的な操作を可能にする魅力的な機能を提供する。ユーザは操作と表示とが一致するように、オブジェクトのタッチおよび操作を行うことができるので、現実の物理的な世界で生じた操作のように感じることができる。
しかし、現実世界では、人間の指先よりも小さいオブジェクトを操作することは難しい。例えば、ユーザは数画素しか違わないオブジェクトを指すことが困難であり、エラー率の増加とユーザの不満とが高まる原因となる。このため、こうしたディスプレイ上では、指による表示の遮蔽（オクルージョン）が小さなターゲットの指定を困難にしている。こうした課題に対して幾つかの研究が過去になされている。もっとも最近の解決策は、この問題を軽減するために、他の領域への表示（Call-out)、指先とカーソル位置にオフセットをもうける（オフセットカーソル）あるいは指定部分を拡大する（拡大レンズ）といった方法を用いている。
指によるオクルージョンはタッチディスプレイでの操作における大きな課題であり、ディスプレイのサイズが小さいときには顕著になる。もしディスプレイのサイズが小さくてディスプレイ上に相当の量の情報を表示しなければならない場合、表示されたテキストデータは小さいフォントを用いて表示しなければならず、図形素材を表示する場合には小さなグラフィカルオブジェクトを用いて表示しなければならない。小さな対象の選択やターゲットの挿入といった頻繁に用いられる操作ではオクルージョンの問題がさらに大きくなる。しかし、大きなタッチディスプレイにおいても同様に課題は生じうる。
オクルージョン問題に対する対策としては、表示された素材の表示倍率を変更する（ズーミング）、対象を空いているディスプレイ領域で拡大させる、入力位置とポインターの位置とにオフセットを設ける、あるいは遮蔽される領域部分を切り出してやはりカーソルにオフセットを設ける、などの方法が提案されている。これらのアプローチはユーザの注目箇所や文脈を見失わせ易く、ユーザを当惑させる。ターゲットの拡大は、テキストの選択の場合のように、対象が大量で密集した状態では、表示が困難である。
過去の研究では、エラー発生の主要因は、ユーザが指先でターゲットを遮蔽し、これにより、正確に指先を配置する場所がわからないことであると報告されている。
多様な機構がこの問題の対策として提案されてきている。一つの機構は、指先が接触した領域を拡大して、実際のターゲットよりも大きいターゲットを用意するものである。このターゲットのゾーンは通常ディスプレイの空き領域に拡大して表示され、他の表示素材の障害にならないようにしている。拡大ゾーンのターゲットをタップすることで、ターゲットを選択することができる。この方法はターゲットがまばらにある場合には有効であるが、大量の密集した状態のターゲットでは適切な拡大が難しい。さらに、選択を正確に行うためにターゲット自体ではなく拡大された領域での操作を行うことで、ユーザの直接的な操作感が損なわれてしまう。
こうした場合の一つのアプローチとして、ジェスチャに基づいて一貫性を保つ方法がある。ユーザは対象に狙いを定め、対象のアイコンにより示される方向に指を動かす。ただし、その方向はタップをする前に覚えておかなければならず、遮蔽が生じる間は記憶しておく必要がある。一貫性を与えるジェスチャをユーザが利用できるように、ターゲットにはグラフィカルな付加情報を必要とする。多くの付加情報によって表示に支障が生じてしまうような場合、例えば文字列の選択、には、この方法は有効とはいえない。
【０００３】
他の代替は、ユーザの指の下に現在あるものを見せる拡大レンズの形態におけるオフセットカーソルおよび他の領域への表示を含む。選択は、通常、指を持ち上げることによって行われる。これは、一般的にはタッチディスプレイにおけるエラー率を、具体的には小さなターゲットを取得する場合のエラー率を相当に低減する。しかしながら、この場合に他の領域への表示を利用することはあまり効率的ではない。
また、所望のターゲットに選択用カーソルを配置するためのカーソルキーも使用されている。これは確実に叩ける程度の大きさの仮想キー、マウス、仮想トラックパッドなど、多様な方法で実現することができる。しかし、こうしたカーソルキーの表示で空間を使ってしまうことは、特にスペースの限られた携帯デバイスで実行性のあるものとはいえない。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ペア−アンダース アルビッションら（Par-Anders Albinsson et al)、「高精密タッチスクリーンインタラクション（High precision touch screen interaction）」、２００３年コンピュータシステムにおける人の要因に関するSIGCHI会議予稿集（Proceedings of the SIGCHI conference on Human factors in computing systems）、エイシーエム（ACM）、米国、２００３年４月５日、第５巻、第１号、第105−112頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチディスプレイパネルを有する表示入力装置において、指先による画面遮蔽の問題を改善するための既存の操作手法は、タッチパネルを利用する利点である、直接的なオブジェクトの操作感を損ねていた。
【課題を解決するための手段】
【０００６】
この課題を解決するため、本発明の表示入力装置とそのためのコンピュータプログラムは以下の特徴を有する。
本発明の第１の態様である表示入力装置は、複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、前記検出部からの前記接触信号に基づく入力を受信する入力部と、前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備え、前記表示制御部が、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示することを特徴とする。
さらに、第２の態様において、前記表示制御部は、前記入力部から得られた前記表示部上での同時に接触が検出されている位置情報に基づいて前記接触範囲を定めることを特徴とする。
更に第３の態様において、前記表示制御部は、前記接触範囲を楕円形状の空白として表示することを特徴とする。
更に第４の態様において、前記複数のオブジェクトは複数の文字列が行を構成するテキスト情報を含み、前記表示制御部は、前記接触オブジェクトが前記複数の文字列の少なくとも一つであるときに、前記接触オブジェクトの移動方向を前記行の方向とするとともに、前記行内に含まれる文字列のうち少なくとも前記接触オブジェクトの移動方向に存在する文字列全体を前記移動方向に移動させて表示させることを特徴とする。
更に第５の態様は、前記接触オブジェクトの処理単位が単語であることを特徴とする。
更に第６の態様は、前記複数のオブジェクトが一つの図形を構成する複数の図形情報を含み、前記表示制御部は、前記接触オブジェクトが前記図形情報の少なくとも１つであるときに、前記接触オブジェクトの前記接触外への移動に伴い、一つの図形を構成する前記複数の図形情報のうち少なくとも前記隣接オブジェクトにあたる図形情報を前記接触オブジェクトの移動方向に応じて画像を歪ませた状態で移動し表示させることを特徴とする。
更に、第７の態様は、前記表示制御部は、前記接触範囲の移動に伴い、前記複数のオブジェクトの表示を同時に変更することを特徴とする。
更に、第８の態様は、前記表示制御部は、前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に、位置指定子を表示させることを特徴とする。
更に、第９の態様は、前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に存在する前記複数のオブジェクトの少なくとも一つを利用した処理を行う処理手段を更に備えることを特徴とする。
本発明の第１０の態様であるコンピュータプログラムは、複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、前記検出部からの前記接触信号に基づく入力を受信する入力部と、前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備える表示入力装置を制御するためのコンピュータプログラムであって、コンピュータに、前記表示制御部により、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示させるためのプログラムである。
【発明の効果】
【０００７】
タッチスクリーンを備えるデバイスでの直接的なオブジェクトの操作感を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に関わる一実施形態のディスプレイ表示の一例を示すものである。
【図２】本発明の一実施形態の一例のハードウェアの機能構成例を示すものである。
【図３】本発明のシステムを構成することができるコンピュータプラットフォームの一例を示すものである。
【発明を実施するための形態】
【０００９】
以下の詳細な説明において、対応する図面中の符号は、同じ機能要素については同様の番号を付してある。これらの図面は例示であって、その手法を限定するものではなく、個々の実施形態と適用例は今回の発明の原理を示すためのものである。これらの適用例は当業者が実施可能な程度に十分な詳細が記載されており、他の適用例への適用、構成の変更や各構成要素の変更および／または置き換えが、本発明の範囲および思想から逸脱することなく適用できることは理解されるだろう。従って、以下の詳細な説明は限定的に解釈されるものではない。加えて、記述される多様な実施形態は、一般用のコンピュータ上で動作するソフトウェアの形態、専用のハードウェアから成る形態、あるいはソフトウェアとハードウェアとの組み合わせにより実現されてよい。
本発明において提示する新たな方法は、指が接触した点の付近のディスプレイ領域中で、表示されるコンテント中に情報が表示されない領域（穴）が形成されるものである。コンテンツは情報が表示されない領域（穴）の両脇にコンテントが押し出され、その結果指で接触した後も見え続ける。これにより素材が完全に遮蔽されることは避けられる。
本発明について、ここでは示す形態では西洋式の記述方式（横書き、行内では左から右、行は上から下）に従って、文字列挿入や文字列選択のタスクの実施形態を示す。この形態を他の記述形式（たとえば、縦書き、行内では上から下、行は右から左など）に対してもそのまま適用することができる。従って、本発明の思想の範囲にわたって、この実施形態を一般化し、他の用途にも利用することができる。つまり、本発明は開示した例にのみ限定されるものではない。さらに、ここで説明する実施形態は文字列選択、文字列挿入の簡単な場合であり、記述の単位は文字ではなく単語としている。しかし、ここでの記述は、文字やコンピュータデバイスが認識しディスプレイで表現できる他のシンボルであってもよい。
この実施形態では、ユーザはすでに文字列挿入あるいはテキストマークモードにあるとする。ユーザのモードの選択は本発明とは直接的には関係しない。モード変更の仕方としてはいくつもの方法があり、テキストディスプレイをタップおよび保持する、あるいはディスプレイのモード変更領域をなぞるなどがある。
テキスト挿入モードでは、本実施形態ではタッチディスプレイ上のユーザの指の位置を追跡する。指の位置を、水平方向を主軸、垂直方法を副軸とする楕円の中心とする。楕円のサイズは調整可能であり、ユーザの指によるタッチディスプレイの遮蔽領域を大まかに個人別に設定できるようにしてもよい。
他の形状もまた利用可能であるが、最良の実施形態としてここでは楕円形状を用いて説明をする。なお、形状は閲覧方向（ディスプレイの位置と利き手の選択に基づいて）、指の傾斜など要因に応じて補正するようにパラメータ化しておくこともできる。
本発明の一実施形態に関わるメカニズムにおいて、テキスト行に交わる形状に基づいて、主軸の交差点を計算する。西洋式の記述方式（横書き）で記載されたドキュメントの場合、楕円形状がディスプレイの水平および垂直方向に沿っているとした場合、主軸はこの楕円の副軸（垂直）である。
各交差点において、このメカニズムでは単語の中心と交差点との水平距離が最小となるように、単語を見つける。この単語をここではｗとする。まず、ｗの中心が交差点の左にあるとする。ｖがその行で右隣にあるとする（なお、ｗの右隣に文字が無い場合はｖは空となる）。このメカニズムは、ｗとその左にあるすべての単語を、ｗが楕円と交わらないようになるまで、左側に押し出す。さらに、このメカニズムはｖとｖの右側にあるすべての単語を、ｖが楕円と交差しなくなるまで右側に押し出す。これを単語の分割とここでは呼ぶことにする。もしｗの中心が交差点の右側だと、単純にｖをｗとして、ｗをｖの左隣とするだけである。
本形態のメカニズムでは、接触点のテキスト中に楕円の穴を作る。この穴は、ユーザがディスプレイ上で指をなぞらせるのに伴って、ユーザの指先を追跡する。すべての単語が楕円形状の外側に表示されるので、遮蔽されてしまう単語が無くなる。指がディスプレイを離れたとき、本形態のメカニズムは、単語を押し戻して、本来の位置を復元する。このプロセスはアニメーション表示することができる。
図１は、本実施形態において、テキスト表示のときにどのように処理がなされるかを説明するものである。
本形態のメカニズムは、交差点とオリジナルの単語位置に基づいて単語の中心を決定する。（単語分割が進行しているときの位置ではない。）こうすることで、単語分割の両脇にすべての単語を表示することができる。いかなる単語の中心であってもその中心の左および右への点が存在するからである。（なお、各単語は少なくとも３画素の幅をもち、単語が表示されるすべての画素に接触できると仮定している。）
テキスト分割子は二つの単語間の位置を示す。テキスト挿入点あるいはテキスト位置マーキング点は指が離れたときの接触点への最小垂直距離での分割子である。本実施形態においては、テキスト挿入点が存在する行１０１を、行の背景色を変更するか、行自体、あるいは他の方法で、強調表示するように構成されている。ゾーンが形成されたときに、主軸と副軸を示す表示を行ってもよい。穴１０２は、ユーザの指が接触したディスプレイ上に形成される。右側にある表示１０３は、指を離したあとに本形態のメカニズムがどのようにテキスト境界で作用するかを示すものである。
なお、行の選択では、受け取った接触中心に対して現実の選択とのずれが生じる場合には補正を行って調整することができ、例えば、接触点の最も近い行に適当なオフセットを設定して行を選択するようにしてもよい。
前述の場合に、挿入あるいはマーカポイントは単語の境界、例えば単語間、のテキスト上に配置される。この手法は、文字単位の分割にも拡張することができ、指先の粒度の挿入とマーキングを可能とする。テキストの範囲選択は、上述の方法で、最初に始点を選択し、次に終点を選択することで実行することができる。
もしタッチスクリーンデバイスが、加速度計、コンパス、傾斜センサといった、付加的なセンサを持つ場合には、単語の選択は一回の単語分割で行うこともできる。例えば、上述の方法でテキストの選択開始点を決定した後、ユーザはデバイス全体を選択したい方向に傾斜させる。
なお、本メカニズムは、例えば、地図上の中継地点や都市といった、適当な選択対象を単語と同じように取り扱うことで、他のアプリケーションにも適用することができる。一例として、地図を格子上に沿わせて、ユーザの指がある箇所に穴が開くように地図を歪ませることで、地図を分割することができる。例えば非英語文字、通貨記号といった、他の記号単位に適用することもできる。
図２は、本発明の一実施形態である、ハードウェア装置の機能構成図の一例を示す。
ユーザがタッチディスプレイ２００に接触すると、検知ユニット２０１（タッチスクリーン入力インターフェース）がタッチディスプレイの接触に基づく入力を受信する。検知ユニットは指令をＲＡＭ２０３と他のＩ／Ｏ２０４を備える処理ユニット２０２に伝送する。処理ユニットは接触入力に基づく処理を行い、ディスプレイへの表示を行わせるディスプレイコントローラ２０５に指令を伝送する。本発明においては、ユーザが接触した箇所に穴が開いた表示を行うとともに、カーソルが現在位置している行を示すために行を強調表示する指令が送られる。
【００１０】
図３は、本発明の実施形態に関わるコンピュータ／サーバーシステム３００の実現例を例示したものである。このシステム３００は、コンピュータ／サーバプラットフォーム３０１、周辺装置３０２とネットワークリソース３０３を含んで構成される。
【００１１】
コンピュータプラットフォーム３０１は、情報をコンピュータプラットフォーム３０１内の多様なモジュールとの間で通信するためのデータバス３０４あるいは他の通信機構を有している。そして、プロセッサ（ＣＰＵ）３０５は、情報処理や他の計算および制御処理を行うために、バス３０４と接続されている。コンピュータプラットフォーム３０１ではさらに、多様な情報やプロセッサ３０５で処理される命令を記憶する、ランダムアクセスメモリ（RAM）や他の動的記憶装置のような揮発性記憶領域３０６がバス３０４に接続されている。揮発性記憶領域３０６はプロセッサ３０５の処理において一時的な変数や中間情報を記憶するのに用いられてもよい。コンピュータプラットフォーム３０１は、統計情報や、基本入出力システム（BIOS）のような、プロセッサ３０５の命令や、様々なシステムのパラメータを記憶するために、バス３０４に接続されたリードオンリーメモリ（ROM）や他の静的記憶装置を備えても良い。
【００１２】
コンピュータプラットフォーム３０１には、システム管理者あるいはユーザに情報を提示するために、CRT、プラズマディスプレイ、ＥＬディスプレイあるいは液晶ディスプレイなどのディスプレイ３０９が、バス３０４を介して接続されている。入力装置（キーボード）３１０はアルファベットと他のキーを備えており、プロセッサ３０５との通信や指示のためにバス３０４に接続されている。他のユーザ用入力装置としては、方向に関する情報を通信し、ディスプレイ３０９上でのカーソルの動きを制御するマウス、トラックボールあるいはカーソル方向キーのようなカーソル制御装置３１１がある。この入力装置は通常２軸での自由度をもっており、第１の軸（例えばｘ）および第２の軸（例えばｙ）を持つことで平面上での位置をそのデバイスで特定できることとなる。
【００１３】
外部記憶装置３１２を、拡張あるいは取り外し可能な記憶容量をコンピュータプラットフォーム３０１に提供するために、バス３０４を介してコンピュータプラットフォーム３０１に接続してもよい。コンピュータシステム３００の一例では、外付けのリムーバブルメモリ（外部記憶装置３１２）が他のコンピュータシステムとのデータ交換を容易にするために、使用されてもよい。
【００１４】
本発明は、ここに記述された技術を実現するためのコンピュータシステム３００の使い方に関連するものである。実施形態として、コンピュータプラットフォーム３０１のような機械上に、本発明に関するシステムを搭載する。本発明の一形態としては、ここで記載された技術を、揮発性メモリ（記憶領域）３０６中の１以上の命令による１以上の処理をプロセッサ３０５に処理させることで実現させる。こうした命令は不揮発性記憶領域３０８のような他のコンピュータ読取可能な媒体から、揮発性メモリ３０６に読み出してもよい。揮発性メモリ３０６中に保持された一連の命令をプロセッサ３０５に実行させることで、ここに述べた処理ステップを実現させる。他の形態としては、ハードウェアの電子回路を、発明を実現するソフトウェアと、一部置き換え、あるいは、組み合わせてもよい。なお、本発明は特定のスペックを有するハードウェアやソフトウェアの組み合わせに限定されるものではない。
【００１５】
ここで、コンピュータ可読媒体とは、プロセッサ３０５が実行するための命令を提供するのに用いられるあらゆる媒体を指す。コンピュータ可読媒体は機械読取可能媒体の一例であり、ここで述べた、いかなる方法もしくは技術を実現するための命令を保持することができるものである。このような媒体は多様な形態をとり、不揮発性媒体、揮発性媒体、そして通信媒体といったものに限られない。不揮発性媒体としては、例えば、記憶装置（不揮発性記憶領域３０８）のような、光、磁気ディスクが含まれる。揮発性媒体としては、例えば揮発性記憶装置（領域）３０６のような動的メモリを含む。通信媒体は、データバス３０４のような配線を含む同軸ケーブル、銅線、光ファイバーなどであってよい。通信媒体は、電磁波や赤外光データ通信のような、音波や光を利用したものも含む。
【００１６】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープあるいは他の磁気媒体、CD-ROMあるいは他の光記憶媒体、パンチカード、紙テープなどの穴の配置を用いる媒体、RAM、ROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリーカードなどのメモリチップやカートリッジ、通信波、あるいはコンピュータが読むことができる他の媒体、といった通常のコンピュータ可読媒体を含む。
【００１７】
さまざまな形態のコンピュータ可読媒体が、プロセッサ３０５で処理される１以上の処理を実行させるために用いることができる。例えば、その命令が最初はリモートコンピュータから磁気ディスクに保持されてもよい。あるいは、リモートコンピュータがその命令を動的記憶装置にロードして、モデムを用いた電話回線を通じて該命令を送信してもよい。コンピュータシステム３００に接続されたモデムは、電話回線を通じてデータを受け取るともに、データを赤外線信号に変換して赤外線として伝送するようにしてもよい。赤外線検出装置は、赤外線信号に重畳されたデータを受信し、適当な回路がそのデータをデータバス３０４に伝送する。バス３０４は揮発性記憶領域３０６にデータを伝送し、プロセッサ３０５がその命令を参照して実行できる状態におく。揮発性メモリ（揮発性記憶領域３０６）から受け取った命令はプロセッサ３０５により処理される前あるいは後に不揮発性記憶装置（領域）３０８に保存されるようにしてもよい。命令は、周知のネットワークデータ通信プロトコルのいずれかで、インターネットを介してコンピュータプラットフォーム３０１にダウンロードするようにしてもよい。
【００１８】
コンピュータプラットフォーム３０１は、データバス３０４に結合したネットワークインターフェースカード３１３のような通信インターフェースも有する。通信インターフェース３１３はローカルエリアネットワーク３１５に接続されたネットワークリンク３１４に接続し、双方向のデータ通信が可能とされる。例えば、通信インターフェース３１３はＩＳＤＮカードやモデムと一体化され、対応する電話回線でのデータ通信を行わせるようにしてもよい。他の例としては、LANや802.11a, 802.11b, 802.11g として周知の無線LANリンクに適合したデータ通信接続を行うローカルエリアネットワークインターフェースカード（LAN NIC）としたり、Bluetooth(登録商標)を用いて実現してもよい。いずれの場合でも、通信インターフェース３１３は、様々なタイプの情報を表すデジタルデータ列を伝送する、電気、電磁、あるいは光信号を送受信する。
【００１９】
ネットワークリンク３１４は、１以上の他のネットワークとデータ通信を通常可能とする。例えば、ネットワークリンク３１４は、ローカルエリアネットワーク３１５を介して、ホストコンピュータ３１６やネットワークストレージやサーバー３２２への接続を提供する。加えて、あるいは代替として、ネットワークリンク３１４は、インターネットのような、広域あるいはグローバルネットワーク３１８にゲートウェイ／ファイアウォール３１７を通じて接続する。そしてコンピュータプラットフォーム３０１はインターネット３１８上のどこかにある、例えばリモートネットワークストレージ／サーバーといった、ネットワークリソースにもアクセスすることが可能となる。一方、コンピュータプラットフォーム３０１は、ローカルエリアネットワーク３１５および／またはインターネット３１８上のいかなる位置にいるクライアントからもアクセスできるようにしてもよい。ネットワーククライアント３２０および３２１は、プラットフォーム３０１と同様のコンピュータプラットフォームに基づいて構築しても良い。
【００２０】
ローカルエリアネットワーク３１５とインターネット３１８は、共に電気、電磁、あるいは光信号を、データ信号列を伝播するのに用いる。なお、デジタルデータをコンピュータプラットフォーム３０１に入出させる、多様なネットワークを通じた信号、ネットワークリンク３１４上や、通信インターフェース３１３を介した信号は情報伝送の伝送波の例示的な形態である。
【００２１】
コンピュータプラットフォーム３０１は、メッセージの送信、プログラムコードを含むデータの受信を、インターネット３１８およびLAN３１５を含む多様なネットワーク、ネットワークリンク３１４および通信インターフェース３１３を介して行うことができる。インターネットの例では、コンピュータプラットフォーム３０１はネットワークサーバとして機能し、クライアント３２０および／または３２１で実行されるアプリケーションプログラム用の、リクエストコードやデータを、インターネット３１８、ゲートウェイ／ファイアウォール３１７、ローカルエリアネットワーク３１５および通信インターフェース３１３を介して伝送する。同様に、他のネットワークリソースからコードを受信してもよい。
【００２２】
受信したコードはプロセッサ３０５によって受信時に実行されるか、不揮発記憶装置（領域）３０８あるいは揮発記憶装置（領域）３０６に保存する、あるいは他の不揮発性記憶領域に記憶して、後で実行してもよい。このようにしてコンピュータ（プラットフォーム）３０１は伝送波からアプリケーションコードを取得できる。
【００２３】
最後に、ここに記載した方法や技法は、特定の装置固有に成り立つものでなく、いかなる適当な構成要素の組み合わせによっても実現できることを理解されたい。また、この開示の示唆に従って、多様な一般用途の装置を用いてもよい。またここで開示した手法を実現する専用の装置を作成することも有効である。この発明は特定の例示に基づいて記述されているが、それらは全て限定的にするためではなく、例示するためのものである。当業者であれば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが本発明を実施するのに適当であることは理解されうることであろう。例えば、ソフトウェアの記述は、アセンブラ, C/C++, pearl, shell, PHP, Java（登録商標）といった多様なプログラムあるいはスクリプト言語を用いて実現できる。
【００２４】
さらに、当業者であればここに開示された本発明の明細書および実施例に基づいて、本発明の他の改良もまた明らかであろう。実施形態に記述された多様な観点や構成は、このコンピュータにより実現される画像検索システムを単独もしくは組み合わることにより利用することができる。明細書と実施例は例示的なものと解釈され、真の発明の示す範囲と思想はクレームにより示されるものである。
【符号の説明】
【００２５】
１０１ カーソルが存在する行
１０２ 穴
【特許請求の範囲】
【請求項１】
複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、
前記検出部からの前記接触信号に基づく入力を受信する入力部と、
前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備え、
前記表示制御部が、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示することを特徴とする表示入力装置。
【請求項２】
前記表示制御部は、前記入力部から得られた前記表示部上で同時に接触が検出されている位置情報に基づいて前記接触範囲を定めることを特徴とする請求項１記載の表示入力装置。
【請求項３】
前記表示制御部は、前記接触範囲を楕円形状の空白として表示することを特徴とする請求項２記載の表示入力装置。
【請求項４】
前記複数のオブジェクトが複数の文字列が行を構成するテキスト情報を含み、
前記表示制御部は、前記接触オブジェクトが前記複数の文字列の少なくとも一つであるときに、前記接触オブジェクトの移動方向を前記行の方向とするとともに、前記行内に含まれる文字列のうち少なくとも前記接触オブジェクトの移動方向に存在する文字列全体を前記移動方向に移動させて表示させることを特徴とする請求項１〜３のいずれかに記載の表示入力装置。
【請求項５】
前記接触オブジェクトの処理単位が単語であることを特徴とする請求項４記載の表示入力装置。
【請求項６】
前記複数のオブジェクトが一つの図形を構成する複数の図形情報を含み、
前記表示制御部は、前記接触オブジェクトが前記図形情報の少なくとも１つであるときに、前記接触オブジェクトの前記接触外への移動に伴い、一つの図形を構成する前記複数の図形情報のうち少なくとも前記隣接オブジェクトにあたる図形情報を前記接触オブジェクトの移動方向に応じて画像を歪ませた状態で移動し表示させることを特徴とする請求項１〜３のいずれかに記載の表示入力装置。
【請求項７】
前記表示制御部は、前記接触範囲の移動に伴い、前記複数のオブジェクトの表示を同時に変更することを特徴とする請求項１〜６のいずれかに記載の表示入力装置。
【請求項８】
前記表示制御部は、前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に、位置指定子を表示させることを特徴とする請求項１〜７のいずれかに記載の表示入力装置。
【請求項９】
前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に存在する前記複数のオブジェクトの少なくとも一つを利用した処理を行う処理手段を更に備えることを特徴とする請求項１〜８のいずれかに記載の表示入力装置。
【請求項１０】
複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、前記検出部からの前記接触信号に基づく入力を受信する入力部と、前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備える表示入力装置を制御するためのコンピュータプログラムであって、コンピュータに、
前記表示制御部により、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示させるためのプログラム。
【請求項１】
複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、
前記検出部からの前記接触信号に基づく入力を受信する入力部と、
前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備え、
前記表示制御部が、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示することを特徴とする表示入力装置。
【請求項２】
前記表示制御部は、前記入力部から得られた前記表示部上で同時に接触が検出されている位置情報に基づいて前記接触範囲を定めることを特徴とする請求項１記載の表示入力装置。
【請求項３】
前記表示制御部は、前記接触範囲を楕円形状の空白として表示することを特徴とする請求項２記載の表示入力装置。
【請求項４】
前記複数のオブジェクトが複数の文字列が行を構成するテキスト情報を含み、
前記表示制御部は、前記接触オブジェクトが前記複数の文字列の少なくとも一つであるときに、前記接触オブジェクトの移動方向を前記行の方向とするとともに、前記行内に含まれる文字列のうち少なくとも前記接触オブジェクトの移動方向に存在する文字列全体を前記移動方向に移動させて表示させることを特徴とする請求項１〜３のいずれかに記載の表示入力装置。
【請求項５】
前記接触オブジェクトの処理単位が単語であることを特徴とする請求項４記載の表示入力装置。
【請求項６】
前記複数のオブジェクトが一つの図形を構成する複数の図形情報を含み、
前記表示制御部は、前記接触オブジェクトが前記図形情報の少なくとも１つであるときに、前記接触オブジェクトの前記接触外への移動に伴い、一つの図形を構成する前記複数の図形情報のうち少なくとも前記隣接オブジェクトにあたる図形情報を前記接触オブジェクトの移動方向に応じて画像を歪ませた状態で移動し表示させることを特徴とする請求項１〜３のいずれかに記載の表示入力装置。
【請求項７】
前記表示制御部は、前記接触範囲の移動に伴い、前記複数のオブジェクトの表示を同時に変更することを特徴とする請求項１〜６のいずれかに記載の表示入力装置。
【請求項８】
前記表示制御部は、前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に、位置指定子を表示させることを特徴とする請求項１〜７のいずれかに記載の表示入力装置。
【請求項９】
前記入力部による接触の検出後に前記入力部による接触の検出がされなくなった位置近傍に存在する前記複数のオブジェクトの少なくとも一つを利用した処理を行う処理手段を更に備えることを特徴とする請求項１〜８のいずれかに記載の表示入力装置。
【請求項１０】
複数のオブジェクトを含む情報を表示する表示部と前記表示部の接触位置に応じた接触信号を出力する検出部とを備えるタッチディスプレイパネルと、前記検出部からの前記接触信号に基づく入力を受信する入力部と、前記表示部に情報を表示するとともに、表示された前記情報と前記入力部で受信された接触信号の前記接触位置とに基づいて、前記表示部に表示する情報の制御を行う表示制御部とを備える表示入力装置を制御するためのコンピュータプログラムであって、コンピュータに、
前記表示制御部により、前記表示部上での接触を検出しているときに、接触が検出された接触範囲に存在する前記複数のオブジェクトの中の少なくとも一つである接触オブジェクトを前記接触範囲外に移動して表示させるとともに、前記接触オブジェクトに隣接する少なくとも一つの前記複数のオブジェクトである隣接オブジェクトを、前記接触オブジェクトの移動により押し出される方向に移動させて表示させるためのプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−４００３５（Ｐ２０１１−４００３５Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２０１０−５７４２４（Ｐ２０１０−５７４２４）
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]