説明

情報処理装置、情報処理方法、およびそのプログラム

【課題】 複数個所のタッチを同時検出可能なタッチパネル表示部を用いて、コピーすべき情報を識別して記憶でき、任意の順序で読みだして貼り付けることが可能な仕組みを提供する。
【解決手段】
多点入力が可能なマルチタッチ表示部で、コピー情報を指示する指のタッチとは別の指のタッチ位置に従って、コピー情報を識別する識別情報を対応づけてクリップボードに保存しておく。そして、ペースト指示された場合に、編集位置を示す指のタッチとは別の指のタッチ位置に対応する識別情報で記憶されているコピー情報を読み出して貼り付ける。

【発明の詳細な説明】
【技術分野】
【0001】
情報処理装置、情報処理方法、およびそのプログラムに関し、特に、複数個所のタッチが可能なタッチパネル表示部を有するユーザインタフェース操作を行う情報処理装置、情報処理方法、およびそのプログラムに関する。
【背景技術】
【0002】
近年、タッチパネル液晶上に文書等を表示し編集を行うことのできる機器およびシステムが多く販売されるようになってきている。このような機器では、タッチパネルに多彩でユーザフレンドリーな操作メニューを表示する、いわゆるリッチコンテンツ化されたユーザインターフェイス(以下、UIという)が考えられている。
【0003】
このようなUIでは、物理的なキーボードがなく、小さい画面にソフトウェアキーボードを表示して操作しづらいため、いかに直感的なタッチパネルの操作で作業を行わせるかが重要となってきている。
【0004】
特に、文書を表示して、一部分をコピーし、別の文書にコピーした部分を貼り付ける(ペーストする)作業(コピー&ペーストと呼ばれる)は多く行われる。そのため、このコピー&ペーストの作業を直感的な操作で実現することで作業を効率化するための仕組み(例えば、特許文献1、特許文献2および特許文献3)が考えられている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002−304256号公報
【特許文献2】特開2010−055207号公報
【特許文献3】特開2010−176568号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1には、人差し指と親指で文字列をつまみ、貼り付けたいところまでドラッグして離すことで、コピーまたは移動を行う仕組みが開示されている。
【0007】
特許文献2には、左手で「コピー」を押下しながら、右手で入力ボックス33の文字を「なぞる」ことで、なぞった文字をコピーすることができる仕組みが開示されている。
【0008】
また、特許文献3には、タッチパネル400の入力検出面への人差し指300による第1のタッチ動作によりタッチされた状態で、親指301による第2のタッチ動作を検出した場合、人差し指によるタッチで選択された情報を親指によりタッチ動作が検出された指示部に貼り付ける仕組みが開示されている。
【0009】
しかしながら、特許文献1および特許文献2は、1つの情報についてのコピー&ペーストの操作を簡便にすることは考えられているが、複数の情報をコピーし、必要な情報を必要な場所にペーストする場合の操作については考慮されていない。
【0010】
例えば、文書Aのうち、3ヶ所に分かれた情報を、文書Bの別々の場所に貼り付けたい場合、文書Aの1ヶ所目をコピーし、文書Bに画面を移して場所を指定して貼り付ける。次に2ヶ所目、3ヶ所目とそれぞれ文書を切り替えながら、コピーと貼り付け操作を行わなければならない。パーソナルコンピュータのようにキーボードやマウスで操作が行えるのであれば、このような作業を繰り返すことに苦労はない。しかしながら、タッチパネル上で指のタッチだけで操作する場合、文書の表示を切り替えて、コピー&ペースト作業を繰り返すことは、操作性が悪いため効率が悪くなってしまう。
【0011】
また、複数個所のコピーすべき情報をコピーしてしまうと、最初にコピーされた情報が上書きされてしまうという問題もある。また、コピーされた情報をメモリにスタックしておくことができる仕組みも考えられるが、その場合、スタックした順番を自分で覚えておかなければならず、忘れてしまうと貼り付ける順序を誤り、違う場所にペーストしてしまう。
【0012】
また、その他の解決策として、ペースト時にコピーしている情報の一覧を表示するという手法も考えられる。これは確かに1つの解決策ではあるが、一覧を表示することになるため、コピーした対象の情報が多くなると、リストも多く表示しなければならず、スマートフォンのような携帯端末は画面が小さいため、リストを表示しきれなくなるという問題がでてくる。特に、先にコピーした情報はリストの下位に位置されてしまうため、小さい画面では、一覧が表示しきれなくなり、選択できなくなったり、選択できたとしても一覧部分のページめくりをしなければならなくなり、操作性が悪くなるという問題がある。
【0013】
そこで、本発明は、複数個所のタッチを同時検出可能なタッチパネル表示部を用いて、コピーすべき情報を識別して記憶でき、任意の順序で読みだして貼り付けることが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【0014】
本願発明は、多点入力が可能なマルチタッチ表示部を搭載した情報処理装置であって、マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、前記取得手段によるタッチ位置の位置情報に従って、コピー情報を識別する識別情報が対応づけられたホールド領域が押下された状態で、コピー情報となるデータの位置、またはコピー情報をペーストする位置でタッチされたかを検出する検出手段と、前記検出手段により、前記ホールド領域がタッチされている状態で、コピー情報となるデータの位置でのタッチされたことを検出し、コピー指示がなされると、前記コピー情報となるデータを、前記タッチされているホールド領域に対応づけられた識別情報とともに、クリップボードに記憶するコピー情報記憶手段と、前記検出手段により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を読み出して前記ペーストする位置に貼り付けて表示する表示処理手段とを有することを特徴とする。
【0015】
また、前記表示処理手段は、前記検出手段により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を先に読み出して、ペーストするコピー情報を選択するための一覧を表示する一覧表示手段を更に有することを特徴とする。
【0016】
また、重力方向を検出することにより、本情報処理装置の向きが縦向きであるか横向きであるかを判定する判定手段と、前記判定手段により縦向きであると判定された場合に、前記マルチタッチ表示部に表示内容を縦向きのレイアウトで表示し、前記判定手段により横向きであると判定された場合に、前記マルチタッチ表示部に表示内容を横向きのレイアウトで表示する表示向き回転手段とを更に有することを特徴とする。
【0017】
また、前記識別情報と、当該識別情報に対応する前記ホールド領域との組を、本情報処理装置の向きが縦向きの場合と横向きの場合でそれぞれ記憶するホールド情報記憶手段を更に有し、前記回転手段により前記マルチタッチ表示部に縦向きのレイアウトで表示される場合には、前記コピー情報記憶手段は、前記ホールド情報記憶手段に記憶されている縦向きの場合の識別情報をコピー情報に付与し、一方、前記回転手段により前記マルチタッチ表示部に横向きのレイアウトで表示される場合には、前記コピー情報記憶手段は、前記ホールド情報記憶手段に記憶されている横向きの場合の識別情報をコピー情報に付与することを特徴とする。
【0018】
本発明は、多点入力が可能なマルチタッチ表示部を搭載した情報処理装置における情報処理方法であって、前記情報処理装置の取得手段が、マルチタッチ表示部のタッチ位置の位置情報を取得する取得工程と、前記情報処理装置の検出手段が、前記取得工程によるタッチ位置の位置情報に従って、コピー情報を識別する識別情報が対応づけられたホールド領域が押下された状態で、コピー情報となるデータの位置、またはコピー情報をペーストする位置でタッチされたかを検出する検出工程と、前記情報処理装置のコピー情報記憶手段が、前記検出工程により、前記ホールド領域がタッチされている状態で、コピー情報となるデータの位置でのタッチされたことを検出し、コピー指示がなされると、前記コピー情報となるデータを、前記タッチされているホールド領域に対応づけられた識別情報とともに、クリップボードに記憶するコピー情報記憶工程と、前記情報処理装置の表示処理手段が、前記検出工程により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を読み出して前記ペーストする位置に貼り付けて表示する表示処理工程とを含むことを特徴とする。
【0019】
本発明は、多点入力が可能なマルチタッチ表示部を搭載した情報処理装置で読み取り実行されるプログラムであって、前記情報処理装置を、マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、前記取得手段によるタッチ位置の位置情報に従って、コピー情報を識別する識別情報が対応づけられたホールド領域が押下された状態で、コピー情報となるデータの位置、またはコピー情報をペーストする位置でタッチされたかを検出する検出手段と、前記検出手段により、前記ホールド領域がタッチされている状態で、コピー情報となるデータの位置でのタッチされたことを検出し、コピー指示がなされると、前記コピー情報となるデータを、前記タッチされているホールド領域に対応づけられた識別情報とともに、クリップボードに記憶するコピー情報記憶手段と、前記検出手段により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を読み出して前記ペーストする位置に貼り付けて表示する表示処理手段として機能させることを特徴とする。
【発明の効果】
【0020】
本願発明によれば、複数個所のタッチを同時検出可能なタッチパネル表示部を用いて、コピーすべき情報を識別して記憶でき、任意の順序で読みだして貼り付けることが可能となる。
【図面の簡単な説明】
【0021】
【図1】本発明に係る情報処理装置の外観の一例を示す外観図である。
【図2】情報処理装置100のハードウェア構成の一例を示すブロック図である。
【図3】情報処理装置100の機能構成の一例を示す機能構成図である。
【図4】本発明の実施の形態のコピー操作の概念図である。
【図5】本発明の実施の形態のペースト操作の概要図である。
【図6】本発明の情報処理装置のホールドエリアに関する図である。
【図7】本発明の情報処理装置のクリップボード情報テーブルを表す構成図である。
【図8】本発明のクリップボード用共有メモリの構成図である。
【図9】本発明の情報処理装置の向きを変えたときのホールドエリア(ホールド領域)に関する図である。
【図10】本発明の実施の形態における情報処理装置の向きを変えたときのペースト操作の概念図である。
【図11】本発明の主要操作が行われたときの制御の一例を示すフローチャートである。
【図12】本発明のタップ確定判定処理の一例を示すフローチャートである。
【図13】本発明のコピー処理の一例を示すフローチャートである。
【図14】本発明の第一のペースト処理の一例を示すフローチャートである。
【図15】本発明の第二のペースト処理の一例を示すフローチャートである。
【図16】本発明の実施の形態のペースト操作時にリストを表示する処理の概要図である。
【図17】本発明のホールド判定処理の一例を示すフローチャートである。
【図18】ホールド識別情報とホールド領域を定義しているホールド領域情報の一例を示す図である。
【図19】本発明のコピー情報検索処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、添付図面を参照しながら、本発明に係る情報処理装置の実施形態について詳細に説明する。
【0023】
図1は、本発明に係る情報処理装置の外観の一例を示す外観図である。本発明の情報処理装置100は、例えば、携帯情報端末(PDA)や、スマートフォンのように、タッチパネル機能を持つ表示部101と、ボタン102を備えている。表示部101は、液晶パネルのような表示制御部と、タッチパッドのような位置入力制御部とを組み合わせた電子部品であり、タッチパネルとも呼ばれる。
【0024】
表示部101のタッチパネルは、指先と電導膜との間での静電容量の変化をとらえて位置を検出する静電容量方式の投影型であり、複数の位置検出が可能なマルチタッチ機能を備えているマルチタッチスクリーンである。なお、2本の指の位置検出ができるマルチタッチ機能は、既知の技術であるため詳細な説明は省略する。
【0025】
ボタン102は、情報処理装置で実行されているアプリケーションプログラム(以下、単にアプリケーションと呼ぶ)を終了させるためのボタンである。なお、アプリケーショの起動は、表示部101のタッチパネル機能を用いて、画面に表示されるアプリケーションのアイコンをダブルクリック(2度続けて触る)ことにより実行される。
情報処理装置100は、他にも通信機能等を備えていてもよいが、本発明とは直接関係がないため説明は省略する。
図2は、情報処理装置100のハードウェア構成を示す図である。
【0026】
図2に示すように、情報処理装置100では、システムバス207を介してCPU(Central Processing Unit)201、RAM(Random Access Memory)203、ROM(Read Only Memory)202、記憶装置204、入出力インタフェース205、マルチタッチスクリーン206が接続される。
CPU201は、システムバス207に接続される各デバイスやコントローラを統括的に制御する。
【0027】
ROM202あるいは記憶装置204は、CPU201が実行する制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ(データテーブルを含む)を保持している。
【0028】
RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは記憶装置204からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【0029】
入出力インタフェース205は、マルチタッチスクリーン206からの入力を制御する。マルチタッチスクリーンは、複数の指でタッチされた位置を検出することが可能なタッチパネルであり、前述したように、既知の技術を利用可能である。ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができる。
【0030】
なお、記憶装置204には、図4で後述するクリップボード情報、図7で後述するクリップボード情報テーブル、および、図18で後述するホールド領域情報が格納されており、かつ、図8で後述するクリップボード用共有メモリの領域も備えている。なお、クリップボード情報(図4)は、RAM203に一時的に保存するように構成してもよい。
【0031】
なお、記憶装置204は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、SSD(Solid State Drive)などの媒体であってもよい。
図3は本発明の情報処理装置100が備える機能構成の一例を示す機能構成図である。
801は、入出力制御部であり、図2のマルチタッチスクリーン206と入出力インタフェース205により構成され、マルチタッチの検出機能を備えている。
【0032】
802は、入力操作識別部であり、本発明のプログラムを図2のCPU201が実行することにより実現される機能構成である。具体的には、入出力制御部801で検出された表示領域上の物理的な位置から、入力指示の内容を判断する。例えば、タッチされた部分にカーソルを移動させたり、ダブルタッチ(ダブルクリック)された場合に、その位置にあるアイコンに対応するアプリケーションを起動させたりする必要があることを判断する。また、マルチタッチの場合には、マルチタッチされた場合に、それぞれどの位置がタッチされたのかにより、後述するマルチタッチのコピー&ペースト処理が必要であるかを判断する。
【0033】
803は、表示処理部であり、本発明のプログラムを図2のCPU201が実行して、マルチタッチスクリーン206に情報を表示するための機能を備えている。
【0034】
804は、オブジェクト処理部であり、本発明のプログラムを図2のCPU201が実行することにより、入力操作識別部802によって判断された処理を実行する。具体的には、アプリケーションを起動させたり、文字を入力したり、データファイルを記憶装置に保存させたり、ある範囲の文字列を選択させてコピー処理したり、あるいは指定された位置に対してクリップボードに記憶されているコピー情報をペースト処理したりする。
【0035】
805は、重力制御部であり、重力を検知することにより上下(天地)方向を求めることができ、求められた天地方向に従って、本情報処理装置の本体がどの方向を向いているのか、縦向きなのか、横向きなのかを判断することができる。そして、表示処理部803は、重力制御部805により判断された縦向きか横向きかにより、表示部101に表示される画面を回転させることができる。
次に図4を参照して、本発明のコピー操作処理について説明する。
【0036】
図4の左上図は、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域301にタッチしている状態で、別の指で文字列302をタッチすることにより選択する。すると、タッチにより選択された文字列の領域が選択状態の表示となり、編集バルーン304が表示される。
【0037】
選択状態の文字列302は、タッチされた位置の文字を含む単語が選択されるが、選択されるのは1文字であってもよい。どの単語まで選択するかは既知の技術として存在しており、本発明の主要部でないため詳細な説明は省略するが、一般的には、単語が登録されている辞書が記憶装置204に記憶されており、選択された文字の前後の文字が単語登録されているかを判断することにより文字列の長さを求めている。なお、ユーザが所望とする文字列範囲が選択されていない場合には、ユーザは選択領域の前後にある範囲選択指示部303をつまんでドラッグ操作することにより、文字列を選択する範囲を増やしたり減らしたりすることができる。
【0038】
編集バルーン304には、選択されている文字列をクリップボードにコピーするための「コピー」指示、クリップボードに保持されているコピー情報を選択されている位置に貼り付ける「ペースト」指示、選択されている文字列をクリップボードにコピーし、かつ編集対象の文書から削除する「カット」指示が含まれる。この「コピー」(および「カット」も)の処理を行うときに、本発明では、ホールドされている(指で押さえられている)領域に応じて、識別情報を付与してクリップボードにコピー情報が追加記録される。
具体的には、左上図の操作を行った場合には、「Hold ID」に「1」が記録され、「コピー情報」に「対象文字列A」が記録される。
【0039】
次に、右上図について説明する。ユーザが領域305にタッチしている状態で、別の指で文字列306をタッチすることにより選択する。すると、タッチされた選択された文字列の領域が選択状態となる。この編集バルーン307で「コピー」(および「カット」も)の処理を行うと、ホールドされている(指で押さえられている)領域に応じて識別情報を付与してクリップボードにコピー情報が追加記録される。
具体的には、右上図の操作を行った場合には、「Hold ID」に「2」が記録され、「コピー情報」に「対象文字列B」が記録される。
【0040】
このような操作処理が行われることにより、図4の下図では、クリップボード情報に、「Hold ID」(ホールド識別情報)とコピー情報とが対応づけて保存される。
次に図5を参照して、本発明のペースト操作処理について説明する。
【0041】
図5もまた、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域401にタッチしている状態で、別の指で文字列を貼り付けたい位置をタッチすることにより選択すると、選択された位置にカーソルが移動し、編集バルーン402が表示される。
【0042】
編集バルーン402で「ペースト」指示されると、ホールドされている(指で押さえられている)領域に対応づけられている識別情報(Hold ID)に対応するコピー情報がクリップボードから読みだされて、もう一方の指で選択されていた位置に、読みだしたコピー情報を貼り付けて表示する。
【0043】
具体的には、図5で「ペースト」の操作を行った場合には、「Hold ID」が「1」に対応する「コピー情報」である「対象文字列A」が読みだされて、文字列403として挿入されて(貼り付けられて)表示される。
【0044】
次に、図6を参照して、本情報処理装置のマルチタッチスクリーンである表示部101の表示画面において、ホールド領域と識別情報(ホールドID)との関係を説明する。
【0045】
図4および図5の概念図で説明したように、表示画面には、「メモ」という名称のアプリケーションが起動されて表示されている。この「メモ」アプリケーションでは、短辺の上部の「メモ」が記載されているメニューと、長辺の左端のバインダ領域とは、ユーザが文字列を記録したり、編集したりする領域ではない。そのため、本発明では、この文書編集で操作しない領域を、ホールド領域として利用している。具体的には、長辺の左端のバインダ領域は、ホールド領域501(Hold ID=1)、ホールド領域502(Hold ID=2)、ホールド領域503(Hold ID=3)に領域分割されている。
また、短辺の上部のメニュー領域は、ホールド領域504(Hold ID=4)、ホールド領域505(Hold ID=5)に領域分割されている。
【0046】
図7は、本発明の情報処理装置のクリップボード情報テーブルを表す構成図である。なお、図7の「Hold ID=0(Defalut)」は、ホールド領域が指でタッチされていない状態でコピーされた場合にコピー情報を記憶する際の識別情報である。
【0047】
このクリップボード情報テーブルには、各ホールドIDに対応して、クリップボード用共有メモリの先頭アドレスおよびクリップボード用共有メモリの使用サイズが定義されている。
【0048】
図8は、本発明のクリップボード用共有メモリの構成図である。図7のクリップボード情報テーブルに従って、クリップボード用共有メモリには図8のように各データが記憶されることになる。
【0049】
次に図9を参照して、マルチタッチスクリーンである表示部101の表示画面において、横向きで表示される場合のホールド領域と識別情報(ホールドID)との関係を説明する。
【0050】
横向きの場合には、短辺の左端のバインダ領域は、ホールド領域501(Hold ID=1)、ホールド領域502(Hold ID=2)、ホールド領域503(Hold ID=3)に領域分割されている。
また、長辺の上部のメニュー領域は、ホールド領域504(Hold ID=4)、ホールド領域505(Hold ID=5)に領域分割されている。
このように、ユーザが利用するときの直感的な位置、方向は縦向きと横向きで変えることをせずに、内部的にホールド領域の位置とサイズを変更している。
【0051】
なお、前述したように、重力制御部805が重力を検知することにより上下(天地)方向を求めることができ、求められた天地方向に従って、本情報処理装置の本体がどの方向を向いているのか、縦向きなのか、横向きなのかを判断することができる。そして、重力制御部805により判断された縦向きか横向きかにより、表示部101に表示される画面が縦向き表示と横向き表示が切り換えられる。
次に図10を参照して、本発明のペースト操作処理について説明する。
【0052】
図10も図5と同様に、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域1001にタッチしている状態で、別の指で文字列を貼り付けたい位置をタッチすることにより選択すると、選択された位置にカーソルが移動し、編集バルーン1002が表示される。
【0053】
編集バルーン1002で「ペースト」指示されると、ホールドされている(指で押さえられている)領域に対応づけられている識別情報(Hold ID)に対応するコピー情報がクリップボードから読みだされて、もう一方の指で選択されていた位置に、読みだしたコピー情報を貼り付けて表示する。
【0054】
具体的には、図10で「ペースト」の操作を行った場合には、「Hold ID」が「2」に対応する「コピー情報」である「対象文字列B」が読みだされて、文字列1003として挿入されて(貼り付けられて)表示される。
次に、図11、12、13、14、15、17、19のフローチャートを参照しながら、本発明に係る情報処理装置の詳細な処理について説明する。
【0055】
図11は、情報処理装置の主要操作が行われたときの制御の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。
【0056】
まずステップS1101では、タップ確定判定を行う。タップ確定判定処理については、図12で後述するが、要はマルチタッチスクリーン206にタッチされて所定時間を経過したかを判定する処理である。タッチした状態で所定時間が経過することで、ユーザの操作の意思が確定するので、これをタップ(1回押し)と呼んでいる。
【0057】
次にステップS1102では、ステップS1101の判定結果として、タップが確定したか否かが判定される。タップが確定されている場合には、ステップS1103に処理が進み、タップが未確定であれば、処理を抜ける。また、タップが未確定の場合には、ステップS1101に処理を戻してもよい。
【0058】
ステップS1103では、コピー情報検索処理を行う。コピー情報検索処理については、図19で後述するが、要はクリップボードにコピー情報があるかを判定する処理である。
【0059】
ステップS1104では、ステップS1103の判定結果として、コピー情報が検索されたかが判定される。コピー情報が検索されなかった場合には、ステップS1105に処理が進み、コピー情報が検索されなかった場合には、ステップS1107に処理が進む。
【0060】
ステップS1105では、コピー情報がない、すなわち貼り付け処理をすることがないため、「コピー」の指示部を持ち、「ペースト」の指示部を持たない編集バルーンを表示する。そして、ステップS1106では、マルチタッチスクリーン206からユーザの操作として、編集バルーンの「コピー」の指示を受け付けたか否かを判定する。コピー指示を受け付けた場合には、ステップS1109に処理を進め、コピー指示を受け付けていない場合には、処理を抜ける。
【0061】
一方、ステップS1107では、コピー情報がある、すなわち貼り付け処理をする可能性もあるため、「コピー/ペースト」の両方の指示部を含む編集バルーンを表示する。そして、ステップS1108では、マルチタッチスクリーン206からユーザの操作として、編集バルーンの「コピー」の指示を受け付けたか否かを判定する。コピー指示を受け付けた場合には、ステップS1109に処理を進め、コピー指示を受け付けていない場合には、ステップS1111に処理を進める。
【0062】
ステップS1109では、コピー範囲を選択する処理を実行する。具体的には、図4で説明したように、コピーの対象となる文字列を自動またはユーザの手動操作により選択してもらう。この文字列の範囲選択については既知の技術であるため、詳細な説明は省略する。
【0063】
ステップS1110では、ステップS1109で選択されたコピー範囲の文字列のデータをコピー処理する。このコピー処理の詳細については、図13で後述する。
【0064】
一方、ステップS1111では、マルチタッチスクリーン206からユーザの操作として、編集バルーンの「ペースト」の指示を受け付けたか否かを判定する。ペースト指示を受け付けた場合には、ステップS1112に処理を進め、ペースト指示を受け付けていない場合には、処理を抜ける。
【0065】
ステップS1112では、ペースト処理を実行する。このペースト処理については、図14および図15で後述するが、要は、図5で説明したように、クリップボードに記憶されているコピー情報を貼りつける処理である。
次に、図12のフローチャートを参照しながら、本発明に係る情報処理装置におけるタップ確定判定処理の詳細について説明する。
【0066】
図12は、情報処理装置におけるタップ確定判定処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。
【0067】
まずステップS1201では、マルチタッチスクリーン206が、表示領域101中の編集領域にタッチされたか否か判断する。編集領域とは、図6および図9で説明した、画面領域からメニュー領域とバインダ領域を除いた、編集対象の文書が表示される領域である。例えば、図4の例では、「コピー対象文字列A」「コピー対象文字列B」「コピー対象文字列C」が表示されている領域である。
【0068】
編集領域にタッチされたことが検出された場合には、ステップS1202では、タイマーをスタートさせる。図2のハードウェア構成図では図示省略したが、本情報処理装置は、時間を計測できるタイマーを備えている。
【0069】
ステップS1203では、ステップS1202で計測を開始したカウント値である時間が、所定時間を越えたか否かを判断する。所定時間は、例えば「0.5秒」として予め設定されて記憶装置204に保存されている。なお、この所定時間は、ユーザにより任意に設定可能にしてもよい。所定時間を越えていない場合はステップS1204に処理を進め、所定時間を越えた場合にはステップS1206に処理を進める。
【0070】
ステップS1204では、マルチタッチスクリーン206がユーザの指のタッチが離されたことを検出するか判定する。タッチが離されたことが検出された場合には、ステップS1205に処理を進め、タッチが離されていない場合にはステップS1203に処理を戻してタイマーのカウント値が所定時間を越えるまでループを続ける。
【0071】
ステップS1205では、所定時間内にタッチが離さされたため、タップは未確定と決定し、タップ確定判定処理を終了する。一方、ステップS1206では、タッチされた状態で所定時間が経過したため、タップを確定と決定して、タップ確定判定処理を終了する。
次に、図13のフローチャートを参照しながら、本発明に係る情報処理装置におけるコピー処理の詳細について説明する。
【0072】
図13は、情報処理装置におけるコピー処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。
【0073】
まずステップS1301では、ホールド判定処理を行う。ホールド判定処理については、図17で後述するが、要はコピーやペーストを行う指ではない別の指でホール領域(ホールドエリア)内でタップされているかを判定する処理である。
【0074】
ステップS1302では、ステップS1301で判定されたホールド状態が「ON」であるか「OFF」であるかを判断する。ホールド状態が「ON」であれば、ステップS1303に処理を進め、ホールド状態が「OFF」であれば、ステップS1304に処理を進める。
【0075】
ステップS1303では、タップされているホールド領域の識別情報(ホールドID)をホールド領域情報(図18)から取得し、取得した識別情報に紐づけてコピー情報(選択領域のデータ)をクリップボードにコピー(記憶)する。
【0076】
また、ステップS1304では、ホールドされていないため、選択領域のデータであるコピー情報を、デフォルトの識別情報(ホールドID=「0」)でクリップボードにコピー(記憶)する。
次に、図14のフローチャートを参照しながら、本発明に係る情報処理装置におけるペースト処理(第一のペースト処理)の詳細について説明する。
【0077】
図14は、情報処理装置におけるペースト処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。
【0078】
まずステップS1401では、ホールド判定処理を行う。ホールド判定処理については、図17で後述するが、要はコピーやペーストを行う指ではない別の指でホール領域(ホールドエリア)内でタップされているかを判定する処理である。
【0079】
ステップS1402では、ステップS1401で判定されたホールド状態が「ON」であるか「OFF」であるかを判断する。ホールド状態が「ON」であれば、ステップS1403に処理を進め、ホールド状態が「OFF」であれば、ステップS1404に処理を進める。
【0080】
ステップS1403では、タップされているホールド領域の識別情報(ホールドID)をホールド領域情報(図18)から取得し、取得した識別情報に紐づけてクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。
【0081】
また、ステップS1404では、ホールドされていないため、デフォルトの識別情報(ホールドID=「0」)でクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。
【0082】
そして、ステップS1405では、ステップS1403またはステップS1404で取得されたコピー情報を、タップに応じて表示されたカーソルで指定された挿入位置に、貼り付けて、表示部101に表示する。これにより、図5で説明したように、文字列データのペースト処理が行われる。
次に、図15のフローチャートを参照しながら、本発明に係る情報処理装置におけるペースト処理(第二のペースト処理)の詳細について説明する。
【0083】
図15は、情報処理装置におけるペースト処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。なお、第二のペースト処理は、貼り付ける(ペースト)前に貼り付け対象のデータを一覧表示してユーザに選択させる点が、第一のペースト処理との違いとなる。
【0084】
まずステップS1501では、ホールド判定処理を行う。ホールド判定処理については、図17で後述するが、要はコピーやペーストを行う指ではない別の指でホール領域(ホールドエリア)内でタップされているかを判定する処理である。
【0085】
ステップS1502では、ステップS1501で判定されたホールド状態が「ON」であるか「OFF」であるかを判断する。ホールド状態が「ON」であれば、ステップS1503に処理を進め、ホールド状態が「OFF」であれば、ステップS1504に処理を進める。
【0086】
ステップS1503では、タップされているホールド領域の識別情報(ホールドID)をホールド領域情報(図18)から取得し、取得した識別情報に紐づけてクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。そして、次にホールドID順に順次データを取得する。具体的には、タップされているホールド領域の識別情報が「2」である場合、最初に「ホールドID=2」のコピー情報を取得し、続いて、「ホールドID=0」のコピー情報を取得し、続けて、「ホールドID=1」のコピー情報を取得する。以降は、順次ホールドIDを増やしてコピー情報を取得する。なお、「ホールドID=0」のコピー情報は、図16では表示されていないが、これは、ホールド領域をタップしてコピーしなければクリップボードに登録されないためである。
【0087】
また、ステップS1504では、ホールドされていないため、デフォルトの識別情報(ホールドID=「0」)でクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。そして、以降順次ホールドIDを増やしてコピー情報を取得する。
【0088】
そして、ステップS1505では、ステップS1503またはステップS1504で取得された複数のコピー情報を、タップに応じて表示されたカーソルで指定された挿入位置の近傍に表示される編集バルーンにペースト対象データとして一覧表示する。この一覧表示の順番は、ステップS1503またはステップS1504で複数のコピー情報を取得した順序になる。これにより、ホールドしている領域に対応する識別番号に対応するコピー情報が第一優先で表示され、ペースト対象として選択しやすくなる。
【0089】
つづいてステップS1506では、マルチタッチスクリーン206へのユーザのタッチ操作により、ペースト対象の一覧が表示されている編集バルーン領域から、ペースト処理するデータが選択されたかを判断する。
ペースト処理(貼り付け処理)するデータが選択されるまでは処理をループし、ペースト処理するデータが選択されるとステップS1507へ処理を進める。
ステップS1507では、選択指示されたコピー情報を、タップに応じて表示されたカーソルで指定された挿入位置に、貼り付けて、表示部101に表示する。
図16は、図15で説明したペースト対象のデータを一覧表示してユーザに選択させる形態のペースト操作処理を説明する図である。
【0090】
図16の例では、図5と同様に、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域1601にタッチしている状態で、別の指で文字列を貼り付けたい位置をタッチすることにより選択すると、選択された位置にカーソルが移動し、編集バルーン1602が表示される。
【0091】
この編集バルーン1602で「ペースト」指示されると、ホールドされている(指で押さえられている)領域に対応づけられている識別情報(Hold ID)に対応するコピー情報がクリップボードから最初に読みだされて、順次デフォルトの識別情報に対応するコピー情報から順に識別情報が大きいコピー情報を読み出して、一覧1603を表示する。そして、ユーザがマルチタッチスクリーン206上でペースト対象のデータを選択すると、貼り付け位置、選択されたコピー情報を貼り付けて表示する。
【0092】
具体的には、図16で「ペースト」の操作を行った場合には、「Hold ID」が「2」に対応する「コピー情報」である「対象文字列B」が読みだされて、一覧の先頭に表示される。
次に、図17のフローチャートを参照しながら、本発明に係る情報処理装置におけるホールド判定処理の詳細について説明する。
【0093】
図17は、情報処理装置におけるホールド判定処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。
【0094】
まずステップS1701では、現在のホールド状態が「OFF」であるか判定する。図13のコピー処理、図14のペースト処理、図15のペースト処理のステップから呼び出されるのであれば、一度もホールド判定されていない場合になるため、ホールド状態が「OFF」となっており、図17のフローチャートで後述する「ON」に状態を変えなければ、このステップでは「YES」の判定がなされることになる。もし「ON」になっているのであれば、処理を抜ける。
【0095】
ホールド状態が「OFF」と判定された場合には、次のステップS1702で、マルチタッチスクリーン206で検出されたユーザの指のタッチ位置がホールド領域内であるかを判定する。ホールド領域内であると判定された場合には次のステップS1703に処理を進める。一方、ホールド領域外であると判定された場合、すなわち編集領域でタッチが検出された場合には、別の処理を行うことになるが、本発明では関係性が低いため他の説明は省略し、図17の処理を抜けることにする。
【0096】
ステップS1702でホールド領域内であると判定された場合には、ステップS1703で、タップ確定判定処理を行う。このタップ確定判定処理は、図12で説明した処理に相当する。ただし、図17のステップS1703から呼び出しているため、図12の処理で「Return」されると、ステップS1704に戻ることになる。
【0097】
ステップS1704では、ステップS1703のタップ確定判定処理の結果、タップが確定したか否かを判断する。タップが確定した場合にはステップS1705に処理を進め、タップが未確定で「Return」されたきた場合にはステップS1707へ処理を進める。
ステップS1705では、ホールド状態を「ON」に設定する。なお、ホールド状態のフラグは記憶装置204に記憶されるものとする。
【0098】
そして、ステップS1706で、ホールドエリアに対応した識別情報を図18のホールド領域情報から特定し、特定された識別情報(ホールドID)を保持して、処理を抜ける。
【0099】
ステップS1707では、ホールド状態を「OFF」に設定し、ステップS1708では、デフォルトの識別情報である「ホールドID=0」を保持して処理を抜ける。
このように保持された識別情報は、図13のステップS1303、図14のステップS1403、図15のステップS1503で用いられることになる。
【0100】
なお、本実施の形態では、ホールド判定処理は、図13のコピー処理、図14のペースト処理、図15のペースト処理から呼び出されるものとして説明したがこれに限るものではない。すなわち、図12のタップ確定判定処理で、タップ確定(ステップS1206)およびタップ未確定(ステップS1205)の後に、「A」で示される位置に処理を移してもよい。この場合、図12でタップが確定/未確定になると、S1704で、タップが確定されたかにより処理を分岐させ、ステップS1705およびステップS1707でホールド状態を設定してもよい。このように構成することで、最初のタッチ検出のときに、ホールド領域でタップを確定してホールド状態を設定することができ、最初の指でホールドさせて、別の指でコピーまたはペーストの指示を行う操作手順を実現することが可能となる。
図18は、識別情報とホールド領域を定義しているホールド領域情報の一例を示す図である。
【0101】
図18に示されるように、識別情報であるホールドIDに対応するホールド領域が定義されている。ホールド領域は、矩形領域となっており、対角点の座標情報が記憶されている。そして、縦長フラグは、重力制御部805により検出された天地方向により判断される、情報処理装置100が縦向きに表示されているか、横向きに表示されているかにより、いずれのホールド領域が適用されるかを判断するためのフラグである。具体的には、情報処理装置が縦向きに表示されている場合には、縦長フラグが「1」となっているホールド領域が選択される。一方、情報処理装置が横向きに表示されている場合には、縦長フラグが「0」となっているホールド領域が選択される。
次に、図19のフローチャートを参照しながら、本発明に係る情報処理装置におけるコピー情報検索処理の詳細について説明する。
【0102】
図19は、情報処理装置におけるコピー情報検索処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。なお、この処理は、図11のステップS1103の詳細処理に相当する。
【0103】
まずステップS1901では、ホールド状態が「ON」であるか判定される。ホールド状態が「ON」であれば、ステップS1902に処理を進め、ホールド状態が「OFF」であれば、ステップS1903に処理を進める。
【0104】
ステップS1902では、ホールドされていることになるため、識別情報であるホールドIDに応じて、クリップボード中のコピー情報を検索し、検索結果を保持して処理を終了する。
【0105】
ステップS1903では、ホールドされていないことになるため、デフォルトの識別情報に対応するコピー情報がクリップボード中に存在するか検索する。また、ここでは、識別情報順に検索してもよい。
【0106】
このようにコピー情報を検索することにより、図11のステップS1105やステップS1107では、コピー情報があるか否かにより、表示する編集バルーンの指示部の種別を切り替えることができ、操作できない指示部を表示してユーザの誤操作を防止することができる。
【0107】
以上説明したように、本実施の形態によれば、複数個所のタッチを同時検出可能なタッチパネル表示部を用いて、コピーすべき情報を識別して記憶でき、任意の順序で読みだして貼り付けることが可能となる。
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【0108】
また、本発明におけるプログラムは、図11〜図15、図17、図19に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図11〜図15、図17、図19の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図11〜図15、図17、図19の各装置の処理方法ごとのプログラムであってもよい。
【0109】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0110】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【0111】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【0112】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0113】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0114】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【0115】
100 情報処理装置
801 入出力制御部
802 入力操作識別部
803 表示処理部
804 オブジェクト処理部
805 重力制御部

【特許請求の範囲】
【請求項1】
多点入力が可能なマルチタッチ表示部を搭載した情報処理装置であって、
マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、
前記取得手段によるタッチ位置の位置情報に従って、コピー情報を識別する識別情報が対応づけられたホールド領域が押下された状態で、コピー情報となるデータの位置、またはコピー情報をペーストする位置でタッチされたかを検出する検出手段と、
前記検出手段により、前記ホールド領域がタッチされている状態で、コピー情報となるデータの位置でのタッチされたことを検出し、コピー指示がなされると、前記コピー情報となるデータを、前記タッチされているホールド領域に対応づけられた識別情報とともに、クリップボードに記憶するコピー情報記憶手段と、
前記検出手段により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を読み出して前記ペーストする位置に貼り付けて表示する表示処理手段と
を有することを特徴とする情報処理装置。
【請求項2】
前記表示処理手段は、
前記検出手段により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を先に読み出して、ペーストするコピー情報を選択するための一覧を表示する一覧表示手段を更に有することを特徴とする請求項1記載の情報処理装置。
【請求項3】
重力方向を検出することにより、本情報処理装置の向きが縦向きであるか横向きであるかを判定する判定手段と、
前記判定手段により縦向きであると判定された場合に、前記マルチタッチ表示部に表示内容を縦向きのレイアウトで表示し、前記判定手段により横向きであると判定された場合に、前記マルチタッチ表示部に表示内容を横向きのレイアウトで表示する表示向き回転手段と
を更に有することを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記識別情報と、当該識別情報に対応する前記ホールド領域との組を、本情報処理装置の向きが縦向きの場合と横向きの場合でそれぞれ記憶するホールド情報記憶手段を更に有し、
前記回転手段により前記マルチタッチ表示部に縦向きのレイアウトで表示される場合には、前記コピー情報記憶手段は、前記ホールド情報記憶手段に記憶されている縦向きの場合の識別情報をコピー情報に付与し、一方、前記回転手段により前記マルチタッチ表示部に横向きのレイアウトで表示される場合には、前記コピー情報記憶手段は、前記ホールド情報記憶手段に記憶されている横向きの場合の識別情報をコピー情報に付与することを特徴とする請求項3記載の情報処理装置。
【請求項5】
多点入力が可能なマルチタッチ表示部を搭載した情報処理装置における情報処理方法であって、
前記情報処理装置の取得手段が、マルチタッチ表示部のタッチ位置の位置情報を取得する取得工程と、
前記情報処理装置の検出手段が、前記取得工程によるタッチ位置の位置情報に従って、コピー情報を識別する識別情報が対応づけられたホールド領域が押下された状態で、コピー情報となるデータの位置、またはコピー情報をペーストする位置でタッチされたかを検出する検出工程と、
前記情報処理装置のコピー情報記憶手段が、前記検出工程により、前記ホールド領域がタッチされている状態で、コピー情報となるデータの位置でのタッチされたことを検出し、コピー指示がなされると、前記コピー情報となるデータを、前記タッチされているホールド領域に対応づけられた識別情報とともに、クリップボードに記憶するコピー情報記憶工程と、
前記情報処理装置の表示処理手段が、前記検出工程により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を読み出して前記ペーストする位置に貼り付けて表示する表示処理工程と
を含むことを特徴とする情報処理方法。
【請求項6】
多点入力が可能なマルチタッチ表示部を搭載した情報処理装置で読み取り実行されるプログラムであって、
前記情報処理装置を、
マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、
前記取得手段によるタッチ位置の位置情報に従って、コピー情報を識別する識別情報が対応づけられたホールド領域が押下された状態で、コピー情報となるデータの位置、またはコピー情報をペーストする位置でタッチされたかを検出する検出手段と、
前記検出手段により、前記ホールド領域がタッチされている状態で、コピー情報となるデータの位置でのタッチされたことを検出し、コピー指示がなされると、前記コピー情報となるデータを、前記タッチされているホールド領域に対応づけられた識別情報とともに、クリップボードに記憶するコピー情報記憶手段と、
前記検出手段により、前記ホールド領域がタッチされている状態で、前記コピー情報をペーストする位置でタッチされたことを検出し、ペースト指示がなされると、前記クリップボードに記憶されているコピー情報であって、前記タッチされているホールド領域に対応づけられた識別情報に対応するコピー情報を読み出して前記ペーストする位置に貼り付けて表示する表示処理手段と
して機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2013−109785(P2013−109785A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2013−49010(P2013−49010)
【出願日】平成25年3月12日(2013.3.12)
【分割の表示】特願2010−244771(P2010−244771)の分割
【原出願日】平成22年10月29日(2010.10.29)
【出願人】(390002761)キヤノンマーケティングジャパン株式会社 (656)
【出願人】(312000206)キヤノンMJアイティグループホールディングス株式会社 (259)
【出願人】(301015956)キヤノンソフトウェア株式会社 (364)
【Fターム(参考)】