説明

情報処理装置、情報処理方法及びプログラム

【課題】複数のタッチパネルで検出されたタッチ操作に応じて操作対象のオブジェクトの表示を各タッチパネル間で連動させて制御して、1つのまとまった処理を実行する。
【解決手段】携帯情報装置100のCPU11は、タッチパネル2a及び2bにそれぞれ表示されたオブジェクトに対する回転、つまみ、ズーム、破り、グループ化の各ジェスチャーを検出し、それらの操作に応じて、各オブジェクトを連動させて一まとめの表示制御処理を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のタッチパネルを有する情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来から、複数のタッチパネルを有する情報処理装置が知られている。例えば、下記特許文献1には、複数のタッチパネルと一体的に構成されたLCD(Liquid Crystal Display)を有する複数のパネルがヒンジ部により接続された腕時計型のPDA(Personal Digital Assistant)が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−150273号公報(図1、図4、図10等)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載のPDAでは、各LCDに表示されたボタンに対する操作をタッチパネルによってそれぞれ検出するのみである。したがってこのPDAは、複数のタッチパネルに対するタッチ操作が検出された場合に、その操作対象の各オブジェクトの表示を、複数のタッチパネル間で連動させて制御することはできない。すなわち、このPDAは、複数のタッチパネルで1つのまとまった処理を実行することができない。
【0005】
以上のような事情に鑑み、本発明の目的は、複数のタッチパネルで検出されたタッチ操作に応じて操作対象のオブジェクトの表示を各タッチパネル間で連動させて制御し、1つのまとまった処理を実行可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第1のタッチパネルと、第2のタッチパネルと、制御部とを有する。上記第1のタッチパネルは、第1のオブジェクトを表示し、当該第1のオブジェクトに対するユーザの第1のタッチ操作を検出する。上記第2のタッチパネルは、第2のオブジェクトを表示し、当該第2のオブジェクトに対する上記ユーザの第2のタッチ操作を検出する。上記制御部は、上記第1のタッチ操作が検出されてから所定時間内に上記第2のタッチ操作が検出された場合に、上記表示された第1のオブジェクトと上記表示された第2のオブジェクトとを連動させて変化させる。
この構成により、情報処理装置は、第1及び第2のタッチパネルで検出されたタッチ操作に応じて、操作対象のオブジェクトの表示を各タッチパネル間で連動させて制御することで、1つのまとまった処理を実行できる。したがって情報処理装置は、単一のタッチパネルを用いる場合に比べて、複数のオブジェクトを別個に処理できるのみならず、まとめて処理することもできるため、ユーザの用途に応じて処理の柔軟性を向上させることができる。
ここで、上記所定時間とは、例えば0秒〜3秒程度であるが、これに限られない。つまりこの所定時間には、第1のタッチ操作と第2のタッチ操作とが同時に検出される場合も含まれる。上記第1及び第2のタッチパネルには、非接触型の静電容量センサを有するものも含まれ、上記第1及び第2のタッチ操作は、第1及び第2のタッチパネルへの物理的な接触を伴わないものも含む。また上記第1及び第2のオブジェクトは、例えばアイコン、ウィンドウ、画面全体、その他のあらゆる画像を含む。上記第1及び第2のオブジェクトは、単一のオブジェクトが第1のタッチパネルと第2のタッチパネルとに分割されて表示されたものであってもよいし、別個に独立して表示されたものであってもよい。
【0007】
上記第1のタッチ操作と上記第2のタッチ操作とは互いに逆方向の操作であってもよい。
これにより情報処理装置は、第1及び第2のオブジェクトを連動して変化させるためのタッチ操作を互いに逆方向とすることで、ユーザに通常の非連動的なタッチ操作との相違を容易に認識させ、直感的にタッチ操作を入力させることができる。その結果、情報処理装置は、ユーザの誤操作も防ぐことができる。ここで互いに逆方向の操作とは、直線方向のみならず、曲線方向や回転方向の操作も含む。
【0008】
上記制御部は、上記第1のタッチ操作が検出されてから上記所定時間内に上記第2のタッチ操作が検出された場合に、上記第1のオブジェクトを上記第2のタッチパネルに表示させ、上記第2のオブジェクトとを上記第1のタッチパネルに表示させてもよい。
これによりユーザは、直感的なタッチ操作で第1及び第2のタッチパネルに表示されるオブジェクト及び画面の表示の切り替えを行うことができる。
【0009】
上記第1のオブジェクト及び上記第2のオブジェクトは、1つの第3のオブジェクトの各一部として表示されてもよい。この場合上記第1のタッチ操作及び上記第2のタッチ操作はそれぞれ回転方向の操作であってもよい。この場合上記制御部は、上記第1のタッチ操作が検出されてから上記所定時間内に上記第2のタッチ操作が検出された場合に、上記第3のオブジェクトを回転させてもよい。
これによりユーザは、複数のタッチパネルで1つのオブジェクトを閲覧できるのみならず、当該オブジェクトを、実際の物を回転させる動作と同様の容易かつ直感的な操作で回転させることができる。
【0010】
上記第1のオブジェクト及び上記第2のオブジェクトは、1つの第3のオブジェクトの各一部として表示されてもよい。この場合上記第1のタッチ操作及び上記第2のタッチ操作は互いに離れる方向への操作であってもよい。この場合上記制御部は、上記第1のタッチ操作が検出されてから上記所定時間内に上記第2のタッチ操作が検出された場合に、上記第3のオブジェクトを当該第3のオブジェクトが破れるように変化させてもよい。
これによりユーザは、複数のタッチパネルで1つのオブジェクトを閲覧できるのみならず、当該オブジェクトを、実際の書類等を破る動作と類似した容易かつ直感的な操作で破るように変化させることができる。
【0011】
この場合、情報処理装置は、上記第3のオブジェクトに対応するデータを記憶する記憶部をさらに有してもよく、上記制御部は、上記第3のオブジェクトが変化した場合に、上記データを上記記憶部から削除してもよい。
これによりユーザは、第3のオブジェクトに対応するデータの削除処理を、第3のオブジェクトを破る操作に見立てて直感的に実行することができる。
【0012】
上記第1のタッチ操作及び上記第2のタッチ操作は互いに近づく方向への操作であってもよい。この場合上記制御部は、上記第1のタッチ操作が検出されてから上記所定時間内に上記第2のタッチ操作が検出された場合に、上記第1のオブジェクト及び上記第2のオブジェクトを、当該第1のオブジェクト及び第2のオブジェクトが1つにまとまるように変化させてもよい。
これによりユーザは、第1及び第2のタッチパネルにそれぞれ表示されたオブジェクトを、実際に複数の物を近づけて集めるような操作に類似した容易かつ直感的な操作で1つにまとめることができる。
【0013】
上記情報処理装置は、上記第1のタッチパネルと上記第2のタッチパネルとの間に設けられ、当該第1のタッチパネル及び当該第2のタッチパネルから所定距離に存在する物体を検出する光センサをさらに有してもよい。この場合上記制御部は、上記第1のタッチ操作が検出されてから上記所定時間内に上記第2のタッチ操作が検出され、かつ、上記光センサにより物体が検出された場合に、上記表示された第1のオブジェクトと上記表示された第2のオブジェクトとを連動させて変化させてもよい。
ここで上記所定距離に存在する物体とは、例えばユーザの手であり、より具体的には、2本の指間の付け根部分である。
これにより、例えば第1のタッチ操作がユーザの片手の1本の指で入力され、第2のタッチ操作が当該片手の他の指で入力される場合に、情報処理装置は、光センサで当該手を検出することで、2本の指でタッチ操作が入力されていることを確実に認識できる。したがって情報処理装置は、例えば第1のタッチ操作のみ入力されている場合であって第2のタッチパネルに偶然他の物体が触れた場合等でも、それによる誤検出及び表示の誤変化を防ぐことができる。なぜなら、このような場合は、光センサにより物体自体は検出されたとしても、上記所定距離より小さい距離で検出されるからである。
【0014】
またこの場合上記制御部は、上記光センサにより物体が検出された場合に、上記表示された第1のオブジェクトと上記表示された第2のオブジェクトとを第1の態様で変化させ、上記光センサにより物体が検出されない場合に、上記表示された第1のオブジェクトと上記表示された第2のオブジェクトとを上記第1の態様とは異なる第2の態様で変化させてもよい。
これにより、情報処理装置は、光センサによる物体の検出の有無に応じて、同じ第1及び第2の操作が検出された場合でも異なる態様で第1及び第2のオブジェクトを変化させることができる。したがって情報処理装置は、第1及び第2のタッチ操作に応じてより多くのパターンの処理を実行可能となり、ユーザの利便性を向上させることができる。
【0015】
上記情報処理装置は、上記第1のオブジェクトに対応する第1のデータ及び上記第2のオブジェクトに対応する第2のデータを記憶する記憶部をさらに有してもよい。この場合上記第1のタッチ操作は、所定の回転方向で上記第1のオブジェクトを囲む操作であってもよく、上記第2のタッチ操作は、上記所定の回転方向で上記第2のオブジェクトを囲む操作であってもよい。この場合上記制御部は、上記第1のタッチ操作が検出されてから上記所定時間内に上記第2のタッチ操作が検出された場合に、上記記憶部に、上記第1のデータ及び上記第2のデータをグループ化して記憶させてもよい。
これにより、ユーザは、第1及び第2のオブジェクトを囲むという容易かつ直感的な操作を行うだけで、第1及び第2のオブジェクトに対応する第1及び第2のデータをグループ化して記憶させることができる。
【0016】
本発明の他の形態に係る情報処理方法は、第1のタッチパネルにより、第1のオブジェクトを表示し、当該第1のオブジェクトに対するユーザの第1のタッチ操作を検出することを含む。また当該情報処理方法は、第2のタッチパネルにより、第2のオブジェクトを表示し、当該第2のオブジェクトに対する上記ユーザの第2のタッチ操作を検出することを含む。上記第1のタッチ操作が検出されてから所定時間内に上記第2のタッチ操作が検出された場合、上記表示された第1のオブジェクトと上記表示された第2のオブジェクトとが連動して変化する。
【0017】
本発明のまた別の形態に係るプログラムは、第1のタッチパネル及び第2のタッチパネルを有する情報処理装置に、第1の検出ステップと、第2の検出ステップと、表示制御ステップとを有する。上記第1の検出ステップは、上記第1のタッチパネルにより、第1のオブジェクトを表示し、当該第1のオブジェクトに対するユーザの第1のタッチ操作を検出する。上記第2の検出ステップは、上記第2のタッチパネルにより、第2のオブジェクトを表示し、当該第2のオブジェクトに対する上記ユーザの第2のタッチ操作を検出する。上記表示制御ステップは、上記第1のタッチ操作が検出されてから所定時間内に上記第2のタッチ操作が検出された場合に、上記表示された第1のオブジェクトと上記表示された第2のオブジェクトとを連動させて変化させる。
【発明の効果】
【0018】
以上のように、本発明によれば、複数のタッチパネルで検出されたタッチ操作に応じて操作対象のオブジェクトの表示を各タッチパネル間で連動させて制御することで、1つのまとまった処理を実行できる。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施形態に係る携帯情報機器の外観を示す図である。
【図2】本発明の一実施形態に係る携帯情報機器のハードウェア構成を示した図である。
【図3】本発明の一実施形態に係る携帯情報機器の開閉の様子を示した図である。
【図4】本発明の一実施形態に係る携帯情報機器によるタッチ操作に応じた処理の流れを示したフローチャートである。
【図5】本発明の一実施形態に係る携帯情報機器における回転ジェスチャーの様子の一例をタッチパネルの平面方向から示した図である。
【図6】図5に示した回転ジェスチャーに応じた具体的な表示処理の一例を示した図である。
【図7】図5に示した回転ジェスチャーに応じた具体的な表示処理の他の例を示した図である。
【図8】本発明の一実施形態に係る携帯情報機器におけるつまみジェスチャーの様子の一例をタッチパネルの平面方向から示した図である。
【図9】図8に示したつまみジェスチャーに応じた具体的な表示処理の一例を示した図である。
【図10】本発明の一実施形態に係る携帯情報機器におけるズームジェスチャーの様子の一例をタッチパネルの平面方向から示した図である。
【図11】図10に示したズームジェスチャーに応じた具体的な表示処理の一例を示した図である。
【図12】本発明の一実施形態に係る携帯情報機器における破りジェスチャーの様子の一例をタッチパネルの平面方向から示した図である。
【図13】図12に示した破りジェスチャーに応じた具体的な表示処理の一例を示した図である。
【図14】本発明の一実施形態に係る携帯情報機器におけるグループ化ジェスチャーの様子の一例をタッチパネルの平面方向から示した図である。
【図15】図14に示したグループ化ジェスチャーに応じた具体的な表示処理の一例を示した図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0021】
[携帯情報機器の概要]
図1は、本発明の一実施形態に係る携帯情報機器の外観を示す図である。
同図に示すように、携帯情報機器100は、2つの筐体1aと筐体1bとが回動(開閉)可能に接続された、いわゆるクラムシェル型の筐体1を有する。同図は筐体1a及び1bが開いた状態を示している。ユーザはこの状態で携帯情報機器100を操作する。
【0022】
筐体1a及び1bはそれぞれ、開いた状態で露出する面に、タッチパネル2a及び2bを有する。タッチパネル2a及び2bは、それぞれディスプレイ25a及び25bと一体的に設けられている。タッチパネル2aは端辺21及びそれに対向する端辺22を有するタッチ面を有し、タッチパネル2bも同様に端辺23及びそれに対向する端辺24を有するタッチ面を有する。タッチパネル2a及び2bは、それぞれディスプレイ25a及び25bに表示されるオブジェクトに対するユーザの指によるタッチ操作を検出する。ユーザは、片手の2本の指(典型的には親指と人差指)や、両方の手の各一本の指(典型的には人差指)を用いてタッチ操作を入力する。タッチ操作は典型的には指を任意の方向にドラッグする操作(タッチパネル2a及び2bをなぞる操作)やクリック(単純タッチ)操作であるが、これに限られない。
【0023】
筐体1aは、両側面の上記端辺22側にギヤ部材3aを有し、筐体1bは両側面の上記端辺23側にギヤ部材3bを有する。ギヤ部材3aとギヤ部材3bとは、連結部材4によって噛み合った状態で接続されている。連結部材4は、2枚の板(またはバー)の一端同士が回動可能に接続され、2枚の板(またはバー)の多端がそれぞれギヤ部材3a及び3bの回動軸に接続されて構成されている。このギヤ部材3a及び3bと連結部材4とにより、筐体1a及び1bは回動自在に接続されている。このような構成により、筐体1aと筐体1bとを例えばヒンジ等を用いて接続する場合に比べて、筐体1aのタッチパネル2aと筐体1bのタッチパネル2bとの距離をより近づけることができる。
【0024】
タッチパネル2aの端辺22とタッチパネル2bの端辺23との間には、光センサ5が設けられている。光センサ5は、タッチパネル2aの端辺22から連続して筐体1aに設けられる光センサ部5aと、タッチパネル2bの端辺23から連続して筐体1bに設けられる光センサ部5bとを有する。タッチパネル2aのタッチ面、タッチパネル2bのタッチ面及び光センサ5の表面は、筐体1a及び1bが開いた状態において、同一平面上に位置するように設けられている。
【0025】
[携帯情報機器のハードウェア構成]
図2は、上記携帯情報機器100のハードウェア構成を示した図である。
同図に示すように、携帯情報機器100は、上記タッチパネル2a、2b(ディスプレイ25a、25b)、光センサ5のほか、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、フラッシュメモリ13を有する。また携帯情報機器100は、通信部14、外部I/F(インタフェース)15、キー/スイッチ部16、マイクロフォン17、スピーカ18、ヘッドフォン19及びカメラ20を有する。
【0026】
CPU11は、携帯情報機器100の各部と信号をやり取りして各種演算を行い、タッチパネル2a及び2bへのタッチ操作(タッチジェスチャー)に応じた各種表示制御(表示変化)処理及びその他の処理を統括的に制御する。
【0027】
RAM12は、CPU11の作業領域として用いられ、CPU11が処理する各種GUI(オブジェクト)を含む各種データ、タッチパネル2a及び2bを用いたタッチ操作に応じた各種表示処理を実行するアプリケーション等のプログラムを一時的に格納する。
【0028】
フラッシュメモリ13は、例えばNAND型のものである。フラッシュメモリ13は、上記各種アイコン等の画像を含む各種データ、CPU11が実行する制御プログラムや、上記各種表示処理を実行するアプリケーション等の各種プログラムを記憶する。当該アプリケーションは、例えばメモリカード(図示せず)等の他の記録媒体に記憶されていても構わない。また携帯情報機器100は、当該フラッシュメモリ13に代えて、またはそれに加えて、HDDを有していてもよい。
【0029】
通信部14は、例えばイーサネット(登録商標)や無線LAN(Local Area Network)等の規格に準じて携帯情報機器100をインターネットやLANへ接続するためのインタフェースである。
【0030】
外部I/F15は、例えばUSB(Universal Serial Bus)や無線LAN(Local Area Network)等の各種規格に基づいて、有線または無線により外部機器と接続し、各種データのやり取りを行う。また外部I/F15は、例えばメモリースティック等の各種メモリカードと接続するためのインタフェースであってもよい。
【0031】
キー/スイッチ部16は、例えば電源(図示せず)のON/OFFや各種機能の切替等、上記タッチパネル2への操作では実行できない機能や、タッチパネル2への操作で実行できる機能と同等の機能に対応した操作を受け付け、入力信号をCPU11へ伝える。
【0032】
マイクロフォン17は、例えば携帯情報機器100が上記通信部14によりネットワーク上の他の機器と接続された場合に、音声通話のためにユーザの声等の音声を入力する。
【0033】
スピーカ18及びヘッドフォン19は、上記フラッシュメモリ13等に記憶された、または通信部14やマイクロフォン17から入力された音声信号を出力する。
【0034】
上記カメラ20は、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Devices)センサ等の撮像素子により、静止画及び動画を撮像する。撮像データは上記RAM12やフラッシュメモリ13へ保存されたり、通信部14を介してネットワーク上の他の機器へ送信されたりする。
【0035】
タッチパネル2a及び2bの動作方式としては、例えば抵抗被膜方式や静電容量方式が用いられるが、電磁誘導方式、マトリクススイッチ方式、表面弾性波方式、赤外線方式等のその他の方式が用いられてもよい。動作方式として静電容量方式が採用される場合、本実施形態における「タッチ操作」とは、ユーザの指が、タッチパネル2a及び2bに物理的に接触している場合のみならず、静電容量の変化を検出可能な程度に近接している場合も含む。
【0036】
光センサ5は、例えば反射型のものであり、例えば赤外光を発光するLED(Light Emitting Diode)等の発光素子と、フォトダイオードやフォトトランジスタ等の受光素子とを有する。光センサ5は、上方の所定距離範囲内に物体が存在しているか否かを検出する。本実施形態において光センサ5は、ユーザの片手(の指)が光センサ5の上方の所定距離範囲内に存在しているか否かを検出する。すなわち、光センサ5は、ユーザの手が、タッチパネル2a及び2bをユーザの2本の指で跨ぐように光センサ5の上方に存在しているか否かを検出する。この場合、所定距離範囲とは、例えば3cm〜15cm程度であるが、この範囲に限られない。
【0037】
各タッチパネル2a及び2bに対するタッチ操作が検出され、かつ、この所定距離範囲内に物体が存在する場合には、ユーザが片手の2本の指でタッチ操作を行っていると判断される。例えばユーザが親指と人差指でそれぞれタッチパネル2a及び2bにタッチ操作を行っている場合、当該親指と人差指の間の付け根部分が光センサ5で検出される。一方、各タッチ操作が検出されたにも関わらず、光センサ5で上記所定距離範囲内に物体が検出されない場合には、ユーザが、一方の手の指でタッチパネル2aをタッチし、もう片方の手の指でタッチパネル2bをタッチしていると判断される。
【0038】
図示しないが、携帯情報機器100は、タッチパネル2a及び2b間の電気的接続のためのケーブルやフレキシブル基板を有する。これらケーブルやフレキシブル基板は、例えば上記ギヤ部材3a、3b及び連結部材4に亘って設けられてもよい。
【0039】
ディスプレイ25a及び25bは例えばTFT(Thin Film Transistor)等のLCDやOELD(Organic Electro-Luminescence Display)であり、例えばアイコンやウィンドウ、画面全体等のタッチ操作用のGUI、その他の画像を表示する。ディスプレイ25a及び25bは、上述したように、それぞれタッチパネル2a及び2bと一体的に設けられる。
【0040】
[携帯情報機器の動作]
次に、以上のように構成された携帯情報機器100の動作について説明する。
【0041】
(携帯情報機器の開閉動作)
まず、携帯情報機器100の開閉動作について説明する。図3は、携帯情報機器100の開閉の様子を示した図である。
同図(A)に示すように、筐体1a及び1bが閉じた状態から、ユーザが例えば筐体1aを上方向に持ち上げると、同図(B)〜(D)に示すように、上記ギヤ部材3a及び3bと連結部材4とが回動することで、筐体1aが開く。これによりタッチパネル2a及び2bが露出する。そして筐体1a及び1bは、同図(E)に示すように、タッチパネル2a及び2bの各タッチ面及び光センサ5が同一平面上となるように180度開いた状態で静止する。ユーザのタッチ操作はこの同図(E)の状態で入力される。このように各タッチ面を同一平面上に設けることで、ユーザは、異なるタッチパネルであること及び両タッチパネル間に光センサがあることを意識せずに直感的な操作が可能となる。
【0042】
(携帯情報機器のオブジェクト表示制御処理)
次に、携帯情報機器100のタッチパネル2a及び2bにより検出されるタッチ操作(タッチジェスチャー)に応じたオブジェクトの連動した表示制御処理について説明する。以下の説明では、CPU11を動作の主体として説明するが、このCPU11の動作は、RAM12に展開されるプログラムと協働して実行される。
【0043】
図4は、携帯情報機器100によるオブジェクトの表示制御処理の流れを示したフローチャートである。
同図に示すように、まず、CPU11は、タッチパネル2a及び2bにそれぞれオブジェクトを表示させる(ステップ41)。続いてCPU11は、タッチパネル2a及び2bにおいて、当該各オブジェクトに対するタッチ操作が同時に検出されたか否かを検出する(ステップ42)。ここで「同時」とは、厳密に同時刻でなくともよく、例えば0.5秒以内に各タッチ操作が検出された場合等も含む。
【0044】
各タッチ操作が同時に検出された場合(YES)、CPU11は、当該検出された各タッチ操作のタッチ点が同じ方向回りに回転しているか否かを判断する(ステップ43)。タッチ点が同じ方向回りに回転していると判断した場合(YES)、CPU11は、上記光センサ5が上記所定距離範囲内で物体(手)を検出したか否かを判断する(ステップ44)。当該所定距離範囲内で物体(手)が検出されなかった場合(NO)、CPU11は、上記検出されたタッチ操作は誤検出であると判断し、オブジェクトの連動表示制御処理を終了する。
【0045】
当該所定距離範囲内で物体(手)が検出された場合(YES)、CPU11は、当該タッチ操作が回転ジェスチャーであると判断する(ステップ45)。
【0046】
図5は、この回転ジェスチャーの様子の一例をタッチパネル2a及び2bの平面方向から示した図である。
同図(A)及び(B)に示すように、ユーザは、2本の指F1及びF2(親指と人差指)をそれぞれタッチパネル2a及び2bにタッチし、両指F1及びF2の付け根部分を支点として、同図矢印方向に回転させる。この場合、CPU11は当該回転方向のタッチ操作を検出するとともに、光センサ5により手が検出されたことを確認する。
【0047】
図4に戻り、CPU11は、上記回転ジェスチャーを検出すると、それに応じた表示制御(表示変化)処理を実行する(ステップ46)。図6は、当該回転ジェスチャーに応じた具体的な表示制御処理の一例を示した図である。同図(A)及び(B)が回転ジェスチャーの入力時、同図(C)が回転ジェスチャーの入力後の様子をそれぞれ示す。
【0048】
同図(A)に示すように、タッチパネル2a及び2bには、オブジェクトO1及びO2として、例えばそれぞれ携帯情報機器100が実行中のアプリケーションA及びBのGUI画面が表示されている。この状態から、同図(A)及び(B)に示すように、ユーザが2本の指F1及びF2で回転ジェスチャーを入力する。すると、CPU11は、同図(C)に示すように、当該アプリケーションAのGUI画面と、アプリケーションBのGUI画面とを、タッチパネル2aとタッチパネル2bとの間で入れ替える処理を行う。
【0049】
同図においては、CPU11は、回転ジェスチャーに応じて画面全体を入れ替える処理を実行したが、ウィンドウやアイコン等、その他のオブジェクト(画像)の位置を各タッチパネル2a及び2b間で入れ替えてもよい。
【0050】
図7は、当該回転ジェスチャーに応じた具体的な表示制御処理の他の例を示した図である。同図(A)及び(B)が回転ジェスチャーの入力時、同図(C)が回転ジェスチャーの入力後の様子をそれぞれ示す。
【0051】
同図(A)に示すように、タッチパネル2a及び2bには、例えば写真等の1つのオブジェクトOの上側部分O1及び下側部分O2がそれぞれ表示されている。この状態から、同図(A)及び(B)に示すように、ユーザが2本の指F1及びF2で上記回転ジェスチャーを入力する。すると、CPU11は、同図(C)に示すように、当該オブジェクトOを、同図Z軸を回転軸として180度回転させる。
【0052】
CPU11は、上記オブジェクトOを180度回転させるのみならず、回転ジェスチャーの回転角度(各タッチ点の移動量)に応じた角度分、オブジェクトOを回転させてもよい。
【0053】
図4に戻り、CPU11は、上記ステップ43において、タッチ点が同じ方向回りに回転していないと判断した場合(NO)、当該タッチ点が近づく方向に直線移動しているか否かを判断する(ステップ47)。当該タッチ点が近づく方向に直線移動していると判断した場合(YES)、CPU11は、上記光センサ5が上記所定距離範囲内で物体(手)を検出したか否かを判断する(ステップ48)。当該所定距離範囲内で物体(手)が検出されなかった場合(NO)、CPU11は、上記検出されたタッチ操作は誤検出であると判断し、オブジェクトの連動表示制御処理を終了する。
【0054】
当該所定距離範囲内で物体(手)が検出された場合(YES)、CPU11は、当該タッチ操作がつまみジェスチャーであると判断する(ステップ49)。
【0055】
図8は、このつまみジェスチャーの様子の一例をタッチパネル2a及び2bの平面方向から示した図である。
同図(A)及び(B)に示すように、ユーザは、2本の指F1及びF2(親指と人差指)をそれぞれタッチパネル2a及び2bにタッチし、両指F1及びF2のタッチ点が近づく逆方向(同図矢印方向)に直線的に移動させる。すなわち、ユーザは2本の指F1及びF2をつまみあげる、もしくはまとめるようなタッチジェスチャーを行う。この場合、CPU11は、当該タッチ点が近づく直線逆方向のタッチ操作を検出するとともに、光センサ5により手が検出されたことを確認する。
【0056】
図4に戻り、CPU11は、上記つまみジェスチャーを検出すると、それに応じた表示制御(表示変化)処理を実行する(ステップ50)。図9は、当該つまみジェスチャーに応じた具体的な表示制御処理の一例を示した図である。同図(A)及び(B)がつまみジェスチャーの入力時、同図(C)がつまみジェスチャーの入力後の様子をそれぞれ示す。
【0057】
同図(A)に示すように、タッチパネル2aには、例えば風景(背景)写真等のオブジェクトO1が表示され、タッチパネル2bには、例えば人物写真等のオブジェクトO2が表示されている。この状態から、同図(A)及び(B)に示すように、ユーザが2本の指F1及びF2で上記つまみジェスチャーを入力する。すると、CPU11は、同図(B)に示すように、当該オブジェクトO1及びO2をそれぞれ光センサ5側に移動させる。さらにCPU11は、例えば両オブジェクトO1及びO2間の距離(両タッチ点間の距離)が所定距離以下になった場合、同図(C)に示すように、当該オブジェクトO1とオブジェクトO2とを合成して表示する。すなわち、CPU11は、例えば、背景写真のオブジェクトO1の上に、人物写真のオブジェクトO2を合成して、新たな写真のオブジェクトO3を生成して、一方のタッチパネル2a(もしくはタッチパネル2b)に表示させる。
【0058】
このような合成処理以外にも、このつまみジェスチャーに応じた表示制御処理としては、種々のものが想定される。例えばCPU11は、タッチパネル2a及び2bにそれぞれ表示されたスライム状もしくは細胞状の各オブジェクトを、上記つまみジェスチャーに応じて1つに合体させるような表示制御を実行してもよい。このような表示制御は例えばゲームアプリケーション等に適用され得る。
【0059】
また、CPU11は、写真等の2つのオブジェクトに対するつまみジェスチャーに応じて、両オブジェクトを1つのアルバムデータとして上記フラッシュメモリ13等に記憶するような処理を実行してもよい。
【0060】
図4に戻り、CPU11は、上記ステップ47において、タッチ点が近づく方向に直線移動していないと判断した場合(NO)、当該タッチ点が離れる方向に直線移動しているか否かを判断する(ステップ51)。
当該タッチ点が離れる方向に直線移動していないと判断した場合(NO)、CPU11は、検出可能ないずれのジェスチャーも入力されていないと判断し、オブジェクトの連動表示制御処理を終了する。
【0061】
当該タッチ点が離れる方向に直線移動していると判断した場合(YES)、CPU11は、上記光センサ5が上記所定距離範囲内で物体(手)を検出したか否かを判断する(ステップ52)。
【0062】
当該所定距離範囲内で物体(手)が検出された場合(YES)、CPU11は、当該タッチ操作がズームジェスチャーであると判断する(ステップ53)。
【0063】
図10は、このズームジェスチャーの様子の一例をタッチパネル2a及び2bの平面方向から示した図である。
同図(A)及び(B)に示すように、ユーザは、2本の指F1及びF2(親指と人差指)をそれぞれタッチパネル2a及び2bにタッチし、両指F1及びF2のタッチ点が離れる逆方向(同図矢印方向)に直線的に移動させる。
このジェスチャーは上記つまみジェスチャーとは逆方向のジェスチャーとなる。この場合、CPU11は、当該タッチ点が離れる直線逆方向のタッチ操作を検出するとともに、光センサ5により手が検出されたことを確認する。
【0064】
図4に戻り、CPU11は、上記ズームジェスチャーを検出すると、それに応じた表示制御(表示変化)処理を実行する(ステップ53)。図11は、当該ズームジェスチャーに応じた具体的な表示制御処理の一例を示した図である。同図(A)及び(B)がズームジェスチャーの入力時、同図(C)がズームジェスチャーの入力後の様子をそれぞれ示す。
【0065】
同図(A)に示すように、タッチパネル2a及び2bには、例えば写真やウィンドウ等の1つのオブジェクトOの上側部分O1及び下側部分O2がそれぞれ表示されている。この状態から、同図(A)及び(B)に示すように、ユーザが2本の指F1及びF2で上記ズームジェスチャーを入力する。すると、CPU11は、同図(C)に示すように、当該オブジェクトOをズームさせる。すなわち、CPU11は、ズームされた状態のオブジェクトOを、タッチパネル2a及び2bでそれぞれオブジェクトO1及びO2として表示させる。
【0066】
図4に戻り、上記ステップ52において、当該所定距離範囲内で物体(手)が検出されなかった場合(NO)、CPU11は、当該タッチ操作が破りジェスチャーであると判断する(ステップ55)。
【0067】
図12は、この破りジェスチャーの様子の一例をタッチパネル2a及び2bの平面方向から示した図である。
同図(A)及び(B)に示すように、ユーザは、両手の各1本の指F1及びF2(各人差指)をそれぞれタッチパネル2a及び2bにタッチし、両指F1及びF2のタッチ点が離れる逆方向(同図矢印方向)に直線的に移動させる。
このタッチ操作は、ユーザが実際の書類を破る場合の動きに類似している。ここで、このタッチ操作の移動方向は、上記ズームジェスチャーと同じである。そのため、ユーザは、両指F1及びF2または両手がいずれも光センサ5上に位置しないようにタッチ操作を行う。すなわち、同一方向のタッチ操作であっても、光センサ5による検出の有無により、上記ズームジェスチャーと破りジェスチャーとが区別される。CPU11は、当該タッチ点が離れる直線逆方向のタッチ操作を検出するとともに、光センサ5により手が検出されていないことを確認する。
【0068】
図4に戻り、CPU11は、上記破りジェスチャーを検出すると、それに応じた表示制御(表示変化)処理を実行する(ステップ56)。図13は、当該破りジェスチャーに応じた具体的な表示制御処理の一例を示した図である。同図(A)及び(B)が破りジェスチャーの入力時、同図(C)が破りジェスチャーの入力後の様子をそれぞれ示す。
【0069】
同図(A)に示すように、タッチパネル2a及び2bには、例えば文書ファイル等の1つのオブジェクトOの上側部分O1及び下側部分O2がそれぞれ表示されている。この状態から、同図(A)及び(B)に示すように、ユーザが2本の指F1及びF2で上記破りジェスチャーを入力する。すると、CPU11は、同図(B)に示すように、当該オブジェクトOが、一片O1と他片O2とに破れるように変化させる。
さらに、CPU11は、同図(C)に示すように、当該オブジェクトOに対応するデータを上記フラッシュメモリ13等から削除するか否かをユーザに確認するためのポップアップウィンドウWを表示させてもよい。この場合ユーザは、当該ポップアップウィンドウW上で、当該データを削除するか否かをタッチ操作により選択する。CPU11は、当該選択に応じた処理を実行する。
【0070】
図4に戻り、上記ステップ42において、各タッチ操作が同時に検出されていないと判断した場合(NO)、CPU11は、タッチパネル2a及び2bに対する各タッチ操作の検出時間差が所定時間内であるか否かを判断する(ステップ57)。
すなわちCPU11は、タッチパネル2a(2b)に対するタッチ操作が検出されてから所定時間内にタッチパネル2b(2a)に対するタッチ操作が検出されたか否かを判断する。ここで所定時間は例えば3秒程度であるが、これに限られない。
この検出時間差が所定時間内でないと判断した場合(NO)、CPU11はオブジェクトの連動表示制御処理を終了する。
【0071】
この検出時間差が所定時間内であると判断した場合(NO)、CPU11は両タッチ点が同じ方向回りに円を描いているか否かを判断する(ステップ58)。両タッチ点が同じ方向回りに円を描いていないと判断した場合(NO)、CPU11はオブジェクトの連動表示制御処理を終了する。
【0072】
両タッチ点が同じ方向回りに円を描いていると判断した場合(YES)、CPU11は、当該タッチ操作がグループ化ジェスチャーであると判断する(ステップ59)。
【0073】
図14は、このグループ化ジェスチャーの様子の一例をタッチパネル2a及び2bの平面方向から示した図である。
同図(A)に示すように、ユーザは、片手の1本の指F(人差指)をまずタッチパネル2aにタッチして例えば時計回り等の所定方向に円を描くように移動させる。続いてユーザは、上記所定時間内に、指Fをタッチパネル2bにタッチして上記タッチパネル2aにおける移動方向と同一方向に円を描くように移動させる。CPU11は、これら一連の円を描くようなタッチ操作を、グループ化ジェスチャーとして検出する。
【0074】
図4に戻り、CPU11は、上記グループ化ジェスチャーを検出すると、それに応じた表示制御(表示変化)処理を実行する(ステップ60)。図15は、当該グループ化ジェスチャーに応じた具体的な表示制御処理の一例を示した図である。同図(A)及び(B)がグループ化ジェスチャーの入力時、同図(C)がグループ化ジェスチャーの入力後の様子をそれぞれ示す。
【0075】
同図(A)に示すように、タッチパネル2a及び2bには、例えばファイルのアイコン等の各オブジェクトO1及びO2がそれぞれ表示されている。この状態から、同図(A)及び(B)に示すように、ユーザが指F2で所定時間内に上記グループ化ジェスチャーを入力する。すると、CPU11は、同図(C)に示すように、当該オブジェクトO1及びO2を囲むグループ枠Gを表示させる。
さらにCPU11は、当該グループ枠Gで囲まれたオブジェクトO1及びO2(ファイルのアイコン)に対応するデータを、グループ化して上記フラッシュメモリ13等に記憶させる。
またこのとき、CPU11は、当該グループ化処理を実行したことを示すテキストや画像等をタッチパネル2aまたは2bに表示させてもよい。例えばCPU11は、後に囲まれたオブジェクトO2が表示されているタッチパネル2b上に当該テキストや画像等を表示させる。もちろん、それがタッチパネル2aに表示されてもよい。
【0076】
このオブジェクトO1及びO2は、アイコンでなくても、例えば写真や文書等のファイルであってもよく、その面積も各タッチパネル2a及び2bのタッチ面よりも小さければどの程度でもよい。
またCPU11は、2つのオブジェクトが囲まれる場合のみならず、3つ以上のオブジェクトが連続して囲まれるタッチ操作が検出された場合にも同様にそれらのオブジェクトをグループ化することができる。
【0077】
以上により、オブジェクトの連動表示制御処理が終了する。
【0078】
[2つのタッチパネルの用途]
本実施形態における2つのタッチパネル2a及び2bの用途としては、種々のものが想定される。
【0079】
例えば、上述したように、2つのタッチパネル2a及び2bが1つの画面として用いられてもよい。この場合、両タッチパネル2a及び2bに亘って1つのオブジェクトが表示され、タッチパネル2a及び2bへの各タッチ操作に応じて1つのまとまった処理が実行される。
【0080】
また、一方のタッチパネル2a(2b)がクラウド側、他方のタッチパネル2b(2a)がクライアント側として用いられてもよい。
クラウド側には、上記通信部14を介して接続されたネットワーク上のクラウドサービスプロバイダのコンピュータからダウンロードされた画像が表示され、クライアント側には、当該携帯情報機器100に記憶されているファイル等の画像が表示される。
ユーザは、クラウド側、クライアント側の各オブジェクトに対して上記各種タッチジェスチャーを入力することで、携帯情報機器100に、各オブジェクトの表示位置の切り替え、合成、グループ化等の処理を実行させることができる。
【0081】
また、2つのタッチパネル2a及び2bがマルチタスクにおける各タスク用に用いられてもよい。
この場合、ユーザは2つのタッチパネル2a及び2b間で相互に各オブジェクトに対して上記各種タッチジェスチャーを入力することで、各タスク用画面の表示位置を切り替えたり、各タスクを1つのタスクにまとめたりすることができる。
【0082】
[本実施形態のまとめ]
以上説明したように、本実施形態によれば、携帯情報機器100は、2つのタッチパネル2a及び2bに対する各タッチ操作(タッチジェスチャー)に応じて、当該タッチジェスチャーの対象となる各オブジェクトの表示を連動させて変化させることができる。
したがって、携帯情報機器100は、単一のタッチパネルを用いる場合に比べて、複数のオブジェクトを別個に処理できるのみならず、まとめて処理することもできるため、ユーザの用途に応じて処理の柔軟性を向上させることができる。
さらに、各タッチジェスチャーは、実際の物や書類を回転させる動作、つまむ動作、広げる動作、破る動作等に類似しているため、ユーザは各ジェスチャーに対応する表示制御処理を直感的に実行させることができる。
【0083】
[変形例]
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【0084】
上述の実施形態においては、上記図12及び図13に示したように、破るジェスチャーとして各図縦方向(Y方向)へのジェスチャーを例に挙げた。しかし、この破るジェスチャーは、横方向(X方向)や斜め方向であっても構わない。
破るジェスチャーが横方向である場合、ジェスチャー方向は、直線的か曲線的かの違いはあるものの、上記図5及び図6で示した回転ジェスチャーと類似する場合も考えられる。しかし、CPU11は、上記光センサ5の検出の有無を確認することで、両ジェスチャーを確実に区別し、誤検出を防ぐことができる。
【0085】
上述の実施形態においては、携帯情報機器100は、回転、まとめ、ズーム、破り、グループ化の各タッチジェスチャーを全て検出しそれらに応じた表示制御(表示変化)処理を実行していた。しかし、携帯情報機器100は、これらの各ジェスチャーの少なくとも1つを検出し、それに応じた表示制御処理を実行できればよい。
【0086】
上述の実施形態においては、携帯情報機器100に2つのタッチパネル2a及び2bが設けられる例を示した。しかし、タッチパネルの数は複数であれば2つに限られるものではなく、各タッチパネル間で上述と同様の処理を実行可能である。
【0087】
上述の実施形態においては、各タッチパネル2a及び2bへのタッチ操作はユーザの指により入力されたが、例えばスタイラスペン等の器具を用いて入力されてもよい。
【0088】
上述の実施形態において本発明を適用可能な携帯情報機器100としては、例えば携帯電話機、PDA、スマートフォン、携帯型音楽/動画プレイヤー、電子辞書、電子手帳等のあらゆる情報処理装置が挙げられる。
また本発明は携帯情報機器に限られず据置型のあらゆる情報処理装置にも同様に適用可能である。
【符号の説明】
【0089】
1(1a、1b)…筐体
2(2a、2b)…タッチパネル
5…光センサ
5a、5b…光センサ部
11…CPU
12…RAM
13…フラッシュメモリ
14…通信部
25(25a、25b)…ディスプレイ
100…携帯情報機器
O(O1、O2)…オブジェクト
F(F1、F2)…指
G…グループ枠

【特許請求の範囲】
【請求項1】
第1のオブジェクトを表示し、当該第1のオブジェクトに対するユーザの第1のタッチ操作を検出する第1のタッチパネルと、
第2のオブジェクトを表示し、当該第2のオブジェクトに対する前記ユーザの第2のタッチ操作を検出する第2のタッチパネルと、
前記第1のタッチ操作が検出されてから所定時間内に前記第2のタッチ操作が検出された場合に、前記表示された第1のオブジェクトと前記表示された第2のオブジェクトとを連動させて変化させる制御部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記第1のタッチ操作と前記第2のタッチ操作とは互いに逆方向の操作である
情報処理装置。
【請求項3】
請求項2に記載の情報処理装置であって、
前記制御部は、前記第1のタッチ操作が検出されてから前記所定時間内に前記第2のタッチ操作が検出された場合に、前記第1のオブジェクトを前記第2のタッチパネルに表示させ、前記第2のオブジェクトとを前記第1のタッチパネルに表示させる
情報処理装置。
【請求項4】
請求項2に記載の情報処理装置であって、
前記第1のオブジェクト及び前記第2のオブジェクトは、1つの第3のオブジェクトの各一部として表示され、
前記第1のタッチ操作及び前記第2のタッチ操作はそれぞれ回転方向の操作であり、
前記制御部は、前記第1のタッチ操作が検出されてから前記所定時間内に前記第2のタッチ操作が検出された場合に、前記第3のオブジェクトを回転させる
情報処理装置。
【請求項5】
請求項2に記載の情報処理装置であって、
前記第1のオブジェクト及び前記第2のオブジェクトは、1つの第3のオブジェクトの各一部として表示され、
前記第1のタッチ操作及び前記第2のタッチ操作は互いに離れる方向への操作であり、
前記制御部は、前記第1のタッチ操作が検出されてから前記所定時間内に前記第2のタッチ操作が検出された場合に、前記第3のオブジェクトを当該第3のオブジェクトが破れるように変化させる
情報処理装置。
【請求項6】
請求項5に記載の情報処理装置であって、
前記第3のオブジェクトに対応するデータを記憶する記憶部をさらに具備し、
前記制御部は、前記第3のオブジェクトが変化した場合に、前記データを前記記憶部から削除する
情報処理装置。
【請求項7】
請求項2に記載の情報処理装置であって、
前記第1のタッチ操作及び前記第2のタッチ操作は互いに近づく方向への操作であり、
前記制御部は、前記第1のタッチ操作が検出されてから前記所定時間内に前記第2のタッチ操作が検出された場合に、前記第1のオブジェクト及び前記第2のオブジェクトを、当該第1のオブジェクト及び第2のオブジェクトが1つにまとまるように変化させる
情報処理装置。
【請求項8】
請求項2に記載の情報処理装置であって、
前記第1のタッチパネルと前記第2のタッチパネルとの間に設けられ、当該第1のタッチパネル及び当該第2のタッチパネルから所定距離に存在する物体を検出する光センサをさらに具備し、
前記制御部は、前記第1のタッチ操作が検出されてから前記所定時間内に前記第2のタッチ操作が検出され、かつ、前記光センサにより物体が検出された場合に、前記表示された第1のオブジェクトと前記表示された第2のオブジェクトとを連動させて変化させる
【請求項9】
請求項8に記載の情報処理装置であって、
前記制御部は、前記光センサにより物体が検出された場合に、前記表示された第1のオブジェクトと前記表示された第2のオブジェクトとを第1の態様で変化させ、前記光センサにより物体が検出されない場合に、前記表示された第1のオブジェクトと前記表示された第2のオブジェクトとを前記第1の態様とは異なる第2の態様で変化させる
情報処理装置。
【請求項10】
請求項1に記載の情報処理装置であって、
前記第1のオブジェクトに対応する第1のデータ及び前記第2のオブジェクトに対応する第2のデータを記憶する記憶部をさらに具備し、
前記第1のタッチ操作は、所定の回転方向で前記第1のオブジェクトを囲む操作であり、
前記第2のタッチ操作は、前記所定の回転方向で前記第2のオブジェクトを囲む操作であり、
前記制御部は、前記第1のタッチ操作が検出されてから前記所定時間内に前記第2のタッチ操作が検出された場合に、前記記憶部に、前記第1のデータ及び前記第2のデータをグループ化して記憶させる
情報処理装置。
【請求項11】
第1のタッチパネルにより、第1のオブジェクトを表示し、当該第1のオブジェクトに対するユーザの第1のタッチ操作を検出し、
第2のタッチパネルにより、第2のオブジェクトを表示し、当該第2のオブジェクトに対する前記ユーザの第2のタッチ操作を検出し、
前記第1のタッチ操作が検出されてから所定時間内に前記第2のタッチ操作が検出された場合に、前記表示された第1のオブジェクトと前記表示された第2のオブジェクトとを連動させて変化させる
情報処理方法。
【請求項12】
第1のタッチパネル及び第2のタッチパネルを有する情報処理装置に、
前記第1のタッチパネルにより、第1のオブジェクトを表示し、当該第1のオブジェクトに対するユーザの第1のタッチ操作を検出するステップと、
前記第2のタッチパネルにより、第2のオブジェクトを表示し、当該第2のオブジェクトに対する前記ユーザの第2のタッチ操作を検出するステップと、
前記第1のタッチ操作が検出されてから所定時間内に前記第2のタッチ操作が検出された場合に、前記表示された第1のオブジェクトと前記表示された第2のオブジェクトとを連動させて変化させるステップと
を実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2010−250465(P2010−250465A)
【公開日】平成22年11月4日(2010.11.4)
【国際特許分類】
【出願番号】特願2009−97724(P2009−97724)
【出願日】平成21年4月14日(2009.4.14)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】