タッチスクリーン装置、タッチ操作入力方法及びプログラム
【課題】表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作できるようにする。
【解決手段】タッチスクリーン装置は、複数レイヤ（レイヤ１〜４）に区分して定義された表示オブジェクトを、レイヤごとに配置してタッチパネルディスプレイ２０の画面に表示する。ここで、接触点の数（ユーザがタッチ操作する指６０の数）を検出し、接触点の数に基づいて操作対象の表示オブジェクトのレイヤを選択する。１本の指で移動操作すると、レイヤ１のサムネイルリスト土台１５とともに、レイヤ２のサムネイル１６が同方向に動く。２本の指で移動操作すると、レイヤ４のスクロール操作バー１４が動き、レイヤ１のサムネイルリスト土台１５及びレイヤ２のサムネイル１６が逆方向に動く。
【解決手段】タッチスクリーン装置は、複数レイヤ（レイヤ１〜４）に区分して定義された表示オブジェクトを、レイヤごとに配置してタッチパネルディスプレイ２０の画面に表示する。ここで、接触点の数（ユーザがタッチ操作する指６０の数）を検出し、接触点の数に基づいて操作対象の表示オブジェクトのレイヤを選択する。１本の指で移動操作すると、レイヤ１のサムネイルリスト土台１５とともに、レイヤ２のサムネイル１６が同方向に動く。２本の指で移動操作すると、レイヤ４のスクロール操作バー１４が動き、レイヤ１のサムネイルリスト土台１５及びレイヤ２のサムネイル１６が逆方向に動く。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接触操作により入力指示等を行うタッチスクリーン装置、タッチ操作入力方法及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯端末等の電子機器に見られるように、画面に表示されたアイテムを指で接触することで操作可能なタッチスクリーン装置が数多く登場している。
【０００３】
この種のタッチスクリーン装置の入力操作に関する技術として、例えば４本の指と親指を回すジェスチュア動作により、グラフィカルユーザインタフェース（ＧＵＩ）である画面を回転させることが知られている（特許文献１参照）。
【０００４】
また、１本以上の指の接触を、画面スクロール、拡大・縮小、スクリーン回転などのコマンドに対応させることが知られている（特許文献２参照）。
【０００５】
また、複数の接触点のうち、１つの接触点の検出座標の変化を検出した場合、この検出座標が存在する領域のオブジェクトを変化量に応じて移動させることが知られている（特許文献３参照）。
【０００６】
このように、アイテムリスト（例えば、写真のサムネイル一覧）画面におけるスライドやフリック操作（軽く払う操作）として、「画面全体のスクロール」や「アイテムそのものに対する操作（座標移動）」を、接触する指の本数やジェスチャによって切り替えることが可能である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００９−５３７０５１号公報
【特許文献２】特表２０１０−５０３１２７号公報
【特許文献３】国際公開第２０１０／００８０８８号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来のタッチスクリーン装置では、次のような課題があり、より一層の改善が要望されている。
【０００９】
課題の一つとして、アイテムリストにおける画面の表示位置を表すスクロールバーに関するものがある。画面に表示するアイテム数が多い場合、リストを大きく移動させるためには、画面を何度もスライドしてスクロールさせなければならないが、スクロールバーに触ることでスクロール操作を可能にすることによって、使いやすさが向上すると考えられる。しかし、画面の小さなモバイル機器では、サムネイルの一覧性と操作のしやすさを考慮し、使いやすいユーザインターフェース（ＵＩ）を実現する必要がある。
【００１０】
例えば、アイテムリストとして写真のサムネイルを表示する場合、サムネイルの表示個数やサムネイルの表示エリアを優先的に確保し、画面を見やすくするためには、サムネイルとスクロールバーを重畳して表示することが考えられる。この場合、スクロールバーを触ってスクロールさせるつもりが、接触位置が他の領域にかかって画面全体のスクロールやサムネイルの移動になってしまい、ユーザの意図に反するスクロールあるいは移動を行
ってしまうことがある。また、操作対象の切り替えが複雑になってしまう。
【００１１】
また、サムネイルの表示領域とは独立したスクロールバー専用領域を設けた場合を考える。この場合、１画面内に同時表示可能なサムネイルの枚数を維持すると、サムネイルの表示サイズが小さくなってしまう。逆に、サムネイルの表示サイズを維持すると、１画面内に同時表示可能なサムネイルの枚数が少なくなり、一覧性が下がる。
【００１２】
また、指の接触時間（通常のタッチ、長タッチ等）によって操作対象の切り替えを行う場合を考える。この場合、接触時間の判定を行うために、「通常タッチ」であっても「リリース判定」（タッチしてから長タッチと判定される時間未満で離したタイミング）の後に動作を行う必要がある。このため、操作のレスポンス（ユーザがタッチ操作を行ってから、その画面が動作するまでの反応速度）が低下してしまう。
【００１３】
ここでは、スクロールバーの場合について説明したが、その他、アイテムまたはＧＵＩの部品が画面内で重畳する場合、同様に誤操作が発生しやすいと考えられる。また、マルチタスクによる画面表示としていくつかの機能あるいは画面（ウインドウ）が表示されている場合、ユーザは操作対象とする機能あるいは画面をアクティブにしてから、そのアクティブになった機能あるいは画面に対する操作を行うことになる。このため、操作対象が非アクティブ状態の場合、その都度、非アクティブからアクティブに切り替える操作が必要となる。
【００１４】
本発明は、上記事情に鑑みてなされたもので、その目的は、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作可能にすることにある。
【００１５】
また、本発明の他の目的は、画面内に複数の操作対象の表示オブジェクトがある場合に、操作対象への操作、操作対象の切り替え等を行う際の操作レスポンスを向上させることにある。
【課題を解決するための手段】
【００１６】
本発明は、接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置であって、複数レイヤに区分して定義された表示オブジェクトの情報を保持する表示情報保持部と、前記表示オブジェクトをレイヤごとに配置して前記タッチパネルディスプレイの画面に表示する表示処理部と、前記タッチパネルディスプレイにおける接触操作物体の接触点を検出する接触点検出部と、前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行する操作入力実行部と、を備える。
【発明の効果】
【００１７】
本発明によれば、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作できるようになる。また、画面内に複数の操作対象の表示オブジェクトがある場合に、操作対象への操作、操作対象の切り替え等を行う際の操作レスポンスを向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態のタッチスクリーン装置の構成を示すブロック図
【図２】タッチパネルディスプレイに表示されるサムネイルリスト画面を示す図
【図３】サムネイルリスト画面のレイヤ階層を示す図
【図４】サムネイルリスト画面の各レイヤに対する操作パターンを示すテーブル
【図５】第１の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数を定義した設定例を示すテーブル
【図６】（Ａ）、（Ｂ）は第１の実施形態における画面上の動作の具体例を示す図
【図７】第１の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャート
【図８】第２の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数及び移動方向を定義した設定例を示すテーブル
【図９】第２の実施形態における画面上の動作の具体例を示す図
【図１０】第２の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャート
【図１１】第３の実施形態の動作として、指の接触点数に対するＵＩとしての動作を定義した設定例を示すテーブル
【図１２】（Ａ）、（Ｂ）は第３の実施形態における画面上の動作の具体例を示す図
【図１３】第３の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャート
【図１４】画面の表示態様の第２変形例を示す図
【図１５】画面の表示態様の第３変形例を示す図
【図１６】画面の表示態様の第４変形例を示す図
【発明を実施するための形態】
【００１９】
本発明に係るタッチスクリーン装置、タッチ操作入力方法及びプログラムについて、以下に説明する。本実施形態のタッチスクリーン装置は、携帯電話やスマートフォン等の携帯端末装置、あるいは携帯ゲーム装置や携帯オーディオ装置など、小型の電子機器に搭載される。
【００２０】
（第１の実施形態）
図１は、第１の実施形態のタッチスクリーン装置の構成を示すブロック図である。タッチスクリーン装置１は、制御部１０、ＲＯＭ４０、ＲＡＭ５０、タッチパネルディスプレイ２０、及び記憶部３０を有する。
【００２１】
制御部１０は、周知のプロセッサを含むコンピュータにより構成され、タッチスクリーン装置１全体を制御する。ＲＯＭ４０には、タッチスクリーン装置１の動作に関する、各種のデータがあらかじめ記憶されている。ＲＡＭ５０には、制御部１０の各処理における一時的なデータが記憶される。
【００２２】
タッチパネルディスプレイ２０は、液晶表示器等の表示デバイスを有してなる。このタッチパネルディスプレイ２０は、操作検出部２５及び表示処理部２６を有する。操作検出部２５は、表示デバイス上に配置されたユーザが接触操作可能な平面状の操作入力デバイスによるタッチパネルからなり、ユーザの指の接触（タッチ）点の座標や動き（ジェスチュア）を検出する。ここでは、接触操作物体としてユーザの指を想定しているが、スタイラスペンなどの他の接触操作物体を使用して接触操作を行うものでもよい。表示処理部２６は、タッチパネルディスプレイ２０の表示デバイスの画面における表示処理を行う。
【００２３】
記憶部３０には、オペレーティングシステム（ＯＳ）３８、周辺機器をＯＳ３８に認識させるドライバ（ソフトウェア）３６、コンテンツ管理部３３、及びアプリケーションプログラム３１が格納されている。コンテンツ管理部３３は、写真、ドキュメントなどのコンテンツデータを登録・管理するものである。アプリケーションプログラム３１は、後述する写真管理プログラムなど、各種のアプリケーションを実行するプログラムを含む。このアプリケーションプログラム３１は、プログラム実行時の各種画面の情報を含む。
【００２４】
ここでは、写真管理プログラムのアプリケーションを起動し、写真のサムネイルをリス
ト表示したサムネイルリスト画面を表示する場合のタッチスクリーン装置の動作について説明する。このサムネイルリスト画面により、ユーザが各写真の内容を示すサムネイルを一覧することができる。
【００２５】
図２はタッチパネルディスプレイ２０に表示されるサムネイルリスト画面を示す図である。
【００２６】
タッチパネルディスプレイ２０のサムネイルリスト画面２０ａには、メニューボタン１１、戻るボタン１２、スクロール全体バー１３、スクロール操作バー１４、背景画像となるサムネイルリスト土台（ベース）１５、及び複数枚のサムネイル１６が表示されている。ここで、スクロール全体バー１３とスクロール操作バー１４とを含んでスクロールバー２１（図３参照）が構成される。また、サムネイルリスト土台１５とサムネイル１６とを含んでサムネイルリスト２２（図３参照）が構成される。
【００２７】
サムネイルリスト画面２０ａに表示されるこれらの画像（表示オブジェクト）は、複数レイヤに階層化して区分し、レイヤ（階層）ごとに分割されて定義され、表示オブジェクトの情報が記憶部３０内のアプリケーションプログラム３１において保持されている。表示オブジェクトとしては、写真等のサムネイルやアイコンなどの操作対象物を示すアイテム、スクロールバーやボタンなどのＧＵＩ部品、アプリケーションの動作に伴い各種表示を行う操作対象となるウインドウなどが含まれる。
【００２８】
ここで、記憶部３０が表示情報保持部の機能を実現する。また、表示処理部２６が、制御部１０の制御動作に従い、複数レイヤに区分して定義された表示オブジェクトをタッチパネルディスプレイ２０の画面に表示する機能を実現する。また、操作検出部２５が、制御部１０の制御動作に従い、タッチパネルディスプレイ２０における接触点の数、接触点の状況などを検出する接触点検出部の機能を実現する。また、制御部１０が、タッチパネルディスプレイ２０における接触操作に応じた操作入力動作を実行する操作入力実行部の機能を実現する。
【００２９】
図３はサムネイルリスト画面２０ａのレイヤ階層を示す図である。本実施形態では、タッチパネルディスプレイ２０の画面に表示される表示オブジェクトを、レイヤ０〜レイヤ４までの５つのレイヤ階層に分割した場合を示す。前述したアプリケーションプログラム３１には、タッチパネルディスプレイ２０の画面に表示される表示オブジェクトの画像データと、この表示オブジェクトが配置されるレイヤとの対応関係を表すテーブルが登録され、記憶されている。
【００３０】
具体的に、レイヤ０には、アプリケーションの実行画面が表示されるアプリケーションウインドウ１８が配置される。レイヤ１には、アイテムリストの背景としてサムネイルリスト土台１５が配置される。レイヤ２には、アイテムとしてサムネイル１６が配置される。レイヤ３には、固定されたＵＩ操作部品（ＧＵＩ部品）としてスクロール全体バー１３、メニューボタン１１及び戻るボタン１２が配置される。レイヤ４には、可動自在なＵＩ操作部品としてスクロール操作バー１４が配置される。
【００３１】
ここで、タッチパネルディスプレイ２０の画面に表示される画像をレイヤ０〜レイヤ４までの５つのレイヤ階層に分割する基準について説明する。
【００３２】
基本的に、レイヤの分割基準は、画面表示におけるユーザの見た目に合わせたものとする。すなわち、最下層にアプリケーションウインドウ、最上層にＵＩ操作用の部品を配置し、これらの間（中間層）にその画面における主たる情報やファイルを表示することが行われる。
【００３３】
具体的に、サムネイルリスト画面２０ａでは、写真の一覧表示を行うアプリケーションウインドウ１８を最下層（レイヤ０）に配置し、その上（中間層）にサムネイルリスト２２を配置する。さらに、その上（最上層）にＵＩ操作用の部品としてスクロールバー２１などを配置する。
【００３４】
さらに、サムネイルリスト２２は、サムネイルリスト全体を表す土台（背景）部分である「サムネイルリスト土台１５」と個々のサムネイルである「サムネイル１６」に分割することができる。この場合、前者を下位レイヤ（レイヤ１）に、後者を上位レイヤ（レイヤ２）配置する。
【００３５】
また、スクロールバー２１についても、スクロールの表示位置を変更するためのバーである「スクロール操作バー１４」とスクロールバー可能領域全体を表すバーである「スクロール全体バー１３」に分割することができる。この場合、後者を下位レイヤ（レイヤ３）に、前者を上位レイヤ（レイヤ４）に配置する。
【００３６】
サムネイルリストの場合に限らず、他のアイテムリスト画面においても、上記「サムネイル」を「アイテム」に置き換えることで複数レイヤに分割配置し、表示することが可能である。また、アプリケーションの他の例として、ブラウザのサイト表示画面においては、中間層を「サイトの情報表示（画像、テキストなど）部分＋リンク位置などを表すフォーカス」とすることで、複数レイヤに分割配置し、表示することが可能である。
【００３７】
次に、サムネイルリスト画面の各レイヤに対する操作について説明する。図４はサムネイルリスト画面の各レイヤに対する操作パターンを示すテーブルである。ここでは、操作パターンとして、パターン１、２、３が挙げられている。図４に示すように、操作パターンごとに、ＵＩとしての動作、各レイヤの表示オブジェクトの動作が定義されている。この操作パターンの選択により、操作対象となる表示オブジェクトのレイヤが選択され、当該レイヤに対する接触操作に応じた操作入力動作が実行される。
【００３８】
操作パターンのパターン１では、ＵＩとしての動作は、リスト画面の操作が実行される。この場合、レイヤ１が主操作レイヤとして接触点の移動に従って移動する。レイヤ２は主操作レイヤに付随した移動を行い、レイヤ１と同方向に移動する。レイヤ３は固定である。レイヤ４は主操作レイヤに付随した移動を行い、レイヤ１と逆方向に移動する。
【００３９】
操作パターンのパターン２では、ＵＩとしての動作は、スクロールバーの操作が実行される。この場合、レイヤ４が主操作レイヤとして接触点の移動に従って移動する。レイヤ１は主操作レイヤに付随した移動を行い、レイヤ４と逆方向に移動する。レイヤ２は主操作レイヤに付随した移動を行い、レイヤ４と逆方向に移動する。レイヤ３は固定である。
【００４０】
操作パターンのパターン３では、ＵＩとしての動作は、サムネイルの操作が実行される。この場合、レイヤ２が主操作レイヤとして接触点の移動に従って移動する。レイヤ１は主操作レイヤに付随した移動を行い、画面内の場合は固定である。レイヤ３は固定である。レイヤ４は主操作レイヤに付随した移動を行い、画面内の場合は固定である。
【００４１】
図５は第１の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数を定義した設定例を示すテーブルである。第１の実施形態は、指の接触点数（操作する指の本数）によって複数の操作パターンを切り替えるものである。
【００４２】
図５のように、タッチパネルディスプレイ２０に接触し、操作検出部２５にて検出された指の接触点数に応じて、操作パターンが定義されている。つまり、指の接触点数が１（
１本指での操作）の場合は操作パターンとしてパターン１の動作が実行される。指の接触点数が２（２本指での操作）の場合は操作パターンとしてパターン２の動作が実行される。指の接触点数が３（３本指での操作）の場合は操作パターンとしてパターン３の動作が実行される。
【００４３】
図６は第１の実施形態における画面上の動作の具体例を示す図である。図６（Ａ）は操作パターンのパターン１を、図６（Ｂ）は操作パターンのパターン２をそれぞれ示している。
【００４４】
パターン１はリスト画面（アイテムリスト）の操作である。このパターン１は、１本の指６０の接触により行われる。図６（Ａ）に示すように、１本の指６０でレイヤ１に配置されたサムネイルリスト土台１５をタッチして、図６の右方向に移動させると、この指の移動に合わせて、サムネイルリスト土台１５とともに、レイヤ２に配置されたサムネイル１６は右方向（同方向）に動く。このとき、レイヤ１に付随した動きとして、レイヤ４に配置されたスクロール操作バー１４は左方向（逆方向）に動く。なお、レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００４５】
パターン２はスクロールバー（ＧＵＩ部品）の操作である。このパターン２は、２本の指６０の接触により行われる。図６（Ｂ）に示すように、２本の指６０でレイヤ４に配置されたスクロール操作バー１４をタッチして、図６の右方向に２本の指６０を移動させると、スクロール操作バー１４は指の移動に合わせて右方向に動く。このとき、レイヤ４に付随した動きとして、レイヤ１に配置されたサムネイルリスト土台１５、及びレイヤ２に配置されたサムネイル１６は左方向（逆方向）に動く。なお、レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００４６】
従来では、スクロール操作バーを触ってスクロールさせるつもりが、誤ってサムネイルを触ってしまい、サムネイルが移動し、スクロール操作バーが反対に動いてしまうような不具合が生じていたが、本実施形態では、このような誤操作を回避できる。
【００４７】
図６には示していないが、パターン３はサムネイル個別の操作である。このパターン３は３本の指により行われる。３本の指でレイヤ２に配置されたサムネイル１６をタッチして移動させると、この指の移動に合わせて、サムネイル１６は同方向に移動する。このとき、サムネイル１６の移動が表示されている画面の範囲内である場合、レイヤ１、３、４にそれぞれ配置されたサムネイルリスト土台１５、スクロール全体バー１３、スクロール操作バー１４は固定されたままである。一方、サムネイル１６の移動が画面の範囲外まで大きくなると、レイヤ２に付随した動きとして、サムネイルリスト土台１５及びスクロール操作バー１４は同方向に移動する。なお、レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００４８】
このように、本実施形態では、表示オブジェクトを複数レイヤに分割してレイヤごとの動作を定義し、各レイヤの表示オブジェクトを配置する。そして、ユーザがタッチ操作する指の接触点数によって複数の操作パターンの切り替えを行い、操作パターンに応じた各レイヤの移動等の動作を行う。これにより、サムネイルリストを操作対象として移動させる操作と、スクロールバーを操作対象として移動させる操作とを明確に分けることができる。また、サムネイルのアイテム全体を移動させる操作と、サムネイルの個別アイテムを移動させる操作とを明確に分けることができる。従って、意図しない誤操作を無くすことができる。
【００４９】
図７は第１の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャートである。本タッチスクリーン装置の処理を実行するプログラムは、写真管理プログラムの
一部に含まれるものであり、記憶部３０内のアプリケーションプログラム３１として格納されており、制御部１０によって繰り返し実行される。
【００５０】
まず、制御部１０は、操作検出部２５により第１接触点が検出されるまで待つ（ステップＳ１）。
【００５１】
第１接触点が検出されると、制御部１０は、同時に接触している他の接触点があるか否かを判別する（ステップＳ２）。他の接触点が検出されている場合、制御部１０は、接触点の総数が３点以上であるか否かを判別する（ステップＳ３）。３点以上の接触点があった場合、制御部１０は、レイヤ２を選択し、接触点の移動などの操作指示が行われたか否かを判別する（ステップＳ４）。この場合の操作指示は、パターン３の移動指示である。ここで、ステップＳ１、Ｓ２、Ｓ３の処理は接触点検出部の機能に相当する。
【００５２】
操作指示があった場合、制御部１０は、接触点座標から操作対象となるサムネイルを決定し（ステップＳ５）、パターン３のサムネイルアイコンに対する移動操作を行う（ステップＳ６）。この後、制御部１０は本動作を終了する。このように、操作対象となるサムネイルは接触点の数及び接触点座標から決定されるので、操作性が良好である。ここで、ステップＳ５、Ｓ６の処理は操作入力実行部の機能に相当する。
【００５３】
一方、ステップＳ４で操作指示がなかった場合、制御部１０は、レイヤ２の選択を解除し、接触点が１点以上解除されたか否かを判別する（ステップＳ７）。１点以上解除された場合、制御部１０は、ステップＳ１の処理に戻る。また、解除されていない場合、制御部１０はステップＳ４の処理に戻る。
【００５４】
また、ステップＳ２で同時に接触している他の接触点がない場合、制御部１０は、レイヤ１を選択し、接触点の移動などの操作指示があるか否かを判別する（ステップＳ８）。この場合の操作指示は、パターン１の移動指示である。操作指示がない場合、制御部１０は、レイヤ１の選択を解除し、ステップＳ２の処理に戻る。一方、操作指示がある場合、制御部１０は、パターン１のリスト画面全体に対するスクロール操作を行う（ステップＳ９）。この後、制御部１０は本動作を終了する。
【００５５】
また、ステップＳ３で接触点の総数が３点未満である場合、つまり、接触点の総数が２点である場合、制御部１０は、レイヤ４を選択し、操作指示があるか否かを判別する（ステップＳ１０）。この場合の操作指示は、パターン２の移動指示である。操作指示がない場合、制御部１０は、レイヤ４の選択を解除し、接触点が１点解除されたか否かを判別する（ステップＳ１１）。１点解除された場合、制御部１０は、ステップＳ８の処理に戻る。一方、解除されない場合、制御部１０は、ステップＳ３の処理に戻る。
【００５６】
また、ステップＳ１０で操作指示があった場合、制御部１０は、接触点座標から対象となる部品（ここでは、パターン２であるので、スクロール操作バー１４）を決定する（ステップＳ１２）。そして、制御部１０は、パターン２のスクロール操作バー１４に対する操作を行う（ステップＳ１３）。この後、制御部１０は本動作を終了する。
【００５７】
第１の実施形態によれば、重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作することができる。また、操作対象の切り替えを行う際、接触時間を操作切り替えの判定に用いないので、操作レスポンスを向上させることができる。
【００５８】
また、小さな画面であっても、スクロール操作バーの操作と、画面のスクロール操作とを誤操作することなく両立させることができる。また、大量のアイテムが表示されたリス
トであっても、スクロール操作バーによる素早いスクロールと、画面スクロールによる細かい位置調整とを使い分けることができる。
【００５９】
（第２の実施形態）
第２の実施形態のタッチスクリーン装置は、前記第１の実施形態と同一の構成を有するので、同一の符号を付すことによりその説明を省略する。ここでは、前記第１の実施形態と異なる動作について説明する。
【００６０】
図８は第２の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数及び移動状態を定義した設定例を示すテーブルである。第２の実施形態は、指の接触点数（操作する指の本数）と接触点の状況とによって複数の操作パターンを切り替えるものである。接触点の状況としては、ここでは各接触点の移動状態（移動の有無、移動方向）を用いる。
【００６１】
図８のように、タッチパネルディスプレイ２０に接触し、操作検出部２５にて検出された指の接触点数と各接触点の移動方向に応じて、操作パターンが定義されている。つまり、指の接触点数が１（１本指での操作）の場合は操作パターンとしてパターン１の動作が実行される。指の接触点数が２（２本指での操作）であり、２つの接触点が同方向に移動する場合は操作パターンとしてパターン２の動作が実行される。指の接触点数が２（２本指での操作）であり、１つの接触点が固定でもう１つの接触点が移動する場合は操作パターンとしてパターン３の動作が実行される。ここでは、第１の実施形態とは異なるパターン３について説明する。
【００６２】
図９は第２の実施形態における画面上の動作の具体例を示す図である。この図９は操作パターンのパターン３を示している。
【００６３】
前述したように、パターン３はサムネイル個別の操作である。第２の実施形態では、前記第１の実施形態と異なり、パターン３は２本の指で操作指示が行われる。１本の指６０ａを接触させた状態で固定し、もう１本の指６０ｂを「Ｅ１４」のサムネイル１６に接触させた後、この指６０ｂをスライドさせると、操作対象となる「Ｅ１４」のサムネイル１６だけが同方向に移動する。
【００６４】
このとき、サムネイル１６の移動が表示されている画面の範囲内である場合、レイヤ１、３、４にそれぞれ配置されたサムネイルリスト土台１５、スクロール全体バー１３、スクロール操作バー１４は固定されたままである。一方、サムネイル１６の移動が画面の範囲外まで大きくなると、レイヤ２に付随した動きとして、サムネイルリスト土台１５及びスクロール操作バー１４は同方向に移動する。レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００６５】
なお、サムネイルアイコンに対する機能としては、ドラッグで「移動」、フリックで「開く」、「転送」などを行えるようにしてもよい。
【００６６】
図１０は第２の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャートである。本タッチスクリーン装置の処理を実行するプログラムは、写真管理プログラムの一部に含まれるものであり、記憶部３０内のアプリケーションプログラム３１として格納されており、制御部１０によって繰り返し実行される。
【００６７】
まず、制御部１０は、操作検出部２５により第１接触点が検出されるまで待つ（ステップＳ２１）。
【００６８】
第１接触点が検出されると、制御部１０は、同時に接触している他の接触点があるか否かを判別する（ステップＳ２２）。他の接触点が検出されている場合、制御部１０は、１つの接触点のみに移動指示があるか否かを判別する（ステップＳ２３）。１つの接触点のみ移動指示がある場合、パターン３の移動指示である。この場合、制御部１０は、レイヤ２を選択し、接触点座標から操作対象となるサムネイルを決定し（ステップＳ２４）、パターン３のサムネイルアイコンに対する移動操作を行う（ステップＳ２５）。この後、制御部１０は本動作を終了する。
【００６９】
一方、ステップＳ２２で同時に接触している他の接触点がない場合、制御部１０は、レイヤ１を選択し、接触点の移動などの操作指示（移動指示）があるか否かを判別する（ステップＳ２６）。操作指示がない場合、制御部１０は、レイヤ１の選択を解除し、ステップＳ２２の処理に戻る。一方、操作指示がある場合、制御部１０は、パターン１のリスト画面全体に対するスクロール操作を行う（ステップＳ２７）。この後、制御部１０は本動作を終了する。
【００７０】
また、ステップＳ２３で１つの接触点のみの移動指示がなかった場合、制御部１０は、両方同時に移動指示があったか否かを判別する（ステップＳ２８）。両方同時の移動指示があった場合、パターン２の移動指示である。この場合、制御部１０は、レイヤ４を選択し、接触点座標から対象となる部品（ここでは、スクロール操作バー１４）を決定する（ステップＳ２９）。そして、制御部１０は、パターン２のスクロール操作バー１４に対する操作を行う（ステップＳ３０）。この後、制御部１０は本動作を終了する。
【００７１】
一方、ステップＳ２８で両方同時の移動指示がなかった場合、制御部１０は、１点の接触が解除されたか否かを判別する（ステップＳ３１）。解除されていない場合、制御部１０は、ステップＳ２３の処理に戻る。一方、１点の接触が解除された場合、制御部１０は、ステップＳ２６の処理に戻る。
【００７２】
第２の実施形態では、操作パターンとしてパターン３の操作をする場合、接触している２本の指のうち、１本の指を固定し、もう１本の指を移動させる。これにより、接触点の数と各接触点の移動状態により、複数の操作パターンを選択的に切り替えることができる。例えば、操作対象の表示オブジェクトのレイヤとして、アイテム全体が配置されたレイヤと個別アイテムが配置されたレイヤとを選択的に切り替えられる。この場合、３本の指を使用する前記第１の実施形態に比べ、指の本数を２本に減らすことができる。したがって、接触させる指の範囲（複数の接触点の領域）が広がってサムネイルをうまく指定できない不具合が解消される。また、操作対象のサムネイルアイコン上には、１本の指があるだけであるので、アイコンの視認性を確保することができる。
【００７３】
（第３の実施形態）
第３の実施形態のタッチスクリーン装置は、前記第１の実施形態と同一の構成を有するので、同一の符号を付すことによりその説明を省略する。第３の実施形態では、前記第１、第２の実施形態におけるサムネイルリスト画面の操作の代わりに、ユーザインタフェース（ＵＩ）としてタッチパネルディスプレイに表示されたウインドウを操作する場合を示す。
【００７４】
図１１は第３の実施形態の動作として、指の接触点数に対するＵＩとしての動作を定義した設定例を示すテーブルである。図１１のように、タッチパネルディスプレイ２０に接触し、操作検出部２５にて検出された指の接触点数に応じて、ＵＩとしての動作が定義されている。つまり、指の接触点数が１（１本指での操作）の場合は上位レイヤ（アクティブ）に対する操作が実行される。指の接触点数が２（２本指での操作）の場合は下位レイヤ（非アクティブ）に対する操作が実行される。
【００７５】
図１２は第３の実施形態における画面上の動作の具体例を示す図である。タッチパネルディスプレイ２０には、２つのＵＩのウインドウが表示されている。下位レイヤには、第１のＵＩ（Ｇ１１）７１が配置され、上位レイヤには、第２のＵＩ（Ｈ１２）７２が配置されている。ここで、上位レイヤがアクティブ状態（有効）であり、下位レイヤが非アクティブ状態（無効）であるとする。
【００７６】
図１２（Ａ）に示すように、１本の指６０でタッチ操作を行うと、上位レイヤに配置されたアクティブであるＵＩ（Ｈ１２）７２に対する操作が行われる。また、図１２（Ｂ）に示すように、２本の指６０でタッチ操作を行うと、下位レイヤに配置された非アクティブであるＵＩ（Ｇ１１）７１に対する操作が行われる。
【００７７】
図１３は第３の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャートである。本タッチスクリーン装置の処理を実行するプログラムは、マルチタスク環境下で実行されるプログラム等に含まれるものであり、記憶部３０内のアプリケーションプログラム３１として格納されており、制御部１０によって繰り返し実行される。
【００７８】
まず、制御部１０は、操作検出部２５により第１接触点が検出されるまで待つ（ステップＳ４１）。
【００７９】
第１接触点が検出されると、制御部１０は、同時に接触している第２接触点があるか否かを判別する（ステップＳ４２）。第２接触点がある場合、制御部１０は、下位レイヤを選択し、接触点の移動などの操作指示があるか否かを判別する（ステップＳ４３）。
【００８０】
操作指示があると、制御部１０は、非アクティブな下位レイヤに対する操作を行う（ステップＳ４４）。この後、制御部１０は本動作を終了する。
【００８１】
一方、ステップＳ４２で第２接触点がない場合、制御部１０は、上位レイヤを選択し、接触点の移動などの操作指示があるか否かを判別する（ステップＳ４５）。操作指示がない場合、制御部１０は、上位レイヤの選択を解除し、ステップＳ４２の処理に戻る。一方、操作指示があると、制御部１０は、アクティブな上位レイヤに対する操作を行う（ステップＳ４６）。この後、制御部１０は本動作を終了する。
【００８２】
また、ステップＳ４３で操作指示がない場合、制御部１０は、下位レイヤの選択を解除し、１点の接触が解除されたか否かを判別する（ステップＳ４７）。解除されない場合、制御部１０は、ステップＳ４３の処理に戻る。一方、解除された場合、制御部１０は、ステップＳ４５の処理に戻る。
【００８３】
第３の実施形態によれば、タッチ操作する指の接触点数によって操作対象の表示オブジェクトのレイヤ（ここではウインドウ）を選択的に切り替え、移動等の操作をすることができる。これにより、非アクティブな状態にあるウインドウに対する操作が容易になる。通常、アクティブな状態にあるウインドウ（タスク）のみが操作対象となるので、一旦、操作したいものをアクティブ化する必要がある。しかし、第３の実施形態では、２本の指でタッチ操作するだけで、非アクティブな下位レイヤのＵＩに対する操作を直接行うことができる。これにより、操作がきわめて簡便になる。また、上記例では、上位と下位の２つのレイヤにそれぞれ２つのＵＩのウインドウ（表示オブジェクト）が配置された場合を示したが、３つ以上のレイヤにそれぞれ３つ以上のウインドウ（表示オブジェクト）が配置される場合も同様に実施可能である。
【００８４】
（変形例）
上述した第１、第２の実施形態では、タッチパネルディスプレイの画面に、サムネイルリスト土台、サムネイル、スクロール全体バー、スクロール操作バー、及びＵＩ操作用ボタン等の表示オブジェクトを、単に重ねて表示している。これらの表示オブジェクトは、配置されたレイヤをユーザに分かりやすく表示するために、以下のような変形例の表示態様としてもよい。
【００８５】
表示態様の第１変形例は、表示オブジェクトをタッチパネルディスプレイに同時に重畳した状態で表示するのではなく、パラパラ漫画のように、時間差を持たせてレイヤごとに順次表示するものである。この場合、下位レイヤの表示オブジェクトから１つずつ上位レイヤの表示オブジェクトを順に重ねるように、レイヤ別に時間差を持たせて表示する。
【００８６】
図１４は表示態様の第２変形例を示す図である。表示態様の第２変形例は、レイヤの識別を容易にしたサムネイルリスト画面の一例である。この第２変形例では、サムネイルリスト画面において、アイコンや部品などの表示オブジェクトをレイヤごとに立体的に表示している。このように、複数レイヤの表示オブジェクトを立体的に表現することで、ユーザは重畳された複数レイヤの区別や階層の上下関係などを容易に認識できる。
【００８７】
図１５は表示態様の第３変形例を示す図である。表示態様の第３変形例は、レイヤの識別を容易にしたサムネイルリスト画面の他の例である。この第３変形例では、サムネイルリスト画面において、レイヤ単位で表示態様を変更して表示している。図示例は、サムネイル１６の枠線を破線とし、スクロール全体バー１３の枠線を実線とし、スクロール操作バー１４の枠線を間隔の広い破線として表示している。このように、枠線の線種を変えることで、ユーザは表示オブジェクトが配置されたレイヤを識別することができる。
【００８８】
図１６は表示態様の第４変形例を示す図である。表示態様の第４変形例は、操作方法の説明を表示するガイダンス画面の例である。ガイダンス画面には、表示オブジェクトのレイヤに関するガイド表示を配置する。例えば、レイヤごとに表示オブジェクトの説明、各レイヤの表示オブジェクトの操作方法などを表示し、ユーザが確認することができる。この際、例えば所定のタッチ操作を行うことにより、操作方法のガイダンスをタッチパネルディスプレイに表示させる。操作方法のガイダンスの一例として、レイヤごとに、「指１本でスライド操作」、「指２本で一緒にスライド操作」、「指２本のうち、一方はタッチ位置固定、他方でアイコンをスライド操作」などを表示する。これにより、操作対象となるレイヤの選択をユーザに分かりやすく伝えることができ、使い勝手が向上する。
【００８９】
上述したように、本実施形態では、接触点の数に応じて操作対象となるレイヤを選択し、この選択されたレイヤに配置された表示オブジェクトに対し、接触点を変化させることで操作指示を行う。これにより、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作することができる。また、操作対象となる表示オブジェクトの切り替えを行う際、接触時間を操作切り替えの判定に用いないので、操作レスポンスを向上させることができる。
【００９０】
なお、上記実施形態では、表示オブジェクトに対する操作指示として、接触点の変化として、タッチ操作した指を移動させる場合を示したが、このような操作指示に限らず、例えばタッチした指の接触部分の面積を大小に変えることでもよい。
【００９１】
また、前記第２の実施形態では、指の接触点数が２である場合、接触点の状況として、２本の指を同時に移動させると、操作対象としてレイヤ４が選択され、１本の指を固定しもう１本の指を移動させると、操作対象としてレイヤ２が選択される場合を示した。これに限らず、例えば接触している２本の指が近接している場合と所定距離以上離れている場合とで、操作対象のレイヤが切り替わるようにしてもよい。
【００９２】
また、本発明のタッチスクリーン装置は、携帯電話やスマートフォン等の携帯端末装置に限らず、種々の電子機器に搭載可能である。
【００９３】
また、本発明は、上記実施形態の各機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介してタッチスクリーン装置に供給し、このタッチスクリーン装置のコンピュータが読み出して実行するプログラムも適用範囲である。
【００９４】
本発明に係る実施形態の種々の態様として、以下のものが含まれる。
【００９５】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置であって、複数レイヤに区分して定義された表示オブジェクトの情報を保持する表示情報保持部と、前記表示オブジェクトをレイヤごとに配置して前記タッチパネルディスプレイの画面に表示する表示処理部と、前記タッチパネルディスプレイにおける接触操作物体の接触点を検出する接触点検出部と、前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行する操作入力実行部と、を備えるタッチスクリーン装置。
上記構成により、複数レイヤに区分して定義された表示オブジェクトを表示し、検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作入力動作を実行できる。このため、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作可能となる。また、接触点の数によって操作対象の表示オブジェクトのレイヤを選択するため、操作対象への操作、操作対象の切り替え等を行う際の操作レスポンスを向上できる。
【００９６】
上記のタッチスクリーン装置であって、前記操作入力実行部は、前記検出された接触点の数と接触点の状況とに基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
上記構成により、検出された接触点の数と接触点の状況とに基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作入力動作を実行できる。この場合、より少ない接触点の数にて複数の表示オブジェクトのレイヤを選択可能である。
【００９７】
上記のタッチスクリーン装置であって、前記操作入力実行部は、前記接触点の数とともに、前記接触点の状況として各接触点の移動の有無、移動方向のうちの少なくとも一方に基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
上記構成により、接触点の数と、各接触点の移動の有無、移動方向とによって、操作対象の表示オブジェクトのレイヤを選択し、操作入力動作を実行できる。この場合、より少ない接触点の数にて多様な操作パターンを選択し切り替えることができる。
【００９８】
上記のタッチスクリーン装置であって、前記表示オブジェクトは、ＧＵＩ部品と、操作対象物を示すアイテムとを含み、前記操作入力実行部は、前記操作対象レイヤとして、前記ＧＵＩ部品が配置されたレイヤと前記アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
上記構成により、スクロールバー等のＧＵＩ部品と、画像のサムネイル等のアイテムとを選択的に切り替えて、一方の表示オブジェクトを操作対象として操作可能である。
【００９９】
上記のタッチスクリーン装置であって、前記表示オブジェクトは、操作対象物を示すアイテムを含み、前記操作入力実行部は、前記操作対象レイヤとして、前記アイテムのアイテム全体が配置されたレイヤと前記アイテムの個別アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
上記構成により、アイテム全体と個別アイテムとを選択的に切り替えて、一方の表示オブジェクトを操作対象として操作可能である。
【０１００】
上記のタッチスクリーン装置であって、前記表示オブジェクトは、操作対象となるウインドウを含み、前記操作入力実行部は、前記操作対象レイヤとして、前記ウインドウがそれぞれ配置された複数のレイヤを選択的に切り替える、タッチスクリーン装置。
上記構成により、複数のウインドウを選択的に切り替えて、一方の表示オブジェクトを操作対象として操作可能である。この場合、例えば重畳されて下に配置された非アクティブのウインドウを直接操作することが可能である。
【０１０１】
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに時間差を持たせて表示する、タッチスクリーン装置。
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに立体的に表示する、タッチスクリーン装置。
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトを表示する際、レイヤによって表示態様を変更して表示する、タッチスクリーン装置。
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトのレイヤに関するガイド表示を表示する、タッチスクリーン装置。
上記構成により、表示オブジェクトのレイヤの区別、各レイヤの操作方法などをユーザが容易に認識して操作できる。
【０１０２】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置におけるタッチ操作入力方法であって、複数レイヤに区分して定義された表示オブジェクトを、レイヤごとに配置して前記タッチパネルディスプレイの画面に表示するステップと、前記タッチパネルディスプレイにおける接触操作物体の接触点を検出するステップと、前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行するステップと、を有するタッチ操作入力方法。
【０１０３】
上記のタッチ操作入力方法の各ステップを、コンピュータに実行させるプログラム。
【０１０４】
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【０１０５】
本発明は、重畳または密接配置された表示オブジェクトに対して、ユーザが誤操作することなく操作対象に対して確実に操作可能となる効果を有し、接触操作により入力指示等を行うタッチスクリーン装置、タッチ操作入力方法及びプログラム等として有用である。
【符号の説明】
【０１０６】
１ タッチスクリーン装置
１０ 制御部
１１ メニューボタン
１２ 戻るボタン
１３ スクロール全体バー
１４ スクロール操作バー
１５ サムネイルリスト土台
１６ サムネイル
１８ アプリケーションウインドウ
２０ タッチパネルディスプレイ
２０ａ サムネイルリスト画面
２５ 操作検出部
２６ 表示処理部
３０ 記憶部
３１ アプリケーションプログラム
３３ コンテンツ管理部
３６ ドライバ
３８ ＯＳ
４０ ＲＯＭ
５０ ＲＡＭ
６０、６０ａ、６０ｂ 指
【技術分野】
【０００１】
本発明は、接触操作により入力指示等を行うタッチスクリーン装置、タッチ操作入力方法及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯端末等の電子機器に見られるように、画面に表示されたアイテムを指で接触することで操作可能なタッチスクリーン装置が数多く登場している。
【０００３】
この種のタッチスクリーン装置の入力操作に関する技術として、例えば４本の指と親指を回すジェスチュア動作により、グラフィカルユーザインタフェース（ＧＵＩ）である画面を回転させることが知られている（特許文献１参照）。
【０００４】
また、１本以上の指の接触を、画面スクロール、拡大・縮小、スクリーン回転などのコマンドに対応させることが知られている（特許文献２参照）。
【０００５】
また、複数の接触点のうち、１つの接触点の検出座標の変化を検出した場合、この検出座標が存在する領域のオブジェクトを変化量に応じて移動させることが知られている（特許文献３参照）。
【０００６】
このように、アイテムリスト（例えば、写真のサムネイル一覧）画面におけるスライドやフリック操作（軽く払う操作）として、「画面全体のスクロール」や「アイテムそのものに対する操作（座標移動）」を、接触する指の本数やジェスチャによって切り替えることが可能である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００９−５３７０５１号公報
【特許文献２】特表２０１０−５０３１２７号公報
【特許文献３】国際公開第２０１０／００８０８８号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来のタッチスクリーン装置では、次のような課題があり、より一層の改善が要望されている。
【０００９】
課題の一つとして、アイテムリストにおける画面の表示位置を表すスクロールバーに関するものがある。画面に表示するアイテム数が多い場合、リストを大きく移動させるためには、画面を何度もスライドしてスクロールさせなければならないが、スクロールバーに触ることでスクロール操作を可能にすることによって、使いやすさが向上すると考えられる。しかし、画面の小さなモバイル機器では、サムネイルの一覧性と操作のしやすさを考慮し、使いやすいユーザインターフェース（ＵＩ）を実現する必要がある。
【００１０】
例えば、アイテムリストとして写真のサムネイルを表示する場合、サムネイルの表示個数やサムネイルの表示エリアを優先的に確保し、画面を見やすくするためには、サムネイルとスクロールバーを重畳して表示することが考えられる。この場合、スクロールバーを触ってスクロールさせるつもりが、接触位置が他の領域にかかって画面全体のスクロールやサムネイルの移動になってしまい、ユーザの意図に反するスクロールあるいは移動を行
ってしまうことがある。また、操作対象の切り替えが複雑になってしまう。
【００１１】
また、サムネイルの表示領域とは独立したスクロールバー専用領域を設けた場合を考える。この場合、１画面内に同時表示可能なサムネイルの枚数を維持すると、サムネイルの表示サイズが小さくなってしまう。逆に、サムネイルの表示サイズを維持すると、１画面内に同時表示可能なサムネイルの枚数が少なくなり、一覧性が下がる。
【００１２】
また、指の接触時間（通常のタッチ、長タッチ等）によって操作対象の切り替えを行う場合を考える。この場合、接触時間の判定を行うために、「通常タッチ」であっても「リリース判定」（タッチしてから長タッチと判定される時間未満で離したタイミング）の後に動作を行う必要がある。このため、操作のレスポンス（ユーザがタッチ操作を行ってから、その画面が動作するまでの反応速度）が低下してしまう。
【００１３】
ここでは、スクロールバーの場合について説明したが、その他、アイテムまたはＧＵＩの部品が画面内で重畳する場合、同様に誤操作が発生しやすいと考えられる。また、マルチタスクによる画面表示としていくつかの機能あるいは画面（ウインドウ）が表示されている場合、ユーザは操作対象とする機能あるいは画面をアクティブにしてから、そのアクティブになった機能あるいは画面に対する操作を行うことになる。このため、操作対象が非アクティブ状態の場合、その都度、非アクティブからアクティブに切り替える操作が必要となる。
【００１４】
本発明は、上記事情に鑑みてなされたもので、その目的は、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作可能にすることにある。
【００１５】
また、本発明の他の目的は、画面内に複数の操作対象の表示オブジェクトがある場合に、操作対象への操作、操作対象の切り替え等を行う際の操作レスポンスを向上させることにある。
【課題を解決するための手段】
【００１６】
本発明は、接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置であって、複数レイヤに区分して定義された表示オブジェクトの情報を保持する表示情報保持部と、前記表示オブジェクトをレイヤごとに配置して前記タッチパネルディスプレイの画面に表示する表示処理部と、前記タッチパネルディスプレイにおける接触操作物体の接触点を検出する接触点検出部と、前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行する操作入力実行部と、を備える。
【発明の効果】
【００１７】
本発明によれば、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作できるようになる。また、画面内に複数の操作対象の表示オブジェクトがある場合に、操作対象への操作、操作対象の切り替え等を行う際の操作レスポンスを向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態のタッチスクリーン装置の構成を示すブロック図
【図２】タッチパネルディスプレイに表示されるサムネイルリスト画面を示す図
【図３】サムネイルリスト画面のレイヤ階層を示す図
【図４】サムネイルリスト画面の各レイヤに対する操作パターンを示すテーブル
【図５】第１の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数を定義した設定例を示すテーブル
【図６】（Ａ）、（Ｂ）は第１の実施形態における画面上の動作の具体例を示す図
【図７】第１の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャート
【図８】第２の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数及び移動方向を定義した設定例を示すテーブル
【図９】第２の実施形態における画面上の動作の具体例を示す図
【図１０】第２の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャート
【図１１】第３の実施形態の動作として、指の接触点数に対するＵＩとしての動作を定義した設定例を示すテーブル
【図１２】（Ａ）、（Ｂ）は第３の実施形態における画面上の動作の具体例を示す図
【図１３】第３の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャート
【図１４】画面の表示態様の第２変形例を示す図
【図１５】画面の表示態様の第３変形例を示す図
【図１６】画面の表示態様の第４変形例を示す図
【発明を実施するための形態】
【００１９】
本発明に係るタッチスクリーン装置、タッチ操作入力方法及びプログラムについて、以下に説明する。本実施形態のタッチスクリーン装置は、携帯電話やスマートフォン等の携帯端末装置、あるいは携帯ゲーム装置や携帯オーディオ装置など、小型の電子機器に搭載される。
【００２０】
（第１の実施形態）
図１は、第１の実施形態のタッチスクリーン装置の構成を示すブロック図である。タッチスクリーン装置１は、制御部１０、ＲＯＭ４０、ＲＡＭ５０、タッチパネルディスプレイ２０、及び記憶部３０を有する。
【００２１】
制御部１０は、周知のプロセッサを含むコンピュータにより構成され、タッチスクリーン装置１全体を制御する。ＲＯＭ４０には、タッチスクリーン装置１の動作に関する、各種のデータがあらかじめ記憶されている。ＲＡＭ５０には、制御部１０の各処理における一時的なデータが記憶される。
【００２２】
タッチパネルディスプレイ２０は、液晶表示器等の表示デバイスを有してなる。このタッチパネルディスプレイ２０は、操作検出部２５及び表示処理部２６を有する。操作検出部２５は、表示デバイス上に配置されたユーザが接触操作可能な平面状の操作入力デバイスによるタッチパネルからなり、ユーザの指の接触（タッチ）点の座標や動き（ジェスチュア）を検出する。ここでは、接触操作物体としてユーザの指を想定しているが、スタイラスペンなどの他の接触操作物体を使用して接触操作を行うものでもよい。表示処理部２６は、タッチパネルディスプレイ２０の表示デバイスの画面における表示処理を行う。
【００２３】
記憶部３０には、オペレーティングシステム（ＯＳ）３８、周辺機器をＯＳ３８に認識させるドライバ（ソフトウェア）３６、コンテンツ管理部３３、及びアプリケーションプログラム３１が格納されている。コンテンツ管理部３３は、写真、ドキュメントなどのコンテンツデータを登録・管理するものである。アプリケーションプログラム３１は、後述する写真管理プログラムなど、各種のアプリケーションを実行するプログラムを含む。このアプリケーションプログラム３１は、プログラム実行時の各種画面の情報を含む。
【００２４】
ここでは、写真管理プログラムのアプリケーションを起動し、写真のサムネイルをリス
ト表示したサムネイルリスト画面を表示する場合のタッチスクリーン装置の動作について説明する。このサムネイルリスト画面により、ユーザが各写真の内容を示すサムネイルを一覧することができる。
【００２５】
図２はタッチパネルディスプレイ２０に表示されるサムネイルリスト画面を示す図である。
【００２６】
タッチパネルディスプレイ２０のサムネイルリスト画面２０ａには、メニューボタン１１、戻るボタン１２、スクロール全体バー１３、スクロール操作バー１４、背景画像となるサムネイルリスト土台（ベース）１５、及び複数枚のサムネイル１６が表示されている。ここで、スクロール全体バー１３とスクロール操作バー１４とを含んでスクロールバー２１（図３参照）が構成される。また、サムネイルリスト土台１５とサムネイル１６とを含んでサムネイルリスト２２（図３参照）が構成される。
【００２７】
サムネイルリスト画面２０ａに表示されるこれらの画像（表示オブジェクト）は、複数レイヤに階層化して区分し、レイヤ（階層）ごとに分割されて定義され、表示オブジェクトの情報が記憶部３０内のアプリケーションプログラム３１において保持されている。表示オブジェクトとしては、写真等のサムネイルやアイコンなどの操作対象物を示すアイテム、スクロールバーやボタンなどのＧＵＩ部品、アプリケーションの動作に伴い各種表示を行う操作対象となるウインドウなどが含まれる。
【００２８】
ここで、記憶部３０が表示情報保持部の機能を実現する。また、表示処理部２６が、制御部１０の制御動作に従い、複数レイヤに区分して定義された表示オブジェクトをタッチパネルディスプレイ２０の画面に表示する機能を実現する。また、操作検出部２５が、制御部１０の制御動作に従い、タッチパネルディスプレイ２０における接触点の数、接触点の状況などを検出する接触点検出部の機能を実現する。また、制御部１０が、タッチパネルディスプレイ２０における接触操作に応じた操作入力動作を実行する操作入力実行部の機能を実現する。
【００２９】
図３はサムネイルリスト画面２０ａのレイヤ階層を示す図である。本実施形態では、タッチパネルディスプレイ２０の画面に表示される表示オブジェクトを、レイヤ０〜レイヤ４までの５つのレイヤ階層に分割した場合を示す。前述したアプリケーションプログラム３１には、タッチパネルディスプレイ２０の画面に表示される表示オブジェクトの画像データと、この表示オブジェクトが配置されるレイヤとの対応関係を表すテーブルが登録され、記憶されている。
【００３０】
具体的に、レイヤ０には、アプリケーションの実行画面が表示されるアプリケーションウインドウ１８が配置される。レイヤ１には、アイテムリストの背景としてサムネイルリスト土台１５が配置される。レイヤ２には、アイテムとしてサムネイル１６が配置される。レイヤ３には、固定されたＵＩ操作部品（ＧＵＩ部品）としてスクロール全体バー１３、メニューボタン１１及び戻るボタン１２が配置される。レイヤ４には、可動自在なＵＩ操作部品としてスクロール操作バー１４が配置される。
【００３１】
ここで、タッチパネルディスプレイ２０の画面に表示される画像をレイヤ０〜レイヤ４までの５つのレイヤ階層に分割する基準について説明する。
【００３２】
基本的に、レイヤの分割基準は、画面表示におけるユーザの見た目に合わせたものとする。すなわち、最下層にアプリケーションウインドウ、最上層にＵＩ操作用の部品を配置し、これらの間（中間層）にその画面における主たる情報やファイルを表示することが行われる。
【００３３】
具体的に、サムネイルリスト画面２０ａでは、写真の一覧表示を行うアプリケーションウインドウ１８を最下層（レイヤ０）に配置し、その上（中間層）にサムネイルリスト２２を配置する。さらに、その上（最上層）にＵＩ操作用の部品としてスクロールバー２１などを配置する。
【００３４】
さらに、サムネイルリスト２２は、サムネイルリスト全体を表す土台（背景）部分である「サムネイルリスト土台１５」と個々のサムネイルである「サムネイル１６」に分割することができる。この場合、前者を下位レイヤ（レイヤ１）に、後者を上位レイヤ（レイヤ２）配置する。
【００３５】
また、スクロールバー２１についても、スクロールの表示位置を変更するためのバーである「スクロール操作バー１４」とスクロールバー可能領域全体を表すバーである「スクロール全体バー１３」に分割することができる。この場合、後者を下位レイヤ（レイヤ３）に、前者を上位レイヤ（レイヤ４）に配置する。
【００３６】
サムネイルリストの場合に限らず、他のアイテムリスト画面においても、上記「サムネイル」を「アイテム」に置き換えることで複数レイヤに分割配置し、表示することが可能である。また、アプリケーションの他の例として、ブラウザのサイト表示画面においては、中間層を「サイトの情報表示（画像、テキストなど）部分＋リンク位置などを表すフォーカス」とすることで、複数レイヤに分割配置し、表示することが可能である。
【００３７】
次に、サムネイルリスト画面の各レイヤに対する操作について説明する。図４はサムネイルリスト画面の各レイヤに対する操作パターンを示すテーブルである。ここでは、操作パターンとして、パターン１、２、３が挙げられている。図４に示すように、操作パターンごとに、ＵＩとしての動作、各レイヤの表示オブジェクトの動作が定義されている。この操作パターンの選択により、操作対象となる表示オブジェクトのレイヤが選択され、当該レイヤに対する接触操作に応じた操作入力動作が実行される。
【００３８】
操作パターンのパターン１では、ＵＩとしての動作は、リスト画面の操作が実行される。この場合、レイヤ１が主操作レイヤとして接触点の移動に従って移動する。レイヤ２は主操作レイヤに付随した移動を行い、レイヤ１と同方向に移動する。レイヤ３は固定である。レイヤ４は主操作レイヤに付随した移動を行い、レイヤ１と逆方向に移動する。
【００３９】
操作パターンのパターン２では、ＵＩとしての動作は、スクロールバーの操作が実行される。この場合、レイヤ４が主操作レイヤとして接触点の移動に従って移動する。レイヤ１は主操作レイヤに付随した移動を行い、レイヤ４と逆方向に移動する。レイヤ２は主操作レイヤに付随した移動を行い、レイヤ４と逆方向に移動する。レイヤ３は固定である。
【００４０】
操作パターンのパターン３では、ＵＩとしての動作は、サムネイルの操作が実行される。この場合、レイヤ２が主操作レイヤとして接触点の移動に従って移動する。レイヤ１は主操作レイヤに付随した移動を行い、画面内の場合は固定である。レイヤ３は固定である。レイヤ４は主操作レイヤに付随した移動を行い、画面内の場合は固定である。
【００４１】
図５は第１の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数を定義した設定例を示すテーブルである。第１の実施形態は、指の接触点数（操作する指の本数）によって複数の操作パターンを切り替えるものである。
【００４２】
図５のように、タッチパネルディスプレイ２０に接触し、操作検出部２５にて検出された指の接触点数に応じて、操作パターンが定義されている。つまり、指の接触点数が１（
１本指での操作）の場合は操作パターンとしてパターン１の動作が実行される。指の接触点数が２（２本指での操作）の場合は操作パターンとしてパターン２の動作が実行される。指の接触点数が３（３本指での操作）の場合は操作パターンとしてパターン３の動作が実行される。
【００４３】
図６は第１の実施形態における画面上の動作の具体例を示す図である。図６（Ａ）は操作パターンのパターン１を、図６（Ｂ）は操作パターンのパターン２をそれぞれ示している。
【００４４】
パターン１はリスト画面（アイテムリスト）の操作である。このパターン１は、１本の指６０の接触により行われる。図６（Ａ）に示すように、１本の指６０でレイヤ１に配置されたサムネイルリスト土台１５をタッチして、図６の右方向に移動させると、この指の移動に合わせて、サムネイルリスト土台１５とともに、レイヤ２に配置されたサムネイル１６は右方向（同方向）に動く。このとき、レイヤ１に付随した動きとして、レイヤ４に配置されたスクロール操作バー１４は左方向（逆方向）に動く。なお、レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００４５】
パターン２はスクロールバー（ＧＵＩ部品）の操作である。このパターン２は、２本の指６０の接触により行われる。図６（Ｂ）に示すように、２本の指６０でレイヤ４に配置されたスクロール操作バー１４をタッチして、図６の右方向に２本の指６０を移動させると、スクロール操作バー１４は指の移動に合わせて右方向に動く。このとき、レイヤ４に付随した動きとして、レイヤ１に配置されたサムネイルリスト土台１５、及びレイヤ２に配置されたサムネイル１６は左方向（逆方向）に動く。なお、レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００４６】
従来では、スクロール操作バーを触ってスクロールさせるつもりが、誤ってサムネイルを触ってしまい、サムネイルが移動し、スクロール操作バーが反対に動いてしまうような不具合が生じていたが、本実施形態では、このような誤操作を回避できる。
【００４７】
図６には示していないが、パターン３はサムネイル個別の操作である。このパターン３は３本の指により行われる。３本の指でレイヤ２に配置されたサムネイル１６をタッチして移動させると、この指の移動に合わせて、サムネイル１６は同方向に移動する。このとき、サムネイル１６の移動が表示されている画面の範囲内である場合、レイヤ１、３、４にそれぞれ配置されたサムネイルリスト土台１５、スクロール全体バー１３、スクロール操作バー１４は固定されたままである。一方、サムネイル１６の移動が画面の範囲外まで大きくなると、レイヤ２に付随した動きとして、サムネイルリスト土台１５及びスクロール操作バー１４は同方向に移動する。なお、レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００４８】
このように、本実施形態では、表示オブジェクトを複数レイヤに分割してレイヤごとの動作を定義し、各レイヤの表示オブジェクトを配置する。そして、ユーザがタッチ操作する指の接触点数によって複数の操作パターンの切り替えを行い、操作パターンに応じた各レイヤの移動等の動作を行う。これにより、サムネイルリストを操作対象として移動させる操作と、スクロールバーを操作対象として移動させる操作とを明確に分けることができる。また、サムネイルのアイテム全体を移動させる操作と、サムネイルの個別アイテムを移動させる操作とを明確に分けることができる。従って、意図しない誤操作を無くすことができる。
【００４９】
図７は第１の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャートである。本タッチスクリーン装置の処理を実行するプログラムは、写真管理プログラムの
一部に含まれるものであり、記憶部３０内のアプリケーションプログラム３１として格納されており、制御部１０によって繰り返し実行される。
【００５０】
まず、制御部１０は、操作検出部２５により第１接触点が検出されるまで待つ（ステップＳ１）。
【００５１】
第１接触点が検出されると、制御部１０は、同時に接触している他の接触点があるか否かを判別する（ステップＳ２）。他の接触点が検出されている場合、制御部１０は、接触点の総数が３点以上であるか否かを判別する（ステップＳ３）。３点以上の接触点があった場合、制御部１０は、レイヤ２を選択し、接触点の移動などの操作指示が行われたか否かを判別する（ステップＳ４）。この場合の操作指示は、パターン３の移動指示である。ここで、ステップＳ１、Ｓ２、Ｓ３の処理は接触点検出部の機能に相当する。
【００５２】
操作指示があった場合、制御部１０は、接触点座標から操作対象となるサムネイルを決定し（ステップＳ５）、パターン３のサムネイルアイコンに対する移動操作を行う（ステップＳ６）。この後、制御部１０は本動作を終了する。このように、操作対象となるサムネイルは接触点の数及び接触点座標から決定されるので、操作性が良好である。ここで、ステップＳ５、Ｓ６の処理は操作入力実行部の機能に相当する。
【００５３】
一方、ステップＳ４で操作指示がなかった場合、制御部１０は、レイヤ２の選択を解除し、接触点が１点以上解除されたか否かを判別する（ステップＳ７）。１点以上解除された場合、制御部１０は、ステップＳ１の処理に戻る。また、解除されていない場合、制御部１０はステップＳ４の処理に戻る。
【００５４】
また、ステップＳ２で同時に接触している他の接触点がない場合、制御部１０は、レイヤ１を選択し、接触点の移動などの操作指示があるか否かを判別する（ステップＳ８）。この場合の操作指示は、パターン１の移動指示である。操作指示がない場合、制御部１０は、レイヤ１の選択を解除し、ステップＳ２の処理に戻る。一方、操作指示がある場合、制御部１０は、パターン１のリスト画面全体に対するスクロール操作を行う（ステップＳ９）。この後、制御部１０は本動作を終了する。
【００５５】
また、ステップＳ３で接触点の総数が３点未満である場合、つまり、接触点の総数が２点である場合、制御部１０は、レイヤ４を選択し、操作指示があるか否かを判別する（ステップＳ１０）。この場合の操作指示は、パターン２の移動指示である。操作指示がない場合、制御部１０は、レイヤ４の選択を解除し、接触点が１点解除されたか否かを判別する（ステップＳ１１）。１点解除された場合、制御部１０は、ステップＳ８の処理に戻る。一方、解除されない場合、制御部１０は、ステップＳ３の処理に戻る。
【００５６】
また、ステップＳ１０で操作指示があった場合、制御部１０は、接触点座標から対象となる部品（ここでは、パターン２であるので、スクロール操作バー１４）を決定する（ステップＳ１２）。そして、制御部１０は、パターン２のスクロール操作バー１４に対する操作を行う（ステップＳ１３）。この後、制御部１０は本動作を終了する。
【００５７】
第１の実施形態によれば、重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作することができる。また、操作対象の切り替えを行う際、接触時間を操作切り替えの判定に用いないので、操作レスポンスを向上させることができる。
【００５８】
また、小さな画面であっても、スクロール操作バーの操作と、画面のスクロール操作とを誤操作することなく両立させることができる。また、大量のアイテムが表示されたリス
トであっても、スクロール操作バーによる素早いスクロールと、画面スクロールによる細かい位置調整とを使い分けることができる。
【００５９】
（第２の実施形態）
第２の実施形態のタッチスクリーン装置は、前記第１の実施形態と同一の構成を有するので、同一の符号を付すことによりその説明を省略する。ここでは、前記第１の実施形態と異なる動作について説明する。
【００６０】
図８は第２の実施形態の動作として、図４に示す各操作パターンに対応して指の接触点数及び移動状態を定義した設定例を示すテーブルである。第２の実施形態は、指の接触点数（操作する指の本数）と接触点の状況とによって複数の操作パターンを切り替えるものである。接触点の状況としては、ここでは各接触点の移動状態（移動の有無、移動方向）を用いる。
【００６１】
図８のように、タッチパネルディスプレイ２０に接触し、操作検出部２５にて検出された指の接触点数と各接触点の移動方向に応じて、操作パターンが定義されている。つまり、指の接触点数が１（１本指での操作）の場合は操作パターンとしてパターン１の動作が実行される。指の接触点数が２（２本指での操作）であり、２つの接触点が同方向に移動する場合は操作パターンとしてパターン２の動作が実行される。指の接触点数が２（２本指での操作）であり、１つの接触点が固定でもう１つの接触点が移動する場合は操作パターンとしてパターン３の動作が実行される。ここでは、第１の実施形態とは異なるパターン３について説明する。
【００６２】
図９は第２の実施形態における画面上の動作の具体例を示す図である。この図９は操作パターンのパターン３を示している。
【００６３】
前述したように、パターン３はサムネイル個別の操作である。第２の実施形態では、前記第１の実施形態と異なり、パターン３は２本の指で操作指示が行われる。１本の指６０ａを接触させた状態で固定し、もう１本の指６０ｂを「Ｅ１４」のサムネイル１６に接触させた後、この指６０ｂをスライドさせると、操作対象となる「Ｅ１４」のサムネイル１６だけが同方向に移動する。
【００６４】
このとき、サムネイル１６の移動が表示されている画面の範囲内である場合、レイヤ１、３、４にそれぞれ配置されたサムネイルリスト土台１５、スクロール全体バー１３、スクロール操作バー１４は固定されたままである。一方、サムネイル１６の移動が画面の範囲外まで大きくなると、レイヤ２に付随した動きとして、サムネイルリスト土台１５及びスクロール操作バー１４は同方向に移動する。レイヤ３に配置されたスクロール全体バー１３は固定されたままである。
【００６５】
なお、サムネイルアイコンに対する機能としては、ドラッグで「移動」、フリックで「開く」、「転送」などを行えるようにしてもよい。
【００６６】
図１０は第２の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャートである。本タッチスクリーン装置の処理を実行するプログラムは、写真管理プログラムの一部に含まれるものであり、記憶部３０内のアプリケーションプログラム３１として格納されており、制御部１０によって繰り返し実行される。
【００６７】
まず、制御部１０は、操作検出部２５により第１接触点が検出されるまで待つ（ステップＳ２１）。
【００６８】
第１接触点が検出されると、制御部１０は、同時に接触している他の接触点があるか否かを判別する（ステップＳ２２）。他の接触点が検出されている場合、制御部１０は、１つの接触点のみに移動指示があるか否かを判別する（ステップＳ２３）。１つの接触点のみ移動指示がある場合、パターン３の移動指示である。この場合、制御部１０は、レイヤ２を選択し、接触点座標から操作対象となるサムネイルを決定し（ステップＳ２４）、パターン３のサムネイルアイコンに対する移動操作を行う（ステップＳ２５）。この後、制御部１０は本動作を終了する。
【００６９】
一方、ステップＳ２２で同時に接触している他の接触点がない場合、制御部１０は、レイヤ１を選択し、接触点の移動などの操作指示（移動指示）があるか否かを判別する（ステップＳ２６）。操作指示がない場合、制御部１０は、レイヤ１の選択を解除し、ステップＳ２２の処理に戻る。一方、操作指示がある場合、制御部１０は、パターン１のリスト画面全体に対するスクロール操作を行う（ステップＳ２７）。この後、制御部１０は本動作を終了する。
【００７０】
また、ステップＳ２３で１つの接触点のみの移動指示がなかった場合、制御部１０は、両方同時に移動指示があったか否かを判別する（ステップＳ２８）。両方同時の移動指示があった場合、パターン２の移動指示である。この場合、制御部１０は、レイヤ４を選択し、接触点座標から対象となる部品（ここでは、スクロール操作バー１４）を決定する（ステップＳ２９）。そして、制御部１０は、パターン２のスクロール操作バー１４に対する操作を行う（ステップＳ３０）。この後、制御部１０は本動作を終了する。
【００７１】
一方、ステップＳ２８で両方同時の移動指示がなかった場合、制御部１０は、１点の接触が解除されたか否かを判別する（ステップＳ３１）。解除されていない場合、制御部１０は、ステップＳ２３の処理に戻る。一方、１点の接触が解除された場合、制御部１０は、ステップＳ２６の処理に戻る。
【００７２】
第２の実施形態では、操作パターンとしてパターン３の操作をする場合、接触している２本の指のうち、１本の指を固定し、もう１本の指を移動させる。これにより、接触点の数と各接触点の移動状態により、複数の操作パターンを選択的に切り替えることができる。例えば、操作対象の表示オブジェクトのレイヤとして、アイテム全体が配置されたレイヤと個別アイテムが配置されたレイヤとを選択的に切り替えられる。この場合、３本の指を使用する前記第１の実施形態に比べ、指の本数を２本に減らすことができる。したがって、接触させる指の範囲（複数の接触点の領域）が広がってサムネイルをうまく指定できない不具合が解消される。また、操作対象のサムネイルアイコン上には、１本の指があるだけであるので、アイコンの視認性を確保することができる。
【００７３】
（第３の実施形態）
第３の実施形態のタッチスクリーン装置は、前記第１の実施形態と同一の構成を有するので、同一の符号を付すことによりその説明を省略する。第３の実施形態では、前記第１、第２の実施形態におけるサムネイルリスト画面の操作の代わりに、ユーザインタフェース（ＵＩ）としてタッチパネルディスプレイに表示されたウインドウを操作する場合を示す。
【００７４】
図１１は第３の実施形態の動作として、指の接触点数に対するＵＩとしての動作を定義した設定例を示すテーブルである。図１１のように、タッチパネルディスプレイ２０に接触し、操作検出部２５にて検出された指の接触点数に応じて、ＵＩとしての動作が定義されている。つまり、指の接触点数が１（１本指での操作）の場合は上位レイヤ（アクティブ）に対する操作が実行される。指の接触点数が２（２本指での操作）の場合は下位レイヤ（非アクティブ）に対する操作が実行される。
【００７５】
図１２は第３の実施形態における画面上の動作の具体例を示す図である。タッチパネルディスプレイ２０には、２つのＵＩのウインドウが表示されている。下位レイヤには、第１のＵＩ（Ｇ１１）７１が配置され、上位レイヤには、第２のＵＩ（Ｈ１２）７２が配置されている。ここで、上位レイヤがアクティブ状態（有効）であり、下位レイヤが非アクティブ状態（無効）であるとする。
【００７６】
図１２（Ａ）に示すように、１本の指６０でタッチ操作を行うと、上位レイヤに配置されたアクティブであるＵＩ（Ｈ１２）７２に対する操作が行われる。また、図１２（Ｂ）に示すように、２本の指６０でタッチ操作を行うと、下位レイヤに配置された非アクティブであるＵＩ（Ｇ１１）７１に対する操作が行われる。
【００７７】
図１３は第３の実施形態におけるタッチスクリーン装置の動作手順を示すフローチャートである。本タッチスクリーン装置の処理を実行するプログラムは、マルチタスク環境下で実行されるプログラム等に含まれるものであり、記憶部３０内のアプリケーションプログラム３１として格納されており、制御部１０によって繰り返し実行される。
【００７８】
まず、制御部１０は、操作検出部２５により第１接触点が検出されるまで待つ（ステップＳ４１）。
【００７９】
第１接触点が検出されると、制御部１０は、同時に接触している第２接触点があるか否かを判別する（ステップＳ４２）。第２接触点がある場合、制御部１０は、下位レイヤを選択し、接触点の移動などの操作指示があるか否かを判別する（ステップＳ４３）。
【００８０】
操作指示があると、制御部１０は、非アクティブな下位レイヤに対する操作を行う（ステップＳ４４）。この後、制御部１０は本動作を終了する。
【００８１】
一方、ステップＳ４２で第２接触点がない場合、制御部１０は、上位レイヤを選択し、接触点の移動などの操作指示があるか否かを判別する（ステップＳ４５）。操作指示がない場合、制御部１０は、上位レイヤの選択を解除し、ステップＳ４２の処理に戻る。一方、操作指示があると、制御部１０は、アクティブな上位レイヤに対する操作を行う（ステップＳ４６）。この後、制御部１０は本動作を終了する。
【００８２】
また、ステップＳ４３で操作指示がない場合、制御部１０は、下位レイヤの選択を解除し、１点の接触が解除されたか否かを判別する（ステップＳ４７）。解除されない場合、制御部１０は、ステップＳ４３の処理に戻る。一方、解除された場合、制御部１０は、ステップＳ４５の処理に戻る。
【００８３】
第３の実施形態によれば、タッチ操作する指の接触点数によって操作対象の表示オブジェクトのレイヤ（ここではウインドウ）を選択的に切り替え、移動等の操作をすることができる。これにより、非アクティブな状態にあるウインドウに対する操作が容易になる。通常、アクティブな状態にあるウインドウ（タスク）のみが操作対象となるので、一旦、操作したいものをアクティブ化する必要がある。しかし、第３の実施形態では、２本の指でタッチ操作するだけで、非アクティブな下位レイヤのＵＩに対する操作を直接行うことができる。これにより、操作がきわめて簡便になる。また、上記例では、上位と下位の２つのレイヤにそれぞれ２つのＵＩのウインドウ（表示オブジェクト）が配置された場合を示したが、３つ以上のレイヤにそれぞれ３つ以上のウインドウ（表示オブジェクト）が配置される場合も同様に実施可能である。
【００８４】
（変形例）
上述した第１、第２の実施形態では、タッチパネルディスプレイの画面に、サムネイルリスト土台、サムネイル、スクロール全体バー、スクロール操作バー、及びＵＩ操作用ボタン等の表示オブジェクトを、単に重ねて表示している。これらの表示オブジェクトは、配置されたレイヤをユーザに分かりやすく表示するために、以下のような変形例の表示態様としてもよい。
【００８５】
表示態様の第１変形例は、表示オブジェクトをタッチパネルディスプレイに同時に重畳した状態で表示するのではなく、パラパラ漫画のように、時間差を持たせてレイヤごとに順次表示するものである。この場合、下位レイヤの表示オブジェクトから１つずつ上位レイヤの表示オブジェクトを順に重ねるように、レイヤ別に時間差を持たせて表示する。
【００８６】
図１４は表示態様の第２変形例を示す図である。表示態様の第２変形例は、レイヤの識別を容易にしたサムネイルリスト画面の一例である。この第２変形例では、サムネイルリスト画面において、アイコンや部品などの表示オブジェクトをレイヤごとに立体的に表示している。このように、複数レイヤの表示オブジェクトを立体的に表現することで、ユーザは重畳された複数レイヤの区別や階層の上下関係などを容易に認識できる。
【００８７】
図１５は表示態様の第３変形例を示す図である。表示態様の第３変形例は、レイヤの識別を容易にしたサムネイルリスト画面の他の例である。この第３変形例では、サムネイルリスト画面において、レイヤ単位で表示態様を変更して表示している。図示例は、サムネイル１６の枠線を破線とし、スクロール全体バー１３の枠線を実線とし、スクロール操作バー１４の枠線を間隔の広い破線として表示している。このように、枠線の線種を変えることで、ユーザは表示オブジェクトが配置されたレイヤを識別することができる。
【００８８】
図１６は表示態様の第４変形例を示す図である。表示態様の第４変形例は、操作方法の説明を表示するガイダンス画面の例である。ガイダンス画面には、表示オブジェクトのレイヤに関するガイド表示を配置する。例えば、レイヤごとに表示オブジェクトの説明、各レイヤの表示オブジェクトの操作方法などを表示し、ユーザが確認することができる。この際、例えば所定のタッチ操作を行うことにより、操作方法のガイダンスをタッチパネルディスプレイに表示させる。操作方法のガイダンスの一例として、レイヤごとに、「指１本でスライド操作」、「指２本で一緒にスライド操作」、「指２本のうち、一方はタッチ位置固定、他方でアイコンをスライド操作」などを表示する。これにより、操作対象となるレイヤの選択をユーザに分かりやすく伝えることができ、使い勝手が向上する。
【００８９】
上述したように、本実施形態では、接触点の数に応じて操作対象となるレイヤを選択し、この選択されたレイヤに配置された表示オブジェクトに対し、接触点を変化させることで操作指示を行う。これにより、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作することができる。また、操作対象となる表示オブジェクトの切り替えを行う際、接触時間を操作切り替えの判定に用いないので、操作レスポンスを向上させることができる。
【００９０】
なお、上記実施形態では、表示オブジェクトに対する操作指示として、接触点の変化として、タッチ操作した指を移動させる場合を示したが、このような操作指示に限らず、例えばタッチした指の接触部分の面積を大小に変えることでもよい。
【００９１】
また、前記第２の実施形態では、指の接触点数が２である場合、接触点の状況として、２本の指を同時に移動させると、操作対象としてレイヤ４が選択され、１本の指を固定しもう１本の指を移動させると、操作対象としてレイヤ２が選択される場合を示した。これに限らず、例えば接触している２本の指が近接している場合と所定距離以上離れている場合とで、操作対象のレイヤが切り替わるようにしてもよい。
【００９２】
また、本発明のタッチスクリーン装置は、携帯電話やスマートフォン等の携帯端末装置に限らず、種々の電子機器に搭載可能である。
【００９３】
また、本発明は、上記実施形態の各機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介してタッチスクリーン装置に供給し、このタッチスクリーン装置のコンピュータが読み出して実行するプログラムも適用範囲である。
【００９４】
本発明に係る実施形態の種々の態様として、以下のものが含まれる。
【００９５】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置であって、複数レイヤに区分して定義された表示オブジェクトの情報を保持する表示情報保持部と、前記表示オブジェクトをレイヤごとに配置して前記タッチパネルディスプレイの画面に表示する表示処理部と、前記タッチパネルディスプレイにおける接触操作物体の接触点を検出する接触点検出部と、前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行する操作入力実行部と、を備えるタッチスクリーン装置。
上記構成により、複数レイヤに区分して定義された表示オブジェクトを表示し、検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作入力動作を実行できる。このため、表示オブジェクトが重畳もしくは密接に表示された画面においても、ユーザが誤操作することなく操作対象に対して確実に操作可能となる。また、接触点の数によって操作対象の表示オブジェクトのレイヤを選択するため、操作対象への操作、操作対象の切り替え等を行う際の操作レスポンスを向上できる。
【００９６】
上記のタッチスクリーン装置であって、前記操作入力実行部は、前記検出された接触点の数と接触点の状況とに基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
上記構成により、検出された接触点の数と接触点の状況とに基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作入力動作を実行できる。この場合、より少ない接触点の数にて複数の表示オブジェクトのレイヤを選択可能である。
【００９７】
上記のタッチスクリーン装置であって、前記操作入力実行部は、前記接触点の数とともに、前記接触点の状況として各接触点の移動の有無、移動方向のうちの少なくとも一方に基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
上記構成により、接触点の数と、各接触点の移動の有無、移動方向とによって、操作対象の表示オブジェクトのレイヤを選択し、操作入力動作を実行できる。この場合、より少ない接触点の数にて多様な操作パターンを選択し切り替えることができる。
【００９８】
上記のタッチスクリーン装置であって、前記表示オブジェクトは、ＧＵＩ部品と、操作対象物を示すアイテムとを含み、前記操作入力実行部は、前記操作対象レイヤとして、前記ＧＵＩ部品が配置されたレイヤと前記アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
上記構成により、スクロールバー等のＧＵＩ部品と、画像のサムネイル等のアイテムとを選択的に切り替えて、一方の表示オブジェクトを操作対象として操作可能である。
【００９９】
上記のタッチスクリーン装置であって、前記表示オブジェクトは、操作対象物を示すアイテムを含み、前記操作入力実行部は、前記操作対象レイヤとして、前記アイテムのアイテム全体が配置されたレイヤと前記アイテムの個別アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
上記構成により、アイテム全体と個別アイテムとを選択的に切り替えて、一方の表示オブジェクトを操作対象として操作可能である。
【０１００】
上記のタッチスクリーン装置であって、前記表示オブジェクトは、操作対象となるウインドウを含み、前記操作入力実行部は、前記操作対象レイヤとして、前記ウインドウがそれぞれ配置された複数のレイヤを選択的に切り替える、タッチスクリーン装置。
上記構成により、複数のウインドウを選択的に切り替えて、一方の表示オブジェクトを操作対象として操作可能である。この場合、例えば重畳されて下に配置された非アクティブのウインドウを直接操作することが可能である。
【０１０１】
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに時間差を持たせて表示する、タッチスクリーン装置。
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに立体的に表示する、タッチスクリーン装置。
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトを表示する際、レイヤによって表示態様を変更して表示する、タッチスクリーン装置。
上記のタッチスクリーン装置であって、前記表示処理部は、前記表示オブジェクトのレイヤに関するガイド表示を表示する、タッチスクリーン装置。
上記構成により、表示オブジェクトのレイヤの区別、各レイヤの操作方法などをユーザが容易に認識して操作できる。
【０１０２】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置におけるタッチ操作入力方法であって、複数レイヤに区分して定義された表示オブジェクトを、レイヤごとに配置して前記タッチパネルディスプレイの画面に表示するステップと、前記タッチパネルディスプレイにおける接触操作物体の接触点を検出するステップと、前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行するステップと、を有するタッチ操作入力方法。
【０１０３】
上記のタッチ操作入力方法の各ステップを、コンピュータに実行させるプログラム。
【０１０４】
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【０１０５】
本発明は、重畳または密接配置された表示オブジェクトに対して、ユーザが誤操作することなく操作対象に対して確実に操作可能となる効果を有し、接触操作により入力指示等を行うタッチスクリーン装置、タッチ操作入力方法及びプログラム等として有用である。
【符号の説明】
【０１０６】
１ タッチスクリーン装置
１０ 制御部
１１ メニューボタン
１２ 戻るボタン
１３ スクロール全体バー
１４ スクロール操作バー
１５ サムネイルリスト土台
１６ サムネイル
１８ アプリケーションウインドウ
２０ タッチパネルディスプレイ
２０ａ サムネイルリスト画面
２５ 操作検出部
２６ 表示処理部
３０ 記憶部
３１ アプリケーションプログラム
３３ コンテンツ管理部
３６ ドライバ
３８ ＯＳ
４０ ＲＯＭ
５０ ＲＡＭ
６０、６０ａ、６０ｂ 指
【特許請求の範囲】
【請求項１】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置であって、
複数レイヤに区分して定義された表示オブジェクトの情報を保持する表示情報保持部と、
前記表示オブジェクトをレイヤごとに配置して前記タッチパネルディスプレイの画面に表示する表示処理部と、
前記タッチパネルディスプレイにおける接触操作物体の接触点を検出する接触点検出部と、
前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行する操作入力実行部と、
を備えるタッチスクリーン装置。
【請求項２】
請求項１に記載のタッチスクリーン装置であって、
前記操作入力実行部は、前記検出された接触点の数と接触点の状況とに基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
【請求項３】
請求項２に記載のタッチスクリーン装置であって、
前記操作入力実行部は、前記接触点の数とともに、前記接触点の状況として各接触点の移動の有無、移動方向のうちの少なくとも一方に基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
【請求項４】
請求項１〜３のいずれか一項に記載のタッチスクリーン装置であって、
前記表示オブジェクトは、ＧＵＩ部品と、操作対象物を示すアイテムとを含み、
前記操作入力実行部は、前記操作対象レイヤとして、前記ＧＵＩ部品が配置されたレイヤと前記アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
【請求項５】
請求項１〜３のいずれか一項に記載のタッチスクリーン装置であって、
前記表示オブジェクトは、操作対象物を示すアイテムを含み、
前記操作入力実行部は、前記操作対象レイヤとして、前記アイテムのアイテム全体が配置されたレイヤと前記アイテムの個別アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
【請求項６】
請求項１〜３のいずれか一項に記載のタッチスクリーン装置であって、
前記表示オブジェクトは、操作対象となるウインドウを含み、
前記操作入力実行部は、前記操作対象レイヤとして、前記ウインドウがそれぞれ配置された複数のレイヤを選択的に切り替える、タッチスクリーン装置。
【請求項７】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに時間差を持たせて表示する、タッチスクリーン装置。
【請求項８】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに立体的に表示する、タッチスクリーン装置。
【請求項９】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトを表示する際、レイヤによって表示態様を変更して表示する、タッチスクリーン装置。
【請求項１０】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトのレイヤに関するガイド表示を表示する、タッチスクリーン装置。
【請求項１１】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置におけるタッチ操作入力方法であって、
複数レイヤに区分して定義された表示オブジェクトを、レイヤごとに配置して前記タッチパネルディスプレイの画面に表示するステップと、
前記タッチパネルディスプレイにおける接触操作物体の接触点を検出するステップと、
前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行するステップと、
を有するタッチ操作入力方法。
【請求項１２】
請求項１１に記載のタッチ操作入力方法の各ステップを、コンピュータにより実行させるプログラム。
【請求項１】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置であって、
複数レイヤに区分して定義された表示オブジェクトの情報を保持する表示情報保持部と、
前記表示オブジェクトをレイヤごとに配置して前記タッチパネルディスプレイの画面に表示する表示処理部と、
前記タッチパネルディスプレイにおける接触操作物体の接触点を検出する接触点検出部と、
前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行する操作入力実行部と、
を備えるタッチスクリーン装置。
【請求項２】
請求項１に記載のタッチスクリーン装置であって、
前記操作入力実行部は、前記検出された接触点の数と接触点の状況とに基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
【請求項３】
請求項２に記載のタッチスクリーン装置であって、
前記操作入力実行部は、前記接触点の数とともに、前記接触点の状況として各接触点の移動の有無、移動方向のうちの少なくとも一方に基づいて、操作対象の表示オブジェクトのレイヤを選択する、タッチスクリーン装置。
【請求項４】
請求項１〜３のいずれか一項に記載のタッチスクリーン装置であって、
前記表示オブジェクトは、ＧＵＩ部品と、操作対象物を示すアイテムとを含み、
前記操作入力実行部は、前記操作対象レイヤとして、前記ＧＵＩ部品が配置されたレイヤと前記アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
【請求項５】
請求項１〜３のいずれか一項に記載のタッチスクリーン装置であって、
前記表示オブジェクトは、操作対象物を示すアイテムを含み、
前記操作入力実行部は、前記操作対象レイヤとして、前記アイテムのアイテム全体が配置されたレイヤと前記アイテムの個別アイテムが配置されたレイヤとを選択的に切り替える、タッチスクリーン装置。
【請求項６】
請求項１〜３のいずれか一項に記載のタッチスクリーン装置であって、
前記表示オブジェクトは、操作対象となるウインドウを含み、
前記操作入力実行部は、前記操作対象レイヤとして、前記ウインドウがそれぞれ配置された複数のレイヤを選択的に切り替える、タッチスクリーン装置。
【請求項７】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに時間差を持たせて表示する、タッチスクリーン装置。
【請求項８】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトを表示する際、レイヤごとに立体的に表示する、タッチスクリーン装置。
【請求項９】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトを表示する際、レイヤによって表示態様を変更して表示する、タッチスクリーン装置。
【請求項１０】
請求項１に記載のタッチスクリーン装置であって、
前記表示処理部は、前記表示オブジェクトのレイヤに関するガイド表示を表示する、タッチスクリーン装置。
【請求項１１】
接触操作が可能なタッチパネルディスプレイを有するタッチスクリーン装置におけるタッチ操作入力方法であって、
複数レイヤに区分して定義された表示オブジェクトを、レイヤごとに配置して前記タッチパネルディスプレイの画面に表示するステップと、
前記タッチパネルディスプレイにおける接触操作物体の接触点を検出するステップと、
前記検出された接触点の数に基づいて、操作対象の表示オブジェクトのレイヤを選択し、操作対象レイヤの表示オブジェクトに対して前記接触操作物体の接触操作に応じた操作入力動作を実行するステップと、
を有するタッチ操作入力方法。
【請求項１２】
請求項１１に記載のタッチ操作入力方法の各ステップを、コンピュータにより実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２４７８６１（Ｐ２０１２−２４７８６１Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７２１９（Ｐ２０１１−１１７２１９）
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]