装置、方法、及びプログラム
【課題】タッチスクリーンディスプレイによって検出される操作に応じて多様な処理を実行すること。
【解決手段】１つの態様において、装置（例えば、スマートフォン）１は、ジェスチャを検出するタッチスクリーンディスプレイ２と、傾きを検出する姿勢検出部１８と、コントローラ１０とを備える。コントローラ１０は、姿勢検出部１８によって検出される傾きに応じて、タッチスクリーンディスプレイ２によって検出されるジェスチャに対応して実行する処理を切り替える。
【解決手段】１つの態様において、装置（例えば、スマートフォン）１は、ジェスチャを検出するタッチスクリーンディスプレイ２と、傾きを検出する姿勢検出部１８と、コントローラ１０とを備える。コントローラ１０は、姿勢検出部１８によって検出される傾きに応じて、タッチスクリーンディスプレイ２によって検出されるジェスチャに対応して実行する処理を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置、方法、及びプログラムに関する。特に、本発明は、タッチスクリーンディスプレイを有する装置、その装置を制御する方法、及びその装置を制御するためのプログラムに関する。
【背景技術】
【０００２】
タッチスクリーンディスプレイを備える装置が知られている。タッチスクリーンディスプレイを備える装置には、例えば、スマートフォン及びタブレットが含まれる。タッチスクリーンディスプレイを備える装置は、タッチスクリーンディスプレイを介して指又はスタイラスペンのジェスチャを検出する。そして、タッチスクリーンディスプレイを備える装置は、検出したジェスチャに従って動作する。検出したジェスチャに従った動作の例は、例えば、特許文献１に記載されている。
【０００３】
タッチスクリーンディスプレイを備える装置の基本的な動作は、装置に搭載されるＡｎｄｒｏｉｄ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標） ＯＳ、ｉＯＳ、Ｗｉｎｄｏｗｓ（登録商標） Ｐｈｏｎｅ等のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって実現される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００８／０８６３０２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチスクリーンディスプレイによって検出できる操作の種類は比較的少ない。特に、他方の手がふさがっている等の理由で装置を片手で持って操作する状況では、利用者がマルチタッチ等の複雑な操作を行うことは困難であるため、検出できる操作の種類は少なくなる。そのため、装置によっては、タッチスクリーンディスプレイによって検出される操作に応じて実行できる処理の数が限られることがあった。本発明は、タッチスクリーンディスプレイによって検出される操作に応じて多様な処理を実行することができる装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る装置は、１つの態様において、ジェスチャを検出するタッチスクリーンディスプレイと、傾きを検出する姿勢検出部と、前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるコントローラと、を備える。
【０００７】
本発明に係る方法は、１つの態様において、タッチスクリーンディスプレイ及び姿勢検出部を備える装置を制御する方法であって、前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、前記姿勢検出部によって傾きを検出するステップと、前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、を含む。
【０００８】
本発明に係るプログラムは、１つの態様において、タッチスクリーンディスプレイ及び姿勢検出部を備える装置に、前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、前記姿勢検出部によって傾きを検出するステップと、前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、を実行させる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係るスマートフォンの外観を示す斜視図である。
【図２】図２は、実施形態に係るスマートフォンの外観を示す正面図である。
【図３】図３は、実施形態に係るスマートフォンの外観を示す背面図である。
【図４】図４は、ホーム画面の一例を示す図である。
【図５】図５は、実施形態に係るスマートフォンの機能を示すブロック図である。
【図６】図６は、スマートフォンを傾けずに持って操作する場合のスマートフォンの動作の例を示す図である。
【図７】図７は、スマートフォンを傾けて持って操作する場合のスマートフォンの動作の例を示す図である。
【図８】図８は、スマートフォンの傾きの方向に応じて処理を切り替える例を示す図である。
【図９】図９は、スマートフォンの傾きに応じた処理の切り替えを利用者に通知する例を示す図である。
【図１０】図１０は、地図画面以外の画面を表示しているときにスマートフォンの傾きに応じて処理を切り替える例を示す図である。
【図１１】図１１は、スマートフォンの傾きの大きさの段階に応じて処理を切り替える例を示す図である。
【図１２】図１２は、検出されるジェスチャに対応して実行する処理を傾きに応じて切り替える制御を示すフローチャートである。
【図１３】図１３は、傾きが解消された後も処理が切り替わったままにする例を示す図である。
【図１４】図１４は、傾きが解消された後も操作が継続される場合の動作の例を示す図である。
【発明を実施するための形態】
【００１０】
本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、タッチスクリーンディスプレイを備える装置の一例として、スマートフォンについて説明する。
【００１１】
（実施形態）
図１から図３を参照しながら、実施形態に係るスマートフォン１の外観について説明する。図１から図３に示すように、スマートフォン１は、ハウジング２０を有する。ハウジング２０は、フロントフェイス１Ａと、バックフェイス１Ｂと、サイドフェイス１Ｃ１〜１Ｃ４とを有する。フロントフェイス１Ａは、ハウジング２０の正面である。バックフェイス１Ｂは、ハウジング２０の背面である。サイドフェイス１Ｃ１〜１Ｃ４は、フロントフェイス１Ａとバックフェイス１Ｂとを接続する側面である。以下では、サイドフェイス１Ｃ１〜１Ｃ４を、どの面であるかを特定することなく、サイドフェイス１Ｃと総称することがある。
【００１２】
スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３Ａ〜３Ｃと、照度センサ４と、近接センサ５と、レシーバ７と、マイク８と、カメラ１２とをフロントフェイス１Ａに有する。スマートフォン１は、カメラ１３をバックフェイス１Ｂに有する。スマートフォン１は、ボタン３Ｄ〜３Ｆと、コネクタ１４とをサイドフェイス１Ｃに有する。以下では、ボタン３Ａ〜３Ｆを、どのボタンであるかを特定することなく、ボタン３と総称することがある。
【００１３】
タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬパネル（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ ｐａｎｅｌ）、又は無機ＥＬパネル（Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ ｐａｎｅｌ）等の表示デバイスを備える。ディスプレイ２Ａは、文字及び図形等を表示する。
【００１４】
タッチスクリーン２Ｂは、タッチスクリーンディスプレイ２に対する指、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、又はスタイラスペン等がタッチスクリーンディスプレイ２に接触した位置を検出することができる。
【００１５】
タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下では、説明を簡単にするため、タッチスクリーン２Ｂがタッチスクリーンディスプレイ２に対する接触を検出する指、又はスタイラスペン等を単に「指」ということがある。
【００１６】
スマートフォン１は、タッチスクリーン２Ｂにより検出された接触及び接触が行われた位置に基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーンディスプレイ２に対して行われる操作である。スマートフォン１によって判別されるジェスチャには、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、ピンチアウト等が含まれる。
【００１７】
タッチは、タッチスクリーン２Ｂに指が触れるジェスチャである。スマートフォン１は、タッチスクリーン２Ｂに指が接触するジェスチャをタッチとして判別する。ロングタッチとは、タッチスクリーン２Ｂに指が一定時間以上触れるジェスチャである。スマートフォン１は、タッチスクリーン２Ｂに指が一定時間以上接触するジェスチャをロングタッチとして判別する。
【００１８】
リリースは、指がタッチスクリーン２Ｂから離れるジェスチャである。スマートフォン１は、指がタッチスクリーン２Ｂから離れるジェスチャをリリースとして判別する。スワイプは、指がタッチスクリーンディスプレイ２上に接触したままで移動するジェスチャである。スマートフォン１は、指がタッチスクリーンディスプレイ２上に接触したままで移動するジェスチャをスワイプとして判別する。
【００１９】
タップは、タッチに続いてリリースをするジェスチャである。スマートフォン１は、タッチに続いてリリースをするジェスチャをタップとして判別する。ダブルタップは、タッチに続いてリリースをするジェスチャが２回連続するジェスチャである。スマートフォン１は、タッチに続いてリリースをするジェスチャが２回連続するジェスチャをダブルタップとして判別する。
【００２０】
ロングタップは、ロングタッチに続いてリリースをするジェスチャである。スマートフォン１は、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。ドラッグは、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。スマートフォン１は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。
【００２１】
フリックは、タッチに続いて指が一方方向へ高速で移動しながらリリースするジェスチャである。スマートフォン１は、タッチに続いて指が一方方向へ高速で移動しながらリリースするジェスチャをフリックとして判別する。フリックは、指が画面の上方向へ移動する上フリック、指が画面の下方向へ移動する下フリック、指が画面の右方向へ移動する右フリック、指が画面の左方向へ移動する左フリック等を含む。
【００２２】
ピンチインは、複数の指が近付く方向にスワイプするジェスチャである。スマートフォン１は、複数の指が近付く方向にスワイプするジェスチャをピンチインとして判別する。ピンチアウトは、複数の指が遠ざかる方向にスワイプするジェスチャである。スマートフォン１は、複数の指が遠ざかる方向にスワイプするジェスチャをピンチアウトとして判別する。
【００２３】
スマートフォン１は、タッチスクリーン２Ｂを介して判別するこれらのジェスチャに従って動作を行う。したがって、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってスマートフォン１が行う動作は、タッチスクリーンディスプレイ２に表示されている画面に応じて異なる。
【００２４】
図４を参照しながら、ディスプレイ２Ａに表示される画面の例について説明する。図４は、ホーム画面の一例を示している。ホーム画面は、デスクトップ、又は待受画面と呼ばれることもある。ホーム画面は、ディスプレイ２Ａに表示される。ホーム画面は、スマートフォン１にインストールされているアプリケーションのうち、どのアプリケーションを実行するかを利用者に選択させる画面である。スマートフォン１は、ホーム画面で選択されたアプリケーションをフォアグランドで実行する。フォアグランドで実行されるアプリケーションは、ホーム画面とは異なる画面をディスプレイ２Ａに表示させる。
【００２５】
スマートフォン１は、ホーム画面にアイコンを配置することができる。図４に示すホーム画面４０には、複数のアイコン５０が配置されている。それぞれのアイコン５０は、スマートフォン１にインストールされている特定のアプリケーションと予め対応付けられている。スマートフォン１は、アイコン５０に対する特定のジェスチャ（例えば、タップ）を検出すると、そのアイコン５０に対応付けられているアプリケーションを実行する。例えば、スマートフォン１は、メールアプリケーションに対応付けられたアイコン５０に対するタップが検出されると、メールアプリケーションを実行する。
【００２６】
アイコン５０は、画像と文字列を含む。アイコン５０は、画像に代えて、記号又は図形を含んでもよい。アイコン５０は、画像又は文字列のいずれか一方を含まなくてもよい。アイコン５０は、所定の規則に従って配置される。アイコン５０の背後には、壁紙４１が表示される。壁紙は、フォトスクリーン又はバックスクリーンと呼ばれることもある。スマートフォン１は、任意の画像を壁紙４１として用いることができる。画像は、例えば、利用者の設定に従って壁紙として決定される。
【００２７】
スマートフォン１は、ホーム画面の数を増減することができる。スマートフォン１は、例えば、ホーム画面の数を利用者による設定に従って決定する。スマートフォン１は、ホーム画面を表示する場合、ホーム画面の数が複数であっても、それらのうちから選択された１つをディスプレイ２Ａに表示する。
【００２８】
スマートフォン１は、ホーム画面上に、１つ又は複数のロケータを表示する。ロケータの数は、ホーム画面の数と一致する。ロケータは、現在表示されているホーム画面の位置を示す。現在表示されているホーム画面に対応するロケータは、他のロケータと異なる態様で表示される。
【００２９】
図４に示す例では、４つのロケータ５１が表示されている。これは、ホーム画面４０の数が４つであることを示す。また、図４に示す例では、左から２番目のシンボルが他のシンボルと異なる態様で表示されている。これは、左から２番目のホーム画面が現在表示されていることを示している。
【００３０】
スマートフォン１は、ホーム画面を表示中に特定のジェスチャを検出すると、ディスプレイ２Ａに表示するホーム画面を切り替える。例えば、スマートフォン１は、右フリックを検出すると、ディスプレイ２Ａに表示するホーム画面を１つ左のホーム画面に切り替える。また、スマートフォン１は、左フリックを検出すると、ディスプレイ２Ａに表示するホーム画面を１つ右のホーム画面に切り替える。
【００３１】
ディスプレイ２Ａの上端には、領域４２が設けられている。領域４２には、充電池の残量を示す残量マーク４３、及び通信用の電波の電界強度を示す電波レベルマーク４４が表示される。スマートフォン１は、領域４２に、現在時刻、天気の情報、実行中のアプリケーション、通信システムの種別、電話のステータス、装置のモード、装置に生じたイベント等を表示してもよい。このように、領域４２は、利用者に対して各種の通知を行うために用いられる。領域４２は、ホーム画面４０以外の画面でも設けられることがある。領域４２が設けられる位置は、ディスプレイ２Ａの上端に限られない。
【００３２】
なお、図４に示したホーム画面４０は、一例であり、各種の要素の形態、各種の要素の配置、ホーム画面４０の数、及びホーム画面４０での各種の操作の仕方等は上記の説明の通りでなくてもよい。
【００３３】
図５は、スマートフォン１の構成を示すブロック図である。スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、カメラ１２及び１３と、コネクタ１４と、加速度センサ１５と、方位センサ１６と、ジャイロスコープ１７とを有する。
【００３４】
タッチスクリーンディスプレイ２は、上述したように、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａは、文字、画像、記号、又は図形等を表示する。タッチスクリーン２Ｂは、ジェスチャを検出する。
【００３５】
ボタン３は、利用者によって操作される。ボタン３は、ボタン３Ａ〜ボタン３Ｆを有する。コントローラ１０はボタン３と協働することによってボタンに対する操作を検出する。ボタンに対する操作は、例えば、クリック、ダブルクリック、プッシュ、及びマルチプッシュである。
【００３６】
例えば、ボタン３Ａ〜３Ｃは、ホームボタン、バックボタンまたはメニューボタンである。例えば、ボタン３Ｄは、スマートフォン１のパワーオン／オフボタンである。ボタン３Ｄは、スリープ／スリープ解除ボタンを兼ねてもよい。例えば、ボタン３Ｅ及び３Ｆは、音量ボタンである。
【００３７】
照度センサ４は、照度を検出する。例えば、照度とは、光の強さ、明るさ、輝度等である。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、例えば、タッチスクリーンディスプレイ２が顔に近付けられたことを検出する。
【００３８】
通信ユニット６は、無線により通信する。通信ユニット６によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格がある。例えば、セルラーフォンの通信規格として、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＰＤＣ、ＧＳＭ（登録商標）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。例えば、無線通信規格として、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、ＮＦＣ等がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。
【００３９】
レシーバ７は、コントローラ１０から送信される音声信号を音声として出力する。マイク８は、利用者等の音声を音声信号へ変換してコントローラ１０へ送信する。なお、スマートフォン１は、レシーバ７に加えて、または、レシーバ７に代えて、スピーカをさらに有してもよい。
【００４０】
ストレージ９は、プログラム及びデータを記憶する。また、ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含んでよい。また、ストレージ９は、複数の種類の記憶デバイスを含んでよい。また、ストレージ９は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
【００４１】
ストレージ９に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ２Ａに所定の画面を表示させ、タッチスクリーン２Ｂによって検出されるジェスチャに応じた処理をコントローラ１０に実行させる。制御プログラムは、例えば、ＯＳである。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は記憶媒体を介してストレージ９にインストールされてもよい。
【００４２】
ストレージ９は、例えば、制御プログラム９Ａ、メールアプリケーション９Ｂ、ブラウザアプリケーション９Ｃ、地図アプリケーション９Ｄ、設定データ９Ｚを記憶する。メールアプリケーション９Ｂは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。ブラウザアプリケーション９Ｃは、ＷＥＢページを表示するためのＷＥＢブラウジング機能を提供する。地図アプリケーション９Ｄは、地図を表示するための機能を提供する。設定データ９Ｚは、スマートフォン１の動作に関する各種の設定に関する情報を含む。
【００４３】
制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、例えば、通信ユニット６、レシーバ７、及びマイク８等を制御することによって、通話を実現させる。制御プログラム９Ａが提供する機能には、加速度センサ１５等によって検出された姿勢の変化、及びタッチスクリーン２Ｂを介して検出されたジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を行う機能が含まれる。なお、制御プログラム９Ａが提供する機能は、メールアプリケーション９Ｂ等の他のプログラムが提供する機能と組み合わせて利用されることがある。
【００４４】
コントローラ１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。コントローラ１０は、通信ユニット６等の他の構成要素が統合されたＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）等の集積回路であってもよい。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。
【００４５】
具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行して、ディスプレイ２Ａ及び通信ユニット６等を制御することによって各種機能を実現する。コントローラ１０は、タッチスクリーン２Ｂ、ボタン３、加速度センサ１５等の各種検出部の検出結果に応じて、制御を変更することもある。
【００４６】
コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、加速度センサ１５等によって検出された姿勢の変化、及びタッチスクリーン２Ｂを介して検出されたジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を実行する。
【００４７】
カメラ１２は、フロントフェイス１Ａに面している物体を撮影するインカメラである。カメラ１３は、バックフェイス１Ｂに面している物体を撮影するアウトカメラである。
【００４８】
コネクタ１４は、他の装置が接続される端子である。コネクタ１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト）、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１４は、Ｄｏｃｋコネクタのような専用に設計された端子でもよい。コネクタ１４に接続される装置には、例えば、外部ストレージ、スピーカ、通信装置が含まれる。
【００４９】
加速度センサ１５は、スマートフォン１に働く加速度の方向及び大きさを検出する。方位センサ１６は、地磁気の向きを検出する。ジャイロスコープ１７は、スマートフォン１の回転を検出する。加速度センサ１５、方位センサ１６及びジャイロスコープ１７の検出結果は、スマートフォン１の位置及び姿勢の変化を検出するために、組み合わせて利用される。以下の説明では、スマートフォン１の姿勢を検出するための検出部を姿勢検出部１８と呼ぶことがある。姿勢検出部１８は、加速度センサ１５、方位センサ１６、及びジャイロスコープ１７の少なくとも１つを含むが、他のセンサをさらに含んでもよい。
【００５０】
なお、図５においてストレージ９が記憶することとしたプログラムの一部又は全部は、通信ユニット６による無線通信で他の装置からダウンロードされてもよい。また、図５においてストレージ９が記憶することとしたプログラムの一部又は全部は、ストレージ９に含まれる読み取り装置が読み取り可能な記憶媒体に記憶されていてもよい。また、図５においてストレージ９が記憶することとしたプログラムの一部又は全部は、コネクタ１４に接続される読み取り装置が読み取り可能なＣＤ、ＤＶＤ、又はＢｌｕ−ｒａｙ等の記憶媒体に記憶されていてもよい。
【００５１】
また、図５に示したスマートフォン１の構成は一例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、ボタン３の数と種類は図５の例に限定されない。例えば、スマートフォン１は、画面に関する操作のためのボタンとして、ボタン３Ａ〜３Ｃに代えて、テンキー配列又はＱＷＥＲＴＹ配列等のボタンを備えていてもよい。また、スマートフォン１は、画面に関する操作のために、ボタンを１つだけ備えてもよいし、ボタンを備えなくてもよい。また、図５に示した例では、スマートフォン１が２つのカメラを備えることとしたが、スマートフォン１は、１つのカメラのみを備えてもよいし、カメラを備えなくてもよい。また、図５に示した例では、スマートフォン１が位置及び姿勢を検出するために３種類のセンサを備えることとしたが、スマートフォン１は、このうちいくつかのセンサを備えなくてもよいし、位置及び姿勢を検出するための他の種類のセンサを備えてもよい。
【００５２】
図６および図７を参照しながら、タッチスクリーン２Ｂ及び姿勢検出部１８の検出結果に基づくスマートフォン１の動作の例について説明する。図６は、スマートフォン１を傾けずに持って操作する場合のスマートフォン１の動作の例を示す図である。図６に示すステップＳＡ１では、利用者は、スマートフォン１を傾けずに片手で持っている。「傾けずに」とは、ディスプレイ２Ａに表示されている画面の上下方向が重力の方向とほぼ一致していることを意味する。スマートフォン１が傾いていると判定するための閾値は任意に設定可能であり、例えば、画面の上下方向と重力の方向の角度が２０度乃至それより大きい場合でも、スマートフォン１が傾けずに持たれていると判定してよい。
【００５３】
ステップＳＡ１では、地図画面６１がディスプレイ２Ａに表示されている。地図画面６１は、コントローラ１０が地図アプリケーション９Ｄを実行することによって、ディスプレイ２Ａに表示される。この状態で、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。スマートフォン１は、傾けずに持たれているときに左方向へのスワイプを検出すると、ステップＳＡ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を左方向へスクロールさせる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＡ３に示すように、スクロールを止める。
【００５４】
一方、ステップＳＡ１の状態で、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して右方向へのスワイプを行ったものとする。スマートフォン１は、傾けずに持たれているときに右方向へのスワイプを検出すると、ステップＳＡ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を右方向へスクロールさせる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＡ５に示すように、スクロールを止める。
【００５５】
このように、スマートフォン１は、地図画面６１を表示中に左右方向へのスワイプを検出すると、傾けずに持たれている場合には、指の動きに合わせて地図画面６１をスクロールさせる。
【００５６】
図７は、スマートフォン１を傾けて持って操作する場合のスマートフォン１の動作の例を示す図である。図７に示すステップＳＢ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＢ１では、地図画面６１がディスプレイ２Ａに表示されている。
【００５７】
この状態から、利用者が、スマートフォン１を左に（反時計回りに）傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１の傾きは、例えば、ディスプレイ２Ａに表示されている画面の下端のうち、左下端及び右下端のいずれが、重力方向において他方よりも下に位置するかで判断される。スマートフォン１の傾きの大きさは、ディスプレイ２Ａに表示されている画面の左右方向Ｄ２と水平面の方向Ｄ１とがなす角度Ｒ１に相当する。スマートフォン１は、傾きが閾値より大きいときに左方向へのスワイプを検出すると、ステップＳＢ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＢ３に示すように、拡大を止める。
【００５８】
一方、ステップＳＢ１の状態から、利用者が、スマートフォン１を左に傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して右方向へのスワイプを行ったものとする。スマートフォン１は、傾きが閾値より大きいときに右方向へのスワイプを検出すると、ステップＳＢ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を縮小させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＢ５に示すように、縮小を止める。
【００５９】
このように、スマートフォン１は、地図画面６１を表示中に左右方向へのスワイプを検出すると、傾けて持たれている場合には、指の動きに合わせて地図画面６１を拡大または縮小させる。
【００６０】
図６及び図７の例に示したように、スマートフォン１は、傾きの大きさに応じて、タッチスクリーン２Ｂによって検出されるジェスチャに対応して実行する処理を切り替える。このため、スマートフォン１は、タッチスクリーン２Ｂによって検出される各ジェスチャに複数の処理を割り当てることができる。このことは、利用者が、タッチスクリーン２Ｂに対する操作に応じて多様な処理を実行することを可能にする。
【００６１】
図６および図７に示したように、スマートフォン１を持っている手の指で操作を行う場合、複数の指を用いるマルチタッチ等の複雑なジェスチャを行うのは困難であるため、利用者がタッチスクリーン２Ｂに対して行える操作は限られる。しかし、このような状況においても、スマートフォン１を傾けることは容易である。このため、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きに応じて切り替えることは、少ない種類のジェスチャしか行えない状況でも、多くの種類の処理を実行することを可能にする。
【００６２】
図６および図７では、地図画面６１において実行される処理をスマートフォン１の傾きに応じて切り替える例を示したが、傾きに応じて実行される処理が切り替わる画面は、地図画面６１に限定されない。図６および図７では、スマートフォン１の傾きに応じて、画面のスクロールと拡大／縮小とで処理が切り替わる例を示したが、傾きに応じて切り替わる処理はこれらに限定されない。
【００６３】
図６および図７では、スマートフォン１の傾きに応じてスワイプに対応する処理が切り替わる例を示したが、傾きに応じて処理が切り替わるジェスチャはこれに限定されない。図６および図７では、スマートフォン１が左に傾いた場合に処理が切り替わる例を示したが、処理の切り替えを引き起こす要因はこれに限定されない。例えば、スマートフォン１は、傾きの方向に応じて実行する処理を切り替えてもよいし、傾きの大きさの段階に応じて実行される処理が切り替わってもよい。
【００６４】
図８から図１１を参照しながら、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きに応じて切り替える変形例について説明する。図８は、スマートフォン１の傾きの方向に応じて処理を切り替える例を示す図である。図８に示すステップＳＣ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＣ１では、地図画面６１がディスプレイ２Ａに表示されている。
【００６５】
この状態から、利用者が、スマートフォン１を左に傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して、ある方向へのスワイプを行ったものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１は、左への傾きが閾値より大きいときにスワイプを検出すると、ステップＳＣ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＣ３に示すように、拡大を止める。
【００６６】
一方、ステップＳＣ１の状態から、利用者が、スマートフォン１を右に（時計回りに）傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して、ある方向へのスワイプを行ったものとする。スマートフォン１は、右への傾きが閾値より大きいときにスワイプを検出すると、ステップＳＣ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を縮小させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＣ５に示すように、縮小を止める。
【００６７】
このように、スマートフォン１は、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きの方向に応じて変更してもよい。図８では、左右方向への傾きに応じて処理を切り替える例を示したが、スマートフォン１は、他の方向への傾きに応じて処理を切り替えてもよい。例えば、スマートフォン１は、ディスプレイ２Ａがやや下を向くように前方に傾けられた場合に、ジェスチャに対応して実行する処理を切り替えてもよい。例えば、スマートフォン１は、ディスプレイ２Ａがやや上を向くように後方に傾けられた場合に、ジェスチャに対応して実行する処理を切り替えてもよい。
【００６８】
図９は、スマートフォン１の傾きに応じた処理の切り替えを利用者に通知する例を示す図である。図９に示すステップＳＤ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＤ１では、地図画面６１がディスプレイ２Ａに表示されている。ステップＳＤ１では、さらに標識６２がディスプレイ２Ａに表示されている。標識６２は、スワイプが行われた場合に地図画面６１がスクロールすることを示している。
【００６９】
この状態で、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。スマートフォン１は、傾けずに持たれているときに左方向へのスワイプを検出すると、ステップＳＤ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を左方向へスクロールさせる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＤ３に示すように、スクロールを止める。この間、標識６２は、継続してディスプレイ２Ａに表示される。
【００７０】
一方、ステップＳＤ１の状態から、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。検出された傾きが閾値よりも大きい場合、スマートフォン１は、ステップＳＤ４に示すように、標識６２に代えて、標識６３をディスプレイ２Ａに表示する。標識６３は、左方向へのスワイプが行われた場合に地図画面６１が拡大され、右方向へのスワイプが行われた場合に地図画面６１が縮小されることを示している。
【００７１】
傾きが閾値を超えた場合にディスプレイ２Ａに表示する標識を変更することにより、利用者は、タッチスクリーン２Ｂが検出するジェスチャに対応して実行される処理が切り替わったことを容易に知ることができる。図９では、傾きに応じた処理の切り替えを、ディスプレイ２Ａを用いて利用者に通知する例を示したが、通知の仕方はこれに限定されない。例えば、スマートフォン１は、音、振動、ランプの点灯等によって利用者に通知を行ってもよい。
【００７２】
標識６３が表示されている間に、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。スマートフォン１は、標識６３を表示しているとき、すなわち、傾きが閾値より大きいときに左方向へのスワイプを検出すると、ステップＳＤ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。そして、スマートフォン１は、傾きが閾値よりも小さくなったことを検出すると、ステップＳＤ５に示すように、標識６３に代えて、標識６２をディスプレイ２Ａに表示する。
【００７３】
図１０は、地図画面以外の画面を表示しているときにスマートフォン１の傾きに応じて処理を切り替える例を示す図である。図１０に示すステップＳＥ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＥ１では、ホーム画面４０がディスプレイ２Ａに表示されている。
【００７４】
この状態で、ステップＳＥ２に示すように、利用者が、スマートフォン１を持っている手の指Ｆ１を使って、ホーム画面４０上に配置されているアイコン５０ａをタップしたものとする。スマートフォン１は、傾けずに持たれているときにアイコン５０ａへのタップを検出すると、アイコン５０ａに対応付けられているアプリケーションを実行する。アイコン５０ａはメールアプリケーション９Ｂに対応付けられているので、この場合、スマートフォン１は、メールアプリケーション９Ｂを実行する。そして、スマートフォン１は、ステップＳＥ３に示すように、メールアプリケーション９Ｂによって提供される受信トレイ画面７１をディスプレイ２Ａに表示する。
【００７５】
一方、ステップＳＥ１の状態から、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。検出された傾きが閾値よりも大きい場合、スマートフォン１は、ステップＳＥ４に示すように、ホーム画面４０を再構築モードへ移行させる。再構築モードは、ホーム画面４０上に配置されたアイコン５０の移動及び削除が可能になるモードである。再構築モードでは、アイコン５０を削除するための削除ボタン５２が各アイコン５０に付加される。
【００７６】
再構築モードにおいて、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってアイコン５０ａに付加された削除ボタン５２をタップしたものとする。スマートフォン１は、再構築モードへ移行しているとき、すなわち、傾きが閾値より大きいときに削除ボタン５２へのタップを検出すると、タップされた削除ボタン５２に対応するアイコン５０ａを削除する。このとき、スマートフォン１は、メールアプリケーション９Ｂをアンインストールしてもよい。そして、スマートフォン１は、傾きが閾値よりも小さくなったことを検出すると、ステップＳＥ５に示すように、ホーム画面４０の再構築モードを解除する。
【００７７】
図１１は、スマートフォン１の傾きの大きさの段階に応じて処理を切り替える例を示す図である。図１１に示すステップＳＦ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＦ１では、メール作成画面７２がディスプレイ２Ａに表示されている。ディスプレイ２Ａの下部には、複数のボタンが配置された仮想キーボード８１ａが表示されている。スマートフォン１は、仮想キーボード８１ａに対するタップを検出すると、タップされたボタンに対応する小文字がメール作成画面７２に入力されるように処理する。
【００７８】
この状態から、ステップＳＦ２に示すように、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１は、左への傾きが第１の閾値より大きい場合、ステップＳＦ２に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｂを表示する。スマートフォン１は、仮想キーボード８１ｂに対するタップを検出すると、タップされたボタンに対応する大文字がメール作成画面７２に入力されるように処理する。
【００７９】
この状態から、ステップＳＦ３に示すように、利用者が、スマートフォン１をさらに左に傾けたものとする。スマートフォン１は、左への傾きが第２の閾値（第２の閾値＞第１の閾値）より大きい場合、ステップＳＦ３に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ｂに代えて、複数のボタンが配置された仮想キーボード８１ｃを表示する。スマートフォン１は、仮想キーボード８１ｃに対するタップを検出すると、タップされたボタンに対応する数字がメール作成画面７２に入力されるように処理する。
【００８０】
一方、ステップＳＦ１の状態から、ステップＳＦ４に示すように、利用者が、スマートフォン１を右に傾けたものとする。スマートフォン１は、右への傾きが第１の閾値より大きい場合、ステップＳＦ４に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｄを表示する。スマートフォン１は、仮想キーボード８１ｄに対するタップを検出すると、タップされたボタンに対応する記号がメール作成画面７２に入力されるように処理する。
【００８１】
図１１では、左へ傾きの大きさに応じてジェスチャに対応する処理が２段階で切り替わる例を示したが、傾きの方向及び傾きの段階数はこれに限定されない。
【００８２】
図１１では、スマートフォン１が、仮想キーボードに対するジェスチャによって入力される文字の種類をスマートフォン１の傾きに応じて切り替える例を示した。このように構成することにより、利用者は、切り替えボタンのタップ等の操作をタッチスクリーン２Ｂに対して行うことなく、入力する文字の種類を切り替えることが可能になる。このことは、文字の入力（仮想キーボードに対するジェスチャ）を中断することなく、入力する文字の種類の切り替えることを可能にし、文字入力の迅速化に寄与する。
【００８３】
図１２を参照しながら、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きに応じて切り替える制御の処理手順の例について説明する。図１２は、検出されるジェスチャに対応して実行する処理を傾きに応じて切り替える制御を示すフローチャートである。図１２に示す制御は、コントローラ１０が、制御プログラム９Ａを実行することによって実現されてもよいし、タッチスクリーン２Ｂに対するジェスチャの検出時にコントローラ１０が実行中のアプリケーションが提供する機能によって実現されてもよい。図１２に示す制御は、制御プログラム９Ａが提供する機能と実行中のアプリケーションが提供する機能との協働によって実現されてもよい。図１２に示す処理手順は、タッチスクリーン２Ｂに対する操作が可能な間、繰り返して実行される。コントローラ１０は、図１２に示す処理手順と並行して、他の処理手順を実行することがある。
【００８４】
コントローラ１０は、ステップＳ１０１として、姿勢検出部１８から傾きを取得する。そして、コントローラ１０は、ステップＳ１０２として、取得した傾きが閾値よりも大きいかを判定する。ここで用いられる閾値は、スマートフォン１が傾いているかを判定するための閾値である。
【００８５】
取得した傾きが閾値よりも大きくない、すなわち、スマートフォン１が傾いていない場合（ステップＳ１０２，Ｎｏ）、コントローラ１０は、ステップＳ１０３として、通常の画面をディスプレイ２Ａに表示する。通常の画面は、例えば、何らかのアプリケーションがフォアグランドで実行されている場合はそのアプリケーションが提供する画面であり、さもなければホーム画面である。続いて、コントローラ１０は、ステップＳ１０４として、タッチスクリーン２Ｂに対する操作が検出されたかを判定する。タッチスクリーン２Ｂに対する操作が検出された場合（ステップＳ１０４，Ｙｅｓ）、コントローラ１０は、ステップＳ１０５として、検出された操作に対応する通常の処理を実行する。通常の処理は、スマートフォン１が傾いていないときに同様の操作が検出された場合に実行すべき処理、又は、他の装置が同様の操作を検出した場合に通常実行する処理である。
【００８６】
取得した傾きが閾値よりも大きい、すなわち、スマートフォン１が傾いている場合（ステップＳ１０２，Ｙｅｓ）、コントローラ１０は、ステップＳ１０６として、検出された傾きに応じてディスプレイ２Ａに表示される画面を更新する。例えば、コントローラ１０は、図９に示したように、ジェスチャに応じて実行される処理が切り替わったことを通知するために標識を変更する。あるいは、コントローラ１０は、図１０に示したように、表示する画面を異なるモードの画面に変更する。あるいは、コントローラ１０は、図１１に示したように、画面上に配置される部品の種類、数、表示態様等を変更する。コントローラ１０は、更新の必要がなければ、画面をそのまま維持してもよい。
【００８７】
続いて、コントローラ１０は、ステップＳ１０７として、タッチスクリーン２Ｂに対する操作が検出されたかを判定する。タッチスクリーン２Ｂに対する操作が検出された場合（ステップＳ１０７，Ｙｅｓ）、コントローラ１０は、ステップＳ１０８として、検出された操作に対応する処理のうち、ステップＳ１０１で取得した傾きに応じた処理を選択する。そして、コントローラ１０は、ステップＳ１０９として、選択した処理を実行する。
【００８８】
本発明を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
【００８９】
例えば、図５に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
【００９０】
また、上記の実施形態では、タッチスクリーンディスプレイを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。例えば、添付の請求項に係る装置は、モバイルフォン、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、又はゲーム機等の携帯電子機器であってもよい。また、添付の請求項に係る装置は、デスクトップパソコン、テレビ受像器等の据え置き型の電子機器であってもよい。
【００９１】
また、上記の実施形態では、スマートフォン１の傾きに応じて、タッチスクリーン２Ｂによって検出されるジェスチャに対応して実行される処理を切り替える例について説明した。しかし、スマートフォン１の傾きに応じて切り替わる処理は、タッチスクリーン２Ｂによってされるジェスチャに対応して実行される処理に限定されない。例えば、スマートフォン１は、スマートフォン１の傾きに応じて、ボタン３によって検出される操作に対応して実行される処理を切り替えてもよい。
【００９２】
また、上記の実施形態では、スマートフォン１が傾いているときに操作が検出されると、スマートフォン１が傾いていないときと異なる処理が実行される例について説明した。しかし、スマートフォン１は、傾きが解消された後も、傾いていたときと同じ処理を実行してもよい。すなわち、スマートフォン１は、閾値より大きい傾きを検出するたびにタッチスクリーン２Ｂによって検出されるジェスチャに対応して実行される処理を切り替え、傾きが閾値よりも小さくなった後もジェスチャに対応して実行される処理をそのまま維持してもよい。
【００９３】
この場合の動作について図１３を参照しながら説明する。図１３は、傾きが解消された後も処理が切り替わったままにする例を示す図である。図１３に示すステップＳＧ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＧ１では、メール作成画面７２がディスプレイ２Ａに表示されている。ディスプレイ２Ａの下部には、複数のボタンが配置された仮想キーボード８１ａが表示されている。スマートフォン１は、仮想キーボード８１ａに対するタップを検出すると、タップされたボタンに対応する小文字がメール作成画面７２に入力されるように処理する。
【００９４】
この状態から、ステップＳＧ２に示すように、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１は、左への傾きが閾値より大きい場合、ステップＳＧ２に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｂを表示する。スマートフォン１は、仮想キーボード８１ｂに対するタップを検出すると、タップされたボタンに対応する大文字がメール作成画面７２に入力されるように処理する。
【００９５】
この状態から、ステップＳＧ３に示すように、利用者が、スマートフォン１の姿勢を元に戻したものとする。スマートフォン１は、左への傾きが閾値より小さくなっても、ステップＳＧ３に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ｂを表示する。スマートフォン１は、仮想キーボード８１ｂに対するタップを検出すると、タップされたボタンに対応する大文字がメール作成画面７２に入力されるように処理する。
【００９６】
この状態から、利用者が、スマートフォン１を再び左に傾けた場合、スマートフォン１は、仮想キーボード８１ｂに代えて、元通りに仮想キーボード８１ａを表示してもよいし、仮想キーボード８１ｃのようにさらに異なる処理が実行される画面を表示してもよい。
【００９７】
一方、ステップＳＧ１の状態から、ステップＳＧ４に示すように、利用者が、スマートフォン１を右に傾けたものとする。スマートフォン１は、右への傾きが閾値より大きい場合、ステップＳＧ４に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｄを表示する。スマートフォン１は、仮想キーボード８１ｄに対するタップを検出すると、タップされたボタンに対応する記号がメール作成画面７２に入力されるように処理する。
【００９８】
この状態から、ステップＳＧ５に示すように、利用者が、スマートフォン１の姿勢を元に戻したものとする。スマートフォン１は、右への傾きが閾値より小さくなっても、ステップＳＧ５に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ｄを表示する。スマートフォン１は、仮想キーボード８１ｄに対するタップを検出すると、タップされたボタンに対応する記号がメール作成画面７２に入力されるように処理する。
【００９９】
この状態から、利用者が、スマートフォン１を再び右に傾けた場合、スマートフォン１は、仮想キーボード８１ｄに代えて、元通りに仮想キーボード８１ａを表示してもよいし、仮想キーボード８１ｃのようにさらに異なる処理が実行される画面を表示してもよい。
【０１００】
図１３に示した例において、スマートフォン１は、傾きが検出された場合ではなく、スマートフォン１を振る動きが姿勢検出部１８によって検出された場合に、タッチスクリーン２Ｂによって検出されるジェスチャに対応して実行される処理を切り替えてもよい。
【０１０１】
スマートフォン１は、傾いているときに開始された操作が、傾きが解消された後も継続している場合には、その操作に対応する処理として、操作の検出開始時に傾きに応じて選択した処理を、傾きが解消された後も継続して実行してもよい。
【０１０２】
この場合の動作について図１４を参照しながら説明する。図１４は、傾きが解消された後も操作が継続される場合の動作の例を示す図である。図１４に示すステップＳＨ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＨ１では、地図画面６１がディスプレイ２Ａに表示されている。ステップＳＨ１では、さらに標識６２がディスプレイ２Ａに表示されている。標識６２は、スワイプが行われた場合に地図画面６１がスクロールすることを示している。
【０１０３】
この状態で、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。検出された傾きが閾値よりも大きい場合、スマートフォン１は、ステップＳＨ２に示すように、標識６２に代えて、標識６３をディスプレイ２Ａに表示する。標識６３は、左方向へのスワイプが行われた場合に地図画面６１が拡大され、右方向へのスワイプが行われた場合に地図画面６１が縮小されることを示している。
【０１０４】
標識６３が表示されている間に、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを開始したものとする。スマートフォン１は、傾きが閾値より大きいときに左方向へのスワイプを検出すると、ステップＳＨ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。
【０１０５】
その後、ステップＳＨ３に示すように、利用者がスワイプを継続しながらスマートフォン１の姿勢を元に戻したものとする。このように、傾きが閾値よりも小さくなっても、傾きが閾値よりも大きいときに検出された操作が継続している場合には、スマートフォン１は、その操作の検出開始時に姿勢検出部１８が検出した傾きに応じて選択した処理を継続して実行する。このため、ステップＳＨ３では、標識６３が継続して表示され、スワイプに対応して地図画面６１の拡大／縮小が実行される。
【０１０６】
そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたこと、すなわち、継続していた操作が終了したことを検出すると、ステップＳＨ４に示すように、スワイプに対応して地図画面６１をスクロールする状態となり、標識６３に代えて標識６２を表示する。図１４に示した例では、説明を容易にするために標識６２および標識６３を表示したが、これらは必ずしも表示しなくてもよい。
【０１０７】
上述してきた実施形態及びその変形例は、適宜組み合わせてもよい。
【符号の説明】
【０１０８】
１ スマートフォン
２ タッチスクリーンディスプレイ
２Ａ ディスプレイ
２Ｂ タッチスクリーン
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ レシーバ
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ メールアプリケーション
９Ｃ ブラウザアプリケーション
９Ｄ 地図アプリケーション
９Ｚ 設定データ
１０ コントローラ
１２、１３ カメラ
１４ コネクタ
１５ 加速度センサ
１６ 方位センサ
１７ ジャイロスコープ
２０ ハウジング
【技術分野】
【０００１】
本発明は、装置、方法、及びプログラムに関する。特に、本発明は、タッチスクリーンディスプレイを有する装置、その装置を制御する方法、及びその装置を制御するためのプログラムに関する。
【背景技術】
【０００２】
タッチスクリーンディスプレイを備える装置が知られている。タッチスクリーンディスプレイを備える装置には、例えば、スマートフォン及びタブレットが含まれる。タッチスクリーンディスプレイを備える装置は、タッチスクリーンディスプレイを介して指又はスタイラスペンのジェスチャを検出する。そして、タッチスクリーンディスプレイを備える装置は、検出したジェスチャに従って動作する。検出したジェスチャに従った動作の例は、例えば、特許文献１に記載されている。
【０００３】
タッチスクリーンディスプレイを備える装置の基本的な動作は、装置に搭載されるＡｎｄｒｏｉｄ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標） ＯＳ、ｉＯＳ、Ｗｉｎｄｏｗｓ（登録商標） Ｐｈｏｎｅ等のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって実現される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００８／０８６３０２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチスクリーンディスプレイによって検出できる操作の種類は比較的少ない。特に、他方の手がふさがっている等の理由で装置を片手で持って操作する状況では、利用者がマルチタッチ等の複雑な操作を行うことは困難であるため、検出できる操作の種類は少なくなる。そのため、装置によっては、タッチスクリーンディスプレイによって検出される操作に応じて実行できる処理の数が限られることがあった。本発明は、タッチスクリーンディスプレイによって検出される操作に応じて多様な処理を実行することができる装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る装置は、１つの態様において、ジェスチャを検出するタッチスクリーンディスプレイと、傾きを検出する姿勢検出部と、前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるコントローラと、を備える。
【０００７】
本発明に係る方法は、１つの態様において、タッチスクリーンディスプレイ及び姿勢検出部を備える装置を制御する方法であって、前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、前記姿勢検出部によって傾きを検出するステップと、前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、を含む。
【０００８】
本発明に係るプログラムは、１つの態様において、タッチスクリーンディスプレイ及び姿勢検出部を備える装置に、前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、前記姿勢検出部によって傾きを検出するステップと、前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、を実行させる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係るスマートフォンの外観を示す斜視図である。
【図２】図２は、実施形態に係るスマートフォンの外観を示す正面図である。
【図３】図３は、実施形態に係るスマートフォンの外観を示す背面図である。
【図４】図４は、ホーム画面の一例を示す図である。
【図５】図５は、実施形態に係るスマートフォンの機能を示すブロック図である。
【図６】図６は、スマートフォンを傾けずに持って操作する場合のスマートフォンの動作の例を示す図である。
【図７】図７は、スマートフォンを傾けて持って操作する場合のスマートフォンの動作の例を示す図である。
【図８】図８は、スマートフォンの傾きの方向に応じて処理を切り替える例を示す図である。
【図９】図９は、スマートフォンの傾きに応じた処理の切り替えを利用者に通知する例を示す図である。
【図１０】図１０は、地図画面以外の画面を表示しているときにスマートフォンの傾きに応じて処理を切り替える例を示す図である。
【図１１】図１１は、スマートフォンの傾きの大きさの段階に応じて処理を切り替える例を示す図である。
【図１２】図１２は、検出されるジェスチャに対応して実行する処理を傾きに応じて切り替える制御を示すフローチャートである。
【図１３】図１３は、傾きが解消された後も処理が切り替わったままにする例を示す図である。
【図１４】図１４は、傾きが解消された後も操作が継続される場合の動作の例を示す図である。
【発明を実施するための形態】
【００１０】
本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、タッチスクリーンディスプレイを備える装置の一例として、スマートフォンについて説明する。
【００１１】
（実施形態）
図１から図３を参照しながら、実施形態に係るスマートフォン１の外観について説明する。図１から図３に示すように、スマートフォン１は、ハウジング２０を有する。ハウジング２０は、フロントフェイス１Ａと、バックフェイス１Ｂと、サイドフェイス１Ｃ１〜１Ｃ４とを有する。フロントフェイス１Ａは、ハウジング２０の正面である。バックフェイス１Ｂは、ハウジング２０の背面である。サイドフェイス１Ｃ１〜１Ｃ４は、フロントフェイス１Ａとバックフェイス１Ｂとを接続する側面である。以下では、サイドフェイス１Ｃ１〜１Ｃ４を、どの面であるかを特定することなく、サイドフェイス１Ｃと総称することがある。
【００１２】
スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３Ａ〜３Ｃと、照度センサ４と、近接センサ５と、レシーバ７と、マイク８と、カメラ１２とをフロントフェイス１Ａに有する。スマートフォン１は、カメラ１３をバックフェイス１Ｂに有する。スマートフォン１は、ボタン３Ｄ〜３Ｆと、コネクタ１４とをサイドフェイス１Ｃに有する。以下では、ボタン３Ａ〜３Ｆを、どのボタンであるかを特定することなく、ボタン３と総称することがある。
【００１３】
タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬパネル（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ ｐａｎｅｌ）、又は無機ＥＬパネル（Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ ｐａｎｅｌ）等の表示デバイスを備える。ディスプレイ２Ａは、文字及び図形等を表示する。
【００１４】
タッチスクリーン２Ｂは、タッチスクリーンディスプレイ２に対する指、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、又はスタイラスペン等がタッチスクリーンディスプレイ２に接触した位置を検出することができる。
【００１５】
タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下では、説明を簡単にするため、タッチスクリーン２Ｂがタッチスクリーンディスプレイ２に対する接触を検出する指、又はスタイラスペン等を単に「指」ということがある。
【００１６】
スマートフォン１は、タッチスクリーン２Ｂにより検出された接触及び接触が行われた位置に基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーンディスプレイ２に対して行われる操作である。スマートフォン１によって判別されるジェスチャには、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、ピンチアウト等が含まれる。
【００１７】
タッチは、タッチスクリーン２Ｂに指が触れるジェスチャである。スマートフォン１は、タッチスクリーン２Ｂに指が接触するジェスチャをタッチとして判別する。ロングタッチとは、タッチスクリーン２Ｂに指が一定時間以上触れるジェスチャである。スマートフォン１は、タッチスクリーン２Ｂに指が一定時間以上接触するジェスチャをロングタッチとして判別する。
【００１８】
リリースは、指がタッチスクリーン２Ｂから離れるジェスチャである。スマートフォン１は、指がタッチスクリーン２Ｂから離れるジェスチャをリリースとして判別する。スワイプは、指がタッチスクリーンディスプレイ２上に接触したままで移動するジェスチャである。スマートフォン１は、指がタッチスクリーンディスプレイ２上に接触したままで移動するジェスチャをスワイプとして判別する。
【００１９】
タップは、タッチに続いてリリースをするジェスチャである。スマートフォン１は、タッチに続いてリリースをするジェスチャをタップとして判別する。ダブルタップは、タッチに続いてリリースをするジェスチャが２回連続するジェスチャである。スマートフォン１は、タッチに続いてリリースをするジェスチャが２回連続するジェスチャをダブルタップとして判別する。
【００２０】
ロングタップは、ロングタッチに続いてリリースをするジェスチャである。スマートフォン１は、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。ドラッグは、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。スマートフォン１は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。
【００２１】
フリックは、タッチに続いて指が一方方向へ高速で移動しながらリリースするジェスチャである。スマートフォン１は、タッチに続いて指が一方方向へ高速で移動しながらリリースするジェスチャをフリックとして判別する。フリックは、指が画面の上方向へ移動する上フリック、指が画面の下方向へ移動する下フリック、指が画面の右方向へ移動する右フリック、指が画面の左方向へ移動する左フリック等を含む。
【００２２】
ピンチインは、複数の指が近付く方向にスワイプするジェスチャである。スマートフォン１は、複数の指が近付く方向にスワイプするジェスチャをピンチインとして判別する。ピンチアウトは、複数の指が遠ざかる方向にスワイプするジェスチャである。スマートフォン１は、複数の指が遠ざかる方向にスワイプするジェスチャをピンチアウトとして判別する。
【００２３】
スマートフォン１は、タッチスクリーン２Ｂを介して判別するこれらのジェスチャに従って動作を行う。したがって、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってスマートフォン１が行う動作は、タッチスクリーンディスプレイ２に表示されている画面に応じて異なる。
【００２４】
図４を参照しながら、ディスプレイ２Ａに表示される画面の例について説明する。図４は、ホーム画面の一例を示している。ホーム画面は、デスクトップ、又は待受画面と呼ばれることもある。ホーム画面は、ディスプレイ２Ａに表示される。ホーム画面は、スマートフォン１にインストールされているアプリケーションのうち、どのアプリケーションを実行するかを利用者に選択させる画面である。スマートフォン１は、ホーム画面で選択されたアプリケーションをフォアグランドで実行する。フォアグランドで実行されるアプリケーションは、ホーム画面とは異なる画面をディスプレイ２Ａに表示させる。
【００２５】
スマートフォン１は、ホーム画面にアイコンを配置することができる。図４に示すホーム画面４０には、複数のアイコン５０が配置されている。それぞれのアイコン５０は、スマートフォン１にインストールされている特定のアプリケーションと予め対応付けられている。スマートフォン１は、アイコン５０に対する特定のジェスチャ（例えば、タップ）を検出すると、そのアイコン５０に対応付けられているアプリケーションを実行する。例えば、スマートフォン１は、メールアプリケーションに対応付けられたアイコン５０に対するタップが検出されると、メールアプリケーションを実行する。
【００２６】
アイコン５０は、画像と文字列を含む。アイコン５０は、画像に代えて、記号又は図形を含んでもよい。アイコン５０は、画像又は文字列のいずれか一方を含まなくてもよい。アイコン５０は、所定の規則に従って配置される。アイコン５０の背後には、壁紙４１が表示される。壁紙は、フォトスクリーン又はバックスクリーンと呼ばれることもある。スマートフォン１は、任意の画像を壁紙４１として用いることができる。画像は、例えば、利用者の設定に従って壁紙として決定される。
【００２７】
スマートフォン１は、ホーム画面の数を増減することができる。スマートフォン１は、例えば、ホーム画面の数を利用者による設定に従って決定する。スマートフォン１は、ホーム画面を表示する場合、ホーム画面の数が複数であっても、それらのうちから選択された１つをディスプレイ２Ａに表示する。
【００２８】
スマートフォン１は、ホーム画面上に、１つ又は複数のロケータを表示する。ロケータの数は、ホーム画面の数と一致する。ロケータは、現在表示されているホーム画面の位置を示す。現在表示されているホーム画面に対応するロケータは、他のロケータと異なる態様で表示される。
【００２９】
図４に示す例では、４つのロケータ５１が表示されている。これは、ホーム画面４０の数が４つであることを示す。また、図４に示す例では、左から２番目のシンボルが他のシンボルと異なる態様で表示されている。これは、左から２番目のホーム画面が現在表示されていることを示している。
【００３０】
スマートフォン１は、ホーム画面を表示中に特定のジェスチャを検出すると、ディスプレイ２Ａに表示するホーム画面を切り替える。例えば、スマートフォン１は、右フリックを検出すると、ディスプレイ２Ａに表示するホーム画面を１つ左のホーム画面に切り替える。また、スマートフォン１は、左フリックを検出すると、ディスプレイ２Ａに表示するホーム画面を１つ右のホーム画面に切り替える。
【００３１】
ディスプレイ２Ａの上端には、領域４２が設けられている。領域４２には、充電池の残量を示す残量マーク４３、及び通信用の電波の電界強度を示す電波レベルマーク４４が表示される。スマートフォン１は、領域４２に、現在時刻、天気の情報、実行中のアプリケーション、通信システムの種別、電話のステータス、装置のモード、装置に生じたイベント等を表示してもよい。このように、領域４２は、利用者に対して各種の通知を行うために用いられる。領域４２は、ホーム画面４０以外の画面でも設けられることがある。領域４２が設けられる位置は、ディスプレイ２Ａの上端に限られない。
【００３２】
なお、図４に示したホーム画面４０は、一例であり、各種の要素の形態、各種の要素の配置、ホーム画面４０の数、及びホーム画面４０での各種の操作の仕方等は上記の説明の通りでなくてもよい。
【００３３】
図５は、スマートフォン１の構成を示すブロック図である。スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、カメラ１２及び１３と、コネクタ１４と、加速度センサ１５と、方位センサ１６と、ジャイロスコープ１７とを有する。
【００３４】
タッチスクリーンディスプレイ２は、上述したように、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａは、文字、画像、記号、又は図形等を表示する。タッチスクリーン２Ｂは、ジェスチャを検出する。
【００３５】
ボタン３は、利用者によって操作される。ボタン３は、ボタン３Ａ〜ボタン３Ｆを有する。コントローラ１０はボタン３と協働することによってボタンに対する操作を検出する。ボタンに対する操作は、例えば、クリック、ダブルクリック、プッシュ、及びマルチプッシュである。
【００３６】
例えば、ボタン３Ａ〜３Ｃは、ホームボタン、バックボタンまたはメニューボタンである。例えば、ボタン３Ｄは、スマートフォン１のパワーオン／オフボタンである。ボタン３Ｄは、スリープ／スリープ解除ボタンを兼ねてもよい。例えば、ボタン３Ｅ及び３Ｆは、音量ボタンである。
【００３７】
照度センサ４は、照度を検出する。例えば、照度とは、光の強さ、明るさ、輝度等である。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、例えば、タッチスクリーンディスプレイ２が顔に近付けられたことを検出する。
【００３８】
通信ユニット６は、無線により通信する。通信ユニット６によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格がある。例えば、セルラーフォンの通信規格として、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＰＤＣ、ＧＳＭ（登録商標）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。例えば、無線通信規格として、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、ＮＦＣ等がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。
【００３９】
レシーバ７は、コントローラ１０から送信される音声信号を音声として出力する。マイク８は、利用者等の音声を音声信号へ変換してコントローラ１０へ送信する。なお、スマートフォン１は、レシーバ７に加えて、または、レシーバ７に代えて、スピーカをさらに有してもよい。
【００４０】
ストレージ９は、プログラム及びデータを記憶する。また、ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含んでよい。また、ストレージ９は、複数の種類の記憶デバイスを含んでよい。また、ストレージ９は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
【００４１】
ストレージ９に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ２Ａに所定の画面を表示させ、タッチスクリーン２Ｂによって検出されるジェスチャに応じた処理をコントローラ１０に実行させる。制御プログラムは、例えば、ＯＳである。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は記憶媒体を介してストレージ９にインストールされてもよい。
【００４２】
ストレージ９は、例えば、制御プログラム９Ａ、メールアプリケーション９Ｂ、ブラウザアプリケーション９Ｃ、地図アプリケーション９Ｄ、設定データ９Ｚを記憶する。メールアプリケーション９Ｂは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。ブラウザアプリケーション９Ｃは、ＷＥＢページを表示するためのＷＥＢブラウジング機能を提供する。地図アプリケーション９Ｄは、地図を表示するための機能を提供する。設定データ９Ｚは、スマートフォン１の動作に関する各種の設定に関する情報を含む。
【００４３】
制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、例えば、通信ユニット６、レシーバ７、及びマイク８等を制御することによって、通話を実現させる。制御プログラム９Ａが提供する機能には、加速度センサ１５等によって検出された姿勢の変化、及びタッチスクリーン２Ｂを介して検出されたジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を行う機能が含まれる。なお、制御プログラム９Ａが提供する機能は、メールアプリケーション９Ｂ等の他のプログラムが提供する機能と組み合わせて利用されることがある。
【００４４】
コントローラ１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。コントローラ１０は、通信ユニット６等の他の構成要素が統合されたＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）等の集積回路であってもよい。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。
【００４５】
具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行して、ディスプレイ２Ａ及び通信ユニット６等を制御することによって各種機能を実現する。コントローラ１０は、タッチスクリーン２Ｂ、ボタン３、加速度センサ１５等の各種検出部の検出結果に応じて、制御を変更することもある。
【００４６】
コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、加速度センサ１５等によって検出された姿勢の変化、及びタッチスクリーン２Ｂを介して検出されたジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を実行する。
【００４７】
カメラ１２は、フロントフェイス１Ａに面している物体を撮影するインカメラである。カメラ１３は、バックフェイス１Ｂに面している物体を撮影するアウトカメラである。
【００４８】
コネクタ１４は、他の装置が接続される端子である。コネクタ１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト）、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１４は、Ｄｏｃｋコネクタのような専用に設計された端子でもよい。コネクタ１４に接続される装置には、例えば、外部ストレージ、スピーカ、通信装置が含まれる。
【００４９】
加速度センサ１５は、スマートフォン１に働く加速度の方向及び大きさを検出する。方位センサ１６は、地磁気の向きを検出する。ジャイロスコープ１７は、スマートフォン１の回転を検出する。加速度センサ１５、方位センサ１６及びジャイロスコープ１７の検出結果は、スマートフォン１の位置及び姿勢の変化を検出するために、組み合わせて利用される。以下の説明では、スマートフォン１の姿勢を検出するための検出部を姿勢検出部１８と呼ぶことがある。姿勢検出部１８は、加速度センサ１５、方位センサ１６、及びジャイロスコープ１７の少なくとも１つを含むが、他のセンサをさらに含んでもよい。
【００５０】
なお、図５においてストレージ９が記憶することとしたプログラムの一部又は全部は、通信ユニット６による無線通信で他の装置からダウンロードされてもよい。また、図５においてストレージ９が記憶することとしたプログラムの一部又は全部は、ストレージ９に含まれる読み取り装置が読み取り可能な記憶媒体に記憶されていてもよい。また、図５においてストレージ９が記憶することとしたプログラムの一部又は全部は、コネクタ１４に接続される読み取り装置が読み取り可能なＣＤ、ＤＶＤ、又はＢｌｕ−ｒａｙ等の記憶媒体に記憶されていてもよい。
【００５１】
また、図５に示したスマートフォン１の構成は一例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、ボタン３の数と種類は図５の例に限定されない。例えば、スマートフォン１は、画面に関する操作のためのボタンとして、ボタン３Ａ〜３Ｃに代えて、テンキー配列又はＱＷＥＲＴＹ配列等のボタンを備えていてもよい。また、スマートフォン１は、画面に関する操作のために、ボタンを１つだけ備えてもよいし、ボタンを備えなくてもよい。また、図５に示した例では、スマートフォン１が２つのカメラを備えることとしたが、スマートフォン１は、１つのカメラのみを備えてもよいし、カメラを備えなくてもよい。また、図５に示した例では、スマートフォン１が位置及び姿勢を検出するために３種類のセンサを備えることとしたが、スマートフォン１は、このうちいくつかのセンサを備えなくてもよいし、位置及び姿勢を検出するための他の種類のセンサを備えてもよい。
【００５２】
図６および図７を参照しながら、タッチスクリーン２Ｂ及び姿勢検出部１８の検出結果に基づくスマートフォン１の動作の例について説明する。図６は、スマートフォン１を傾けずに持って操作する場合のスマートフォン１の動作の例を示す図である。図６に示すステップＳＡ１では、利用者は、スマートフォン１を傾けずに片手で持っている。「傾けずに」とは、ディスプレイ２Ａに表示されている画面の上下方向が重力の方向とほぼ一致していることを意味する。スマートフォン１が傾いていると判定するための閾値は任意に設定可能であり、例えば、画面の上下方向と重力の方向の角度が２０度乃至それより大きい場合でも、スマートフォン１が傾けずに持たれていると判定してよい。
【００５３】
ステップＳＡ１では、地図画面６１がディスプレイ２Ａに表示されている。地図画面６１は、コントローラ１０が地図アプリケーション９Ｄを実行することによって、ディスプレイ２Ａに表示される。この状態で、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。スマートフォン１は、傾けずに持たれているときに左方向へのスワイプを検出すると、ステップＳＡ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を左方向へスクロールさせる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＡ３に示すように、スクロールを止める。
【００５４】
一方、ステップＳＡ１の状態で、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して右方向へのスワイプを行ったものとする。スマートフォン１は、傾けずに持たれているときに右方向へのスワイプを検出すると、ステップＳＡ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を右方向へスクロールさせる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＡ５に示すように、スクロールを止める。
【００５５】
このように、スマートフォン１は、地図画面６１を表示中に左右方向へのスワイプを検出すると、傾けずに持たれている場合には、指の動きに合わせて地図画面６１をスクロールさせる。
【００５６】
図７は、スマートフォン１を傾けて持って操作する場合のスマートフォン１の動作の例を示す図である。図７に示すステップＳＢ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＢ１では、地図画面６１がディスプレイ２Ａに表示されている。
【００５７】
この状態から、利用者が、スマートフォン１を左に（反時計回りに）傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１の傾きは、例えば、ディスプレイ２Ａに表示されている画面の下端のうち、左下端及び右下端のいずれが、重力方向において他方よりも下に位置するかで判断される。スマートフォン１の傾きの大きさは、ディスプレイ２Ａに表示されている画面の左右方向Ｄ２と水平面の方向Ｄ１とがなす角度Ｒ１に相当する。スマートフォン１は、傾きが閾値より大きいときに左方向へのスワイプを検出すると、ステップＳＢ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＢ３に示すように、拡大を止める。
【００５８】
一方、ステップＳＢ１の状態から、利用者が、スマートフォン１を左に傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して右方向へのスワイプを行ったものとする。スマートフォン１は、傾きが閾値より大きいときに右方向へのスワイプを検出すると、ステップＳＢ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を縮小させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＢ５に示すように、縮小を止める。
【００５９】
このように、スマートフォン１は、地図画面６１を表示中に左右方向へのスワイプを検出すると、傾けて持たれている場合には、指の動きに合わせて地図画面６１を拡大または縮小させる。
【００６０】
図６及び図７の例に示したように、スマートフォン１は、傾きの大きさに応じて、タッチスクリーン２Ｂによって検出されるジェスチャに対応して実行する処理を切り替える。このため、スマートフォン１は、タッチスクリーン２Ｂによって検出される各ジェスチャに複数の処理を割り当てることができる。このことは、利用者が、タッチスクリーン２Ｂに対する操作に応じて多様な処理を実行することを可能にする。
【００６１】
図６および図７に示したように、スマートフォン１を持っている手の指で操作を行う場合、複数の指を用いるマルチタッチ等の複雑なジェスチャを行うのは困難であるため、利用者がタッチスクリーン２Ｂに対して行える操作は限られる。しかし、このような状況においても、スマートフォン１を傾けることは容易である。このため、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きに応じて切り替えることは、少ない種類のジェスチャしか行えない状況でも、多くの種類の処理を実行することを可能にする。
【００６２】
図６および図７では、地図画面６１において実行される処理をスマートフォン１の傾きに応じて切り替える例を示したが、傾きに応じて実行される処理が切り替わる画面は、地図画面６１に限定されない。図６および図７では、スマートフォン１の傾きに応じて、画面のスクロールと拡大／縮小とで処理が切り替わる例を示したが、傾きに応じて切り替わる処理はこれらに限定されない。
【００６３】
図６および図７では、スマートフォン１の傾きに応じてスワイプに対応する処理が切り替わる例を示したが、傾きに応じて処理が切り替わるジェスチャはこれに限定されない。図６および図７では、スマートフォン１が左に傾いた場合に処理が切り替わる例を示したが、処理の切り替えを引き起こす要因はこれに限定されない。例えば、スマートフォン１は、傾きの方向に応じて実行する処理を切り替えてもよいし、傾きの大きさの段階に応じて実行される処理が切り替わってもよい。
【００６４】
図８から図１１を参照しながら、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きに応じて切り替える変形例について説明する。図８は、スマートフォン１の傾きの方向に応じて処理を切り替える例を示す図である。図８に示すステップＳＣ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＣ１では、地図画面６１がディスプレイ２Ａに表示されている。
【００６５】
この状態から、利用者が、スマートフォン１を左に傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して、ある方向へのスワイプを行ったものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１は、左への傾きが閾値より大きいときにスワイプを検出すると、ステップＳＣ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＣ３に示すように、拡大を止める。
【００６６】
一方、ステップＳＣ１の状態から、利用者が、スマートフォン１を右に（時計回りに）傾け、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して、ある方向へのスワイプを行ったものとする。スマートフォン１は、右への傾きが閾値より大きいときにスワイプを検出すると、ステップＳＣ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を縮小させる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＣ５に示すように、縮小を止める。
【００６７】
このように、スマートフォン１は、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きの方向に応じて変更してもよい。図８では、左右方向への傾きに応じて処理を切り替える例を示したが、スマートフォン１は、他の方向への傾きに応じて処理を切り替えてもよい。例えば、スマートフォン１は、ディスプレイ２Ａがやや下を向くように前方に傾けられた場合に、ジェスチャに対応して実行する処理を切り替えてもよい。例えば、スマートフォン１は、ディスプレイ２Ａがやや上を向くように後方に傾けられた場合に、ジェスチャに対応して実行する処理を切り替えてもよい。
【００６８】
図９は、スマートフォン１の傾きに応じた処理の切り替えを利用者に通知する例を示す図である。図９に示すステップＳＤ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＤ１では、地図画面６１がディスプレイ２Ａに表示されている。ステップＳＤ１では、さらに標識６２がディスプレイ２Ａに表示されている。標識６２は、スワイプが行われた場合に地図画面６１がスクロールすることを示している。
【００６９】
この状態で、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。スマートフォン１は、傾けずに持たれているときに左方向へのスワイプを検出すると、ステップＳＤ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を左方向へスクロールさせる。そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたことを検出すると、ステップＳＤ３に示すように、スクロールを止める。この間、標識６２は、継続してディスプレイ２Ａに表示される。
【００７０】
一方、ステップＳＤ１の状態から、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。検出された傾きが閾値よりも大きい場合、スマートフォン１は、ステップＳＤ４に示すように、標識６２に代えて、標識６３をディスプレイ２Ａに表示する。標識６３は、左方向へのスワイプが行われた場合に地図画面６１が拡大され、右方向へのスワイプが行われた場合に地図画面６１が縮小されることを示している。
【００７１】
傾きが閾値を超えた場合にディスプレイ２Ａに表示する標識を変更することにより、利用者は、タッチスクリーン２Ｂが検出するジェスチャに対応して実行される処理が切り替わったことを容易に知ることができる。図９では、傾きに応じた処理の切り替えを、ディスプレイ２Ａを用いて利用者に通知する例を示したが、通知の仕方はこれに限定されない。例えば、スマートフォン１は、音、振動、ランプの点灯等によって利用者に通知を行ってもよい。
【００７２】
標識６３が表示されている間に、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを行ったものとする。スマートフォン１は、標識６３を表示しているとき、すなわち、傾きが閾値より大きいときに左方向へのスワイプを検出すると、ステップＳＤ４に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。そして、スマートフォン１は、傾きが閾値よりも小さくなったことを検出すると、ステップＳＤ５に示すように、標識６３に代えて、標識６２をディスプレイ２Ａに表示する。
【００７３】
図１０は、地図画面以外の画面を表示しているときにスマートフォン１の傾きに応じて処理を切り替える例を示す図である。図１０に示すステップＳＥ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＥ１では、ホーム画面４０がディスプレイ２Ａに表示されている。
【００７４】
この状態で、ステップＳＥ２に示すように、利用者が、スマートフォン１を持っている手の指Ｆ１を使って、ホーム画面４０上に配置されているアイコン５０ａをタップしたものとする。スマートフォン１は、傾けずに持たれているときにアイコン５０ａへのタップを検出すると、アイコン５０ａに対応付けられているアプリケーションを実行する。アイコン５０ａはメールアプリケーション９Ｂに対応付けられているので、この場合、スマートフォン１は、メールアプリケーション９Ｂを実行する。そして、スマートフォン１は、ステップＳＥ３に示すように、メールアプリケーション９Ｂによって提供される受信トレイ画面７１をディスプレイ２Ａに表示する。
【００７５】
一方、ステップＳＥ１の状態から、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。検出された傾きが閾値よりも大きい場合、スマートフォン１は、ステップＳＥ４に示すように、ホーム画面４０を再構築モードへ移行させる。再構築モードは、ホーム画面４０上に配置されたアイコン５０の移動及び削除が可能になるモードである。再構築モードでは、アイコン５０を削除するための削除ボタン５２が各アイコン５０に付加される。
【００７６】
再構築モードにおいて、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってアイコン５０ａに付加された削除ボタン５２をタップしたものとする。スマートフォン１は、再構築モードへ移行しているとき、すなわち、傾きが閾値より大きいときに削除ボタン５２へのタップを検出すると、タップされた削除ボタン５２に対応するアイコン５０ａを削除する。このとき、スマートフォン１は、メールアプリケーション９Ｂをアンインストールしてもよい。そして、スマートフォン１は、傾きが閾値よりも小さくなったことを検出すると、ステップＳＥ５に示すように、ホーム画面４０の再構築モードを解除する。
【００７７】
図１１は、スマートフォン１の傾きの大きさの段階に応じて処理を切り替える例を示す図である。図１１に示すステップＳＦ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＦ１では、メール作成画面７２がディスプレイ２Ａに表示されている。ディスプレイ２Ａの下部には、複数のボタンが配置された仮想キーボード８１ａが表示されている。スマートフォン１は、仮想キーボード８１ａに対するタップを検出すると、タップされたボタンに対応する小文字がメール作成画面７２に入力されるように処理する。
【００７８】
この状態から、ステップＳＦ２に示すように、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１は、左への傾きが第１の閾値より大きい場合、ステップＳＦ２に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｂを表示する。スマートフォン１は、仮想キーボード８１ｂに対するタップを検出すると、タップされたボタンに対応する大文字がメール作成画面７２に入力されるように処理する。
【００７９】
この状態から、ステップＳＦ３に示すように、利用者が、スマートフォン１をさらに左に傾けたものとする。スマートフォン１は、左への傾きが第２の閾値（第２の閾値＞第１の閾値）より大きい場合、ステップＳＦ３に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ｂに代えて、複数のボタンが配置された仮想キーボード８１ｃを表示する。スマートフォン１は、仮想キーボード８１ｃに対するタップを検出すると、タップされたボタンに対応する数字がメール作成画面７２に入力されるように処理する。
【００８０】
一方、ステップＳＦ１の状態から、ステップＳＦ４に示すように、利用者が、スマートフォン１を右に傾けたものとする。スマートフォン１は、右への傾きが第１の閾値より大きい場合、ステップＳＦ４に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｄを表示する。スマートフォン１は、仮想キーボード８１ｄに対するタップを検出すると、タップされたボタンに対応する記号がメール作成画面７２に入力されるように処理する。
【００８１】
図１１では、左へ傾きの大きさに応じてジェスチャに対応する処理が２段階で切り替わる例を示したが、傾きの方向及び傾きの段階数はこれに限定されない。
【００８２】
図１１では、スマートフォン１が、仮想キーボードに対するジェスチャによって入力される文字の種類をスマートフォン１の傾きに応じて切り替える例を示した。このように構成することにより、利用者は、切り替えボタンのタップ等の操作をタッチスクリーン２Ｂに対して行うことなく、入力する文字の種類を切り替えることが可能になる。このことは、文字の入力（仮想キーボードに対するジェスチャ）を中断することなく、入力する文字の種類の切り替えることを可能にし、文字入力の迅速化に寄与する。
【００８３】
図１２を参照しながら、タッチスクリーン２Ｂが検出するジェスチャに対応して実行する処理をスマートフォン１の傾きに応じて切り替える制御の処理手順の例について説明する。図１２は、検出されるジェスチャに対応して実行する処理を傾きに応じて切り替える制御を示すフローチャートである。図１２に示す制御は、コントローラ１０が、制御プログラム９Ａを実行することによって実現されてもよいし、タッチスクリーン２Ｂに対するジェスチャの検出時にコントローラ１０が実行中のアプリケーションが提供する機能によって実現されてもよい。図１２に示す制御は、制御プログラム９Ａが提供する機能と実行中のアプリケーションが提供する機能との協働によって実現されてもよい。図１２に示す処理手順は、タッチスクリーン２Ｂに対する操作が可能な間、繰り返して実行される。コントローラ１０は、図１２に示す処理手順と並行して、他の処理手順を実行することがある。
【００８４】
コントローラ１０は、ステップＳ１０１として、姿勢検出部１８から傾きを取得する。そして、コントローラ１０は、ステップＳ１０２として、取得した傾きが閾値よりも大きいかを判定する。ここで用いられる閾値は、スマートフォン１が傾いているかを判定するための閾値である。
【００８５】
取得した傾きが閾値よりも大きくない、すなわち、スマートフォン１が傾いていない場合（ステップＳ１０２，Ｎｏ）、コントローラ１０は、ステップＳ１０３として、通常の画面をディスプレイ２Ａに表示する。通常の画面は、例えば、何らかのアプリケーションがフォアグランドで実行されている場合はそのアプリケーションが提供する画面であり、さもなければホーム画面である。続いて、コントローラ１０は、ステップＳ１０４として、タッチスクリーン２Ｂに対する操作が検出されたかを判定する。タッチスクリーン２Ｂに対する操作が検出された場合（ステップＳ１０４，Ｙｅｓ）、コントローラ１０は、ステップＳ１０５として、検出された操作に対応する通常の処理を実行する。通常の処理は、スマートフォン１が傾いていないときに同様の操作が検出された場合に実行すべき処理、又は、他の装置が同様の操作を検出した場合に通常実行する処理である。
【００８６】
取得した傾きが閾値よりも大きい、すなわち、スマートフォン１が傾いている場合（ステップＳ１０２，Ｙｅｓ）、コントローラ１０は、ステップＳ１０６として、検出された傾きに応じてディスプレイ２Ａに表示される画面を更新する。例えば、コントローラ１０は、図９に示したように、ジェスチャに応じて実行される処理が切り替わったことを通知するために標識を変更する。あるいは、コントローラ１０は、図１０に示したように、表示する画面を異なるモードの画面に変更する。あるいは、コントローラ１０は、図１１に示したように、画面上に配置される部品の種類、数、表示態様等を変更する。コントローラ１０は、更新の必要がなければ、画面をそのまま維持してもよい。
【００８７】
続いて、コントローラ１０は、ステップＳ１０７として、タッチスクリーン２Ｂに対する操作が検出されたかを判定する。タッチスクリーン２Ｂに対する操作が検出された場合（ステップＳ１０７，Ｙｅｓ）、コントローラ１０は、ステップＳ１０８として、検出された操作に対応する処理のうち、ステップＳ１０１で取得した傾きに応じた処理を選択する。そして、コントローラ１０は、ステップＳ１０９として、選択した処理を実行する。
【００８８】
本発明を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
【００８９】
例えば、図５に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
【００９０】
また、上記の実施形態では、タッチスクリーンディスプレイを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。例えば、添付の請求項に係る装置は、モバイルフォン、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、又はゲーム機等の携帯電子機器であってもよい。また、添付の請求項に係る装置は、デスクトップパソコン、テレビ受像器等の据え置き型の電子機器であってもよい。
【００９１】
また、上記の実施形態では、スマートフォン１の傾きに応じて、タッチスクリーン２Ｂによって検出されるジェスチャに対応して実行される処理を切り替える例について説明した。しかし、スマートフォン１の傾きに応じて切り替わる処理は、タッチスクリーン２Ｂによってされるジェスチャに対応して実行される処理に限定されない。例えば、スマートフォン１は、スマートフォン１の傾きに応じて、ボタン３によって検出される操作に対応して実行される処理を切り替えてもよい。
【００９２】
また、上記の実施形態では、スマートフォン１が傾いているときに操作が検出されると、スマートフォン１が傾いていないときと異なる処理が実行される例について説明した。しかし、スマートフォン１は、傾きが解消された後も、傾いていたときと同じ処理を実行してもよい。すなわち、スマートフォン１は、閾値より大きい傾きを検出するたびにタッチスクリーン２Ｂによって検出されるジェスチャに対応して実行される処理を切り替え、傾きが閾値よりも小さくなった後もジェスチャに対応して実行される処理をそのまま維持してもよい。
【００９３】
この場合の動作について図１３を参照しながら説明する。図１３は、傾きが解消された後も処理が切り替わったままにする例を示す図である。図１３に示すステップＳＧ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＧ１では、メール作成画面７２がディスプレイ２Ａに表示されている。ディスプレイ２Ａの下部には、複数のボタンが配置された仮想キーボード８１ａが表示されている。スマートフォン１は、仮想キーボード８１ａに対するタップを検出すると、タップされたボタンに対応する小文字がメール作成画面７２に入力されるように処理する。
【００９４】
この状態から、ステップＳＧ２に示すように、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。スマートフォン１は、左への傾きが閾値より大きい場合、ステップＳＧ２に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｂを表示する。スマートフォン１は、仮想キーボード８１ｂに対するタップを検出すると、タップされたボタンに対応する大文字がメール作成画面７２に入力されるように処理する。
【００９５】
この状態から、ステップＳＧ３に示すように、利用者が、スマートフォン１の姿勢を元に戻したものとする。スマートフォン１は、左への傾きが閾値より小さくなっても、ステップＳＧ３に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ｂを表示する。スマートフォン１は、仮想キーボード８１ｂに対するタップを検出すると、タップされたボタンに対応する大文字がメール作成画面７２に入力されるように処理する。
【００９６】
この状態から、利用者が、スマートフォン１を再び左に傾けた場合、スマートフォン１は、仮想キーボード８１ｂに代えて、元通りに仮想キーボード８１ａを表示してもよいし、仮想キーボード８１ｃのようにさらに異なる処理が実行される画面を表示してもよい。
【００９７】
一方、ステップＳＧ１の状態から、ステップＳＧ４に示すように、利用者が、スマートフォン１を右に傾けたものとする。スマートフォン１は、右への傾きが閾値より大きい場合、ステップＳＧ４に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ａに代えて、複数のボタンが配置された仮想キーボード８１ｄを表示する。スマートフォン１は、仮想キーボード８１ｄに対するタップを検出すると、タップされたボタンに対応する記号がメール作成画面７２に入力されるように処理する。
【００９８】
この状態から、ステップＳＧ５に示すように、利用者が、スマートフォン１の姿勢を元に戻したものとする。スマートフォン１は、右への傾きが閾値より小さくなっても、ステップＳＧ５に示すように、ディスプレイ２Ａの下部に、仮想キーボード８１ｄを表示する。スマートフォン１は、仮想キーボード８１ｄに対するタップを検出すると、タップされたボタンに対応する記号がメール作成画面７２に入力されるように処理する。
【００９９】
この状態から、利用者が、スマートフォン１を再び右に傾けた場合、スマートフォン１は、仮想キーボード８１ｄに代えて、元通りに仮想キーボード８１ａを表示してもよいし、仮想キーボード８１ｃのようにさらに異なる処理が実行される画面を表示してもよい。
【０１００】
図１３に示した例において、スマートフォン１は、傾きが検出された場合ではなく、スマートフォン１を振る動きが姿勢検出部１８によって検出された場合に、タッチスクリーン２Ｂによって検出されるジェスチャに対応して実行される処理を切り替えてもよい。
【０１０１】
スマートフォン１は、傾いているときに開始された操作が、傾きが解消された後も継続している場合には、その操作に対応する処理として、操作の検出開始時に傾きに応じて選択した処理を、傾きが解消された後も継続して実行してもよい。
【０１０２】
この場合の動作について図１４を参照しながら説明する。図１４は、傾きが解消された後も操作が継続される場合の動作の例を示す図である。図１４に示すステップＳＨ１では、利用者は、スマートフォン１を傾けずに片手で持っている。ステップＳＨ１では、地図画面６１がディスプレイ２Ａに表示されている。ステップＳＨ１では、さらに標識６２がディスプレイ２Ａに表示されている。標識６２は、スワイプが行われた場合に地図画面６１がスクロールすることを示している。
【０１０３】
この状態で、利用者が、スマートフォン１を左に傾けたものとする。このとき、スマートフォン１は、姿勢検出部１８を用いて自身の傾きを検出する。検出された傾きが閾値よりも大きい場合、スマートフォン１は、ステップＳＨ２に示すように、標識６２に代えて、標識６３をディスプレイ２Ａに表示する。標識６３は、左方向へのスワイプが行われた場合に地図画面６１が拡大され、右方向へのスワイプが行われた場合に地図画面６１が縮小されることを示している。
【０１０４】
標識６３が表示されている間に、利用者が、スマートフォン１を持っている手の指Ｆ１を使ってタッチスクリーン２Ｂに対して左方向へのスワイプを開始したものとする。スマートフォン１は、傾きが閾値より大きいときに左方向へのスワイプを検出すると、ステップＳＨ２に示すように、指Ｆ１の動きに合わせて、地図画面６１を拡大させる。
【０１０５】
その後、ステップＳＨ３に示すように、利用者がスワイプを継続しながらスマートフォン１の姿勢を元に戻したものとする。このように、傾きが閾値よりも小さくなっても、傾きが閾値よりも大きいときに検出された操作が継続している場合には、スマートフォン１は、その操作の検出開始時に姿勢検出部１８が検出した傾きに応じて選択した処理を継続して実行する。このため、ステップＳＨ３では、標識６３が継続して表示され、スワイプに対応して地図画面６１の拡大／縮小が実行される。
【０１０６】
そして、スマートフォン１は、指Ｆ１がタッチスクリーン２Ｂから離れたこと、すなわち、継続していた操作が終了したことを検出すると、ステップＳＨ４に示すように、スワイプに対応して地図画面６１をスクロールする状態となり、標識６３に代えて標識６２を表示する。図１４に示した例では、説明を容易にするために標識６２および標識６３を表示したが、これらは必ずしも表示しなくてもよい。
【０１０７】
上述してきた実施形態及びその変形例は、適宜組み合わせてもよい。
【符号の説明】
【０１０８】
１ スマートフォン
２ タッチスクリーンディスプレイ
２Ａ ディスプレイ
２Ｂ タッチスクリーン
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ レシーバ
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ メールアプリケーション
９Ｃ ブラウザアプリケーション
９Ｄ 地図アプリケーション
９Ｚ 設定データ
１０ コントローラ
１２、１３ カメラ
１４ コネクタ
１５ 加速度センサ
１６ 方位センサ
１７ ジャイロスコープ
２０ ハウジング
【特許請求の範囲】
【請求項１】
ジェスチャを検出するタッチスクリーンディスプレイと、
傾きを検出する姿勢検出部と、
前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるコントローラと、
を備える装置。
【請求項２】
前記コントローラは、前記姿勢検出部によって検出される傾きの大きさに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替える請求項１に記載の装置。
【請求項３】
前記コントローラは、前記姿勢検出部によって検出される傾きの方向に応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替える請求項１または２に記載の装置。
【請求項４】
前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を示す情報を前記タッチスクリーンディスプレイに表示する請求項１から３のいずれか１つに記載の装置。
【請求項５】
前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替える場合に、通知を行う請求項１から３のいずれか１つに記載の装置。
【請求項６】
前記タッチスクリーンディスプレイによってジェスチャが継続して検出される間は、当該ジェスチャに対応して、当該ジェスチャの検出開始時に前記姿勢検出部によって検出された傾きに応じて選択した処理を継続して実行する請求項１に記載の装置。
【請求項７】
タッチスクリーンディスプレイ及び姿勢検出部を備える装置を制御する方法であって、
前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、
前記姿勢検出部によって傾きを検出するステップと、
前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、
を含む方法。
【請求項８】
タッチスクリーンディスプレイ及び姿勢検出部を備える装置に、
前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、
前記姿勢検出部によって傾きを検出するステップと、
前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、
を実行させるプログラム。
【請求項１】
ジェスチャを検出するタッチスクリーンディスプレイと、
傾きを検出する姿勢検出部と、
前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるコントローラと、
を備える装置。
【請求項２】
前記コントローラは、前記姿勢検出部によって検出される傾きの大きさに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替える請求項１に記載の装置。
【請求項３】
前記コントローラは、前記姿勢検出部によって検出される傾きの方向に応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替える請求項１または２に記載の装置。
【請求項４】
前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を示す情報を前記タッチスクリーンディスプレイに表示する請求項１から３のいずれか１つに記載の装置。
【請求項５】
前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替える場合に、通知を行う請求項１から３のいずれか１つに記載の装置。
【請求項６】
前記タッチスクリーンディスプレイによってジェスチャが継続して検出される間は、当該ジェスチャに対応して、当該ジェスチャの検出開始時に前記姿勢検出部によって検出された傾きに応じて選択した処理を継続して実行する請求項１に記載の装置。
【請求項７】
タッチスクリーンディスプレイ及び姿勢検出部を備える装置を制御する方法であって、
前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、
前記姿勢検出部によって傾きを検出するステップと、
前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、
を含む方法。
【請求項８】
タッチスクリーンディスプレイ及び姿勢検出部を備える装置に、
前記タッチスクリーンディスプレイによってジェスチャを検出するステップと、
前記姿勢検出部によって傾きを検出するステップと、
前記姿勢検出部によって検出される傾きに応じて、前記タッチスクリーンディスプレイによって検出されるジェスチャに対応して実行する処理を切り替えるステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１１４３７９（Ｐ２０１３−１１４３７９Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５８７７８（Ｐ２０１１−２５８７７８）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]