入力装置、情報処理装置および入力値取得方法
【課題】小型の機器で操作性のよい入力手段を実現させるのは困難である。
【解決手段】ＧＵＩ画面５０ａは標準的な画面であり、十字キーのＧＵＩとジョイスティックのＧＵＩを複合した第１複合ＧＵＩ領域５２と４種の操作ボタンのＧＵＩとジョイスティックのＧＵＩを複合した第２複合ＧＵＩ領域５６をそれぞれ画面の左下、右下に表示する。ユーザが第１複合ＧＵＩ領域５２または第２複合ＧＵＩ領域に新たに触れた領域によって、複合されたどちらのＧＵＩを用いるかを決定し画面を切り替え（ＧＵＩ画面５０ｂ、５０ｃ、５０ｄ、５０ｅ）、指を離すと元に戻るようにする（ＧＵＩ画面５０ａ）。
【解決手段】ＧＵＩ画面５０ａは標準的な画面であり、十字キーのＧＵＩとジョイスティックのＧＵＩを複合した第１複合ＧＵＩ領域５２と４種の操作ボタンのＧＵＩとジョイスティックのＧＵＩを複合した第２複合ＧＵＩ領域５６をそれぞれ画面の左下、右下に表示する。ユーザが第１複合ＧＵＩ領域５２または第２複合ＧＵＩ領域に新たに触れた領域によって、複合されたどちらのＧＵＩを用いるかを決定し画面を切り替え（ＧＵＩ画面５０ｂ、５０ｃ、５０ｄ、５０ｅ）、指を離すと元に戻るようにする（ＧＵＩ画面５０ａ）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの手操作入力を受け付ける入力装置、情報処理装置、およびこれらの装置で用いられる入力値取得方法に関する。
【背景技術】
【０００２】
近年、携帯ゲーム機、携帯電話、ＰＤＡ（Personal Data Asistance）など、携帯を想定した小型の情報機器が普及している。このような小型の機器はそのサイズ上の制約から入力手段も限定されてしまう。結果として、小型機器に特化した入力手段や機能が独自の発達を遂げてきた。例えばディスプレイ表面をタッチパネルで覆い、指やタッチペンでの入力を可能とすることにより、ディスプレイに表示されたオブジェクトなどを直接操作しているような感覚を与えることができる。
【０００３】
一方、そのような小型機器を利用して、設置型のゲーム機やパーソナルコンピュータと同等の情報処理を行う環境も整いつつある。例えば小型機器をユーザが操作し、ネットワークを介して接続した設置型の機器が実際の情報処理を行うことにより、高度なゲームを、場所を問わず楽しめるようになってきた。また、設置型の機器のためのゲームをエミュレートすることにより小型の機器で実行することも可能となってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように近年では、ゲームなどの情報処理を、機器の大きさや使用環境に関わらず行えるようにする技術的方向性がみられる。しかしながら、小型の機器を利用してそのような高度化した情報処理を実施しようとすると、上述のとおり入力手段の制約に起因して操作性が劣ってしまう、という問題があった。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、その目的は、サイズ上の制約があっても操作性の良好な入力手段を実現できる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は入力装置に関する。この入力装置は、ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、ＧＵＩ画像生成部が生成したＧＵＩの画像を表示するディスプレイと、ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、ＧＵＩ画像生成部は、ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、ユーザが複合ＧＵＩに新たに触れた際、操作情報変換部は、当該複合ＧＵＩで複合されている複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、ＧＵＩ画像生成部は、複合ＧＵＩを、操作情報変換部が特定した一のＧＵＩへ切り換えることで、タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする。
【０００７】
本発明の別の態様は情報処理装置に関する。この情報処理装置は、ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、ＧＵＩに対するユーザの操作に応じて情報処理を行う情報処理部と、情報処理部における処理の結果として生成された出力画像に、ＧＵＩ画像生成部が生成したＧＵＩの画像をオンスクリーン表示するディスプレイと、ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、ＧＵＩ画像生成部は、ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、ユーザが複合ＧＵＩに新たに触れた際、操作情報変換部は、当該複合ＧＵＩで複合されている複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、ＧＵＩ画像生成部は、複合ＧＵＩを、操作情報変換部が特定した一のＧＵＩへ切り換えることで、タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする。
【０００８】
本発明のさらに別の態様は入力値取得方法に関する。この入力値取得方法は、ＧＵＩ（Graphical User Interface）の画像を生成するステップと、ディスプレイにおいて、情報処理の結果得られた出力画像にＧＵＩの画像をオンスクリーン表示するステップと、ディスプレイを覆うタッチパネルによって、ユーザが接触した位置を検知するステップと、検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定するステップと、を含み、ＧＵＩの画像を生成するステップは、ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、ユーザが複合ＧＵＩに新たに触れた際、操作内容を特定するステップは、当該複合ＧＵＩで複合されている複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、ＧＵＩの画像を生成するステップは、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によると、小型の機器であっても良好な操作性を維持しつつ多様な操作が可能となる。
【図面の簡単な説明】
【００１１】
【図１】一般的なコントローラの構成例を示す図である。
【図２】本実施の形態における入力装置を適用した情報処理装置の外観例を示す図である。
【図３】本実施の形態における情報処理装置の構成を詳細に示す図である。
【図４】本実施の形態におけるＧＵＩ画面内のＧＵＩ配置例を示す図である。
【図５】本実施の形態において第１複合ＧＵＩ領域に表示する画像とタッチパネルにおける検知領域を説明するための図である。
【図６】本実施の形態においてジョイスティック入力領域に表示する画像とその操作手法を説明するための図である。
【図７】本実施の形態におけるＧＵＩ画面の変形例を示す図である。
【図８】本実施の形態におけるＬ１／Ｌ２ボタン入力領域の変形例を示す図である。
【図９】本実施の形態におけるＧＵＩ画面、コンテンツ画面の配置の別の例を示す図である。
【図１０】本実施の形態におけるＧＵＩの表示態様の設定画面例を示す図である。
【発明を実施するための形態】
【００１２】
本実施の形態では、携帯電話や携帯端末などの小型の機器において、据え置き型のゲーム機のコントローラなどと同等の操作性を有する入力装置を実現する。まず、一般的なコントローラについて例示する。図１は一般的なコントローラの構成例を示している。コントローラ１２０は、ユーザが操作可能な操作手段として、十字キー１２１、ジョイスティック１２７ａ、１２７ｂ、４種の操作ボタン群１２６、Ｌ１／Ｌ２ボタン１３０ａ、Ｒ１／Ｒ２ボタン１３０ｂを備える。４種の操作ボタン群１２６は、○ボタン１２２、×ボタン１２３、□ボタン１２４および△ボタン１２５から構成される。
【００１３】
十字キー１２１は、上下左右の４方向、或いは上下左右にこれら４方向の間の４方向を加えた８方向、或いは任意方向にキーイン可能に構成されており、例えば表示装置の画面上でカーソルを上下左右に移動させたり、各種情報を画面においてスクロールさせたりするのに用いられる。４種の操作ボタン群１２６には、アプリケーションプログラムによりそれぞれ異なる機能が割り付けられる。
【００１４】
ジョイスティック１２７ａ、１２７ｂは、任意方向に傾倒可能に支持されたスティック、及び傾倒量を検知するセンサを備えている。スティックはバネなどの付勢手段により中立位置に付勢されており、非操作時にはスティックは中立位置に戻る。センサはスティックの傾倒に応じて抵抗値を変える可変抵抗及び抵抗値をデジタル値に変換するＡＤ変換回路を含んでいる。スティックが倒されると、複数の基準方向への傾き量がデジタル値に変換され、その値は操作信号としてゲーム機などに送られる。
【００１５】
Ｌ１／Ｌ２ボタン１３０ａ、Ｒ１／Ｒ２ボタン１３０ｂはそれぞれ、コントローラ１２０の側面に上下に配置された、Ｌ１ボタンとＬ２ボタン、Ｒ１ボタンとＲ２ボタンの２つのボタンで構成される。例えばゲームにおける視線の方向を変えたり、他のボタンと同時に操作することによって、異なる動きを加えたりするのに用いられる。ただしこれらのボタンもアプリケーションプログラムにより様々な機能が割り付けられる。
【００１６】
ユーザは左手で左側把持部１２８ａを把持し、右手で右側把持部１２８ｂを把持して、コントローラ１２０を操作する。十字キー１２１、ジョイスティック１２７ａ、１２７ｂ、操作ボタン群１２６はユーザが左側把持部１２８ａ、右側把持部１２８ｂを左右の手で把持した状態で操作可能なよう、コントローラ１２０上面に設けられる。Ｌ１／Ｌ２ボタン１３０ａ、Ｒ１／Ｒ２ボタン１３０ｂは、左右の人差し指などで操作可能なよう、左側把持部１２８ａ、右側把持部１２８ｂと逆の側面に設けられる。
【００１７】
本実施の形態では、図１で示したコントローラに含まれる各操作手段を平面上でＧＵＩとして再現する。以下、本実施の形態における入力装置について説明する。図２は、本実施の形態における入力装置を適用した情報処理装置の外観例を示している。情報処理装置１０はユーザが持ち運びできる小型の装置であり、携帯電話、ＰＤＡ、携帯ゲーム機などのいずれでもよい。またそれらを組み合わせた機能を有していてもよい。そのため情報処理装置１０は、機能に応じた様々な処理機構を備えてよいが、それらは一般的な技術を利用できるため適宜説明を省略する。
【００１８】
情報処理装置１０は、ディスプレイ１４が本体前面に配置され、起動スイッチ４０が側面に配置された構成を有する。ディスプレイ１４の背面にはＣＰＵ、グラフィックプロセッサユニット、サウンドプロセッサ、メモリなど各種情報処理に必要な機構が内蔵されている（図示せず）。ディスプレイ１４は液晶ディスプレイ、ＥＬ（Electronic Luminescence）ディスプレイ、プラズマディスプレイなど一般的なディスプレイのいずれかでよい。ディスプレイ１４の上面はタッチパネル１２で覆われている。タッチパネル１２は抵抗膜方式、光学式、静電容量結合式など実用化されている方式のいずれかで実現する。
【００１９】
情報処理装置１０はそのほか、音声を出力するスピーカ、イヤホン接続端子、他の装置との通信を行う赤外線ポートや無線ＬＡＮの機構、電池ボックスなどを備えてよいが、ここでは図示を省略している。
【００２０】
ディスプレイ１４には、メニュー画面、アイコンなどユーザの操作入力に必要な画面、情報処理の結果であるゲーム画面、動画再生画面、テキスト表示画面、写真表示画面などを機能に応じて表示する。さらに、それを見ながらユーザが操作入力を行うためのＧＵＩ（Graphical User Interface）をオンスクリーン表示する。
【００２１】
ユーザは当該ＧＵＩを操作するように、タッチパネル１２上を手指で触れたり手指を滑らせたりすることにより、情報処理装置１０への操作入力を行う。図２においては、十字キーのグラフィックスを表示した十字キー入力領域４２、および、○ボタン、×ボタン、□ボタン、△ボタンの４種の操作ボタン群のグラフィックスを表示したボタン入力領域４４がＧＵＩとして装備されている。なお図２において十字キー入力領域４２、ボタン入力領域４４を囲む破線は領域の境界を図示するためのものであり、実際の表示や機能には関係しない。以後の図でも同様である。
【００２２】
例えばメニュー画面において所望の項目を選択するときは、一覧表示された項目名やアイコンのうち強調表示の対象を十字キー入力領域４２のいずれかの方向のキーに触れることにより移動させ、ボタン入力領域４４の○ボタンに触れることにより確定させる。またゲーム画面において十字キー入力領域４２のいずれかの方向キーに触れることにより、ゲームに登場しているキャラクターの移動方向を変化させる。あるいは会話型のゲームにおいて、ボタン入力領域４４の○ボタンに触れることにより「はい」、×ボタンに触れることにより「いいえ」、といった意思表示を行う。
【００２３】
このように十字キー入力領域４２やボタン入力領域４４を設けることによって実現できる操作入力は、情報処理装置が実現する機能に応じたボタン割り付けによって様々変化させることができる。本実施の形態ではこのように、据え置き型のゲーム機やパーソナルコンピュータにおける入力手段をタッチパネルの形式で再現することにより、小型の情報機器における操作入力のバリエーションを据え置き型のゲーム機などと同等にする。
【００２４】
また据え置き型のゲーム機で慣れたゲームを、小型の機器でも違和感なく同様の操作性で行えるようにする。なお十字キー入力領域４２やボタン入力領域４４の形状やマークはあくまで例示であり、それに限定する趣旨ではない。また再現したいコントローラに応じて、十字キー入力領域４２やボタン入力領域４４を別の入力手段に適宜置き換えることができる。
【００２５】
図３は情報処理装置１０の構成を詳細に示している。情報処理装置１０は上述したタッチパネル１２、ディスプレイ１４のほか、コンテンツのプログラムや各種データを記憶したコンテンツ記憶部１６、ＧＵＩとして用意された素材画像のデータを記憶したＧＵＩ画像記憶部、タッチパネルからの入力信号受信、画像データの入出力を制御する入出力制御部２０、タッチパネルからの入力信号を操作内容の情報に変換する操作情報変換部２２、操作内容に応じてコンテンツを処理するコンテンツ処理部２４、ＧＵＩの画像を生成するＧＵＩ画像生成部２６、生成したＧＵＩの画像を一時記憶するＧＵＩ画像バッファ２８、コンテンツの画像を生成するコンテンツ画像生成部３０、生成したコンテンツの画像を一時記憶するコンテンツ画像バッファ３２、コンテンツの画像上にＧＵＩの画像をオンスクリーン表示した画像を生成する画像合成部３４を含む。
【００２６】
図３において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、コンテンツを処理したり画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２７】
入出力制御部２０は既存の方法で、タッチパネル１２、ディスプレイ１４、コンテンツ記憶部１６、ＧＵＩ画像記憶部１８と接続し、データの入出力を制御する。タッチパネル１２から受信する入力信号は、タッチパネル１２上でユーザが触れた接触点の座標、接触点が連続的に移動したときの座標の移動経路などである。タッチパネル１２における接触点の検知手法はその方式によって異なるためここでは言及しない。入出力制御部２０はまた、ディスプレイ１４に表示画像のビデオ信号を出力する。
【００２８】
さらに入出力制御部２０は、コンテンツ記憶部１６にアクセスし、コンテンツの処理に必要なプログラムや各種データを読み出す。またＧＵＩ画像記憶部１８にアクセスし、上述の十字キーやボタンなどの素材画像データを読み出す。ここで「コンテンツ」は、コンピュータゲーム、映画、音楽、小説、写真などコンピュータで処理し表現が可能な対象であればその種類は限定されない。なお本実施の形態は、一般的な「コンテンツ」以外に、通信、スケジュール管理、住所録、表計算など一般的な情報処理に対しても適用できるが、以下の説明ではそれらも含め全て「コンテンツ」とする。
【００２９】
コンテンツ記憶部１６は、コンテンツがゲームであれば、そのプログラム、プレイヤーの情報、前回のプレイ時の到達レベルなどの情報を記憶する。コンテンツが映画や音楽であれば、圧縮符号化されたビデオデータ、オーディオデータと、それを復号再生するためのプログラムなどを記憶する。コンテンツ記憶部１６は、ハードディスクドライブでもよいし、メモリカード、ＲＯＭディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体とそれに対応した読み取り装置との組み合わせでもよい。
【００３０】
ＧＵＩ画像記憶部１８は、十字キーや各種ボタンなど、ＧＵＩ画像の素材となる画像データを記憶するハードディスクドライブなどの記憶装置である。後述するように本実施の形態では、ＧＵＩが操作されることにより当該ＧＵＩの画像自体が変化することもある。そのためＧＵＩ画像記憶部１８は、そのような様々なＧＵＩのバリエーションに対応した画像データを記憶する。
【００３１】
操作情報変換部２２は、タッチパネル１２からの入力信号を入出力制御部２０から取得し、当該信号に含まれる接触点の座標などを操作内容の情報へ変換する。本実施の形態では上述のように、ＧＵＩの操作によってＧＵＩ自体が変化することがある。そのため、ＧＵＩの種類とその表示位置との対応をあらかじめ内部で記憶しておく。そして取得した接触点の座標と、現在表示されているＧＵＩの種類とから、押されたボタンの種類や操作の度合い、方向など、ユーザが意図した操作内容を特定する。
【００３２】
操作内容の情報はコンテンツ処理部２４、ＧＵＩ画像生成部２６にそれぞれ通知される。コンテンツ処理部２４は、コンテンツ記憶部１６が記憶するプログラムに従い、操作内容に応じてゲームを進捗させたり動画や音楽を再生するためなどに必要な処理を行う。実際の処理手順はコンテンツの内容に応じて一般的に行われている通りである。
【００３３】
ＧＵＩ画像生成部２６は操作内容に基づき、必要に応じてＧＵＩの新たな画像を生成し、ＧＵＩ画像バッファ２８に格納する。ＧＵＩ画像の変化の具体例は後述するが、例えばユーザが接触していることを示すように色を変化させたりボタンが押されているように見せるほか、ＧＵＩのキーやボタン自体を別のＧＵＩに置き換えたりする。
【００３４】
そのためＧＵＩ画像生成部２６は、操作内容となすべき画像の変化、新たに用いる画像の識別情報などを対応づけた情報を内部で記憶しておく。そして現在表示されているＧＵＩに対してなされた操作内容に対応づけられた変化が表現されるように、必要なＧＵＩの画像データをＧＵＩ画像記憶部１８から適宜読み出したうえ、新たなオンスクリーン画像のデータを生成する。
【００３５】
操作内容によってＧＵＩを変化させなくてよい場合は、ＧＵＩ画像生成部２６は新たな画像生成の処理は行わなくてよい。コンテンツ画像生成部３０は、コンテンツ処理部２４による処理の結果として出力すべき画像のデータを生成し、コンテンツ画像バッファ３２に格納する。
【００３６】
画像合成部３４は、ＧＵＩ画像バッファ２８に格納された画像データとコンテンツ画像バッファ３２に格納された画像データを用いて描画処理を行うことにより、コンテンツ画像上にＧＵＩ画像がオンスクリーン表示された画像を生成し内部のフレームバッファに格納する。当該フレームバッファに格納された画像に対応するビデオ信号が、入出力制御部２０の制御のもとディスプレイ１４に送信されることにより、ユーザのＧＵＩ操作に応じた画像がディスプレイ１４に表示される。
【００３７】
次に本実施の形態におけるＧＵＩ画面の具体例を示す。本実施の形態では上述のように、ゲームなどのコンテンツ画面上にＧＵＩ画面をオンスクリーン表示する。そのためコンテンツ画面の邪魔になることなく、かつ、据え置き型のゲーム機のコントローラなどと同等の操作性が得られるようにすることが肝要となる。
【００３８】
本実施の形態では、十字キー、４種の操作ボタンに加え、ジョイスティックをＧＵＩとして再現する。このとき本来のジョイスティックと同様、任意の方向および量を入力できるようにすることで、十字キーによる方向指示との使い分けを、本来のコントローラと同様に行える。このＧＵＩにより任意方向、任意量の入力が可能となり、ゲームに登場するキャラクタの移動方向や移動速度、視野の転回などのコントロールに用いることができる。以後の説明ではＧＵＩとして表現した擬似的なジョイスティックによる入力も「ジョイスティック入力」と呼ぶ。
【００３９】
上記３種、あるいはそれ以上のＧＵＩを単にＧＵＩ画面に並べてしまうと、ＧＵＩによってコンテンツ画面が見づらくなってしまう可能性がある。そこで本実施の形態では、複数のＧＵＩを複合させた複合ＧＵＩ領域を設けることにより、当該複数のＧＵＩで同じ検知領域を共有する。複合ＧＵＩ領域のうちユーザが新たに触れたときの接触点の位置によって、複合ＧＵＩ領域全体について、どのＧＵＩとして利用するかを決定する。
【００４０】
図４はＧＵＩ画面内のＧＵＩ配置例を示している。ＧＵＩ画面５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅはいずれも、ディスプレイ１４においてコンテンツ画面上にオンスクリーン表示される画面であり、ユーザの操作によってＧＵＩ画面５０ａとＧＵＩ画面５０ｂ、５０ｃ、５０ｄ、５０ｅが切り替わる。ＧＵＩ画面５０ａは標準的な画面であり、第１複合ＧＵＩ領域５２、第２複合ＧＵＩ領域５６をそれぞれ画面の左下、右下に表示する。
【００４１】
第１複合ＧＵＩ領域５２は十字キーのＧＵＩとジョイスティックのＧＵＩを複合したＧＵＩの領域であり、図２に示した十字キー入力領域４２と同じデザインを有し、十字キーのＧＵＩのグラフィックスの少なくとも一部である十字キーグラフィックス５１と、その中心部に円形などの図形で表される、ジョイスティックのＧＵＩのグラフィックスの少なくとも一部であるジョイスティックグラフィックス５３と、で構成される。
【００４２】
第２複合ＧＵＩ領域５６は、４種の操作ボタンのＧＵＩとジョイスティックのＧＵＩを複合したＧＵＩの領域であり、第１複合ＧＵＩ領域５２と同様に、図２に示したボタン入力領域４４と同じデザインを有し、４種の操作ボタンのＧＵＩのグラフィックスの少なくとも一部である４種の操作ボタングラフィックス５５と、その中心部に円形などの図形で表され、ジョイスティックのＧＵＩのグラフィックスの少なくとも一部であるジョイスティックグラフィックス５７と、で構成される。
【００４３】
標準画面であるＧＵＩ画面５０ａにおいて、ユーザが第１複合ＧＵＩ領域５２のジョイスティックグラフィックス５３に新たに触れると、ジョイスティック入力を受け付ける処理が開始され、第１複合ＧＵＩ領域５２が、十字キーグラフィックス５１のないジョイスティック入力領域５８に切り替わる（ＧＵＩ画面５０ｂ）。詳細には、ユーザが第１複合ＧＵＩ領域５２のジョイスティックグラフィックス５３に指を置くと当該領域がジョイスティック入力領域５８に切り替わり、そのまま指を離さずにタッチパネル上で滑らすことにより、指の移動方向および移動距離を入力値として取得する、という連続動作となる。
【００４４】
指が連続的に触れている期間は、当該領域はジョイスティック入力領域５８として、指の動きから入力値を逐次取得する。そしてユーザが指を離したとき、当該領域は第１複合ＧＵＩ領域５２に戻る（ＧＵＩ画面５０ａ）。
【００４５】
一方、ＧＵＩ画面５０ａにおいて、ユーザが第１複合ＧＵＩ領域５２の十字キーグラフィックス５１に新たに触れると、十字キー入力を受け付ける処理が開始され、当該第１複合ＧＵＩ領域５２は十字キー入力領域４２に切り替わる（ＧＵＩ画面５０ｃ）。この場合も、指が連続的に触れている期間は、当該領域は十字キー入力領域４２として十字キー入力を受け付け、ユーザが指を離したとき、当該領域は第１複合ＧＵＩ領域５２に戻る（ＧＵＩ画面５０ａ）。
【００４６】
ただし同図に示すように、十字キー入力領域４２においてもジョイスティックグラフィックス５３を表示させたままにし、第１複合ＧＵＩ５２と十字キー入力領域４２の見た目を同じにしてもよい。このようにすることで、十字キー入力のために方向キーへの接触が不連続に行われても、ジョイスティックグラフィックス５３が消えたり表れたりする煩わしさを防止することができる。
【００４７】
第２複合ＧＵＩ領域５６も同様に、ユーザがジョイスティックグラフィックス５７に新たに触れると、ジョイスティック入力を受け付ける処理を開始し、当該領域が、４種の操作ボタングラフィックス５５がないジョイスティック入力領域５８に切り替わり（ＧＵＩ画面５０ｄ）、指を離すと元に戻るようにする（ＧＵＩ画面５０ａ）。指が触れている間は、ジョイスティック入力領域５８として指の動きを追う。
【００４８】
一方、ユーザが第２複合ＧＵＩ領域５６の４種の操作ボタングラフィックス５５に新たに触れると、ボタン入力を受け付ける処理を開始し、当該第２複合ＧＵＩ領域を、ボタン入力領域４４に切り替える（ＧＵＩ画面５０ｅ）。そして指を離すと元に戻るようにする（ＧＵＩ画面５０ａ）。このときも十字キー入力領域４２と同じ理由により、ボタン入力領域４４にはジョイスティックグラフィックス５７を表示させたままでよい。
【００４９】
このように十字キー入力領域４２とジョイスティック入力領域５８、ボタン入力領域４４とジョイスティック入力領域５８とをそれぞれ切り替え可能とすることにより、ＧＵＩの画像の占める領域面積を小さくできる。結果として、オンスクリーン表示させたとしてもコンテンツ画面への支障が少なく、限られたスペースでコンテンツ画面とＧＵＩとを共存させることが可能となる。また実際のジョイスティックが、中心を起点としてスティックを所望の方向に傾倒することに鑑みれば、領域の中心から指を滑らす、という行為をジョイスティック入力の起動に関連づけることにより、切り替えのためのアクションが自然である。
【００５０】
また、左下の第１複合ＧＵＩ領域５２および右下の第２複合ＧＵＩ領域５６のいずれもジョイスティック入力領域５８への切り替え可能とすることで、コンテンツの種類やゲームの内容、場面などによって、同時に表示する入力手段の組み合わせを変えたり、操作する手の右左を臨機応変に使い分けたりできる。
【００５１】
なお上記の例で十字キー入力領域４２およびボタン入力領域４４のＧＵＩは、一般的なボタンを表す区画への接触／非接触によって、各ボタンに設けられた機能のオン／オフを切り換えるオン／オフ入力用ＧＵＩであればよく、方向指示キーや○ボタン、×ボタン、□ボタン、△ボタンに限る趣旨ではない。またジョイスティック入力領域５８のＧＵＩも、ある領域内での接触点に応じたアナログ値を受け付けるアナログ入力用ＧＵＩであればよく、ジョイスティックの機能に限る趣旨ではない。
【００５２】
いずれにしろ、オン／オフ入力用ＧＵＩとアナログ入力用ＧＵＩとを組み合わせて複合ＧＵＩとする。そして当該複合ＧＵＩにおいて、オン／オフ入力用ＧＵＩのグラフィックスをそのまま表示してオン／オフ入力用ＧＵＩへの切り換えを受け付けるとともに、アナログ入力用ＧＵＩへ切り換える検知領域を小さく設定しておき、切り換え後にその検知領域を広げる。このようにすることで複合ＧＵＩから個々のＧＵＩへの切り換え操作と個々のＧＵＩに対する操作が一連の流れで自然に行える。このときオン／オフ入力用ＧＵＩへの切り換え時には複合ＧＵＩにおいて一部に表示されていたアナログ入力用ＧＵＩへ切り換えるためのグラフィックスを表示させたままにすることで、オン／オフ入力用ＧＵＩへの断続的な操作期間において当該グラフィックスが消えたり表れたりする煩わしさを防止することができる。
【００５３】
ＧＵＩ画面５０ａには、その他に、切り替えボタン５４を表示してもよい。この切り替えボタン５４に触れると、表示されていなかったボタン、例えばメニュー項目を選択するためのセレクトボタン、動画、音楽再生などを開始させるスタートボタンなど、機能に応じた必要なボタンが画面の下側から出現するようにしてもよい。このような態様とすることで、使用機会の少ないボタンを隠し、コンテンツ画面をより見やすくできる。
【００５４】
図５は第１複合ＧＵＩ領域５２に表示する画像とタッチパネルにおける検知領域を説明するための図である。同図の左が第１複合ＧＵＩ領域の画像、右が検知領域を画像に重ねて示したものである。第１複合ＧＵＩ領域５２は、円６０と、その円周上に配置された上下左右の４方向を示す４つのキーからなる十字キーグラフィックス６２と、当該円の中心に配置されたジョイスティックグラフィックス５３から構成される。
【００５５】
第１複合ＧＵＩ領域５２に表示する円６０は、十字キー入力領域４２でも表示し、本来のコントローラではその立体形状によって表すことのできる、４つのキーのセットの一体感を、２次元で表現するためのものである。このような円を表示することにより、背後に表示されているコンテンツの画像が雑多であっても、キーのセットをＧＵＩとして捉えやすくなる。
【００５６】
円６０は半透明に表示可能とすることで、コンテンツ画面の邪魔にならないようにする。このときの透過率はコンテンツの種類などに鑑みユーザが設定可能とする。第２複合ＧＵＩ領域５６、ボタン入力領域４４にも同様の円を表示することにより、セットとしての一体感を表現する。また十字キーや４種の操作ボタンの配色は、コンテンツ画面における画像の色彩を優先するようにモノトーンを基準とすることが望ましい。
【００５７】
十字キーグラフィックス６２の４つのキーはそれぞれ、タッチパネルにおける、各キーの図形を囲む所定サイズの矩形の検知領域６４ａ、６４ｂ、６４ｃ、６４ｄに対応づけられる。またジョイスティックグラフィックス５３は円６０の中心の検知領域６８に対応づけられる。検知領域６４ａ、６４ｂ、６４ｃ、６４ｄは矩形のほか、三角形、円など、その境界を数式で定義できる形状とすることにより、ディスプレイやタッチパネルの解像度によらずキー表示との対応がとりやすくなる。
【００５８】
また検知領域６４ａ、６４ｂ、６４ｃ、６４ｄを、キーの図形の周囲を含むような大きめのサイズとすることで、指の接触点がキーから少しずれても操作がなされたことを検知できるとともに、隣り合う検知領域に重複領域６６ａ、６６ｂ、６６ｃ、６６ｄを設けることができる。この重複領域６６ａ、６６ｂ、６６ｃ、６６ｄは、上下左右の方向の中間である斜めの４方向に対応づける。これにより、キー部分のみを検知領域とする場合と比較し、入力できる方向が倍になり多段階での方向指示が可能となる。
【００５９】
十字キー入力領域４２の場合も、十字キーに対応する検知領域の設定は図５と同様とする。ただし十字キー入力領域４２から第１複合ＧＵＩ領域５２に戻るときの判定基準である、ユーザが連続的に触れているか否かを検知する領域は、例えば円６０の半径以上の半径を有する所定の同心円などを別途設定する。これにより、十字キー入力中のユーザの指が十字キー入力領域４２の中心部を経由して移動する場合に、意図に反して第１複合ＧＵＩ領域５２に戻ったり、さらにジョイスティック入力領域５８へ切り替わったりすることを防ぐ。なお接触点が当該検知領域を外れた場合は第１複合ＧＵＩ領域５２へ切り替える。
【００６０】
図６はジョイスティック入力領域５８に表示する画像と、その操作手法を説明するための図である。上述したようにジョイスティック入力領域５８は、ユーザが第１複合ＧＵＩ領域５２のジョイスティックグラフィックス５３の検知領域６８などに触れた後、そのまま離すことなくタッチパネル上で指を滑らせている期間に表示される。このとき同図の左に示すように、ユーザの指７６が触れている箇所に、円などの標識７０を表示する。標識７０は、好適には指によって隠れない大きさ、形状であるが、輝いているような画像上の加工をその周囲に施したり、接触点の移動に追尾するように僅かに位置をずらしたり、移動跡をかすかに表示したりすることでさらに視認されやすくなる。
【００６１】
標識７０は、指７６による接触点の移動に合わせて移動する。ジョイスティック入力領域５８にも、第１複合ＧＵＩ領域５２、第２複合ＧＵＩ領域５６、十字キー入力領域４２、ボタン入力領域４４で表示していたのと同じ位置に、同じ半径の円７２を表示する。第１複合ＧＵＩ領域５２、第２複合ＧＵＩ領域５６において中心部にジョイスティックグラフィックスを設けているため、円の中心はジョイスティック入力のためにユーザが最初に触れた位置となる。また同図右側に示すように、円７２の半径以上の半径を有する同心円状に検知領域７９を設定する。接触点が検知領域７９を外れたら、当該領域を元の第１複合ＧＵＩ領域５２、または第２複合ＧＵＩ領域５６へ戻す。
【００６２】
図５、６から明らかなように、ジョイスティック入力領域５８においてジョイスティック入力を受け付ける検知領域７９は、第１複合ＧＵＩ領域５２においてジョイスティック入力領域５８への切り換えがなされる検知領域６８を同心円状に広げた領域である。第２複合ＧＵＩ領域５６においてジョイスティック入力への切り換えがなされる検知領域と切り換え後の検知領域との関係についても同様である。
【００６３】
円７２は半透明に表示してもよいし、表示しなくてもよい。ジョイスティック入力領域５８においては、接触点７８の座標を所定の時間間隔で連続して取得し、検知領域７９の円の中心７４から接触点７８までの方向ベクトルを、各時刻の入力値とする。座標取得の時間間隔は、例えばディスプレイ１４におけるフレーム表示間隔より小さくする。
【００６４】
操作情報変換部２２は、方向ベクトルのうち、円の中心７４から接触点７８への方向を本来のジョイスティックの傾倒方向、中心７４から接触点７８までの距離を本来のジョイスティックの傾倒量に対応づけた情報を内部で記憶しておく。その情報を参照することにより、各時刻の方向ベクトルを本来のジョイスティックにおける傾倒方向および傾倒量に変換し、コンテンツ処理部２４に通知する。これによりコンテンツ処理部２４は本来のジョイスティックに対して入力がなされたのと同様に処理を実行できる。あるいは、方向や距離を直接、コンテンツ処理に用いてもよい。
【００６５】
接触点が円７２の円周に到達したら、ジョイスティックを最大限傾倒させたときの入力値が得られるようにする。接触点が円７２から外れたら、検知領域７９の範囲内であれば、円の中心７４からの方向のみを接触点に対応させて取得し、距離は接触点によらず円７２の半径で飽和するようにする。このとき標識７０は円７２の円周上を接触点の方向に対応して移動するように表示する。このようにジョイスティック入力領域５８を設けることで、本来のジョイスティックと操作手法、操作性の差が少ない入力手段を平面上で実現することができる。また円７２を表示させなかったり半透明に表示させたりすることで、コンテンツ画面への影響を最小限に、任意方向、任意量の入力が可能になる。
【００６６】
図７はＧＵＩ画面の変形例を示している。同図における情報処理装置１０のＧＵＩ画面５０ｆは、図４に示したＧＵＩ画面５０ａと同様、画面左下に第１複合ＧＵＩ領域５２、画面右下に第２複合ＧＵＩ領域５６を含む。ＧＵＩ画面５０ｆはさらに、画面左上にＬ１／Ｌ２ボタン入力領域８０、画面右上にＲ１／Ｒ２ボタン入力領域８２を含む。Ｌ１／Ｌ２ボタン入力領域８０は図１のＬ１ボタン、Ｌ２ボタンと対応するボタンによって構成される。Ｒ１／Ｒ２ボタン入力領域８２は図１のＲ１ボタン、Ｒ２ボタンと対応するボタンによって構成される。
【００６７】
本実施の形態では、情報処理装置１０の本体を、同図に示すような左右の手８４で把持しながら、同手指でＧＵＩを操作する態様を想定している。そのため第１複合ＧＵＩ領域５２と第２複合ＧＵＩ領域５６をそれぞれ画面の左下、右下に配置することにより、親指での操作を可能とする。
【００６８】
そしてＬ１／Ｌ２ボタン入力領域８０、Ｒ１／Ｒ２ボタン入力領域８２を同図のとおり画面左上、右上にそれぞれ配置することにより、人差し指での操作が可能になる。なお同図ではＧＵＩ画面５０ｆがわかりやすいように、情報処理装置１０と手８４とが離れて示されているが、実際に把持した際は親指、人差し指がＧＵＩ画面５０ｆ上に位置することになる。
【００６９】
このようなＧＵＩの配置とすることで、情報処理装置１０を把持しながら無理なく操作ができるうえ、４つの領域のいずれか２つ以上の領域を同時に操作することも可能となる。ここでＬ１／Ｌ２ボタン入力領域８０およびＲ１／Ｒ２ボタン入力領域８２は、同図に示すように、画面の上側の２つの角の直角を中心角とする扇形の形状とし、さらに当該中心角を内分してそれぞれ２つの扇形に分割することにより、Ｌ１ボタンとＬ２ボタン、Ｒ１ボタンとＲ２ボタンを区別する。
【００７０】
情報処理装置１０を図７のような形で把持する場合、手８４の人差し指の根元は、主に中指と相対することで情報処理装置１０の筐体を挟み込むかたちとなるのが一般的である。そのため人差し指で無理なく操作できる範囲は、関節から先を曲げることによる扇形の領域となる。Ｌ１／Ｌ２ボタン入力領域８０、Ｒ１／Ｒ２ボタン入力領域８２を扇形とすることにより、ユーザは指の角度を変化させるのみでＬ１ボタン／Ｌ２ボタン、Ｒ１ボタン／Ｒ２ボタンを押し分けることができる。なお扇形の領域の分割数を変えることにより３つ以上のボタンを設けてもよい。
【００７１】
また内分角は均等でなくてもよい。例えば、曲げる角度が小さいほど指をコントロールしやすいという特性を考慮し、画面上側のボタンの角度を小さくとり、左右の辺に向かうほど角度を大きくするようにしてもよい。またボタンの形状でなく配置によって指の可動範囲に対応させてもよい。
【００７２】
図８はＬ１／Ｌ２ボタン入力領域の変形例を示している。同図に示すＬ１／Ｌ２／Ｌ３ボタン入力領域８６は、一例としてＬ１ボタン８８ａ、Ｌ２ボタン８８ｂ、Ｌ３ボタン８８ｃの３個のボタンを設けているが、ボタンの数は限定されない。そして各ボタンをそれぞを独立した形状とする一方、その配置を円弧状とする。同図では各ボタンを円形としているが矩形などでもよい。このようにボタンの形状は通常の場合と同様でも、配置を円弧状とすることにより、人差し指の指先の曲げ角によって無理のない押し分けが可能となる。なおこの例においてもボタンの間隔を、画面上側から左の辺に向かうにしがたい大きくするようにしてもよい。図７のＲ１／Ｒ２ボタンなど、対向するボタンについても同様である。
【００７３】
図９はＧＵＩ画面、コンテンツ画面の配置の別の例を示している。これまで述べた態様では、ＧＵＩ画面をコンテンツ画面上にオンスクリーン表示した。図９の例では、情報処理装置１０を縦長方向に用い、コンテンツ画面１００とＧＵＩ画面１０２を個別の領域に表示している。この場合も情報処理装置１０の構成は図３で示したのと同様でよく、画像合成部３４は、コンテンツ画像、ＧＵＩ画像を、あらかじめ定められた個別の領域にそれぞれ描画することで合成を行う。各種ＧＵＩの操作手法も上述と同様である。
【００７４】
この場合、コンテンツ画面１００の表示面積は小さくなるが、ＧＵＩの画像がコンテンツ画面１００を隠すことがないため、十字キー入力領域、ボタン入力領域、ジョイスティック入力領域などを同時に表示させても差し支えない。またこの場合、把持する手の形や操作する指が、上述の場合と異なる可能性が高いことから、Ｌ１ボタン、Ｌ２ボタン、Ｒ１ボタン、Ｒ２ボタンは、扇形または円弧状などでなくてもよい。
【００７５】
情報処理装置１０を縦長で用いるか横長で用いるかは、コンテンツの種類やゲームの内容などに鑑みユーザが設定可能とする。図１０はＧＵＩの表示態様の設定画面例を示している。ＧＵＩ設定画面９０は、コンテンツ処理の開始前、処理の途中を問わず、ＧＵＩの所定のボタンに触ることによっていつでも呼び出せるようにし、ＧＵＩ画面にさらにオンスクリーン表示する。あるいはメニュー画面を呼び出したうえでそこから選択することにより呼び出すなどでもよい。
【００７６】
ＧＵＩ設定画面９０は、情報処理装置１０の向き、ジョイスティック入力領域５８を十字キー入力領域４２やボタン入力領域４４と切り替える態様とするか常時表示させるか、十字キー入力領域４２やボタン入力領域４４に表示する円を半透明で表示するか否かやその色、などの設定内容を表示する設定内容表示欄９２、円を半透明で表示させる場合にその透過率を設定する透過率設定バー９４、設定内容を確定させたり設定変更をキャンセルするＯＫ／キャンセルボタン９６を含む。
【００７７】
同図の設定内容表示欄９２の例では、情報処理装置１０を「横長」で用い、ジョイスティック入力領域５８を十字キー入力領域４２やボタン入力領域４４と「切り替え」る態様とし、ＧＵＩに含まれる円を半透明とする設定がなされている。
【００７８】
ユーザは、設定を変更したいときにＧＵＩ設定画面９０を呼び出し、設定内容表示欄９２に項目ごとに表示された方向指示ボタン９８に触れることにより、表示された現在の設定内容から別の候補へ表示を切り替え、所望の設定内容が表示されたらＯＫ／キャンセルボタン９６のうちＯＫボタンに触れて設定を確定させる。円を半透明で表示させる場合は、適宜、透過率設定バー９４の調整も行う。
【００７９】
このように、ＧＵＩの表示態様の設定をユーザが容易に変化させることができるようにすることで、コンテンツの種類やゲームの内容、場面などに応じた、また個々のユーザの好みに応じた最適な環境で、情報処理装置を操作させることができる。したがって、横長の方向においても、十字キー入力領域４２、ボタン入力領域４４、ジョイスティック入力領域５８を同時に表示させたり、Ｌ１／Ｌ２ボタン入力領域８０、Ｒ１／Ｒ２ボタン入力領域８２の各ボタンを矩形としたりすることも容易にできる。
【００８０】
以上述べた本実施の形態によれば、情報処理装置の表示画面上にＧＵＩ画面をオンスクリーン表示する。ここで表示するＧＵＩは、従来ゲーム機のコントローラとして立体的に形成されている十字キー、各種ボタン、ジョイスティックなどを２次元平面で表現したものとする。このようにすることで、立体的なコントローラを使い慣れているユーザでも、同等の操作手段、操作性で容易に操作できるようになる。
【００８１】
各ＧＵＩの画像は、コンテンツの出力画像における隠蔽面積が小さくなるように、画面の隅近傍に配置する。また複合ＧＵＩ領域を設け、ユーザの接触が開始した点がどのＧＵＩのグラフィックスに含まれるかによって個々のＧＵＩへ切り替え可能とすることで、同じ検知領域を複数のＧＵＩで共有させる。また基本的に非表示としたＧＵＩを容易に呼び出せるＧＵＩを設ける。これらの特徴により、コンテンツ画面とＧＵＩ画面とが無理なく共存できる。
【００８２】
複合ＧＵＩ領域を設ける態様として、十字キーや４つのボタンで構成されるグラフィックスの中心部にジョイスティックのグラフィックスを設け、中心部の接触開始点から指を滑らせることにより任意方向、任意量の入力を実現する。このような連続動作は、本来のジョイスティック入力装置のスティックに指をのせ傾倒させる操作と相似していることから、ＧＵＩの切り替えや操作における違和感が少ない。
【００８３】
また情報処理装置を把持する指の位置に対応させて、画面の左下、右下、左上、右上にＧＵＩを配置することにより、両手の親指、人差し指を用いた自然な操作が可能となる。さらに、人差し指で操作される可能性の高い、左上、右上にそれぞれ配置した複数のボタンを、人差し指の可動範囲を考慮して扇形の連続した領域とする、または円弧状に配置することで、無理なくボタンの押し分けができる。
【００８４】
また情報処理装置の向き、ＧＵＩを切り替えるか否か、ＧＵＩを構成する画像の一部を半透明とするか否かをユーザが設定可能とすることにより、コンテンツの種類やユーザの嗜好などに合致した操作環境を容易に実現できる。
【００８５】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００８６】
１０ 情報処理装置、 １２ タッチパネル、 １４ ディスプレイ、 １６ コンテンツ記憶部、 １８ ＧＵＩ画像記憶部、 ２０ 入出力制御部、 ２２ 操作情報変換部、 ２４ コンテンツ処理部、 ２６ ＧＵＩ画像生成部、 ２８ ＧＵＩ画像バッファ、 ３０ コンテンツ画像生成部、 ３２ コンテンツ画像バッファ、 ３４ 画像合成部、 ５０ａ ＧＵＩ画面、 ５２ 第１複合ＧＵＩ領域、 ５３ ジョイスティックのＧＵＩ、 ５４ 切り替えボタン、 ５６ 第２複合ＧＵＩ領域、 ５８ ジョイスティック入力領域、 ６４ａ 検知領域、 ６６ａ 重複領域、 ７０ 標識、 ７９ 検知領域、 ８０ Ｌ１／Ｌ２ボタン入力領域、 ８２ Ｒ１／Ｒ２ボタン入力領域、 ８６ Ｌ１／Ｌ２／Ｌ３ボタン入力領域、 ９０ ＧＵＩ設定画面、 ９２ 設定内容表示欄、 ９４ 透過率設定バー。
【技術分野】
【０００１】
本発明は、ユーザの手操作入力を受け付ける入力装置、情報処理装置、およびこれらの装置で用いられる入力値取得方法に関する。
【背景技術】
【０００２】
近年、携帯ゲーム機、携帯電話、ＰＤＡ（Personal Data Asistance）など、携帯を想定した小型の情報機器が普及している。このような小型の機器はそのサイズ上の制約から入力手段も限定されてしまう。結果として、小型機器に特化した入力手段や機能が独自の発達を遂げてきた。例えばディスプレイ表面をタッチパネルで覆い、指やタッチペンでの入力を可能とすることにより、ディスプレイに表示されたオブジェクトなどを直接操作しているような感覚を与えることができる。
【０００３】
一方、そのような小型機器を利用して、設置型のゲーム機やパーソナルコンピュータと同等の情報処理を行う環境も整いつつある。例えば小型機器をユーザが操作し、ネットワークを介して接続した設置型の機器が実際の情報処理を行うことにより、高度なゲームを、場所を問わず楽しめるようになってきた。また、設置型の機器のためのゲームをエミュレートすることにより小型の機器で実行することも可能となってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように近年では、ゲームなどの情報処理を、機器の大きさや使用環境に関わらず行えるようにする技術的方向性がみられる。しかしながら、小型の機器を利用してそのような高度化した情報処理を実施しようとすると、上述のとおり入力手段の制約に起因して操作性が劣ってしまう、という問題があった。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、その目的は、サイズ上の制約があっても操作性の良好な入力手段を実現できる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は入力装置に関する。この入力装置は、ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、ＧＵＩ画像生成部が生成したＧＵＩの画像を表示するディスプレイと、ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、ＧＵＩ画像生成部は、ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、ユーザが複合ＧＵＩに新たに触れた際、操作情報変換部は、当該複合ＧＵＩで複合されている複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、ＧＵＩ画像生成部は、複合ＧＵＩを、操作情報変換部が特定した一のＧＵＩへ切り換えることで、タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする。
【０００７】
本発明の別の態様は情報処理装置に関する。この情報処理装置は、ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、ＧＵＩに対するユーザの操作に応じて情報処理を行う情報処理部と、情報処理部における処理の結果として生成された出力画像に、ＧＵＩ画像生成部が生成したＧＵＩの画像をオンスクリーン表示するディスプレイと、ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、ＧＵＩ画像生成部は、ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、ユーザが複合ＧＵＩに新たに触れた際、操作情報変換部は、当該複合ＧＵＩで複合されている複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、ＧＵＩ画像生成部は、複合ＧＵＩを、操作情報変換部が特定した一のＧＵＩへ切り換えることで、タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする。
【０００８】
本発明のさらに別の態様は入力値取得方法に関する。この入力値取得方法は、ＧＵＩ（Graphical User Interface）の画像を生成するステップと、ディスプレイにおいて、情報処理の結果得られた出力画像にＧＵＩの画像をオンスクリーン表示するステップと、ディスプレイを覆うタッチパネルによって、ユーザが接触した位置を検知するステップと、検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定するステップと、を含み、ＧＵＩの画像を生成するステップは、ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、ユーザが複合ＧＵＩに新たに触れた際、操作内容を特定するステップは、当該複合ＧＵＩで複合されている複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、ＧＵＩの画像を生成するステップは、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によると、小型の機器であっても良好な操作性を維持しつつ多様な操作が可能となる。
【図面の簡単な説明】
【００１１】
【図１】一般的なコントローラの構成例を示す図である。
【図２】本実施の形態における入力装置を適用した情報処理装置の外観例を示す図である。
【図３】本実施の形態における情報処理装置の構成を詳細に示す図である。
【図４】本実施の形態におけるＧＵＩ画面内のＧＵＩ配置例を示す図である。
【図５】本実施の形態において第１複合ＧＵＩ領域に表示する画像とタッチパネルにおける検知領域を説明するための図である。
【図６】本実施の形態においてジョイスティック入力領域に表示する画像とその操作手法を説明するための図である。
【図７】本実施の形態におけるＧＵＩ画面の変形例を示す図である。
【図８】本実施の形態におけるＬ１／Ｌ２ボタン入力領域の変形例を示す図である。
【図９】本実施の形態におけるＧＵＩ画面、コンテンツ画面の配置の別の例を示す図である。
【図１０】本実施の形態におけるＧＵＩの表示態様の設定画面例を示す図である。
【発明を実施するための形態】
【００１２】
本実施の形態では、携帯電話や携帯端末などの小型の機器において、据え置き型のゲーム機のコントローラなどと同等の操作性を有する入力装置を実現する。まず、一般的なコントローラについて例示する。図１は一般的なコントローラの構成例を示している。コントローラ１２０は、ユーザが操作可能な操作手段として、十字キー１２１、ジョイスティック１２７ａ、１２７ｂ、４種の操作ボタン群１２６、Ｌ１／Ｌ２ボタン１３０ａ、Ｒ１／Ｒ２ボタン１３０ｂを備える。４種の操作ボタン群１２６は、○ボタン１２２、×ボタン１２３、□ボタン１２４および△ボタン１２５から構成される。
【００１３】
十字キー１２１は、上下左右の４方向、或いは上下左右にこれら４方向の間の４方向を加えた８方向、或いは任意方向にキーイン可能に構成されており、例えば表示装置の画面上でカーソルを上下左右に移動させたり、各種情報を画面においてスクロールさせたりするのに用いられる。４種の操作ボタン群１２６には、アプリケーションプログラムによりそれぞれ異なる機能が割り付けられる。
【００１４】
ジョイスティック１２７ａ、１２７ｂは、任意方向に傾倒可能に支持されたスティック、及び傾倒量を検知するセンサを備えている。スティックはバネなどの付勢手段により中立位置に付勢されており、非操作時にはスティックは中立位置に戻る。センサはスティックの傾倒に応じて抵抗値を変える可変抵抗及び抵抗値をデジタル値に変換するＡＤ変換回路を含んでいる。スティックが倒されると、複数の基準方向への傾き量がデジタル値に変換され、その値は操作信号としてゲーム機などに送られる。
【００１５】
Ｌ１／Ｌ２ボタン１３０ａ、Ｒ１／Ｒ２ボタン１３０ｂはそれぞれ、コントローラ１２０の側面に上下に配置された、Ｌ１ボタンとＬ２ボタン、Ｒ１ボタンとＲ２ボタンの２つのボタンで構成される。例えばゲームにおける視線の方向を変えたり、他のボタンと同時に操作することによって、異なる動きを加えたりするのに用いられる。ただしこれらのボタンもアプリケーションプログラムにより様々な機能が割り付けられる。
【００１６】
ユーザは左手で左側把持部１２８ａを把持し、右手で右側把持部１２８ｂを把持して、コントローラ１２０を操作する。十字キー１２１、ジョイスティック１２７ａ、１２７ｂ、操作ボタン群１２６はユーザが左側把持部１２８ａ、右側把持部１２８ｂを左右の手で把持した状態で操作可能なよう、コントローラ１２０上面に設けられる。Ｌ１／Ｌ２ボタン１３０ａ、Ｒ１／Ｒ２ボタン１３０ｂは、左右の人差し指などで操作可能なよう、左側把持部１２８ａ、右側把持部１２８ｂと逆の側面に設けられる。
【００１７】
本実施の形態では、図１で示したコントローラに含まれる各操作手段を平面上でＧＵＩとして再現する。以下、本実施の形態における入力装置について説明する。図２は、本実施の形態における入力装置を適用した情報処理装置の外観例を示している。情報処理装置１０はユーザが持ち運びできる小型の装置であり、携帯電話、ＰＤＡ、携帯ゲーム機などのいずれでもよい。またそれらを組み合わせた機能を有していてもよい。そのため情報処理装置１０は、機能に応じた様々な処理機構を備えてよいが、それらは一般的な技術を利用できるため適宜説明を省略する。
【００１８】
情報処理装置１０は、ディスプレイ１４が本体前面に配置され、起動スイッチ４０が側面に配置された構成を有する。ディスプレイ１４の背面にはＣＰＵ、グラフィックプロセッサユニット、サウンドプロセッサ、メモリなど各種情報処理に必要な機構が内蔵されている（図示せず）。ディスプレイ１４は液晶ディスプレイ、ＥＬ（Electronic Luminescence）ディスプレイ、プラズマディスプレイなど一般的なディスプレイのいずれかでよい。ディスプレイ１４の上面はタッチパネル１２で覆われている。タッチパネル１２は抵抗膜方式、光学式、静電容量結合式など実用化されている方式のいずれかで実現する。
【００１９】
情報処理装置１０はそのほか、音声を出力するスピーカ、イヤホン接続端子、他の装置との通信を行う赤外線ポートや無線ＬＡＮの機構、電池ボックスなどを備えてよいが、ここでは図示を省略している。
【００２０】
ディスプレイ１４には、メニュー画面、アイコンなどユーザの操作入力に必要な画面、情報処理の結果であるゲーム画面、動画再生画面、テキスト表示画面、写真表示画面などを機能に応じて表示する。さらに、それを見ながらユーザが操作入力を行うためのＧＵＩ（Graphical User Interface）をオンスクリーン表示する。
【００２１】
ユーザは当該ＧＵＩを操作するように、タッチパネル１２上を手指で触れたり手指を滑らせたりすることにより、情報処理装置１０への操作入力を行う。図２においては、十字キーのグラフィックスを表示した十字キー入力領域４２、および、○ボタン、×ボタン、□ボタン、△ボタンの４種の操作ボタン群のグラフィックスを表示したボタン入力領域４４がＧＵＩとして装備されている。なお図２において十字キー入力領域４２、ボタン入力領域４４を囲む破線は領域の境界を図示するためのものであり、実際の表示や機能には関係しない。以後の図でも同様である。
【００２２】
例えばメニュー画面において所望の項目を選択するときは、一覧表示された項目名やアイコンのうち強調表示の対象を十字キー入力領域４２のいずれかの方向のキーに触れることにより移動させ、ボタン入力領域４４の○ボタンに触れることにより確定させる。またゲーム画面において十字キー入力領域４２のいずれかの方向キーに触れることにより、ゲームに登場しているキャラクターの移動方向を変化させる。あるいは会話型のゲームにおいて、ボタン入力領域４４の○ボタンに触れることにより「はい」、×ボタンに触れることにより「いいえ」、といった意思表示を行う。
【００２３】
このように十字キー入力領域４２やボタン入力領域４４を設けることによって実現できる操作入力は、情報処理装置が実現する機能に応じたボタン割り付けによって様々変化させることができる。本実施の形態ではこのように、据え置き型のゲーム機やパーソナルコンピュータにおける入力手段をタッチパネルの形式で再現することにより、小型の情報機器における操作入力のバリエーションを据え置き型のゲーム機などと同等にする。
【００２４】
また据え置き型のゲーム機で慣れたゲームを、小型の機器でも違和感なく同様の操作性で行えるようにする。なお十字キー入力領域４２やボタン入力領域４４の形状やマークはあくまで例示であり、それに限定する趣旨ではない。また再現したいコントローラに応じて、十字キー入力領域４２やボタン入力領域４４を別の入力手段に適宜置き換えることができる。
【００２５】
図３は情報処理装置１０の構成を詳細に示している。情報処理装置１０は上述したタッチパネル１２、ディスプレイ１４のほか、コンテンツのプログラムや各種データを記憶したコンテンツ記憶部１６、ＧＵＩとして用意された素材画像のデータを記憶したＧＵＩ画像記憶部、タッチパネルからの入力信号受信、画像データの入出力を制御する入出力制御部２０、タッチパネルからの入力信号を操作内容の情報に変換する操作情報変換部２２、操作内容に応じてコンテンツを処理するコンテンツ処理部２４、ＧＵＩの画像を生成するＧＵＩ画像生成部２６、生成したＧＵＩの画像を一時記憶するＧＵＩ画像バッファ２８、コンテンツの画像を生成するコンテンツ画像生成部３０、生成したコンテンツの画像を一時記憶するコンテンツ画像バッファ３２、コンテンツの画像上にＧＵＩの画像をオンスクリーン表示した画像を生成する画像合成部３４を含む。
【００２６】
図３において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、コンテンツを処理したり画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２７】
入出力制御部２０は既存の方法で、タッチパネル１２、ディスプレイ１４、コンテンツ記憶部１６、ＧＵＩ画像記憶部１８と接続し、データの入出力を制御する。タッチパネル１２から受信する入力信号は、タッチパネル１２上でユーザが触れた接触点の座標、接触点が連続的に移動したときの座標の移動経路などである。タッチパネル１２における接触点の検知手法はその方式によって異なるためここでは言及しない。入出力制御部２０はまた、ディスプレイ１４に表示画像のビデオ信号を出力する。
【００２８】
さらに入出力制御部２０は、コンテンツ記憶部１６にアクセスし、コンテンツの処理に必要なプログラムや各種データを読み出す。またＧＵＩ画像記憶部１８にアクセスし、上述の十字キーやボタンなどの素材画像データを読み出す。ここで「コンテンツ」は、コンピュータゲーム、映画、音楽、小説、写真などコンピュータで処理し表現が可能な対象であればその種類は限定されない。なお本実施の形態は、一般的な「コンテンツ」以外に、通信、スケジュール管理、住所録、表計算など一般的な情報処理に対しても適用できるが、以下の説明ではそれらも含め全て「コンテンツ」とする。
【００２９】
コンテンツ記憶部１６は、コンテンツがゲームであれば、そのプログラム、プレイヤーの情報、前回のプレイ時の到達レベルなどの情報を記憶する。コンテンツが映画や音楽であれば、圧縮符号化されたビデオデータ、オーディオデータと、それを復号再生するためのプログラムなどを記憶する。コンテンツ記憶部１６は、ハードディスクドライブでもよいし、メモリカード、ＲＯＭディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体とそれに対応した読み取り装置との組み合わせでもよい。
【００３０】
ＧＵＩ画像記憶部１８は、十字キーや各種ボタンなど、ＧＵＩ画像の素材となる画像データを記憶するハードディスクドライブなどの記憶装置である。後述するように本実施の形態では、ＧＵＩが操作されることにより当該ＧＵＩの画像自体が変化することもある。そのためＧＵＩ画像記憶部１８は、そのような様々なＧＵＩのバリエーションに対応した画像データを記憶する。
【００３１】
操作情報変換部２２は、タッチパネル１２からの入力信号を入出力制御部２０から取得し、当該信号に含まれる接触点の座標などを操作内容の情報へ変換する。本実施の形態では上述のように、ＧＵＩの操作によってＧＵＩ自体が変化することがある。そのため、ＧＵＩの種類とその表示位置との対応をあらかじめ内部で記憶しておく。そして取得した接触点の座標と、現在表示されているＧＵＩの種類とから、押されたボタンの種類や操作の度合い、方向など、ユーザが意図した操作内容を特定する。
【００３２】
操作内容の情報はコンテンツ処理部２４、ＧＵＩ画像生成部２６にそれぞれ通知される。コンテンツ処理部２４は、コンテンツ記憶部１６が記憶するプログラムに従い、操作内容に応じてゲームを進捗させたり動画や音楽を再生するためなどに必要な処理を行う。実際の処理手順はコンテンツの内容に応じて一般的に行われている通りである。
【００３３】
ＧＵＩ画像生成部２６は操作内容に基づき、必要に応じてＧＵＩの新たな画像を生成し、ＧＵＩ画像バッファ２８に格納する。ＧＵＩ画像の変化の具体例は後述するが、例えばユーザが接触していることを示すように色を変化させたりボタンが押されているように見せるほか、ＧＵＩのキーやボタン自体を別のＧＵＩに置き換えたりする。
【００３４】
そのためＧＵＩ画像生成部２６は、操作内容となすべき画像の変化、新たに用いる画像の識別情報などを対応づけた情報を内部で記憶しておく。そして現在表示されているＧＵＩに対してなされた操作内容に対応づけられた変化が表現されるように、必要なＧＵＩの画像データをＧＵＩ画像記憶部１８から適宜読み出したうえ、新たなオンスクリーン画像のデータを生成する。
【００３５】
操作内容によってＧＵＩを変化させなくてよい場合は、ＧＵＩ画像生成部２６は新たな画像生成の処理は行わなくてよい。コンテンツ画像生成部３０は、コンテンツ処理部２４による処理の結果として出力すべき画像のデータを生成し、コンテンツ画像バッファ３２に格納する。
【００３６】
画像合成部３４は、ＧＵＩ画像バッファ２８に格納された画像データとコンテンツ画像バッファ３２に格納された画像データを用いて描画処理を行うことにより、コンテンツ画像上にＧＵＩ画像がオンスクリーン表示された画像を生成し内部のフレームバッファに格納する。当該フレームバッファに格納された画像に対応するビデオ信号が、入出力制御部２０の制御のもとディスプレイ１４に送信されることにより、ユーザのＧＵＩ操作に応じた画像がディスプレイ１４に表示される。
【００３７】
次に本実施の形態におけるＧＵＩ画面の具体例を示す。本実施の形態では上述のように、ゲームなどのコンテンツ画面上にＧＵＩ画面をオンスクリーン表示する。そのためコンテンツ画面の邪魔になることなく、かつ、据え置き型のゲーム機のコントローラなどと同等の操作性が得られるようにすることが肝要となる。
【００３８】
本実施の形態では、十字キー、４種の操作ボタンに加え、ジョイスティックをＧＵＩとして再現する。このとき本来のジョイスティックと同様、任意の方向および量を入力できるようにすることで、十字キーによる方向指示との使い分けを、本来のコントローラと同様に行える。このＧＵＩにより任意方向、任意量の入力が可能となり、ゲームに登場するキャラクタの移動方向や移動速度、視野の転回などのコントロールに用いることができる。以後の説明ではＧＵＩとして表現した擬似的なジョイスティックによる入力も「ジョイスティック入力」と呼ぶ。
【００３９】
上記３種、あるいはそれ以上のＧＵＩを単にＧＵＩ画面に並べてしまうと、ＧＵＩによってコンテンツ画面が見づらくなってしまう可能性がある。そこで本実施の形態では、複数のＧＵＩを複合させた複合ＧＵＩ領域を設けることにより、当該複数のＧＵＩで同じ検知領域を共有する。複合ＧＵＩ領域のうちユーザが新たに触れたときの接触点の位置によって、複合ＧＵＩ領域全体について、どのＧＵＩとして利用するかを決定する。
【００４０】
図４はＧＵＩ画面内のＧＵＩ配置例を示している。ＧＵＩ画面５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅはいずれも、ディスプレイ１４においてコンテンツ画面上にオンスクリーン表示される画面であり、ユーザの操作によってＧＵＩ画面５０ａとＧＵＩ画面５０ｂ、５０ｃ、５０ｄ、５０ｅが切り替わる。ＧＵＩ画面５０ａは標準的な画面であり、第１複合ＧＵＩ領域５２、第２複合ＧＵＩ領域５６をそれぞれ画面の左下、右下に表示する。
【００４１】
第１複合ＧＵＩ領域５２は十字キーのＧＵＩとジョイスティックのＧＵＩを複合したＧＵＩの領域であり、図２に示した十字キー入力領域４２と同じデザインを有し、十字キーのＧＵＩのグラフィックスの少なくとも一部である十字キーグラフィックス５１と、その中心部に円形などの図形で表される、ジョイスティックのＧＵＩのグラフィックスの少なくとも一部であるジョイスティックグラフィックス５３と、で構成される。
【００４２】
第２複合ＧＵＩ領域５６は、４種の操作ボタンのＧＵＩとジョイスティックのＧＵＩを複合したＧＵＩの領域であり、第１複合ＧＵＩ領域５２と同様に、図２に示したボタン入力領域４４と同じデザインを有し、４種の操作ボタンのＧＵＩのグラフィックスの少なくとも一部である４種の操作ボタングラフィックス５５と、その中心部に円形などの図形で表され、ジョイスティックのＧＵＩのグラフィックスの少なくとも一部であるジョイスティックグラフィックス５７と、で構成される。
【００４３】
標準画面であるＧＵＩ画面５０ａにおいて、ユーザが第１複合ＧＵＩ領域５２のジョイスティックグラフィックス５３に新たに触れると、ジョイスティック入力を受け付ける処理が開始され、第１複合ＧＵＩ領域５２が、十字キーグラフィックス５１のないジョイスティック入力領域５８に切り替わる（ＧＵＩ画面５０ｂ）。詳細には、ユーザが第１複合ＧＵＩ領域５２のジョイスティックグラフィックス５３に指を置くと当該領域がジョイスティック入力領域５８に切り替わり、そのまま指を離さずにタッチパネル上で滑らすことにより、指の移動方向および移動距離を入力値として取得する、という連続動作となる。
【００４４】
指が連続的に触れている期間は、当該領域はジョイスティック入力領域５８として、指の動きから入力値を逐次取得する。そしてユーザが指を離したとき、当該領域は第１複合ＧＵＩ領域５２に戻る（ＧＵＩ画面５０ａ）。
【００４５】
一方、ＧＵＩ画面５０ａにおいて、ユーザが第１複合ＧＵＩ領域５２の十字キーグラフィックス５１に新たに触れると、十字キー入力を受け付ける処理が開始され、当該第１複合ＧＵＩ領域５２は十字キー入力領域４２に切り替わる（ＧＵＩ画面５０ｃ）。この場合も、指が連続的に触れている期間は、当該領域は十字キー入力領域４２として十字キー入力を受け付け、ユーザが指を離したとき、当該領域は第１複合ＧＵＩ領域５２に戻る（ＧＵＩ画面５０ａ）。
【００４６】
ただし同図に示すように、十字キー入力領域４２においてもジョイスティックグラフィックス５３を表示させたままにし、第１複合ＧＵＩ５２と十字キー入力領域４２の見た目を同じにしてもよい。このようにすることで、十字キー入力のために方向キーへの接触が不連続に行われても、ジョイスティックグラフィックス５３が消えたり表れたりする煩わしさを防止することができる。
【００４７】
第２複合ＧＵＩ領域５６も同様に、ユーザがジョイスティックグラフィックス５７に新たに触れると、ジョイスティック入力を受け付ける処理を開始し、当該領域が、４種の操作ボタングラフィックス５５がないジョイスティック入力領域５８に切り替わり（ＧＵＩ画面５０ｄ）、指を離すと元に戻るようにする（ＧＵＩ画面５０ａ）。指が触れている間は、ジョイスティック入力領域５８として指の動きを追う。
【００４８】
一方、ユーザが第２複合ＧＵＩ領域５６の４種の操作ボタングラフィックス５５に新たに触れると、ボタン入力を受け付ける処理を開始し、当該第２複合ＧＵＩ領域を、ボタン入力領域４４に切り替える（ＧＵＩ画面５０ｅ）。そして指を離すと元に戻るようにする（ＧＵＩ画面５０ａ）。このときも十字キー入力領域４２と同じ理由により、ボタン入力領域４４にはジョイスティックグラフィックス５７を表示させたままでよい。
【００４９】
このように十字キー入力領域４２とジョイスティック入力領域５８、ボタン入力領域４４とジョイスティック入力領域５８とをそれぞれ切り替え可能とすることにより、ＧＵＩの画像の占める領域面積を小さくできる。結果として、オンスクリーン表示させたとしてもコンテンツ画面への支障が少なく、限られたスペースでコンテンツ画面とＧＵＩとを共存させることが可能となる。また実際のジョイスティックが、中心を起点としてスティックを所望の方向に傾倒することに鑑みれば、領域の中心から指を滑らす、という行為をジョイスティック入力の起動に関連づけることにより、切り替えのためのアクションが自然である。
【００５０】
また、左下の第１複合ＧＵＩ領域５２および右下の第２複合ＧＵＩ領域５６のいずれもジョイスティック入力領域５８への切り替え可能とすることで、コンテンツの種類やゲームの内容、場面などによって、同時に表示する入力手段の組み合わせを変えたり、操作する手の右左を臨機応変に使い分けたりできる。
【００５１】
なお上記の例で十字キー入力領域４２およびボタン入力領域４４のＧＵＩは、一般的なボタンを表す区画への接触／非接触によって、各ボタンに設けられた機能のオン／オフを切り換えるオン／オフ入力用ＧＵＩであればよく、方向指示キーや○ボタン、×ボタン、□ボタン、△ボタンに限る趣旨ではない。またジョイスティック入力領域５８のＧＵＩも、ある領域内での接触点に応じたアナログ値を受け付けるアナログ入力用ＧＵＩであればよく、ジョイスティックの機能に限る趣旨ではない。
【００５２】
いずれにしろ、オン／オフ入力用ＧＵＩとアナログ入力用ＧＵＩとを組み合わせて複合ＧＵＩとする。そして当該複合ＧＵＩにおいて、オン／オフ入力用ＧＵＩのグラフィックスをそのまま表示してオン／オフ入力用ＧＵＩへの切り換えを受け付けるとともに、アナログ入力用ＧＵＩへ切り換える検知領域を小さく設定しておき、切り換え後にその検知領域を広げる。このようにすることで複合ＧＵＩから個々のＧＵＩへの切り換え操作と個々のＧＵＩに対する操作が一連の流れで自然に行える。このときオン／オフ入力用ＧＵＩへの切り換え時には複合ＧＵＩにおいて一部に表示されていたアナログ入力用ＧＵＩへ切り換えるためのグラフィックスを表示させたままにすることで、オン／オフ入力用ＧＵＩへの断続的な操作期間において当該グラフィックスが消えたり表れたりする煩わしさを防止することができる。
【００５３】
ＧＵＩ画面５０ａには、その他に、切り替えボタン５４を表示してもよい。この切り替えボタン５４に触れると、表示されていなかったボタン、例えばメニュー項目を選択するためのセレクトボタン、動画、音楽再生などを開始させるスタートボタンなど、機能に応じた必要なボタンが画面の下側から出現するようにしてもよい。このような態様とすることで、使用機会の少ないボタンを隠し、コンテンツ画面をより見やすくできる。
【００５４】
図５は第１複合ＧＵＩ領域５２に表示する画像とタッチパネルにおける検知領域を説明するための図である。同図の左が第１複合ＧＵＩ領域の画像、右が検知領域を画像に重ねて示したものである。第１複合ＧＵＩ領域５２は、円６０と、その円周上に配置された上下左右の４方向を示す４つのキーからなる十字キーグラフィックス６２と、当該円の中心に配置されたジョイスティックグラフィックス５３から構成される。
【００５５】
第１複合ＧＵＩ領域５２に表示する円６０は、十字キー入力領域４２でも表示し、本来のコントローラではその立体形状によって表すことのできる、４つのキーのセットの一体感を、２次元で表現するためのものである。このような円を表示することにより、背後に表示されているコンテンツの画像が雑多であっても、キーのセットをＧＵＩとして捉えやすくなる。
【００５６】
円６０は半透明に表示可能とすることで、コンテンツ画面の邪魔にならないようにする。このときの透過率はコンテンツの種類などに鑑みユーザが設定可能とする。第２複合ＧＵＩ領域５６、ボタン入力領域４４にも同様の円を表示することにより、セットとしての一体感を表現する。また十字キーや４種の操作ボタンの配色は、コンテンツ画面における画像の色彩を優先するようにモノトーンを基準とすることが望ましい。
【００５７】
十字キーグラフィックス６２の４つのキーはそれぞれ、タッチパネルにおける、各キーの図形を囲む所定サイズの矩形の検知領域６４ａ、６４ｂ、６４ｃ、６４ｄに対応づけられる。またジョイスティックグラフィックス５３は円６０の中心の検知領域６８に対応づけられる。検知領域６４ａ、６４ｂ、６４ｃ、６４ｄは矩形のほか、三角形、円など、その境界を数式で定義できる形状とすることにより、ディスプレイやタッチパネルの解像度によらずキー表示との対応がとりやすくなる。
【００５８】
また検知領域６４ａ、６４ｂ、６４ｃ、６４ｄを、キーの図形の周囲を含むような大きめのサイズとすることで、指の接触点がキーから少しずれても操作がなされたことを検知できるとともに、隣り合う検知領域に重複領域６６ａ、６６ｂ、６６ｃ、６６ｄを設けることができる。この重複領域６６ａ、６６ｂ、６６ｃ、６６ｄは、上下左右の方向の中間である斜めの４方向に対応づける。これにより、キー部分のみを検知領域とする場合と比較し、入力できる方向が倍になり多段階での方向指示が可能となる。
【００５９】
十字キー入力領域４２の場合も、十字キーに対応する検知領域の設定は図５と同様とする。ただし十字キー入力領域４２から第１複合ＧＵＩ領域５２に戻るときの判定基準である、ユーザが連続的に触れているか否かを検知する領域は、例えば円６０の半径以上の半径を有する所定の同心円などを別途設定する。これにより、十字キー入力中のユーザの指が十字キー入力領域４２の中心部を経由して移動する場合に、意図に反して第１複合ＧＵＩ領域５２に戻ったり、さらにジョイスティック入力領域５８へ切り替わったりすることを防ぐ。なお接触点が当該検知領域を外れた場合は第１複合ＧＵＩ領域５２へ切り替える。
【００６０】
図６はジョイスティック入力領域５８に表示する画像と、その操作手法を説明するための図である。上述したようにジョイスティック入力領域５８は、ユーザが第１複合ＧＵＩ領域５２のジョイスティックグラフィックス５３の検知領域６８などに触れた後、そのまま離すことなくタッチパネル上で指を滑らせている期間に表示される。このとき同図の左に示すように、ユーザの指７６が触れている箇所に、円などの標識７０を表示する。標識７０は、好適には指によって隠れない大きさ、形状であるが、輝いているような画像上の加工をその周囲に施したり、接触点の移動に追尾するように僅かに位置をずらしたり、移動跡をかすかに表示したりすることでさらに視認されやすくなる。
【００６１】
標識７０は、指７６による接触点の移動に合わせて移動する。ジョイスティック入力領域５８にも、第１複合ＧＵＩ領域５２、第２複合ＧＵＩ領域５６、十字キー入力領域４２、ボタン入力領域４４で表示していたのと同じ位置に、同じ半径の円７２を表示する。第１複合ＧＵＩ領域５２、第２複合ＧＵＩ領域５６において中心部にジョイスティックグラフィックスを設けているため、円の中心はジョイスティック入力のためにユーザが最初に触れた位置となる。また同図右側に示すように、円７２の半径以上の半径を有する同心円状に検知領域７９を設定する。接触点が検知領域７９を外れたら、当該領域を元の第１複合ＧＵＩ領域５２、または第２複合ＧＵＩ領域５６へ戻す。
【００６２】
図５、６から明らかなように、ジョイスティック入力領域５８においてジョイスティック入力を受け付ける検知領域７９は、第１複合ＧＵＩ領域５２においてジョイスティック入力領域５８への切り換えがなされる検知領域６８を同心円状に広げた領域である。第２複合ＧＵＩ領域５６においてジョイスティック入力への切り換えがなされる検知領域と切り換え後の検知領域との関係についても同様である。
【００６３】
円７２は半透明に表示してもよいし、表示しなくてもよい。ジョイスティック入力領域５８においては、接触点７８の座標を所定の時間間隔で連続して取得し、検知領域７９の円の中心７４から接触点７８までの方向ベクトルを、各時刻の入力値とする。座標取得の時間間隔は、例えばディスプレイ１４におけるフレーム表示間隔より小さくする。
【００６４】
操作情報変換部２２は、方向ベクトルのうち、円の中心７４から接触点７８への方向を本来のジョイスティックの傾倒方向、中心７４から接触点７８までの距離を本来のジョイスティックの傾倒量に対応づけた情報を内部で記憶しておく。その情報を参照することにより、各時刻の方向ベクトルを本来のジョイスティックにおける傾倒方向および傾倒量に変換し、コンテンツ処理部２４に通知する。これによりコンテンツ処理部２４は本来のジョイスティックに対して入力がなされたのと同様に処理を実行できる。あるいは、方向や距離を直接、コンテンツ処理に用いてもよい。
【００６５】
接触点が円７２の円周に到達したら、ジョイスティックを最大限傾倒させたときの入力値が得られるようにする。接触点が円７２から外れたら、検知領域７９の範囲内であれば、円の中心７４からの方向のみを接触点に対応させて取得し、距離は接触点によらず円７２の半径で飽和するようにする。このとき標識７０は円７２の円周上を接触点の方向に対応して移動するように表示する。このようにジョイスティック入力領域５８を設けることで、本来のジョイスティックと操作手法、操作性の差が少ない入力手段を平面上で実現することができる。また円７２を表示させなかったり半透明に表示させたりすることで、コンテンツ画面への影響を最小限に、任意方向、任意量の入力が可能になる。
【００６６】
図７はＧＵＩ画面の変形例を示している。同図における情報処理装置１０のＧＵＩ画面５０ｆは、図４に示したＧＵＩ画面５０ａと同様、画面左下に第１複合ＧＵＩ領域５２、画面右下に第２複合ＧＵＩ領域５６を含む。ＧＵＩ画面５０ｆはさらに、画面左上にＬ１／Ｌ２ボタン入力領域８０、画面右上にＲ１／Ｒ２ボタン入力領域８２を含む。Ｌ１／Ｌ２ボタン入力領域８０は図１のＬ１ボタン、Ｌ２ボタンと対応するボタンによって構成される。Ｒ１／Ｒ２ボタン入力領域８２は図１のＲ１ボタン、Ｒ２ボタンと対応するボタンによって構成される。
【００６７】
本実施の形態では、情報処理装置１０の本体を、同図に示すような左右の手８４で把持しながら、同手指でＧＵＩを操作する態様を想定している。そのため第１複合ＧＵＩ領域５２と第２複合ＧＵＩ領域５６をそれぞれ画面の左下、右下に配置することにより、親指での操作を可能とする。
【００６８】
そしてＬ１／Ｌ２ボタン入力領域８０、Ｒ１／Ｒ２ボタン入力領域８２を同図のとおり画面左上、右上にそれぞれ配置することにより、人差し指での操作が可能になる。なお同図ではＧＵＩ画面５０ｆがわかりやすいように、情報処理装置１０と手８４とが離れて示されているが、実際に把持した際は親指、人差し指がＧＵＩ画面５０ｆ上に位置することになる。
【００６９】
このようなＧＵＩの配置とすることで、情報処理装置１０を把持しながら無理なく操作ができるうえ、４つの領域のいずれか２つ以上の領域を同時に操作することも可能となる。ここでＬ１／Ｌ２ボタン入力領域８０およびＲ１／Ｒ２ボタン入力領域８２は、同図に示すように、画面の上側の２つの角の直角を中心角とする扇形の形状とし、さらに当該中心角を内分してそれぞれ２つの扇形に分割することにより、Ｌ１ボタンとＬ２ボタン、Ｒ１ボタンとＲ２ボタンを区別する。
【００７０】
情報処理装置１０を図７のような形で把持する場合、手８４の人差し指の根元は、主に中指と相対することで情報処理装置１０の筐体を挟み込むかたちとなるのが一般的である。そのため人差し指で無理なく操作できる範囲は、関節から先を曲げることによる扇形の領域となる。Ｌ１／Ｌ２ボタン入力領域８０、Ｒ１／Ｒ２ボタン入力領域８２を扇形とすることにより、ユーザは指の角度を変化させるのみでＬ１ボタン／Ｌ２ボタン、Ｒ１ボタン／Ｒ２ボタンを押し分けることができる。なお扇形の領域の分割数を変えることにより３つ以上のボタンを設けてもよい。
【００７１】
また内分角は均等でなくてもよい。例えば、曲げる角度が小さいほど指をコントロールしやすいという特性を考慮し、画面上側のボタンの角度を小さくとり、左右の辺に向かうほど角度を大きくするようにしてもよい。またボタンの形状でなく配置によって指の可動範囲に対応させてもよい。
【００７２】
図８はＬ１／Ｌ２ボタン入力領域の変形例を示している。同図に示すＬ１／Ｌ２／Ｌ３ボタン入力領域８６は、一例としてＬ１ボタン８８ａ、Ｌ２ボタン８８ｂ、Ｌ３ボタン８８ｃの３個のボタンを設けているが、ボタンの数は限定されない。そして各ボタンをそれぞを独立した形状とする一方、その配置を円弧状とする。同図では各ボタンを円形としているが矩形などでもよい。このようにボタンの形状は通常の場合と同様でも、配置を円弧状とすることにより、人差し指の指先の曲げ角によって無理のない押し分けが可能となる。なおこの例においてもボタンの間隔を、画面上側から左の辺に向かうにしがたい大きくするようにしてもよい。図７のＲ１／Ｒ２ボタンなど、対向するボタンについても同様である。
【００７３】
図９はＧＵＩ画面、コンテンツ画面の配置の別の例を示している。これまで述べた態様では、ＧＵＩ画面をコンテンツ画面上にオンスクリーン表示した。図９の例では、情報処理装置１０を縦長方向に用い、コンテンツ画面１００とＧＵＩ画面１０２を個別の領域に表示している。この場合も情報処理装置１０の構成は図３で示したのと同様でよく、画像合成部３４は、コンテンツ画像、ＧＵＩ画像を、あらかじめ定められた個別の領域にそれぞれ描画することで合成を行う。各種ＧＵＩの操作手法も上述と同様である。
【００７４】
この場合、コンテンツ画面１００の表示面積は小さくなるが、ＧＵＩの画像がコンテンツ画面１００を隠すことがないため、十字キー入力領域、ボタン入力領域、ジョイスティック入力領域などを同時に表示させても差し支えない。またこの場合、把持する手の形や操作する指が、上述の場合と異なる可能性が高いことから、Ｌ１ボタン、Ｌ２ボタン、Ｒ１ボタン、Ｒ２ボタンは、扇形または円弧状などでなくてもよい。
【００７５】
情報処理装置１０を縦長で用いるか横長で用いるかは、コンテンツの種類やゲームの内容などに鑑みユーザが設定可能とする。図１０はＧＵＩの表示態様の設定画面例を示している。ＧＵＩ設定画面９０は、コンテンツ処理の開始前、処理の途中を問わず、ＧＵＩの所定のボタンに触ることによっていつでも呼び出せるようにし、ＧＵＩ画面にさらにオンスクリーン表示する。あるいはメニュー画面を呼び出したうえでそこから選択することにより呼び出すなどでもよい。
【００７６】
ＧＵＩ設定画面９０は、情報処理装置１０の向き、ジョイスティック入力領域５８を十字キー入力領域４２やボタン入力領域４４と切り替える態様とするか常時表示させるか、十字キー入力領域４２やボタン入力領域４４に表示する円を半透明で表示するか否かやその色、などの設定内容を表示する設定内容表示欄９２、円を半透明で表示させる場合にその透過率を設定する透過率設定バー９４、設定内容を確定させたり設定変更をキャンセルするＯＫ／キャンセルボタン９６を含む。
【００７７】
同図の設定内容表示欄９２の例では、情報処理装置１０を「横長」で用い、ジョイスティック入力領域５８を十字キー入力領域４２やボタン入力領域４４と「切り替え」る態様とし、ＧＵＩに含まれる円を半透明とする設定がなされている。
【００７８】
ユーザは、設定を変更したいときにＧＵＩ設定画面９０を呼び出し、設定内容表示欄９２に項目ごとに表示された方向指示ボタン９８に触れることにより、表示された現在の設定内容から別の候補へ表示を切り替え、所望の設定内容が表示されたらＯＫ／キャンセルボタン９６のうちＯＫボタンに触れて設定を確定させる。円を半透明で表示させる場合は、適宜、透過率設定バー９４の調整も行う。
【００７９】
このように、ＧＵＩの表示態様の設定をユーザが容易に変化させることができるようにすることで、コンテンツの種類やゲームの内容、場面などに応じた、また個々のユーザの好みに応じた最適な環境で、情報処理装置を操作させることができる。したがって、横長の方向においても、十字キー入力領域４２、ボタン入力領域４４、ジョイスティック入力領域５８を同時に表示させたり、Ｌ１／Ｌ２ボタン入力領域８０、Ｒ１／Ｒ２ボタン入力領域８２の各ボタンを矩形としたりすることも容易にできる。
【００８０】
以上述べた本実施の形態によれば、情報処理装置の表示画面上にＧＵＩ画面をオンスクリーン表示する。ここで表示するＧＵＩは、従来ゲーム機のコントローラとして立体的に形成されている十字キー、各種ボタン、ジョイスティックなどを２次元平面で表現したものとする。このようにすることで、立体的なコントローラを使い慣れているユーザでも、同等の操作手段、操作性で容易に操作できるようになる。
【００８１】
各ＧＵＩの画像は、コンテンツの出力画像における隠蔽面積が小さくなるように、画面の隅近傍に配置する。また複合ＧＵＩ領域を設け、ユーザの接触が開始した点がどのＧＵＩのグラフィックスに含まれるかによって個々のＧＵＩへ切り替え可能とすることで、同じ検知領域を複数のＧＵＩで共有させる。また基本的に非表示としたＧＵＩを容易に呼び出せるＧＵＩを設ける。これらの特徴により、コンテンツ画面とＧＵＩ画面とが無理なく共存できる。
【００８２】
複合ＧＵＩ領域を設ける態様として、十字キーや４つのボタンで構成されるグラフィックスの中心部にジョイスティックのグラフィックスを設け、中心部の接触開始点から指を滑らせることにより任意方向、任意量の入力を実現する。このような連続動作は、本来のジョイスティック入力装置のスティックに指をのせ傾倒させる操作と相似していることから、ＧＵＩの切り替えや操作における違和感が少ない。
【００８３】
また情報処理装置を把持する指の位置に対応させて、画面の左下、右下、左上、右上にＧＵＩを配置することにより、両手の親指、人差し指を用いた自然な操作が可能となる。さらに、人差し指で操作される可能性の高い、左上、右上にそれぞれ配置した複数のボタンを、人差し指の可動範囲を考慮して扇形の連続した領域とする、または円弧状に配置することで、無理なくボタンの押し分けができる。
【００８４】
また情報処理装置の向き、ＧＵＩを切り替えるか否か、ＧＵＩを構成する画像の一部を半透明とするか否かをユーザが設定可能とすることにより、コンテンツの種類やユーザの嗜好などに合致した操作環境を容易に実現できる。
【００８５】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００８６】
１０ 情報処理装置、 １２ タッチパネル、 １４ ディスプレイ、 １６ コンテンツ記憶部、 １８ ＧＵＩ画像記憶部、 ２０ 入出力制御部、 ２２ 操作情報変換部、 ２４ コンテンツ処理部、 ２６ ＧＵＩ画像生成部、 ２８ ＧＵＩ画像バッファ、 ３０ コンテンツ画像生成部、 ３２ コンテンツ画像バッファ、 ３４ 画像合成部、 ５０ａ ＧＵＩ画面、 ５２ 第１複合ＧＵＩ領域、 ５３ ジョイスティックのＧＵＩ、 ５４ 切り替えボタン、 ５６ 第２複合ＧＵＩ領域、 ５８ ジョイスティック入力領域、 ６４ａ 検知領域、 ６６ａ 重複領域、 ７０ 標識、 ７９ 検知領域、 ８０ Ｌ１／Ｌ２ボタン入力領域、 ８２ Ｒ１／Ｒ２ボタン入力領域、 ８６ Ｌ１／Ｌ２／Ｌ３ボタン入力領域、 ９０ ＧＵＩ設定画面、 ９２ 設定内容表示欄、 ９４ 透過率設定バー。
【特許請求の範囲】
【請求項１】
ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、
前記ＧＵＩ画像生成部が生成したＧＵＩの画像を表示するディスプレイと、
前記ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、
前記タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、
を備え、
前記ＧＵＩ画像生成部は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作情報変換部は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩ画像生成部は、前記複合ＧＵＩを、前記操作情報変換部が特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする入力装置。
【請求項２】
前記複合ＧＵＩで複合される前記複数のＧＵＩは、前記接触点に応じたアナログ値を受け付けるＧＵＩを含み、前記複合ＧＵＩにおける当該アナログ値を受け付けるＧＵＩへ切り換えるための検知領域は、前記複合ＧＵＩから切り換えた後の、前記アナログ値を受け付けるＧＵＩの検知領域より小さいことを特徴とする請求項１に記載の入力装置。
【請求項３】
前記複合ＧＵＩで複合される前記複数のＧＵＩはさらに、接触／非接触によって前記接触点に設けられた機能のオン／オフを切り換えるＧＵＩを含むことを特徴とする請求項２に記載の入力装置。
【請求項４】
前記ＧＵＩ画像生成部は、前記複合ＧＵＩから切り換えた一のＧＵＩの検知領域への連続的な接触が終了したら、当該一のＧＵＩを前記複合ＧＵＩへ戻すことを特徴とする請求項１から３のいずれかに記載の入力装置。
【請求項５】
前記複合ＧＵＩで複合される前記複数のＧＵＩは、前記接触点に応じたアナログ値を受け付けるアナログ入力用ＧＵＩと、接触／非接触によって前記接触点に設けられた機能のオン／オフを切り換えるオン／オフ入力用ＧＵＩを含むことを特徴とする請求項１または４に記載の入力装置。
【請求項６】
前記複合グラフィックスは、方向を指定するための複数の方向指示キーを円周上に配置した、十字キーのＧＵＩに対応する十字キーグラフィックスと、任意方向および任意量の入力を受け付ける疑似ジョイスティックのＧＵＩに対応するジョイスティックグラフィックスからなり、前記ジョイスティックグラフィックスは、前記十字キーグラフィックスの中心に配置されていることを特徴とする請求項１または４に記載の入力装置。
【請求項７】
前記操作情報変換部は、前記複合ＧＵＩから切り換えた一のＧＵＩが前記疑似ジョイスティックのＧＵＩである期間において、前記接触が開始された点から現在の接触点までの方向および距離を逐次取得して、方向および量の入力値とすることを特徴とする請求項６に記載の入力装置。
【請求項８】
前記ディスプレイは、前記入力装置が接続した情報処理装置における情報処理の結果として生成された出力画像に、前記ＧＵＩ画像生成部が生成したＧＵＩの画像をオンスクリーン表示することを特徴とする請求項１から７のいずれかに記載の入力装置。
【請求項９】
前記ＧＵＩ画像生成部は、一の画面に複数の前記複合ＧＵＩの領域を設けることを特徴とする請求項１から８のいずれかに記載の入力装置。
【請求項１０】
前記ＧＵＩ画像生成部は、前記複合ＧＵＩから切り換えた一のＧＵＩが前記疑似ジョイスティックのＧＵＩである期間において、ユーザによる現在の接触点を表す標識を表示させることを特徴とする請求項６に記載の入力装置。
【請求項１１】
前記ＧＵＩ画像生成部は、前記複合ＧＵＩから前記オン／オフ入力用ＧＵＩへ切り換える際、前記複合ＧＵＩにおいて表示されていた前記アナログ入力用ＧＵＩへ切り換えるためのグラフィックスも継続して表示させ、前記複合ＧＵＩから前記アナログ入力用ＧＵＩへ切り換える際、前記複合ＧＵＩにおいて表示されていた前記オン／オフ入力用ＧＵＩへ切り換えるためのグラフィックスを非表示とすることを特徴とする請求項５に記載の入力装置。
【請求項１２】
ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、
前記ＧＵＩに対するユーザの操作に応じて情報処理を行う情報処理部と、
前記情報処理部における処理の結果として生成された出力画像に、前記ＧＵＩ画像生成部が生成したＧＵＩの画像をオンスクリーン表示するディスプレイと、
前記ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、
前記タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、
前記ＧＵＩ画像生成部は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作情報変換部は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩ画像生成部は、前記複合ＧＵＩを、前記操作情報変換部が特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする情報処理装置。
【請求項１３】
ＧＵＩ（Graphical User Interface）の画像を生成するステップと、
ディスプレイにおいて、情報処理の結果得られた出力画像に前記ＧＵＩの画像をオンスクリーン表示するステップと、
前記ディスプレイを覆うタッチパネルによって、ユーザが接触した位置を検知するステップと、
検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定するステップと、
を含み、
前記ＧＵＩの画像を生成するステップは、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作内容を特定するステップは、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩの画像を生成するステップは、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする入力値取得方法。
【請求項１４】
ＧＵＩ（Graphical User Interface）の画像を生成する機能と、
ディスプレイにおいて、情報処理の結果得られた出力画像に前記ＧＵＩの画像をオンスクリーン表示する機能と、
前記ディスプレイを覆うタッチパネルが検知した、ユーザによる接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記ＧＵＩの画像を生成する機能は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作内容を特定する機能は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩの画像を生成する機能は、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とするコンピュータプログラム。
【請求項１５】
ＧＵＩ（Graphical User Interface）の画像を生成する機能と、
ディスプレイにおいて、情報処理の結果得られた出力画像に前記ＧＵＩの画像をオンスクリーン表示する機能と、
前記ディスプレイを覆うタッチパネルが検知した、ユーザによる接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記ＧＵＩの画像を生成する機能は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作内容を特定する機能は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩの画像を生成する機能は、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項１】
ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、
前記ＧＵＩ画像生成部が生成したＧＵＩの画像を表示するディスプレイと、
前記ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、
前記タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、
を備え、
前記ＧＵＩ画像生成部は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作情報変換部は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩ画像生成部は、前記複合ＧＵＩを、前記操作情報変換部が特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする入力装置。
【請求項２】
前記複合ＧＵＩで複合される前記複数のＧＵＩは、前記接触点に応じたアナログ値を受け付けるＧＵＩを含み、前記複合ＧＵＩにおける当該アナログ値を受け付けるＧＵＩへ切り換えるための検知領域は、前記複合ＧＵＩから切り換えた後の、前記アナログ値を受け付けるＧＵＩの検知領域より小さいことを特徴とする請求項１に記載の入力装置。
【請求項３】
前記複合ＧＵＩで複合される前記複数のＧＵＩはさらに、接触／非接触によって前記接触点に設けられた機能のオン／オフを切り換えるＧＵＩを含むことを特徴とする請求項２に記載の入力装置。
【請求項４】
前記ＧＵＩ画像生成部は、前記複合ＧＵＩから切り換えた一のＧＵＩの検知領域への連続的な接触が終了したら、当該一のＧＵＩを前記複合ＧＵＩへ戻すことを特徴とする請求項１から３のいずれかに記載の入力装置。
【請求項５】
前記複合ＧＵＩで複合される前記複数のＧＵＩは、前記接触点に応じたアナログ値を受け付けるアナログ入力用ＧＵＩと、接触／非接触によって前記接触点に設けられた機能のオン／オフを切り換えるオン／オフ入力用ＧＵＩを含むことを特徴とする請求項１または４に記載の入力装置。
【請求項６】
前記複合グラフィックスは、方向を指定するための複数の方向指示キーを円周上に配置した、十字キーのＧＵＩに対応する十字キーグラフィックスと、任意方向および任意量の入力を受け付ける疑似ジョイスティックのＧＵＩに対応するジョイスティックグラフィックスからなり、前記ジョイスティックグラフィックスは、前記十字キーグラフィックスの中心に配置されていることを特徴とする請求項１または４に記載の入力装置。
【請求項７】
前記操作情報変換部は、前記複合ＧＵＩから切り換えた一のＧＵＩが前記疑似ジョイスティックのＧＵＩである期間において、前記接触が開始された点から現在の接触点までの方向および距離を逐次取得して、方向および量の入力値とすることを特徴とする請求項６に記載の入力装置。
【請求項８】
前記ディスプレイは、前記入力装置が接続した情報処理装置における情報処理の結果として生成された出力画像に、前記ＧＵＩ画像生成部が生成したＧＵＩの画像をオンスクリーン表示することを特徴とする請求項１から７のいずれかに記載の入力装置。
【請求項９】
前記ＧＵＩ画像生成部は、一の画面に複数の前記複合ＧＵＩの領域を設けることを特徴とする請求項１から８のいずれかに記載の入力装置。
【請求項１０】
前記ＧＵＩ画像生成部は、前記複合ＧＵＩから切り換えた一のＧＵＩが前記疑似ジョイスティックのＧＵＩである期間において、ユーザによる現在の接触点を表す標識を表示させることを特徴とする請求項６に記載の入力装置。
【請求項１１】
前記ＧＵＩ画像生成部は、前記複合ＧＵＩから前記オン／オフ入力用ＧＵＩへ切り換える際、前記複合ＧＵＩにおいて表示されていた前記アナログ入力用ＧＵＩへ切り換えるためのグラフィックスも継続して表示させ、前記複合ＧＵＩから前記アナログ入力用ＧＵＩへ切り換える際、前記複合ＧＵＩにおいて表示されていた前記オン／オフ入力用ＧＵＩへ切り換えるためのグラフィックスを非表示とすることを特徴とする請求項５に記載の入力装置。
【請求項１２】
ＧＵＩ（Graphical User Interface）の画像を生成するＧＵＩ画像生成部と、
前記ＧＵＩに対するユーザの操作に応じて情報処理を行う情報処理部と、
前記情報処理部における処理の結果として生成された出力画像に、前記ＧＵＩ画像生成部が生成したＧＵＩの画像をオンスクリーン表示するディスプレイと、
前記ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、
前記タッチパネルが検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、
前記ＧＵＩ画像生成部は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作情報変換部は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩ画像生成部は、前記複合ＧＵＩを、前記操作情報変換部が特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする情報処理装置。
【請求項１３】
ＧＵＩ（Graphical User Interface）の画像を生成するステップと、
ディスプレイにおいて、情報処理の結果得られた出力画像に前記ＧＵＩの画像をオンスクリーン表示するステップと、
前記ディスプレイを覆うタッチパネルによって、ユーザが接触した位置を検知するステップと、
検知した接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定するステップと、
を含み、
前記ＧＵＩの画像を生成するステップは、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作内容を特定するステップは、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩの画像を生成するステップは、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とする入力値取得方法。
【請求項１４】
ＧＵＩ（Graphical User Interface）の画像を生成する機能と、
ディスプレイにおいて、情報処理の結果得られた出力画像に前記ＧＵＩの画像をオンスクリーン表示する機能と、
前記ディスプレイを覆うタッチパネルが検知した、ユーザによる接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記ＧＵＩの画像を生成する機能は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作内容を特定する機能は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩの画像を生成する機能は、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とするコンピュータプログラム。
【請求項１５】
ＧＵＩ（Graphical User Interface）の画像を生成する機能と、
ディスプレイにおいて、情報処理の結果得られた出力画像に前記ＧＵＩの画像をオンスクリーン表示する機能と、
前記ディスプレイを覆うタッチパネルが検知した、ユーザによる接触点と表示中のＧＵＩの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記ＧＵＩの画像を生成する機能は、前記ＧＵＩの画像において、複数のＧＵＩのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のＧＵＩを複合した複合ＧＵＩの領域を設け、
ユーザが前記複合ＧＵＩに新たに触れた際、前記操作内容を特定する機能は、当該複合ＧＵＩで複合されている前記複数のＧＵＩのうち、その接触が開始された点を含むグラフィックスに対応する一のＧＵＩを特定し、前記ＧＵＩの画像を生成する機能は、前記複合ＧＵＩを、特定した一のＧＵＩへ切り換えることで、前記タッチパネルの同じ検知領域を複数のＧＵＩで共有させることを特徴とするコンピュータプログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１６８９３１（Ｐ２０１２−１６８９３１Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１２−７４２０（Ｐ２０１２−７４２０）
【出願日】平成２４年１月１７日（２０１２．１．１７）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２４年１月１７日（２０１２．１．１７）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]