ポータブル機器およびポータブル機器における仮想空間の提供方法
【課題】仮想的に構成されたユーザインターフェイスのメリットを活かすことの可能なポータブル機器を提供すること。
【解決手段】ポータブル機器は、移動および傾動を検出するモーションセンサ部１０１と、画面表示を行う表示部１０３と、ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部１０２と、モーションセンサ部１０１、表示部１０３およびキー入力部１０２を制御する制御部１０４とを備えたポータブル機器１００において、制御部１００は、表示部１０３よりもサイズの広いグラフィックスを表示する際に、グラフィックスの一部を表示部１０３に表示しつつ、モーションセンサ部１０１の検出した移動および傾動の方向および量に応じてグラフィックスの表示部１０３に表示される部分をスクロールまたはズームするとともに、キー入力部１０２の所定キーを操作することによりスクロールまたはズームを停止する。
【解決手段】ポータブル機器は、移動および傾動を検出するモーションセンサ部１０１と、画面表示を行う表示部１０３と、ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部１０２と、モーションセンサ部１０１、表示部１０３およびキー入力部１０２を制御する制御部１０４とを備えたポータブル機器１００において、制御部１００は、表示部１０３よりもサイズの広いグラフィックスを表示する際に、グラフィックスの一部を表示部１０３に表示しつつ、モーションセンサ部１０１の検出した移動および傾動の方向および量に応じてグラフィックスの表示部１０３に表示される部分をスクロールまたはズームするとともに、キー入力部１０２の所定キーを操作することによりスクロールまたはズームを停止する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポータブル機器およびポータブル機器における仮想空間の提供方法に関するものである。
【背景技術】
【０００２】
コンピュータがユーザに提供するインターフェイスは、キャラクタインターフェイスからグラフィカルインターフェイスへと進化し、現在ではさらにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用したＶＲインターフェイスも各種シミュレータ、設計支援システム、ゲーム、精密制御等の分野で実用化されつつある。
【０００３】
ＶＲ技術としては、ユーザが頭部装着ディスプレイであるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するタイプと、イリノイ大学で開発されたＣＡＶＥシステムのような没入型のタイプとが広く知られている。このうちＨＭＤを利用するものではＨＭＤを介してユーザの視覚に仮想現実の３Ｄグラフィックスを提供するものであり、ＣＡＶＥシステムのような没入型においては、部屋の正面、左右側面、床面の全面にそれぞれ大型スクリーンが設けられ各スクリーンに３Ｄ映像を表示するものである。いずれの場合においても、ユーザが所定のインターフェイスデバイスを操作することに応じて、ＨＭＤが供するグラフィックスや各スクリーンの表示をリアルタイムに変化させることが行われる。
【０００４】
このような仮想現実空間システムでは、コンピュータによってシステム上に仮想的に構築された世界の中に本当に存在しているかのような視覚効果がユーザに供されるものであり、またインターフェイスデバイスを操作することより仮想世界の中を移動したり回転しているかのような効果がユーザに供される。また、現実の視界と仮想現実の上に構築された視界とを重ね合わせてユーザに提供する技術についても研究が進められている。
【０００５】
一方、携帯電話やＰＤＡのようなポータブル機器で楽しむコンテンツも最近では多種多様なものとなっているが、このようなポータブル機器には小型の表示装置が搭載されているにすぎず、ＨＭＤ型や没入型のＶＲ技術をユーザに提供することはできない。また、近時においては、特開２００７−９３４４８に示されるように、３次元的なあらゆる方向の方位、姿勢および加速度を検出するモーションセンサを搭載した携帯電話も提案されているが、このような携帯電話と仮想現実空間システムとを有機的に結合することについての検討はなされていないのが現状である。
【特許文献１】特開２００７−９３４４８
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザに対して仮想空間を提供することによりインターフェイスを構築することにより、単に表示部サイズのメニュー画面をユーザに提供する場合よりも、直感的で理解しやすく操作の簡単なユーザインターフェイスを構築することが可能である。そこで、ポータブル機器の表示装置で一度に表示可能なサイズを超えて、ユーザを取り囲むように仮想空間を構成し、その一部をポータブル機器の表示装置に表示し、必要に応じて画面をスクロールさせることが考えられる。しかし、このように構成された仮想空間の一部をポータブル機器に表示することによりユーザインターフェイスを提供しても、単にカーソルキーを利用して画面をスクロールさせるだけでは臨場感に欠け、仮想空間によりユーザインターフェイスを提供することで得られるメリットは制限されたものとなってしまう。
【０００７】
上記事情に鑑み、本発明は、仮想空間のように仮想的に構成された画面の一部を表示することによりユーザインターフェイスを提供するポータブル機器において、仮想的に構成されたユーザインターフェイスのメリットを活かすことの可能なポータブル機器を提供することを目的とする。また、本発明は、そのようなポータブル機器で仮想空間を提供する方法を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の第１の観点は、移動および傾動を検出するモーションセンサ部と、
画面表示を行う表示部と、
ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部と、
前記モーションセンサ部、前記表示部および前記キー入力部を制御する制御部と、を備えたポータブル機器において、
前記制御部は、前記表示部よりもサイズの広いグラフィックスを表示する際に、当該グラフィックスの一部を前記表示部に表示しつつ、前記モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの前記表示部に表示される部分をスクロールまたはズームするとともに、前記キー入力部の所定キーを操作することによりスクロールまたはズームを停止することを特徴とするポータブル機器を提供する。
【０００９】
本発明の第１の観点においては、前記制御部は、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面の上下方向に相当する水平成分および前後方向に相当する垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことが好適である。この場合には、前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることができる。また、垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームインし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームアウトしてもよい。
【００１０】
また、本発明の第２の観点は、移動および傾動を検出するモーションセンサ部およびキー入力部を備えたポータブル機器の表示部に仮想現実空間をなすグラフィックスの一部を表示するステップと、
前記モーションセンサ部の検出した移動および傾動の方向および量に応じてコンテンツを表示する部分をスクロールまたはズームするステップと、
前記キー入力部を操作することにより、前記モーションセンサ部の検出結果にかかわらずスクロールまたはズームを停止するステップと、を含むことを特徴とするポータブル機器における仮想空間の提供方法を提供する。
【００１１】
本発明の第２の観点においては、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面との水平成分および垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことが好適である。また、この場合には、前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることができる。
【発明の効果】
【００１２】
本発明によれば、グラフィックスの一部を表示部に表示しつつ、モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの表示部に表示される部分をスクロールまたはズームするとともに、キー入力部の所定キーを操作することによりスクロールまたはズームを停止するポータブル機器および仮想空間の提供方法が提供される。このようなポータブル機器では、ユーザがポータブル機器を動かしたり傾けたりする動作によって画面をスクロールまたはズームするので、ユーザが現実空間でルーペを用いて事物を観察する動作と同等の動作により仮想空間技術等を利用して構築されたユーザインターフェイスを利用することができる。
【００１３】
また、このような構成においてポータブル機器を動かしたり傾けたりすることにより所望の部位を表示させると、ポータブル機器の表示部が視認しがたい位置や向きになってしまう場合があり、そのような状態で表示部の位置や向きを直すためにポータブル機器を動かすと、その動きをモーションセンサ部が検出してしまい、表示部の表示している部位がずれてしまうことが考えられる。このため、本発明では所定キーを操作することによりスクロールまたはズームを停止する構成とし、そのような状態では所定キーを操作してからポータブル機器を動かしたり傾けたりすることにより、表示部に表示させた画面はそのままに表示部の位置や向きを直すことが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態にかかるポータブル機器としての通信端末１００の構成を示す機能ブロック図である。図１に示すように、この通信端末１００は、主として、モーションセンサ部１０１と、キー入力部１０２と、表示部１０３と、制御部１０４と、記憶部１０５と、通信部１０７とから構成されている。また、図２は通信端末１００の外観を示す図である。図２に示すように、この通信端末１００は、内側に表示部１０３が設けられた第１の筐体１２０と、内側にキー入力部１０２の要部が設けられた第２の筐体１２１とが図２（ｂ）に示すように二つ折り可能なクラムシェル構造になっている。また第２の筐体１２１には、側部にキー入力部１０２の一つであるロックボタンＡが設けられている。さらに、図３は通信端末１００が移動体通信網２００に接続してサーバ２０２と通信する態様を示す図である。図３に示すように、通信端末１００は基地局２０１を介して移動体通信網２００と無線接続し、移動体通信網２００に接続されたサーバ２０２と互いに通信を行うことが可能である。
【００１５】
モーションセンサ部１０１は、携帯端末１００の位置および／または姿勢角度の変動を検出することにより、ユーザが携帯端末１００を動かしたり傾けたりする動作を検出し、それに相当する信号を制御部１０４に出力するものである。このようなモーションセンサ部１０１は、地磁気センサに加速度センサを組み合わせて構成したものであっても良いし、加速度センサでも良く、また傾きセンサを利用することも可能である。また、その変動を検出する方向は、３軸であっても２軸であってもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、また、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサは、いずれもモーションセンサ部１０１として利用可能である。ただし、モーションセンサ部１０１の種類によっては、検出可能な動作が限定されることもあるので、本実施形態における後述の場合は、モーションセンサ部１０１で利用するセンサの特性に応じて変更する必要がある。以下では、モーションセンサ部１０１に公知の６軸センサを使用することを前提に説明を行う。
【００１６】
キー入力部１０２は、前述のように通信端末１００の第１の筐体１２０に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０４に通知され、種々の操作ないしは制御に利用される。また、本実施形態の通信端末１００においては、第２の筐体１２１の側部にロックボタンＡが設けられており、キー入力部１０２はこのようなロックボタンＡを含んだものである。
【００１７】
表示部１０３は、液晶表示装置または有機液晶表示装置であって、通信端末１００の動作状態、通信端末１００を操作するためのユーザインターフェイス等を制御部１０４の制御下で表示するものである。
【００１８】
制御部１０４は、不図示のＣＰＵ上で所定のプログラムを実行することにより仮想的に構成される機能ブロックであって、通信端末１００のモーションセンサ部１０１、キー入力部１０２、表示部１０３、制御部１０４、記憶部１０５および通信部１０７といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、通信端末１００の各種機能を実現するものである。
【００１９】
記憶部１０５は、所定の情報を制御部１０４の制御下で記憶し、また制御部１０４に記憶している情報を提供するための読み書き可能なメモリである。記憶部１０５は、コンテンツ１０６を格納しており、このコンテンツ１０６を制御部１０４で読み出して実行することによりＶＲ技術を利用したユーザインターフェイスが表示部１０３に表示される。コンテンツ１０６が提供するユーザインターフェイスについては後に詳述する。
【００２０】
通信部１０７は、制御部１０４の制御下で動作することにより、基地局２０１を介して移動体通信網２００と無線接続して別のノードとの通信を行うものである。ここでの通信としては、例えば、他の通信端末と通信接続して行う回線交換型通信、他の通信端末またはサーバと接続して行うパケット交換型通信等が挙げられる。前述したように、記憶部１０５にはコンテンツ１０６が記憶されているが、コンテンツ１０６は例えば移動体通信網２００に接続されたサーバ２０２から通信部１０７を介してダウンロードすることにより取得されたものであっても構わない。
【００２１】
以下、コンテンツ１０６が提供するユーザインターフェイスについて一例を示して説明する。図４および図５は、コンテンツ１０６が提供するユーザインターフェイスの概略を示した説明図である。このコンテンツ１０６は、図４に示すようにユーザを中心とするドーム状の星座図を仮想的に構成し、その一部を表示部１０３に表示してユーザに提供するものである。図４には、説明のために、仮想的に構成したドーム状の星座図Ｖをユーザと重ね合わせた状態を示すが、コンテンツ１０６はこのようなデータを常時保持している必要はなく、星座図Ｖを作成するためのデータから表示部１０３に表示する画像を動的に描画するものであってもよい。また、図５に示すように、表示部１０３に表示した画面はズームインおよびズームアウトすることが可能となっている。
【００２２】
なお、図４に示した例では、コンテンツ１０６が星座図を提供するものであるため３Dグラフィックス技術等は必要ではないが、３Ｄ技術によって仮想的に構成された建造物、自然構造物等を提供してユーザインターフェイスとすることも可能である。また、単に静止画を表示するだけではなく、動画を組み合わせたり３Ｄオブジェクトによるアニメーションを利用しても良いし、ユーザの入力した初期条件やリアルタイムな入力に応じてシミュレーション計算を行い、その結果を仮想現実技術によって表示するようにしても構わない。
【００２３】
次に、ユーザが本実施形態にかかる通信端末１００でコンテンツ１０６を表示して、所望の部位を表示するとともに、通信端末１００を動かす動作によって画面をスクロールおよびズームする動作について、図６のフローチャートを参照しながら説明する。
【００２４】
この動作では、まずユーザが通信端末１００のキー入力部１０２を操作すること等によりコンテンツ１０６の表示を開始し（ＳＴ１０１）、コンテンツ１０６の初期画面を表示部１０３に表示する（ＳＴ１０２）。図４に示したように、コンテンツ１０６は表示部１０３よりも広い仮想的な画面Ｖを有しており、ＳＴ１０２では画面Ｖのうちコンテンツ１０６起動時に表示するべき部分を表示部１０３に表示する。
【００２５】
次に、制御部１０４がモーションセンサ部１０１を起動し（ＳＴ１０３）、ユーザが通信端末１００を移動させたり傾けたりした動作の方向と量に応じた信号を、モーションセンサ部１０１が出力する状態とする。そのような状態で、ロックボタンＡの操作によりスクロールがロックされているかが判断され（ＳＴ１０４）、このＳＴ１０４においてロックされていないと判断された場合には、モーションセンサ部１０１が通信端末１００の移動を検出したかがモーションセンサ部１０１の出力した信号に応じて判断される（ＳＴ１０５）。ここでの判断は、例えばモーションセンサ部１０１の出力した信号が所定のしきい値を超えているかに応じて行うことができる。そして、移動を検出したと判断した場合には、検出された移動の方向および量に応じて表示部１０３の画面をスクロールおよびズームする処理が行われる（ＳＴ１０６）。その後、コンテンツ１０６の終了が指示されているかの判断が行われ（ＳＴ１０９）、指示されている場合にはコンテンツの表示を終了（ＳＴ１１０）して、一連の動作を終了する。
【００２６】
一方、ＳＴ１０５で移動を検出したと判断されなかった場合には、次にモーションセンサ部１０１が通信端末１００の傾動を検出したかが判断される（ＳＴ１０７）。ここでの判断についても、ＳＴ１０５と同様に出力信号がしきい値を超えているかに応じて行うことができ、傾動を検出したと判断した場合には、傾動の方向および量に応じて表示部１０３の画面をスクロールする処理が行われる（ＳＴ１０８）。その後、コンテンツ１０６の終了が指示されているかの判断が行われ（ＳＴ１０９）、指示されている場合には前記と同じくコンテンツの表示を終了（ＳＴ１１０）して、一連の動作を終了する。
【００２７】
一方、ＳＴ１０９においてコンテンツ１０６の終了が指示されていると判断されなかった場合、および、ＳＴ１０５で通信端末１００の移動が検出されず、さらにＳＴ１０７で通信端末１００の傾動が検出されなかった場合には、ＳＴ１０４に戻って、同様の処理が繰り返される。
【００２８】
図７は図６に示したＳＴ１０６における処理の詳細を例示したフローチャートである。図６に示したように、この処理はモーションセンサ部１０１が通信端末１００の移動を検出した場合に、検出された移動の方向および量に応じて表示部の画面をスクロールおよびズームするものである。ここでは、まず２つのフラグｆｌａｇ（１）およびｆｌａｇ（２）を０に初期化する（ＳＴ２０１）。次に、モーションセンサ部１０１が検出した移動の方向ベクトルを表示部との水平成分（ｘ，ｙ）および垂直成分ｚに分解する（ＳＴ２０２）。
【００２９】
次に、ｆｌａｇ（１）が１にセットされているかが判断される（ＳＴ２０３）。ここでｆｌａｇ（１）が１にセットされていると判断されなかった場合には、さらに表示部１０３に表示された画面が水平成分（ｘ，ｙ）方向にスクロール可能かが判断され（ＳＴ２０４）、スクロール可能であれば、水平成分方向（ｘ，ｙ）方向に所定の単位量だけスクロールが行われる（ＳＴ２０５）。その後、スクロールした量が水平成分（ｘ，ｙ）の大きさに達したかが判断され（ＳＴ２０６）、達したと判断されなかった場合にはＳＴ２０８以降の動作に進む。一方、ＳＴ２０４でスクロール可能と判断されなかった場合、および、ＳＴ２０６で水平成分（ｘ，ｙ）の大きさに達したと判断された場合には、ｆｌａｇ（１）＝１にセットされる。すなわち、ｆｌａｇ（１）は表示部１０３に表示している画面をスクロールする必要がない場合に１にセットされる。
【００３０】
一方、ＳＴ２０３でｆｌａｇ（１）が１にセットされていると判断された場合、ＳＴ２０６でスクロール量が水平成分（ｘ，ｙ）の大きさに達していないと判断された場合、または、ＳＴ２０７でｆｌａｇ（１）を１にセットする動作を行った後には、ＳＴ２０８においてｆｌａｇ（２）が１にセットされているかが判断される。ここでｆｌａｇ（２）が１にセットされていると判断されなかった場合には、さらに表示部１０３に表示された画面が垂直成分ｚに応じてズーム（本実施形態においては、ｚ成分が表示部１０３上向きであればズームアウト、下向きであればズームイン）可能であるかが判断され（ＳＴ２０９）、ズーム可能であれば、垂直成分ｚに応じて単位量だけ表示画面をズームインまたはズームアウトする（ＳＴ２１０）。その後、スクロールした量がｚ成分の大きさに対応した量に達したかが判断され（ＳＴ２１１）、達したと判断された場合にはｆｌａｇ（２）が１にセットされる（ＳＴ２１２）。また、ＳＴ２０９で垂直成分ｚに応じてズーム可能ではないと判断された場合も同様にｆｌａｇ（２）が１にセットされる。すなわち、ｆｌａｇ（２）は表示部１０３に表示している画面をズームする必要がない場合に１にセットされる。
【００３１】
そして、ＳＴ２０８においてｆｌａｇ（２）が１にセットされていると判断された場合、および、ＳＴ２１２においてｆｌａｇ（２）を１にセットした後には、ＳＴ２１３においてｆｌａｇ（１）＊ｆｌａｇ（２）＝１であるかが判断され、１である場合にはｆｌａｇ（１）＝ｆｌａｇ（２）＝１なのでスクロールする必要もズームする必要もないものであるから、一連の処理は終了する。一方、ＳＴ２１１でズーム量が垂直成分ｚに相当する大きさに達していないと判断された場合、および、ＳＴ２１２でｆｌａｇ（１）＊ｆｌａｇ（２）＝１であると判断されなかった場合には、ＳＴ２０３に戻って処理が続行される。
【００３２】
図８は図６に示したＳＴ１０７における処理の詳細を例示したフローチャートである。図６に示したように、この処理はモーションセンサ部１０１が通信端末１００の傾動を検出した場合に、検出された傾動の方向および量に応じて表示部１０３の画面をスクロールするものである。ここでは、まず検出した傾動の方向ベクトルから、画面をスクロールさせるべき方向ａおよび量ｂを算出する（ＳＴ３０１）。このような算出は、例えばモーションセンサ部１０１が通信端末１００の傾動に応じて出力する信号パターンから方向ａを求め、その強度に応じて量ｂを求めることにより行うことができる。次に、表示部１０３に表示されている画面を方向ａにスクロール可能であるかが判断され（ＳＴ３０２）、スクロール可能であると判断された場合には方向ａに所定の単位量だけスクロールが行われる（ＳＴ３０３）。その後、スクロール量がｂに達したかが判断され（ＳＴ３０４）、達していない場合にはＳＴ３０２に戻って同様の処理を繰り返す。一方、ＳＴ３０２でスクロール可能であると判断されなかった場合、および、ＳＴ３０４でスクロール量がｂに達していると判断された場合には、一連の処理を終了する。
【００３３】
以上のような動作と処理によれば、図４に示したようにドーム状の星座図Ｖを表示可能なコンテンツ１０６を制御部１０４で実行中に、ユーザが通信端末１００を水平方向に保持して表示部１０３に星座図ＶのＧ1に相当する領域が表示されている状態から、ユーザが通信端末１００を上方に掲げるように動かすことにより、通信端末１００のモーションセンサ部１０１がこのような通信端末１００の移動を検出し、図６ないし図８に示した動作および処理によって表示部１０３に星座図ＶのＧ２に相当する領域が表示されるように画面がスクロールおよびズームされる。また、通信端末１００を上方に掲げた状態でロックボタンＡを操作すればスクロールおよびズームの動作は行わないので、星座図Ｖの所望領域が表示部１０３に表示された状態でロックボタンＡを操作することにより、所望領域を表示部１０３に表示したまま通信端末１００を元の位置に戻して楽な姿勢で星座図Ｖを閲覧することができる。さらに、図５に示したように、通信端末１００を手前に保持して表示部１０３に画面Ｇ３が表示されている状態で、通信端末１００を表示部１０３と垂直なｚ方向（表示部１０３裏側向き）へ移動させることにより、モーションセンサ部１０１がこのような通信端末１００の移動を検出し、図６ないし図８に示した動作および処理によって表示部１０３に星座図Ｖを拡大した画面Ｇ４を表示するように画面がズームインされる。
【００３４】
このように本発明によれば、仮想的に構成されたユーザインターフェイスの一部を表示部１０３に表示しつつ、ユーザが通信端末１００を移動させたり傾動させる動作をモーションセンサ部１０１により検出し、その方向および量に応じて表示部１０３の表示をスクロールおよびズームするので、通信端末１００を移動させたり傾動させるという直感的かつ臨場感ある動作によってユーザインターフェイスの操作を行うことができる。また、スクロールまたはズームのために表示部１０３が見づらい位置となった場合には、ロックボタンＡでスクロールおよびズームを止めた状態として、表示部１０３が見易い位置となるように通信端末１００を移動または傾動させることができる。さらに、通信端末１００を移動または傾動させることのできる量には限界があるが、移動または傾動ではスクロール量／ズーム量が足りない場合には一旦ロックボタンＡによりスクロールおよびズームを停止した状態で通信端末１００を元の位置・角度に戻し、その後スクロールおよびズーム可能な状態としてから通信端末１００を再び移動または傾動させることにより、スクロールおよびズームを継続して行えばよい。
【００３５】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、上記実施形態においては、コンテンツ１０６がドーム状の仮想空間に星座図Vをなし、その一部が表示部１０３に表示される場合を示したが、仮想空間はドーム状であることに限定されず、平面状、球状であってもよく、空間内に３Dオブジェクトを配した構成とすることも可能である。また、上記実施形態においては、星座図Ｖをスクロールまたはズームしながら表示するのみとしたが、仮想空間をクリックまたはクリックに相当する動作等を受け付けてインタラクティブな動作を行うユーザインターフェイスとしてもよい。
【００３６】
さらに、図６ないし図８に示したフローチャートは、上記実施形態における動作および処理の一例であり、本発明の動作はこれに限られるものではない。例えば、図６に示したフローチャートでは、スクロールおよびズームのロックを解除しなければコンテンツを終了できない形になっているが、ロックを解除することなくコンテンツを終了可能な動作としても構わない。また、同じく移動によるスクロールが傾動によるスクロールよりも優先する形となっているが、これに限定されるものでもない。さらに、割り込み処理を利用できる場合には割り込み処理によって動作を進めるようにしてもよいし、複数のタスクまたはスレッドを並列して実行する動作により本発明を実現することも可能である。
【００３７】
さらに、上記では携帯電話のような通信端末１００に本発明を適用した場合を示したが、これに限られる物ではなく、本発明はユーザが手に持った状態で操作・利用するポータブル機器に広く適用することができる。このようなポータブル機器としては、例えば携帯情報端末、デジタルミュージックプレーヤー、デジタルカメラ等を挙げることができる。
【図面の簡単な説明】
【００３８】
【図１】通信端末１００の構成を示す機能ブロック図である。
【図２】通信端末１００の外観を示す図であり、（ａ）は通信端末１００を開いた状態を示し、（ｂ）は通信端末１００を閉じた状態を示す。
【図３】通信端末１００が移動体通信網２００に接続してサーバ２０２と通信する態様を示す図である。
【図４】コンテンツ１０６が提供するユーザインターフェイスの概略を示した説明図である。
【図５】コンテンツ１０６が提供するユーザインターフェイスの概略を示した別の説明図である。
【図６】通信端末１００を動かす動作によって画面をスクロールおよびズームする動作のフローチャートである。
【図７】図６のＳＴ１０６における処理の詳細を例示したフローチャートである。
【図８】図６のＳＴ１０７における処理の詳細を例示したフローチャートである。
【符号の説明】
【００３９】
１００；通信端末、
１０１；モーションセンサ部、
１０２；キー入力部、
１０３；表示部、
１０４；制御部、
１０５；記憶部、
１０６；コンテンツ、
１０７；通信部。
【技術分野】
【０００１】
本発明は、ポータブル機器およびポータブル機器における仮想空間の提供方法に関するものである。
【背景技術】
【０００２】
コンピュータがユーザに提供するインターフェイスは、キャラクタインターフェイスからグラフィカルインターフェイスへと進化し、現在ではさらにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用したＶＲインターフェイスも各種シミュレータ、設計支援システム、ゲーム、精密制御等の分野で実用化されつつある。
【０００３】
ＶＲ技術としては、ユーザが頭部装着ディスプレイであるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するタイプと、イリノイ大学で開発されたＣＡＶＥシステムのような没入型のタイプとが広く知られている。このうちＨＭＤを利用するものではＨＭＤを介してユーザの視覚に仮想現実の３Ｄグラフィックスを提供するものであり、ＣＡＶＥシステムのような没入型においては、部屋の正面、左右側面、床面の全面にそれぞれ大型スクリーンが設けられ各スクリーンに３Ｄ映像を表示するものである。いずれの場合においても、ユーザが所定のインターフェイスデバイスを操作することに応じて、ＨＭＤが供するグラフィックスや各スクリーンの表示をリアルタイムに変化させることが行われる。
【０００４】
このような仮想現実空間システムでは、コンピュータによってシステム上に仮想的に構築された世界の中に本当に存在しているかのような視覚効果がユーザに供されるものであり、またインターフェイスデバイスを操作することより仮想世界の中を移動したり回転しているかのような効果がユーザに供される。また、現実の視界と仮想現実の上に構築された視界とを重ね合わせてユーザに提供する技術についても研究が進められている。
【０００５】
一方、携帯電話やＰＤＡのようなポータブル機器で楽しむコンテンツも最近では多種多様なものとなっているが、このようなポータブル機器には小型の表示装置が搭載されているにすぎず、ＨＭＤ型や没入型のＶＲ技術をユーザに提供することはできない。また、近時においては、特開２００７−９３４４８に示されるように、３次元的なあらゆる方向の方位、姿勢および加速度を検出するモーションセンサを搭載した携帯電話も提案されているが、このような携帯電話と仮想現実空間システムとを有機的に結合することについての検討はなされていないのが現状である。
【特許文献１】特開２００７−９３４４８
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、ユーザに対して仮想空間を提供することによりインターフェイスを構築することにより、単に表示部サイズのメニュー画面をユーザに提供する場合よりも、直感的で理解しやすく操作の簡単なユーザインターフェイスを構築することが可能である。そこで、ポータブル機器の表示装置で一度に表示可能なサイズを超えて、ユーザを取り囲むように仮想空間を構成し、その一部をポータブル機器の表示装置に表示し、必要に応じて画面をスクロールさせることが考えられる。しかし、このように構成された仮想空間の一部をポータブル機器に表示することによりユーザインターフェイスを提供しても、単にカーソルキーを利用して画面をスクロールさせるだけでは臨場感に欠け、仮想空間によりユーザインターフェイスを提供することで得られるメリットは制限されたものとなってしまう。
【０００７】
上記事情に鑑み、本発明は、仮想空間のように仮想的に構成された画面の一部を表示することによりユーザインターフェイスを提供するポータブル機器において、仮想的に構成されたユーザインターフェイスのメリットを活かすことの可能なポータブル機器を提供することを目的とする。また、本発明は、そのようなポータブル機器で仮想空間を提供する方法を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の第１の観点は、移動および傾動を検出するモーションセンサ部と、
画面表示を行う表示部と、
ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部と、
前記モーションセンサ部、前記表示部および前記キー入力部を制御する制御部と、を備えたポータブル機器において、
前記制御部は、前記表示部よりもサイズの広いグラフィックスを表示する際に、当該グラフィックスの一部を前記表示部に表示しつつ、前記モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの前記表示部に表示される部分をスクロールまたはズームするとともに、前記キー入力部の所定キーを操作することによりスクロールまたはズームを停止することを特徴とするポータブル機器を提供する。
【０００９】
本発明の第１の観点においては、前記制御部は、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面の上下方向に相当する水平成分および前後方向に相当する垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことが好適である。この場合には、前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることができる。また、垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームインし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームアウトしてもよい。
【００１０】
また、本発明の第２の観点は、移動および傾動を検出するモーションセンサ部およびキー入力部を備えたポータブル機器の表示部に仮想現実空間をなすグラフィックスの一部を表示するステップと、
前記モーションセンサ部の検出した移動および傾動の方向および量に応じてコンテンツを表示する部分をスクロールまたはズームするステップと、
前記キー入力部を操作することにより、前記モーションセンサ部の検出結果にかかわらずスクロールまたはズームを停止するステップと、を含むことを特徴とするポータブル機器における仮想空間の提供方法を提供する。
【００１１】
本発明の第２の観点においては、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面との水平成分および垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことが好適である。また、この場合には、前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることができる。
【発明の効果】
【００１２】
本発明によれば、グラフィックスの一部を表示部に表示しつつ、モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの表示部に表示される部分をスクロールまたはズームするとともに、キー入力部の所定キーを操作することによりスクロールまたはズームを停止するポータブル機器および仮想空間の提供方法が提供される。このようなポータブル機器では、ユーザがポータブル機器を動かしたり傾けたりする動作によって画面をスクロールまたはズームするので、ユーザが現実空間でルーペを用いて事物を観察する動作と同等の動作により仮想空間技術等を利用して構築されたユーザインターフェイスを利用することができる。
【００１３】
また、このような構成においてポータブル機器を動かしたり傾けたりすることにより所望の部位を表示させると、ポータブル機器の表示部が視認しがたい位置や向きになってしまう場合があり、そのような状態で表示部の位置や向きを直すためにポータブル機器を動かすと、その動きをモーションセンサ部が検出してしまい、表示部の表示している部位がずれてしまうことが考えられる。このため、本発明では所定キーを操作することによりスクロールまたはズームを停止する構成とし、そのような状態では所定キーを操作してからポータブル機器を動かしたり傾けたりすることにより、表示部に表示させた画面はそのままに表示部の位置や向きを直すことが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態にかかるポータブル機器としての通信端末１００の構成を示す機能ブロック図である。図１に示すように、この通信端末１００は、主として、モーションセンサ部１０１と、キー入力部１０２と、表示部１０３と、制御部１０４と、記憶部１０５と、通信部１０７とから構成されている。また、図２は通信端末１００の外観を示す図である。図２に示すように、この通信端末１００は、内側に表示部１０３が設けられた第１の筐体１２０と、内側にキー入力部１０２の要部が設けられた第２の筐体１２１とが図２（ｂ）に示すように二つ折り可能なクラムシェル構造になっている。また第２の筐体１２１には、側部にキー入力部１０２の一つであるロックボタンＡが設けられている。さらに、図３は通信端末１００が移動体通信網２００に接続してサーバ２０２と通信する態様を示す図である。図３に示すように、通信端末１００は基地局２０１を介して移動体通信網２００と無線接続し、移動体通信網２００に接続されたサーバ２０２と互いに通信を行うことが可能である。
【００１５】
モーションセンサ部１０１は、携帯端末１００の位置および／または姿勢角度の変動を検出することにより、ユーザが携帯端末１００を動かしたり傾けたりする動作を検出し、それに相当する信号を制御部１０４に出力するものである。このようなモーションセンサ部１０１は、地磁気センサに加速度センサを組み合わせて構成したものであっても良いし、加速度センサでも良く、また傾きセンサを利用することも可能である。また、その変動を検出する方向は、３軸であっても２軸であってもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、また、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサは、いずれもモーションセンサ部１０１として利用可能である。ただし、モーションセンサ部１０１の種類によっては、検出可能な動作が限定されることもあるので、本実施形態における後述の場合は、モーションセンサ部１０１で利用するセンサの特性に応じて変更する必要がある。以下では、モーションセンサ部１０１に公知の６軸センサを使用することを前提に説明を行う。
【００１６】
キー入力部１０２は、前述のように通信端末１００の第１の筐体１２０に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０４に通知され、種々の操作ないしは制御に利用される。また、本実施形態の通信端末１００においては、第２の筐体１２１の側部にロックボタンＡが設けられており、キー入力部１０２はこのようなロックボタンＡを含んだものである。
【００１７】
表示部１０３は、液晶表示装置または有機液晶表示装置であって、通信端末１００の動作状態、通信端末１００を操作するためのユーザインターフェイス等を制御部１０４の制御下で表示するものである。
【００１８】
制御部１０４は、不図示のＣＰＵ上で所定のプログラムを実行することにより仮想的に構成される機能ブロックであって、通信端末１００のモーションセンサ部１０１、キー入力部１０２、表示部１０３、制御部１０４、記憶部１０５および通信部１０７といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、通信端末１００の各種機能を実現するものである。
【００１９】
記憶部１０５は、所定の情報を制御部１０４の制御下で記憶し、また制御部１０４に記憶している情報を提供するための読み書き可能なメモリである。記憶部１０５は、コンテンツ１０６を格納しており、このコンテンツ１０６を制御部１０４で読み出して実行することによりＶＲ技術を利用したユーザインターフェイスが表示部１０３に表示される。コンテンツ１０６が提供するユーザインターフェイスについては後に詳述する。
【００２０】
通信部１０７は、制御部１０４の制御下で動作することにより、基地局２０１を介して移動体通信網２００と無線接続して別のノードとの通信を行うものである。ここでの通信としては、例えば、他の通信端末と通信接続して行う回線交換型通信、他の通信端末またはサーバと接続して行うパケット交換型通信等が挙げられる。前述したように、記憶部１０５にはコンテンツ１０６が記憶されているが、コンテンツ１０６は例えば移動体通信網２００に接続されたサーバ２０２から通信部１０７を介してダウンロードすることにより取得されたものであっても構わない。
【００２１】
以下、コンテンツ１０６が提供するユーザインターフェイスについて一例を示して説明する。図４および図５は、コンテンツ１０６が提供するユーザインターフェイスの概略を示した説明図である。このコンテンツ１０６は、図４に示すようにユーザを中心とするドーム状の星座図を仮想的に構成し、その一部を表示部１０３に表示してユーザに提供するものである。図４には、説明のために、仮想的に構成したドーム状の星座図Ｖをユーザと重ね合わせた状態を示すが、コンテンツ１０６はこのようなデータを常時保持している必要はなく、星座図Ｖを作成するためのデータから表示部１０３に表示する画像を動的に描画するものであってもよい。また、図５に示すように、表示部１０３に表示した画面はズームインおよびズームアウトすることが可能となっている。
【００２２】
なお、図４に示した例では、コンテンツ１０６が星座図を提供するものであるため３Dグラフィックス技術等は必要ではないが、３Ｄ技術によって仮想的に構成された建造物、自然構造物等を提供してユーザインターフェイスとすることも可能である。また、単に静止画を表示するだけではなく、動画を組み合わせたり３Ｄオブジェクトによるアニメーションを利用しても良いし、ユーザの入力した初期条件やリアルタイムな入力に応じてシミュレーション計算を行い、その結果を仮想現実技術によって表示するようにしても構わない。
【００２３】
次に、ユーザが本実施形態にかかる通信端末１００でコンテンツ１０６を表示して、所望の部位を表示するとともに、通信端末１００を動かす動作によって画面をスクロールおよびズームする動作について、図６のフローチャートを参照しながら説明する。
【００２４】
この動作では、まずユーザが通信端末１００のキー入力部１０２を操作すること等によりコンテンツ１０６の表示を開始し（ＳＴ１０１）、コンテンツ１０６の初期画面を表示部１０３に表示する（ＳＴ１０２）。図４に示したように、コンテンツ１０６は表示部１０３よりも広い仮想的な画面Ｖを有しており、ＳＴ１０２では画面Ｖのうちコンテンツ１０６起動時に表示するべき部分を表示部１０３に表示する。
【００２５】
次に、制御部１０４がモーションセンサ部１０１を起動し（ＳＴ１０３）、ユーザが通信端末１００を移動させたり傾けたりした動作の方向と量に応じた信号を、モーションセンサ部１０１が出力する状態とする。そのような状態で、ロックボタンＡの操作によりスクロールがロックされているかが判断され（ＳＴ１０４）、このＳＴ１０４においてロックされていないと判断された場合には、モーションセンサ部１０１が通信端末１００の移動を検出したかがモーションセンサ部１０１の出力した信号に応じて判断される（ＳＴ１０５）。ここでの判断は、例えばモーションセンサ部１０１の出力した信号が所定のしきい値を超えているかに応じて行うことができる。そして、移動を検出したと判断した場合には、検出された移動の方向および量に応じて表示部１０３の画面をスクロールおよびズームする処理が行われる（ＳＴ１０６）。その後、コンテンツ１０６の終了が指示されているかの判断が行われ（ＳＴ１０９）、指示されている場合にはコンテンツの表示を終了（ＳＴ１１０）して、一連の動作を終了する。
【００２６】
一方、ＳＴ１０５で移動を検出したと判断されなかった場合には、次にモーションセンサ部１０１が通信端末１００の傾動を検出したかが判断される（ＳＴ１０７）。ここでの判断についても、ＳＴ１０５と同様に出力信号がしきい値を超えているかに応じて行うことができ、傾動を検出したと判断した場合には、傾動の方向および量に応じて表示部１０３の画面をスクロールする処理が行われる（ＳＴ１０８）。その後、コンテンツ１０６の終了が指示されているかの判断が行われ（ＳＴ１０９）、指示されている場合には前記と同じくコンテンツの表示を終了（ＳＴ１１０）して、一連の動作を終了する。
【００２７】
一方、ＳＴ１０９においてコンテンツ１０６の終了が指示されていると判断されなかった場合、および、ＳＴ１０５で通信端末１００の移動が検出されず、さらにＳＴ１０７で通信端末１００の傾動が検出されなかった場合には、ＳＴ１０４に戻って、同様の処理が繰り返される。
【００２８】
図７は図６に示したＳＴ１０６における処理の詳細を例示したフローチャートである。図６に示したように、この処理はモーションセンサ部１０１が通信端末１００の移動を検出した場合に、検出された移動の方向および量に応じて表示部の画面をスクロールおよびズームするものである。ここでは、まず２つのフラグｆｌａｇ（１）およびｆｌａｇ（２）を０に初期化する（ＳＴ２０１）。次に、モーションセンサ部１０１が検出した移動の方向ベクトルを表示部との水平成分（ｘ，ｙ）および垂直成分ｚに分解する（ＳＴ２０２）。
【００２９】
次に、ｆｌａｇ（１）が１にセットされているかが判断される（ＳＴ２０３）。ここでｆｌａｇ（１）が１にセットされていると判断されなかった場合には、さらに表示部１０３に表示された画面が水平成分（ｘ，ｙ）方向にスクロール可能かが判断され（ＳＴ２０４）、スクロール可能であれば、水平成分方向（ｘ，ｙ）方向に所定の単位量だけスクロールが行われる（ＳＴ２０５）。その後、スクロールした量が水平成分（ｘ，ｙ）の大きさに達したかが判断され（ＳＴ２０６）、達したと判断されなかった場合にはＳＴ２０８以降の動作に進む。一方、ＳＴ２０４でスクロール可能と判断されなかった場合、および、ＳＴ２０６で水平成分（ｘ，ｙ）の大きさに達したと判断された場合には、ｆｌａｇ（１）＝１にセットされる。すなわち、ｆｌａｇ（１）は表示部１０３に表示している画面をスクロールする必要がない場合に１にセットされる。
【００３０】
一方、ＳＴ２０３でｆｌａｇ（１）が１にセットされていると判断された場合、ＳＴ２０６でスクロール量が水平成分（ｘ，ｙ）の大きさに達していないと判断された場合、または、ＳＴ２０７でｆｌａｇ（１）を１にセットする動作を行った後には、ＳＴ２０８においてｆｌａｇ（２）が１にセットされているかが判断される。ここでｆｌａｇ（２）が１にセットされていると判断されなかった場合には、さらに表示部１０３に表示された画面が垂直成分ｚに応じてズーム（本実施形態においては、ｚ成分が表示部１０３上向きであればズームアウト、下向きであればズームイン）可能であるかが判断され（ＳＴ２０９）、ズーム可能であれば、垂直成分ｚに応じて単位量だけ表示画面をズームインまたはズームアウトする（ＳＴ２１０）。その後、スクロールした量がｚ成分の大きさに対応した量に達したかが判断され（ＳＴ２１１）、達したと判断された場合にはｆｌａｇ（２）が１にセットされる（ＳＴ２１２）。また、ＳＴ２０９で垂直成分ｚに応じてズーム可能ではないと判断された場合も同様にｆｌａｇ（２）が１にセットされる。すなわち、ｆｌａｇ（２）は表示部１０３に表示している画面をズームする必要がない場合に１にセットされる。
【００３１】
そして、ＳＴ２０８においてｆｌａｇ（２）が１にセットされていると判断された場合、および、ＳＴ２１２においてｆｌａｇ（２）を１にセットした後には、ＳＴ２１３においてｆｌａｇ（１）＊ｆｌａｇ（２）＝１であるかが判断され、１である場合にはｆｌａｇ（１）＝ｆｌａｇ（２）＝１なのでスクロールする必要もズームする必要もないものであるから、一連の処理は終了する。一方、ＳＴ２１１でズーム量が垂直成分ｚに相当する大きさに達していないと判断された場合、および、ＳＴ２１２でｆｌａｇ（１）＊ｆｌａｇ（２）＝１であると判断されなかった場合には、ＳＴ２０３に戻って処理が続行される。
【００３２】
図８は図６に示したＳＴ１０７における処理の詳細を例示したフローチャートである。図６に示したように、この処理はモーションセンサ部１０１が通信端末１００の傾動を検出した場合に、検出された傾動の方向および量に応じて表示部１０３の画面をスクロールするものである。ここでは、まず検出した傾動の方向ベクトルから、画面をスクロールさせるべき方向ａおよび量ｂを算出する（ＳＴ３０１）。このような算出は、例えばモーションセンサ部１０１が通信端末１００の傾動に応じて出力する信号パターンから方向ａを求め、その強度に応じて量ｂを求めることにより行うことができる。次に、表示部１０３に表示されている画面を方向ａにスクロール可能であるかが判断され（ＳＴ３０２）、スクロール可能であると判断された場合には方向ａに所定の単位量だけスクロールが行われる（ＳＴ３０３）。その後、スクロール量がｂに達したかが判断され（ＳＴ３０４）、達していない場合にはＳＴ３０２に戻って同様の処理を繰り返す。一方、ＳＴ３０２でスクロール可能であると判断されなかった場合、および、ＳＴ３０４でスクロール量がｂに達していると判断された場合には、一連の処理を終了する。
【００３３】
以上のような動作と処理によれば、図４に示したようにドーム状の星座図Ｖを表示可能なコンテンツ１０６を制御部１０４で実行中に、ユーザが通信端末１００を水平方向に保持して表示部１０３に星座図ＶのＧ1に相当する領域が表示されている状態から、ユーザが通信端末１００を上方に掲げるように動かすことにより、通信端末１００のモーションセンサ部１０１がこのような通信端末１００の移動を検出し、図６ないし図８に示した動作および処理によって表示部１０３に星座図ＶのＧ２に相当する領域が表示されるように画面がスクロールおよびズームされる。また、通信端末１００を上方に掲げた状態でロックボタンＡを操作すればスクロールおよびズームの動作は行わないので、星座図Ｖの所望領域が表示部１０３に表示された状態でロックボタンＡを操作することにより、所望領域を表示部１０３に表示したまま通信端末１００を元の位置に戻して楽な姿勢で星座図Ｖを閲覧することができる。さらに、図５に示したように、通信端末１００を手前に保持して表示部１０３に画面Ｇ３が表示されている状態で、通信端末１００を表示部１０３と垂直なｚ方向（表示部１０３裏側向き）へ移動させることにより、モーションセンサ部１０１がこのような通信端末１００の移動を検出し、図６ないし図８に示した動作および処理によって表示部１０３に星座図Ｖを拡大した画面Ｇ４を表示するように画面がズームインされる。
【００３４】
このように本発明によれば、仮想的に構成されたユーザインターフェイスの一部を表示部１０３に表示しつつ、ユーザが通信端末１００を移動させたり傾動させる動作をモーションセンサ部１０１により検出し、その方向および量に応じて表示部１０３の表示をスクロールおよびズームするので、通信端末１００を移動させたり傾動させるという直感的かつ臨場感ある動作によってユーザインターフェイスの操作を行うことができる。また、スクロールまたはズームのために表示部１０３が見づらい位置となった場合には、ロックボタンＡでスクロールおよびズームを止めた状態として、表示部１０３が見易い位置となるように通信端末１００を移動または傾動させることができる。さらに、通信端末１００を移動または傾動させることのできる量には限界があるが、移動または傾動ではスクロール量／ズーム量が足りない場合には一旦ロックボタンＡによりスクロールおよびズームを停止した状態で通信端末１００を元の位置・角度に戻し、その後スクロールおよびズーム可能な状態としてから通信端末１００を再び移動または傾動させることにより、スクロールおよびズームを継続して行えばよい。
【００３５】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、上記実施形態においては、コンテンツ１０６がドーム状の仮想空間に星座図Vをなし、その一部が表示部１０３に表示される場合を示したが、仮想空間はドーム状であることに限定されず、平面状、球状であってもよく、空間内に３Dオブジェクトを配した構成とすることも可能である。また、上記実施形態においては、星座図Ｖをスクロールまたはズームしながら表示するのみとしたが、仮想空間をクリックまたはクリックに相当する動作等を受け付けてインタラクティブな動作を行うユーザインターフェイスとしてもよい。
【００３６】
さらに、図６ないし図８に示したフローチャートは、上記実施形態における動作および処理の一例であり、本発明の動作はこれに限られるものではない。例えば、図６に示したフローチャートでは、スクロールおよびズームのロックを解除しなければコンテンツを終了できない形になっているが、ロックを解除することなくコンテンツを終了可能な動作としても構わない。また、同じく移動によるスクロールが傾動によるスクロールよりも優先する形となっているが、これに限定されるものでもない。さらに、割り込み処理を利用できる場合には割り込み処理によって動作を進めるようにしてもよいし、複数のタスクまたはスレッドを並列して実行する動作により本発明を実現することも可能である。
【００３７】
さらに、上記では携帯電話のような通信端末１００に本発明を適用した場合を示したが、これに限られる物ではなく、本発明はユーザが手に持った状態で操作・利用するポータブル機器に広く適用することができる。このようなポータブル機器としては、例えば携帯情報端末、デジタルミュージックプレーヤー、デジタルカメラ等を挙げることができる。
【図面の簡単な説明】
【００３８】
【図１】通信端末１００の構成を示す機能ブロック図である。
【図２】通信端末１００の外観を示す図であり、（ａ）は通信端末１００を開いた状態を示し、（ｂ）は通信端末１００を閉じた状態を示す。
【図３】通信端末１００が移動体通信網２００に接続してサーバ２０２と通信する態様を示す図である。
【図４】コンテンツ１０６が提供するユーザインターフェイスの概略を示した説明図である。
【図５】コンテンツ１０６が提供するユーザインターフェイスの概略を示した別の説明図である。
【図６】通信端末１００を動かす動作によって画面をスクロールおよびズームする動作のフローチャートである。
【図７】図６のＳＴ１０６における処理の詳細を例示したフローチャートである。
【図８】図６のＳＴ１０７における処理の詳細を例示したフローチャートである。
【符号の説明】
【００３９】
１００；通信端末、
１０１；モーションセンサ部、
１０２；キー入力部、
１０３；表示部、
１０４；制御部、
１０５；記憶部、
１０６；コンテンツ、
１０７；通信部。
【特許請求の範囲】
【請求項１】
移動および傾動を検出するモーションセンサ部と、
画面表示を行う表示部と、
ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部と、
前記モーションセンサ部、前記表示部および前記キー入力部を制御する制御部と、を備えたポータブル機器において、
前記制御部は、前記表示部よりもサイズの広いグラフィックスを表示する際に、当該グラフィックスの一部を前記表示部に表示しつつ、前記モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの前記表示部に表示される部分をスクロールまたはズームするとともに、前記キー入力部の所定キーを操作することによりスクロールまたはズームを停止することを特徴とするポータブル機器。
【請求項２】
前記制御部は、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面の上下左右方向に相当する水平成分および前後方向に相当する垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことを特徴とする請求項１に記載のポータブル機器。
【請求項３】
前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることを特徴とする請求項２に記載のポータブル機器。
【請求項４】
前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームインし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームアウトすることを特徴とする請求項２に記載のポータブル機器。
【請求項５】
移動および傾動を検出するモーションセンサ部およびキー入力部を備えたポータブル機器の表示部に仮想現実空間をなすグラフィックスの一部を表示するステップと、
前記モーションセンサ部の検出した移動および傾動の方向および量に応じてコンテンツを表示する部分をスクロールまたはズームするステップと、
前記キー入力部を操作することにより、前記モーションセンサの検出結果にかかわらずスクロールまたはズームを停止するステップと、を含むことを特徴とするポータブル機器における仮想空間の提供方法。
【請求項６】
前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面との水平成分および垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことを特徴とする請求項４に記載のポータブル機器における仮想空間の提供方法。
【請求項７】
前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることを特徴とする請求項５に記載のポータブル機器における仮想空間の提供方法。
【請求項１】
移動および傾動を検出するモーションセンサ部と、
画面表示を行う表示部と、
ユーザが操作することにより所定の信号を生成する複数のキーを備えたキー入力部と、
前記モーションセンサ部、前記表示部および前記キー入力部を制御する制御部と、を備えたポータブル機器において、
前記制御部は、前記表示部よりもサイズの広いグラフィックスを表示する際に、当該グラフィックスの一部を前記表示部に表示しつつ、前記モーションセンサ部の検出した移動および傾動の方向および量に応じてグラフィックスの前記表示部に表示される部分をスクロールまたはズームするとともに、前記キー入力部の所定キーを操作することによりスクロールまたはズームを停止することを特徴とするポータブル機器。
【請求項２】
前記制御部は、前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面の上下左右方向に相当する水平成分および前後方向に相当する垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことを特徴とする請求項１に記載のポータブル機器。
【請求項３】
前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることを特徴とする請求項２に記載のポータブル機器。
【請求項４】
前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームインし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームアウトすることを特徴とする請求項２に記載のポータブル機器。
【請求項５】
移動および傾動を検出するモーションセンサ部およびキー入力部を備えたポータブル機器の表示部に仮想現実空間をなすグラフィックスの一部を表示するステップと、
前記モーションセンサ部の検出した移動および傾動の方向および量に応じてコンテンツを表示する部分をスクロールまたはズームするステップと、
前記キー入力部を操作することにより、前記モーションセンサの検出結果にかかわらずスクロールまたはズームを停止するステップと、を含むことを特徴とするポータブル機器における仮想空間の提供方法。
【請求項６】
前記モーションセンサ部が検出した移動ベクトルを、前記表示部表面との水平成分および垂直成分に分解し、前記水平成分に応じてスクロールを行い、前記垂直成分に応じてズームを行うことを特徴とする請求項４に記載のポータブル機器における仮想空間の提供方法。
【請求項７】
前記モーションセンサ部が検出した移動ベクトルの前記表示部画面との垂直成分が、前記表示部表面向きであれば前記表示部に表示されている画面をズームアウトし、前記表示部裏面向きであれば前記表示部に表示されている画面をズームインすることを特徴とする請求項５に記載のポータブル機器における仮想空間の提供方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−３７９９（Ｐ２００９−３７９９Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６５５１７（Ｐ２００７−１６５５１７）
【出願日】平成１９年６月２２日（２００７．６．２２）
【出願人】（３９４０２０３７６）株式会社アプリックス (51)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月２２日（２００７．６．２２）
【出願人】（３９４０２０３７６）株式会社アプリックス (51)
【Ｆターム（参考）】
[ Back to top ]