携帯端末、表示方法及びコンピュータプログラム
【課題】娯楽性の高いユーザインタフェースを提供する。
【解決手段】携帯端末10は、表示装置68と、携帯端末10の姿勢又は位置を検知するためのセンサと、データを保持するデータ保持部60と、データ保持部60に保持されたデータに対応するアイコン又はオブジェクトを表示装置68に表示する表示制御部42と、三次元仮想空間内の、携帯端末10の姿勢又は位置に基づいて算出される位置に、アイコン又はオブジェクト及び光源を配置し、光源から発せられる光が当たったときのアイコン又はオブジェクトの表面を描画する照明演算部45とを備える。
【解決手段】携帯端末10は、表示装置68と、携帯端末10の姿勢又は位置を検知するためのセンサと、データを保持するデータ保持部60と、データ保持部60に保持されたデータに対応するアイコン又はオブジェクトを表示装置68に表示する表示制御部42と、三次元仮想空間内の、携帯端末10の姿勢又は位置に基づいて算出される位置に、アイコン又はオブジェクト及び光源を配置し、光源から発せられる光が当たったときのアイコン又はオブジェクトの表面を描画する照明演算部45とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザインタフェース技術に関し、とくに、ユーザインタフェース機能を有する携帯端末、及び、携帯端末において利用可能な表示方法に関する。
【背景技術】
【0002】
パーソナルコンピュータや、スマートフォンなどにおいては、データやアプリケーションなどに対応するアイコンを表示装置の画面に表示し、アイコンをダブルクリックするなどの操作入力を受け付けると、そのアイコンに対応するデータを表示したり、アプリケーションを起動したりするユーザインタフェースが広く採用されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
近年、携帯型ゲーム機や携帯電話端末などが広く普及しており、日常生活において、このようなユーザインタフェースに触れる機会が飛躍的に増加している。ユーザインタフェースに、操作性の良さが求められるのはもちろんであるが、さらに、視覚的にも楽しく、飽きのこない表示の工夫が強く要求されるようになっている。
【0004】
本発明はこうした状況に鑑みてなされたものであり、その目的は、娯楽性の高いユーザインタフェースを提供することにある。
【課題を解決するための手段】
【0005】
本発明のある態様は、携帯端末に関する。携帯端末は、表示装置と、携帯端末の姿勢又は位置を検知するためのセンサと、データを保持する保持部と、前記保持部に保持されたデータに対応するアイコン又はオブジェクトを前記表示装置に表示する表示制御部と、三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画する照明演算部とを備えることを特徴とする。
【0006】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0007】
本発明によれば、娯楽性の高いユーザインタフェースを提供することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態に係る携帯端末の外観を示す図である。
【図2】実施の形態に係る携帯端末の外観を示す図である。
【図3】携帯端末の構成を示す図である。
【図4】アイコンテーブルの内部データの例を示す図である。
【図5】表示制御部が表示するデスクトップ画面の例を示す図である。
【図6】表示制御部が表示するデスクトップ画面の例を示す図である。
【図7】アイコンに当たる光を変化させる機能について説明するための図である。
【図8】アイコンに当たる光を変化させる機能について説明するための図である。
【図9】表示制御部が表示するデスクトップ画面の例を示す図である。
【図10】表示制御部が表示するデスクトップ画面の例を示す図である。
【図11】文字をスクロールする機能について説明するための図である。
【図12】文字をスクロールする機能について説明するための図である。
【図13】文字をスクロールする機能について説明するための図である。
【図14】文字をスクロールする機能について説明するための図である。
【図15】背景画像を切り替える機能について説明するための図である。
【図16】背景画像を切り替える機能について説明するための図である。
【図17】アイコンをジャンプさせる機能について説明するための図である。
【図18】アイコンをジャンプさせる機能について説明するための図である。
【発明を実施するための形態】
【0009】
図1及び図2は、実施の形態に係る携帯端末10の外観を示す。図1に示すように、携帯端末10の表側、すなわち、ユーザが携帯端末10を把持して操作するときにユーザに面する側には、指示入力ボタン21、方向キー22、Rボタン23、Lボタン24などのボタン20と、上面カメラ25と、表示装置68とが備えられている。表示装置68には、ユーザの指やスタイラスペンなどによる接触を検知するためのタッチパネル69が併設されている。
【0010】
図2に示すように、携帯端末10の裏側には、背面カメラ26及び背面タッチパネル70が備えられている。携帯端末10の裏側にも、表側と同様に表示装置を設けてもよいが、本実施の形態では、携帯端末10の裏側には表示装置を設けずに、背面タッチパネル70のみを設ける。
【0011】
ユーザは、携帯端末10を両手で把持した状態で、例えば、右手親指で指示入力ボタン21を操作し、左手親指で方向キー22を操作し、右手人差し指又は中指でRボタン23を操作し、左手人差し指又は中指でLボタン24を操作し、両手の親指でタッチパネル69を操作し、両手の薬指又は小指で背面タッチパネル70を操作することができる。スタイラスペンなどを用いる場合は、例えば、携帯端末10を左手で把持した状態で、右手でスタイラスペン又は人差し指によりタッチパネル69及び指示入力ボタン21を操作し、左手親指で方向キー22を操作し、左手人差し指又は中指でLボタン24を操作し、左手薬指又は小指で背面タッチパネル70を操作することができる。
【0012】
図1に示したように、携帯端末10においてゲームなどのアプリケーションが実行されていないとき、表示装置68には、データファイルを開いたり、アプリケーションを起動させたりするための指示入力をユーザから受け付けるためのユーザインタフェース画面(以降、「デスクトップ画面」ともいう)が表示される。デスクトップ画面には、データファイルやアプリケーションなどに対応づけられたアイコンが並べて表示される。本実施の形態では、アイコンは三次元のボタン型の形状を有するオブジェクトとして表現されており、背景画像に対して浮かんでいるように表示される。背景画像には、アイコンの影が表示されている。携帯端末10は、携帯端末10の位置や姿勢に応じて、アイコンや背景画像の表示態様を変化させる機能を提供する。
【0013】
図3は、携帯端末10の構成を示す。携帯端末10は、上面カメラ25、背面カメラ26、ボタン20、タッチパネル69、背面タッチパネル70、3軸ジャイロセンサ72、3軸加速度センサ73、制御部40、データ保持部60、アイコンテーブル62、及び表示装置68を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのCPU、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0014】
上面カメラ25及び背面カメラ26は、携帯端末10の周囲の画像を撮像する。ボタン20、タッチパネル69、及び背面タッチパネル70は、上述したように、携帯端末10の筐体表面に設けられ、ユーザから操作入力を受け付ける。3軸ジャイロセンサ72は、携帯端末10の筐体内部に設けられ、携帯端末10のXZ平面、ZY平面、YX平面における角度又は角速度を検出する。3軸加速度センサ73は、携帯端末10の筐体内部に設けられ、携帯端末10のXYZの3軸方向の加速度を検出する。
【0015】
データ保持部60は、ハードディスクなどの記憶媒体により構成され、携帯端末10において利用される文書、音楽、動画などの各種のデータファイルや、データファイルを処理するためのアプリケーションのデータなどを保持する。また、データ保持部60は、アイコンの挙動を物理法則を適用して算出する際に利用される各種の物理量や運動方程式などを保持する。アイコンテーブル62は、データ保持部60に保持されたデータファイル又はアプリケーションに対応づけられたアイコンの情報を保持する。
【0016】
図4は、アイコンテーブルの内部データの例を示す。アイコンテーブル62には、アイコンID欄80、アイコン名称欄81、短縮名称欄85、パス欄82、座標欄83、形状データ欄84が設けられる。アイコンID欄80は、アイコンを一意に識別するためのIDを格納する。アイコン名称欄81は、アイコンの名称を格納する。短縮名称欄85は、アイコンの短縮名称を格納する。短縮名称は、データの作成者やユーザなどから予め取得してもよいし、アイコンの名称から所定のルールに則って自動生成されてもよい。パス欄82は、アイコンが対応付けられたデータファイル又はアプリケーションの実行形式ファイルのデータ保持部60における格納場所を示すパスを格納する。座標欄83は、アイコンを表示すべきデスクトップ画面の位置を示す座標を格納する。形状データ欄84は、アイコンの形状データ又はアイコンの形状データを格納したデータファイル等の情報を格納する。本実施の形態では、全てのアイコンを同一の形状としており、その形状データをデータ保持部60に保持するとともに、各アイコンの表面のテクスチャ画像を個別にデータ保持部60に保持している。
【0017】
制御部40は、CPUやメモリなどのハードウェア回路により構成され、ユーザインタフェース機能をユーザに提供するとともに、ユーザインタフェース機能を介して起動されたアプリケーションなどを実行する。制御部40は、ユーザインタフェース部41と、アプリケーション実行部48を含む。アプリケーション実行部48は、起動されたアプリケーションの動作に必要なデータをデータ保持部60からメモリへ読み出し、アプリケーションプログラムを実行する。ユーザインタフェース部41は、表示制御部42、姿勢位置演算部43、運動演算部44、照明演算部45、及び入力受付部46を含む。
【0018】
姿勢位置演算部43は、3軸ジャイロセンサ72及び3軸加速度センサ73が検知した情報を取得し、それらの情報を解析して携帯端末10の姿勢及び位置を算出する。姿勢位置演算部43は、所定の基準位置、例えば携帯端末10に電源が入れられて姿勢位置演算部43が起動されたときや、所定の操作入力を受け付けたときや、所定の動作モードに移行したときや、所定時間以上操作入力を受け付けなかったときなどの携帯端末10の位置を基準にして、現在の携帯端末10の相対位置を算出する。また、姿勢位置演算部43は、所定の基準姿勢、例えば携帯端末10を水平な平面上に置いたときの携帯端末10の姿勢又は携帯端末10に電源が入れられて姿勢位置演算部43が起動されたときや、何らかの操作入力を受け付けたときや、何らかの動作モードに移行したときや、所定時間以上操作入力を受け付けなかったときなどの携帯端末10の姿勢を基準にして、現在の携帯端末10の相対角度を算出する。本実施の形態の機能は、所定の操作入力が行われている間、又は、所定の開始操作が行われてから所定の終了操作が行われるまでの間だけ提供されてもよい。この場合、姿勢位置演算部43は、所定の操作入力が開始された時点、又は所定の開始操作が行われた時点での携帯端末10の位置及び姿勢を基準として、それ以降の位置及び姿勢の変化を算出する。
【0019】
運動演算部44は、アイコンとして表示される三次元オブジェクトや、背景画像として表示される平面又は曲面などに対して、所定の外力を作用させたときの挙動を、物理法則を適用して算出する。運動演算部44は、ポリゴン、ワイヤーフレームなどを用いてモデリングされた三次元オブジェクトの形状データをデータ保持部60から読み出し、物理演算エンジンを用いた物理シミュレーションにより位置及び姿勢を算出する。運動演算部44は、運動方程式などの物理法則をそのまま適用してオブジェクトの挙動を算出してもよいし、オブジェクトの挙動の一部又は全部をデフォルメして表示するために、物理法則の一部又は全部を修正してから適用してもよい。例えば、重力加速度などの定数の値を現実の値とは異なる値に設定してもよいし、運動方程式などの方程式を現実の方程式とは異なる式に設定してもよい。運動演算部44は、既知の任意の技術を利用して物理計算を行ってもよい。運動演算部44は、アイコンの位置及び姿勢を算出して、表示制御部42へ通知する。
【0020】
照明演算部45は、アイコンとして表示される三次元オブジェクトをレンダリングする際に、所定位置に所定の強度の光を発する光源を配置し、所定のライティングモデルを適用して、アイコンの表面の輝度を算出する。
【0021】
入力受付部46は、デスクトップ画面に表示したアイコンに対するダブルクリック操作やダブルタップ操作などを受け付けると、そのアイコンに対応付けられたデータファイルを開くためのアプリケーション、又は、そのアイコンに対応付けられたアプリケーションを実行するようアプリケーション実行部48に要求する。
【0022】
表示制御部42は、デスクトップ画面にアイコンを表示すべきデータ及びアプリケーションの選択指示をユーザから受け付け、受け付けたデータ又はアプリケーションに対応づけられたアイコンを表示するための必要な画像データや形状データなどを取得してアイコンテーブル62に登録する。表示制御部42は、デスクトップ画面を表示するとき、アイコンテーブル62を参照して、デスクトップ画面にアイコンを表示する。表示制御部42は、姿勢位置演算部43により算出された携帯端末10の姿勢又は位置を取得し、携帯端末10の姿勢又は位置の変化に応じて、運動演算部44にアイコンの位置及び姿勢を算出させ、アイコンの表示態様を決定する。表示制御部42は、算出されたアイコンの位置及び姿勢を用いて、アイコンに対応する三次元オブジェクトをレンダリングすることにより、アイコンをデスクトップ画面に表示する。以下、本実施の形態に係る携帯端末10の機能の詳細について、図面を参照しながら説明する。
【0023】
1−1.携帯端末の傾きに応じて、アイコンを揺らすUI
図5は、表示制御部が表示するデスクトップ画面の例を示す。デスクトップ画面90には、データ保持部60に保持されたデータ又はアプリケーションに対応づけられたアイコン91が表示されている。表示制御部42は、姿勢位置演算部43により算出された携帯端末10の傾きに応じて、アイコン91の表示態様を決定する。表示制御部42は、所定のタイミング、例えば、電源がオンにされたとき、所定の操作が行われたとき、所定の動作モードに移行したとき、所定時間以上操作が行われなかったとき、所定時間以上携帯端末10の所定量以上の位置又は姿勢の変化を検知しなかったときなどにおける携帯端末10の位置及び姿勢を基準とし、そのときの画面鉛直方向を仮想的な重力方向に設定する。表示制御部42は、現実世界における重力方向を仮想的な重力方向に設定してもよい。表示制御部42は、上面カメラ25により撮像したユーザの画像を用いて、顔認識などの技術によりユーザの目の位置などを検知し、ユーザの視線方向を仮想的な重力方向に設定してもよい。例えば、ユーザの目の位置から携帯端末10の重心位置へ向かう方向を仮想的な重力方向としてもよい。
【0024】
ユーザが携帯端末10を静止させた状態で把持しているときは、表示制御部42は、アイコン91を基準位置を中心としてゆらゆらと揺れるように表示する。表示制御部42は、アイコン91の移動方向及び移動量を乱数などを用いて決定して、アイコン91を移動させてもよいし、データ保持部60に予め格納されている動画データを用いてアニメーション表示してもよい。前者の場合、表示制御部42は、アイコン91が基準位置から所定の範囲外へ移動しないように制限してもよい。その後、携帯端末10の傾きが変化すると、そのときのアイコン91の挙動を運動演算部44に算出させ、表示に反映させる。運動演算部44は、アイコンに作用させる重力の方向を表示制御部42から取得するとともに、データ保持部60から、重力加速度の値、アイコン91の回転モーメントなどの物理量を読み出し、それらを適用してアイコン91の挙動を算出する。表示制御部42は、算出されたアイコン91の挙動を表示に反映させる。
【0025】
本図の例では、表示制御部42は、アイコン91の所定位置、例えば重心位置を固定し、運動演算部44にアイコン91の姿勢を算出させる。すなわち、アイコン91の位置を、前述したように、所定の範囲内でランダムに移動させつつ、携帯端末10の傾きの変化に応じてアイコン91を傾かせ、揺れるように表示する。例えば、携帯端末10の左側が低くなるように携帯端末10を傾けると、アイコン91は相対的に右側が低くなるように傾く。携帯端末10を左右に揺らすと、アイコン91も左右に揺れる。
【0026】
表示制御部42は、携帯端末10が傾けられたときに、傾けられた方向へアイコン91を所定量移動させてもよい。この場合の移動量は、携帯端末10が傾けられていないときのアイコン91の移動量よりも大きくしてもよい。すなわち、表示制御部42は、携帯端末10が傾けられていないときは、第1の範囲内でアイコン91を小刻みに移動させ、携帯端末10が傾けられると、第1の範囲よりも大きい第2の範囲内で、傾きに応じてアイコン91を移動させる。
【0027】
このように、あたかも、携帯端末10の表示装置68の画面上にアイコン91に対応する三次元オブジェクトが現実に配置されていて、携帯端末10を揺らすとそれに呼応してオブジェクトも揺れているようにアイコン91を表示するので、携帯端末10を把持しているユーザの手ぶれなどがアイコン91の表示に反映され、携帯端末10ならではの娯楽性の高い視覚的効果を提供することができる。
【0028】
表示制御部42は、アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などに応じて、アイコンの挙動を異ならせてもよい。例えば、データ量が小さいほど、又は、作成日時、変更日時、又は起動日時が新しい又は古いほど、アイコンが大きく又は小さく揺れるように、仮想的な重力加速度の値などを調整してもよい。また、ユーザがお気に入りとして設定したアイコンは、他のアイコンよりも大きく又は小さく揺れるようにしてもよい。これにより、アイコンの属性の異同を視覚的に分かりやすく表示することができるので、操作性のよいユーザインタフェースを提供することができる。
【0029】
表示制御部42は、所定の操作、例えば、デスクトップ画面をタップする操作などを受け付けると、アイコンを静止させてもよい。表示制御部42は、全てのアイコンを静止させてもよいし、特定のアイコンを静止させてもよい。例えば、ユーザがデスクトップ画面のアイコンが表示されていない領域をタップしたときは、全てのアイコンを静止させ、特定のアイコンをタップしたときは、そのアイコンのみを静止させてもよい。表示制御部42は、アイコンの属性に応じて、静止させるアイコンを決定してもよい。例えば、ユーザがお気に入りとして設定したアイコンのみを静止させてもよい。
【0030】
1−2.携帯端末の傾きに応じて、アイコンを移動させるUI
図6は、表示制御部が表示するデスクトップ画面の例を示す。本図の例においても、1−1の例と同様に、表示制御部42は、携帯端末10の傾きが所定値よりも小さいときには、アイコンを小刻みに揺らし、携帯端末10の傾きが所定値よりも大きくなると、携帯端末10の傾きに応じてアイコン91の表示態様を決定するが、本図の例では、表示制御部42は、アイコン91の位置を固定せず、デスクトップ画面の範囲内で移動させる。したがって、携帯端末10の左側が低くなるように携帯端末10を傾けると、アイコン91はデスクトップ画面上を左方向へ滑り落ちる。運動演算部44は、アイコン91に作用させる重力の方向、重力加速度の値、アイコンとアイコンが乗っている床との間の静止摩擦係数及び動摩擦係数、アイコン間の衝突係数、デスクトップ画面の端に仮想的に設定された壁とアイコンとの間の衝突係数、などの物理量を取得し、それらを適用してアイコン91の挙動を算出する。これにより、あたかも、携帯端末10の表示装置68の画面上にアイコン91に対応する三次元オブジェクトが現実に配置されていて、携帯端末10を傾けるとそれに呼応してオブジェクトも移動するようにアイコン91を表示するので、携帯端末10ならではの娯楽性の高い視覚的効果を提供することができる。
【0031】
1−2の例のように、携帯端末10の傾きに応じてアイコン91を移動させると、ユーザがアイコン91を操作しづらくなってしまう場合がある。したがって、通常は、1−1の例のように、アイコン91を所定の範囲内で揺れるように表示し、所定時間以上ユーザから操作入力を受け付けなかった場合や、図示しないホールドキーなどによりユーザインタフェース機能が一時的に停止されている場合など、アイコンのダブルクリック操作などによりアプリケーションを起動させない動作モードにおいては、1−2の例のように、傾けられた方向にアイコンが滑り落ちるように表示してもよい。
【0032】
表示制御部42は、アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などに応じて、アイコンの移動速度、移動距離、移動し始めるときの携帯端末10の角度などを異ならせてもよい。例えば、データ量が小さいほど、又は、作成日時、変更日時、又は起動日時が新しい又は古いほど、アイコンが大きく移動するように、仮想的な重力加速度や動摩擦係数の値などを調整してもよい。これにより、アイコンの属性の異同を視覚的に分かりやすく表示することができるので、操作性のよいユーザインタフェースを提供することができる。ユーザがお気に入りとして設定したアイコンや、新着情報が有るアイコンなどは、移動せずにその場にとどまるようにしてもよい。これにより、お気に入りとして設定したアイコンとその他のアイコンを容易に選別することができる。表示制御部42は、その他のアイコンの属性に基づいて、移動するアイコンと移動しないアイコンを選別してもよい。
【0033】
表示制御部42は、所定の操作、例えば、デスクトップ画面をタップする操作などを受け付けると、アイコンを静止させてもよい。表示制御部42は、全てのアイコンを静止させてもよいし、特定のアイコンを静止させてもよい。例えば、ユーザがデスクトップ画面のアイコンが表示されていない領域をタップしたときは、全てのアイコンを静止させ、特定のアイコンをタップしたときは、そのアイコンのみを静止させてもよい。表示制御部42は、アイコンの属性に応じて、静止させるアイコンを決定してもよい。例えば、ユーザがお気に入りとして設定したアイコンのみを静止させてもよい。
【0034】
1−3.携帯端末の姿勢又は位置に応じて、アイコンに当たる光を変化させるUI
図7及び図8は、アイコンに当たる光を変化させる機能について説明するための図である。図7に示すように、照明演算部45は、アイコンを表面に配置した携帯端末10を仮想三次元世界92の所定位置に配置するとともに、光源93を所定位置に配置し、フラットシェーディング、フォンシェーディングなどの所定のモデルを適用してアイコンの表面の輝度を算出する。携帯端末10の姿勢又は位置が変化すると、図8に示すように、照明演算部45は、その変化に応じて、仮想三次元世界92におけるアイコンの位置及び姿勢を変化させる。これにより、光源93とアイコンとの間の相対位置が変化するので、アイコンに当たる光が変化する。これにより、あたかも、携帯端末10の携帯端末10の表示装置68の画面上に、アイコン91に対応する三次元オブジェクトが現実に配置されていて、携帯端末10の位置又は姿勢を変化させると、それに呼応してアイコンに当たる照明も変化するように表示することができる。照明演算部45は、携帯端末10の姿勢又は位置に応じて、光源93の位置を変化させてもよい。
【0035】
図9及び図10は、表示制御部が表示するデスクトップ画面の例を示す。図9においては、アイコン91の左上から光が当たっているので、アイコン91の左側が光っており、アイコン91の右側にアイコンの影が表示されている。図10においては、携帯端末10の姿勢又は位置が変更されたことにより、アイコン91の右上から光が当たっているので、アイコン91の右側が光っており、アイコン91の左側にアイコンの影が表示されている。照明演算部45は、影の投影面をさらに仮想三次元世界に配置してアイコンの影を算出してもよいし、アイコンの影を表示するためのテクスチャ画像を1種類、又は、アイコンと投影面との間の距離に応じて複数種類、データ保持部60に保持しておき、光源93とアイコン91との相対位置に応じて、テクスチャ画像の表示位置を調整することにより、アイコンの影を表示してもよい。
【0036】
表示制御部42は、アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などなどに応じて、アイコンの光り方を異ならせてもよい。例えば、データ量が小さいほど、作成日時、変更日時、又は起動日時が新しいほど、アイコンが強く光るように、そのアイコンのライティングを算出する際に、アイコンと光源との間の距離を短くしたり、光源の光の強度を高くしたりしてもよい。また、ユーザがお気に入りとして設定したアイコンや、新着情報が有るアイコンなどは、他のアイコンよりも強く光るようにしてもよい。また、光の強度以外に、光の色などを異ならせてもよい。
【0037】
1−4.携帯端末を傾けると、文字をスクロールさせるUI
図11〜図14は、文字をスクロールする機能について説明するための図である。図11では、アイコン91の近傍に、アイコン91の名称を表示するための名称表示領域94が設けられている。表示制御部42は、アイコン91の短縮名称をアイコンテーブル62から読み出して、それぞれのアイコン91の名称表示領域94に表示する。アイコン91の短縮名称は、名称表示領域94に表示できる文字数よりも少ない文字数になるように設定されている。
【0038】
図11に示したデスクトップ画面が表示されているときに、携帯端末10の左側が低くなるように、所定の角度以上傾けられると、図12に示すように、表示制御部42は、まず、アイコン91の名称をアイコンテーブル62から読み出し、短縮名称に代えて名称表示領域94に表示する。このとき、名称の文字数が名称表示領域94に表示可能な文字数を超えている場合は、名称の最初から表示可能な文字数分を表示する。その後、図13に示すように、名称表示領域94に表示されているアイコンの名称を左にスクロールして、表示されていなかった部分を表示する。これにより、アイコンの名称が長すぎて名称表示領域94に表示しきれない場合であっても、スクロールさせて全部を見ることができるので、ユーザの利便性を向上させることができる。また、携帯端末10を傾けることで、アイコンの名称が滑り落ちるように表示されるので、視覚的にも面白く、直感的に分かりやすいユーザインタフェースを提供することができる。表示制御部42は、名称を表示しきれなかったアイコンについてのみ、アイコンの名称をスクロールさせてもよい。表示制御部42は、アイコンの名称を複数行にわたって表示してもよい。この場合、携帯端末10の上側が低くなるように、所定の角度以上傾けられたときに、アイコンの名称を上にスクロールさせてもよい。
【0039】
図11に示したデスクトップ画像が表示されているときに、携帯端末10の右側が低くなるように、所定の角度以上傾けられると、図13に示すように、表示制御部42は、アイコン91の名称をアイコンテーブル62から読み出し、名称の最後から表示可能な文字数分を表示する。その後、アイコンの名称を右にスクロールして、表示されていなかった部分を表示する。これにより、ユーザは、アイコンの名称の前半を確認したい場合には携帯端末10を左に傾け、アイコンの名称の後半を確認したい場合には携帯端末10を右に傾ければよいので、直感的に分かりやすく、操作性の良いユーザインタフェースを提供することができる。
【0040】
表示制御部42は、携帯端末10の傾きの角度に応じて、スクロールの速度を決定してもよい。例えば、傾きが大きいほど、速くスクロールさせてもよい。表示制御部42は、携帯端末10の傾きが所定の角度よりも小さくなると、スクロールを停止させてもよい。表示制御部42は、携帯端末10の傾きが所定の角度よりも小さい状態が所定時間以上継続すると、再びアイコンの短縮名称を名称表示領域94に表示してもよい。表示制御部42は、アイコンの名称をスクロールさせているときに、所定の操作、例えば、名称表示領域94におけるタップ操作などを受け付けると、スクロールを停止させてもよい。
【0041】
1−5.携帯端末を傾けると、背景画像を切り替えるUI
図15及び図16は、背景画像を切り替える機能について説明するための図である。図15に示したデスクトップ画面では、背景画像95として、水槽を上から見たときの画像が表示されている。図16に示したデスクトップ画面では、背景画像96として、風景の画像が表示されている。表示制御部42は、携帯端末10が水平から所定角度未満の傾きであるときには、図15に示したように、ある物を上から見たときの画像を背景画像95として表示し、携帯端末10の上側が上になるように、水平から所定角度以上傾けられたときには、図16に示したように、ある風景を眺めたときの画像を背景画像96として表示する。背景画像95及び背景画像96は、予めデータ保持部60に格納されており、表示制御部42は、携帯端末10の傾きに応じて、背景画像95又は背景画像96をデータ保持部60から読み出して表示する。これにより、ユーザが携帯端末10を水平に近い状態で把持し、又は、机の上などに置いた状態で、表示装置68のデスクトップ画面を上から見下ろしているときには、ある物を上から覗き込んでいるような画像を背景画像95として表示し、ユーザが携帯端末10を持ち上げて水平から所定角度以上傾けて把持しているときには、ある風景を眺めているような画像を背景画像96として表示するので、ユーザの視線に合わせた画像を背景に表示することができ、あたかも、ユーザの足下に背景画像95として表示した物があり、ユーザの周囲には背景画像96として表示した風景が広がっているかのような演出をすることができる。これにより、娯楽性の高いユーザインタフェースを提供することができる。
【0042】
3以上の背景画像をデータ保持部60に格納しておき、携帯端末10の傾きに応じてそれらを切り替えて表示してもよい。背景を構成する三次元オブジェクトの位置及び形状データをデータ保持部60に格納しておき、表示制御部42がそれらを読み出し、携帯端末10の傾きに応じてカメラの視点位置及び視線方向を設定して、背景画像をレンダリングしてもよい。この場合、表示制御部42は、携帯端末10の傾きに応じて、背景画像を連続的に変化させてもよい。
【0043】
1−6.携帯端末を上に跳ね上げると、アイコンをジャンプさせるUI
図17及び図18は、アイコンをジャンプさせる機能について説明するための図である。ユーザが携帯端末10を、表示装置68の画面に対して鉛直上向きに所定値以上の加速度で移動させた後、その場で停止させるか、又は、鉛直下向きに移動させると、図17に示すように、表示制御部42は、アイコン91がジャンプする様子を表示する。表示制御部42は、携帯端末10の表示装置68の画面に対して鉛直上向きの加速度の値を姿勢位置演算部43から取得し、それが所定値以上であれば、その加速度から算出される力をアイコン91に作用させて、アイコン91がジャンプする挙動を運動演算部44に算出させる。このとき、運動演算部44は、アイコン91の質量、回転モーメント、空気抵抗などの物理量をデータ保持部60から読み出して、演算に用いてもよい。アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などに応じて、アイコンの挙動を異ならせてもよい。例えば、データ量が小さいほど、又は、作成日時、変更日時、又は起動日時が新しいほど、アイコンが高くジャンプするように、質量を小さくしたり、仮想的な重力加速度の値を小さくしたり、空気抵抗の値を小さくしたりしてもよい。また、ユーザがお気に入りとして設定したアイコンや新着情報が有るアイコンなどは、他のアイコンよりも高くジャンプするようにしてもよい。
【0044】
表示制御部42は、運動演算部44が算出したアイコンの姿勢及び位置を用いてアイコンを表示するとともに、背景画像をぼかしてアイコンが跳ね上がっていることを視覚的に分かりやすく表示する。背景画像のほかに、ぼかした背景画像をデータ保持部60に格納しておき、表示制御部42は、データ保持部60からぼかした背景画像を読み出して、アイコンがジャンプしている間、ぼかした背景画像に切り替えてもよいし、既知の画像処理技術を用いて背景画像をぼかしてもよい。前者の場合、アイコンがジャンプしている高さに応じて複数種類の背景画像をデータ保持部60に格納しておき、表示制御部42は、アイコンの高さに応じて背景画像を切り替えてもよい。後者の場合、アイコンの高さが高いほど、ぼかしの度合いを大きくしてもよい。
【0045】
表示制御部42は、アイコン91の画像を拡大することにより、アイコン91がジャンプする様子を表現してもよい。表示制御部42は、アイコン91をレンダリングする際の視点位置をアイコン91に近づけることにより、アイコン91がジャンプする様子を表現してもよい。
【0046】
アイコン91が跳ね上げられている間に、ユーザが所定の操作入力、例えば、デスクトップ画面90を指でタップするなどの操作入力を行ったとき、図18に示すように、表示制御部42は、操作入力を受け付けた時点でアイコン91を静止させる。これにより、アイコン91を拡大して見やすくすることができるので、ユーザの利便性を向上させることができる。また、単に表示領域をズームアップするのではなく、アイコンを跳ね上げてから止めることにより拡大させるという斬新で見た目にも面白いユーザインタフェースを提供することができる。
【0047】
表示制御部42は、全てのアイコンを静止させてもよいし、特定のアイコンを静止させてもよい。例えば、ユーザがデスクトップ画面90のアイコン91が表示されていない領域をタップしたときは、全てのアイコンを静止させ、特定のアイコンをタップしたときは、そのアイコンのみを静止させてもよい。表示制御部42は、アイコンの属性に応じて、静止させるアイコンを決定してもよい。例えば、ユーザがお気に入りとして設定したアイコンのみを静止させてもよい。
【0048】
表示制御部42は、表示装置68の表示画面に対する鉛直上向きの加速度だけでなく、携帯端末10に所定量以上の加速度が加わったとき、又は、所定量以上の角加速度が加わったときに、姿勢位置演算部43により算出された加速度又は角加速度を用いて算出される力をアイコン91に作用させ、運動演算部44によりアイコン91の挙動を算出して表示に反映させてもよい。例えば、1−1の例のように、アイコンを揺らしてもよいし、1−2の例のように、アイコンを移動させてもよいし、アイコンを回転させてもよい。
【0049】
以上の各機能は、単独で携帯端末10に利用されてもよいし、2以上の機能の任意の組み合わせが携帯端末10に利用されてもよい。
【0050】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0051】
10 携帯端末、40 制御部、41 ユーザインタフェース部、42 表示制御部、43 姿勢位置演算部、44 運動演算部、45 照明演算部、46 入力受付部、48 アプリケーション実行部、60 データ保持部、62 アイコンテーブル、68 表示装置、69 タッチパネル、70 背面タッチパネル、72 3軸ジャイロセンサ、73 3軸加速度センサ。
【技術分野】
【0001】
本発明は、ユーザインタフェース技術に関し、とくに、ユーザインタフェース機能を有する携帯端末、及び、携帯端末において利用可能な表示方法に関する。
【背景技術】
【0002】
パーソナルコンピュータや、スマートフォンなどにおいては、データやアプリケーションなどに対応するアイコンを表示装置の画面に表示し、アイコンをダブルクリックするなどの操作入力を受け付けると、そのアイコンに対応するデータを表示したり、アプリケーションを起動したりするユーザインタフェースが広く採用されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
近年、携帯型ゲーム機や携帯電話端末などが広く普及しており、日常生活において、このようなユーザインタフェースに触れる機会が飛躍的に増加している。ユーザインタフェースに、操作性の良さが求められるのはもちろんであるが、さらに、視覚的にも楽しく、飽きのこない表示の工夫が強く要求されるようになっている。
【0004】
本発明はこうした状況に鑑みてなされたものであり、その目的は、娯楽性の高いユーザインタフェースを提供することにある。
【課題を解決するための手段】
【0005】
本発明のある態様は、携帯端末に関する。携帯端末は、表示装置と、携帯端末の姿勢又は位置を検知するためのセンサと、データを保持する保持部と、前記保持部に保持されたデータに対応するアイコン又はオブジェクトを前記表示装置に表示する表示制御部と、三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画する照明演算部とを備えることを特徴とする。
【0006】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0007】
本発明によれば、娯楽性の高いユーザインタフェースを提供することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態に係る携帯端末の外観を示す図である。
【図2】実施の形態に係る携帯端末の外観を示す図である。
【図3】携帯端末の構成を示す図である。
【図4】アイコンテーブルの内部データの例を示す図である。
【図5】表示制御部が表示するデスクトップ画面の例を示す図である。
【図6】表示制御部が表示するデスクトップ画面の例を示す図である。
【図7】アイコンに当たる光を変化させる機能について説明するための図である。
【図8】アイコンに当たる光を変化させる機能について説明するための図である。
【図9】表示制御部が表示するデスクトップ画面の例を示す図である。
【図10】表示制御部が表示するデスクトップ画面の例を示す図である。
【図11】文字をスクロールする機能について説明するための図である。
【図12】文字をスクロールする機能について説明するための図である。
【図13】文字をスクロールする機能について説明するための図である。
【図14】文字をスクロールする機能について説明するための図である。
【図15】背景画像を切り替える機能について説明するための図である。
【図16】背景画像を切り替える機能について説明するための図である。
【図17】アイコンをジャンプさせる機能について説明するための図である。
【図18】アイコンをジャンプさせる機能について説明するための図である。
【発明を実施するための形態】
【0009】
図1及び図2は、実施の形態に係る携帯端末10の外観を示す。図1に示すように、携帯端末10の表側、すなわち、ユーザが携帯端末10を把持して操作するときにユーザに面する側には、指示入力ボタン21、方向キー22、Rボタン23、Lボタン24などのボタン20と、上面カメラ25と、表示装置68とが備えられている。表示装置68には、ユーザの指やスタイラスペンなどによる接触を検知するためのタッチパネル69が併設されている。
【0010】
図2に示すように、携帯端末10の裏側には、背面カメラ26及び背面タッチパネル70が備えられている。携帯端末10の裏側にも、表側と同様に表示装置を設けてもよいが、本実施の形態では、携帯端末10の裏側には表示装置を設けずに、背面タッチパネル70のみを設ける。
【0011】
ユーザは、携帯端末10を両手で把持した状態で、例えば、右手親指で指示入力ボタン21を操作し、左手親指で方向キー22を操作し、右手人差し指又は中指でRボタン23を操作し、左手人差し指又は中指でLボタン24を操作し、両手の親指でタッチパネル69を操作し、両手の薬指又は小指で背面タッチパネル70を操作することができる。スタイラスペンなどを用いる場合は、例えば、携帯端末10を左手で把持した状態で、右手でスタイラスペン又は人差し指によりタッチパネル69及び指示入力ボタン21を操作し、左手親指で方向キー22を操作し、左手人差し指又は中指でLボタン24を操作し、左手薬指又は小指で背面タッチパネル70を操作することができる。
【0012】
図1に示したように、携帯端末10においてゲームなどのアプリケーションが実行されていないとき、表示装置68には、データファイルを開いたり、アプリケーションを起動させたりするための指示入力をユーザから受け付けるためのユーザインタフェース画面(以降、「デスクトップ画面」ともいう)が表示される。デスクトップ画面には、データファイルやアプリケーションなどに対応づけられたアイコンが並べて表示される。本実施の形態では、アイコンは三次元のボタン型の形状を有するオブジェクトとして表現されており、背景画像に対して浮かんでいるように表示される。背景画像には、アイコンの影が表示されている。携帯端末10は、携帯端末10の位置や姿勢に応じて、アイコンや背景画像の表示態様を変化させる機能を提供する。
【0013】
図3は、携帯端末10の構成を示す。携帯端末10は、上面カメラ25、背面カメラ26、ボタン20、タッチパネル69、背面タッチパネル70、3軸ジャイロセンサ72、3軸加速度センサ73、制御部40、データ保持部60、アイコンテーブル62、及び表示装置68を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのCPU、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0014】
上面カメラ25及び背面カメラ26は、携帯端末10の周囲の画像を撮像する。ボタン20、タッチパネル69、及び背面タッチパネル70は、上述したように、携帯端末10の筐体表面に設けられ、ユーザから操作入力を受け付ける。3軸ジャイロセンサ72は、携帯端末10の筐体内部に設けられ、携帯端末10のXZ平面、ZY平面、YX平面における角度又は角速度を検出する。3軸加速度センサ73は、携帯端末10の筐体内部に設けられ、携帯端末10のXYZの3軸方向の加速度を検出する。
【0015】
データ保持部60は、ハードディスクなどの記憶媒体により構成され、携帯端末10において利用される文書、音楽、動画などの各種のデータファイルや、データファイルを処理するためのアプリケーションのデータなどを保持する。また、データ保持部60は、アイコンの挙動を物理法則を適用して算出する際に利用される各種の物理量や運動方程式などを保持する。アイコンテーブル62は、データ保持部60に保持されたデータファイル又はアプリケーションに対応づけられたアイコンの情報を保持する。
【0016】
図4は、アイコンテーブルの内部データの例を示す。アイコンテーブル62には、アイコンID欄80、アイコン名称欄81、短縮名称欄85、パス欄82、座標欄83、形状データ欄84が設けられる。アイコンID欄80は、アイコンを一意に識別するためのIDを格納する。アイコン名称欄81は、アイコンの名称を格納する。短縮名称欄85は、アイコンの短縮名称を格納する。短縮名称は、データの作成者やユーザなどから予め取得してもよいし、アイコンの名称から所定のルールに則って自動生成されてもよい。パス欄82は、アイコンが対応付けられたデータファイル又はアプリケーションの実行形式ファイルのデータ保持部60における格納場所を示すパスを格納する。座標欄83は、アイコンを表示すべきデスクトップ画面の位置を示す座標を格納する。形状データ欄84は、アイコンの形状データ又はアイコンの形状データを格納したデータファイル等の情報を格納する。本実施の形態では、全てのアイコンを同一の形状としており、その形状データをデータ保持部60に保持するとともに、各アイコンの表面のテクスチャ画像を個別にデータ保持部60に保持している。
【0017】
制御部40は、CPUやメモリなどのハードウェア回路により構成され、ユーザインタフェース機能をユーザに提供するとともに、ユーザインタフェース機能を介して起動されたアプリケーションなどを実行する。制御部40は、ユーザインタフェース部41と、アプリケーション実行部48を含む。アプリケーション実行部48は、起動されたアプリケーションの動作に必要なデータをデータ保持部60からメモリへ読み出し、アプリケーションプログラムを実行する。ユーザインタフェース部41は、表示制御部42、姿勢位置演算部43、運動演算部44、照明演算部45、及び入力受付部46を含む。
【0018】
姿勢位置演算部43は、3軸ジャイロセンサ72及び3軸加速度センサ73が検知した情報を取得し、それらの情報を解析して携帯端末10の姿勢及び位置を算出する。姿勢位置演算部43は、所定の基準位置、例えば携帯端末10に電源が入れられて姿勢位置演算部43が起動されたときや、所定の操作入力を受け付けたときや、所定の動作モードに移行したときや、所定時間以上操作入力を受け付けなかったときなどの携帯端末10の位置を基準にして、現在の携帯端末10の相対位置を算出する。また、姿勢位置演算部43は、所定の基準姿勢、例えば携帯端末10を水平な平面上に置いたときの携帯端末10の姿勢又は携帯端末10に電源が入れられて姿勢位置演算部43が起動されたときや、何らかの操作入力を受け付けたときや、何らかの動作モードに移行したときや、所定時間以上操作入力を受け付けなかったときなどの携帯端末10の姿勢を基準にして、現在の携帯端末10の相対角度を算出する。本実施の形態の機能は、所定の操作入力が行われている間、又は、所定の開始操作が行われてから所定の終了操作が行われるまでの間だけ提供されてもよい。この場合、姿勢位置演算部43は、所定の操作入力が開始された時点、又は所定の開始操作が行われた時点での携帯端末10の位置及び姿勢を基準として、それ以降の位置及び姿勢の変化を算出する。
【0019】
運動演算部44は、アイコンとして表示される三次元オブジェクトや、背景画像として表示される平面又は曲面などに対して、所定の外力を作用させたときの挙動を、物理法則を適用して算出する。運動演算部44は、ポリゴン、ワイヤーフレームなどを用いてモデリングされた三次元オブジェクトの形状データをデータ保持部60から読み出し、物理演算エンジンを用いた物理シミュレーションにより位置及び姿勢を算出する。運動演算部44は、運動方程式などの物理法則をそのまま適用してオブジェクトの挙動を算出してもよいし、オブジェクトの挙動の一部又は全部をデフォルメして表示するために、物理法則の一部又は全部を修正してから適用してもよい。例えば、重力加速度などの定数の値を現実の値とは異なる値に設定してもよいし、運動方程式などの方程式を現実の方程式とは異なる式に設定してもよい。運動演算部44は、既知の任意の技術を利用して物理計算を行ってもよい。運動演算部44は、アイコンの位置及び姿勢を算出して、表示制御部42へ通知する。
【0020】
照明演算部45は、アイコンとして表示される三次元オブジェクトをレンダリングする際に、所定位置に所定の強度の光を発する光源を配置し、所定のライティングモデルを適用して、アイコンの表面の輝度を算出する。
【0021】
入力受付部46は、デスクトップ画面に表示したアイコンに対するダブルクリック操作やダブルタップ操作などを受け付けると、そのアイコンに対応付けられたデータファイルを開くためのアプリケーション、又は、そのアイコンに対応付けられたアプリケーションを実行するようアプリケーション実行部48に要求する。
【0022】
表示制御部42は、デスクトップ画面にアイコンを表示すべきデータ及びアプリケーションの選択指示をユーザから受け付け、受け付けたデータ又はアプリケーションに対応づけられたアイコンを表示するための必要な画像データや形状データなどを取得してアイコンテーブル62に登録する。表示制御部42は、デスクトップ画面を表示するとき、アイコンテーブル62を参照して、デスクトップ画面にアイコンを表示する。表示制御部42は、姿勢位置演算部43により算出された携帯端末10の姿勢又は位置を取得し、携帯端末10の姿勢又は位置の変化に応じて、運動演算部44にアイコンの位置及び姿勢を算出させ、アイコンの表示態様を決定する。表示制御部42は、算出されたアイコンの位置及び姿勢を用いて、アイコンに対応する三次元オブジェクトをレンダリングすることにより、アイコンをデスクトップ画面に表示する。以下、本実施の形態に係る携帯端末10の機能の詳細について、図面を参照しながら説明する。
【0023】
1−1.携帯端末の傾きに応じて、アイコンを揺らすUI
図5は、表示制御部が表示するデスクトップ画面の例を示す。デスクトップ画面90には、データ保持部60に保持されたデータ又はアプリケーションに対応づけられたアイコン91が表示されている。表示制御部42は、姿勢位置演算部43により算出された携帯端末10の傾きに応じて、アイコン91の表示態様を決定する。表示制御部42は、所定のタイミング、例えば、電源がオンにされたとき、所定の操作が行われたとき、所定の動作モードに移行したとき、所定時間以上操作が行われなかったとき、所定時間以上携帯端末10の所定量以上の位置又は姿勢の変化を検知しなかったときなどにおける携帯端末10の位置及び姿勢を基準とし、そのときの画面鉛直方向を仮想的な重力方向に設定する。表示制御部42は、現実世界における重力方向を仮想的な重力方向に設定してもよい。表示制御部42は、上面カメラ25により撮像したユーザの画像を用いて、顔認識などの技術によりユーザの目の位置などを検知し、ユーザの視線方向を仮想的な重力方向に設定してもよい。例えば、ユーザの目の位置から携帯端末10の重心位置へ向かう方向を仮想的な重力方向としてもよい。
【0024】
ユーザが携帯端末10を静止させた状態で把持しているときは、表示制御部42は、アイコン91を基準位置を中心としてゆらゆらと揺れるように表示する。表示制御部42は、アイコン91の移動方向及び移動量を乱数などを用いて決定して、アイコン91を移動させてもよいし、データ保持部60に予め格納されている動画データを用いてアニメーション表示してもよい。前者の場合、表示制御部42は、アイコン91が基準位置から所定の範囲外へ移動しないように制限してもよい。その後、携帯端末10の傾きが変化すると、そのときのアイコン91の挙動を運動演算部44に算出させ、表示に反映させる。運動演算部44は、アイコンに作用させる重力の方向を表示制御部42から取得するとともに、データ保持部60から、重力加速度の値、アイコン91の回転モーメントなどの物理量を読み出し、それらを適用してアイコン91の挙動を算出する。表示制御部42は、算出されたアイコン91の挙動を表示に反映させる。
【0025】
本図の例では、表示制御部42は、アイコン91の所定位置、例えば重心位置を固定し、運動演算部44にアイコン91の姿勢を算出させる。すなわち、アイコン91の位置を、前述したように、所定の範囲内でランダムに移動させつつ、携帯端末10の傾きの変化に応じてアイコン91を傾かせ、揺れるように表示する。例えば、携帯端末10の左側が低くなるように携帯端末10を傾けると、アイコン91は相対的に右側が低くなるように傾く。携帯端末10を左右に揺らすと、アイコン91も左右に揺れる。
【0026】
表示制御部42は、携帯端末10が傾けられたときに、傾けられた方向へアイコン91を所定量移動させてもよい。この場合の移動量は、携帯端末10が傾けられていないときのアイコン91の移動量よりも大きくしてもよい。すなわち、表示制御部42は、携帯端末10が傾けられていないときは、第1の範囲内でアイコン91を小刻みに移動させ、携帯端末10が傾けられると、第1の範囲よりも大きい第2の範囲内で、傾きに応じてアイコン91を移動させる。
【0027】
このように、あたかも、携帯端末10の表示装置68の画面上にアイコン91に対応する三次元オブジェクトが現実に配置されていて、携帯端末10を揺らすとそれに呼応してオブジェクトも揺れているようにアイコン91を表示するので、携帯端末10を把持しているユーザの手ぶれなどがアイコン91の表示に反映され、携帯端末10ならではの娯楽性の高い視覚的効果を提供することができる。
【0028】
表示制御部42は、アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などに応じて、アイコンの挙動を異ならせてもよい。例えば、データ量が小さいほど、又は、作成日時、変更日時、又は起動日時が新しい又は古いほど、アイコンが大きく又は小さく揺れるように、仮想的な重力加速度の値などを調整してもよい。また、ユーザがお気に入りとして設定したアイコンは、他のアイコンよりも大きく又は小さく揺れるようにしてもよい。これにより、アイコンの属性の異同を視覚的に分かりやすく表示することができるので、操作性のよいユーザインタフェースを提供することができる。
【0029】
表示制御部42は、所定の操作、例えば、デスクトップ画面をタップする操作などを受け付けると、アイコンを静止させてもよい。表示制御部42は、全てのアイコンを静止させてもよいし、特定のアイコンを静止させてもよい。例えば、ユーザがデスクトップ画面のアイコンが表示されていない領域をタップしたときは、全てのアイコンを静止させ、特定のアイコンをタップしたときは、そのアイコンのみを静止させてもよい。表示制御部42は、アイコンの属性に応じて、静止させるアイコンを決定してもよい。例えば、ユーザがお気に入りとして設定したアイコンのみを静止させてもよい。
【0030】
1−2.携帯端末の傾きに応じて、アイコンを移動させるUI
図6は、表示制御部が表示するデスクトップ画面の例を示す。本図の例においても、1−1の例と同様に、表示制御部42は、携帯端末10の傾きが所定値よりも小さいときには、アイコンを小刻みに揺らし、携帯端末10の傾きが所定値よりも大きくなると、携帯端末10の傾きに応じてアイコン91の表示態様を決定するが、本図の例では、表示制御部42は、アイコン91の位置を固定せず、デスクトップ画面の範囲内で移動させる。したがって、携帯端末10の左側が低くなるように携帯端末10を傾けると、アイコン91はデスクトップ画面上を左方向へ滑り落ちる。運動演算部44は、アイコン91に作用させる重力の方向、重力加速度の値、アイコンとアイコンが乗っている床との間の静止摩擦係数及び動摩擦係数、アイコン間の衝突係数、デスクトップ画面の端に仮想的に設定された壁とアイコンとの間の衝突係数、などの物理量を取得し、それらを適用してアイコン91の挙動を算出する。これにより、あたかも、携帯端末10の表示装置68の画面上にアイコン91に対応する三次元オブジェクトが現実に配置されていて、携帯端末10を傾けるとそれに呼応してオブジェクトも移動するようにアイコン91を表示するので、携帯端末10ならではの娯楽性の高い視覚的効果を提供することができる。
【0031】
1−2の例のように、携帯端末10の傾きに応じてアイコン91を移動させると、ユーザがアイコン91を操作しづらくなってしまう場合がある。したがって、通常は、1−1の例のように、アイコン91を所定の範囲内で揺れるように表示し、所定時間以上ユーザから操作入力を受け付けなかった場合や、図示しないホールドキーなどによりユーザインタフェース機能が一時的に停止されている場合など、アイコンのダブルクリック操作などによりアプリケーションを起動させない動作モードにおいては、1−2の例のように、傾けられた方向にアイコンが滑り落ちるように表示してもよい。
【0032】
表示制御部42は、アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などに応じて、アイコンの移動速度、移動距離、移動し始めるときの携帯端末10の角度などを異ならせてもよい。例えば、データ量が小さいほど、又は、作成日時、変更日時、又は起動日時が新しい又は古いほど、アイコンが大きく移動するように、仮想的な重力加速度や動摩擦係数の値などを調整してもよい。これにより、アイコンの属性の異同を視覚的に分かりやすく表示することができるので、操作性のよいユーザインタフェースを提供することができる。ユーザがお気に入りとして設定したアイコンや、新着情報が有るアイコンなどは、移動せずにその場にとどまるようにしてもよい。これにより、お気に入りとして設定したアイコンとその他のアイコンを容易に選別することができる。表示制御部42は、その他のアイコンの属性に基づいて、移動するアイコンと移動しないアイコンを選別してもよい。
【0033】
表示制御部42は、所定の操作、例えば、デスクトップ画面をタップする操作などを受け付けると、アイコンを静止させてもよい。表示制御部42は、全てのアイコンを静止させてもよいし、特定のアイコンを静止させてもよい。例えば、ユーザがデスクトップ画面のアイコンが表示されていない領域をタップしたときは、全てのアイコンを静止させ、特定のアイコンをタップしたときは、そのアイコンのみを静止させてもよい。表示制御部42は、アイコンの属性に応じて、静止させるアイコンを決定してもよい。例えば、ユーザがお気に入りとして設定したアイコンのみを静止させてもよい。
【0034】
1−3.携帯端末の姿勢又は位置に応じて、アイコンに当たる光を変化させるUI
図7及び図8は、アイコンに当たる光を変化させる機能について説明するための図である。図7に示すように、照明演算部45は、アイコンを表面に配置した携帯端末10を仮想三次元世界92の所定位置に配置するとともに、光源93を所定位置に配置し、フラットシェーディング、フォンシェーディングなどの所定のモデルを適用してアイコンの表面の輝度を算出する。携帯端末10の姿勢又は位置が変化すると、図8に示すように、照明演算部45は、その変化に応じて、仮想三次元世界92におけるアイコンの位置及び姿勢を変化させる。これにより、光源93とアイコンとの間の相対位置が変化するので、アイコンに当たる光が変化する。これにより、あたかも、携帯端末10の携帯端末10の表示装置68の画面上に、アイコン91に対応する三次元オブジェクトが現実に配置されていて、携帯端末10の位置又は姿勢を変化させると、それに呼応してアイコンに当たる照明も変化するように表示することができる。照明演算部45は、携帯端末10の姿勢又は位置に応じて、光源93の位置を変化させてもよい。
【0035】
図9及び図10は、表示制御部が表示するデスクトップ画面の例を示す。図9においては、アイコン91の左上から光が当たっているので、アイコン91の左側が光っており、アイコン91の右側にアイコンの影が表示されている。図10においては、携帯端末10の姿勢又は位置が変更されたことにより、アイコン91の右上から光が当たっているので、アイコン91の右側が光っており、アイコン91の左側にアイコンの影が表示されている。照明演算部45は、影の投影面をさらに仮想三次元世界に配置してアイコンの影を算出してもよいし、アイコンの影を表示するためのテクスチャ画像を1種類、又は、アイコンと投影面との間の距離に応じて複数種類、データ保持部60に保持しておき、光源93とアイコン91との相対位置に応じて、テクスチャ画像の表示位置を調整することにより、アイコンの影を表示してもよい。
【0036】
表示制御部42は、アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などなどに応じて、アイコンの光り方を異ならせてもよい。例えば、データ量が小さいほど、作成日時、変更日時、又は起動日時が新しいほど、アイコンが強く光るように、そのアイコンのライティングを算出する際に、アイコンと光源との間の距離を短くしたり、光源の光の強度を高くしたりしてもよい。また、ユーザがお気に入りとして設定したアイコンや、新着情報が有るアイコンなどは、他のアイコンよりも強く光るようにしてもよい。また、光の強度以外に、光の色などを異ならせてもよい。
【0037】
1−4.携帯端末を傾けると、文字をスクロールさせるUI
図11〜図14は、文字をスクロールする機能について説明するための図である。図11では、アイコン91の近傍に、アイコン91の名称を表示するための名称表示領域94が設けられている。表示制御部42は、アイコン91の短縮名称をアイコンテーブル62から読み出して、それぞれのアイコン91の名称表示領域94に表示する。アイコン91の短縮名称は、名称表示領域94に表示できる文字数よりも少ない文字数になるように設定されている。
【0038】
図11に示したデスクトップ画面が表示されているときに、携帯端末10の左側が低くなるように、所定の角度以上傾けられると、図12に示すように、表示制御部42は、まず、アイコン91の名称をアイコンテーブル62から読み出し、短縮名称に代えて名称表示領域94に表示する。このとき、名称の文字数が名称表示領域94に表示可能な文字数を超えている場合は、名称の最初から表示可能な文字数分を表示する。その後、図13に示すように、名称表示領域94に表示されているアイコンの名称を左にスクロールして、表示されていなかった部分を表示する。これにより、アイコンの名称が長すぎて名称表示領域94に表示しきれない場合であっても、スクロールさせて全部を見ることができるので、ユーザの利便性を向上させることができる。また、携帯端末10を傾けることで、アイコンの名称が滑り落ちるように表示されるので、視覚的にも面白く、直感的に分かりやすいユーザインタフェースを提供することができる。表示制御部42は、名称を表示しきれなかったアイコンについてのみ、アイコンの名称をスクロールさせてもよい。表示制御部42は、アイコンの名称を複数行にわたって表示してもよい。この場合、携帯端末10の上側が低くなるように、所定の角度以上傾けられたときに、アイコンの名称を上にスクロールさせてもよい。
【0039】
図11に示したデスクトップ画像が表示されているときに、携帯端末10の右側が低くなるように、所定の角度以上傾けられると、図13に示すように、表示制御部42は、アイコン91の名称をアイコンテーブル62から読み出し、名称の最後から表示可能な文字数分を表示する。その後、アイコンの名称を右にスクロールして、表示されていなかった部分を表示する。これにより、ユーザは、アイコンの名称の前半を確認したい場合には携帯端末10を左に傾け、アイコンの名称の後半を確認したい場合には携帯端末10を右に傾ければよいので、直感的に分かりやすく、操作性の良いユーザインタフェースを提供することができる。
【0040】
表示制御部42は、携帯端末10の傾きの角度に応じて、スクロールの速度を決定してもよい。例えば、傾きが大きいほど、速くスクロールさせてもよい。表示制御部42は、携帯端末10の傾きが所定の角度よりも小さくなると、スクロールを停止させてもよい。表示制御部42は、携帯端末10の傾きが所定の角度よりも小さい状態が所定時間以上継続すると、再びアイコンの短縮名称を名称表示領域94に表示してもよい。表示制御部42は、アイコンの名称をスクロールさせているときに、所定の操作、例えば、名称表示領域94におけるタップ操作などを受け付けると、スクロールを停止させてもよい。
【0041】
1−5.携帯端末を傾けると、背景画像を切り替えるUI
図15及び図16は、背景画像を切り替える機能について説明するための図である。図15に示したデスクトップ画面では、背景画像95として、水槽を上から見たときの画像が表示されている。図16に示したデスクトップ画面では、背景画像96として、風景の画像が表示されている。表示制御部42は、携帯端末10が水平から所定角度未満の傾きであるときには、図15に示したように、ある物を上から見たときの画像を背景画像95として表示し、携帯端末10の上側が上になるように、水平から所定角度以上傾けられたときには、図16に示したように、ある風景を眺めたときの画像を背景画像96として表示する。背景画像95及び背景画像96は、予めデータ保持部60に格納されており、表示制御部42は、携帯端末10の傾きに応じて、背景画像95又は背景画像96をデータ保持部60から読み出して表示する。これにより、ユーザが携帯端末10を水平に近い状態で把持し、又は、机の上などに置いた状態で、表示装置68のデスクトップ画面を上から見下ろしているときには、ある物を上から覗き込んでいるような画像を背景画像95として表示し、ユーザが携帯端末10を持ち上げて水平から所定角度以上傾けて把持しているときには、ある風景を眺めているような画像を背景画像96として表示するので、ユーザの視線に合わせた画像を背景に表示することができ、あたかも、ユーザの足下に背景画像95として表示した物があり、ユーザの周囲には背景画像96として表示した風景が広がっているかのような演出をすることができる。これにより、娯楽性の高いユーザインタフェースを提供することができる。
【0042】
3以上の背景画像をデータ保持部60に格納しておき、携帯端末10の傾きに応じてそれらを切り替えて表示してもよい。背景を構成する三次元オブジェクトの位置及び形状データをデータ保持部60に格納しておき、表示制御部42がそれらを読み出し、携帯端末10の傾きに応じてカメラの視点位置及び視線方向を設定して、背景画像をレンダリングしてもよい。この場合、表示制御部42は、携帯端末10の傾きに応じて、背景画像を連続的に変化させてもよい。
【0043】
1−6.携帯端末を上に跳ね上げると、アイコンをジャンプさせるUI
図17及び図18は、アイコンをジャンプさせる機能について説明するための図である。ユーザが携帯端末10を、表示装置68の画面に対して鉛直上向きに所定値以上の加速度で移動させた後、その場で停止させるか、又は、鉛直下向きに移動させると、図17に示すように、表示制御部42は、アイコン91がジャンプする様子を表示する。表示制御部42は、携帯端末10の表示装置68の画面に対して鉛直上向きの加速度の値を姿勢位置演算部43から取得し、それが所定値以上であれば、その加速度から算出される力をアイコン91に作用させて、アイコン91がジャンプする挙動を運動演算部44に算出させる。このとき、運動演算部44は、アイコン91の質量、回転モーメント、空気抵抗などの物理量をデータ保持部60から読み出して、演算に用いてもよい。アイコンの属性、例えば、アイコンに対応するデータファイル又はアプリケーションの種別、データ量、作成日時、変更日時、起動日時、新着情報の有無などに応じて、アイコンの挙動を異ならせてもよい。例えば、データ量が小さいほど、又は、作成日時、変更日時、又は起動日時が新しいほど、アイコンが高くジャンプするように、質量を小さくしたり、仮想的な重力加速度の値を小さくしたり、空気抵抗の値を小さくしたりしてもよい。また、ユーザがお気に入りとして設定したアイコンや新着情報が有るアイコンなどは、他のアイコンよりも高くジャンプするようにしてもよい。
【0044】
表示制御部42は、運動演算部44が算出したアイコンの姿勢及び位置を用いてアイコンを表示するとともに、背景画像をぼかしてアイコンが跳ね上がっていることを視覚的に分かりやすく表示する。背景画像のほかに、ぼかした背景画像をデータ保持部60に格納しておき、表示制御部42は、データ保持部60からぼかした背景画像を読み出して、アイコンがジャンプしている間、ぼかした背景画像に切り替えてもよいし、既知の画像処理技術を用いて背景画像をぼかしてもよい。前者の場合、アイコンがジャンプしている高さに応じて複数種類の背景画像をデータ保持部60に格納しておき、表示制御部42は、アイコンの高さに応じて背景画像を切り替えてもよい。後者の場合、アイコンの高さが高いほど、ぼかしの度合いを大きくしてもよい。
【0045】
表示制御部42は、アイコン91の画像を拡大することにより、アイコン91がジャンプする様子を表現してもよい。表示制御部42は、アイコン91をレンダリングする際の視点位置をアイコン91に近づけることにより、アイコン91がジャンプする様子を表現してもよい。
【0046】
アイコン91が跳ね上げられている間に、ユーザが所定の操作入力、例えば、デスクトップ画面90を指でタップするなどの操作入力を行ったとき、図18に示すように、表示制御部42は、操作入力を受け付けた時点でアイコン91を静止させる。これにより、アイコン91を拡大して見やすくすることができるので、ユーザの利便性を向上させることができる。また、単に表示領域をズームアップするのではなく、アイコンを跳ね上げてから止めることにより拡大させるという斬新で見た目にも面白いユーザインタフェースを提供することができる。
【0047】
表示制御部42は、全てのアイコンを静止させてもよいし、特定のアイコンを静止させてもよい。例えば、ユーザがデスクトップ画面90のアイコン91が表示されていない領域をタップしたときは、全てのアイコンを静止させ、特定のアイコンをタップしたときは、そのアイコンのみを静止させてもよい。表示制御部42は、アイコンの属性に応じて、静止させるアイコンを決定してもよい。例えば、ユーザがお気に入りとして設定したアイコンのみを静止させてもよい。
【0048】
表示制御部42は、表示装置68の表示画面に対する鉛直上向きの加速度だけでなく、携帯端末10に所定量以上の加速度が加わったとき、又は、所定量以上の角加速度が加わったときに、姿勢位置演算部43により算出された加速度又は角加速度を用いて算出される力をアイコン91に作用させ、運動演算部44によりアイコン91の挙動を算出して表示に反映させてもよい。例えば、1−1の例のように、アイコンを揺らしてもよいし、1−2の例のように、アイコンを移動させてもよいし、アイコンを回転させてもよい。
【0049】
以上の各機能は、単独で携帯端末10に利用されてもよいし、2以上の機能の任意の組み合わせが携帯端末10に利用されてもよい。
【0050】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0051】
10 携帯端末、40 制御部、41 ユーザインタフェース部、42 表示制御部、43 姿勢位置演算部、44 運動演算部、45 照明演算部、46 入力受付部、48 アプリケーション実行部、60 データ保持部、62 アイコンテーブル、68 表示装置、69 タッチパネル、70 背面タッチパネル、72 3軸ジャイロセンサ、73 3軸加速度センサ。
【特許請求の範囲】
【請求項1】
表示装置と、
携帯端末の姿勢又は位置を検知するためのセンサと、
データを保持する保持部と、
前記保持部に保持されたデータに対応するアイコン又はオブジェクトを前記表示装置に表示する表示制御部と、
三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画する照明演算部と、
を備えることを特徴とする携帯端末。
【請求項2】
前記照明演算部は、前記アイコン又はオブジェクトを表面に配置した前記携帯端末を前記三次元仮想空間内に配置し、前記携帯端末の姿勢又は移動に応じて、前記三次元仮想空間における前記アイコン又はオブジェクトと前記光源との相対位置を算出することを特徴とする請求項1に記載の携帯端末。
【請求項3】
前記表示制御部は、前記アイコン又はオブジェクトを表示する画面に背景画像を更に表示し、
前記照明演算部は、前記背景画像に投影された前記アイコン又はオブジェクトの影を描画する
ことを特徴とする請求項1又は2に記載の携帯端末。
【請求項4】
表示制御部が、携帯端末の姿勢又は位置を検知するためのセンサから、前記携帯端末の姿勢に関する情報を取得するステップと、
前記表示制御部が、データを保持する保持部に保持されたデータに対応するアイコン又はオブジェクトを表示装置に表示するステップと、
照明演算部が、三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画するステップと、
を備えることを特徴とする表示方法。
【請求項5】
表示制御部が、携帯端末の姿勢又は位置を検知するためのセンサから、前記携帯端末の姿勢又は位置に関する情報を取得する機能と、
前記表示制御部が、データを保持する保持部に保持されたデータに対応するアイコン又はオブジェクトを表示装置に表示する機能と、
照明演算部が、三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項6】
請求項5に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
表示装置と、
携帯端末の姿勢又は位置を検知するためのセンサと、
データを保持する保持部と、
前記保持部に保持されたデータに対応するアイコン又はオブジェクトを前記表示装置に表示する表示制御部と、
三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画する照明演算部と、
を備えることを特徴とする携帯端末。
【請求項2】
前記照明演算部は、前記アイコン又はオブジェクトを表面に配置した前記携帯端末を前記三次元仮想空間内に配置し、前記携帯端末の姿勢又は移動に応じて、前記三次元仮想空間における前記アイコン又はオブジェクトと前記光源との相対位置を算出することを特徴とする請求項1に記載の携帯端末。
【請求項3】
前記表示制御部は、前記アイコン又はオブジェクトを表示する画面に背景画像を更に表示し、
前記照明演算部は、前記背景画像に投影された前記アイコン又はオブジェクトの影を描画する
ことを特徴とする請求項1又は2に記載の携帯端末。
【請求項4】
表示制御部が、携帯端末の姿勢又は位置を検知するためのセンサから、前記携帯端末の姿勢に関する情報を取得するステップと、
前記表示制御部が、データを保持する保持部に保持されたデータに対応するアイコン又はオブジェクトを表示装置に表示するステップと、
照明演算部が、三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画するステップと、
を備えることを特徴とする表示方法。
【請求項5】
表示制御部が、携帯端末の姿勢又は位置を検知するためのセンサから、前記携帯端末の姿勢又は位置に関する情報を取得する機能と、
前記表示制御部が、データを保持する保持部に保持されたデータに対応するアイコン又はオブジェクトを表示装置に表示する機能と、
照明演算部が、三次元仮想空間内の、前記携帯端末の姿勢又は位置に基づいて算出される位置に、前記アイコン又はオブジェクト及び光源を配置し、前記光源から発せられる光が当たったときの前記アイコン又はオブジェクトの表面を描画する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項6】
請求項5に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図2】
【図3】
【図4】
【図1】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図3】
【図4】
【図1】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2012−155556(P2012−155556A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−14541(P2011−14541)
【出願日】平成23年1月26日(2011.1.26)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成23年1月26日(2011.1.26)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】
[ Back to top ]