表示装置
【課題】姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、大きな表示情報の閲覧とポインタの操作性を向上させる。
【解決手段】タッチセンサ５を用いてポインタ移動を行う機能を有し、スクロールのときにはポインタ４は表示素子３の枠に対して固定する。タッチセンサ５で指の移動を検出したときには、姿勢センサ６によるスクロールを中止し、指の移動が止まって所定時間の間はポインタ４を表示情報に対して固定する。これにより、姿勢センサ６によるスクロール機能、及びポインタ制御機能を両立させて、大きな表示情報の閲覧及びポインタの操作性が向上する。
【解決手段】タッチセンサ５を用いてポインタ移動を行う機能を有し、スクロールのときにはポインタ４は表示素子３の枠に対して固定する。タッチセンサ５で指の移動を検出したときには、姿勢センサ６によるスクロールを中止し、指の移動が止まって所定時間の間はポインタ４を表示情報に対して固定する。これにより、姿勢センサ６によるスクロール機能、及びポインタ制御機能を両立させて、大きな表示情報の閲覧及びポインタの操作性が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話、携帯端末、電子機器等に用いられる表示装置に関するものである。
【背景技術】
【０００２】
携帯端末装置の表示素子は画面サイズが小さく、表示できる情報量には限界がある。
【０００３】
地図や広角画像など、表示素子の画面では表示しきれない大きな表示情報を表示するときには、キー操作などによるスクロール手段が有効である。
【０００４】
スクロール機能を特定の物理的キーで行う代わりに、表示素子上に配置された透明タッチパネルを用いた操作方法がある。（例えば特許文献１）
また、加速度センサや方位センサなどの姿勢センサで検出した端末の表示画面の向きに応じて表示情報をスクロールする方法も提案されており、キー操作が不要となり操作感が向上する。（例えば特許文献２）
地図や広角画像のように大きな表示情報を閲覧するだけなら、上記のスクロール機能で十分であるが、例えば、地図や画像などの表示情報の一部の拡大や、Ｗｅｂブラウザの表示情報を閲覧する場合には、スクロール機能に加えて、ポインタを用いて表示情報の特定位置を指定機能などが新たに必要となる。
【０００５】
ポインタの表示は画面上に矢印などを用いて表示し、十字キーやタッチセンサ（タッチパッド）やマウスを用いて上下左右に動かすことが一般的である。
【０００６】
表示素子上に透明タッチパネルが存在する場合には、必ずしもポインタを表示する必要はなく、選択したい箇所を直接指で触れることで容易に位置の指定が可能である。（例えば特許文献１）
一方、３Ｄコンテンツとともに３Ｄ表示用機器が増えきている。
【０００７】
３Ｄの表示方法としては、左目視線の左画像と右目視線の右画像を横に並べたサイドバイサイドのステレオ画像を、それぞれ左右の目で見ることにより、３Ｄ画像を表示するステレオビューアを用いた３D表示方式がある。（例えば特許文献３）
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２３４１９９号公報
【特許文献２】特許第３５２８７２８号公報
【特許文献３】特開２００４−１７７４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のスクロール機能とポインタ機能が必要となるＷｅｂブラウザなどの操作においては、十字キーなどを用いて、上下左右のスクロールやポインタ移動を行っていたが、スクロールとポインタ機能を同時に行うことは想定されておらず、どちらか一方の機能しか操作することができない。すなわち、スクロールとポインタ機能の切り換えが必要となっていた。
【００１０】
また、特許文献１によれば、透明タッチパネル（タッチセンサ）を用いてスクロール及びポインタ機能を実現できるが、上記と同様にスクロールとポインタ機能のどちらか一方の機能しか操作することができない。
【００１１】
また、特許文献２によれば、姿勢センサで検出した表示画面の方向に応じて画面の表示情報をスクロールする方法は、キー操作などが不要で操作性が高まるが、ポインタ操作機能は想定されていなかった。
【００１２】
そこで、上記姿勢センサによるスクロール機能に、十字キーやタッチパッドによるポインタ操作を追加するとＷｅｂブラウザの操作が可能となる。
【００１３】
しかし、スクロールとポインタ移動を同時に操作すると、表示情報に対するポインタの位置が姿勢センサの動きとスクロールの動きの両方に影響を及ぼして変化してしまうため、ポインタの操作がうまく行うことができない。
【００１４】
従って、スクロールのときにはポインタ移動を停止し、ポインタ移動のときにはスクロールを停止するように切替え動作をユーザが行う必要があり、操作性が悪いという課題が残ってしまっていた。
【００１５】
また、上記特許文献２の姿勢センサによるスクロールは、携帯端末の表示画面サイズが小さくなると、以下の理由により操作性が大きく低下する。
【００１６】
携帯端末装置は、表示画面の短辺サイズは例えば約５センチメートルに対して、表示画面とユーザの視点との距離は通常２０〜３０センチメートルくらいで見ることが多い。例えば、表示画面サイズの１／５の１０ミリメートルのスクロールを行うとき、表示画面に対する垂線ベクトルの方向の変化量は、約１〜１．５度くらいとなる。従って、携帯端末の向きを約１度より十分高い精度で一定になるようにコントロールしないと表示画面がぶれて見にくくなり、操作性が非常に悪い。
【００１７】
また、従来の磁気センサを用いた方位角の測定誤差は数度程度のため、上記の小さい角度変化量を制御するためには高精度のセンサが必要になる。
【００１８】
従って、上記姿勢センサによるスクロールは操作性が悪いという課題があった。
【００１９】
本発明は、上述の問題点を解決するためになされたもので、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、大きな表示情報の閲覧とポインタの操作性を向上することを目的とする。
【課題を解決するための手段】
【００２０】
次に、上記の課題を解決するための手段について述べる。
【００２１】
本発明は、 表示素子と、姿勢センサと、前記表示素子上にはない第一ポインティング手段と、を有する表示装置であって、前記表示素子は、前記表示素子の画面よりも大きなサイズの表示情報の一部とポインタとを表示する機能を有し、前記表示素子は、前記姿勢センサから検出される前記表示画面の垂線ベクトルの向きまたはその変化量に応じて、表示情報を変化し、前記第一ポインティング手段は、操作方向と操作移動量を検出し、前記操作方向と前記操作移動量に応じて前記ポインタが移動し、前記操作移動量を検出したときには、表示情報が変化することを中断し、前記操作移動量の停止を検出したのち所定の経過時間の間は、前記ポインタの位置が表示情報に対して固定され、前記経過時間の間以外は、前記ポインタの位置が前記表示素子に対して固定されている。
【００２２】
また、本発明は、さらに双眼レンズを有し、前記表示素子の画面の一部を左画面と右画面に二分割し、分割された前記画面に前記表示情報の一部をそれぞれ表示し、前記双眼レンズを通して前記表示情報を表示する第一表示モードを有し、前記ポインタは前記左画面と前記右画面に同時に表示され、前記ポインタの移動ベクトル量は前記左画面と前記右画面で同じである。
【００２３】
また、本発明は、前記ポインタの前記左画面の中心に対する第一の位置が前記右画面の中心に対する第二の位置と水平方向に異なっていて、前記第一の位置と前記第二の位置の水平位置の差が一定のまま、前記ポインタが移動する。
【００２４】
また、本発明は、前記表示情報は左用表示情報と右用表示情報からなる立体情報であり、
前記左画面と前記右画面に前記左用表示情報と前記右用表示情報の一部をそれぞれ表示し、前記双眼レンズを通すことにより前記立体情報を表示する第二表示モードを有する。
【００２５】
また、本発明は、前記表示素子上にはない第二ポインティング手段を有し、前記第二ポインティング手段は第二操作移動量を検出し、前記第二表示モードにおいて、前記ポインタの前記水平位置の差が前記ポインティング手段の第二操作移動量に応じて変化する。
【発明の効果】
【００２６】
本発明によれば、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、大きな表示情報の閲覧とポインタの操作性が高い表示装置を実現できる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態１の携帯端末装置の概略斜視構造図
【図２】本発明の実施の形態１のスクロール方法の説明図
【図３】本発明の実施の形態１のスクロール機能とポインタ移動の様子を示す概略図
【図４】本発明の実施の形態１のスクロール機能とポインタ移動の様子を示す概略図
【図５】本発明の実施の形態２の携帯端末装置の概略斜視構造図
【図６】本発明の実施の形態２の２画面表示モードの表示画面の説明図
【図７】本発明の実施の形態２のスクロール時の表示素子と目の位置関係を示す図
【図８】本発明の実施の形態３の立体表示モードの表示画面の説明図
【図９】本発明の実施の形態３の立体表示モードの表示画面の一例を示す図
【図１０】本発明の実施の形態３の立体表示モードのポインタ移動方法を示す図
【図１１】本発明の実施の形態３の立体表示モードのポインタの例を示す図
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
本実施の形態では携帯端末装置に適用した場合を例に説明するが、その他、ポータブルなカーナビゲーションやテレビやゲーム機など、表示素子を有する電子機器に適用した場合も同様である。
【００２９】
図１に本発明の携帯端末装置の概略斜視構造図を示す。
【００３０】
表示素子３による表示機能を含む上筐体１とキー操作機能を含む下筐体２からなる折畳み型携帯端末装置であり、図のように上筐体が開いて、表示素子３の長辺が横向きになるように操作することができる。
【００３１】
なお、以下は表示素子３の長辺が横向きの場合について説明するが、長辺が縦向きの形態で使用するときも同様である。
【００３２】
下筐体にはキー７とタッチセンサ（タッチパッド）５が配置されている。
【００３３】
また、下筐体には携帯端末の姿勢を検出する姿勢センサ６が内蔵されている。姿勢センサは上筐体に内蔵されていても構わない。
【００３４】
姿勢センサ６は、例えば３軸の加速度センサと３軸の磁気センサを組み合わせたものである。これにより、携帯端末装置の表示画面の垂線ベクトルの絶対的方位がわかる。
【００３５】
なお、姿勢センサは表示画面の方向の変化が検出できればよく、例えば３軸の加速度センサのみであっても構わない。
【００３６】
姿勢センサ６で検出した表示画面の垂線ベクトルの方向の変化に応じて、表示素子の表示情報が上下または左右にスクロールする機能を有している。
【００３７】
図２を用いてスクロール方法について詳細に説明する。
【００３８】
図２（１）は全ての表示情報８を表示情報８の中心１１（０、０）を原点としてｘｙ座標軸に配置したものである。
【００３９】
ここで表示情報とは、例えば地図や広角画像やＷｅｂブラウザ情報などである。
【００４０】
全表示情報８の中の一部（または全部）の表示領域９を切り出して、表示素子３の全面または一部分へ表示する。
【００４１】
表示された表示情報９の上にポインタ４を例えば矢印で表示させる。ポインタは矢印で示しているがそれ以外の形状でも構わない。ポインタの位置の操作方法については後述する。
【００４２】
表示領域９は、全表示領域の中心点１１の座標１２（ｘ０、ｙ０）と拡大率ｎで定義できる。
【００４３】
拡大率ｎは、例えば表示領域９の縦の画素数Ａ２に対する全表示情報８の縦の画素数Ａ１の比として定義することができる。表示領域のサイズが小さくなると表示素子の表示情報は拡大表示される。
【００４４】
表示領域９の中心１２の原点１１に対する位置ベクトル１０をΔａとする。
【００４５】
Δａは姿勢センサで検出された、表示画面の法線ベクトルｅに応じて決定する。
【００４６】
法線ベクトルｅからΔａの算出方法の一例を図２（２）に示す。
【００４７】
例えば、法線ベクトルがｅ０であった場合に表示領域９の中心を原点１１と等しいとしたときに、表示画面の方向（法線ベクトル）がｅ１に変化したときには、Δａ＝ｃ・（ｅ１−ｅ０）とすることにより、表示画面の方向の変化に応じて、表示領域９の位置が変化してスクロールが行われる。
【００４８】
ここで、ｃは正の定数であり、ｃが大きいとスクロールの速度が速くなる。
【００４９】
例えば、表示情報が静止画像や動画である場合に、原点に対する表示領域９の中心１２方向の向きの変化がｅ１−ｅ０に等しくなるように定数ｃを選ぶと、スクロールに応じた表示画像の変化が、実際に画像撮影したときの景色の変化と同等になるため、撮影場所に居るような感覚を得ることができる。
【００５０】
次に、ポインタ４の操作方法について述べる。
【００５１】
図３（１）にはスクロール時の表示画面の様子を示す。表示画面の方向が移動したときに、図のように表示情報１６が移動（スクロール）する。
【００５２】
このとき、ポインタ４は表示素子の枠に対して固定することが必要である。
【００５３】
なぜなら、ポインタが表示情報とともに移動すると、スクロール操作によってポインタが画面から消えてしまう。または、ポインタが画面端に到達したときに消え失せないように画面端に固定することも可能だが、ポインタを中心付近まで移動させる手間が発生し、ポインタの操作性が劣化するからである。
【００５４】
ここで、「ポインタが表示素子の枠に対して固定する」というのは、図３（１）に示すように、表示情報（文字や地図や画像など）のスクロール（移動）とは無関係に、ポインタが表示素子の枠に対して動かないことをいう。
【００５５】
図３（２）はポインタ操作を行ったときの表示画面の様子を示す。下筐体２の上のタッチセンサ５の上を、例えば親指１５で触れたままベクトル８の方向に移動したことをタッチセンサが検出したときに、表示情報のスクロールを自動的に中止する（無効とする）。
【００５６】
さらに、タッチセンサ５はベクトル８を検出し、ベクトル１８に応じた方向と量のベクトル１７の分だけ、ポインタ４を移動させる。
【００５７】
ポインタを移動するときにはスクロールが中止されるので、指の移動量に比例したポインタ移動が可能になる。
【００５８】
なお、ポインタの移動は、タッチセンサ５が指１５の移動ベクトルを検出したときに行われ、指が単にタッチセンサに触れているだけでは、ポインタは移動せず、スクロールも中止されない。
【００５９】
ある一つのポインタ移動が実行された直後に、ユーザが行う行動として以下のことが考えられる。
（B１）ユーザはポインタ位置に関連付けられたメニューを実行するために、例えばキー７を押す。
（B２）ユーザはさらにポインタを動かすために、指を一旦タッチセンサから離したのち、再びタッチセンサに触れて指を移動させる。
（B３）ユーザはポインタ移動することをやめて、そのまま画面を見続けるかスクロール操作を開始する。
【００６０】
ポインタ移動が停止したときに上述のスクロール操作を有効にする処理では、以下のような課題が発生する。
【００６１】
図４（１）に示すように、ユーザが（B１）のキー操作を行うときに携帯端末の画面９がぶれて表示情報１６がぶれてしまい、表示情報に対するポインタの相対位置がずれてしまう。
【００６２】
また、ユーザが（Ｂ２）の動作を行う間に携帯端末が不本意に動くことがある。このとき、ユーザはポインタを動かす意思がなくても上記と同様に表示情報に対するポインタの相対位置がずれてしまう。
【００６３】
上記の課題を解決するために、ポインタ移動が停止した直後のある一定の時間（Ｔ）の間だけ図４（２）のようにスクロールのときにポインタも移動することによって、ポインタが表示情報に対して相対的に動かないように固定する。
【００６４】
なお、ここで「ポインタが表示情報に対して固定する」というのは、表示情報（文字や地図や画像など）の移動方向と移動量と同じ量だけポインタが移動することで、ポインタと表示情報の相対的位置が変わらないようにすることをいう。
【００６５】
ある一定時間Ｔが経過したのちには、ポインタが表示素子の枠に対して固定されるような元のスクロール動作に戻る。
【００６６】
ポインタ移動停止の直後は、ユーザが（Ｂ１）から（Ｂ３）のどの動作をするのかわからない。そこで、ある一定時間Ｔの間だけ上記の処理をすることによって、上述の（Ｂ１）や（Ｂ２）で発生する課題を解決することができる。
【００６７】
（Ｂ１）または（Ｂ２）を行うのはポインタ移動停止後わずかな時間内であることが多いため、例えば、時間Ｔは数秒以下の短い時間で構わない。
【００６８】
なお、ポインタ移動停止直後の時間Ｔの間はスクロールを停止するというだけの処理では、上述の（Ｂ１）と（Ｂ２）の課題は解決できるが、（Ｂ３）のスクロール操作ができないのでユーザにとって操作性が大きく劣化することになり、十分な解決方法とはならない。
【００６９】
本発明では、所定時間Ｔの間であっても、ポインタ移動操作かスクロール操作に限定するものではなく、両方の操作が可能である。
【００７０】
なお、ポインタが表示情報に対して固定する場合には、ポインタが指し示す文字や図から完全にずれない程度に固定されていればよく、文字の大きさや図の大きさより小さいずれ（表示情報に対するポインタの相対的位置ずれ）が発生しても構わない。
【００７１】
なお、上記時間Ｔの間にユーザが動作（Ｂ３）のスクロール操作を行うと、ポインタが画面の枠（＝画面の端）より外側に移動して画面から消えることがある。そこで、（Ｂ３）のようにポインタが表示画面に対して移動しているときには、前記ポインタが前記画面から消えないようにポインタの移動を限定することが望ましい。例えば、ポインタが画面の端に到達したときにはポインタを表示素子の枠に対して固定すればよい。すなわち、上記時間Ｔの間は、ポインタが表示情報に対して相対的に動かないようにするが、例えばポインタが画面の端に到達したときには、上記時間Ｔの間でもポインタを表示素子の枠に対して固定するほうがよい場合もある。
【００７２】
なお、上記の説明ではポインタを動かすポインティングデバイスとして、タッチセンサを例に述べたが、例えばトラックボールやマウスなどのように、移動量と移動方向が指定できるデバイスであればどれでも構わない。
【００７３】
以上のように、本実施の形態１の携帯端末装置により、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、ポインタの操作性が高い表示装置を実現できる。
（実施の形態２）
本実施の形態は実施の形態１と同様に、携帯端末装置に適用した場合を例に説明するが、その他、ポータブルなカーナビゲーションやテレビやゲーム機など、表示素子を有する電子機器に適用した場合も同様である。
【００７４】
図５に本発明の携帯端末装置の２画面表示モードのときの概略斜視構造図を示す。
【００７５】
本実施の形態の携帯端末装置は、通常表示モードと２画面表示モードを有する。
【００７６】
表示素子３の画面は長方形状を有していて、２画面表示モードのときには横向きで使用し、通常表示モードのときには横向きまたは縦向きいずれの場合でも使用できる。
【００７７】
２画面表示モードでは、実施の形態１の上下筐体の構造に加えて、２つの凸レンズからなる双眼レンズ２０を用いる。
【００７８】
上筐体の表示素子の表面から所定距離だけ離れた場所に、双眼レンズ２０を表示画面に平行に配置する。双眼レンズ２０は上筐体１に固定されたアーム１９に支えられることで所定位置に保持されている。
【００７９】
表示素子３の画面は左画面２１と右画面２２に左右二分割され、それぞれ同等の表示情報を表示する。
【００８０】
双眼レンズの左右凸レンズを介して、左目で左画面、右目で右画面を見ることによって、ステレオ表示（２画像の同一視）を実現する。
【００８１】
なお、凸レンズの倍率はルーペ等で利用される数倍の倍率、すなわち焦点距離が５ｃｍ〜１５ｃｍ程度の低倍率のものが適している。倍率を大きくしすぎると左右画面が視野全体の収まらず、一部しか見えなくなるとともに、画素の粗さが目立ってくる。逆に倍率を小さくしすぎるとユーザと画面の距離を長くしないと焦点を結ぶことが困難となり、視野角が小さくなる。
【００８２】
なお、凸レンズは通常のガラスまたは透明樹脂製の凸レンズで構わないが、フレネルレンズを用いることによってより薄型化が可能となる。
【００８３】
図６は左右表示情報の表示方法の一例を示す。
【００８４】
実施の形態１と同様に、姿勢センサ６で検出した表示画面の法線ベクトル方向の変化量に関連したベクトルΔａだけ移動した点を中心として、仮の表示領域９を決める。
【００８５】
なお、ベクトルΔａの設定方法は実施の形態１と同様である。
【００８６】
図６（２）に示すように、表示領域９の一部をさらに切り出して、左画面と右画面とする。左画面を実線、右画面を点線で示す。左画面の中心は表示領域９の中心１２よりも右に特定のシフト量２３（ΔＳ）だけずれていて、一方、右画面の中心は中心１２よりも左にΔＳだけずれている。
【００８７】
ここで、シフト量２３（ΔＳ）は左右画面の輻輳角を調整するためのパラメータである。
【００８８】
人間の両目の間隔が例えば約６．５ｃｍに対して、例えば携帯端末の３インチディスプレイを２画面に分けたときの左右画面の中心点間隔は約３．５ｃｍである。
【００８９】
従って、ΔＳは正、すなわち表示領域９の中心１２は左画面では左、右画面では右にシフトすることが必要である。
【００９０】
例えば、輻輳角をゼロ度にするためには、シフト量ΔＳ＝１．５ｃｍ（＝（６．５−３．５）／２）とすればよい。また、輻輳角をゼロより大きくするには、ΔＳを１．５ｃｍよりも少し小さくすればよい。
【００９１】
図６（３）に示すように、ポインタ４も表示情報と同様に、左画面と右画面上にそれぞれ表示し、左画面ポインタと右画面ポインタの水平位置を２×ΔＳだけずらすことにより、表示情報と同じ輻輳角で認識できる。
【００９２】
従来の３インチ程度の横幅約７ｃｍの表示画面をもつ携帯端末の第一形態での表示では、図２（１）に示すように、ユーザの目と画面の距離が約3０ｃｍ程度離れた状態で使用することが多い。このときは横方向の視野角は約１３度程度となる。
【００９３】
一方、上述の２画面表示モードでは、双眼レンズを用いることにより、ユーザの目と画面間距離を５〜１０ｃｍ程度に小さくすることができる。これにより視野角が３８度以上となり臨場感のある拡大表示を実現できる。
【００９４】
さらに、上述の２画面モードの構成は、姿勢センサを用いたスクロール機能の操作性が、レンズを用いない通常表示モードに比べて向上する。以下にその理由について説明する。
【００９５】
姿勢センサを用いたスクロール方法は、実施の形態１と同様であるため詳細説明は省略する。
【００９６】
図７（１）は通常表示モードにおける表示素子とユーザの目の位置関係を示す。
【００９７】
図７（２）は２画面表示モードにおける表示素子とユーザの目の位置関係を示す。
【００９８】
通常表示モードにおいて、表示素子の縦サイズＬを約７ｃｍ、ユーザの目と表示素子間距離を約３０ｃｍとすると、画面が０．５Ｌだけ右に動かしたときの表示画面の垂線ベクトルの方向の変化量（移動角２７）は約３．３度（＝Ａｒｃｔａｎ（３．５／３０））となる。
【００９９】
従って、通常表示モードでは、わずかな角度変化（約３度）で画面スクロール量が大きい（５０％）ので操作性が悪いといえる。
【０１００】
一方、２画面表示モードにおいて、ユーザの目と表示素子間距離を約１０ｃｍとすると、表示画面の垂線ベクトルの方向の変化量（移動角２７）が約３．３度のとき、画面移動量は約０．５７ｃｍとなり、０．０８×Ｌに相当する。
【０１０１】
従って、２画面表示モードでは、わずかな角度変化（約３度）で画面スクロール量２８が小さい（８％）ので、通常表示モードに比べて操作性が大きく向上する。
【０１０２】
以上のように、本実施の形態２の携帯端末装置により、実施の形態１よりも姿勢センサによるスクロール機能の操作性が高い表示装置を実現できる。
（実施の形態３）
本実施の形態は実施の形態２と同様に、携帯端末装置に適用した場合を例に説明するが、その他、ポータブルなカーナビゲーションやテレビやゲーム機など、表示素子を有する電子機器に適用した場合も同様である。
【０１０３】
本実施の形態の携帯端末装置は、通常表示モードと２画面表示モードに加えて、立体表示モードを有する。
【０１０４】
立体表示モードの構成は図５に示す実施の形態２と同様のため、詳細説明は省略する。
【０１０５】
左画面に左画像情報、右画面に右画像情報を表示し、双眼レンズを通して左右の目で左右画像を見ることによって立体視が可能となる。
【０１０６】
図８は、立体表示モードにおける左右表示情報の決定方法を示す。
【０１０７】
左表示情報３１の中心１１からΔａ離れた点１２を中心として仮の表示領域９を切り出す。さらに、表示領域９の中心１２からシフト量ΔＳだけ右にずれた点を中心とした領域を切り出し、左表示情報２１とする。
【０１０８】
また、右表示情報３２の中心１１からΔａ離れた点１２を中心として仮の表示領域９を切り出す。さらに、表示領域９の中心１２からシフト量ΔＳだけ左にずれた点を中心とした領域を切り出し、右表示情報２２とする。
【０１０９】
ここで、シフト量２３（ΔＳ）は実施の形態２と同様に、左右画面の輻輳角を調整するためのパラメータである。最適なシフト量ΔＳを設定することで、立体情報の再生が可能になる。
【０１１０】
図９は、立体表示モードにおけるポインタの操作方法を示す。
【０１１１】
下筐体２の操作面には左右２つのタッチセンサを有し、右側のタッチセンサ５はポインタの上下左右の移動で、左側のタッチセンサ３３は奥行き方向の移動を実現する。
【０１１２】
図９（１）は上下左右方向のポインタ移動方法を示す。タッチセンサ５に触れた指の移動量ベクトル１８に比例したベクトル１７の移動量でポインタ４を移動する。
【０１１３】
図９（２）は表示画面に対して奥行き方向（垂直方向）のポインタ移動の様子を示す。タッチセンサ３３に触れた指の縦方向の移動量１８（Δｔ）に応じて、ポインタ４を奥行き方向へ移動させる。ここで、ポインタが遠ざかるときにはΔｔが正とする。
【０１１４】
次に、ポインタの奥行き方向の移動方法について説明する。
【０１１５】
図１０（１）から（３）にポインタの奥行き方向への移動とポインタ移動方向の関係を示す。
【０１１６】
図１０（４）は上から見たときの仮想立体空間３６と投影面３７と目の位置関係である。
【０１１７】
仮想空間内のポインタの位置が点Ｑ１（３８）から点Ｑ２（３９）に移動したときに、左右の目で見た様子を投影面３７に投影したとき、図１０（４）に示すように両眼視差がΔｐｘｌ＋Δｐｘｒだけ減少する。ここで、Δｐｘｌは左目の視差変化、Δｐｘｒは右目の視差変化である。
【０１１８】
従って、奥行き方向に移動したときは左右画面のポインタの視差が小さくなるように位置をずらせばよい。
【０１１９】
図１０（１）は、ポインタ位置３５（ｐｘ、ｐｙ）のｐｙ＝０のときの移動の様子を示す。
【０１２０】
右画面のポインタは左方向、左画面のポインタは右方向に移動し、上下方向の移動はない。
【０１２１】
図１０（２）は、ポインタ位置３５（ｐｘ、ｐｙ）のｐｙ＜０のときの移動の様子を示す。
【０１２２】
右画面のポインタは左方向、左画面のポインタは右方向に移動するとともに、上方向にΔｐｙ移動する。
【０１２３】
図１０（３）は、ポインタ位置３５（ｐｘ、ｐｙ）のｐｙ＞０のときの移動の様子を示す。
【０１２４】
右画面のポインタは左方向、左画面のポインタは右方向に移動するとともに、下方向にΔｐｙ移動する。
【０１２５】
ポインタの移動量の設定方法の一例を示す。
【０１２６】
視差ΔｐｘｌとΔｐｘｒをタッチセンサ３３で検出した移動量Δｔに比例して変化させる。
【０１２７】
すなわち、Δｐｘｌ＝Δｐｘｒ＝ｃ１・Δｔとする。ｃ１はある定数とする。
【０１２８】
図１０（４）に示すように、ポインタの仮想位置がＱ１からＱ２へ観察者（ユーザ）から遠ざかるように変化したとき、左右の視差の変化ΔｐｘｌとΔｐｘｒは一般的には異なるが、ここでは、Δｐｘｌ＝Δｐｘｒとしてよい。なぜなら、本発明のポインタ操作はポインタを相対的に単に動かすことが目的であり、仮想空間のＱ１からＱ２の場所に正確に移動させる必要はないからである。
【０１２９】
上下方向の移動量Δｐｙは左右画面で同じである。また、Ｑ１からＱ２への奥行き方向の移動量が同じときには、ポインタの位置３５のＹ座標ｐｙが大きいほど大きくする。
【０１３０】
すなわち、例えばΔｐｙ＝−ｃ２・ｐｙ・Δｔ とする。ｃ２はある定数とする。
【０１３１】
Δｐｙはｐｙに関して単調増加すれば、必ずしもｐｙに比例していなくても構わない。なぜなら、本発明のポインタ操作はポインタを相対的に単に動かすことが目的であり、仮想空間のＱ１からＱ２の場所に正確に移動させる必要はないからである。
【０１３２】
さらに、ポインタが奥行き方向に移動するにしたがって、ポインタサイズＤを小さくすることで、ポインタが立体空間の中で移動しているように見える。
【０１３３】
例えばＤ＝ｃ３・｜ｐｘｌ−ｐｘｒ｜とすればよい。ｃ３はある定数とする。
【０１３４】
なお、両眼視差が小さくなるにしたがって、ポインタサイズＤが小さくなり、最終的にゼロに近づくようにすれば、変化の仕方は自由に決めて構わない。
【０１３５】
ポインタがＱ１からＱ２に変化したときのポインタサイズの変化を忠実に再現していなくても構わない。なぜなら、本発明のポインタが奥行き方向に移動したかどうかが判別できればよいからである。
【０１３６】
次に、ポインタの追加機能について説明する。
【０１３７】
ポインタが指定した点においてある特定の動作機能を実行するものとする。
【０１３８】
図１１（１）はポインタが仮想的な手を表し、手の位置にある仮想物体をつかむという特定の動作機能がある場合の表示画面の様子を示す。例えば「つかむ」という動作機能は、タッチセンサ１５をタップ操作４２することによって実現する。なお、タッチセンサの代わりに特定のキーを用いて行っても構わない。
【０１３９】
図１１（２）はポインタが仮想的な銃を表し、銃の位置から弾丸を発射するという特定の動作機能がある場合の表示画面の様子を示す。「発射する」という動作機能は、例えばタッチセンサ１５をタップ操作４２することによって実現する。なお、タッチセンサの代わりに特定のキーを用いて行っても構わない。
【０１４０】
なお、前記動作機能は上記図１１（１）、（２）に限定するものではなく、ポインタの先端が変形する機能やポインタからある物体が生成される機能であってもよい。
【０１４１】
上述のポインタの追加機能により、例えばゲームなどにおいて複雑な操作が可能となる。
【０１４２】
以上のように、本実施の形態３の携帯端末装置により、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、ポインタの操作性が高い立体情報表示装置を実現できる。
【産業上の利用可能性】
【０１４３】
本発明は例えば携帯端末装置として有用であり、テレビ、携帯電話、携帯端末、カーナビゲーション、等々の様々な電子機器に利用可能である。
【符号の説明】
【０１４４】
１ 上筐体
２ 下筐体
３ 表示素子
４ ポインタ
５ タッチセンサ
６ 姿勢センサ
７ キー
８ 全表示情報
９ 表示領域
１０ スクロールベクトル
１１ 表示情報の基準点
１２ 表示領域の中心
１３ 表示画面の法線ベクトル
１４ 基準点方向に対応する表示画面の法線ベクトル
１５ 指
１６ 表示情報の一部
１７ ポインタの移動ベクトル
１８ 指の移動ベクトル
１９ アーム
２０ 双眼レンズ
２１ 左画面
２２ 右画面
２３ 中心のシフトベクトル
２４ 表示素子の横の長さ
２５ 従来の端末移動量
２６ 従来の表示素子の視野角
２７ 移動角
２８ 本発明の端末移動量
２９ 本発明の表示素子の視野角
３０ 目
３１ 左表示情報
３２ 右表示情報
３３ 第二のタッチセンサ
３４ 奥行きのポインタ移動ベクトル
３５ ポインタの先端点
３６ 仮想立体空間
３７ 投影面
３８ 移動前ポインタ位置
３９ 移動後ポインタ位置
４０ 右目の視差の変化
４１ 左目の視差の変化
４２ タップ操作
【技術分野】
【０００１】
本発明は、携帯電話、携帯端末、電子機器等に用いられる表示装置に関するものである。
【背景技術】
【０００２】
携帯端末装置の表示素子は画面サイズが小さく、表示できる情報量には限界がある。
【０００３】
地図や広角画像など、表示素子の画面では表示しきれない大きな表示情報を表示するときには、キー操作などによるスクロール手段が有効である。
【０００４】
スクロール機能を特定の物理的キーで行う代わりに、表示素子上に配置された透明タッチパネルを用いた操作方法がある。（例えば特許文献１）
また、加速度センサや方位センサなどの姿勢センサで検出した端末の表示画面の向きに応じて表示情報をスクロールする方法も提案されており、キー操作が不要となり操作感が向上する。（例えば特許文献２）
地図や広角画像のように大きな表示情報を閲覧するだけなら、上記のスクロール機能で十分であるが、例えば、地図や画像などの表示情報の一部の拡大や、Ｗｅｂブラウザの表示情報を閲覧する場合には、スクロール機能に加えて、ポインタを用いて表示情報の特定位置を指定機能などが新たに必要となる。
【０００５】
ポインタの表示は画面上に矢印などを用いて表示し、十字キーやタッチセンサ（タッチパッド）やマウスを用いて上下左右に動かすことが一般的である。
【０００６】
表示素子上に透明タッチパネルが存在する場合には、必ずしもポインタを表示する必要はなく、選択したい箇所を直接指で触れることで容易に位置の指定が可能である。（例えば特許文献１）
一方、３Ｄコンテンツとともに３Ｄ表示用機器が増えきている。
【０００７】
３Ｄの表示方法としては、左目視線の左画像と右目視線の右画像を横に並べたサイドバイサイドのステレオ画像を、それぞれ左右の目で見ることにより、３Ｄ画像を表示するステレオビューアを用いた３D表示方式がある。（例えば特許文献３）
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２３４１９９号公報
【特許文献２】特許第３５２８７２８号公報
【特許文献３】特開２００４−１７７４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のスクロール機能とポインタ機能が必要となるＷｅｂブラウザなどの操作においては、十字キーなどを用いて、上下左右のスクロールやポインタ移動を行っていたが、スクロールとポインタ機能を同時に行うことは想定されておらず、どちらか一方の機能しか操作することができない。すなわち、スクロールとポインタ機能の切り換えが必要となっていた。
【００１０】
また、特許文献１によれば、透明タッチパネル（タッチセンサ）を用いてスクロール及びポインタ機能を実現できるが、上記と同様にスクロールとポインタ機能のどちらか一方の機能しか操作することができない。
【００１１】
また、特許文献２によれば、姿勢センサで検出した表示画面の方向に応じて画面の表示情報をスクロールする方法は、キー操作などが不要で操作性が高まるが、ポインタ操作機能は想定されていなかった。
【００１２】
そこで、上記姿勢センサによるスクロール機能に、十字キーやタッチパッドによるポインタ操作を追加するとＷｅｂブラウザの操作が可能となる。
【００１３】
しかし、スクロールとポインタ移動を同時に操作すると、表示情報に対するポインタの位置が姿勢センサの動きとスクロールの動きの両方に影響を及ぼして変化してしまうため、ポインタの操作がうまく行うことができない。
【００１４】
従って、スクロールのときにはポインタ移動を停止し、ポインタ移動のときにはスクロールを停止するように切替え動作をユーザが行う必要があり、操作性が悪いという課題が残ってしまっていた。
【００１５】
また、上記特許文献２の姿勢センサによるスクロールは、携帯端末の表示画面サイズが小さくなると、以下の理由により操作性が大きく低下する。
【００１６】
携帯端末装置は、表示画面の短辺サイズは例えば約５センチメートルに対して、表示画面とユーザの視点との距離は通常２０〜３０センチメートルくらいで見ることが多い。例えば、表示画面サイズの１／５の１０ミリメートルのスクロールを行うとき、表示画面に対する垂線ベクトルの方向の変化量は、約１〜１．５度くらいとなる。従って、携帯端末の向きを約１度より十分高い精度で一定になるようにコントロールしないと表示画面がぶれて見にくくなり、操作性が非常に悪い。
【００１７】
また、従来の磁気センサを用いた方位角の測定誤差は数度程度のため、上記の小さい角度変化量を制御するためには高精度のセンサが必要になる。
【００１８】
従って、上記姿勢センサによるスクロールは操作性が悪いという課題があった。
【００１９】
本発明は、上述の問題点を解決するためになされたもので、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、大きな表示情報の閲覧とポインタの操作性を向上することを目的とする。
【課題を解決するための手段】
【００２０】
次に、上記の課題を解決するための手段について述べる。
【００２１】
本発明は、 表示素子と、姿勢センサと、前記表示素子上にはない第一ポインティング手段と、を有する表示装置であって、前記表示素子は、前記表示素子の画面よりも大きなサイズの表示情報の一部とポインタとを表示する機能を有し、前記表示素子は、前記姿勢センサから検出される前記表示画面の垂線ベクトルの向きまたはその変化量に応じて、表示情報を変化し、前記第一ポインティング手段は、操作方向と操作移動量を検出し、前記操作方向と前記操作移動量に応じて前記ポインタが移動し、前記操作移動量を検出したときには、表示情報が変化することを中断し、前記操作移動量の停止を検出したのち所定の経過時間の間は、前記ポインタの位置が表示情報に対して固定され、前記経過時間の間以外は、前記ポインタの位置が前記表示素子に対して固定されている。
【００２２】
また、本発明は、さらに双眼レンズを有し、前記表示素子の画面の一部を左画面と右画面に二分割し、分割された前記画面に前記表示情報の一部をそれぞれ表示し、前記双眼レンズを通して前記表示情報を表示する第一表示モードを有し、前記ポインタは前記左画面と前記右画面に同時に表示され、前記ポインタの移動ベクトル量は前記左画面と前記右画面で同じである。
【００２３】
また、本発明は、前記ポインタの前記左画面の中心に対する第一の位置が前記右画面の中心に対する第二の位置と水平方向に異なっていて、前記第一の位置と前記第二の位置の水平位置の差が一定のまま、前記ポインタが移動する。
【００２４】
また、本発明は、前記表示情報は左用表示情報と右用表示情報からなる立体情報であり、
前記左画面と前記右画面に前記左用表示情報と前記右用表示情報の一部をそれぞれ表示し、前記双眼レンズを通すことにより前記立体情報を表示する第二表示モードを有する。
【００２５】
また、本発明は、前記表示素子上にはない第二ポインティング手段を有し、前記第二ポインティング手段は第二操作移動量を検出し、前記第二表示モードにおいて、前記ポインタの前記水平位置の差が前記ポインティング手段の第二操作移動量に応じて変化する。
【発明の効果】
【００２６】
本発明によれば、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、大きな表示情報の閲覧とポインタの操作性が高い表示装置を実現できる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態１の携帯端末装置の概略斜視構造図
【図２】本発明の実施の形態１のスクロール方法の説明図
【図３】本発明の実施の形態１のスクロール機能とポインタ移動の様子を示す概略図
【図４】本発明の実施の形態１のスクロール機能とポインタ移動の様子を示す概略図
【図５】本発明の実施の形態２の携帯端末装置の概略斜視構造図
【図６】本発明の実施の形態２の２画面表示モードの表示画面の説明図
【図７】本発明の実施の形態２のスクロール時の表示素子と目の位置関係を示す図
【図８】本発明の実施の形態３の立体表示モードの表示画面の説明図
【図９】本発明の実施の形態３の立体表示モードの表示画面の一例を示す図
【図１０】本発明の実施の形態３の立体表示モードのポインタ移動方法を示す図
【図１１】本発明の実施の形態３の立体表示モードのポインタの例を示す図
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
本実施の形態では携帯端末装置に適用した場合を例に説明するが、その他、ポータブルなカーナビゲーションやテレビやゲーム機など、表示素子を有する電子機器に適用した場合も同様である。
【００２９】
図１に本発明の携帯端末装置の概略斜視構造図を示す。
【００３０】
表示素子３による表示機能を含む上筐体１とキー操作機能を含む下筐体２からなる折畳み型携帯端末装置であり、図のように上筐体が開いて、表示素子３の長辺が横向きになるように操作することができる。
【００３１】
なお、以下は表示素子３の長辺が横向きの場合について説明するが、長辺が縦向きの形態で使用するときも同様である。
【００３２】
下筐体にはキー７とタッチセンサ（タッチパッド）５が配置されている。
【００３３】
また、下筐体には携帯端末の姿勢を検出する姿勢センサ６が内蔵されている。姿勢センサは上筐体に内蔵されていても構わない。
【００３４】
姿勢センサ６は、例えば３軸の加速度センサと３軸の磁気センサを組み合わせたものである。これにより、携帯端末装置の表示画面の垂線ベクトルの絶対的方位がわかる。
【００３５】
なお、姿勢センサは表示画面の方向の変化が検出できればよく、例えば３軸の加速度センサのみであっても構わない。
【００３６】
姿勢センサ６で検出した表示画面の垂線ベクトルの方向の変化に応じて、表示素子の表示情報が上下または左右にスクロールする機能を有している。
【００３７】
図２を用いてスクロール方法について詳細に説明する。
【００３８】
図２（１）は全ての表示情報８を表示情報８の中心１１（０、０）を原点としてｘｙ座標軸に配置したものである。
【００３９】
ここで表示情報とは、例えば地図や広角画像やＷｅｂブラウザ情報などである。
【００４０】
全表示情報８の中の一部（または全部）の表示領域９を切り出して、表示素子３の全面または一部分へ表示する。
【００４１】
表示された表示情報９の上にポインタ４を例えば矢印で表示させる。ポインタは矢印で示しているがそれ以外の形状でも構わない。ポインタの位置の操作方法については後述する。
【００４２】
表示領域９は、全表示領域の中心点１１の座標１２（ｘ０、ｙ０）と拡大率ｎで定義できる。
【００４３】
拡大率ｎは、例えば表示領域９の縦の画素数Ａ２に対する全表示情報８の縦の画素数Ａ１の比として定義することができる。表示領域のサイズが小さくなると表示素子の表示情報は拡大表示される。
【００４４】
表示領域９の中心１２の原点１１に対する位置ベクトル１０をΔａとする。
【００４５】
Δａは姿勢センサで検出された、表示画面の法線ベクトルｅに応じて決定する。
【００４６】
法線ベクトルｅからΔａの算出方法の一例を図２（２）に示す。
【００４７】
例えば、法線ベクトルがｅ０であった場合に表示領域９の中心を原点１１と等しいとしたときに、表示画面の方向（法線ベクトル）がｅ１に変化したときには、Δａ＝ｃ・（ｅ１−ｅ０）とすることにより、表示画面の方向の変化に応じて、表示領域９の位置が変化してスクロールが行われる。
【００４８】
ここで、ｃは正の定数であり、ｃが大きいとスクロールの速度が速くなる。
【００４９】
例えば、表示情報が静止画像や動画である場合に、原点に対する表示領域９の中心１２方向の向きの変化がｅ１−ｅ０に等しくなるように定数ｃを選ぶと、スクロールに応じた表示画像の変化が、実際に画像撮影したときの景色の変化と同等になるため、撮影場所に居るような感覚を得ることができる。
【００５０】
次に、ポインタ４の操作方法について述べる。
【００５１】
図３（１）にはスクロール時の表示画面の様子を示す。表示画面の方向が移動したときに、図のように表示情報１６が移動（スクロール）する。
【００５２】
このとき、ポインタ４は表示素子の枠に対して固定することが必要である。
【００５３】
なぜなら、ポインタが表示情報とともに移動すると、スクロール操作によってポインタが画面から消えてしまう。または、ポインタが画面端に到達したときに消え失せないように画面端に固定することも可能だが、ポインタを中心付近まで移動させる手間が発生し、ポインタの操作性が劣化するからである。
【００５４】
ここで、「ポインタが表示素子の枠に対して固定する」というのは、図３（１）に示すように、表示情報（文字や地図や画像など）のスクロール（移動）とは無関係に、ポインタが表示素子の枠に対して動かないことをいう。
【００５５】
図３（２）はポインタ操作を行ったときの表示画面の様子を示す。下筐体２の上のタッチセンサ５の上を、例えば親指１５で触れたままベクトル８の方向に移動したことをタッチセンサが検出したときに、表示情報のスクロールを自動的に中止する（無効とする）。
【００５６】
さらに、タッチセンサ５はベクトル８を検出し、ベクトル１８に応じた方向と量のベクトル１７の分だけ、ポインタ４を移動させる。
【００５７】
ポインタを移動するときにはスクロールが中止されるので、指の移動量に比例したポインタ移動が可能になる。
【００５８】
なお、ポインタの移動は、タッチセンサ５が指１５の移動ベクトルを検出したときに行われ、指が単にタッチセンサに触れているだけでは、ポインタは移動せず、スクロールも中止されない。
【００５９】
ある一つのポインタ移動が実行された直後に、ユーザが行う行動として以下のことが考えられる。
（B１）ユーザはポインタ位置に関連付けられたメニューを実行するために、例えばキー７を押す。
（B２）ユーザはさらにポインタを動かすために、指を一旦タッチセンサから離したのち、再びタッチセンサに触れて指を移動させる。
（B３）ユーザはポインタ移動することをやめて、そのまま画面を見続けるかスクロール操作を開始する。
【００６０】
ポインタ移動が停止したときに上述のスクロール操作を有効にする処理では、以下のような課題が発生する。
【００６１】
図４（１）に示すように、ユーザが（B１）のキー操作を行うときに携帯端末の画面９がぶれて表示情報１６がぶれてしまい、表示情報に対するポインタの相対位置がずれてしまう。
【００６２】
また、ユーザが（Ｂ２）の動作を行う間に携帯端末が不本意に動くことがある。このとき、ユーザはポインタを動かす意思がなくても上記と同様に表示情報に対するポインタの相対位置がずれてしまう。
【００６３】
上記の課題を解決するために、ポインタ移動が停止した直後のある一定の時間（Ｔ）の間だけ図４（２）のようにスクロールのときにポインタも移動することによって、ポインタが表示情報に対して相対的に動かないように固定する。
【００６４】
なお、ここで「ポインタが表示情報に対して固定する」というのは、表示情報（文字や地図や画像など）の移動方向と移動量と同じ量だけポインタが移動することで、ポインタと表示情報の相対的位置が変わらないようにすることをいう。
【００６５】
ある一定時間Ｔが経過したのちには、ポインタが表示素子の枠に対して固定されるような元のスクロール動作に戻る。
【００６６】
ポインタ移動停止の直後は、ユーザが（Ｂ１）から（Ｂ３）のどの動作をするのかわからない。そこで、ある一定時間Ｔの間だけ上記の処理をすることによって、上述の（Ｂ１）や（Ｂ２）で発生する課題を解決することができる。
【００６７】
（Ｂ１）または（Ｂ２）を行うのはポインタ移動停止後わずかな時間内であることが多いため、例えば、時間Ｔは数秒以下の短い時間で構わない。
【００６８】
なお、ポインタ移動停止直後の時間Ｔの間はスクロールを停止するというだけの処理では、上述の（Ｂ１）と（Ｂ２）の課題は解決できるが、（Ｂ３）のスクロール操作ができないのでユーザにとって操作性が大きく劣化することになり、十分な解決方法とはならない。
【００６９】
本発明では、所定時間Ｔの間であっても、ポインタ移動操作かスクロール操作に限定するものではなく、両方の操作が可能である。
【００７０】
なお、ポインタが表示情報に対して固定する場合には、ポインタが指し示す文字や図から完全にずれない程度に固定されていればよく、文字の大きさや図の大きさより小さいずれ（表示情報に対するポインタの相対的位置ずれ）が発生しても構わない。
【００７１】
なお、上記時間Ｔの間にユーザが動作（Ｂ３）のスクロール操作を行うと、ポインタが画面の枠（＝画面の端）より外側に移動して画面から消えることがある。そこで、（Ｂ３）のようにポインタが表示画面に対して移動しているときには、前記ポインタが前記画面から消えないようにポインタの移動を限定することが望ましい。例えば、ポインタが画面の端に到達したときにはポインタを表示素子の枠に対して固定すればよい。すなわち、上記時間Ｔの間は、ポインタが表示情報に対して相対的に動かないようにするが、例えばポインタが画面の端に到達したときには、上記時間Ｔの間でもポインタを表示素子の枠に対して固定するほうがよい場合もある。
【００７２】
なお、上記の説明ではポインタを動かすポインティングデバイスとして、タッチセンサを例に述べたが、例えばトラックボールやマウスなどのように、移動量と移動方向が指定できるデバイスであればどれでも構わない。
【００７３】
以上のように、本実施の形態１の携帯端末装置により、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、ポインタの操作性が高い表示装置を実現できる。
（実施の形態２）
本実施の形態は実施の形態１と同様に、携帯端末装置に適用した場合を例に説明するが、その他、ポータブルなカーナビゲーションやテレビやゲーム機など、表示素子を有する電子機器に適用した場合も同様である。
【００７４】
図５に本発明の携帯端末装置の２画面表示モードのときの概略斜視構造図を示す。
【００７５】
本実施の形態の携帯端末装置は、通常表示モードと２画面表示モードを有する。
【００７６】
表示素子３の画面は長方形状を有していて、２画面表示モードのときには横向きで使用し、通常表示モードのときには横向きまたは縦向きいずれの場合でも使用できる。
【００７７】
２画面表示モードでは、実施の形態１の上下筐体の構造に加えて、２つの凸レンズからなる双眼レンズ２０を用いる。
【００７８】
上筐体の表示素子の表面から所定距離だけ離れた場所に、双眼レンズ２０を表示画面に平行に配置する。双眼レンズ２０は上筐体１に固定されたアーム１９に支えられることで所定位置に保持されている。
【００７９】
表示素子３の画面は左画面２１と右画面２２に左右二分割され、それぞれ同等の表示情報を表示する。
【００８０】
双眼レンズの左右凸レンズを介して、左目で左画面、右目で右画面を見ることによって、ステレオ表示（２画像の同一視）を実現する。
【００８１】
なお、凸レンズの倍率はルーペ等で利用される数倍の倍率、すなわち焦点距離が５ｃｍ〜１５ｃｍ程度の低倍率のものが適している。倍率を大きくしすぎると左右画面が視野全体の収まらず、一部しか見えなくなるとともに、画素の粗さが目立ってくる。逆に倍率を小さくしすぎるとユーザと画面の距離を長くしないと焦点を結ぶことが困難となり、視野角が小さくなる。
【００８２】
なお、凸レンズは通常のガラスまたは透明樹脂製の凸レンズで構わないが、フレネルレンズを用いることによってより薄型化が可能となる。
【００８３】
図６は左右表示情報の表示方法の一例を示す。
【００８４】
実施の形態１と同様に、姿勢センサ６で検出した表示画面の法線ベクトル方向の変化量に関連したベクトルΔａだけ移動した点を中心として、仮の表示領域９を決める。
【００８５】
なお、ベクトルΔａの設定方法は実施の形態１と同様である。
【００８６】
図６（２）に示すように、表示領域９の一部をさらに切り出して、左画面と右画面とする。左画面を実線、右画面を点線で示す。左画面の中心は表示領域９の中心１２よりも右に特定のシフト量２３（ΔＳ）だけずれていて、一方、右画面の中心は中心１２よりも左にΔＳだけずれている。
【００８７】
ここで、シフト量２３（ΔＳ）は左右画面の輻輳角を調整するためのパラメータである。
【００８８】
人間の両目の間隔が例えば約６．５ｃｍに対して、例えば携帯端末の３インチディスプレイを２画面に分けたときの左右画面の中心点間隔は約３．５ｃｍである。
【００８９】
従って、ΔＳは正、すなわち表示領域９の中心１２は左画面では左、右画面では右にシフトすることが必要である。
【００９０】
例えば、輻輳角をゼロ度にするためには、シフト量ΔＳ＝１．５ｃｍ（＝（６．５−３．５）／２）とすればよい。また、輻輳角をゼロより大きくするには、ΔＳを１．５ｃｍよりも少し小さくすればよい。
【００９１】
図６（３）に示すように、ポインタ４も表示情報と同様に、左画面と右画面上にそれぞれ表示し、左画面ポインタと右画面ポインタの水平位置を２×ΔＳだけずらすことにより、表示情報と同じ輻輳角で認識できる。
【００９２】
従来の３インチ程度の横幅約７ｃｍの表示画面をもつ携帯端末の第一形態での表示では、図２（１）に示すように、ユーザの目と画面の距離が約3０ｃｍ程度離れた状態で使用することが多い。このときは横方向の視野角は約１３度程度となる。
【００９３】
一方、上述の２画面表示モードでは、双眼レンズを用いることにより、ユーザの目と画面間距離を５〜１０ｃｍ程度に小さくすることができる。これにより視野角が３８度以上となり臨場感のある拡大表示を実現できる。
【００９４】
さらに、上述の２画面モードの構成は、姿勢センサを用いたスクロール機能の操作性が、レンズを用いない通常表示モードに比べて向上する。以下にその理由について説明する。
【００９５】
姿勢センサを用いたスクロール方法は、実施の形態１と同様であるため詳細説明は省略する。
【００９６】
図７（１）は通常表示モードにおける表示素子とユーザの目の位置関係を示す。
【００９７】
図７（２）は２画面表示モードにおける表示素子とユーザの目の位置関係を示す。
【００９８】
通常表示モードにおいて、表示素子の縦サイズＬを約７ｃｍ、ユーザの目と表示素子間距離を約３０ｃｍとすると、画面が０．５Ｌだけ右に動かしたときの表示画面の垂線ベクトルの方向の変化量（移動角２７）は約３．３度（＝Ａｒｃｔａｎ（３．５／３０））となる。
【００９９】
従って、通常表示モードでは、わずかな角度変化（約３度）で画面スクロール量が大きい（５０％）ので操作性が悪いといえる。
【０１００】
一方、２画面表示モードにおいて、ユーザの目と表示素子間距離を約１０ｃｍとすると、表示画面の垂線ベクトルの方向の変化量（移動角２７）が約３．３度のとき、画面移動量は約０．５７ｃｍとなり、０．０８×Ｌに相当する。
【０１０１】
従って、２画面表示モードでは、わずかな角度変化（約３度）で画面スクロール量２８が小さい（８％）ので、通常表示モードに比べて操作性が大きく向上する。
【０１０２】
以上のように、本実施の形態２の携帯端末装置により、実施の形態１よりも姿勢センサによるスクロール機能の操作性が高い表示装置を実現できる。
（実施の形態３）
本実施の形態は実施の形態２と同様に、携帯端末装置に適用した場合を例に説明するが、その他、ポータブルなカーナビゲーションやテレビやゲーム機など、表示素子を有する電子機器に適用した場合も同様である。
【０１０３】
本実施の形態の携帯端末装置は、通常表示モードと２画面表示モードに加えて、立体表示モードを有する。
【０１０４】
立体表示モードの構成は図５に示す実施の形態２と同様のため、詳細説明は省略する。
【０１０５】
左画面に左画像情報、右画面に右画像情報を表示し、双眼レンズを通して左右の目で左右画像を見ることによって立体視が可能となる。
【０１０６】
図８は、立体表示モードにおける左右表示情報の決定方法を示す。
【０１０７】
左表示情報３１の中心１１からΔａ離れた点１２を中心として仮の表示領域９を切り出す。さらに、表示領域９の中心１２からシフト量ΔＳだけ右にずれた点を中心とした領域を切り出し、左表示情報２１とする。
【０１０８】
また、右表示情報３２の中心１１からΔａ離れた点１２を中心として仮の表示領域９を切り出す。さらに、表示領域９の中心１２からシフト量ΔＳだけ左にずれた点を中心とした領域を切り出し、右表示情報２２とする。
【０１０９】
ここで、シフト量２３（ΔＳ）は実施の形態２と同様に、左右画面の輻輳角を調整するためのパラメータである。最適なシフト量ΔＳを設定することで、立体情報の再生が可能になる。
【０１１０】
図９は、立体表示モードにおけるポインタの操作方法を示す。
【０１１１】
下筐体２の操作面には左右２つのタッチセンサを有し、右側のタッチセンサ５はポインタの上下左右の移動で、左側のタッチセンサ３３は奥行き方向の移動を実現する。
【０１１２】
図９（１）は上下左右方向のポインタ移動方法を示す。タッチセンサ５に触れた指の移動量ベクトル１８に比例したベクトル１７の移動量でポインタ４を移動する。
【０１１３】
図９（２）は表示画面に対して奥行き方向（垂直方向）のポインタ移動の様子を示す。タッチセンサ３３に触れた指の縦方向の移動量１８（Δｔ）に応じて、ポインタ４を奥行き方向へ移動させる。ここで、ポインタが遠ざかるときにはΔｔが正とする。
【０１１４】
次に、ポインタの奥行き方向の移動方法について説明する。
【０１１５】
図１０（１）から（３）にポインタの奥行き方向への移動とポインタ移動方向の関係を示す。
【０１１６】
図１０（４）は上から見たときの仮想立体空間３６と投影面３７と目の位置関係である。
【０１１７】
仮想空間内のポインタの位置が点Ｑ１（３８）から点Ｑ２（３９）に移動したときに、左右の目で見た様子を投影面３７に投影したとき、図１０（４）に示すように両眼視差がΔｐｘｌ＋Δｐｘｒだけ減少する。ここで、Δｐｘｌは左目の視差変化、Δｐｘｒは右目の視差変化である。
【０１１８】
従って、奥行き方向に移動したときは左右画面のポインタの視差が小さくなるように位置をずらせばよい。
【０１１９】
図１０（１）は、ポインタ位置３５（ｐｘ、ｐｙ）のｐｙ＝０のときの移動の様子を示す。
【０１２０】
右画面のポインタは左方向、左画面のポインタは右方向に移動し、上下方向の移動はない。
【０１２１】
図１０（２）は、ポインタ位置３５（ｐｘ、ｐｙ）のｐｙ＜０のときの移動の様子を示す。
【０１２２】
右画面のポインタは左方向、左画面のポインタは右方向に移動するとともに、上方向にΔｐｙ移動する。
【０１２３】
図１０（３）は、ポインタ位置３５（ｐｘ、ｐｙ）のｐｙ＞０のときの移動の様子を示す。
【０１２４】
右画面のポインタは左方向、左画面のポインタは右方向に移動するとともに、下方向にΔｐｙ移動する。
【０１２５】
ポインタの移動量の設定方法の一例を示す。
【０１２６】
視差ΔｐｘｌとΔｐｘｒをタッチセンサ３３で検出した移動量Δｔに比例して変化させる。
【０１２７】
すなわち、Δｐｘｌ＝Δｐｘｒ＝ｃ１・Δｔとする。ｃ１はある定数とする。
【０１２８】
図１０（４）に示すように、ポインタの仮想位置がＱ１からＱ２へ観察者（ユーザ）から遠ざかるように変化したとき、左右の視差の変化ΔｐｘｌとΔｐｘｒは一般的には異なるが、ここでは、Δｐｘｌ＝Δｐｘｒとしてよい。なぜなら、本発明のポインタ操作はポインタを相対的に単に動かすことが目的であり、仮想空間のＱ１からＱ２の場所に正確に移動させる必要はないからである。
【０１２９】
上下方向の移動量Δｐｙは左右画面で同じである。また、Ｑ１からＱ２への奥行き方向の移動量が同じときには、ポインタの位置３５のＹ座標ｐｙが大きいほど大きくする。
【０１３０】
すなわち、例えばΔｐｙ＝−ｃ２・ｐｙ・Δｔ とする。ｃ２はある定数とする。
【０１３１】
Δｐｙはｐｙに関して単調増加すれば、必ずしもｐｙに比例していなくても構わない。なぜなら、本発明のポインタ操作はポインタを相対的に単に動かすことが目的であり、仮想空間のＱ１からＱ２の場所に正確に移動させる必要はないからである。
【０１３２】
さらに、ポインタが奥行き方向に移動するにしたがって、ポインタサイズＤを小さくすることで、ポインタが立体空間の中で移動しているように見える。
【０１３３】
例えばＤ＝ｃ３・｜ｐｘｌ−ｐｘｒ｜とすればよい。ｃ３はある定数とする。
【０１３４】
なお、両眼視差が小さくなるにしたがって、ポインタサイズＤが小さくなり、最終的にゼロに近づくようにすれば、変化の仕方は自由に決めて構わない。
【０１３５】
ポインタがＱ１からＱ２に変化したときのポインタサイズの変化を忠実に再現していなくても構わない。なぜなら、本発明のポインタが奥行き方向に移動したかどうかが判別できればよいからである。
【０１３６】
次に、ポインタの追加機能について説明する。
【０１３７】
ポインタが指定した点においてある特定の動作機能を実行するものとする。
【０１３８】
図１１（１）はポインタが仮想的な手を表し、手の位置にある仮想物体をつかむという特定の動作機能がある場合の表示画面の様子を示す。例えば「つかむ」という動作機能は、タッチセンサ１５をタップ操作４２することによって実現する。なお、タッチセンサの代わりに特定のキーを用いて行っても構わない。
【０１３９】
図１１（２）はポインタが仮想的な銃を表し、銃の位置から弾丸を発射するという特定の動作機能がある場合の表示画面の様子を示す。「発射する」という動作機能は、例えばタッチセンサ１５をタップ操作４２することによって実現する。なお、タッチセンサの代わりに特定のキーを用いて行っても構わない。
【０１４０】
なお、前記動作機能は上記図１１（１）、（２）に限定するものではなく、ポインタの先端が変形する機能やポインタからある物体が生成される機能であってもよい。
【０１４１】
上述のポインタの追加機能により、例えばゲームなどにおいて複雑な操作が可能となる。
【０１４２】
以上のように、本実施の形態３の携帯端末装置により、姿勢センサによるスクロール機能、及びポインタ制御機能を両立させて、ポインタの操作性が高い立体情報表示装置を実現できる。
【産業上の利用可能性】
【０１４３】
本発明は例えば携帯端末装置として有用であり、テレビ、携帯電話、携帯端末、カーナビゲーション、等々の様々な電子機器に利用可能である。
【符号の説明】
【０１４４】
１ 上筐体
２ 下筐体
３ 表示素子
４ ポインタ
５ タッチセンサ
６ 姿勢センサ
７ キー
８ 全表示情報
９ 表示領域
１０ スクロールベクトル
１１ 表示情報の基準点
１２ 表示領域の中心
１３ 表示画面の法線ベクトル
１４ 基準点方向に対応する表示画面の法線ベクトル
１５ 指
１６ 表示情報の一部
１７ ポインタの移動ベクトル
１８ 指の移動ベクトル
１９ アーム
２０ 双眼レンズ
２１ 左画面
２２ 右画面
２３ 中心のシフトベクトル
２４ 表示素子の横の長さ
２５ 従来の端末移動量
２６ 従来の表示素子の視野角
２７ 移動角
２８ 本発明の端末移動量
２９ 本発明の表示素子の視野角
３０ 目
３１ 左表示情報
３２ 右表示情報
３３ 第二のタッチセンサ
３４ 奥行きのポインタ移動ベクトル
３５ ポインタの先端点
３６ 仮想立体空間
３７ 投影面
３８ 移動前ポインタ位置
３９ 移動後ポインタ位置
４０ 右目の視差の変化
４１ 左目の視差の変化
４２ タップ操作
【特許請求の範囲】
【請求項１】
表示素子と、姿勢センサと、前記表示素子上にはない第一ポインティング手段と、を有する表示装置であって、
前記表示素子は、前記表示素子の画面よりも大きなサイズの表示情報の一部とポインタとを表示する機能を有し、
前記表示素子は、前記姿勢センサから検出される前記表示素子の垂線ベクトルの向きまたはその変化量に応じて、前記表示素子に表示する表示情報を変化し、
前記第一ポインティング手段は、操作方向と操作移動量を検出し、前記操作方向と前記操作移動量に応じて前記ポインタが移動し、
前記操作移動量を検出したときには、表示情報が変化することを中断し、
前記操作移動量の停止を検出したのち所定の経過時間の間は、前記ポインタの位置が表示情報に対して固定され、前記経過時間の間以外は、前記ポインタの位置が前記表示素子に対して固定されていることを特徴とする表示装置。
【請求項２】
双眼レンズを有し、
前記表示素子の画面の一部を左画面と右画面に二分割し、分割された前記画面に前記表示情報の一部をそれぞれ表示し、前記双眼レンズを通して前記表示情報を表示する第一表示モードを有し、
前記ポインタは前記左画面と前記右画面に同時に表示され、前記ポインタの移動ベクトル量は前記左画面と前記右画面で同じであることを特徴とする請求項１記載の表示装置。
【請求項３】
前記左画面の中心に対する前記ポインタの第一の位置が前記右画面の中心に対する第二の位置と水平方向に異なっていて、前記第一の位置と前記第二の位置の水平位置の差が一定のまま、前記ポインタが移動することを特徴とする請求項１または請求項２のいずれかに記載の表示装置。
【請求項４】
前記表示情報は左用表示情報と右用表示情報からなる立体情報であり、
前記左画面と前記右画面に前記左用表示情報と前記右用表示情報の一部をそれぞれ表示し、前記双眼レンズを通すことにより前記立体情報を表示する第二表示モードを有することを特徴とする請求項１から請求項３のいずれかに記載の表示装置。
【請求項５】
前記表示素子上にはない第二ポインティング手段を有し、前記第二ポインティング手段は第二操作移動量を検出し、前記第二表示モードにおいて、
前記ポインタの前記水平位置の差が前記ポインティング手段の第二操作移動量に応じて変化することを特徴とする請求項１から請求項４のいずれかに記載の表示装置。
【請求項６】
前記ポインタの移動量に応じて、前記ポインタの大きさが変化することを特徴とする請求項１から請求項５のいずれかに記載の表示装置。
【請求項１】
表示素子と、姿勢センサと、前記表示素子上にはない第一ポインティング手段と、を有する表示装置であって、
前記表示素子は、前記表示素子の画面よりも大きなサイズの表示情報の一部とポインタとを表示する機能を有し、
前記表示素子は、前記姿勢センサから検出される前記表示素子の垂線ベクトルの向きまたはその変化量に応じて、前記表示素子に表示する表示情報を変化し、
前記第一ポインティング手段は、操作方向と操作移動量を検出し、前記操作方向と前記操作移動量に応じて前記ポインタが移動し、
前記操作移動量を検出したときには、表示情報が変化することを中断し、
前記操作移動量の停止を検出したのち所定の経過時間の間は、前記ポインタの位置が表示情報に対して固定され、前記経過時間の間以外は、前記ポインタの位置が前記表示素子に対して固定されていることを特徴とする表示装置。
【請求項２】
双眼レンズを有し、
前記表示素子の画面の一部を左画面と右画面に二分割し、分割された前記画面に前記表示情報の一部をそれぞれ表示し、前記双眼レンズを通して前記表示情報を表示する第一表示モードを有し、
前記ポインタは前記左画面と前記右画面に同時に表示され、前記ポインタの移動ベクトル量は前記左画面と前記右画面で同じであることを特徴とする請求項１記載の表示装置。
【請求項３】
前記左画面の中心に対する前記ポインタの第一の位置が前記右画面の中心に対する第二の位置と水平方向に異なっていて、前記第一の位置と前記第二の位置の水平位置の差が一定のまま、前記ポインタが移動することを特徴とする請求項１または請求項２のいずれかに記載の表示装置。
【請求項４】
前記表示情報は左用表示情報と右用表示情報からなる立体情報であり、
前記左画面と前記右画面に前記左用表示情報と前記右用表示情報の一部をそれぞれ表示し、前記双眼レンズを通すことにより前記立体情報を表示する第二表示モードを有することを特徴とする請求項１から請求項３のいずれかに記載の表示装置。
【請求項５】
前記表示素子上にはない第二ポインティング手段を有し、前記第二ポインティング手段は第二操作移動量を検出し、前記第二表示モードにおいて、
前記ポインタの前記水平位置の差が前記ポインティング手段の第二操作移動量に応じて変化することを特徴とする請求項１から請求項４のいずれかに記載の表示装置。
【請求項６】
前記ポインタの移動量に応じて、前記ポインタの大きさが変化することを特徴とする請求項１から請求項５のいずれかに記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２２１８３３（Ｐ２０１１−２２１８３３Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９１０６８（Ｐ２０１０−９１０６８）
【出願日】平成２２年４月１２日（２０１０．４．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月１２日（２０１０．４．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]