触覚刺激提示方法
【課題】 マウスやコンテンツビューアを保持する複数の指の触覚を刺激する振動生成器を指別に導入して、ＧＵＩの基本操作であるスクロール、カーソル、フォーカス移動を実行する際に触覚情報を手掛かりとして利用できるようにすること。
【解決手段】 マウスやコンテンツビューアを保持する複数の指が接触するデバイス側面に、触覚を刺激する振動生成器を指別に導入して、振動パルスを各指に別個に与え、それらの振動パルス間の時間差を制御することにより、指にぶつかる物体の運動を錯覚させる。この錯覚を通じてＧＵＩの基本操作であるスクロール、カーソル、フォーカス移動の移動量や移動速度、移動方向を把握できるようにすることによって、表示システムの操作を支援する。
【解決手段】 マウスやコンテンツビューアを保持する複数の指が接触するデバイス側面に、触覚を刺激する振動生成器を指別に導入して、振動パルスを各指に別個に与え、それらの振動パルス間の時間差を制御することにより、指にぶつかる物体の運動を錯覚させる。この錯覚を通じてＧＵＩの基本操作であるスクロール、カーソル、フォーカス移動の移動量や移動速度、移動方向を把握できるようにすることによって、表示システムの操作を支援する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手で保持するマウスや小型ディスプレイ等を動かして表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする場合に、複数の振動生成器からユーザの手指に振動を加え、その振動パターンを通じて、ユーザがスクロールやカーソル移動の量と方向を明瞭に把握できるようにする触覚刺激提示方法に関する。
【背景技術】
【０００２】
近年のコンピュータは、マイクロソフト社のウィンドウズ（登録商標）のようにＧＵＩ（グラフィカル・ユーザインターフェイス）を基本とする操作体系を用いており、マウスなどのポインティングデバイスで、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする操作でユーザの意図がコンピュータに伝達される。また近年、携帯電話等の小型の情報端末でもＧＵＩを利用するようになり、小型のディスプレイでパソコンの大型画面を想定してデザインされたコンテンツを閲覧する上で適した表示システムが求められている。ＧＵＩの最大の欠点は視覚に過度の負担を強いることであり、視覚障害者には全く操作できないし、健常人にとってもディスプレイを常時注視しながら、カーソルを目標地点に移動する作業は疲労を伴う。
【０００３】
そこで視覚に触覚を援用することで、視覚障害者にも利用でき、健常人にも負荷を軽減できる新しいユーザインターフェイスとしてハプティック・ユーザインターフェイス（ＨＵＩ）が研究されている。そこで基本となるのは、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりするＧＵＩの操作を可能な限り触覚を通じて把握できるようにすることである。
【０００４】
また前述したように小型ディスプレイを用いて大型ディスプレイ用にデザインされた画像コンテンツを閲覧する場合に、全体像を把握しやすくするためにディスプレイの奥に外界に対して仮想的に静止したコンテンツを想定し、小型ディスプレイを覗き窓のように動かすと、それに応じて仮想的に静止しているコンテンツの見える部位が変わるようにしたスクロール方式が提案されているが、小型ディスプレイで広いコンテンツを隈なく探るのには時間を要する。そこで、小型ディスプレイをゆっくり動かす場合には小型ディスプレイの移動量とスクロールの移動量を一対一に対応付けるが、速く動かす場合には小型ディスプレイの移動量を拡大してスクロールの移動量に対応付けるようにすると探索能率を向上できる。ところがこのように移動量の対応関係が変わると、ユーザはその時々の対応関係を把握できずに混乱して、スクロールを思い通りにコントロールできないことが問題であった。
【０００５】
上述した問題に対処するために、本発明では、マウスや小型ディスプレイを保持するユーザの複数の指のそれぞれに独立の振動源を通じて振動を与えるようにしている。そして、スクロール時の表示内容やカーソル、メニュー中のハイライトの当たる項目を示すフォーカス等の移動量や移動速度、移動方向に応じて、各振動源の振動生成のタイミングを変えることにより、これらの移動量、移動速度、移動方向をユーザが触覚を通じて把握できるようにしている。あるいは従来から行われているように、カーソルやフォーカスが画面上の目標地点に到達したことを通知するために振動を生成する目的にもこれらの振動源を利用している。
【０００６】
本発明に関連する特許文献を以下に示す。
【特許文献１】特開平７−２７１５０５号公報
【特許文献２】特開平８−３１４６２９号公報
【特許文献３】特開２０００−１４８３４５号公報
【特許文献４】特開２００２−７０２７号公報
【特許文献５】特開２００２−２９７２８４号公報
【特許文献６】特開平６−２６１７３８公報
【特許文献７】特開平９−１６４８５８号公報
【特許文献８】特開平１１−１５０７９４公報
【特許文献９】特開２００３−１９９９７４公報
【０００７】
まず特許文献１から５までは、小型ディスプレイを手で保持して動かす際に、その動きを検出して、動きの量や速度、加速度、方向に基づいて表示内容をスクロールする方式に関連する。特に特許文献１には小型ディスプレイに加速度センサを搭載し、加速度センサによって検出されるディスプレイ本体の動きに基づいて表示画像をスクロール、拡大縮小する方法が示されている。また特許文献２には小型ディスプレイを机上で動かすときに机上に固定された仮想画像コンテンツを小型ディスプレイを小窓として覗いたときに見える部位を表示する表示システムが示されている。さらに特許文献４には、外界に仮想的に静止した対象があるものとして、小さなディスプレイを手で移動したときに移動位置でその対象の本来見えるべき部位を表示することによって、全体像を分かりやすく表示する技術が示されている。このようにディスプレイ自体の動きを検出して、その動きに基づいてスクロールを行う表示システムに関しては、古くから多数の特許が出願されているのにもかかわらず実用化に至っていない理由として、従来の方式には触覚的手掛かりが欠けており、視覚だけで画像の動きを確認しながらスクロールをコントロールすることが難しく、ユーザの思い通りにスクロールできなかったことが挙げられる。
【０００８】
次に特許文献６から９までは、複数の振動源が時間差あるいは位相差のある振動をユーザの触覚に加えることにより、ユーザに対して様々な情報を提供する方式に関連する。特許文献６では、操作部表面に振動の定在波または進行波を発生させて、その表面に触れる操作者に滑べり感や表面粗さ等の表面情報を伝達する装置を与えている。特許文献７では、呈示する情報の内容に対応して振動体の駆動タイミングや場所、駆動する振動体の数等を制御することによって車内の運転者に振動を通じて情報を伝達する方法を示している。また特許文献８では、皮膚表面に、それぞれが独立して駆動される複数の刺激源を近接させて配置して、近接した振動源の振動の位相差を制御することで各種の触感を生成する方法を示している。そして特許文献９では、ゲームコントローラに２つの振動モータを搭載し、その偏心錘の回転タイミングに差を持たせたり、強度を変えたりすることにより、ユーザに様々な慣性力を感じさせる方法を示している。以上の特許文献６，８，９では、位相差として振動波形（または偏心錘の回転運動）自体の位相差が使われており、そのような位相差によって作り出せる触感の変化を利用しているが、そうした触感によってＧＵＩに関わるスクロールやカーソルの移動速度などを明瞭に伝達することは難しい。また特許文献７では、振動源を駆動するタイミングに時間差を持たせているが、各振動源の作り出す振動は別個の刺激として知覚されるように使われており、２つの振動源を近接した時刻に時間差をもって振動させたときに振動源の動きを感じる現象を利用しているわけではない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、以上の状況に鑑みて考案されたものであり、比較的周波数の高い振動を短時間に集中的に発生することで、エネルギーが短時間に集中した振動波形の塊（以後、この振動波形の塊を振動パルスと呼ぶ）を作り出し、上述した先行技術に用いられていた振動波形自体の位相差ではなく、振動パルスの時間差を利用して、ユーザの触覚に振動源の移動に関する知覚を生じさせ、それにより、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりするＧＵＩの操作を触覚を通じて把握できる触覚刺激提示方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、マウスや、小型ディスプレイを搭載した本体そのものの動きに基づいて小型ディスプレイの表示内容をスクロールするコンテンツビューアの操作性を向上するために利用することを目的としている。そこでマウスや上記コンテンツビューアを保持する際に、その側面に複数の指が接触することに着目して、これらの各指が接触する位置にそれぞれ独立に駆動される振動源を別個に配置する。そして、これらの振動源が発生する振動パルスに適当な時間差を持たせてユーザの指の触覚を刺激することにより、ユーザが指先の間で振動源が移動しているように感じるようにする。
【００１１】
これは視覚においては、アニメーションの原理を通じて知られるように、適当な時間差をもって提示される２つの画像に動きがあるかのように感じられる錯覚現象が、触覚においても生じることを想定したものである。
【００１２】
ただしこのような錯覚は振動波形のレベルで２つの波形に時間差（位相差）があっても感じることができない。そのような波形の位相差レベルの時間差は人が動きを感じる知覚限界以下の短い時間差であるため、人には動きとしては感じ得ないのである。
【００１３】
そこで本発明では、ユーザの２つの指に、人が動きを感じる上で適度な時間差でもって振動パルスを加えるようにする。振動パルスは、周波数の高い振動が短い期間にエネルギーを集中的に指に加えるため、ユーザはコツンと指に何かが当たったような感触を受けるが、その感触が短い時間差で指から指へ移動すると、ユーザは指にぶつかったものが瞬時に別の指へと移動したような印象を受ける。
なお振動パルスの具体的な振動数などは、共振体の重さや大きさにも依存するが、たとえば、アルプス電気社等が製品化している振動パルス生成用の振動源（例えば商品名はフォースリアクタ）等を用いた場合、振動パルスの振動数は２回から３０回程度まで、振動波形の周期は１ミリ秒から１０ミリ秒程度、継続時間は２ミリ秒から３００ミリ秒程度が好ましい。
【００１４】
こうして振動パルスによって作り出される動きに関する感触を利用して、ＧＵＩの基本操作である、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする操作において、スクロール量やカーソルやフォーカスの移動量、あるいはこれらの速度、さらに目標に到達したかどうか、といったことまでをも、ユーザが触覚を通じて把握できるようにする。その具体的な手段は以下の通りである。
【００１５】
まず本触覚刺激提示方法は、手で保持して前後左右に動かして操作するデバイスに搭載される。このデバイスの動きの方向と量または速さに基づき、このデバイス本体に設けられたディスプレイまたは別途設置されたディスプレイの表示内容をスクロールしたり、カーソルやフォーカスを移動したりする表示システムとともに利用され、この表示システムの操作を触覚を通じて支援することを目的とする。そのために、デバイス本体の側面上で手指が接する少なくとも２つの位置にそれぞれ独立に振動する振動生成器を設置し、これらの振動生成器は駆動信号が加えられると短い期間に集中的に振動することによって振動パルスを生成するようにする。ここで各振動生成器が生成する振動パルスに所定の時間差が生じるように振動パルスの生成タイミングを制御し、振動パルスの生成位置と時間差によって、前記スクロールの方向と量または速度、及び前記カーソルやフォーカスの移動方向と移動量または移動速度をユーザに通知する。
【００１６】
ここで各指に独立に振動パルスが伝わることが望ましく、振動が本体を介在して他の指に伝わるクロストークを生じにくくする工夫が必要である。そこで振動生成器とデバイス本体の間には振動を吸収するインシュレータやダンパーとなる素材やバネのような弾性体を配置すると良い。あるいは電気的に振動生成器で生じた振動と逆位相の振動を生成し、両振動が打ち消しあってデバイス本体には振動が伝わらないようにしても良い。
【００１７】
ＧＵＩでは画面上にアイコンが表示されて、それをカーソルで指示して選択する操作が行われる。このときユーザはマウスやディスプレイ本体を動かしてカーソルを移動して目標のアイコンに到達させなければならないが、従来のＧＵＩではこの作業を視覚でカーソルの動きを注視しながら進めなければならず、作業中に視線を他に向けることも許されなかったため、視覚に大きな負荷がかかっていた。この作業を少しでも触覚で把握できるようにして視覚を支援できれば、ユーザインターフェイスの操作性は大幅に改善すると予想される。従来の振動の利用法では、カーソルが目標地点に到達したら振動を生成して通知するくらいのことしか行っていなかったが、本発明では、目標に到達するまでの過程で触覚手掛かりを加えて、事前の過程から操作を支援することを考えている。そのために、カーソルが目標のアイコンに到達したとき、あるいは目標のメニュー項目の境界を横切るときなどに振動を生成するだけでなく、カーソル移動中に、複数の振動生成器から振動パルスを適当な時差で生成し、スクロールの量または速度、及びカーソルやフォーカスの移動量または移動速度に依存して、振動パルス生成のタイミングや周期を変更して指先に加えることによって、これらの速度や方向を感触として指先に伝えるようにする。具体的には、カーソルの移動方向に応じて複数の振動源の間の振動パルスの生成順と時差を変更して指に加え、動きの錯覚を作り出して、カーソルの移動方向を把握できるようにする。あるいは、振動パルスの生成周期を変えて、カーソルの移動速度を把握できるようにする。これと同様の手法がフォーカスを移動するときや表示画面をスクロールする場合にも適用できる。
【００１８】
上記のカーソルやスクロールの移動速度や移動方向を通知するには、具体的には、２つの振動生成器を、デバイスを保持する２つの指が接する位置にそれぞれ設置し、第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器とが、次のように振動パルスを生成するようにすると良い。すなわち、デバイス本体を前後に動かすときには、第１の振動生成器が振動パルスを生成して第２の振動生成器は停止し、デバイス本体を左右に動かすときには、第１の振動生成器は停止して第２の振動生成器が振動パルスを生成する。この方法では、第１の振動生成器と第２の振動生成器のどちらが振動するかと言うことによって、左右と前後のどちらの動きなのかを識別できる。また振動パルスの生成周期によって、ユーザへ移動量や移動速度を伝えることはできる。しかしながら、２つの振動生成器が生成する振動パルスの時差によって動きの錯覚を生じていないので、前後の動きのうち前なのか後ろなのか、あるいは左右の動きのうち左なのか右なのかについては識別できない。この問題を改善するためには、振動生成器を１つ増やして次のような方法を用いる必要がある。
【００１９】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器とを設置し、デバイス本体を前後に動かすときには、第１の振動生成器と第２の振動生成器が微小な時間差で振動パルスを生成し、デバイス本体を左右に動かすときには、第１の振動生成器と第３の振動生成器が微小な時間差で振動パルスを生成するようにする。そして上述した錯覚を通じて移動方向を把握するために、上述した微小な時間差を人が動きを錯覚するのに適した時間差とし、振動パルスの生成順序はデバイス本体の移動方向に依存して変わるようにする。
【００２０】
上記の方法では、第１の振動生成器を前後左右の動きの錯覚を作り出す際に共用しているが、コスト的に余裕があれば、そして本体を保持するときに４本の指を同時に本体に接することができるようにデバイスを設計できるのであれば、さらにもう一つの振動生成器を導入し、次のような方法を取ると良い。すなわち、第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器と第４の指が接する第４の振動生成器とを設置し、デバイス本体を前後に動かすときには、第１の振動生成器と第２の振動生成器が微小な時間差で振動パルスを生成し、デバイス本体を左右に動かすときには、第３の振動生成器と第４の振動生成器が微小な時間差で振動パルスを生成する。これらの微小な時間差は人が動きを錯覚する上で適度な大きさとして、これらの振動パルスの生成順序をデバイス本体の移動方向に依存して変えることで、カーソルやスクロールがどちらからどちらへ動いたのかをユーザが錯覚を通じて把握できるようにする。
【００２１】
近年のＧＵＩでは操作能率を上げるために操作中にカーソルやスクロールの動きが加速される仕組みが導入されている。カーソルを遠くに動かすためにマウスを長距離動かすとユーザは疲れるし時間もかかる。そこでマウスをゆっくり動かすときには、その動きが増幅されずにカーソルやスクロールの動きに反映されるが、すばやく動かすときにはマウスの動きが増幅されてカーソルやスクロールの動きに反映される。こうしてマウスを狭い操作範囲内で限られた距離しか動かせない場合でも、マウスをすばやく動かせば、カーソルやスクロールを大きく動かして遠くの目標に到達できるようになっている。ところがこの仕組みはユーザが現時点の増幅度を把握できていないと大きな混乱を招く。特に前述した小型ディスプレイを備えたコンテンツビューアにおいては、増幅度を把握できないままスクロールを続けると、ディスプレイサイズが小さく全体像を把握できないため、ユーザは今自分がコンテンツのどこの部分を見ているのか分からなくなってしまう。
【００２２】
このように加速の仕組みが導入されたＧＵＩの操作を支援するためには、振動パルスの発生周期を通じてユーザが前記スクロールの速度、または前記カーソルあるいはフォーカスの速度を把握できるようにすると良い。すなわちこれらの速度と振動パルスの生成周期が大よそ反比例するようにして、上記の増幅率が高ければ、振動パルスの生成周期が短くなり、マウスを少し動かしただけで振動パルスが高頻度に発生するようにし、逆に増幅率が低いとマウスをたくさん動かしても振動パルスが低頻度でしか生じないように、振動パルスの生成周期を長くすると良い。こうすれば、ユーザはマウスを動かしている最中の振動パルスの発生頻度や発生回数を通じて、カーソルやスクロールの移動速度や移動量を操作中に常に把握することができるようになる。
【００２３】
なお上述した方法で、マウスやコンテンツビューアを斜めに移動する場合には、前後の動きを通知するための振動パルスと左右の動きを通知するための振動パルスをそれぞれの方向への移動量成分あるいは速度成分に応じて同時に生成するようにすれば良いが、振動生成器が３つしかなく、第１の振動生成器を両者の通知に共用する場合には、第１の振動生成器が発生する１つの振動パルスを両移動量成分の表現に共用できるように振動パルス生成タイミングの同期を取る必要が生じる。そこで斜め方向の移動については、前後方向の移動と左右方向の移動が交互に起きる（同時には起こらない）ものとしてそれぞれの移動を表す振動パルスを時間的にずらして生成しても良い。
【発明の効果】
【００２４】
本発明では、マウスやコンテンツビューアを保持する複数の指に接する振動生成器を指別に設け、それらが生成する振動パルスの時差と周期を適切に制御して指に加えることによって、指の触覚を通じてスクロールやカーソル、フォーカスの動きの量や方向、速度を把握できるようになった。こうしてＧＵＩの基本操作に触覚情報を援用できるようになったので、小さなディスプレイを備えたコンテンツビューアにおいてもＧＵＩの操作性が格段に向上するようになった。
【発明を実施するための最良の形態】
【００２５】
図１に本発明の触覚刺激提示方法をコンテンツビューア（デバイス）に適用した実施例を示す。図１（ａ）は斜視図、図１（ｂ）は左側面図、図１（ｃ）は右側面図である。各側面図には主要な内部構造を透視して描いている。図中の１はコンテンツを表示する小型ディスプレイであるが、このディスプレイとそれに関わる機能を除去すれば、本発明をマウスに実施した例にもなっている。このコンテンツビューアにはマウスと同様の入力機能が設けられており、２はマウスの左ボタン、３はスクロールホイール、４はマウスの右ボタン、そして１５は現在のマウスで主流の光学式動き検出センサである。このセンサではデバイスの底から照射する光で照明された机などの表面の動きを計測することによって、デバイス本体のｘ軸方向とｙ軸方向の位置変化分を検出する。
【００２６】
そして本実施例の要となるのが、５，６，７に示す振動生成器である。ここでは上述した各種の方法の中で、振動生成器の数を３つとする方法を示している。後に図３で示すように、振動生成器５には親指が、振動生成器６に薬指が、そして振動生成器７に中指が接触することを想定しているが、他の指を接触させても構わない。ただし本実施例では、これらの各指を各振動生成器の側面に接触したまま、デバイス本体を保持して、前後左右に動かすように操作することを想定しており、そのような操作中に指が触れやすいデバイスの側面に振動生成器を配置している。
【００２７】
図２（ａ）には、図１のコンテンツビューアを上から見た図（上面図）を示す。図中のディスプレイ１には典型的なＧＵＩで用いられる各種要素が表示されている。コンテンツビューア本体を動かすと、その動きの量と方向に応じてカーソル８やメニュー１０内のフォーカス９（ハイライトが当たっている項目）が移動する。あるいはスクロールする場合にはコンテンツビューア本体の動きと共に画面に表示されている内容が移動する。例えばコンテンツビューア本体を矢印１１の方向に移動するとカーソル８やフォーカス９あるいは表示内容は矢印１１と同じ方向か、または設定によっては矢印１１と逆方向に移動する。スクロールの場合にはコンテンツビューア本体の動きに対して画面の表示内容は逆方向に動く方が前述した覗き窓で外界の静止した対象を見ている状況と対応が取れるので直感的に分かり易い。
【００２８】
図２（ｂ）には、コンテンツビューア内部で３つの振動生成器５、６、７を設置されている様子を示す。各振動生成器とコンテンツビューア本体の間には、ダンパー、インシュレータあるいはサスペンションの役割をするバネ１２、１３、１４が介在している。これによって各振動生成器の振動は本体に伝わりにくくなっており、ユーザがそれぞれの振動を干渉なく独立に感じられるようにしている。さらにバネの代わりに振動をキャンセルするように振動生成器と逆位相で振動する別の振動生成器を導入しても良い。
【００２９】
図３には、図１のコンテンツビューアを手で保持して操作する様子を示す。この図のように保持するとちょうど本体側面に親指、中指、薬指が接するようになる。そこでこの接する位置に振動生成器を設置するのが本発明の大きなポイントになる。人の触覚の能力は限られており、また振動には拡散する性質があるため、皮膚の近接した位置に振動が加わってもそれらの位置を区別して知覚することは難しい。本発明では複数の振動源が異なる指の指先に接して振動を加えるようにして、敏感な指先で異なる振動源を区別できるようにしている。このように振動を感じるように指を当てながら本体を保持して前後左右に動かせるように、振動源を本体側面の指が当たる位置に配置していることに特徴がある。図中には前後左右の基準方向を定義する矢印も示している。
【００３０】
図４は、本実施例による制御回路２０を含むコンテンツビューア３０のブロック図である。ここで、コンテンツビューア３０の制御回路２０は、マウス左ボタン２、右ボタン４、スクロールホイール３、光学式動き検出センサ１５から信号を入力して、ＣＰＵ処理をするための信号に変換する入力回路２１、データを記憶する記憶回路２２、ＣＰＵによって演算処理を実行する演算回路２５、演算回路２５からの出力信号をもとに振動生成器５〜７を駆動するための信号に変換する出力回路２３、およびディスプレイ１に表示出力するための信号を生成する表示出力回路２４から構成されている。
【００３１】
記憶回路２２は、メモリ素子等で構成され、ＣＰＵが演算処理をするために必要なデータが保存されている。たとえば、振動パルス間の時間差Δ、振動生成器５〜７の振動の大きさを決めるためのデータとしてベースとなる基本刺激量およびコンテンツビューア１の移動加速度と振動の大きさとの関係を示すデータである加速度刺激量、振動周期、および、制御条件データが保存されている。制御条件としては、たとえばインパルスの幅（継続時間）を決定する条件として移動距離にするのか、あるいは時間にするのか、また、長い距離を移動させた場合刺激を繰り返すか否か等がある。
【００３２】
次に、図５を用いて、上記の構成を有するコンテンツビューア１の演算処理を説明する。演算回路２５は、光学式動き検出センサ１５、左右ボタン２，４、スクロールホイール３からの信号を入力回路２１を介して入力し、その信号をもとに動きの変化（たとえば、速度の変化あるいは位置の変化）を検出することによって起動する。
【００３３】
そして、入力信号から、デバイスの移動方向、移動量、移動速度、移動加速度を演算し（Ｓ１０１）、移動加速度から振動インパルスの大きさを計算し（Ｓ１０２）、移動方向と反対側の振動生成器を計算した大きさで振動させる（Ｓ１０３）。演算回路２５から出力された制御信号は出力回路２３を介して該当する振動生成器へ伝えられる。
そして、振動開始時点からΔ時間経過すると（Ｓ１０４で「Ｙｅｓ」）、他方、すなわち、移動方向の振動生成器を同じ大きさで振動させる（Ｓ１０５）。
【００３４】
次に、制御回路２５は、記憶回路２２から刺激継続条件を抽出して（Ｓ１０６）、その条件を判定し（Ｓ１０７）、刺激継続条件が移動量である場合は、デバイスの移動量が所定値に達したか否かを判定し（Ｓ１０８）、所定値以上ならば移動方向と逆方向の振動生成器の振動を停止す（Ｓ１１２）。一方、ステップＳ１０７で刺激継続条件が時間の場合は、振動生成器をＯＮしてから所定時間経過したか否かを判定して（Ｓ１１０）、所定時間経過している場合は、移動方向と逆方向の振動生成器の振動を停止す（Ｓ１１２）。
そして、ステップＳ１１２の処理の後、Δ時間経過した場合は（Ｓ１１３で「Ｙｅｓ」）、他方すなわち移動方向の振動生成器の振動を停止する（Ｓ１１４）。
【００３５】
次に移動が終了したか否かを移動方向および移動量等のデータによって判定して（Ｓ１１５）、移動が継続している場合は（Ｓ１１５で「Ｎｏ」）、記憶回路２２の刺激繰り返し条件を参照して、この条件がＯＮになっている場合は（Ｓ１１６で「Ｙｅｓ」）、所定値以上移動したか否かを判定して（Ｓ１１７）、所定値以上移動している場合は、ステップＳ１０１へ戻る。これによって再度、振動インパルスが生成される。
一方、ステップＳ１１６で刺激繰り返し条件がＯＦＦになっている場合は（Ｓ１１６で「Ｎｏ」）、終了する。
【００３６】
図６に上記の処理で生成される振動インパルスの波形を示す。ここで横軸は時間軸、縦軸は振動の変異量（または圧力）を示す。通常の振動と異なり、振動インパルスは短い時間間隔にエネルギーが集中し、図６（ａ）に示すように時間的に局在した振動波形の塊となっている。また図６（ｂ）には２つの振動インパルスが時間差をもって生成されている様子を示す。Ａ波とＢ波の間にはΔの時間差がある。この時間差は波形の塊間の時間差であり、通常の波形の位相差とは異なることを指摘しておきたい。波形の位相差では、最大でも波形の１周期までの時間差までしか区別できないが（それ以上大きくしても波形の周期性により、周期の整数倍分の違いは区別できず、１周期以内の時間差と同等になってしまう）、振動インパルス間で図６（ｂ）のように定義される時間差は任意の大きさを取る事ができるし、大きくしてもその違いを区別することができる。このΔの大きさを数十ミリ秒から数百ミリ秒の範囲で変更して、指から指に物体が触れて移動する錯覚を作り出すようにする。例えばＡ波を親指に加え、Ｂ波を薬指に加えると、親指にぶつかった物体がそのまま移動して薬指にぶつかるような錯覚が生じる。
【００３７】
本発明は、上述の実施例に限定されること無く、種々変形して実施することができる。たとえば、上記実施例では、入力デバイスにディスプレイを一体化コンテンツビューアを例に説明したが、ディスプレイを別に設けて入力デバイス単体として構成することも可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の「表示システムの操作を支援する触覚刺激提示方法」をコンテンツビューアに応用した一実施例を示す図である。この図からディスプレイを除けば、マウスに応用した例にもなっている。マウスと同様に底面に位置検出用のセンサが設けられており、デバイス本体の動きを検出する。
【図２】図１のコンテンツビューアを前面から見た図であり、ディスプレイにはＧＵＩの基本となるカーソル、メニューとフォーカス（ハイライトの当たっている項目）が示されている。右側（図２（ａ））には振動生成器の振動がデバイス本体に伝わることを防ぐためのバネなどのインシュレータの内部の構造が示されている。
【図３】図１のコンテンツビューアを手で保持する様子を示す図である。デバイス本体の側面を親指、中指、薬指で押さえて保持すると持ちやすい。また空いている人差し指でデバイス表面のボタンやホイールを操作できる。空中でデバイス裏側から手を廻して保持する場合にもこのように側面に指を当てて持つのが持ちやすいので、側面の指が接する位置に振動生成器を設置するようにする。
【図４】本発明の一実施例によるコンテンツビューアのブロック図である。
【図５】図４の演算回路２５の処理手順を示すフローチャートである。
【図６】振動生成器が生成する振動パルスの波形と、時間差をもって生成される二つの振動パルスの関係を示す図である。
【符号の説明】
【００３９】
１ ディスプレイ
２ マウス左ボタン
３ スクロールホイール
４ マウス右ボタン
５ 振動生成器
６ 振動生成器
７ 振動生成器
１５ 光学式動き検出センサ
２０ 制御回路
２１ 入力回路
２２ 記憶回路
２３ 出力回路
２４ 表示出力回路
２５ 演算回路
３０ コンテンツビューア（デバイス）
【技術分野】
【０００１】
本発明は、手で保持するマウスや小型ディスプレイ等を動かして表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする場合に、複数の振動生成器からユーザの手指に振動を加え、その振動パターンを通じて、ユーザがスクロールやカーソル移動の量と方向を明瞭に把握できるようにする触覚刺激提示方法に関する。
【背景技術】
【０００２】
近年のコンピュータは、マイクロソフト社のウィンドウズ（登録商標）のようにＧＵＩ（グラフィカル・ユーザインターフェイス）を基本とする操作体系を用いており、マウスなどのポインティングデバイスで、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする操作でユーザの意図がコンピュータに伝達される。また近年、携帯電話等の小型の情報端末でもＧＵＩを利用するようになり、小型のディスプレイでパソコンの大型画面を想定してデザインされたコンテンツを閲覧する上で適した表示システムが求められている。ＧＵＩの最大の欠点は視覚に過度の負担を強いることであり、視覚障害者には全く操作できないし、健常人にとってもディスプレイを常時注視しながら、カーソルを目標地点に移動する作業は疲労を伴う。
【０００３】
そこで視覚に触覚を援用することで、視覚障害者にも利用でき、健常人にも負荷を軽減できる新しいユーザインターフェイスとしてハプティック・ユーザインターフェイス（ＨＵＩ）が研究されている。そこで基本となるのは、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりするＧＵＩの操作を可能な限り触覚を通じて把握できるようにすることである。
【０００４】
また前述したように小型ディスプレイを用いて大型ディスプレイ用にデザインされた画像コンテンツを閲覧する場合に、全体像を把握しやすくするためにディスプレイの奥に外界に対して仮想的に静止したコンテンツを想定し、小型ディスプレイを覗き窓のように動かすと、それに応じて仮想的に静止しているコンテンツの見える部位が変わるようにしたスクロール方式が提案されているが、小型ディスプレイで広いコンテンツを隈なく探るのには時間を要する。そこで、小型ディスプレイをゆっくり動かす場合には小型ディスプレイの移動量とスクロールの移動量を一対一に対応付けるが、速く動かす場合には小型ディスプレイの移動量を拡大してスクロールの移動量に対応付けるようにすると探索能率を向上できる。ところがこのように移動量の対応関係が変わると、ユーザはその時々の対応関係を把握できずに混乱して、スクロールを思い通りにコントロールできないことが問題であった。
【０００５】
上述した問題に対処するために、本発明では、マウスや小型ディスプレイを保持するユーザの複数の指のそれぞれに独立の振動源を通じて振動を与えるようにしている。そして、スクロール時の表示内容やカーソル、メニュー中のハイライトの当たる項目を示すフォーカス等の移動量や移動速度、移動方向に応じて、各振動源の振動生成のタイミングを変えることにより、これらの移動量、移動速度、移動方向をユーザが触覚を通じて把握できるようにしている。あるいは従来から行われているように、カーソルやフォーカスが画面上の目標地点に到達したことを通知するために振動を生成する目的にもこれらの振動源を利用している。
【０００６】
本発明に関連する特許文献を以下に示す。
【特許文献１】特開平７−２７１５０５号公報
【特許文献２】特開平８−３１４６２９号公報
【特許文献３】特開２０００−１４８３４５号公報
【特許文献４】特開２００２−７０２７号公報
【特許文献５】特開２００２−２９７２８４号公報
【特許文献６】特開平６−２６１７３８公報
【特許文献７】特開平９−１６４８５８号公報
【特許文献８】特開平１１−１５０７９４公報
【特許文献９】特開２００３−１９９９７４公報
【０００７】
まず特許文献１から５までは、小型ディスプレイを手で保持して動かす際に、その動きを検出して、動きの量や速度、加速度、方向に基づいて表示内容をスクロールする方式に関連する。特に特許文献１には小型ディスプレイに加速度センサを搭載し、加速度センサによって検出されるディスプレイ本体の動きに基づいて表示画像をスクロール、拡大縮小する方法が示されている。また特許文献２には小型ディスプレイを机上で動かすときに机上に固定された仮想画像コンテンツを小型ディスプレイを小窓として覗いたときに見える部位を表示する表示システムが示されている。さらに特許文献４には、外界に仮想的に静止した対象があるものとして、小さなディスプレイを手で移動したときに移動位置でその対象の本来見えるべき部位を表示することによって、全体像を分かりやすく表示する技術が示されている。このようにディスプレイ自体の動きを検出して、その動きに基づいてスクロールを行う表示システムに関しては、古くから多数の特許が出願されているのにもかかわらず実用化に至っていない理由として、従来の方式には触覚的手掛かりが欠けており、視覚だけで画像の動きを確認しながらスクロールをコントロールすることが難しく、ユーザの思い通りにスクロールできなかったことが挙げられる。
【０００８】
次に特許文献６から９までは、複数の振動源が時間差あるいは位相差のある振動をユーザの触覚に加えることにより、ユーザに対して様々な情報を提供する方式に関連する。特許文献６では、操作部表面に振動の定在波または進行波を発生させて、その表面に触れる操作者に滑べり感や表面粗さ等の表面情報を伝達する装置を与えている。特許文献７では、呈示する情報の内容に対応して振動体の駆動タイミングや場所、駆動する振動体の数等を制御することによって車内の運転者に振動を通じて情報を伝達する方法を示している。また特許文献８では、皮膚表面に、それぞれが独立して駆動される複数の刺激源を近接させて配置して、近接した振動源の振動の位相差を制御することで各種の触感を生成する方法を示している。そして特許文献９では、ゲームコントローラに２つの振動モータを搭載し、その偏心錘の回転タイミングに差を持たせたり、強度を変えたりすることにより、ユーザに様々な慣性力を感じさせる方法を示している。以上の特許文献６，８，９では、位相差として振動波形（または偏心錘の回転運動）自体の位相差が使われており、そのような位相差によって作り出せる触感の変化を利用しているが、そうした触感によってＧＵＩに関わるスクロールやカーソルの移動速度などを明瞭に伝達することは難しい。また特許文献７では、振動源を駆動するタイミングに時間差を持たせているが、各振動源の作り出す振動は別個の刺激として知覚されるように使われており、２つの振動源を近接した時刻に時間差をもって振動させたときに振動源の動きを感じる現象を利用しているわけではない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、以上の状況に鑑みて考案されたものであり、比較的周波数の高い振動を短時間に集中的に発生することで、エネルギーが短時間に集中した振動波形の塊（以後、この振動波形の塊を振動パルスと呼ぶ）を作り出し、上述した先行技術に用いられていた振動波形自体の位相差ではなく、振動パルスの時間差を利用して、ユーザの触覚に振動源の移動に関する知覚を生じさせ、それにより、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりするＧＵＩの操作を触覚を通じて把握できる触覚刺激提示方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、マウスや、小型ディスプレイを搭載した本体そのものの動きに基づいて小型ディスプレイの表示内容をスクロールするコンテンツビューアの操作性を向上するために利用することを目的としている。そこでマウスや上記コンテンツビューアを保持する際に、その側面に複数の指が接触することに着目して、これらの各指が接触する位置にそれぞれ独立に駆動される振動源を別個に配置する。そして、これらの振動源が発生する振動パルスに適当な時間差を持たせてユーザの指の触覚を刺激することにより、ユーザが指先の間で振動源が移動しているように感じるようにする。
【００１１】
これは視覚においては、アニメーションの原理を通じて知られるように、適当な時間差をもって提示される２つの画像に動きがあるかのように感じられる錯覚現象が、触覚においても生じることを想定したものである。
【００１２】
ただしこのような錯覚は振動波形のレベルで２つの波形に時間差（位相差）があっても感じることができない。そのような波形の位相差レベルの時間差は人が動きを感じる知覚限界以下の短い時間差であるため、人には動きとしては感じ得ないのである。
【００１３】
そこで本発明では、ユーザの２つの指に、人が動きを感じる上で適度な時間差でもって振動パルスを加えるようにする。振動パルスは、周波数の高い振動が短い期間にエネルギーを集中的に指に加えるため、ユーザはコツンと指に何かが当たったような感触を受けるが、その感触が短い時間差で指から指へ移動すると、ユーザは指にぶつかったものが瞬時に別の指へと移動したような印象を受ける。
なお振動パルスの具体的な振動数などは、共振体の重さや大きさにも依存するが、たとえば、アルプス電気社等が製品化している振動パルス生成用の振動源（例えば商品名はフォースリアクタ）等を用いた場合、振動パルスの振動数は２回から３０回程度まで、振動波形の周期は１ミリ秒から１０ミリ秒程度、継続時間は２ミリ秒から３００ミリ秒程度が好ましい。
【００１４】
こうして振動パルスによって作り出される動きに関する感触を利用して、ＧＵＩの基本操作である、表示内容をスクロールしたり、カーソルを移動したり、メニューのフォーカスを移動したりする操作において、スクロール量やカーソルやフォーカスの移動量、あるいはこれらの速度、さらに目標に到達したかどうか、といったことまでをも、ユーザが触覚を通じて把握できるようにする。その具体的な手段は以下の通りである。
【００１５】
まず本触覚刺激提示方法は、手で保持して前後左右に動かして操作するデバイスに搭載される。このデバイスの動きの方向と量または速さに基づき、このデバイス本体に設けられたディスプレイまたは別途設置されたディスプレイの表示内容をスクロールしたり、カーソルやフォーカスを移動したりする表示システムとともに利用され、この表示システムの操作を触覚を通じて支援することを目的とする。そのために、デバイス本体の側面上で手指が接する少なくとも２つの位置にそれぞれ独立に振動する振動生成器を設置し、これらの振動生成器は駆動信号が加えられると短い期間に集中的に振動することによって振動パルスを生成するようにする。ここで各振動生成器が生成する振動パルスに所定の時間差が生じるように振動パルスの生成タイミングを制御し、振動パルスの生成位置と時間差によって、前記スクロールの方向と量または速度、及び前記カーソルやフォーカスの移動方向と移動量または移動速度をユーザに通知する。
【００１６】
ここで各指に独立に振動パルスが伝わることが望ましく、振動が本体を介在して他の指に伝わるクロストークを生じにくくする工夫が必要である。そこで振動生成器とデバイス本体の間には振動を吸収するインシュレータやダンパーとなる素材やバネのような弾性体を配置すると良い。あるいは電気的に振動生成器で生じた振動と逆位相の振動を生成し、両振動が打ち消しあってデバイス本体には振動が伝わらないようにしても良い。
【００１７】
ＧＵＩでは画面上にアイコンが表示されて、それをカーソルで指示して選択する操作が行われる。このときユーザはマウスやディスプレイ本体を動かしてカーソルを移動して目標のアイコンに到達させなければならないが、従来のＧＵＩではこの作業を視覚でカーソルの動きを注視しながら進めなければならず、作業中に視線を他に向けることも許されなかったため、視覚に大きな負荷がかかっていた。この作業を少しでも触覚で把握できるようにして視覚を支援できれば、ユーザインターフェイスの操作性は大幅に改善すると予想される。従来の振動の利用法では、カーソルが目標地点に到達したら振動を生成して通知するくらいのことしか行っていなかったが、本発明では、目標に到達するまでの過程で触覚手掛かりを加えて、事前の過程から操作を支援することを考えている。そのために、カーソルが目標のアイコンに到達したとき、あるいは目標のメニュー項目の境界を横切るときなどに振動を生成するだけでなく、カーソル移動中に、複数の振動生成器から振動パルスを適当な時差で生成し、スクロールの量または速度、及びカーソルやフォーカスの移動量または移動速度に依存して、振動パルス生成のタイミングや周期を変更して指先に加えることによって、これらの速度や方向を感触として指先に伝えるようにする。具体的には、カーソルの移動方向に応じて複数の振動源の間の振動パルスの生成順と時差を変更して指に加え、動きの錯覚を作り出して、カーソルの移動方向を把握できるようにする。あるいは、振動パルスの生成周期を変えて、カーソルの移動速度を把握できるようにする。これと同様の手法がフォーカスを移動するときや表示画面をスクロールする場合にも適用できる。
【００１８】
上記のカーソルやスクロールの移動速度や移動方向を通知するには、具体的には、２つの振動生成器を、デバイスを保持する２つの指が接する位置にそれぞれ設置し、第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器とが、次のように振動パルスを生成するようにすると良い。すなわち、デバイス本体を前後に動かすときには、第１の振動生成器が振動パルスを生成して第２の振動生成器は停止し、デバイス本体を左右に動かすときには、第１の振動生成器は停止して第２の振動生成器が振動パルスを生成する。この方法では、第１の振動生成器と第２の振動生成器のどちらが振動するかと言うことによって、左右と前後のどちらの動きなのかを識別できる。また振動パルスの生成周期によって、ユーザへ移動量や移動速度を伝えることはできる。しかしながら、２つの振動生成器が生成する振動パルスの時差によって動きの錯覚を生じていないので、前後の動きのうち前なのか後ろなのか、あるいは左右の動きのうち左なのか右なのかについては識別できない。この問題を改善するためには、振動生成器を１つ増やして次のような方法を用いる必要がある。
【００１９】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器とを設置し、デバイス本体を前後に動かすときには、第１の振動生成器と第２の振動生成器が微小な時間差で振動パルスを生成し、デバイス本体を左右に動かすときには、第１の振動生成器と第３の振動生成器が微小な時間差で振動パルスを生成するようにする。そして上述した錯覚を通じて移動方向を把握するために、上述した微小な時間差を人が動きを錯覚するのに適した時間差とし、振動パルスの生成順序はデバイス本体の移動方向に依存して変わるようにする。
【００２０】
上記の方法では、第１の振動生成器を前後左右の動きの錯覚を作り出す際に共用しているが、コスト的に余裕があれば、そして本体を保持するときに４本の指を同時に本体に接することができるようにデバイスを設計できるのであれば、さらにもう一つの振動生成器を導入し、次のような方法を取ると良い。すなわち、第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器と第４の指が接する第４の振動生成器とを設置し、デバイス本体を前後に動かすときには、第１の振動生成器と第２の振動生成器が微小な時間差で振動パルスを生成し、デバイス本体を左右に動かすときには、第３の振動生成器と第４の振動生成器が微小な時間差で振動パルスを生成する。これらの微小な時間差は人が動きを錯覚する上で適度な大きさとして、これらの振動パルスの生成順序をデバイス本体の移動方向に依存して変えることで、カーソルやスクロールがどちらからどちらへ動いたのかをユーザが錯覚を通じて把握できるようにする。
【００２１】
近年のＧＵＩでは操作能率を上げるために操作中にカーソルやスクロールの動きが加速される仕組みが導入されている。カーソルを遠くに動かすためにマウスを長距離動かすとユーザは疲れるし時間もかかる。そこでマウスをゆっくり動かすときには、その動きが増幅されずにカーソルやスクロールの動きに反映されるが、すばやく動かすときにはマウスの動きが増幅されてカーソルやスクロールの動きに反映される。こうしてマウスを狭い操作範囲内で限られた距離しか動かせない場合でも、マウスをすばやく動かせば、カーソルやスクロールを大きく動かして遠くの目標に到達できるようになっている。ところがこの仕組みはユーザが現時点の増幅度を把握できていないと大きな混乱を招く。特に前述した小型ディスプレイを備えたコンテンツビューアにおいては、増幅度を把握できないままスクロールを続けると、ディスプレイサイズが小さく全体像を把握できないため、ユーザは今自分がコンテンツのどこの部分を見ているのか分からなくなってしまう。
【００２２】
このように加速の仕組みが導入されたＧＵＩの操作を支援するためには、振動パルスの発生周期を通じてユーザが前記スクロールの速度、または前記カーソルあるいはフォーカスの速度を把握できるようにすると良い。すなわちこれらの速度と振動パルスの生成周期が大よそ反比例するようにして、上記の増幅率が高ければ、振動パルスの生成周期が短くなり、マウスを少し動かしただけで振動パルスが高頻度に発生するようにし、逆に増幅率が低いとマウスをたくさん動かしても振動パルスが低頻度でしか生じないように、振動パルスの生成周期を長くすると良い。こうすれば、ユーザはマウスを動かしている最中の振動パルスの発生頻度や発生回数を通じて、カーソルやスクロールの移動速度や移動量を操作中に常に把握することができるようになる。
【００２３】
なお上述した方法で、マウスやコンテンツビューアを斜めに移動する場合には、前後の動きを通知するための振動パルスと左右の動きを通知するための振動パルスをそれぞれの方向への移動量成分あるいは速度成分に応じて同時に生成するようにすれば良いが、振動生成器が３つしかなく、第１の振動生成器を両者の通知に共用する場合には、第１の振動生成器が発生する１つの振動パルスを両移動量成分の表現に共用できるように振動パルス生成タイミングの同期を取る必要が生じる。そこで斜め方向の移動については、前後方向の移動と左右方向の移動が交互に起きる（同時には起こらない）ものとしてそれぞれの移動を表す振動パルスを時間的にずらして生成しても良い。
【発明の効果】
【００２４】
本発明では、マウスやコンテンツビューアを保持する複数の指に接する振動生成器を指別に設け、それらが生成する振動パルスの時差と周期を適切に制御して指に加えることによって、指の触覚を通じてスクロールやカーソル、フォーカスの動きの量や方向、速度を把握できるようになった。こうしてＧＵＩの基本操作に触覚情報を援用できるようになったので、小さなディスプレイを備えたコンテンツビューアにおいてもＧＵＩの操作性が格段に向上するようになった。
【発明を実施するための最良の形態】
【００２５】
図１に本発明の触覚刺激提示方法をコンテンツビューア（デバイス）に適用した実施例を示す。図１（ａ）は斜視図、図１（ｂ）は左側面図、図１（ｃ）は右側面図である。各側面図には主要な内部構造を透視して描いている。図中の１はコンテンツを表示する小型ディスプレイであるが、このディスプレイとそれに関わる機能を除去すれば、本発明をマウスに実施した例にもなっている。このコンテンツビューアにはマウスと同様の入力機能が設けられており、２はマウスの左ボタン、３はスクロールホイール、４はマウスの右ボタン、そして１５は現在のマウスで主流の光学式動き検出センサである。このセンサではデバイスの底から照射する光で照明された机などの表面の動きを計測することによって、デバイス本体のｘ軸方向とｙ軸方向の位置変化分を検出する。
【００２６】
そして本実施例の要となるのが、５，６，７に示す振動生成器である。ここでは上述した各種の方法の中で、振動生成器の数を３つとする方法を示している。後に図３で示すように、振動生成器５には親指が、振動生成器６に薬指が、そして振動生成器７に中指が接触することを想定しているが、他の指を接触させても構わない。ただし本実施例では、これらの各指を各振動生成器の側面に接触したまま、デバイス本体を保持して、前後左右に動かすように操作することを想定しており、そのような操作中に指が触れやすいデバイスの側面に振動生成器を配置している。
【００２７】
図２（ａ）には、図１のコンテンツビューアを上から見た図（上面図）を示す。図中のディスプレイ１には典型的なＧＵＩで用いられる各種要素が表示されている。コンテンツビューア本体を動かすと、その動きの量と方向に応じてカーソル８やメニュー１０内のフォーカス９（ハイライトが当たっている項目）が移動する。あるいはスクロールする場合にはコンテンツビューア本体の動きと共に画面に表示されている内容が移動する。例えばコンテンツビューア本体を矢印１１の方向に移動するとカーソル８やフォーカス９あるいは表示内容は矢印１１と同じ方向か、または設定によっては矢印１１と逆方向に移動する。スクロールの場合にはコンテンツビューア本体の動きに対して画面の表示内容は逆方向に動く方が前述した覗き窓で外界の静止した対象を見ている状況と対応が取れるので直感的に分かり易い。
【００２８】
図２（ｂ）には、コンテンツビューア内部で３つの振動生成器５、６、７を設置されている様子を示す。各振動生成器とコンテンツビューア本体の間には、ダンパー、インシュレータあるいはサスペンションの役割をするバネ１２、１３、１４が介在している。これによって各振動生成器の振動は本体に伝わりにくくなっており、ユーザがそれぞれの振動を干渉なく独立に感じられるようにしている。さらにバネの代わりに振動をキャンセルするように振動生成器と逆位相で振動する別の振動生成器を導入しても良い。
【００２９】
図３には、図１のコンテンツビューアを手で保持して操作する様子を示す。この図のように保持するとちょうど本体側面に親指、中指、薬指が接するようになる。そこでこの接する位置に振動生成器を設置するのが本発明の大きなポイントになる。人の触覚の能力は限られており、また振動には拡散する性質があるため、皮膚の近接した位置に振動が加わってもそれらの位置を区別して知覚することは難しい。本発明では複数の振動源が異なる指の指先に接して振動を加えるようにして、敏感な指先で異なる振動源を区別できるようにしている。このように振動を感じるように指を当てながら本体を保持して前後左右に動かせるように、振動源を本体側面の指が当たる位置に配置していることに特徴がある。図中には前後左右の基準方向を定義する矢印も示している。
【００３０】
図４は、本実施例による制御回路２０を含むコンテンツビューア３０のブロック図である。ここで、コンテンツビューア３０の制御回路２０は、マウス左ボタン２、右ボタン４、スクロールホイール３、光学式動き検出センサ１５から信号を入力して、ＣＰＵ処理をするための信号に変換する入力回路２１、データを記憶する記憶回路２２、ＣＰＵによって演算処理を実行する演算回路２５、演算回路２５からの出力信号をもとに振動生成器５〜７を駆動するための信号に変換する出力回路２３、およびディスプレイ１に表示出力するための信号を生成する表示出力回路２４から構成されている。
【００３１】
記憶回路２２は、メモリ素子等で構成され、ＣＰＵが演算処理をするために必要なデータが保存されている。たとえば、振動パルス間の時間差Δ、振動生成器５〜７の振動の大きさを決めるためのデータとしてベースとなる基本刺激量およびコンテンツビューア１の移動加速度と振動の大きさとの関係を示すデータである加速度刺激量、振動周期、および、制御条件データが保存されている。制御条件としては、たとえばインパルスの幅（継続時間）を決定する条件として移動距離にするのか、あるいは時間にするのか、また、長い距離を移動させた場合刺激を繰り返すか否か等がある。
【００３２】
次に、図５を用いて、上記の構成を有するコンテンツビューア１の演算処理を説明する。演算回路２５は、光学式動き検出センサ１５、左右ボタン２，４、スクロールホイール３からの信号を入力回路２１を介して入力し、その信号をもとに動きの変化（たとえば、速度の変化あるいは位置の変化）を検出することによって起動する。
【００３３】
そして、入力信号から、デバイスの移動方向、移動量、移動速度、移動加速度を演算し（Ｓ１０１）、移動加速度から振動インパルスの大きさを計算し（Ｓ１０２）、移動方向と反対側の振動生成器を計算した大きさで振動させる（Ｓ１０３）。演算回路２５から出力された制御信号は出力回路２３を介して該当する振動生成器へ伝えられる。
そして、振動開始時点からΔ時間経過すると（Ｓ１０４で「Ｙｅｓ」）、他方、すなわち、移動方向の振動生成器を同じ大きさで振動させる（Ｓ１０５）。
【００３４】
次に、制御回路２５は、記憶回路２２から刺激継続条件を抽出して（Ｓ１０６）、その条件を判定し（Ｓ１０７）、刺激継続条件が移動量である場合は、デバイスの移動量が所定値に達したか否かを判定し（Ｓ１０８）、所定値以上ならば移動方向と逆方向の振動生成器の振動を停止す（Ｓ１１２）。一方、ステップＳ１０７で刺激継続条件が時間の場合は、振動生成器をＯＮしてから所定時間経過したか否かを判定して（Ｓ１１０）、所定時間経過している場合は、移動方向と逆方向の振動生成器の振動を停止す（Ｓ１１２）。
そして、ステップＳ１１２の処理の後、Δ時間経過した場合は（Ｓ１１３で「Ｙｅｓ」）、他方すなわち移動方向の振動生成器の振動を停止する（Ｓ１１４）。
【００３５】
次に移動が終了したか否かを移動方向および移動量等のデータによって判定して（Ｓ１１５）、移動が継続している場合は（Ｓ１１５で「Ｎｏ」）、記憶回路２２の刺激繰り返し条件を参照して、この条件がＯＮになっている場合は（Ｓ１１６で「Ｙｅｓ」）、所定値以上移動したか否かを判定して（Ｓ１１７）、所定値以上移動している場合は、ステップＳ１０１へ戻る。これによって再度、振動インパルスが生成される。
一方、ステップＳ１１６で刺激繰り返し条件がＯＦＦになっている場合は（Ｓ１１６で「Ｎｏ」）、終了する。
【００３６】
図６に上記の処理で生成される振動インパルスの波形を示す。ここで横軸は時間軸、縦軸は振動の変異量（または圧力）を示す。通常の振動と異なり、振動インパルスは短い時間間隔にエネルギーが集中し、図６（ａ）に示すように時間的に局在した振動波形の塊となっている。また図６（ｂ）には２つの振動インパルスが時間差をもって生成されている様子を示す。Ａ波とＢ波の間にはΔの時間差がある。この時間差は波形の塊間の時間差であり、通常の波形の位相差とは異なることを指摘しておきたい。波形の位相差では、最大でも波形の１周期までの時間差までしか区別できないが（それ以上大きくしても波形の周期性により、周期の整数倍分の違いは区別できず、１周期以内の時間差と同等になってしまう）、振動インパルス間で図６（ｂ）のように定義される時間差は任意の大きさを取る事ができるし、大きくしてもその違いを区別することができる。このΔの大きさを数十ミリ秒から数百ミリ秒の範囲で変更して、指から指に物体が触れて移動する錯覚を作り出すようにする。例えばＡ波を親指に加え、Ｂ波を薬指に加えると、親指にぶつかった物体がそのまま移動して薬指にぶつかるような錯覚が生じる。
【００３７】
本発明は、上述の実施例に限定されること無く、種々変形して実施することができる。たとえば、上記実施例では、入力デバイスにディスプレイを一体化コンテンツビューアを例に説明したが、ディスプレイを別に設けて入力デバイス単体として構成することも可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の「表示システムの操作を支援する触覚刺激提示方法」をコンテンツビューアに応用した一実施例を示す図である。この図からディスプレイを除けば、マウスに応用した例にもなっている。マウスと同様に底面に位置検出用のセンサが設けられており、デバイス本体の動きを検出する。
【図２】図１のコンテンツビューアを前面から見た図であり、ディスプレイにはＧＵＩの基本となるカーソル、メニューとフォーカス（ハイライトの当たっている項目）が示されている。右側（図２（ａ））には振動生成器の振動がデバイス本体に伝わることを防ぐためのバネなどのインシュレータの内部の構造が示されている。
【図３】図１のコンテンツビューアを手で保持する様子を示す図である。デバイス本体の側面を親指、中指、薬指で押さえて保持すると持ちやすい。また空いている人差し指でデバイス表面のボタンやホイールを操作できる。空中でデバイス裏側から手を廻して保持する場合にもこのように側面に指を当てて持つのが持ちやすいので、側面の指が接する位置に振動生成器を設置するようにする。
【図４】本発明の一実施例によるコンテンツビューアのブロック図である。
【図５】図４の演算回路２５の処理手順を示すフローチャートである。
【図６】振動生成器が生成する振動パルスの波形と、時間差をもって生成される二つの振動パルスの関係を示す図である。
【符号の説明】
【００３９】
１ ディスプレイ
２ マウス左ボタン
３ スクロールホイール
４ マウス右ボタン
５ 振動生成器
６ 振動生成器
７ 振動生成器
１５ 光学式動き検出センサ
２０ 制御回路
２１ 入力回路
２２ 記憶回路
２３ 出力回路
２４ 表示出力回路
２５ 演算回路
３０ コンテンツビューア（デバイス）
【特許請求の範囲】
【請求項１】
手で保持して前後左右に動かして操作するデバイスに適用され、前記デバイスの動きの方向と、量もしくは速さとに基づき、前記デバイス本体に設けられたディスプレイまたは別途設けられたディスプレイの表示内容をスクロールしたり、カーソルやフォーカスを移動したりする表示システムの操作を支援するための触覚刺激提示方法であって、
前記デバイス本体の側面上で手指が接する少なくとも２つの位置にそれぞれ独立に振動する振動生成器を設置し、
前記各振動生成器は駆動信号が加えられると短い期間に集中的に振動することによって振動パルスを生成し、
前記各振動生成器が生成する振動パルスに所定の時間差が生じるように振動パルスの生成タイミングを制御し、
振動パルスの生成位置と時間差によって、前記スクロールの方向と、量もしくは速度とをユーザに通知すると共に、前記カーソルあるいはフォーカスの移動方向と、移動量もしくは移動速度とをユーザに通知することを特徴とする触覚刺激提示方法。
【請求項２】
前記振動生成器とデバイス本体の間に振動を吸収するかキャンセルする素材または機構を介在することを特徴とする請求項１に記載の触覚刺激提示方法。
【請求項３】
前記振動パルスは、前記スクロールの量または速度、及び前記カーソルやフォーカスの到達位置や移動量または移動速度に依存したタイミングあるいは周期で生成されることを特徴とする請求項１または請求項２に記載の触覚刺激提示方法。
【請求項４】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第１の振動生成器が前記振動パルスを生成して前記第２の振動生成器は停止し、デバイス本体を左右に動かすときには、前記第１の振動生成器は停止して前記第２の振動生成器が前記振動パルスを生成することを特徴とする請求項１乃至３のいずれか一に記載の触覚刺激提示方法。
【請求項５】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第１の振動生成器と前記第２の振動生成器が微小な時間差で前記振動パルスを生成し、デバイス本体を左右に動かすときには、前記第１の振動生成器と前記第３の振動生成器が微小な時間差で前記振動パルスを生成し、これらの微小な時間差で生成される振動パルスの生成順序はデバイス本体の移動方向に依存して変わることを特徴とする請求項１乃至３のいずれか一に記載の触覚刺激提示方法。
【請求項６】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器と第４の指が接する第４の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第１の振動生成器と前記第２の振動生成器が微小な時間差で前記振動パルスを生成し、デバイス本体を左右に動かすときには、前記第３の振動生成器と前記第４の振動生成器が微小な時間差で前記振動パルスを生成し、これらの微小な時間差で生成される振動パルスの生成順序はデバイス本体の移動方向に依存して変わることを特徴とする請求項１乃至３のいずれか一に記載の触覚刺激提示方法。
【請求項７】
前記デバイス本体の移動量に対して、前記スクロールの量、または前記カーソルまたはフォーカスの移動量を対応付ける規則が、前記デバイス本体の速度または加速度に依存して変化するように構成された表示システムの操作を支援することを目的として、前記振動パルスの発生周期を前記スクロールの速度、または前記カーソルまたはフォーカスの速度に概反比例するように定めることを特徴とする請求項１乃至６のいずれか一に記載の触覚刺激提示方法。
【請求項１】
手で保持して前後左右に動かして操作するデバイスに適用され、前記デバイスの動きの方向と、量もしくは速さとに基づき、前記デバイス本体に設けられたディスプレイまたは別途設けられたディスプレイの表示内容をスクロールしたり、カーソルやフォーカスを移動したりする表示システムの操作を支援するための触覚刺激提示方法であって、
前記デバイス本体の側面上で手指が接する少なくとも２つの位置にそれぞれ独立に振動する振動生成器を設置し、
前記各振動生成器は駆動信号が加えられると短い期間に集中的に振動することによって振動パルスを生成し、
前記各振動生成器が生成する振動パルスに所定の時間差が生じるように振動パルスの生成タイミングを制御し、
振動パルスの生成位置と時間差によって、前記スクロールの方向と、量もしくは速度とをユーザに通知すると共に、前記カーソルあるいはフォーカスの移動方向と、移動量もしくは移動速度とをユーザに通知することを特徴とする触覚刺激提示方法。
【請求項２】
前記振動生成器とデバイス本体の間に振動を吸収するかキャンセルする素材または機構を介在することを特徴とする請求項１に記載の触覚刺激提示方法。
【請求項３】
前記振動パルスは、前記スクロールの量または速度、及び前記カーソルやフォーカスの到達位置や移動量または移動速度に依存したタイミングあるいは周期で生成されることを特徴とする請求項１または請求項２に記載の触覚刺激提示方法。
【請求項４】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第１の振動生成器が前記振動パルスを生成して前記第２の振動生成器は停止し、デバイス本体を左右に動かすときには、前記第１の振動生成器は停止して前記第２の振動生成器が前記振動パルスを生成することを特徴とする請求項１乃至３のいずれか一に記載の触覚刺激提示方法。
【請求項５】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第１の振動生成器と前記第２の振動生成器が微小な時間差で前記振動パルスを生成し、デバイス本体を左右に動かすときには、前記第１の振動生成器と前記第３の振動生成器が微小な時間差で前記振動パルスを生成し、これらの微小な時間差で生成される振動パルスの生成順序はデバイス本体の移動方向に依存して変わることを特徴とする請求項１乃至３のいずれか一に記載の触覚刺激提示方法。
【請求項６】
第１の指が接する第１の振動生成器と第２の指が接する第２の振動生成器と第３の指が接する第３の振動生成器と第４の指が接する第４の振動生成器とを備え、デバイス本体を前後に動かすときには、前記第１の振動生成器と前記第２の振動生成器が微小な時間差で前記振動パルスを生成し、デバイス本体を左右に動かすときには、前記第３の振動生成器と前記第４の振動生成器が微小な時間差で前記振動パルスを生成し、これらの微小な時間差で生成される振動パルスの生成順序はデバイス本体の移動方向に依存して変わることを特徴とする請求項１乃至３のいずれか一に記載の触覚刺激提示方法。
【請求項７】
前記デバイス本体の移動量に対して、前記スクロールの量、または前記カーソルまたはフォーカスの移動量を対応付ける規則が、前記デバイス本体の速度または加速度に依存して変化するように構成された表示システムの操作を支援することを目的として、前記振動パルスの発生周期を前記スクロールの速度、または前記カーソルまたはフォーカスの速度に概反比例するように定めることを特徴とする請求項１乃至６のいずれか一に記載の触覚刺激提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２５７２９５（Ｐ２００８−２５７２９５Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９５７０５（Ｐ２００７−９５７０５）
【出願日】平成１９年３月３０日（２００７．３．３０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８年度、独立行政法人科学技術振興機構、独創的シーズ展開事業大学発ベンチャー創出推進「機器の簡単確実な操作を実現するハプティックユーザインターフェースの研究開発」にかかる委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年３月３０日（２００７．３．３０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８年度、独立行政法人科学技術振興機構、独創的シーズ展開事業大学発ベンチャー創出推進「機器の簡単確実な操作を実現するハプティックユーザインターフェースの研究開発」にかかる委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
[ Back to top ]