転動型入力装置と音楽演奏用プログラム
【課題】 既存の機器のタッチパネルを利用して、分かりやすく、臨場感をもって、音楽演奏を行うことを可能にする、転動型入力装置と音楽演奏用プログラムを与える。
【解決手段】 タッチパネルを装備した既存の機器に装着するか、指に装着して使用する転動型入力装置において、指が転動体に加えるエネルギーを蓄積する手段を導入し、蓄積したエネルギーで指に振動や叩く触覚刺激を加えて、音楽演奏に臨場感を付加し、触覚手掛かりによって音楽演奏を正確に行えるようにした。さらにタッチパネルに接触したまま移動する距離に応じて音の強度や持続時間を指定し、タッチパネルとの接触が終了するタイミングで音を発生するようにし、音の高低については事前に登録した情報をプログラムが自動的に指定するようにして音楽演奏を容易に行えるようにした。
【解決手段】 タッチパネルを装備した既存の機器に装着するか、指に装着して使用する転動型入力装置において、指が転動体に加えるエネルギーを蓄積する手段を導入し、蓄積したエネルギーで指に振動や叩く触覚刺激を加えて、音楽演奏に臨場感を付加し、触覚手掛かりによって音楽演奏を正確に行えるようにした。さらにタッチパネルに接触したまま移動する距離に応じて音の強度や持続時間を指定し、タッチパネルとの接触が終了するタイミングで音を発生するようにし、音の高低については事前に登録した情報をプログラムが自動的に指定するようにして音楽演奏を容易に行えるようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触感に基づき操作する転動型入力装置とそれを用いて音楽を演奏するための音楽演奏用プログラムに関する。
【背景技術】
【０００２】
近年、タッチパッド、タッチパネル、タッチディスプレイといった指やスタイラスで面上をタッチして操作する接触位置検出装置（以下タッチパネルと総称する）が普及している。従来、タッチパネルでは、その表面に指やスタイラスと呼ばれるペン状の器具で接触することによって接触地点の座標を入力していた。しかしながら、タッチパネルは触っても平坦で剛性が高くて反力も明瞭に返さないため、指が感じる触覚的手掛かりが欠如しており、接触位置を視覚的に確認する必要があった。また接触した結果、正しく入力が行われているか確認する場合にも、視覚や聴覚を通じて確認する必要があるため、音楽演奏用機器の入力装置としては不適格であった。
【０００３】
本発明に関連する特許文献を以下に示す。
【特許文献１】特開平９−１２８１４９号公報
【特許文献２】特開２００１−３０６２３８号公報
【特許文献３】実公平４−３３９１２号公報
【０００４】
特許文献１と２では、タッチパネル上でローラ状の転動体を転がす操作によってデータや指令を入力する方法が示されている。しかしながら、いずれの手法も転動体を情報入力の手段として用いているだけであり、触覚的手掛かりを付加する手段としては利用しておらず、そのための工夫も与えられていなかった。
【０００５】
また特許文献３には、曲目の音程を記憶し、該音程を所定の順序で発音させる制御手段を備えた楽器玩具が示されている。この楽器玩具においては、事前に曲の音の高低の情報がプログラムされており、演奏者は音の発生タイミングと強さを指定するだけで容易に曲を演奏できる点が本発明と共通しているが、音の発生タイミングと強さを入力するために専用のセンサを導入しており、製造コストが高くなっている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、以上の状況に鑑みて考案されたものであり、既存の機器に備わっているタッチパネルを活用しながら、タッチパネルの触覚手掛かりが欠如している問題を克服し、豊富な触感により、臨場感をもって分かり易く音楽の演奏が行える転動型入力装置と、その装置を利用して音楽演奏を行うためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明では、指とタッチパネルの間に転動体と呼ぶ機構を介在させて、接触位置や転動量等の入力内容や入力に対する反応を触覚を通じて確認できるようにして、視覚や聴覚に依存することなく、音楽を分かりやすく演奏することを可能とする入力装置とプログラムを与える。従来から各種の触覚フィードバックデバイスが開発されているが、タッチパネルと指の間に介在するデバイスを通じて上記問題を解決しようとする試みは従来なく、この点に本発明の新規性がある。
【０００８】
より詳細に説明すると、タッチパネル上に設けられた転動体そのものがタッチパネル面よりも突出すること、または転動体の指接触表面が凹凸の形状を取ることにより、凹凸感を通じて操作すべき位置を把握することを可能とし、転動体を操作して転動させる際に蓄積するエネルギーによって、楽器演奏時に手や指が感じる振動の感触や、弦を弾く時に生じる反力（反発力）、あるいは弦やその他の操作対象が跳ね返って指にぶつかる感触等の触感を与えながら、タッチパネルのセンサ機能を活用して指によって加えられた操作内容を検出し、音楽の演奏内容をコントロールすることを可能にする入力装置とプログラムを与える。
【０００９】
本発明によれば、既存のタッチパネルを備えた機器を用いて、指が感じる凹凸や反力、振動を通じて演奏内容を触覚的に把握し、臨場感をもって音楽を演奏することが可能になる。さらにプログラム中またはプログラムがアクセスするメモリに事前に曲を構成する音の高低に関する情報を記述しておき、演奏時に音の高低をプログラムが自動的に指定するようにすれば、演奏者は、音を発するタイミングや持続時間、強弱のみを指定するだけで曲を演奏できるようになるので、入力装置の操作が触覚的に把握できることと相まって、誰にでも容易に音楽を演奏することが可能となる。
また、本発明では、既存のタッチパネルのセンサ機能（接触位置検出機能）を活用して、音の発生タイミングや強度を入力するようにプログラムのアルゴリズムを工夫しており、付加する入力装置自体にはセンサ機能を省き、構造を単純化してデバイスコストを削減することを可能としている。
【００１０】
具体的には、本発明の請求項１に記載の転動型入力装置は、それ自体が単独で機能するタッチパネルやタッチスクリーン、タッチディスプレイといった接触位置検出手段を備えたパネルに対して、転動体部分がパネル上に来るように装着され、該パネルに直接的または間接的に接触しながら転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記転動体が転動運動をしている最中か転動運動終了後に、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えたことを特徴とする。
【００１１】
ここで間接的に接触するとは、転動体とパネルの間に容易に変形する膜や布などを介在して接触することを意味する。また前記エネルギー蓄積手段は、例えばゼンマイのバネや板バネ、ゴム紐のように、転動体が転動する際に変形する弾性体の弾性エネルギーとして指から加えられるエネルギーを蓄積すると、低コストに構成することができる。そして変形した弾性体が元に復帰する際に放出するエネルギーを利用して、指に反力を加えたり、指を置く台を振動させたりして触覚を刺激することができる。
【００１２】
また請求項２に記載の転動型入力装置は、指に装着されて、あるいは指で保持されて、その指によって接触位置検出手段を備えたパネルに押しつけられて、該パネルに直接的または間接的に接触しながら指の動きと共に転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記転動体が転動運動をしている最中か転動運動終了後に、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えたことを特徴とする。
【００１３】
この場合も、エネルギー蓄積手段としては弾性体を用いることができて、変形した弾性体が復帰する際に転動体を振動させたり、転動体を指に打ちつけたりして、触覚を刺激することができる。請求項２の方式では転動体が指に常に装着されているため、指がパネルから離れた後であっても転動体自身の運動が指の触覚を刺激することができる。
【００１４】
また請求項３に記載の転動型入力装置は、請求項１または２に記載した転動型入力装置において、例えば上述したような仕組みを通じて、指から転動体に加えられたエネルギーを蓄積した上で、その触覚刺激手段が、蓄積されたエネルギーを使って振動を生成すること、あるいは指を打つ刺激を生成することによって、指の触覚に作用することを特徴とする。
【００１５】
また請求項４に記載の音楽演奏用プログラムは、接触位置検出手段を備えたパネルと共に使われるプログラムであって、前記転動体等のオブジェクトが前記パネルに接触した後に、接触したままタッチパネル上を所定の距離を移動してからタッチパネルを離れる際に、演奏する曲中の音の強弱または継続時間を、前記オブジェクトがタッチパネルに接触しながら移動した距離（オブジェクトとパネルの接触点が接触状態を保ったまま移動した距離）に関連付けて定め、音の発生タイミングを前記オブジェクトが前記パネルから離れるタイミング（接触状態が終了するタイミング）に合わせて定めることを特徴とする。触覚刺激を生成するためにエネルギー蓄積手段が蓄積するエネルギーは、通常、上記の距離に依存して定まるので、この距離に依存して音の強弱や継続時間を定めることによって、音の強弱や継続時間と触覚刺激の強度の間に相関を生じさせることができる。
【００１６】
また請求項５に記載の音楽演奏用プログラムでは、請求項４に記載した音楽演奏用プログラム中に、またはそのプログラムがアクセスするメモリ中に、演奏する曲の音の高低に関する情報を事前に記述しておき、この記述された情報に基づきプログラムが自動的に指定する音の高低に関する情報と、演奏者が入力装置（タッチパネル）を用いて指定する音の強弱または継続時間、及び音の発生タイミングに関する情報を組み合わせて曲を演奏することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、既存のタッチパネルを備えた機器に装着するか、または指に装着する、簡易でコストの低い転動型入力装置を用いて、演奏内容を、凹凸や反力、振動等の触感を通じて触覚的に把握し、臨場感をもって音楽を演奏することが可能になる。さらにプログラム中に事前に曲を構成する音の高低に関する情報を記述しておけば、演奏者は、音を発するタイミングや持続時間、強弱のみを指定するだけで曲を演奏できるようになるので、入力装置の操作が触覚的に把握できることと相まって、誰にでも容易に音楽を演奏することが可能となる。
【発明を実施するための最良の形態】
【００１８】
本発明の実施の形態による転動型入力装置は、それと別個に用意されている接触位置検出手段を備えたパネルと組み合わせて使用する。以下、接触位置検出手段を備えたパネルをタッチパネルと呼ぶことにする。本発明の請求項１に係る転動型入力装置は、タッチパネルを備えた別個の装置に装着して使用する。例えば図１に転動型入力装置１の構成例を上方から見た平面図（ａ）と前方から見た正面図（ｂ）で示す。この構成例では、タッチパネル６を備えた別個の装置のタッチパネル上に転動型入力装置１が装着されている様子を示す。図１においてタッチパネル６とその台１２（別個の装置の筺体の一部）以外はすべて転動型入力装置１の構成部材となっている。
【００１９】
図１ではタッチパネル６の表面上に、転動体２及び３が、シリコンゴム紐４及び５によって吊り上げられている。またシリコンゴム紐４及び５は、その両端が振動伝達板１０のアーム部につながれて、適度な張力で引っ張られており、その弾力性及び柔軟性によって転動体２及び３は外力により自在に姿勢と位置を変え、タッチパネル６に接触してその上で転がり（転動し）得る。この図では振動伝達板１０のアーム部は３つあり、それぞれがタッチパネル６の表面との間に微小な空隙を維持しながら、タッチパネル上にせり出している。留め具７、８、９はシリコンゴム紐４及び５をこれらのアームに留めるために使われている。またタッチパネル６の周辺部に露出している別個装置の筺体表面には、柔軟な素材でできたスペーサ１１が設置されており、このスペーサを間に挟んで振動伝達板１０が別個装置に装着される。ここで、別個装置に対して振動伝達板が相対的に動いて振動できるようにスペーサ１１は柔軟な素材から成り、また振動伝達板との接触面積は小さくなっており、図３（ｄ）に示すように転動体が振動するときには、その振動がシリコンゴム紐を経由して振動伝達板に伝達し、振動伝達板の上に乗せた指に転動体の振動の感触が効率良く伝わるようになっている。なお転動体３を転動させる操作は弦を弾く操作に対応する。弦が複数並列に設けられている楽器のように転動体３とシリコンゴム紐５を並列に複数設置しても良い。
【００２０】
図２には図１の転動型入力装置の３次元形態が良く分かるように３つの方向から見た斜視図が示されている。この図の中には別個装置の側に属するタッチパネルとその台も同時に示されている。
【００２１】
通常の場合には、機器は余計な振動を発生したり、伝えたりしないように頑強に構成されるのが望ましいと考えられるが、本発明においてはその目的上、操作時に発生する振動をできるだけ明瞭に指に伝える仕組みが必要であり、そのために図１に示すように別個装置に対して相対的に動くように振動伝達板が導入されている点に注意する必要がある。振動伝達板は軽量であり、それが重い別個装置と独立に動けるので、転動体を操作した時に発生する振動を指に明瞭に伝達し得る。重い別個装置と強固に結合していたら振動伝達板は振動しなくなってしまう。操作者は、転動型入力装置をある指で操作している最中に別の指を振動伝達板の上に置いて、振動伝達板の振動を通じて操作の内容（操作の強さやタイミングなど）を指の触覚で把握、確認することになる。その際にできるだけ心地良い振動を発生するように、転動体の重量や、シリコンゴム紐の張力、振動伝達板の共振特性を設計することが望ましい。また音楽の音の周波数と合った周波数の振動を発生すると、臨場感が向上し、振動の強度や周波数を通じて音の大きさと高低も確認できるようになる。
【００２２】
タッチパネル６は、本発明の実施の形態による転動型入力装置１の構成要素になっていないが、電極間の接触関係を通じて加圧位置を検出するようにマトリックス状に配列した電極や、接触位置に応じて抵抗値を変える抵抗膜、静電容量の変化を通じて指の接近位置を検出する電極配列等によって構成され、その表面上で転がる転動体が直接的または間接的にパネルに接触する位置を検出する。静電容量型タッチパネルを利用する場合には、それに接触する転動体や膜が適当な誘電率や導電率を備えていることが望ましい。
【００２３】
図３（ａ）には、図１の転動体３とそれをタッチパネル上で吊り上げているシリコンゴム紐５、及び振動伝達板のアーム部１０が示されている。この転動体の上に（ｂ）に示すように指を置き、転動体をタッチパネルに押しつけたままＦ１の方向に力を入れて、転動体３をタッチパネル上で転がすと、シリコンゴム紐５は（ｃ）に示すように伸びて、その張力がＦ２に示す方向に反発力（反力）を発生する。またこの時に、ゴム紐（エネルギー蓄積手段）は、指が転動体に加えたエネルギーを、弾性エネルギーとして蓄積する。このエネルギーによって生じる反発力Ｆ２は転動体を転がす距離に概比例するので、操作者はこの反発力の強さを指の触覚で感じることで、転動体を転がした距離を触覚的に把握することができて、操作する際の力加減を調整して、音楽を正確に演奏することができる。
【００２４】
図３（ｂ）に示すように指で転動体をタッチパネル上で転がして（ｃ）のようにゴム紐を伸ばした後で、転動体から指を離すと、（ｄ）に示すようにゴム紐に蓄積されたエネルギーによって転動体は振動する。ここで振動によって転動体が動く様子が破線で示されている。この振動は、振動伝達板１０のアーム部を経由して図１の振動伝達板１０に伝わり、振動伝達板の上に置かれた指の触覚を刺激する。操作者はこの振動の強さや継続時間を通じて、自分の行った操作の程度（転動体に加えた力の程度、転がした量）を確認して、それ以降の演奏中の操作の程度を修正することができる。また演奏している曲の音の強さを振動として触覚によって体感して、臨場感を得ることができる。
【００２５】
図４には転動体２１がシリコンゴム膜２５を間に介して間接的にタッチパネル６に接触する方式の構成例を示している。図４の構成例では、シリコンゴム膜２５がタッチパネル６の表面から所定の間隙を隔てて張られており、指で押された転動体２１は転動するにつれて異なる位置でシリコンゴム膜２５を押して、押されて変形したシリコンゴム膜２５がタッチパネルに接触して、接触位置（図中の２７、２８等）の情報が入力される。
【００２６】
図４には、ボール状の転動体２１を縦に割った断面図が示されている。このボール状転動体２１にはその底部から円柱状の穴が開けられており、その中にバネ２２が収納されている。バネの上端は円柱状の穴の上部に取り付け金具２３で取り付けられている。またバネの下端は、シリコンゴム膜２５に取り付け部材２４を介して接続されている。シリコンゴム膜２５はタッチパネル６のパネル表面から一定の間隙をおいて張られており、指でボール状転動体２１の上部を下方向に押すと（ｂ）のようにシリコンゴム膜が変形し、ボール状転動体下部は、間にシリコンゴム膜２５や取り付け部材２４を挟んで、タッチパネル６に２７の位置で接触する。また（ｃ）に示すように指でボール状転動体２１をタッチパネル６に押しつけながら、指をタッチパネルと平行な方向に動かすと、バネ２２が伸びた上で、ボール状転動体２１は指を動かす方向に転動し、押されて変形したシリコンゴム膜を介して、２８の位置でタッチパネル表面に接触する。この際にバネ２２（エネルギー蓄積手段）は元の長さに戻ろうとして、反発力Ｆ３が図中の矢印の向きに指に加わる。またこの操作の過程で指が転動体に加えたエネルギーは、変形したバネの弾性エネルギーとして蓄積される。そしてこのエネルギーによって生じる反発力Ｆ３を指の触覚で感じることで、操作者は転動体へ加えた操作の程度（転動量）を把握できる。
【００２７】
図４（ｃ）のように転動体２１を転動させて、反発力Ｆ３が発生している状態で、指を転動体から離すと、転動体はバネ２２に蓄積されていたエネルギーを使って振動を始める。この振動はシリコンゴム膜２５を介在して支持枠２６に伝わり、さらに支持枠２６の振動が振動伝達板に伝わり、その上に置かれた指の触覚を刺激する。支持枠２６はタッチパネルを備えた別個の装置に対して相対的に動けるように装着されており、シリコンゴム膜の振動を効率的に指に伝える。
【００２８】
本発明の請求項２に係る転動型入力装置は、転動体を指に装着するか指で保持して操作する点に特色がある。請求項１に記載の転動型入力装置では転動体をタッチパネル側に装着し、それを指で操作したが、請求項２に係る転動型入力装置では、転動体を指側に装着し、あるいは指で保持して、タッチパネルに触れる際には、指とタッチパネルの間に転動体を挟むようにして、転動体を介してタッチパネルに接触する。図５にそのような転動型入力装置の構成例を示す。図５（ａ）には、転動体を指に装着しているようすを、指先の方向から見た側面図で示す。ここでボール状転動体３１は、２つの支持アーム３４の間に張られたバネ３２を回転軸として用いて、その周りを回転するように取り付けられている。２つの支持アーム３４は、図５（ｃ）に示すように、バンド３６で指に留められたフレーム３７に取り付けられている。３５はこのフレームの前方部分である。
【００２９】
転動体３１をタッチパネル６から離れるように持ち上げている状態では、図５（ａ）や（ｃ）に示すようにボール状転動体３１は指の下面から離れていて、指に当たらずに動ける状況にあり、後述するボール状転動体の振動は指に当たって減衰することなく持続できる。一方、図５（ｂ）のように指を下げてボール状転動体３１をタッチパネル表面に押しつけると、ボール状転動体３１は指とタッチパネルの間に挟まれる。この状態で図５（ｄ）に示すようにＦ１の方向に力を加えて指をタッチパネルと平行な方向に動かすと、バネ３２が伸びて、ボール状転動体はタッチパネル上を転がる。この時、バネ３２（エネルギー蓄積手段）には指から加えたエネルギーが弾性エネルギーとして蓄積される。また転がった距離に概比例した大きさの反発力がＦ１と反対の方向に生じて指に加わるので、操作者はその反発力の大きさを通じて操作量を確認することができる。
【００３０】
こうして転動体を転がしてバネ３２に弾性エネルギーを蓄積している状況で、図６（ｂ）に示すように指を持ち上げて転動体をタッチパネルから離すと、バネが元の長さに戻ろうとして、ボール状転動体３１にＦ２の方向へ力が加わる。この力によってボールは図６（ｃ）に示すように元の位置に戻るが、慣性があるためにそこで止まらずにさらに図６（ｄ）に示される位置まで動く。そしてそこでバネが元の長さに戻ろうとして今度はＦ３の方向に力を及ぼす。こうして転動体は、バネ３２が蓄積した弾性エネルギーの大きさに応じた振幅で振動を始める。図６（ｅ）にはこの振動によってボール状転動体が動く様子を破線で示す。ボールは黒で塗り潰された矢印の方向に往復運動し、その振動が支持アーム３４とフレーム３７を経由して指に伝わる。
【００３１】
指に伝わる振動は、触覚を刺激して、音楽を演奏する際の臨場感を高めることになる。また操作者は反発力の大きさや振動の大きさを通じて、転動体に加えた力の大きさや転動量を確認できるので、こうした触覚的な手掛かりによって、操作量を調整し、演奏の精度を向上することができる。
【００３２】
図７には、請求項２に示した指に装着する転動型入力装置の、図５と異なる構成例を示している。図７（ａ）には指の先端方向から見た正面図、図７（ｂ）には指の横方向から見た側面図を示す。ボール状転動体については、縦に割った断面図が示されており、円柱状の穴の中にバネ４２が入っており、転動体４１は、図４と同じ原理により、その端部が取り付け用部材４３、４４によって、ボール状転動体４１とバンド４５につながったバネ４２を介して、指側に巻きつけたバンド４５に取り付けられている。
【００３３】
図７（ｃ）には指を横に動かしてボール状転動体を転動させたときの様子を、また（ｄ）には指を後方に動かしてボール状転動体を転動させたときの様子を示す。図７（ａ）（ｂ）の４６は転動する前に転動体４１がパネル６と接触している点であるが、この接触点が図７（ｃ）のように転動させたときには４７に、また図７（ｄ）のように転動させたときには４８に移動していることがわかる。また（ｃ）と（ｄ）ではバネ４２が伸びて、それぞれＦ４、Ｆ５の方向に反発力が生じている。操作者は、この反発力を通じて操作量（転動量）を触覚的に確認できる。また（ｃ）や（ｄ）のようにバネが伸びている状態で指を持ち上げて、ボール状転動体４１をタッチパネル６から離すと、ボール状転動体は振動したり、指に打ちつけられたりして、指の触覚を刺激する。この刺激を通じて、操作者は臨場感を感じたり、操作量を把握したりして、音楽演奏の精度を向上できるようになる。
【００３４】
なお以上には、比較的単純な機構で指から転動体に加えられるエネルギーを蓄積して、そのエネルギーを使って振動や指を打つ刺激を生成する方式（触覚刺激手段）を述べたが、より複雑な方式としては、例えば、転動体を回転させることでゼンマイを巻いてエネルギーを蓄積し、ゼンマイによる駆動機構で偏心錘を回転して振動を生成することもできる。あるいはゼンマイで駆動する刺激子で指を打つようにしても良い。指から転動体に与えられる力が微弱であっても、それを長時間に渡りエネルギーとして蓄積すれば、蓄積したエネルギーを瞬時に使うことにより強い力を生成し、明瞭な刺激を触覚に提示できる。そこで本発明においては、指から与えられる力を一度エネルギーとして蓄積してから、そのエネルギーを利用して触覚刺激を生成するようにしている。
【００３５】
図１０は、上述の転動型入力装置１を用いてデータ入力を行うコンピュータ装置８９の機能ブロック図である。コンピュータ装置８９は、データを入力する入力部８５、入力したデータを用いてプログラムの演算処理を実行する演算処理部８７、演算結果を出力する出力部８６、および、データを保存する記憶部８８で構成されている。また、入力部８５は、パネル８１と接触位置検出手段８２とで構成されるタッチパネル６と、このタッチパネル６を介してデータを入力する転動型入力装置１とから構成されている。なお、コンピュータ装置８９は、汎用のパーソナルコンピュータでも良いし、専用の音楽演奏装置などであっても良い。
【００３６】
図８には、請求項４と５に係る音楽演奏用プログラムの構成例をフローチャートで示している。請求項４と５に係る音楽演奏用プログラムの特徴は、これらのプログラムがタッチパネル６と共に使われるコンピュータ８９上で動作し、タッチパネル６のセンサ機能（接触位置検出手段８２）を活用して、音楽演奏をコントロールする情報を入力する点にある。図８のフローチャートでは、転動体でタッチパネルに接触する場合を想定してプログラムを構成しているが、タッチパネルに接触するオブジェクトは必ずしも転動体である必要はない。タッチパネルの接触状況・接触位置検出機能を活用し、何らかのオブジェクトがタッチパネルに接触したまま移動する距離Ｄと接触後離れるタイミングＴを検出し、Ｄによって発する音の強度または継続時間を定め、Ｔによって音を発生するタイミングを定めるようにプログラムを構成すれば、請求４に係るプログラムの特徴が満たされることになる。またさらに、演奏時に演奏者が音の高低を指定せずに済むように、音の高低の情報を事前に与えておき、演奏時にはプログラムによって音の高低を自動的に指定する機能を備えれば、請求項５に係るプログラムの特徴が備わることになる。このプログラムを用いれば、演奏者は上述したように、タッチパネルを使用して、音の強度や継続時間、発生タイミングを指定するだけで曲を演奏することができるようになる。
【００３７】
図８のフローチャートでは、まず曲名ｉの曲を構成する音の高低の情報を再生順に並べた系列Ｎｉ（０），Ｎｉ（１），Ｎｉ（２）,・・・を図中のＤａｔａ １のように事前に記憶部８８に記憶しておく。ここでｔは時刻、または再生順序を意味している。またＮｉの具体的な中身は、音響データＳｋの音の高低をコントロールするためのパラメータや、音の高低の周波数情報、あるいは実際の音源から高低を変えて発生した音の信号をサンプリングしたもの等、色々な形態で表わされた音の高低に関する情報である。この系列は演奏者が演奏を始める前に登録しても良いし、インターネットでダウンロードしたり、何らかの記録メディアから供給したりしても良い。同様に、演奏する音楽で利用する楽器の種類ｋに対応する音響データＳｋをＤａｔａ ２のように事前に記憶しておく。Ｎｉ（０），Ｎｉ（１），Ｎｉ（２）,・・・の系列から順次データを読み出すためにＮｉ（ｔ）のｔの初期値を０とする。また曲名ｉと楽器の種類ｋを指定してプログラムを実行開始する。
【００３８】
プログラムは繰り返しループの中で、常にタッチパネルの接触状況をモニターしている。まずＳｔｅｐ １でタッチパネルに転動体（転動体以外の別のオブジェクトでも良い）が接触しているか調べ、接触していたらＳｔｅｐ ２で前時点の接触状況を調べる。前時点にも接触していたら連続して接触し続けている状況なので特に何もせずにタッチパネルの接触状況のモニターを継続する。しかしながら前時点には接触していなかったら、その時点で初めて接触を開始したことになるので、Ｓｔｅｐ ４に示すように、その時点のタッチパネル上の接触位置をタッチ（接触）開始位置として記録してから、タッチパネルの接触状況のモニターを継続する。
【００３９】
Ｓｔｅｐ １でタッチパネルに転動体が接触していないときには、Ｓｔｅｐ ３で、前時点の接触状況を調べ、前時点にも接触していない場合には、何もせずにタッチパネルの接触状況のモニターを継続する。しかしながら、前時点では接触していたのであれば、前時点と現時点までの間に接触が終了したと判断して、Ｓｔｅｐ ５に示すように前時点の接触位置をタッチ終了地点として登録する。またその時点で接触が終了したのだから、請求項４に示すように、その終了のタイミングと合うように直ちに音を発生する。Ｓｔｅｐ ６で、Ｄａｔａ １から曲名ｉの音の高低の情報の系列中のｔ番目の音の高低の情報Ｎｉ（ｔ）を、またＤａｔａ ２から楽器ｋの音響情報Ｓｋを読み出し、これらの音の高低、音響情報を使って出力部８６から音を発生する。ここで音の強弱または継続時間は、タッチパネルから与えられるタッチ開始地点と終了地点の間の距離の長さに応じて定めるようにする。音の発生後はｔの値を一つ増やし、タッチパネルの接触状況のモニターを継続する。
【００４０】
なお図９には、図３で用いたシリコンゴム紐の形状をＨ字の形状に変更し、この形状でタッチパネル上に張ったシリコンゴム紐５、１３、１４で球状転動体３を吊ることによって、球状転動体３を前後左右のいずれの方向にも対称にほぼ同じ力で転動できるようにし、また反発力も等方的に生成されるようにした転動型入力装置の上面図を示す。（ａ）は転動体に何も力を作用させていない中立状態の様子を示す。１０はシリコンゴム紐を張るためのフレームで指に振動を伝達するための振動伝達板の役割を兼ねている。また１３、１４はこのフレームに張ったシリコンゴム紐でこれらの紐の中点間にシリコンゴム紐５が張られている。そしてこのシリコンゴム紐５によって球状転動体３が吊られている。（ｂ）はＦ１の力を加えて、転動体を下方に押して転動させた様子であり、シリコンゴム紐５がこの図に示すように伸びることで転動体は下方向に転動する。（ｃ）はＦ１の力を加えて、転動体を右方向に転動させた様子であり、シリコンゴム紐１３、１４がこの図に示すように変形することで転動体は右方向に転動する。（ｄ）はＦ１の力を加えて、転動体を斜め右下方に転動させた様子を示す。この場合には、シリコンゴム紐５、１３、１４がすべて変形することで斜め右下方に転動することが可能になった。このようにシリコンゴム紐の張り方をＨ字の形状に工夫することで、球状転動体は任意の方向へ自在に転動することが容易となり、また球状転動体が宙にぶら下がっているため、図４の方式に比べると、振動が長時間に渡り継続しやすくなる。なお図９の方式はタッチパネルに装着するだけでなく、指に装着することも可能である。
【図面の簡単な説明】
【００４１】
【図１】本発明の転動型入力装置の一実施例について、（ａ）は上から見た平面図、（ｂ）は前方から見た正面図を示す。
【図２】図１の転動型入力装置を異なる視点から見たときの斜視図を（ａ）（ｂ）（ｃ）に示す。
【図３】図１の転動型入力装置（ａ）の転動体を指で操作する様子（ｂ）と、それによって発生する反発力（ｃ）と転動体の振動（ｄ）を示す。
【図４】タッチパネル上に張った弾性膜に球状転動体を一本のバネでつなげることによって、球状転動体を前後左右のいずれの方向にも対称に同じ力で転動できるようにし、また反発力も等方的に生成されるようにした転動型入力装置を示す側面断面図である。（ａ）は中立状態、（ｂ）は転動体を下方に指で押した様子、（ｃ）は転動体を転動させた様子を示す。
【図５】本発明の転動型入力装置のうちで指に装着するタイプを示す図である。親指にバンドで装着した様子で（ａ）は転動体がタッチパネルから離れている場合に指の前方から見た正面図、（ｂ）は転動体がタッチパネルに接触した場合の正面図、（ｃ）は転動体がタッチパネルから離れている場合の側面図、（ｄ）はタッチパネル上に転動体を接触させて転動させたときの側面図である。
【図６】図５に示した指装着型転動体を転動させる様子を示す図である。（ａ）はタッチパネルに接触させたまま指をＦ１の方向に動かして転動させる様子、（ｂ）は（ａ）の転動後、転動体をタッチパネルから離した直後の様子、（ｃ）と（ｄ）は（ｂ）の後の転動体の動きを時間経過と共に追ったもの、（ｅ）は振動による転動体の動きを破線で示したものである。
【図７】図４に示した原理で等方的に転動する転動体を指に装着するようにした構成例を示す図である。
【図８】音楽演奏用プログラムの一例をフローチャートで示す図である。
【図９】タッチパネル上にＨ字形状に張ったシリコンゴム紐で球状転動体を吊ることによって、球状転動体を前後左右のいずれの方向にも対称にほぼ同じ力で転動できるようにし、また反発力も等方的に生成されるようにした転動型入力装置を示す平面図である。（ａ）は中立状態、（ｂ）は転動体を下方に押して転動させた様子、（ｃ）は転動体を右方向に転動させた様子、（ｄ）は転動体を斜め右下方に押して転動させた様子を示す。
【図１０】本発明の実施の形態による転動型入力装置を利用するコンピュータ装置の機能ブロック図である。
【技術分野】
【０００１】
本発明は、触感に基づき操作する転動型入力装置とそれを用いて音楽を演奏するための音楽演奏用プログラムに関する。
【背景技術】
【０００２】
近年、タッチパッド、タッチパネル、タッチディスプレイといった指やスタイラスで面上をタッチして操作する接触位置検出装置（以下タッチパネルと総称する）が普及している。従来、タッチパネルでは、その表面に指やスタイラスと呼ばれるペン状の器具で接触することによって接触地点の座標を入力していた。しかしながら、タッチパネルは触っても平坦で剛性が高くて反力も明瞭に返さないため、指が感じる触覚的手掛かりが欠如しており、接触位置を視覚的に確認する必要があった。また接触した結果、正しく入力が行われているか確認する場合にも、視覚や聴覚を通じて確認する必要があるため、音楽演奏用機器の入力装置としては不適格であった。
【０００３】
本発明に関連する特許文献を以下に示す。
【特許文献１】特開平９−１２８１４９号公報
【特許文献２】特開２００１−３０６２３８号公報
【特許文献３】実公平４−３３９１２号公報
【０００４】
特許文献１と２では、タッチパネル上でローラ状の転動体を転がす操作によってデータや指令を入力する方法が示されている。しかしながら、いずれの手法も転動体を情報入力の手段として用いているだけであり、触覚的手掛かりを付加する手段としては利用しておらず、そのための工夫も与えられていなかった。
【０００５】
また特許文献３には、曲目の音程を記憶し、該音程を所定の順序で発音させる制御手段を備えた楽器玩具が示されている。この楽器玩具においては、事前に曲の音の高低の情報がプログラムされており、演奏者は音の発生タイミングと強さを指定するだけで容易に曲を演奏できる点が本発明と共通しているが、音の発生タイミングと強さを入力するために専用のセンサを導入しており、製造コストが高くなっている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、以上の状況に鑑みて考案されたものであり、既存の機器に備わっているタッチパネルを活用しながら、タッチパネルの触覚手掛かりが欠如している問題を克服し、豊富な触感により、臨場感をもって分かり易く音楽の演奏が行える転動型入力装置と、その装置を利用して音楽演奏を行うためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明では、指とタッチパネルの間に転動体と呼ぶ機構を介在させて、接触位置や転動量等の入力内容や入力に対する反応を触覚を通じて確認できるようにして、視覚や聴覚に依存することなく、音楽を分かりやすく演奏することを可能とする入力装置とプログラムを与える。従来から各種の触覚フィードバックデバイスが開発されているが、タッチパネルと指の間に介在するデバイスを通じて上記問題を解決しようとする試みは従来なく、この点に本発明の新規性がある。
【０００８】
より詳細に説明すると、タッチパネル上に設けられた転動体そのものがタッチパネル面よりも突出すること、または転動体の指接触表面が凹凸の形状を取ることにより、凹凸感を通じて操作すべき位置を把握することを可能とし、転動体を操作して転動させる際に蓄積するエネルギーによって、楽器演奏時に手や指が感じる振動の感触や、弦を弾く時に生じる反力（反発力）、あるいは弦やその他の操作対象が跳ね返って指にぶつかる感触等の触感を与えながら、タッチパネルのセンサ機能を活用して指によって加えられた操作内容を検出し、音楽の演奏内容をコントロールすることを可能にする入力装置とプログラムを与える。
【０００９】
本発明によれば、既存のタッチパネルを備えた機器を用いて、指が感じる凹凸や反力、振動を通じて演奏内容を触覚的に把握し、臨場感をもって音楽を演奏することが可能になる。さらにプログラム中またはプログラムがアクセスするメモリに事前に曲を構成する音の高低に関する情報を記述しておき、演奏時に音の高低をプログラムが自動的に指定するようにすれば、演奏者は、音を発するタイミングや持続時間、強弱のみを指定するだけで曲を演奏できるようになるので、入力装置の操作が触覚的に把握できることと相まって、誰にでも容易に音楽を演奏することが可能となる。
また、本発明では、既存のタッチパネルのセンサ機能（接触位置検出機能）を活用して、音の発生タイミングや強度を入力するようにプログラムのアルゴリズムを工夫しており、付加する入力装置自体にはセンサ機能を省き、構造を単純化してデバイスコストを削減することを可能としている。
【００１０】
具体的には、本発明の請求項１に記載の転動型入力装置は、それ自体が単独で機能するタッチパネルやタッチスクリーン、タッチディスプレイといった接触位置検出手段を備えたパネルに対して、転動体部分がパネル上に来るように装着され、該パネルに直接的または間接的に接触しながら転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記転動体が転動運動をしている最中か転動運動終了後に、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えたことを特徴とする。
【００１１】
ここで間接的に接触するとは、転動体とパネルの間に容易に変形する膜や布などを介在して接触することを意味する。また前記エネルギー蓄積手段は、例えばゼンマイのバネや板バネ、ゴム紐のように、転動体が転動する際に変形する弾性体の弾性エネルギーとして指から加えられるエネルギーを蓄積すると、低コストに構成することができる。そして変形した弾性体が元に復帰する際に放出するエネルギーを利用して、指に反力を加えたり、指を置く台を振動させたりして触覚を刺激することができる。
【００１２】
また請求項２に記載の転動型入力装置は、指に装着されて、あるいは指で保持されて、その指によって接触位置検出手段を備えたパネルに押しつけられて、該パネルに直接的または間接的に接触しながら指の動きと共に転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記転動体が転動運動をしている最中か転動運動終了後に、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えたことを特徴とする。
【００１３】
この場合も、エネルギー蓄積手段としては弾性体を用いることができて、変形した弾性体が復帰する際に転動体を振動させたり、転動体を指に打ちつけたりして、触覚を刺激することができる。請求項２の方式では転動体が指に常に装着されているため、指がパネルから離れた後であっても転動体自身の運動が指の触覚を刺激することができる。
【００１４】
また請求項３に記載の転動型入力装置は、請求項１または２に記載した転動型入力装置において、例えば上述したような仕組みを通じて、指から転動体に加えられたエネルギーを蓄積した上で、その触覚刺激手段が、蓄積されたエネルギーを使って振動を生成すること、あるいは指を打つ刺激を生成することによって、指の触覚に作用することを特徴とする。
【００１５】
また請求項４に記載の音楽演奏用プログラムは、接触位置検出手段を備えたパネルと共に使われるプログラムであって、前記転動体等のオブジェクトが前記パネルに接触した後に、接触したままタッチパネル上を所定の距離を移動してからタッチパネルを離れる際に、演奏する曲中の音の強弱または継続時間を、前記オブジェクトがタッチパネルに接触しながら移動した距離（オブジェクトとパネルの接触点が接触状態を保ったまま移動した距離）に関連付けて定め、音の発生タイミングを前記オブジェクトが前記パネルから離れるタイミング（接触状態が終了するタイミング）に合わせて定めることを特徴とする。触覚刺激を生成するためにエネルギー蓄積手段が蓄積するエネルギーは、通常、上記の距離に依存して定まるので、この距離に依存して音の強弱や継続時間を定めることによって、音の強弱や継続時間と触覚刺激の強度の間に相関を生じさせることができる。
【００１６】
また請求項５に記載の音楽演奏用プログラムでは、請求項４に記載した音楽演奏用プログラム中に、またはそのプログラムがアクセスするメモリ中に、演奏する曲の音の高低に関する情報を事前に記述しておき、この記述された情報に基づきプログラムが自動的に指定する音の高低に関する情報と、演奏者が入力装置（タッチパネル）を用いて指定する音の強弱または継続時間、及び音の発生タイミングに関する情報を組み合わせて曲を演奏することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、既存のタッチパネルを備えた機器に装着するか、または指に装着する、簡易でコストの低い転動型入力装置を用いて、演奏内容を、凹凸や反力、振動等の触感を通じて触覚的に把握し、臨場感をもって音楽を演奏することが可能になる。さらにプログラム中に事前に曲を構成する音の高低に関する情報を記述しておけば、演奏者は、音を発するタイミングや持続時間、強弱のみを指定するだけで曲を演奏できるようになるので、入力装置の操作が触覚的に把握できることと相まって、誰にでも容易に音楽を演奏することが可能となる。
【発明を実施するための最良の形態】
【００１８】
本発明の実施の形態による転動型入力装置は、それと別個に用意されている接触位置検出手段を備えたパネルと組み合わせて使用する。以下、接触位置検出手段を備えたパネルをタッチパネルと呼ぶことにする。本発明の請求項１に係る転動型入力装置は、タッチパネルを備えた別個の装置に装着して使用する。例えば図１に転動型入力装置１の構成例を上方から見た平面図（ａ）と前方から見た正面図（ｂ）で示す。この構成例では、タッチパネル６を備えた別個の装置のタッチパネル上に転動型入力装置１が装着されている様子を示す。図１においてタッチパネル６とその台１２（別個の装置の筺体の一部）以外はすべて転動型入力装置１の構成部材となっている。
【００１９】
図１ではタッチパネル６の表面上に、転動体２及び３が、シリコンゴム紐４及び５によって吊り上げられている。またシリコンゴム紐４及び５は、その両端が振動伝達板１０のアーム部につながれて、適度な張力で引っ張られており、その弾力性及び柔軟性によって転動体２及び３は外力により自在に姿勢と位置を変え、タッチパネル６に接触してその上で転がり（転動し）得る。この図では振動伝達板１０のアーム部は３つあり、それぞれがタッチパネル６の表面との間に微小な空隙を維持しながら、タッチパネル上にせり出している。留め具７、８、９はシリコンゴム紐４及び５をこれらのアームに留めるために使われている。またタッチパネル６の周辺部に露出している別個装置の筺体表面には、柔軟な素材でできたスペーサ１１が設置されており、このスペーサを間に挟んで振動伝達板１０が別個装置に装着される。ここで、別個装置に対して振動伝達板が相対的に動いて振動できるようにスペーサ１１は柔軟な素材から成り、また振動伝達板との接触面積は小さくなっており、図３（ｄ）に示すように転動体が振動するときには、その振動がシリコンゴム紐を経由して振動伝達板に伝達し、振動伝達板の上に乗せた指に転動体の振動の感触が効率良く伝わるようになっている。なお転動体３を転動させる操作は弦を弾く操作に対応する。弦が複数並列に設けられている楽器のように転動体３とシリコンゴム紐５を並列に複数設置しても良い。
【００２０】
図２には図１の転動型入力装置の３次元形態が良く分かるように３つの方向から見た斜視図が示されている。この図の中には別個装置の側に属するタッチパネルとその台も同時に示されている。
【００２１】
通常の場合には、機器は余計な振動を発生したり、伝えたりしないように頑強に構成されるのが望ましいと考えられるが、本発明においてはその目的上、操作時に発生する振動をできるだけ明瞭に指に伝える仕組みが必要であり、そのために図１に示すように別個装置に対して相対的に動くように振動伝達板が導入されている点に注意する必要がある。振動伝達板は軽量であり、それが重い別個装置と独立に動けるので、転動体を操作した時に発生する振動を指に明瞭に伝達し得る。重い別個装置と強固に結合していたら振動伝達板は振動しなくなってしまう。操作者は、転動型入力装置をある指で操作している最中に別の指を振動伝達板の上に置いて、振動伝達板の振動を通じて操作の内容（操作の強さやタイミングなど）を指の触覚で把握、確認することになる。その際にできるだけ心地良い振動を発生するように、転動体の重量や、シリコンゴム紐の張力、振動伝達板の共振特性を設計することが望ましい。また音楽の音の周波数と合った周波数の振動を発生すると、臨場感が向上し、振動の強度や周波数を通じて音の大きさと高低も確認できるようになる。
【００２２】
タッチパネル６は、本発明の実施の形態による転動型入力装置１の構成要素になっていないが、電極間の接触関係を通じて加圧位置を検出するようにマトリックス状に配列した電極や、接触位置に応じて抵抗値を変える抵抗膜、静電容量の変化を通じて指の接近位置を検出する電極配列等によって構成され、その表面上で転がる転動体が直接的または間接的にパネルに接触する位置を検出する。静電容量型タッチパネルを利用する場合には、それに接触する転動体や膜が適当な誘電率や導電率を備えていることが望ましい。
【００２３】
図３（ａ）には、図１の転動体３とそれをタッチパネル上で吊り上げているシリコンゴム紐５、及び振動伝達板のアーム部１０が示されている。この転動体の上に（ｂ）に示すように指を置き、転動体をタッチパネルに押しつけたままＦ１の方向に力を入れて、転動体３をタッチパネル上で転がすと、シリコンゴム紐５は（ｃ）に示すように伸びて、その張力がＦ２に示す方向に反発力（反力）を発生する。またこの時に、ゴム紐（エネルギー蓄積手段）は、指が転動体に加えたエネルギーを、弾性エネルギーとして蓄積する。このエネルギーによって生じる反発力Ｆ２は転動体を転がす距離に概比例するので、操作者はこの反発力の強さを指の触覚で感じることで、転動体を転がした距離を触覚的に把握することができて、操作する際の力加減を調整して、音楽を正確に演奏することができる。
【００２４】
図３（ｂ）に示すように指で転動体をタッチパネル上で転がして（ｃ）のようにゴム紐を伸ばした後で、転動体から指を離すと、（ｄ）に示すようにゴム紐に蓄積されたエネルギーによって転動体は振動する。ここで振動によって転動体が動く様子が破線で示されている。この振動は、振動伝達板１０のアーム部を経由して図１の振動伝達板１０に伝わり、振動伝達板の上に置かれた指の触覚を刺激する。操作者はこの振動の強さや継続時間を通じて、自分の行った操作の程度（転動体に加えた力の程度、転がした量）を確認して、それ以降の演奏中の操作の程度を修正することができる。また演奏している曲の音の強さを振動として触覚によって体感して、臨場感を得ることができる。
【００２５】
図４には転動体２１がシリコンゴム膜２５を間に介して間接的にタッチパネル６に接触する方式の構成例を示している。図４の構成例では、シリコンゴム膜２５がタッチパネル６の表面から所定の間隙を隔てて張られており、指で押された転動体２１は転動するにつれて異なる位置でシリコンゴム膜２５を押して、押されて変形したシリコンゴム膜２５がタッチパネルに接触して、接触位置（図中の２７、２８等）の情報が入力される。
【００２６】
図４には、ボール状の転動体２１を縦に割った断面図が示されている。このボール状転動体２１にはその底部から円柱状の穴が開けられており、その中にバネ２２が収納されている。バネの上端は円柱状の穴の上部に取り付け金具２３で取り付けられている。またバネの下端は、シリコンゴム膜２５に取り付け部材２４を介して接続されている。シリコンゴム膜２５はタッチパネル６のパネル表面から一定の間隙をおいて張られており、指でボール状転動体２１の上部を下方向に押すと（ｂ）のようにシリコンゴム膜が変形し、ボール状転動体下部は、間にシリコンゴム膜２５や取り付け部材２４を挟んで、タッチパネル６に２７の位置で接触する。また（ｃ）に示すように指でボール状転動体２１をタッチパネル６に押しつけながら、指をタッチパネルと平行な方向に動かすと、バネ２２が伸びた上で、ボール状転動体２１は指を動かす方向に転動し、押されて変形したシリコンゴム膜を介して、２８の位置でタッチパネル表面に接触する。この際にバネ２２（エネルギー蓄積手段）は元の長さに戻ろうとして、反発力Ｆ３が図中の矢印の向きに指に加わる。またこの操作の過程で指が転動体に加えたエネルギーは、変形したバネの弾性エネルギーとして蓄積される。そしてこのエネルギーによって生じる反発力Ｆ３を指の触覚で感じることで、操作者は転動体へ加えた操作の程度（転動量）を把握できる。
【００２７】
図４（ｃ）のように転動体２１を転動させて、反発力Ｆ３が発生している状態で、指を転動体から離すと、転動体はバネ２２に蓄積されていたエネルギーを使って振動を始める。この振動はシリコンゴム膜２５を介在して支持枠２６に伝わり、さらに支持枠２６の振動が振動伝達板に伝わり、その上に置かれた指の触覚を刺激する。支持枠２６はタッチパネルを備えた別個の装置に対して相対的に動けるように装着されており、シリコンゴム膜の振動を効率的に指に伝える。
【００２８】
本発明の請求項２に係る転動型入力装置は、転動体を指に装着するか指で保持して操作する点に特色がある。請求項１に記載の転動型入力装置では転動体をタッチパネル側に装着し、それを指で操作したが、請求項２に係る転動型入力装置では、転動体を指側に装着し、あるいは指で保持して、タッチパネルに触れる際には、指とタッチパネルの間に転動体を挟むようにして、転動体を介してタッチパネルに接触する。図５にそのような転動型入力装置の構成例を示す。図５（ａ）には、転動体を指に装着しているようすを、指先の方向から見た側面図で示す。ここでボール状転動体３１は、２つの支持アーム３４の間に張られたバネ３２を回転軸として用いて、その周りを回転するように取り付けられている。２つの支持アーム３４は、図５（ｃ）に示すように、バンド３６で指に留められたフレーム３７に取り付けられている。３５はこのフレームの前方部分である。
【００２９】
転動体３１をタッチパネル６から離れるように持ち上げている状態では、図５（ａ）や（ｃ）に示すようにボール状転動体３１は指の下面から離れていて、指に当たらずに動ける状況にあり、後述するボール状転動体の振動は指に当たって減衰することなく持続できる。一方、図５（ｂ）のように指を下げてボール状転動体３１をタッチパネル表面に押しつけると、ボール状転動体３１は指とタッチパネルの間に挟まれる。この状態で図５（ｄ）に示すようにＦ１の方向に力を加えて指をタッチパネルと平行な方向に動かすと、バネ３２が伸びて、ボール状転動体はタッチパネル上を転がる。この時、バネ３２（エネルギー蓄積手段）には指から加えたエネルギーが弾性エネルギーとして蓄積される。また転がった距離に概比例した大きさの反発力がＦ１と反対の方向に生じて指に加わるので、操作者はその反発力の大きさを通じて操作量を確認することができる。
【００３０】
こうして転動体を転がしてバネ３２に弾性エネルギーを蓄積している状況で、図６（ｂ）に示すように指を持ち上げて転動体をタッチパネルから離すと、バネが元の長さに戻ろうとして、ボール状転動体３１にＦ２の方向へ力が加わる。この力によってボールは図６（ｃ）に示すように元の位置に戻るが、慣性があるためにそこで止まらずにさらに図６（ｄ）に示される位置まで動く。そしてそこでバネが元の長さに戻ろうとして今度はＦ３の方向に力を及ぼす。こうして転動体は、バネ３２が蓄積した弾性エネルギーの大きさに応じた振幅で振動を始める。図６（ｅ）にはこの振動によってボール状転動体が動く様子を破線で示す。ボールは黒で塗り潰された矢印の方向に往復運動し、その振動が支持アーム３４とフレーム３７を経由して指に伝わる。
【００３１】
指に伝わる振動は、触覚を刺激して、音楽を演奏する際の臨場感を高めることになる。また操作者は反発力の大きさや振動の大きさを通じて、転動体に加えた力の大きさや転動量を確認できるので、こうした触覚的な手掛かりによって、操作量を調整し、演奏の精度を向上することができる。
【００３２】
図７には、請求項２に示した指に装着する転動型入力装置の、図５と異なる構成例を示している。図７（ａ）には指の先端方向から見た正面図、図７（ｂ）には指の横方向から見た側面図を示す。ボール状転動体については、縦に割った断面図が示されており、円柱状の穴の中にバネ４２が入っており、転動体４１は、図４と同じ原理により、その端部が取り付け用部材４３、４４によって、ボール状転動体４１とバンド４５につながったバネ４２を介して、指側に巻きつけたバンド４５に取り付けられている。
【００３３】
図７（ｃ）には指を横に動かしてボール状転動体を転動させたときの様子を、また（ｄ）には指を後方に動かしてボール状転動体を転動させたときの様子を示す。図７（ａ）（ｂ）の４６は転動する前に転動体４１がパネル６と接触している点であるが、この接触点が図７（ｃ）のように転動させたときには４７に、また図７（ｄ）のように転動させたときには４８に移動していることがわかる。また（ｃ）と（ｄ）ではバネ４２が伸びて、それぞれＦ４、Ｆ５の方向に反発力が生じている。操作者は、この反発力を通じて操作量（転動量）を触覚的に確認できる。また（ｃ）や（ｄ）のようにバネが伸びている状態で指を持ち上げて、ボール状転動体４１をタッチパネル６から離すと、ボール状転動体は振動したり、指に打ちつけられたりして、指の触覚を刺激する。この刺激を通じて、操作者は臨場感を感じたり、操作量を把握したりして、音楽演奏の精度を向上できるようになる。
【００３４】
なお以上には、比較的単純な機構で指から転動体に加えられるエネルギーを蓄積して、そのエネルギーを使って振動や指を打つ刺激を生成する方式（触覚刺激手段）を述べたが、より複雑な方式としては、例えば、転動体を回転させることでゼンマイを巻いてエネルギーを蓄積し、ゼンマイによる駆動機構で偏心錘を回転して振動を生成することもできる。あるいはゼンマイで駆動する刺激子で指を打つようにしても良い。指から転動体に与えられる力が微弱であっても、それを長時間に渡りエネルギーとして蓄積すれば、蓄積したエネルギーを瞬時に使うことにより強い力を生成し、明瞭な刺激を触覚に提示できる。そこで本発明においては、指から与えられる力を一度エネルギーとして蓄積してから、そのエネルギーを利用して触覚刺激を生成するようにしている。
【００３５】
図１０は、上述の転動型入力装置１を用いてデータ入力を行うコンピュータ装置８９の機能ブロック図である。コンピュータ装置８９は、データを入力する入力部８５、入力したデータを用いてプログラムの演算処理を実行する演算処理部８７、演算結果を出力する出力部８６、および、データを保存する記憶部８８で構成されている。また、入力部８５は、パネル８１と接触位置検出手段８２とで構成されるタッチパネル６と、このタッチパネル６を介してデータを入力する転動型入力装置１とから構成されている。なお、コンピュータ装置８９は、汎用のパーソナルコンピュータでも良いし、専用の音楽演奏装置などであっても良い。
【００３６】
図８には、請求項４と５に係る音楽演奏用プログラムの構成例をフローチャートで示している。請求項４と５に係る音楽演奏用プログラムの特徴は、これらのプログラムがタッチパネル６と共に使われるコンピュータ８９上で動作し、タッチパネル６のセンサ機能（接触位置検出手段８２）を活用して、音楽演奏をコントロールする情報を入力する点にある。図８のフローチャートでは、転動体でタッチパネルに接触する場合を想定してプログラムを構成しているが、タッチパネルに接触するオブジェクトは必ずしも転動体である必要はない。タッチパネルの接触状況・接触位置検出機能を活用し、何らかのオブジェクトがタッチパネルに接触したまま移動する距離Ｄと接触後離れるタイミングＴを検出し、Ｄによって発する音の強度または継続時間を定め、Ｔによって音を発生するタイミングを定めるようにプログラムを構成すれば、請求４に係るプログラムの特徴が満たされることになる。またさらに、演奏時に演奏者が音の高低を指定せずに済むように、音の高低の情報を事前に与えておき、演奏時にはプログラムによって音の高低を自動的に指定する機能を備えれば、請求項５に係るプログラムの特徴が備わることになる。このプログラムを用いれば、演奏者は上述したように、タッチパネルを使用して、音の強度や継続時間、発生タイミングを指定するだけで曲を演奏することができるようになる。
【００３７】
図８のフローチャートでは、まず曲名ｉの曲を構成する音の高低の情報を再生順に並べた系列Ｎｉ（０），Ｎｉ（１），Ｎｉ（２）,・・・を図中のＤａｔａ １のように事前に記憶部８８に記憶しておく。ここでｔは時刻、または再生順序を意味している。またＮｉの具体的な中身は、音響データＳｋの音の高低をコントロールするためのパラメータや、音の高低の周波数情報、あるいは実際の音源から高低を変えて発生した音の信号をサンプリングしたもの等、色々な形態で表わされた音の高低に関する情報である。この系列は演奏者が演奏を始める前に登録しても良いし、インターネットでダウンロードしたり、何らかの記録メディアから供給したりしても良い。同様に、演奏する音楽で利用する楽器の種類ｋに対応する音響データＳｋをＤａｔａ ２のように事前に記憶しておく。Ｎｉ（０），Ｎｉ（１），Ｎｉ（２）,・・・の系列から順次データを読み出すためにＮｉ（ｔ）のｔの初期値を０とする。また曲名ｉと楽器の種類ｋを指定してプログラムを実行開始する。
【００３８】
プログラムは繰り返しループの中で、常にタッチパネルの接触状況をモニターしている。まずＳｔｅｐ １でタッチパネルに転動体（転動体以外の別のオブジェクトでも良い）が接触しているか調べ、接触していたらＳｔｅｐ ２で前時点の接触状況を調べる。前時点にも接触していたら連続して接触し続けている状況なので特に何もせずにタッチパネルの接触状況のモニターを継続する。しかしながら前時点には接触していなかったら、その時点で初めて接触を開始したことになるので、Ｓｔｅｐ ４に示すように、その時点のタッチパネル上の接触位置をタッチ（接触）開始位置として記録してから、タッチパネルの接触状況のモニターを継続する。
【００３９】
Ｓｔｅｐ １でタッチパネルに転動体が接触していないときには、Ｓｔｅｐ ３で、前時点の接触状況を調べ、前時点にも接触していない場合には、何もせずにタッチパネルの接触状況のモニターを継続する。しかしながら、前時点では接触していたのであれば、前時点と現時点までの間に接触が終了したと判断して、Ｓｔｅｐ ５に示すように前時点の接触位置をタッチ終了地点として登録する。またその時点で接触が終了したのだから、請求項４に示すように、その終了のタイミングと合うように直ちに音を発生する。Ｓｔｅｐ ６で、Ｄａｔａ １から曲名ｉの音の高低の情報の系列中のｔ番目の音の高低の情報Ｎｉ（ｔ）を、またＤａｔａ ２から楽器ｋの音響情報Ｓｋを読み出し、これらの音の高低、音響情報を使って出力部８６から音を発生する。ここで音の強弱または継続時間は、タッチパネルから与えられるタッチ開始地点と終了地点の間の距離の長さに応じて定めるようにする。音の発生後はｔの値を一つ増やし、タッチパネルの接触状況のモニターを継続する。
【００４０】
なお図９には、図３で用いたシリコンゴム紐の形状をＨ字の形状に変更し、この形状でタッチパネル上に張ったシリコンゴム紐５、１３、１４で球状転動体３を吊ることによって、球状転動体３を前後左右のいずれの方向にも対称にほぼ同じ力で転動できるようにし、また反発力も等方的に生成されるようにした転動型入力装置の上面図を示す。（ａ）は転動体に何も力を作用させていない中立状態の様子を示す。１０はシリコンゴム紐を張るためのフレームで指に振動を伝達するための振動伝達板の役割を兼ねている。また１３、１４はこのフレームに張ったシリコンゴム紐でこれらの紐の中点間にシリコンゴム紐５が張られている。そしてこのシリコンゴム紐５によって球状転動体３が吊られている。（ｂ）はＦ１の力を加えて、転動体を下方に押して転動させた様子であり、シリコンゴム紐５がこの図に示すように伸びることで転動体は下方向に転動する。（ｃ）はＦ１の力を加えて、転動体を右方向に転動させた様子であり、シリコンゴム紐１３、１４がこの図に示すように変形することで転動体は右方向に転動する。（ｄ）はＦ１の力を加えて、転動体を斜め右下方に転動させた様子を示す。この場合には、シリコンゴム紐５、１３、１４がすべて変形することで斜め右下方に転動することが可能になった。このようにシリコンゴム紐の張り方をＨ字の形状に工夫することで、球状転動体は任意の方向へ自在に転動することが容易となり、また球状転動体が宙にぶら下がっているため、図４の方式に比べると、振動が長時間に渡り継続しやすくなる。なお図９の方式はタッチパネルに装着するだけでなく、指に装着することも可能である。
【図面の簡単な説明】
【００４１】
【図１】本発明の転動型入力装置の一実施例について、（ａ）は上から見た平面図、（ｂ）は前方から見た正面図を示す。
【図２】図１の転動型入力装置を異なる視点から見たときの斜視図を（ａ）（ｂ）（ｃ）に示す。
【図３】図１の転動型入力装置（ａ）の転動体を指で操作する様子（ｂ）と、それによって発生する反発力（ｃ）と転動体の振動（ｄ）を示す。
【図４】タッチパネル上に張った弾性膜に球状転動体を一本のバネでつなげることによって、球状転動体を前後左右のいずれの方向にも対称に同じ力で転動できるようにし、また反発力も等方的に生成されるようにした転動型入力装置を示す側面断面図である。（ａ）は中立状態、（ｂ）は転動体を下方に指で押した様子、（ｃ）は転動体を転動させた様子を示す。
【図５】本発明の転動型入力装置のうちで指に装着するタイプを示す図である。親指にバンドで装着した様子で（ａ）は転動体がタッチパネルから離れている場合に指の前方から見た正面図、（ｂ）は転動体がタッチパネルに接触した場合の正面図、（ｃ）は転動体がタッチパネルから離れている場合の側面図、（ｄ）はタッチパネル上に転動体を接触させて転動させたときの側面図である。
【図６】図５に示した指装着型転動体を転動させる様子を示す図である。（ａ）はタッチパネルに接触させたまま指をＦ１の方向に動かして転動させる様子、（ｂ）は（ａ）の転動後、転動体をタッチパネルから離した直後の様子、（ｃ）と（ｄ）は（ｂ）の後の転動体の動きを時間経過と共に追ったもの、（ｅ）は振動による転動体の動きを破線で示したものである。
【図７】図４に示した原理で等方的に転動する転動体を指に装着するようにした構成例を示す図である。
【図８】音楽演奏用プログラムの一例をフローチャートで示す図である。
【図９】タッチパネル上にＨ字形状に張ったシリコンゴム紐で球状転動体を吊ることによって、球状転動体を前後左右のいずれの方向にも対称にほぼ同じ力で転動できるようにし、また反発力も等方的に生成されるようにした転動型入力装置を示す平面図である。（ａ）は中立状態、（ｂ）は転動体を下方に押して転動させた様子、（ｃ）は転動体を右方向に転動させた様子、（ｄ）は転動体を斜め右下方に押して転動させた様子を示す。
【図１０】本発明の実施の形態による転動型入力装置を利用するコンピュータ装置の機能ブロック図である。
【特許請求の範囲】
【請求項１】
接触位置検出手段を備えたパネルに装着され、該パネルに直接的または間接的に接触してその上で転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えた転動型入力装置。
【請求項２】
指に装着されるか指で保持され、接触位置検出手段を備えたパネルに直接的または間接的に接触してその上で転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えた転動型入力装置。
【請求項３】
前記触覚刺激手段は、前記蓄積エネルギーを使って振動または指を打つ刺激を生成することによって触覚を刺激することを特徴とする請求項１または２に記載の転動型入力装置。
【請求項４】
接触位置検出手段を備えたパネルと共に使われるプログラムであって、演奏する曲中の音の強弱または継続時間を、前記パネルとそれに接触するオブジェクトとの接触点が接触状態を保ったまま移動する距離に関連付けて定め、音の発生タイミングを前記接触状態が終了するタイミングに合わせて定めることを特徴とする音楽演奏用プログラム。
【請求項５】
前記プログラムまたはメモリに事前に記述されている演奏する曲の音の高低に関する情報と、演奏者が入力装置を用いて指定する音の強弱または継続時間、及び音の発生タイミングに関する情報を組み合わせて曲を演奏することを特徴とする請求項４に記載の音楽演奏用プログラム。
【請求項１】
接触位置検出手段を備えたパネルに装着され、該パネルに直接的または間接的に接触してその上で転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えた転動型入力装置。
【請求項２】
指に装着されるか指で保持され、接触位置検出手段を備えたパネルに直接的または間接的に接触してその上で転動する転動体と、前記転動体が前記パネルに接触後転動運動を終了するまでの間に指に反力を返しながら指から加えられるエネルギーを蓄積するエネルギー蓄積手段と、前記蓄積エネルギーを使って指の触覚を刺激する触覚刺激手段と、を備えた転動型入力装置。
【請求項３】
前記触覚刺激手段は、前記蓄積エネルギーを使って振動または指を打つ刺激を生成することによって触覚を刺激することを特徴とする請求項１または２に記載の転動型入力装置。
【請求項４】
接触位置検出手段を備えたパネルと共に使われるプログラムであって、演奏する曲中の音の強弱または継続時間を、前記パネルとそれに接触するオブジェクトとの接触点が接触状態を保ったまま移動する距離に関連付けて定め、音の発生タイミングを前記接触状態が終了するタイミングに合わせて定めることを特徴とする音楽演奏用プログラム。
【請求項５】
前記プログラムまたはメモリに事前に記述されている演奏する曲の音の高低に関する情報と、演奏者が入力装置を用いて指定する音の強弱または継続時間、及び音の発生タイミングに関する情報を組み合わせて曲を演奏することを特徴とする請求項４に記載の音楽演奏用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−７５９８４（Ｐ２００９−７５９８４Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００７−２４６２９６（Ｐ２００７−２４６２９６）
【出願日】平成１９年９月２１日（２００７．９．２１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１９年度、独立行政法人科学技術振興機構、独創的シーズ展開事業大学発ベンチャー創出推進「機器の簡単確実な操作を実現するハプティックユーザインターフェースの研究開発」にかかる委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１９年９月２１日（２００７．９．２１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１９年度、独立行政法人科学技術振興機構、独創的シーズ展開事業大学発ベンチャー創出推進「機器の簡単確実な操作を実現するハプティックユーザインターフェースの研究開発」にかかる委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]