プロセッサインターフェース
【解決課題】 本発明は,データをプロッセサに入力するインターフェースを提供する。
【解決手段】 本発明のインターフェースは,3次元形状の入力面(2)を有し,入力面に加えられた力に応答して,センサアレイ(4)に加えられた力の強さを記録することができ,かつ入力表面にかけられた圧力の位置を解釈することができるプロセッサに,入力データを提供するアレイセンサ(4)と,3次元形状の入力面(2)とアレイセンサ(4)の間に配置され,3次元形状の入力面(2)に加えられた力をセンサに伝えることができる,3次元形状の柔軟弾性材の層(3)とを含む。
【解決手段】 本発明のインターフェースは,3次元形状の入力面(2)を有し,入力面に加えられた力に応答して,センサアレイ(4)に加えられた力の強さを記録することができ,かつ入力表面にかけられた圧力の位置を解釈することができるプロセッサに,入力データを提供するアレイセンサ(4)と,3次元形状の入力面(2)とアレイセンサ(4)の間に配置され,3次元形状の入力面(2)に加えられた力をセンサに伝えることができる,3次元形状の柔軟弾性材の層(3)とを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,入力データをプロセッサ,すなわちデータプロセッサに提供するインターフェースに関する。本発明は,音色や音楽を制作すること,幅広いデジタル指令を表わす信号を提供すること,英数字の入力データをメモリ内及び/又は画面上に提供すること,単語又は数値処理機能を実行することを可能にする。また,本発明は,実空間又は仮想環境でのオブジェクトの遠隔操作又は遠隔運動,例えば車両の動きを提供する信号,又は遠隔ロボット装置や機器,例えば手術器具などを操作する信号を生成することなど複数の用途に使用することができる。特に,本発明は,ディスクリートコマンド,空間的位置,及び圧力レベルを含む,かなりの入力数を同時に有効にするインターフェースに関する。他の多くの用途は,以下の記載に基づいて当業者にとって明らかになるであろう。
【背景技術】
【0002】
現在,ほとんどのユーザーインターフェースは,“離散制御インターフェース(Discrete Control Interfaces(DCI))”と“連続動作インターフェース(Continuous Action Interface(CAI))”と呼ばれる2つのカテゴリに分類される。DCIは,単純で離散的な入力を可能にするためにオン又はオフの位置を記録できる一連の離散スイッチを使用する。CAIは,連続動作に基づくより複雑な入力を時間的に可能にするために,空間的な動き,圧力ベースの動き,又はジェスチャに関する動きを記録する。DCIは,普通は機械的動作をシミュレートする直接アナログ制御(通常はスイッチベース)を使用する,キーボード,キーパッド,及び他のインターフェースを含む。一方CAIは,連続的な入力を可能にするローリングボール又はいくつかの他の連続動作装置を使用する,タッチスクリーン,タッチパッド,他の2次元触覚インターフェース,及びコンピュータマウスのようなデバイスを含む。
【0003】
DCIのインターフェースの利点は,(1)明確な離散的入力を可能にすること,及び(2)一般的に触覚入力のフィードバックシステムを形成することであり,これにより視覚的確認に依存しないことになる。言い換えれば,明確に独立した指令を提供し,記録された指令に関する触覚情報をユーザーに与える。これにより例えばキーを押した時,ユーザーは応答する圧力を感じることができる。これらの利点は,単に感知装置の種類だけでなく,入力面の設計,つまりユーザーが実際にやり取りするインターフェースの最上部の設計に関係する。この点,タイピングキーボードの反発性は,ユーザーに,キーが押されていることを触覚レベルで理解させることができ,個々のキーの輪郭は,ユーザーが,キーボードを見ることなく,一定で,高速,正確なタイピングを容易にするための微調整を可能にさせる。DCIによる様々な指令は,記憶され,ほとんど意識的思考なしに行われるため,特にDCIのインターフェースが触覚応答を提供する時,情報は通常,視覚ベースの入力制御の場合より高速で,正確に入力される。タッチタイピング(指の位置や動きについての触覚情報のフィードバックだけでなく習慣的なスキルにも依存する)のスピードと,”雨だれ式(hunting and pecking)”のタイピング(視覚ベースの入力制御)のスピード,又はタッチスクリーンのインターフェースで入力するスピードとの違いを比較することにより理解できる。他の例では,技巧ピアニスト(指の位置や動き,そして習慣的なスキルについての触覚情報を使用する)と,演奏するのに正しい位置の鍵盤を確認する必要がある初心者ピアニスト(視覚ベースの触覚入力制御)との違いである。これらの高度に熟練した動きは訓練によるものであり,これらの分野で訓練が効果的な理由は,筋肉の記憶をトレーニングすることで意識的な指示又は意識的な制御をすることなく一定の区切られた作業を繰り返すことができるからである。しかしこのようなトレーニングを可能にするためには,3つの要件がある。a)動きは視覚的な確認や視覚的な指示を本質的に必要としてはならない(射撃のような視覚的な確認が必要な動きも,もちろん訓練することはできるが,手,目,胴体の調和に関わる異なった形式の訓練を含む),b)物理的インターフェースは,位置の触覚フィードバックを与える必要がある(平面又は単に装飾された表面ではないという意味のため,表面のある種の変化,テクスチャ,又は弾力性は,自動的に筋肉の調整や修正を行えるように訓練した者を空間的に方向づけるように,触覚に関する何かをユーザーに絶えず与えることができる),c)インターフェースのこれらの物理的性質は,いかなる場合においても非常によく似た触覚情報を提供するように,標準化され,不変である必要がある。
【0004】
DCIsの欠点は,特に,目標が定量的又は連続的な情報を入力することである場合,質的に独立した個別の指令とは対照的に,作成できる入力の種類が制限されることである。
【0005】
一方,CAIは,連続的な入力及び情報の微妙な又は複雑な形を非常に迅速に伝えることができるという利点がある。例えば,情報の変化に伴って,タッチセンサ式のインターフェースが画面であるか又は画面に接続される場合,変換する可能性が大きい変数集合を制御するのに使用することができる。視覚情報は,無数のオプションと通信することができ,自分の指であろうとマウスによって制御される矢印であろうと,ポインタを移動させ,特定の運動及び指令を選択することができる。さらに,この種の入力は,DCIでは不可能な方法,例えば手書き文字又は描画のような,連続的な人間の運動をシミュレートすることができる。けれども,これらの欠点は,(1)一連の独立した指令を高速連続的に処理する効果がないことであり,1つの理由は,(2)一般的に,現在の構造において,実行可能な触覚フィードバックシステムを入力に応じて提供しないためである。
【0006】
したがって,これら2つのタイプのインターフェースが併せて使用されることは意外ではない。1つの例として,ほとんどのラップトップコンピュータは,キーボードとタッチパッドを有する。DCIのインターフェースとしての側面は,タイピングのような標準的な指令の迅速な入力及び離散的な指令を可能にし,一方でCAIのインターフェースは,デジタル環境の多くの一般的な制御及び動作又は連続状態に必要とされるあらゆる機能を可能にする。もちろん,タッチパッドやマウスなどのインターフェースは,動きを同時に記録するように,本来CAI設計されるが,クリック機能又は選択機能を介して離散的な入力を可能にし,1つのインターフェースへの,この機能の組み合せにより,計り知れない有用性が明らかになる。
【0007】
マルチタッチジェスチャはよく知られており,他の特殊な指令を,CAIタイプのインターフェースに入力することができるため,さらなるハイブリッドな体験を提供することができる。“ジェスチャ”は,インターフェースの単一の制御を意味しており,大文字をワードプロセッサの画面上に表示させるために,文字キー及びシフトキーを押すような入力を同時に有効にするパターンであってもよい。
【0008】
感圧性インターフェースの場合には,ある程度の複雑さが追加される。可変感圧性インターフェースは,様々なレベルの圧力に関するデータの連続的な流れを記録することができるという意味では圧力に対して連続的になることができ,一方,圧力センサの使用数及び配列によって,感圧領域の空間分布に関して離散的になることができる。
【0009】
関連する周知の機器の具体例は次のとおりである。
【0010】
米国出願公開第2003/0079549号は,点圧力源を正確に突き止める感圧装置及び感圧面の点圧力源の位置の力を決定する方法を開示している。また,ユーザーが情報を入力する最上面とセンサが実際にデータを読み取る下層部との間に内部膜を使用している。この内部膜は,幅広い範囲の様々な材質や形状で作成することができ,実施可能な他の方法よりもより少ないセンサで,より正確にバランスのとれた位置の検出を可能にする。しかし,これは硬さを増加させる突起部以外の最上面の変化には関係していない。この発明の焦点は,2次元感圧デバイスをより効果的に創作する方法を提供することであるため,x軸及びy軸上の圧力データを収集することと,最上部の表面が2次元であるという両方の意味であって,複数の圧力及び空間ベースの離散的,連続的な入力に関するハイブリッド解を作成するための解決策は提供されていない。
【0011】
米国特許第6703552号は,2次元の演奏面を有する電子音楽のキーボードを開示している。すなわちこれは,ピアノ上及び同様に構成した電子楽器のキーボード上に存在するような離散的な鍵盤を含んでいない。キーボードは,押すと音が出るように,プレーヤの指の圧力をそれぞれ,継続的に測定する。表面が平坦であるため,プレーヤがそれに近づくと,自動的に音程を主要な12音のノートのいずれかに“ガイドする”プログラムを使用する。これは,やや無機質な音を有していることを意味し,コンピュータがあまりにも多くの作業を行っているため,この設定において技巧的な方法で演奏するのは非常に困難である。また,鍵盤との関係で,指の正確な位置に関する情報がないため,プレーヤがキーボードに置かれた指の位置を正確に認識することは困難である。これは,連続的で,可変圧力性の,空間感覚型インターフェースであって,やや離散的な効果を発生させるためにソフトウェアアルゴリズムを使用する。
【0012】
米国特許第7394010号は,様々な音色を作り出す,キー・スイッチのアレイを含む楽器を開示している。スイッチは2次元の格子状に配置され,音は格子状の様々なキーに触れることにより作り出される。
【0013】
欧州特許(出願)第1100069号は,キーボードのオブジェクトがキーの押下を検出する電子回路を簡素化することができる,キーボードを開示している。キーボードは多数の様々なボタンを含み,いずれも多数の接点を含む。各ボタンの押下は,所定の組み合わせの接点を閉じ,この組み合わせはボタンによって異なる。したがって,定期的に接点をスキャンすることによって,ボタンが押されたかを伝えることが可能である。
【0014】
電子楽器のキーボードは,もちろん,非常によく知られている。これは,ピアノの鍵盤を模倣し,多数の様々な離散的な鍵盤を含む。鍵盤は様々な音,例えばピアノ又はオルガンなどの音を作り出すために変更することができる。しかし,このようなキーボードでリアルタイムに実現することが可能な効果音楽の数は制限される。
【0015】
また,“ロールアップ”ピアノのキーボードも知られている。これらは,ピアノの鍵盤の2次元の外形を表わす表面を有する柔軟な基板形状を採用している。各キーの下には接点があり,押されると,押されたキーに対応する音を出力するようにプロセッサ及びラウドスピーカに指示をする信号を生成する。しかし,操作者が得る触覚フィードバックは非常に少なく,キーボード上にある指の位置を正確に知ることはほとんど困難である。
【0016】
タッチスクリーン上のキーボードインターフェースも周知である。これは,指の位置をユーザーに与える触覚フィードバックを少しも提供せず,さらに,データ入力は視覚的に行われ,タッチタイピングではない。また,時々視覚的な形式(キーの色が画面上で変化する)又は聴覚的な形式(”ビープ音”が鳴る)でフィードバックが与えられるが,データを入力するキーストロークを記録するように“キー”を十分に押した場合にも,タッチスクリーンは触覚フィードバックを行わない。
【先行技術文献】
【特許文献】
【0017】
【特許文献1】米国出願公開第2003/0079549号
【特許文献2】米国特許第6703552号
【特許文献3】米国特許第7394010号
【特許文献4】欧州特許第1100069号
【発明の概要】
【発明が解決しようとする課題】
【0018】
本発明は,添付の特許請求の範囲で定義されている。
【0019】
大まかに述べると,本発明は,ユーザーがプロセッサへの入力データを作り出すことを可能にするインターフェースを提供する。インターフェースは,インターフェース上の指の位置がわかるように,ユーザーに触覚フィードバックを提供する3次元の入力面を含む。入力面は時々,インターフェースの上部で提供されることから(また,インターフェースの他の構成要素もインターフェースの向きなどを参照して記述することから),説明を簡単にするため,入力面は本明細書において,時々“上部面”と呼ぶこともある。しかし,インターフェースは所望の方向,例えば側面上又は表面下の入力面で使用してもよいことを忘れてはならず,本明細書ではいずれの方向のインターフェースも含む。さらに,多くの場合,所定のインターフェースは,情報を入力できる複数の面で構成される。実際に,上部,底部と側部で完全に囲まれた面となることもある。入力面は,単にインターフェースの最外部であり,いかなる形式をとっても,現実にユーザーの接触に依存することになる。
【0020】
柔軟弾性材,例えばシリコンゴムは,3次元上部入力面の下(又は内側)に提供されており,このような柔軟弾性材の層の表面は,事実上3次元上部面を形成することができる。しかし上部面は,力の拡散を可能にするいずれかの材料,又は接触感知を可能にする他の材料でも作ることができる。これは,柔軟な有機EL画面,又は3次元抵抗性若しくは容量性の接触面で構成することができる。
【0021】
インターフェースは,ユーザーに触覚フィードバックの3つの異なる形式を提供する。第1に,3次元上部面のテクスチャ,角度,及び他の特性は,空間的方向性に対する触覚的基礎のない平坦で均一な表面上では不可能な方法で,ユーザーに接触位置についての直接的な情報を与える。第2に,柔軟弾性材は,さらなる触覚フィードバックを提供するために,力をユーザーに送り返し,これによりユーザーはインターフェースに与えている圧力の程度を感知できるようになる。材料が弾力性であることから,応答する圧力は,平坦で硬質な表面と同様の力で単純に押し返すというよりも,圧縮の程度で指数関数的に増大する。この変化は,力の入力のわずかな変化に関して,ユーザーにより使いやすい触覚情報を提供する。第3に,柔軟材は,触覚フィードバックの表面積の変化を拡張する。何かに触れるときの圧力レベル,特に非常に低レベルの圧力での入力を主観的に判断する方法の1つは,指の表面積の大きさ,例えば所定の表面に接触する大きさの変化である。平坦で硬質な表面ではこの差は小さいが,これはセンサと入力面との間の材料における指の筋組織による圧縮なので,柔らかい素材では変化は拡大し,表面積はかなり変化する。
【0022】
1次元又は2次元であってもよいセンサ又はセンサアレイに加えられた地点における,下向きの力は,材料の反対側に到達するまで,弾性材を介して拡散する。場合によっては,センサを多様な基板表面上に配列することもできる。したがって一連の2次元アレイ(3次元アレイとして記述できる)を構成することもできる。1つのセンサが提供されている場合,これはどの入力画面をユーザーが操作しているのか,そしてその位置にどんな力/圧力がかけられているのかを識別することができる,すなわち,位置を検出する能力を備えている必要がある。例えばセンサは感圧性であり,各センサは,入力面でのユーザーの接触に応答し,例えば加えられた力を測定する接触応答パラメータに応じて信号を出力する。
【0023】
弾性材は,その材料の柔軟性から,上部入力面に加えられた力をセンサに伝えることができる。この力は,力が加えられた方向の直線上に位置するセンサだけでなく,他の隣接するセンサにも伝えられる。したがって,ユーザーがインターフェースの入力面領域に力を加える場合,多数のセンサが出力を作り出すように,センサアレイのより広い領域でその力を記録することになる。多数のセンサで読み込む様々な力の組み合わせを,“シグネチャ(signature)”と呼ぶことにする。プロセッサのアルゴリズムは,”トリガ(triggered)”したセンサ,すなわち加えられた圧力に応答する信号を提供することだけでなく,センサの数,検出した力,及び出力の相対的な大きさを含む“シグネチャ(signature)”の構成,に応答することができる。例えば,上面に加えられた強い力は,弱い力と比較して,比較的大量のセンサを起動させ,出力を生成させる。弱い力の効果は,柔軟弾性材によって下部のセンサに辛うじて伝えられ,これにより,少数のセンサがトリガすることになる。これらの順序に沿う最も単純なアルゴリズムは,センサアレイを直接触れたときよりも,より正確に特定の接触位置を復元することができる。例えば,センサの1次元アレイ上の1列の位置A,B,Cの3つのセンサにそれぞれ100,800,500の数値を与えた場合,最上部面上の正確な入力位置を復元するために,センサの空間に対する力の量を重み付けすることができる。力の測定値の合計は1400となり,アプリケーションに応じて適切にマッピング又は条件付けし,また位置は,(A*Aの力+B*Bの力+C*Cの力)/(力の合計)の式から得られる。ここで,Aの力,Bの力,Cの力はA,B,Cの位置でのセンサからの測定値である。A,B,Cが,10,20,30の地点で1列に一定の間隔で配置されている場合,入力した力の位置は,およそ22.86となる。言い換えれば,これらの種類のアルゴリズムは,特に大きい程度の力の拡散を可能にする場合に,非常に正確な測定値を与えるのに,少数のセンサを利用することができる。より複雑なアルゴリズムは,2次元アレイに関する同様のデータを計算することができ,十分な分解能で,様々な種類の形状やジェスチャ,例えば表面と相互作用を行う手のジェスチャ,について計算を行うことができる。これは,アルゴリズムが様々な角度の表面からのデータを解釈し,様々な種類の接触間を区別するため,非平坦性の最上面では特に重要となる。特定のアプリケーションや環境に必要な特定のアルゴリズムは,当業者には明らかであろう。これらは,時間をかけて,多様な入力で設定する場合,より複雑になる。前述の例において,Aでは100を読み込むのに続いてBで800を読み込むが,Cが600に上昇している場合,つまりC地点に対する圧力やわずかな動きが増加を表している場合,しかも同時に,センサD,Eも,例えばそれぞれ800,100に上昇した場合,アルゴリズムは,最も力の強い2つの地点B及びDがCにより区切られているため(センサB,Dの中央に位置する2つの入力を示す),CはB及びDの両方に寄与する必要があること,さらにそれぞれの寄与の平均値を求めることができること,又は以前のレベルでCの寄与を保持することができること,100の付加量だけをおよそDの中央に位置する入力に寄与できることを解釈するようにプログラミングされている必要がある。これはまた,近接する複数の入力に適用される場合の精度の限界を示している。同時に,このコンテキストでは,ジェスチャの認証を作成することができる。例えばもし,A,Eが最初に2つの入力の中心点である場合,さらにB,Dがピンチングジェスチャ(pinching gesture)の中心点となる場合,このように登録するアルゴリズムをプログラムすることができる。
【0024】
個々の力は,上述のように感知することができるが,センサのシグネチャの経時的な変化も,以下に記述するように,プロセッサ内のアルゴリズムにより一定の効果を生成することができる。プロセッサは,センサからの信号を処理し,それらを電気又は光信号とすることができるプロセッサ出力に変換する。プロセッサ出力は,所望の効果,例えば,音,画面上の応答,メモリ内のデータの一部の記録などを作り出すために使用することができる。もちろん,プロセッサのメモリ領域内のデータの記録などのさまざまな領域で,プロセッサ出力を受信してもよい。これにより,多種多様な他の出力や効果が可能であることが理解されるであろう。
【0025】
上面の3次元性は,ユーザーに触覚フィードバックを提供するだけでなく,様々な部分で様々な圧力のシグネチャを,基礎となるセンサに提供する。したがって,感知する力は,ユーザーが押す入力面の位置,例えば,(a)3次元入力面の隆起部のピーク(山部)を押した位置,(b)同じ面のトラフ(谷部)を押した位置,又は(c)通常,様々なセンサ出力シグネチャを生成することになる,ピークの肩角又は側面を押した位置に依存してもよい。これは,検出された特定のセンサのシグネチャに基づく様々な出力を(及び様々な効果)を生成するために,より多くのオプションを,製品デザイナーにもたらす。所定のインターフェースは,表面の性質,厚さや材料の硬さ,力センサの大きさや感度,及びプロセッサ出力をプロセッサ入力に変換するアルゴリズムの性質に関する,入念な設計と較正を必要とする。
【0026】
インターフェースの入力面は,柔軟弾性材の層の露出面であってもよい。しかし,柔軟弾性材の層の力伝達特性は,入力面上に1つ以上の本体を含むこと,又は柔軟弾性材内に埋め込むことで,改良してもよい。このような本体は,柔軟弾性材又はより柔らかいもの,又は固く,曲げにくいものでもよい。例えば柔軟弾性材内の空気ポケット又はゲルポケットを用いても良い。また,これらは様々な形状,大きさ及び構成を有する類似素材の様々な層や弾力性とすることもできる。より柔らかい又は硬い本体は,センサの出力シグネチャを変化させるだけでなく,ユーザーが感知した触覚フィードバックも変化させることになる。
【0027】
センサから又はプロセッサからのいずれかの出力信号に基づいて,ユーザーへポジティブな触覚フィードバックを与える反応性のデバイス又はアクチュエータを,柔軟弾性材の内側に埋め込むこともできる。このようなデバイスの例に,あらかじめ決められた特性の信号をセンサによって生成する場合に,可聴応答及び/又は触覚応答を与えるものがある。例えば,1つ以上のセンサがしきい値を超える力を記録する場合,このようなフィードバックを生成することができる。正の電荷がそれらを介して実行されるときに展開するシリコンアクチュエータが知られており,これらの触覚フィードバック効果を作成するために,3次元弾性層と共に配列することができる。
【0028】
1つの態様において,センサは2次元センサアレイであり,必要に応じて硬質の剛体面に取り付けられる。
【0029】
上記のように,力が入力面の1つの領域に加えられている時,この力は柔軟弾性材を介してセンサレイに伝えられ,押圧力を“感じる”アレイの領域は,ユーザーが入力面に力を加える部分よりも,一般的に大きくなる。力の広がりの程度は,柔軟弾性材の柔らかさや硬さ,厚さ,表面のどの部が押されているかなどのいくつかの要因に依存する。上記述べたように,柔軟弾性材に他の本体が含まれているかどうかによっても依存することになる。
【0030】
柔軟弾性材の最小厚さは約0.3cm,例えば少なくとも0.5cm,一般的には少なくとも1cmであってもよい。最大厚さは,8cm以上,例えば50cmまででもよい。インターフェースへの入力を提供するために,指の圧力により多くのアプリケーションが良好に動作することが確認されている値は,2〜4cmである。更に,柔軟弾性材の層の厚さを増加させると,インターフェースの大部分を増加させ,不利益を生じる。一方,0.3cm未満の厚さは,入力に加えられる力の十分な拡散を作り出せないため,センサレイに加えられる力は,入力面に加えられる力と非常に似たものになる。これは,送信可能な圧力シグネチャの範囲を減少させ,様々なシグネチャに関連する効果の範囲を減少させる。
【0031】
前述のように,弾性材料の柔らかさは,入力面からインターフェースへの力の拡散に影響を及ぼし,ショア硬さ00−0001度〜10度,例えば00−005度〜00−1度や00−01度〜00−1度などを有する非常に柔らかい素材が,インターフェースへの入力を提供するために指の圧力を使用するほとんどの用途で満足のいく結果をもたらすことが確認されている。素材が硬すぎる場合,あまりにも多くの抵抗及び待ち時間となり,センサの感度を低下させ,また,柔らかすぎる場合,あまりにも無定形となり,十分な触覚フィードバックを提供しないため,正確なショア硬さを使用することが重要である。
【0032】
センサは,入力面を操作するユーザーに応答するいずれかのセンサであってもよく,感圧センサであってもよい。これは圧電結晶,ひずみゲージであってもよく,又は例えば,量子トンネリング複合体で作られてもよく,感圧抵抗体素子であってもよい。個々のセンサ及びこれらのタイプのセンサアレイは広く市販されており,例えば,Peratech Limited社(Old
Repeater Station, 851 Gatherley Road, Brompton on Swale, Richmond, North
Yorkshire DL10 7JH United Kingdom)の量子トンネル複合体やInterlink Electronics社(546 Flynn Road, Camarillo, CA 93012, USA.)の感圧抵抗体素子がある。
【0033】
本発明が見出す特定の用途における製品の1つのタイプは,電子楽器である。理由として,これは多種多様の様々なノート(音)を作り出すだけでなく,音波が,識別できるほどはっきり異なる音を作り出す膨大な量の可能変数を有しているからであり,インターフェースは,変数を生じさせる必要がある大量の様々な信号を生成できるからである。最も重要な識別できるほどはっきり異なる音は,リズム,ピッチ,及び音量の変化に関連付けられる。リズムの変化は,入力を離散する能力が必要となる一方,微妙なピッチの変化は,連続的な入力を必要とする。ピッチは特に重要である。時間的に離散した入力によって,すなわち,時間的に区別できる入力を提供することにより,リズムの変化を提供することができる。一方,ピッチの場合には,離散的に異なるピッチを入力でき,例えばピッチの音階で再生でき,さらに微妙なピッチの変化を作り出すことができる必要がある。同時に,すべてのノートは特定の音量で発生し,わずかな音量の変化は,情緒的な音楽における重要な差異の基礎を作り出す。問題は,離散的,連続的なピッチの両方と音量の変化がいつ必要となるかであり,2次元入力面では,連続的なピッチを不可能にする離散的なピッチの入力間か,離散的なピッチが多かれ少なかれ不可能になる連続的なピッチの入力間かを選択する必要性を提供することはできない。
【0034】
本発明のインターフェースは,離散的な入力(例えば半音階のノートを生成する入力)と連続的な入力(例えばグリッサンドやスライド効果)の両方でシームレスな移行を可能にするので,調和変化,ダイナミックな変化及びリズミカルな変化の複雑さに理想的に適している。
【0035】
インターフェースは,音楽用キーボード又は他の楽器の形態であってもよい。それは,既存の楽器の既存の構造を使用してもよく,それらを再現してもよい。すなわち,キー,弦,又はボタンの基本的な配置と,それらの空間的な間隔はもとの楽器と同様か又は類似している一方で,演奏者のスキルがこの新規な器具に伝わるように,3D表面にこれらをレンダリングしていてもよい。どんな形状にも3D形態をはめ込むことができる最上面,及びセンサアレイ上のそれらの力の拡散がなければ,新しい動きの中で既存の筋肉の記憶を活用する能力,つまりより多くの情報が豊富なインターフェースをユーザーに与えることは不可能である。
【0036】
1つの態様において,3次元入力面は,波形形態を有してもよく,押したときに標準的な音楽用キーボードの音に対応するノートを生成する。このように,本発明は,従来のキーボードの操作を模倣することができる。しかしこれは,はるかに大きな多様性を有している。例えば,“ピーク”又は“クレスト”のいずれかを押し,さらに指を振動させることによって,センサにより振動シグネチャを生成させることができる。これはプロセッサによりビブラートとして解釈される。さらに,表面の形状は,演奏者がトラフ(谷部),すなわちクレスト(山部)間の領域でも演奏できることを意味し,これにより半音と全音の間の微分音を作り出すことができる。入力面が連続することができるので,キーボードで滑らかなグリッサンド効果を作り出すことができる。これらの特定の効果は,12音階を弾く間隔を,ピッチ・ベンドを避けるように広くさせるか又はより多様なピッチ・ベンドを可能にするように狭くさせることができる,ソフトウェアアルゴリズムによっても制御することができる。
【0037】
他の可能性は,それが2次元であること以外は,3次元入力面と同様の方法で操作する入力面のさらなる部分を提供することである。これは,ユーザーが一方から他方へ容易に移動することができるか又は両方を同時に使用できるように,上又は下の3次元入力を提供してもよい。これは,操作者がより滑らかなグリッサンド効果(ポルタメントスライダー)を作り出すことができるように,プログラムすることができる。“palm effects slider”は,タブラのようなハンドドラムに似た方法で,演奏者に他の音を生成させることができ,又は手のひらを使ってプログラム可能な音の音色を制御することができる。波状又は波型のインターフェースの部分と平坦で長いスライドを可能にする部分との間のこの変化は,同一のインターフェースへの離散的入力と連続的な入力の能力を最大化する上で重要な要素である。これにより2つの間のシームレスな切り替えを可能にする。
【0038】
他の効果も可能である。例えば,3次元のキーボードのピークを,掴んだり,つまむことができる。これによりセンサからの特定の出力のシグネチャがもたらされる。これは掴んだピークを特定の方法すなわち,前,横,上又は下に押すことで操作する場合のケースである。もたらされるシグネチャは,プロセッサによって解釈することができ,あらかじめ設定された応答,例えばピアノの楽器に基づく音楽の出力から他の楽器,例えばオルガンへの切り替え,あるいは同一の楽器の2つのサンプリング音,例えばバイオリンにおけるレガートのサンプリング音からスタッカートのサンプリング音への急な切り替え(jump)を作り出す。
【0039】
インターフェースは,現在のキーボードが,強く又は優しく弾くかどうかに応じて,様々なサンプル音を使用するのと同じ方法で,様々な種類の音楽のサンプル音に対応する特定の入力ジェスチャを認識するアルゴリズムを含むことができる。しかしこの場合,より幅広い一連のジェスチャは,インターフェースに,様々な楽器と効果についての大量のシミュレーションを作らせることになる。
【0040】
本発明の原理は,音楽用キーボードだけでなく,接触により演奏する他の楽器,例えばギターやバイオリンのシミュレーションにも適用することができる。バイオリンやギターをシミュレートするために,楽器の4つ又は6つの弦に対応する4つ又は6つのピークを提供し,特定の音を生成するボーイング(bowing),プラッキング(plucking)又はストラミング(strumming)奏法を可能にする。同様に,ユーザーが,例えば標準的な弦楽器のフレットボードに対応する楽器の様々な部分で同じピークに接触することにより,様々なノートを選択することができる。
【0041】
他の効果として,インターフェースを作る材料の性質を選択的に与えることもできる。例えば,インターフェースがギターの形をしている場合,例えば,ビブラートの音を生成するために,ネックを柔軟にすることができる。
【0042】
インターフェースは,様々な方法でプログラムすることができる。1つの方法は,キーが押されるたびにMIDI信号を送るステップ,ノートの速度レベルとして初期圧力を使用するステップと,正確なピッチを制御するためにピッチ・ベンド機能を使用するステップを含む。このとき,信号を変更した場合,MIDIノートはそのままで,音量とピッチを連続的に調整することができる。これは,事実上ボリュームとピッチの“アフタータッチ(残触覚)”のようなものである。インターフェースをプログラムする他の方法は,それぞれの圧力値で新しいMIDIノートを送るステップ,ピッチレベルとすべてのノートの音量及び速さを変更するステップを含む。この方法は,より直感的なサウンドをもたらすが,音に質感をもたせることができる。この質感は,再現しようとする音の自然な波形に近似する周波数でMIDIノートを送ることによって,調整又は説明できる。インターフェースは,様々なプロトコルで機能することができ,MIDI又はこれら2つのアプローチに少しも限定されるものではない。
【0043】
もちろん,本発明は,新しい材料で既存の楽器の標準的な形状を再現するだけでなく,まったく新しい形状の楽器を作成するのに使用することもできる。新しい形状は,新しい機能及び機能を統合する新しい方法を可能にする。
【0044】
本発明は,楽器に対応するインターフェースに限定されるものではなく,他のタイプの様々なインターフェース,例えば英数字を入力するコンピュータのキーボード又は単語又は数値処理機能に適用することができる。また,インターフェース内にマウスと同様のポインティングデバイスを含めることもできる。これは,画面上のポインタを制御するために,例えば,掴んだり,前後,横方向に引っ張ることができるピークによって提供されてもよい。
【0045】
本発明のインターフェースは,一定量の訓練でのみ実現可能な高レベルの機能性を提供できるため,熟練度を必要とする他の製品に使用することができる。ソフトウェアを使用して,個々のジェスチャに対応する個々のユーザーの能力に合わせて調整することができるため,高齢者又は障害を持つ人々にとって非常に役に立ち得る。これらの触覚の質(触感の質)は,視覚障害者又は運動の制御がより制限されている人々のいずれかに十分に適している。
【0046】
本発明の1つの重要な側面は,ジェスチャをプログラムできるインターフェースとして使用できることである。言い換えれば,ユーザーは,ジェスチャを記録したプロセッサの設定を起動させることができ,その後特定のユニークな方法でインターフェースに触れ,続いて,入力面でジェスチャを行っている時に,プロセッサが所定の指令を起動するように,プロセッサに指示をする。これは,個人やソフトウェアプログラマーに,様々な遊びの選択を可能にし,所定のユーザーのニーズにぴったり合うように,所定のインターフェースをソフトウェアで調整することができる。前述したように,これは障害者向けの特定した用途だけでなく,より広範な市場への応用も可能である。
【0047】
用語”ジェスチャ”とは,ユーザーが指や手で入力面を触れたり押したりするパターンを示しており,入力面にわたって指や手を移動させるパターンを含む。このようにジェスチャは,特定の方法で入力面の一部を,指を使ってつまむ,こねる,押す又は引くなどを含むことができる。プロセッサは,特定の指令を実行することによって,特定のジェスチャに応答するようにプログラムすることができる。したがって,プロセッサに格納されたものと似ているジェスチャが実行されると,プロセッサは特定の方法で応答することができる。ジェスチャは,ユーザーによって,プロセッサに“プログラム”される。ユーザーは特定の“ジェスチャ”として所定の力シグネチャを,実質的に“記録”することができ,さらにこれは,特殊な指令を表すことができる。このとき,インターフェースは,基本的なプログラムの技術的な再コード化を介するのではなく,インターフェースの機能をユーザーの特定のニーズや習慣に合わせることができるように,プロセッサのメモリに,一連のジェスチャを単純に保存することで,ユーザーによる修正を受け入れやすくなる。例えば,上肢切断手術を受けた患者がこのような種類のインターフェースをマウスとして使用したい場合,上面へのある種類の入力により,画面上の矢印の動きを制御することができ,上面への他の種類の“ジェスチャ”は,クリックを記録するように容易にプログラムすることができる。
【0048】
最上面の3次元特性は,精密で不規則な形や大きさに合わせて成形することができる。例えば,補綴学の分野では現在,高度な関節の動き,様々なレベルの力で掴むことや,独立したジェスチャを行うことを可能にするロボットアームが存在する。これらの義肢は通常,電極によって制御される。電極は,残存筋組織の末端からの表面筋電信号(surface electromyographic signal)を送る。これらのソリューションは,しばしば直感的ではない動きの連続性を含んでおり,必ずしも完全に自然で,ユーザーの直感であることはない。本発明の場合には,柔軟材料で腕の残部に合わせて正確な形状に成形することができる。正確な適合性は,快適さと使いやすさのために重要であり,複雑な3次元入力面を含まない圧力検出ソリューションでは,これらの種類の用途に適さない。
【0049】
前述のように,3次元形状の入力面とセンサとの間の内部膜は,様々な異なる材料で作ることができ,様々な所望の効果を達成するために,様々な異なる形や硬さを含むことができる。より正確に圧力の場所を分散させるために,このような内部膜を使用することはよく知られている。しかし,このような技術は本発明の方法により,3次元入力面上の正確な位置における小さな変化を検出し,これらを2次元又は3次元のいずれかの基板面に存在するセンサに送るように,拡張し,発展させることができる。
【0050】
これは,表面への特殊な動き及び入力を可能にし,又は抑制する,一種の内部足場構造(internal scaffolding structures)とすることができる。いくつかの用途において,3次元内部柔軟層は比較的厚いため,特定の方向に動きを制限したい場合や柔軟材料を強化したい場合がある。このような場合,足場状又は内部の骨組みをメッシュ状に作成することができる。メッシュの正確な形状は,所望の強度,動きの制限,及び感知効果に応じて変化させることができる。柔軟材料内で内部メッシュを使用することは周知の技法だが,本発明のメッシュは,3次元形状の柔軟性インターフェースの動きの制限を強化し,同時に3次元入力面への力をセンサアレイに向けることに使用することもできる。
【0051】
足場は,特定の位置の圧力感度を特定することができ,それをセンサアレイに直接伝えることができ,これにより3次元入力面上のわずかな変動を非常に正確に読み取ることができる。いくつかの例において,このような足場システムは,インク形態の量子トンネリング複合材料のような抵抗性材料で作ることもでき,本発明の例として下部に固定したセンサアレイを必要としないことも可能である。内部の足場は,ラピッドプロトタイピングの手法(rapid prototyping techniques)を用いて作ることができ,個々のニーズに合わせた高精度なオーダーメイドのソリューションを可能にする。
【0052】
義足の制御システムの場合には,例えば,内部の足場は,特定の筋肉の末端から特定のセンサ上へ出力した圧力の位置を特定するのに使用することができる。これは,ユーザー,例えば手を欠損した人に,動きに関連する直感的なジェスチャを行わせることができ,さらに,このプログラムは,これらのジェスチャを認識し,適切な種類のデータをロボットアームに送るように調整することができる。
【0053】
本発明のインターフェースは,タッチスクリーンやタッチパッドの連続的な入力制御と共に,キーボードやテンキーパッドの反応触覚フィードバックを提供する。さらにこれは,局所的な圧力感度,所望の入力範囲を可能にする3次元形状の入力面,及びまさにそこで必要とされている力の感度を正確に特定するために必要な内部足場システムを含む。これらのインターフェースのカテゴリを1つの新しい類型論にまとめることの可能性は,計り知れないものである。
【図面の簡単な説明】
【0054】
添付図面を参照して,実施例により,本発明をさらに詳細に説明する。
【図1】図1は,本発明の汎用インターフェースの構成の1つの実施可能な形態の断面図であり,3次元形状の入力面と,3次元形状の柔軟な内部層と,2次元センサアレイとを統合している。
【図2】図2は,図1に基づいて変化した形態の他の断面図であり,いくつかの例において,センサを3次元形状(又は3次元アレイに等しい複数の2次元面)にも配置できることを強調している。
【図3】図3は,他の形態のさらなる断面図であり,入力面が全体を3次元状に囲むことができること,及びセンサを3次元オブジェクトの複数面に配置することができることを示している。
【図4】図4は,本発明の例を示す断面図であり,入力面が凹面であり,それが柔軟な力拡散層で囲まれ,さらに3次元圧力センサアレイにも囲まれていることを示している。
【図5】図5は,センサを複雑な3次元状にも配置できることを示す断面図であり,この中で他の動きの自由度を提供し,すなわち,押し引きに同時に応答する力覚センサを作り出している。
【図6】図6は,図5と同じ構成を示す断面図であり,より正確で詳細な測定値を得るように,特定の地点から複数のセンサに加えられる力の分散を増加させる目的とともに,複数の方向に操作するためのより堅牢なフレームワークを作る目的で,弾性層の内側に作られた内部足場が加えられている。
【図7】図7は,本発明の1つの繰り返し可能なシステム全体の概略分解図である。
【図8】図8は,本発明に係る,音楽用キーボードの入力面の1つの実施可能な構成図である。
【図9】図9は,図8の表面の一部の詳細図である。
【図10】図10は,本発明の例である図8のキーボードの一般的な操作手順を示すフローダイアグラムである。
【図11】図11は,入力キーボードのような触覚インターフェースを示しおり,これは,英数字の入力及び/又は単語や数値を処理するのに使用できるだけでなく,カーソルトラッキングを制御するのに使用することもできるが,このインターフェースから他のコンピュータ関連の機能を除くこともできる。
【図12】
【発明を実施するための形態】
【0055】
初めに図1を参照すると,本発明の汎用インターフェースの構成の1つの実施可能な形態の断面図が示されている。図には,ユーザーと3次元形状の入力面2との間の接点1が示されている。3次元形状の入力面2と2次元に配置したセンサアレイ4との間には,入力面の外形とセンサアレイ4を適合させる3次元形状の内部柔軟層3がある。センサアレイ4は,硬質支持面5に位置している。さらに,接点1からセンサアレイ4への力の拡散6の方向も示されている。
【0056】
図2を参照すると,センサアレイ4を,3次元アレイに等しい複雑な2次元面上に配置できることが理解される。硬質支持面5は,センサアレイ4の形状を満足するように形成され,結果として,弾性層3はより複雑な3次元特性を帯びる。3次元入力面2と3次元センサアレイ4との空間関係は,特定の用途に応じて,様々な種類の力シグネチャの入力及びユーザーのジェスチャの範囲及び精度を最大化するように最適化することができる。
【0057】
図3は,本発明の構成の実施可能な他の配置を示す断面図である。この図において,3次元形状の入力面2は,3次元形状の内部柔軟層3,3次元センサアレイ4,及び硬質支持面5を含む構成要素を全体に包み込んでいる。この配置は,入力面2への圧迫及び伸張による入力,及びテーブルのような外部の硬質表面上のインターフェース全体への圧力を含む,ユーザーの様々な操作形態を可能にする。3次元形状の入力面2は,もちろん,1つの連続した形状又はいくつかの接続面とすることができ,特定の用途の構造又は機能に求められるような,うねり,突起,凹部,隆起部,及び他の複雑な形状などの細かなテクスチャを有することができる。
【0058】
図4は,本発明のインターフェースの変化型の断面図を示している。ここで,3次元形状の入力面2は,他の図面に対して反転した構成で存在しており,3次元形状の内部柔軟層3の内側に位置し,3次元形状の内部柔軟層3は順に,3次元センサアレイ4,3次元的に配置した硬質支持面5の内側に位置している。この配置は,ユーザーと3次元形状の入力面2との間の接点の表面部を拡げることができる。これにより動きのさらなる微妙な位置合わせ(registration)を可能にする。この配置において,3次元形状の内部柔軟層3は,屈曲及び圧縮するように材料に小さな余地が存在するので,他の配置の場合よりもより柔らかく,より多くのゲル状の材料から作成することも時には必要となる。
【0059】
図5を参照すると,3次元センサアレイ4を反転した3次元形状で構成することもできることが理解できる。これは重要な付加価値,つまり,本発明を使用して6自由度圧力感知装置を作成する1つの方法がもたらされる。3次元形状の入力面2を上方に引っ張ることができ,この力は,3次元形状の内部柔軟層3を通して,複雑な形状の硬質支持面5に配置した3次元センサアレイ4に伝わる。
【0060】
図6において,断面図は,図5と同様の配置を示し,内部足場システム7が加えられている。内部足場は,3次元形状の内部柔軟層3の内側に設置することができ,より正確で詳細な測定値を得るために,特定の地点から複数のセンサへの力の分散を増加させることができるとともに,複数の方向への操作のために,より堅牢なフレームワークを作り出すこともできる。これは,例えば引張力が3次元センサアレイ4の適切に反転させたセンサに適切に伝えられ,材料を押したときに作用する力拡散特性が,引っ張る場合でもその正確性を低下させないことを確実にする。内部足場システム7は,この配置で機能するようにある程度の柔軟性を有している必要があるが,3次元形状の内部柔軟層3よりも硬質で堅固である必要もある。これらの配置でうまく働く材料は,ナイロン又は高ショア硬さ型のシリコンである。ある例において,特により完全で柔軟な情報を豊富に得る感圧性インターフェースが望まれる場合には,力センサ及び抵抗性材料を,足場に組み込むか又は足場内にカプセル化することができる。
【0061】
図7は,本発明に係る,汎用インターフェースの構成を示す概略分解図である。これは,3次元形状の入力面12を有する柔軟弾性材料,例えばシリコンゴムからなる3次元形状の柔軟層13を含む。本体は,剛体面15に支えられたセンサアレイ14に基礎を置く平面性底面19を有している。センサアレイ14の各々は,感圧性であり,掛かる圧力に応じて出力を生成することができる。様々なセンサからの出力は,リード線を介してマイクロプロセッサ16に導かれる。マイクロプロセッサは,ある構成要素,この場合ラウドスピーカを駆動させる出力を生成するために,センサアレイ14からのいくつかの信号の組み合せに応答するアルゴリズムを含む。複数配置された特定の小さなマイクロプロセッサ,例えばアルデュイノ(Arduino)プロセッサは,まず初めに,力センサからのデータを,コンピュータのようなより高度なプロセッサにより入力として読み取ることができる形式に解釈する。その後,コンピュータは,特定のセンサ上の特定の力の基本的な数値データを意味のある出力に変換するコードを実行することができる。そのような変換は,様々なソフトウェアのソリューションによって実現することができ,さらに,アプリケーションの性質や目的の出力に応じて,変換することができる。例えばデータは,プロセッシングのようなJavaベースの言語,又はオープンフレームワークのようなC++ベースの言語などで特定の出力に解釈させることができる。
【0062】
図8を参照すると,3次元形状の入力面12の小断面の簡略図が示されており,柔軟弾性体13の起伏のある表面12の先端にかかる圧力11が,本体を通って,図7で見られるように,ずらりと並んだ力覚センサに接触する平面19に伝わることが理解される。模式的に矢印で示すように,力が広がっているため,3次元形状の入力面12上にかけられた力を感知する平面の領域は,上面にかけられた圧力の領域よりも大きくなっている。マイクロプロセッサ16(図7)は,アレイセンサが提供する信号を検出し,ソフトウェアのアルゴリズムは,入力の正確な位置を復元するために,各センサの相対的な力を解釈することができる。いったん入力データが復元されると,ソフトウェアは,同時入力の集合を追跡することができ,プログラムの以前のループからの入力と継続している各入力を比較することができるソフトウェア“オブジェクト”の集合を作成する。アプリケーションの性質や入力間の所望の離散性又は連続性のレベルに応じて,アルゴリズムは,所定の入力を以前のループからのデータと連続するものとして解釈するプログラムに必要とされるか,又は代わりに新しい入力を構成するものとして解釈するプログラムに必要とされる連続性のレベルを決定するように設定される。これらの比較マーカ(comparative marker)は,入力解釈ソフトウェアオブジェクト(input−interpreting software objects)に最適に組み込まれている。例えば,最初にセンサアレイからのデータを解釈するソフトウェアオブジェクトは,多変数を同時に追跡する必要があり,これには,復元した入力位置,ソフトウェアの以前のループから復元した入力位置,現在の入力位置での圧力,以前の入力位置での圧力,他の同時入力に関連するこの入力のプログラムレジスタにおける順番,及び特定の所望の効果における入力“範囲”,すなわち特定の入力位置の読み込みに使用されるセンサの数を含む。明らかに,オブジェクトは,集合を同時に解釈することができるような方法でコード化する必要がある。ループが実行されるたびに,プログラムは,以前の入力のクラスタと現在の各入力クラスタを比較することができる。このとき,いったんデータがそのレベルで評価されると,入力データオブジェクトは,聴覚的,視覚的又は運動に基づくものであろうと何か他のものに基づくものであろうと,特定の制御効果をトリガすることができる。例えば,図9の例では,入力データのオブジェクトは,音符に応じてスピーカ17へ信号を提供するMIDIノートオン及びオフを送信するように指示することができる。ループ間のデータの変化は,例えば,所望の音及びコードに組み込まれた比較ステートメント(comparative statements)に応じて,新しいノートを送るのに使用するか,又は既存のノートを保持するためか,音量を上げるためか,若しくは音程を変更するために使用することができる。簡単に言えば,プログラムは,音符の音色やピッチが,ユーザーによって押された起伏のある面12上の位置に依存するように記述することができる。生成されたノートの音量は,センサアレイ14によって感知した圧力の大きさに合わせて設定することができる。他の用途の目的のためにこれらの技法を変形できることは,制御インターフェースの熟練したプログラマには明らかであろう。
【0063】
キーボードに使用される材料は,次のとおりである。
本体はシリコンゴム,特にNotcutt Ltd(Homewood Farm, Newark Lane, Ripley, Surrey GU23 6DJ)社製のSilskin10で作られる。これは,ショア硬さを00〜1度の材料を製造するために,Notcutt Ltd社からも入手可能な消音性シリコン添加剤(deadener silicone additive)が添加されている。
センサアレイ4は,Interlink Electronics社製FSRストリップで形成される。
プロセッサ16は,Tinker社製Arduinoマイクロプロセッサである。
【0064】
図12のフロー図は,上記のインターフェース操作(ステップ1〜4A)の手順を示している。
【0065】
1つの態様において,ピークは標準的なキーボードの鍵盤と一致させることができる。しかし,本発明は頂点間のトラフ(谷部)を押すこともできる。これは,センサの様々な組み合わせによって検出され,様々な音程,例えばデータを解釈するアルゴリズムのソフトウェアの性質に応じて,微分音の効果,又は他の効果を生成する。生成できる他の効果は,既に記載しており,ここでは繰り返さないことにする。
【0066】
図9は,白鍵(ピーク26)だけでなく,黒鍵(ピーク25)を示す本発明のキーボードを示している。さらに,タッチセンサ面21,22及び23(又は,”スライダー”)が,キーボードの上下に配置されており,それに沿ってユーザーの指又は手のひらをスライドさせると,グリッサンド効果がもたらされる。21はポルタメントスライダであり,22はさらに低いポルタメントスライダであり,23は手のひらによるスライダー効果である。ぎざぎざ部24は,キー25,26がポルタメントスライダ21に交わる場所に位置しており,キーボードのメインエリア(キー25,26)とスライダー21の間でスムーズに指が移動する(すなわち,障害物に遭遇しない)平滑な移行面を提供している。他の方法によって,1つの目標となる緻密な効果やトランジションに応じて,特定のスライダー面を作成することもできる。
【0067】
図10は,図9のキーボードの一部だけを示し,特に白鍵と黒鍵間のピーク27とトラフ(troughs)28を示している。
【0068】
図9に戻ると,ピークは,ビブラート効果を生成するために指で発振できるか又は,標準キーボードでは達成できない音を生成するために握ったりつまんだりすることがきることが理解できる。また,材料の柔らかさは,表面を押しながら,指を移動させたり,材料に跨って指をスライドすることができることを意味し,又は内部層の柔軟性を利用して,材料を押すことができることを意味しており,いずれにせよ,様々な読み込みを基盤となるセンサアレイに伝えることになる。この技術を可能にすることは重要である。なぜなら,ビブラートとトレモロの効果を同時に使用することができることを意味するからである。
【0069】
図11を参照すると,各手用に2つの部分に分割した,コンピュータのキーボードと同等のものが示されている。2つのキーボード部の上部面には,英数字キー及びファンクションキーに対応する隆起部20を有している。隆起部20は,ユーザーが感じるものであるため,触覚フィードバックを提供することができる。キーボードは,図9に示されるものと同様の構造を有しているため,キーを押したときに,その力は,柔軟弾性材を通してセンサアレイ(図示していない)に伝えられる。上部面への下方圧力によってトリガされるセンサの組み合わせから,どのキーが押されているかを区別でき,マイクロプロセッサによりこの検出が行われる。そして,押されたキーに対応した英数字を画面上に表示させ,対応する数字をメモリに格納させる出力信号を生成する。
【0070】
図11は,ユーザーの右手と左手の形状に対応する,キーボードの2つの部分を示している。領域34は,ユーザーが自分の手のひらを配置する場所に対応している。画面上のポインタ(カーソル)は,ユーザーがこの領域34に圧力をかけることで,移動させることができる。圧力は,センサ信号のシグネチャによって検出されるように,センサアレイ及び領域34のユーザーによってもたらされる力の向きに応じて移動するカーソルによって検出される。キーボードを作るために使用される材料が柔らかいため,領域34のユーザーによってもたらされる圧力の様々な向きに対応する様々な信号は,手のひらが領域34の表面を横断しないにもかかわらず,センサによって直接検出することができる。したがって,手のひらによって,画面上のカーソルを指揮するマウス機能を制御することができる。
【0071】
また,例えばピーク32を提供することもできる。これを親指と人差し指でつまむことで,画面上の機能の実行,例えば,画面に表示されたオブジェクトを選択したり,異なる位置までドラッグしたりすることができる。
【0072】
ボタンを押すことによってだけではなく,個々のキーと関連して行われる特定のジェスチャによっても,制御機能,シフト機能及び指令機能を提供することが可能である。
【0073】
これらのほんの少しの詳細な例は,本発明の範囲に含まれる適用範囲を示している。インターフェースデザインの分野で知識のある人は,本発明によって幅広い応用例が利用可能になることが理解できるだろう。一例を与えるために,本発明は,3次元入力面に直接触れるユーザーとの関係で説明したが,機械化された環境,例えばロボット環境で活用している同様のインターフェースによって特定のアプリケーションを構築することができる。この場合,3次元力入力デバイスを使用して,相対的な重み分布を感知することができる,より高感度な可動ジョイントを作り出すことができ,また機械部品に合わせて形成することができる。これらのアプリケーションにおいて,図6に示される足場システムは,軽量で耐久性を維持しながら,特定の方向の動きと感度を有効にし(活用でき),他の方向の動きを制限できるため,特に便利なツールとして提供される。したがって,ロボットへの適用範囲は,本出願の範囲に包含される。
【技術分野】
【0001】
本発明は,入力データをプロセッサ,すなわちデータプロセッサに提供するインターフェースに関する。本発明は,音色や音楽を制作すること,幅広いデジタル指令を表わす信号を提供すること,英数字の入力データをメモリ内及び/又は画面上に提供すること,単語又は数値処理機能を実行することを可能にする。また,本発明は,実空間又は仮想環境でのオブジェクトの遠隔操作又は遠隔運動,例えば車両の動きを提供する信号,又は遠隔ロボット装置や機器,例えば手術器具などを操作する信号を生成することなど複数の用途に使用することができる。特に,本発明は,ディスクリートコマンド,空間的位置,及び圧力レベルを含む,かなりの入力数を同時に有効にするインターフェースに関する。他の多くの用途は,以下の記載に基づいて当業者にとって明らかになるであろう。
【背景技術】
【0002】
現在,ほとんどのユーザーインターフェースは,“離散制御インターフェース(Discrete Control Interfaces(DCI))”と“連続動作インターフェース(Continuous Action Interface(CAI))”と呼ばれる2つのカテゴリに分類される。DCIは,単純で離散的な入力を可能にするためにオン又はオフの位置を記録できる一連の離散スイッチを使用する。CAIは,連続動作に基づくより複雑な入力を時間的に可能にするために,空間的な動き,圧力ベースの動き,又はジェスチャに関する動きを記録する。DCIは,普通は機械的動作をシミュレートする直接アナログ制御(通常はスイッチベース)を使用する,キーボード,キーパッド,及び他のインターフェースを含む。一方CAIは,連続的な入力を可能にするローリングボール又はいくつかの他の連続動作装置を使用する,タッチスクリーン,タッチパッド,他の2次元触覚インターフェース,及びコンピュータマウスのようなデバイスを含む。
【0003】
DCIのインターフェースの利点は,(1)明確な離散的入力を可能にすること,及び(2)一般的に触覚入力のフィードバックシステムを形成することであり,これにより視覚的確認に依存しないことになる。言い換えれば,明確に独立した指令を提供し,記録された指令に関する触覚情報をユーザーに与える。これにより例えばキーを押した時,ユーザーは応答する圧力を感じることができる。これらの利点は,単に感知装置の種類だけでなく,入力面の設計,つまりユーザーが実際にやり取りするインターフェースの最上部の設計に関係する。この点,タイピングキーボードの反発性は,ユーザーに,キーが押されていることを触覚レベルで理解させることができ,個々のキーの輪郭は,ユーザーが,キーボードを見ることなく,一定で,高速,正確なタイピングを容易にするための微調整を可能にさせる。DCIによる様々な指令は,記憶され,ほとんど意識的思考なしに行われるため,特にDCIのインターフェースが触覚応答を提供する時,情報は通常,視覚ベースの入力制御の場合より高速で,正確に入力される。タッチタイピング(指の位置や動きについての触覚情報のフィードバックだけでなく習慣的なスキルにも依存する)のスピードと,”雨だれ式(hunting and pecking)”のタイピング(視覚ベースの入力制御)のスピード,又はタッチスクリーンのインターフェースで入力するスピードとの違いを比較することにより理解できる。他の例では,技巧ピアニスト(指の位置や動き,そして習慣的なスキルについての触覚情報を使用する)と,演奏するのに正しい位置の鍵盤を確認する必要がある初心者ピアニスト(視覚ベースの触覚入力制御)との違いである。これらの高度に熟練した動きは訓練によるものであり,これらの分野で訓練が効果的な理由は,筋肉の記憶をトレーニングすることで意識的な指示又は意識的な制御をすることなく一定の区切られた作業を繰り返すことができるからである。しかしこのようなトレーニングを可能にするためには,3つの要件がある。a)動きは視覚的な確認や視覚的な指示を本質的に必要としてはならない(射撃のような視覚的な確認が必要な動きも,もちろん訓練することはできるが,手,目,胴体の調和に関わる異なった形式の訓練を含む),b)物理的インターフェースは,位置の触覚フィードバックを与える必要がある(平面又は単に装飾された表面ではないという意味のため,表面のある種の変化,テクスチャ,又は弾力性は,自動的に筋肉の調整や修正を行えるように訓練した者を空間的に方向づけるように,触覚に関する何かをユーザーに絶えず与えることができる),c)インターフェースのこれらの物理的性質は,いかなる場合においても非常によく似た触覚情報を提供するように,標準化され,不変である必要がある。
【0004】
DCIsの欠点は,特に,目標が定量的又は連続的な情報を入力することである場合,質的に独立した個別の指令とは対照的に,作成できる入力の種類が制限されることである。
【0005】
一方,CAIは,連続的な入力及び情報の微妙な又は複雑な形を非常に迅速に伝えることができるという利点がある。例えば,情報の変化に伴って,タッチセンサ式のインターフェースが画面であるか又は画面に接続される場合,変換する可能性が大きい変数集合を制御するのに使用することができる。視覚情報は,無数のオプションと通信することができ,自分の指であろうとマウスによって制御される矢印であろうと,ポインタを移動させ,特定の運動及び指令を選択することができる。さらに,この種の入力は,DCIでは不可能な方法,例えば手書き文字又は描画のような,連続的な人間の運動をシミュレートすることができる。けれども,これらの欠点は,(1)一連の独立した指令を高速連続的に処理する効果がないことであり,1つの理由は,(2)一般的に,現在の構造において,実行可能な触覚フィードバックシステムを入力に応じて提供しないためである。
【0006】
したがって,これら2つのタイプのインターフェースが併せて使用されることは意外ではない。1つの例として,ほとんどのラップトップコンピュータは,キーボードとタッチパッドを有する。DCIのインターフェースとしての側面は,タイピングのような標準的な指令の迅速な入力及び離散的な指令を可能にし,一方でCAIのインターフェースは,デジタル環境の多くの一般的な制御及び動作又は連続状態に必要とされるあらゆる機能を可能にする。もちろん,タッチパッドやマウスなどのインターフェースは,動きを同時に記録するように,本来CAI設計されるが,クリック機能又は選択機能を介して離散的な入力を可能にし,1つのインターフェースへの,この機能の組み合せにより,計り知れない有用性が明らかになる。
【0007】
マルチタッチジェスチャはよく知られており,他の特殊な指令を,CAIタイプのインターフェースに入力することができるため,さらなるハイブリッドな体験を提供することができる。“ジェスチャ”は,インターフェースの単一の制御を意味しており,大文字をワードプロセッサの画面上に表示させるために,文字キー及びシフトキーを押すような入力を同時に有効にするパターンであってもよい。
【0008】
感圧性インターフェースの場合には,ある程度の複雑さが追加される。可変感圧性インターフェースは,様々なレベルの圧力に関するデータの連続的な流れを記録することができるという意味では圧力に対して連続的になることができ,一方,圧力センサの使用数及び配列によって,感圧領域の空間分布に関して離散的になることができる。
【0009】
関連する周知の機器の具体例は次のとおりである。
【0010】
米国出願公開第2003/0079549号は,点圧力源を正確に突き止める感圧装置及び感圧面の点圧力源の位置の力を決定する方法を開示している。また,ユーザーが情報を入力する最上面とセンサが実際にデータを読み取る下層部との間に内部膜を使用している。この内部膜は,幅広い範囲の様々な材質や形状で作成することができ,実施可能な他の方法よりもより少ないセンサで,より正確にバランスのとれた位置の検出を可能にする。しかし,これは硬さを増加させる突起部以外の最上面の変化には関係していない。この発明の焦点は,2次元感圧デバイスをより効果的に創作する方法を提供することであるため,x軸及びy軸上の圧力データを収集することと,最上部の表面が2次元であるという両方の意味であって,複数の圧力及び空間ベースの離散的,連続的な入力に関するハイブリッド解を作成するための解決策は提供されていない。
【0011】
米国特許第6703552号は,2次元の演奏面を有する電子音楽のキーボードを開示している。すなわちこれは,ピアノ上及び同様に構成した電子楽器のキーボード上に存在するような離散的な鍵盤を含んでいない。キーボードは,押すと音が出るように,プレーヤの指の圧力をそれぞれ,継続的に測定する。表面が平坦であるため,プレーヤがそれに近づくと,自動的に音程を主要な12音のノートのいずれかに“ガイドする”プログラムを使用する。これは,やや無機質な音を有していることを意味し,コンピュータがあまりにも多くの作業を行っているため,この設定において技巧的な方法で演奏するのは非常に困難である。また,鍵盤との関係で,指の正確な位置に関する情報がないため,プレーヤがキーボードに置かれた指の位置を正確に認識することは困難である。これは,連続的で,可変圧力性の,空間感覚型インターフェースであって,やや離散的な効果を発生させるためにソフトウェアアルゴリズムを使用する。
【0012】
米国特許第7394010号は,様々な音色を作り出す,キー・スイッチのアレイを含む楽器を開示している。スイッチは2次元の格子状に配置され,音は格子状の様々なキーに触れることにより作り出される。
【0013】
欧州特許(出願)第1100069号は,キーボードのオブジェクトがキーの押下を検出する電子回路を簡素化することができる,キーボードを開示している。キーボードは多数の様々なボタンを含み,いずれも多数の接点を含む。各ボタンの押下は,所定の組み合わせの接点を閉じ,この組み合わせはボタンによって異なる。したがって,定期的に接点をスキャンすることによって,ボタンが押されたかを伝えることが可能である。
【0014】
電子楽器のキーボードは,もちろん,非常によく知られている。これは,ピアノの鍵盤を模倣し,多数の様々な離散的な鍵盤を含む。鍵盤は様々な音,例えばピアノ又はオルガンなどの音を作り出すために変更することができる。しかし,このようなキーボードでリアルタイムに実現することが可能な効果音楽の数は制限される。
【0015】
また,“ロールアップ”ピアノのキーボードも知られている。これらは,ピアノの鍵盤の2次元の外形を表わす表面を有する柔軟な基板形状を採用している。各キーの下には接点があり,押されると,押されたキーに対応する音を出力するようにプロセッサ及びラウドスピーカに指示をする信号を生成する。しかし,操作者が得る触覚フィードバックは非常に少なく,キーボード上にある指の位置を正確に知ることはほとんど困難である。
【0016】
タッチスクリーン上のキーボードインターフェースも周知である。これは,指の位置をユーザーに与える触覚フィードバックを少しも提供せず,さらに,データ入力は視覚的に行われ,タッチタイピングではない。また,時々視覚的な形式(キーの色が画面上で変化する)又は聴覚的な形式(”ビープ音”が鳴る)でフィードバックが与えられるが,データを入力するキーストロークを記録するように“キー”を十分に押した場合にも,タッチスクリーンは触覚フィードバックを行わない。
【先行技術文献】
【特許文献】
【0017】
【特許文献1】米国出願公開第2003/0079549号
【特許文献2】米国特許第6703552号
【特許文献3】米国特許第7394010号
【特許文献4】欧州特許第1100069号
【発明の概要】
【発明が解決しようとする課題】
【0018】
本発明は,添付の特許請求の範囲で定義されている。
【0019】
大まかに述べると,本発明は,ユーザーがプロセッサへの入力データを作り出すことを可能にするインターフェースを提供する。インターフェースは,インターフェース上の指の位置がわかるように,ユーザーに触覚フィードバックを提供する3次元の入力面を含む。入力面は時々,インターフェースの上部で提供されることから(また,インターフェースの他の構成要素もインターフェースの向きなどを参照して記述することから),説明を簡単にするため,入力面は本明細書において,時々“上部面”と呼ぶこともある。しかし,インターフェースは所望の方向,例えば側面上又は表面下の入力面で使用してもよいことを忘れてはならず,本明細書ではいずれの方向のインターフェースも含む。さらに,多くの場合,所定のインターフェースは,情報を入力できる複数の面で構成される。実際に,上部,底部と側部で完全に囲まれた面となることもある。入力面は,単にインターフェースの最外部であり,いかなる形式をとっても,現実にユーザーの接触に依存することになる。
【0020】
柔軟弾性材,例えばシリコンゴムは,3次元上部入力面の下(又は内側)に提供されており,このような柔軟弾性材の層の表面は,事実上3次元上部面を形成することができる。しかし上部面は,力の拡散を可能にするいずれかの材料,又は接触感知を可能にする他の材料でも作ることができる。これは,柔軟な有機EL画面,又は3次元抵抗性若しくは容量性の接触面で構成することができる。
【0021】
インターフェースは,ユーザーに触覚フィードバックの3つの異なる形式を提供する。第1に,3次元上部面のテクスチャ,角度,及び他の特性は,空間的方向性に対する触覚的基礎のない平坦で均一な表面上では不可能な方法で,ユーザーに接触位置についての直接的な情報を与える。第2に,柔軟弾性材は,さらなる触覚フィードバックを提供するために,力をユーザーに送り返し,これによりユーザーはインターフェースに与えている圧力の程度を感知できるようになる。材料が弾力性であることから,応答する圧力は,平坦で硬質な表面と同様の力で単純に押し返すというよりも,圧縮の程度で指数関数的に増大する。この変化は,力の入力のわずかな変化に関して,ユーザーにより使いやすい触覚情報を提供する。第3に,柔軟材は,触覚フィードバックの表面積の変化を拡張する。何かに触れるときの圧力レベル,特に非常に低レベルの圧力での入力を主観的に判断する方法の1つは,指の表面積の大きさ,例えば所定の表面に接触する大きさの変化である。平坦で硬質な表面ではこの差は小さいが,これはセンサと入力面との間の材料における指の筋組織による圧縮なので,柔らかい素材では変化は拡大し,表面積はかなり変化する。
【0022】
1次元又は2次元であってもよいセンサ又はセンサアレイに加えられた地点における,下向きの力は,材料の反対側に到達するまで,弾性材を介して拡散する。場合によっては,センサを多様な基板表面上に配列することもできる。したがって一連の2次元アレイ(3次元アレイとして記述できる)を構成することもできる。1つのセンサが提供されている場合,これはどの入力画面をユーザーが操作しているのか,そしてその位置にどんな力/圧力がかけられているのかを識別することができる,すなわち,位置を検出する能力を備えている必要がある。例えばセンサは感圧性であり,各センサは,入力面でのユーザーの接触に応答し,例えば加えられた力を測定する接触応答パラメータに応じて信号を出力する。
【0023】
弾性材は,その材料の柔軟性から,上部入力面に加えられた力をセンサに伝えることができる。この力は,力が加えられた方向の直線上に位置するセンサだけでなく,他の隣接するセンサにも伝えられる。したがって,ユーザーがインターフェースの入力面領域に力を加える場合,多数のセンサが出力を作り出すように,センサアレイのより広い領域でその力を記録することになる。多数のセンサで読み込む様々な力の組み合わせを,“シグネチャ(signature)”と呼ぶことにする。プロセッサのアルゴリズムは,”トリガ(triggered)”したセンサ,すなわち加えられた圧力に応答する信号を提供することだけでなく,センサの数,検出した力,及び出力の相対的な大きさを含む“シグネチャ(signature)”の構成,に応答することができる。例えば,上面に加えられた強い力は,弱い力と比較して,比較的大量のセンサを起動させ,出力を生成させる。弱い力の効果は,柔軟弾性材によって下部のセンサに辛うじて伝えられ,これにより,少数のセンサがトリガすることになる。これらの順序に沿う最も単純なアルゴリズムは,センサアレイを直接触れたときよりも,より正確に特定の接触位置を復元することができる。例えば,センサの1次元アレイ上の1列の位置A,B,Cの3つのセンサにそれぞれ100,800,500の数値を与えた場合,最上部面上の正確な入力位置を復元するために,センサの空間に対する力の量を重み付けすることができる。力の測定値の合計は1400となり,アプリケーションに応じて適切にマッピング又は条件付けし,また位置は,(A*Aの力+B*Bの力+C*Cの力)/(力の合計)の式から得られる。ここで,Aの力,Bの力,Cの力はA,B,Cの位置でのセンサからの測定値である。A,B,Cが,10,20,30の地点で1列に一定の間隔で配置されている場合,入力した力の位置は,およそ22.86となる。言い換えれば,これらの種類のアルゴリズムは,特に大きい程度の力の拡散を可能にする場合に,非常に正確な測定値を与えるのに,少数のセンサを利用することができる。より複雑なアルゴリズムは,2次元アレイに関する同様のデータを計算することができ,十分な分解能で,様々な種類の形状やジェスチャ,例えば表面と相互作用を行う手のジェスチャ,について計算を行うことができる。これは,アルゴリズムが様々な角度の表面からのデータを解釈し,様々な種類の接触間を区別するため,非平坦性の最上面では特に重要となる。特定のアプリケーションや環境に必要な特定のアルゴリズムは,当業者には明らかであろう。これらは,時間をかけて,多様な入力で設定する場合,より複雑になる。前述の例において,Aでは100を読み込むのに続いてBで800を読み込むが,Cが600に上昇している場合,つまりC地点に対する圧力やわずかな動きが増加を表している場合,しかも同時に,センサD,Eも,例えばそれぞれ800,100に上昇した場合,アルゴリズムは,最も力の強い2つの地点B及びDがCにより区切られているため(センサB,Dの中央に位置する2つの入力を示す),CはB及びDの両方に寄与する必要があること,さらにそれぞれの寄与の平均値を求めることができること,又は以前のレベルでCの寄与を保持することができること,100の付加量だけをおよそDの中央に位置する入力に寄与できることを解釈するようにプログラミングされている必要がある。これはまた,近接する複数の入力に適用される場合の精度の限界を示している。同時に,このコンテキストでは,ジェスチャの認証を作成することができる。例えばもし,A,Eが最初に2つの入力の中心点である場合,さらにB,Dがピンチングジェスチャ(pinching gesture)の中心点となる場合,このように登録するアルゴリズムをプログラムすることができる。
【0024】
個々の力は,上述のように感知することができるが,センサのシグネチャの経時的な変化も,以下に記述するように,プロセッサ内のアルゴリズムにより一定の効果を生成することができる。プロセッサは,センサからの信号を処理し,それらを電気又は光信号とすることができるプロセッサ出力に変換する。プロセッサ出力は,所望の効果,例えば,音,画面上の応答,メモリ内のデータの一部の記録などを作り出すために使用することができる。もちろん,プロセッサのメモリ領域内のデータの記録などのさまざまな領域で,プロセッサ出力を受信してもよい。これにより,多種多様な他の出力や効果が可能であることが理解されるであろう。
【0025】
上面の3次元性は,ユーザーに触覚フィードバックを提供するだけでなく,様々な部分で様々な圧力のシグネチャを,基礎となるセンサに提供する。したがって,感知する力は,ユーザーが押す入力面の位置,例えば,(a)3次元入力面の隆起部のピーク(山部)を押した位置,(b)同じ面のトラフ(谷部)を押した位置,又は(c)通常,様々なセンサ出力シグネチャを生成することになる,ピークの肩角又は側面を押した位置に依存してもよい。これは,検出された特定のセンサのシグネチャに基づく様々な出力を(及び様々な効果)を生成するために,より多くのオプションを,製品デザイナーにもたらす。所定のインターフェースは,表面の性質,厚さや材料の硬さ,力センサの大きさや感度,及びプロセッサ出力をプロセッサ入力に変換するアルゴリズムの性質に関する,入念な設計と較正を必要とする。
【0026】
インターフェースの入力面は,柔軟弾性材の層の露出面であってもよい。しかし,柔軟弾性材の層の力伝達特性は,入力面上に1つ以上の本体を含むこと,又は柔軟弾性材内に埋め込むことで,改良してもよい。このような本体は,柔軟弾性材又はより柔らかいもの,又は固く,曲げにくいものでもよい。例えば柔軟弾性材内の空気ポケット又はゲルポケットを用いても良い。また,これらは様々な形状,大きさ及び構成を有する類似素材の様々な層や弾力性とすることもできる。より柔らかい又は硬い本体は,センサの出力シグネチャを変化させるだけでなく,ユーザーが感知した触覚フィードバックも変化させることになる。
【0027】
センサから又はプロセッサからのいずれかの出力信号に基づいて,ユーザーへポジティブな触覚フィードバックを与える反応性のデバイス又はアクチュエータを,柔軟弾性材の内側に埋め込むこともできる。このようなデバイスの例に,あらかじめ決められた特性の信号をセンサによって生成する場合に,可聴応答及び/又は触覚応答を与えるものがある。例えば,1つ以上のセンサがしきい値を超える力を記録する場合,このようなフィードバックを生成することができる。正の電荷がそれらを介して実行されるときに展開するシリコンアクチュエータが知られており,これらの触覚フィードバック効果を作成するために,3次元弾性層と共に配列することができる。
【0028】
1つの態様において,センサは2次元センサアレイであり,必要に応じて硬質の剛体面に取り付けられる。
【0029】
上記のように,力が入力面の1つの領域に加えられている時,この力は柔軟弾性材を介してセンサレイに伝えられ,押圧力を“感じる”アレイの領域は,ユーザーが入力面に力を加える部分よりも,一般的に大きくなる。力の広がりの程度は,柔軟弾性材の柔らかさや硬さ,厚さ,表面のどの部が押されているかなどのいくつかの要因に依存する。上記述べたように,柔軟弾性材に他の本体が含まれているかどうかによっても依存することになる。
【0030】
柔軟弾性材の最小厚さは約0.3cm,例えば少なくとも0.5cm,一般的には少なくとも1cmであってもよい。最大厚さは,8cm以上,例えば50cmまででもよい。インターフェースへの入力を提供するために,指の圧力により多くのアプリケーションが良好に動作することが確認されている値は,2〜4cmである。更に,柔軟弾性材の層の厚さを増加させると,インターフェースの大部分を増加させ,不利益を生じる。一方,0.3cm未満の厚さは,入力に加えられる力の十分な拡散を作り出せないため,センサレイに加えられる力は,入力面に加えられる力と非常に似たものになる。これは,送信可能な圧力シグネチャの範囲を減少させ,様々なシグネチャに関連する効果の範囲を減少させる。
【0031】
前述のように,弾性材料の柔らかさは,入力面からインターフェースへの力の拡散に影響を及ぼし,ショア硬さ00−0001度〜10度,例えば00−005度〜00−1度や00−01度〜00−1度などを有する非常に柔らかい素材が,インターフェースへの入力を提供するために指の圧力を使用するほとんどの用途で満足のいく結果をもたらすことが確認されている。素材が硬すぎる場合,あまりにも多くの抵抗及び待ち時間となり,センサの感度を低下させ,また,柔らかすぎる場合,あまりにも無定形となり,十分な触覚フィードバックを提供しないため,正確なショア硬さを使用することが重要である。
【0032】
センサは,入力面を操作するユーザーに応答するいずれかのセンサであってもよく,感圧センサであってもよい。これは圧電結晶,ひずみゲージであってもよく,又は例えば,量子トンネリング複合体で作られてもよく,感圧抵抗体素子であってもよい。個々のセンサ及びこれらのタイプのセンサアレイは広く市販されており,例えば,Peratech Limited社(Old
Repeater Station, 851 Gatherley Road, Brompton on Swale, Richmond, North
Yorkshire DL10 7JH United Kingdom)の量子トンネル複合体やInterlink Electronics社(546 Flynn Road, Camarillo, CA 93012, USA.)の感圧抵抗体素子がある。
【0033】
本発明が見出す特定の用途における製品の1つのタイプは,電子楽器である。理由として,これは多種多様の様々なノート(音)を作り出すだけでなく,音波が,識別できるほどはっきり異なる音を作り出す膨大な量の可能変数を有しているからであり,インターフェースは,変数を生じさせる必要がある大量の様々な信号を生成できるからである。最も重要な識別できるほどはっきり異なる音は,リズム,ピッチ,及び音量の変化に関連付けられる。リズムの変化は,入力を離散する能力が必要となる一方,微妙なピッチの変化は,連続的な入力を必要とする。ピッチは特に重要である。時間的に離散した入力によって,すなわち,時間的に区別できる入力を提供することにより,リズムの変化を提供することができる。一方,ピッチの場合には,離散的に異なるピッチを入力でき,例えばピッチの音階で再生でき,さらに微妙なピッチの変化を作り出すことができる必要がある。同時に,すべてのノートは特定の音量で発生し,わずかな音量の変化は,情緒的な音楽における重要な差異の基礎を作り出す。問題は,離散的,連続的なピッチの両方と音量の変化がいつ必要となるかであり,2次元入力面では,連続的なピッチを不可能にする離散的なピッチの入力間か,離散的なピッチが多かれ少なかれ不可能になる連続的なピッチの入力間かを選択する必要性を提供することはできない。
【0034】
本発明のインターフェースは,離散的な入力(例えば半音階のノートを生成する入力)と連続的な入力(例えばグリッサンドやスライド効果)の両方でシームレスな移行を可能にするので,調和変化,ダイナミックな変化及びリズミカルな変化の複雑さに理想的に適している。
【0035】
インターフェースは,音楽用キーボード又は他の楽器の形態であってもよい。それは,既存の楽器の既存の構造を使用してもよく,それらを再現してもよい。すなわち,キー,弦,又はボタンの基本的な配置と,それらの空間的な間隔はもとの楽器と同様か又は類似している一方で,演奏者のスキルがこの新規な器具に伝わるように,3D表面にこれらをレンダリングしていてもよい。どんな形状にも3D形態をはめ込むことができる最上面,及びセンサアレイ上のそれらの力の拡散がなければ,新しい動きの中で既存の筋肉の記憶を活用する能力,つまりより多くの情報が豊富なインターフェースをユーザーに与えることは不可能である。
【0036】
1つの態様において,3次元入力面は,波形形態を有してもよく,押したときに標準的な音楽用キーボードの音に対応するノートを生成する。このように,本発明は,従来のキーボードの操作を模倣することができる。しかしこれは,はるかに大きな多様性を有している。例えば,“ピーク”又は“クレスト”のいずれかを押し,さらに指を振動させることによって,センサにより振動シグネチャを生成させることができる。これはプロセッサによりビブラートとして解釈される。さらに,表面の形状は,演奏者がトラフ(谷部),すなわちクレスト(山部)間の領域でも演奏できることを意味し,これにより半音と全音の間の微分音を作り出すことができる。入力面が連続することができるので,キーボードで滑らかなグリッサンド効果を作り出すことができる。これらの特定の効果は,12音階を弾く間隔を,ピッチ・ベンドを避けるように広くさせるか又はより多様なピッチ・ベンドを可能にするように狭くさせることができる,ソフトウェアアルゴリズムによっても制御することができる。
【0037】
他の可能性は,それが2次元であること以外は,3次元入力面と同様の方法で操作する入力面のさらなる部分を提供することである。これは,ユーザーが一方から他方へ容易に移動することができるか又は両方を同時に使用できるように,上又は下の3次元入力を提供してもよい。これは,操作者がより滑らかなグリッサンド効果(ポルタメントスライダー)を作り出すことができるように,プログラムすることができる。“palm effects slider”は,タブラのようなハンドドラムに似た方法で,演奏者に他の音を生成させることができ,又は手のひらを使ってプログラム可能な音の音色を制御することができる。波状又は波型のインターフェースの部分と平坦で長いスライドを可能にする部分との間のこの変化は,同一のインターフェースへの離散的入力と連続的な入力の能力を最大化する上で重要な要素である。これにより2つの間のシームレスな切り替えを可能にする。
【0038】
他の効果も可能である。例えば,3次元のキーボードのピークを,掴んだり,つまむことができる。これによりセンサからの特定の出力のシグネチャがもたらされる。これは掴んだピークを特定の方法すなわち,前,横,上又は下に押すことで操作する場合のケースである。もたらされるシグネチャは,プロセッサによって解釈することができ,あらかじめ設定された応答,例えばピアノの楽器に基づく音楽の出力から他の楽器,例えばオルガンへの切り替え,あるいは同一の楽器の2つのサンプリング音,例えばバイオリンにおけるレガートのサンプリング音からスタッカートのサンプリング音への急な切り替え(jump)を作り出す。
【0039】
インターフェースは,現在のキーボードが,強く又は優しく弾くかどうかに応じて,様々なサンプル音を使用するのと同じ方法で,様々な種類の音楽のサンプル音に対応する特定の入力ジェスチャを認識するアルゴリズムを含むことができる。しかしこの場合,より幅広い一連のジェスチャは,インターフェースに,様々な楽器と効果についての大量のシミュレーションを作らせることになる。
【0040】
本発明の原理は,音楽用キーボードだけでなく,接触により演奏する他の楽器,例えばギターやバイオリンのシミュレーションにも適用することができる。バイオリンやギターをシミュレートするために,楽器の4つ又は6つの弦に対応する4つ又は6つのピークを提供し,特定の音を生成するボーイング(bowing),プラッキング(plucking)又はストラミング(strumming)奏法を可能にする。同様に,ユーザーが,例えば標準的な弦楽器のフレットボードに対応する楽器の様々な部分で同じピークに接触することにより,様々なノートを選択することができる。
【0041】
他の効果として,インターフェースを作る材料の性質を選択的に与えることもできる。例えば,インターフェースがギターの形をしている場合,例えば,ビブラートの音を生成するために,ネックを柔軟にすることができる。
【0042】
インターフェースは,様々な方法でプログラムすることができる。1つの方法は,キーが押されるたびにMIDI信号を送るステップ,ノートの速度レベルとして初期圧力を使用するステップと,正確なピッチを制御するためにピッチ・ベンド機能を使用するステップを含む。このとき,信号を変更した場合,MIDIノートはそのままで,音量とピッチを連続的に調整することができる。これは,事実上ボリュームとピッチの“アフタータッチ(残触覚)”のようなものである。インターフェースをプログラムする他の方法は,それぞれの圧力値で新しいMIDIノートを送るステップ,ピッチレベルとすべてのノートの音量及び速さを変更するステップを含む。この方法は,より直感的なサウンドをもたらすが,音に質感をもたせることができる。この質感は,再現しようとする音の自然な波形に近似する周波数でMIDIノートを送ることによって,調整又は説明できる。インターフェースは,様々なプロトコルで機能することができ,MIDI又はこれら2つのアプローチに少しも限定されるものではない。
【0043】
もちろん,本発明は,新しい材料で既存の楽器の標準的な形状を再現するだけでなく,まったく新しい形状の楽器を作成するのに使用することもできる。新しい形状は,新しい機能及び機能を統合する新しい方法を可能にする。
【0044】
本発明は,楽器に対応するインターフェースに限定されるものではなく,他のタイプの様々なインターフェース,例えば英数字を入力するコンピュータのキーボード又は単語又は数値処理機能に適用することができる。また,インターフェース内にマウスと同様のポインティングデバイスを含めることもできる。これは,画面上のポインタを制御するために,例えば,掴んだり,前後,横方向に引っ張ることができるピークによって提供されてもよい。
【0045】
本発明のインターフェースは,一定量の訓練でのみ実現可能な高レベルの機能性を提供できるため,熟練度を必要とする他の製品に使用することができる。ソフトウェアを使用して,個々のジェスチャに対応する個々のユーザーの能力に合わせて調整することができるため,高齢者又は障害を持つ人々にとって非常に役に立ち得る。これらの触覚の質(触感の質)は,視覚障害者又は運動の制御がより制限されている人々のいずれかに十分に適している。
【0046】
本発明の1つの重要な側面は,ジェスチャをプログラムできるインターフェースとして使用できることである。言い換えれば,ユーザーは,ジェスチャを記録したプロセッサの設定を起動させることができ,その後特定のユニークな方法でインターフェースに触れ,続いて,入力面でジェスチャを行っている時に,プロセッサが所定の指令を起動するように,プロセッサに指示をする。これは,個人やソフトウェアプログラマーに,様々な遊びの選択を可能にし,所定のユーザーのニーズにぴったり合うように,所定のインターフェースをソフトウェアで調整することができる。前述したように,これは障害者向けの特定した用途だけでなく,より広範な市場への応用も可能である。
【0047】
用語”ジェスチャ”とは,ユーザーが指や手で入力面を触れたり押したりするパターンを示しており,入力面にわたって指や手を移動させるパターンを含む。このようにジェスチャは,特定の方法で入力面の一部を,指を使ってつまむ,こねる,押す又は引くなどを含むことができる。プロセッサは,特定の指令を実行することによって,特定のジェスチャに応答するようにプログラムすることができる。したがって,プロセッサに格納されたものと似ているジェスチャが実行されると,プロセッサは特定の方法で応答することができる。ジェスチャは,ユーザーによって,プロセッサに“プログラム”される。ユーザーは特定の“ジェスチャ”として所定の力シグネチャを,実質的に“記録”することができ,さらにこれは,特殊な指令を表すことができる。このとき,インターフェースは,基本的なプログラムの技術的な再コード化を介するのではなく,インターフェースの機能をユーザーの特定のニーズや習慣に合わせることができるように,プロセッサのメモリに,一連のジェスチャを単純に保存することで,ユーザーによる修正を受け入れやすくなる。例えば,上肢切断手術を受けた患者がこのような種類のインターフェースをマウスとして使用したい場合,上面へのある種類の入力により,画面上の矢印の動きを制御することができ,上面への他の種類の“ジェスチャ”は,クリックを記録するように容易にプログラムすることができる。
【0048】
最上面の3次元特性は,精密で不規則な形や大きさに合わせて成形することができる。例えば,補綴学の分野では現在,高度な関節の動き,様々なレベルの力で掴むことや,独立したジェスチャを行うことを可能にするロボットアームが存在する。これらの義肢は通常,電極によって制御される。電極は,残存筋組織の末端からの表面筋電信号(surface electromyographic signal)を送る。これらのソリューションは,しばしば直感的ではない動きの連続性を含んでおり,必ずしも完全に自然で,ユーザーの直感であることはない。本発明の場合には,柔軟材料で腕の残部に合わせて正確な形状に成形することができる。正確な適合性は,快適さと使いやすさのために重要であり,複雑な3次元入力面を含まない圧力検出ソリューションでは,これらの種類の用途に適さない。
【0049】
前述のように,3次元形状の入力面とセンサとの間の内部膜は,様々な異なる材料で作ることができ,様々な所望の効果を達成するために,様々な異なる形や硬さを含むことができる。より正確に圧力の場所を分散させるために,このような内部膜を使用することはよく知られている。しかし,このような技術は本発明の方法により,3次元入力面上の正確な位置における小さな変化を検出し,これらを2次元又は3次元のいずれかの基板面に存在するセンサに送るように,拡張し,発展させることができる。
【0050】
これは,表面への特殊な動き及び入力を可能にし,又は抑制する,一種の内部足場構造(internal scaffolding structures)とすることができる。いくつかの用途において,3次元内部柔軟層は比較的厚いため,特定の方向に動きを制限したい場合や柔軟材料を強化したい場合がある。このような場合,足場状又は内部の骨組みをメッシュ状に作成することができる。メッシュの正確な形状は,所望の強度,動きの制限,及び感知効果に応じて変化させることができる。柔軟材料内で内部メッシュを使用することは周知の技法だが,本発明のメッシュは,3次元形状の柔軟性インターフェースの動きの制限を強化し,同時に3次元入力面への力をセンサアレイに向けることに使用することもできる。
【0051】
足場は,特定の位置の圧力感度を特定することができ,それをセンサアレイに直接伝えることができ,これにより3次元入力面上のわずかな変動を非常に正確に読み取ることができる。いくつかの例において,このような足場システムは,インク形態の量子トンネリング複合材料のような抵抗性材料で作ることもでき,本発明の例として下部に固定したセンサアレイを必要としないことも可能である。内部の足場は,ラピッドプロトタイピングの手法(rapid prototyping techniques)を用いて作ることができ,個々のニーズに合わせた高精度なオーダーメイドのソリューションを可能にする。
【0052】
義足の制御システムの場合には,例えば,内部の足場は,特定の筋肉の末端から特定のセンサ上へ出力した圧力の位置を特定するのに使用することができる。これは,ユーザー,例えば手を欠損した人に,動きに関連する直感的なジェスチャを行わせることができ,さらに,このプログラムは,これらのジェスチャを認識し,適切な種類のデータをロボットアームに送るように調整することができる。
【0053】
本発明のインターフェースは,タッチスクリーンやタッチパッドの連続的な入力制御と共に,キーボードやテンキーパッドの反応触覚フィードバックを提供する。さらにこれは,局所的な圧力感度,所望の入力範囲を可能にする3次元形状の入力面,及びまさにそこで必要とされている力の感度を正確に特定するために必要な内部足場システムを含む。これらのインターフェースのカテゴリを1つの新しい類型論にまとめることの可能性は,計り知れないものである。
【図面の簡単な説明】
【0054】
添付図面を参照して,実施例により,本発明をさらに詳細に説明する。
【図1】図1は,本発明の汎用インターフェースの構成の1つの実施可能な形態の断面図であり,3次元形状の入力面と,3次元形状の柔軟な内部層と,2次元センサアレイとを統合している。
【図2】図2は,図1に基づいて変化した形態の他の断面図であり,いくつかの例において,センサを3次元形状(又は3次元アレイに等しい複数の2次元面)にも配置できることを強調している。
【図3】図3は,他の形態のさらなる断面図であり,入力面が全体を3次元状に囲むことができること,及びセンサを3次元オブジェクトの複数面に配置することができることを示している。
【図4】図4は,本発明の例を示す断面図であり,入力面が凹面であり,それが柔軟な力拡散層で囲まれ,さらに3次元圧力センサアレイにも囲まれていることを示している。
【図5】図5は,センサを複雑な3次元状にも配置できることを示す断面図であり,この中で他の動きの自由度を提供し,すなわち,押し引きに同時に応答する力覚センサを作り出している。
【図6】図6は,図5と同じ構成を示す断面図であり,より正確で詳細な測定値を得るように,特定の地点から複数のセンサに加えられる力の分散を増加させる目的とともに,複数の方向に操作するためのより堅牢なフレームワークを作る目的で,弾性層の内側に作られた内部足場が加えられている。
【図7】図7は,本発明の1つの繰り返し可能なシステム全体の概略分解図である。
【図8】図8は,本発明に係る,音楽用キーボードの入力面の1つの実施可能な構成図である。
【図9】図9は,図8の表面の一部の詳細図である。
【図10】図10は,本発明の例である図8のキーボードの一般的な操作手順を示すフローダイアグラムである。
【図11】図11は,入力キーボードのような触覚インターフェースを示しおり,これは,英数字の入力及び/又は単語や数値を処理するのに使用できるだけでなく,カーソルトラッキングを制御するのに使用することもできるが,このインターフェースから他のコンピュータ関連の機能を除くこともできる。
【図12】
【発明を実施するための形態】
【0055】
初めに図1を参照すると,本発明の汎用インターフェースの構成の1つの実施可能な形態の断面図が示されている。図には,ユーザーと3次元形状の入力面2との間の接点1が示されている。3次元形状の入力面2と2次元に配置したセンサアレイ4との間には,入力面の外形とセンサアレイ4を適合させる3次元形状の内部柔軟層3がある。センサアレイ4は,硬質支持面5に位置している。さらに,接点1からセンサアレイ4への力の拡散6の方向も示されている。
【0056】
図2を参照すると,センサアレイ4を,3次元アレイに等しい複雑な2次元面上に配置できることが理解される。硬質支持面5は,センサアレイ4の形状を満足するように形成され,結果として,弾性層3はより複雑な3次元特性を帯びる。3次元入力面2と3次元センサアレイ4との空間関係は,特定の用途に応じて,様々な種類の力シグネチャの入力及びユーザーのジェスチャの範囲及び精度を最大化するように最適化することができる。
【0057】
図3は,本発明の構成の実施可能な他の配置を示す断面図である。この図において,3次元形状の入力面2は,3次元形状の内部柔軟層3,3次元センサアレイ4,及び硬質支持面5を含む構成要素を全体に包み込んでいる。この配置は,入力面2への圧迫及び伸張による入力,及びテーブルのような外部の硬質表面上のインターフェース全体への圧力を含む,ユーザーの様々な操作形態を可能にする。3次元形状の入力面2は,もちろん,1つの連続した形状又はいくつかの接続面とすることができ,特定の用途の構造又は機能に求められるような,うねり,突起,凹部,隆起部,及び他の複雑な形状などの細かなテクスチャを有することができる。
【0058】
図4は,本発明のインターフェースの変化型の断面図を示している。ここで,3次元形状の入力面2は,他の図面に対して反転した構成で存在しており,3次元形状の内部柔軟層3の内側に位置し,3次元形状の内部柔軟層3は順に,3次元センサアレイ4,3次元的に配置した硬質支持面5の内側に位置している。この配置は,ユーザーと3次元形状の入力面2との間の接点の表面部を拡げることができる。これにより動きのさらなる微妙な位置合わせ(registration)を可能にする。この配置において,3次元形状の内部柔軟層3は,屈曲及び圧縮するように材料に小さな余地が存在するので,他の配置の場合よりもより柔らかく,より多くのゲル状の材料から作成することも時には必要となる。
【0059】
図5を参照すると,3次元センサアレイ4を反転した3次元形状で構成することもできることが理解できる。これは重要な付加価値,つまり,本発明を使用して6自由度圧力感知装置を作成する1つの方法がもたらされる。3次元形状の入力面2を上方に引っ張ることができ,この力は,3次元形状の内部柔軟層3を通して,複雑な形状の硬質支持面5に配置した3次元センサアレイ4に伝わる。
【0060】
図6において,断面図は,図5と同様の配置を示し,内部足場システム7が加えられている。内部足場は,3次元形状の内部柔軟層3の内側に設置することができ,より正確で詳細な測定値を得るために,特定の地点から複数のセンサへの力の分散を増加させることができるとともに,複数の方向への操作のために,より堅牢なフレームワークを作り出すこともできる。これは,例えば引張力が3次元センサアレイ4の適切に反転させたセンサに適切に伝えられ,材料を押したときに作用する力拡散特性が,引っ張る場合でもその正確性を低下させないことを確実にする。内部足場システム7は,この配置で機能するようにある程度の柔軟性を有している必要があるが,3次元形状の内部柔軟層3よりも硬質で堅固である必要もある。これらの配置でうまく働く材料は,ナイロン又は高ショア硬さ型のシリコンである。ある例において,特により完全で柔軟な情報を豊富に得る感圧性インターフェースが望まれる場合には,力センサ及び抵抗性材料を,足場に組み込むか又は足場内にカプセル化することができる。
【0061】
図7は,本発明に係る,汎用インターフェースの構成を示す概略分解図である。これは,3次元形状の入力面12を有する柔軟弾性材料,例えばシリコンゴムからなる3次元形状の柔軟層13を含む。本体は,剛体面15に支えられたセンサアレイ14に基礎を置く平面性底面19を有している。センサアレイ14の各々は,感圧性であり,掛かる圧力に応じて出力を生成することができる。様々なセンサからの出力は,リード線を介してマイクロプロセッサ16に導かれる。マイクロプロセッサは,ある構成要素,この場合ラウドスピーカを駆動させる出力を生成するために,センサアレイ14からのいくつかの信号の組み合せに応答するアルゴリズムを含む。複数配置された特定の小さなマイクロプロセッサ,例えばアルデュイノ(Arduino)プロセッサは,まず初めに,力センサからのデータを,コンピュータのようなより高度なプロセッサにより入力として読み取ることができる形式に解釈する。その後,コンピュータは,特定のセンサ上の特定の力の基本的な数値データを意味のある出力に変換するコードを実行することができる。そのような変換は,様々なソフトウェアのソリューションによって実現することができ,さらに,アプリケーションの性質や目的の出力に応じて,変換することができる。例えばデータは,プロセッシングのようなJavaベースの言語,又はオープンフレームワークのようなC++ベースの言語などで特定の出力に解釈させることができる。
【0062】
図8を参照すると,3次元形状の入力面12の小断面の簡略図が示されており,柔軟弾性体13の起伏のある表面12の先端にかかる圧力11が,本体を通って,図7で見られるように,ずらりと並んだ力覚センサに接触する平面19に伝わることが理解される。模式的に矢印で示すように,力が広がっているため,3次元形状の入力面12上にかけられた力を感知する平面の領域は,上面にかけられた圧力の領域よりも大きくなっている。マイクロプロセッサ16(図7)は,アレイセンサが提供する信号を検出し,ソフトウェアのアルゴリズムは,入力の正確な位置を復元するために,各センサの相対的な力を解釈することができる。いったん入力データが復元されると,ソフトウェアは,同時入力の集合を追跡することができ,プログラムの以前のループからの入力と継続している各入力を比較することができるソフトウェア“オブジェクト”の集合を作成する。アプリケーションの性質や入力間の所望の離散性又は連続性のレベルに応じて,アルゴリズムは,所定の入力を以前のループからのデータと連続するものとして解釈するプログラムに必要とされるか,又は代わりに新しい入力を構成するものとして解釈するプログラムに必要とされる連続性のレベルを決定するように設定される。これらの比較マーカ(comparative marker)は,入力解釈ソフトウェアオブジェクト(input−interpreting software objects)に最適に組み込まれている。例えば,最初にセンサアレイからのデータを解釈するソフトウェアオブジェクトは,多変数を同時に追跡する必要があり,これには,復元した入力位置,ソフトウェアの以前のループから復元した入力位置,現在の入力位置での圧力,以前の入力位置での圧力,他の同時入力に関連するこの入力のプログラムレジスタにおける順番,及び特定の所望の効果における入力“範囲”,すなわち特定の入力位置の読み込みに使用されるセンサの数を含む。明らかに,オブジェクトは,集合を同時に解釈することができるような方法でコード化する必要がある。ループが実行されるたびに,プログラムは,以前の入力のクラスタと現在の各入力クラスタを比較することができる。このとき,いったんデータがそのレベルで評価されると,入力データオブジェクトは,聴覚的,視覚的又は運動に基づくものであろうと何か他のものに基づくものであろうと,特定の制御効果をトリガすることができる。例えば,図9の例では,入力データのオブジェクトは,音符に応じてスピーカ17へ信号を提供するMIDIノートオン及びオフを送信するように指示することができる。ループ間のデータの変化は,例えば,所望の音及びコードに組み込まれた比較ステートメント(comparative statements)に応じて,新しいノートを送るのに使用するか,又は既存のノートを保持するためか,音量を上げるためか,若しくは音程を変更するために使用することができる。簡単に言えば,プログラムは,音符の音色やピッチが,ユーザーによって押された起伏のある面12上の位置に依存するように記述することができる。生成されたノートの音量は,センサアレイ14によって感知した圧力の大きさに合わせて設定することができる。他の用途の目的のためにこれらの技法を変形できることは,制御インターフェースの熟練したプログラマには明らかであろう。
【0063】
キーボードに使用される材料は,次のとおりである。
本体はシリコンゴム,特にNotcutt Ltd(Homewood Farm, Newark Lane, Ripley, Surrey GU23 6DJ)社製のSilskin10で作られる。これは,ショア硬さを00〜1度の材料を製造するために,Notcutt Ltd社からも入手可能な消音性シリコン添加剤(deadener silicone additive)が添加されている。
センサアレイ4は,Interlink Electronics社製FSRストリップで形成される。
プロセッサ16は,Tinker社製Arduinoマイクロプロセッサである。
【0064】
図12のフロー図は,上記のインターフェース操作(ステップ1〜4A)の手順を示している。
【0065】
1つの態様において,ピークは標準的なキーボードの鍵盤と一致させることができる。しかし,本発明は頂点間のトラフ(谷部)を押すこともできる。これは,センサの様々な組み合わせによって検出され,様々な音程,例えばデータを解釈するアルゴリズムのソフトウェアの性質に応じて,微分音の効果,又は他の効果を生成する。生成できる他の効果は,既に記載しており,ここでは繰り返さないことにする。
【0066】
図9は,白鍵(ピーク26)だけでなく,黒鍵(ピーク25)を示す本発明のキーボードを示している。さらに,タッチセンサ面21,22及び23(又は,”スライダー”)が,キーボードの上下に配置されており,それに沿ってユーザーの指又は手のひらをスライドさせると,グリッサンド効果がもたらされる。21はポルタメントスライダであり,22はさらに低いポルタメントスライダであり,23は手のひらによるスライダー効果である。ぎざぎざ部24は,キー25,26がポルタメントスライダ21に交わる場所に位置しており,キーボードのメインエリア(キー25,26)とスライダー21の間でスムーズに指が移動する(すなわち,障害物に遭遇しない)平滑な移行面を提供している。他の方法によって,1つの目標となる緻密な効果やトランジションに応じて,特定のスライダー面を作成することもできる。
【0067】
図10は,図9のキーボードの一部だけを示し,特に白鍵と黒鍵間のピーク27とトラフ(troughs)28を示している。
【0068】
図9に戻ると,ピークは,ビブラート効果を生成するために指で発振できるか又は,標準キーボードでは達成できない音を生成するために握ったりつまんだりすることがきることが理解できる。また,材料の柔らかさは,表面を押しながら,指を移動させたり,材料に跨って指をスライドすることができることを意味し,又は内部層の柔軟性を利用して,材料を押すことができることを意味しており,いずれにせよ,様々な読み込みを基盤となるセンサアレイに伝えることになる。この技術を可能にすることは重要である。なぜなら,ビブラートとトレモロの効果を同時に使用することができることを意味するからである。
【0069】
図11を参照すると,各手用に2つの部分に分割した,コンピュータのキーボードと同等のものが示されている。2つのキーボード部の上部面には,英数字キー及びファンクションキーに対応する隆起部20を有している。隆起部20は,ユーザーが感じるものであるため,触覚フィードバックを提供することができる。キーボードは,図9に示されるものと同様の構造を有しているため,キーを押したときに,その力は,柔軟弾性材を通してセンサアレイ(図示していない)に伝えられる。上部面への下方圧力によってトリガされるセンサの組み合わせから,どのキーが押されているかを区別でき,マイクロプロセッサによりこの検出が行われる。そして,押されたキーに対応した英数字を画面上に表示させ,対応する数字をメモリに格納させる出力信号を生成する。
【0070】
図11は,ユーザーの右手と左手の形状に対応する,キーボードの2つの部分を示している。領域34は,ユーザーが自分の手のひらを配置する場所に対応している。画面上のポインタ(カーソル)は,ユーザーがこの領域34に圧力をかけることで,移動させることができる。圧力は,センサ信号のシグネチャによって検出されるように,センサアレイ及び領域34のユーザーによってもたらされる力の向きに応じて移動するカーソルによって検出される。キーボードを作るために使用される材料が柔らかいため,領域34のユーザーによってもたらされる圧力の様々な向きに対応する様々な信号は,手のひらが領域34の表面を横断しないにもかかわらず,センサによって直接検出することができる。したがって,手のひらによって,画面上のカーソルを指揮するマウス機能を制御することができる。
【0071】
また,例えばピーク32を提供することもできる。これを親指と人差し指でつまむことで,画面上の機能の実行,例えば,画面に表示されたオブジェクトを選択したり,異なる位置までドラッグしたりすることができる。
【0072】
ボタンを押すことによってだけではなく,個々のキーと関連して行われる特定のジェスチャによっても,制御機能,シフト機能及び指令機能を提供することが可能である。
【0073】
これらのほんの少しの詳細な例は,本発明の範囲に含まれる適用範囲を示している。インターフェースデザインの分野で知識のある人は,本発明によって幅広い応用例が利用可能になることが理解できるだろう。一例を与えるために,本発明は,3次元入力面に直接触れるユーザーとの関係で説明したが,機械化された環境,例えばロボット環境で活用している同様のインターフェースによって特定のアプリケーションを構築することができる。この場合,3次元力入力デバイスを使用して,相対的な重み分布を感知することができる,より高感度な可動ジョイントを作り出すことができ,また機械部品に合わせて形成することができる。これらのアプリケーションにおいて,図6に示される足場システムは,軽量で耐久性を維持しながら,特定の方向の動きと感度を有効にし(活用でき),他の方向の動きを制限できるため,特に便利なツールとして提供される。したがって,ロボットへの適用範囲は,本出願の範囲に包含される。
【特許請求の範囲】
【請求項1】
入力面を有し,プロセッサにデータを入力するインターフェースであって,
前記入力面に加えられた力に反応するセンサ又はセンサアレイと,
前記センサ又は前記センサアレイを覆い,前記入力面に加えられた力を前記センサに伝えることができる柔軟弾性材の層とを含み,
前記インターフェースの前記入力面は,少なくとも1つの比較的隆起した領域及び少なくとも1つの比較的くぼんだ領域からなる3次元形状を有し,
前記センサ又は前記センサアレイは,前記入力面に加えられた力の強さ及び力が加えられた前記入力面の位置に関するデータを含む入力データを,前記プロセッサに提供するように構成される,
インターフェース。
【請求項2】
請求項1に記載のインターフェースであって,前記柔軟弾性材の層は,前記入力面の領域に加えられた力を,前記センサアレイの幅広い領域にわたって拡散させ,前記アレイ内の複数のセンサに前記力を記録させる,インターフェース。
【請求項3】
請求項1又は2に記載のインターフェースであって,3次元形状の前記入力面は,前記センサアレイの全ての面を取り囲んでいる,インターフェース。
【請求項4】
請求項1から3のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,凸面又は凹面であるか,若しくは3次元形状を形成する一連の凹凸要素で構成されている,インターフェース。
【請求項5】
請求項1から4のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面が反転させられ,前記柔軟弾性材の層及び前記センサアレイが外側に位置する,インターフェース。
【請求項6】
請求項1から5のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,3次元形状を形成するように互いに結合した一連の2次元形状で構成されている,インターフェース
【請求項7】
請求項1から6のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,滑らかで連続的な3次元の面で構成された形状を有する,インターフェース。
【請求項8】
請求項1から7のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,複数の比較的隆起した領域と複数の比較的くぼんだ領域で構成される形状を有する,インターフェース。
【請求項9】
請求項1から8のいずれか1項に記載のインターフェースであって,少なくとも1つの前記比較的隆起した領域は,少なくとも1つの前記比較的くぼんだ領域から少なくとも1mm,例えば少なくとも3mm,少なくとも8mmといった間隔をあけて上部に位置する,インターフェース。
【請求項10】
請求項1から9のいずれか1項に記載のインターフェースであって,前記柔軟弾性材の層の厚さ及び前記センサ間の間隔は,前記入力面のいずれかの位置に加えられた力が少なくとも1つの前記センサ及び必要に応じて少なくとも2つの前記センサによって検出されるように存在する,インターフェース。
【請求項11】
請求項1から10のいずれか1項に記載のインターフェースであって,前記柔軟弾性材の層は,少なくとも0.3cm,例えば少なくとも0.5cm,少なくとも1cmといった最少限の厚さを有する,インターフェース。
【請求項12】
請求項1から11のいずれか1項に記載のインターフェースであって,前記柔軟弾性材の層は,00−001〜10度,例えば00−005〜1度又は00−01〜00−1度のショア硬さを有する,インターフェース。
【請求項13】
請求項1から12のいずれか1項に記載のインターフェースであって,3次元形状の前記柔軟弾性材の層は,その内部に埋め込まれた1つ以上の硬体又は軟体を含む,インターフェース。
【請求項14】
請求項1から13のいずれか1項に記載のインターフェースであって,3次元形状の前記柔軟弾性材の層は,その内部に埋め込まれたメッシュ構造の1つ以上の硬体又は軟体を含み,前記硬体又は前記軟体は,前記柔軟弾性材の層の特定の方向及び経路における動きを制限することができる,インターフェース。
【請求項15】
請求項1から14のいずれか1項に記載のインターフェースであって,3次元形状の前記柔軟弾性材の層は,メッシュ構造の1つ以上の硬体又は軟体を含み,前記メッシュ構造は,3次元形状の前記入力面の特定の地点からの圧力を,前記アレイセンサの特定のセンサに伝えることができる,インターフェース。
【請求項16】
請求項1から15のいずれか1項に記載のインターフェースであって,前記インターフェースの前記入力面は,前記柔軟弾性材の層の表面である,インターフェース。
【請求項17】
請求項1から請求項6のいずれか1項に記載のインターフェースであって,前記入力面は,前記柔軟弾性材の層よりも硬いか又は柔らかい材料,例えばエラストマー材料から構成される,インターフェース。
【請求項18】
請求項1から17のいずれか1項に記載のインターフェースであって,
前記センサアレイの各センサは,前記入力面に加えられた力及びそれによって感知した力に応じて,その入力データを前記プロセッサに提供するように構成されており,
前記センサアレイは,加えられた力の前記入力面上の位置のデータを,ゼロ以外の入力データを提供する前記センサアレイ中のセンサに基づいて決定する前記プロセッサに提供する,インターフェース。
【請求項19】
請求項1から18のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,複数の比較的隆起した領域及び複数の比較的くぼんだ領域から構成される形状を有する,インターフェース。
【請求項20】
請求項1から19のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,キーボード又は接触して演奏する他の楽器,例えばギターといった楽器の形状である,インターフェース。
【請求項21】
請求項1から20のいずれか1項に記載のインターフェースであって,前記センサは,感圧性であり,例えば量子トンネル複合材料で形成されるか,又は力覚抵抗器,圧電体,歪み計,又は光学式力センサである,インターフェース。
【請求項22】
1つ以上のアルゴリズムに従って前記センサからの信号を処理する前記プロセッサを組み合せた請求項1から21のいずれか1項に記載のインターフェースであって,
音を生成するスピーカを駆動させる信号の出力か,
英数字又は単語若しくは数字の処理機能を有する信号か,又は,
実空間や仮想空間におけるオブジェクトの遠隔運動若しくは遠隔操作,例えば車両の動き,遠隔ロボットデバイス又は器械,手術器具を提供する信号,
を供給する,インターフェース。
【請求項23】
請求項13に記載のインターフェースであって,前記プロセッサは,前記入力面に加えられる力の特定の組み合わせに応じて,又は前記入力面に加えられる力の特定の変化に応じて,特定の前記プロセッサの出力信号を生成するように,ユーザーによってプログラム化される,インターフェース。
【請求項24】
請求項1から請求項14のいずれかに記載のインターフェースを操作することによってプロセッサからのプロセッサ信号を生成する方法であって,
1つの力又は複数の力の組み合せを,前記入力面の選択した領域に加えるステップと,
これにより前記インターフェースの1つ以上のセンサに,前記プロセッサへの入力データを生成させるステップとを含み,
前記入力データは前記入力面に加えられた力の強さに関するデータ,及び前記入力面に加えられた力の位置に関するデータを含み,
前記プロセッサは,前記センサ又は前記センサアレイからの信号に応じて,前記プロセッサに格納されたアルゴリズムに従って信号を生成する,
方法。
【請求項1】
入力面を有し,プロセッサにデータを入力するインターフェースであって,
前記入力面に加えられた力に反応するセンサ又はセンサアレイと,
前記センサ又は前記センサアレイを覆い,前記入力面に加えられた力を前記センサに伝えることができる柔軟弾性材の層とを含み,
前記インターフェースの前記入力面は,少なくとも1つの比較的隆起した領域及び少なくとも1つの比較的くぼんだ領域からなる3次元形状を有し,
前記センサ又は前記センサアレイは,前記入力面に加えられた力の強さ及び力が加えられた前記入力面の位置に関するデータを含む入力データを,前記プロセッサに提供するように構成される,
インターフェース。
【請求項2】
請求項1に記載のインターフェースであって,前記柔軟弾性材の層は,前記入力面の領域に加えられた力を,前記センサアレイの幅広い領域にわたって拡散させ,前記アレイ内の複数のセンサに前記力を記録させる,インターフェース。
【請求項3】
請求項1又は2に記載のインターフェースであって,3次元形状の前記入力面は,前記センサアレイの全ての面を取り囲んでいる,インターフェース。
【請求項4】
請求項1から3のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,凸面又は凹面であるか,若しくは3次元形状を形成する一連の凹凸要素で構成されている,インターフェース。
【請求項5】
請求項1から4のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面が反転させられ,前記柔軟弾性材の層及び前記センサアレイが外側に位置する,インターフェース。
【請求項6】
請求項1から5のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,3次元形状を形成するように互いに結合した一連の2次元形状で構成されている,インターフェース
【請求項7】
請求項1から6のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,滑らかで連続的な3次元の面で構成された形状を有する,インターフェース。
【請求項8】
請求項1から7のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,複数の比較的隆起した領域と複数の比較的くぼんだ領域で構成される形状を有する,インターフェース。
【請求項9】
請求項1から8のいずれか1項に記載のインターフェースであって,少なくとも1つの前記比較的隆起した領域は,少なくとも1つの前記比較的くぼんだ領域から少なくとも1mm,例えば少なくとも3mm,少なくとも8mmといった間隔をあけて上部に位置する,インターフェース。
【請求項10】
請求項1から9のいずれか1項に記載のインターフェースであって,前記柔軟弾性材の層の厚さ及び前記センサ間の間隔は,前記入力面のいずれかの位置に加えられた力が少なくとも1つの前記センサ及び必要に応じて少なくとも2つの前記センサによって検出されるように存在する,インターフェース。
【請求項11】
請求項1から10のいずれか1項に記載のインターフェースであって,前記柔軟弾性材の層は,少なくとも0.3cm,例えば少なくとも0.5cm,少なくとも1cmといった最少限の厚さを有する,インターフェース。
【請求項12】
請求項1から11のいずれか1項に記載のインターフェースであって,前記柔軟弾性材の層は,00−001〜10度,例えば00−005〜1度又は00−01〜00−1度のショア硬さを有する,インターフェース。
【請求項13】
請求項1から12のいずれか1項に記載のインターフェースであって,3次元形状の前記柔軟弾性材の層は,その内部に埋め込まれた1つ以上の硬体又は軟体を含む,インターフェース。
【請求項14】
請求項1から13のいずれか1項に記載のインターフェースであって,3次元形状の前記柔軟弾性材の層は,その内部に埋め込まれたメッシュ構造の1つ以上の硬体又は軟体を含み,前記硬体又は前記軟体は,前記柔軟弾性材の層の特定の方向及び経路における動きを制限することができる,インターフェース。
【請求項15】
請求項1から14のいずれか1項に記載のインターフェースであって,3次元形状の前記柔軟弾性材の層は,メッシュ構造の1つ以上の硬体又は軟体を含み,前記メッシュ構造は,3次元形状の前記入力面の特定の地点からの圧力を,前記アレイセンサの特定のセンサに伝えることができる,インターフェース。
【請求項16】
請求項1から15のいずれか1項に記載のインターフェースであって,前記インターフェースの前記入力面は,前記柔軟弾性材の層の表面である,インターフェース。
【請求項17】
請求項1から請求項6のいずれか1項に記載のインターフェースであって,前記入力面は,前記柔軟弾性材の層よりも硬いか又は柔らかい材料,例えばエラストマー材料から構成される,インターフェース。
【請求項18】
請求項1から17のいずれか1項に記載のインターフェースであって,
前記センサアレイの各センサは,前記入力面に加えられた力及びそれによって感知した力に応じて,その入力データを前記プロセッサに提供するように構成されており,
前記センサアレイは,加えられた力の前記入力面上の位置のデータを,ゼロ以外の入力データを提供する前記センサアレイ中のセンサに基づいて決定する前記プロセッサに提供する,インターフェース。
【請求項19】
請求項1から18のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,複数の比較的隆起した領域及び複数の比較的くぼんだ領域から構成される形状を有する,インターフェース。
【請求項20】
請求項1から19のいずれか1項に記載のインターフェースであって,3次元形状の前記入力面は,キーボード又は接触して演奏する他の楽器,例えばギターといった楽器の形状である,インターフェース。
【請求項21】
請求項1から20のいずれか1項に記載のインターフェースであって,前記センサは,感圧性であり,例えば量子トンネル複合材料で形成されるか,又は力覚抵抗器,圧電体,歪み計,又は光学式力センサである,インターフェース。
【請求項22】
1つ以上のアルゴリズムに従って前記センサからの信号を処理する前記プロセッサを組み合せた請求項1から21のいずれか1項に記載のインターフェースであって,
音を生成するスピーカを駆動させる信号の出力か,
英数字又は単語若しくは数字の処理機能を有する信号か,又は,
実空間や仮想空間におけるオブジェクトの遠隔運動若しくは遠隔操作,例えば車両の動き,遠隔ロボットデバイス又は器械,手術器具を提供する信号,
を供給する,インターフェース。
【請求項23】
請求項13に記載のインターフェースであって,前記プロセッサは,前記入力面に加えられる力の特定の組み合わせに応じて,又は前記入力面に加えられる力の特定の変化に応じて,特定の前記プロセッサの出力信号を生成するように,ユーザーによってプログラム化される,インターフェース。
【請求項24】
請求項1から請求項14のいずれかに記載のインターフェースを操作することによってプロセッサからのプロセッサ信号を生成する方法であって,
1つの力又は複数の力の組み合せを,前記入力面の選択した領域に加えるステップと,
これにより前記インターフェースの1つ以上のセンサに,前記プロセッサへの入力データを生成させるステップとを含み,
前記入力データは前記入力面に加えられた力の強さに関するデータ,及び前記入力面に加えられた力の位置に関するデータを含み,
前記プロセッサは,前記センサ又は前記センサアレイからの信号に応じて,前記プロセッサに格納されたアルゴリズムに従って信号を生成する,
方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公表番号】特表2012−532360(P2012−532360A)
【公表日】平成24年12月13日(2012.12.13)
【国際特許分類】
【出願番号】特願2012−516853(P2012−516853)
【出願日】平成22年6月30日(2010.6.30)
【国際出願番号】PCT/GB2010/001267
【国際公開番号】WO2011/001145
【国際公開日】平成23年1月6日(2011.1.6)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
【出願人】(312006758)ラムド リミテッド (1)
【氏名又は名称原語表記】LAMBDE Limited
【Fターム(参考)】
【公表日】平成24年12月13日(2012.12.13)
【国際特許分類】
【出願日】平成22年6月30日(2010.6.30)
【国際出願番号】PCT/GB2010/001267
【国際公開番号】WO2011/001145
【国際公開日】平成23年1月6日(2011.1.6)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
【出願人】(312006758)ラムド リミテッド (1)
【氏名又は名称原語表記】LAMBDE Limited
【Fターム(参考)】
[ Back to top ]