多点接触の触知スクリーン上の仮想オブジェクトの操作によるコントローラー
【課題】多点接触タッチスクリーンを提供する。
【解決手段】仮想オブジェクトを操作するためにタッチスクリーンを用いて、音楽ソフトウェアプログラムのコントロールを可能とする人−機械インターフェース、及び、触知情報を感知する多点接触の２次元センサーとこの触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスを用いて、コンピューター装置をコントロールする方法は、透明な触知センサーの下に位置するスクリーン上に複数のグラフィカルオブジェクトを生成する段階を有し、該グラフィカルオブジェクトそれぞれが少なくとも一つの所定の処理法則と結び付けられている。上記センサーは各感知段階中に複数の触知情報を配信し、それにより該触知情報それぞれが、複数の上記グラフィカルオブジェクトの中の一つの位置との相対的な位置により定められる所定の処理を受ける。
【解決手段】仮想オブジェクトを操作するためにタッチスクリーンを用いて、音楽ソフトウェアプログラムのコントロールを可能とする人−機械インターフェース、及び、触知情報を感知する多点接触の２次元センサーとこの触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスを用いて、コンピューター装置をコントロールする方法は、透明な触知センサーの下に位置するスクリーン上に複数のグラフィカルオブジェクトを生成する段階を有し、該グラフィカルオブジェクトそれぞれが少なくとも一つの所定の処理法則と結び付けられている。上記センサーは各感知段階中に複数の触知情報を配信し、それにより該触知情報それぞれが、複数の上記グラフィカルオブジェクトの中の一つの位置との相対的な位置により定められる所定の処理を受ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽コントローラーの分野に関する。
本発明は、特に人―機械インターフェースに関し、例えば、仮想オブジェクトの操作を用いた多点接触の触知（タッチ）スクリーンにより、音楽ソフトウェア又はコントローラーのコントロールを可能にするインターフェースに関する。
【背景技術】
【０００２】
先行技術には、すでにマニュアルタイプのソフトウェアコントローラーがある。これらのソフトウェアコントローラーとしては、例えばユーザーにより端末から操作されるポテンショメーターがある。このポテンショメーターは、音楽ソフトウェアの種々のファンクションをコントロールする。このような端末は、例えば特許文献１の主題とされている。
【０００３】
このタイプのコントローラーの問題は、あまり人間工学的でなく、ソフトウェアの操作が効率的でないことにある。
本発明が提案する解決方法は、ソフトウェアファンクション（機能）の操作及びアクセスのためのタッチスクリーンを用いることである。
【０００４】
タッチコントローラーの分野において、すでに先行技術には、特許文献２又は特許文献３があり、マトリックスセンサー上にタッチコントローラーを備えた音楽コントローラーが開示されている。これらの上記特許文献に記載の技術によれば、多点接触タイプのタッチコントロールが可能であり、ソフトウェアのコントロールに対してすべての指が介在することができる。
【０００５】
しかしながら、これらの上記文献には、マトリックスセンサーそれぞれが不透明タイプであるために、操作に対する視覚的リターンが提案されていない。
【０００６】
また、先行技術には、特許文献４（Ｌｅｓｔｅｒ Ｆｒａｎｃｋ Ｌｕｄｗｉｇ）“Ｔａｃｔｉｌｅ，Ｖｉｓｕａｌ ａｎｄ Ａｒｒａｙ Ｃｏｎｔｒｏｌｌｅｒｓ ｆｏｒ ｅａｌ−Ｔｉｍｅ Ｃｏｎｔｒｏｌ ｏｆ Ｍｕｓｉｃ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｍｉｘｉｎｇ，Ｖｉｄｅｏ ａｎｄ Ｌｉｇｈｔｉｎｇ”があり、プレゼンテーション、録音中において、タッチセンサー、圧力センサーのマトリックス、光変換器のマトリックス、化学センサーのマトリックス、体感センサーのマトリックス、及びデジタル処理から導かれるイメージを用いる複合環境において、リアルタイムに信号処理、シンセサイザー、楽器、ＭＩＤＩプロセッサー、光、ビデオ、及び特別効果を、コントロールするシステム及び方法が開示されている。特許文献４に記載の発明は、タッチコントロールのインターフェースとして、タッチパッド、圧力センサーのマトリックス及び体感センサーのマトリックスを、光変換器のようなビデオカメラ及び光センサーのマトリックスを、更に化学センサーのマトリックス、及びコンピューター処理又はデジタルシミュレーションからデジタルイメージを生成する他の装置のマトリックスを備えている。タッチ変換器は、従来からある楽器の鍵盤の上に配置されたり、既存の楽器に付加されたり、また新しい楽器又は新しいコントローラーを作り出すために用いることができる。化学センサーのマトリックス、及びコンピューター処理又はデジタルシミュレーションからデジタルイメージを生成する他の機器のマトリックスは、環境条件又は自己組織化プロセスの振る舞いのような自然物理現象を、観察したり、シミュレートするために用いることができる。スカラー量又はベクトル量のマトリックスは、パターンリミット、（幾何学的中心又は重み付けされたモーメント等の）リミット内のピクセルの幾何学的性質、及び（回転方向、セグメント化された領域、パターン分類、構文、文法、シークエンス等の）外部のビデオ及び視覚機器をコントロールするためのコントロール信号を作り出したり、アルゴリズムを作り出すために用いられるより高いレベルから導かれる情報を抽出するために処理される。またこの発明は、ＭＩＤＩ及び非ＭＩＤＩのコントロール信号が供給されるようにもできる。
【０００７】
しかし、この特許文献４には、操作への視覚的リターンが提案されていない。この特許文献４は、命令法則についても記載されていない。更に、特許文献４には、複数の指がセンサー上に直交して位置するように置かれた場合に生じるマスキング現象への技術的解決法が提案されていない。これらの問題の解決は、多点接触タッチセンサーを実現するためには不可欠である。
【０００８】
更に、先行技術には、特許文献５（Ｙａｍａｈａ）“Ｍｕｓｉｃａｌ Ｔｏｎｅ Ｇｅｎｅｒａｔｉｎｇ Ａｐｐａｒａｔｕｓ”があり、音楽音を生成する機器が開示されている。この機器は、楽器の位置情報（ＰＳ）を平面座標の値として生成するデバイスを備えている。この位置情報（ＰＳ）は、メモリーデバイスに記憶されるか、又はマニュアル操作による選択的方法で決定される。またこの機器は、位置情報（ＰＳ）を、音楽音をコントロールするパラメーター情報（ＰＤ）へ変換するデバイスを備えている。このＰＤコントロール情報は、音楽音（Ｓ１１，Ｓ１２及びＳ１３）の音源信号をコントロールして、舞台上に配置された複数の楽器の位置に対応する音場を生成する。これは、操作者に舞台上の複数の楽器の位置を検証させるので、本当のライブパフォーマンス中にいる感覚を与える。
【０００９】
この特許文献５には、多点接触が記載されているが、一軸上の２点のみであり、デカルト座標上の多点接触は記載されていない。特許文献５に記載の機器は、多点を選択した時には直線状にのみ機能して、（軌跡を追うような）トラッキングはしない。また、特許文献５に記載の機器は、各楽器に特有の多数のセンサーを必要とするのに対して、本発明は、汎用のセンサーに関したものである。
【００１０】
更にまた、先行技術には、特許文献６があり、操作されたオブジェクトの視覚的リターンを備えたタッチスクリーンタイプの音楽コントローラーの解決法が開示されている。特許文献６には、（基本的にスライドタイプ及びジョグシャトルタイプの）前もって決められたオブジェクトしか記載されていない。これらのタイプのオブジェクトは、限定的であり、所定の操作に対して人間工学的でないことが明らかである。更に、特許文献６に記載されている感知モードはリアルタイムではない。つまり、指で最初に触ることにより、まずアイコンを起動しなくてはならず、その後、操作されたオブジェクトと値は、アイコンが取り除かれた後に、始めてアップデートされる。この解決法では、オブジェクトに関連するパラメーターのリアルタイムの処理が許容されていない。更に、この特許文献６で用いられているタッチセンサーは、「単一接触」センサーであり、例えば一本の指しか感知できないので、一度に一つのオブジェクトのコントロールしかできない。この特徴は、複数のオブジェクトの効果的な操作に対して大変限定的である。
【００１１】
特許文献６のように、「単一接触」センサーが、一度に一本の指又は一本のスタイラスしか感知できないことに対して、以下、「多点接触」という言葉は、コンタクトゾーンにおける複数の指を一度に感知できるタッチセンサーを意味する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】国際公開第０１／６９３９９号パンフレット
【特許文献２】国際公開第０３／０４１００６号パンフレット
【特許文献３】米国特許第６５７００７８号明細書
【特許文献４】米国特許出願公開第２００２／００５１０８号明細書
【特許文献５】米国特許第５０２７６８９号明細書
【特許文献６】米国特許第５５５９３０１号明細書
【発明の概要】
【００１３】
本発明は、上記先行技術の有する問題点を解決することを課題として、音楽コントロールの多点接触タッチスクリーンを提供する。このタッチスクリーンは、パラメーター設定可能なグラフィカルオブジェクトに対して、使用者が操作をすると、その操作ごとに視覚的リターンを備えている。
【００１４】
本発明は、上記課題を解決するための上述したタイプであり、触知情報を感知する多点接触の２次元センサーと、この触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスにより、コンピューター化された装置をコントロールする方法において、透明な多点接触の触知センサーの下に位置するスクリーン上に、複数のグラフィカルオブジェクトを生成する段階を有しており、該グラフィカルオブジェクトそれぞれが少なくとも一つの所定の処理法則と結び付けられており、前記センサーは、各感知段階中に複数の触知情報を配信し、該触知情報それぞれが、前記複数のグラフィカルオブジェクトの中の一つの位置との相対的な位置により定められる所定の処理の対象となることを特徴とするコンピューター化された装置をコントロールする方法に関し、その最も広い意味において注目に値する。
【００１５】
上記方法は、前記触知センサーでの対象物の前記接触領域の境界領域の検出を備えていることが好ましい。
【００１６】
上記方法は、重心の検出を備えていることが好ましい。
【００１７】
上記方法は、少なくとも一つ前の感知段階中に実行される処理機能として、グラフィカルオブジェクトをリフレッシュする段階を備えていることが好ましい。
【００１８】
実施形態では、グラフィカルコンポーネント及びファンクションのライブラリーからのグラフィック表示の生成及び関連する処理法則の決定で構成される該グラフィカルオブジェクトを編集する段階を備えている。
【００１９】
上記触知情報の検知周波数は、５０Ｈｚ以上であることが好ましい。
【００２０】
また、本発明は、触知情報を感知する多点接触の２次元センサーを備えている、コンピューター化された装置をコントロールするデバイスにおいて、上記２次元センサーの下に配された表示スクリーンと、それぞれが、少なくとも一つの処理法則と関連付けられている複数のグラフィカルオブジェクトを記録するメモリーと、感知した上記触知情報の位置を解析し且つ上記グラフィカルオブジェクトの位置との相対的な上記触知情報の位置の作用としての処理法則を適用するローカル計算機とを備えていることを特徴とするコンピューター化された装置をコントロールするデバイス。
【００２１】
更に、上記デバイスは、複数のコントローラーのネットワークを形成するためのハブ（マルチソケットネットワーク）とも接続されていることが好ましい。
【００２２】
この多点接触２次元センサーは、抵抗性タイルであることが好ましい。
【００２３】
更にまた、上記デバイスは、受け取ったネットワークケーブルのネットワーク出力ケーブルも備えていることが好ましい。
本発明は、下記実施形態を添付図面を参照して、以下の説明に助けられてより理解されるだろう。
【図面の簡単な説明】
【００２４】
【図１Ａ】図１Ａは、本発明のコントローラーの機能図である。
【図１Ｂ】図１Ｂは、本発明の機能図に関連したコントローラーの構造を示す。
【図１Ｃ】図１Ｃは、センサーから生じた感知データを処理する段階、指と関連したカーソルを生成する段階、グラフィカルオブジェクトとの相互作用の段階、及びコントロールメッセージを生成する段階の各機能図を示す。
【図２Ａ】図２Ａは、タッチマトリックスセンサーの説明である。
【図２Ｂ】図２Ｂは、多点接触情報を得るためにセンサーがスキャンしている第１段階を説明する。
【図２Ｃ】図２Ｃは、直交性の問題の解法を説明する。
【図２Ｄ】図２Ｄは、キャプチャーインタフェースの機能図である。
【図２Ｅ】図２Ｅは、直交性の問題の解法を説明する。
【図２Ｆ】図２Ｆは、直交性の問題の解法を説明する。
【図３Ａ】図３Ａは、カーソルの生成段階を説明する。
【図３Ｂ】図３Ｂは、フィルタリング段階を説明する。
【図３Ｃ】図３Ｃは、重心の計算段階を説明する。
【図３Ｄ】図３Ｄは、マッピング及びグラフィカルオブジェクトのコントロール段階を説明する。
【図４】図４は、グラフィカルオブジェクトの他の実施形態を示す。
【図５】図５は、グラフィカルオブジェクトの他の実施形態を示す。
【図６】図６は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図７】図７は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図８】図８は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図９】図９は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図１０】図１０は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図１１】図１１は、ユーザーのコンピューターと接続されたコントローラーのネットワークの使用を示している。
【発明を実施するための形態】
【００２５】
下記のすべてにおいて、コントロールはコンピューター化された一つの装置により行われる。この装置としては、例えば、音楽ソフトウェア、コントローラー、オーディオビジュアル装置、又はマルチメディア装置がある。
【００２６】
図１Ａ及び図１Ｂ、より正確には図２Ａに示すように、本発明の第１の基本的な要素は、キャプチャーインタフェース１０２の補助で多点接触操作の感知に必要なマトリックスセンサー１０１である。センサーは、必要ならば、複数のパートに分割して、各パートで同時に走査（スキャン）することにより、キャプチャーを加速することができる。
【００２７】
一般原則は、センサーに検知されるゾーンにある接触点と同じくらい多くの数のカーソル（例えば、マウスカーソルのようなカーソル）を生成すること、及びそれら接触点の動きに追従することである。
ユーザーがセンサー上から指をのけると、この指に関連しているカーソルも消失する。
【００２８】
このように、複数の指の位置とその動きがセンサー上で同時に取得される。これが多点接触キャプチャーであり、このタイプのコントローラーとしては非常に革新的である。
【００２９】
本発明の実施形態で使用されているセンサーは、既知の抵抗性の触知（タッチ）マトリックスタイルである。
抵抗性のタッチマトリックスタイルは、２つの重ねあわされた層から構成されており、各層上には、半透明の導電性物質であるＩＴＯ（インジウム・すず酸化物）からなる複数のトラックが形成されている。複数のトラックは、上層上では行方向に並んでおり、下層上では列方向に並んでおり、マトリックスを形成している（図２Ａ参照）。
【００３０】
２枚の導電性層は、互いにスペース支柱により絶縁されている。行方向のトラックと列方向のトラックとの交差点は、接触点を形成する。一本の指がタイルの上に置かれて、一本又は複数の上層上の列方向のトラックが押されて、一本又は複数の下層上の行方向のトラックと接触すると、一つ又は複数の接触点が形成される（図２Ｂ参照）。
【００３１】
本発明の変形例として、スペース材を透明な抵抗性物質（例えば、導電性ポリマー）により置き換えて構成しても良い。この抵抗性物質の抵抗は、十分な圧力が働くとその抵抗が減少するように、圧力の関数として変化する。このようにして、行方向―列方向の各交差点における抵抗測定を行うことにより、表面に働いた圧力を検知することが可能である。
【００３２】
これらのタイルを音楽又はオーディオビジュアルで使用する観点から、指の動きを２０ｍｓ以内の間隔で測定する必要がある。
タイルの状態は、少なくとも１秒間に１００回測定される。このタイルは、平行処理を行うために、複数のゾーンに分割されている。
従って、本発明では、タイルのサンプリング周波数は、少なくとも１００Ｈｚである。
【００３３】
第２の基本的な要素は、タッチタイルをスキャンするための電子デバイスである。この電子デバイスは、マトリックスセンサー上の複数の接触点を同時に検知することができる。実際の所、このタイプのセンサーが感知する既知の方法では、同時に複数の接触点を検知することはできなかった。
【００３４】
過去における既知の方法では、図２Ｃに示された問題点は解決できなかった。
ある列方向のトラックに給電した状態で、すべての行方向のトラックを同時に測定すると、直交性の問題が生じる。第１の接触点が、第２の接触点を隠してしまう。同様に、すべての列方向のトラックに給電した状態で、ある行方向のトラックを測定すると、第２の接触点が第１の接触点を隠してしまう。この問題点を解決するために提案する方法は、センサーを順番にスキャンすることである。
【００３５】
列方向のトラックが、例えば５Ｖで、順に給電されて、トラックの高い又は低いレベルが順に測定される。
ある列方向のトラックに電圧が印加されている時には、他の列方向のトラックは高インピーダンスなので、電圧が印加されている列方向のトラックからの電流が、他の列方向のトラックへ伝播することが防止される。
【００３６】
最初に第１の列方向のトラックに給電されている間は、他の列方向のトラックは高インピーダンスである。
そして、行方向のトラックは、次々に、つまり順に測定される。最初に第１の行方向のトラックの値が測定されている間は、すべての他の行方向のトラックはアースされている。次に、第１の行方向のトラックがアースされて、第２の行方向のトラックの値が測定される。そして、すべての行方向のトラックの値が測定されるまで続く。
【００３７】
その後、第１の列方向のトラックは高インピーダンス状態になり、第２の列方向のトラックが給電される。そして、各行方向のトラックの状態の測定が再開する。
このように、最後の列方向のトラックまで、スキャンが行われる。
【００３８】
目的は、多点接触タイルを作製することなので、各交差点の値を１秒間に４〜５回測定するために、マトリックスのすべてのスキャンが高い周波数で行われる。
【００３９】
タイルデータを感知する装置が、図２Ｄに示されている。図２Ｄには、１００本の行方向のトラックと１３５本の列方向のトラックとを備えたタイルの感知アルゴリズムが示されている。
【００４０】
しかし、ある点が、一つ又は複数の他の接触点により隠されてしまう問題が生じる場合がある。
実際の所、列方向のトラック及び行方向のトラックを形成している透明性物質であるＩＴＯの抵抗は、トラックの長さに比例して増加する。そして、センサーの下方左隅で測定される電位は、上方右隅で測定される電位よりも大きくなる。
【００４１】
図２Ｅ及び図２Ｆにおいて、接触点の固まりは、給電されている列方向のトラックの電位の多くの部分を吸収する。そのため、孤立した接触点で測定される電位は、非常に小さくて測定できない。
【００４２】
この問題点の解決法は、行方向のトラックの出力をデジタル処理する電圧コンパレーターを用いて、電圧がタッチタイル上の指の動きから生じたものと十分考えられるのかどうかを決めることにある。コンパレーターの参照値（比較スレッシュホールド）は、行方向のトラックごとに低減されている。その結果、最後の行方向のトラックの参照値は、最初の行方向のトラックの参照値よりも低くなっており、下方左又は上方右に位置する接触点が、同様に測定されるのを可能にしている。
【００４３】
そして、例えばタイルの全部のサンプリングが、列方向及び行方向のトラックに対して１秒間に１００回以上行なわれる。
そして、キャプチャーインターフェース１０２からのデータが、センサーの総計を表すイメージを形成する。このイメージはメモリーに記憶されて、プログラムが、フィルタリング処理をして、指を検知して、カーソルを作成する。この作用については、図１を参照のこと。
【００４４】
図３Ｂに示されているフィルタリングの段階では、感知インターフェース又はセンサー自身により生成されたノイズが除去される。複数の接触点の固まりだけが、指の圧力に対応していると考えられる。そこで、孤立した接触点を除去するために、境界領域の検出が行われる。
【００４５】
次の段階では、カーソルの各支持点への関連付けを行う（図３Ｃ）。最後には、有界ゾーンごとに重心が計算される。そして、指がタッチセンサーから離されると、この指と対応するカーソルがスクリーンから除かれる。
【００４６】
メインプロセッサーによりローカルに実行されるプログラムは、グラフィカルオブジェクトを操作するために、カーソルを、スクリーン１０５上に表示されている該グラフィカルオブジェクトに関連付けるのを可能にする。同時に、このローカルプログラムは、ホストコンピューター又はコントロールされた機器へ向けて、コントロールメッセージを生成するのに、これらのカーソルを使用する。
【００４７】
更に、プログラムは複数の物理モデルのシミュレーターを有しており、このプログラムは、カーソルとグラフィカルオブジェクト間の相互作用規則の変更を可能にする。複数の異なる物理モデルを用いることが可能で、ばね仕掛けのシステム、弦の振動、衝突の操縦、重力の法則、電磁場が使用できる。
【００４８】
カーソルの位置と、それぞれのカーソルがどのグラフィカルオブジェクトに位置付けられているのかとが、プログラムにより検討される。検討対象のグラフィカルオブジェクトのファンクションとして、センサーから生じたデータには、所定の処理が与えられる。例えば、（短時間の間にタッチタイル上に指により形成されたスポットの動きに対応する）ある圧力の測定は解釈可能である。また、加速、速度、軌跡等の他のパラメーターが、グラフィカルオブジェクトの性質による機能として推定される。また、異なる指を区別するために、形状認知のアルゴリズムが適用される。
【００４９】
メインプログラム１０３は、また、スクリーン１０５上に表示されるデータを、グラフィカルインターフェース１０４へ送る。更に、このグラフィカルインターフェース１０４は、グラフィカルプロセッサーにより構成されている。このグラフィカルプロセッサーは、例えば既知のタイプでも良い。後者のグラフィカルインターフェース１０４は、基本的なグラフィカルフンクションから構成されていても良い。このグラフィカルフンクションは、例えば、ビットマップ表示、ポリゴンフォントの表示、２次元又は３次元の図形の表示、ベクトルデザイン、アンチエイリアス処理、テクスチャ・マッピング、色の透明化や内挿が挙げられる。
【００５０】
本実施形態では、メインプログラムが、数学的関数の入力と計算がリアルタイムで行える数学的表示のアナライザーも備えている。これらの関数は、どの変数の値も変えることができる。例えば、グラフィカルオフジェクト内部のカーソルの座標（ｘ、ｙ）は、０と１との間の値を有する２つの変数と考えることができる。数学的表示のアナライザーにより、「ｘ*１０００+６００」というタイプの表示を作成して、１０００と１６００との間に値を持つ新しい変数を得ることができる。こうして得られた変数により、例えば、６００ヘルツと１６００ヘルツとの間の周波数を有する発信器のコントロールができる。
【００５１】
数学的表示は、ベクトル量と同様にスカラー量にも用いることができる。
数学的表示のアナライザーは、グラフィカルオフジェクトの変数を、リアルタイムで計算して処理できるツールである。
【００５２】
また、ローカルプログラム１０３は、ネットワークポート１０６に対する通信フォームにデータ形式を整える。ネットワークポート１０６は、コンピューターアプリケーションが処理されるコンピューターとデータの通信をする。
【００５３】
ネットワークインターフェースとしては、例えばＴＣＰ／ＩＰプロトコルを用いてパケットにより通信する標準インタフェースである、イーサネット（登録商標）１０／１００ＢＡＳＥ−Tがある。またネットワークインターフェースは、無線タイプであっても良い。
【００５４】
図１１に示すように、イーサネット（登録商標）接続によれば、シンプルなハブ（マルチソケットネットワーク）を用いて、本発明のコントローラーのネットワークを構成することにより、ユーザーのコントロール機器を無数に拡張できる可能性がユーザーに提供されることに注目すべきである。
【００５５】
ネットワーク内において、一つのコントローラー又は複数のコントローラーは、メッセージを相互に送る形で、コントローラー相互に又はホストコンピューターと通信する。
【００５６】
更に、機械装置を構成するユニットは、既知のタイプのバッテリー（図示せず）か、又はＡＣアダプターにより給電される。
【００５７】
更にまた、ユーザーのコンピューターのレベルにおいて、インターフェースエディター１０７により、インターフェースをグラフィカル的にプログラムすることができる。つまり、スクリーン１０５上に表示されているグラフィカルオブジェクトの全体が、グラフィカル的にプログラムすることができる。本実施形態では、インターフェース自身が、複数のシーンで構成されており、各インターフェースは高い階層構造を有している。実際、各シーンは、いくつかのインターフェースを備える。ユーザーは、入出力ポート１０９に接続されたボタンキーボード又はコントロールペダルボードを用いて、インターフェースを入れ替えることができる。
【００５８】
インターフェースエディターの他のファンクションとして、コントロールデータに、ユーザーがコントロールしたいパラメーターを割り当てることがある。
ユーザーは、例えば、パラメーター設定可能なグラフィカルオブジェクトのライブラリーを自由に持つ。このグラフィカルオブジェクトは、求められるアプリケーションに従って、異なるインターフェースを構成することを可能にする。図４及び図５には、ユーザーの意向による、いくつかのグラフィカルオブジェクトが示されている。
【００５９】
グラフィカルオブジェクトは、あらかじめ定義されたり、音楽、オーディオビジュアル機器のコントロール、またはコンピューター化された装置へ特別に専用にすることができる。例えば、直線状ポテンショメーター４０３，４０４は、音信号のボリューム、周波数のフィルターとして、連続的パラメーターのコントロールに特に適している。鋸歯状ホイール（ジョグシャトル）４０１は、例えばオーディオ又はビデオ再生機のコントロールに役立つ。また、グラフィカルオブジェクトは、既知のタイプのデブロップメント（開発）キット１０９（ＳＤＫ）を用いて、自由に開発することができる。デブロップメントキットにより、コントローラーの基本的なグラフィカルファンクションを利用できる。
【００６０】
このように、インターフェースエディター１０７により、ユーザーは、直ぐにコントロールインターフェースのパーソナライズ化が可能となる。インターフェースエディターは、ユーザーのコンピューター上で実行されるソフトウェアである。インターフェースエディターは、タイルのタッチ表面を表すメインウインドウから成り、メインウインドウ上には、ライブラリーから提案されたグラフィカルオブジェクトを配置することができる。表面上でグラフィカルオブジェクトを操作したり配置することは、例えばマウスを用いて行われる。メインウインドウ上にあるグラフィカルオブジェクトは、同時にコントローラー上にも表示されており、このグラフィカルオブジェクトはコントローラーのメモリーに記録される。都合に応じて、グラフィカルオブジェクトを後で動かしたり、次元を変えることが、コントローラーによりできる。
【００６１】
メインウインドウ上にグラフィカルオブジェクトの位置が決められると共に、他の２次ウインドウにより、グラフィカルオブジェクトに固有の異なるパラメーター（グラフィカルな性質、物理的動作）を調節することができる。例えば、ボタン４０２は、またスイッチ又はトリガーとして作動できる。トリガーモードの場合には、押圧の測定が任意に行える。パラメーター設定可能なグラフィカルオブジェクトの他の例として、２Ｄエリア５０３，５４４がある。この２Ｄエリアは、境界ゾーン内部をポーン（歩）が動き回る構成を原則とする。２Ｄエリア内部にあるポーンの数は、任意にパラメーター設定可能である。エリアは、一平面図モード又はマルチ平面図モードに設定することができる。一平面図モードは、その平面内で複数のポーンが互いに衝突し合う。マルチ平面図モードは、重なっている異なった平面内に、複数のポーンが置かれている。平面上のポーンの摩擦係数、隅にいるポーン及びポーン間の反発、引力等の物理的パラメーターもまた設定することができる。
【００６２】
またインターフェースエディターは、表面上に存在するグラフィカルオブジェクトをリストにしたり、数学的表示のアナライザー用いて、ファンクション及び変数の生成を行える。
【００６３】
そして、グラフィカルオブジェクトは、初期設定として、基本軸に対応した所定数の変数（ｘ、ｙ、ｚ・・・）を有している。これらの変数は、常に０と１との間の値を有しており、３２ビット浮動小数点形式で変化する。ユーザーは、自分がコントロールしたい、より代表的な他の値へ、これらの変数を結び付けられるはずである。そして、数学的表示のアナライザーにより、単純な数学的表示を用いて、新しい変数を作成する機会が与えられる。例えば、直線状ポテンショメーターは、基本軸であるｘを有している。ユーザーが５００Ｈｚから２５００Ｈｚの周波数をコントロールしたいならば、ａ＝２０００ｘ＋５００という変数を作成しなければならない。
【００６４】
また、状態表示オプションが望まれる。このオプションにより、パラメーターの状態を視覚的にコントロールできる。
【００６５】
主計算ユニット１０３のレベルにおいて、タイル上の操作によって、グラフィカルオブジェクトへ適用されるべき更なる処理は、グラフィカルオブジェクトそれぞれのタイプに特有である。
【００６６】
実際、仮想的直線状ポテンショメーター４０３，４０４上で指を円形に動かすことは、円形のポテンショメーター４０１の場合にはポテンショメーターの状態を変えるだろうが、直線状ポテンショメーター４０３，４０４の状態には影響を与えないだろう。同様に、あるグラフィカルオブジェクト（例えば、直線状ポテンショメーター）は、一度に一本の指を考慮するだけであるが、他のグラフィカルオブジェクト（キーボード、２Ｄエリア）は、複数の指の相互作用を受け入れる。
【００６７】
例えば、「２Ｄエリア」５０３，５０４は、表面が長方形であり、所定数のポーンを有しており、各ポーンは所定の場所に位置している。ポーンはユーザーにより動かされる。
【００６８】
全てのグラフィカルオブジェクトに対する物理系へ、以下の法則が導入される。つまり、ユーザーにより動かされたポーンは、ユーザーが該ポーンをとき放した時に、慣性による速度を得る。このように速度を得たポーンは、２Ｄエリアの隅で反発したり、またポーン間で反発する。更にポーンは、隅及びポーン間で引力及び斥力を受けると共に、エリア２Ｄの表面の摩擦係数により、所定の時間経過後には停止する。全てのこれらのパラメーターはパラメーター設定可能であろう。
【００６９】
２Ｄエリアの他の変形例には、ばね仕掛けタイプの物理法則を適用して構成されるものがある。ある仮想ゴムバンドが、各カーソル及び各ポーンの間で引き伸ばされる。ユーザーは、摩擦及び内挿ファクターを設定することにより、このグラフィカルオブジェクトの動作を変更することができる。またこれらの性質は、他のグラフィカルオブジェクトを用いて、リアルタイムに変更できる。
【００７０】
他の変形例として、マルチスライダー５０１がある。マルチスライダーは、複数のカーソルからなるテーブルであり、カーソルの数は調節可能である。マルチスライダーの典型的な使用例は、グラフィックイコライザー又はスペクトラル包絡線のコントロールである。マルチスライダーと、複数のシンプルな直線状ポテンショメーターを並列配置したものとの差は、指をスライドすることによって、複数のカーソル全体の構成を変更できることである。マルチスライダーは、また別々な弦として用いることができる。これには、ユーザーにより張力のプログラムが可能な弦の物理的モデルを、マルチスライダーに適用することで足りる。
【００７１】
異なるタイプのグラフィカルオブジェクトを結合したインターフェースの他の実施形態を視覚化したものを図６から図９に示す。上述したいくつかのグラフィカルオブジェクトが、図６から図９に見られる。
【００７２】
図６には、６つの２Ｄエリア６０１が配置されており、各２Ｄエリアには一つのポーンが含まれている。このインターフェースは、例えば、６つの異なるフィルターをコントロールでき、各フィルターは、一つ又は複数の音源に割り当てられる。この場合には、ゾーンごとにおける各ポーンの横座標の動きが、フィルターの周波数をコントロールしており、一方、縦座標の動きが、クオリティファクター又はフィルターの帯域幅をコントロールする。
【００７３】
図７には、既知のタイプの、シンセサイザー又はサンプラーのコントロールの実施形態が示されている。インターフェースは、調律されたキーボード７０４と、４つの縦型ポテンショメーター７０３のグループとから成っている。キーボードにより、音程がコントロールされ、ポテンショメーターにより、例えば動的エンベロープ（アタックタイム、ホールドレベル、リリースタイム）がコントロールされる。２Ｄエリア７０１は、３つのポーンを有しており、例えば音に適用される影響（反響音、エコー、フィルター）がコントロールされる。１６個のボタンからなるマトリックス７０２は、例えば１６個の異なる録音された音楽シークエンスをリリースしたり、又は上述したコントロールの事前記録された１６個の配置を呼び出す。
【００７４】
図８には、本発明を適用した他の実施形態が示されている。図８は、複数のラウドスピーカーにより構成されるデバイス上の空間内への、異なる音源の放送のためのデバイスのコントロールが示されている。この配置では、放送空間を表す２Ｄエリア８０１は、４つの音源に対応する４つのポーン８０１を有している。また２Ｄエリアは、５つのラウドスピーカーの位置を示す５つのアイコン８０２を有している。閉じた空間に対する各音源のレベル及び／又は位相は、各ポーン８０２を動かすことにより調節される。音源の空間内における位置は、ポーンにより定められている。また、４つの直線状ポテンショメーター８０３からなるグループにより、各音源の相対的レベルが調節される。４つのボタン８０４からなるユニットにより、各音源のＯＮ／ＯＦＦがなされる。
【００７５】
図９には、他の実施形態が示されている。図９は、図７に示されている配置とは異なったシンセサイザー又はサウンドジェネレーターのコントロールが示されている。ここでは、サウンドジェネレーターの周波数は、４つの仮想弦９０３によりコントロールされる。各弦における初期の張力（ピッチ）は、例えば直線状ポテンショメーター９０２によりコントロールされる。２Ｄエリアは、例えば出力レベル、音質、パニング等のサウンドジェネレーターの他のパラメーターをコントロールする。
【００７６】
図１０には、既知のタイプのオーディオ及び／又はビデオを編集する機器のコントロールが示されている。ジョグシャトル１００１により、オーディオ及び／又はビデオソースの再生速度がコントロールされる。状態表示オブジェクト１００２により、既知のタイプの形式（時間、分、秒、画像）に従って再生位置が示される。ボタン１００３のセットにより、コントロールされる機器の再生及び編集のファンクションを操作できる。
【００７７】
本発明が、上述したように例として説明された。当該技術分野の専門家は、本特許の範囲から逸脱することなしに、本発明の異なる変形例を実現できることが理解される。
【技術分野】
【０００１】
本発明は、音楽コントローラーの分野に関する。
本発明は、特に人―機械インターフェースに関し、例えば、仮想オブジェクトの操作を用いた多点接触の触知（タッチ）スクリーンにより、音楽ソフトウェア又はコントローラーのコントロールを可能にするインターフェースに関する。
【背景技術】
【０００２】
先行技術には、すでにマニュアルタイプのソフトウェアコントローラーがある。これらのソフトウェアコントローラーとしては、例えばユーザーにより端末から操作されるポテンショメーターがある。このポテンショメーターは、音楽ソフトウェアの種々のファンクションをコントロールする。このような端末は、例えば特許文献１の主題とされている。
【０００３】
このタイプのコントローラーの問題は、あまり人間工学的でなく、ソフトウェアの操作が効率的でないことにある。
本発明が提案する解決方法は、ソフトウェアファンクション（機能）の操作及びアクセスのためのタッチスクリーンを用いることである。
【０００４】
タッチコントローラーの分野において、すでに先行技術には、特許文献２又は特許文献３があり、マトリックスセンサー上にタッチコントローラーを備えた音楽コントローラーが開示されている。これらの上記特許文献に記載の技術によれば、多点接触タイプのタッチコントロールが可能であり、ソフトウェアのコントロールに対してすべての指が介在することができる。
【０００５】
しかしながら、これらの上記文献には、マトリックスセンサーそれぞれが不透明タイプであるために、操作に対する視覚的リターンが提案されていない。
【０００６】
また、先行技術には、特許文献４（Ｌｅｓｔｅｒ Ｆｒａｎｃｋ Ｌｕｄｗｉｇ）“Ｔａｃｔｉｌｅ，Ｖｉｓｕａｌ ａｎｄ Ａｒｒａｙ Ｃｏｎｔｒｏｌｌｅｒｓ ｆｏｒ ｅａｌ−Ｔｉｍｅ Ｃｏｎｔｒｏｌ ｏｆ Ｍｕｓｉｃ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｍｉｘｉｎｇ，Ｖｉｄｅｏ ａｎｄ Ｌｉｇｈｔｉｎｇ”があり、プレゼンテーション、録音中において、タッチセンサー、圧力センサーのマトリックス、光変換器のマトリックス、化学センサーのマトリックス、体感センサーのマトリックス、及びデジタル処理から導かれるイメージを用いる複合環境において、リアルタイムに信号処理、シンセサイザー、楽器、ＭＩＤＩプロセッサー、光、ビデオ、及び特別効果を、コントロールするシステム及び方法が開示されている。特許文献４に記載の発明は、タッチコントロールのインターフェースとして、タッチパッド、圧力センサーのマトリックス及び体感センサーのマトリックスを、光変換器のようなビデオカメラ及び光センサーのマトリックスを、更に化学センサーのマトリックス、及びコンピューター処理又はデジタルシミュレーションからデジタルイメージを生成する他の装置のマトリックスを備えている。タッチ変換器は、従来からある楽器の鍵盤の上に配置されたり、既存の楽器に付加されたり、また新しい楽器又は新しいコントローラーを作り出すために用いることができる。化学センサーのマトリックス、及びコンピューター処理又はデジタルシミュレーションからデジタルイメージを生成する他の機器のマトリックスは、環境条件又は自己組織化プロセスの振る舞いのような自然物理現象を、観察したり、シミュレートするために用いることができる。スカラー量又はベクトル量のマトリックスは、パターンリミット、（幾何学的中心又は重み付けされたモーメント等の）リミット内のピクセルの幾何学的性質、及び（回転方向、セグメント化された領域、パターン分類、構文、文法、シークエンス等の）外部のビデオ及び視覚機器をコントロールするためのコントロール信号を作り出したり、アルゴリズムを作り出すために用いられるより高いレベルから導かれる情報を抽出するために処理される。またこの発明は、ＭＩＤＩ及び非ＭＩＤＩのコントロール信号が供給されるようにもできる。
【０００７】
しかし、この特許文献４には、操作への視覚的リターンが提案されていない。この特許文献４は、命令法則についても記載されていない。更に、特許文献４には、複数の指がセンサー上に直交して位置するように置かれた場合に生じるマスキング現象への技術的解決法が提案されていない。これらの問題の解決は、多点接触タッチセンサーを実現するためには不可欠である。
【０００８】
更に、先行技術には、特許文献５（Ｙａｍａｈａ）“Ｍｕｓｉｃａｌ Ｔｏｎｅ Ｇｅｎｅｒａｔｉｎｇ Ａｐｐａｒａｔｕｓ”があり、音楽音を生成する機器が開示されている。この機器は、楽器の位置情報（ＰＳ）を平面座標の値として生成するデバイスを備えている。この位置情報（ＰＳ）は、メモリーデバイスに記憶されるか、又はマニュアル操作による選択的方法で決定される。またこの機器は、位置情報（ＰＳ）を、音楽音をコントロールするパラメーター情報（ＰＤ）へ変換するデバイスを備えている。このＰＤコントロール情報は、音楽音（Ｓ１１，Ｓ１２及びＳ１３）の音源信号をコントロールして、舞台上に配置された複数の楽器の位置に対応する音場を生成する。これは、操作者に舞台上の複数の楽器の位置を検証させるので、本当のライブパフォーマンス中にいる感覚を与える。
【０００９】
この特許文献５には、多点接触が記載されているが、一軸上の２点のみであり、デカルト座標上の多点接触は記載されていない。特許文献５に記載の機器は、多点を選択した時には直線状にのみ機能して、（軌跡を追うような）トラッキングはしない。また、特許文献５に記載の機器は、各楽器に特有の多数のセンサーを必要とするのに対して、本発明は、汎用のセンサーに関したものである。
【００１０】
更にまた、先行技術には、特許文献６があり、操作されたオブジェクトの視覚的リターンを備えたタッチスクリーンタイプの音楽コントローラーの解決法が開示されている。特許文献６には、（基本的にスライドタイプ及びジョグシャトルタイプの）前もって決められたオブジェクトしか記載されていない。これらのタイプのオブジェクトは、限定的であり、所定の操作に対して人間工学的でないことが明らかである。更に、特許文献６に記載されている感知モードはリアルタイムではない。つまり、指で最初に触ることにより、まずアイコンを起動しなくてはならず、その後、操作されたオブジェクトと値は、アイコンが取り除かれた後に、始めてアップデートされる。この解決法では、オブジェクトに関連するパラメーターのリアルタイムの処理が許容されていない。更に、この特許文献６で用いられているタッチセンサーは、「単一接触」センサーであり、例えば一本の指しか感知できないので、一度に一つのオブジェクトのコントロールしかできない。この特徴は、複数のオブジェクトの効果的な操作に対して大変限定的である。
【００１１】
特許文献６のように、「単一接触」センサーが、一度に一本の指又は一本のスタイラスしか感知できないことに対して、以下、「多点接触」という言葉は、コンタクトゾーンにおける複数の指を一度に感知できるタッチセンサーを意味する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】国際公開第０１／６９３９９号パンフレット
【特許文献２】国際公開第０３／０４１００６号パンフレット
【特許文献３】米国特許第６５７００７８号明細書
【特許文献４】米国特許出願公開第２００２／００５１０８号明細書
【特許文献５】米国特許第５０２７６８９号明細書
【特許文献６】米国特許第５５５９３０１号明細書
【発明の概要】
【００１３】
本発明は、上記先行技術の有する問題点を解決することを課題として、音楽コントロールの多点接触タッチスクリーンを提供する。このタッチスクリーンは、パラメーター設定可能なグラフィカルオブジェクトに対して、使用者が操作をすると、その操作ごとに視覚的リターンを備えている。
【００１４】
本発明は、上記課題を解決するための上述したタイプであり、触知情報を感知する多点接触の２次元センサーと、この触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスにより、コンピューター化された装置をコントロールする方法において、透明な多点接触の触知センサーの下に位置するスクリーン上に、複数のグラフィカルオブジェクトを生成する段階を有しており、該グラフィカルオブジェクトそれぞれが少なくとも一つの所定の処理法則と結び付けられており、前記センサーは、各感知段階中に複数の触知情報を配信し、該触知情報それぞれが、前記複数のグラフィカルオブジェクトの中の一つの位置との相対的な位置により定められる所定の処理の対象となることを特徴とするコンピューター化された装置をコントロールする方法に関し、その最も広い意味において注目に値する。
【００１５】
上記方法は、前記触知センサーでの対象物の前記接触領域の境界領域の検出を備えていることが好ましい。
【００１６】
上記方法は、重心の検出を備えていることが好ましい。
【００１７】
上記方法は、少なくとも一つ前の感知段階中に実行される処理機能として、グラフィカルオブジェクトをリフレッシュする段階を備えていることが好ましい。
【００１８】
実施形態では、グラフィカルコンポーネント及びファンクションのライブラリーからのグラフィック表示の生成及び関連する処理法則の決定で構成される該グラフィカルオブジェクトを編集する段階を備えている。
【００１９】
上記触知情報の検知周波数は、５０Ｈｚ以上であることが好ましい。
【００２０】
また、本発明は、触知情報を感知する多点接触の２次元センサーを備えている、コンピューター化された装置をコントロールするデバイスにおいて、上記２次元センサーの下に配された表示スクリーンと、それぞれが、少なくとも一つの処理法則と関連付けられている複数のグラフィカルオブジェクトを記録するメモリーと、感知した上記触知情報の位置を解析し且つ上記グラフィカルオブジェクトの位置との相対的な上記触知情報の位置の作用としての処理法則を適用するローカル計算機とを備えていることを特徴とするコンピューター化された装置をコントロールするデバイス。
【００２１】
更に、上記デバイスは、複数のコントローラーのネットワークを形成するためのハブ（マルチソケットネットワーク）とも接続されていることが好ましい。
【００２２】
この多点接触２次元センサーは、抵抗性タイルであることが好ましい。
【００２３】
更にまた、上記デバイスは、受け取ったネットワークケーブルのネットワーク出力ケーブルも備えていることが好ましい。
本発明は、下記実施形態を添付図面を参照して、以下の説明に助けられてより理解されるだろう。
【図面の簡単な説明】
【００２４】
【図１Ａ】図１Ａは、本発明のコントローラーの機能図である。
【図１Ｂ】図１Ｂは、本発明の機能図に関連したコントローラーの構造を示す。
【図１Ｃ】図１Ｃは、センサーから生じた感知データを処理する段階、指と関連したカーソルを生成する段階、グラフィカルオブジェクトとの相互作用の段階、及びコントロールメッセージを生成する段階の各機能図を示す。
【図２Ａ】図２Ａは、タッチマトリックスセンサーの説明である。
【図２Ｂ】図２Ｂは、多点接触情報を得るためにセンサーがスキャンしている第１段階を説明する。
【図２Ｃ】図２Ｃは、直交性の問題の解法を説明する。
【図２Ｄ】図２Ｄは、キャプチャーインタフェースの機能図である。
【図２Ｅ】図２Ｅは、直交性の問題の解法を説明する。
【図２Ｆ】図２Ｆは、直交性の問題の解法を説明する。
【図３Ａ】図３Ａは、カーソルの生成段階を説明する。
【図３Ｂ】図３Ｂは、フィルタリング段階を説明する。
【図３Ｃ】図３Ｃは、重心の計算段階を説明する。
【図３Ｄ】図３Ｄは、マッピング及びグラフィカルオブジェクトのコントロール段階を説明する。
【図４】図４は、グラフィカルオブジェクトの他の実施形態を示す。
【図５】図５は、グラフィカルオブジェクトの他の実施形態を示す。
【図６】図６は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図７】図７は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図８】図８は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図９】図９は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図１０】図１０は、コントローラー上のグラフィカルオブジェクトの組み合わせの他の実施形態を示す。
【図１１】図１１は、ユーザーのコンピューターと接続されたコントローラーのネットワークの使用を示している。
【発明を実施するための形態】
【００２５】
下記のすべてにおいて、コントロールはコンピューター化された一つの装置により行われる。この装置としては、例えば、音楽ソフトウェア、コントローラー、オーディオビジュアル装置、又はマルチメディア装置がある。
【００２６】
図１Ａ及び図１Ｂ、より正確には図２Ａに示すように、本発明の第１の基本的な要素は、キャプチャーインタフェース１０２の補助で多点接触操作の感知に必要なマトリックスセンサー１０１である。センサーは、必要ならば、複数のパートに分割して、各パートで同時に走査（スキャン）することにより、キャプチャーを加速することができる。
【００２７】
一般原則は、センサーに検知されるゾーンにある接触点と同じくらい多くの数のカーソル（例えば、マウスカーソルのようなカーソル）を生成すること、及びそれら接触点の動きに追従することである。
ユーザーがセンサー上から指をのけると、この指に関連しているカーソルも消失する。
【００２８】
このように、複数の指の位置とその動きがセンサー上で同時に取得される。これが多点接触キャプチャーであり、このタイプのコントローラーとしては非常に革新的である。
【００２９】
本発明の実施形態で使用されているセンサーは、既知の抵抗性の触知（タッチ）マトリックスタイルである。
抵抗性のタッチマトリックスタイルは、２つの重ねあわされた層から構成されており、各層上には、半透明の導電性物質であるＩＴＯ（インジウム・すず酸化物）からなる複数のトラックが形成されている。複数のトラックは、上層上では行方向に並んでおり、下層上では列方向に並んでおり、マトリックスを形成している（図２Ａ参照）。
【００３０】
２枚の導電性層は、互いにスペース支柱により絶縁されている。行方向のトラックと列方向のトラックとの交差点は、接触点を形成する。一本の指がタイルの上に置かれて、一本又は複数の上層上の列方向のトラックが押されて、一本又は複数の下層上の行方向のトラックと接触すると、一つ又は複数の接触点が形成される（図２Ｂ参照）。
【００３１】
本発明の変形例として、スペース材を透明な抵抗性物質（例えば、導電性ポリマー）により置き換えて構成しても良い。この抵抗性物質の抵抗は、十分な圧力が働くとその抵抗が減少するように、圧力の関数として変化する。このようにして、行方向―列方向の各交差点における抵抗測定を行うことにより、表面に働いた圧力を検知することが可能である。
【００３２】
これらのタイルを音楽又はオーディオビジュアルで使用する観点から、指の動きを２０ｍｓ以内の間隔で測定する必要がある。
タイルの状態は、少なくとも１秒間に１００回測定される。このタイルは、平行処理を行うために、複数のゾーンに分割されている。
従って、本発明では、タイルのサンプリング周波数は、少なくとも１００Ｈｚである。
【００３３】
第２の基本的な要素は、タッチタイルをスキャンするための電子デバイスである。この電子デバイスは、マトリックスセンサー上の複数の接触点を同時に検知することができる。実際の所、このタイプのセンサーが感知する既知の方法では、同時に複数の接触点を検知することはできなかった。
【００３４】
過去における既知の方法では、図２Ｃに示された問題点は解決できなかった。
ある列方向のトラックに給電した状態で、すべての行方向のトラックを同時に測定すると、直交性の問題が生じる。第１の接触点が、第２の接触点を隠してしまう。同様に、すべての列方向のトラックに給電した状態で、ある行方向のトラックを測定すると、第２の接触点が第１の接触点を隠してしまう。この問題点を解決するために提案する方法は、センサーを順番にスキャンすることである。
【００３５】
列方向のトラックが、例えば５Ｖで、順に給電されて、トラックの高い又は低いレベルが順に測定される。
ある列方向のトラックに電圧が印加されている時には、他の列方向のトラックは高インピーダンスなので、電圧が印加されている列方向のトラックからの電流が、他の列方向のトラックへ伝播することが防止される。
【００３６】
最初に第１の列方向のトラックに給電されている間は、他の列方向のトラックは高インピーダンスである。
そして、行方向のトラックは、次々に、つまり順に測定される。最初に第１の行方向のトラックの値が測定されている間は、すべての他の行方向のトラックはアースされている。次に、第１の行方向のトラックがアースされて、第２の行方向のトラックの値が測定される。そして、すべての行方向のトラックの値が測定されるまで続く。
【００３７】
その後、第１の列方向のトラックは高インピーダンス状態になり、第２の列方向のトラックが給電される。そして、各行方向のトラックの状態の測定が再開する。
このように、最後の列方向のトラックまで、スキャンが行われる。
【００３８】
目的は、多点接触タイルを作製することなので、各交差点の値を１秒間に４〜５回測定するために、マトリックスのすべてのスキャンが高い周波数で行われる。
【００３９】
タイルデータを感知する装置が、図２Ｄに示されている。図２Ｄには、１００本の行方向のトラックと１３５本の列方向のトラックとを備えたタイルの感知アルゴリズムが示されている。
【００４０】
しかし、ある点が、一つ又は複数の他の接触点により隠されてしまう問題が生じる場合がある。
実際の所、列方向のトラック及び行方向のトラックを形成している透明性物質であるＩＴＯの抵抗は、トラックの長さに比例して増加する。そして、センサーの下方左隅で測定される電位は、上方右隅で測定される電位よりも大きくなる。
【００４１】
図２Ｅ及び図２Ｆにおいて、接触点の固まりは、給電されている列方向のトラックの電位の多くの部分を吸収する。そのため、孤立した接触点で測定される電位は、非常に小さくて測定できない。
【００４２】
この問題点の解決法は、行方向のトラックの出力をデジタル処理する電圧コンパレーターを用いて、電圧がタッチタイル上の指の動きから生じたものと十分考えられるのかどうかを決めることにある。コンパレーターの参照値（比較スレッシュホールド）は、行方向のトラックごとに低減されている。その結果、最後の行方向のトラックの参照値は、最初の行方向のトラックの参照値よりも低くなっており、下方左又は上方右に位置する接触点が、同様に測定されるのを可能にしている。
【００４３】
そして、例えばタイルの全部のサンプリングが、列方向及び行方向のトラックに対して１秒間に１００回以上行なわれる。
そして、キャプチャーインターフェース１０２からのデータが、センサーの総計を表すイメージを形成する。このイメージはメモリーに記憶されて、プログラムが、フィルタリング処理をして、指を検知して、カーソルを作成する。この作用については、図１を参照のこと。
【００４４】
図３Ｂに示されているフィルタリングの段階では、感知インターフェース又はセンサー自身により生成されたノイズが除去される。複数の接触点の固まりだけが、指の圧力に対応していると考えられる。そこで、孤立した接触点を除去するために、境界領域の検出が行われる。
【００４５】
次の段階では、カーソルの各支持点への関連付けを行う（図３Ｃ）。最後には、有界ゾーンごとに重心が計算される。そして、指がタッチセンサーから離されると、この指と対応するカーソルがスクリーンから除かれる。
【００４６】
メインプロセッサーによりローカルに実行されるプログラムは、グラフィカルオブジェクトを操作するために、カーソルを、スクリーン１０５上に表示されている該グラフィカルオブジェクトに関連付けるのを可能にする。同時に、このローカルプログラムは、ホストコンピューター又はコントロールされた機器へ向けて、コントロールメッセージを生成するのに、これらのカーソルを使用する。
【００４７】
更に、プログラムは複数の物理モデルのシミュレーターを有しており、このプログラムは、カーソルとグラフィカルオブジェクト間の相互作用規則の変更を可能にする。複数の異なる物理モデルを用いることが可能で、ばね仕掛けのシステム、弦の振動、衝突の操縦、重力の法則、電磁場が使用できる。
【００４８】
カーソルの位置と、それぞれのカーソルがどのグラフィカルオブジェクトに位置付けられているのかとが、プログラムにより検討される。検討対象のグラフィカルオブジェクトのファンクションとして、センサーから生じたデータには、所定の処理が与えられる。例えば、（短時間の間にタッチタイル上に指により形成されたスポットの動きに対応する）ある圧力の測定は解釈可能である。また、加速、速度、軌跡等の他のパラメーターが、グラフィカルオブジェクトの性質による機能として推定される。また、異なる指を区別するために、形状認知のアルゴリズムが適用される。
【００４９】
メインプログラム１０３は、また、スクリーン１０５上に表示されるデータを、グラフィカルインターフェース１０４へ送る。更に、このグラフィカルインターフェース１０４は、グラフィカルプロセッサーにより構成されている。このグラフィカルプロセッサーは、例えば既知のタイプでも良い。後者のグラフィカルインターフェース１０４は、基本的なグラフィカルフンクションから構成されていても良い。このグラフィカルフンクションは、例えば、ビットマップ表示、ポリゴンフォントの表示、２次元又は３次元の図形の表示、ベクトルデザイン、アンチエイリアス処理、テクスチャ・マッピング、色の透明化や内挿が挙げられる。
【００５０】
本実施形態では、メインプログラムが、数学的関数の入力と計算がリアルタイムで行える数学的表示のアナライザーも備えている。これらの関数は、どの変数の値も変えることができる。例えば、グラフィカルオフジェクト内部のカーソルの座標（ｘ、ｙ）は、０と１との間の値を有する２つの変数と考えることができる。数学的表示のアナライザーにより、「ｘ*１０００+６００」というタイプの表示を作成して、１０００と１６００との間に値を持つ新しい変数を得ることができる。こうして得られた変数により、例えば、６００ヘルツと１６００ヘルツとの間の周波数を有する発信器のコントロールができる。
【００５１】
数学的表示は、ベクトル量と同様にスカラー量にも用いることができる。
数学的表示のアナライザーは、グラフィカルオフジェクトの変数を、リアルタイムで計算して処理できるツールである。
【００５２】
また、ローカルプログラム１０３は、ネットワークポート１０６に対する通信フォームにデータ形式を整える。ネットワークポート１０６は、コンピューターアプリケーションが処理されるコンピューターとデータの通信をする。
【００５３】
ネットワークインターフェースとしては、例えばＴＣＰ／ＩＰプロトコルを用いてパケットにより通信する標準インタフェースである、イーサネット（登録商標）１０／１００ＢＡＳＥ−Tがある。またネットワークインターフェースは、無線タイプであっても良い。
【００５４】
図１１に示すように、イーサネット（登録商標）接続によれば、シンプルなハブ（マルチソケットネットワーク）を用いて、本発明のコントローラーのネットワークを構成することにより、ユーザーのコントロール機器を無数に拡張できる可能性がユーザーに提供されることに注目すべきである。
【００５５】
ネットワーク内において、一つのコントローラー又は複数のコントローラーは、メッセージを相互に送る形で、コントローラー相互に又はホストコンピューターと通信する。
【００５６】
更に、機械装置を構成するユニットは、既知のタイプのバッテリー（図示せず）か、又はＡＣアダプターにより給電される。
【００５７】
更にまた、ユーザーのコンピューターのレベルにおいて、インターフェースエディター１０７により、インターフェースをグラフィカル的にプログラムすることができる。つまり、スクリーン１０５上に表示されているグラフィカルオブジェクトの全体が、グラフィカル的にプログラムすることができる。本実施形態では、インターフェース自身が、複数のシーンで構成されており、各インターフェースは高い階層構造を有している。実際、各シーンは、いくつかのインターフェースを備える。ユーザーは、入出力ポート１０９に接続されたボタンキーボード又はコントロールペダルボードを用いて、インターフェースを入れ替えることができる。
【００５８】
インターフェースエディターの他のファンクションとして、コントロールデータに、ユーザーがコントロールしたいパラメーターを割り当てることがある。
ユーザーは、例えば、パラメーター設定可能なグラフィカルオブジェクトのライブラリーを自由に持つ。このグラフィカルオブジェクトは、求められるアプリケーションに従って、異なるインターフェースを構成することを可能にする。図４及び図５には、ユーザーの意向による、いくつかのグラフィカルオブジェクトが示されている。
【００５９】
グラフィカルオブジェクトは、あらかじめ定義されたり、音楽、オーディオビジュアル機器のコントロール、またはコンピューター化された装置へ特別に専用にすることができる。例えば、直線状ポテンショメーター４０３，４０４は、音信号のボリューム、周波数のフィルターとして、連続的パラメーターのコントロールに特に適している。鋸歯状ホイール（ジョグシャトル）４０１は、例えばオーディオ又はビデオ再生機のコントロールに役立つ。また、グラフィカルオブジェクトは、既知のタイプのデブロップメント（開発）キット１０９（ＳＤＫ）を用いて、自由に開発することができる。デブロップメントキットにより、コントローラーの基本的なグラフィカルファンクションを利用できる。
【００６０】
このように、インターフェースエディター１０７により、ユーザーは、直ぐにコントロールインターフェースのパーソナライズ化が可能となる。インターフェースエディターは、ユーザーのコンピューター上で実行されるソフトウェアである。インターフェースエディターは、タイルのタッチ表面を表すメインウインドウから成り、メインウインドウ上には、ライブラリーから提案されたグラフィカルオブジェクトを配置することができる。表面上でグラフィカルオブジェクトを操作したり配置することは、例えばマウスを用いて行われる。メインウインドウ上にあるグラフィカルオブジェクトは、同時にコントローラー上にも表示されており、このグラフィカルオブジェクトはコントローラーのメモリーに記録される。都合に応じて、グラフィカルオブジェクトを後で動かしたり、次元を変えることが、コントローラーによりできる。
【００６１】
メインウインドウ上にグラフィカルオブジェクトの位置が決められると共に、他の２次ウインドウにより、グラフィカルオブジェクトに固有の異なるパラメーター（グラフィカルな性質、物理的動作）を調節することができる。例えば、ボタン４０２は、またスイッチ又はトリガーとして作動できる。トリガーモードの場合には、押圧の測定が任意に行える。パラメーター設定可能なグラフィカルオブジェクトの他の例として、２Ｄエリア５０３，５４４がある。この２Ｄエリアは、境界ゾーン内部をポーン（歩）が動き回る構成を原則とする。２Ｄエリア内部にあるポーンの数は、任意にパラメーター設定可能である。エリアは、一平面図モード又はマルチ平面図モードに設定することができる。一平面図モードは、その平面内で複数のポーンが互いに衝突し合う。マルチ平面図モードは、重なっている異なった平面内に、複数のポーンが置かれている。平面上のポーンの摩擦係数、隅にいるポーン及びポーン間の反発、引力等の物理的パラメーターもまた設定することができる。
【００６２】
またインターフェースエディターは、表面上に存在するグラフィカルオブジェクトをリストにしたり、数学的表示のアナライザー用いて、ファンクション及び変数の生成を行える。
【００６３】
そして、グラフィカルオブジェクトは、初期設定として、基本軸に対応した所定数の変数（ｘ、ｙ、ｚ・・・）を有している。これらの変数は、常に０と１との間の値を有しており、３２ビット浮動小数点形式で変化する。ユーザーは、自分がコントロールしたい、より代表的な他の値へ、これらの変数を結び付けられるはずである。そして、数学的表示のアナライザーにより、単純な数学的表示を用いて、新しい変数を作成する機会が与えられる。例えば、直線状ポテンショメーターは、基本軸であるｘを有している。ユーザーが５００Ｈｚから２５００Ｈｚの周波数をコントロールしたいならば、ａ＝２０００ｘ＋５００という変数を作成しなければならない。
【００６４】
また、状態表示オプションが望まれる。このオプションにより、パラメーターの状態を視覚的にコントロールできる。
【００６５】
主計算ユニット１０３のレベルにおいて、タイル上の操作によって、グラフィカルオブジェクトへ適用されるべき更なる処理は、グラフィカルオブジェクトそれぞれのタイプに特有である。
【００６６】
実際、仮想的直線状ポテンショメーター４０３，４０４上で指を円形に動かすことは、円形のポテンショメーター４０１の場合にはポテンショメーターの状態を変えるだろうが、直線状ポテンショメーター４０３，４０４の状態には影響を与えないだろう。同様に、あるグラフィカルオブジェクト（例えば、直線状ポテンショメーター）は、一度に一本の指を考慮するだけであるが、他のグラフィカルオブジェクト（キーボード、２Ｄエリア）は、複数の指の相互作用を受け入れる。
【００６７】
例えば、「２Ｄエリア」５０３，５０４は、表面が長方形であり、所定数のポーンを有しており、各ポーンは所定の場所に位置している。ポーンはユーザーにより動かされる。
【００６８】
全てのグラフィカルオブジェクトに対する物理系へ、以下の法則が導入される。つまり、ユーザーにより動かされたポーンは、ユーザーが該ポーンをとき放した時に、慣性による速度を得る。このように速度を得たポーンは、２Ｄエリアの隅で反発したり、またポーン間で反発する。更にポーンは、隅及びポーン間で引力及び斥力を受けると共に、エリア２Ｄの表面の摩擦係数により、所定の時間経過後には停止する。全てのこれらのパラメーターはパラメーター設定可能であろう。
【００６９】
２Ｄエリアの他の変形例には、ばね仕掛けタイプの物理法則を適用して構成されるものがある。ある仮想ゴムバンドが、各カーソル及び各ポーンの間で引き伸ばされる。ユーザーは、摩擦及び内挿ファクターを設定することにより、このグラフィカルオブジェクトの動作を変更することができる。またこれらの性質は、他のグラフィカルオブジェクトを用いて、リアルタイムに変更できる。
【００７０】
他の変形例として、マルチスライダー５０１がある。マルチスライダーは、複数のカーソルからなるテーブルであり、カーソルの数は調節可能である。マルチスライダーの典型的な使用例は、グラフィックイコライザー又はスペクトラル包絡線のコントロールである。マルチスライダーと、複数のシンプルな直線状ポテンショメーターを並列配置したものとの差は、指をスライドすることによって、複数のカーソル全体の構成を変更できることである。マルチスライダーは、また別々な弦として用いることができる。これには、ユーザーにより張力のプログラムが可能な弦の物理的モデルを、マルチスライダーに適用することで足りる。
【００７１】
異なるタイプのグラフィカルオブジェクトを結合したインターフェースの他の実施形態を視覚化したものを図６から図９に示す。上述したいくつかのグラフィカルオブジェクトが、図６から図９に見られる。
【００７２】
図６には、６つの２Ｄエリア６０１が配置されており、各２Ｄエリアには一つのポーンが含まれている。このインターフェースは、例えば、６つの異なるフィルターをコントロールでき、各フィルターは、一つ又は複数の音源に割り当てられる。この場合には、ゾーンごとにおける各ポーンの横座標の動きが、フィルターの周波数をコントロールしており、一方、縦座標の動きが、クオリティファクター又はフィルターの帯域幅をコントロールする。
【００７３】
図７には、既知のタイプの、シンセサイザー又はサンプラーのコントロールの実施形態が示されている。インターフェースは、調律されたキーボード７０４と、４つの縦型ポテンショメーター７０３のグループとから成っている。キーボードにより、音程がコントロールされ、ポテンショメーターにより、例えば動的エンベロープ（アタックタイム、ホールドレベル、リリースタイム）がコントロールされる。２Ｄエリア７０１は、３つのポーンを有しており、例えば音に適用される影響（反響音、エコー、フィルター）がコントロールされる。１６個のボタンからなるマトリックス７０２は、例えば１６個の異なる録音された音楽シークエンスをリリースしたり、又は上述したコントロールの事前記録された１６個の配置を呼び出す。
【００７４】
図８には、本発明を適用した他の実施形態が示されている。図８は、複数のラウドスピーカーにより構成されるデバイス上の空間内への、異なる音源の放送のためのデバイスのコントロールが示されている。この配置では、放送空間を表す２Ｄエリア８０１は、４つの音源に対応する４つのポーン８０１を有している。また２Ｄエリアは、５つのラウドスピーカーの位置を示す５つのアイコン８０２を有している。閉じた空間に対する各音源のレベル及び／又は位相は、各ポーン８０２を動かすことにより調節される。音源の空間内における位置は、ポーンにより定められている。また、４つの直線状ポテンショメーター８０３からなるグループにより、各音源の相対的レベルが調節される。４つのボタン８０４からなるユニットにより、各音源のＯＮ／ＯＦＦがなされる。
【００７５】
図９には、他の実施形態が示されている。図９は、図７に示されている配置とは異なったシンセサイザー又はサウンドジェネレーターのコントロールが示されている。ここでは、サウンドジェネレーターの周波数は、４つの仮想弦９０３によりコントロールされる。各弦における初期の張力（ピッチ）は、例えば直線状ポテンショメーター９０２によりコントロールされる。２Ｄエリアは、例えば出力レベル、音質、パニング等のサウンドジェネレーターの他のパラメーターをコントロールする。
【００７６】
図１０には、既知のタイプのオーディオ及び／又はビデオを編集する機器のコントロールが示されている。ジョグシャトル１００１により、オーディオ及び／又はビデオソースの再生速度がコントロールされる。状態表示オブジェクト１００２により、既知のタイプの形式（時間、分、秒、画像）に従って再生位置が示される。ボタン１００３のセットにより、コントロールされる機器の再生及び編集のファンクションを操作できる。
【００７７】
本発明が、上述したように例として説明された。当該技術分野の専門家は、本特許の範囲から逸脱することなしに、本発明の異なる変形例を実現できることが理解される。
【特許請求の範囲】
【請求項１】
触知情報を感知する多点接触の２次元センサーと、この触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスにより、コンピューター化された装置をコントロールする方法において、
透明な多点接触の触知センサーの下に位置するスクリーン上に、複数のグラフィカルオブジェクトを生成する段階を有しており、該グラフィカルオブジェクトそれぞれが少なくとも一つの所定の処理法則と結び付けられており、
前記センサーは、各感知段階中に複数の触知情報を配信し、
前記触知情報それぞれが、前記複数のグラフィカルオブジェクトの中の一つの位置との相対的な位置により定められる所定の処理の対象となることを特徴とするコンピューター化された装置をコントロールする方法。
【請求項２】
マトリックスセンサーを用いており、また該センサーの連続的スキャン段階を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項３】
前記触知センサーでの対象物の前記接触領域の境界領域の検出を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項４】
重心の検出を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項５】
少なくとも一つ前の感知段階中に実行される処理機能として、グラフィカルオブジェクトをリフレッシュする段階を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項６】
グラフィカルコンポーネント及びファンクションのライブラリーからのグラフィック表示の生成及び関連する処理法則の決定で構成される該グラフィカルオブジェクトを編集する段階を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項７】
前記触知情報の検知周波数が、５０Ｈｚ以上であることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項８】
前記デバイスが、前記コンピューター化された装置とイーサネット（登録商標）リンクにより通信することを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項９】
触知情報を感知する多点接触の２次元センサーを備えている、コンピューター化された装置をコントロールするデバイスにおいて、
前記２次元センサーの下に配された表示スクリーンと、それぞれが、少なくとも一つの処理法則と関連付けられている複数のグラフィカルオブジェクトを記録するメモリーと、感知した前記触知情報の位置を解析し且つ前記グラフィカルオブジェクトの位置との相対的な前記触知情報の位置の作用としての処理法則を適用するローカル計算機とを備えていることを特徴とするコンピューター化された装置をコントロールするデバイス。
【請求項１０】
複数のコントローラーのネットワークを形成するためのハブ（マルチソケットネットワーク）とも接続されていることを特徴とする請求項９記載のコンピューター化された装置をコントロールするデバイス。
【請求項１１】
前記多点接触で触知する前記２次元センサーは抵抗性タイルであることを特徴とする請求項９記載のコンピューター化された装置をコントロールするデバイス。
【請求項１２】
受け取ったネットワークケーブルのネットワーク出力ケーブルも備えていることを特徴とする請求項９記載のコンピューター化された装置をコントロールするデバイス。
【請求項１】
触知情報を感知する多点接触の２次元センサーと、この触知情報の作用としての命令信号を生成する計算手段とを備えたデバイスにより、コンピューター化された装置をコントロールする方法において、
透明な多点接触の触知センサーの下に位置するスクリーン上に、複数のグラフィカルオブジェクトを生成する段階を有しており、該グラフィカルオブジェクトそれぞれが少なくとも一つの所定の処理法則と結び付けられており、
前記センサーは、各感知段階中に複数の触知情報を配信し、
前記触知情報それぞれが、前記複数のグラフィカルオブジェクトの中の一つの位置との相対的な位置により定められる所定の処理の対象となることを特徴とするコンピューター化された装置をコントロールする方法。
【請求項２】
マトリックスセンサーを用いており、また該センサーの連続的スキャン段階を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項３】
前記触知センサーでの対象物の前記接触領域の境界領域の検出を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項４】
重心の検出を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項５】
少なくとも一つ前の感知段階中に実行される処理機能として、グラフィカルオブジェクトをリフレッシュする段階を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項６】
グラフィカルコンポーネント及びファンクションのライブラリーからのグラフィック表示の生成及び関連する処理法則の決定で構成される該グラフィカルオブジェクトを編集する段階を備えていることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項７】
前記触知情報の検知周波数が、５０Ｈｚ以上であることを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項８】
前記デバイスが、前記コンピューター化された装置とイーサネット（登録商標）リンクにより通信することを特徴とする請求項１記載のコンピューター化された装置をコントロールする方法。
【請求項９】
触知情報を感知する多点接触の２次元センサーを備えている、コンピューター化された装置をコントロールするデバイスにおいて、
前記２次元センサーの下に配された表示スクリーンと、それぞれが、少なくとも一つの処理法則と関連付けられている複数のグラフィカルオブジェクトを記録するメモリーと、感知した前記触知情報の位置を解析し且つ前記グラフィカルオブジェクトの位置との相対的な前記触知情報の位置の作用としての処理法則を適用するローカル計算機とを備えていることを特徴とするコンピューター化された装置をコントロールするデバイス。
【請求項１０】
複数のコントローラーのネットワークを形成するためのハブ（マルチソケットネットワーク）とも接続されていることを特徴とする請求項９記載のコンピューター化された装置をコントロールするデバイス。
【請求項１１】
前記多点接触で触知する前記２次元センサーは抵抗性タイルであることを特徴とする請求項９記載のコンピューター化された装置をコントロールするデバイス。
【請求項１２】
受け取ったネットワークケーブルのネットワーク出力ケーブルも備えていることを特徴とする請求項９記載のコンピューター化された装置をコントロールするデバイス。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−８９１５０（Ｐ２０１２−８９１５０Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１１−２６８２５８（Ｐ２０１１−２６８２５８）
【出願日】平成２３年１２月７日（２０１１．１２．７）
【分割の表示】特願２００６−５５３６２７（Ｐ２００６−５５３６２７）の分割
【原出願日】平成１７年２月２３日（２００５．２．２３）
【出願人】（５０９２７０５４６）
【氏名又は名称原語表記】ＳＴＡＮＴＵＭ
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２３年１２月７日（２０１１．１２．７）
【分割の表示】特願２００６−５５３６２７（Ｐ２００６−５５３６２７）の分割
【原出願日】平成１７年２月２３日（２００５．２．２３）
【出願人】（５０９２７０５４６）
【氏名又は名称原語表記】ＳＴＡＮＴＵＭ
【Ｆターム（参考）】
[ Back to top ]