少なくとも２個のインパクトの位置を決定するための方法
【課題】１個以上のセンサーを使用して、表面上の少なくとも２個のインパクトの位置を決定するための方法。
【解決手段】インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i=1〜n（ｎはセンサーの数）を供給する。振幅の異なる同時のインパクトを決定できるために、上記方法は、１個のインパクトの位置xを特定するステップと、各々の検知信号si(t)と位置jにおける基準インパクトRjに対応する所定の基準信号rij(t)の比較、特に相関に基づく、上記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号si’(t)を決定するステップとを有する。また、検知信号のカップルに基づいた方法と装置に関係する。
【解決手段】インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i=1〜n（ｎはセンサーの数）を供給する。振幅の異なる同時のインパクトを決定できるために、上記方法は、１個のインパクトの位置xを特定するステップと、各々の検知信号si(t)と位置jにおける基準インパクトRjに対応する所定の基準信号rij(t)の比較、特に相関に基づく、上記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号si’(t)を決定するステップとを有する。また、検知信号のカップルに基づいた方法と装置に関係する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明、１個以上のセンサーを使用して、表面上の少なくとも２個のインパクトの位置を決定するための方法に関係する。
【背景技術】
【０００２】
インタフェース板を通じて伝播する音波の認識に基づいた、触覚技術を利用したマン・マシーン・インタフェースは、容量性インタフェースのような標準的技術に基づいた接触制御マン・マシーン・インタフェースに関して多くの利点を提示する。特に、ユーザがそこにインパクトを生じさせるインタフェース板の材料は、音響技術の利用により導電性である必要はなく、さらに、例えば、指先、手袋をはめた指、スタイラス（ペン先）など、どのような手段によっても音波は発生可能であるので、インパクトをどのように生じさせるかも制限されない。
【０００３】
実際に、対象物の上を軽く叩くタップが、材質を通じて音波パターンを発生し、インパクトの位置に特有である音響学的特性を生み出す。コンピュータまたはＤＳＰボードに接続された音響センサーが、対象物内の音振動をとらえて、対応する音響学的特性を生成する。この技術は、特許文献１記載されている。
【０００４】
現在までのところ、上記技術は、一度にインタフェース手段上の１個のタップの位置を特定し、そのタップ、すなわちインパクトの特定された位置の関数として対応する動作を起動するように適応された技術である。しかし、最新の用途は、複数の同時入力の位置を特定する可能性及び／またはインタフェース手段上の入力手段のスライドする動きに対応して入力をトラッキングする可能性を有し、それにより操作性の向上と性能の向上をもたらす、マン・マシーン・インタフェースを要求している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第０３／１０７２６１（Ａ２）号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、特に、諸入力が同じ強度で行なわれない場合についてインタフェース手段上の複数のインパクトの位置を特定することができる方法を提供することである。
【課題を解決するための手段】
【０００７】
この目的は、請求項１に記載の方法と請求項７に記載の方法により達成される。
【０００８】
請求項１に記載の特徴によれば、１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法であり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給する、当該方法は、ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、ｂ）各々の検知信号si(t)と所定の基準信号rij(t)の比較、特に相関に基づく、上記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号si’(t)を決定するステップとを有する。
【０００９】
所定の基準信号rij(t)は、基準位置Rjにおけるインパクトに追従し、センサーsiによって検知された信号に相当する。実際、少なくとも２個のインパクトの位置を決定できるようになる前に、ある一定の数の基準位置Rjにおいて与えられた一連の基準インパクトに追従し、諸センサーによって検知された信号の解析によってインタラクション面が特徴付けられる。一連の基準インパクトに追従し諸センサーによって検知された信号は、さらに、数値モデル化手法(光線追跡法、有限差分法、有限要素法、境界要素法、…）を用いてモデル化することができる。
【００１０】
この文脈において、「最も強いインパクト」は、２個以上のインパクトが同じ強度である場合も含む。この場合、当該方法は、これらのインパクトのうち、以下において「最も強いインパクト」に相当するとみなされる１個を選ぶように構成される。
【００１１】
検知信号を基準信号に比較することは、認識、神経回路網等からデータ解析、音声認識、信号認識を最適化するために修正された相関を含む相関などのいずれかの適当な方法によって行なうことができる。
【００１２】
時間領域で動作する代わりに、検知信号と基準信号のフーリエ変換を利用して実現される周波数領域で修正検知信号を決定することも、本発明により、もちろん可能である。
【００１３】
本発明の方法は、インパクトが同時に発生する場合、つまりインパクトが同時であるか、または好ましくは０から数10 msまでの時間範囲の短時間の期間に互いに続く場合に、２個のインパクトの位置を特定するように適合される。
【００１４】
検知信号を所定の基準信号に相関させる特異な性質により、２番目に強いインパクトの位置を決定できるように、特定された、特に、最も強いインパクトの影響を減少できる修正センサー信号を得ることが実際に可能になり、これは両方のインパクトが同時に実行される場合にも可能である。
【００１５】
好ましくは、ステップｂ）は、特に、検知信号si(t)のフーリエ変換Si(ω)と基準信号rix(t)のフーリエ変換Rix(ω)を使用して、各々の検知信号si(t)を、最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)に相関させるステップと、各相関積を所定の関数、特に複素指数関数に当てはめるステップと、相関積から当てはめられた関数を引くステップとをさらに有することができる。
【００１６】
最も強いインパクトに最も近い基準信号に相関させることにより、信号全体に対する最も強いインパクトの寄与分を強調できる。伝播の法則とフーリエ変換の法則に従い、この寄与分は、複素指数関数の形をとる。さらに、この複素指数関数を乱す可能性のあるその他のインパクトの寄与分は、むしろ小さいので複素指数関数による相関の当てはめは、最も強い信号の寄与分の近似を可能にする。次に、この近似値は信号全体から引かれ、その結果、引き算後には強さがより小さいインパクトからの寄与分が、基本的に、残りの相関値の部分となる。
【００１７】
この残りの相関値は、次位の最も強いインパクトの位置を決定するために使用される。そうするために、最も強いインパクト に対するのと同じ方法を使用できる。この方法はまた、基準インパクトと実際のインパクトの励振が同一であるかまたは少なくとも同等である状況に特に適合されると見られる。この最後の仮定は、実際のインパクトと基準インパクトの間の距離が動作周波数の最大値に依存する波長の最小値よりも小さいときに特に妥当である。
【００１８】
有利な代替の方法によれば、ステップｂ）は、検知信号si(t)のフーリエ変換Si(ω)の各々を、最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)のフーリエ変換 Rix(ω)に相関させることによって、ｎ個の相関積Si(ω)Rix★(ω)を得ること、相関積Si(ω)Rix★(ω)をｎ個のセンサー間で平均化すること、ｎ個の相関積Si(ω)Rix★(ω)の平均の位相を決定すること、各々の相関積Si(ω)Rix★(ω)に平均の位相の複素共役を乗じて、修正された相関積を得ること、修正された相関積から実数部を引くこと、及び修正された相関積の残りの部分の各々に平均の位相を乗じることをさらに含んでなることができる。
【００１９】
第１の代替の方法と同様に、最も強いインパクトの寄与分を検知信号全体から取り除くために、最も強いインパクトの基準信号を使用した諸相関積を利用する。前述した利点に加えて、この方法は、基準励振と実際のインパクトの時間領域での波形及び／または振幅が同等ではない場合に特によく機能する。
【００２０】
有利には、ステップｂ）は、得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)を乗じて、修正検知信号si’(t)に対応する修正フーリエ変換Si’(ω)を得ることをさらに含んでなることができる。基準信号Rix(ω)の寄与分を取り除いた、最も強いインパクトが発生しなかった場合にセンサーが検知したものとされる信号と少なくとも同等である修正検知信号が得られる。したがって、この修正信号から、標準的な手順を使用して次位の最も強いインパクトを決定することができる。このタスクを実行することによって、２個の最も強いインパクトの位置を容易に決定できる。
【００２１】
好ましくは、ステップａ）は、特に、フーリエ変換Si(ω)及びRij(ω)を使用して、検知信号si(t)の各基準信号 rij(t)との相関を決定すること、及び各基準信号rij(t)との相関積をセンサー間で平均化することを含んでなることができる。検知信号を基準信号の１つずつに関係付けることは、最も強いインパクトに最も近いまたは近接する基準信号に相関させたとき、最も強いインパクトの寄与分は増幅されるため、最も強いインパクトを特定することを可能にする。すべてのセンサー間で平均化することは、最も強いインパクトの特定をさらにしやすくする。
【００２２】
好適な実施形態によると、上記の方法は、修正検知信号si’(t)またはそのフーリエ変換Si’(ω)を使用して、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有することができ、ステップｃ）は、特に、フーリエ変換Si’(ω)及びRij(ω)を使用して、各センサーの修正検知信号si’(t)の各基準信号rij(t)との相関を決定すること、各基準信号rij(t)との相関積を、好ましくは時間領域において、センサー間で平均化することを含んでなる。最も強い寄与分は原則的に除去されたことがわかっているので、前述したように、２番目に強いインパクトに最も近い基準信号との相関は、修正検知信号に対する２番目に強いインパクトの寄与分を増幅し、それにより一連の相関積の中の最大値を探すことによってその特定が可能になるので、この方法は次位の最も強いインパクトを容易に特定できるようにする。全てのセンサー間で平均化することは２番目に強いインパクトの位置を確実に特定することに寄与する。
【００２３】
上記の方法によれば、第２のインパクトの振幅が最も強いインパクトの約0.01未満である場合でも、第２のインパクトを特定することが可能である。また、両方のインパクトがほとんど同じ強度である場合にも、２番目に強いインパクトを特定することも可能である。
【００２４】
時間領域において平均化することは特に興味深い。この形態では、振幅に対して総和がとられ、相関積の平均値の最大値は下がる。このため、最も強いインパクトに最も近い位置の基準信号との相関積の、その他の相関積、つまり、最も強いインパクトからより離れた位置の基準信号との相関積の平均値に対する比として定義されるコントラストが向上される。したがって、絶対値に対して総和がとられる周波数領域における平均化に比較して、時間領域における平均化は、より弱いインパクトを特定するのを大いに助けるよりよいコントラストを提供する。
【００２５】
有利には、次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）を繰り返すことができ、毎回、ステップａ）では、前回の実行時に特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正検知信号から新しい修正検知信号が決定される。したがって、２個のインパクトを特定することが可能なだけではなく、同時に与えられた複数のインパクトを、同じアルゴリズムを使用するたびに特定することもできる。
【００２６】
本発明の目的は、請求項７に記載された方法によっても達成される。この方法は、１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定することにあり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給し、ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、検知信号si(t)のペアと対応する所定の基準信号のペアrij(t)及びri’j(t)の比較、特に相関にさらに基づく、最も強いインパクトの寄与分が減少される、検知信号si(t)に基づいた修正信号を決定するステップとを有する方法である。
【００２７】
請求項１に記載の方法に関して上に言及した定義と特性は、この第２の本発明の方法にも当てはまる。
【００２８】
この方法もまた、特に検知信号を基準信号に相関させることにより修正信号を取り出すことを可能にする。各センサーの信号を基準信号に相関させるのに代えて、ここでは２個のセンサーの相関が使用される。これは、基準励振の時間領域における励振と実際のインパクトの実際の励振を差異化できるという利点をもつ。この差異のほかにも、前述した方法に比べて同じ利点がこの方法により達成され得る。
【００２９】
有利には、ステップｂ）は、２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ること、最も強いインパクトの位置に近接する、特に最も近い基準インパクトに対応する基準信号である対応する基準信号rix(t)とri’x(t)のフーリエ変換を相関させることにより第２の相関積Rix(ω) Ri’x(ω)★を得ること、及び第１の相関積と第２の相関積を相関させて第３の相関積Si(ω) Si’(ω)★Rix(ω) Rix’(ω)★を得ること、及び第３の相関積の実数部をセンサー・カップルのすべてのペア間で平均化すること及びこの平均を第３の相関積から引き、Pii’x(ω)を得ることを含んでなることができる。この方法は、２個のインパクトの場合、第３の相関積は、４個の項、すなわち、最も強いインパクトに関係した項、それより弱いインパクトに関係した項、２個の混合項を有するという事実を利用する。上記と同様、最も強いインパクトの寄与分は減少されることになる。これは、第３の相関積の実数部の平均値を除去することにより得られる。実際に、混合項は複素数であり、諸センサーに対応し、それらの実数部はゼロ付近で振動し、ゆえに純粋に実数である強いインパクトの寄与分に相対して小さい。さらに別の仮定として、カップルの相関によるより弱いインパクト寄与分は強いインパクトの寄与分に相対して小さく、実数部の平均は最も強いインパクトに帰することができる。この実数部を第３の相関積から除去することにより、したがって、より弱いインパクトの寄与分を増幅できる。
【００３０】
有利には、当該方法は、すべての基準インパクトrmとすべてのセンサー・カップルsiとsi’について、Pii’x(ω)にRix(ω)Rim★(ω) + Ri’x★(ω)Ri’m(ω)の和を乗じること、その積の１つずつをフーリエ変換すること、及び各フーリエ変換の負時間部を正時間部に合算することを含んでなる、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有することができる。
【００３１】
これらのステップを実行することにより、最大値が得られる基準インパクト位置を単純に探すことによって次位のより弱いインパクトの位置を特定することが可能になる。この位置は第２のインパクトの１つに対応する。
【００３２】
有利には、ステップｃ）は、好ましくはは時間領域において、得られた合計値をすべてのセンサー・カップルsiとsi’で平均化することをさらに含んでなることができる。すべてのセンサー・カップル間での平均化により、信号対雑音比がよりよくなり（コントラストに関する上記説明を参照）、その結果、より強いインパクトに比較してより弱いインパクトの振幅間の比が非常に低い場合にも、より弱いインパクトの特定が可能になる。
【００３３】
有利な実施形態によれば、次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）を繰り返すことができ、毎回、ステップａ）では、前回の実行のステップｃ）で特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正信号から新しい修正信号が決定される。したがって、本方法は、２個のインパクト、特に同時に発生するインパクトに適用可能なだけではなく、さらに多くの数のインパクトにも拡張可能であり、その結果、マルチタッチのマン・マシーン・インタフェースが実現可能になる。
【００３４】
有利には、ステップａ）は、特に、フーリエ変換Si(ω)及びRij(ω)を使用して、各センサーの検知信号si(t)の各基準信号rij(t)との相関を決定すること、及び各基準信号rij(t)との相関積を、好ましくは時間領域において、諸センサー間で平均化することを含んでなることができる。検知信号を基準信号の１つずつに関係付けることは、最も強いインパクトに最も近いまたは近接する基準信号に相関させたとき、最も強いインパクトの寄与分は増幅されるため、最も強いインパクトを特定することを可能にする。すべてのセンサー間で平均化することは、最も強いインパクトの特定をさらにしやすくする。
【００３５】
代替の方法によれば、ステップａ）は、２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ること、基準信号rim(t) とri’m(t)のフーリエ変換を相関させることにより第２の相関積Rim(ω)★Ri’m(ω)を得ること、第１の相関積と第２の相関積を相関させて第３の相関積Si(ω)Si’(ω)★Rim(ω)★Rim’(ω)を得ること、及び、相関積を、好ましくは時間領域において、センサーのカップルSi とSi’間で平均化することを含んでなることができる。最も強いインパクトを特定するこのやり方においても、相関の特性を利用し、センサー間の平均の最大値を見つけることによって位置が決定される。センサーのカップルと基準信号のカップルに注目することによって、分解能が向上される。
【００３６】
修正検知信号に基づいた次位のより弱いインパクトの位置を特定するために、同じ方法がステップｃ）にも使用できる。
【００３７】
有利な実施形態によると、当該方法は、上記のような方法を使用して表面上の連続するインパクトの軌跡を決定することを含んでなることができる。この利点は、例えば、異なる位置で実質的に同時に発生する２個のインパクトを決定するために使用された前述のアルゴリズムから得られ、ある方向の表面上に指のスライドする動きが確立されるように軌跡を決定することに応用できる。
【００３８】
好ましくは、第１及び第２のインパクトが上記軌跡上の連続する位置に対応する。同時に発生するインパクトを決定するために使用された方法に何も修正を加えずとも、当該方法は軌跡を確立するためにも適合する。
【００３９】
有利な実施形態によれば、センサーは、音響センサーであり得る。この文脈で、「音響センサー」は、例えば、圧電センサー、ピエゾ抵抗センサー、磁歪センサー、容量変位センサー、レーザ干渉センサー、電磁音響センサー（ＥＭＡＴ）といった音響信号を検知できるセンサーを意味する。複数のインパクトの特定は、音響信号が処理されるときに特によく機能するようであった。
【００４０】
本発明また、上記の方法の各ステップを実行するためのコンピュータで実行可能な命令を有する１個以上のコンピュータで読取り可能な媒体を含んでなるコンピュータ・プログラム製品に関係する。
【００４１】
本発明の目的は、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための装置であり、処理ユニットと上記少なくとも２個のインパクトの結果である検知信号を上記処理ユニットへ送信するように構成、配置された１個以上のセンサーを具備する装置によっても達成され、上記処理ユニットは請求項１から１７のうちのいずれか一つに記載の方法を実行するように構成、設定される。この装置を使用して、前述の方法と同様の効果を得るこことができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の様々な実施形態を詳細に説明するために、インタフェース板と複数の音響センサーを概略的に示す。
【図２】検知信号と所定の基準信号との相関関数の最大値を示す。
【図３】本発明を理解するために有用な例における、８個の異なる音響センサーについての相関関数の最大値を示す。
【図４】図３で得られた結果を平均化することのコントラスト上の効果。
【図５ａ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図５ｂ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図５ｃ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図５ｄ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図６】本発明の第１の実施形態を示す。
【図７】第１の実施形態の第２のステップの詳細を示す。
【図８】すべての音響センサーについての相関関数SiRim★の最大値を示す。
【図９】相関関数SiRim★の最大値の平均値を示す。
【図１０】より弱いインパクトの位置を特定するためにすべての音響センサーの修正検知信号を使用した相関関数Si’Rim★の最大値を示す。
【図１１】相関関数Si’Rim★の最大値の平均値を示す。
【図１２ａ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｂ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｃ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｄ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｅ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｆ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｇ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｈ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１３】本発明の第２の実施形態の第２のステップの詳細を示す。
【図１４】第３の実施形態の処理ステップを示す。
【図１５】音響センサーのカップルと基準信号のカップルの相関を使用した最も強いインパクトの決定に使用された結果を示す。
【図１６】図１５の相関最大値の平均値を示す。
【図１７】音響センサーのカップルと基準信号のカップルの修正相関を使用して第２のインパクトを決定するのに使用された結果を示す。
【図１８】図１７の相関最大値の平均値を示す。
【発明を実施するための形態】
【００４３】
以下では、添付の図面と関連して本発明をさらに詳細に説明する。
【００４４】
図１は、インタフェース板３と複数の音響センサー５ａ〜５ｈ、ここでは８個の音響センサーを具備するマン・マシーン・インタフェース１を概略的に示す。音響センサー５ａ〜５ｈの出力は、音響センサー５ａ〜５ｈによって検知された信号を解析するように構成された処理ユニット（図示せず）へ接続される。音響センサーは、通常、増幅器とフィルタを備えた電子的調整ユニットを具備し、処理ユニットへ送信される前に最終的にアナログ信号がＡＤＣによって数値的に変換される。
【００４５】
この種のマン・マシーン・インタフェース１は、インタフェース板３を通じて伝播し、音響センサー５ａ〜５ｈによって検知される音波の認識に基づく。上記インタフェースは、自動販売機、パーソナル・コンピュータ、産業機械のインタフェース、家庭用電気製品のインタフェース、または装置に入力を供給するためにマン・マシーン・インタフェースを必要とするその他のいずれかの装置または状況などの多くの種類の装置に応用されている。入力の特定は音波に基づくので、インタフェース板３の材料は、ガラス、プラスチック板または木のような、それを通じて音波が伝播可能であるいかなる材料または混合材料であり得る。さらに、インタフェース板３の形状は、図示したような矩形である必要はなく、例えば、湾曲形状であるように、どのような形であってもよい。
【００４６】
使用された音響センサー５ａ〜５ｈは、圧電センサー型である。しかし、例えば、ピエゾ抵抗センサー、磁歪センサー、容量変位センサー、レーザ干渉センサー、電磁音響センサー（ＥＭＡＴ）などの、その他の種類の感圧センサーも使用可能である。図１の構成例では８個の音響センサー５ａ〜５ｈが使用されるが、マン・マシーン・インタフェース１の要求精度またはサイズにより、これより多数のまたは少数の音響センサーが使用され得る。図示された構成では、インタフェース板３の裏面に配置されることを示すために音響センサー５ａ〜５ｈは点線で描かれており、表面は、指先または手袋をはめた指またはスタイラス（ペン先）などを使って、ユーザがインパクトを与えることができる面である。しかしながら、マン・マシーン・インタフェース１は、この特殊な構成に制限されない。センサー５ａ〜５ｈのうちの少なくともいくつかはインパクトが発生する側のインタフェース板３の表面に配置することも本発明に適っている。
【００４７】
これらのインパクトが同時に及び／またはインタフェース板３上のスライド動作の結果として発生する場合にも、これらのインパクトの位置を決定するための方法を提供することが本発明のメリットである。しかしながら、本発明は３個のインパクトF1〜F3の特定に限定されず、利用可能な処理能力により、４個以上のインパクトに拡張可能であり、または２個だけのインパクトもあり得る。
【００４８】
各インパクトFjは励振関数ej(t)によって特徴付けられ、各センサーSiは固有の応答関数ci(t)をもつ。ここで「t」は時間を表わす。インパクトFjに位置する励振をセンサーSiの検知位置へ結び付ける関数は、hij(t)して定義される。これらの定義を用いて、インパクトFj（j = 1〜M）（図１に示した状況ではM = 3）による同時の励振または準同時の励振（例えば、0 から数10 msの時間遅延内）に対するセンサーSiの応答は次のように記述することができる。
【数１】
【００４９】
ここで、星印「★」は重畳積を表わす。以下では、式を簡単にするために、重畳積は単純な乗算積になる周波数領域で記述が行なわれる。しかしながら、すべての実施形態について、本発明の主旨から逸脱することなく、必要なデータ処理は時間領域でも実行され得る。この場合、式１は次のように記述できる。
【数２】
【００５０】
ここで，指数関数中の項「j」は-1の平方根を表わす。Si(ω)、Ci(ω)、Hij(ω)及びEj(ω)は、それぞれ、si(t)、ci(t)、hij(t)及びej(t)のフーリエ変換である。「ω」は角周波数を表わす。「τj」はj番目のインパクトの励振関数の時間遅延である。
【００５１】
さらに以下で説明されるが、実施形態による音響インパクトFjの位置の局所化は、各音響センサーSiによって検知された信号Sk(ω)の基準信号Rkm(ω)―時間領域では基準信号rkm(t)のフーリエ変換―との相関に基づく。基準信号rkm(t)は、実験的にまたは数値モデル化によって予め決定される。実際、rkm(t)は、位置Rm （m= 1〜 P）における基準インパクトに追従して音響センサーSkによって検知された基準信号に相当する。図１では、一連のこのような基準位置は「+」印で示され、基準を示すRmを付す。周波数領域における基準信号Rkmは、（検知信号の場合と同一の用語を使用して）次のとおりに表現できる。
【数３】
【００５２】
基準インパクトの励振と実際のインパクト（F1、F2 または F3）の励振が必ずしも同一である必要はないので、励振項E’m(ω)は、式（２）の同項と異なる場合もある。
【００５３】
式２と式３、ここでi = k、の数式を相関させると、下記を得る。
【数４】
【００５４】
全表面は基準インパクトRmを使用して特徴付けられたという仮定の下、基準インパクト Rnの位置に一致する位置で実際に発生するインパクトFについて、位置Rnでの基準インパクトによって得られた基準信号との以下の相関が得られる。
【数５】
【００５５】
時間領域において、式５の第１項は時間t = τnにおける相関最大値をもつが、基準励振とインパクト励振が少なくともほぼ同等であるEn ≒ E’nの場合この相関最大値は突出する。基準励振とインパクト励振が異なる場合、最大値はそれほど突出しない。
【００５６】
第２項の和は第２最大値をもつ相関を与えるが、その値はインタフェース板３の音響伝播の特性に本質的に依存する。使用材料の対称性に応じて、第２最大値が比較的重要である場合もあるが、第１項の最大値への影響は無視できるほど小さい。
【００５７】
好ましくは、インパクトの局所化を向上させるために、スペクトル振幅が１の値をもち、すべての情報が位相によって担われるように、信号は周波数領域において正規化される。この場合、信号とスペクトル振幅との自己相関が、１の相関最大値を与える。異なる信号の単一のスペクトル振幅との相互相関は、順次、１より小さい相関最大値をもつ。そうすることによって、スペクトル振幅が高いスペクトル・ゾーンの相関最大値の依存性を排除し、振幅はより低いが、局所化情報として重要とされるその他のスペクトル範囲を好都合に考慮に入れることができる。
【００５８】
図２は、位置Rnでの１個の基準インパクトと同一の位置で１個だけのインパクトが発生したという仮定の下、一連の音響センサー５ａ〜５ｈのうちの１個の音響センサーSiでの、各基準インパクトRm （図１で示したように、m = 1〜P）に対する相関関数の最大値を示す。値は、M（インパクトの数）を1として、式４から得られ、すべての所定の基準信号rim （下付き記号iは当該音響センサーに対応する）について式４の逆フーリエ変換により得た相関積の時間領域での最大値を示す。
【００５９】
図２は、相関関数の最大値の最大点は基準位置Rnで得られることを明瞭に示す。すなわち、最大点の局所化は、インタフェース板３上のインパクトFの位置を示す。
【００６０】
しかし、その他の基準位置Rm（m ≠ nのとき）の相関関数の最大値もある役割を果たす。特に、２個以上の同時のインパクトの局所化を解析しなければならない場合、基準位置Rn以外の基準位置の相関関数 ci-av （ここでも、i は当該音響センサーSi を表わしている) の最大値の平均値がある役割を果たす。ci-avの値は、信号の継続時間に強く依存し、インパクトの継続時間がより長いほど、より低くなる。
【００６１】
２個以上の音響センサーの使用（図１に示した状況では８個のように）は、局所化の分解能と信頼性を向上させることを可能にする。１個のインパクトを局所化するために複数の音響センサーが使用されるとき、相関結果を合成するのに二つの可能性がある。まず第一に、基準信号のすべてRim（m = 1〜 P）を対象とした式５の相関積の逆フーリエ変換の後、i = 1〜n （n は音響センサー数Si）とした相関結果Ciを周波数領域または時間領域で平均化することができる。
【００６２】
第１のケースでは、相関積の最大値（図２参照）と平均値 Ciavとの比であると定義されるコントラストは、絶対値の総和が行なわれる場合に一定のままである。第２のケースでは、総和は振幅に対して行なわれ、時間領域における相関積の平均値の最大値が減少する。したがって、この第２の平均化方法（以下では時間領域での平均化と呼ぶ）を使用すれば、複数の音響センサーの結果を合成するときに向上したコントラストが得られる。
【００６３】
図３は、インタラクション板３上の単一のインパクトFの場合の前述の処理ステップの実験結果を示す。この結果は、図１に示したように配置された、すなわち、各辺縁の近くに２個ずつのセンサーがインパクトの面に対してインタラクション板の裏側の面に配置された８個の音響センサー（ここでは圧電センサー）を使用した、400 x 300 x 4.5 mm3の寸法のガラス板（インタラクション板３として）について得られたものである。基準インパクトRmは、両方向に10mmのサンプリング間隔をとり、ガラス板の全表面にわたり設定された。サンプリング速度は、12ビットの精度で48kHzであった。
【００６４】
図３は、ガラス板（インタフェース板３）の中心近くのインパクトについて、８個の音響センサーSiの１つずつでの、検知信号Si(ω)のすべての基準信号Rim(ω)との相関を示す。この実験状況で観測されたコントラストは、約2.4であった。図４に示す、時間領域での平均化による８個の音響センサーの平均値では、約5.7と向上したコントラストとインパクトの位置のより明確な特定が得られる。
【００６５】
すでに述べたように、コントラストは、実験状態においても、音響センサーの数が増えると共に向上する。上記実験状態で、２個のセンサーの場合は3.7のコントラスト、４個のセンサーの場合は4.8のコントラスト、８個のセンサーの場合はすでに述べた5.7 のコントラストが観測された。
【００６６】
以下では、２個以上のインパクトがインタフェース板３で発生する状況について説明する。図５ａ〜５ｄは、２個の同時のインパクトの場合の検知信号Si(ω)のすべての基準信号Rim(ω)との相関積の最大値の平均値を示す。図５ａは２個のインパクトの励振振幅間の比が１に等しい場合の結果を示し、図５ｂは上記比が0.7に等しい場合、図５ｃは上記比が0.3に等しい場合、図５ｄは上記比が0.1に等しい場合である。図５ａと図５ｂの状況は２個のインパクトの位置を特定できる可能性を示す、すなわち、 式４と式５の相関積に基づいて、左側下の２個の位置は２個の個別の最大値を示すが、最も強いインパクトの位置での１個の最大値を示すだけである図５ｃと図５ｄに示すように、２個のインパクトの振幅の比があるしきい値を超える場合、より弱いインパクトの位置の特定はもはや不可能になる。
【００６７】
現に、インパクトの振幅間の差が重要である場合、より弱いインパクトの相関最大値は非常に低いため上記に定義した平均値 Ciavの値に達し、そのため背景に紛れてしまう。
【００６８】
第１の実施形態
図６は、上述した問題を克服する方法として、１個以上の音響センサーSi（i = 1 〜 n 、n は音響センサーの数である）を使用して、表面、ここではインタフェース板３上の少なくとも２個のインパクトF1とF2の位置を決定するための本発明の方法の第１の実施形態を示す。
【００６９】
ステップＳ１は、１個のインパクトの位置xを特定することにある。本実施形態では最も強いインパクトが特定されるが、本発明は最も強いインパクトの特定に限定されない。第１の実施形態によると、請求項１のステップａ）に相当するステップＳ１は、上記にすでに詳しく説明したように、特に、計算を容易にするために各々のフーリエ変換Si(ω)とRij(ω)を使用して、音響センサー５ａ〜５ｈの１つずつにより検知された信号si(t)の基準信号rij(t)の１つずつとの相関を決定することを含んでなる。ステップＳ１は、次に、基準信号rij(t)の１つずつとの相関積を、好ましくは時間領域において、諸音響センサーSi間で平均化することをさらに含んでなる。これらの方法ステップは、図５ａ〜５ｄに示したデータを生み出す。インタフェース板３上の最も強いインパクトの位置xは、次に、平均化した相関最大値の中の最大値を特定することによって決定される。
【００７０】
本発明の第１の実施形態の、請求項１のステップｂ）に相当するステップＳ２は、位置xでの最も強いインパクトによる寄与分が減少される、各音響センサーSiの修正検知信号si(t)を決定することを含んでなる。このステップは、検知信号si(t)の１つずつと位置Rjでの基準インパクトに対応する所定の基準信号rij(t)の相関に基づく。
【００７１】
第１の実施形態では、ステップＳ２は、図７に示す一連の処理ステップを有する。ステップＳ２＿１は、検知信号si(t) の１つずつを最も強いインパクトの位置xでの基準インパクトに対応する基準信号である基準信号rix(t)に相関させることにある。この相関は、上記のように好ましくは、検知信号si(t)のフーリエ変換Si(ω)に基準信号rix(t)のフーリエ変換Rix(ω)を乗じることにより実行される。次に、ステップＳ２＿２において、相関積の１つずつが複素指数関数に当てはめられ、ステップＳ２＿３において、次に、当てはめられた関数が対応する相関積から引かれる。ステップＳ２＿４では、次に、得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)を乗じて、修正検知信号si’(t)に対応する修正フーリエ変換Si’(ω)を得る。
【００７２】
ステップＳ１中で最も強いインパクトを得たのと同じやり方で、次に、上記修正検知信号から、ステップＳ３中で次位の最も強いインパクトの位置を決定できる。
【００７３】
２個の同時のインパクトF1とF2の場合で、当てはめられた複素指数関数を引くことの役割を今から詳しく説明することにする。当てはめられた複素指数関数を引くことによる最も強いインパクトの寄与分の除去は、以下の考察に基づく。
【００７４】
第１及び第２のインパクトF1とF2は、２個の基準インパクトの位置RxとRyに一致する２個の位置で実際に発生するという仮定の下で、式５は次のようになる。
【数６】
【００７５】
ここで、Rix★は、最も強いインパクトの位置xに対応する基準信号Rxのフーリエ変換の複素共役である。さらに、励振関数Exのフーリエ変換はE’xと同一であると考えられ、つまり、所定のインパクトと上記インパクトF1とF2は時間軸上で同一の波形を持つことを意味する。
【００７６】
式６は、第２のインパクトが弱い場合、位置yでのより弱いインパクトの位相をもつ第２項は、位置xでの第１のインパクトの位相情報をもつ第１項に相対して小さいということを明瞭にする。これは、|Ey|/|Ex| の比が１未満であることに起因する。第２のインパクトに比較して第１のインパクトが強い場合、第２のインパクトに関する情報は背景ノイズに紛れてしまう。本実施形態による本発明の方法は、第２のインパクトに関する情報とインタフェース板上のその位置検出が可能になるように、式６における第１項の寄与分を排除するまたは少なくとも減少させる処理を行なう。
【００７７】
変数 αi12 と βi1を導入し、
【数７】
【００７８】
式６は次のように記述できる。
【数８】
そして
【数９】
が１よりも小さいとき、式８は第１の近似として次のようになる。
【数１０】
【００７９】
SiRix★の特性（図９に示す）により、複素指数関数 γexp(-jωθ)は、各音響センサーSiのSiRix★を当てはめることにより、τx と βixの値を決定するために使用できる。
【００８０】
当てはめられた関数γexp(-jωθ)を相関積 SiRix★から引くことにより、下記が得られる。
【数１１】
【００８１】
次に、この結果にRixを乗じることにより、修正検知信号のフーリエ変換を得る。
【数１２】
【００８２】
以上のように、和の中の第２項の位相は、インパクトF2の信号の位相にのみ依存する。ε が第２項に比較して小さいとき、第１のインパクトの寄与分が減少されたSi’のフーリエ変換である修正検知信号が得られる。
【００８３】
第２のインパクトの位置を特定するために、式１１のS’iに基準信号Rimが乗じられ、これらの相関積最大値の中の最大値が決定される。この最大値は、ひいてはインタラクション板３上の２番目に強いインパクトが発生した位置を示す。
【００８４】
図８から図１１は、１個のインパクトの場合の前述したのと同じ実験構成における２個の同時のインパクトについての実験結果を示す。ここで、より弱いインパクトのより強いインパクトに対する振幅の比は1/10である。
【００８５】
図８は、インタフェース板３の縁部に置かれた８個の音響センサーの１つずつでの相関積SiRim★の最大値を示す。図９は、時間領域での平均化により計算された平均値の相関積の最大値を示す。図８と図９から見てとれるように、相関積の諸プロットは１個の最大値を示しており、インタラクション板３上で２個のインパクトが発生したにもかかわらず、１個の最大値を示す。
【００８６】
本発明の第１の実施形態の前述した方法ステップＳ２＿１からＳ２＿４を適用すると、図１０に示すとおりの結果が得られる。図１０でも相関積の最大値を示すが、これらの最大値はここでは修正検知信号Si’に基づいたものである。図１１は、すべての音響センサー間の対応する平均値（ここでも時間領域で平均化された）を示す。図９では第２のインパクトは見えなかった（背景のノイズに紛れて）けれども、図１０及び１１では相関最大値の中の最大値を注視することによって第２のインパクトを明瞭に特定できるのは、最も強いインパクトの寄与分が減少されている修正検知信号が使用されたためである。その結果、第１のインパクトの強度の1/10でなされた第２のインパクトの位置をインタフェース板３の右上の縁部に特定することができる。
【００８７】
図８〜１１は、振幅比が1/10の２個のインパクトのケースを示す。しかしながら、第１の実施形態の方法は、図１２ａ〜１２ｈからわかるように、広い範囲にわたる振幅比に対して機能する。図１２ａから図１２ｈの結果は、インパクトの振幅が異なるだけで、図８から図１１のケースで説明したのと同様に得られた。
【００８８】
図１２ａと図１２ｅは振幅比が１の場合の最も強いインパクトと「より弱い」インパクトの局所化の結果を示し、図１２ｂと図１２ｆは振幅比が0.7の場合の最も強いインパクトとより弱いインパクトの位置を示し、図１２ｃと図１２ｄは振幅比が0.3の場合を示し、図１２ｄと図１２ｈは振幅比がたった0.01の場合を示す。図１２は、比が１あっても第１の実施形態が機能することを示す。この場合、しかし、図１２ａで見てとれるように、２個のインパクトの位置が同時に可視となる。これは0.7の比でも同様である。けれども、対応する第２の図（１２ｅと１２ｆ）ではコントラストが対応する図１２ａと図１２ｂの場合りも高いことから、修正検知信号を使用すれば、１個のインパクトの影響を減少でき、第２の位置の正確な特定につながる。
【００８９】
第２の実施形態
本発明による第２の実施形態も１個以上の音響センサーSi、i = 1〜n（n は音響センサーの数）を使用して、インタフェース板３のような表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法に関係し、前記インパクトF1とF2は１個以上の音響センサーSiによって検知される音響信号を発生し、各音響センサーは検知信号si(t)、i = 1〜n（nは音響センサーの数）を供給する。
【００９０】
第１の実施形態と第２の実施形態の違いは、ステップＳ２（図６参照）において、修正検知信号 si’ が異なる方法で決定される点にあり、第１の実施形態に比べて時間及び空間での分解能の向上をもたらし、ユーザによるインパクトの励振の波形が所定の基準インパクトの波形と比較して異なる場合に有利に応用される。第２の実施形態によるＳ２の各ステップを図１３に示す。
【００９１】
したがって、第２の実施形態は、本質的に、Ex ≠ E’xの場合に対処する。しかしそれでも、第２の実施形態による方法は、ユーザによるインパクトと基準インパクトが本質的に同じ波形をもつ状況においてももちろん適用され得る。
【００９２】
２個のインパクトについて、式５は次のように記述できる。
【数１３】
【００９３】
ここで、第１の実施形態と同様に、重畳(convolution)はここでも検知信号Siのフーリエ変換にRix★を乗じることによって行なわれるように、最も強いインパクトが位置Rxで発生したみなされる。
【００９４】
第２のインパクトは第１のインパクトよりも相当に弱い(Ey << Ex)という仮定の下で、式１２は次のように近似される。
【数１４】
【００９５】
したがって、ステップＳ２＿１０は、位置Rxでの基準信号のフーリエ変換を示すRixとの相関積 SiRix★を決定することにある（図７のステップＳ２＿１と同様）。
【００９６】
次のステップＳ２＿１１として、コントラスト因子を最適化するために、相関積SiRix★がｎ個（この例では８個）の音響センサーSi間とすべての周波数にわたり平均化される。
【００９７】
ステップＳ２＿１２は、次に、相関積SiRix★の平均の位相を決定することにある。励振関数の位相は特有であり、すべてのセンサーSiによって検出されるので、この位相値は、本質的に、式１３における位相の値に相当する。式１２における第２項による位相寄与分は無視できる。第２項は第１項に比べて小さく、その上、平均化によりさらに減少されるためである。したがって、このように処理を進めることにより、第１項の位相を決定できる。
【００９８】
次に、ステップＳ２＿１３は、相関積SiRix★の１つずつに相関積SiRix★の平均の位相の複素共役を乗じることにあり、これにより次のように修正された相関積を得る。
【数１５】
【００９９】
ここで、Correc★ は、平均値の位相の上記の複素共役を示す。Ey << Exであると想定される場合、式１４の実数部は第１項に大部分起因するため、式１４から実数部を引く（ステップＳ２＿１４）ことにより、最も強いインパクトに起因する第１項の寄与分を減少または除去さえできる。
【０１００】
次に、ステップＳ２＿１５により、修正された相関積の残りの部分に平均の位相が乗じられ、それにより下記が得られる。
【数１６】
【０１０１】
最後に、所望の修正検知信号 Si’を得るために、ステップＳ１＿１５において得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)が再度乗じられ、これにより次のような最も強いインパクトの寄与分が減少された修正検知信号を得る。
【数１７】
【０１０２】
第２のインパクトの位置を得るために、第１の実施形態と同様に、図６に示したとおりステップｓ３をここでも実行することができる。修正検知信号Si’には、したがって、基準信号のフーリエ変換Rix★のすべてが乗じられ（時間領域での相関に相当する）、相関最大値が互いに比較される。インタフェース板３上の第２のインパクトの位置は、相関最大値中の最大値に一致する。
【０１０３】
第３の実施形態
本発明の第３の実施形態は、１個以上の音響センサーSi、i = 1〜n（n は音響センサーの数）を使用して、図１に示したインタフェース板３のような表面上の少なくとも２個のインパクトF1とF2の位置を決定するためのさらに別の方法に関係し、上記インパクトF1とF2は１個以上の音響センサーSiによって検知される音響信号を発生し、各音響センサーは検知信号si(t)、i = 1〜nを供給する。第２の実施形態と同様、第３の実施形態も、実際のインパクトの励振と所定の基準インパクトの励振が異なる場合に、インタフェース板３上の両方のインパクトの位置の局所化をそれでも達成できるように、向上した分解能を提供する。第３の実施形態の各処理ステップを図１４に示す。
【０１０４】
ステップＳ１は、第１及び第２の実施形態の同ステップに対応する。
【０１０５】
検知信号の基準信号との相関を処理する第１及び第２の実施形態とは大きく違って、第３の実施形態は、検知信号の一対になった相関(SiSi’★)と基準信号の一対になった相関(RixRix’)に基づく。
【０１０６】
式２から始めると、音響センサーSiとSi’の一対になった相関は次の形態をとる（第１の相関カップル）
【数１８】
【０１０７】
基準信号に関しては、位置Rm（図１を参照）で実現された基準インパクトに対する音響センサーRimとRi’mについて、次の相関結果が得られる（第２の相関カップル）。
【数１９】
【０１０８】
ステップＳ２−２０とステップＳ２＿２１は、したがって、式１７と式１８に示したような相関カップルを決定することにある。
【０１０９】
ステップＳ２０＿２２は、次に、第３の相関積、すなわち、SiSi’★RimRi’m★を得るために、第１の相関積と第２の相関積を相関させることにある。
【０１１０】
２個のインパクトF1とF2 が基準インパクトの位置、すなわち、RxとRyで発生したという仮定の下で、相関積SiSi’★は次のように記述できる。
【数２０】
【０１１１】
係数|Ey| < |Ex|であるとき、|Ex|2 >> |ExEy| >> |Ey|2のように、和の中の第１項は支配的であり、第２項は最小である。この場合、第２のインパクトの信号の、インパクトの位置を特定するために最も重要な情報である位相は、最も強いインパクトの背景ノイズに紛れる。しかし、ここでは第３項と第４項も第１のインパクトの情報と第２のインパクトの情報ももっている。
【０１１２】
前の実施形態と同様に、最も強いインパクトを位置Rxにとるとすると、位置Rxでの基準インパクトの相関に相関させた相関SiSi’★ は、下記を与える。
【数２１】
【０１１３】
第１の実施形態とは異なり、第３の実施形態は、第１のインパクトだけの寄与分をその寄与分を除去するために特定することを目指さずに、この寄与分の特定は、式２０では、第１項、第３項及び第４項（これらのすべでが第１のインパクトの情報をもっている）に対応しており、（特定された第１項、第３項及び第４項を除去することによって）最終的に第２項を特定するようにし、それにより第２のインパクトの位置の情報を得る。実質的には、第３の実施形態によれば、第３項と第４項の寄与分を特定することに注目し、これらを使用して第２のインパクトの位置を特定する。
【０１１４】
そうするために、ステップＳ２＿２３は、次に、第３の相関積SiSi’★RimRi’m★の実数部を音響センサー・カップルの全ペア間で平均化し、得られた平均値を第３の相関積から引くことにある。得られた結果は、以下ではPii’xと呼ぶ。
【０１１５】
式２０からわかるように、第１項は自己相関を示し、したがって実数値をもつ。第２項から第４項は複素数であり、音響センサーのすべてのカップルを総和することにより、それらの実数部は０付近を振動するという事実に基づき、それらの寄与分は強力に減少されるようである。
【０１１６】
すべてのセンサー・カップルに対してPii’Xを決定したら、第３の実施形態による方法は、この値から第２のインパクトの位置を抽出すること（ステップＳ３）へと進む。
【０１１７】
ステップＳ３＿２４は、すべての基準インパクトRmとすべてのセンサー・カップルSiとSi’について、Pii’xにRixRim★ + Ri’x★Ri’mの和を乗じることにある。
【０１１８】
次のステップ（ｓ３＿Ｓ２５）は、得られた積の１つずつをフーリエ変換することとフーリエ変換の１つ１つの負時間部を正時間部に合算することにある。
【０１１９】
ここで、Hx★Hiy項とHix Hi’y★項を除き、式２０中の第３項と第４項は複素共役項に相当するという事実を利用する。m = y （つまり第２のインパクトの位置）として、２個の結果的に生じた積のフーリエ変換は、時間軸に対して正反対の値に最大値をもつ。したがって、正しい結果を得るには、２個の積の１つを共役する必要がある。このように、ステップＳ３＿２３とＳ３＿２５を実行することによって、式２０の第３項と第４項を特定できる。
【０１２０】
図１５から図１８は、第１及び第２の実施形態で上記説明したとおりの実験設定において、振幅比が1/10である２個のインパクトについての実験結果を示す。
【０１２１】
図１５は、２８個の可能なセンサー・カップル（センサーの順列と自己相関は考慮に入れない）の検知信号の相関及び対応する基準信号RimRi’m★のカップルの相関により得られた相関最大値を示す。図１６は次に、コントラストを向上させるために平均化が時間領域で行なわれる、図１５に示した相関積の平均値をここでも示す。第１の実施形態と同様に、センサー・カップルの相関最大値中の最大値が最も強いインパクトの位置xを指し示す。この例では、最も強いインパクトの位置はインタラクション板３の右上の部分にある。
【０１２２】
これは、実質的に、最も強いインパクトの位置を決定すること（ステップＳ１）の代替的な方法に相当する。第１の実施形態のステップＳ１との違いは、１個のセンサーからの検知信号のすべての基準信号との相関を使用する代わりに、ここでの第３の実施形態では、センサーのカップルと基準信号のカップルを対象にして相関が決定される。実際に、カップルの使用は分解能を向上させ、２個のインパクトの励振関数の影響を排除する。
【０１２３】
検知信号に対して上述した方法ステップＳ２＿２０からＳ３＿２５を実行し、そして最も強いインパクトの情報を使用すると、図１７及び図１８に示した結果を得る。
【０１２４】
図１７は、ステップＳ３＿２５の終了時に得られた修正信号に基づいた、２８個のセンサー・カップルと対応する基準信号カップルの相関積の最大値を示す。図１８は、２８個のカップル間の平均値を示し、ここでもコントラストを向上させるために時間領域で平均化が行なわれる。図１６はインタフェース板３の右側上に１個のインパクトを明瞭に示しただけだが、図１８は、1/10の振幅比の場合で、第１のインパクトの下に第２のインパクトの位置を示す。
【０１２５】
第１の実施形態と同様に、大きな範囲にわたる振幅比に対して同様の結果を得ることができ、例えば、1/100から１までの振幅比において第２のインパクトを局所化できる。
【０１２６】
第１から第３の実施形態は２個の同時のインパクトの例を用いて説明されたが、すべての実施形態は３個以上の同時のインパクトを決定するように適合可能であるということを言及するのは重要である。これは、修正信号Si’を次位のより弱いインパクトの位置を決定するための開始点として毎回用いることによって実現される。
【０１２７】
もちろん、第１から第３の実施形態による方法の各ステップは、利用可能な処理能力と要求される時間的及び空間的分解能に応じて、組み合わせること及び／または交換することが可能である。特に、検知信号から開始する最も強いインパクトの位置を決定するステップは、相関SiRimにまたはカップルの相関SiSi’★Rim★Ri’m に基づくことができる（ステップＳ１）。より弱いインパクトの位置の決定の場合にも、該当位置の局所化は、相関SiRimに（第１の実施形態のように）またはカップルの相関SiSi’★Rim★Ri’m に（第３の実施形態で説明したように）基づくことができる。
【０１２８】
本発明の第４の実施形態は、表面上の連続するインパクトの軌跡を特定するために、上述した第１から第３の実施形態を、特に、ユーザによるインパクトと基準インパクトの励振の波形の差異に対して時間的分解能が向上される第２と第３の実施形態を利用する。この実施形態では、したがって、インパクトは同時ではなく、インタフェース板３上の指のスライド動作のような軌跡が、10 Hzから100 Hzのサンプリング速度で連続的な励振として解釈される。本発明の実施形態をトラッキング用途に適用する際には、軌跡上の一連の位置は、「より古い」位置をより弱いインパクトとみなし、軌跡上のより新しい位置をより強いインパクトとみなすことにより決定される。連続した曲線である実際の軌跡は、例えば、カルマン・フィルタのような適合された空間フィルタを使用して得られる。
【０１２９】
音響センサーを使用する用途について実施形態を説明してきたが、本発明の方法は、本発明の範囲を逸脱せずにその他の種類のセンサーにも適用可能である。
【０１３０】
上述した本発明の方法（第１〜第４の実施形態）は、マン・マシーン・インタフェースを必要とするどのような装置にも応用され、同時のまたは準同時の（第４の実施形態のように）インパクトの位置をそれほど負担のかかる計算能力を必要とせずに確実なやり方で決定できる利点をもつ。これは、最も強いインパクトがいったん局所化された後に、検知信号と所定の基準信号の重畳特性を利用する修正検知信号が決定されるということによる。
【技術分野】
【０００１】
本発明、１個以上のセンサーを使用して、表面上の少なくとも２個のインパクトの位置を決定するための方法に関係する。
【背景技術】
【０００２】
インタフェース板を通じて伝播する音波の認識に基づいた、触覚技術を利用したマン・マシーン・インタフェースは、容量性インタフェースのような標準的技術に基づいた接触制御マン・マシーン・インタフェースに関して多くの利点を提示する。特に、ユーザがそこにインパクトを生じさせるインタフェース板の材料は、音響技術の利用により導電性である必要はなく、さらに、例えば、指先、手袋をはめた指、スタイラス（ペン先）など、どのような手段によっても音波は発生可能であるので、インパクトをどのように生じさせるかも制限されない。
【０００３】
実際に、対象物の上を軽く叩くタップが、材質を通じて音波パターンを発生し、インパクトの位置に特有である音響学的特性を生み出す。コンピュータまたはＤＳＰボードに接続された音響センサーが、対象物内の音振動をとらえて、対応する音響学的特性を生成する。この技術は、特許文献１記載されている。
【０００４】
現在までのところ、上記技術は、一度にインタフェース手段上の１個のタップの位置を特定し、そのタップ、すなわちインパクトの特定された位置の関数として対応する動作を起動するように適応された技術である。しかし、最新の用途は、複数の同時入力の位置を特定する可能性及び／またはインタフェース手段上の入力手段のスライドする動きに対応して入力をトラッキングする可能性を有し、それにより操作性の向上と性能の向上をもたらす、マン・マシーン・インタフェースを要求している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第０３／１０７２６１（Ａ２）号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、特に、諸入力が同じ強度で行なわれない場合についてインタフェース手段上の複数のインパクトの位置を特定することができる方法を提供することである。
【課題を解決するための手段】
【０００７】
この目的は、請求項１に記載の方法と請求項７に記載の方法により達成される。
【０００８】
請求項１に記載の特徴によれば、１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法であり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給する、当該方法は、ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、ｂ）各々の検知信号si(t)と所定の基準信号rij(t)の比較、特に相関に基づく、上記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号si’(t)を決定するステップとを有する。
【０００９】
所定の基準信号rij(t)は、基準位置Rjにおけるインパクトに追従し、センサーsiによって検知された信号に相当する。実際、少なくとも２個のインパクトの位置を決定できるようになる前に、ある一定の数の基準位置Rjにおいて与えられた一連の基準インパクトに追従し、諸センサーによって検知された信号の解析によってインタラクション面が特徴付けられる。一連の基準インパクトに追従し諸センサーによって検知された信号は、さらに、数値モデル化手法(光線追跡法、有限差分法、有限要素法、境界要素法、…）を用いてモデル化することができる。
【００１０】
この文脈において、「最も強いインパクト」は、２個以上のインパクトが同じ強度である場合も含む。この場合、当該方法は、これらのインパクトのうち、以下において「最も強いインパクト」に相当するとみなされる１個を選ぶように構成される。
【００１１】
検知信号を基準信号に比較することは、認識、神経回路網等からデータ解析、音声認識、信号認識を最適化するために修正された相関を含む相関などのいずれかの適当な方法によって行なうことができる。
【００１２】
時間領域で動作する代わりに、検知信号と基準信号のフーリエ変換を利用して実現される周波数領域で修正検知信号を決定することも、本発明により、もちろん可能である。
【００１３】
本発明の方法は、インパクトが同時に発生する場合、つまりインパクトが同時であるか、または好ましくは０から数10 msまでの時間範囲の短時間の期間に互いに続く場合に、２個のインパクトの位置を特定するように適合される。
【００１４】
検知信号を所定の基準信号に相関させる特異な性質により、２番目に強いインパクトの位置を決定できるように、特定された、特に、最も強いインパクトの影響を減少できる修正センサー信号を得ることが実際に可能になり、これは両方のインパクトが同時に実行される場合にも可能である。
【００１５】
好ましくは、ステップｂ）は、特に、検知信号si(t)のフーリエ変換Si(ω)と基準信号rix(t)のフーリエ変換Rix(ω)を使用して、各々の検知信号si(t)を、最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)に相関させるステップと、各相関積を所定の関数、特に複素指数関数に当てはめるステップと、相関積から当てはめられた関数を引くステップとをさらに有することができる。
【００１６】
最も強いインパクトに最も近い基準信号に相関させることにより、信号全体に対する最も強いインパクトの寄与分を強調できる。伝播の法則とフーリエ変換の法則に従い、この寄与分は、複素指数関数の形をとる。さらに、この複素指数関数を乱す可能性のあるその他のインパクトの寄与分は、むしろ小さいので複素指数関数による相関の当てはめは、最も強い信号の寄与分の近似を可能にする。次に、この近似値は信号全体から引かれ、その結果、引き算後には強さがより小さいインパクトからの寄与分が、基本的に、残りの相関値の部分となる。
【００１７】
この残りの相関値は、次位の最も強いインパクトの位置を決定するために使用される。そうするために、最も強いインパクト に対するのと同じ方法を使用できる。この方法はまた、基準インパクトと実際のインパクトの励振が同一であるかまたは少なくとも同等である状況に特に適合されると見られる。この最後の仮定は、実際のインパクトと基準インパクトの間の距離が動作周波数の最大値に依存する波長の最小値よりも小さいときに特に妥当である。
【００１８】
有利な代替の方法によれば、ステップｂ）は、検知信号si(t)のフーリエ変換Si(ω)の各々を、最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)のフーリエ変換 Rix(ω)に相関させることによって、ｎ個の相関積Si(ω)Rix★(ω)を得ること、相関積Si(ω)Rix★(ω)をｎ個のセンサー間で平均化すること、ｎ個の相関積Si(ω)Rix★(ω)の平均の位相を決定すること、各々の相関積Si(ω)Rix★(ω)に平均の位相の複素共役を乗じて、修正された相関積を得ること、修正された相関積から実数部を引くこと、及び修正された相関積の残りの部分の各々に平均の位相を乗じることをさらに含んでなることができる。
【００１９】
第１の代替の方法と同様に、最も強いインパクトの寄与分を検知信号全体から取り除くために、最も強いインパクトの基準信号を使用した諸相関積を利用する。前述した利点に加えて、この方法は、基準励振と実際のインパクトの時間領域での波形及び／または振幅が同等ではない場合に特によく機能する。
【００２０】
有利には、ステップｂ）は、得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)を乗じて、修正検知信号si’(t)に対応する修正フーリエ変換Si’(ω)を得ることをさらに含んでなることができる。基準信号Rix(ω)の寄与分を取り除いた、最も強いインパクトが発生しなかった場合にセンサーが検知したものとされる信号と少なくとも同等である修正検知信号が得られる。したがって、この修正信号から、標準的な手順を使用して次位の最も強いインパクトを決定することができる。このタスクを実行することによって、２個の最も強いインパクトの位置を容易に決定できる。
【００２１】
好ましくは、ステップａ）は、特に、フーリエ変換Si(ω)及びRij(ω)を使用して、検知信号si(t)の各基準信号 rij(t)との相関を決定すること、及び各基準信号rij(t)との相関積をセンサー間で平均化することを含んでなることができる。検知信号を基準信号の１つずつに関係付けることは、最も強いインパクトに最も近いまたは近接する基準信号に相関させたとき、最も強いインパクトの寄与分は増幅されるため、最も強いインパクトを特定することを可能にする。すべてのセンサー間で平均化することは、最も強いインパクトの特定をさらにしやすくする。
【００２２】
好適な実施形態によると、上記の方法は、修正検知信号si’(t)またはそのフーリエ変換Si’(ω)を使用して、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有することができ、ステップｃ）は、特に、フーリエ変換Si’(ω)及びRij(ω)を使用して、各センサーの修正検知信号si’(t)の各基準信号rij(t)との相関を決定すること、各基準信号rij(t)との相関積を、好ましくは時間領域において、センサー間で平均化することを含んでなる。最も強い寄与分は原則的に除去されたことがわかっているので、前述したように、２番目に強いインパクトに最も近い基準信号との相関は、修正検知信号に対する２番目に強いインパクトの寄与分を増幅し、それにより一連の相関積の中の最大値を探すことによってその特定が可能になるので、この方法は次位の最も強いインパクトを容易に特定できるようにする。全てのセンサー間で平均化することは２番目に強いインパクトの位置を確実に特定することに寄与する。
【００２３】
上記の方法によれば、第２のインパクトの振幅が最も強いインパクトの約0.01未満である場合でも、第２のインパクトを特定することが可能である。また、両方のインパクトがほとんど同じ強度である場合にも、２番目に強いインパクトを特定することも可能である。
【００２４】
時間領域において平均化することは特に興味深い。この形態では、振幅に対して総和がとられ、相関積の平均値の最大値は下がる。このため、最も強いインパクトに最も近い位置の基準信号との相関積の、その他の相関積、つまり、最も強いインパクトからより離れた位置の基準信号との相関積の平均値に対する比として定義されるコントラストが向上される。したがって、絶対値に対して総和がとられる周波数領域における平均化に比較して、時間領域における平均化は、より弱いインパクトを特定するのを大いに助けるよりよいコントラストを提供する。
【００２５】
有利には、次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）を繰り返すことができ、毎回、ステップａ）では、前回の実行時に特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正検知信号から新しい修正検知信号が決定される。したがって、２個のインパクトを特定することが可能なだけではなく、同時に与えられた複数のインパクトを、同じアルゴリズムを使用するたびに特定することもできる。
【００２６】
本発明の目的は、請求項７に記載された方法によっても達成される。この方法は、１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定することにあり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給し、ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、検知信号si(t)のペアと対応する所定の基準信号のペアrij(t)及びri’j(t)の比較、特に相関にさらに基づく、最も強いインパクトの寄与分が減少される、検知信号si(t)に基づいた修正信号を決定するステップとを有する方法である。
【００２７】
請求項１に記載の方法に関して上に言及した定義と特性は、この第２の本発明の方法にも当てはまる。
【００２８】
この方法もまた、特に検知信号を基準信号に相関させることにより修正信号を取り出すことを可能にする。各センサーの信号を基準信号に相関させるのに代えて、ここでは２個のセンサーの相関が使用される。これは、基準励振の時間領域における励振と実際のインパクトの実際の励振を差異化できるという利点をもつ。この差異のほかにも、前述した方法に比べて同じ利点がこの方法により達成され得る。
【００２９】
有利には、ステップｂ）は、２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ること、最も強いインパクトの位置に近接する、特に最も近い基準インパクトに対応する基準信号である対応する基準信号rix(t)とri’x(t)のフーリエ変換を相関させることにより第２の相関積Rix(ω) Ri’x(ω)★を得ること、及び第１の相関積と第２の相関積を相関させて第３の相関積Si(ω) Si’(ω)★Rix(ω) Rix’(ω)★を得ること、及び第３の相関積の実数部をセンサー・カップルのすべてのペア間で平均化すること及びこの平均を第３の相関積から引き、Pii’x(ω)を得ることを含んでなることができる。この方法は、２個のインパクトの場合、第３の相関積は、４個の項、すなわち、最も強いインパクトに関係した項、それより弱いインパクトに関係した項、２個の混合項を有するという事実を利用する。上記と同様、最も強いインパクトの寄与分は減少されることになる。これは、第３の相関積の実数部の平均値を除去することにより得られる。実際に、混合項は複素数であり、諸センサーに対応し、それらの実数部はゼロ付近で振動し、ゆえに純粋に実数である強いインパクトの寄与分に相対して小さい。さらに別の仮定として、カップルの相関によるより弱いインパクト寄与分は強いインパクトの寄与分に相対して小さく、実数部の平均は最も強いインパクトに帰することができる。この実数部を第３の相関積から除去することにより、したがって、より弱いインパクトの寄与分を増幅できる。
【００３０】
有利には、当該方法は、すべての基準インパクトrmとすべてのセンサー・カップルsiとsi’について、Pii’x(ω)にRix(ω)Rim★(ω) + Ri’x★(ω)Ri’m(ω)の和を乗じること、その積の１つずつをフーリエ変換すること、及び各フーリエ変換の負時間部を正時間部に合算することを含んでなる、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有することができる。
【００３１】
これらのステップを実行することにより、最大値が得られる基準インパクト位置を単純に探すことによって次位のより弱いインパクトの位置を特定することが可能になる。この位置は第２のインパクトの１つに対応する。
【００３２】
有利には、ステップｃ）は、好ましくはは時間領域において、得られた合計値をすべてのセンサー・カップルsiとsi’で平均化することをさらに含んでなることができる。すべてのセンサー・カップル間での平均化により、信号対雑音比がよりよくなり（コントラストに関する上記説明を参照）、その結果、より強いインパクトに比較してより弱いインパクトの振幅間の比が非常に低い場合にも、より弱いインパクトの特定が可能になる。
【００３３】
有利な実施形態によれば、次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）を繰り返すことができ、毎回、ステップａ）では、前回の実行のステップｃ）で特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正信号から新しい修正信号が決定される。したがって、本方法は、２個のインパクト、特に同時に発生するインパクトに適用可能なだけではなく、さらに多くの数のインパクトにも拡張可能であり、その結果、マルチタッチのマン・マシーン・インタフェースが実現可能になる。
【００３４】
有利には、ステップａ）は、特に、フーリエ変換Si(ω)及びRij(ω)を使用して、各センサーの検知信号si(t)の各基準信号rij(t)との相関を決定すること、及び各基準信号rij(t)との相関積を、好ましくは時間領域において、諸センサー間で平均化することを含んでなることができる。検知信号を基準信号の１つずつに関係付けることは、最も強いインパクトに最も近いまたは近接する基準信号に相関させたとき、最も強いインパクトの寄与分は増幅されるため、最も強いインパクトを特定することを可能にする。すべてのセンサー間で平均化することは、最も強いインパクトの特定をさらにしやすくする。
【００３５】
代替の方法によれば、ステップａ）は、２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ること、基準信号rim(t) とri’m(t)のフーリエ変換を相関させることにより第２の相関積Rim(ω)★Ri’m(ω)を得ること、第１の相関積と第２の相関積を相関させて第３の相関積Si(ω)Si’(ω)★Rim(ω)★Rim’(ω)を得ること、及び、相関積を、好ましくは時間領域において、センサーのカップルSi とSi’間で平均化することを含んでなることができる。最も強いインパクトを特定するこのやり方においても、相関の特性を利用し、センサー間の平均の最大値を見つけることによって位置が決定される。センサーのカップルと基準信号のカップルに注目することによって、分解能が向上される。
【００３６】
修正検知信号に基づいた次位のより弱いインパクトの位置を特定するために、同じ方法がステップｃ）にも使用できる。
【００３７】
有利な実施形態によると、当該方法は、上記のような方法を使用して表面上の連続するインパクトの軌跡を決定することを含んでなることができる。この利点は、例えば、異なる位置で実質的に同時に発生する２個のインパクトを決定するために使用された前述のアルゴリズムから得られ、ある方向の表面上に指のスライドする動きが確立されるように軌跡を決定することに応用できる。
【００３８】
好ましくは、第１及び第２のインパクトが上記軌跡上の連続する位置に対応する。同時に発生するインパクトを決定するために使用された方法に何も修正を加えずとも、当該方法は軌跡を確立するためにも適合する。
【００３９】
有利な実施形態によれば、センサーは、音響センサーであり得る。この文脈で、「音響センサー」は、例えば、圧電センサー、ピエゾ抵抗センサー、磁歪センサー、容量変位センサー、レーザ干渉センサー、電磁音響センサー（ＥＭＡＴ）といった音響信号を検知できるセンサーを意味する。複数のインパクトの特定は、音響信号が処理されるときに特によく機能するようであった。
【００４０】
本発明また、上記の方法の各ステップを実行するためのコンピュータで実行可能な命令を有する１個以上のコンピュータで読取り可能な媒体を含んでなるコンピュータ・プログラム製品に関係する。
【００４１】
本発明の目的は、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための装置であり、処理ユニットと上記少なくとも２個のインパクトの結果である検知信号を上記処理ユニットへ送信するように構成、配置された１個以上のセンサーを具備する装置によっても達成され、上記処理ユニットは請求項１から１７のうちのいずれか一つに記載の方法を実行するように構成、設定される。この装置を使用して、前述の方法と同様の効果を得るこことができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の様々な実施形態を詳細に説明するために、インタフェース板と複数の音響センサーを概略的に示す。
【図２】検知信号と所定の基準信号との相関関数の最大値を示す。
【図３】本発明を理解するために有用な例における、８個の異なる音響センサーについての相関関数の最大値を示す。
【図４】図３で得られた結果を平均化することのコントラスト上の効果。
【図５ａ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図５ｂ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図５ｃ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図５ｄ】様々な振幅比の２個のインパクトの場合の相関最大値を示す。
【図６】本発明の第１の実施形態を示す。
【図７】第１の実施形態の第２のステップの詳細を示す。
【図８】すべての音響センサーについての相関関数SiRim★の最大値を示す。
【図９】相関関数SiRim★の最大値の平均値を示す。
【図１０】より弱いインパクトの位置を特定するためにすべての音響センサーの修正検知信号を使用した相関関数Si’Rim★の最大値を示す。
【図１１】相関関数Si’Rim★の最大値の平均値を示す。
【図１２ａ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｂ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｃ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｄ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｅ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｆ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｇ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１２ｈ】1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。
【図１３】本発明の第２の実施形態の第２のステップの詳細を示す。
【図１４】第３の実施形態の処理ステップを示す。
【図１５】音響センサーのカップルと基準信号のカップルの相関を使用した最も強いインパクトの決定に使用された結果を示す。
【図１６】図１５の相関最大値の平均値を示す。
【図１７】音響センサーのカップルと基準信号のカップルの修正相関を使用して第２のインパクトを決定するのに使用された結果を示す。
【図１８】図１７の相関最大値の平均値を示す。
【発明を実施するための形態】
【００４３】
以下では、添付の図面と関連して本発明をさらに詳細に説明する。
【００４４】
図１は、インタフェース板３と複数の音響センサー５ａ〜５ｈ、ここでは８個の音響センサーを具備するマン・マシーン・インタフェース１を概略的に示す。音響センサー５ａ〜５ｈの出力は、音響センサー５ａ〜５ｈによって検知された信号を解析するように構成された処理ユニット（図示せず）へ接続される。音響センサーは、通常、増幅器とフィルタを備えた電子的調整ユニットを具備し、処理ユニットへ送信される前に最終的にアナログ信号がＡＤＣによって数値的に変換される。
【００４５】
この種のマン・マシーン・インタフェース１は、インタフェース板３を通じて伝播し、音響センサー５ａ〜５ｈによって検知される音波の認識に基づく。上記インタフェースは、自動販売機、パーソナル・コンピュータ、産業機械のインタフェース、家庭用電気製品のインタフェース、または装置に入力を供給するためにマン・マシーン・インタフェースを必要とするその他のいずれかの装置または状況などの多くの種類の装置に応用されている。入力の特定は音波に基づくので、インタフェース板３の材料は、ガラス、プラスチック板または木のような、それを通じて音波が伝播可能であるいかなる材料または混合材料であり得る。さらに、インタフェース板３の形状は、図示したような矩形である必要はなく、例えば、湾曲形状であるように、どのような形であってもよい。
【００４６】
使用された音響センサー５ａ〜５ｈは、圧電センサー型である。しかし、例えば、ピエゾ抵抗センサー、磁歪センサー、容量変位センサー、レーザ干渉センサー、電磁音響センサー（ＥＭＡＴ）などの、その他の種類の感圧センサーも使用可能である。図１の構成例では８個の音響センサー５ａ〜５ｈが使用されるが、マン・マシーン・インタフェース１の要求精度またはサイズにより、これより多数のまたは少数の音響センサーが使用され得る。図示された構成では、インタフェース板３の裏面に配置されることを示すために音響センサー５ａ〜５ｈは点線で描かれており、表面は、指先または手袋をはめた指またはスタイラス（ペン先）などを使って、ユーザがインパクトを与えることができる面である。しかしながら、マン・マシーン・インタフェース１は、この特殊な構成に制限されない。センサー５ａ〜５ｈのうちの少なくともいくつかはインパクトが発生する側のインタフェース板３の表面に配置することも本発明に適っている。
【００４７】
これらのインパクトが同時に及び／またはインタフェース板３上のスライド動作の結果として発生する場合にも、これらのインパクトの位置を決定するための方法を提供することが本発明のメリットである。しかしながら、本発明は３個のインパクトF1〜F3の特定に限定されず、利用可能な処理能力により、４個以上のインパクトに拡張可能であり、または２個だけのインパクトもあり得る。
【００４８】
各インパクトFjは励振関数ej(t)によって特徴付けられ、各センサーSiは固有の応答関数ci(t)をもつ。ここで「t」は時間を表わす。インパクトFjに位置する励振をセンサーSiの検知位置へ結び付ける関数は、hij(t)して定義される。これらの定義を用いて、インパクトFj（j = 1〜M）（図１に示した状況ではM = 3）による同時の励振または準同時の励振（例えば、0 から数10 msの時間遅延内）に対するセンサーSiの応答は次のように記述することができる。
【数１】
【００４９】
ここで、星印「★」は重畳積を表わす。以下では、式を簡単にするために、重畳積は単純な乗算積になる周波数領域で記述が行なわれる。しかしながら、すべての実施形態について、本発明の主旨から逸脱することなく、必要なデータ処理は時間領域でも実行され得る。この場合、式１は次のように記述できる。
【数２】
【００５０】
ここで，指数関数中の項「j」は-1の平方根を表わす。Si(ω)、Ci(ω)、Hij(ω)及びEj(ω)は、それぞれ、si(t)、ci(t)、hij(t)及びej(t)のフーリエ変換である。「ω」は角周波数を表わす。「τj」はj番目のインパクトの励振関数の時間遅延である。
【００５１】
さらに以下で説明されるが、実施形態による音響インパクトFjの位置の局所化は、各音響センサーSiによって検知された信号Sk(ω)の基準信号Rkm(ω)―時間領域では基準信号rkm(t)のフーリエ変換―との相関に基づく。基準信号rkm(t)は、実験的にまたは数値モデル化によって予め決定される。実際、rkm(t)は、位置Rm （m= 1〜 P）における基準インパクトに追従して音響センサーSkによって検知された基準信号に相当する。図１では、一連のこのような基準位置は「+」印で示され、基準を示すRmを付す。周波数領域における基準信号Rkmは、（検知信号の場合と同一の用語を使用して）次のとおりに表現できる。
【数３】
【００５２】
基準インパクトの励振と実際のインパクト（F1、F2 または F3）の励振が必ずしも同一である必要はないので、励振項E’m(ω)は、式（２）の同項と異なる場合もある。
【００５３】
式２と式３、ここでi = k、の数式を相関させると、下記を得る。
【数４】
【００５４】
全表面は基準インパクトRmを使用して特徴付けられたという仮定の下、基準インパクト Rnの位置に一致する位置で実際に発生するインパクトFについて、位置Rnでの基準インパクトによって得られた基準信号との以下の相関が得られる。
【数５】
【００５５】
時間領域において、式５の第１項は時間t = τnにおける相関最大値をもつが、基準励振とインパクト励振が少なくともほぼ同等であるEn ≒ E’nの場合この相関最大値は突出する。基準励振とインパクト励振が異なる場合、最大値はそれほど突出しない。
【００５６】
第２項の和は第２最大値をもつ相関を与えるが、その値はインタフェース板３の音響伝播の特性に本質的に依存する。使用材料の対称性に応じて、第２最大値が比較的重要である場合もあるが、第１項の最大値への影響は無視できるほど小さい。
【００５７】
好ましくは、インパクトの局所化を向上させるために、スペクトル振幅が１の値をもち、すべての情報が位相によって担われるように、信号は周波数領域において正規化される。この場合、信号とスペクトル振幅との自己相関が、１の相関最大値を与える。異なる信号の単一のスペクトル振幅との相互相関は、順次、１より小さい相関最大値をもつ。そうすることによって、スペクトル振幅が高いスペクトル・ゾーンの相関最大値の依存性を排除し、振幅はより低いが、局所化情報として重要とされるその他のスペクトル範囲を好都合に考慮に入れることができる。
【００５８】
図２は、位置Rnでの１個の基準インパクトと同一の位置で１個だけのインパクトが発生したという仮定の下、一連の音響センサー５ａ〜５ｈのうちの１個の音響センサーSiでの、各基準インパクトRm （図１で示したように、m = 1〜P）に対する相関関数の最大値を示す。値は、M（インパクトの数）を1として、式４から得られ、すべての所定の基準信号rim （下付き記号iは当該音響センサーに対応する）について式４の逆フーリエ変換により得た相関積の時間領域での最大値を示す。
【００５９】
図２は、相関関数の最大値の最大点は基準位置Rnで得られることを明瞭に示す。すなわち、最大点の局所化は、インタフェース板３上のインパクトFの位置を示す。
【００６０】
しかし、その他の基準位置Rm（m ≠ nのとき）の相関関数の最大値もある役割を果たす。特に、２個以上の同時のインパクトの局所化を解析しなければならない場合、基準位置Rn以外の基準位置の相関関数 ci-av （ここでも、i は当該音響センサーSi を表わしている) の最大値の平均値がある役割を果たす。ci-avの値は、信号の継続時間に強く依存し、インパクトの継続時間がより長いほど、より低くなる。
【００６１】
２個以上の音響センサーの使用（図１に示した状況では８個のように）は、局所化の分解能と信頼性を向上させることを可能にする。１個のインパクトを局所化するために複数の音響センサーが使用されるとき、相関結果を合成するのに二つの可能性がある。まず第一に、基準信号のすべてRim（m = 1〜 P）を対象とした式５の相関積の逆フーリエ変換の後、i = 1〜n （n は音響センサー数Si）とした相関結果Ciを周波数領域または時間領域で平均化することができる。
【００６２】
第１のケースでは、相関積の最大値（図２参照）と平均値 Ciavとの比であると定義されるコントラストは、絶対値の総和が行なわれる場合に一定のままである。第２のケースでは、総和は振幅に対して行なわれ、時間領域における相関積の平均値の最大値が減少する。したがって、この第２の平均化方法（以下では時間領域での平均化と呼ぶ）を使用すれば、複数の音響センサーの結果を合成するときに向上したコントラストが得られる。
【００６３】
図３は、インタラクション板３上の単一のインパクトFの場合の前述の処理ステップの実験結果を示す。この結果は、図１に示したように配置された、すなわち、各辺縁の近くに２個ずつのセンサーがインパクトの面に対してインタラクション板の裏側の面に配置された８個の音響センサー（ここでは圧電センサー）を使用した、400 x 300 x 4.5 mm3の寸法のガラス板（インタラクション板３として）について得られたものである。基準インパクトRmは、両方向に10mmのサンプリング間隔をとり、ガラス板の全表面にわたり設定された。サンプリング速度は、12ビットの精度で48kHzであった。
【００６４】
図３は、ガラス板（インタフェース板３）の中心近くのインパクトについて、８個の音響センサーSiの１つずつでの、検知信号Si(ω)のすべての基準信号Rim(ω)との相関を示す。この実験状況で観測されたコントラストは、約2.4であった。図４に示す、時間領域での平均化による８個の音響センサーの平均値では、約5.7と向上したコントラストとインパクトの位置のより明確な特定が得られる。
【００６５】
すでに述べたように、コントラストは、実験状態においても、音響センサーの数が増えると共に向上する。上記実験状態で、２個のセンサーの場合は3.7のコントラスト、４個のセンサーの場合は4.8のコントラスト、８個のセンサーの場合はすでに述べた5.7 のコントラストが観測された。
【００６６】
以下では、２個以上のインパクトがインタフェース板３で発生する状況について説明する。図５ａ〜５ｄは、２個の同時のインパクトの場合の検知信号Si(ω)のすべての基準信号Rim(ω)との相関積の最大値の平均値を示す。図５ａは２個のインパクトの励振振幅間の比が１に等しい場合の結果を示し、図５ｂは上記比が0.7に等しい場合、図５ｃは上記比が0.3に等しい場合、図５ｄは上記比が0.1に等しい場合である。図５ａと図５ｂの状況は２個のインパクトの位置を特定できる可能性を示す、すなわち、 式４と式５の相関積に基づいて、左側下の２個の位置は２個の個別の最大値を示すが、最も強いインパクトの位置での１個の最大値を示すだけである図５ｃと図５ｄに示すように、２個のインパクトの振幅の比があるしきい値を超える場合、より弱いインパクトの位置の特定はもはや不可能になる。
【００６７】
現に、インパクトの振幅間の差が重要である場合、より弱いインパクトの相関最大値は非常に低いため上記に定義した平均値 Ciavの値に達し、そのため背景に紛れてしまう。
【００６８】
第１の実施形態
図６は、上述した問題を克服する方法として、１個以上の音響センサーSi（i = 1 〜 n 、n は音響センサーの数である）を使用して、表面、ここではインタフェース板３上の少なくとも２個のインパクトF1とF2の位置を決定するための本発明の方法の第１の実施形態を示す。
【００６９】
ステップＳ１は、１個のインパクトの位置xを特定することにある。本実施形態では最も強いインパクトが特定されるが、本発明は最も強いインパクトの特定に限定されない。第１の実施形態によると、請求項１のステップａ）に相当するステップＳ１は、上記にすでに詳しく説明したように、特に、計算を容易にするために各々のフーリエ変換Si(ω)とRij(ω)を使用して、音響センサー５ａ〜５ｈの１つずつにより検知された信号si(t)の基準信号rij(t)の１つずつとの相関を決定することを含んでなる。ステップＳ１は、次に、基準信号rij(t)の１つずつとの相関積を、好ましくは時間領域において、諸音響センサーSi間で平均化することをさらに含んでなる。これらの方法ステップは、図５ａ〜５ｄに示したデータを生み出す。インタフェース板３上の最も強いインパクトの位置xは、次に、平均化した相関最大値の中の最大値を特定することによって決定される。
【００７０】
本発明の第１の実施形態の、請求項１のステップｂ）に相当するステップＳ２は、位置xでの最も強いインパクトによる寄与分が減少される、各音響センサーSiの修正検知信号si(t)を決定することを含んでなる。このステップは、検知信号si(t)の１つずつと位置Rjでの基準インパクトに対応する所定の基準信号rij(t)の相関に基づく。
【００７１】
第１の実施形態では、ステップＳ２は、図７に示す一連の処理ステップを有する。ステップＳ２＿１は、検知信号si(t) の１つずつを最も強いインパクトの位置xでの基準インパクトに対応する基準信号である基準信号rix(t)に相関させることにある。この相関は、上記のように好ましくは、検知信号si(t)のフーリエ変換Si(ω)に基準信号rix(t)のフーリエ変換Rix(ω)を乗じることにより実行される。次に、ステップＳ２＿２において、相関積の１つずつが複素指数関数に当てはめられ、ステップＳ２＿３において、次に、当てはめられた関数が対応する相関積から引かれる。ステップＳ２＿４では、次に、得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)を乗じて、修正検知信号si’(t)に対応する修正フーリエ変換Si’(ω)を得る。
【００７２】
ステップＳ１中で最も強いインパクトを得たのと同じやり方で、次に、上記修正検知信号から、ステップＳ３中で次位の最も強いインパクトの位置を決定できる。
【００７３】
２個の同時のインパクトF1とF2の場合で、当てはめられた複素指数関数を引くことの役割を今から詳しく説明することにする。当てはめられた複素指数関数を引くことによる最も強いインパクトの寄与分の除去は、以下の考察に基づく。
【００７４】
第１及び第２のインパクトF1とF2は、２個の基準インパクトの位置RxとRyに一致する２個の位置で実際に発生するという仮定の下で、式５は次のようになる。
【数６】
【００７５】
ここで、Rix★は、最も強いインパクトの位置xに対応する基準信号Rxのフーリエ変換の複素共役である。さらに、励振関数Exのフーリエ変換はE’xと同一であると考えられ、つまり、所定のインパクトと上記インパクトF1とF2は時間軸上で同一の波形を持つことを意味する。
【００７６】
式６は、第２のインパクトが弱い場合、位置yでのより弱いインパクトの位相をもつ第２項は、位置xでの第１のインパクトの位相情報をもつ第１項に相対して小さいということを明瞭にする。これは、|Ey|/|Ex| の比が１未満であることに起因する。第２のインパクトに比較して第１のインパクトが強い場合、第２のインパクトに関する情報は背景ノイズに紛れてしまう。本実施形態による本発明の方法は、第２のインパクトに関する情報とインタフェース板上のその位置検出が可能になるように、式６における第１項の寄与分を排除するまたは少なくとも減少させる処理を行なう。
【００７７】
変数 αi12 と βi1を導入し、
【数７】
【００７８】
式６は次のように記述できる。
【数８】
そして
【数９】
が１よりも小さいとき、式８は第１の近似として次のようになる。
【数１０】
【００７９】
SiRix★の特性（図９に示す）により、複素指数関数 γexp(-jωθ)は、各音響センサーSiのSiRix★を当てはめることにより、τx と βixの値を決定するために使用できる。
【００８０】
当てはめられた関数γexp(-jωθ)を相関積 SiRix★から引くことにより、下記が得られる。
【数１１】
【００８１】
次に、この結果にRixを乗じることにより、修正検知信号のフーリエ変換を得る。
【数１２】
【００８２】
以上のように、和の中の第２項の位相は、インパクトF2の信号の位相にのみ依存する。ε が第２項に比較して小さいとき、第１のインパクトの寄与分が減少されたSi’のフーリエ変換である修正検知信号が得られる。
【００８３】
第２のインパクトの位置を特定するために、式１１のS’iに基準信号Rimが乗じられ、これらの相関積最大値の中の最大値が決定される。この最大値は、ひいてはインタラクション板３上の２番目に強いインパクトが発生した位置を示す。
【００８４】
図８から図１１は、１個のインパクトの場合の前述したのと同じ実験構成における２個の同時のインパクトについての実験結果を示す。ここで、より弱いインパクトのより強いインパクトに対する振幅の比は1/10である。
【００８５】
図８は、インタフェース板３の縁部に置かれた８個の音響センサーの１つずつでの相関積SiRim★の最大値を示す。図９は、時間領域での平均化により計算された平均値の相関積の最大値を示す。図８と図９から見てとれるように、相関積の諸プロットは１個の最大値を示しており、インタラクション板３上で２個のインパクトが発生したにもかかわらず、１個の最大値を示す。
【００８６】
本発明の第１の実施形態の前述した方法ステップＳ２＿１からＳ２＿４を適用すると、図１０に示すとおりの結果が得られる。図１０でも相関積の最大値を示すが、これらの最大値はここでは修正検知信号Si’に基づいたものである。図１１は、すべての音響センサー間の対応する平均値（ここでも時間領域で平均化された）を示す。図９では第２のインパクトは見えなかった（背景のノイズに紛れて）けれども、図１０及び１１では相関最大値の中の最大値を注視することによって第２のインパクトを明瞭に特定できるのは、最も強いインパクトの寄与分が減少されている修正検知信号が使用されたためである。その結果、第１のインパクトの強度の1/10でなされた第２のインパクトの位置をインタフェース板３の右上の縁部に特定することができる。
【００８７】
図８〜１１は、振幅比が1/10の２個のインパクトのケースを示す。しかしながら、第１の実施形態の方法は、図１２ａ〜１２ｈからわかるように、広い範囲にわたる振幅比に対して機能する。図１２ａから図１２ｈの結果は、インパクトの振幅が異なるだけで、図８から図１１のケースで説明したのと同様に得られた。
【００８８】
図１２ａと図１２ｅは振幅比が１の場合の最も強いインパクトと「より弱い」インパクトの局所化の結果を示し、図１２ｂと図１２ｆは振幅比が0.7の場合の最も強いインパクトとより弱いインパクトの位置を示し、図１２ｃと図１２ｄは振幅比が0.3の場合を示し、図１２ｄと図１２ｈは振幅比がたった0.01の場合を示す。図１２は、比が１あっても第１の実施形態が機能することを示す。この場合、しかし、図１２ａで見てとれるように、２個のインパクトの位置が同時に可視となる。これは0.7の比でも同様である。けれども、対応する第２の図（１２ｅと１２ｆ）ではコントラストが対応する図１２ａと図１２ｂの場合りも高いことから、修正検知信号を使用すれば、１個のインパクトの影響を減少でき、第２の位置の正確な特定につながる。
【００８９】
第２の実施形態
本発明による第２の実施形態も１個以上の音響センサーSi、i = 1〜n（n は音響センサーの数）を使用して、インタフェース板３のような表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法に関係し、前記インパクトF1とF2は１個以上の音響センサーSiによって検知される音響信号を発生し、各音響センサーは検知信号si(t)、i = 1〜n（nは音響センサーの数）を供給する。
【００９０】
第１の実施形態と第２の実施形態の違いは、ステップＳ２（図６参照）において、修正検知信号 si’ が異なる方法で決定される点にあり、第１の実施形態に比べて時間及び空間での分解能の向上をもたらし、ユーザによるインパクトの励振の波形が所定の基準インパクトの波形と比較して異なる場合に有利に応用される。第２の実施形態によるＳ２の各ステップを図１３に示す。
【００９１】
したがって、第２の実施形態は、本質的に、Ex ≠ E’xの場合に対処する。しかしそれでも、第２の実施形態による方法は、ユーザによるインパクトと基準インパクトが本質的に同じ波形をもつ状況においてももちろん適用され得る。
【００９２】
２個のインパクトについて、式５は次のように記述できる。
【数１３】
【００９３】
ここで、第１の実施形態と同様に、重畳(convolution)はここでも検知信号Siのフーリエ変換にRix★を乗じることによって行なわれるように、最も強いインパクトが位置Rxで発生したみなされる。
【００９４】
第２のインパクトは第１のインパクトよりも相当に弱い(Ey << Ex)という仮定の下で、式１２は次のように近似される。
【数１４】
【００９５】
したがって、ステップＳ２＿１０は、位置Rxでの基準信号のフーリエ変換を示すRixとの相関積 SiRix★を決定することにある（図７のステップＳ２＿１と同様）。
【００９６】
次のステップＳ２＿１１として、コントラスト因子を最適化するために、相関積SiRix★がｎ個（この例では８個）の音響センサーSi間とすべての周波数にわたり平均化される。
【００９７】
ステップＳ２＿１２は、次に、相関積SiRix★の平均の位相を決定することにある。励振関数の位相は特有であり、すべてのセンサーSiによって検出されるので、この位相値は、本質的に、式１３における位相の値に相当する。式１２における第２項による位相寄与分は無視できる。第２項は第１項に比べて小さく、その上、平均化によりさらに減少されるためである。したがって、このように処理を進めることにより、第１項の位相を決定できる。
【００９８】
次に、ステップＳ２＿１３は、相関積SiRix★の１つずつに相関積SiRix★の平均の位相の複素共役を乗じることにあり、これにより次のように修正された相関積を得る。
【数１５】
【００９９】
ここで、Correc★ は、平均値の位相の上記の複素共役を示す。Ey << Exであると想定される場合、式１４の実数部は第１項に大部分起因するため、式１４から実数部を引く（ステップＳ２＿１４）ことにより、最も強いインパクトに起因する第１項の寄与分を減少または除去さえできる。
【０１００】
次に、ステップＳ２＿１５により、修正された相関積の残りの部分に平均の位相が乗じられ、それにより下記が得られる。
【数１６】
【０１０１】
最後に、所望の修正検知信号 Si’を得るために、ステップＳ１＿１５において得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)が再度乗じられ、これにより次のような最も強いインパクトの寄与分が減少された修正検知信号を得る。
【数１７】
【０１０２】
第２のインパクトの位置を得るために、第１の実施形態と同様に、図６に示したとおりステップｓ３をここでも実行することができる。修正検知信号Si’には、したがって、基準信号のフーリエ変換Rix★のすべてが乗じられ（時間領域での相関に相当する）、相関最大値が互いに比較される。インタフェース板３上の第２のインパクトの位置は、相関最大値中の最大値に一致する。
【０１０３】
第３の実施形態
本発明の第３の実施形態は、１個以上の音響センサーSi、i = 1〜n（n は音響センサーの数）を使用して、図１に示したインタフェース板３のような表面上の少なくとも２個のインパクトF1とF2の位置を決定するためのさらに別の方法に関係し、上記インパクトF1とF2は１個以上の音響センサーSiによって検知される音響信号を発生し、各音響センサーは検知信号si(t)、i = 1〜nを供給する。第２の実施形態と同様、第３の実施形態も、実際のインパクトの励振と所定の基準インパクトの励振が異なる場合に、インタフェース板３上の両方のインパクトの位置の局所化をそれでも達成できるように、向上した分解能を提供する。第３の実施形態の各処理ステップを図１４に示す。
【０１０４】
ステップＳ１は、第１及び第２の実施形態の同ステップに対応する。
【０１０５】
検知信号の基準信号との相関を処理する第１及び第２の実施形態とは大きく違って、第３の実施形態は、検知信号の一対になった相関(SiSi’★)と基準信号の一対になった相関(RixRix’)に基づく。
【０１０６】
式２から始めると、音響センサーSiとSi’の一対になった相関は次の形態をとる（第１の相関カップル）
【数１８】
【０１０７】
基準信号に関しては、位置Rm（図１を参照）で実現された基準インパクトに対する音響センサーRimとRi’mについて、次の相関結果が得られる（第２の相関カップル）。
【数１９】
【０１０８】
ステップＳ２−２０とステップＳ２＿２１は、したがって、式１７と式１８に示したような相関カップルを決定することにある。
【０１０９】
ステップＳ２０＿２２は、次に、第３の相関積、すなわち、SiSi’★RimRi’m★を得るために、第１の相関積と第２の相関積を相関させることにある。
【０１１０】
２個のインパクトF1とF2 が基準インパクトの位置、すなわち、RxとRyで発生したという仮定の下で、相関積SiSi’★は次のように記述できる。
【数２０】
【０１１１】
係数|Ey| < |Ex|であるとき、|Ex|2 >> |ExEy| >> |Ey|2のように、和の中の第１項は支配的であり、第２項は最小である。この場合、第２のインパクトの信号の、インパクトの位置を特定するために最も重要な情報である位相は、最も強いインパクトの背景ノイズに紛れる。しかし、ここでは第３項と第４項も第１のインパクトの情報と第２のインパクトの情報ももっている。
【０１１２】
前の実施形態と同様に、最も強いインパクトを位置Rxにとるとすると、位置Rxでの基準インパクトの相関に相関させた相関SiSi’★ は、下記を与える。
【数２１】
【０１１３】
第１の実施形態とは異なり、第３の実施形態は、第１のインパクトだけの寄与分をその寄与分を除去するために特定することを目指さずに、この寄与分の特定は、式２０では、第１項、第３項及び第４項（これらのすべでが第１のインパクトの情報をもっている）に対応しており、（特定された第１項、第３項及び第４項を除去することによって）最終的に第２項を特定するようにし、それにより第２のインパクトの位置の情報を得る。実質的には、第３の実施形態によれば、第３項と第４項の寄与分を特定することに注目し、これらを使用して第２のインパクトの位置を特定する。
【０１１４】
そうするために、ステップＳ２＿２３は、次に、第３の相関積SiSi’★RimRi’m★の実数部を音響センサー・カップルの全ペア間で平均化し、得られた平均値を第３の相関積から引くことにある。得られた結果は、以下ではPii’xと呼ぶ。
【０１１５】
式２０からわかるように、第１項は自己相関を示し、したがって実数値をもつ。第２項から第４項は複素数であり、音響センサーのすべてのカップルを総和することにより、それらの実数部は０付近を振動するという事実に基づき、それらの寄与分は強力に減少されるようである。
【０１１６】
すべてのセンサー・カップルに対してPii’Xを決定したら、第３の実施形態による方法は、この値から第２のインパクトの位置を抽出すること（ステップＳ３）へと進む。
【０１１７】
ステップＳ３＿２４は、すべての基準インパクトRmとすべてのセンサー・カップルSiとSi’について、Pii’xにRixRim★ + Ri’x★Ri’mの和を乗じることにある。
【０１１８】
次のステップ（ｓ３＿Ｓ２５）は、得られた積の１つずつをフーリエ変換することとフーリエ変換の１つ１つの負時間部を正時間部に合算することにある。
【０１１９】
ここで、Hx★Hiy項とHix Hi’y★項を除き、式２０中の第３項と第４項は複素共役項に相当するという事実を利用する。m = y （つまり第２のインパクトの位置）として、２個の結果的に生じた積のフーリエ変換は、時間軸に対して正反対の値に最大値をもつ。したがって、正しい結果を得るには、２個の積の１つを共役する必要がある。このように、ステップＳ３＿２３とＳ３＿２５を実行することによって、式２０の第３項と第４項を特定できる。
【０１２０】
図１５から図１８は、第１及び第２の実施形態で上記説明したとおりの実験設定において、振幅比が1/10である２個のインパクトについての実験結果を示す。
【０１２１】
図１５は、２８個の可能なセンサー・カップル（センサーの順列と自己相関は考慮に入れない）の検知信号の相関及び対応する基準信号RimRi’m★のカップルの相関により得られた相関最大値を示す。図１６は次に、コントラストを向上させるために平均化が時間領域で行なわれる、図１５に示した相関積の平均値をここでも示す。第１の実施形態と同様に、センサー・カップルの相関最大値中の最大値が最も強いインパクトの位置xを指し示す。この例では、最も強いインパクトの位置はインタラクション板３の右上の部分にある。
【０１２２】
これは、実質的に、最も強いインパクトの位置を決定すること（ステップＳ１）の代替的な方法に相当する。第１の実施形態のステップＳ１との違いは、１個のセンサーからの検知信号のすべての基準信号との相関を使用する代わりに、ここでの第３の実施形態では、センサーのカップルと基準信号のカップルを対象にして相関が決定される。実際に、カップルの使用は分解能を向上させ、２個のインパクトの励振関数の影響を排除する。
【０１２３】
検知信号に対して上述した方法ステップＳ２＿２０からＳ３＿２５を実行し、そして最も強いインパクトの情報を使用すると、図１７及び図１８に示した結果を得る。
【０１２４】
図１７は、ステップＳ３＿２５の終了時に得られた修正信号に基づいた、２８個のセンサー・カップルと対応する基準信号カップルの相関積の最大値を示す。図１８は、２８個のカップル間の平均値を示し、ここでもコントラストを向上させるために時間領域で平均化が行なわれる。図１６はインタフェース板３の右側上に１個のインパクトを明瞭に示しただけだが、図１８は、1/10の振幅比の場合で、第１のインパクトの下に第２のインパクトの位置を示す。
【０１２５】
第１の実施形態と同様に、大きな範囲にわたる振幅比に対して同様の結果を得ることができ、例えば、1/100から１までの振幅比において第２のインパクトを局所化できる。
【０１２６】
第１から第３の実施形態は２個の同時のインパクトの例を用いて説明されたが、すべての実施形態は３個以上の同時のインパクトを決定するように適合可能であるということを言及するのは重要である。これは、修正信号Si’を次位のより弱いインパクトの位置を決定するための開始点として毎回用いることによって実現される。
【０１２７】
もちろん、第１から第３の実施形態による方法の各ステップは、利用可能な処理能力と要求される時間的及び空間的分解能に応じて、組み合わせること及び／または交換することが可能である。特に、検知信号から開始する最も強いインパクトの位置を決定するステップは、相関SiRimにまたはカップルの相関SiSi’★Rim★Ri’m に基づくことができる（ステップＳ１）。より弱いインパクトの位置の決定の場合にも、該当位置の局所化は、相関SiRimに（第１の実施形態のように）またはカップルの相関SiSi’★Rim★Ri’m に（第３の実施形態で説明したように）基づくことができる。
【０１２８】
本発明の第４の実施形態は、表面上の連続するインパクトの軌跡を特定するために、上述した第１から第３の実施形態を、特に、ユーザによるインパクトと基準インパクトの励振の波形の差異に対して時間的分解能が向上される第２と第３の実施形態を利用する。この実施形態では、したがって、インパクトは同時ではなく、インタフェース板３上の指のスライド動作のような軌跡が、10 Hzから100 Hzのサンプリング速度で連続的な励振として解釈される。本発明の実施形態をトラッキング用途に適用する際には、軌跡上の一連の位置は、「より古い」位置をより弱いインパクトとみなし、軌跡上のより新しい位置をより強いインパクトとみなすことにより決定される。連続した曲線である実際の軌跡は、例えば、カルマン・フィルタのような適合された空間フィルタを使用して得られる。
【０１２９】
音響センサーを使用する用途について実施形態を説明してきたが、本発明の方法は、本発明の範囲を逸脱せずにその他の種類のセンサーにも適用可能である。
【０１３０】
上述した本発明の方法（第１〜第４の実施形態）は、マン・マシーン・インタフェースを必要とするどのような装置にも応用され、同時のまたは準同時の（第４の実施形態のように）インパクトの位置をそれほど負担のかかる計算能力を必要とせずに確実なやり方で決定できる利点をもつ。これは、最も強いインパクトがいったん局所化された後に、検知信号と所定の基準信号の重畳特性を利用する修正検知信号が決定されるということによる。
【特許請求の範囲】
【請求項１】
１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法であり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給し、
ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、
ｂ）各々の検知信号si(t)と位置jにおける基準インパクトRjに対応する所定の基準信号rij(t)の比較、特に相関に基づく、前記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号si’(t)を決定するステップと、
を有する方法。
【請求項２】
ステップｂ）は、
ｂ１）特に、検知信号si(t)のフーリエ変換Si(ω)と基準信号rix(t)のフーリエ変換Rix(ω)を使用して、各々の検知信号si(t)を、前記最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)に相関させるステップと、
ｂ２）各相関積を所定の関数、特に複素指数関数に当てはめるステップと、
ｂ３）相関積から当てはめられた関数を引くステップと、
を有する、請求項１に記載の方法。
【請求項３】
ステップｂ）は、
ｂ１）検知信号si(t)のフーリエ変換Si(ω)の各々を、前記最も強いインパクトの位置xに近接する、前記特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)のフーリエ変換 Rix(ω)に相関させることによって、ｎ個の相関積Si(ω)Rix★(ω)を得ることと、
ｂ２）相関積Si(w)Rix★(ω)をｎ個のセンサー間で平均化することと、
ｂ３）ｎ個の相関積Si(ω)Rix★(ω)の平均の位相を決定することと、
ｂ４）各々の相関積Si(ω)Rix★(ω)に平均の位相の複素共役を乗じることにより、修正された相関積を得ることと、
ｂ５）修正された相関積から実数部を引くことと、
ｂ６）修正された相関積の残りの部分の各々に平均の位相を乗じることと、
を含んでなる、請求項１に記載の方法。
【請求項４】
ステップｂ）は、得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)を乗じることにより、修正検知信号si’(t)に対応する修正フーリエ変換Si’(ω)を得ることをさらに含んでなる、請求項２または請求項３に記載の方法。
【請求項５】
修正検知信号si’(t)またはそのフーリエ変換Si’(ω)を使用して、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有し、ステップｃ）は、
- 特に、フーリエ変換Si’(ω)及びRij(ω)を使用して、各センサーの修正検知信号si’(t)の各基準信号rij(t)との相関を決定することと、
- 各基準信号rij(t)との相関積を、好ましくは時間領域において、センサー間で平均化することと、
を含んでなる、請求項１から請求項４のいずれかに記載の方法。
【請求項６】
次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）が繰り返され、毎回、ステップａ）では、前回の実行時に特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正検知信号から新しい修正検知信号が決定される、請求項１から請求項５のいずれかに記載の方法。
【請求項７】
１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法であり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給し、
ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、
ｂ）検知信号のペアsi(t)及びsi’(t)と前記特定された基準インパクトにRjに対応する所定の基準信号のペアrij(t)及びri’j(t)の比較、特に相関にさらに基づく、最も強いインパクトの寄与分が減少される、検知信号si(t)に基づいた修正信号を決定するステップと、
を有する方法。
【請求項８】
ステップｂ）は、
ｂ１）２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ることと、
ｂ２）最も強いインパクトの位置に近接する、特に最も近い基準インパクトに対応する基準信号である、対応する基準信号rix(t)とri’x(t)のフーリエ変換を相関させることにより第２の相関積Rix(ω)★Ri’x(ω)を得ることと、
ｂ３）第１の相関積と第２の相関積を相関させて第３の相関積Si(ω) Si’(ω)★Rix(ω)★Rix’(ω)を得ることと、
ｂ４）第３の相関積をセンサー・カップルの実数部のすべてのペア間で平均化すること及びこの平均を第３の相関積から引き、Pii’x(ω)を得ることと、
を含んでなる、請求項７に記載の方法。
【請求項９】
次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有し、ステップｃ）は、
- すべての基準インパクトRmとすべてのセンサー・カップルSi及びSi’について、Pii’x(ω)にRixRim★ + Ri’x★Ri’mの和を乗じることと、
- その積の１つずつをフーリエ変換することと、
- 各フーリエ変換の負時間部を正時間部に合算することと、
を含んでなる、請求項７または請求項８のいずれかに記載の方法。
【請求項１０】
ステップｃ）は、好ましくは時間領域において、得られた合計値をすべてのセンサー・カップルSi及びSi’で平均化することをさらに含んでなる、請求項９に記載の方法。
【請求項１１】
次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）が繰り返され、毎回、ステップａ）では、前回の実行のステップｃ）で特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正信号から新しい修正信号が決定される、請求項７から請求項１０のいずれかに記載の方法。
【請求項１２】
ステップａ）は、
- 特に、フーリエ変換Si(ω)及びRij(ω)を使用して、各センサーの検知信号si(t)の各基準信号rij(t)との相関を決定することと、
- 各基準信号rij(t)との相関積を、好ましくは時間領域において、諸センサー間で平均化することと、
を含んでなる、請求項１から請求項１１のいずれかに記載の方法。
【請求項１３】
ステップａ）は、
- ２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ることと、
- 基準信号rim(t)とri’m(t)のフーリエ変換を相関させることにより第２の相関積Rim(ω)★Ri’m(ω)を得ることと、
- 第１の相関積と第２の相関積を相関させて第３の相関積Si(ω) Si’(ω)★Rim(ω)★Rim’(ω)を得ることと、
- 相関積を、好ましくは時間領域において、センサーのカップルSi とSi’の間で平均化すること、
を含んでなる、請求項１から請求項１１のいずれかに記載の方法。
【請求項１４】
請求項１から請求項１３のいずれかに記載の方法を使用して、表面上の連続するインパクトの軌跡を決定するための方法。
【請求項１５】
第１及び第２のインパクトが前記軌跡上の連続する位置に対応する、請求項１４に記載の方法。
【請求項１６】
前記センサーは音響センサーである、請求項１から請求項１５のいずれかに記載の方法。
【請求項１７】
請求項１から請求項１６のうちのいずれか一つに記載の方法の各ステップを実行するためのコンピュータで実行可能な命令を有する１個以上のコンピュータで読取り可能な媒体を含んでなるコンピュータ・プログラム。
【請求項１８】
表面上の少なくとも２個のインパクトF1とF2の位置を決定するための装置であり、
- 処理ユニットと、
- 前記少なくとも２個のインパクトの結果である検知信号を前記処理ユニットへ送信するように構成、配置された１個以上のセンサーと、を具備し、
前記処理ユニットは、請求項１から請求項１７のいずれかに記載の方法を実行するように構成、設定される、装置。
【請求項１】
１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法であり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給し、
ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、
ｂ）各々の検知信号si(t)と位置jにおける基準インパクトRjに対応する所定の基準信号rij(t)の比較、特に相関に基づく、前記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号si’(t)を決定するステップと、
を有する方法。
【請求項２】
ステップｂ）は、
ｂ１）特に、検知信号si(t)のフーリエ変換Si(ω)と基準信号rix(t)のフーリエ変換Rix(ω)を使用して、各々の検知信号si(t)を、前記最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)に相関させるステップと、
ｂ２）各相関積を所定の関数、特に複素指数関数に当てはめるステップと、
ｂ３）相関積から当てはめられた関数を引くステップと、
を有する、請求項１に記載の方法。
【請求項３】
ステップｂ）は、
ｂ１）検知信号si(t)のフーリエ変換Si(ω)の各々を、前記最も強いインパクトの位置xに近接する、前記特に最も近い基準インパクトに対応する複数の基準信号rij(t)のうちの基準信号である、基準信号rix(t)のフーリエ変換 Rix(ω)に相関させることによって、ｎ個の相関積Si(ω)Rix★(ω)を得ることと、
ｂ２）相関積Si(w)Rix★(ω)をｎ個のセンサー間で平均化することと、
ｂ３）ｎ個の相関積Si(ω)Rix★(ω)の平均の位相を決定することと、
ｂ４）各々の相関積Si(ω)Rix★(ω)に平均の位相の複素共役を乗じることにより、修正された相関積を得ることと、
ｂ５）修正された相関積から実数部を引くことと、
ｂ６）修正された相関積の残りの部分の各々に平均の位相を乗じることと、
を含んでなる、請求項１に記載の方法。
【請求項４】
ステップｂ）は、得られた結果に基準信号rix(t)のフーリエ変換Rix(ω)を乗じることにより、修正検知信号si’(t)に対応する修正フーリエ変換Si’(ω)を得ることをさらに含んでなる、請求項２または請求項３に記載の方法。
【請求項５】
修正検知信号si’(t)またはそのフーリエ変換Si’(ω)を使用して、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有し、ステップｃ）は、
- 特に、フーリエ変換Si’(ω)及びRij(ω)を使用して、各センサーの修正検知信号si’(t)の各基準信号rij(t)との相関を決定することと、
- 各基準信号rij(t)との相関積を、好ましくは時間領域において、センサー間で平均化することと、
を含んでなる、請求項１から請求項４のいずれかに記載の方法。
【請求項６】
次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）が繰り返され、毎回、ステップａ）では、前回の実行時に特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正検知信号から新しい修正検知信号が決定される、請求項１から請求項５のいずれかに記載の方法。
【請求項７】
１個以上のセンサーSi、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための方法であり、前記インパクトF1とF2は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号si(t)、i = 1〜n（ｎはセンサーの数）を供給し、
ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、
ｂ）検知信号のペアsi(t)及びsi’(t)と前記特定された基準インパクトにRjに対応する所定の基準信号のペアrij(t)及びri’j(t)の比較、特に相関にさらに基づく、最も強いインパクトの寄与分が減少される、検知信号si(t)に基づいた修正信号を決定するステップと、
を有する方法。
【請求項８】
ステップｂ）は、
ｂ１）２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ることと、
ｂ２）最も強いインパクトの位置に近接する、特に最も近い基準インパクトに対応する基準信号である、対応する基準信号rix(t)とri’x(t)のフーリエ変換を相関させることにより第２の相関積Rix(ω)★Ri’x(ω)を得ることと、
ｂ３）第１の相関積と第２の相関積を相関させて第３の相関積Si(ω) Si’(ω)★Rix(ω)★Rix’(ω)を得ることと、
ｂ４）第３の相関積をセンサー・カップルの実数部のすべてのペア間で平均化すること及びこの平均を第３の相関積から引き、Pii’x(ω)を得ることと、
を含んでなる、請求項７に記載の方法。
【請求項９】
次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有し、ステップｃ）は、
- すべての基準インパクトRmとすべてのセンサー・カップルSi及びSi’について、Pii’x(ω)にRixRim★ + Ri’x★Ri’mの和を乗じることと、
- その積の１つずつをフーリエ変換することと、
- 各フーリエ変換の負時間部を正時間部に合算することと、
を含んでなる、請求項７または請求項８のいずれかに記載の方法。
【請求項１０】
ステップｃ）は、好ましくは時間領域において、得られた合計値をすべてのセンサー・カップルSi及びSi’で平均化することをさらに含んでなる、請求項９に記載の方法。
【請求項１１】
次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）が繰り返され、毎回、ステップａ）では、前回の実行のステップｃ）で特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正信号から新しい修正信号が決定される、請求項７から請求項１０のいずれかに記載の方法。
【請求項１２】
ステップａ）は、
- 特に、フーリエ変換Si(ω)及びRij(ω)を使用して、各センサーの検知信号si(t)の各基準信号rij(t)との相関を決定することと、
- 各基準信号rij(t)との相関積を、好ましくは時間領域において、諸センサー間で平均化することと、
を含んでなる、請求項１から請求項１１のいずれかに記載の方法。
【請求項１３】
ステップａ）は、
- ２個の検知信号si(t)とsi’(t)のフーリエ変換を相関させることにより第１の相関積Si(ω) Si’(ω)★を得ることと、
- 基準信号rim(t)とri’m(t)のフーリエ変換を相関させることにより第２の相関積Rim(ω)★Ri’m(ω)を得ることと、
- 第１の相関積と第２の相関積を相関させて第３の相関積Si(ω) Si’(ω)★Rim(ω)★Rim’(ω)を得ることと、
- 相関積を、好ましくは時間領域において、センサーのカップルSi とSi’の間で平均化すること、
を含んでなる、請求項１から請求項１１のいずれかに記載の方法。
【請求項１４】
請求項１から請求項１３のいずれかに記載の方法を使用して、表面上の連続するインパクトの軌跡を決定するための方法。
【請求項１５】
第１及び第２のインパクトが前記軌跡上の連続する位置に対応する、請求項１４に記載の方法。
【請求項１６】
前記センサーは音響センサーである、請求項１から請求項１５のいずれかに記載の方法。
【請求項１７】
請求項１から請求項１６のうちのいずれか一つに記載の方法の各ステップを実行するためのコンピュータで実行可能な命令を有する１個以上のコンピュータで読取り可能な媒体を含んでなるコンピュータ・プログラム。
【請求項１８】
表面上の少なくとも２個のインパクトF1とF2の位置を決定するための装置であり、
- 処理ユニットと、
- 前記少なくとも２個のインパクトの結果である検知信号を前記処理ユニットへ送信するように構成、配置された１個以上のセンサーと、を具備し、
前記処理ユニットは、請求項１から請求項１７のいずれかに記載の方法を実行するように構成、設定される、装置。
【図１】
【図２】
【図６】
【図７】
【図１３】
【図１４】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２ａ】
【図１２ｂ】
【図１２ｃ】
【図１２ｄ】
【図１２ｅ】
【図１２ｆ】
【図１２ｇ】
【図１２ｈ】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図６】
【図７】
【図１３】
【図１４】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２ａ】
【図１２ｂ】
【図１２ｃ】
【図１２ｄ】
【図１２ｅ】
【図１２ｆ】
【図１２ｇ】
【図１２ｈ】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００９−１８１５７０（Ｐ２００９−１８１５７０Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−３２４４３１（Ｐ２００８−３２４４３１）
【出願日】平成２０年１２月１９日（２００８．１２．１９）
【出願人】（５０８１７７４８２）
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−３２４４３１（Ｐ２００８−３２４４３１）
【出願日】平成２０年１２月１９日（２００８．１２．１９）
【出願人】（５０８１７７４８２）
【Ｆターム（参考）】
[ Back to top ]