インタフェースシステム
【課題】身体をセンシング領域とするインタフェースにおいて、使用者が気軽に常時装着することが可能で、使用者の意図する多様な入力情報を少ないセンサ構成で安定的して生成できるインタフェースシステムを提供する。
【解決手段】身体に装着された振動入力用アクチュエータで骨導音を発生させ、身体に装着された骨伝導マイクロフォンで身体の姿勢や身体への接触に対する骨導音の信号の変化を取得し、信号変化から身体の姿勢や接触位置を推定し、入力情報を生成するインタフェースシステムである。
【解決手段】身体に装着された振動入力用アクチュエータで骨導音を発生させ、身体に装着された骨伝導マイクロフォンで身体の姿勢や身体への接触に対する骨導音の信号の変化を取得し、信号変化から身体の姿勢や接触位置を推定し、入力情報を生成するインタフェースシステムである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体に装着されて用いられるインタフェースであって、特に腕の骨を伝わる骨導音を利用したインタフェース技術に関する。
【背景技術】
【０００２】
近年、利用したいときに直ぐに機器操作、行動記録、情報提供などを利用可能とする、身体のセンシングを利用する身体に装着が可能なインタフェースの研究開発が行われている。
【０００３】
身体を操作領域や情報の伝達経路に用いることで、接触情報をセンシングして入力インタフェースとして利用すること、運動をセンシングして例えば、コントローラーとして利用することが可能となる。これらインタフェースの条件としては、直感的で安定した操作性、屋内外など無理なく使用できる環境に対する頑健性、身体に装着可能とする小型・軽量化や、様々なコマンドやアプリケーションに利用できる汎用性など、使用者が外部環境を気にせず、いつでも直感的・安定的に操作でき、装着しても日常生活を妨げない常時装着が可能なインタフェース技術が求められている。
【０００４】
従来、常時装着を目的とした身体センシングを用いたインタフェースとして、手指をセンサシステムの一部とした小型のインタフェースが開発されている。指輪型の加速度センサを各指の根元に装着し、机や大腿部などの任意面上への打腱によって生じた振動を入力とする指輪型インタフェース「指釦」（非特許文献１）、親指と人差し指を接触させて形成される「指の輪」の開閉状態を、指に流した電流によって識別する指輪型インタフェース「指にゃ」（非特許文献２）が知られている。
【０００５】
また、骨伝導を用いたものでは、端末を把持した指先と指の付け根が接触する位置にそれぞれ骨伝導マイクロフォンを配置し、手の甲をタップした際のタップされた位置の推定結果を入力として使用するＦｉｎｇｅｒＫｅｙｐａｄがある（特許文献１）（非特許文献３）。これらのインタフェースは、小型・軽量でシンプルな構造を実現しているが、入力に指を用いるため入力インタフェースを指に直接装着する必要があり、操作性の観点から日常使用するには負担が大きく、また誤動作が生じる危険性を含むといった問題がある。
【０００６】
指ではなく、腕を操作領域とし、外部からタップした衝突位置の推定をインタフェースとして用いる方法も提案されている。非特許文献４には、５つのセンサ素子を有する２組のセンサアレイを、それぞれ橈骨と尺骨に当るように配置することで、腕をタップしたときの骨を伝わる骨導音と肉を伝わる肉伝導音の両方を計測し、そのタップによる衝突位置を推定する方法が提案されている。また、本発明者らは、非特許文献５にて接触推定に生体骨を伝わる骨導音を利用する方法を提案しており、腕をタップした際に生じる骨導音を、２個の骨伝導マイクロフォンによって検出し、タップによる衝突位置を推定して、インタフェースに利用する方法を開示している。
【０００７】
しかしながら、これらの方法は、腕のタップによる衝突位置のみが入力信号となっており、より複雑な操作が行える入力インタフェースとするには、衝突位置を増やして入力量を高める必要があるが、そのためには、身体により多くのセンサを装着する必要がある。そのため小型・軽量化の点で、常時装着性が損なわれてくることになり、使用者の拘束感も増大させることになる。加えて、コストの面でも高くなるといった問題がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開ＷＯ２００９／０７８３５０
【非特許文献】
【０００９】
【非特許文献１】福本雅朗，外村佳伸:指釦：手首装着型コマンド入力機構御．情報処理学会論文誌，vol.40, no.2,pp.389-398,1999.
【非特許文献２】野田早織，星貴之，篠田裕之．指にゃ：指の輪を検出する指輪．情報処理学会インタラクション2009論文集，pp.135-136，2009.
【非特許文献３】則枝真，村田一仁，仙洞田充，三橋秀行.Fingerkeypａd：指へのタップ入力によるモバイル機器操作．情報処理学会インタラクション2010論文集，PＡ15，2010.
【非特許文献４】Chris Hａrrison, Desney Tａn, ａnd Dａn Morris. Skinput：Ａppropriａting the ｂodyａs ａn input surfａce. In Proceeding of the 28th Ａnnuａl SIGCHI Conference on Humａn Fａctors in Computing Systems, pp.453-462, 2010.
【非特許文献５】伊藤晃大，竹村憲太郎，末永剛，高松淳，小笠原司．前腕骨を伝達経路とする骨導音を利用した常時装着インタフェース．第28回日本ロボット学会学術講演会予稿集．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した従来の入力インタフェースにおいて、手指を操作領域に使う方法では、指にセンサを直接装着する必要があり、日常使用するには負担が大きく、また、誤動作が生じる危険性を含むといった問題がある。
【００１１】
また、腕を操作領域に使う方法では、タップによる衝突位置のみが入力信号となっており、タップ箇所、すなわち衝突位置を増やして入力量を高め、より複雑な操作が行える入力インタフェースとするには、身体により多くのセンサを装着する必要がある。そのため小型・軽量化の点で常時の装着性が損なわれてくることになるなり、使用者の拘束感も増大させることになる。加えて、コストの面でも高くなるといった問題がある。
【００１２】
このような問題に鑑みて、本発明は、身体をセンシング領域とするインタフェースにおいて、使用者が気軽に常時装着することが可能で、使用者の意図する多様な入力情報を少ないセンサ構成で安定的して生成できるインタフェースシステムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために本発明は、身体の骨を伝達経路とする骨導音が、身体の姿勢、身体への接触により変化するときの骨導音の信号に着目する。
【００１４】
ここで、骨導音とは、声帯などの振動が頭蓋骨を通じて、直接聴覚神経に伝わる骨伝導による生じる音である。本発明では、生体骨を通じて音が伝播することを骨伝導、生体骨を通じて伝わる音全般を骨導音として捉えている。骨導音は外部ノイズに強く、比較的センシングしやすいことも骨導音に着目した理由である。
【００１５】
本発明の請求項１に係るインタフェースシステムは、身体に装着して用いられるインタフェースシステムであって、身体に少なくとも１個の振動を入力して骨導音を発生させる振動入力用アクチュエータを装着し、他に少なくとも１個の前記骨導音を取得する骨伝導マイクロフォンを装着することを特徴とするインタフェースシステムである。身体の骨格を伝わる骨導音を振動入力用アクチュエータで能動的に発生させて、その骨導音の信号を骨伝導マイクロフォンで取得するインタフェースシステムを構成する。
【００１６】
本発明の請求項２に係るインタフェースシステムは、身体に装着して用いられるインタフェースシステムであって、次の（１）から（４）に示す構成要素を備える。
（１）身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータ。
（２）身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォン。
（３）前記骨伝導マイクロフォンが取得する骨導音の信号に基づいて、身体の姿勢を推定する機能を含む信号処理手段。
（４）前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段。
【００１７】
かかる構成とすることにより、振動入力用アクチュエータで発生させた骨導音の信号を、第２の部位の骨伝導マイクロフォンで取得して、その信号に基づいて信号処理を行うことで、身体の姿勢を推定し、その推定結果から入力情報を生成できる。
【００１８】
本発明の請求項３に係るインタフェースシステムは、請求項２の振動用アクチュエータ及び骨伝導マイクロフォンを装着する第１の部位、第２の部位が、装着者（以下、使用者）の同じ腕であることを特徴とする。
【００１９】
腕は、ジェスチャにより使用者の意思を表示するのに好適な身体部位である。例えば、ロボットの遠隔操作、仮想空間内でのキャラクター操作、家電のＯＮ／ＯＦＦ、音量操作など、ジェスチャによる入力の適用範囲は広く、ユーザインタフェースとして有望である。
【００２０】
また、体表と骨までの距離が比較的近く、外部からの振動入力により骨導音を生じさせやすい。振動入力用アクチュエータと骨伝導マイクロフォンを同じ腕に配置することで、伝達経路となる骨の種類や関節数が限られ、また、比較的アクチュエータとマイクロフォンの間の距離も短くなり、経路も直線的であるため、骨を伝わる間の骨導音の減衰などによる骨導音の低下やノイズの混入も比較的防ぎやすく、骨導音をより取得しやすくなるという利点もある。
【００２１】
また、腕は、他の身体の部位と比べて使用者にとって違和感なく装着しやすく、拘束感を緩和しやすい。小型・軽量化することで日常生活の観点からも常時装着しやすい身体部位である。振動入力アクチュエータの振動出力部が、体表側にあれば装着方法に特に制限はない。また、骨伝導マイクロフォンにおいても骨導音採取部が、体表側にあれば装着方法に特に制限はない。
【００２２】
また、同じ腕に装着することで、システムとしてコンパクトに構成しやすくできる。
【００２３】
また、アクチュエータとマイクロフォンで調和した形状やファッション性を付与することで、外見上も違和感も取り除きやすい。例えば、装飾用リングや腕時計のようなデザインとすることで、使用者の装着意欲を高めるインタフェースシステムとすることができる。
【００２４】
本発明の請求項４に係るインタフェースシステムは、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する機能を信号処理手段として含むことを特徴とする。肘の屈伸・屈曲は腕の動作として大きく、骨導音の信号を取得しやすい。外見的にもジェスチャとしても分かりやすい。屈曲角の推定結果を所定の外部入力情報と組み合わせることにより、例えば、外部機器の操作情報を肘の屈伸・屈曲に合わせて出力することができ、ジェスチャ入力よる機器の直観的な操作が可能となる。
【００２５】
本発明の請求項５に係るインタフェースシステムは、身体に装着して用いられるインタフェースシステムであって、次の（１）から（５）に示す構成要素を備える。
（１）身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータ。
（２）身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォン。
（３）身体の第３の部位に装着され、前記骨導音を取得する骨伝導マイクロフォン。
（４）前記第２の部位に装着された骨伝導マイクロフォンと、前記第３の部位に装着された骨伝導マイクロフォンが取得する骨導音の信号に基づいて、身体の姿勢を推定する機能と、身体への接触による接触位置を推定する機能を含む信号処理手段。
（５）前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段。
【００２６】
かかる構成とすることにより、振動入力用アクチュエータで発生させた骨導音の信号を、第２の部位及び第３の部位の各々の骨伝導マイクロフォンで取得して、それら信号に基づいて信号処理を行うことで、身体の姿勢、接触位置を推定し、それら推定結果から入力情報を生成できる。骨伝導マイクロフォンの装着位置を増やすことより、身体の姿勢と接触位置の両方を推定できるため入力情報を増やすことができる。
【００２７】
本発明の請求項６に係るインタフェースシステムは、請求項５の振動用アクチュエータ及び骨伝導マイクロフォンを装着する第１の部位、第２の部位、第３の部位が、使用者の同じ腕であることを特徴とする。同じ腕の３箇所に振動用アクチュエータと、骨伝導マイクロフォンを複数装着することにより、同じ腕における身体の姿勢と接触位置の両方の推定を行うことができる。
【００２８】
本発明の請求項７に係るインタフェースシステムは、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する機能を信号処理手段として含むことを特徴とする。肘の屈伸・屈曲は腕の動作として大きく、骨導音の信号を取得しやすい。外見的にもジェスチャとしても分かりやすい。特定の屈曲角や屈曲角の変化量を、所定の外部入力情報と組み合わせることにより、例えば、外部機器の操作情報を肘の屈伸・屈曲に合わせて出力することができ、ジェスチャ入力により機器を直観的に操作することが可能となる。
【００２９】
本発明の請求項８に係るインタフェースシステムは、身体への接触が、腕へのタップによる衝突であり、その衝突位置を接触位置として推定する機能を信号処理手段として含むことを特徴とする。腕へのタップによる衝突は、骨導音の信号を比較的取得しやすい。また、外見的にもジェスチャとしても分かりやすい。衝突位置の推定結果を、所定の入力情報と組み合わせることにより、例えば、外部機器の操作情報をタップによる衝突位置に合わせて出力することができ、ジェスチャ入力による機器の直観的な操作が可能となる。
【００３０】
本発明の請求項９に係るインタフェースシステムは、信号処理手段が、肘の屈曲角を推定する屈曲角推定手段と、腕へのタップによる衝突位置を推定する衝突位置推定手段の両方を備え、屈曲角と衝突位置を両方が推定することができることを特徴とする。肘の屈伸・屈曲とタップの両方のジェスチャを認識でき、外部入力信号としての情報生成量を増やすことができる。同じ腕に２個の骨伝導マイクロフォンを装着し、同じ骨導音の信号を別の個所で取得することで、同じ腕における身体の姿勢と接触位置の両方の推定を行うことができる。
【００３１】
本発明の請求項１０に係るインタフェースシステムは、屈曲角推定手段が、肘の屈曲角の推定を、肘の屈伸・屈曲に伴う骨導音の振幅の変化に基づいて行うことを特徴とする。骨導音の信号として振幅は、取得しやすい特徴量であり、その振幅の変化に基づくことで、信頼性の高い推定が可能となる。
【００３２】
本発明の請求項１１に係るインタフェースシステムは、前記衝突位置推定手段は、腕へのタップによる衝突位置の推定を、前記タップに伴う前記骨導音の振幅の変化に基づいて行うことを特徴とする。骨導音の信号として振幅は、取得しやすい特徴量であり、その振幅の変化に基づくことで、信頼性の高い推定が可能となる。
【００３３】
本発明の請求項１２に係るインタフェースシステムは、骨伝導マイクロフォンが、集音器と小型マイクロフォンを一体的に組み合わせて形成されたマイクロフォンであることを特徴とする。かかる構成とすることで、骨導音が小さくても十分な感度を得やすくなる。
【００３４】
なお、本発明における腕へのタップとは、指、腕など身体の部位による接触・打腱、棒などに器具による接触・打腱などを含み、骨導音を生じさせる身体への接触行為である。
【発明の効果】
【００３５】
本発明によれば、身体に装着されて用いられるインタフェースシステムが、使用者の骨を伝達経路とする骨導音をセンシングすることにより、入力インタフェースとしての利用が可能である。特に、腕に振動入力用アクチュエータと骨伝導マイクロフォンを装着し、肘の屈曲角の推定、腕をタップしたときに衝突位置の推定を行うことにより、屈曲角推定と衝突位置推定の同時利用が可能となる。これにより、使用者にとっても簡単で分かりやすい２つのジェスチャ（肘の屈伸・屈曲、腕へのタップ）を用いて、多くの入力情報を生成できるインタフェースシステムを構成することができる。
【００３６】
また、振動入力用アクチュエータと骨伝導マイクロフォンのみのシンプルな構成で装着システムの実現が可能である。また、外部環境側に身体の動きを計測する手段は必要ない。そのため小型・軽量で、外部環境にも強く、かつ使用者が常時装着しても日常生活に支障なく用いることを可能とするインタフェースシステムを構成することができる。
【００３７】
ウェアラブルコンピュータやユビキタスコンピューティングなどの環境下において、身体による手軽な操作が可能なユーザインタフェースを提供できる。
【図面の簡単な説明】
【００３８】
【図１ａ】インタフェースシステムの装着例の一例を示す模式図
【図１ｂ】インタフェースシステムの装着例の一例を示す模式図
【図２ａ】インタフェースシステムの機能ブロック図
【図２ｂ】インタフェースシステムの機能ブロック図
【図３ａ】前腕部にアクチュエータとマイクロフォンを装着する模式図
【図３ｂ】前腕部に２個のマイクロフォンを装着する模式図
【図３ｃ】前腕部にアクチュエータと２個のマイクロフォンの装着する模式図
【図４】各骨伝導マイクロフォンで取得された信号の最大振幅
【図５】実施例１のインタフェースシステムの装着状態の模式図
【図６】聴診器型骨伝導マイクロフォンの外観・断面図
【図７】上腕骨頭から骨導音を入力した際の肘の各屈曲角度における骨導音の振幅
【図８ａ】実施例２及び３のインタフェースシステムの装着状態の模式図
【図８ｂ】実施例２及び３のインタフェースシステムの実際の装着状態
【図９】肘頭から骨導音を入力した際の肘の各屈曲角度における骨導音の振幅
【図１０ａ】被験者Ａのキャリブレーションによる関数近似の結果
【図１０ｂ】被験者Ｂのキャリブレーションによる関数近似の結果
【図１１ａ】被験者Ａの肘の屈曲角推定の評価実験の結果
【図１１ｂ】被験者Ｂの肘の屈曲角推定の評価実験の結果
【図１２】実施例４及び５のインタフェースシステムの実際の装着状態
【図１３ａ】衝突よって生じた骨導音（尺骨茎状突起側）
【図１３ｂ】衝突よって生じた骨導音（肘頭側）
【図１４ａ】衝突よって生じた骨導音の周波数スペクトル（尺骨茎状突起側）
【図１４ｂ】衝突よって生じた骨導音の周波数スペクトル（肘頭側）
【図１５ａ】スピーカから入力した骨導音の例
【図１５ｂ】スピーカから入力した骨導音の周波数スペクトル
【図１６】前腕を３区間に分割した状態を示す図
【図１７ａ】被験者Ａの衝突位置推定の結果
【図１７ｂ】被験者Ｂの衝突位置推定の結果
【図１８ａ】被験者Ａの肘の屈曲角推定の結果
【図１８ｂ】被験者Ｂの肘の屈曲角推定の結果
【図１９】屈曲角と衝突位置の両方を推定する処理フロー
【図２０】推定された衝突位置に対するロボットの操作命令
【図２１】推定された衝突位置の組み合わせに対するロボットの操作命令
【図２２】衝突位置推定をロボットの操縦に用いた様子
【図２３】肘の屈曲角推定をロボットの操縦に用いた様子
【図２４】骨導音を用いたインタフェースシステムの全体概要
【発明を実施するための最良の形態】
【００３９】
以下、図面を参照しながら本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具現化した一例であって、本発明の技術的範囲は実施例や図示例に限定されるものではない。
【００４０】
図１ａは、本発明のインタフェースシステムを、身体に装着したときの１つの実施態様を示す模式図である。使用者１０００の上腕部に振動入力用アクチュエータ１０が１個装着され、関節を介した同じ腕の前腕部に骨伝導マイクロフォン２０が１個装着されている。振動入力用アクチュエータ１０から身体に向けて振動を加え、腕の骨格に対して骨導音を発生させる。骨伝導マイクロフォン２０は、腕の骨格・関節を通じて伝わってくる骨導音をセンシングする。振動入力用アクチュエータからの振動入力は、身体に継続的に入力してもよいし、必要な時にだけ入力してもよい。
【００４１】
かかる状態で、センシングされる腕の肘を屈伸・屈曲させたときの肘の屈曲角を、骨伝導マイクロフォン２０により取得した骨導音をコンピュータなどで信号処理することで推定する。その信号処理の結果に基づいて、外部機器やアプリケーションソフトウェアなどに対して、コンピュータなどによってコマンドなどの入力情報を生成する機能を備えている。
【００４２】
前記コンピュータなどで信号処理する機能、入力情報を生成する機能は、骨伝導マイクロフォン２０に組み込まれてもよいし、身体と直接接触しない外部に備えられてもよい。また、本発明のインタフェースシステムは、生成された入力情報を、無線、有線を問わず入力対象となる機器等に送信することができる機能を備えることができる。また、振動入力用アクチュエータの振動の発信・停止・強度などを制御する機能を備えることができる。
【００４３】
図１ｂは、本発明のインタフェースシステムを、身体に装着したときの他の実施態様を示す模式図である。使用者２０００の上腕部に振動入力用アクチュエータ３０と骨伝導マイクロフォン４０が１個装着され、関節を介した同じ腕の前腕部に骨伝導マイクロフォン５０が１個装着されている。振動入力用アクチュエータ３０から身体に向けて振動を加え、腕の骨格に対して骨導音を発生させる。骨伝導マイクロフォン４０及び５０は、腕の骨格・関節を通じて伝わってくる骨導音を各々センシングする。振動入力用アクチュエータからの振動入力は、身体に継続的に入力してもよいし、必要な時にだけ入力してもよい。
【００４４】
かかる状態で、センシングされる腕の肘を屈伸・屈曲させたときの肘の屈曲角を、骨伝導マイクロフォン４０、５０により取得した骨導音をコンピュータなどで信号処理することで推定する。また、センシングされる腕をタップしたときの衝突位置を、骨伝導マイクロフォン４０、５０により取得した骨導音をコンピュータなどで信号処理することで推定する。それらの信号処理の結果に基づいて、外部機器やアプリケーションソフトウェアなどに対して、コンピュータなどによってコマンドなどの入力情報を生成する機能を備えている。
【００４５】
前記コンピュータなどで信号処理する機能、入力情報を生成する機能は、骨伝導マイクロフォン４０、５０に組み込まれてもよいし、身体と直接接触しない外部に備えられてもよい。また、本発明のインタフェースシステムは、生成された入力情報を、無線、有線を問わず入力対象となる機器等に送信することができる機能を備えることができる。また、振動入力用アクチュエータの振動の発信・停止・強度などを制御する機能を備えることができる。
【００４６】
図２ａは、図１ａの実施態様に対する本発明のインタフェースシステムの機能ブロック図を示す。図２ａに示すように、インタフェースシステムの機能ブロックは、振動入力用アクチュエータによって振動を入力し、骨導音を発生させる骨導音入力手段６１、１個の骨伝導マイクロフォンにより前記骨導音の信号を取得する骨導音取得手段６２、取得した前記骨導音の信号に基づいて、身体の姿勢を推定する信号処理を行う信号処理手段６３、信号処理手段の処理結果から、入力情報を生成する外部入力情報生成手段６４、からなる。
【００４７】
図２ｂは、図１ｂの実施態様に対する本発明のインタフェースシステムの機能ブロック図を示す。図２ｂに示すように、インタフェースシステムの機能ブロックは、振動入力用アクチュエータによって振動を入力し、骨導音を発生させる骨導音入力手段７１、２個の骨伝導マイクロフォンにより、前記骨導音の信号を個別に取得する骨導音取得手段７２及び７３、個別に取得した前記各骨導音の信号に基づいて、身体の姿勢と接触位置を推定する信号処理手段７４、信号処理手段７４の処理結果をもとに入力情報を生成する外部入力情報生成手段７５、からなる。
【００４８】
次に、肘を屈伸・屈曲させたときの屈曲角の推定方法について説明する。図３ａの模式図にように、同じ腕の肘頭に振動入力用アクチュエータ８０、尺骨茎状突起に骨伝導マイクロフォン９０を１個ずつ取り付け、その腕の肘を屈伸・屈曲させる。その際、屈伸・屈曲の動作に応じて、振動入力アクチュエータ８０の振動入力により発生し、腕の骨に伝わる骨導音の振幅が変化する。骨伝導マイクロフォン９０によって前記振幅の変化を骨導音の信号として取得し、その振幅変化から肘の屈曲角を推定する。具体的には、予め使用者に対してキャリブレーションを実施し、使用者の個体特性（骨の太さ・密度、筋肉の厚みなど）に適応した屈曲角と骨導音の振幅の関係を、関数近似式として事前に求めておく。その関数近似式を屈曲角推定手段として用いることにより、屈曲角を推定することができる。関数近似式は、二次多項式などで表現できるため計算量が少なく、リアルタイムでの計算実行を可能とする。
【００４９】
次に、腕を外部からタップしたときの衝突位置の推定方法について説明する。
衝突位置の推定は、衝突で発生した骨導音の音源位置を求めることに他ならない。図３ｂの模式図に示すように、腕の肘頭に骨伝導マイクロフォン１００、尺骨茎状突起に骨伝導マイクロフォン１１０を１個ずつ取り付け、その間の前腕を使用者自身の指でタップして発生させた骨導音を、各骨伝導マイクロフォン１００及び１１０で個別に取得する。その個別に取得した前記各骨導音の信号のレベル差により位置推定を行う。ここで、前記レベル差とは、２個の骨伝導マイクロフォン１００及び１１０で取得した骨導音の振幅の比である。
【００５０】
振幅の強さは、タップによる衝突の強さに依存せず、衝突位置からの距離により変化する。すなわち、衝突位置である骨導音の発生位置から、各々の骨伝導マイクロフォン１００及び１１０までの距離の違いによって振幅に差が生じ、それを信号レベル差として取得することで、衝突位置を推定することができる。なお、使用者の個人特性（腕の長さ、筋肉の付き方など）に適応する信号レベル差の閾値を、予め使用者にキャリブレーションを実施し求めておくのが望ましい。
【００５１】
ここで、骨伝導マイクロフォン１００及び１１０で個別に取得した骨導音の信号レベル差をＬとするとき、Ｌは、例えば下記式から計算される。
【数１】
Ｆ１、Ｆ２は、図４に示す記号Ｆのように、骨伝導マイクロフォン１００及び１１０で取得した信号の最大振幅である。振幅が閾値を超えた点を衝突の開始時間として記録し、その前後の信号から振幅のピーク値を求める。信号レベル差Ｌは、振幅の比で決まるため衝突の強さに関係なく、衝突位置からの距離により変化する。すなわち、骨伝導マイクロフォン１００及び１１０の間で骨導音の発生位置からの距離の違いによって減衰が生じていることから、信号レベル差Ｌにより衝突位置を推定でき、衝突位置推定手段として用いることができる。振幅による推定は、単純な閾値処理による判別のため計算量も少なく、リアルタイムでの計算実行を可能とする。
【００５２】
次に、同じ腕で肘を屈伸・屈曲させたときの屈曲角と、腕をタップしたときの衝突位置の各々を個別に推定する方法について説明する。図３ｃの模式図に示すように、肘頭に振動入力用アクチュエータ１２０と骨伝導マイクロフォン１３０を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン１４０を１個取り付けた装着状態において、骨伝導マイクロフォン１３０及び１４０の間の腕を指でタップする。この時の屈曲角とタップによる衝突位置の両方を推定するには、各々の動作によって生じる骨導音を個別に認識して抽出し、それぞれに上記の屈曲角の推定方法と衝突位置の推定方法を施せばよい。
【００５３】
個別に骨導音を認識するには、肘の屈伸・屈曲で生じる骨導音と、タップによる衝突で生じる骨導音の各々の周波数特性を解析し、それぞれの骨導音の周波数領域を予め見出しておき、バンドパスフィルタなどによる周波数フィルタリングを施すことによって、屈伸・屈曲による骨導音とタップの衝突による骨導音を分離し、その信号を抽出する。抽出した各々の骨導音の信号に対して屈曲角推定と衝突位置推定を含む信号処理を実施し、屈曲角と衝突位置を推定することができる。
【実施例１】
【００５４】
肘の屈曲角推定の第１の評価実験を実施例１として説明する。図５は、実施例１に係るインタフェースシステムを腕に装着したときの模式図である。腕の上腕骨頭に振動入力用アクチュエータ１５０を取り付け、尺骨茎状突起に骨伝導マイクロフォン１６０を１個ずつ取り付ける。尺骨茎状突起及びその付近は筋肉が薄く肉導音等のノイズの影響を受けにくく、骨導音の取得位置としては好適である。
【００５５】
振動入力用アクチュエータ１５０は、上腕骨頭の皮膚表面から振動を与えて身体内で骨導音を発生させる。ここで、振動入力用アクチュエータ１５０として携帯電話のバイブレーション発生に使用される市販の振動モータを用いた。
【００５６】
骨伝導マイクロフォン１６０は、骨の振動だけを検出するもので、実施例１では発生した骨導音を尺骨茎状突起の皮膚表面から取得するためのものである。また、骨伝導マイクロフォン１６０は、集音器として新生児・未熟児用聴診器（村中医療機器株式会社，ＭＭＩ−６０８ＧＲ））を採用し、小型マイクロフォン（Ｋｎｏｗｌｅｓ Ｅｌｅｃｔｒｏｎｉｃｓ，ＳＰ０１０３ＮＣ３−３）を一体的に組み合わせた聴診器型骨伝導マイクロフォンを用いている。
【００５７】
この聴診器型骨伝導マイクロフォンの外観・構造を図６に示す。聴診器のダイヤフラムで骨の振動を捉え、チェストピース内で音を増幅してマイクロフォンにより骨導音の検出を行う。聴診器はダイヤフラムによって直接触れた部分の振動音を増幅するため気導音の影響を受けにくく、骨の振動のみの高感度な検出を可能とする。新生児・未熟児用聴診器を採用したのは、ダイヤフラムが直径約２２ｍｍと一般の聴診器に比べて小さいため、骨の周囲にある肉の振動を同時に検出するのを低減し、骨の振動のみの検出に向いているためである。
【００５８】
なお、このような骨伝導マイクロフォンの構成としたのは、従来の骨伝導マイクロフォンでは、頭蓋骨の振動を取得するのに適しているのに対して、腕の骨の振動を取得するという用途には向いていない。このため、頭蓋骨に比べて振動が小さい腕の骨を伝わる骨導音に対しては、十分な感度が得られない。よって、上記のような構成とし、聴診器と組み合せる工夫をした。なお、集音器としては、前記新生児・未熟児用聴診器に限らず、骨導音を有効に採音できるものであればよい。
【００５９】
上記のような構成のインタフェースシステムにおいて、振動入力用アクチュエータ１５０（前記振動モータ）を用いて上腕骨頭より骨導音を発生させ、肘の屈曲角を所定角度ごとに変化させた場合に、腕の骨を伝わる骨導音を尺骨茎状突起に取り付けた骨伝導マイクロフォン１６０（前記聴診器型骨伝導マイクロフォン）で取得する実験を行った。前記振動モータからは、振幅一定で１８８Ｈｚの周波数を持つ正弦波を継続的に入力した。ここで、１８８Ｈｚは、前記振動モータの携帯電話のバイブレーションとして使用する際に用いられる周波数である。
【００６０】
肘の屈曲角は、上腕骨と尺骨が水平となる状態を０度とし、直角となる状態を９０度として、０度から１２０度まで３０度刻みで屈曲させた。この時、前記振動モータによって腕に加える振動により発生する骨導音を前記聴診器型骨伝導マイクロフォンで取得した。その結果を図７に示す。０度、３０度、６０度、９０度、１２０度において有意な振幅の変化が観測された。すなわち、実施例１の構成において、肘の屈伸・屈曲よる骨導音の振幅変化をコマンドや所定のプロセスと体系づけることで、肘のジェスチャによって、入力インタフェースとして有用に機能することが示された。
【実施例２】
【００６１】
次に、肘の屈曲角推定の第２の評価実験を実施例２として説明する。図８ａのインタフェースシステムを腕に装着したときの模式図に示すように、骨伝導マイクロフォン１８０の装着位置は実施例１と同じ尺骨茎状突起とし、振動入力用アクチュエータ１７０の取り付け位置を肘頭とした。図８ｂに実際の装着状況を示す。
【００６２】
振動入力用アクチュエータ１７０として、小型スピーカ（ＴＤＫ製ＳＤ２４１２Ｌ５−Ｔ１）を採用した。前記小型スピーカを採用した理由は、他励式であるため外部からの信号に応じた振動を生成可能であり、振幅の制御も容易で、また振動も微小であることから使用者に不快な振動を感じさせないといった利点があるためである。なお、骨伝導マイクロフォン１８０は、上記の聴診診器型骨伝導マイクロフォンを用いた。
【００６３】
上記のような構成のインタフェースシステムにおいて、振動入力用アクチュエータ１７０（前記小型スピーカ）を用いて肘頭より骨導音を発生させ、肘の屈曲角を所定角度ごとに変化させた場合に、腕の骨を伝わる骨導音を尺骨茎状突起に取り付けた骨伝導マイクロフォン１８０（前記聴診器型骨伝導マイクロフォン）で取得する実験を行った。前記小型スピーカからは、振幅一定で８００Ｈｚの周波数を持つ正弦波を継続的に入力した。ここで、８００Ｈｚは、スピーカの共振周波数である。なお、振動入力の周波数帯域に特に制限はないが、衝突位置推定と同時利用をした場合に、衝突によって発生する骨導音と分離が容易は周波数帯域が望ましく、特に６００Ｈｚ以上が好ましい。
【００６４】
肘の屈曲角は、上腕骨と尺骨が水平となる状態を０度とし、直角となる状態を９０度として、０度から１２０度まで１５度刻みで屈曲させた。骨導音の信号を骨伝導マイクロフォン１８０（前記聴診器型骨伝導マイクロフォン）で取得した。その結果を図９に示す。０度、１５度、３０度、４５度、６０度、７５度、９０度、１０５度、１２０度において有意な振幅の変化が観測された。 すなわち、実施例２の構成においても肘を屈伸・屈曲による骨導音の振幅変化をコマンドや所定のプロセスと体系づけることで、肘のジェスチャによって、入力インタフェースとして有用に機能することが示された。例えば、マスター・スレイブ型やコマンド型のインタフェースに好適である。
【００６５】
また、肘頭を振動の入力位置とすることで、実施例１の上腕骨頭を入力位置とするよりも、より小さい屈曲角の変化を捉えることができた。これにより、小さい屈曲角の変化を認識でき入力信号量を増加させることが示された。振動入力用アクチュエータ１７０と骨伝導マイクロフォン１８０の距離が近く関節も介さないため、比較的小さな振動であっても入力振動として使用できるので、使用者にも負担の小さい振動入力手段を提供できる。また、身体上の分散配置を防ぎ、使用者の装着負担を軽減するシステムとして構成しやすくなり、腕への装着性を高めるシステム構成としやすいことを示している。
【００６６】
また、装着位置としても肘頭及び尺骨茎状突起の付近は、筋肉が薄く肉導音等のノイズの影響を受けにくい上、一本の尺骨内を骨導音が伝わるという観点からも、振動入力及び骨導音の取得位置としては好適であることも示している。
【実施例３】
【００６７】
次に、被験者Ａ、Ｂに対する屈曲角推定の第３の評価実験を実施例３として説明する。被験者Ａ、Ｂは、実施例２と同じ、図８ａ及び図８ｂに示すように、肘頭に振動入力アクチュエータ１７０と尺骨茎状突に骨伝導マイクロフォン１８０を前腕に装着している。振動入力アクチュエータ１７０は前記小型スピーカ、骨伝導マイクロフォン１８０は、前記聴診器型骨伝導マイクロフォンである。
【００６８】
まず、肘の屈曲角と骨導音の信号の関係を関数近似するためのキャリブレーションを行う。キャリブレーションは、上腕骨と尺骨が水平となる状態を０度とし、０度、４５度、９０度の姿勢で各々１０回ずつ肘頭の振動入力用アクチュエータ１７０（前記小型スピーカ）により骨導音を発生させ、尺骨茎状突起の骨伝導マイクロフォン１８０（前記聴診診器型骨伝導マイクロフォン）で振幅の変化を取得した。この振幅の変化から、最小二乗法を用いて２次多項式による屈曲角と振幅の関数近似を行い、関数近似式を作成した。その結果を図１０ａ、図１０ｂに示す。図１０ａは被験者Ａ、図１０ｂは被験者Ｂに対する関数近似式である。
【００６９】
ここで、２次多項式を用いた理由は、腕の屈曲角に対する骨導音の変化が肘関節での骨導音の反射によるものと仮定した場合、その変化は９０度付近をピークとして規則的な変化であることから、凸と凹の単純な多項式である２次関数で近似できるためである。また、近似式を作成する際の姿勢が３点で足りるため、キャリブレーションが容易となる利点もある。
【００７０】
次に、キャリブレーションによって得られた関数近似式を用いて、肘の屈曲角推定を行う。上腕骨と尺骨が水平となる状態を０度とし、直角となる状態を９０度として、０度から９０度まで１５度刻みで屈曲させたとき、振動入力用アクチュエータ１７０（前記小型スピーカ）から各々１０回ずつ振動を入力し骨導音を発生させ、骨伝導マイクロフォン１８０（前記聴診診器型骨伝導マイクロフォン）で振幅の変化を取得した。それによって屈曲角推定の結果と真の屈曲角との誤差の標準偏差を求め評価した。なお、前記小型スピーカからの入力信号は、振幅一定で８００Ｈｚの周波数を持つ正弦波を用い、一回の信号の長さ０．０１ｓｅｃとした振動を、１ｓｅｃ以上の間隔を開けて断続的に入力した。
【００７１】
図１１ａ、１１ｂにその結果を示す。図１１ａは被験者Ａ、図１１ｂは被験者Ｂの推定結果である。縦軸は、推定による屈曲角、横軸は真の屈曲角である。点線は推定した屈曲角と真の屈曲角の一致する点である。評価実験の結果、被験者Ａ、Ｂとも５〜７度程度の誤差で肘の屈曲角が推定できることが示された。
【実施例４】
【００７２】
次に、肘の屈曲角推定と腕への指のタップ(叩く)による衝突位置の推定を、同じ腕で行うことができる実施形態を実施例４として説明する。２つの推定を行うには、まず、振動入力用アクチュエータにより発生する骨導音と、指のタップによる衝突によって生じる骨導音との分離が必要となる。そのため、前記各骨導音の周波数特性を解析し、周波数領域のフィルタリングによる前記各骨導音の分離手法を検討した。
【００７３】
検討に当っては、図１２の実際の装着状態が示すように、肘頭に振動入力用アクチュエータ１９０と骨伝導マイクロフォン２００を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン２１０を１個取り付けた状態において、骨伝導マイクロフォン２００及び２１０の間の前腕を使用者自身の指でタップする。この時、振動入力用アクチュエータ１９０から振動を継続的に入力して、骨導音の信号を骨伝導マイクロフォン２００及び２１０で取得する。ここで、振動入力用アクチュエータ１９０として上記の小型スピーカを用い、骨伝導マイクロフォン２００及び２１０として上記の聴診器型骨伝導マイクロフォンを用いている。
【００７４】
図１３ａ、図１３ｂは、前腕の所定位置を使用者自身の指でタップしたときの衝突で生じた骨導音の振幅を骨伝導マイクロフォン２００及び２１０で各々取得した結果である（図１３ａ：尺骨茎状突起、図１３ｂ：肘頭）。図１４ａ、図１４ｂは、それらを周波数変換した結果である（図１４ａ：尺骨茎状突起、図１４ｂ：肘頭）。図１５ａは、肘頭から前記小型スピーカで入力した骨導音の振幅を取得した結果である。図１５ｂは、それを周波数変換した結果を示す。なお、前記小型スピーカからの入力信号は、振幅一定で８００Ｈｚの周波数をもつ正弦波を用い、一回の入力信号の長さは０．０１ｓｅｃである。
【００７５】
これらの結果から、指のタップによる衝突で生じた骨導音は、概ね５００Ｈｚ以下の周波数領域に存在し、対して小型スピーカから入力された骨導音は、入力信号である８００Ｈｚ付近に存在していることが示された。なお、１回の入力信号の長さは０．０１ｓｅｃであるが、長時間の信号でも同様の結果となる。すなわち、前記タップによる衝突で生じる骨導音は、６００Ｈｚ以下、好ましくは５０〜６００Ｈｚの信号を、バンドパスフィルタを用いて抽出することにより認識できる。振動入力用アクチュエータで入力された骨導音は、７８０〜８２０Ｈｚの信号を、バンドパスフィルタを用いて抽出することより認識できることが判明した。なお、バンドパスフィルタとしてＦＦＴを用いた周波数フィルタリングを行った。
【００７６】
次に、被験者Ａ、Ｂに対する屈曲角推定と衝突位置推定を同じ腕で行う第４の評価実験について説明する。被験者Ａ、Ｂには、上述の図１２に示すように、肘頭に前記振動入力用アクチュエータ１９０（前記小型スピーカ）と骨伝導マイクロフォン２００（前記聴診器型骨伝導マイクロフォン）を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン２１０（前記聴診器型骨伝導マイクロフォン）を１個が装着されている。なお、小型スピーカの振動は、周波数フィルタリングで除去できるため肘骨側の振動入力用アクチュエータ１９０と骨伝導マイクロフォン２００を一つの装置にまとめることもできる。
【００７７】
まず、初期作業として屈曲角推定と衝突位置推定について、被験者Ａ、Ｂに対してキャリブレーションを実施した。衝突位置推定のためのキャリブレーションは、腕の長さや筋肉の付き方等の影響による個人差が生じるため、予め被験者に合わせた上記の信号レベル差Ｌに対する閾値を設定するために行う。図１６に示すように、前腕をＰ１，Ｐ２，Ｐ３の３つに区間に分割する。これら３区間を各々１０回ずつ被験者自身の指で叩き、骨導音の振幅の変化を骨伝導マイクロフォン２００及び２１０で取得した。その信号データから前記信号レベル差Ｌに対すＳＶＭ（サポートベクタマシン）モデルを作成し、閾値設定を行った。この間は、振動入力用アクチュエータ１９０からの入力による骨導音の発生は行われていない。
【００７８】
次に、肘の屈曲角推定のための屈曲角と骨導音の振幅の関数近似式を求めるためのキャリブレーションを実施した。肘の屈曲角０度、４５度、９０度の姿勢で、各々１０回ずつ肘頭の振動入力用アクチュエータ１９０により骨導音を継続的に発生させ、尺骨茎状突起の骨伝導マイクロフォン２１０で振幅の変化を取得した。この振幅の変化から、最小二乗法を用いて２次多項式による屈曲角と振幅の関数近似を行い、関数近似式を作成した。なお、この間は、衝突による骨導音の発生は行われていない。
【００７９】
これらキャリブレーション完了後、衝突位置推定は、振動入力用アクチュエータ１９０より、８００Ｈｚの正弦波を継続的に入力し続けた状態で行う。上記の前腕のＰ１，Ｐ２，Ｐ３の区間をそれぞれ５０回ずつ被験者自身の指で叩き、その衝突位置の判別の正当率をもって評価した。屈曲角推定は、肘の屈曲を０度から９０度まで１５度刻みの姿勢で、前腕を指で叩くと同時に振動入力用アクチュエータ１９０である前記小型スピーカより０．１ｓｅｃの信号をそれぞれ１０回ずつ入力し、その際の実際の肘の屈曲角と誤差の標準偏差を持って評価を行った。
【００８０】
図１７ａは被験者Ａ、図１７ｂは被験者Ｂの衝突位置の推定結果を示している。横軸と縦軸は、それぞれ尺骨茎状突起と肘頭に取り付けた骨伝導マイクロフォン２００及び２１０で得られた骨導音の最大振幅である。点線と一点鎖線は、Ｐ１とＰ２、Ｐ２とＰ３を判別する閾値を示しており、横軸と点線で囲まれた部分をＰ１、点線と一点鎖線で囲まれた部分をＰ２、縦軸と一点鎖線で囲まれた部分をＰ３と判別する。図１７ａ、図１７ｂのマーカーは、実際の指で叩いた衝突位置で、この位置と閾値処理による判別結果が一致した場合を位置推定が正しくできたとした。評価結果では、被験者Ａについては９７．３％、被験者Ｂについては９２.０％の一致率であり、９０％以上の認識率が得られることが示された。
【００８１】
図１８ａは被験者Ａ、図１８ｂは被験者Ｂの肘の屈曲角推定の結果を示している。横軸と縦軸はそれぞれ真の屈曲角と推定した屈曲角であり、点線は双方が一致する点である。評価結果では、被験者Ａ、Ｂともに３〜５度の誤差で肘の屈曲角が推定できた。なお、図１９に第４の評価実験の処理フローを示す。
【００８２】
上記のようにキャリブレーションと、周波数フィルタリングを施すことで、同じ腕で肘の屈曲角推定と、腕への指のタップによる衝突位置の推定を各々個別に行うことができ、屈曲角推定と衝突位置推定の同時利用が可能であることが示された。
【実施例５】
【００８３】
次に、ロボットの操縦インタフェースとして使用した実施態様を実施例５として示す。操縦者には、上述の図１２に示すように、肘頭に前記振動入力用アクチュエータ１９０（前記小型スピーカ）と骨伝導マイクロフォン２００（前記聴診器型骨伝導マイクロフォン）を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン２１０（前記聴診器型骨伝導マイクロフォン）を１個が装着されている。操作対象は、ＨＲＰ−２ｍ Ｃｈｒｏｍｅｔ（ゼネラルロボティックス社製）である。腕を使用者の指でタップ(叩く)し、衝突位置推定を行って、推定結果をロボットの操作命令として使用するコマンド式インタフェースとした。
【００８４】
上記の前腕のＰ１、Ｐ２，Ｐ３の区間と手先と肩を加えた５カ所の衝突位置の推定結果を、図２０に示すように５通りの操作命令として関連付けた。更に、図２１に示すように、２回タップした時の衝突位置の推定結果を組み合わせて、９通りの操作命令として関連付けた。ここで、２回のタップによる操作命令では、肩及び手先へのタップは、１つ目の入力を間違えた場合のリセットボタンとして使用する。なお、手先と肩などの前腕以外の部位を指で叩いた場合、前腕を伝わる骨導音に比べて、前腕をタップした場合よりも信号のレベルが小さくなり、比較的容易に衝突位置を判別できる。
【００８５】
肘の屈曲角の推定結果のロボット操作への操作命令は、屈曲角を連続して推定し、得られた屈曲角に合わせてロボットの腕を屈伸させるものとした。
【００８６】
実施例５では、前記小型スピーカから入力した骨導音以外の骨導音を除去し、誤動作が防ぐために、入力信号である８００Ｈｚの信号のみを取得できるよう、７８０から８２０Ｈｚの範囲のバンドパスフィルタを使用し、手首の屈伸や腕の運動によって生じる低周波のノイズや、手先から生じた骨導音について除去するようにした。５０Ｈｚ以下の信号もハイパスフィルタによりカットするようにした。また、骨導音を周波数変換し、８００Ｈｚ付近がスペクトル強度のピークとなった場合のみを入力信号として採用することにより、日常生活で装着し、日常作業を行う場合の誤認識を低減できるようにした。
【００８７】
図２２に衝突位置推定結果をロボットの操縦に用いた様子を示す。操縦者のタップによる衝突位置に合わせて、ロボットの腕や足が動いているのが分かる。操縦者の肘の屈曲角推定に応じて、ロボットの腕が動く実際の様子を図２３に示す。腕の肘の屈曲に合わせてロボットの腕が屈曲しているのが分かる。
【００８８】
上記の実施例１〜５において使用したシステムの構成を図２４に示す。各実施例における振動入力用アクチュエータへの駆動信号出力および骨伝導マイクロフォンからの信号の取り込みには、ＡＤ／ＤＡボード（Ｉｎｔｅｒｆａｃｅ社製ＣＳＩ−３６０１１６）を使用し、ノートＰＣ（ＤＥＬＬ社製ＰＲＥＣＩＳＩＯＮ／Ｍ４４００）を用いて骨伝導マイクロフォンから得られた信号の処理および振動入力用アクチュエータの制御を行った。
【産業上の利用可能性】
【００８９】
本発明は、身体に装着されて用いられるインタフェースにおける骨導音を利用したインタフェースシステムに有用である。例えば、玩具、ゲーム、家電、
ロボット等の入力インタフェースとして有用なシステムを提供できる。
【符号の説明】
【００９０】
１０００ 使用者
２０００ 使用者
１０ 振動入力用アクチュエータ
２０ 骨伝導マイクロフォン
３０ 振動入力用アクチュエータ
４０ 骨伝導マイクロフォン
５０ 骨伝導マイクロフォン
８０ 振動入力用アクチュエータ
９０ 骨伝導マイクロフォン
１００ 骨伝導マイクロフォン
１１０ 骨伝導マイクロフォン
１２０ 振動入力用アクチュエータ
１３０ 骨伝導マイクロフォン
１４０ 骨伝導マイクロフォン
１５０ 振動入力用アクチュエータ
１６０ 骨伝導マイクロフォン
１７０ 振動入力用アクチュエータ
１８０ 骨伝導マイクロフォン
１９０ 振動入力用アクチュエータ
２００ 骨伝導マイクロフォン
２１０ 骨伝導マイクロフォン
【技術分野】
【０００１】
本発明は、身体に装着されて用いられるインタフェースであって、特に腕の骨を伝わる骨導音を利用したインタフェース技術に関する。
【背景技術】
【０００２】
近年、利用したいときに直ぐに機器操作、行動記録、情報提供などを利用可能とする、身体のセンシングを利用する身体に装着が可能なインタフェースの研究開発が行われている。
【０００３】
身体を操作領域や情報の伝達経路に用いることで、接触情報をセンシングして入力インタフェースとして利用すること、運動をセンシングして例えば、コントローラーとして利用することが可能となる。これらインタフェースの条件としては、直感的で安定した操作性、屋内外など無理なく使用できる環境に対する頑健性、身体に装着可能とする小型・軽量化や、様々なコマンドやアプリケーションに利用できる汎用性など、使用者が外部環境を気にせず、いつでも直感的・安定的に操作でき、装着しても日常生活を妨げない常時装着が可能なインタフェース技術が求められている。
【０００４】
従来、常時装着を目的とした身体センシングを用いたインタフェースとして、手指をセンサシステムの一部とした小型のインタフェースが開発されている。指輪型の加速度センサを各指の根元に装着し、机や大腿部などの任意面上への打腱によって生じた振動を入力とする指輪型インタフェース「指釦」（非特許文献１）、親指と人差し指を接触させて形成される「指の輪」の開閉状態を、指に流した電流によって識別する指輪型インタフェース「指にゃ」（非特許文献２）が知られている。
【０００５】
また、骨伝導を用いたものでは、端末を把持した指先と指の付け根が接触する位置にそれぞれ骨伝導マイクロフォンを配置し、手の甲をタップした際のタップされた位置の推定結果を入力として使用するＦｉｎｇｅｒＫｅｙｐａｄがある（特許文献１）（非特許文献３）。これらのインタフェースは、小型・軽量でシンプルな構造を実現しているが、入力に指を用いるため入力インタフェースを指に直接装着する必要があり、操作性の観点から日常使用するには負担が大きく、また誤動作が生じる危険性を含むといった問題がある。
【０００６】
指ではなく、腕を操作領域とし、外部からタップした衝突位置の推定をインタフェースとして用いる方法も提案されている。非特許文献４には、５つのセンサ素子を有する２組のセンサアレイを、それぞれ橈骨と尺骨に当るように配置することで、腕をタップしたときの骨を伝わる骨導音と肉を伝わる肉伝導音の両方を計測し、そのタップによる衝突位置を推定する方法が提案されている。また、本発明者らは、非特許文献５にて接触推定に生体骨を伝わる骨導音を利用する方法を提案しており、腕をタップした際に生じる骨導音を、２個の骨伝導マイクロフォンによって検出し、タップによる衝突位置を推定して、インタフェースに利用する方法を開示している。
【０００７】
しかしながら、これらの方法は、腕のタップによる衝突位置のみが入力信号となっており、より複雑な操作が行える入力インタフェースとするには、衝突位置を増やして入力量を高める必要があるが、そのためには、身体により多くのセンサを装着する必要がある。そのため小型・軽量化の点で、常時装着性が損なわれてくることになり、使用者の拘束感も増大させることになる。加えて、コストの面でも高くなるといった問題がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開ＷＯ２００９／０７８３５０
【非特許文献】
【０００９】
【非特許文献１】福本雅朗，外村佳伸:指釦：手首装着型コマンド入力機構御．情報処理学会論文誌，vol.40, no.2,pp.389-398,1999.
【非特許文献２】野田早織，星貴之，篠田裕之．指にゃ：指の輪を検出する指輪．情報処理学会インタラクション2009論文集，pp.135-136，2009.
【非特許文献３】則枝真，村田一仁，仙洞田充，三橋秀行.Fingerkeypａd：指へのタップ入力によるモバイル機器操作．情報処理学会インタラクション2010論文集，PＡ15，2010.
【非特許文献４】Chris Hａrrison, Desney Tａn, ａnd Dａn Morris. Skinput：Ａppropriａting the ｂodyａs ａn input surfａce. In Proceeding of the 28th Ａnnuａl SIGCHI Conference on Humａn Fａctors in Computing Systems, pp.453-462, 2010.
【非特許文献５】伊藤晃大，竹村憲太郎，末永剛，高松淳，小笠原司．前腕骨を伝達経路とする骨導音を利用した常時装着インタフェース．第28回日本ロボット学会学術講演会予稿集．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した従来の入力インタフェースにおいて、手指を操作領域に使う方法では、指にセンサを直接装着する必要があり、日常使用するには負担が大きく、また、誤動作が生じる危険性を含むといった問題がある。
【００１１】
また、腕を操作領域に使う方法では、タップによる衝突位置のみが入力信号となっており、タップ箇所、すなわち衝突位置を増やして入力量を高め、より複雑な操作が行える入力インタフェースとするには、身体により多くのセンサを装着する必要がある。そのため小型・軽量化の点で常時の装着性が損なわれてくることになるなり、使用者の拘束感も増大させることになる。加えて、コストの面でも高くなるといった問題がある。
【００１２】
このような問題に鑑みて、本発明は、身体をセンシング領域とするインタフェースにおいて、使用者が気軽に常時装着することが可能で、使用者の意図する多様な入力情報を少ないセンサ構成で安定的して生成できるインタフェースシステムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために本発明は、身体の骨を伝達経路とする骨導音が、身体の姿勢、身体への接触により変化するときの骨導音の信号に着目する。
【００１４】
ここで、骨導音とは、声帯などの振動が頭蓋骨を通じて、直接聴覚神経に伝わる骨伝導による生じる音である。本発明では、生体骨を通じて音が伝播することを骨伝導、生体骨を通じて伝わる音全般を骨導音として捉えている。骨導音は外部ノイズに強く、比較的センシングしやすいことも骨導音に着目した理由である。
【００１５】
本発明の請求項１に係るインタフェースシステムは、身体に装着して用いられるインタフェースシステムであって、身体に少なくとも１個の振動を入力して骨導音を発生させる振動入力用アクチュエータを装着し、他に少なくとも１個の前記骨導音を取得する骨伝導マイクロフォンを装着することを特徴とするインタフェースシステムである。身体の骨格を伝わる骨導音を振動入力用アクチュエータで能動的に発生させて、その骨導音の信号を骨伝導マイクロフォンで取得するインタフェースシステムを構成する。
【００１６】
本発明の請求項２に係るインタフェースシステムは、身体に装着して用いられるインタフェースシステムであって、次の（１）から（４）に示す構成要素を備える。
（１）身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータ。
（２）身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォン。
（３）前記骨伝導マイクロフォンが取得する骨導音の信号に基づいて、身体の姿勢を推定する機能を含む信号処理手段。
（４）前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段。
【００１７】
かかる構成とすることにより、振動入力用アクチュエータで発生させた骨導音の信号を、第２の部位の骨伝導マイクロフォンで取得して、その信号に基づいて信号処理を行うことで、身体の姿勢を推定し、その推定結果から入力情報を生成できる。
【００１８】
本発明の請求項３に係るインタフェースシステムは、請求項２の振動用アクチュエータ及び骨伝導マイクロフォンを装着する第１の部位、第２の部位が、装着者（以下、使用者）の同じ腕であることを特徴とする。
【００１９】
腕は、ジェスチャにより使用者の意思を表示するのに好適な身体部位である。例えば、ロボットの遠隔操作、仮想空間内でのキャラクター操作、家電のＯＮ／ＯＦＦ、音量操作など、ジェスチャによる入力の適用範囲は広く、ユーザインタフェースとして有望である。
【００２０】
また、体表と骨までの距離が比較的近く、外部からの振動入力により骨導音を生じさせやすい。振動入力用アクチュエータと骨伝導マイクロフォンを同じ腕に配置することで、伝達経路となる骨の種類や関節数が限られ、また、比較的アクチュエータとマイクロフォンの間の距離も短くなり、経路も直線的であるため、骨を伝わる間の骨導音の減衰などによる骨導音の低下やノイズの混入も比較的防ぎやすく、骨導音をより取得しやすくなるという利点もある。
【００２１】
また、腕は、他の身体の部位と比べて使用者にとって違和感なく装着しやすく、拘束感を緩和しやすい。小型・軽量化することで日常生活の観点からも常時装着しやすい身体部位である。振動入力アクチュエータの振動出力部が、体表側にあれば装着方法に特に制限はない。また、骨伝導マイクロフォンにおいても骨導音採取部が、体表側にあれば装着方法に特に制限はない。
【００２２】
また、同じ腕に装着することで、システムとしてコンパクトに構成しやすくできる。
【００２３】
また、アクチュエータとマイクロフォンで調和した形状やファッション性を付与することで、外見上も違和感も取り除きやすい。例えば、装飾用リングや腕時計のようなデザインとすることで、使用者の装着意欲を高めるインタフェースシステムとすることができる。
【００２４】
本発明の請求項４に係るインタフェースシステムは、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する機能を信号処理手段として含むことを特徴とする。肘の屈伸・屈曲は腕の動作として大きく、骨導音の信号を取得しやすい。外見的にもジェスチャとしても分かりやすい。屈曲角の推定結果を所定の外部入力情報と組み合わせることにより、例えば、外部機器の操作情報を肘の屈伸・屈曲に合わせて出力することができ、ジェスチャ入力よる機器の直観的な操作が可能となる。
【００２５】
本発明の請求項５に係るインタフェースシステムは、身体に装着して用いられるインタフェースシステムであって、次の（１）から（５）に示す構成要素を備える。
（１）身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータ。
（２）身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォン。
（３）身体の第３の部位に装着され、前記骨導音を取得する骨伝導マイクロフォン。
（４）前記第２の部位に装着された骨伝導マイクロフォンと、前記第３の部位に装着された骨伝導マイクロフォンが取得する骨導音の信号に基づいて、身体の姿勢を推定する機能と、身体への接触による接触位置を推定する機能を含む信号処理手段。
（５）前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段。
【００２６】
かかる構成とすることにより、振動入力用アクチュエータで発生させた骨導音の信号を、第２の部位及び第３の部位の各々の骨伝導マイクロフォンで取得して、それら信号に基づいて信号処理を行うことで、身体の姿勢、接触位置を推定し、それら推定結果から入力情報を生成できる。骨伝導マイクロフォンの装着位置を増やすことより、身体の姿勢と接触位置の両方を推定できるため入力情報を増やすことができる。
【００２７】
本発明の請求項６に係るインタフェースシステムは、請求項５の振動用アクチュエータ及び骨伝導マイクロフォンを装着する第１の部位、第２の部位、第３の部位が、使用者の同じ腕であることを特徴とする。同じ腕の３箇所に振動用アクチュエータと、骨伝導マイクロフォンを複数装着することにより、同じ腕における身体の姿勢と接触位置の両方の推定を行うことができる。
【００２８】
本発明の請求項７に係るインタフェースシステムは、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する機能を信号処理手段として含むことを特徴とする。肘の屈伸・屈曲は腕の動作として大きく、骨導音の信号を取得しやすい。外見的にもジェスチャとしても分かりやすい。特定の屈曲角や屈曲角の変化量を、所定の外部入力情報と組み合わせることにより、例えば、外部機器の操作情報を肘の屈伸・屈曲に合わせて出力することができ、ジェスチャ入力により機器を直観的に操作することが可能となる。
【００２９】
本発明の請求項８に係るインタフェースシステムは、身体への接触が、腕へのタップによる衝突であり、その衝突位置を接触位置として推定する機能を信号処理手段として含むことを特徴とする。腕へのタップによる衝突は、骨導音の信号を比較的取得しやすい。また、外見的にもジェスチャとしても分かりやすい。衝突位置の推定結果を、所定の入力情報と組み合わせることにより、例えば、外部機器の操作情報をタップによる衝突位置に合わせて出力することができ、ジェスチャ入力による機器の直観的な操作が可能となる。
【００３０】
本発明の請求項９に係るインタフェースシステムは、信号処理手段が、肘の屈曲角を推定する屈曲角推定手段と、腕へのタップによる衝突位置を推定する衝突位置推定手段の両方を備え、屈曲角と衝突位置を両方が推定することができることを特徴とする。肘の屈伸・屈曲とタップの両方のジェスチャを認識でき、外部入力信号としての情報生成量を増やすことができる。同じ腕に２個の骨伝導マイクロフォンを装着し、同じ骨導音の信号を別の個所で取得することで、同じ腕における身体の姿勢と接触位置の両方の推定を行うことができる。
【００３１】
本発明の請求項１０に係るインタフェースシステムは、屈曲角推定手段が、肘の屈曲角の推定を、肘の屈伸・屈曲に伴う骨導音の振幅の変化に基づいて行うことを特徴とする。骨導音の信号として振幅は、取得しやすい特徴量であり、その振幅の変化に基づくことで、信頼性の高い推定が可能となる。
【００３２】
本発明の請求項１１に係るインタフェースシステムは、前記衝突位置推定手段は、腕へのタップによる衝突位置の推定を、前記タップに伴う前記骨導音の振幅の変化に基づいて行うことを特徴とする。骨導音の信号として振幅は、取得しやすい特徴量であり、その振幅の変化に基づくことで、信頼性の高い推定が可能となる。
【００３３】
本発明の請求項１２に係るインタフェースシステムは、骨伝導マイクロフォンが、集音器と小型マイクロフォンを一体的に組み合わせて形成されたマイクロフォンであることを特徴とする。かかる構成とすることで、骨導音が小さくても十分な感度を得やすくなる。
【００３４】
なお、本発明における腕へのタップとは、指、腕など身体の部位による接触・打腱、棒などに器具による接触・打腱などを含み、骨導音を生じさせる身体への接触行為である。
【発明の効果】
【００３５】
本発明によれば、身体に装着されて用いられるインタフェースシステムが、使用者の骨を伝達経路とする骨導音をセンシングすることにより、入力インタフェースとしての利用が可能である。特に、腕に振動入力用アクチュエータと骨伝導マイクロフォンを装着し、肘の屈曲角の推定、腕をタップしたときに衝突位置の推定を行うことにより、屈曲角推定と衝突位置推定の同時利用が可能となる。これにより、使用者にとっても簡単で分かりやすい２つのジェスチャ（肘の屈伸・屈曲、腕へのタップ）を用いて、多くの入力情報を生成できるインタフェースシステムを構成することができる。
【００３６】
また、振動入力用アクチュエータと骨伝導マイクロフォンのみのシンプルな構成で装着システムの実現が可能である。また、外部環境側に身体の動きを計測する手段は必要ない。そのため小型・軽量で、外部環境にも強く、かつ使用者が常時装着しても日常生活に支障なく用いることを可能とするインタフェースシステムを構成することができる。
【００３７】
ウェアラブルコンピュータやユビキタスコンピューティングなどの環境下において、身体による手軽な操作が可能なユーザインタフェースを提供できる。
【図面の簡単な説明】
【００３８】
【図１ａ】インタフェースシステムの装着例の一例を示す模式図
【図１ｂ】インタフェースシステムの装着例の一例を示す模式図
【図２ａ】インタフェースシステムの機能ブロック図
【図２ｂ】インタフェースシステムの機能ブロック図
【図３ａ】前腕部にアクチュエータとマイクロフォンを装着する模式図
【図３ｂ】前腕部に２個のマイクロフォンを装着する模式図
【図３ｃ】前腕部にアクチュエータと２個のマイクロフォンの装着する模式図
【図４】各骨伝導マイクロフォンで取得された信号の最大振幅
【図５】実施例１のインタフェースシステムの装着状態の模式図
【図６】聴診器型骨伝導マイクロフォンの外観・断面図
【図７】上腕骨頭から骨導音を入力した際の肘の各屈曲角度における骨導音の振幅
【図８ａ】実施例２及び３のインタフェースシステムの装着状態の模式図
【図８ｂ】実施例２及び３のインタフェースシステムの実際の装着状態
【図９】肘頭から骨導音を入力した際の肘の各屈曲角度における骨導音の振幅
【図１０ａ】被験者Ａのキャリブレーションによる関数近似の結果
【図１０ｂ】被験者Ｂのキャリブレーションによる関数近似の結果
【図１１ａ】被験者Ａの肘の屈曲角推定の評価実験の結果
【図１１ｂ】被験者Ｂの肘の屈曲角推定の評価実験の結果
【図１２】実施例４及び５のインタフェースシステムの実際の装着状態
【図１３ａ】衝突よって生じた骨導音（尺骨茎状突起側）
【図１３ｂ】衝突よって生じた骨導音（肘頭側）
【図１４ａ】衝突よって生じた骨導音の周波数スペクトル（尺骨茎状突起側）
【図１４ｂ】衝突よって生じた骨導音の周波数スペクトル（肘頭側）
【図１５ａ】スピーカから入力した骨導音の例
【図１５ｂ】スピーカから入力した骨導音の周波数スペクトル
【図１６】前腕を３区間に分割した状態を示す図
【図１７ａ】被験者Ａの衝突位置推定の結果
【図１７ｂ】被験者Ｂの衝突位置推定の結果
【図１８ａ】被験者Ａの肘の屈曲角推定の結果
【図１８ｂ】被験者Ｂの肘の屈曲角推定の結果
【図１９】屈曲角と衝突位置の両方を推定する処理フロー
【図２０】推定された衝突位置に対するロボットの操作命令
【図２１】推定された衝突位置の組み合わせに対するロボットの操作命令
【図２２】衝突位置推定をロボットの操縦に用いた様子
【図２３】肘の屈曲角推定をロボットの操縦に用いた様子
【図２４】骨導音を用いたインタフェースシステムの全体概要
【発明を実施するための最良の形態】
【００３９】
以下、図面を参照しながら本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具現化した一例であって、本発明の技術的範囲は実施例や図示例に限定されるものではない。
【００４０】
図１ａは、本発明のインタフェースシステムを、身体に装着したときの１つの実施態様を示す模式図である。使用者１０００の上腕部に振動入力用アクチュエータ１０が１個装着され、関節を介した同じ腕の前腕部に骨伝導マイクロフォン２０が１個装着されている。振動入力用アクチュエータ１０から身体に向けて振動を加え、腕の骨格に対して骨導音を発生させる。骨伝導マイクロフォン２０は、腕の骨格・関節を通じて伝わってくる骨導音をセンシングする。振動入力用アクチュエータからの振動入力は、身体に継続的に入力してもよいし、必要な時にだけ入力してもよい。
【００４１】
かかる状態で、センシングされる腕の肘を屈伸・屈曲させたときの肘の屈曲角を、骨伝導マイクロフォン２０により取得した骨導音をコンピュータなどで信号処理することで推定する。その信号処理の結果に基づいて、外部機器やアプリケーションソフトウェアなどに対して、コンピュータなどによってコマンドなどの入力情報を生成する機能を備えている。
【００４２】
前記コンピュータなどで信号処理する機能、入力情報を生成する機能は、骨伝導マイクロフォン２０に組み込まれてもよいし、身体と直接接触しない外部に備えられてもよい。また、本発明のインタフェースシステムは、生成された入力情報を、無線、有線を問わず入力対象となる機器等に送信することができる機能を備えることができる。また、振動入力用アクチュエータの振動の発信・停止・強度などを制御する機能を備えることができる。
【００４３】
図１ｂは、本発明のインタフェースシステムを、身体に装着したときの他の実施態様を示す模式図である。使用者２０００の上腕部に振動入力用アクチュエータ３０と骨伝導マイクロフォン４０が１個装着され、関節を介した同じ腕の前腕部に骨伝導マイクロフォン５０が１個装着されている。振動入力用アクチュエータ３０から身体に向けて振動を加え、腕の骨格に対して骨導音を発生させる。骨伝導マイクロフォン４０及び５０は、腕の骨格・関節を通じて伝わってくる骨導音を各々センシングする。振動入力用アクチュエータからの振動入力は、身体に継続的に入力してもよいし、必要な時にだけ入力してもよい。
【００４４】
かかる状態で、センシングされる腕の肘を屈伸・屈曲させたときの肘の屈曲角を、骨伝導マイクロフォン４０、５０により取得した骨導音をコンピュータなどで信号処理することで推定する。また、センシングされる腕をタップしたときの衝突位置を、骨伝導マイクロフォン４０、５０により取得した骨導音をコンピュータなどで信号処理することで推定する。それらの信号処理の結果に基づいて、外部機器やアプリケーションソフトウェアなどに対して、コンピュータなどによってコマンドなどの入力情報を生成する機能を備えている。
【００４５】
前記コンピュータなどで信号処理する機能、入力情報を生成する機能は、骨伝導マイクロフォン４０、５０に組み込まれてもよいし、身体と直接接触しない外部に備えられてもよい。また、本発明のインタフェースシステムは、生成された入力情報を、無線、有線を問わず入力対象となる機器等に送信することができる機能を備えることができる。また、振動入力用アクチュエータの振動の発信・停止・強度などを制御する機能を備えることができる。
【００４６】
図２ａは、図１ａの実施態様に対する本発明のインタフェースシステムの機能ブロック図を示す。図２ａに示すように、インタフェースシステムの機能ブロックは、振動入力用アクチュエータによって振動を入力し、骨導音を発生させる骨導音入力手段６１、１個の骨伝導マイクロフォンにより前記骨導音の信号を取得する骨導音取得手段６２、取得した前記骨導音の信号に基づいて、身体の姿勢を推定する信号処理を行う信号処理手段６３、信号処理手段の処理結果から、入力情報を生成する外部入力情報生成手段６４、からなる。
【００４７】
図２ｂは、図１ｂの実施態様に対する本発明のインタフェースシステムの機能ブロック図を示す。図２ｂに示すように、インタフェースシステムの機能ブロックは、振動入力用アクチュエータによって振動を入力し、骨導音を発生させる骨導音入力手段７１、２個の骨伝導マイクロフォンにより、前記骨導音の信号を個別に取得する骨導音取得手段７２及び７３、個別に取得した前記各骨導音の信号に基づいて、身体の姿勢と接触位置を推定する信号処理手段７４、信号処理手段７４の処理結果をもとに入力情報を生成する外部入力情報生成手段７５、からなる。
【００４８】
次に、肘を屈伸・屈曲させたときの屈曲角の推定方法について説明する。図３ａの模式図にように、同じ腕の肘頭に振動入力用アクチュエータ８０、尺骨茎状突起に骨伝導マイクロフォン９０を１個ずつ取り付け、その腕の肘を屈伸・屈曲させる。その際、屈伸・屈曲の動作に応じて、振動入力アクチュエータ８０の振動入力により発生し、腕の骨に伝わる骨導音の振幅が変化する。骨伝導マイクロフォン９０によって前記振幅の変化を骨導音の信号として取得し、その振幅変化から肘の屈曲角を推定する。具体的には、予め使用者に対してキャリブレーションを実施し、使用者の個体特性（骨の太さ・密度、筋肉の厚みなど）に適応した屈曲角と骨導音の振幅の関係を、関数近似式として事前に求めておく。その関数近似式を屈曲角推定手段として用いることにより、屈曲角を推定することができる。関数近似式は、二次多項式などで表現できるため計算量が少なく、リアルタイムでの計算実行を可能とする。
【００４９】
次に、腕を外部からタップしたときの衝突位置の推定方法について説明する。
衝突位置の推定は、衝突で発生した骨導音の音源位置を求めることに他ならない。図３ｂの模式図に示すように、腕の肘頭に骨伝導マイクロフォン１００、尺骨茎状突起に骨伝導マイクロフォン１１０を１個ずつ取り付け、その間の前腕を使用者自身の指でタップして発生させた骨導音を、各骨伝導マイクロフォン１００及び１１０で個別に取得する。その個別に取得した前記各骨導音の信号のレベル差により位置推定を行う。ここで、前記レベル差とは、２個の骨伝導マイクロフォン１００及び１１０で取得した骨導音の振幅の比である。
【００５０】
振幅の強さは、タップによる衝突の強さに依存せず、衝突位置からの距離により変化する。すなわち、衝突位置である骨導音の発生位置から、各々の骨伝導マイクロフォン１００及び１１０までの距離の違いによって振幅に差が生じ、それを信号レベル差として取得することで、衝突位置を推定することができる。なお、使用者の個人特性（腕の長さ、筋肉の付き方など）に適応する信号レベル差の閾値を、予め使用者にキャリブレーションを実施し求めておくのが望ましい。
【００５１】
ここで、骨伝導マイクロフォン１００及び１１０で個別に取得した骨導音の信号レベル差をＬとするとき、Ｌは、例えば下記式から計算される。
【数１】
Ｆ１、Ｆ２は、図４に示す記号Ｆのように、骨伝導マイクロフォン１００及び１１０で取得した信号の最大振幅である。振幅が閾値を超えた点を衝突の開始時間として記録し、その前後の信号から振幅のピーク値を求める。信号レベル差Ｌは、振幅の比で決まるため衝突の強さに関係なく、衝突位置からの距離により変化する。すなわち、骨伝導マイクロフォン１００及び１１０の間で骨導音の発生位置からの距離の違いによって減衰が生じていることから、信号レベル差Ｌにより衝突位置を推定でき、衝突位置推定手段として用いることができる。振幅による推定は、単純な閾値処理による判別のため計算量も少なく、リアルタイムでの計算実行を可能とする。
【００５２】
次に、同じ腕で肘を屈伸・屈曲させたときの屈曲角と、腕をタップしたときの衝突位置の各々を個別に推定する方法について説明する。図３ｃの模式図に示すように、肘頭に振動入力用アクチュエータ１２０と骨伝導マイクロフォン１３０を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン１４０を１個取り付けた装着状態において、骨伝導マイクロフォン１３０及び１４０の間の腕を指でタップする。この時の屈曲角とタップによる衝突位置の両方を推定するには、各々の動作によって生じる骨導音を個別に認識して抽出し、それぞれに上記の屈曲角の推定方法と衝突位置の推定方法を施せばよい。
【００５３】
個別に骨導音を認識するには、肘の屈伸・屈曲で生じる骨導音と、タップによる衝突で生じる骨導音の各々の周波数特性を解析し、それぞれの骨導音の周波数領域を予め見出しておき、バンドパスフィルタなどによる周波数フィルタリングを施すことによって、屈伸・屈曲による骨導音とタップの衝突による骨導音を分離し、その信号を抽出する。抽出した各々の骨導音の信号に対して屈曲角推定と衝突位置推定を含む信号処理を実施し、屈曲角と衝突位置を推定することができる。
【実施例１】
【００５４】
肘の屈曲角推定の第１の評価実験を実施例１として説明する。図５は、実施例１に係るインタフェースシステムを腕に装着したときの模式図である。腕の上腕骨頭に振動入力用アクチュエータ１５０を取り付け、尺骨茎状突起に骨伝導マイクロフォン１６０を１個ずつ取り付ける。尺骨茎状突起及びその付近は筋肉が薄く肉導音等のノイズの影響を受けにくく、骨導音の取得位置としては好適である。
【００５５】
振動入力用アクチュエータ１５０は、上腕骨頭の皮膚表面から振動を与えて身体内で骨導音を発生させる。ここで、振動入力用アクチュエータ１５０として携帯電話のバイブレーション発生に使用される市販の振動モータを用いた。
【００５６】
骨伝導マイクロフォン１６０は、骨の振動だけを検出するもので、実施例１では発生した骨導音を尺骨茎状突起の皮膚表面から取得するためのものである。また、骨伝導マイクロフォン１６０は、集音器として新生児・未熟児用聴診器（村中医療機器株式会社，ＭＭＩ−６０８ＧＲ））を採用し、小型マイクロフォン（Ｋｎｏｗｌｅｓ Ｅｌｅｃｔｒｏｎｉｃｓ，ＳＰ０１０３ＮＣ３−３）を一体的に組み合わせた聴診器型骨伝導マイクロフォンを用いている。
【００５７】
この聴診器型骨伝導マイクロフォンの外観・構造を図６に示す。聴診器のダイヤフラムで骨の振動を捉え、チェストピース内で音を増幅してマイクロフォンにより骨導音の検出を行う。聴診器はダイヤフラムによって直接触れた部分の振動音を増幅するため気導音の影響を受けにくく、骨の振動のみの高感度な検出を可能とする。新生児・未熟児用聴診器を採用したのは、ダイヤフラムが直径約２２ｍｍと一般の聴診器に比べて小さいため、骨の周囲にある肉の振動を同時に検出するのを低減し、骨の振動のみの検出に向いているためである。
【００５８】
なお、このような骨伝導マイクロフォンの構成としたのは、従来の骨伝導マイクロフォンでは、頭蓋骨の振動を取得するのに適しているのに対して、腕の骨の振動を取得するという用途には向いていない。このため、頭蓋骨に比べて振動が小さい腕の骨を伝わる骨導音に対しては、十分な感度が得られない。よって、上記のような構成とし、聴診器と組み合せる工夫をした。なお、集音器としては、前記新生児・未熟児用聴診器に限らず、骨導音を有効に採音できるものであればよい。
【００５９】
上記のような構成のインタフェースシステムにおいて、振動入力用アクチュエータ１５０（前記振動モータ）を用いて上腕骨頭より骨導音を発生させ、肘の屈曲角を所定角度ごとに変化させた場合に、腕の骨を伝わる骨導音を尺骨茎状突起に取り付けた骨伝導マイクロフォン１６０（前記聴診器型骨伝導マイクロフォン）で取得する実験を行った。前記振動モータからは、振幅一定で１８８Ｈｚの周波数を持つ正弦波を継続的に入力した。ここで、１８８Ｈｚは、前記振動モータの携帯電話のバイブレーションとして使用する際に用いられる周波数である。
【００６０】
肘の屈曲角は、上腕骨と尺骨が水平となる状態を０度とし、直角となる状態を９０度として、０度から１２０度まで３０度刻みで屈曲させた。この時、前記振動モータによって腕に加える振動により発生する骨導音を前記聴診器型骨伝導マイクロフォンで取得した。その結果を図７に示す。０度、３０度、６０度、９０度、１２０度において有意な振幅の変化が観測された。すなわち、実施例１の構成において、肘の屈伸・屈曲よる骨導音の振幅変化をコマンドや所定のプロセスと体系づけることで、肘のジェスチャによって、入力インタフェースとして有用に機能することが示された。
【実施例２】
【００６１】
次に、肘の屈曲角推定の第２の評価実験を実施例２として説明する。図８ａのインタフェースシステムを腕に装着したときの模式図に示すように、骨伝導マイクロフォン１８０の装着位置は実施例１と同じ尺骨茎状突起とし、振動入力用アクチュエータ１７０の取り付け位置を肘頭とした。図８ｂに実際の装着状況を示す。
【００６２】
振動入力用アクチュエータ１７０として、小型スピーカ（ＴＤＫ製ＳＤ２４１２Ｌ５−Ｔ１）を採用した。前記小型スピーカを採用した理由は、他励式であるため外部からの信号に応じた振動を生成可能であり、振幅の制御も容易で、また振動も微小であることから使用者に不快な振動を感じさせないといった利点があるためである。なお、骨伝導マイクロフォン１８０は、上記の聴診診器型骨伝導マイクロフォンを用いた。
【００６３】
上記のような構成のインタフェースシステムにおいて、振動入力用アクチュエータ１７０（前記小型スピーカ）を用いて肘頭より骨導音を発生させ、肘の屈曲角を所定角度ごとに変化させた場合に、腕の骨を伝わる骨導音を尺骨茎状突起に取り付けた骨伝導マイクロフォン１８０（前記聴診器型骨伝導マイクロフォン）で取得する実験を行った。前記小型スピーカからは、振幅一定で８００Ｈｚの周波数を持つ正弦波を継続的に入力した。ここで、８００Ｈｚは、スピーカの共振周波数である。なお、振動入力の周波数帯域に特に制限はないが、衝突位置推定と同時利用をした場合に、衝突によって発生する骨導音と分離が容易は周波数帯域が望ましく、特に６００Ｈｚ以上が好ましい。
【００６４】
肘の屈曲角は、上腕骨と尺骨が水平となる状態を０度とし、直角となる状態を９０度として、０度から１２０度まで１５度刻みで屈曲させた。骨導音の信号を骨伝導マイクロフォン１８０（前記聴診器型骨伝導マイクロフォン）で取得した。その結果を図９に示す。０度、１５度、３０度、４５度、６０度、７５度、９０度、１０５度、１２０度において有意な振幅の変化が観測された。 すなわち、実施例２の構成においても肘を屈伸・屈曲による骨導音の振幅変化をコマンドや所定のプロセスと体系づけることで、肘のジェスチャによって、入力インタフェースとして有用に機能することが示された。例えば、マスター・スレイブ型やコマンド型のインタフェースに好適である。
【００６５】
また、肘頭を振動の入力位置とすることで、実施例１の上腕骨頭を入力位置とするよりも、より小さい屈曲角の変化を捉えることができた。これにより、小さい屈曲角の変化を認識でき入力信号量を増加させることが示された。振動入力用アクチュエータ１７０と骨伝導マイクロフォン１８０の距離が近く関節も介さないため、比較的小さな振動であっても入力振動として使用できるので、使用者にも負担の小さい振動入力手段を提供できる。また、身体上の分散配置を防ぎ、使用者の装着負担を軽減するシステムとして構成しやすくなり、腕への装着性を高めるシステム構成としやすいことを示している。
【００６６】
また、装着位置としても肘頭及び尺骨茎状突起の付近は、筋肉が薄く肉導音等のノイズの影響を受けにくい上、一本の尺骨内を骨導音が伝わるという観点からも、振動入力及び骨導音の取得位置としては好適であることも示している。
【実施例３】
【００６７】
次に、被験者Ａ、Ｂに対する屈曲角推定の第３の評価実験を実施例３として説明する。被験者Ａ、Ｂは、実施例２と同じ、図８ａ及び図８ｂに示すように、肘頭に振動入力アクチュエータ１７０と尺骨茎状突に骨伝導マイクロフォン１８０を前腕に装着している。振動入力アクチュエータ１７０は前記小型スピーカ、骨伝導マイクロフォン１８０は、前記聴診器型骨伝導マイクロフォンである。
【００６８】
まず、肘の屈曲角と骨導音の信号の関係を関数近似するためのキャリブレーションを行う。キャリブレーションは、上腕骨と尺骨が水平となる状態を０度とし、０度、４５度、９０度の姿勢で各々１０回ずつ肘頭の振動入力用アクチュエータ１７０（前記小型スピーカ）により骨導音を発生させ、尺骨茎状突起の骨伝導マイクロフォン１８０（前記聴診診器型骨伝導マイクロフォン）で振幅の変化を取得した。この振幅の変化から、最小二乗法を用いて２次多項式による屈曲角と振幅の関数近似を行い、関数近似式を作成した。その結果を図１０ａ、図１０ｂに示す。図１０ａは被験者Ａ、図１０ｂは被験者Ｂに対する関数近似式である。
【００６９】
ここで、２次多項式を用いた理由は、腕の屈曲角に対する骨導音の変化が肘関節での骨導音の反射によるものと仮定した場合、その変化は９０度付近をピークとして規則的な変化であることから、凸と凹の単純な多項式である２次関数で近似できるためである。また、近似式を作成する際の姿勢が３点で足りるため、キャリブレーションが容易となる利点もある。
【００７０】
次に、キャリブレーションによって得られた関数近似式を用いて、肘の屈曲角推定を行う。上腕骨と尺骨が水平となる状態を０度とし、直角となる状態を９０度として、０度から９０度まで１５度刻みで屈曲させたとき、振動入力用アクチュエータ１７０（前記小型スピーカ）から各々１０回ずつ振動を入力し骨導音を発生させ、骨伝導マイクロフォン１８０（前記聴診診器型骨伝導マイクロフォン）で振幅の変化を取得した。それによって屈曲角推定の結果と真の屈曲角との誤差の標準偏差を求め評価した。なお、前記小型スピーカからの入力信号は、振幅一定で８００Ｈｚの周波数を持つ正弦波を用い、一回の信号の長さ０．０１ｓｅｃとした振動を、１ｓｅｃ以上の間隔を開けて断続的に入力した。
【００７１】
図１１ａ、１１ｂにその結果を示す。図１１ａは被験者Ａ、図１１ｂは被験者Ｂの推定結果である。縦軸は、推定による屈曲角、横軸は真の屈曲角である。点線は推定した屈曲角と真の屈曲角の一致する点である。評価実験の結果、被験者Ａ、Ｂとも５〜７度程度の誤差で肘の屈曲角が推定できることが示された。
【実施例４】
【００７２】
次に、肘の屈曲角推定と腕への指のタップ(叩く)による衝突位置の推定を、同じ腕で行うことができる実施形態を実施例４として説明する。２つの推定を行うには、まず、振動入力用アクチュエータにより発生する骨導音と、指のタップによる衝突によって生じる骨導音との分離が必要となる。そのため、前記各骨導音の周波数特性を解析し、周波数領域のフィルタリングによる前記各骨導音の分離手法を検討した。
【００７３】
検討に当っては、図１２の実際の装着状態が示すように、肘頭に振動入力用アクチュエータ１９０と骨伝導マイクロフォン２００を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン２１０を１個取り付けた状態において、骨伝導マイクロフォン２００及び２１０の間の前腕を使用者自身の指でタップする。この時、振動入力用アクチュエータ１９０から振動を継続的に入力して、骨導音の信号を骨伝導マイクロフォン２００及び２１０で取得する。ここで、振動入力用アクチュエータ１９０として上記の小型スピーカを用い、骨伝導マイクロフォン２００及び２１０として上記の聴診器型骨伝導マイクロフォンを用いている。
【００７４】
図１３ａ、図１３ｂは、前腕の所定位置を使用者自身の指でタップしたときの衝突で生じた骨導音の振幅を骨伝導マイクロフォン２００及び２１０で各々取得した結果である（図１３ａ：尺骨茎状突起、図１３ｂ：肘頭）。図１４ａ、図１４ｂは、それらを周波数変換した結果である（図１４ａ：尺骨茎状突起、図１４ｂ：肘頭）。図１５ａは、肘頭から前記小型スピーカで入力した骨導音の振幅を取得した結果である。図１５ｂは、それを周波数変換した結果を示す。なお、前記小型スピーカからの入力信号は、振幅一定で８００Ｈｚの周波数をもつ正弦波を用い、一回の入力信号の長さは０．０１ｓｅｃである。
【００７５】
これらの結果から、指のタップによる衝突で生じた骨導音は、概ね５００Ｈｚ以下の周波数領域に存在し、対して小型スピーカから入力された骨導音は、入力信号である８００Ｈｚ付近に存在していることが示された。なお、１回の入力信号の長さは０．０１ｓｅｃであるが、長時間の信号でも同様の結果となる。すなわち、前記タップによる衝突で生じる骨導音は、６００Ｈｚ以下、好ましくは５０〜６００Ｈｚの信号を、バンドパスフィルタを用いて抽出することにより認識できる。振動入力用アクチュエータで入力された骨導音は、７８０〜８２０Ｈｚの信号を、バンドパスフィルタを用いて抽出することより認識できることが判明した。なお、バンドパスフィルタとしてＦＦＴを用いた周波数フィルタリングを行った。
【００７６】
次に、被験者Ａ、Ｂに対する屈曲角推定と衝突位置推定を同じ腕で行う第４の評価実験について説明する。被験者Ａ、Ｂには、上述の図１２に示すように、肘頭に前記振動入力用アクチュエータ１９０（前記小型スピーカ）と骨伝導マイクロフォン２００（前記聴診器型骨伝導マイクロフォン）を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン２１０（前記聴診器型骨伝導マイクロフォン）を１個が装着されている。なお、小型スピーカの振動は、周波数フィルタリングで除去できるため肘骨側の振動入力用アクチュエータ１９０と骨伝導マイクロフォン２００を一つの装置にまとめることもできる。
【００７７】
まず、初期作業として屈曲角推定と衝突位置推定について、被験者Ａ、Ｂに対してキャリブレーションを実施した。衝突位置推定のためのキャリブレーションは、腕の長さや筋肉の付き方等の影響による個人差が生じるため、予め被験者に合わせた上記の信号レベル差Ｌに対する閾値を設定するために行う。図１６に示すように、前腕をＰ１，Ｐ２，Ｐ３の３つに区間に分割する。これら３区間を各々１０回ずつ被験者自身の指で叩き、骨導音の振幅の変化を骨伝導マイクロフォン２００及び２１０で取得した。その信号データから前記信号レベル差Ｌに対すＳＶＭ（サポートベクタマシン）モデルを作成し、閾値設定を行った。この間は、振動入力用アクチュエータ１９０からの入力による骨導音の発生は行われていない。
【００７８】
次に、肘の屈曲角推定のための屈曲角と骨導音の振幅の関数近似式を求めるためのキャリブレーションを実施した。肘の屈曲角０度、４５度、９０度の姿勢で、各々１０回ずつ肘頭の振動入力用アクチュエータ１９０により骨導音を継続的に発生させ、尺骨茎状突起の骨伝導マイクロフォン２１０で振幅の変化を取得した。この振幅の変化から、最小二乗法を用いて２次多項式による屈曲角と振幅の関数近似を行い、関数近似式を作成した。なお、この間は、衝突による骨導音の発生は行われていない。
【００７９】
これらキャリブレーション完了後、衝突位置推定は、振動入力用アクチュエータ１９０より、８００Ｈｚの正弦波を継続的に入力し続けた状態で行う。上記の前腕のＰ１，Ｐ２，Ｐ３の区間をそれぞれ５０回ずつ被験者自身の指で叩き、その衝突位置の判別の正当率をもって評価した。屈曲角推定は、肘の屈曲を０度から９０度まで１５度刻みの姿勢で、前腕を指で叩くと同時に振動入力用アクチュエータ１９０である前記小型スピーカより０．１ｓｅｃの信号をそれぞれ１０回ずつ入力し、その際の実際の肘の屈曲角と誤差の標準偏差を持って評価を行った。
【００８０】
図１７ａは被験者Ａ、図１７ｂは被験者Ｂの衝突位置の推定結果を示している。横軸と縦軸は、それぞれ尺骨茎状突起と肘頭に取り付けた骨伝導マイクロフォン２００及び２１０で得られた骨導音の最大振幅である。点線と一点鎖線は、Ｐ１とＰ２、Ｐ２とＰ３を判別する閾値を示しており、横軸と点線で囲まれた部分をＰ１、点線と一点鎖線で囲まれた部分をＰ２、縦軸と一点鎖線で囲まれた部分をＰ３と判別する。図１７ａ、図１７ｂのマーカーは、実際の指で叩いた衝突位置で、この位置と閾値処理による判別結果が一致した場合を位置推定が正しくできたとした。評価結果では、被験者Ａについては９７．３％、被験者Ｂについては９２.０％の一致率であり、９０％以上の認識率が得られることが示された。
【００８１】
図１８ａは被験者Ａ、図１８ｂは被験者Ｂの肘の屈曲角推定の結果を示している。横軸と縦軸はそれぞれ真の屈曲角と推定した屈曲角であり、点線は双方が一致する点である。評価結果では、被験者Ａ、Ｂともに３〜５度の誤差で肘の屈曲角が推定できた。なお、図１９に第４の評価実験の処理フローを示す。
【００８２】
上記のようにキャリブレーションと、周波数フィルタリングを施すことで、同じ腕で肘の屈曲角推定と、腕への指のタップによる衝突位置の推定を各々個別に行うことができ、屈曲角推定と衝突位置推定の同時利用が可能であることが示された。
【実施例５】
【００８３】
次に、ロボットの操縦インタフェースとして使用した実施態様を実施例５として示す。操縦者には、上述の図１２に示すように、肘頭に前記振動入力用アクチュエータ１９０（前記小型スピーカ）と骨伝導マイクロフォン２００（前記聴診器型骨伝導マイクロフォン）を１個ずつ取り付け、尺骨茎状突起に骨伝導マイクロフォン２１０（前記聴診器型骨伝導マイクロフォン）を１個が装着されている。操作対象は、ＨＲＰ−２ｍ Ｃｈｒｏｍｅｔ（ゼネラルロボティックス社製）である。腕を使用者の指でタップ(叩く)し、衝突位置推定を行って、推定結果をロボットの操作命令として使用するコマンド式インタフェースとした。
【００８４】
上記の前腕のＰ１、Ｐ２，Ｐ３の区間と手先と肩を加えた５カ所の衝突位置の推定結果を、図２０に示すように５通りの操作命令として関連付けた。更に、図２１に示すように、２回タップした時の衝突位置の推定結果を組み合わせて、９通りの操作命令として関連付けた。ここで、２回のタップによる操作命令では、肩及び手先へのタップは、１つ目の入力を間違えた場合のリセットボタンとして使用する。なお、手先と肩などの前腕以外の部位を指で叩いた場合、前腕を伝わる骨導音に比べて、前腕をタップした場合よりも信号のレベルが小さくなり、比較的容易に衝突位置を判別できる。
【００８５】
肘の屈曲角の推定結果のロボット操作への操作命令は、屈曲角を連続して推定し、得られた屈曲角に合わせてロボットの腕を屈伸させるものとした。
【００８６】
実施例５では、前記小型スピーカから入力した骨導音以外の骨導音を除去し、誤動作が防ぐために、入力信号である８００Ｈｚの信号のみを取得できるよう、７８０から８２０Ｈｚの範囲のバンドパスフィルタを使用し、手首の屈伸や腕の運動によって生じる低周波のノイズや、手先から生じた骨導音について除去するようにした。５０Ｈｚ以下の信号もハイパスフィルタによりカットするようにした。また、骨導音を周波数変換し、８００Ｈｚ付近がスペクトル強度のピークとなった場合のみを入力信号として採用することにより、日常生活で装着し、日常作業を行う場合の誤認識を低減できるようにした。
【００８７】
図２２に衝突位置推定結果をロボットの操縦に用いた様子を示す。操縦者のタップによる衝突位置に合わせて、ロボットの腕や足が動いているのが分かる。操縦者の肘の屈曲角推定に応じて、ロボットの腕が動く実際の様子を図２３に示す。腕の肘の屈曲に合わせてロボットの腕が屈曲しているのが分かる。
【００８８】
上記の実施例１〜５において使用したシステムの構成を図２４に示す。各実施例における振動入力用アクチュエータへの駆動信号出力および骨伝導マイクロフォンからの信号の取り込みには、ＡＤ／ＤＡボード（Ｉｎｔｅｒｆａｃｅ社製ＣＳＩ−３６０１１６）を使用し、ノートＰＣ（ＤＥＬＬ社製ＰＲＥＣＩＳＩＯＮ／Ｍ４４００）を用いて骨伝導マイクロフォンから得られた信号の処理および振動入力用アクチュエータの制御を行った。
【産業上の利用可能性】
【００８９】
本発明は、身体に装着されて用いられるインタフェースにおける骨導音を利用したインタフェースシステムに有用である。例えば、玩具、ゲーム、家電、
ロボット等の入力インタフェースとして有用なシステムを提供できる。
【符号の説明】
【００９０】
１０００ 使用者
２０００ 使用者
１０ 振動入力用アクチュエータ
２０ 骨伝導マイクロフォン
３０ 振動入力用アクチュエータ
４０ 骨伝導マイクロフォン
５０ 骨伝導マイクロフォン
８０ 振動入力用アクチュエータ
９０ 骨伝導マイクロフォン
１００ 骨伝導マイクロフォン
１１０ 骨伝導マイクロフォン
１２０ 振動入力用アクチュエータ
１３０ 骨伝導マイクロフォン
１４０ 骨伝導マイクロフォン
１５０ 振動入力用アクチュエータ
１６０ 骨伝導マイクロフォン
１７０ 振動入力用アクチュエータ
１８０ 骨伝導マイクロフォン
１９０ 振動入力用アクチュエータ
２００ 骨伝導マイクロフォン
２１０ 骨伝導マイクロフォン
【特許請求の範囲】
【請求項１】
身体に装着されて用いられるインタフェースシステムであって、
身体に少なくとも１個装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータと、
身体にすくなとも１個装着され、前記骨導音を取得する骨伝導マイクロフォンと、
を有するインタフェースシステム。
【請求項２】
身体に装着されて用いられるインタフェースシステムであって、
身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータと、
身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォンと、
前記骨伝導マイクロフォンが取得する前記骨導音の信号に基づいて、身体の姿勢を推定する機能を含む信号処理手段と、
前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段と、
を有することを特徴とする請求項１に記載のインタフェースシステム。
【請求項３】
前記第１の部位は腕であり、前記第２の部位は第1の部位と同じ腕であることを特徴とする請求項２に記載のインタフェースシステム。
【請求項４】
前記信号処理手段は、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する屈曲角推定手段を含むことを特徴とする請求項２または３に記載のインタフェースシステム。
【請求項５】
身体に装着されて用いられるインタフェースシステムであって、
身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータと、
身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォンと、
身体の第３の部位に装着され、前記骨導音を取得する骨伝導マイクロフォンと、
前記第２の部位に装着された骨伝導マイクロフォンが取得する前記骨導音の信号と、前記第３の部位に装着された骨伝導マイクロフォンが取得する前記骨導音の信号に基づいて、身体の姿勢を推定する機能と、身体への接触による接触位置を推定する機能を含む信号処理手段と、
前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段と、
を有することを特徴とする請求項１に記載のインタフェースシステム。
【請求項６】
前記第１の部位、前記第２の部位及び第３の部位は、同じ腕であることを特徴とする請求項５に記載のインタフェースシステム。
【請求項７】
前記信号処理手段は、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する屈曲角推定手段を含むことを特徴とする請求項５または６に記載のインタフェースシステム。
【請求項８】
前記信号処理手段は、前記の身体への接触による接触位置が腕へのタップによる衝突位置であり、前記衝突位置を推定する衝突位置推定手段を含むことを特徴とする請求項５または６に記載のインタフェースシステム。
【請求項９】
前記信号処理手段は、肘の屈伸・屈曲による屈曲角を身体の姿勢として推定する屈曲角推定手段と、腕へのタップによる衝突位置の推定を身体への接触による接触位置として推定とする衝突位置推定手段とを備え、前記屈曲角と前記衝突位置の各々を個別に推定することができることを特徴とする請求項５または６に記載のインタフェースシステム。
【請求項１０】
前記屈曲角推定手段は、前記屈曲角の推定を肘の屈伸・屈曲に伴う前記骨導音の振幅の変化に基づいて行うことを特徴とする請求項４、７、９のいずれかに記載のインタフェースシステム。
【請求項１１】
前記衝突位置推定手段は、腕へのタップによる衝突位置の推定を前記タップに伴う前記骨導音の振幅の変化に基づいて行うことを特徴とする請求項８または９に記載のインタフェースシステム。
【請求項１２】
前記骨伝導マイクロフォンは、集音器と小型マイクロフォンを一体に組み合わせて形成された骨伝導マイクロフォンであることを特徴とする請求項１、２、５いずれかに記載のインタフェースシステム。
【請求項１】
身体に装着されて用いられるインタフェースシステムであって、
身体に少なくとも１個装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータと、
身体にすくなとも１個装着され、前記骨導音を取得する骨伝導マイクロフォンと、
を有するインタフェースシステム。
【請求項２】
身体に装着されて用いられるインタフェースシステムであって、
身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータと、
身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォンと、
前記骨伝導マイクロフォンが取得する前記骨導音の信号に基づいて、身体の姿勢を推定する機能を含む信号処理手段と、
前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段と、
を有することを特徴とする請求項１に記載のインタフェースシステム。
【請求項３】
前記第１の部位は腕であり、前記第２の部位は第1の部位と同じ腕であることを特徴とする請求項２に記載のインタフェースシステム。
【請求項４】
前記信号処理手段は、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する屈曲角推定手段を含むことを特徴とする請求項２または３に記載のインタフェースシステム。
【請求項５】
身体に装着されて用いられるインタフェースシステムであって、
身体の第１の部位に装着され、振動を入力して骨導音を発生させる振動入力用アクチュエータと、
身体の第２の部位に装着され、前記骨導音を取得する骨伝導マイクロフォンと、
身体の第３の部位に装着され、前記骨導音を取得する骨伝導マイクロフォンと、
前記第２の部位に装着された骨伝導マイクロフォンが取得する前記骨導音の信号と、前記第３の部位に装着された骨伝導マイクロフォンが取得する前記骨導音の信号に基づいて、身体の姿勢を推定する機能と、身体への接触による接触位置を推定する機能を含む信号処理手段と、
前記信号処理手段による処理結果から、所定の入力情報を生成する入力情報生成手段と、
を有することを特徴とする請求項１に記載のインタフェースシステム。
【請求項６】
前記第１の部位、前記第２の部位及び第３の部位は、同じ腕であることを特徴とする請求項５に記載のインタフェースシステム。
【請求項７】
前記信号処理手段は、肘の屈伸・屈曲による肘の屈曲角を身体の姿勢として推定する屈曲角推定手段を含むことを特徴とする請求項５または６に記載のインタフェースシステム。
【請求項８】
前記信号処理手段は、前記の身体への接触による接触位置が腕へのタップによる衝突位置であり、前記衝突位置を推定する衝突位置推定手段を含むことを特徴とする請求項５または６に記載のインタフェースシステム。
【請求項９】
前記信号処理手段は、肘の屈伸・屈曲による屈曲角を身体の姿勢として推定する屈曲角推定手段と、腕へのタップによる衝突位置の推定を身体への接触による接触位置として推定とする衝突位置推定手段とを備え、前記屈曲角と前記衝突位置の各々を個別に推定することができることを特徴とする請求項５または６に記載のインタフェースシステム。
【請求項１０】
前記屈曲角推定手段は、前記屈曲角の推定を肘の屈伸・屈曲に伴う前記骨導音の振幅の変化に基づいて行うことを特徴とする請求項４、７、９のいずれかに記載のインタフェースシステム。
【請求項１１】
前記衝突位置推定手段は、腕へのタップによる衝突位置の推定を前記タップに伴う前記骨導音の振幅の変化に基づいて行うことを特徴とする請求項８または９に記載のインタフェースシステム。
【請求項１２】
前記骨伝導マイクロフォンは、集音器と小型マイクロフォンを一体に組み合わせて形成された骨伝導マイクロフォンであることを特徴とする請求項１、２、５いずれかに記載のインタフェースシステム。
【図１ａ】
【図１ｂ】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図４】
【図５】
【図６】
【図７】
【図８ａ】
【図８ｂ】
【図９】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【図１２】
【図１３ａ】
【図１３ｂ】
【図１４ａ】
【図１４ｂ】
【図１５ａ】
【図１５ｂ】
【図１６】
【図１７ａ】
【図１７ｂ】
【図１８ａ】
【図１８ｂ】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図１ｂ】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図４】
【図５】
【図６】
【図７】
【図８ａ】
【図８ｂ】
【図９】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【図１２】
【図１３ａ】
【図１３ｂ】
【図１４ａ】
【図１４ｂ】
【図１５ａ】
【図１５ｂ】
【図１６】
【図１７ａ】
【図１７ｂ】
【図１８ａ】
【図１８ｂ】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１３−３３３８２（Ｐ２０１３−３３３８２Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６９０２２（Ｐ２０１１−１６９０２２）
【出願日】平成２３年８月２日（２０１１．８．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 以下の研究集会にて発表１． 開 催 日：平成２３年２月１７日（公開日：平成２３年２月１０日） 研究集会名：奈良先端科学技術大学院大学 平成２２年度博士前期課程修士論文・課題研究発表会 主催者名 ：国立大学法人 奈良先端科学技術大学院大学
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 以下の研究集会にて発表１． 開 催 日：平成２３年２月１７日（公開日：平成２３年２月１０日） 研究集会名：奈良先端科学技術大学院大学 平成２２年度博士前期課程修士論文・課題研究発表会 主催者名 ：国立大学法人 奈良先端科学技術大学院大学
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
[ Back to top ]