触覚情報検出装置、及び、触覚情報検出方法
【課題】被検出対象面を人間がなでたときの手触りを示す触覚情報を簡易的な手法で精度よく検出することができる触覚情報検出装置を提供する。
【解決手段】被検出対象面と接触する接触子１１と、接触子１１が被検出対象面と接触した状態で移動したときに発生する摩擦音を検出する摩擦音検出用マイクロホン１２と、少なくとも１種類の被接触面に対して、接触子１１を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部１７と、摩擦音検出用マイクロホン１２により検出した摩擦音情報と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として出力する解析部２０とを備える。
【解決手段】被検出対象面と接触する接触子１１と、接触子１１が被検出対象面と接触した状態で移動したときに発生する摩擦音を検出する摩擦音検出用マイクロホン１２と、少なくとも１種類の被接触面に対して、接触子１１を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部１７と、摩擦音検出用マイクロホン１２により検出した摩擦音情報と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として出力する解析部２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検出対象面の触覚情報を検出する触覚情報検出装置、及び、触覚情報検出方法に関するものである。
【背景技術】
【０００２】
人間が物体を触ったときに感じる手触り感を示す触覚情報は、物体の質感を示す非常に重要な情報である。このような触覚情報を得る手法として、圧電素子、ひずみセンサなどから得られる圧力情報に基づいて取得する技術や、被接触面に光を当ててその反射光を計測することで被接触面の表面状態を取得する技術が提案されている。
【０００３】
例えば、特許文献１には、体表面上で移動される圧電素子にて物体表面の感圧の大きさに応じた出力信号を生成して解析することにより、人の物体表面の触感に対応付けられる測定結果を得る表面性状測定装置が記載されている。また、特許文献２には、圧電素子をアレー状に配置した分布型の圧力検出用センサが記載されている。
【０００４】
【特許文献１】特開２００２−１８１６９３号公報
【特許文献２】特開平２−２９１９０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や特許文献２に係る発明において用いられている圧力情報は、被接触面との接触点の圧力を単に測定するものであり、被接触面の硬さを精度よく検出することができるが、人間が感じる手触りのような触覚情報を取得することは非常に困難である。また、被接触面に光を当ててその反射光を計測することで被接触面の表面状態を取得する場合、光を照射する手段や、反射光を撮像する手段が必要となり、圧力情報から取得するような技術に比べて、システム規模が非常に大きくなってしまうという問題がある。
【０００６】
本発明は、このような実情に鑑みて提案されたものであり、被検出対象面を人間がなでたときの手触りを示す触覚情報を簡易的な手法で精度よく検出することができる触覚情報検出装置、及び、触覚情報検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するための手段として、本発明に係る触覚情報検出装置は、被検出対象面と接触する接触子と、接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出部と、少なくとも１種類の被接触面に対して、接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部と、摩擦音検出部により検出した摩擦音情報と、情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部から読み出して被検出対象面の触覚情報として出力する解析部とを備える。
【０００８】
また、本発明に係る触覚情報検出方法は、被検出対象面と接触する接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出ステップと、少なくとも１種類の被接触面に対して、接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部に記憶されている摩擦音情報と、摩擦音検出ステップにより検出した摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部から読み出して被検出対象面の触覚情報として出力する解析ステップとを有する。
【発明の効果】
【０００９】
本発明は、被検出対象面と接触する接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音と、情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部から読み出して被検出対象面の触覚情報として出力する。このようにすることで、本発明は、被検出対象面と接触子とが擦れ合うことで発生する摩擦音とこの被検出対象面の接触情報との相関特性を利用して、被検出対象面を人間がなでたときの手触りを示す触覚情報を簡易的な手法で精度よく検出することができる。
【発明を実施するための最良の形態】
【００１０】
本発明が適用された触覚情報検出装置は、被検出対象面を人間がなでたときの手触りを示す触覚情報を検出する。このような触覚情報検出装置は、例えば、図１（Ａ）に示すようなロボット１００に組み込まれる。このロボット１００は、図１（Ｂ）に示すように、当該アーム部１００ａに圧力センサ１０１と摩擦音検出用マイクロホン１０２とがそれぞれアレイ状に設けられ、アーム部１００ａの先端部１００ｂに摩擦音検出用マイクロホン１０３が設けられたものである。このロボット１００は、例えばユーザの指示に応じて任意の被検出対象物体を触って、触った際に発生する摩擦音を摩擦音検出用マイクロホン１０２、１０３により検出して解析することによって、被検出対象物体の触覚情報をユーザに通知することができる。また、ロボット１００は、図２（Ａ）に示すように、ロボットハンド１０５の指先部に複数の摩擦音検出用マイクロホンが内蔵された接触子１０５ａ〜１０５ｃが設けられている。また、本発明が適用された触覚情報検出装置は、例えば摩擦音検出用マイクロホンが内蔵された接触子が図２（Ｂ）に示すように、人間の指先部に装着され、ユーザが接触子２００と被検出対象物体とを擦り合わせたときに発生する摩擦音を摩擦音検出用マイクロホンで検出して解析することで、被検出対象物体の触覚情報を検出することもできる。
【００１１】
このような触覚情報検出装置の具体的な構成について、以下では図３に示すような検出装置１を用いて、本発明を実施するための形態について説明する。
【００１２】
検出装置１は、図３に示すように、被検出対象面と接触する接触子１１と、接触子１１が被検出対象面と接触した状態で移動したときに発生する摩擦音を集音する摩擦音検出用マイクロホン１２と、摩擦音に含まれるノイズ成分を検出するためのノイズ検出用マイクロホン１３とを備える。また、検出装置１は、被検出対象面と接触子１１との接触点の圧力を検出する圧力センサ１４を備える。また、検出装置１は、摩擦音検出用マイクロホン１２、ノイズ検出用マイクロホン１３、圧力センサ１４から出力される検出信号をそれぞれ増幅する増幅部１５と、増幅部１５により増幅させた検出信号に対してアナログ／デジタル変換処理により検出データに変換するＡＤ変換部１６とを備える。また、検出装置１は、摩擦音情報と触覚情報とを対応付けて記憶している情報記憶部１７と、ユーザからの音声情報が入力される音声入力部１８と、接触子１１を移動させるモータ駆動部１９とを備える。また、検出装置１は、ＡＤ変換部１６から出力される検出データを解析して被検出対象面の触覚情報を出力する処理を行う解析部２０と、解析部２０からの出力結果をディスプレイやスピーカによりユーザに通知する通知部２１とを備える。
【００１３】
接触子１１は、例えば図３に示すように、スポンジやシリコンなどの柔らかい部材を、力点の力を効率よく伝達させるアルミ箔などの硬度の高い第１の層１１ａと、この第１の層１１ａの外側に表面に凹凸があり摩擦により振動がおきやすい布などの第２の層１１ｂとを被膜したものである。接触子１１は、特にこのような構成とすることで、被検出対象面と擦れ合ったときに発生される摩擦音を大きくすることができるが、被検出対象面と擦れ合ったときに摩擦音を発生させる部材であれば他の部材から構成されるものを用いるようにしてもよい。
【００１４】
また、接触子１１は、後述するモータ駆動部１９により駆動されるモータと接続され、このモータの駆動力によって、被検出対象面に押しつけられて移動される。なお、接触子１１は、モータ駆動部１９によるモータの駆動力によって移動される場合に限定されず、ユーザによって被検出対象面に押しつけられて移動されるようにしてもよい。
【００１５】
摩擦音検出用マイクロホン１２は、摩擦音を検出する摩擦音検出部として機能し、例えば図３に示すように、摩擦音の音源との距離ができるだけ近くなるように、接触子１１の内部に設けられている。摩擦音検出用マイクロホン１２は、被検出対象面と接触子１１とが擦れ合うことによって発生する摩擦音を集音して、集音した音響信号を増幅部１５に供給する。
【００１６】
なお、摩擦音検出用マイクロホン１２は、接触子１１の内部に設けられる場合に限定されず、接触子１１の周囲に複数設けられるようにしてもよい。
【００１７】
ノイズ検出用マイクロホン１３は、摩擦音に含まれるノイズ成分を検出するため、上述した摩擦音検出用マイクロホン１２と同様に、被検出対象面と接触子１１とが擦れ合うことによって発生する摩擦音を集音して、集音した音響信号を増幅部１５に供給する。すなわち、ノイズ検出用マイクロホン１３は、摩擦音に含まれるノイズ情報を生成するノイズ生成部として機能する。ノイズ検出用マイクロホン１３によって集音された音響信号は、後述するノイズ低減部２０２によるノイズ低減処理に用いられる。
【００１８】
圧力センサ１４は、被検出対象面と接触子１１との接触点の圧力を検出するため、例えば図３に示すように、接触子１１の接触面に設けられている。圧力センサ１４は、圧電素子やひずみセンサなどから成り、圧力を電気信号に変換した検出信号を、増幅部１５に供給する。
【００１９】
増幅部１５は、摩擦音検出用マイクロホン１２、ノイズ検出用マイクロホン１３、圧力センサ１４から出力される検出信号をそれぞれ増幅して、増幅した検出信号をＡＤ変換部１６に供給する。
【００２０】
ＡＤ変換部１６は、増幅部１５により増幅された各検出信号に対して、アナログ／デジタル変換処理を施して、各検出信号に対応する検出データを解析部２０に供給する。
【００２１】
情報記憶部１７は、少なくとも１種類の被接触面に対して、接触子１１を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている。ここで、摩擦音情報は、摩擦音の音響信号の時間波形情報であってもこの音響信号を周波数変換したスペクトル情報であってもよいが、本実施形態では、摩擦音情報としてスペクトル情報を情報記憶部１７が記憶しているものとする。また、触覚情報は、人間が被検出対象面をなでたときの手触りを示す知覚情報であって、具体的には「つるつる」とか「ざらざら」などといった物体の表面状態を表す情報である。情報記憶部１７が記憶している情報は、解析部２０によってアクセスされる。
【００２２】
音声入力部１８は、ユーザによって「つるつる」とか「ざらざら」などといった物体の表面状態を表す語句が音声信号として入力され、入力された音声信号を解析部２０に供給する。
【００２３】
モータ駆動部１９は、接触子１１を被検出対象面に接触させた状態で移動させる接触子移動部として機能し、後述するように解析部２０によって制御され、接触子１１を被検出対象面に押しつけた状態で移動させる。また、モータ駆動部１９は、接触子１１を移動させるときにモータの回転動作により音が発生するため、摩擦音に対するノイズ源となる。よって、モータ駆動部１９は、モータをどの程度のトルクでいつ駆動させたかを示すモータに係る情報をノイズ情報として解析部２０に供給する。すなわち、モータ駆動部１９は、摩擦音に含まれるノイズ情報を生成するノイズ生成部として機能する。
【００２４】
解析部２０は、汎用の演算処理プロセッサを備えるコンピュータであって、ＡＤ変換部１６から出力される検出データを解析するとともに、解析結果を用いて精度よく被検出対象面の触覚情報を出力するため次のような構成を有している。
【００２５】
すなわち、解析部２０は、検出データを解析して情報記憶部１７から被検出対象面の触覚情報を読み出して出力する触覚情報処理部２０１と、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分を低減するノイズ低減部２０２と、被検出対象面において摩擦音が発生される音源位置を測定する音源位置測定部２０３を備える。また、解析部２０は、摩擦音検出用マイクロホン１２により検出した摩擦音情報を解析して情報記憶部１７に新たに記憶される情報学習部２０４と、触覚情報と摩擦音情報との対応関係を認識する意味認識部２０５とを備える。さらに、解析部２０は、圧力センサ１４により検出される検出データから被検出対象面の硬度を測定する硬度情報測定部２０６と、圧力センサ１４により検出される検出データに基づいてモータ駆動部１９を制御するモータ制御部２０７とを備える。
【００２６】
触覚情報処理部２０１は、摩擦音検出用マイクロホン１２により検出した摩擦音情報と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として、通知部２１に出力する。具体的に、触覚情報処理部２０１は、摩擦音検出用マイクロホン１２により検出した検出データに対して離散フーリエ変換（ＦＦＴ）などの周波数変換処理を施してスペクトル情報を取得して、取得したスペクトル情報と情報記憶部１７に記憶されている摩擦音情報であるスペクトル情報と相関値を検出することによって、相関の高い触覚情報を被検出対象面の触覚情報として、通知部２１に出力する。
【００２７】
ノイズ低減部２０２は、ノイズ検出用マイクロホン１３により検出された検出データ及びモータ駆動部１９から供給されるノイズ情報に基づいて、摩擦音検出用マイクロホン１２により検出される摩擦音からノイズ成分を低減する。
【００２８】
音源位置測定部２０３は、後述するように、摩擦音検出用マイクロホンが複数配置されている場合において、これらのマイクロホンにより検出された複数の摩擦音に基づいて、被検出対象面において摩擦音が発生される音源位置を測定する。そして、音源位置測定部２０３は、測定した音源位置情報を、触覚情報処理部２０１が出力する触覚情報に対応付けて通知部２１に出力する。
【００２９】
情報学習部２０４は、摩擦音検出用マイクロホン１２により検出した摩擦音情報を、触覚情報処理部２０１により解析され出力される触覚情報と対応付けて、情報記憶部１７に新たに記憶させる。また、情報学習部２０４は、音声入力部１８により入力される音声情報を、触覚情報として情報記憶部１７に記憶させる。
【００３０】
意味認識部２０５は、情報記憶部１７に記憶されている情報に基づいて、音声入力部１８により入力される音声情報と触覚情報との対応関係を認識して、認識結果を出力する。
【００３１】
硬度情報測定部２０６は、圧力センサ１４により検出される圧力情報から被検出対象面の硬度を測定して、測定した硬度情報を、触覚情報処理部２０１が出力する触覚情報に対応付けて通知部２１に出力する。
【００３２】
モータ制御部２０７は、圧力センサ１４により検出される圧力に応じて変化する摩擦音検出用マイクロホン１２により検出される摩擦音の音量が所定の閾値以上になるように、接触子１１を被検出対象面に接触させた状態でモータ駆動部１９により移動させる。
【００３３】
以上のような構成からなる解析部２０では、触覚情報処理部２０１が、被検出対象面と接触する接触子１１が被検出対象面と接触した状態で移動したときに発生する摩擦音と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として出力する。このようにすることで、解析部２０は、被検出対象面と接触子１１とが擦れ合うことで発生する摩擦音とこの被検出対象面の接触情報との相関特性を利用して、被検出対象面を人間がなでたときの手触りを示す触覚情報を簡易的な手法で精度よく検出することができる。
【００３４】
次に、解析部２０によるノイズ低減処理の具体的手法について、図４に示す処理フローを参照して説明する。
【００３５】
解析部２０には、ノイズ検出用マイクロホン１３により検出された検出データが入力され（ステップＳＴ１１ａ）、モータ駆動部１９によりモータの駆動状態に応じたノイズ情報が入力される（ステップＳＴ１１ｂ）。また、解析部２０には、摩擦音検出用マイクロホン１２により検出された検出データが入力され（ステップＳＴ１１ｃ）、圧力センサ１４により検出された検出データが入力される（ステップＳＴ１１ｄ）。
【００３６】
以上のようなデータが入力されると、ノイズ低減部２０２は、ステップＳＴ１１ａにより入力された検出データに対して周波数変換処理を施して外部雑音のスペクトル情報を算出する（ステップＳＴ１２）。さらに、ノイズ低減部２０２は、ステップＳＴ１２により算出されたスペクトル情報と、ステップＳＴ１１ｂにより入力されたノイズ情報とに基づいて、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分に対応するスペクトル情報を推定する（ステップＳＴ１３）。そして、ノイズ低減部２０２は、推定したスペクトル情報を触覚情報処理部２０１に供給する。
【００３７】
また、触覚情報処理部２０１は、ステップＳＴ１１ｃにより入力された検出データに対して周波数変換処理を施して摩擦音のスペクトル情報を算出する（ステップＳＴ１４）。そして、触覚情報処理部２０１は、ステップＳＴ１４により算出したスペクトル情報から、ステップＳＴ１３により算出されたノイズ成分に対応するスペクトル情報を減算することによって、ノイズ成分が低減された摩擦音のスペクトル情報を取得する（ステップＳＴ１５）。
【００３８】
また、ステップＳＴ１６において、硬度情報測定部２０６は、圧力センサ１４による検出データにより圧力値から接触子１１が被検出対象面と接しているか否かを判定して、接していると判定したときのみ、上述したステップＳＴ１２〜ステップＳＴ１５に係る処理を行うように、触覚情報処理部２０１及びノイズ低減部２０２に通知して制御する。
【００３９】
そして、解析部２０では、触覚情報処理部２０１が、ステップＳＴ１５により得られたスペクトル情報と、情報記憶部１７に記憶されている摩擦音情報であるスペクトル情報と相関値を検出することによって、相関の高い触覚情報を被検出対象面の触覚情報として、通知部２１に出力する。
【００４０】
このようにして、解析部２０では、触覚情報処理部２０１が、ノイズ低減部２０２によりノイズ成分が低減された摩擦音情報と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として出力する。このようにすることで、解析部２０は、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分を考慮して、モータの動作音や周囲の環境雑音による影響を受けることなく触覚情報をより精度よく検出することができる。
【００４１】
次に、解析部２０による摩擦音の音源位置測定処理の具体的手法について説明する。まず、摩擦音発生位置Ｘを測定する場合、検出装置１は、例えば、図５に示すように、アレイ状に配置された４つの摩擦音検出用マイクロホン１２ａ〜１２ｄを摩擦音検出部として備える。
【００４２】
解析部２０は、これらの各摩擦音検出用マイクロホン間の検出信号の位相差を算出することで摩擦音の発生する音源位置を測定する。具体的に、３つの摩擦音検出用マイクロホンから検出された検出信号を用いた音源位置の測定処理について、図６に示す処理フローを参照して説明する。
【００４３】
まず、ステップＳＴ２１において、解析部２０には、３つの摩擦音検出用マイクロホンにより検出された検出データが入力される。
【００４４】
ステップＳＴ２２において、音源位置測定部２０３は、ステップＳＴ２１により入力された３つの検出データに対して、ＦＦＴなどの周波数変換処理を施してそれぞれ摩擦音のスペクトル情報を算出する。
【００４５】
ステップＳＴ２３において、音源位置測定部２０３は、ステップＳＴ２２により算出された各スペクトル情報に対して相互相関演算処理を施してクロスパワースペクトル情報を算出する。
【００４６】
ステップＳＴ２４において、音源位置測定部２０３は、ステップＳＴ２３において算出された各クロスパワースペクトル情報に対して、ＩＦＦＴなどの処理を施して、周波数応答を逆変換した時間応答を示す波形情報を算出する。
【００４７】
ステップＳＴ２５において、音源位置測定部２０３は、ステップＳＴ２４において算出した各波形情報の最大振幅値を探索する。ここで、音源位置に対する各摩擦音検出用マイクロホンの位置がそれぞれ異なっている場合には、波形情報において位相差が生じ、異なる時間において波形情報の最大振幅値が生じることとなる。
【００４８】
そして、音源位置測定部２０３は、内部メモリに予め記憶している最大振幅値の組み合わせに対応付けた音源位置を示すテーブルを参照して（ステップＳＴ２６）、ステップＳＴ２５により探索した各最大振幅値の組み合わせから音源位置を推定する（ステップＳＴ２７）。
【００４９】
以上のようにして、音源位置測定部２０３は、複数の摩擦音検出用マイクロホンにより検出された複数の摩擦音に基づいて、被検出対象面において摩擦音が発生される音源位置を測定することができる。特に、圧力素子をアレイ状に多数配置して音源位置の検出処理を行う場合には、被検出対象面全体に亘って圧力素子を配置しなければならないので、このような場合に比較して、検出装置１では、音源位置検出処理に係るマイクロホンの配置数を少なくすることができる。解析部２０では、この音源位置情報を、触覚情報処理部２０１により出力される接触情報に対応付けて通知部２１に出力する。また、解析部２０は、音源位置測定部２０３で測定された音源位置情報を用いて触覚情報の検出処理に係る精度を向上することができる。例えば、解析部２０では、音源位置測定部２０３で測定された音源位置に最も近い摩擦音検出用マイクロホンから得られるＳ／Ｎ比の比較的良い摩擦音情報のみを用いて、触覚情報処理部２０１により触覚情報の検出を行うことで、触覚情報の検出処理に係る精度を向上することができる。また、解析部２０では、音源位置測定部２０３により音源位置を所定の時間間隔で測定させることで、接触子１１が被検出対象面上を移動する移動速度及び方向を検出することができる。ここで、接触子１１が被検出対象面上を移動する移動速度が速すぎたり遅すぎたりすると、摩擦音の周波数成分も変化するので、触覚情報の検出処理に係る精度を維持するためには、所定の範囲内で接触子が移動することが望ましい。換言すれば、接触子１１を被検出対象面に押し当てる力は、均一に保たれることが望ましい。そこで、解析部２０は、検出した移動速度が所定の範囲内に入っているときのみ、触覚情報処理部２０１に触覚情報の検出処理を行うようにさせることで、触覚情報の検出処理に係る精度を維持することができる。
【００５０】
次に、解析部２０による圧力センサからの検出情報に応じた接触子１１の移動制御処理について、図７に示す処理フローを参照して説明する。
【００５１】
解析部２０には、ノイズ検出用マイクロホン１３により検出された検出データが入力され（ステップＳＴ３１ａ）、モータ駆動部１９によりモータの駆動状態に応じたノイズ情報が入力される（ステップＳＴ３１ｂ）。また、解析部２０には、摩擦音検出用マイクロホン１２により検出された検出データが入力され（ステップＳＴ３１ｃ）、圧力センサ１４により検出された検出データが入力される（ステップＳＴ３１ｄ）。
【００５２】
以上のようなデータが入力されると、ノイズ低減部２０２は、ステップＳＴ３１ａにより入力された検出データに対して周波数変換処理を施して外部雑音のスペクトル情報を算出する（ステップＳＴ３２）。さらに、ノイズ低減部２０２は、ステップＳＴ３２により算出されたスペクトル情報と、ステップＳＴ３１ｂにより入力されたノイズ情報とに基づいて、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分に対応するスペクトル情報を推定する。そして、ノイズ低減部２０２は、推定したスペクトル情報を触覚情報処理部２０１に供給する。
【００５３】
また、触覚情報処理部２０１は、ステップＳＴ３１ｃにより入力された検出データに対して周波数変換処理を施して摩擦音のスペクトル情報を算出する（ステップＳＴ３４）。そして、触覚情報処理部２０１は、ステップＳＴ３４により算出したスペクトル情報から、ステップＳＴ３３により算出されたノイズ成分に対応するスペクトル情報を減算することによって、ノイズ成分が低減された摩擦音のスペクトル情報を取得する（ステップＳＴ３５）。
【００５４】
硬度情報測定部２０６は、圧力センサ１４による検出データにより圧力値から接触子１１が被検出対象面と接しているか否かを判定して、接していると判定したときのみ、上述したステップＳＴ３２〜ステップＳＴ３５に係る処理を行うように、触覚情報処理部２０１及びノイズ低減部２０２に通知して制御する（ステップＳＴ３６）。
【００５５】
モータ制御部２０７は、ステップＳＴ３５により取得された摩擦音のスペクトル情報のスペクトルの合計すなわちパワースペクトルを算出する（ステップＳＴ３７）。そして、モータ制御部２０７は、ステップＳＴ３７において算出したパワースペクトルが所定の閾値よりも大きいか否かを判断する（ステップＳＴ３８）。すなわち、モータ制御部２０７は、摩擦音検出用マイクロホン１２により検出される摩擦音の音量が所定の閾値以上であるか判断する。この判断結果から、モータ制御部２０７は、所定の閾値よりも大きいときモータ駆動部１９に接触子１１を被検出対象面に押しつける力を発生するモータのトルクを下げるように制御する。また、モータ制御部２０７は、所定の閾値よりも小さいときモータ駆動部１９に接触子１１を被検出対象面に押しつける力を発生するモータのトルクを上げるように制御する。
【００５６】
以上のようにして、モータ制御部２０７は、圧力センサ１４により検出される圧力に応じて変化する摩擦音検出用マイクロホンにより検出される摩擦音の音量が所定の値となるように、接触子１１を被検出対象面に接触させた状態でモータ駆動部１９により移動させるように制御することで、画一的な摩擦音を得ることができ、結果として触覚情報の検出精度を高めることができる。すなわち、モータ制御部２０７は、接触子１１を被検出対象面に押し当てる強さを均一に保つことで、摩擦音検出用マイクロホン１２により検出される摩擦音の均一性を向上させ、結果として、触覚情報の検出精度を高めることができる。
【００５７】
このようにして検出精度を高められるのは、摩擦音情報を取得する際にどの程度の力で被検出対象面に接触子１１を接触させているかによって、得られる摩擦音が多少変化するからである。
【００５８】
次に、触覚情報に関する語彙の意味獲得処理について、図８に示す処理フローを参照して説明する。
【００５９】
まず、接触子１１に様々な物体を触らせることによって、複数の摩擦音情報を学習データとして取得する（ステップＳＴ４１）。情報学習部２０４は、ステップＳＴ４１により取得した学習データを、ＳＯＭやベイズ学習などの、学習データの自己組織化クラスタリング手法を用いて、複数の触覚刺激を示すクラスに分類する（ステップＳＴ４２）。なお、情報学習部２０４は、これらのクラスに分類できない触覚刺激を示す摩擦音情報を、新たな触覚刺激データとする（ステップＳＴ４３）。そして、接触子１１は、図９に示すように、ステップＳＴ４１で取得した学習データに対してクラス判定する（ステップＳＴ４４）。
【００６０】
また、情報学習部２０４は、各学習データに対応付けられて、音声入力部１８により入力される音声データを取得する（ステップＳＴ４５）。情報学習部２０４は、ステップＳＴ４５で取得した音声データに対して音声認識処理（ステップＳＴ４６）、形態素解析処理（ステップＳＴ４７）を施して、各学習データに対応付けられた触覚に関する語彙を抽出する（ステップＳＴ４８）。
【００６１】
そして、情報学習部２０４は、情報記憶部１７を用いた連想記憶機構による触覚クラスと語彙の結びつけにより、ステップＳＴ４４によりクラス判定した各クラスと、ステップＳＴ４８により抽出した語彙とを対応付ける（ステップＳＴ４９）。このようにして、情報記憶部１７は、触覚クラスと語彙とを結びつけた情報を触覚情報とし、各触覚情報に対応付けて複数の摩擦音情報が記憶される。
【００６２】
意味認識部２０５は、ステップＳＴ４９により触覚クラスと語彙とが対応付けられた情報を用いて、意味認識を行う。例えば、意味認識部２０５は、接触子１１を用いて検出された新たな触覚刺激に対応する摩擦音情報を入力して（ステップＳＴ５１）、入力した摩擦音情報に対応する触覚情報を情報記憶部１７から参照して理解して（ステップＳＴ５３）、例えば図示しないスピーカにより理解した触覚情報を示す語彙を発音する。また、意味認識部２０５は、音声入力部により入力された語彙（ステップＳＴ５２）に対応する触覚情報を情報記憶部１７から参照して理解して（ステップＳＴ５３）、この触覚情報を示す物体を推定することで、人間の発話から手触りに関する触覚情報を理解することができる。
【００６３】
このようにして、意味認識部２０５は、新たに入力された触覚情報がどのクラスにどの程度相関があるかを計算することで、その触覚がどの語句で表現できるかを検出装置１が組み込まれたロボットが判断し発話することができる。
【００６４】
このようにして、検出装置１は、精度良く触覚情報を検出することができるので、このような検出結果を利用して、例えば、触覚ディスプレイのパラメータとの対応関係を予め計算して、手触りに関する触覚情報を再生することが可能となる。
【００６５】
以上のようにして、本発明が適用された検出装置１は、従来困難であった触覚情報、特に手触りといった感覚情報を定量的に評価することができるので、以下のようなことが可能になる。
【００６６】
第１に、検出装置１は、触覚を利用した新しいヒューマンインタフェースデバイスとして適用することができる。すなわち、検出装置１は、細かな手触り感を検出することができるので、この検出結果をスイッチとして用いたり、ユーザの好みの手触りを学習し暗証番号代わりとして用いたりするなど、従来なかったヒューマンインタフェースデバイスとして利用することができる。
【００６７】
第２に、検出装置１は、物体認識処理を行う装置として適用することができる。すなわち、検出装置１では、物体の手触りを物体を認識するための手がかりとして用いることができ、機械による物体認識の精度を向上させることができる。
【００６８】
第３に、検出装置１は、計算機やロボットによる触覚や言語理解を行う装置として適用することができる。すなわち、ロボットが触覚や手触り感などの本質的な意味や、それに関連する語彙や単語を理解するためには、その物理的な情報を検出する必要があるが、検出装置１は、上述した検出処理により、人間の言語コミュニケーションの進歩を図ることができる。
【００６９】
第４に、検出装置１は、人間の感覚に関する研究や開発をする装置として適用することができる。すなわち、検出装置１は、精度良く触覚情報の検出を行うことができるので、この検出結果に基づいて、人間の触覚に関する感覚（例えば、好みの感触や不快な感触など）に対する定量的評価を行うための客観的な指標を取得することができる。
【００７０】
第５に、検出装置１は、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）やＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ（ＶＲ）に利用される触覚情報の定量的な解析を行う装置として適用することができる。すなわち、ＡＲやＶＲは、人間の感覚を擬似的に再現することが目的である。そのためには、人間の感覚を生じさせるための刺激を定量的に記録できなければならない。このような問題に対して、検出装置１では、精度良く触覚情報の検出を行うことができるので、この検出結果に基づいて、人間の感覚を擬似的に再現するための数値データを取得することが可能であり、触覚再生を行うデバイスとのキャリブレーションによって、任意の手触りすなわち触覚情報を再生することができる。
【００７１】
第６に、検出装置１は、携帯電話に適用することができる。すなわち、検出装置１は、携帯電話のマイクロホンを摩擦音検出用マイクロホン１２として利用することで、簡単に触覚情報を通信（送信）することが可能である。このようにして送信される触覚情報は、商品の注文や肌などの簡易的な診断など様々な用途として用いることができる。
【００７２】
以上のようにして、本発明が適用された検出装置１は、比較的簡単な装置構成により実現できるため、低コストで上述した第１から第６の用途に適用することができる。
【００７３】
次に、触覚情報検出装置を具体的に構成して、手触り感を示す触覚情報の学習および識別の実験を行い、具体的な物体を用いて触覚情報の検出した具体例について説明する。
【００７４】
まず、接触子５０として以下の条件を満たすように構成したものを用いた。接触子５０は、被検出対象面と接触され、被検出対象面と擦れ合ったときに発生される摩擦音を大きくするため、例えば、次のような被覆処理が施されている。すなわち、接触子５０には、力点の力を効率よく伝達させるアルミ箔５１が被覆され、さらにこのアルミ箔５１の外側に表面に凹凸があり摩擦により振動がおきやすい布５２が被覆される。
【００７５】
また、接触子５０は、物体表面を擦ったときに発生する圧力の違いを考慮するため圧力センサ５４が配置されている。
【００７６】
以下の実施例では、これらの点を考慮しつつ、摩擦音検出用マイクロホン５３と圧力センサ５４とを内蔵した接触子５０を構成した。図１０は人の指に装着する例であるが、ロボットに装着してもよい。
【００７７】
手触りを示す触覚情報の学習用データとして８種類、識別用として５種類の物体を用いた。下記の表１に使用した物体一覧を示す。
【００７８】
【表１】
【００７９】
次に、図１１に示す処理フローを参照して、触覚情報の学習および識別の実験について説明する。
【００８０】
擦る動作の条件は、人間が手触りを確かめるときの値を基準に、圧力を圧力センサ５４の出力値で３０前後（滑らかに物体表面を擦ることができる強さ）、擦る速度を約２０ｃｍ／ｓ、往復範囲を約４ｃｍとした（ステップＳＴ６１）。
【００８１】
この条件の下、物体表面を接触子５０で擦り、発生する音を録音した。具体的に、接触子５０は実験者の手で持ち、圧力センサ５４の出力値が一定になるようにしながら、物体表面を擦った。サンプリングレートは１６ｋＨｚ、録音時間は４秒とし、測定したい部分上を往復させて擦った（ステップＳＴ６２）。
【００８２】
ステップＳＴ６３において、図１２（Ａ）に示すように、学習用の摩擦音データをフレームに分け、１３次元のＭＦＣＣ（特徴ベクトル）のデータに変換した。その後、このデータを多次元混合正規分布でモデル化した。このモデル化には、ＥＭアルゴリズムを用いた。
【００８３】
同様にして、図１２（Ｂ）に示すように、識別用の摩擦音データをフレームに分け、１３次元のＭＦＣＣデータに変換した。
【００８４】
ステップＳＴ６４において、学習済みの混合正規分布を用いて、識別用ＭＦＣＣの尤度を計算した。ただしこの際、全フレームの尤度を平均することで、平均尤度を計算した。識別データの学習物体全てに対する平均尤度を計算し、最終的に尤度が最大となる物体（もしくは、その物体に結びついた手触り感覚すなわち触覚に対応する単語）を認識結果とした。たとえば、今回用いた物体の例では、「かえるのぬいぐるみ」がハンカチ（もしくは「タオル地」）と認識されれば正解となる。
【００８５】
尤度の計算に用いる混合正規分布は、以下の（１）式で表される。
【００８６】
【数１】
【００８７】
ただし、ｘ、μｋ、Σｋはそれぞれ、入力データベクトル、ｋ番目の学習物体に対する平均ベクトル、k番目の学習物体に対する共分散行列である。
【００８８】
以上の録音条件の下で、学習用８種、識別用５種の計１３種の摩擦音データを録音した。学習用８種を学習データにして覚えさせ、識別用５種の手触りデータを識別させた。また、精度を確かめるため、学習用８種データも識別させた。
【００８９】
以上のようにして、８種類の学習用物体を記憶させ、５種類の識別用物体の識別を行わせたときの結果を、下記の表２に示す。表２に示すように、全ての物体において、人間が与えた正解と同じ認識結果が得られた。また、学習用８種類のデータを入力した場合には、全て正しく認識された。
【００９０】
【表２】
【００９１】
このように、具体的な接触子５０を用いた検出装置１では、全ての識別結果で正解を得ることができ、摩擦音と触覚情報の相関特性を利用して、精度良く触覚情報を検出することができる。また、この実施例から、手触り感すなわち、触覚情報に関する言葉の理解をすることができる点についても確かめることができる。
【００９２】
なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００９３】
【図１】本発明に係る触覚情報検出装置の適用例を示す図である。
【図２】本発明に係る触覚情報検出装置の適用例を示す図である。
【図３】本発明が適用された検出装置の具体的な構成を示すブロック図である。
【図４】ノイズ低減処理の説明に供する処理フローを示す図である。
【図５】音源位置推定処理の説明に供する図である。
【図６】音源位置推定処理の説明に供する処理フローを示す図である。
【図７】圧力センサからの検出情報に応じた接触子の移動制御処理の説明に供する処理フローを示す図である。
【図８】情報学習部及び意味認識部に係る具体的な処理の説明に供する処理フローを示す図である。
【図９】触覚情報によりクラス分けされた摩擦音情報を示す図である。
【図１０】接触子の具体的な構成を示す図である。
【図１１】接触情報の検出処理の実施例の説明に供する処理フローを示す図である。
【図１２】接触情報の検出処理の実施例で行われる具体的な信号処理の流れについての説明に供する図である。
【符号の説明】
【００９４】
１ 検出装置、１１、１０５ａ−１０５ｃ、２００、５０、 接触子、１１ａ 第１の層、１１ｂ 第２の層、１２、１２ａ−１２ｄ、１０２、１０３、５３ 摩擦音検出用マイクロホン、１３ ノイズ検出用マイクロホン、１４、５４、１０１ 圧力センサ、１５ 増幅部、１６ ＡＤ変換部、１７ 情報記憶部、１８ 音声入力部、１９ モータ駆動部、２０ 解析部、２０１ 触覚情報処理部、２０２ ノイズ低減部、２０３ 音源位置測定部、２０４ 情報学習部、２０５ 意味認識部、２０６ 硬度情報測定部、２０７ モータ制御部、２１ 通知部、５１ アルミ箔、５２ 布、１００ ロボット、１００ａ アーム部、１００ｂ 先端部、１０５ ロボットハンド
【技術分野】
【０００１】
本発明は、被検出対象面の触覚情報を検出する触覚情報検出装置、及び、触覚情報検出方法に関するものである。
【背景技術】
【０００２】
人間が物体を触ったときに感じる手触り感を示す触覚情報は、物体の質感を示す非常に重要な情報である。このような触覚情報を得る手法として、圧電素子、ひずみセンサなどから得られる圧力情報に基づいて取得する技術や、被接触面に光を当ててその反射光を計測することで被接触面の表面状態を取得する技術が提案されている。
【０００３】
例えば、特許文献１には、体表面上で移動される圧電素子にて物体表面の感圧の大きさに応じた出力信号を生成して解析することにより、人の物体表面の触感に対応付けられる測定結果を得る表面性状測定装置が記載されている。また、特許文献２には、圧電素子をアレー状に配置した分布型の圧力検出用センサが記載されている。
【０００４】
【特許文献１】特開２００２−１８１６９３号公報
【特許文献２】特開平２−２９１９０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や特許文献２に係る発明において用いられている圧力情報は、被接触面との接触点の圧力を単に測定するものであり、被接触面の硬さを精度よく検出することができるが、人間が感じる手触りのような触覚情報を取得することは非常に困難である。また、被接触面に光を当ててその反射光を計測することで被接触面の表面状態を取得する場合、光を照射する手段や、反射光を撮像する手段が必要となり、圧力情報から取得するような技術に比べて、システム規模が非常に大きくなってしまうという問題がある。
【０００６】
本発明は、このような実情に鑑みて提案されたものであり、被検出対象面を人間がなでたときの手触りを示す触覚情報を簡易的な手法で精度よく検出することができる触覚情報検出装置、及び、触覚情報検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するための手段として、本発明に係る触覚情報検出装置は、被検出対象面と接触する接触子と、接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出部と、少なくとも１種類の被接触面に対して、接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部と、摩擦音検出部により検出した摩擦音情報と、情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部から読み出して被検出対象面の触覚情報として出力する解析部とを備える。
【０００８】
また、本発明に係る触覚情報検出方法は、被検出対象面と接触する接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出ステップと、少なくとも１種類の被接触面に対して、接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部に記憶されている摩擦音情報と、摩擦音検出ステップにより検出した摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部から読み出して被検出対象面の触覚情報として出力する解析ステップとを有する。
【発明の効果】
【０００９】
本発明は、被検出対象面と接触する接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音と、情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部から読み出して被検出対象面の触覚情報として出力する。このようにすることで、本発明は、被検出対象面と接触子とが擦れ合うことで発生する摩擦音とこの被検出対象面の接触情報との相関特性を利用して、被検出対象面を人間がなでたときの手触りを示す触覚情報を簡易的な手法で精度よく検出することができる。
【発明を実施するための最良の形態】
【００１０】
本発明が適用された触覚情報検出装置は、被検出対象面を人間がなでたときの手触りを示す触覚情報を検出する。このような触覚情報検出装置は、例えば、図１（Ａ）に示すようなロボット１００に組み込まれる。このロボット１００は、図１（Ｂ）に示すように、当該アーム部１００ａに圧力センサ１０１と摩擦音検出用マイクロホン１０２とがそれぞれアレイ状に設けられ、アーム部１００ａの先端部１００ｂに摩擦音検出用マイクロホン１０３が設けられたものである。このロボット１００は、例えばユーザの指示に応じて任意の被検出対象物体を触って、触った際に発生する摩擦音を摩擦音検出用マイクロホン１０２、１０３により検出して解析することによって、被検出対象物体の触覚情報をユーザに通知することができる。また、ロボット１００は、図２（Ａ）に示すように、ロボットハンド１０５の指先部に複数の摩擦音検出用マイクロホンが内蔵された接触子１０５ａ〜１０５ｃが設けられている。また、本発明が適用された触覚情報検出装置は、例えば摩擦音検出用マイクロホンが内蔵された接触子が図２（Ｂ）に示すように、人間の指先部に装着され、ユーザが接触子２００と被検出対象物体とを擦り合わせたときに発生する摩擦音を摩擦音検出用マイクロホンで検出して解析することで、被検出対象物体の触覚情報を検出することもできる。
【００１１】
このような触覚情報検出装置の具体的な構成について、以下では図３に示すような検出装置１を用いて、本発明を実施するための形態について説明する。
【００１２】
検出装置１は、図３に示すように、被検出対象面と接触する接触子１１と、接触子１１が被検出対象面と接触した状態で移動したときに発生する摩擦音を集音する摩擦音検出用マイクロホン１２と、摩擦音に含まれるノイズ成分を検出するためのノイズ検出用マイクロホン１３とを備える。また、検出装置１は、被検出対象面と接触子１１との接触点の圧力を検出する圧力センサ１４を備える。また、検出装置１は、摩擦音検出用マイクロホン１２、ノイズ検出用マイクロホン１３、圧力センサ１４から出力される検出信号をそれぞれ増幅する増幅部１５と、増幅部１５により増幅させた検出信号に対してアナログ／デジタル変換処理により検出データに変換するＡＤ変換部１６とを備える。また、検出装置１は、摩擦音情報と触覚情報とを対応付けて記憶している情報記憶部１７と、ユーザからの音声情報が入力される音声入力部１８と、接触子１１を移動させるモータ駆動部１９とを備える。また、検出装置１は、ＡＤ変換部１６から出力される検出データを解析して被検出対象面の触覚情報を出力する処理を行う解析部２０と、解析部２０からの出力結果をディスプレイやスピーカによりユーザに通知する通知部２１とを備える。
【００１３】
接触子１１は、例えば図３に示すように、スポンジやシリコンなどの柔らかい部材を、力点の力を効率よく伝達させるアルミ箔などの硬度の高い第１の層１１ａと、この第１の層１１ａの外側に表面に凹凸があり摩擦により振動がおきやすい布などの第２の層１１ｂとを被膜したものである。接触子１１は、特にこのような構成とすることで、被検出対象面と擦れ合ったときに発生される摩擦音を大きくすることができるが、被検出対象面と擦れ合ったときに摩擦音を発生させる部材であれば他の部材から構成されるものを用いるようにしてもよい。
【００１４】
また、接触子１１は、後述するモータ駆動部１９により駆動されるモータと接続され、このモータの駆動力によって、被検出対象面に押しつけられて移動される。なお、接触子１１は、モータ駆動部１９によるモータの駆動力によって移動される場合に限定されず、ユーザによって被検出対象面に押しつけられて移動されるようにしてもよい。
【００１５】
摩擦音検出用マイクロホン１２は、摩擦音を検出する摩擦音検出部として機能し、例えば図３に示すように、摩擦音の音源との距離ができるだけ近くなるように、接触子１１の内部に設けられている。摩擦音検出用マイクロホン１２は、被検出対象面と接触子１１とが擦れ合うことによって発生する摩擦音を集音して、集音した音響信号を増幅部１５に供給する。
【００１６】
なお、摩擦音検出用マイクロホン１２は、接触子１１の内部に設けられる場合に限定されず、接触子１１の周囲に複数設けられるようにしてもよい。
【００１７】
ノイズ検出用マイクロホン１３は、摩擦音に含まれるノイズ成分を検出するため、上述した摩擦音検出用マイクロホン１２と同様に、被検出対象面と接触子１１とが擦れ合うことによって発生する摩擦音を集音して、集音した音響信号を増幅部１５に供給する。すなわち、ノイズ検出用マイクロホン１３は、摩擦音に含まれるノイズ情報を生成するノイズ生成部として機能する。ノイズ検出用マイクロホン１３によって集音された音響信号は、後述するノイズ低減部２０２によるノイズ低減処理に用いられる。
【００１８】
圧力センサ１４は、被検出対象面と接触子１１との接触点の圧力を検出するため、例えば図３に示すように、接触子１１の接触面に設けられている。圧力センサ１４は、圧電素子やひずみセンサなどから成り、圧力を電気信号に変換した検出信号を、増幅部１５に供給する。
【００１９】
増幅部１５は、摩擦音検出用マイクロホン１２、ノイズ検出用マイクロホン１３、圧力センサ１４から出力される検出信号をそれぞれ増幅して、増幅した検出信号をＡＤ変換部１６に供給する。
【００２０】
ＡＤ変換部１６は、増幅部１５により増幅された各検出信号に対して、アナログ／デジタル変換処理を施して、各検出信号に対応する検出データを解析部２０に供給する。
【００２１】
情報記憶部１７は、少なくとも１種類の被接触面に対して、接触子１１を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている。ここで、摩擦音情報は、摩擦音の音響信号の時間波形情報であってもこの音響信号を周波数変換したスペクトル情報であってもよいが、本実施形態では、摩擦音情報としてスペクトル情報を情報記憶部１７が記憶しているものとする。また、触覚情報は、人間が被検出対象面をなでたときの手触りを示す知覚情報であって、具体的には「つるつる」とか「ざらざら」などといった物体の表面状態を表す情報である。情報記憶部１７が記憶している情報は、解析部２０によってアクセスされる。
【００２２】
音声入力部１８は、ユーザによって「つるつる」とか「ざらざら」などといった物体の表面状態を表す語句が音声信号として入力され、入力された音声信号を解析部２０に供給する。
【００２３】
モータ駆動部１９は、接触子１１を被検出対象面に接触させた状態で移動させる接触子移動部として機能し、後述するように解析部２０によって制御され、接触子１１を被検出対象面に押しつけた状態で移動させる。また、モータ駆動部１９は、接触子１１を移動させるときにモータの回転動作により音が発生するため、摩擦音に対するノイズ源となる。よって、モータ駆動部１９は、モータをどの程度のトルクでいつ駆動させたかを示すモータに係る情報をノイズ情報として解析部２０に供給する。すなわち、モータ駆動部１９は、摩擦音に含まれるノイズ情報を生成するノイズ生成部として機能する。
【００２４】
解析部２０は、汎用の演算処理プロセッサを備えるコンピュータであって、ＡＤ変換部１６から出力される検出データを解析するとともに、解析結果を用いて精度よく被検出対象面の触覚情報を出力するため次のような構成を有している。
【００２５】
すなわち、解析部２０は、検出データを解析して情報記憶部１７から被検出対象面の触覚情報を読み出して出力する触覚情報処理部２０１と、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分を低減するノイズ低減部２０２と、被検出対象面において摩擦音が発生される音源位置を測定する音源位置測定部２０３を備える。また、解析部２０は、摩擦音検出用マイクロホン１２により検出した摩擦音情報を解析して情報記憶部１７に新たに記憶される情報学習部２０４と、触覚情報と摩擦音情報との対応関係を認識する意味認識部２０５とを備える。さらに、解析部２０は、圧力センサ１４により検出される検出データから被検出対象面の硬度を測定する硬度情報測定部２０６と、圧力センサ１４により検出される検出データに基づいてモータ駆動部１９を制御するモータ制御部２０７とを備える。
【００２６】
触覚情報処理部２０１は、摩擦音検出用マイクロホン１２により検出した摩擦音情報と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として、通知部２１に出力する。具体的に、触覚情報処理部２０１は、摩擦音検出用マイクロホン１２により検出した検出データに対して離散フーリエ変換（ＦＦＴ）などの周波数変換処理を施してスペクトル情報を取得して、取得したスペクトル情報と情報記憶部１７に記憶されている摩擦音情報であるスペクトル情報と相関値を検出することによって、相関の高い触覚情報を被検出対象面の触覚情報として、通知部２１に出力する。
【００２７】
ノイズ低減部２０２は、ノイズ検出用マイクロホン１３により検出された検出データ及びモータ駆動部１９から供給されるノイズ情報に基づいて、摩擦音検出用マイクロホン１２により検出される摩擦音からノイズ成分を低減する。
【００２８】
音源位置測定部２０３は、後述するように、摩擦音検出用マイクロホンが複数配置されている場合において、これらのマイクロホンにより検出された複数の摩擦音に基づいて、被検出対象面において摩擦音が発生される音源位置を測定する。そして、音源位置測定部２０３は、測定した音源位置情報を、触覚情報処理部２０１が出力する触覚情報に対応付けて通知部２１に出力する。
【００２９】
情報学習部２０４は、摩擦音検出用マイクロホン１２により検出した摩擦音情報を、触覚情報処理部２０１により解析され出力される触覚情報と対応付けて、情報記憶部１７に新たに記憶させる。また、情報学習部２０４は、音声入力部１８により入力される音声情報を、触覚情報として情報記憶部１７に記憶させる。
【００３０】
意味認識部２０５は、情報記憶部１７に記憶されている情報に基づいて、音声入力部１８により入力される音声情報と触覚情報との対応関係を認識して、認識結果を出力する。
【００３１】
硬度情報測定部２０６は、圧力センサ１４により検出される圧力情報から被検出対象面の硬度を測定して、測定した硬度情報を、触覚情報処理部２０１が出力する触覚情報に対応付けて通知部２１に出力する。
【００３２】
モータ制御部２０７は、圧力センサ１４により検出される圧力に応じて変化する摩擦音検出用マイクロホン１２により検出される摩擦音の音量が所定の閾値以上になるように、接触子１１を被検出対象面に接触させた状態でモータ駆動部１９により移動させる。
【００３３】
以上のような構成からなる解析部２０では、触覚情報処理部２０１が、被検出対象面と接触する接触子１１が被検出対象面と接触した状態で移動したときに発生する摩擦音と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として出力する。このようにすることで、解析部２０は、被検出対象面と接触子１１とが擦れ合うことで発生する摩擦音とこの被検出対象面の接触情報との相関特性を利用して、被検出対象面を人間がなでたときの手触りを示す触覚情報を簡易的な手法で精度よく検出することができる。
【００３４】
次に、解析部２０によるノイズ低減処理の具体的手法について、図４に示す処理フローを参照して説明する。
【００３５】
解析部２０には、ノイズ検出用マイクロホン１３により検出された検出データが入力され（ステップＳＴ１１ａ）、モータ駆動部１９によりモータの駆動状態に応じたノイズ情報が入力される（ステップＳＴ１１ｂ）。また、解析部２０には、摩擦音検出用マイクロホン１２により検出された検出データが入力され（ステップＳＴ１１ｃ）、圧力センサ１４により検出された検出データが入力される（ステップＳＴ１１ｄ）。
【００３６】
以上のようなデータが入力されると、ノイズ低減部２０２は、ステップＳＴ１１ａにより入力された検出データに対して周波数変換処理を施して外部雑音のスペクトル情報を算出する（ステップＳＴ１２）。さらに、ノイズ低減部２０２は、ステップＳＴ１２により算出されたスペクトル情報と、ステップＳＴ１１ｂにより入力されたノイズ情報とに基づいて、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分に対応するスペクトル情報を推定する（ステップＳＴ１３）。そして、ノイズ低減部２０２は、推定したスペクトル情報を触覚情報処理部２０１に供給する。
【００３７】
また、触覚情報処理部２０１は、ステップＳＴ１１ｃにより入力された検出データに対して周波数変換処理を施して摩擦音のスペクトル情報を算出する（ステップＳＴ１４）。そして、触覚情報処理部２０１は、ステップＳＴ１４により算出したスペクトル情報から、ステップＳＴ１３により算出されたノイズ成分に対応するスペクトル情報を減算することによって、ノイズ成分が低減された摩擦音のスペクトル情報を取得する（ステップＳＴ１５）。
【００３８】
また、ステップＳＴ１６において、硬度情報測定部２０６は、圧力センサ１４による検出データにより圧力値から接触子１１が被検出対象面と接しているか否かを判定して、接していると判定したときのみ、上述したステップＳＴ１２〜ステップＳＴ１５に係る処理を行うように、触覚情報処理部２０１及びノイズ低減部２０２に通知して制御する。
【００３９】
そして、解析部２０では、触覚情報処理部２０１が、ステップＳＴ１５により得られたスペクトル情報と、情報記憶部１７に記憶されている摩擦音情報であるスペクトル情報と相関値を検出することによって、相関の高い触覚情報を被検出対象面の触覚情報として、通知部２１に出力する。
【００４０】
このようにして、解析部２０では、触覚情報処理部２０１が、ノイズ低減部２０２によりノイズ成分が低減された摩擦音情報と、情報記憶部１７に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、情報記憶部１７から読み出して被検出対象面の触覚情報として出力する。このようにすることで、解析部２０は、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分を考慮して、モータの動作音や周囲の環境雑音による影響を受けることなく触覚情報をより精度よく検出することができる。
【００４１】
次に、解析部２０による摩擦音の音源位置測定処理の具体的手法について説明する。まず、摩擦音発生位置Ｘを測定する場合、検出装置１は、例えば、図５に示すように、アレイ状に配置された４つの摩擦音検出用マイクロホン１２ａ〜１２ｄを摩擦音検出部として備える。
【００４２】
解析部２０は、これらの各摩擦音検出用マイクロホン間の検出信号の位相差を算出することで摩擦音の発生する音源位置を測定する。具体的に、３つの摩擦音検出用マイクロホンから検出された検出信号を用いた音源位置の測定処理について、図６に示す処理フローを参照して説明する。
【００４３】
まず、ステップＳＴ２１において、解析部２０には、３つの摩擦音検出用マイクロホンにより検出された検出データが入力される。
【００４４】
ステップＳＴ２２において、音源位置測定部２０３は、ステップＳＴ２１により入力された３つの検出データに対して、ＦＦＴなどの周波数変換処理を施してそれぞれ摩擦音のスペクトル情報を算出する。
【００４５】
ステップＳＴ２３において、音源位置測定部２０３は、ステップＳＴ２２により算出された各スペクトル情報に対して相互相関演算処理を施してクロスパワースペクトル情報を算出する。
【００４６】
ステップＳＴ２４において、音源位置測定部２０３は、ステップＳＴ２３において算出された各クロスパワースペクトル情報に対して、ＩＦＦＴなどの処理を施して、周波数応答を逆変換した時間応答を示す波形情報を算出する。
【００４７】
ステップＳＴ２５において、音源位置測定部２０３は、ステップＳＴ２４において算出した各波形情報の最大振幅値を探索する。ここで、音源位置に対する各摩擦音検出用マイクロホンの位置がそれぞれ異なっている場合には、波形情報において位相差が生じ、異なる時間において波形情報の最大振幅値が生じることとなる。
【００４８】
そして、音源位置測定部２０３は、内部メモリに予め記憶している最大振幅値の組み合わせに対応付けた音源位置を示すテーブルを参照して（ステップＳＴ２６）、ステップＳＴ２５により探索した各最大振幅値の組み合わせから音源位置を推定する（ステップＳＴ２７）。
【００４９】
以上のようにして、音源位置測定部２０３は、複数の摩擦音検出用マイクロホンにより検出された複数の摩擦音に基づいて、被検出対象面において摩擦音が発生される音源位置を測定することができる。特に、圧力素子をアレイ状に多数配置して音源位置の検出処理を行う場合には、被検出対象面全体に亘って圧力素子を配置しなければならないので、このような場合に比較して、検出装置１では、音源位置検出処理に係るマイクロホンの配置数を少なくすることができる。解析部２０では、この音源位置情報を、触覚情報処理部２０１により出力される接触情報に対応付けて通知部２１に出力する。また、解析部２０は、音源位置測定部２０３で測定された音源位置情報を用いて触覚情報の検出処理に係る精度を向上することができる。例えば、解析部２０では、音源位置測定部２０３で測定された音源位置に最も近い摩擦音検出用マイクロホンから得られるＳ／Ｎ比の比較的良い摩擦音情報のみを用いて、触覚情報処理部２０１により触覚情報の検出を行うことで、触覚情報の検出処理に係る精度を向上することができる。また、解析部２０では、音源位置測定部２０３により音源位置を所定の時間間隔で測定させることで、接触子１１が被検出対象面上を移動する移動速度及び方向を検出することができる。ここで、接触子１１が被検出対象面上を移動する移動速度が速すぎたり遅すぎたりすると、摩擦音の周波数成分も変化するので、触覚情報の検出処理に係る精度を維持するためには、所定の範囲内で接触子が移動することが望ましい。換言すれば、接触子１１を被検出対象面に押し当てる力は、均一に保たれることが望ましい。そこで、解析部２０は、検出した移動速度が所定の範囲内に入っているときのみ、触覚情報処理部２０１に触覚情報の検出処理を行うようにさせることで、触覚情報の検出処理に係る精度を維持することができる。
【００５０】
次に、解析部２０による圧力センサからの検出情報に応じた接触子１１の移動制御処理について、図７に示す処理フローを参照して説明する。
【００５１】
解析部２０には、ノイズ検出用マイクロホン１３により検出された検出データが入力され（ステップＳＴ３１ａ）、モータ駆動部１９によりモータの駆動状態に応じたノイズ情報が入力される（ステップＳＴ３１ｂ）。また、解析部２０には、摩擦音検出用マイクロホン１２により検出された検出データが入力され（ステップＳＴ３１ｃ）、圧力センサ１４により検出された検出データが入力される（ステップＳＴ３１ｄ）。
【００５２】
以上のようなデータが入力されると、ノイズ低減部２０２は、ステップＳＴ３１ａにより入力された検出データに対して周波数変換処理を施して外部雑音のスペクトル情報を算出する（ステップＳＴ３２）。さらに、ノイズ低減部２０２は、ステップＳＴ３２により算出されたスペクトル情報と、ステップＳＴ３１ｂにより入力されたノイズ情報とに基づいて、摩擦音検出用マイクロホン１２により検出された摩擦音に含まれるノイズ成分に対応するスペクトル情報を推定する。そして、ノイズ低減部２０２は、推定したスペクトル情報を触覚情報処理部２０１に供給する。
【００５３】
また、触覚情報処理部２０１は、ステップＳＴ３１ｃにより入力された検出データに対して周波数変換処理を施して摩擦音のスペクトル情報を算出する（ステップＳＴ３４）。そして、触覚情報処理部２０１は、ステップＳＴ３４により算出したスペクトル情報から、ステップＳＴ３３により算出されたノイズ成分に対応するスペクトル情報を減算することによって、ノイズ成分が低減された摩擦音のスペクトル情報を取得する（ステップＳＴ３５）。
【００５４】
硬度情報測定部２０６は、圧力センサ１４による検出データにより圧力値から接触子１１が被検出対象面と接しているか否かを判定して、接していると判定したときのみ、上述したステップＳＴ３２〜ステップＳＴ３５に係る処理を行うように、触覚情報処理部２０１及びノイズ低減部２０２に通知して制御する（ステップＳＴ３６）。
【００５５】
モータ制御部２０７は、ステップＳＴ３５により取得された摩擦音のスペクトル情報のスペクトルの合計すなわちパワースペクトルを算出する（ステップＳＴ３７）。そして、モータ制御部２０７は、ステップＳＴ３７において算出したパワースペクトルが所定の閾値よりも大きいか否かを判断する（ステップＳＴ３８）。すなわち、モータ制御部２０７は、摩擦音検出用マイクロホン１２により検出される摩擦音の音量が所定の閾値以上であるか判断する。この判断結果から、モータ制御部２０７は、所定の閾値よりも大きいときモータ駆動部１９に接触子１１を被検出対象面に押しつける力を発生するモータのトルクを下げるように制御する。また、モータ制御部２０７は、所定の閾値よりも小さいときモータ駆動部１９に接触子１１を被検出対象面に押しつける力を発生するモータのトルクを上げるように制御する。
【００５６】
以上のようにして、モータ制御部２０７は、圧力センサ１４により検出される圧力に応じて変化する摩擦音検出用マイクロホンにより検出される摩擦音の音量が所定の値となるように、接触子１１を被検出対象面に接触させた状態でモータ駆動部１９により移動させるように制御することで、画一的な摩擦音を得ることができ、結果として触覚情報の検出精度を高めることができる。すなわち、モータ制御部２０７は、接触子１１を被検出対象面に押し当てる強さを均一に保つことで、摩擦音検出用マイクロホン１２により検出される摩擦音の均一性を向上させ、結果として、触覚情報の検出精度を高めることができる。
【００５７】
このようにして検出精度を高められるのは、摩擦音情報を取得する際にどの程度の力で被検出対象面に接触子１１を接触させているかによって、得られる摩擦音が多少変化するからである。
【００５８】
次に、触覚情報に関する語彙の意味獲得処理について、図８に示す処理フローを参照して説明する。
【００５９】
まず、接触子１１に様々な物体を触らせることによって、複数の摩擦音情報を学習データとして取得する（ステップＳＴ４１）。情報学習部２０４は、ステップＳＴ４１により取得した学習データを、ＳＯＭやベイズ学習などの、学習データの自己組織化クラスタリング手法を用いて、複数の触覚刺激を示すクラスに分類する（ステップＳＴ４２）。なお、情報学習部２０４は、これらのクラスに分類できない触覚刺激を示す摩擦音情報を、新たな触覚刺激データとする（ステップＳＴ４３）。そして、接触子１１は、図９に示すように、ステップＳＴ４１で取得した学習データに対してクラス判定する（ステップＳＴ４４）。
【００６０】
また、情報学習部２０４は、各学習データに対応付けられて、音声入力部１８により入力される音声データを取得する（ステップＳＴ４５）。情報学習部２０４は、ステップＳＴ４５で取得した音声データに対して音声認識処理（ステップＳＴ４６）、形態素解析処理（ステップＳＴ４７）を施して、各学習データに対応付けられた触覚に関する語彙を抽出する（ステップＳＴ４８）。
【００６１】
そして、情報学習部２０４は、情報記憶部１７を用いた連想記憶機構による触覚クラスと語彙の結びつけにより、ステップＳＴ４４によりクラス判定した各クラスと、ステップＳＴ４８により抽出した語彙とを対応付ける（ステップＳＴ４９）。このようにして、情報記憶部１７は、触覚クラスと語彙とを結びつけた情報を触覚情報とし、各触覚情報に対応付けて複数の摩擦音情報が記憶される。
【００６２】
意味認識部２０５は、ステップＳＴ４９により触覚クラスと語彙とが対応付けられた情報を用いて、意味認識を行う。例えば、意味認識部２０５は、接触子１１を用いて検出された新たな触覚刺激に対応する摩擦音情報を入力して（ステップＳＴ５１）、入力した摩擦音情報に対応する触覚情報を情報記憶部１７から参照して理解して（ステップＳＴ５３）、例えば図示しないスピーカにより理解した触覚情報を示す語彙を発音する。また、意味認識部２０５は、音声入力部により入力された語彙（ステップＳＴ５２）に対応する触覚情報を情報記憶部１７から参照して理解して（ステップＳＴ５３）、この触覚情報を示す物体を推定することで、人間の発話から手触りに関する触覚情報を理解することができる。
【００６３】
このようにして、意味認識部２０５は、新たに入力された触覚情報がどのクラスにどの程度相関があるかを計算することで、その触覚がどの語句で表現できるかを検出装置１が組み込まれたロボットが判断し発話することができる。
【００６４】
このようにして、検出装置１は、精度良く触覚情報を検出することができるので、このような検出結果を利用して、例えば、触覚ディスプレイのパラメータとの対応関係を予め計算して、手触りに関する触覚情報を再生することが可能となる。
【００６５】
以上のようにして、本発明が適用された検出装置１は、従来困難であった触覚情報、特に手触りといった感覚情報を定量的に評価することができるので、以下のようなことが可能になる。
【００６６】
第１に、検出装置１は、触覚を利用した新しいヒューマンインタフェースデバイスとして適用することができる。すなわち、検出装置１は、細かな手触り感を検出することができるので、この検出結果をスイッチとして用いたり、ユーザの好みの手触りを学習し暗証番号代わりとして用いたりするなど、従来なかったヒューマンインタフェースデバイスとして利用することができる。
【００６７】
第２に、検出装置１は、物体認識処理を行う装置として適用することができる。すなわち、検出装置１では、物体の手触りを物体を認識するための手がかりとして用いることができ、機械による物体認識の精度を向上させることができる。
【００６８】
第３に、検出装置１は、計算機やロボットによる触覚や言語理解を行う装置として適用することができる。すなわち、ロボットが触覚や手触り感などの本質的な意味や、それに関連する語彙や単語を理解するためには、その物理的な情報を検出する必要があるが、検出装置１は、上述した検出処理により、人間の言語コミュニケーションの進歩を図ることができる。
【００６９】
第４に、検出装置１は、人間の感覚に関する研究や開発をする装置として適用することができる。すなわち、検出装置１は、精度良く触覚情報の検出を行うことができるので、この検出結果に基づいて、人間の触覚に関する感覚（例えば、好みの感触や不快な感触など）に対する定量的評価を行うための客観的な指標を取得することができる。
【００７０】
第５に、検出装置１は、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）やＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ（ＶＲ）に利用される触覚情報の定量的な解析を行う装置として適用することができる。すなわち、ＡＲやＶＲは、人間の感覚を擬似的に再現することが目的である。そのためには、人間の感覚を生じさせるための刺激を定量的に記録できなければならない。このような問題に対して、検出装置１では、精度良く触覚情報の検出を行うことができるので、この検出結果に基づいて、人間の感覚を擬似的に再現するための数値データを取得することが可能であり、触覚再生を行うデバイスとのキャリブレーションによって、任意の手触りすなわち触覚情報を再生することができる。
【００７１】
第６に、検出装置１は、携帯電話に適用することができる。すなわち、検出装置１は、携帯電話のマイクロホンを摩擦音検出用マイクロホン１２として利用することで、簡単に触覚情報を通信（送信）することが可能である。このようにして送信される触覚情報は、商品の注文や肌などの簡易的な診断など様々な用途として用いることができる。
【００７２】
以上のようにして、本発明が適用された検出装置１は、比較的簡単な装置構成により実現できるため、低コストで上述した第１から第６の用途に適用することができる。
【００７３】
次に、触覚情報検出装置を具体的に構成して、手触り感を示す触覚情報の学習および識別の実験を行い、具体的な物体を用いて触覚情報の検出した具体例について説明する。
【００７４】
まず、接触子５０として以下の条件を満たすように構成したものを用いた。接触子５０は、被検出対象面と接触され、被検出対象面と擦れ合ったときに発生される摩擦音を大きくするため、例えば、次のような被覆処理が施されている。すなわち、接触子５０には、力点の力を効率よく伝達させるアルミ箔５１が被覆され、さらにこのアルミ箔５１の外側に表面に凹凸があり摩擦により振動がおきやすい布５２が被覆される。
【００７５】
また、接触子５０は、物体表面を擦ったときに発生する圧力の違いを考慮するため圧力センサ５４が配置されている。
【００７６】
以下の実施例では、これらの点を考慮しつつ、摩擦音検出用マイクロホン５３と圧力センサ５４とを内蔵した接触子５０を構成した。図１０は人の指に装着する例であるが、ロボットに装着してもよい。
【００７７】
手触りを示す触覚情報の学習用データとして８種類、識別用として５種類の物体を用いた。下記の表１に使用した物体一覧を示す。
【００７８】
【表１】
【００７９】
次に、図１１に示す処理フローを参照して、触覚情報の学習および識別の実験について説明する。
【００８０】
擦る動作の条件は、人間が手触りを確かめるときの値を基準に、圧力を圧力センサ５４の出力値で３０前後（滑らかに物体表面を擦ることができる強さ）、擦る速度を約２０ｃｍ／ｓ、往復範囲を約４ｃｍとした（ステップＳＴ６１）。
【００８１】
この条件の下、物体表面を接触子５０で擦り、発生する音を録音した。具体的に、接触子５０は実験者の手で持ち、圧力センサ５４の出力値が一定になるようにしながら、物体表面を擦った。サンプリングレートは１６ｋＨｚ、録音時間は４秒とし、測定したい部分上を往復させて擦った（ステップＳＴ６２）。
【００８２】
ステップＳＴ６３において、図１２（Ａ）に示すように、学習用の摩擦音データをフレームに分け、１３次元のＭＦＣＣ（特徴ベクトル）のデータに変換した。その後、このデータを多次元混合正規分布でモデル化した。このモデル化には、ＥＭアルゴリズムを用いた。
【００８３】
同様にして、図１２（Ｂ）に示すように、識別用の摩擦音データをフレームに分け、１３次元のＭＦＣＣデータに変換した。
【００８４】
ステップＳＴ６４において、学習済みの混合正規分布を用いて、識別用ＭＦＣＣの尤度を計算した。ただしこの際、全フレームの尤度を平均することで、平均尤度を計算した。識別データの学習物体全てに対する平均尤度を計算し、最終的に尤度が最大となる物体（もしくは、その物体に結びついた手触り感覚すなわち触覚に対応する単語）を認識結果とした。たとえば、今回用いた物体の例では、「かえるのぬいぐるみ」がハンカチ（もしくは「タオル地」）と認識されれば正解となる。
【００８５】
尤度の計算に用いる混合正規分布は、以下の（１）式で表される。
【００８６】
【数１】
【００８７】
ただし、ｘ、μｋ、Σｋはそれぞれ、入力データベクトル、ｋ番目の学習物体に対する平均ベクトル、k番目の学習物体に対する共分散行列である。
【００８８】
以上の録音条件の下で、学習用８種、識別用５種の計１３種の摩擦音データを録音した。学習用８種を学習データにして覚えさせ、識別用５種の手触りデータを識別させた。また、精度を確かめるため、学習用８種データも識別させた。
【００８９】
以上のようにして、８種類の学習用物体を記憶させ、５種類の識別用物体の識別を行わせたときの結果を、下記の表２に示す。表２に示すように、全ての物体において、人間が与えた正解と同じ認識結果が得られた。また、学習用８種類のデータを入力した場合には、全て正しく認識された。
【００９０】
【表２】
【００９１】
このように、具体的な接触子５０を用いた検出装置１では、全ての識別結果で正解を得ることができ、摩擦音と触覚情報の相関特性を利用して、精度良く触覚情報を検出することができる。また、この実施例から、手触り感すなわち、触覚情報に関する言葉の理解をすることができる点についても確かめることができる。
【００９２】
なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００９３】
【図１】本発明に係る触覚情報検出装置の適用例を示す図である。
【図２】本発明に係る触覚情報検出装置の適用例を示す図である。
【図３】本発明が適用された検出装置の具体的な構成を示すブロック図である。
【図４】ノイズ低減処理の説明に供する処理フローを示す図である。
【図５】音源位置推定処理の説明に供する図である。
【図６】音源位置推定処理の説明に供する処理フローを示す図である。
【図７】圧力センサからの検出情報に応じた接触子の移動制御処理の説明に供する処理フローを示す図である。
【図８】情報学習部及び意味認識部に係る具体的な処理の説明に供する処理フローを示す図である。
【図９】触覚情報によりクラス分けされた摩擦音情報を示す図である。
【図１０】接触子の具体的な構成を示す図である。
【図１１】接触情報の検出処理の実施例の説明に供する処理フローを示す図である。
【図１２】接触情報の検出処理の実施例で行われる具体的な信号処理の流れについての説明に供する図である。
【符号の説明】
【００９４】
１ 検出装置、１１、１０５ａ−１０５ｃ、２００、５０、 接触子、１１ａ 第１の層、１１ｂ 第２の層、１２、１２ａ−１２ｄ、１０２、１０３、５３ 摩擦音検出用マイクロホン、１３ ノイズ検出用マイクロホン、１４、５４、１０１ 圧力センサ、１５ 増幅部、１６ ＡＤ変換部、１７ 情報記憶部、１８ 音声入力部、１９ モータ駆動部、２０ 解析部、２０１ 触覚情報処理部、２０２ ノイズ低減部、２０３ 音源位置測定部、２０４ 情報学習部、２０５ 意味認識部、２０６ 硬度情報測定部、２０７ モータ制御部、２１ 通知部、５１ アルミ箔、５２ 布、１００ ロボット、１００ａ アーム部、１００ｂ 先端部、１０５ ロボットハンド
【特許請求の範囲】
【請求項１】
被検出対象面と接触する接触子と、
上記接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出部と、
少なくとも１種類の被接触面に対して、上記接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部と、
上記摩擦音検出部により検出した摩擦音情報と、上記情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、上記情報記憶部から読み出して上記被検出対象面の触覚情報として出力する解析部とを備える触覚情報検出装置。
【請求項２】
上記摩擦音検出部により検出される摩擦音に含まれるノイズ情報を生成するノイズ生成部と、
上記ノイズ生成部により生成されたノイズ情報に基づいて、上記摩擦音検出部により検出される摩擦音からノイズ成分を低減するノイズ低減部とを更に備え、
上記解析部は、上記ノイズ低減部によりノイズ成分が低減された摩擦音情報と、上記情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、上記情報記憶部から読み出して上記被検出対象面の触覚情報として出力する請求項１記載の触覚情報検出装置。
【請求項３】
上記摩擦音検出部は、複数のマイクロホンにより、上記接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をそれぞれ検出し、
上記解析部は、上記摩擦音検出部の複数のマイクロホンにより検出された複数の摩擦音に基づいて、上記被検出対象面において摩擦音が発生される音源位置を測定して、この音源位置情報を上記被検出対象面の触覚情報と対応付けて出力する音源位置測定部を有する請求項１又は２記載の触覚情報検出装置。
【請求項４】
上記摩擦音検出部により検出した摩擦音情報を、上記解析部により解析され出力される触覚情報と対応付けて、上記情報記憶部に新たに記憶させる情報学習部を更に備える請求項１記載の触覚情報検出装置。
【請求項５】
上記被検出対象面と上記接触子との接触点の圧力を検出する圧力検出素子を更に備え、
上記解析部は、上記圧力検出素子により検出される圧力情報から上記被検出対象面の硬度を測定して、この硬度情報を上記被検出対象面の触覚情報と対応付けて出力する硬度情報測定部を有する請求項１記載の触覚情報検出装置。
【請求項６】
上記被検出対象面と上記接触子との接触点の圧力を検出する圧力検出素子と、
上記接触子を被検出対象面に接触させた状態で移動させる接触子移動部と、
上記圧力検出素子により検出される圧力に応じて変化する上記摩擦音検出部により検出される摩擦音の音量が所定の値となるように、上記接触子を被検出対象面に接触させた状態で上記接触子移動部により移動させる移動制御部とを更に備える請求項１記載の触覚情報検出装置。
【請求項７】
被検出対象面と接触する接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出ステップと、
少なくとも１種類の被接触面に対して、上記接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部に記憶されている摩擦音情報と、上記摩擦音検出ステップにより検出した摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、上記情報記憶部から読み出して上記被検出対象面の触覚情報として出力する解析ステップとを有する触覚情報検出方法。
【請求項１】
被検出対象面と接触する接触子と、
上記接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出部と、
少なくとも１種類の被接触面に対して、上記接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部と、
上記摩擦音検出部により検出した摩擦音情報と、上記情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、上記情報記憶部から読み出して上記被検出対象面の触覚情報として出力する解析部とを備える触覚情報検出装置。
【請求項２】
上記摩擦音検出部により検出される摩擦音に含まれるノイズ情報を生成するノイズ生成部と、
上記ノイズ生成部により生成されたノイズ情報に基づいて、上記摩擦音検出部により検出される摩擦音からノイズ成分を低減するノイズ低減部とを更に備え、
上記解析部は、上記ノイズ低減部によりノイズ成分が低減された摩擦音情報と、上記情報記憶部に記憶されている摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、上記情報記憶部から読み出して上記被検出対象面の触覚情報として出力する請求項１記載の触覚情報検出装置。
【請求項３】
上記摩擦音検出部は、複数のマイクロホンにより、上記接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をそれぞれ検出し、
上記解析部は、上記摩擦音検出部の複数のマイクロホンにより検出された複数の摩擦音に基づいて、上記被検出対象面において摩擦音が発生される音源位置を測定して、この音源位置情報を上記被検出対象面の触覚情報と対応付けて出力する音源位置測定部を有する請求項１又は２記載の触覚情報検出装置。
【請求項４】
上記摩擦音検出部により検出した摩擦音情報を、上記解析部により解析され出力される触覚情報と対応付けて、上記情報記憶部に新たに記憶させる情報学習部を更に備える請求項１記載の触覚情報検出装置。
【請求項５】
上記被検出対象面と上記接触子との接触点の圧力を検出する圧力検出素子を更に備え、
上記解析部は、上記圧力検出素子により検出される圧力情報から上記被検出対象面の硬度を測定して、この硬度情報を上記被検出対象面の触覚情報と対応付けて出力する硬度情報測定部を有する請求項１記載の触覚情報検出装置。
【請求項６】
上記被検出対象面と上記接触子との接触点の圧力を検出する圧力検出素子と、
上記接触子を被検出対象面に接触させた状態で移動させる接触子移動部と、
上記圧力検出素子により検出される圧力に応じて変化する上記摩擦音検出部により検出される摩擦音の音量が所定の値となるように、上記接触子を被検出対象面に接触させた状態で上記接触子移動部により移動させる移動制御部とを更に備える請求項１記載の触覚情報検出装置。
【請求項７】
被検出対象面と接触する接触子が被検出対象面と接触した状態で移動したときに発生する摩擦音をマイクロホンにより検出する摩擦音検出ステップと、
少なくとも１種類の被接触面に対して、上記接触子を接触させた状態で移動させたときに発生される摩擦音情報と、この被接触面の触覚情報とが対応付けて記憶されている情報記憶部に記憶されている摩擦音情報と、上記摩擦音検出ステップにより検出した摩擦音情報との相関値を算出して、当該相関値が所定値よりも高い摩擦音情報に対応付けられた触覚情報を、上記情報記憶部から読み出して上記被検出対象面の触覚情報として出力する解析ステップとを有する触覚情報検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−４４０２８（Ｐ２０１０−４４０２８Ａ）
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００８−２１００７５（Ｐ２００８−２１００７５）
【出願日】平成２０年８月１８日（２００８．８．１８）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【Ｆターム（参考）】
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成２０年８月１８日（２００８．８．１８）
【出願人】（５０４１３３１１０）国立大学法人電気通信大学 (383)
【Ｆターム（参考）】
[ Back to top ]