表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラム
【課題】実物体の硬さ情報を非接触で高精度に取得して、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示する。
【解決手段】ユーザに触力覚で提示する仮想空間上の仮想物体に対応する実物体の硬さ情報を計測するための表面硬さ計測装置において、前記実物体の３次元形状を計測する３次元形状計測手段と、前記３次元形状計測手段により得られる３次元形状情報から前記実物体の表面における予め設定された位置毎の変位を計測する変位計測手段と、前記変位計測手段により得られる変位の比率又は変位量から前記実物体の計測した位置毎の粘弾性インピーダンスを推定し、推定された粘弾性インピーダンスにより前記実物体の所定位置毎の硬さ情報を取得する計測制御手段とを有することにより、上記課題を解決する。
【解決手段】ユーザに触力覚で提示する仮想空間上の仮想物体に対応する実物体の硬さ情報を計測するための表面硬さ計測装置において、前記実物体の３次元形状を計測する３次元形状計測手段と、前記３次元形状計測手段により得られる３次元形状情報から前記実物体の表面における予め設定された位置毎の変位を計測する変位計測手段と、前記変位計測手段により得られる変位の比率又は変位量から前記実物体の計測した位置毎の粘弾性インピーダンスを推定し、推定された粘弾性インピーダンスにより前記実物体の所定位置毎の硬さ情報を取得する計測制御手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムに係り、特に仮想的に物体を提示する際に、実物体に近い触感覚をより高精度に提示するための表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムに関する。
【背景技術】
【０００２】
従来、触力覚を用いて情報を提示する機器では、バーチャルリアリティの分野において、仮想的な物体の形状を機械的に力覚で提示する装置の開発が行われている。このような力覚提示装置では、例えばユーザの操作に応じて仮想物体の位置情報を検出し、検出により得られた位置情報と仮想物体の位置情報とから計算した反力を指等にフィードバックしている。また、上述した反力の提示方法には、ワイヤの張力・空気圧・回転体の慣性モーメント等を利用したものが開発されている（例えば、非特許文献１及び２参照）。
【０００３】
ここで、非特許文献１に示されている力覚提示装置の「ＰＨＡＮＴｏＭ」は、ユーザの指先の動きに応じた力覚情報を３又は６自由度のアーム型のアクチュエータでフィードバックする点接触型提示を行っている。また、他の方式である非特許文献２に示されている「Ｈａｐｔｉｃ Ｍａｓｔｅｒ」は、複数の並列のアクチュエータを連結し反力を伝えるパラレルメカニズムを用いている。これらの装置は、仮想的な物体に触れ、物体の形状や硬さ等を伝えることができる。
【０００４】
また、上述した他にも複数の指で物体を把持したり、なぞるように触察した感覚を与える多指型力覚提装置も開発されている（例えば、非特許文献３〜５参照）。
【０００５】
このような触力覚提示装置を用いて、放送や通信を介し、実物体の情報を遠隔にて仮想的に再現するためには、実物体の３次元空間座標情報を取得する必要がある。空間座標を取得する方法には、レーザをスキャン照射し反射光を検出することで物体との距離を測定する３次元デジタイザー（例えば、非特許文献６参照）や、多数のカメラを実物体の周囲に配置し、様々な方向から得た画像を適切に処理し、３次元座標データを生成する多視点カメラ（例えば、非特許文献７参照）等の方法が実用化されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｔ．Ｈ．Ｍａｓｓｉｅ、 Ｊ．Ｋ．Ｓａｌｉｓｂｕｒｙ：“Ｔｈｅ ｐｈａｎｔｏｍ ｈａｐｔｉｃ ｉｎｔｅｒｆａｃｅ： Ａ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｂｉｎｇ ｖｉｒｔｕａｌ ｏｂｊｅｃｔｓ、” Ｐｒｏｃ． ＡＳＭＥ Ｈａｐｔｉｃ Ｉｎｔｅｒｆａｃｅｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ Ｔｅｌｅｏｐｅｒａｔｏｒ Ｓｙｓｔｅｍｓ Ｉｎ Ｄｙｎａｍｉｃ Ｓｙｓｔｅｍｓ ａｎｄ Ｃｏｎｔｒｏｌ １９９４、 ｖｏｌ．１、 ｐｐ．２９５−３０１ （１９９４）
【非特許文献２】浅野、矢野、岩田：“フォースディスプレイを用いた仮想環境における手術シミュレーションの要素技術開発”、ＶＲ学大、ｐｐ．９５−９８（１９９６）
【非特許文献３】佐藤、平田、河原田：“空間インタフェース装置ＳＰＩＤＡＲの提案”、信学論、Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ、Ｎｏ．７、ｐｐ．８８７−８９４（１９９１）
【非特許文献４】ｈｔｔｐ：／／ｗｗｗ．ｉｍｍｅｒｓｉｏｎ．ｃｏｍ／３ｄ／ｐｒｏｄｕｃｔｓ／
【非特許文献５】Ｈ．Ｋａｗａｓａｋｉ ｅｔ ａｌ．：“Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｆｉｖｅ−ｆｉｎｇｅｒｄ ｈａｐｔｉｃ ｉｎｔｅｒｆａｃｅ：ＨＩＲＯ ＩＩ”、Ｐｒｏｃ．１５ｔｈ Ｉｎｔ．Ｃｏｎｆ．Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ ＆ Ｔｅｌｅｘｉｓｔｅｎｃｅ、ｐｐ．２０９−２１４（２００５）
【非特許文献６】ｈｔｔｐ：／／ｋｏｎｉｃａｍｉｎｏｌｔａ．ｊｐ／ｉｎｓｔｒｕｍｅｎｔｓ／ｐｒｏｄｕｃｔｓ／３ｄ／ｉｎｄｅｘ．ｈｔｍｌ
【非特許文献７】岩舘：“多視点映像処理技術の放送応用”、社団法人映像情報メディア学会，ＩＴＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ．３３、Ｎｏ．４２、ｐｐ．２１〜２８、２００９年１０月２１日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、放送や通信を介して高臨場感の環境をより高精度に提供するためには、視聴覚情報に触覚情報を加えて実物体に近い感覚を提示することが有効な手法になってくる。ここで、実物体の情報を遠隔で触覚に提示するためには、実物体の面や角等の３次元空間座標や、表面の粗さ、硬さ等の情報を取得し、触力覚提示装置で提示することが必要となる。
【０００８】
しかしながら、従来技術による３次元デジタイザーや多視点カメラ方式等では、物体の３次元座標データと表面の粗さのデータを取得することができても、硬さ情報のセンシングまでは考えられておらず、より実物体に近い触感覚を提示するためには硬さを指標とする新たな情報センシングの方式が求められる。
【０００９】
本発明は、上述した問題点に鑑みなされたものであり、仮想的に物体を提示する際に、実物体に近い触感覚をより高精度に提示するための表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムを提供することを目的とする。
【００１０】
更に言い換えれば、本発明の目的は、仮想物体の触力覚提示において、実物体を触察しているような、より自然な触感覚を得られる表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１２】
請求項１に記載された発明は、ユーザに触力覚で提示する仮想空間上の仮想物体に対応する実物体の硬さ情報を計測するための表面硬さ計測装置において、前記実物体の３次元形状を計測する３次元形状計測手段と、前記３次元形状計測手段により得られる３次元形状情報から前記実物体の表面における予め設定された位置毎の変位を計測する変位計測手段と、前記変位計測手段により得られる変位の比率又は変位量から前記実物体の計測した位置毎の粘弾性インピーダンスを推定し、推定された粘弾性インピーダンスにより前記実物体の所定位置毎の硬さ情報を取得する計測制御手段とを有することを特徴とする。
【００１３】
請求項１記載の発明によれば、実物体の硬さ情報を高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。
【００１４】
請求項２に記載された発明は、前記変位計測手段は、前記３次元形状情報に基づいて複数の超音波を前記実物体の表面の所定の位置に収束させて照射させるための超音波振動子アレイを有することを特徴とする。
【００１５】
請求項３に記載された発明は、前記変位計測手段は、前記超音波振動子アレイから放射される超音波の周波数を所定の周期で変化させ、変化によって発生する前記実物体の対象表面の振動振幅を計測して前記変位の比率又は変位量を計測することを特徴とする。
【００１６】
請求項４に記載された発明は、前記請求項１乃至３の何れか１項に記載された表面硬さ計測装置を備えた触力覚提示装置において、前記計測制御手段により得られる硬さ情報に基づいて、前記実物体に対応する仮想空間上の仮想物体に前記硬さ情報による力覚制御を行う触力覚提示手段を有することを特徴とする。
【００１７】
請求項４記載の発明によれば、表面硬さ情報を用いて、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。
【００１８】
請求項５に記載された発明は、前記計測制御手段は、前記粘弾性インピーダンスにより得られる前記実物体の所定位置毎の硬さ情報を、前記仮想物体にマッピングすることを特徴とする。
【００１９】
請求項６に記載された発明は、前記触力覚提示手段は、前記３次元形状計測手段により得られる３次元形状情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする。
【００２０】
請求項７に記載された発明は、前記実物体の表面の凹凸及び粗さの情報を含む表面形状を取得する表面粗さ計測手段を有し、前記触力覚提示手段は、前記表面粗さ計測手段により得られる表面粗さ情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする。
【００２１】
請求項８に記載された発明は、コンピュータを、請求項１乃至３の何れか１項に記載の表面硬さ計測装置として機能させることを特徴とする表面硬さ計測プログラムである。
【００２２】
請求項８記載の発明によれば、実物体の硬さ情報を高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に表面硬さ計測処理を実現することができる。
【００２３】
請求項９に記載された発明は、コンピュータを、請求項４乃至７の何れか１項に記載の触力覚提示装置として機能させることを特徴とする触力覚提示プログラムである。
【００２４】
請求項９記載の発明によれば、表面硬さ情報を用いて、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に触力覚提示処理を実現することができる。
【００２５】
なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。
【発明の効果】
【００２６】
本発明によれば、実物体の硬さ情報を高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態における表面硬さ計測装置の概要構成の一例を示す図である。
【図２】表面硬さ計測処理手順の一例を示すフローチャートである。
【図３】表面硬さ計測装置の機能構成の一例を示す図である。
【図４】本実施形態における超音波振動子アレイを説明するための図である。
【図５】本実施形態に適用される機械インピーダンスを説明するための図である。
【図６】本実施形態における表面硬さ計測装置を用いた触力覚提示装置の概要を示す図である。
【図７】本実施形態における触力覚提示処理手順の一例を示すフローチャートである。
【図８】硬さ及び粗さ情報を有する仮想物体データの記述例を示す図である。
【発明を実施するための形態】
【００２８】
＜本発明について＞
本発明は、仮想的に物体を提示する触力覚提示技術に用いられる、物体の表面の硬さを検出する技術を提供する。また、これに加えて、物体及び物体表面の３次元座標を検出し、その凹凸を提示する触力覚提示方法と、表面のざらざら感等の触感を提示する手段を有することで、よりリアルな仮想物体を複数のユーザに提示する。
【００２９】
更に具体的に説明すると、本発明では、物体の表面の硬さを抽出し提示するために、超音波の放射圧等で表面の変位を計測することにより、表面の粘弾性インピーダンスを推定する。つまり、本発明では、硬さ情報の一例として表面の粘弾性インピーダンス等を用いる。更に、推定された粘弾性インピーダンスを用いて、少なくとも１つの触力覚提示装置に提示することで表面の硬さを体感することができる。
【００３０】
また、上述した粘弾性インピーダンスの他にもコンピュータで作成した物体や実物体の３次元形状情報をデジタイザー等で取得し、物体形状の凹凸を提示する手段と、表面のざらざら感等の微細な凹凸や粗さ情報を取得し、物体形状の凹凸情報に組み合わせて触感を提示する手段とを有し、これらを統合することで、よりリアルな仮想物体の提示を可能とする。
【００３１】
なお、本発明では、これらの手法で得られる仮想物体のデータを、一元的に管理し、放送やインターネットを介し、各クライアントの触力覚提示装置に提供することで、複数のユーザが同じ物体を触察することができる。これにより、仮想的に物体を提示する触力覚提示装置において、より実物体に近い触感覚を得ることが可能であり、より認知しやすい提示手法を提供することが可能である。
【００３２】
次に、上述したような特徴を有する本発明における表面硬さ計測装置、表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。
【００３３】
＜表面硬さ計測装置の概要構成例＞
図１は、本実施形態における表面硬さ計測装置の概要構成の一例を示す図である。図１に示す表面硬さ計測装置１０は、変位計測手段としての１又は複数の超音波振動子アレイ１１（図１の例では、超音波振動子アレイ１１−１，１１−２）と、振動測定手段１２（図１の例では、振動測定手段１２−１，１２−２）と、３次元形状計測手段１３と、計測制御手段１４と、記録手段１５とを有するよう構成されている。
【００３４】
超音波振動子アレイ１１は、超音波を発生する振動子が所定の間隔で所定の位置に多数配列されている。なお、本実施形態における超音波振動子アレイ１１は、既存の超音波振動子アレイを用いることができ、例えば、「Ｔａｋａｙｕｋｉ Ｈｏｓｈｉ、Ｔａｋａｙｕｋｉ Ｉｗａｍｏｔｏ、ａｎｄ Ｈｉｒｏｙｕｋｉ Ｓｈｉｎｏｄａ：Ｎｏｎ−Ｃｏｎｔａｃｔ Ｔａｃｔｉｌｅ Ｓｅｎｓａｔｉｏｎ Ｓｙｎｔｈｅｓｉｚｅｄ ｂｙ Ｕｌｔｒａｓｏｕｎｄ Ｔｒａｎｓｄｕｃｅｒｓ、 Ｐｒｏｃ． Ｗｏｒｌｄ Ｈａｐｔｉｃｓ ２００９、 Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ、 ＵＴ、 Ｍａｒｃｈ １８−２０、ｐｐ．２５６−２６０、２００９．」等に記載の超音波振動子アレイを用いることができる。なお、超音波振動子アレイ１１の構成等の具体例については後述する。
【００３５】
ここで、本実施形態における表面硬さ計測装置１０は、超音波振動子アレイ１１により被測定対象物体２１（例えば、製品だけでなく生き物等も含んだ実物体）に対して、例えば約１８０ｍｍ角のフェーズドアレイから超音波２２を放出し、被測定対象物体２１の表面に収束させる。なお、収束スポットの直径は、例えば約１０ｍｍ程度である。その際、対象面には、超音波ビームのエネルギー密度に比例した圧力（放射圧）が印加される。
【００３６】
ここで、本実施形態において、超音波振動子アレイ１１は、最高出力時に１．６ｇｆ程度の力を対象面の収束スポット付近に印加することができる。また、超音波振動子アレイ１１は、超音波ビームを所定のタイミングでオン−オフすることで圧力を変化させることができる。
【００３７】
振動測定手段１２は、超音波振動子アレイ１１によって、予め設定されたタイミングで、数百Ｈｚ程度までの任意の異なる周波数の超音波を選択的に発生させ、その周期的な圧力変化によって発生する被測定対象物体２１の対象表面の振動振幅を計測する。これにより、本実施形態では、力に対する変位の比率又は変位量からその位置毎の硬さを推定することができる。なお、図１の例では、振動計測手段１２−１，１２−２は、超音波振動子アレイ１１−１，１１−２と対となるように設けられる。
【００３８】
なお、力を印加する部位、すなわち超音波の放射圧の収束位置は、超音波振動子アレイ（超音波フェーズドアレイ）１１の各素子の駆動位相を調整することにより表面上の自由な位置に設定することができる。
【００３９】
また、このときのある一点（注目点）での硬さとは、粘弾性インピーダンスＺ（ω）＝Ｆ（ω）／Ｄ（ω）の式から導出することができる。なお、上述したＦ（ω）は、放射圧によって表面に印加される力の角周波数ω成分の振幅であり、上述したＤ（ω）は角周波数ωにおける表面変位（超音波収束点の中心における表面変位）の振幅である。
【００４０】
なお、表面に印加される力の各周波数ω成分の振幅Ｆ、及び表面変位の振幅Ｄを複素数表示（フェーザ表示）としておけば、この値から機械インピーダンスのバネ要素、質量要素とダンパー要素を分解して記述することができる。なお、上述した機械インピーダンスについては後述する。
【００４１】
３次元形状計測手段１３は、被測定対象物体２１の３次元形状を計測する。なお、３次元形状計測手段１３は、被測定対象物体２１の硬さ測定をするための超音波が超音波振動子アレイ１１から放射させる前に、すなわち硬さ測定開始前又は硬さ測定開始時に取得しておく。これらのデータは、記録手段１５等に記録しておき、計測制御手段１４により、記録手段１５に記録されたデータを用いて被測定対象物体２１と、超音波振動子アレイ１１との相対的な位置関係から超音波の焦点位置を設定する。
【００４２】
計測制御手段１４は、超音波振動子アレイ１１−１，１１−２に対する位置の移動や超音波の焦点位置の設定、超音波の発生タイミング、振動測定手段１２−１，１２−２に対する移動や測定タイミング、３次元形状計測手段１３に対する移動や形状計測制御等を行う。
【００４３】
つまり、計測制御手段１４は、超音波振動子アレイ１１−１，１１−２、振動測定手段１２−１，１２−２、３次元形状計測手段１３をそれぞれに予め設けられた移動機構により移動させて被測定対象物体２１の表面全体の硬さを計測する。なお、本発明において硬さを測定する位置は、上述した表面全体に限定されるものではなく、例えばユーザに触力覚で提示する被測定対象物体２１の所定の領域だけでもよい。
【００４４】
また、計測制御手段１４は、超音波振動子アレイ１１及び振動測定手段１２を複数有する場合には、被測定対象物体２１に対してそれぞれ異なる位置の硬さを測定するように制御を行う。これにより、例えば被測定対象物体２１の形状等に合わせて、複雑な形状の部分となだらかな形状の部分とで使い分けることで、全体の硬さを迅速且つ正確に測定することができる。
【００４５】
また、計測制御手段１４は、超音波振動子アレイ１１の各焦点において、垂直入射面に対して印加される力を予め調べておき、そのデータが適宜利用できるように、記録手段１５にデータベース等として記録しておく。なお、垂直入射面とは、焦点を通る平面のうち、焦点と超音波振動子アレイ１１の中心を結ぶ直線に垂直な面である。
【００４６】
また、超音波ビームによる放射圧は、ビームが面に垂直な場合に最も効果的に作用し、斜めに入射した場合には面に及ぼされる力が小さくなる。具体的には、対象表面の法線と入射方向とのなす角度をθとすると、印加される力は概ねｃｏｓθに比例して減少する。
【００４７】
ここで、３次元形状計測手段１３によって得られた３次元形状データによって対象面の法線ベクトルの方向は、予めわかっているため、計測制御手段１４は、それを用いて表面に印加される正味の力を計算し、それと振動振幅から粘弾性インピーダンスＺを計算する。具体的には、計測制御手段１４は、対象表面の注目点（超音波振動子アレイ１１の焦点位置）における法線ベクトルと垂直入射面の法線ベクトルとの間の余弦ｃｏｓθを計算し、垂直入射面に対して働くはずの力（上述した記録手段１５等に記録されている）にｃｏｓθを乗じて正味の力とする。
【００４８】
ここで、図１に示す実施形態では、複数の方向を向く複数のフェーズドアレイ（図１の例では、超音波振動子アレイ１１−１，１１−２）が設置されているため、θが９０度に近づく場合には、θがより小さくなる超音波振動子アレイ１１を選択して圧力を印加する。また、計測制御手段１４は、必要があれば振動計測装置１２−１，１２−２についても対象面が正面近くに見えるものを選択して計測する。
【００４９】
ここで、本実施形態において、振動計測装置１２が一点の振動変位のみを測定するタイプの場合には、振動計測装置の測定領域が対象表面上の各注目点（計測点）に一致するように振動計測装置の方向・位置を移動機構によって制御するか、或いは光の経路中に鏡を設置し、その方向・位置を移動機構によって制御する。また、被測定対象物体２１を移動及び回転機構によって制御してもよい。
【００５０】
また、本実施形態における振動計測装置１２及び３次元形状計測手段１３は、例えばステレオ方式、レーザ光切断方式、モアレ縞方式、光干渉方式、等任意の光学式製品を用いることができる。ステレオ方式とは、人間の両眼視と同様の原理で，２台の光学式カメラにより，プロジェクタの投影像又は非測定物に付加したマーカーを測定する方式である。また、レーザ光切断方式とは、スリット状のレーザ光で入力対象をスキャン（走査）し，その反射光をカメラで受光することで，三角測量の原理で被写体との距離情報を得て３次元データ化する方式である。また、モアレ縞方式とは、プロジェクタ（光源）とカメラにそれぞれ格子パターンを配し，モアレパターンを観測して奥行きを計測する方式である。更に、光干渉方式とは、反射光と参照光を干渉させて発生する干渉縞を観測して奥行きを計測する方式であり、例えば、ナノオーダの微細な凹凸等の計測に有効である。
【００５１】
振動周波数ωは、測定対象や応用目的に応じて選択する。複数のωに対するＺ（ω）を測定しておけば、ユーザが与える変位の任意の時間変化パターンに対する力応答を、変位と力の間の線形性が仮定できる範囲で、より忠実に再現することができる。しかしながら、その場合には、測定時間が長くなるため、許容される測定時間に応じてωの選択の仕方を調整する。例えば、１Ｈｚ、１０Ｈｚ、３０Ｈｚ、５０Ｈｚ、及び１００Ｈｚのうちの１つ或いは複数の周波数を選択する。
【００５２】
＜表面硬さ計測処理手順＞
ここで、本実施形態における表面硬さ計測処理手順についてフローチャートを用いて説明する。図２は、表面硬さ計測処理手順の一例を示すフローチャートである。図２に示すように、まず硬さ測定開始前又は硬さ測定開始時に実物体である被測定対象物体２１の対象表面（全体又は所定領域）の３次元形状を計測する（Ｓ０１）。
【００５３】
次に、Ｓ０１の処理により得られる３次元形状の結果から被測定対象物体２１と、超音波振動子アレイ１１との相対的な位置関係により、被測定対象物体２１の対象表面に対する超音波の焦点位置を設定する（Ｓ０２）。
【００５４】
次に、予め設定されたタイミングで異なる周波数の超音波を選択的に対象表面に放射し（Ｓ０３）、その周期的な圧力変化によって発生する被測定対象物体２１の対象表面の振動振幅を計測する（Ｓ０４）。また、Ｓ０４の処理により得られる力に対する変位の比率又は変位量からその位置の硬さを粘弾性インピーダンスにより推定する（Ｓ０５）。
【００５５】
次に、ユーザが指示等により表面硬さ計測処理を終了するか否かを判断する（Ｓ０６）。処理が終了でない場合（Ｓ０６において、ＮＯ）、Ｓ０１に戻り他の位置（対象表面）に対して継続して処理を行い、被測定対象物体２１の計測した位置毎に、力に対する変位の比率又は変位量から粘弾性インピーダンスを推定し、粘弾性インピーダンスとして被測定対象物体２１の所定位置毎の硬さ情報を取得する。また、Ｓ０６の処理において、処理終了の場合（Ｓ０６において、ＹＥＳ）、表面硬さ計測処理を終了する。
【００５６】
なお、本実施形態において、硬さ情報は粘弾性インピーダンスに対応しているため、粘弾性インピーダンスの数値が大きい程、硬い（加えた力に対する抵抗値が高い）ことになる。
【００５７】
このように、本発明によれば、対象物体の３次元表面形状データの各点に対し、粘弾性インピーダンスＺを計測し、記録することができる。また、このデータを、例えば触覚提示装置等に伝送することで、ユーザはそのデータから生成される触感（粘弾性インピーダンス）を仮想体験することが可能となる。
【００５８】
＜表面硬さ計測装置１０の機能構成例＞
次に、上述した本実施形態における表面硬さ計測装置１０の具体的な機能構成例について図を用いて説明する。図３は、表面硬さ計測装置の機能構成の一例を示す図である。図３に示す表面硬さ計測装置１０は、３次元形状計測手段３１と、３次元形状記録手段３２と、硬さ情報測定位置算出手段３３と、圧力印加位置制御手段３４と、振動振幅測定位置制御手段３５と、振動振幅測定手段３６と、印加圧力算出手段３７と、圧力印加周期制御手段３８と、圧力印加手段３９と、硬さ情報算出手段４０と、硬さ情報記録手段４１とを有するよう構成されている。また、図３の例では、取得した表面の硬さ情報を触力覚提示装置に出力して仮想物体の提示情報に硬さ情報を反映させるための硬さ情報伝送手段４２と、触力覚提示手段４３とを有している。
【００５９】
上述した本実施形態における動作を行うために、表面硬さ計測装置１０には上記の機能が設けられている。具体的には、３次元形状計測手段３１は、上述したように被測定対象物体の３次元形状を計測する。また、３次元形状記録手段３２は、３次元形状情計測手段３１で計測した被測定対象物体の３次元形状情報を記録する。なお、３次元形状記録手段３２は、上述した記録手段１５に相当する。
【００６０】
硬さ情報測定位置算出手段３３は、被測定対象となる物体上において対象表面の硬さ情報を測定する位置を算出する。また、圧力印加位置制御手段３４は、硬さ情報測定位置算出手段３３により算出された硬さ情報の測定位置に応じて圧力を印加する位置を制御する。
【００６１】
振動振幅測定位置制御手段３５は、硬さ情報測定位置算出手段３３で算出した測定位置に応じて振動振幅を測定する位置を制御する。また、振動振幅測定手段３６は、圧力の印加によって物体表面に生じる振動振幅を測定する。また、印加圧力算出手段３７は、予め設定された被測定対象物体２１の表面に対して垂直に圧力を印加した場合の印加力の数値の集合である垂直入射面印加力データ４４を入力し、印加する圧力の算出及び物体表面に印加される正味の力を算出する。
【００６２】
圧力印加周期制御手段３８は、印加する圧力の周期を制御する。また、圧力印加手段３９は、物体に所定の圧力を印加する。硬さ情報算出手段４０は、印加圧力算出手段３７で算出される物体表面に印加される正味の力と，振動振幅測定手段３６で測定された測定値から硬さ情報を算出する。硬さ情報記録手段４１は、硬さ情報算出手段４０で算出された硬さ情報を記録する。なお、硬さ情報記録手段４１は、上述した記録手段１５に相当する。
【００６３】
また、本実施形態において、硬さ情報伝送手段４２は、硬さ情報算出手段４０により算出された硬さ情報や硬さ情報記録手段４１により記録されている硬さ情報を伝送する。また、触力覚提示手段４３は、硬さ情報伝送手段４２より伝送された硬さ情報に応じて後述するような触力覚提示を行う。
【００６４】
＜超音波振動子アレイ１１について＞
次に、本実施形態における超音波振動子アレイ１１の具体例について説明する。図４は、本実施形態における超音波振動子アレイを説明するための図である。
【００６５】
図４（Ａ）に示すように、超音波振動子アレイ１１の放射平面には、超音波を発生させるアレイ素子５１が所定の間隔で多数配列されている。なお、図４（Ａ）の正方形状に配列されているが、この形状については本発明においては特に制限されるものではなく、例えば長方形等の矩形や円形等でもよい。
【００６６】
また、超音波振動子アレイ１１の放射表面に対して、例えば約２００ｍｍ程度の距離の位置を目標平面とし、その位置に配列された各アレイ素子５１が、それぞれ所定の位置から所定のタイミングで所定の方向に超音波を放射し、被測定対象物体２１の対象表面に超音波を放射する。
【００６７】
つまり、本実施形態では、上述したように、力を印加する部位、すなわち超音波の放射圧の収束位置は、超音波振動子アレイ（超音波フェーズドアレイ）１１の各素子の駆動位相を調整することにより表面上の自由な位置に設定することができる。したがって、その位置（注目点）を順次切り替えていく、すなわち走査（スキャン）することにより表面の硬さ分布を対象表面全体にわたって計測することができる。なお、この時の注目点は、典型的には図４に示すように、縦横１０ｍｍ間隔程度に設定するが、被測定対象物体２１の種類や表面の形状等の条件に応じて、これより細かく設定したり粗く設定してもよい。
【００６８】
また、超音波振動子アレイ１１におけるスキャンとしては、例えば図４（Ｂ）に示すように、リニアスキャン（図４（Ｂ）（ａ））や、セクタースキャン（図４（Ｂ）（ｂ））、ゾーンフォーカス（図４（Ｂ）（ｃ））、ダイナミック・デプス・フォーカス（図４（Ｂ）（ｄ））等を順次切り替えて又は組み合わせて適用することができ、本実施形態では、特に図４（Ｂ）（ｃ）に示すゾーンフォーカスを用いて測定するが、本発明においてはこれに限定されるものではなく他の手法を用いることもできる。
【００６９】
また、測定の際には、被測定対象物体２１に対して、超音波振動子アレイ１１及び被測定対象物体２１の何れか又は両方を相対的に移動させることで、目標平面を移動させ、被測定対象物体２１を所定の位置からスキャンすることができる。
【００７０】
ここで、本実施形態において、振動変位が不足して測定に支障をきたすようであれば、超音波振動子アレイ１１をより大型のものとし、より多くの振動子を駆動して印加力を増大させてもよい。その場合には超音波振動子アレイ１１と物体間の距離を、超音波振動子アレイ１１の開口程度にまで離して利用する。
【００７１】
このような超音波振動子アレイ１１において、システムの最高出力時（超音波を使った場合）は、上述したように約１．６ｇｆ程度としたが、対象が生体でなければ特に力の上限はなく、大きなフェーズドアレイを作って強力に駆動すればかなりの力を出すことができる。
【００７２】
例えば、被測定対象物体２１を人体に適用する場合には、人体に透過する超音波のパワーを安全基準以下にする必要がある。ここで、最も厳しい（安全側）の基準で約１００ｍＷ／ｃｍ２といわれているため、これに対応する放射圧、約６０ｇｆ／ｃｍ２が実用上の上限となる。
【００７３】
また、本実施形態では、約１．６ｇｆ印加時の場合に、レーザ変位計で約１μｍの変位までは安定に計測できるため、皮膚の硬さを基準として、その１０倍程度の硬さのものまでは定量評価することができる。なお、約６０ｇｆの力が発生できるのであれば、更にその１０倍以上硬くても測定することができる。また、被測定対象物体２１が柔らかい場合には、適用する放射圧を小さくすることで適切に測定することができる。
【００７４】
また、例えば約４０ｋＨｚ程度の超音波を利用する限り、収束スポットは約１０ｍｍ（〜波長８ｍｍ）程度以下にはならない。また、この周波数を上げれば収束スポットは小さくなるが、減衰距離が周波数の２乗に反比例して小さくなる。例えば、４０ｋＨｚ超音波の振幅が１／ｅになるまでの減衰距離は８．７ｍであるため、１ｍ程度まで離れた対象を測定するのに超音波減衰はあまり考慮しなくてもよい。しかしながら、周波数を１０倍にすれば、この距離は１／１００になるため、ごく近くの対象しか測定できなくなる。したがって、収束スポットの実用上の下限は、約１０ｍｍか或いは０．５ｍｍ程度までとなる。
【００７５】
＜機械インピーダンスについて＞
次に、上述した機械インピーダンスについて、図を用いて説明する。図５は、本実施形態に適用される機械インピーダンスを説明するための図である。なお、図５は、機械インピーダンスの基本的なモデルであり、この場合の一般化バネ定数は質量ｍ、バネ係数ｋ、ダンパーαとすると、Ｚ（ω）＝Ｆ／Ｄ＝−ω２ｍ＋ｊωε＋ｋとなる。
【００７６】
なお、上述では「インピーダンス」としているが、インピーダンスという場合は分母を変位ではなく速度にするのが通常であり、そのように定義した場合には、Ｚ（ω）＝Ｆ／ｊωＤ＝ｊωｍ＋ε＋ｋ／ｊωとなる。なお、粘弾性モデルとしては、ダンパーαとバネｋを直列にしたもの、また、それと図５に示す並列モデルを（直列、並列に）結合したもの等、無数のバリエーションがあり、本実施形態では、その何れも適用することができる。
【００７７】
＜表面硬さ計測装置を用いた触力覚提示装置＞
次に、上述した表面硬さ計測装置を用いた触力覚提示装置について、図を用いて説明する。図６は、本実施形態における表面硬さ計測装置を用いた触力覚提示装置の概要を示す図である。
【００７８】
図６に示す表面硬さ計測装置を用いた触力覚提示装置６０は、触力覚情報伝送側に実物体である被測定対象物体２１の形状及び硬さ等の触感情報を取得又は生成して伝送する構成を有しており、具体的には、表面硬さ計測装置６１と、３次元形状計測装置６２と、表面粗さ計測装置（表面粗さ計測手段）６３と、計測制御手段６４と、記録手段６５と、伝送手段６６とを有している。また、触力覚提示装置６０は、触力覚により仮想物体を提示するための触力覚提示側には、感覚伝達装置７０−１，７０−２と、触力覚制御装置８０とを有するよう構成されている。
【００７９】
表面硬さ計測装置６１は、上述した本実施形態に示すように物体表面の硬さを非接触で計測する。
【００８０】
また、３次元形状計測装置６２は、上述した本実施形態における３次元形状計測手段１３と同様に、被測定対象物体２１の物体全体の３次元形状を計測する。また、表面粗さ計測装置６３は、物体表面の微細な凹凸や粗さを計測する。また、計測制御手段６４は、本実施形態における上述した各計測装置（表面硬さ計測装置６１、３次元形状計測装置６２、表面粗さ計測装置６３）の制御及びデータの統合又は生成を行う。
【００８１】
また、記録手段６５は、上述した各計測装置のデータ及び統合又は生成されたデータを被測定対象物体２１に対応付けて記録する。また、伝送手段６６は、計測制御手段６４により統合又は生成された物体の触力覚情報を含むデータを１又は複数の触力覚提示側に伝送する。
【００８２】
本実施形態では、上述した本実施形態と同様の手法を用いることにより、計測制御手段により表面硬さ計測装置６１を制御することで、３次元形状計測装置６２を制御して取得し記録装置４５に記録した被測定対象物体２１の３次元表面形状データの各点に対し、上述した粘弾性インピーダンスを計測し、同様に記録手段６５に記録することができる。
【００８３】
また、本実施形態では、表面粗さ計測装置６３を制御することにより、３次元表面形状データの各点に対し、実物体である被測定対象物体２１の表面の微細な凹凸や粗さを計測し、記録手段６５に記録する。このとき計測制御手段６４は、３次元表面形状データの持つ座標空間を基準として、粘弾性インピーダンス等の表面硬さ情報及び表面の粗さ情報をこれに対応付けてマッピングを行い、実物体である被測定対象物体２１の統一的な触力覚情報を記録手段６５に記録する。
【００８４】
また、計測制御手段６４は、記録手段６５に記録された触力覚情報を読み出し、伝送手段６６を介して１又は複数の触力覚制御装置８０に伝送する。つまり、計測した物体の触力覚情報を含むデータを同時に複数の触力覚制御装置８０に出力することで、複数のユーザが同時に物体を触力覚により体感することができる。
【００８５】
つまり、マクロな３次元表面形状に加えて、よりミクロな物体表面の凹凸及び粗さ情報を表面硬さ情報と併せて提示することにより、硬さ情報のみを提示した場合、或いは微細な凹凸と粗さ情報のみを提示した場合と比較して、実物体を構成する材質特有の触感をより表現することができる。したがって、例えば実際には同じ硬さであっても異なる材質（或いは状態）の場合や、同じ表面の粗さでも硬さの異なる材質（状態）の場合が複数存在するため、本実施形態を適用することで、硬さ情報のみの提示や粗さ情報のみの提示では把握できない材質の違いを表現することができ、より実物体に近い材質感を触力覚で体感することができる。
【００８６】
なお、３次元表面形状、物体表面の微細な凹凸や粗さ、及び硬さ情報は、同じ座標空間或いは最小構成要素に対応付けるが、それぞれ独立に、又は組合わせて提示してもよい。
【００８７】
ここで、本実施形態における３次元形状計測装置６２及び表面粗さ計測装置６３は、同時に測定可能な１つの装置であってもよく、また上述したようにステレオ方式、レーザ光切断方式、モアレ縞方式、光干渉方式等、任意の光学式製品を用いてよい。
【００８８】
伝送手段６６は、データを電気信号等により受信機能を有する複数の装置に伝送可能な任意の装置でよく、伝送経路としては有線又は無線による通信設備、或いは電波等による放送設備を用いることができる。
【００８９】
また、計測制御手段６４は、実物体である被測定対象物体２１及び各計測装置を用いることなく仮想的に同様の触力覚情報をコンピュータ上で生成して記録してもよい。
【００９０】
３次元形状計測装置６２により取得された３次元表面形状データは、インターネット等の通信ネットワーク上等において仮想的に３次元物体等の表示を行う際に、出力のフォーマット等をマークアップ言語等によるデータで記述することができるため、触力覚情報は、例えば、このようなデータ記述形式を拡張することで、仮想物体を構成するポリゴン等の最小構成要素の１つ１つに対して、硬さを表すパラメータを追加で記述することができる。
【００９１】
また、本実施形態では、表面の微細な凹凸の振幅を表すパラメータ及び粗さの拡がりを表すパラメータについても、同様に仮想物体を構成するポリゴン等の最小構成要素の１つ１つに対して記述する。硬さ及び表面の粗さ等については、各々の計測装置により取得されたデータを基に、定数や係数として記述することができるが、本発明ではこれに限らず、仮想物体を構成するポリゴン等の最小構成要素の１つ１つに対して、例えば加えられた力に応じた反力を計算する関数の形式で与えてもよい。
【００９２】
更に、本実施形態では、仮想物体を構成する最小構成要素に限らず、仮想物体表面の３次元座標そのものに硬さ及び表面の粗さ等の情報を対応付けることも可能である。これらは、例えばＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ；仮想現実モデリング言語）等を拡張した形式で記述することができるが、本発明においてはこれに限定されるものではなく、例えばＸ３ＤやＣＯＬＬＡＤＡ（ＣＯＬＬＡｂｏｒａｔｉｖｅ Ｄｅｓｉｇｎ Ａｃｔｉｖｉｔｙ）、３ＤＭＬＷ（３Ｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ｆｏｒ Ｗｅｂ）等のファイルフォーマットを拡張したもの等を用いることができる。
【００９３】
また、図６に示す触力覚提示装置６０の触力覚提示側において、感覚伝達装置７０−１，７０−２は、ユーザの何れかの異なる指先に移動を拘束できる程度の反力等の触力覚フィードバックを伝達する装置であり、感覚を伝達する指には、例えば指サック等が装着される。
【００９４】
更に、図６に示す感覚伝達装置７０−１，７０−２は、ユーザの指や手掌から取得した位置情報を触力覚制御装置８０に出力すると共に、触力覚制御装置８０からの制御情報に基づいて所定の動作を行い、ユーザに感覚を伝達する。ここで、上述した指用の感覚伝達装置７０−１，７０−２は、基台７１と、駆動部７２と、リンク機構７３と、指先伝達部７４とを有するよう構成されている。
【００９５】
基台７１（図６の例では、基台７１−１，７１−２）は、触力覚提示側における実空間上の所定の場所に設置されている。駆動部７２（図６の例では、駆動部７２−１，７２−２）は、例えば基台７１に対して水平に０〜３６０度の回転駆動ができ、またリンク機構７３（図６の例では、リンク機構７３−１，７３−２）の軸を基台７１に対して垂直に０〜３６０度の回転駆動ができる。なお、本実施形態における駆動部７２は、例えばモータやワイヤ機構、ロータリーエンコーダ等を用いることができる。
【００９６】
リンク機構７３は、１以上のロッド（軸）で構成され、その一方は駆動部７２に接続されているため、基台７１の面に対して水平、垂直に０〜３６０度回転することができる。つまり、駆動部７２及びリンク機構７３により、基台７１を中心としてあらゆる方向への移動が可能となっている。
【００９７】
また、リンク機構７３は、指先伝達部７４と接続され、ユーザの指に対し、その指の位置情報と、上述した触力覚情報伝送側より取得した仮想物体の位置情報、全体の形状情報、表面の粗さ情報、及び表面の硬さ情報に応じて適切な反力等の触力覚的負荷を与えるための動作を行う。
【００９８】
指先伝達部７４は、指先の位置情報と仮想物体の位置関係とに応じてその指先に対して何れかの方向に移動できなかったり、所定量の反力を与えたりすることで所定の触力覚的負荷を与える。なお、図６に示す本実施形態では、指先伝達部７４として、ユーザの２本以上の指（多指）に対して触力覚フィードバック情報を伝達する指サック（ジンバル）等からなる。つまり、本実施形態では、指サックを例えばユーザの親指と人差し指に装着し、仮想物体を把持するときの触力覚情報（触力覚的負荷）を提示する。なお、本発明においてはこの限りではなく、例えば手の５本の指のうち少なくとも１つに装着されていればよく、また両手を対象にして、左右の手に存在する指の少なくとも１つに装着されていてもよい。また、指だけではなく、例えば掌の部分や手全体をグローブのようなもので覆って触力覚的負荷を提示する。
【００９９】
なお、本実施形態における反力や圧刺激等の触力覚的負荷としては、例えば仮想物体が硬い円柱である場合には、その仮想物体の表面の位置情報や硬さ情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置より内部への移動を拘束するような所定量の触力覚的負荷を与える。また、仮想物体が柔らかい円柱の場合には、その仮想物体の表面の位置情報や硬さ情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置情報よりも内部に移動していくと、次第に移動が拘束されるような所定量の触力覚的負荷を与える。なお、触力覚的負荷としては、例えば圧力又は振動があるが、本発明においてはこれに限定されず、例えば電気信号、熱等の何らかの感覚による負荷が含まれる。
【０１００】
また、図６に示す感覚伝達装置７０−１，７０−２は、ユーザに触力覚を提示する対象となる指の数に対応させて設置されているが、本発明においてはこの限りではなく、例えば１つの感覚伝達装置の指先伝達部に複数の指を装着し感覚を伝達してもよく、また、複数の感覚伝達装置で１つの指に対して感覚を伝達させてもよい。また、上述した本発明における手掌とは、指との結合部分を含む全体を示していてもよく、１又は複数の所定の領域又は点であってもよい。
【０１０１】
触力覚制御装置８０は、上述した各感覚伝達装置７０−１，７０−２の各構成部を制御するものであり、各感覚伝達装置７０−１，７０−２から得られる指先等の位置情報を検出し、実物体計測側の伝送手段６６から送られるデータを基に、上述した各感覚伝達装置７０−１，７０−２の各構成部を制御することで各指先伝達部７４−１、７４−２を介して、ユーザに物体の形状、ざらざら感や粗さ等の表面の触感、触察箇所の硬さを提示する。
【０１０２】
なお、触力覚制御装置８０は、図６に示すようなディスプレイ等の出力手段を有し、その画面上に３次元物体提示データとして、実物体である被測定対象物体２１に対応する仮想物体８１を表示すると共に、感覚伝達装置７０−１，７０−２から得られる指の位置情報に基づいて動作する仮想ハンド８２も画面に表示することができる。これにより、ユーザは視覚を通じて仮想空間における手の動作状況を的確に把握することができる。
【０１０３】
なお、画面上に表示される仮想物体は、上述したように円柱等の仮想物体８１に限定されず、例えば仮想空間上における壁や天井、地面等も含まれる。このとき、仮想物体は、仮想空間内に固定又はユーザにより自由に動かせるように配置する。１つの指又はスタイラス等のみに提示する場合等には、硬さ、形状、表面の粗さを正確に把握するために仮想空間内に固定したり、固定されていない物体の場合等には、２つ以上の指等に提示して仮想物体を把持することにより、硬さ、形状、表面の粗さを把握することが可能である。
【０１０４】
触力覚提示側では、この触力覚情報に基づいて、ユーザの手指等に触力覚提示を行う。具体的には、ワイヤの張力を利用した接触型、超音波等を利用した非接触型、錯覚による擬似的な牽引力を利用したもの等の感覚伝達装置により提示される。
【０１０５】
＜本実施形態における触力覚提示処理手順＞
次に、上述した本実施形態における触力覚提示処理手順について、フローチャートを用いて説明する。図７は、本実施形態における触力覚提示処理手順の一例を示すフローチャートである。
【０１０６】
図７において、まず測定対象の実物体があるか否かを判断し（Ｓ１１）、測定対象の実物体がある場合（Ｓ１１において、ＹＥＳ）、上述したように３次元形状計測手段を制御して当該実物体の３次元形状を取得し記録する（Ｓ１２）。
【０１０７】
次に、表面硬さ計測装置を制御して上述したように、実物体の表面硬さ情報を取得し記録する（Ｓ１３）。また、記録した硬さ情報を読み出し、先に取得した３次元形状の最小構成要素（ポリゴン等）に対してマッピング（対応付け）を行う（Ｓ１４）。次に、表面粗さ計測装置を制御して上述した実物体の表面の粗さ情報を取得し記録する（Ｓ１５）。また、記録した表面粗さ情報を読み出し、上述した３次元形状の最小構成要素に対してマッピング（対応付け）を行い、要素毎に硬さ及び粗さ情報を有する仮想物体データを生成する（Ｓ１６）。なお、Ｓ１６の処理の具体例については後述する。
【０１０８】
また、上述したＳ１１の処理において、測定対象となる実物体がない場合（Ｓ１１においてＮＯ）、コンピュータ上でユーザ等が任意に設定して、３次元形状情報の作成（Ｓ１７）、表面硬さ情報の作成（Ｓ１８）、及び表面粗さ情報の作成（Ｓ１９）を行う。つまり、上述の処理では、測定対象となる実物体が存在する場合だけでなく、存在しない場合にもユーザ設定により３次元形状情報の作成、表面硬さ情報の作成、及び表面粗さ情報の作成が行われる。また、ユーザ設定した場合には、マッピングをせずに要素毎に硬さ及び粗さ情報を有する仮想物体データを直接生成してもよく、また上述したようにＳ１６の処理を行って仮想物体データを生成してもよい。
【０１０９】
以上の処理により３次元形状情報に対して硬さ情報と表面粗さ情報がマッピングされた情報等を触力覚情報として記録する（Ｓ２０）。次に、記録された触力覚情報を読み出し（Ｓ２１）、予め設定された伝送する形式に変換して伝送を行う（Ｓ２２）。
【０１１０】
次に、提示装置側では、上述した触力覚情報を受信し（Ｓ２３）、受信した触力覚情報に対応させて、ユーザ等に提供する仮想環境の構築を行う（Ｓ２４）。次に、ユーザ等の手や指の位置や向き等からなる手指情報の取得を行い（Ｓ２５）、取得した手指情報から位置及び姿勢の解析を行う（Ｓ２６）。また、３次元位置座標の解析を行い（Ｓ２７）、伝送された触力覚情報、及びユーザ等の手指の動作情報に基づいて提示力の算出を行う（Ｓ２８）。次に、得られた提示力をデバイス（感覚伝達装置５０）に出力する（Ｓ２９）。
【０１１１】
次に、ユーザが手の動作等による仮想触力覚提示処理を終了するか否かを判断する（Ｓ３０）。処理が終了でない場合（Ｓ３０において、ＮＯ）、Ｓ２５に戻り継続して処理を行い、処理終了の場合（Ｓ３０において、ＹＥＳ）、仮想触力覚提示処理を終了する。
【０１１２】
なお、上述したフローチャートにおける処理順序においては、本実施形態においてはこれに限定されるものではなく、例えば複数の処理が平行して同時に行われてもよい。
【０１１３】
＜要素毎に硬さ及び粗さ情報を有する仮想物体データの記述例＞
ここで、上述した本実施形態における表面の硬さ及び粗さ情報を有する仮想物体データの記述例（マッピング）について図を用いて説明する。図８は、硬さ及び粗さ情報を有する仮想物体データの記述例を示す図である。なお、図８（Ａ）は、記述された仮想物体のＶＲＭＬデータを示し、図８（Ｂ）は、その対象となる仮想物体８１とポリゴンの生成例を示している。
【０１１４】
仮想物体８１の表面は、例えばポリゴン等の最小構成要素で表現することができる。図８において、例えばＰ０〜Ｐ５は仮想物体表面の一部を構成する各頂点を示し、Ｓ０〜Ｓ３は仮想物体表面の一部を構成する各面を示している。また、図８（Ａ）に示すＤ１は、仮想物体表面を構成する頂点の３次元座標を示し、ここではＰ１におけるｘ，ｙ，ｚの座標値の例を示している。また、Ｄ２は、仮想物体表面を構成する最小構成面を示し、ここではＳ１を構成する頂点の組がＰ１、Ｐ４、及びＰ２である例を示している。
【０１１５】
また、Ｄ３は、各最小構成要素における硬さ情報を表現又は算出するための関数及び数値の定義を示し、ここでは硬さを粘弾性インピーダンスとしてそれぞれ質量要素とダンパー要素とバネ要素を含む計算式を定義する例を示している。更に、Ｄ４では、Ｄ３で定義された計算式における係数及び測定された数値データを仮想物体の最小構成要素毎に記述する例を示しており、ここでは質量要素ｍとバネ定数ｋの値の組として面Ｓ１における硬さ情報の記述例を示している。
【０１１６】
同様に、Ｄ５は、物体表面の最小構成要素毎に表面の微細な凹凸である粗さ情報の振幅と拡がり度合い（波長）の記述例を示し、ここでは面Ｓ３の微細な凹凸の振幅と波長の例を示している。また、粗さ情報においても、硬さ情報と同様にデータ記述の中で算出するための関数等を定義してもよい。更に、実際に取得した微細な凹凸や粗さの光学的なパターンのデータ列、或いは当該データ列の呼び出し番号を記述して対応付けてもよい。これにより、必ずしも単純に定量化できないような表面の取得情報であっても、そのまま貼り付けることができたり、外部のデータを参照することができる。
【０１１７】
このように、既存のＶＲＭＬ等の記述形式（Ｄ１，Ｄ２）にＤ３〜Ｄ４等の記述を拡張することで要素毎に硬さ及び粗さ情報を有する仮想物体データを記述することができる。
【０１１８】
＜実行プログラム（表面硬さ計測プログラム、触力覚提示プログラム）＞
なお、上述した実施形態は、上述した表面硬さ計測装置、触力覚提示装置における専用の装置構成により、本発明における上述した表面硬さ計測処理、触力覚提示処理手順を行うこともできるが、上述した表面硬さ計測処理、触力覚提示処理における各処理をコンピュータに実行させることができる実行プログラム（触力覚提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等に表面硬さ計測プログラム、触力覚提示プログラムをインストールすることにより本発明における表面硬さ計測処理、触力覚提示処理が実現可能となる。
【０１１９】
つまり、上述した表面硬さ計測装置、触力覚提示装置は、は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。
【０１２０】
したがって、表面硬さ計測装置、触力覚提示装置が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１２１】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（表面硬さ計測プログラム、触力覚提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、コンピュータを、上述した本実施形態における表面硬さ計測処理装置、触力覚提示装置として機能させることができ、これにより、例えば図２や図７に示すような表面硬さ計測処理、触力覚提示処理を実現することができる。
【０１２２】
上述したように本発明によれば、実物体の硬さ情報を非接触で高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。したがって、物体の３次元的な形状だけでなく、表面の硬さや表面のざらざら感等、実物体がもつよりリアルな触感覚を取得して伝送し、複数のユーザに対して仮想的に提示することができる。
【０１２３】
具体的には、本発明では、表面の変位を計測する手段と、表面の粘弾性インピーダンスを推定する手段と、硬さ情報を抽出しマッピングする手段と、硬さ情報に応じて力覚を制御する触力覚提示手段を有する。また、本発明では、物体の３次元形状を取得する手段を有し、物体の硬さ情報と混合する手段を有し、物体の形状と硬さを併せて提示する。
【０１２４】
更に、本発明では、物体の表面の微細な凹凸及び粗さを取得する手段を有し、形状と硬さと表面の粗さを混合する手段を有し、併せて触力覚に提示する。これにより、本発明によれば、実物体を触察しているような、より自然な触感覚を得られる触力覚提示装置及び提示方法を提供することが可能である。
【０１２５】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１２６】
１０，６１ 表面硬さ計測装置
１１ 超音波振動子アレイ
１２ 振動測定手段
１３，３１ ３次元形状計測手段
１４，６４ 計測制御手段
１５，６５ 記録手段
２１ 被測定対象物体
２２ 超音波
３２ ３次元形状記録手段
３３ 硬さ情報測定位置算出手段
３４ 圧力印加位置制御手段
３５ 振動振幅測定位置制御手段
３６ 振動振幅測定手段
３７ 印加圧力算出手段
３８ 圧力印加周期制御手段
３９ 圧力印加手段
４０ 硬さ情報算出手段
４１ 硬さ情報記録手段
４２ 硬さ情報伝送手段
４３ 触力覚提示手段
４４ 垂直入射面印加力データ
５１ アレイ素子
６０ 触力覚提示装置
６２ ３次元形状計測装置
６３ 表面粗さ計測装置
６６ 伝送手段
７０ 感覚伝達装置
７１ 基台
７２ 駆動部
７３ リンク機構
７４ 指先伝達部
８０ 触力覚制御装置
８１ 仮想物体
８２ 仮想ハンド
【技術分野】
【０００１】
本発明は、表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムに係り、特に仮想的に物体を提示する際に、実物体に近い触感覚をより高精度に提示するための表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムに関する。
【背景技術】
【０００２】
従来、触力覚を用いて情報を提示する機器では、バーチャルリアリティの分野において、仮想的な物体の形状を機械的に力覚で提示する装置の開発が行われている。このような力覚提示装置では、例えばユーザの操作に応じて仮想物体の位置情報を検出し、検出により得られた位置情報と仮想物体の位置情報とから計算した反力を指等にフィードバックしている。また、上述した反力の提示方法には、ワイヤの張力・空気圧・回転体の慣性モーメント等を利用したものが開発されている（例えば、非特許文献１及び２参照）。
【０００３】
ここで、非特許文献１に示されている力覚提示装置の「ＰＨＡＮＴｏＭ」は、ユーザの指先の動きに応じた力覚情報を３又は６自由度のアーム型のアクチュエータでフィードバックする点接触型提示を行っている。また、他の方式である非特許文献２に示されている「Ｈａｐｔｉｃ Ｍａｓｔｅｒ」は、複数の並列のアクチュエータを連結し反力を伝えるパラレルメカニズムを用いている。これらの装置は、仮想的な物体に触れ、物体の形状や硬さ等を伝えることができる。
【０００４】
また、上述した他にも複数の指で物体を把持したり、なぞるように触察した感覚を与える多指型力覚提装置も開発されている（例えば、非特許文献３〜５参照）。
【０００５】
このような触力覚提示装置を用いて、放送や通信を介し、実物体の情報を遠隔にて仮想的に再現するためには、実物体の３次元空間座標情報を取得する必要がある。空間座標を取得する方法には、レーザをスキャン照射し反射光を検出することで物体との距離を測定する３次元デジタイザー（例えば、非特許文献６参照）や、多数のカメラを実物体の周囲に配置し、様々な方向から得た画像を適切に処理し、３次元座標データを生成する多視点カメラ（例えば、非特許文献７参照）等の方法が実用化されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｔ．Ｈ．Ｍａｓｓｉｅ、 Ｊ．Ｋ．Ｓａｌｉｓｂｕｒｙ：“Ｔｈｅ ｐｈａｎｔｏｍ ｈａｐｔｉｃ ｉｎｔｅｒｆａｃｅ： Ａ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｂｉｎｇ ｖｉｒｔｕａｌ ｏｂｊｅｃｔｓ、” Ｐｒｏｃ． ＡＳＭＥ Ｈａｐｔｉｃ Ｉｎｔｅｒｆａｃｅｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ Ｔｅｌｅｏｐｅｒａｔｏｒ Ｓｙｓｔｅｍｓ Ｉｎ Ｄｙｎａｍｉｃ Ｓｙｓｔｅｍｓ ａｎｄ Ｃｏｎｔｒｏｌ １９９４、 ｖｏｌ．１、 ｐｐ．２９５−３０１ （１９９４）
【非特許文献２】浅野、矢野、岩田：“フォースディスプレイを用いた仮想環境における手術シミュレーションの要素技術開発”、ＶＲ学大、ｐｐ．９５−９８（１９９６）
【非特許文献３】佐藤、平田、河原田：“空間インタフェース装置ＳＰＩＤＡＲの提案”、信学論、Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ、Ｎｏ．７、ｐｐ．８８７−８９４（１９９１）
【非特許文献４】ｈｔｔｐ：／／ｗｗｗ．ｉｍｍｅｒｓｉｏｎ．ｃｏｍ／３ｄ／ｐｒｏｄｕｃｔｓ／
【非特許文献５】Ｈ．Ｋａｗａｓａｋｉ ｅｔ ａｌ．：“Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｆｉｖｅ−ｆｉｎｇｅｒｄ ｈａｐｔｉｃ ｉｎｔｅｒｆａｃｅ：ＨＩＲＯ ＩＩ”、Ｐｒｏｃ．１５ｔｈ Ｉｎｔ．Ｃｏｎｆ．Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ ＆ Ｔｅｌｅｘｉｓｔｅｎｃｅ、ｐｐ．２０９−２１４（２００５）
【非特許文献６】ｈｔｔｐ：／／ｋｏｎｉｃａｍｉｎｏｌｔａ．ｊｐ／ｉｎｓｔｒｕｍｅｎｔｓ／ｐｒｏｄｕｃｔｓ／３ｄ／ｉｎｄｅｘ．ｈｔｍｌ
【非特許文献７】岩舘：“多視点映像処理技術の放送応用”、社団法人映像情報メディア学会，ＩＴＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ．３３、Ｎｏ．４２、ｐｐ．２１〜２８、２００９年１０月２１日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、放送や通信を介して高臨場感の環境をより高精度に提供するためには、視聴覚情報に触覚情報を加えて実物体に近い感覚を提示することが有効な手法になってくる。ここで、実物体の情報を遠隔で触覚に提示するためには、実物体の面や角等の３次元空間座標や、表面の粗さ、硬さ等の情報を取得し、触力覚提示装置で提示することが必要となる。
【０００８】
しかしながら、従来技術による３次元デジタイザーや多視点カメラ方式等では、物体の３次元座標データと表面の粗さのデータを取得することができても、硬さ情報のセンシングまでは考えられておらず、より実物体に近い触感覚を提示するためには硬さを指標とする新たな情報センシングの方式が求められる。
【０００９】
本発明は、上述した問題点に鑑みなされたものであり、仮想的に物体を提示する際に、実物体に近い触感覚をより高精度に提示するための表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムを提供することを目的とする。
【００１０】
更に言い換えれば、本発明の目的は、仮想物体の触力覚提示において、実物体を触察しているような、より自然な触感覚を得られる表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１２】
請求項１に記載された発明は、ユーザに触力覚で提示する仮想空間上の仮想物体に対応する実物体の硬さ情報を計測するための表面硬さ計測装置において、前記実物体の３次元形状を計測する３次元形状計測手段と、前記３次元形状計測手段により得られる３次元形状情報から前記実物体の表面における予め設定された位置毎の変位を計測する変位計測手段と、前記変位計測手段により得られる変位の比率又は変位量から前記実物体の計測した位置毎の粘弾性インピーダンスを推定し、推定された粘弾性インピーダンスにより前記実物体の所定位置毎の硬さ情報を取得する計測制御手段とを有することを特徴とする。
【００１３】
請求項１記載の発明によれば、実物体の硬さ情報を高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。
【００１４】
請求項２に記載された発明は、前記変位計測手段は、前記３次元形状情報に基づいて複数の超音波を前記実物体の表面の所定の位置に収束させて照射させるための超音波振動子アレイを有することを特徴とする。
【００１５】
請求項３に記載された発明は、前記変位計測手段は、前記超音波振動子アレイから放射される超音波の周波数を所定の周期で変化させ、変化によって発生する前記実物体の対象表面の振動振幅を計測して前記変位の比率又は変位量を計測することを特徴とする。
【００１６】
請求項４に記載された発明は、前記請求項１乃至３の何れか１項に記載された表面硬さ計測装置を備えた触力覚提示装置において、前記計測制御手段により得られる硬さ情報に基づいて、前記実物体に対応する仮想空間上の仮想物体に前記硬さ情報による力覚制御を行う触力覚提示手段を有することを特徴とする。
【００１７】
請求項４記載の発明によれば、表面硬さ情報を用いて、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。
【００１８】
請求項５に記載された発明は、前記計測制御手段は、前記粘弾性インピーダンスにより得られる前記実物体の所定位置毎の硬さ情報を、前記仮想物体にマッピングすることを特徴とする。
【００１９】
請求項６に記載された発明は、前記触力覚提示手段は、前記３次元形状計測手段により得られる３次元形状情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする。
【００２０】
請求項７に記載された発明は、前記実物体の表面の凹凸及び粗さの情報を含む表面形状を取得する表面粗さ計測手段を有し、前記触力覚提示手段は、前記表面粗さ計測手段により得られる表面粗さ情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする。
【００２１】
請求項８に記載された発明は、コンピュータを、請求項１乃至３の何れか１項に記載の表面硬さ計測装置として機能させることを特徴とする表面硬さ計測プログラムである。
【００２２】
請求項８記載の発明によれば、実物体の硬さ情報を高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に表面硬さ計測処理を実現することができる。
【００２３】
請求項９に記載された発明は、コンピュータを、請求項４乃至７の何れか１項に記載の触力覚提示装置として機能させることを特徴とする触力覚提示プログラムである。
【００２４】
請求項９記載の発明によれば、表面硬さ情報を用いて、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に触力覚提示処理を実現することができる。
【００２５】
なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。
【発明の効果】
【００２６】
本発明によれば、実物体の硬さ情報を高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態における表面硬さ計測装置の概要構成の一例を示す図である。
【図２】表面硬さ計測処理手順の一例を示すフローチャートである。
【図３】表面硬さ計測装置の機能構成の一例を示す図である。
【図４】本実施形態における超音波振動子アレイを説明するための図である。
【図５】本実施形態に適用される機械インピーダンスを説明するための図である。
【図６】本実施形態における表面硬さ計測装置を用いた触力覚提示装置の概要を示す図である。
【図７】本実施形態における触力覚提示処理手順の一例を示すフローチャートである。
【図８】硬さ及び粗さ情報を有する仮想物体データの記述例を示す図である。
【発明を実施するための形態】
【００２８】
＜本発明について＞
本発明は、仮想的に物体を提示する触力覚提示技術に用いられる、物体の表面の硬さを検出する技術を提供する。また、これに加えて、物体及び物体表面の３次元座標を検出し、その凹凸を提示する触力覚提示方法と、表面のざらざら感等の触感を提示する手段を有することで、よりリアルな仮想物体を複数のユーザに提示する。
【００２９】
更に具体的に説明すると、本発明では、物体の表面の硬さを抽出し提示するために、超音波の放射圧等で表面の変位を計測することにより、表面の粘弾性インピーダンスを推定する。つまり、本発明では、硬さ情報の一例として表面の粘弾性インピーダンス等を用いる。更に、推定された粘弾性インピーダンスを用いて、少なくとも１つの触力覚提示装置に提示することで表面の硬さを体感することができる。
【００３０】
また、上述した粘弾性インピーダンスの他にもコンピュータで作成した物体や実物体の３次元形状情報をデジタイザー等で取得し、物体形状の凹凸を提示する手段と、表面のざらざら感等の微細な凹凸や粗さ情報を取得し、物体形状の凹凸情報に組み合わせて触感を提示する手段とを有し、これらを統合することで、よりリアルな仮想物体の提示を可能とする。
【００３１】
なお、本発明では、これらの手法で得られる仮想物体のデータを、一元的に管理し、放送やインターネットを介し、各クライアントの触力覚提示装置に提供することで、複数のユーザが同じ物体を触察することができる。これにより、仮想的に物体を提示する触力覚提示装置において、より実物体に近い触感覚を得ることが可能であり、より認知しやすい提示手法を提供することが可能である。
【００３２】
次に、上述したような特徴を有する本発明における表面硬さ計測装置、表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラムを好適に実施した形態について、図面等を用いて詳細に説明する。
【００３３】
＜表面硬さ計測装置の概要構成例＞
図１は、本実施形態における表面硬さ計測装置の概要構成の一例を示す図である。図１に示す表面硬さ計測装置１０は、変位計測手段としての１又は複数の超音波振動子アレイ１１（図１の例では、超音波振動子アレイ１１−１，１１−２）と、振動測定手段１２（図１の例では、振動測定手段１２−１，１２−２）と、３次元形状計測手段１３と、計測制御手段１４と、記録手段１５とを有するよう構成されている。
【００３４】
超音波振動子アレイ１１は、超音波を発生する振動子が所定の間隔で所定の位置に多数配列されている。なお、本実施形態における超音波振動子アレイ１１は、既存の超音波振動子アレイを用いることができ、例えば、「Ｔａｋａｙｕｋｉ Ｈｏｓｈｉ、Ｔａｋａｙｕｋｉ Ｉｗａｍｏｔｏ、ａｎｄ Ｈｉｒｏｙｕｋｉ Ｓｈｉｎｏｄａ：Ｎｏｎ−Ｃｏｎｔａｃｔ Ｔａｃｔｉｌｅ Ｓｅｎｓａｔｉｏｎ Ｓｙｎｔｈｅｓｉｚｅｄ ｂｙ Ｕｌｔｒａｓｏｕｎｄ Ｔｒａｎｓｄｕｃｅｒｓ、 Ｐｒｏｃ． Ｗｏｒｌｄ Ｈａｐｔｉｃｓ ２００９、 Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ、 ＵＴ、 Ｍａｒｃｈ １８−２０、ｐｐ．２５６−２６０、２００９．」等に記載の超音波振動子アレイを用いることができる。なお、超音波振動子アレイ１１の構成等の具体例については後述する。
【００３５】
ここで、本実施形態における表面硬さ計測装置１０は、超音波振動子アレイ１１により被測定対象物体２１（例えば、製品だけでなく生き物等も含んだ実物体）に対して、例えば約１８０ｍｍ角のフェーズドアレイから超音波２２を放出し、被測定対象物体２１の表面に収束させる。なお、収束スポットの直径は、例えば約１０ｍｍ程度である。その際、対象面には、超音波ビームのエネルギー密度に比例した圧力（放射圧）が印加される。
【００３６】
ここで、本実施形態において、超音波振動子アレイ１１は、最高出力時に１．６ｇｆ程度の力を対象面の収束スポット付近に印加することができる。また、超音波振動子アレイ１１は、超音波ビームを所定のタイミングでオン−オフすることで圧力を変化させることができる。
【００３７】
振動測定手段１２は、超音波振動子アレイ１１によって、予め設定されたタイミングで、数百Ｈｚ程度までの任意の異なる周波数の超音波を選択的に発生させ、その周期的な圧力変化によって発生する被測定対象物体２１の対象表面の振動振幅を計測する。これにより、本実施形態では、力に対する変位の比率又は変位量からその位置毎の硬さを推定することができる。なお、図１の例では、振動計測手段１２−１，１２−２は、超音波振動子アレイ１１−１，１１−２と対となるように設けられる。
【００３８】
なお、力を印加する部位、すなわち超音波の放射圧の収束位置は、超音波振動子アレイ（超音波フェーズドアレイ）１１の各素子の駆動位相を調整することにより表面上の自由な位置に設定することができる。
【００３９】
また、このときのある一点（注目点）での硬さとは、粘弾性インピーダンスＺ（ω）＝Ｆ（ω）／Ｄ（ω）の式から導出することができる。なお、上述したＦ（ω）は、放射圧によって表面に印加される力の角周波数ω成分の振幅であり、上述したＤ（ω）は角周波数ωにおける表面変位（超音波収束点の中心における表面変位）の振幅である。
【００４０】
なお、表面に印加される力の各周波数ω成分の振幅Ｆ、及び表面変位の振幅Ｄを複素数表示（フェーザ表示）としておけば、この値から機械インピーダンスのバネ要素、質量要素とダンパー要素を分解して記述することができる。なお、上述した機械インピーダンスについては後述する。
【００４１】
３次元形状計測手段１３は、被測定対象物体２１の３次元形状を計測する。なお、３次元形状計測手段１３は、被測定対象物体２１の硬さ測定をするための超音波が超音波振動子アレイ１１から放射させる前に、すなわち硬さ測定開始前又は硬さ測定開始時に取得しておく。これらのデータは、記録手段１５等に記録しておき、計測制御手段１４により、記録手段１５に記録されたデータを用いて被測定対象物体２１と、超音波振動子アレイ１１との相対的な位置関係から超音波の焦点位置を設定する。
【００４２】
計測制御手段１４は、超音波振動子アレイ１１−１，１１−２に対する位置の移動や超音波の焦点位置の設定、超音波の発生タイミング、振動測定手段１２−１，１２−２に対する移動や測定タイミング、３次元形状計測手段１３に対する移動や形状計測制御等を行う。
【００４３】
つまり、計測制御手段１４は、超音波振動子アレイ１１−１，１１−２、振動測定手段１２−１，１２−２、３次元形状計測手段１３をそれぞれに予め設けられた移動機構により移動させて被測定対象物体２１の表面全体の硬さを計測する。なお、本発明において硬さを測定する位置は、上述した表面全体に限定されるものではなく、例えばユーザに触力覚で提示する被測定対象物体２１の所定の領域だけでもよい。
【００４４】
また、計測制御手段１４は、超音波振動子アレイ１１及び振動測定手段１２を複数有する場合には、被測定対象物体２１に対してそれぞれ異なる位置の硬さを測定するように制御を行う。これにより、例えば被測定対象物体２１の形状等に合わせて、複雑な形状の部分となだらかな形状の部分とで使い分けることで、全体の硬さを迅速且つ正確に測定することができる。
【００４５】
また、計測制御手段１４は、超音波振動子アレイ１１の各焦点において、垂直入射面に対して印加される力を予め調べておき、そのデータが適宜利用できるように、記録手段１５にデータベース等として記録しておく。なお、垂直入射面とは、焦点を通る平面のうち、焦点と超音波振動子アレイ１１の中心を結ぶ直線に垂直な面である。
【００４６】
また、超音波ビームによる放射圧は、ビームが面に垂直な場合に最も効果的に作用し、斜めに入射した場合には面に及ぼされる力が小さくなる。具体的には、対象表面の法線と入射方向とのなす角度をθとすると、印加される力は概ねｃｏｓθに比例して減少する。
【００４７】
ここで、３次元形状計測手段１３によって得られた３次元形状データによって対象面の法線ベクトルの方向は、予めわかっているため、計測制御手段１４は、それを用いて表面に印加される正味の力を計算し、それと振動振幅から粘弾性インピーダンスＺを計算する。具体的には、計測制御手段１４は、対象表面の注目点（超音波振動子アレイ１１の焦点位置）における法線ベクトルと垂直入射面の法線ベクトルとの間の余弦ｃｏｓθを計算し、垂直入射面に対して働くはずの力（上述した記録手段１５等に記録されている）にｃｏｓθを乗じて正味の力とする。
【００４８】
ここで、図１に示す実施形態では、複数の方向を向く複数のフェーズドアレイ（図１の例では、超音波振動子アレイ１１−１，１１−２）が設置されているため、θが９０度に近づく場合には、θがより小さくなる超音波振動子アレイ１１を選択して圧力を印加する。また、計測制御手段１４は、必要があれば振動計測装置１２−１，１２−２についても対象面が正面近くに見えるものを選択して計測する。
【００４９】
ここで、本実施形態において、振動計測装置１２が一点の振動変位のみを測定するタイプの場合には、振動計測装置の測定領域が対象表面上の各注目点（計測点）に一致するように振動計測装置の方向・位置を移動機構によって制御するか、或いは光の経路中に鏡を設置し、その方向・位置を移動機構によって制御する。また、被測定対象物体２１を移動及び回転機構によって制御してもよい。
【００５０】
また、本実施形態における振動計測装置１２及び３次元形状計測手段１３は、例えばステレオ方式、レーザ光切断方式、モアレ縞方式、光干渉方式、等任意の光学式製品を用いることができる。ステレオ方式とは、人間の両眼視と同様の原理で，２台の光学式カメラにより，プロジェクタの投影像又は非測定物に付加したマーカーを測定する方式である。また、レーザ光切断方式とは、スリット状のレーザ光で入力対象をスキャン（走査）し，その反射光をカメラで受光することで，三角測量の原理で被写体との距離情報を得て３次元データ化する方式である。また、モアレ縞方式とは、プロジェクタ（光源）とカメラにそれぞれ格子パターンを配し，モアレパターンを観測して奥行きを計測する方式である。更に、光干渉方式とは、反射光と参照光を干渉させて発生する干渉縞を観測して奥行きを計測する方式であり、例えば、ナノオーダの微細な凹凸等の計測に有効である。
【００５１】
振動周波数ωは、測定対象や応用目的に応じて選択する。複数のωに対するＺ（ω）を測定しておけば、ユーザが与える変位の任意の時間変化パターンに対する力応答を、変位と力の間の線形性が仮定できる範囲で、より忠実に再現することができる。しかしながら、その場合には、測定時間が長くなるため、許容される測定時間に応じてωの選択の仕方を調整する。例えば、１Ｈｚ、１０Ｈｚ、３０Ｈｚ、５０Ｈｚ、及び１００Ｈｚのうちの１つ或いは複数の周波数を選択する。
【００５２】
＜表面硬さ計測処理手順＞
ここで、本実施形態における表面硬さ計測処理手順についてフローチャートを用いて説明する。図２は、表面硬さ計測処理手順の一例を示すフローチャートである。図２に示すように、まず硬さ測定開始前又は硬さ測定開始時に実物体である被測定対象物体２１の対象表面（全体又は所定領域）の３次元形状を計測する（Ｓ０１）。
【００５３】
次に、Ｓ０１の処理により得られる３次元形状の結果から被測定対象物体２１と、超音波振動子アレイ１１との相対的な位置関係により、被測定対象物体２１の対象表面に対する超音波の焦点位置を設定する（Ｓ０２）。
【００５４】
次に、予め設定されたタイミングで異なる周波数の超音波を選択的に対象表面に放射し（Ｓ０３）、その周期的な圧力変化によって発生する被測定対象物体２１の対象表面の振動振幅を計測する（Ｓ０４）。また、Ｓ０４の処理により得られる力に対する変位の比率又は変位量からその位置の硬さを粘弾性インピーダンスにより推定する（Ｓ０５）。
【００５５】
次に、ユーザが指示等により表面硬さ計測処理を終了するか否かを判断する（Ｓ０６）。処理が終了でない場合（Ｓ０６において、ＮＯ）、Ｓ０１に戻り他の位置（対象表面）に対して継続して処理を行い、被測定対象物体２１の計測した位置毎に、力に対する変位の比率又は変位量から粘弾性インピーダンスを推定し、粘弾性インピーダンスとして被測定対象物体２１の所定位置毎の硬さ情報を取得する。また、Ｓ０６の処理において、処理終了の場合（Ｓ０６において、ＹＥＳ）、表面硬さ計測処理を終了する。
【００５６】
なお、本実施形態において、硬さ情報は粘弾性インピーダンスに対応しているため、粘弾性インピーダンスの数値が大きい程、硬い（加えた力に対する抵抗値が高い）ことになる。
【００５７】
このように、本発明によれば、対象物体の３次元表面形状データの各点に対し、粘弾性インピーダンスＺを計測し、記録することができる。また、このデータを、例えば触覚提示装置等に伝送することで、ユーザはそのデータから生成される触感（粘弾性インピーダンス）を仮想体験することが可能となる。
【００５８】
＜表面硬さ計測装置１０の機能構成例＞
次に、上述した本実施形態における表面硬さ計測装置１０の具体的な機能構成例について図を用いて説明する。図３は、表面硬さ計測装置の機能構成の一例を示す図である。図３に示す表面硬さ計測装置１０は、３次元形状計測手段３１と、３次元形状記録手段３２と、硬さ情報測定位置算出手段３３と、圧力印加位置制御手段３４と、振動振幅測定位置制御手段３５と、振動振幅測定手段３６と、印加圧力算出手段３７と、圧力印加周期制御手段３８と、圧力印加手段３９と、硬さ情報算出手段４０と、硬さ情報記録手段４１とを有するよう構成されている。また、図３の例では、取得した表面の硬さ情報を触力覚提示装置に出力して仮想物体の提示情報に硬さ情報を反映させるための硬さ情報伝送手段４２と、触力覚提示手段４３とを有している。
【００５９】
上述した本実施形態における動作を行うために、表面硬さ計測装置１０には上記の機能が設けられている。具体的には、３次元形状計測手段３１は、上述したように被測定対象物体の３次元形状を計測する。また、３次元形状記録手段３２は、３次元形状情計測手段３１で計測した被測定対象物体の３次元形状情報を記録する。なお、３次元形状記録手段３２は、上述した記録手段１５に相当する。
【００６０】
硬さ情報測定位置算出手段３３は、被測定対象となる物体上において対象表面の硬さ情報を測定する位置を算出する。また、圧力印加位置制御手段３４は、硬さ情報測定位置算出手段３３により算出された硬さ情報の測定位置に応じて圧力を印加する位置を制御する。
【００６１】
振動振幅測定位置制御手段３５は、硬さ情報測定位置算出手段３３で算出した測定位置に応じて振動振幅を測定する位置を制御する。また、振動振幅測定手段３６は、圧力の印加によって物体表面に生じる振動振幅を測定する。また、印加圧力算出手段３７は、予め設定された被測定対象物体２１の表面に対して垂直に圧力を印加した場合の印加力の数値の集合である垂直入射面印加力データ４４を入力し、印加する圧力の算出及び物体表面に印加される正味の力を算出する。
【００６２】
圧力印加周期制御手段３８は、印加する圧力の周期を制御する。また、圧力印加手段３９は、物体に所定の圧力を印加する。硬さ情報算出手段４０は、印加圧力算出手段３７で算出される物体表面に印加される正味の力と，振動振幅測定手段３６で測定された測定値から硬さ情報を算出する。硬さ情報記録手段４１は、硬さ情報算出手段４０で算出された硬さ情報を記録する。なお、硬さ情報記録手段４１は、上述した記録手段１５に相当する。
【００６３】
また、本実施形態において、硬さ情報伝送手段４２は、硬さ情報算出手段４０により算出された硬さ情報や硬さ情報記録手段４１により記録されている硬さ情報を伝送する。また、触力覚提示手段４３は、硬さ情報伝送手段４２より伝送された硬さ情報に応じて後述するような触力覚提示を行う。
【００６４】
＜超音波振動子アレイ１１について＞
次に、本実施形態における超音波振動子アレイ１１の具体例について説明する。図４は、本実施形態における超音波振動子アレイを説明するための図である。
【００６５】
図４（Ａ）に示すように、超音波振動子アレイ１１の放射平面には、超音波を発生させるアレイ素子５１が所定の間隔で多数配列されている。なお、図４（Ａ）の正方形状に配列されているが、この形状については本発明においては特に制限されるものではなく、例えば長方形等の矩形や円形等でもよい。
【００６６】
また、超音波振動子アレイ１１の放射表面に対して、例えば約２００ｍｍ程度の距離の位置を目標平面とし、その位置に配列された各アレイ素子５１が、それぞれ所定の位置から所定のタイミングで所定の方向に超音波を放射し、被測定対象物体２１の対象表面に超音波を放射する。
【００６７】
つまり、本実施形態では、上述したように、力を印加する部位、すなわち超音波の放射圧の収束位置は、超音波振動子アレイ（超音波フェーズドアレイ）１１の各素子の駆動位相を調整することにより表面上の自由な位置に設定することができる。したがって、その位置（注目点）を順次切り替えていく、すなわち走査（スキャン）することにより表面の硬さ分布を対象表面全体にわたって計測することができる。なお、この時の注目点は、典型的には図４に示すように、縦横１０ｍｍ間隔程度に設定するが、被測定対象物体２１の種類や表面の形状等の条件に応じて、これより細かく設定したり粗く設定してもよい。
【００６８】
また、超音波振動子アレイ１１におけるスキャンとしては、例えば図４（Ｂ）に示すように、リニアスキャン（図４（Ｂ）（ａ））や、セクタースキャン（図４（Ｂ）（ｂ））、ゾーンフォーカス（図４（Ｂ）（ｃ））、ダイナミック・デプス・フォーカス（図４（Ｂ）（ｄ））等を順次切り替えて又は組み合わせて適用することができ、本実施形態では、特に図４（Ｂ）（ｃ）に示すゾーンフォーカスを用いて測定するが、本発明においてはこれに限定されるものではなく他の手法を用いることもできる。
【００６９】
また、測定の際には、被測定対象物体２１に対して、超音波振動子アレイ１１及び被測定対象物体２１の何れか又は両方を相対的に移動させることで、目標平面を移動させ、被測定対象物体２１を所定の位置からスキャンすることができる。
【００７０】
ここで、本実施形態において、振動変位が不足して測定に支障をきたすようであれば、超音波振動子アレイ１１をより大型のものとし、より多くの振動子を駆動して印加力を増大させてもよい。その場合には超音波振動子アレイ１１と物体間の距離を、超音波振動子アレイ１１の開口程度にまで離して利用する。
【００７１】
このような超音波振動子アレイ１１において、システムの最高出力時（超音波を使った場合）は、上述したように約１．６ｇｆ程度としたが、対象が生体でなければ特に力の上限はなく、大きなフェーズドアレイを作って強力に駆動すればかなりの力を出すことができる。
【００７２】
例えば、被測定対象物体２１を人体に適用する場合には、人体に透過する超音波のパワーを安全基準以下にする必要がある。ここで、最も厳しい（安全側）の基準で約１００ｍＷ／ｃｍ２といわれているため、これに対応する放射圧、約６０ｇｆ／ｃｍ２が実用上の上限となる。
【００７３】
また、本実施形態では、約１．６ｇｆ印加時の場合に、レーザ変位計で約１μｍの変位までは安定に計測できるため、皮膚の硬さを基準として、その１０倍程度の硬さのものまでは定量評価することができる。なお、約６０ｇｆの力が発生できるのであれば、更にその１０倍以上硬くても測定することができる。また、被測定対象物体２１が柔らかい場合には、適用する放射圧を小さくすることで適切に測定することができる。
【００７４】
また、例えば約４０ｋＨｚ程度の超音波を利用する限り、収束スポットは約１０ｍｍ（〜波長８ｍｍ）程度以下にはならない。また、この周波数を上げれば収束スポットは小さくなるが、減衰距離が周波数の２乗に反比例して小さくなる。例えば、４０ｋＨｚ超音波の振幅が１／ｅになるまでの減衰距離は８．７ｍであるため、１ｍ程度まで離れた対象を測定するのに超音波減衰はあまり考慮しなくてもよい。しかしながら、周波数を１０倍にすれば、この距離は１／１００になるため、ごく近くの対象しか測定できなくなる。したがって、収束スポットの実用上の下限は、約１０ｍｍか或いは０．５ｍｍ程度までとなる。
【００７５】
＜機械インピーダンスについて＞
次に、上述した機械インピーダンスについて、図を用いて説明する。図５は、本実施形態に適用される機械インピーダンスを説明するための図である。なお、図５は、機械インピーダンスの基本的なモデルであり、この場合の一般化バネ定数は質量ｍ、バネ係数ｋ、ダンパーαとすると、Ｚ（ω）＝Ｆ／Ｄ＝−ω２ｍ＋ｊωε＋ｋとなる。
【００７６】
なお、上述では「インピーダンス」としているが、インピーダンスという場合は分母を変位ではなく速度にするのが通常であり、そのように定義した場合には、Ｚ（ω）＝Ｆ／ｊωＤ＝ｊωｍ＋ε＋ｋ／ｊωとなる。なお、粘弾性モデルとしては、ダンパーαとバネｋを直列にしたもの、また、それと図５に示す並列モデルを（直列、並列に）結合したもの等、無数のバリエーションがあり、本実施形態では、その何れも適用することができる。
【００７７】
＜表面硬さ計測装置を用いた触力覚提示装置＞
次に、上述した表面硬さ計測装置を用いた触力覚提示装置について、図を用いて説明する。図６は、本実施形態における表面硬さ計測装置を用いた触力覚提示装置の概要を示す図である。
【００７８】
図６に示す表面硬さ計測装置を用いた触力覚提示装置６０は、触力覚情報伝送側に実物体である被測定対象物体２１の形状及び硬さ等の触感情報を取得又は生成して伝送する構成を有しており、具体的には、表面硬さ計測装置６１と、３次元形状計測装置６２と、表面粗さ計測装置（表面粗さ計測手段）６３と、計測制御手段６４と、記録手段６５と、伝送手段６６とを有している。また、触力覚提示装置６０は、触力覚により仮想物体を提示するための触力覚提示側には、感覚伝達装置７０−１，７０−２と、触力覚制御装置８０とを有するよう構成されている。
【００７９】
表面硬さ計測装置６１は、上述した本実施形態に示すように物体表面の硬さを非接触で計測する。
【００８０】
また、３次元形状計測装置６２は、上述した本実施形態における３次元形状計測手段１３と同様に、被測定対象物体２１の物体全体の３次元形状を計測する。また、表面粗さ計測装置６３は、物体表面の微細な凹凸や粗さを計測する。また、計測制御手段６４は、本実施形態における上述した各計測装置（表面硬さ計測装置６１、３次元形状計測装置６２、表面粗さ計測装置６３）の制御及びデータの統合又は生成を行う。
【００８１】
また、記録手段６５は、上述した各計測装置のデータ及び統合又は生成されたデータを被測定対象物体２１に対応付けて記録する。また、伝送手段６６は、計測制御手段６４により統合又は生成された物体の触力覚情報を含むデータを１又は複数の触力覚提示側に伝送する。
【００８２】
本実施形態では、上述した本実施形態と同様の手法を用いることにより、計測制御手段により表面硬さ計測装置６１を制御することで、３次元形状計測装置６２を制御して取得し記録装置４５に記録した被測定対象物体２１の３次元表面形状データの各点に対し、上述した粘弾性インピーダンスを計測し、同様に記録手段６５に記録することができる。
【００８３】
また、本実施形態では、表面粗さ計測装置６３を制御することにより、３次元表面形状データの各点に対し、実物体である被測定対象物体２１の表面の微細な凹凸や粗さを計測し、記録手段６５に記録する。このとき計測制御手段６４は、３次元表面形状データの持つ座標空間を基準として、粘弾性インピーダンス等の表面硬さ情報及び表面の粗さ情報をこれに対応付けてマッピングを行い、実物体である被測定対象物体２１の統一的な触力覚情報を記録手段６５に記録する。
【００８４】
また、計測制御手段６４は、記録手段６５に記録された触力覚情報を読み出し、伝送手段６６を介して１又は複数の触力覚制御装置８０に伝送する。つまり、計測した物体の触力覚情報を含むデータを同時に複数の触力覚制御装置８０に出力することで、複数のユーザが同時に物体を触力覚により体感することができる。
【００８５】
つまり、マクロな３次元表面形状に加えて、よりミクロな物体表面の凹凸及び粗さ情報を表面硬さ情報と併せて提示することにより、硬さ情報のみを提示した場合、或いは微細な凹凸と粗さ情報のみを提示した場合と比較して、実物体を構成する材質特有の触感をより表現することができる。したがって、例えば実際には同じ硬さであっても異なる材質（或いは状態）の場合や、同じ表面の粗さでも硬さの異なる材質（状態）の場合が複数存在するため、本実施形態を適用することで、硬さ情報のみの提示や粗さ情報のみの提示では把握できない材質の違いを表現することができ、より実物体に近い材質感を触力覚で体感することができる。
【００８６】
なお、３次元表面形状、物体表面の微細な凹凸や粗さ、及び硬さ情報は、同じ座標空間或いは最小構成要素に対応付けるが、それぞれ独立に、又は組合わせて提示してもよい。
【００８７】
ここで、本実施形態における３次元形状計測装置６２及び表面粗さ計測装置６３は、同時に測定可能な１つの装置であってもよく、また上述したようにステレオ方式、レーザ光切断方式、モアレ縞方式、光干渉方式等、任意の光学式製品を用いてよい。
【００８８】
伝送手段６６は、データを電気信号等により受信機能を有する複数の装置に伝送可能な任意の装置でよく、伝送経路としては有線又は無線による通信設備、或いは電波等による放送設備を用いることができる。
【００８９】
また、計測制御手段６４は、実物体である被測定対象物体２１及び各計測装置を用いることなく仮想的に同様の触力覚情報をコンピュータ上で生成して記録してもよい。
【００９０】
３次元形状計測装置６２により取得された３次元表面形状データは、インターネット等の通信ネットワーク上等において仮想的に３次元物体等の表示を行う際に、出力のフォーマット等をマークアップ言語等によるデータで記述することができるため、触力覚情報は、例えば、このようなデータ記述形式を拡張することで、仮想物体を構成するポリゴン等の最小構成要素の１つ１つに対して、硬さを表すパラメータを追加で記述することができる。
【００９１】
また、本実施形態では、表面の微細な凹凸の振幅を表すパラメータ及び粗さの拡がりを表すパラメータについても、同様に仮想物体を構成するポリゴン等の最小構成要素の１つ１つに対して記述する。硬さ及び表面の粗さ等については、各々の計測装置により取得されたデータを基に、定数や係数として記述することができるが、本発明ではこれに限らず、仮想物体を構成するポリゴン等の最小構成要素の１つ１つに対して、例えば加えられた力に応じた反力を計算する関数の形式で与えてもよい。
【００９２】
更に、本実施形態では、仮想物体を構成する最小構成要素に限らず、仮想物体表面の３次元座標そのものに硬さ及び表面の粗さ等の情報を対応付けることも可能である。これらは、例えばＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ；仮想現実モデリング言語）等を拡張した形式で記述することができるが、本発明においてはこれに限定されるものではなく、例えばＸ３ＤやＣＯＬＬＡＤＡ（ＣＯＬＬＡｂｏｒａｔｉｖｅ Ｄｅｓｉｇｎ Ａｃｔｉｖｉｔｙ）、３ＤＭＬＷ（３Ｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ｆｏｒ Ｗｅｂ）等のファイルフォーマットを拡張したもの等を用いることができる。
【００９３】
また、図６に示す触力覚提示装置６０の触力覚提示側において、感覚伝達装置７０−１，７０−２は、ユーザの何れかの異なる指先に移動を拘束できる程度の反力等の触力覚フィードバックを伝達する装置であり、感覚を伝達する指には、例えば指サック等が装着される。
【００９４】
更に、図６に示す感覚伝達装置７０−１，７０−２は、ユーザの指や手掌から取得した位置情報を触力覚制御装置８０に出力すると共に、触力覚制御装置８０からの制御情報に基づいて所定の動作を行い、ユーザに感覚を伝達する。ここで、上述した指用の感覚伝達装置７０−１，７０−２は、基台７１と、駆動部７２と、リンク機構７３と、指先伝達部７４とを有するよう構成されている。
【００９５】
基台７１（図６の例では、基台７１−１，７１−２）は、触力覚提示側における実空間上の所定の場所に設置されている。駆動部７２（図６の例では、駆動部７２−１，７２−２）は、例えば基台７１に対して水平に０〜３６０度の回転駆動ができ、またリンク機構７３（図６の例では、リンク機構７３−１，７３−２）の軸を基台７１に対して垂直に０〜３６０度の回転駆動ができる。なお、本実施形態における駆動部７２は、例えばモータやワイヤ機構、ロータリーエンコーダ等を用いることができる。
【００９６】
リンク機構７３は、１以上のロッド（軸）で構成され、その一方は駆動部７２に接続されているため、基台７１の面に対して水平、垂直に０〜３６０度回転することができる。つまり、駆動部７２及びリンク機構７３により、基台７１を中心としてあらゆる方向への移動が可能となっている。
【００９７】
また、リンク機構７３は、指先伝達部７４と接続され、ユーザの指に対し、その指の位置情報と、上述した触力覚情報伝送側より取得した仮想物体の位置情報、全体の形状情報、表面の粗さ情報、及び表面の硬さ情報に応じて適切な反力等の触力覚的負荷を与えるための動作を行う。
【００９８】
指先伝達部７４は、指先の位置情報と仮想物体の位置関係とに応じてその指先に対して何れかの方向に移動できなかったり、所定量の反力を与えたりすることで所定の触力覚的負荷を与える。なお、図６に示す本実施形態では、指先伝達部７４として、ユーザの２本以上の指（多指）に対して触力覚フィードバック情報を伝達する指サック（ジンバル）等からなる。つまり、本実施形態では、指サックを例えばユーザの親指と人差し指に装着し、仮想物体を把持するときの触力覚情報（触力覚的負荷）を提示する。なお、本発明においてはこの限りではなく、例えば手の５本の指のうち少なくとも１つに装着されていればよく、また両手を対象にして、左右の手に存在する指の少なくとも１つに装着されていてもよい。また、指だけではなく、例えば掌の部分や手全体をグローブのようなもので覆って触力覚的負荷を提示する。
【００９９】
なお、本実施形態における反力や圧刺激等の触力覚的負荷としては、例えば仮想物体が硬い円柱である場合には、その仮想物体の表面の位置情報や硬さ情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置より内部への移動を拘束するような所定量の触力覚的負荷を与える。また、仮想物体が柔らかい円柱の場合には、その仮想物体の表面の位置情報や硬さ情報に基づいて、ユーザの指や手掌部に対して仮想物体の表面の位置情報よりも内部に移動していくと、次第に移動が拘束されるような所定量の触力覚的負荷を与える。なお、触力覚的負荷としては、例えば圧力又は振動があるが、本発明においてはこれに限定されず、例えば電気信号、熱等の何らかの感覚による負荷が含まれる。
【０１００】
また、図６に示す感覚伝達装置７０−１，７０−２は、ユーザに触力覚を提示する対象となる指の数に対応させて設置されているが、本発明においてはこの限りではなく、例えば１つの感覚伝達装置の指先伝達部に複数の指を装着し感覚を伝達してもよく、また、複数の感覚伝達装置で１つの指に対して感覚を伝達させてもよい。また、上述した本発明における手掌とは、指との結合部分を含む全体を示していてもよく、１又は複数の所定の領域又は点であってもよい。
【０１０１】
触力覚制御装置８０は、上述した各感覚伝達装置７０−１，７０−２の各構成部を制御するものであり、各感覚伝達装置７０−１，７０−２から得られる指先等の位置情報を検出し、実物体計測側の伝送手段６６から送られるデータを基に、上述した各感覚伝達装置７０−１，７０−２の各構成部を制御することで各指先伝達部７４−１、７４−２を介して、ユーザに物体の形状、ざらざら感や粗さ等の表面の触感、触察箇所の硬さを提示する。
【０１０２】
なお、触力覚制御装置８０は、図６に示すようなディスプレイ等の出力手段を有し、その画面上に３次元物体提示データとして、実物体である被測定対象物体２１に対応する仮想物体８１を表示すると共に、感覚伝達装置７０−１，７０−２から得られる指の位置情報に基づいて動作する仮想ハンド８２も画面に表示することができる。これにより、ユーザは視覚を通じて仮想空間における手の動作状況を的確に把握することができる。
【０１０３】
なお、画面上に表示される仮想物体は、上述したように円柱等の仮想物体８１に限定されず、例えば仮想空間上における壁や天井、地面等も含まれる。このとき、仮想物体は、仮想空間内に固定又はユーザにより自由に動かせるように配置する。１つの指又はスタイラス等のみに提示する場合等には、硬さ、形状、表面の粗さを正確に把握するために仮想空間内に固定したり、固定されていない物体の場合等には、２つ以上の指等に提示して仮想物体を把持することにより、硬さ、形状、表面の粗さを把握することが可能である。
【０１０４】
触力覚提示側では、この触力覚情報に基づいて、ユーザの手指等に触力覚提示を行う。具体的には、ワイヤの張力を利用した接触型、超音波等を利用した非接触型、錯覚による擬似的な牽引力を利用したもの等の感覚伝達装置により提示される。
【０１０５】
＜本実施形態における触力覚提示処理手順＞
次に、上述した本実施形態における触力覚提示処理手順について、フローチャートを用いて説明する。図７は、本実施形態における触力覚提示処理手順の一例を示すフローチャートである。
【０１０６】
図７において、まず測定対象の実物体があるか否かを判断し（Ｓ１１）、測定対象の実物体がある場合（Ｓ１１において、ＹＥＳ）、上述したように３次元形状計測手段を制御して当該実物体の３次元形状を取得し記録する（Ｓ１２）。
【０１０７】
次に、表面硬さ計測装置を制御して上述したように、実物体の表面硬さ情報を取得し記録する（Ｓ１３）。また、記録した硬さ情報を読み出し、先に取得した３次元形状の最小構成要素（ポリゴン等）に対してマッピング（対応付け）を行う（Ｓ１４）。次に、表面粗さ計測装置を制御して上述した実物体の表面の粗さ情報を取得し記録する（Ｓ１５）。また、記録した表面粗さ情報を読み出し、上述した３次元形状の最小構成要素に対してマッピング（対応付け）を行い、要素毎に硬さ及び粗さ情報を有する仮想物体データを生成する（Ｓ１６）。なお、Ｓ１６の処理の具体例については後述する。
【０１０８】
また、上述したＳ１１の処理において、測定対象となる実物体がない場合（Ｓ１１においてＮＯ）、コンピュータ上でユーザ等が任意に設定して、３次元形状情報の作成（Ｓ１７）、表面硬さ情報の作成（Ｓ１８）、及び表面粗さ情報の作成（Ｓ１９）を行う。つまり、上述の処理では、測定対象となる実物体が存在する場合だけでなく、存在しない場合にもユーザ設定により３次元形状情報の作成、表面硬さ情報の作成、及び表面粗さ情報の作成が行われる。また、ユーザ設定した場合には、マッピングをせずに要素毎に硬さ及び粗さ情報を有する仮想物体データを直接生成してもよく、また上述したようにＳ１６の処理を行って仮想物体データを生成してもよい。
【０１０９】
以上の処理により３次元形状情報に対して硬さ情報と表面粗さ情報がマッピングされた情報等を触力覚情報として記録する（Ｓ２０）。次に、記録された触力覚情報を読み出し（Ｓ２１）、予め設定された伝送する形式に変換して伝送を行う（Ｓ２２）。
【０１１０】
次に、提示装置側では、上述した触力覚情報を受信し（Ｓ２３）、受信した触力覚情報に対応させて、ユーザ等に提供する仮想環境の構築を行う（Ｓ２４）。次に、ユーザ等の手や指の位置や向き等からなる手指情報の取得を行い（Ｓ２５）、取得した手指情報から位置及び姿勢の解析を行う（Ｓ２６）。また、３次元位置座標の解析を行い（Ｓ２７）、伝送された触力覚情報、及びユーザ等の手指の動作情報に基づいて提示力の算出を行う（Ｓ２８）。次に、得られた提示力をデバイス（感覚伝達装置５０）に出力する（Ｓ２９）。
【０１１１】
次に、ユーザが手の動作等による仮想触力覚提示処理を終了するか否かを判断する（Ｓ３０）。処理が終了でない場合（Ｓ３０において、ＮＯ）、Ｓ２５に戻り継続して処理を行い、処理終了の場合（Ｓ３０において、ＹＥＳ）、仮想触力覚提示処理を終了する。
【０１１２】
なお、上述したフローチャートにおける処理順序においては、本実施形態においてはこれに限定されるものではなく、例えば複数の処理が平行して同時に行われてもよい。
【０１１３】
＜要素毎に硬さ及び粗さ情報を有する仮想物体データの記述例＞
ここで、上述した本実施形態における表面の硬さ及び粗さ情報を有する仮想物体データの記述例（マッピング）について図を用いて説明する。図８は、硬さ及び粗さ情報を有する仮想物体データの記述例を示す図である。なお、図８（Ａ）は、記述された仮想物体のＶＲＭＬデータを示し、図８（Ｂ）は、その対象となる仮想物体８１とポリゴンの生成例を示している。
【０１１４】
仮想物体８１の表面は、例えばポリゴン等の最小構成要素で表現することができる。図８において、例えばＰ０〜Ｐ５は仮想物体表面の一部を構成する各頂点を示し、Ｓ０〜Ｓ３は仮想物体表面の一部を構成する各面を示している。また、図８（Ａ）に示すＤ１は、仮想物体表面を構成する頂点の３次元座標を示し、ここではＰ１におけるｘ，ｙ，ｚの座標値の例を示している。また、Ｄ２は、仮想物体表面を構成する最小構成面を示し、ここではＳ１を構成する頂点の組がＰ１、Ｐ４、及びＰ２である例を示している。
【０１１５】
また、Ｄ３は、各最小構成要素における硬さ情報を表現又は算出するための関数及び数値の定義を示し、ここでは硬さを粘弾性インピーダンスとしてそれぞれ質量要素とダンパー要素とバネ要素を含む計算式を定義する例を示している。更に、Ｄ４では、Ｄ３で定義された計算式における係数及び測定された数値データを仮想物体の最小構成要素毎に記述する例を示しており、ここでは質量要素ｍとバネ定数ｋの値の組として面Ｓ１における硬さ情報の記述例を示している。
【０１１６】
同様に、Ｄ５は、物体表面の最小構成要素毎に表面の微細な凹凸である粗さ情報の振幅と拡がり度合い（波長）の記述例を示し、ここでは面Ｓ３の微細な凹凸の振幅と波長の例を示している。また、粗さ情報においても、硬さ情報と同様にデータ記述の中で算出するための関数等を定義してもよい。更に、実際に取得した微細な凹凸や粗さの光学的なパターンのデータ列、或いは当該データ列の呼び出し番号を記述して対応付けてもよい。これにより、必ずしも単純に定量化できないような表面の取得情報であっても、そのまま貼り付けることができたり、外部のデータを参照することができる。
【０１１７】
このように、既存のＶＲＭＬ等の記述形式（Ｄ１，Ｄ２）にＤ３〜Ｄ４等の記述を拡張することで要素毎に硬さ及び粗さ情報を有する仮想物体データを記述することができる。
【０１１８】
＜実行プログラム（表面硬さ計測プログラム、触力覚提示プログラム）＞
なお、上述した実施形態は、上述した表面硬さ計測装置、触力覚提示装置における専用の装置構成により、本発明における上述した表面硬さ計測処理、触力覚提示処理手順を行うこともできるが、上述した表面硬さ計測処理、触力覚提示処理における各処理をコンピュータに実行させることができる実行プログラム（触力覚提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等に表面硬さ計測プログラム、触力覚提示プログラムをインストールすることにより本発明における表面硬さ計測処理、触力覚提示処理が実現可能となる。
【０１１９】
つまり、上述した表面硬さ計測装置、触力覚提示装置は、は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。
【０１２０】
したがって、表面硬さ計測装置、触力覚提示装置が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１２１】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（表面硬さ計測プログラム、触力覚提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、コンピュータを、上述した本実施形態における表面硬さ計測処理装置、触力覚提示装置として機能させることができ、これにより、例えば図２や図７に示すような表面硬さ計測処理、触力覚提示処理を実現することができる。
【０１２２】
上述したように本発明によれば、実物体の硬さ情報を非接触で高精度に取得することができる。これにより、仮想的に物体を提示する際に、実物体に近い触感覚を高精度に提示することができる。したがって、物体の３次元的な形状だけでなく、表面の硬さや表面のざらざら感等、実物体がもつよりリアルな触感覚を取得して伝送し、複数のユーザに対して仮想的に提示することができる。
【０１２３】
具体的には、本発明では、表面の変位を計測する手段と、表面の粘弾性インピーダンスを推定する手段と、硬さ情報を抽出しマッピングする手段と、硬さ情報に応じて力覚を制御する触力覚提示手段を有する。また、本発明では、物体の３次元形状を取得する手段を有し、物体の硬さ情報と混合する手段を有し、物体の形状と硬さを併せて提示する。
【０１２４】
更に、本発明では、物体の表面の微細な凹凸及び粗さを取得する手段を有し、形状と硬さと表面の粗さを混合する手段を有し、併せて触力覚に提示する。これにより、本発明によれば、実物体を触察しているような、より自然な触感覚を得られる触力覚提示装置及び提示方法を提供することが可能である。
【０１２５】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１２６】
１０，６１ 表面硬さ計測装置
１１ 超音波振動子アレイ
１２ 振動測定手段
１３，３１ ３次元形状計測手段
１４，６４ 計測制御手段
１５，６５ 記録手段
２１ 被測定対象物体
２２ 超音波
３２ ３次元形状記録手段
３３ 硬さ情報測定位置算出手段
３４ 圧力印加位置制御手段
３５ 振動振幅測定位置制御手段
３６ 振動振幅測定手段
３７ 印加圧力算出手段
３８ 圧力印加周期制御手段
３９ 圧力印加手段
４０ 硬さ情報算出手段
４１ 硬さ情報記録手段
４２ 硬さ情報伝送手段
４３ 触力覚提示手段
４４ 垂直入射面印加力データ
５１ アレイ素子
６０ 触力覚提示装置
６２ ３次元形状計測装置
６３ 表面粗さ計測装置
６６ 伝送手段
７０ 感覚伝達装置
７１ 基台
７２ 駆動部
７３ リンク機構
７４ 指先伝達部
８０ 触力覚制御装置
８１ 仮想物体
８２ 仮想ハンド
【特許請求の範囲】
【請求項１】
ユーザに触力覚で提示する仮想空間上の仮想物体に対応する実物体の硬さ情報を計測するための表面硬さ計測装置において、
前記実物体の３次元形状を計測する３次元形状計測手段と、
前記３次元形状計測手段により得られる３次元形状情報から前記実物体の表面における予め設定された位置毎の変位を計測する変位計測手段と、
前記変位計測手段により得られる変位の比率又は変位量から前記実物体の計測した位置毎の粘弾性インピーダンスを推定し、推定された粘弾性インピーダンスにより前記実物体の所定位置毎の硬さ情報を取得する計測制御手段とを有することを特徴とする表面硬さ計測装置。
【請求項２】
前記変位計測手段は、
前記３次元形状情報に基づいて複数の超音波を前記実物体の表面の所定の位置に収束させて照射させるための超音波振動子アレイを有することを特徴とする請求項１に記載の表面硬さ計測装置。
【請求項３】
前記変位計測手段は、
前記超音波振動子アレイから放射される超音波の周波数を所定の周期で変化させ、変化によって発生する前記実物体の対象表面の振動振幅を計測して前記変位の比率又は変位量を計測することを特徴とする請求項２に記載の表面硬さ計測装置。
【請求項４】
前記請求項１乃至３の何れか１項に記載された表面硬さ計測装置を備えた触力覚提示装置において、
前記計測制御手段により得られる硬さ情報に基づいて、前記実物体に対応する仮想空間上の仮想物体に前記硬さ情報による力覚制御を行う触力覚提示手段を有することを特徴とする触力覚提示装置。
【請求項５】
前記計測制御手段は、
前記粘弾性インピーダンスにより得られる前記実物体の所定位置毎の硬さ情報を、前記仮想物体にマッピングすることを特徴とする請求項４に記載の触力覚提示装置。
【請求項６】
前記触力覚提示手段は、
前記３次元形状計測手段により得られる３次元形状情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする請求項４又は５に記載の触力覚提示装置。
【請求項７】
前記実物体の表面の凹凸及び粗さの情報を含む表面形状を取得する表面粗さ計測手段を有し、
前記触力覚提示手段は、前記表面粗さ計測手段により得られる表面粗さ情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする請求項４乃至６の何れか１項に記載の触力覚提示装置。
【請求項８】
コンピュータを、請求項１乃至３の何れか１項に記載の表面硬さ計測装置として機能させることを特徴とする表面硬さ計測プログラム。
【請求項９】
コンピュータを、請求項４乃至７の何れか１項に記載の触力覚提示装置として機能させることを特徴とする触力覚提示プログラム。
【請求項１】
ユーザに触力覚で提示する仮想空間上の仮想物体に対応する実物体の硬さ情報を計測するための表面硬さ計測装置において、
前記実物体の３次元形状を計測する３次元形状計測手段と、
前記３次元形状計測手段により得られる３次元形状情報から前記実物体の表面における予め設定された位置毎の変位を計測する変位計測手段と、
前記変位計測手段により得られる変位の比率又は変位量から前記実物体の計測した位置毎の粘弾性インピーダンスを推定し、推定された粘弾性インピーダンスにより前記実物体の所定位置毎の硬さ情報を取得する計測制御手段とを有することを特徴とする表面硬さ計測装置。
【請求項２】
前記変位計測手段は、
前記３次元形状情報に基づいて複数の超音波を前記実物体の表面の所定の位置に収束させて照射させるための超音波振動子アレイを有することを特徴とする請求項１に記載の表面硬さ計測装置。
【請求項３】
前記変位計測手段は、
前記超音波振動子アレイから放射される超音波の周波数を所定の周期で変化させ、変化によって発生する前記実物体の対象表面の振動振幅を計測して前記変位の比率又は変位量を計測することを特徴とする請求項２に記載の表面硬さ計測装置。
【請求項４】
前記請求項１乃至３の何れか１項に記載された表面硬さ計測装置を備えた触力覚提示装置において、
前記計測制御手段により得られる硬さ情報に基づいて、前記実物体に対応する仮想空間上の仮想物体に前記硬さ情報による力覚制御を行う触力覚提示手段を有することを特徴とする触力覚提示装置。
【請求項５】
前記計測制御手段は、
前記粘弾性インピーダンスにより得られる前記実物体の所定位置毎の硬さ情報を、前記仮想物体にマッピングすることを特徴とする請求項４に記載の触力覚提示装置。
【請求項６】
前記触力覚提示手段は、
前記３次元形状計測手段により得られる３次元形状情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする請求項４又は５に記載の触力覚提示装置。
【請求項７】
前記実物体の表面の凹凸及び粗さの情報を含む表面形状を取得する表面粗さ計測手段を有し、
前記触力覚提示手段は、前記表面粗さ計測手段により得られる表面粗さ情報と前記硬さ情報とに対応させて前記仮想物体に対する力覚制御を行うことを特徴とする請求項４乃至６の何れか１項に記載の触力覚提示装置。
【請求項８】
コンピュータを、請求項１乃至３の何れか１項に記載の表面硬さ計測装置として機能させることを特徴とする表面硬さ計測プログラム。
【請求項９】
コンピュータを、請求項４乃至７の何れか１項に記載の触力覚提示装置として機能させることを特徴とする触力覚提示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−３７４２０（Ｐ２０１２−３７４２０Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７８６３８（Ｐ２０１０−１７８６３８）
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]