力覚提示装置、仮想オブジェクト算出方法、および仮想オブジェクト算出プログラム
【課題】 仮想オブジェクトの形状変化の見た目の自然さとリアルタイム処理が両立でき、かつ見た目としてやわらかい物体がへこむようなオブジェクトの表現を可能にする。
【解決手段】 受容体１の位置または向きに応じて仮想空間内における仮想オブジェクトの状態を算出するとともに、該算出結果に基き前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段３を備える。この仮想オブジェクト算出手段３は、受容体１によって押し込む動作が行なわれた位置に相当する仮想オブジェクト上の点と該点を中心とした所定の領域内の該仮想オブジェクト上の各点について、押し込む方向の変移量をサイン関数で近似することにより、該仮想オブジェクトを算出する。
【解決手段】 受容体１の位置または向きに応じて仮想空間内における仮想オブジェクトの状態を算出するとともに、該算出結果に基き前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段３を備える。この仮想オブジェクト算出手段３は、受容体１によって押し込む動作が行なわれた位置に相当する仮想オブジェクト上の点と該点を中心とした所定の領域内の該仮想オブジェクト上の各点について、押し込む方向の変移量をサイン関数で近似することにより、該仮想オブジェクトを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、噴出空気等に受容体をかざすことによりその受容体に力覚を与えて力覚提示を行う力覚提示装置において、受容体を介して操作者に提示される触覚と表示された仮想オブジェクトの動きをマッチングさせる技術に関するものである。
【背景技術】
【０００２】
空気の噴出圧力を利用して操作者に力覚を提示する力覚提示装置が提案されている（例えば、非特許文献１、２参照）。この力覚提示装置によれば、噴出した空気を操作者が受容体で受け止めることにより、その噴出空気圧力を力覚として操作者に提示することができ、さらにその受容体の操作とバーチャルリアリティとを組み合わせることで、仮想空間内に表示した仮想オブジェクトを受容体との関係で変化・変形させたり移動させたりすることが可能となる。
【０００３】
このような力覚提示装置においては、受容体を介して操作する操作者の触覚と仮想空間に表示されている仮想オブジェクトの視覚とが整合されていることが重要である。噴出空気を利用した力覚提示装置においては、空気による力が弱いことから、強い力を持続させることが難しく、仮想物体の表面を押し込む動作に対応しては、仮想オブジェクトを移動させて表示することや、変形させて表示することが考えられる。
【０００４】
仮想物体の表面を押し込む動作に対応してその仮想物体を変形させる方法としては、仮想オブジェクトの頂点位置を直線的に移動させることで沈むように見せる方法があり、高速に処理可能であるが、空気によるやわらかい感覚には、その感覚により合致した視覚的表現の方が適している。例えば、押さえ込んだ動作をしたとき、弾性体を定義して変形をシミュレートするような物理的に正確な変化を与えるオブジェクト表現が考えられる（例えば、非特許文献３参照）。
【０００５】
【非特許文献１】鈴木由里子 著、「風圧によるUntethered 力覚提示インターフェース：３次元オブジェクトの表現」、電子情報通信学会マルチメディア・仮想環境基礎研究会（MVE)、７１−７６頁、２００３年７月
【非特許文献２】鈴木由里子 著、"Untethered Force Feedback Interface That Uses Air Jets",SIGGRAPH2004 website,2004-06、http://www.siggraph.org/s2004/conference/etech/untethered.php?=conference（平成１６年７月９日検索）
【非特許文献３】矢野博明、岩田幹夫 著「自律的自由局面を用いた仮想環境による協調作業」、電学論Ｃ、115巻、No.2、245-252頁、１９９５年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、その表現を行うために計算時間がかかり、表現に時間がかかることから、操作者とのインタラクティブシステムなど、リアルタイム処理を必要とする場面においては向かない。
【０００７】
本発明の目的は、仮想オブジェクトの形状変化の見た目の自然さとリアルタイム処理が両立でき、かつ見た目としてやわらかい物体がへこむような仮想オブジェクトの表現を可能として、受容体を介して操作者に提示される触覚と表示された仮想オブジェクトの動きをマッチングさせることである。
【課題を解決するための手段】
【０００８】
請求項１にかかる発明の力覚提示装置は、噴出口から噴出する気体又は液体による圧力を受容体に印加し、該受容体を介して操作者に力覚を提示する力覚提示装置において、前記受容体の位置又は向きに応じて、仮想空間内における仮想オブジェクトの状態を算出するとともに、該算出結果に基き前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段を備え、前記仮想オブジェクト算出手段は、前記受容体によって指示され、押し込む動作が行なわれた位置に相当する前記仮想オブジェクト上の点と該点を中心とした所定の領域内の該仮想オブジェクト上の各点について、押し込む方向の変移量を所定の関数で近似することにより、該仮想オブジェクトを算出することを特徴とする。
【０００９】
請求項２にかかる発明は、請求項１に記載の力覚提示装置において、前記所定の関数が三角関数に基づく関数であることを特徴とする。
【００１０】
請求項３にかかる発明は、請求項１に記載の力覚提示装置において、前記受容体の位置あるいは向き、又は前記仮想オブジェクト算出手段が算出した前記仮想オブジェクトの状態に応じて、前記気体または液体の噴出量を前記噴出口の位置または方向に基づき制御する噴出制御手段を備えることを特徴とする。
【００１１】
請求項４にかかる発明の仮想オブジェクト算出方法は、請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出方法であって、３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、 を有することを特徴とする。
【００１２】
請求項５にかかる仮想オブジェクト算出プログラムは、請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出プログラムであって、３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、仮想オブジェクト表面を三角関数等の所定の関数で近似して生成表示するので、高速計算可能となり、仮想オブジェクトの形状変化の見た目の自然さとリアルタイム処理を両立でき、かつ見た目としてやわらかい物体がへこむようなオブジェクトの表現が可能となり、受容体を介して操作者に提示される触覚と表示された仮想オブジェクトの動きをマッチングさせることができる。
【発明を実施するための最良の形態】
【００１４】
本発明では、噴出手段による空気等の噴出を受容体で受け止めることで操作者に力覚を提示し、受容体の位置に応じて仮想オブジェクトを変化させ、操作者に物体に触ったことを知覚させるバーチャルルアリティシステムにおいて、仮想オブジェクトの表面を押し込む動作に対応して、その仮想オブジェクトを変形する制御を行い、空気による触覚と３Ｄ映像の動きをマッチさせるＣＧ制御を行う。
【実施例】
【００１５】
図１は本発明の１つの実施例の力覚提示装置の構成図、図２は受容体と噴出手段と操作者との関係の説明図、図３は操作処理のフローチャートである。
【００１６】
受容体１は、図２に示すように、噴出手段６の噴出口６０２から噴出する噴出空気６０１（他の気体、液体等が使用可能であるが、ここで空気を使用する例について説明する。）を受け止めるためのものであり、操作者９の手に把持させ又は取り付けられる。この受容体１としては、操作者９が装着しているものなどそれ自体をそのまま利用することも可能である。受容体１で噴出空気６０１を受けることで、噴出空気６０１の圧力が操作者９には力覚として伝わることになる。
【００１７】
受容体計測手段２は、受容体１の位置あるいは向きを常時検出する手段であり、カメラ、磁気センサ、超音波センサ、赤外線センサ、後記するマーキングによる映像解析を利用する検出手段等が使用できる。
【００１８】
仮想オブジェクト算出手段３は、コンピュータにより実現されるものであり、受容体計測手段２で計測された受容体１の位置あるいは向きに応じて、仮想空間表示手段４で表示される仮想オブジェクトの状態（位置、形状、色等）を算出生成する。
【００１９】
仮想空間表示手段４は、仮想オブジェクト算出手段３の算出結果に基づき、仮想オブジェクトを含む仮想空間を表示する。仮想空間表示方法としては、一般のディスプレイ、ヘッドマウントディスプレイ（head mounted display)があり、また、プロジェクタによる投影が挙げられる。その際、操作者の視点位置を光学式又は磁気式などによる位置検出装置によって検出し、操作者の視点に応じた仮想空間表示を行うことができる。また、これに加えて、操作者の左右の目の位置に応じた仮想空間映像を表示するヘッドマウントディスプレイ又は立体視メガネを装着することで、立体的に仮想空間表示を行なうこともできる。
【００２０】
噴出制御手段５は、受容体計測手段２により計測された受容体１の位置あるいは向きに応じて、又は仮想空間内の仮想オブジェクトの状態に応じて、噴出手段６の噴出口６０２の位置又は方向に基づき、空気噴出量を制御する。この噴出制御手段５はコンピュータによって実現できる。
【００２１】
音発生制御手段７は、受容体計測手段２により計測された受容体１の位置あるいは向きに応じて、又は仮想空間表示手段４で表示される仮想オブジェクトの状態に応じて、音発生手段８で発生される音の属性（音色、音階、音量、強さ、高さ、発生タイミング、発生期間、発生回数など）を制御する。この音発生制御手段７としては、コンピュータを利用し、例えばコンピュータからＭＩＤＩ音源にＭＤＩコマンドを送ることによって、制御する。
【００２２】
音発生手段８は、例えばＭＩＤＩ規格の信号のデータにより制御することができるＭＩＤＩ音源を使用する。シンセサイザーなどのＭＩＤＩ音源モジュールとアンプとスピーカを使用する場合、又はコンピュータのＣＰＵによりソフトウェア的に音を合成するサウンドカードとアンプとスピーカを使用する場合などが挙げられる。
【００２３】
前記した仮想オブジェクト算出手段３により仮想オブジェクトの状態を算出する１つの例として、仮想オブジェクト上のある位置を受容体１によって指示し、さらに、その受容体１によってその位置を押し込む動作を行なう場合について考える。受容体１は、受容体計測手段２によって位置または向きを計測することが可能な特徴を備えていればよい。このような場合、本発明では、受容体１によって指示され、押し込む動作が行なわれた位置に相当する仮想オブジェクト上の点（へこみ点）とその点を中心とした所定の半径の円領域内の仮想オブジェクト上の各点について、押し込む方向の変移量（下方に押し込む場合は、高さ方向のへこみ量）のみを三角関数に基づく関数（サイン曲線）で近似することにより、仮想オブジェクトを変形させて描画する。
【００２４】
具体的には、３次元空間内に配置された４個以上の頂点をもつ仮想オブジェクトのジオメトリを用意する。図４に示すように、そのオブジェクトのある頂点を下方に押し込む動作を行うことで、高さが変化し頂点Ｐ(xp,yp',zp)に移動したとする。このときのオブジェクトの頂点Ｐ周辺の他の頂点群ｑ(xq,yq,zq)は、以下の式より算出する。
If｛（XZ＜constC)and(Y>0)｝then yq'＝yq＋Y (1)
但し、
XZ＝｛(xp-xq）2＋(zp-zq)2｝1/2 (2)
Y＝(yp'−yq)×[1−sin{(−1/2＋XZ/constC)×π｝]/2 (3)
【００２５】
ここで、πは円周率である。また、constCはへこみ点Ｐを中心としたときのへこみの広がり幅として設定するものであり、このconstCが大きいほど頂点Ｐのx,y座標から遠い点までへこみみの幅が広がるが、広がるほどなだらかになる。(3)式のＹが各位置（頂点）におけるへこみ量を表している。なお、このオブジェクトが存在する仮想空間の高さを表す座標軸のＹ軸は，上方向を−，下方向を＋としている。
【００２６】
本実施例の仮想オブジェクト算出手段３が行う処理のフローチャートを図５に示す。これは図３の処理Ｓ１２をより詳しく表したものである。
【００２７】
まず、ステップＳ１２−１では、３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する。次のステップＳ１２−２では、受容体計測手段２から入力した受容体１の位置に基づき、受容体１によって指示され、押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点Ｐとして特定するとともに、その位置座標Ｐ(xp,yp',zp)を求める。次のステップＳ１２−３では、へこみ点Ｐのx,z座標を中心とした半径constCの円領域内の仮想オブジェクト上の点を全て特定する。次のステップ１２−４では、ステップＳ１２−３で特定された仮想オブジェクト上の各点について、押し込む方向の変移量をサイン曲線で近似する。図６に本実施例によって描画きれたＣＧの一例を線図で示す。
【００２８】
なお、上記の例では、オブジェクトの押し込む方向の変移量をサイン曲線で近似したが、変移量を近似する関数としては、このような三角関数の他に、２次関数、３次関数、または４次以上の関数など、任意の関数を用いることができる。
【００２９】
図７は、実際に力覚提示される領域に仮想空間表示手段４としてのプロジェクタを使用して映像を投影し、操作者９には立体視メガネ１１を装着させるシステムの具体例を示す図である。この方法は、操作者９ヘの負荷が少ない。本システムにより、噴出手段６における力覚提示する領域（複数の噴出口６０２の配置された領域）に仮想オブジェクト１２を立体表示させると、視覚と力覚による提示位置を一致させることができ、直感的な体験が可能になる。また、本システムでは、力覚を伝えるために空気を使用するので、映像表示を邪魔しない特徴を生かすことができる。
【００３０】
この投影による立体表示に使用する立体視メガネ１１の例としては、赤と青の映像と赤青メガネ、偏向をさせた投影映像と偏向メガネ、時分割で切り替えた左右映像とシャッターメガネなどを挙げることができる。
【００３１】
本システムでは、操作者９の両目の視点に応じた仮想空間表示手段４による立体映像の仮想オブジェクト１２と噴出手段６による力覚提示とを統合させるため、噴出口６０２としてのノズルが埋め込まれた噴出手段６としての机の真上に、仮想空間表示手段４としてのプロジェクタを取り付け、コンピュータ１３で構築された仮想オブジェクト算出手段３による仮想空間の映像を、その机の上に投影する。その仮想空間の映像としては、机の上に存在すると仮定した仮想オブジェクト１２を、操作者９の左右の目の視点位置から見た場合の左右の仮想空間映像として投影する。
【００３２】
操作者９の視点位置は、例えば操作者９が装着した立体視メガネ１１の左右の目に近い部分にマーカ１４を取り付け、このマーカ１４を受容体計測手段２とは別の光学位置検出手段（カメラなど）によって検出する。このようにすることによって、操作者９の左右の目の位置を直接検出しなくても、操作者９の視点に応じた立体映像を投影することができ、噴出手段６の噴出口６０２の上の空間に仮想オブジェクト１２を浮かび上がらせて表示させ、視覚提示することができる。なお、ここでは受容体１にもマーカ１４を取り付け、受容体計測手段２によりその位置あるいは向きが検出できるようにしている。
【００３３】
なお、以上説明した力覚提示装置の仮想オブジェクト算出手段３、噴出制御手段５、音発生制御手段７などは、コンピュータとプログラムによって実現でき、そのプログラムは記録媒体に記録して提供することも、またネットワークを通じて提供することも可能である。
【図面の簡単な説明】
【００３４】
【図１】本実施例の力覚提示装置の構成図である。
【図２】本実施例の力覚提示装置の受容体と噴出手段と操作者の部分の関係の説明図である。
【図３】本実施例の力覚提示装置の操作処理のフローチャートである。
【図４】本実施例の仮想オブジェクト変形の説明図である。
【図５】本実施例の仮想オブジェクト算出手段の処理のフローチャートである。
【図６】本実施例の仮想オブジェクト変形のイメージを表す線図である。
【図７】本実施例の力覚提示装置の動作説明図である。
【符号の説明】
【００３５】
１：受容体
２：受容体計測手段
３：仮想オブジェクト算出手段
４：仮想空間表示手段
５：噴出制御手段
６：噴出手段、６０１：噴出空気、６０２：噴出口
７：音発生制御手段
８：音発生手段
９：操作者
１１：立体視メガネ
１２：仮想オブジェクト
１３：コンピュータ
１４：マーカ
【技術分野】
【０００１】
本発明は、噴出空気等に受容体をかざすことによりその受容体に力覚を与えて力覚提示を行う力覚提示装置において、受容体を介して操作者に提示される触覚と表示された仮想オブジェクトの動きをマッチングさせる技術に関するものである。
【背景技術】
【０００２】
空気の噴出圧力を利用して操作者に力覚を提示する力覚提示装置が提案されている（例えば、非特許文献１、２参照）。この力覚提示装置によれば、噴出した空気を操作者が受容体で受け止めることにより、その噴出空気圧力を力覚として操作者に提示することができ、さらにその受容体の操作とバーチャルリアリティとを組み合わせることで、仮想空間内に表示した仮想オブジェクトを受容体との関係で変化・変形させたり移動させたりすることが可能となる。
【０００３】
このような力覚提示装置においては、受容体を介して操作する操作者の触覚と仮想空間に表示されている仮想オブジェクトの視覚とが整合されていることが重要である。噴出空気を利用した力覚提示装置においては、空気による力が弱いことから、強い力を持続させることが難しく、仮想物体の表面を押し込む動作に対応しては、仮想オブジェクトを移動させて表示することや、変形させて表示することが考えられる。
【０００４】
仮想物体の表面を押し込む動作に対応してその仮想物体を変形させる方法としては、仮想オブジェクトの頂点位置を直線的に移動させることで沈むように見せる方法があり、高速に処理可能であるが、空気によるやわらかい感覚には、その感覚により合致した視覚的表現の方が適している。例えば、押さえ込んだ動作をしたとき、弾性体を定義して変形をシミュレートするような物理的に正確な変化を与えるオブジェクト表現が考えられる（例えば、非特許文献３参照）。
【０００５】
【非特許文献１】鈴木由里子 著、「風圧によるUntethered 力覚提示インターフェース：３次元オブジェクトの表現」、電子情報通信学会マルチメディア・仮想環境基礎研究会（MVE)、７１−７６頁、２００３年７月
【非特許文献２】鈴木由里子 著、"Untethered Force Feedback Interface That Uses Air Jets",SIGGRAPH2004 website,2004-06、http://www.siggraph.org/s2004/conference/etech/untethered.php?=conference（平成１６年７月９日検索）
【非特許文献３】矢野博明、岩田幹夫 著「自律的自由局面を用いた仮想環境による協調作業」、電学論Ｃ、115巻、No.2、245-252頁、１９９５年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、その表現を行うために計算時間がかかり、表現に時間がかかることから、操作者とのインタラクティブシステムなど、リアルタイム処理を必要とする場面においては向かない。
【０００７】
本発明の目的は、仮想オブジェクトの形状変化の見た目の自然さとリアルタイム処理が両立でき、かつ見た目としてやわらかい物体がへこむような仮想オブジェクトの表現を可能として、受容体を介して操作者に提示される触覚と表示された仮想オブジェクトの動きをマッチングさせることである。
【課題を解決するための手段】
【０００８】
請求項１にかかる発明の力覚提示装置は、噴出口から噴出する気体又は液体による圧力を受容体に印加し、該受容体を介して操作者に力覚を提示する力覚提示装置において、前記受容体の位置又は向きに応じて、仮想空間内における仮想オブジェクトの状態を算出するとともに、該算出結果に基き前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段を備え、前記仮想オブジェクト算出手段は、前記受容体によって指示され、押し込む動作が行なわれた位置に相当する前記仮想オブジェクト上の点と該点を中心とした所定の領域内の該仮想オブジェクト上の各点について、押し込む方向の変移量を所定の関数で近似することにより、該仮想オブジェクトを算出することを特徴とする。
【０００９】
請求項２にかかる発明は、請求項１に記載の力覚提示装置において、前記所定の関数が三角関数に基づく関数であることを特徴とする。
【００１０】
請求項３にかかる発明は、請求項１に記載の力覚提示装置において、前記受容体の位置あるいは向き、又は前記仮想オブジェクト算出手段が算出した前記仮想オブジェクトの状態に応じて、前記気体または液体の噴出量を前記噴出口の位置または方向に基づき制御する噴出制御手段を備えることを特徴とする。
【００１１】
請求項４にかかる発明の仮想オブジェクト算出方法は、請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出方法であって、３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、 を有することを特徴とする。
【００１２】
請求項５にかかる仮想オブジェクト算出プログラムは、請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出プログラムであって、３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、仮想オブジェクト表面を三角関数等の所定の関数で近似して生成表示するので、高速計算可能となり、仮想オブジェクトの形状変化の見た目の自然さとリアルタイム処理を両立でき、かつ見た目としてやわらかい物体がへこむようなオブジェクトの表現が可能となり、受容体を介して操作者に提示される触覚と表示された仮想オブジェクトの動きをマッチングさせることができる。
【発明を実施するための最良の形態】
【００１４】
本発明では、噴出手段による空気等の噴出を受容体で受け止めることで操作者に力覚を提示し、受容体の位置に応じて仮想オブジェクトを変化させ、操作者に物体に触ったことを知覚させるバーチャルルアリティシステムにおいて、仮想オブジェクトの表面を押し込む動作に対応して、その仮想オブジェクトを変形する制御を行い、空気による触覚と３Ｄ映像の動きをマッチさせるＣＧ制御を行う。
【実施例】
【００１５】
図１は本発明の１つの実施例の力覚提示装置の構成図、図２は受容体と噴出手段と操作者との関係の説明図、図３は操作処理のフローチャートである。
【００１６】
受容体１は、図２に示すように、噴出手段６の噴出口６０２から噴出する噴出空気６０１（他の気体、液体等が使用可能であるが、ここで空気を使用する例について説明する。）を受け止めるためのものであり、操作者９の手に把持させ又は取り付けられる。この受容体１としては、操作者９が装着しているものなどそれ自体をそのまま利用することも可能である。受容体１で噴出空気６０１を受けることで、噴出空気６０１の圧力が操作者９には力覚として伝わることになる。
【００１７】
受容体計測手段２は、受容体１の位置あるいは向きを常時検出する手段であり、カメラ、磁気センサ、超音波センサ、赤外線センサ、後記するマーキングによる映像解析を利用する検出手段等が使用できる。
【００１８】
仮想オブジェクト算出手段３は、コンピュータにより実現されるものであり、受容体計測手段２で計測された受容体１の位置あるいは向きに応じて、仮想空間表示手段４で表示される仮想オブジェクトの状態（位置、形状、色等）を算出生成する。
【００１９】
仮想空間表示手段４は、仮想オブジェクト算出手段３の算出結果に基づき、仮想オブジェクトを含む仮想空間を表示する。仮想空間表示方法としては、一般のディスプレイ、ヘッドマウントディスプレイ（head mounted display)があり、また、プロジェクタによる投影が挙げられる。その際、操作者の視点位置を光学式又は磁気式などによる位置検出装置によって検出し、操作者の視点に応じた仮想空間表示を行うことができる。また、これに加えて、操作者の左右の目の位置に応じた仮想空間映像を表示するヘッドマウントディスプレイ又は立体視メガネを装着することで、立体的に仮想空間表示を行なうこともできる。
【００２０】
噴出制御手段５は、受容体計測手段２により計測された受容体１の位置あるいは向きに応じて、又は仮想空間内の仮想オブジェクトの状態に応じて、噴出手段６の噴出口６０２の位置又は方向に基づき、空気噴出量を制御する。この噴出制御手段５はコンピュータによって実現できる。
【００２１】
音発生制御手段７は、受容体計測手段２により計測された受容体１の位置あるいは向きに応じて、又は仮想空間表示手段４で表示される仮想オブジェクトの状態に応じて、音発生手段８で発生される音の属性（音色、音階、音量、強さ、高さ、発生タイミング、発生期間、発生回数など）を制御する。この音発生制御手段７としては、コンピュータを利用し、例えばコンピュータからＭＩＤＩ音源にＭＤＩコマンドを送ることによって、制御する。
【００２２】
音発生手段８は、例えばＭＩＤＩ規格の信号のデータにより制御することができるＭＩＤＩ音源を使用する。シンセサイザーなどのＭＩＤＩ音源モジュールとアンプとスピーカを使用する場合、又はコンピュータのＣＰＵによりソフトウェア的に音を合成するサウンドカードとアンプとスピーカを使用する場合などが挙げられる。
【００２３】
前記した仮想オブジェクト算出手段３により仮想オブジェクトの状態を算出する１つの例として、仮想オブジェクト上のある位置を受容体１によって指示し、さらに、その受容体１によってその位置を押し込む動作を行なう場合について考える。受容体１は、受容体計測手段２によって位置または向きを計測することが可能な特徴を備えていればよい。このような場合、本発明では、受容体１によって指示され、押し込む動作が行なわれた位置に相当する仮想オブジェクト上の点（へこみ点）とその点を中心とした所定の半径の円領域内の仮想オブジェクト上の各点について、押し込む方向の変移量（下方に押し込む場合は、高さ方向のへこみ量）のみを三角関数に基づく関数（サイン曲線）で近似することにより、仮想オブジェクトを変形させて描画する。
【００２４】
具体的には、３次元空間内に配置された４個以上の頂点をもつ仮想オブジェクトのジオメトリを用意する。図４に示すように、そのオブジェクトのある頂点を下方に押し込む動作を行うことで、高さが変化し頂点Ｐ(xp,yp',zp)に移動したとする。このときのオブジェクトの頂点Ｐ周辺の他の頂点群ｑ(xq,yq,zq)は、以下の式より算出する。
If｛（XZ＜constC)and(Y>0)｝then yq'＝yq＋Y (1)
但し、
XZ＝｛(xp-xq）2＋(zp-zq)2｝1/2 (2)
Y＝(yp'−yq)×[1−sin{(−1/2＋XZ/constC)×π｝]/2 (3)
【００２５】
ここで、πは円周率である。また、constCはへこみ点Ｐを中心としたときのへこみの広がり幅として設定するものであり、このconstCが大きいほど頂点Ｐのx,y座標から遠い点までへこみみの幅が広がるが、広がるほどなだらかになる。(3)式のＹが各位置（頂点）におけるへこみ量を表している。なお、このオブジェクトが存在する仮想空間の高さを表す座標軸のＹ軸は，上方向を−，下方向を＋としている。
【００２６】
本実施例の仮想オブジェクト算出手段３が行う処理のフローチャートを図５に示す。これは図３の処理Ｓ１２をより詳しく表したものである。
【００２７】
まず、ステップＳ１２−１では、３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する。次のステップＳ１２−２では、受容体計測手段２から入力した受容体１の位置に基づき、受容体１によって指示され、押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点Ｐとして特定するとともに、その位置座標Ｐ(xp,yp',zp)を求める。次のステップＳ１２−３では、へこみ点Ｐのx,z座標を中心とした半径constCの円領域内の仮想オブジェクト上の点を全て特定する。次のステップ１２−４では、ステップＳ１２−３で特定された仮想オブジェクト上の各点について、押し込む方向の変移量をサイン曲線で近似する。図６に本実施例によって描画きれたＣＧの一例を線図で示す。
【００２８】
なお、上記の例では、オブジェクトの押し込む方向の変移量をサイン曲線で近似したが、変移量を近似する関数としては、このような三角関数の他に、２次関数、３次関数、または４次以上の関数など、任意の関数を用いることができる。
【００２９】
図７は、実際に力覚提示される領域に仮想空間表示手段４としてのプロジェクタを使用して映像を投影し、操作者９には立体視メガネ１１を装着させるシステムの具体例を示す図である。この方法は、操作者９ヘの負荷が少ない。本システムにより、噴出手段６における力覚提示する領域（複数の噴出口６０２の配置された領域）に仮想オブジェクト１２を立体表示させると、視覚と力覚による提示位置を一致させることができ、直感的な体験が可能になる。また、本システムでは、力覚を伝えるために空気を使用するので、映像表示を邪魔しない特徴を生かすことができる。
【００３０】
この投影による立体表示に使用する立体視メガネ１１の例としては、赤と青の映像と赤青メガネ、偏向をさせた投影映像と偏向メガネ、時分割で切り替えた左右映像とシャッターメガネなどを挙げることができる。
【００３１】
本システムでは、操作者９の両目の視点に応じた仮想空間表示手段４による立体映像の仮想オブジェクト１２と噴出手段６による力覚提示とを統合させるため、噴出口６０２としてのノズルが埋め込まれた噴出手段６としての机の真上に、仮想空間表示手段４としてのプロジェクタを取り付け、コンピュータ１３で構築された仮想オブジェクト算出手段３による仮想空間の映像を、その机の上に投影する。その仮想空間の映像としては、机の上に存在すると仮定した仮想オブジェクト１２を、操作者９の左右の目の視点位置から見た場合の左右の仮想空間映像として投影する。
【００３２】
操作者９の視点位置は、例えば操作者９が装着した立体視メガネ１１の左右の目に近い部分にマーカ１４を取り付け、このマーカ１４を受容体計測手段２とは別の光学位置検出手段（カメラなど）によって検出する。このようにすることによって、操作者９の左右の目の位置を直接検出しなくても、操作者９の視点に応じた立体映像を投影することができ、噴出手段６の噴出口６０２の上の空間に仮想オブジェクト１２を浮かび上がらせて表示させ、視覚提示することができる。なお、ここでは受容体１にもマーカ１４を取り付け、受容体計測手段２によりその位置あるいは向きが検出できるようにしている。
【００３３】
なお、以上説明した力覚提示装置の仮想オブジェクト算出手段３、噴出制御手段５、音発生制御手段７などは、コンピュータとプログラムによって実現でき、そのプログラムは記録媒体に記録して提供することも、またネットワークを通じて提供することも可能である。
【図面の簡単な説明】
【００３４】
【図１】本実施例の力覚提示装置の構成図である。
【図２】本実施例の力覚提示装置の受容体と噴出手段と操作者の部分の関係の説明図である。
【図３】本実施例の力覚提示装置の操作処理のフローチャートである。
【図４】本実施例の仮想オブジェクト変形の説明図である。
【図５】本実施例の仮想オブジェクト算出手段の処理のフローチャートである。
【図６】本実施例の仮想オブジェクト変形のイメージを表す線図である。
【図７】本実施例の力覚提示装置の動作説明図である。
【符号の説明】
【００３５】
１：受容体
２：受容体計測手段
３：仮想オブジェクト算出手段
４：仮想空間表示手段
５：噴出制御手段
６：噴出手段、６０１：噴出空気、６０２：噴出口
７：音発生制御手段
８：音発生手段
９：操作者
１１：立体視メガネ
１２：仮想オブジェクト
１３：コンピュータ
１４：マーカ
【特許請求の範囲】
【請求項１】
噴出口から噴出する気体又は液体による圧力を受容体に印加し、該受容体を介して操作者に力覚を提示する力覚提示装置において、
前記受容体の位置又は向きに応じて、仮想空間内における仮想オブジェクトの状態を算出するとともに、該算出結果に基き前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段を備え、
前記仮想オブジェクト算出手段は、前記受容体によって指示され、押し込む動作が行なわれた位置に相当する前記仮想オブジェクト上の点と該点を中心とした所定の領域内の該仮想オブジェクト上の各点について、押し込む方向の変移量を所定の関数で近似することにより、該仮想オブジェクトを算出することを特徴とする力覚提示装置。
【請求項２】
前記所定の関数が三角関数に基づく関数であることを特徴とする請求項１に記載の力覚提示装置。
【請求項３】
前記受容体の位置あるいは向き、又は前記仮想オブジェクト算出手段が算出した前記仮想オブジェクトの状態に応じて、前記気体または液体の噴出量を前記噴出口の位置または方向に基づき制御する噴出制御手段を備えることを特徴とする請求項１に記載の力覚提示装置。
【請求項４】
請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出方法であって、
３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、
受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、
前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、
前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、
を有することを特徴とする仮想オブジェクト算出方法。
【請求項５】
請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出プログラムであって、
３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、
受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、
前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、
前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、
を有することを特徴とする仮想オブジェクト算出プログラム。
【請求項１】
噴出口から噴出する気体又は液体による圧力を受容体に印加し、該受容体を介して操作者に力覚を提示する力覚提示装置において、
前記受容体の位置又は向きに応じて、仮想空間内における仮想オブジェクトの状態を算出するとともに、該算出結果に基き前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段を備え、
前記仮想オブジェクト算出手段は、前記受容体によって指示され、押し込む動作が行なわれた位置に相当する前記仮想オブジェクト上の点と該点を中心とした所定の領域内の該仮想オブジェクト上の各点について、押し込む方向の変移量を所定の関数で近似することにより、該仮想オブジェクトを算出することを特徴とする力覚提示装置。
【請求項２】
前記所定の関数が三角関数に基づく関数であることを特徴とする請求項１に記載の力覚提示装置。
【請求項３】
前記受容体の位置あるいは向き、又は前記仮想オブジェクト算出手段が算出した前記仮想オブジェクトの状態に応じて、前記気体または液体の噴出量を前記噴出口の位置または方向に基づき制御する噴出制御手段を備えることを特徴とする請求項１に記載の力覚提示装置。
【請求項４】
請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出方法であって、
３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、
受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、
前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、
前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、
を有することを特徴とする仮想オブジェクト算出方法。
【請求項５】
請求項１に記載の力覚提示装置における仮想オブジェクト算出手段を実施する仮想オブジェクト算出プログラムであって、
３次元空間内に４個以上の頂点をもつ仮想オブジェクトのジオメトリを配置する第１ステップと、
受容体の位置に基づき該受容体によって指示され押し込む動作が行われた位置に相当する仮想オブジェクト上の点をへこみ点として特定するとともに、その位置座標を求める第２ステップと、
前記へこみ点の座標を中心とした所定の半径の円領域内の仮想オブジェクト上の点を全て特定する第３ステップと、
前記第３ステップで特定された仮想オブジェクト上の各点について、押し込み方向の変移量を所定の関数で近似する第４ステップと、
を有することを特徴とする仮想オブジェクト算出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−４８３８６（Ｐ２００６−４８３８６Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２８７７９（Ｐ２００４−２２８７７９）
【出願日】平成１６年８月５日（２００４．８．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月５日（２００４．８．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]