多感覚インタラクションシステム
【構成】 多感覚インタラクションシステム１０は、全体制御を行うコンピュータ１２を含み、複数の感覚情報を統合してユーザに提示することによって、仮想物体が実在しているような感覚をユーザに与える。３次元モニタ１４は、仮想物体の立体映像を表示する。触覚デバイス１８は、ユーザによる操作を受け付け、仮想物体に触れることよって生じる反力をユーザに与える。ヘッドホン１６および嗅覚ディスプレイ２０は、仮想物体からの反力に応じて、つまりユーザが仮想物体に対して能動的に与える力に連動して、音および香りをユーザに提示する。
【効果】 ４つの感覚情報を緊密に連携させてユーザに提示するので、仮想物体に対するより高い臨場感や現実感をユーザに与えることができる。
【効果】 ４つの感覚情報を緊密に連携させてユーザに提示するので、仮想物体に対するより高い臨場感や現実感をユーザに与えることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は多感覚インタラクションシステムに関し、特にたとえば、複数の感覚情報を統合して提示することによって仮想物体が実在している感覚をユーザに与える、多感覚インタラクションシステムに関する。
【背景技術】
【０００２】
従来の多感覚インタラクションシステムの一例が特許文献１に開示されている。特許文献１のシステムは、３Ｄ表示部、力覚提示部および音出力部を備え、ユーザの動作に合わせて接触音をリアルタイムで生成している。そして、視覚、聴覚および触覚の３つの感覚情報を統合して提示することによって、仮想物体が実在している感覚をユーザに与えている。
【０００３】
一方、視聴覚情報に加えて嗅覚情報を提示するシステムも数多く提案されている。たとえば、非特許文献１には、画面上に表示された風船に向かって手をかざすと、それに合わせて風船が割れて香りが提示されるシステムが開示されている。
【特許文献１】特開２００９−２０５６２６号公報 [Ｇ０６Ｔ １７／４０]
【非特許文献１】http://www.iwata-kaori.jp/ 「磐田市香りの博物館」
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人間は、視覚、聴覚、嗅覚、味覚および触覚のいわゆる五感を総合的に用いて、外界からの情報を獲得している。したがって、仮想物体が実在している感覚をユーザに与えるためには、より多くの感覚情報を緊密に連携させて提示することが望ましい。しかしながら、特許文献１の技術では、視覚、聴覚および触覚の３つの感覚情報を統合して提示するだけであるので、臨場感や現実感という点においては、十分とは言えない。また、非特許文献１の技術では、触覚情報の提示は行われておらず、仮想物体が実在している感覚をユーザに与えることができない。
【０００５】
それゆえに、この発明の主たる目的は、新規な、多感覚インタラクションシステムを提供することである。
【０００６】
この発明の他の目的は、より高い臨場感や現実感をユーザに与えることができる、多感覚インタラクションシステムを提供することである。
【課題を解決するための手段】
【０００７】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００８】
第１の発明は、複数の感覚情報を統合して提示することによって仮想物体が実在している感覚をユーザに与える多感覚インタラクションシステムであって、仮想物体の映像を提示する視覚情報提示手段、ユーザによる操作を受け付け仮想物体からの反力を提示する触覚情報提示手段、および反力に応じて匂いを提示する嗅覚情報提示手段を備える、多感覚インタラクションシステムである。
【０００９】
第１の発明では、多感覚インタラクションシステム（１０）は、視覚情報提示手段（１２，１４，２２，２４，２６）を備え、視覚情報提示手段は、仮想物体の映像、つまり視覚情報をユーザに提示する。触覚情報提示手段（１２，１８，３０）は、ユーザの操作を受け付ける操作部（３０）を含み、操作部の位置および仮想物体（対象物）の物性などに応じて、操作部が仮想物体に触れることによって生じる反力を算出し、操作部を操作するユーザにその反力、つまり触覚情報を与える。嗅覚情報提示手段（１２，２０，３２）は、ユーザの能動的な動作に伴って触覚情報提示手段によって提示される反力に応じて、ユーザに匂い、つまり嗅覚情報を提示する。たとえば、反力が臨界値を超えたときにユーザに匂いを提示したり、反力の大きさに比例させて匂いの強度や時間の長短を変えてユーザに匂いを提示したりする。
【００１０】
第１の発明によれば、視覚情報および触覚情報に加えて嗅覚情報を連動させてユーザに提示するので、仮想物体が実在しているような感覚を高い臨場感や現実感でユーザに与えることができる。また、ユーザの能動的な動作に伴って嗅覚情報を提示するので、ユーザは嗅覚情報を意識し易くなり、嗅覚情報によって臨場感を高める効果がより有効なものとなる。
【００１１】
第２の発明は、第１の発明に従属し、視覚情報提示手段は、仮想物体の立体映像を提示する。
【００１２】
第２の発明では、視覚情報提示手段（１２，１４，２２，２４，２６）は、仮想物体の立体映像をユーザに提示する。つまり、視覚情報を現実世界により近い状態でユーザに提示する。したがって、より高い臨場感や現実感をユーザに与えることができる。
【００１３】
第３の発明は、第１または第２の発明に従属し、反力に応じて音を提示する聴覚情報提示手段をさらに備える。
【００１４】
第３の発明では、聴覚情報提示手段（１２，１６）をさらに備える。聴覚情報提示手段は、ユーザの能動的な動作に伴って触覚情報提示手段（１２，１８，３０）によって提示される反力に応じて、ユーザに音、つまり聴覚情報を提示する。
【００１５】
第３の発明によれば、視覚、聴覚、触覚および嗅覚の４つの感覚情報を連携させてユーザに提示するので、より高い臨場感や現実感をユーザに与えることができる。
【００１６】
第４の発明は、第１ないし第３のいずれかの発明に従属し、視覚情報提示手段は、反力に応じて仮想物体の形状を変化させて提示し、嗅覚情報提示手段は、仮想物体が形状変化したときに匂いを提示する。
【００１７】
第４の発明では、視覚情報提示手段（１２，１４，２２，２４，２６）は、ユーザの能動的な動作に伴って触覚情報提示手段（１２，１８，３０）によって提示される反力に応じて、仮想物体の形状を変化させて提示する。嗅覚情報提示手段（１２，２０，３２）は、仮想物体が形状変化したとき、たとえば、仮想物体が破裂したり、窪んだりしたときに匂いを提示する。
【００１８】
第４の発明によれば、視覚、触覚および嗅覚の３つの感覚情報がより緊密に連携してユーザに提示されるので、より高い臨場感や現実感をユーザに与えることができる。
【００１９】
第５の発明は、第１ないし第４のいずれかの発明に従属し、視覚情報提示手段は、匂いの発生を想起させる効果映像をさらに提示する。
【００２０】
第５の発明では、視覚情報提示手段（１２，１４，２２，２４，２６）は、たとえば仮想物体からユーザに向かって飛んでくる放射状の線のような、匂いの発生を想起させる効果映像を表示する。
【００２１】
第５の発明によれば、効果映像を表示することによって、ユーザの注意力が増すので、ユーザは嗅覚情報をより強く感じることができ、嗅覚情報によって臨場感を高める効果がより有効なものとなる。
【発明の効果】
【００２２】
第１の発明によれば、視覚情報および触覚情報に加えて嗅覚情報を連動させてユーザに提示するので、仮想物体が実在しているような感覚を高い臨場感や現実感でユーザに与えることができる。また、ユーザの能動的な動作に伴って嗅覚情報を提示するので、ユーザは匂いを意識し易くなり、嗅覚情報によって臨場感を高める効果がより有効なものとなる。
【００２３】
また、第３の発明によれば、視覚、聴覚、触覚および嗅覚の４つの感覚情報を緊密に連携させてユーザに提示するので、より高い臨場感や現実感をユーザに与えることができる。
【００２４】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う後述の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２５】
【図１】この発明の一実施例の多感覚インタラクションシステムをユーザが体験している様子を示す図解図である。
【図２】この発明の一実施例の多感覚インタラクションシステムの構成を示すブロック図である。
【図３】図２のコンピュータのメモリのメモリマップを示す図解図である。
【図４】図２の多感覚インタラクションシステムの動作を説明するための図解図である。
【図５】図２のコンピュータのＣＰＵが実行する全体処理の一例を示すフロー図である。
【図６】図２のコンピュータのＣＰＵが実行する全体処理の他の一例を示すフロー図である。
【発明を実施するための形態】
【００２６】
図１を参照して、この発明の一実施例である多感覚インタラクションシステム１０（以下、単に「システム１０」という。）は、３次元モニタ１４、ヘッドホン１６、触覚デバイス１８および嗅覚ディスプレイ２０を備え、視覚、聴覚、触覚および嗅覚の４つの感覚情報を統合してユーザに提示することによって、仮想物体が実在しているような感覚をユーザに与える。
【００２７】
図２は、システム１０の構成を示すブロック図である。図２に示すように、システム１０は、全体制御を実行するコンピュータ１２を備え、このコンピュータ１２には、３次元モニタ１４、ヘッドホン１６、触覚デバイス１８および嗅覚ディスプレイ２０等が接続される。
【００２８】
３次元モニタ１４は、仮想物体（対象物）の立体映像（視覚情報）をユーザに提示するものであり、ディスプレイ２２、ハーフミラー２４および液晶シャッタメガネ２６を含む。この３次元モニタ１４では、コンピュータ１２からの信号に基づいてディスプレイ２２に仮想物体の映像２２ａ（図１参照）が表示され、その映像２２ａはハーフミラー２４によって反射される。また、液晶シャッタメガネ２６は、エミッタ２８を介して送られるコンピュータ１２からの信号に基づいて左右視差が生じるように制御される。この液晶シャッタメガネ２６を装着したユーザは、ハーフミラー２４を介して仮想物体の立体映像を見ることができる。
【００２９】
ヘッドホン１６は、コンピュータ１２からの信号に基づいて音（聴覚情報）を出力する。ただし、ヘッドホン１６の代わりに、或いはヘッドホン１６と共に、スピーカによってユーザに音を提示してもよい。
【００３０】
触覚デバイス１８は、コンピュータ１２と双方向に連動して、仮想物体に触れたユーザにその反力（感触、触覚情報）を提示するものである。触覚デバイス１８は、ユーザによる操作を受け付けるペン型の操作部３０を含み（図１では操作部３０以外の部分は省略している）、操作部３０には、その位置および仮想物体の物性（硬さや風合い）等に応じた反力が与えられる。この操作部３０を操作するユーザは、仮想物体を疑似的に触ることができ、仮想物体に外力を与えることができる。触覚デバイス１８としては、たとえば、Ｐｈａｎｔｏｍ（登録商標）Ｐｒｅｍｉｕｍ１.５を用いることができる。ただし、触覚デバイス１８の種類はこれに限定されず、たとえば、グローブ型の操作部を有する触覚デバイスを用いてもよい。
【００３１】
嗅覚ディスプレイ２０は、コントローラ３２を介して送られるコンピュータ１２からの信号に基づいて、ユーザに匂い（香り、嗅覚情報）を提示する。コントローラ３２は、コンピュータ１２から送られてくる指示信号に応じて嗅覚ディスプレイ２０を駆動するためのＰＩＣ（Peripheral Interface Controller）マイコン３４およびＭＯＳ-ＦＥＴ３６を含み、嗅覚ディスプレイ２０は、コントローラ３２からの指示に従って時空間制御可能に匂いを放出する。嗅覚ディスプレイ２０としては、公知のものを用いることができる。たとえば、香料を封入したマイクロカプセルを破壊して芳香を発生させ、その芳香を送風ファンによって運ぶマイクロカプセル方式のものを採用することもできるし、タンクに充填した香料をタンクの微小な孔から放出するインクジェット方式のものを採用することもできる。
【００３２】
コンピュータ１２は、上述のようにシステム１０の全体制御を実行し、３次元モニタ１４、ヘッドホン１６、触覚デバイス１８および嗅覚ディスプレイ２０を連動させるための制御装置として機能する。コンピュータ１２は、パーソナルコンピュータのような汎用のコンピュータであり、ＣＰＵ３８、メモリ４０、モニタ等の表示装置（図示せず）、およびキーボードやマウス等の入力装置（図示せず）などを備える。ＣＰＵ３８は、コンピュータ１２（システム１０）の動作の全体制御を実行し、メモリ４０は、ＣＰＵ３８が処理を行うためのデータおよびプログラムを記憶すると共に、ワーキングメモリやレジスタ等として利用される。
【００３３】
詳しくは図３に示すように、メモリ４０は、データ記憶部５０およびプログラム記憶部５２を含む。データ記憶部５０には、仮想物体の立体形状を表す形状データ５４、仮想物体の硬さ（柔らかさ）、脆さおよび風合い等を表す物性データ５６、各種の音データ５８、およびその他の必要なデータが適宜格納される。また、プログラム記憶部５２には、視覚情報を提示するための視覚プログラム６０、触覚情報を提示するための触覚プログラム６２、聴覚情報を提示するための聴覚プログラム６４、嗅覚情報を提示するための嗅覚プログラム６６、およびその他の必要なプログラムが適宜格納される。
【００３４】
具体的には、視覚プログラム６０は、形状データ５４等に基づいて、仮想物体の立体映像を生成するためのプログラムである。また、仮想物体に操作部３０が接触したときに、操作部３０の位置、形状データ５４および物性データ５６等に基づいて、仮想物体がどのように変形（状態変化）するかを算出し、変形した仮想物体の立体映像を生成するためのプログラムである。
【００３５】
触覚プログラム６２は、操作部３０の位置および物性データ５６等に基づいて、仮想物体が操作部３０（つまりユーザ）に与える反力（感触）を算出するためのプログラムである。
【００３６】
聴覚プログラム６４は、触覚デバイス１８を利用して行われる仮想物体へのユーザの働きかけに応じて、つまり仮想物体からの反力や仮想物体の状態に応じて、データ記憶部５０の音データ５８から適宜の音データを選択するためのプログラムである。
【００３７】
嗅覚プログラム６６は、触覚デバイス１８を利用して行われる仮想物体へのユーザの働きかけに応じて、つまり仮想物体からの反力や仮想物体の状態に応じて、嗅覚ディスプレイ２０から匂いを放出するための指示信号を生成するためのプログラムである。
【００３８】
このような構成のシステム１０では、３次元モニタ１４によって仮想物体の立体映像をユーザに提示する。たとえば、複数の対象物から任意の対象物をユーザが選択できるようにしておき、ユーザが選択した対象物を仮想物体として、その立体映像を表示する。そして、触覚デバイス１８によってユーザの操作を受け付け、その操作に応じた反力をユーザに与える。具体的には、触覚デバイス１８は、操作部３０の位置を測定し、そのデータ（位置情報）をコンピュータ１２に出力する。コンピュータ１２に出力されたデータは、メモリ４０に記憶された仮想物体の物性データ５６等と共にコンピュータ１２内部のプログラムによって処理された後、触覚デバイス１８にフィードバックされ、仮想物体の状態に応じた反力が操作部３０に与えられる。これによって、操作部３０を操作するユーザは、仮想物体に実際に触れているような感覚を得ることができ、仮想物体の硬さ（柔らかさ）、重さ、および表面のざらつき感などを感じることができる。
【００３９】
また、システム１０では、嗅覚ディスプレイ２０から匂いを提示するときのトリガ（きっかけ）として触覚デバイス１８を用い、ユーザによる触覚デバイス１８の操作状況に応じて、嗅覚ディスプレイ２０からの匂いの提示を制御する。具体的には、触覚デバイス１８を利用して行われる仮想物体へのユーザの触行動（働きかけ）に応じて（或いはその触行動によって変化する仮想物体の状態に応じて）、コンピュータ１２内部で処理された指示信号がコントローラ３２に出力される。コントローラ３２は、ＰＩＣマイコン３４に組み込まれているプログラムによってＭＯＳ-ＦＥＴ３６経由で嗅覚ディスプレイ２０を制御する。これによって、ユーザは、触覚デバイス１８によって提示される仮想物体に触れた感触（反力）、および３次元モニタ１４によって提示される仮想物体の状態（形状）に適した匂いを感じることができる。
【００４０】
同様に、システム１０では、ヘッドホン１６から音を提示するときのトリガとして触覚デバイス１８を用い、触覚デバイス１８の操作状況に応じて、ヘッドホン１６からの音の提示を制御する。これによって、ユーザは、仮想物体に触れた感触および仮想物体の立体映像の状態に適した音を聞くことができる。
【００４１】
このようにして、システム１０は、視覚、聴覚、触覚および嗅覚の４つの感覚情報を有機的に連携させてユーザに提示し、あたかも仮想物体が実在しているような感覚を高い臨場感でユーザに与える。
【００４２】
以下には、仮想物体の具体例を挙げて、システム１０の動作を説明する。たとえば、仮想物体として提示される対象物が風船であって、内部に香りを封じ込めた風船を割るという行為を疑似体験できるシステム１０の場合を想定する。先ず、図４（Ａ）に示すように、３次元モニタ１４によって風船の立体映像が表示される。この際、ユーザが操作部３０を操作して、風船の立体映像に操作部３０を近づけると、操作部３０の立体映像も３次元モニタ１４によって表示される。
【００４３】
次に、ユーザが操作部３０を風船にさらに近づけ、図４（Ｂ）に示すように、操作部３０と風船とが接触すると、風船独特のツルツル感や柔らかさ、弾力などの感触が触覚デバイス１８によってユーザに与えられる。このとき、操作部３０と風船との接触状況（位置関係）に応じた反力がユーザに与えられると共に、風船が変形する様子が表示される。また、これと同時に、操作部３０と風船との接触音や風船が軋む音、或いは適宜な効果音などの音がヘッドホン１６から出力される。
【００４４】
そして、触覚デバイス１８によって与えられる反力に対抗して、ユーザが所定値より強い外力を風船に与えると（つまり風船の窪み変形が限界となる臨界値に反力が達すると）、図４（Ｃ）に示すように、風船が破裂する様子が表示され、ユーザに与えられていた風船の感触はなくなる。また、これと同時に、風船の破裂音がヘッドホン１６から出力され、風船内に閉じ込めていたと仮定している匂いが嗅覚ディスプレイ２０から実際に放出される。
【００４５】
このように、４つの感覚情報を連動してユーザに提示することによって、ユーザは、仮想の風船が実際に存在しているかのような感覚を受け、風船を割るという疑似体験を嗅覚情報を伴って高い臨場感で経験できる。
【００４６】
なお、嗅覚ディスプレイ２０から匂いを提示するときには、図４（Ｄ）に示すように、匂いの発生を想起させる効果映像を３次元モニタ１４によって表示するとよい。たとえば、破裂した風船からユーザに向かってくる放射状の点や線などを表示するとよい。これによって、ユーザは、破裂した風船から何かが向かってきていることが分かり、注意力が増す（意識する）ので、匂いをより強く感じることができる。
【００４７】
また、仮想物体が風船の場合には、ユーザが所定値より強い外力を風船に与えたときに、つまり触覚デバイス１８による反力が臨界値に達したときに、嗅覚ディスプレイ２０によって匂いを提示しているが、これに限定されず、嗅覚ディスプレイ２０による匂いの提示は、触覚デバイス１８による反力の大きさ等に応じて直線的或いは段階的に変化をつけて行うこともできる。たとえば、仮想物体がレモンの場合には、触覚デバイス１８によってレモンを絞ったり押したりする等の物理的な操作を行うときに、絞り具合などの操作状況に応じて、嗅覚ディスプレイ２０による匂いの提示に強弱や時間の長短をつけるとよい。たとえば、ユーザによるレモンの絞り具合（押し具合）が小さいときには、送風ファンの風量を小さくして弱い匂いを短時間提示し、ユーザによるレモンの絞り具合（押し具合）が大きいときには、送風ファンの風量を大きくして強い匂いを長時間提示するとよい。
【００４８】
同様に、触覚デバイス１８による反力の大きさ等に応じて（たとえば比例させて）、ヘッドホン１６からの音の提示に強弱（大小）や時間の長短をつけることもできる。
【００４９】
続いて、上述のようなシステム１０の動作の一例をフロー図を用いて説明する。具体的には、図２に示したコンピュータ１２のＣＰＵ３８が、図５に示すフロー図に従って全体処理を実行する。なお、図５に示すフロー図では、具体例として、仮想物体として提示される対象物が風船である場合（図４参照）を想定して説明する。
【００５０】
図５を参照して、コンピュータ１２のＣＰＵ３８は、ステップＳ１で、風船の立体映像を表示する。すなわち、形状データ５４等に基づく仮想物体の立体映像を生成するための信号を、３次元モニタ１４のディスプレイ２２および液晶シャッタメガネ２６（エミッタ２８）に出力し、３次元モニタ１４に風船の立体画像を表示させる。
【００５１】
次のステップＳ３では、風船に操作部３０が接触しているか否かを判断する。すなわち、触覚デバイス１８から入力される操作部３０の位置情報および形状データ５４等に基づいて、風船と操作部３０とが接触しているか否かを判断する。ステップＳ３で“ＮＯ”の場合、すなわち風船と操作部３０とが接触していない場合には、ステップＳ５に進む。ステップＳ５では、全体処理の終了であるかどうかを判断する。たとえば、ユーザからの終了命令がコンピュータ１２の入力装置から入力されたかどうかによって判断する。ステップＳ５で“ＮＯ”の場合、すなわち全体処理の終了でない場合には、ステップＳ３に戻る。一方、ステップＳ５で“ＹＥＳ”の場合、たとえばユーザからの終了命令が入力された場合には、全体処理を終了する。
【００５２】
また、ステップＳ３で“ＹＥＳ”の場合、すなわち風船と操作部３０とが接触している場合には、ステップＳ７に進む。ステップＳ７では、風船が操作部３０に与える反力を算出する。すなわち、操作部３０の位置情報および物性データ５６等に基づいて、風船が操作部３０（つまりユーザ）に与える反力の大きさを算出する。
【００５３】
次のステップＳ９では、ステップＳ７で算出した反力が臨界値以内かどうかを判別する。すなわち、風船が割れるだけの外力がユーザから風船に与えられたかどうかを判断する。
【００５４】
ステップＳ９で“ＹＥＳ”の場合、すなわち反力が臨界値以内の場合には、ステップＳ１１に進む。ステップＳ１１では、風船の立体映像を変形させると共に、操作部３０に反力を与え、接触音を出力する。すなわち、反力に応じて風船がどのように変形するかを算出し、変形した風船の立体映像を表示するための信号を３次元モニタ１４に出力し、３次元モニタ１４に変形した風船の立体画像を表示させる。また、算出した反力で動作するための信号を触覚デバイス１８に出力し、触覚デバイス１８の操作部３０からユーザに反力を与える。さらに、反力に応じた接触音を音データ５８から選択または合成し、その接触音を出力するための信号をヘッドホン１６に出力し、ヘッドホン１６から反力に応じた接触音を出力させる。ステップＳ１１の処理が終了すると、ステップＳ３に戻る。
【００５５】
一方、ステップＳ９で“ＮＯ”の場合、すなわち反力が臨界値を超える場合には、ステップＳ１３に進む。ステップＳ１３では、風船を破裂させると共に、破裂音を出力し、匂いを提示する。すなわち、風船が破裂する様子を表示するための信号を３次元モニタ１４に出力し、３次元モニタ１４に風船が破裂する様子を表示させる。また、破裂音を音データ５８から選択または合成し、その破裂音を出力するための信号をヘッドホン１６に出力し、ヘッドホン１６から破裂音を出力させる。さらに、嗅覚ディスプレイ２０から匂いを放出するための指示信号を生成し、コントローラ３２に出力する。コントローラ３２は、その指示信号に従って嗅覚ディスプレイ２０を制御し、嗅覚ディスプレイ２０から匂いを放出させる。ステップＳ１３の処理が終了すると、全体処理を終了する。
【００５６】
次に、他の具体例として、図６に示すフロー図を参照して、仮想物体として提示される対象物がレモンである場合について説明する。この場合にも、図２に示したコンピュータ１２のＣＰＵ３８が、図６に示すフロー図に従って全体処理を実行する。なお、ステップＳ２１−２７の処理は、仮想物体がレモンであることを除いて、図５のステップＳ１−７の処理と同様であるので、説明は省略する。
【００５７】
図６を参照して、コンピュータ１２のＣＰＵ３８は、ステップＳ２９において、ステップＳ２７で算出した反力がレモンを変形させるための閾値以上かどうかを判別する。すなわち、レモンが変形するだけの外力がユーザからレモンに与えられたかどうかを判断する。なお、ここでは、レモンの変形をきっかけにして効果音および匂いを提示するために、レモンが変形を開始する反力の閾値と、効果音や匂いの提示を開始する反力の閾値とを同じに設定しているが、これらの閾値は、映像、音および匂いで別々に設定してもかまわない。
【００５８】
ステップＳ２９で“ＮＯ”の場合、すなわち反力がレモンを変形させるための閾値以内の場合には、ステップＳ３１に進む。ステップＳ３１では、操作部３０に反力を与える。すなわち、算出した反力で動作するための信号を触覚デバイス１８に出力し、触覚デバイス１８の操作部３０からユーザに反力を与える。ステップＳ３１の処理が終了するとステップＳ２３に戻る。
【００５９】
一方、ステップＳ２９で“ＹＥＳ”の場合、すなわち反力がレモンを変形させるための閾値を超える場合には、ステップＳ３３に進む。ステップＳ３３では、レモンを変形させると共に、操作部３０に反力を与え、効果音を出力し、反力の大きさに比例した強さの匂いを提示する。すなわち、変形したレモンの立体映像を表示するための信号を３次元モニタ１４に出力し、算出した反力で動作するための信号を触覚デバイス１８に出力し、効果音を出力するための信号をヘッドホン１６に出力する。また、反力の大きさに比例させて（或いは段階的に）匂いの強弱（たとえば送風ファンの風量の強弱によって調整）を決定し、その強さの匂いを提示するための指示信号を生成してコントローラ３２に出力する。また、匂いの強弱と共に、または代わりに、反力の大きさに比例させて匂いを提示する時間の長短を決定し、その時間の長さだけ匂いを提示するための指示信号を生成してコントローラ３２に出力するようにしてもよい。なお、効果音を出力するときにも、反力の大きさに比例させて音量或いは音の種類を変化させるようにしてもよい。ステップＳ３３の処理が終了するとステップＳ２３に戻る。
【００６０】
この実施例によれば、視覚情報に対してユーザが働きかけることで提示される触覚情報と連動させて、聴覚情報および嗅覚情報を提示する、つまり４つの感覚情報を緊密に連携させてユーザに提示するので、仮想物体に対するより高い臨場感や現実感をユーザに与えることができ、リアルなバーチャル環境を形成できる。特に、触覚情報と連動させて嗅覚情報を提示する、つまりユーザの能動的な動作に伴って匂いを提示するので、ユーザは匂いを意識し易くなり、匂いによって臨場感を高める効果がより有効なものとなる。したがって、この実施例のシステム１０は、能動的な操作によって効率的な教育が可能な環境、たとえば、博物館における重要文化財に触れる疑似体験や、危険な機器操作訓練用のシミュレータに好適に利用できる。
【００６１】
なお、上述の実施例では、４つの感覚情報を統合してユーザに提示するようにしたが、対象物によっては、実空間において人が物理的に働きかけても（力を加えても）音が発生しないものもあるので、このような対象物を仮想物体とする場合には、音情報の提示を省略してもよい。ただし、実際には音が発生しない場合でも、効果音を付加することによって仮想物体に対する臨場感や現実感を高めることができる。また、実際に音が発生する場合であっても、実際の音とは異なる効果音を提示することもできる。
【００６２】
また、上述の実施例では、より高い臨場感や現実感をユーザに与えるために、視覚情報として仮想物体の立体映像を提示するようにしたが、平面映像（２Ｄ映像）をユーザに提示するようにしてもかまわない。
【００６３】
さらに、上述の実施例では、仮想物体からの反力が臨界値や閾値を超えたときに嗅覚ディスプレイから匂いを提示するようにしているが、これに限定されない。たとえば、反力が発生した時点、つまり仮想物体に操作部３０（ユーザ）が触れるだけで匂いを提示することもできる。また、仮想物体を押すという動作ではなく、仮想物体をこするという動作に応じて匂いを提示するようにしてもよい。たとえば、仮想物体を激しくこすると仮想物体から火が出る映像を表示し、その火に合わせて匂いや音を提示するようなことが考えられる。
【００６４】
また、上述の実施例では、１つの仮想物体を３次元モニタ１４に表示する場合を例示しているが、複数の仮想物体を同時に３次元モニタ１４に表示することもできる。たとえば、大きさの異なる２つの風船を表示し、大きな風船を触ったときにはその反力は大きく、それを割ったときには大きな破裂音と強い匂いとを提示し、小さな風船を触ったときにはその反力は小さく、それを割ったときには小さな破裂音と弱い匂いとを提示するようなことが考えられる。
【符号の説明】
【００６５】
１０ …多感覚インタラクションシステム
１２ …コンピュータ
１４ …３次元モニタ
１６ …ヘッドホン
１８ …触覚デバイス
２０ …嗅覚ディスプレイ
３０ …操作部
３８ …コンピュータのＣＰＵ
４０ …コンピュータのメモリ
【技術分野】
【０００１】
この発明は多感覚インタラクションシステムに関し、特にたとえば、複数の感覚情報を統合して提示することによって仮想物体が実在している感覚をユーザに与える、多感覚インタラクションシステムに関する。
【背景技術】
【０００２】
従来の多感覚インタラクションシステムの一例が特許文献１に開示されている。特許文献１のシステムは、３Ｄ表示部、力覚提示部および音出力部を備え、ユーザの動作に合わせて接触音をリアルタイムで生成している。そして、視覚、聴覚および触覚の３つの感覚情報を統合して提示することによって、仮想物体が実在している感覚をユーザに与えている。
【０００３】
一方、視聴覚情報に加えて嗅覚情報を提示するシステムも数多く提案されている。たとえば、非特許文献１には、画面上に表示された風船に向かって手をかざすと、それに合わせて風船が割れて香りが提示されるシステムが開示されている。
【特許文献１】特開２００９−２０５６２６号公報 [Ｇ０６Ｔ １７／４０]
【非特許文献１】http://www.iwata-kaori.jp/ 「磐田市香りの博物館」
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人間は、視覚、聴覚、嗅覚、味覚および触覚のいわゆる五感を総合的に用いて、外界からの情報を獲得している。したがって、仮想物体が実在している感覚をユーザに与えるためには、より多くの感覚情報を緊密に連携させて提示することが望ましい。しかしながら、特許文献１の技術では、視覚、聴覚および触覚の３つの感覚情報を統合して提示するだけであるので、臨場感や現実感という点においては、十分とは言えない。また、非特許文献１の技術では、触覚情報の提示は行われておらず、仮想物体が実在している感覚をユーザに与えることができない。
【０００５】
それゆえに、この発明の主たる目的は、新規な、多感覚インタラクションシステムを提供することである。
【０００６】
この発明の他の目的は、より高い臨場感や現実感をユーザに与えることができる、多感覚インタラクションシステムを提供することである。
【課題を解決するための手段】
【０００７】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００８】
第１の発明は、複数の感覚情報を統合して提示することによって仮想物体が実在している感覚をユーザに与える多感覚インタラクションシステムであって、仮想物体の映像を提示する視覚情報提示手段、ユーザによる操作を受け付け仮想物体からの反力を提示する触覚情報提示手段、および反力に応じて匂いを提示する嗅覚情報提示手段を備える、多感覚インタラクションシステムである。
【０００９】
第１の発明では、多感覚インタラクションシステム（１０）は、視覚情報提示手段（１２，１４，２２，２４，２６）を備え、視覚情報提示手段は、仮想物体の映像、つまり視覚情報をユーザに提示する。触覚情報提示手段（１２，１８，３０）は、ユーザの操作を受け付ける操作部（３０）を含み、操作部の位置および仮想物体（対象物）の物性などに応じて、操作部が仮想物体に触れることによって生じる反力を算出し、操作部を操作するユーザにその反力、つまり触覚情報を与える。嗅覚情報提示手段（１２，２０，３２）は、ユーザの能動的な動作に伴って触覚情報提示手段によって提示される反力に応じて、ユーザに匂い、つまり嗅覚情報を提示する。たとえば、反力が臨界値を超えたときにユーザに匂いを提示したり、反力の大きさに比例させて匂いの強度や時間の長短を変えてユーザに匂いを提示したりする。
【００１０】
第１の発明によれば、視覚情報および触覚情報に加えて嗅覚情報を連動させてユーザに提示するので、仮想物体が実在しているような感覚を高い臨場感や現実感でユーザに与えることができる。また、ユーザの能動的な動作に伴って嗅覚情報を提示するので、ユーザは嗅覚情報を意識し易くなり、嗅覚情報によって臨場感を高める効果がより有効なものとなる。
【００１１】
第２の発明は、第１の発明に従属し、視覚情報提示手段は、仮想物体の立体映像を提示する。
【００１２】
第２の発明では、視覚情報提示手段（１２，１４，２２，２４，２６）は、仮想物体の立体映像をユーザに提示する。つまり、視覚情報を現実世界により近い状態でユーザに提示する。したがって、より高い臨場感や現実感をユーザに与えることができる。
【００１３】
第３の発明は、第１または第２の発明に従属し、反力に応じて音を提示する聴覚情報提示手段をさらに備える。
【００１４】
第３の発明では、聴覚情報提示手段（１２，１６）をさらに備える。聴覚情報提示手段は、ユーザの能動的な動作に伴って触覚情報提示手段（１２，１８，３０）によって提示される反力に応じて、ユーザに音、つまり聴覚情報を提示する。
【００１５】
第３の発明によれば、視覚、聴覚、触覚および嗅覚の４つの感覚情報を連携させてユーザに提示するので、より高い臨場感や現実感をユーザに与えることができる。
【００１６】
第４の発明は、第１ないし第３のいずれかの発明に従属し、視覚情報提示手段は、反力に応じて仮想物体の形状を変化させて提示し、嗅覚情報提示手段は、仮想物体が形状変化したときに匂いを提示する。
【００１７】
第４の発明では、視覚情報提示手段（１２，１４，２２，２４，２６）は、ユーザの能動的な動作に伴って触覚情報提示手段（１２，１８，３０）によって提示される反力に応じて、仮想物体の形状を変化させて提示する。嗅覚情報提示手段（１２，２０，３２）は、仮想物体が形状変化したとき、たとえば、仮想物体が破裂したり、窪んだりしたときに匂いを提示する。
【００１８】
第４の発明によれば、視覚、触覚および嗅覚の３つの感覚情報がより緊密に連携してユーザに提示されるので、より高い臨場感や現実感をユーザに与えることができる。
【００１９】
第５の発明は、第１ないし第４のいずれかの発明に従属し、視覚情報提示手段は、匂いの発生を想起させる効果映像をさらに提示する。
【００２０】
第５の発明では、視覚情報提示手段（１２，１４，２２，２４，２６）は、たとえば仮想物体からユーザに向かって飛んでくる放射状の線のような、匂いの発生を想起させる効果映像を表示する。
【００２１】
第５の発明によれば、効果映像を表示することによって、ユーザの注意力が増すので、ユーザは嗅覚情報をより強く感じることができ、嗅覚情報によって臨場感を高める効果がより有効なものとなる。
【発明の効果】
【００２２】
第１の発明によれば、視覚情報および触覚情報に加えて嗅覚情報を連動させてユーザに提示するので、仮想物体が実在しているような感覚を高い臨場感や現実感でユーザに与えることができる。また、ユーザの能動的な動作に伴って嗅覚情報を提示するので、ユーザは匂いを意識し易くなり、嗅覚情報によって臨場感を高める効果がより有効なものとなる。
【００２３】
また、第３の発明によれば、視覚、聴覚、触覚および嗅覚の４つの感覚情報を緊密に連携させてユーザに提示するので、より高い臨場感や現実感をユーザに与えることができる。
【００２４】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う後述の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２５】
【図１】この発明の一実施例の多感覚インタラクションシステムをユーザが体験している様子を示す図解図である。
【図２】この発明の一実施例の多感覚インタラクションシステムの構成を示すブロック図である。
【図３】図２のコンピュータのメモリのメモリマップを示す図解図である。
【図４】図２の多感覚インタラクションシステムの動作を説明するための図解図である。
【図５】図２のコンピュータのＣＰＵが実行する全体処理の一例を示すフロー図である。
【図６】図２のコンピュータのＣＰＵが実行する全体処理の他の一例を示すフロー図である。
【発明を実施するための形態】
【００２６】
図１を参照して、この発明の一実施例である多感覚インタラクションシステム１０（以下、単に「システム１０」という。）は、３次元モニタ１４、ヘッドホン１６、触覚デバイス１８および嗅覚ディスプレイ２０を備え、視覚、聴覚、触覚および嗅覚の４つの感覚情報を統合してユーザに提示することによって、仮想物体が実在しているような感覚をユーザに与える。
【００２７】
図２は、システム１０の構成を示すブロック図である。図２に示すように、システム１０は、全体制御を実行するコンピュータ１２を備え、このコンピュータ１２には、３次元モニタ１４、ヘッドホン１６、触覚デバイス１８および嗅覚ディスプレイ２０等が接続される。
【００２８】
３次元モニタ１４は、仮想物体（対象物）の立体映像（視覚情報）をユーザに提示するものであり、ディスプレイ２２、ハーフミラー２４および液晶シャッタメガネ２６を含む。この３次元モニタ１４では、コンピュータ１２からの信号に基づいてディスプレイ２２に仮想物体の映像２２ａ（図１参照）が表示され、その映像２２ａはハーフミラー２４によって反射される。また、液晶シャッタメガネ２６は、エミッタ２８を介して送られるコンピュータ１２からの信号に基づいて左右視差が生じるように制御される。この液晶シャッタメガネ２６を装着したユーザは、ハーフミラー２４を介して仮想物体の立体映像を見ることができる。
【００２９】
ヘッドホン１６は、コンピュータ１２からの信号に基づいて音（聴覚情報）を出力する。ただし、ヘッドホン１６の代わりに、或いはヘッドホン１６と共に、スピーカによってユーザに音を提示してもよい。
【００３０】
触覚デバイス１８は、コンピュータ１２と双方向に連動して、仮想物体に触れたユーザにその反力（感触、触覚情報）を提示するものである。触覚デバイス１８は、ユーザによる操作を受け付けるペン型の操作部３０を含み（図１では操作部３０以外の部分は省略している）、操作部３０には、その位置および仮想物体の物性（硬さや風合い）等に応じた反力が与えられる。この操作部３０を操作するユーザは、仮想物体を疑似的に触ることができ、仮想物体に外力を与えることができる。触覚デバイス１８としては、たとえば、Ｐｈａｎｔｏｍ（登録商標）Ｐｒｅｍｉｕｍ１.５を用いることができる。ただし、触覚デバイス１８の種類はこれに限定されず、たとえば、グローブ型の操作部を有する触覚デバイスを用いてもよい。
【００３１】
嗅覚ディスプレイ２０は、コントローラ３２を介して送られるコンピュータ１２からの信号に基づいて、ユーザに匂い（香り、嗅覚情報）を提示する。コントローラ３２は、コンピュータ１２から送られてくる指示信号に応じて嗅覚ディスプレイ２０を駆動するためのＰＩＣ（Peripheral Interface Controller）マイコン３４およびＭＯＳ-ＦＥＴ３６を含み、嗅覚ディスプレイ２０は、コントローラ３２からの指示に従って時空間制御可能に匂いを放出する。嗅覚ディスプレイ２０としては、公知のものを用いることができる。たとえば、香料を封入したマイクロカプセルを破壊して芳香を発生させ、その芳香を送風ファンによって運ぶマイクロカプセル方式のものを採用することもできるし、タンクに充填した香料をタンクの微小な孔から放出するインクジェット方式のものを採用することもできる。
【００３２】
コンピュータ１２は、上述のようにシステム１０の全体制御を実行し、３次元モニタ１４、ヘッドホン１６、触覚デバイス１８および嗅覚ディスプレイ２０を連動させるための制御装置として機能する。コンピュータ１２は、パーソナルコンピュータのような汎用のコンピュータであり、ＣＰＵ３８、メモリ４０、モニタ等の表示装置（図示せず）、およびキーボードやマウス等の入力装置（図示せず）などを備える。ＣＰＵ３８は、コンピュータ１２（システム１０）の動作の全体制御を実行し、メモリ４０は、ＣＰＵ３８が処理を行うためのデータおよびプログラムを記憶すると共に、ワーキングメモリやレジスタ等として利用される。
【００３３】
詳しくは図３に示すように、メモリ４０は、データ記憶部５０およびプログラム記憶部５２を含む。データ記憶部５０には、仮想物体の立体形状を表す形状データ５４、仮想物体の硬さ（柔らかさ）、脆さおよび風合い等を表す物性データ５６、各種の音データ５８、およびその他の必要なデータが適宜格納される。また、プログラム記憶部５２には、視覚情報を提示するための視覚プログラム６０、触覚情報を提示するための触覚プログラム６２、聴覚情報を提示するための聴覚プログラム６４、嗅覚情報を提示するための嗅覚プログラム６６、およびその他の必要なプログラムが適宜格納される。
【００３４】
具体的には、視覚プログラム６０は、形状データ５４等に基づいて、仮想物体の立体映像を生成するためのプログラムである。また、仮想物体に操作部３０が接触したときに、操作部３０の位置、形状データ５４および物性データ５６等に基づいて、仮想物体がどのように変形（状態変化）するかを算出し、変形した仮想物体の立体映像を生成するためのプログラムである。
【００３５】
触覚プログラム６２は、操作部３０の位置および物性データ５６等に基づいて、仮想物体が操作部３０（つまりユーザ）に与える反力（感触）を算出するためのプログラムである。
【００３６】
聴覚プログラム６４は、触覚デバイス１８を利用して行われる仮想物体へのユーザの働きかけに応じて、つまり仮想物体からの反力や仮想物体の状態に応じて、データ記憶部５０の音データ５８から適宜の音データを選択するためのプログラムである。
【００３７】
嗅覚プログラム６６は、触覚デバイス１８を利用して行われる仮想物体へのユーザの働きかけに応じて、つまり仮想物体からの反力や仮想物体の状態に応じて、嗅覚ディスプレイ２０から匂いを放出するための指示信号を生成するためのプログラムである。
【００３８】
このような構成のシステム１０では、３次元モニタ１４によって仮想物体の立体映像をユーザに提示する。たとえば、複数の対象物から任意の対象物をユーザが選択できるようにしておき、ユーザが選択した対象物を仮想物体として、その立体映像を表示する。そして、触覚デバイス１８によってユーザの操作を受け付け、その操作に応じた反力をユーザに与える。具体的には、触覚デバイス１８は、操作部３０の位置を測定し、そのデータ（位置情報）をコンピュータ１２に出力する。コンピュータ１２に出力されたデータは、メモリ４０に記憶された仮想物体の物性データ５６等と共にコンピュータ１２内部のプログラムによって処理された後、触覚デバイス１８にフィードバックされ、仮想物体の状態に応じた反力が操作部３０に与えられる。これによって、操作部３０を操作するユーザは、仮想物体に実際に触れているような感覚を得ることができ、仮想物体の硬さ（柔らかさ）、重さ、および表面のざらつき感などを感じることができる。
【００３９】
また、システム１０では、嗅覚ディスプレイ２０から匂いを提示するときのトリガ（きっかけ）として触覚デバイス１８を用い、ユーザによる触覚デバイス１８の操作状況に応じて、嗅覚ディスプレイ２０からの匂いの提示を制御する。具体的には、触覚デバイス１８を利用して行われる仮想物体へのユーザの触行動（働きかけ）に応じて（或いはその触行動によって変化する仮想物体の状態に応じて）、コンピュータ１２内部で処理された指示信号がコントローラ３２に出力される。コントローラ３２は、ＰＩＣマイコン３４に組み込まれているプログラムによってＭＯＳ-ＦＥＴ３６経由で嗅覚ディスプレイ２０を制御する。これによって、ユーザは、触覚デバイス１８によって提示される仮想物体に触れた感触（反力）、および３次元モニタ１４によって提示される仮想物体の状態（形状）に適した匂いを感じることができる。
【００４０】
同様に、システム１０では、ヘッドホン１６から音を提示するときのトリガとして触覚デバイス１８を用い、触覚デバイス１８の操作状況に応じて、ヘッドホン１６からの音の提示を制御する。これによって、ユーザは、仮想物体に触れた感触および仮想物体の立体映像の状態に適した音を聞くことができる。
【００４１】
このようにして、システム１０は、視覚、聴覚、触覚および嗅覚の４つの感覚情報を有機的に連携させてユーザに提示し、あたかも仮想物体が実在しているような感覚を高い臨場感でユーザに与える。
【００４２】
以下には、仮想物体の具体例を挙げて、システム１０の動作を説明する。たとえば、仮想物体として提示される対象物が風船であって、内部に香りを封じ込めた風船を割るという行為を疑似体験できるシステム１０の場合を想定する。先ず、図４（Ａ）に示すように、３次元モニタ１４によって風船の立体映像が表示される。この際、ユーザが操作部３０を操作して、風船の立体映像に操作部３０を近づけると、操作部３０の立体映像も３次元モニタ１４によって表示される。
【００４３】
次に、ユーザが操作部３０を風船にさらに近づけ、図４（Ｂ）に示すように、操作部３０と風船とが接触すると、風船独特のツルツル感や柔らかさ、弾力などの感触が触覚デバイス１８によってユーザに与えられる。このとき、操作部３０と風船との接触状況（位置関係）に応じた反力がユーザに与えられると共に、風船が変形する様子が表示される。また、これと同時に、操作部３０と風船との接触音や風船が軋む音、或いは適宜な効果音などの音がヘッドホン１６から出力される。
【００４４】
そして、触覚デバイス１８によって与えられる反力に対抗して、ユーザが所定値より強い外力を風船に与えると（つまり風船の窪み変形が限界となる臨界値に反力が達すると）、図４（Ｃ）に示すように、風船が破裂する様子が表示され、ユーザに与えられていた風船の感触はなくなる。また、これと同時に、風船の破裂音がヘッドホン１６から出力され、風船内に閉じ込めていたと仮定している匂いが嗅覚ディスプレイ２０から実際に放出される。
【００４５】
このように、４つの感覚情報を連動してユーザに提示することによって、ユーザは、仮想の風船が実際に存在しているかのような感覚を受け、風船を割るという疑似体験を嗅覚情報を伴って高い臨場感で経験できる。
【００４６】
なお、嗅覚ディスプレイ２０から匂いを提示するときには、図４（Ｄ）に示すように、匂いの発生を想起させる効果映像を３次元モニタ１４によって表示するとよい。たとえば、破裂した風船からユーザに向かってくる放射状の点や線などを表示するとよい。これによって、ユーザは、破裂した風船から何かが向かってきていることが分かり、注意力が増す（意識する）ので、匂いをより強く感じることができる。
【００４７】
また、仮想物体が風船の場合には、ユーザが所定値より強い外力を風船に与えたときに、つまり触覚デバイス１８による反力が臨界値に達したときに、嗅覚ディスプレイ２０によって匂いを提示しているが、これに限定されず、嗅覚ディスプレイ２０による匂いの提示は、触覚デバイス１８による反力の大きさ等に応じて直線的或いは段階的に変化をつけて行うこともできる。たとえば、仮想物体がレモンの場合には、触覚デバイス１８によってレモンを絞ったり押したりする等の物理的な操作を行うときに、絞り具合などの操作状況に応じて、嗅覚ディスプレイ２０による匂いの提示に強弱や時間の長短をつけるとよい。たとえば、ユーザによるレモンの絞り具合（押し具合）が小さいときには、送風ファンの風量を小さくして弱い匂いを短時間提示し、ユーザによるレモンの絞り具合（押し具合）が大きいときには、送風ファンの風量を大きくして強い匂いを長時間提示するとよい。
【００４８】
同様に、触覚デバイス１８による反力の大きさ等に応じて（たとえば比例させて）、ヘッドホン１６からの音の提示に強弱（大小）や時間の長短をつけることもできる。
【００４９】
続いて、上述のようなシステム１０の動作の一例をフロー図を用いて説明する。具体的には、図２に示したコンピュータ１２のＣＰＵ３８が、図５に示すフロー図に従って全体処理を実行する。なお、図５に示すフロー図では、具体例として、仮想物体として提示される対象物が風船である場合（図４参照）を想定して説明する。
【００５０】
図５を参照して、コンピュータ１２のＣＰＵ３８は、ステップＳ１で、風船の立体映像を表示する。すなわち、形状データ５４等に基づく仮想物体の立体映像を生成するための信号を、３次元モニタ１４のディスプレイ２２および液晶シャッタメガネ２６（エミッタ２８）に出力し、３次元モニタ１４に風船の立体画像を表示させる。
【００５１】
次のステップＳ３では、風船に操作部３０が接触しているか否かを判断する。すなわち、触覚デバイス１８から入力される操作部３０の位置情報および形状データ５４等に基づいて、風船と操作部３０とが接触しているか否かを判断する。ステップＳ３で“ＮＯ”の場合、すなわち風船と操作部３０とが接触していない場合には、ステップＳ５に進む。ステップＳ５では、全体処理の終了であるかどうかを判断する。たとえば、ユーザからの終了命令がコンピュータ１２の入力装置から入力されたかどうかによって判断する。ステップＳ５で“ＮＯ”の場合、すなわち全体処理の終了でない場合には、ステップＳ３に戻る。一方、ステップＳ５で“ＹＥＳ”の場合、たとえばユーザからの終了命令が入力された場合には、全体処理を終了する。
【００５２】
また、ステップＳ３で“ＹＥＳ”の場合、すなわち風船と操作部３０とが接触している場合には、ステップＳ７に進む。ステップＳ７では、風船が操作部３０に与える反力を算出する。すなわち、操作部３０の位置情報および物性データ５６等に基づいて、風船が操作部３０（つまりユーザ）に与える反力の大きさを算出する。
【００５３】
次のステップＳ９では、ステップＳ７で算出した反力が臨界値以内かどうかを判別する。すなわち、風船が割れるだけの外力がユーザから風船に与えられたかどうかを判断する。
【００５４】
ステップＳ９で“ＹＥＳ”の場合、すなわち反力が臨界値以内の場合には、ステップＳ１１に進む。ステップＳ１１では、風船の立体映像を変形させると共に、操作部３０に反力を与え、接触音を出力する。すなわち、反力に応じて風船がどのように変形するかを算出し、変形した風船の立体映像を表示するための信号を３次元モニタ１４に出力し、３次元モニタ１４に変形した風船の立体画像を表示させる。また、算出した反力で動作するための信号を触覚デバイス１８に出力し、触覚デバイス１８の操作部３０からユーザに反力を与える。さらに、反力に応じた接触音を音データ５８から選択または合成し、その接触音を出力するための信号をヘッドホン１６に出力し、ヘッドホン１６から反力に応じた接触音を出力させる。ステップＳ１１の処理が終了すると、ステップＳ３に戻る。
【００５５】
一方、ステップＳ９で“ＮＯ”の場合、すなわち反力が臨界値を超える場合には、ステップＳ１３に進む。ステップＳ１３では、風船を破裂させると共に、破裂音を出力し、匂いを提示する。すなわち、風船が破裂する様子を表示するための信号を３次元モニタ１４に出力し、３次元モニタ１４に風船が破裂する様子を表示させる。また、破裂音を音データ５８から選択または合成し、その破裂音を出力するための信号をヘッドホン１６に出力し、ヘッドホン１６から破裂音を出力させる。さらに、嗅覚ディスプレイ２０から匂いを放出するための指示信号を生成し、コントローラ３２に出力する。コントローラ３２は、その指示信号に従って嗅覚ディスプレイ２０を制御し、嗅覚ディスプレイ２０から匂いを放出させる。ステップＳ１３の処理が終了すると、全体処理を終了する。
【００５６】
次に、他の具体例として、図６に示すフロー図を参照して、仮想物体として提示される対象物がレモンである場合について説明する。この場合にも、図２に示したコンピュータ１２のＣＰＵ３８が、図６に示すフロー図に従って全体処理を実行する。なお、ステップＳ２１−２７の処理は、仮想物体がレモンであることを除いて、図５のステップＳ１−７の処理と同様であるので、説明は省略する。
【００５７】
図６を参照して、コンピュータ１２のＣＰＵ３８は、ステップＳ２９において、ステップＳ２７で算出した反力がレモンを変形させるための閾値以上かどうかを判別する。すなわち、レモンが変形するだけの外力がユーザからレモンに与えられたかどうかを判断する。なお、ここでは、レモンの変形をきっかけにして効果音および匂いを提示するために、レモンが変形を開始する反力の閾値と、効果音や匂いの提示を開始する反力の閾値とを同じに設定しているが、これらの閾値は、映像、音および匂いで別々に設定してもかまわない。
【００５８】
ステップＳ２９で“ＮＯ”の場合、すなわち反力がレモンを変形させるための閾値以内の場合には、ステップＳ３１に進む。ステップＳ３１では、操作部３０に反力を与える。すなわち、算出した反力で動作するための信号を触覚デバイス１８に出力し、触覚デバイス１８の操作部３０からユーザに反力を与える。ステップＳ３１の処理が終了するとステップＳ２３に戻る。
【００５９】
一方、ステップＳ２９で“ＹＥＳ”の場合、すなわち反力がレモンを変形させるための閾値を超える場合には、ステップＳ３３に進む。ステップＳ３３では、レモンを変形させると共に、操作部３０に反力を与え、効果音を出力し、反力の大きさに比例した強さの匂いを提示する。すなわち、変形したレモンの立体映像を表示するための信号を３次元モニタ１４に出力し、算出した反力で動作するための信号を触覚デバイス１８に出力し、効果音を出力するための信号をヘッドホン１６に出力する。また、反力の大きさに比例させて（或いは段階的に）匂いの強弱（たとえば送風ファンの風量の強弱によって調整）を決定し、その強さの匂いを提示するための指示信号を生成してコントローラ３２に出力する。また、匂いの強弱と共に、または代わりに、反力の大きさに比例させて匂いを提示する時間の長短を決定し、その時間の長さだけ匂いを提示するための指示信号を生成してコントローラ３２に出力するようにしてもよい。なお、効果音を出力するときにも、反力の大きさに比例させて音量或いは音の種類を変化させるようにしてもよい。ステップＳ３３の処理が終了するとステップＳ２３に戻る。
【００６０】
この実施例によれば、視覚情報に対してユーザが働きかけることで提示される触覚情報と連動させて、聴覚情報および嗅覚情報を提示する、つまり４つの感覚情報を緊密に連携させてユーザに提示するので、仮想物体に対するより高い臨場感や現実感をユーザに与えることができ、リアルなバーチャル環境を形成できる。特に、触覚情報と連動させて嗅覚情報を提示する、つまりユーザの能動的な動作に伴って匂いを提示するので、ユーザは匂いを意識し易くなり、匂いによって臨場感を高める効果がより有効なものとなる。したがって、この実施例のシステム１０は、能動的な操作によって効率的な教育が可能な環境、たとえば、博物館における重要文化財に触れる疑似体験や、危険な機器操作訓練用のシミュレータに好適に利用できる。
【００６１】
なお、上述の実施例では、４つの感覚情報を統合してユーザに提示するようにしたが、対象物によっては、実空間において人が物理的に働きかけても（力を加えても）音が発生しないものもあるので、このような対象物を仮想物体とする場合には、音情報の提示を省略してもよい。ただし、実際には音が発生しない場合でも、効果音を付加することによって仮想物体に対する臨場感や現実感を高めることができる。また、実際に音が発生する場合であっても、実際の音とは異なる効果音を提示することもできる。
【００６２】
また、上述の実施例では、より高い臨場感や現実感をユーザに与えるために、視覚情報として仮想物体の立体映像を提示するようにしたが、平面映像（２Ｄ映像）をユーザに提示するようにしてもかまわない。
【００６３】
さらに、上述の実施例では、仮想物体からの反力が臨界値や閾値を超えたときに嗅覚ディスプレイから匂いを提示するようにしているが、これに限定されない。たとえば、反力が発生した時点、つまり仮想物体に操作部３０（ユーザ）が触れるだけで匂いを提示することもできる。また、仮想物体を押すという動作ではなく、仮想物体をこするという動作に応じて匂いを提示するようにしてもよい。たとえば、仮想物体を激しくこすると仮想物体から火が出る映像を表示し、その火に合わせて匂いや音を提示するようなことが考えられる。
【００６４】
また、上述の実施例では、１つの仮想物体を３次元モニタ１４に表示する場合を例示しているが、複数の仮想物体を同時に３次元モニタ１４に表示することもできる。たとえば、大きさの異なる２つの風船を表示し、大きな風船を触ったときにはその反力は大きく、それを割ったときには大きな破裂音と強い匂いとを提示し、小さな風船を触ったときにはその反力は小さく、それを割ったときには小さな破裂音と弱い匂いとを提示するようなことが考えられる。
【符号の説明】
【００６５】
１０ …多感覚インタラクションシステム
１２ …コンピュータ
１４ …３次元モニタ
１６ …ヘッドホン
１８ …触覚デバイス
２０ …嗅覚ディスプレイ
３０ …操作部
３８ …コンピュータのＣＰＵ
４０ …コンピュータのメモリ
【特許請求の範囲】
【請求項１】
複数の感覚情報を統合して提示することによって、仮想物体が実在している感覚をユーザに与える多感覚インタラクションシステムであって、
前記仮想物体の映像を提示する視覚情報提示手段、
前記ユーザによる操作を受け付け、前記仮想物体からの反力を提示する触覚情報提示手段、および
前記反力に応じて匂いを提示する嗅覚情報提示手段を備える、多感覚インタラクションシステム。
【請求項２】
前記視覚情報提示手段は、前記仮想物体の立体映像を提示する、請求項１記載の多感覚インタラクションシステム。
【請求項３】
前記反力に応じて音を提示する聴覚情報提示手段をさらに備える、請求項１または２記載の多感覚インタラクションシステム。
【請求項４】
前記視覚情報提示手段は、前記反力に応じて前記仮想物体の形状を変化させて提示し、
前記嗅覚情報提示手段は、前記仮想物体が形状変化したときに前記匂いを提示する、請求項１ないし３のいずれかに記載の多感覚インタラクションシステム。
【請求項５】
前記視覚情報提示手段は、前記匂いの発生を想起させる効果映像をさらに提示する、請求項１ないし４のいずれかに記載の多感覚インタラクションシステム。
【請求項１】
複数の感覚情報を統合して提示することによって、仮想物体が実在している感覚をユーザに与える多感覚インタラクションシステムであって、
前記仮想物体の映像を提示する視覚情報提示手段、
前記ユーザによる操作を受け付け、前記仮想物体からの反力を提示する触覚情報提示手段、および
前記反力に応じて匂いを提示する嗅覚情報提示手段を備える、多感覚インタラクションシステム。
【請求項２】
前記視覚情報提示手段は、前記仮想物体の立体映像を提示する、請求項１記載の多感覚インタラクションシステム。
【請求項３】
前記反力に応じて音を提示する聴覚情報提示手段をさらに備える、請求項１または２記載の多感覚インタラクションシステム。
【請求項４】
前記視覚情報提示手段は、前記反力に応じて前記仮想物体の形状を変化させて提示し、
前記嗅覚情報提示手段は、前記仮想物体が形状変化したときに前記匂いを提示する、請求項１ないし３のいずれかに記載の多感覚インタラクションシステム。
【請求項５】
前記視覚情報提示手段は、前記匂いの発生を想起させる効果映像をさらに提示する、請求項１ないし４のいずれかに記載の多感覚インタラクションシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−９６１７１（Ｐ２０１１−９６１７１Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２５１８４５（Ｐ２００９−２５１８４５）
【出願日】平成２１年１１月２日（２００９．１１．２）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１１月２日（２００９．１１．２）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]