操作システム
【課題】複合現実空間における仮想物体の選択操作を容易にする。
【解決手段】 複合現実空間における仮想物体を選択する操作を行う操作システムであって、対をなす操作体３１，３２が開閉可能に構成されるとともに、対の操作体３１，３２によって挟み操作が可能な操作装置１４と、前記操作装置１４の位置を検出する第１検出手段２３と、前記操作装置１４において挟み操作がなされたことを検出する第２検出手段３４と、選択対象である仮想物体の位置に、前記操作装置１４が存在することが前記第１検出手段２３によって検出されるとともに、前記操作装置１４において挟み操作がなされたことが前記第２検出手段１７によって検出されると、前記仮想物体の選択操作が行われたと判定する処理装置１１と、を備える。
【解決手段】 複合現実空間における仮想物体を選択する操作を行う操作システムであって、対をなす操作体３１，３２が開閉可能に構成されるとともに、対の操作体３１，３２によって挟み操作が可能な操作装置１４と、前記操作装置１４の位置を検出する第１検出手段２３と、前記操作装置１４において挟み操作がなされたことを検出する第２検出手段３４と、選択対象である仮想物体の位置に、前記操作装置１４が存在することが前記第１検出手段２３によって検出されるとともに、前記操作装置１４において挟み操作がなされたことが前記第２検出手段１７によって検出されると、前記仮想物体の選択操作が行われたと判定する処理装置１１と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想物体を選択する操作を行うための操作システムに関するものである。
【背景技術】
【０００２】
現実世界と仮想世界を実時間で融合する複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）は急速な発展を遂げ、人工現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；ＶＲ）研究の中でも活発な分野の一つとなっている。
人工的に生成した仮想環境だけを扱う従来のＶＲに対して、ＭＲでは、体験者の目の前にある現実世界が操作対象となり、自らの手足や共同体験者の姿も視認できる。
【０００３】
このため、情報やデータを実世界で実物に触れる感覚で操作する「実世界指向インタフェース」（非特許文献１参照）、「タンジブルインターフェース」（非特許文献２参照）を導入して、より効果的に、より直感的にＭＲ空間を操作できる方法が期待されている。
【０００４】
実際、このような考えに基づき、これまでに多くの魅力的な対話デバイスが開発されてきた（非特許文献３−７参照）。例えば、非特許文献３は、レンズや建物を模した実物体を手で動かすことで、光の屈折や影のシミュレーションを行う対話デバイスを提案している。
また、非特許文献４，５は、実物のパドルやコップを部屋のレイアウトや都市設計用の対話デバイスとして利用している。
【０００５】
【非特許文献１】暦本純一，"実世界指向インタフェース：実世界に拡張された直接操作環境"，情報処理，Ｖｏｌ．４３，Ｎｏ．３，ｐｐ．２１７−２２１，２００２
【非特許文献２】石井裕，"Ｔａｎｇｉｂｌｅ Ｂｉｔｓ：情報の感触／情報の気配"，情報処理，Ｖｏｌ．３９．３９，Ｎｏ．８，ｐｐ．７４５−７５１，１９９８
【非特許文献３】Ｊ．Ｕｎｄｅｒｋｏｆｆｌｅｒ，Ｂ．Ｕｌｌｍｅｒ，ａｎｄ Ｈ．Ｉｓｈｉｉ，"Ｅｍａｎｃｉｐａｔｅｄ ｐｉｘｅｌｓ： Ｒｅａｌ−Ｗｏｒｌｄ ｇｒａｐｈｉｃｓ ｉｎ ｔｈｅ ｌｕｍｉｎｏｕｓ ｒｏｏｍ"，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ９９，ｐｐ．３８５−３９２，１９９９
【非特許文献４】加藤博一，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｉ．Ｐｏｕｐｙｒｅｖ，鉄谷信二，橋哲八郎，"拡張現実感技術を用いたタンジブルインターフェース"，芸術科学会論文誌，ｖｏｌ．１，Ｎｏ．２，ｐｐ．９７−１０４，２０２２
【非特許文献５】Ｈ．ｋａｔｏ，Ｋ．Ｔａｃｈｉｂａｎａ，Ｍ．Ｔａｎａｂｅ，Ｔ．Ｎａｋａｊｉｍａ ａｎｄ Ｙ．Ｆｕｋｕｄａ，"ＭａｇｉｃＣｕｐ： Ａ ｔａｎｇｉｂｌｅ ｉｎｔｅｒｆａｃｅ ｆｏｒ ｖｉｒｔｕａｌ ｏｂｊｅｃｔｓ ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｔａｂｌｅ−Ｔｏｐ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ"，Ｐｒｏｃ．ＡＲＴ０３，ｐｐ８５−８６，２００３
【非特許文献６】木村朝子，小川直昭，秋友恵，大槻麻衣，川野啓祐，比嘉恭太，柴田史久，田村秀行，"ＭＲテーブル花火 Ｔｈｅ Ｄｅｓｋｔｏｐ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｆｉｒｅｗｏｒｋｓ"，日本バーチャルリアリティ学会第１０会大会論文集，ｐｐ．５１６−５１７，２００５
【非特許文献７】木村朝子，橋本崇，一刈良介，種子田慶介，鬼柳牧子，柴田史久，田村秀行，"Ｃｈｅｒｒｙ Ｂｌｏｓｓｏｍ Ｃｙｂｅｒｖｉｅｗ −サイバー観桜会−"，日本バーチャルリアリティ学会第９回大会論文集，ｐｐ．６０９−６１０、２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の対話デバイスの大半は、その用途ごとに検討・提案されたものであり、様々な作業を支援するだけの汎用性は有していない。
本発明者らは、誰もが直感的に利用できるという特徴は有しながら、ＭＲ空間での作業に幅広く用いることができる対話デバイスを目指している。
そして、本発明者らは、広い仮想空間における作業を実現する操作の一つとして、仮想物体の選択（選択及び移動）に着目した。
【０００７】
ここで、従来、選択操作を行うための汎用的なコンピュータユーザインターフェースとしては、マウスなどのポインティングデバイスが存在する。従来のポインティングデバイスは、画面に表示されたカーソルを移動させ、当該画面上にあるアイコンを選択するために用いられる。
しかし、マウスのような従来のポインティングデバイスをＭＲ空間に導入しても、その操作が直感的に分かりにくく、操作容易性が確保できない。
【０００８】
そこで、本発明は、仮想物体が表示される空間において、仮想物体の選択操作を容易に行える操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複合現実空間における仮想物体を選択する操作を行う操作システムであって、対をなす操作体が開閉可能に構成されるとともに、対の操作体によって挟み操作が可能な操作装置と、前記操作装置の位置を検出する第１検出手段と、前記操作装置において挟み操作がなされたことを検出する第２検出手段と、選択対象である仮想物体の位置に、前記操作装置が存在することが前記第１検出手段によって検出されるとともに、前記操作装置において挟み操作がなされたことが前記第２検出手段によって検出されると、前記仮想物体の選択操作が行われたと判定する処理装置と、を備えることを特徴とする操作システムである。
上記本発明によれば、挟み操作によって仮想物体の選択が行えるため、複合現実空間における選択操作が容易に行える。
【００１０】
前記仮想物体の選択操作が行われたと判定されると、前記挟み操作に対する反力を前記操作装置に発生させる反力提示機構を備えているのが好ましい。この場合、仮想物体を現実に挟んだかのような感覚を操作者に与えることができる。
【００１１】
前記反力提示機構は、対をなす操作体の開閉動作における回動支点近傍に設けられて、前記回動支点における操作体の回動を規制するものであるのが好ましい。この場合、操作者の手に対して容易に反力を与えることができる。
【００１２】
前記反力提示機構は、選択された仮想物体の設定された硬さに応じて、前記回動の規制を行う規制力が調整されるのが好ましい。この場合、操作者は、仮想物体の硬さを感じ取ることができる。
【００１３】
前記第２検出手段は、前記挟み操作が行われたときの、前記対の操作体の挟み幅を検出可能に構成され、前記処理装置は、前記挟み幅が、選択対象の仮想物体の設定された大きさに一致したときに、前記仮想物体の選択操作が行われたと判定するのが好ましい。この場合、仮想物体の大きさを感じ取ることができる。
【発明の効果】
【００１４】
本発明によれば、仮想物体の選択操作を容易に行える。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の操作システムを採用した複合現実感システム（ＭＲシステム）１を示している。
【００１６】
［ＭＲシステムのハードウェア構成］
ＭＲシステム１は、複合現実感（ＭＲ）空間管理コンピュータ１１と、ＭＲ空間をユーザに提示するためのヘッドマウントディスプレイ（ＭＲ空間表示装置）１２とを有している。これらのＭＲ空間管理コンピュータ１１とヘッドマウントディスプレイ１２によって、ユーザに複合現実感を提示することができる。
【００１７】
また、ＭＲシステム１は、仮想物体に対する選択操作などの操作を行う操作装置１４と、操作装置１４を制御するための操作装置制御用コンピュータ１５とを有している。ユーザが、現実の物体である操作装置１４を、現実空間において操作すると、操作装置制御用コンピュータ１５は、操作結果の応答・確認のための処理を行う。また、操作装置１４における操作結果は、ＭＲ空間管理用コンピュータ１１に与えられ、複合現実空間における仮想物体に対する操作として認識し処理する。
【００１８】
なお、ＭＲシステム１は、現実空間におけるユーザの位置及び向きや、現実空間における操作装置１４の位置及び姿勢を検出するために用いられるトランスミッタ１７を有している。
【００１９】
前記ヘッドマウントディスプレイ１２は、ユーザの両目を覆うように頭部に装着して使用されるものである。本実施形態のディスプレイ１２は、ビデオシースルー方式であり、ユーザの両眼にほぼ対応する位置にビデオカメラ１２ａ，１２ｂを備えており、ユーザが視認している現実空間に対応するカメラ映像を取得することができる。カメラ１２ａ，１２ｂによって取得された映像は、カメラコントローラ１９を介して、ＭＲ空間管理用コンピュータ１１に与えられる。
【００２０】
また、ディスプレイ１２は、ユーザの両眼にほぼ対応する位置に、表示画面が左右両側に振り分けて配置されており、これら各表示画面に、ＭＲ空間管理用コンピュータ１１で生成された仮想空間の映像（ＶＧＡ映像）がステレオ方式で表示されるようになっている。
したがって、ディスプレイ１２を装着したユーザは、現実世界に仮想世界を実時間で融合した複合現実感を得ることができる。なお、ＭＲ空間管理用コンピュータ１１で生成された映像は、映像コントローラ２０を介して、表示画面に表示される。
ここで、仮想物体をユーザに提示するための表示装置は、仮想物体を立体的に視認可能に表示する１２に限られるものではなく、仮想物体を現実世界に平面的に投影するプロジェクタなどであってもよい。
【００２１】
また、ヘッドマウントディスプレイ１２には、位置姿勢センサ１２ｃが取り付けられている。前記位置姿勢センサ１２ｃは、前記トランスミッタ１７とともにセンサコントローラ２１に接続されており、このセンサコントローラ２１は、ＭＲ空間管理用コンピュータ１１に接続されている。
【００２２】
トランスミッタ１７は、一定周波数の電磁波を所定半径の領域に放出しており、この領域内に入った電磁コイル式の位置姿勢センサ１２ｃに発生する交流起電力を分析することで、その絶対位置と方向（姿勢）が検出され、この位置姿勢センサ１２ｃの絶対位置と方向が、常時、ＭＲ空間管理用コンピュータ１１に送信されるようになっている。
【００２３】
また、前記操作装置１４にも、同様の位置姿勢センサ２３が取り付けられており、この位置姿勢センサ２３も、センサコントローラ２１を介して、ＭＲ空間管理用コンピュータ１１に接続されている。したがって、操作装置１４の絶対位置と方向（姿勢）が、常時、ＭＲ空間管理用コンピュータ１１に送信されるようになっている。
【００２４】
［操作装置１４の基本コンセプト］
図２に示すように、本実施形態の操作装置１４は、ピンセット型とされており、仮想物体の選択と移動を直感的に行うのに適した形態となっている。
【００２５】
ここで、コンピュータや電子機器の操作装置（対話デバイス）を、「汎用」か「専用」か、という観点から捉えると、キーボードやマウスは汎用性が高いデバイスであり、パイロット養成用の本格的なフライトシミュレータの操作装置は専用性が高いデバイスといえる。また、ゲームのフライトシミュレータやその他のシミュレーションゲームの操作装置は、機能を単純化・抽象化しているため、専用度はやや低くなるものの専用的な操作装置といえる。
【００２６】
本発明において提案する操作装置は、専用と汎用の中間に位置する「準汎用デバイス」である。すなわち、見た目や手触りから用途が分かり、かつ特定用途に限定していない「汎用性」もあるデバイスである。
本発明者らの研究では、一つのデバイスに多種多様な機能をもたせた万能型デバイスでも、機能を特化した専用デバイスでもなく、目的に応じて異なった道具に持ち替えて利用できるツールセットを指向している。すなわち、いわゆる「アーミーナイフ型」ではなく、「弁慶の７つ道具型」のイメージである。
本発明者らの研究方針は、考え得る道具の全てを実現するのではなく、ＭＲ空間での作業で重要と考えられる操作を分類・抽象化し、それに適した道具を実現することである。
【００２７】
そこで、本発明者らは、ＭＲ空間に適した作業として、設計、レイアウト、立体造形などを想定し、それらの作業を実現する操作として「選択・移動」、「加工」、「描画」に絞り込んだ。これらの操作は、マウスが最も苦手とする操作である。
これらの操作のうち、本実施形態の操作装置１４は、「選択・移動」を対象とする。
【００２８】
コンピュータのユーザインターフェースでは、「選択・移動」は、マウスによる「ドラッグ＆ドロップ」で実現される操作である。本発明者らは、この「選択・移動」操作を、実世界でモノを挟んで移動するための道具である「ピンセット」に関連付けた。
操作装置１４、がピンセット型であることで、ユーザは、その二股形状の外観から、仮想物体の選択・移動を容易にイメージすることが可能である。
【００２９】
［操作装置の構成］
図２に示すように、操作装置１４は、第１操作体３１と第２操作体３２とが、後端の連結部３３にて回動自在に連結されており、全体として二股形状である。
操作装置１４は、後端の連結部３３を回動支点として、第１操作体３１の先端３１ａと第２操作体３２の先端３２ａとが互いに近づくように閉操作可能に構成されている。また、連結部３３内部には、図示しないバネが設けられており、このバネによって、第１操作体３１と第２操作体３２が互いに離れる方向に付勢されている。なお、図２は、第１操作体３１と第２操作体３２とが最も離れた状態を示している。
【００３０】
ここで、ピンセットは、もともと小さなものを掴んで移動するための道具であり、その大きさは比較的小さい。ただし、ＭＲ環境では、操作対象となる仮想物体があまり小さいと視認することが難しいため、比較的大きい仮想物体を想定し、操作装置１４も、通常のピンセットよりは大きく、トング程度の大きさとなっている。
【００３１】
図３にも示すように、操作装置１４（第１操作体３１）には、前述のように、位置姿勢センサ２３が内蔵されており、操作装置１４の位置情報と姿勢情報を、ＭＲ空間管理用コンピュータ１１に与えることができる。操作装置１４の位置情報は、ＭＲ空間管理用コンピュータ１１において、仮想物体が、操作装置１４で挟める（選択できる）位置にあるか否かの判定に用いられる。また、操作装置１４の位置情報は、操作装置１４によって選択中の仮想物体を、操作装置１４の移動に追従させて移動して表示させるために用いられる。
【００３２】
さらに、操作装置１４には、第１操作体３１と第２操作体３２の挟み幅（開閉度）を検出するポテンショメータ（挟み幅検出部）３４が設けられている。このポテンショメータ３４は、両操作体３１，３２を閉じる方向へ回動したときの回動角度（６４段階）を検出するよう構成されている。検出された回動角度は、操作装置の制御用インタフェースボックス２５と操作装置制御用コンピュータ１５とを介して、ＭＲ空間管理用コンピュータ１１に与えられる。
【００３３】
ＭＲ空間管理用コンピュータ１１では、回動角度（挟み幅）の情報を基に、仮想物体を挟んだか否かの判定を行う。つまり、複合現実空間内において、操作装置１４（の先端）の位置が、仮想物体の位置と一致している状態で、両操作体３１，３２を閉じる操作が行われたら、仮想物体が挟まれた（選択された）と判定する。
【００３４】
なお、ＭＲ空間管理用コンピュータ１１において、仮想物体には、大きさ情報が設定されており、回動角度（挟み幅）が、設定された仮想物体の大きさに対応する値になると、仮想物体が選択されたと判定する。つまり、仮想物体が大きい場合には、操作装置１４を少し閉じるだけで選択できるが、仮想物体が小さい場合には、操作装置１４を多く閉じないと選択することができない。
【００３５】
また、操作装置１４は、仮想物体への操作結果の応答をユーザに提示するため、視覚提示機能、聴覚提示機能、反力提示機能、触覚提示機能を具備している。
【００３６】
視覚提示は、第１操作体３１と第２操作体３２にそれぞれ設けられたＲＧＢ３色のＬＥＤ３５によって行われる。操作内容・操作結果に応じて、ＬＥＤ３５，３５が点灯するため、ユーザは、操作内容・操作結果を視覚によって確認することができる。
なお、視覚提示のための処理は、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、ＬＥＤ点灯信号を生成することによって行われる。
【００３７】
聴覚提示は、連結部３３に設けられたスピーカ３７によって行われる。仮想物体の選択が行われると、操作装置１４があたかも仮想物体と接触したことで音が発生したように、スピーカ３７から音が発生する。これにより、操作装置１４が仮想物体に接触したことをユーザに印象付けることができる。
なお、聴覚提示のための処理も、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、音の信号を生成することによって行われる。
【００３８】
反力提示は、連結部３３及び第２操作体３２に内蔵された反力提示機構３９によって行われる。反力提示機構３９は、操作装置１４によって仮想物体を掴む操作を行ったときに、現実の物体を掴んだときと同様に、反力を発生させるためのものである。この反力は、操作体３１，３２の回動を規制することによって与えられる。
なお、反力提示のための処理も、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、後述のソレノイド４２ｂ，４３ｂを制御する信号を生成することによって行われる。
【００３９】
図３及び図４（ａ）に示す反力提示機構３９は、ラチェット方式であり、第１操作体３１側に設けられたプレート４１と、第２操作体３２側に設けられたロック機構４２と、を備えている。
【００４０】
プレート４１は、両操作体３１，３２の回動支点Ｃまわりで、第１操作体３１とともに回動するように設けられている。
ロック機構４２は、プレート４１に形成された多数の溝４１ａに係合して、一定角度毎に、操作装置１４の角度をロックするためのロック爪４２ａを有している。このロック爪４２ａは、通常は、溝４１ａに係合せず、操作装置１４の開閉は自在となっているが、操作装置１４によって仮想物体を挟んだことが判定されると、ソレノイド４２ｂによって、ロック爪４２ａが溝４１ａに係合するように、ロック爪４２ａの操作がなされ、操作装置１４の開き角度をロックする。
【００４１】
また、ラチェット方式の反力提示機構３９は、ロック爪４２ａが溝４１ａに係合しても、操作装置１４を閉じる方向にはロックするが、開く方向にはロックしない。したがって、操作装置１４が、ロック状態であっても、操作体３１，３２を閉じるのを止めると、操作体３１，３２を開く方向に付勢するバネの付勢力によって、操作体３１，３２は自然に開く。
このように、前記バネの付勢力が、ロック爪４２ａと溝４１ａの係合を乗り越えて、操作体３１，３２が開くことができるような大きさに設定されているため、ロック爪４２ａが溝４１ａに係合していても、操作体３１，３２を開くことができる。
【００４２】
なお、ＭＲ空間管理用コンピュータ１１によって、操作装置１４が仮想物体を放した（選択解除）と判定されると、ソレノイド４２ｂによって、ロック爪４２ａの溝４１ａへの係合が解除される。
このようなラチェット方式の反力提示機構３９の場合、仮想物体の大きさに応じて、操作装置先端の挟み幅をロックすることができる。
【００４３】
また、図４（ｂ）は、反力提示機構３９の他の例を示している。この反力提示機構３９は、ドラムブレーキ方式である。
ドラムブレーキ方式の反力提示機構３９は、第１操作体３１側に設けられたドラム４３と、第２操作体３２側に設けられてドラム４３の回動にブレーキを掛けるブレーキ機構４４と、を有している。
【００４４】
ブレーキ機構４４は、第１操作体３１の回動に伴って回動するドラム４３の外周側に位置するブレーキバンド４４ａと、このブレーキバンド４４ａを引き込んで、ブレーキバンド４４ａをドラム４３に締め込むことでブレーキを掛けるソレノイド４３ｂと、を備えている。
ブレーキバンド４４ａは、通常は、ドラム４３外周に接触していないか又は摩擦の小さい状態で接触しており、操作装置１４の開閉は自在となっているが、操作装置１４によって仮想物体を挟んだことが判定されると、ソレノイド４４ｂによって、ブレーキバンド４４ａが引き込まれ、操作装置１４の閉じ操作を抑制するようにブレーキが掛かる。
【００４５】
また、ブレーキ方式の反力提示機構３９によるブレーキ力は、少なくとも操作体３１，３２が開く方向に対しては、操作体３１，３２を開く方向に付勢するバネの付勢力よりは小さくなっている。したがって、操作装置１４がブレーキ状態であっても、操作体３１，３２を閉じるのを止めると、操作体３１，３２を開く方向に付勢するバネの付勢力によって、操作体３１，３２は自然に開く。
このように、前記バネの付勢力が、ブレーキが掛かっていても、操作体３１，３２が開くことができるような大きさに設定されているため、ブレーキが掛かっていても、操作体３１，３２を開くことができる。
【００４６】
なお、操作装置１４が仮想物体を放した（選択解除）と判定されると、ソレノイド４４ｂによって、ブレーキが解除される。
【００４７】
ブレーキ方式の反力提示機構３９を採用すると、仮想物体の大きさを提示できるだけでなく、仮想物体の設定された硬さに応じて、ブレーキ力を制御して、仮想物体の硬さ／柔らかさを提示することができる。
つまり、操作装置１４によって柔らかい仮想物体を選択した場合には、ソレノイド４４ｂによるブレーキバンド引き込み量を少なくして緩やかなブレーキを掛けることで、仮想物体の柔らかさをユーザに提示できる。
一方、操作装置１４によって硬い仮想物体を選択した場合には、ソレノイド４４ｂによるブレーキバンド引き込み量を多くして、強いブレーキを掛けることで、仮想物体の硬さをユーザに提示できる。
なお、ブレーキを掛けるための機構は、図示のものに限定されるものではなく、例えば、ブレーキバンド４４ａに代えてブレーキシューを、ドラム４３に摩擦接触させてブレーキを掛けるものであってもよい。
【００４８】
触覚提示は、連結部３３に内蔵された振動モータ４０によって行われる。振動モータ４０は、操作装置１４において操作がなされると、反力提示とは別に、操作結果の応答・確認のために振動を発生する。
なお、触覚提示のための処理も、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、振動モータ４０を制御する信号を生成することによって行われる。
【００４９】
［複合現実空間における操作装置の操作方法］
以上のように構成された操作装置１４では、複合現実空間において仮想物体を掴む操作（選択操作）、仮想物体を掴んだまま移動する操作（移動操作）、仮想物体を放す操作（選択解除操作）などが行える。これらの操作方法は、操作装置１４の外観から、ユーザが、容易にイメージでき、ＭＲ空間における良好な操作性が得られる。
【００５０】
［選択操作］
前記選択操作を行うには、図５に示すように、複合現実空間において、現実の物体である操作装置１４を仮想物体に近づけ、両操作体先端３１ａ，３２ａの間に仮想物体を位置させる。このときの操作装置１４の位置・姿勢情報は、位置姿勢センサ２３を介して、ＭＲ空間管理コンピュータ１１によって取得されている。
ＭＲ空間管理コンピュータ１１は、複合現実空間における仮想物体の位置と操作装置１４（の先端）の位置が一致したことを検出し、かつ、その位置で操作体３１，３２を閉じる操作（挟み操作）がユーザにより行われて、仮想物体の設定された大きさに対応する挟み幅まで閉じられたことをポテンショメータ３４を介して検出すると、その仮想物体が選択された旨の判定を行う。
【００５１】
仮想物体選択の判定がなされると、ユーザに対し、視覚、聴覚、反力、及び触覚が提示される。ここで、図４（ａ）のラチェット方式の反力提示機構３９を採用した場合、仮想物体選択時の挟み幅でロックされ、選択中はいくら強く押してもそれ以上押し込むことはできない。一方、図４（ｂ）のブレーキ方式の反力提示機構３９を採用した場合、仮想物体選択時の挟み幅で固定されるようブレーキがかかるが、仮想物体の設定された硬さが柔らかければ、さらに操作体３１，３２を強く押すとブレーキバンドが滑り、バネのような押し込み感として知覚される。
【００５２】
［移動操作］
図６に示すように、仮想物体を操作装置１４で選択したまま（掴んだまま）、操作装置１４を移動させると、複合現実空間において仮想物体を移動させることができる。つまり、ＭＲ空間管理用コンピュータ１１は、仮想物体が選択されている状態において、操作装置１４の現実空間における位置の変化を検出すると、操作装置１４の移動に追従するように、複合現実空間における仮想物体の位置を変更し、表示する。
なお、この移動操作中も、選択操作中と同様に、反力提示などが行われる。
【００５３】
［選択解除操作］
図７に示すように、仮想物体を操作装置１４で選択した（掴んだ）状態から、仮想物体を放すべく、操作装置１４の閉じ操作を止めると、操作体３１，３２を開く方向に付勢するバネによって、操作体３１，３２が自然に開く。そして、操作体３１，３２が開いたことは、ポテンショメータ３４によって検出される。
操作体３１，３２が開くと、ＭＲ空間管理用コンピュータ１１は、仮想物体の選択解除がなされたと判定する。また、操作装置制御用コンピュータ１５は、反力提示機構３９による反力提示が解除する処理を行う。つまり、ソレノイド４２ｂ，４３ｂを動作させて、ロックないしブレーキ（規制力）を解除させる。
【００５４】
なお、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。例えば、操作装置は、現実世界において挟み操作が行える道具を模したものであればよい。したがって、ピンセットのように回動支点が後端にある二股形状に限られるものではなく、ペンチのように回動支点が第１操作体と第２操作体の中途にあり、回動支点よりも後側において操作を行い、回動支点よりも前側で仮想物体を挟むものであってもよい。
また、操作装置の位置等を検出する位置姿勢センサ（第１検出手段）は、磁気センサ等に限られるものではなく、操作装置検出用カメラで撮像した映像から操作装置の位置を特定するためのコンピュータビジョンによって操作装置の位置等を検出するものであってもよい。
【図面の簡単な説明】
【００５５】
【図１】本発明の操作システムを採用したＭＲシステムの構成図である。
【図２】操作装置の外観図である。
【図３】操作装置の内部機構図である。
【図４】反力提示機構を示す側面図である。
【図５】選択操作の説明図である。
【図６】移動操作の説明図である。
【図７】選択解除操作の説明図である。
【符号の説明】
【００５６】
１ 複合現実感システム
１１ ＭＲ空間管理用コンピュータ（処理装置）
１２ ヘッドマウントディスプレイ
１４ 操作装置
１５ 操作装置制御用コンピュータ（処理装置）
１７ トランスミッタ
２３ 位置姿勢センサ（第１検出手段）
３１ 第１操作体
３２ 第２操作体
３４ ポテンショメータ（第２検出手段）
３９ 反力提示機構
【技術分野】
【０００１】
本発明は、仮想物体を選択する操作を行うための操作システムに関するものである。
【背景技術】
【０００２】
現実世界と仮想世界を実時間で融合する複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）は急速な発展を遂げ、人工現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；ＶＲ）研究の中でも活発な分野の一つとなっている。
人工的に生成した仮想環境だけを扱う従来のＶＲに対して、ＭＲでは、体験者の目の前にある現実世界が操作対象となり、自らの手足や共同体験者の姿も視認できる。
【０００３】
このため、情報やデータを実世界で実物に触れる感覚で操作する「実世界指向インタフェース」（非特許文献１参照）、「タンジブルインターフェース」（非特許文献２参照）を導入して、より効果的に、より直感的にＭＲ空間を操作できる方法が期待されている。
【０００４】
実際、このような考えに基づき、これまでに多くの魅力的な対話デバイスが開発されてきた（非特許文献３−７参照）。例えば、非特許文献３は、レンズや建物を模した実物体を手で動かすことで、光の屈折や影のシミュレーションを行う対話デバイスを提案している。
また、非特許文献４，５は、実物のパドルやコップを部屋のレイアウトや都市設計用の対話デバイスとして利用している。
【０００５】
【非特許文献１】暦本純一，"実世界指向インタフェース：実世界に拡張された直接操作環境"，情報処理，Ｖｏｌ．４３，Ｎｏ．３，ｐｐ．２１７−２２１，２００２
【非特許文献２】石井裕，"Ｔａｎｇｉｂｌｅ Ｂｉｔｓ：情報の感触／情報の気配"，情報処理，Ｖｏｌ．３９．３９，Ｎｏ．８，ｐｐ．７４５−７５１，１９９８
【非特許文献３】Ｊ．Ｕｎｄｅｒｋｏｆｆｌｅｒ，Ｂ．Ｕｌｌｍｅｒ，ａｎｄ Ｈ．Ｉｓｈｉｉ，"Ｅｍａｎｃｉｐａｔｅｄ ｐｉｘｅｌｓ： Ｒｅａｌ−Ｗｏｒｌｄ ｇｒａｐｈｉｃｓ ｉｎ ｔｈｅ ｌｕｍｉｎｏｕｓ ｒｏｏｍ"，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ９９，ｐｐ．３８５−３９２，１９９９
【非特許文献４】加藤博一，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｉ．Ｐｏｕｐｙｒｅｖ，鉄谷信二，橋哲八郎，"拡張現実感技術を用いたタンジブルインターフェース"，芸術科学会論文誌，ｖｏｌ．１，Ｎｏ．２，ｐｐ．９７−１０４，２０２２
【非特許文献５】Ｈ．ｋａｔｏ，Ｋ．Ｔａｃｈｉｂａｎａ，Ｍ．Ｔａｎａｂｅ，Ｔ．Ｎａｋａｊｉｍａ ａｎｄ Ｙ．Ｆｕｋｕｄａ，"ＭａｇｉｃＣｕｐ： Ａ ｔａｎｇｉｂｌｅ ｉｎｔｅｒｆａｃｅ ｆｏｒ ｖｉｒｔｕａｌ ｏｂｊｅｃｔｓ ｍａｎｉｐｕｌａｔｉｏｎ ｉｎ Ｔａｂｌｅ−Ｔｏｐ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ"，Ｐｒｏｃ．ＡＲＴ０３，ｐｐ８５−８６，２００３
【非特許文献６】木村朝子，小川直昭，秋友恵，大槻麻衣，川野啓祐，比嘉恭太，柴田史久，田村秀行，"ＭＲテーブル花火 Ｔｈｅ Ｄｅｓｋｔｏｐ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｆｉｒｅｗｏｒｋｓ"，日本バーチャルリアリティ学会第１０会大会論文集，ｐｐ．５１６−５１７，２００５
【非特許文献７】木村朝子，橋本崇，一刈良介，種子田慶介，鬼柳牧子，柴田史久，田村秀行，"Ｃｈｅｒｒｙ Ｂｌｏｓｓｏｍ Ｃｙｂｅｒｖｉｅｗ −サイバー観桜会−"，日本バーチャルリアリティ学会第９回大会論文集，ｐｐ．６０９−６１０、２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の対話デバイスの大半は、その用途ごとに検討・提案されたものであり、様々な作業を支援するだけの汎用性は有していない。
本発明者らは、誰もが直感的に利用できるという特徴は有しながら、ＭＲ空間での作業に幅広く用いることができる対話デバイスを目指している。
そして、本発明者らは、広い仮想空間における作業を実現する操作の一つとして、仮想物体の選択（選択及び移動）に着目した。
【０００７】
ここで、従来、選択操作を行うための汎用的なコンピュータユーザインターフェースとしては、マウスなどのポインティングデバイスが存在する。従来のポインティングデバイスは、画面に表示されたカーソルを移動させ、当該画面上にあるアイコンを選択するために用いられる。
しかし、マウスのような従来のポインティングデバイスをＭＲ空間に導入しても、その操作が直感的に分かりにくく、操作容易性が確保できない。
【０００８】
そこで、本発明は、仮想物体が表示される空間において、仮想物体の選択操作を容易に行える操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複合現実空間における仮想物体を選択する操作を行う操作システムであって、対をなす操作体が開閉可能に構成されるとともに、対の操作体によって挟み操作が可能な操作装置と、前記操作装置の位置を検出する第１検出手段と、前記操作装置において挟み操作がなされたことを検出する第２検出手段と、選択対象である仮想物体の位置に、前記操作装置が存在することが前記第１検出手段によって検出されるとともに、前記操作装置において挟み操作がなされたことが前記第２検出手段によって検出されると、前記仮想物体の選択操作が行われたと判定する処理装置と、を備えることを特徴とする操作システムである。
上記本発明によれば、挟み操作によって仮想物体の選択が行えるため、複合現実空間における選択操作が容易に行える。
【００１０】
前記仮想物体の選択操作が行われたと判定されると、前記挟み操作に対する反力を前記操作装置に発生させる反力提示機構を備えているのが好ましい。この場合、仮想物体を現実に挟んだかのような感覚を操作者に与えることができる。
【００１１】
前記反力提示機構は、対をなす操作体の開閉動作における回動支点近傍に設けられて、前記回動支点における操作体の回動を規制するものであるのが好ましい。この場合、操作者の手に対して容易に反力を与えることができる。
【００１２】
前記反力提示機構は、選択された仮想物体の設定された硬さに応じて、前記回動の規制を行う規制力が調整されるのが好ましい。この場合、操作者は、仮想物体の硬さを感じ取ることができる。
【００１３】
前記第２検出手段は、前記挟み操作が行われたときの、前記対の操作体の挟み幅を検出可能に構成され、前記処理装置は、前記挟み幅が、選択対象の仮想物体の設定された大きさに一致したときに、前記仮想物体の選択操作が行われたと判定するのが好ましい。この場合、仮想物体の大きさを感じ取ることができる。
【発明の効果】
【００１４】
本発明によれば、仮想物体の選択操作を容易に行える。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の操作システムを採用した複合現実感システム（ＭＲシステム）１を示している。
【００１６】
［ＭＲシステムのハードウェア構成］
ＭＲシステム１は、複合現実感（ＭＲ）空間管理コンピュータ１１と、ＭＲ空間をユーザに提示するためのヘッドマウントディスプレイ（ＭＲ空間表示装置）１２とを有している。これらのＭＲ空間管理コンピュータ１１とヘッドマウントディスプレイ１２によって、ユーザに複合現実感を提示することができる。
【００１７】
また、ＭＲシステム１は、仮想物体に対する選択操作などの操作を行う操作装置１４と、操作装置１４を制御するための操作装置制御用コンピュータ１５とを有している。ユーザが、現実の物体である操作装置１４を、現実空間において操作すると、操作装置制御用コンピュータ１５は、操作結果の応答・確認のための処理を行う。また、操作装置１４における操作結果は、ＭＲ空間管理用コンピュータ１１に与えられ、複合現実空間における仮想物体に対する操作として認識し処理する。
【００１８】
なお、ＭＲシステム１は、現実空間におけるユーザの位置及び向きや、現実空間における操作装置１４の位置及び姿勢を検出するために用いられるトランスミッタ１７を有している。
【００１９】
前記ヘッドマウントディスプレイ１２は、ユーザの両目を覆うように頭部に装着して使用されるものである。本実施形態のディスプレイ１２は、ビデオシースルー方式であり、ユーザの両眼にほぼ対応する位置にビデオカメラ１２ａ，１２ｂを備えており、ユーザが視認している現実空間に対応するカメラ映像を取得することができる。カメラ１２ａ，１２ｂによって取得された映像は、カメラコントローラ１９を介して、ＭＲ空間管理用コンピュータ１１に与えられる。
【００２０】
また、ディスプレイ１２は、ユーザの両眼にほぼ対応する位置に、表示画面が左右両側に振り分けて配置されており、これら各表示画面に、ＭＲ空間管理用コンピュータ１１で生成された仮想空間の映像（ＶＧＡ映像）がステレオ方式で表示されるようになっている。
したがって、ディスプレイ１２を装着したユーザは、現実世界に仮想世界を実時間で融合した複合現実感を得ることができる。なお、ＭＲ空間管理用コンピュータ１１で生成された映像は、映像コントローラ２０を介して、表示画面に表示される。
ここで、仮想物体をユーザに提示するための表示装置は、仮想物体を立体的に視認可能に表示する１２に限られるものではなく、仮想物体を現実世界に平面的に投影するプロジェクタなどであってもよい。
【００２１】
また、ヘッドマウントディスプレイ１２には、位置姿勢センサ１２ｃが取り付けられている。前記位置姿勢センサ１２ｃは、前記トランスミッタ１７とともにセンサコントローラ２１に接続されており、このセンサコントローラ２１は、ＭＲ空間管理用コンピュータ１１に接続されている。
【００２２】
トランスミッタ１７は、一定周波数の電磁波を所定半径の領域に放出しており、この領域内に入った電磁コイル式の位置姿勢センサ１２ｃに発生する交流起電力を分析することで、その絶対位置と方向（姿勢）が検出され、この位置姿勢センサ１２ｃの絶対位置と方向が、常時、ＭＲ空間管理用コンピュータ１１に送信されるようになっている。
【００２３】
また、前記操作装置１４にも、同様の位置姿勢センサ２３が取り付けられており、この位置姿勢センサ２３も、センサコントローラ２１を介して、ＭＲ空間管理用コンピュータ１１に接続されている。したがって、操作装置１４の絶対位置と方向（姿勢）が、常時、ＭＲ空間管理用コンピュータ１１に送信されるようになっている。
【００２４】
［操作装置１４の基本コンセプト］
図２に示すように、本実施形態の操作装置１４は、ピンセット型とされており、仮想物体の選択と移動を直感的に行うのに適した形態となっている。
【００２５】
ここで、コンピュータや電子機器の操作装置（対話デバイス）を、「汎用」か「専用」か、という観点から捉えると、キーボードやマウスは汎用性が高いデバイスであり、パイロット養成用の本格的なフライトシミュレータの操作装置は専用性が高いデバイスといえる。また、ゲームのフライトシミュレータやその他のシミュレーションゲームの操作装置は、機能を単純化・抽象化しているため、専用度はやや低くなるものの専用的な操作装置といえる。
【００２６】
本発明において提案する操作装置は、専用と汎用の中間に位置する「準汎用デバイス」である。すなわち、見た目や手触りから用途が分かり、かつ特定用途に限定していない「汎用性」もあるデバイスである。
本発明者らの研究では、一つのデバイスに多種多様な機能をもたせた万能型デバイスでも、機能を特化した専用デバイスでもなく、目的に応じて異なった道具に持ち替えて利用できるツールセットを指向している。すなわち、いわゆる「アーミーナイフ型」ではなく、「弁慶の７つ道具型」のイメージである。
本発明者らの研究方針は、考え得る道具の全てを実現するのではなく、ＭＲ空間での作業で重要と考えられる操作を分類・抽象化し、それに適した道具を実現することである。
【００２７】
そこで、本発明者らは、ＭＲ空間に適した作業として、設計、レイアウト、立体造形などを想定し、それらの作業を実現する操作として「選択・移動」、「加工」、「描画」に絞り込んだ。これらの操作は、マウスが最も苦手とする操作である。
これらの操作のうち、本実施形態の操作装置１４は、「選択・移動」を対象とする。
【００２８】
コンピュータのユーザインターフェースでは、「選択・移動」は、マウスによる「ドラッグ＆ドロップ」で実現される操作である。本発明者らは、この「選択・移動」操作を、実世界でモノを挟んで移動するための道具である「ピンセット」に関連付けた。
操作装置１４、がピンセット型であることで、ユーザは、その二股形状の外観から、仮想物体の選択・移動を容易にイメージすることが可能である。
【００２９】
［操作装置の構成］
図２に示すように、操作装置１４は、第１操作体３１と第２操作体３２とが、後端の連結部３３にて回動自在に連結されており、全体として二股形状である。
操作装置１４は、後端の連結部３３を回動支点として、第１操作体３１の先端３１ａと第２操作体３２の先端３２ａとが互いに近づくように閉操作可能に構成されている。また、連結部３３内部には、図示しないバネが設けられており、このバネによって、第１操作体３１と第２操作体３２が互いに離れる方向に付勢されている。なお、図２は、第１操作体３１と第２操作体３２とが最も離れた状態を示している。
【００３０】
ここで、ピンセットは、もともと小さなものを掴んで移動するための道具であり、その大きさは比較的小さい。ただし、ＭＲ環境では、操作対象となる仮想物体があまり小さいと視認することが難しいため、比較的大きい仮想物体を想定し、操作装置１４も、通常のピンセットよりは大きく、トング程度の大きさとなっている。
【００３１】
図３にも示すように、操作装置１４（第１操作体３１）には、前述のように、位置姿勢センサ２３が内蔵されており、操作装置１４の位置情報と姿勢情報を、ＭＲ空間管理用コンピュータ１１に与えることができる。操作装置１４の位置情報は、ＭＲ空間管理用コンピュータ１１において、仮想物体が、操作装置１４で挟める（選択できる）位置にあるか否かの判定に用いられる。また、操作装置１４の位置情報は、操作装置１４によって選択中の仮想物体を、操作装置１４の移動に追従させて移動して表示させるために用いられる。
【００３２】
さらに、操作装置１４には、第１操作体３１と第２操作体３２の挟み幅（開閉度）を検出するポテンショメータ（挟み幅検出部）３４が設けられている。このポテンショメータ３４は、両操作体３１，３２を閉じる方向へ回動したときの回動角度（６４段階）を検出するよう構成されている。検出された回動角度は、操作装置の制御用インタフェースボックス２５と操作装置制御用コンピュータ１５とを介して、ＭＲ空間管理用コンピュータ１１に与えられる。
【００３３】
ＭＲ空間管理用コンピュータ１１では、回動角度（挟み幅）の情報を基に、仮想物体を挟んだか否かの判定を行う。つまり、複合現実空間内において、操作装置１４（の先端）の位置が、仮想物体の位置と一致している状態で、両操作体３１，３２を閉じる操作が行われたら、仮想物体が挟まれた（選択された）と判定する。
【００３４】
なお、ＭＲ空間管理用コンピュータ１１において、仮想物体には、大きさ情報が設定されており、回動角度（挟み幅）が、設定された仮想物体の大きさに対応する値になると、仮想物体が選択されたと判定する。つまり、仮想物体が大きい場合には、操作装置１４を少し閉じるだけで選択できるが、仮想物体が小さい場合には、操作装置１４を多く閉じないと選択することができない。
【００３５】
また、操作装置１４は、仮想物体への操作結果の応答をユーザに提示するため、視覚提示機能、聴覚提示機能、反力提示機能、触覚提示機能を具備している。
【００３６】
視覚提示は、第１操作体３１と第２操作体３２にそれぞれ設けられたＲＧＢ３色のＬＥＤ３５によって行われる。操作内容・操作結果に応じて、ＬＥＤ３５，３５が点灯するため、ユーザは、操作内容・操作結果を視覚によって確認することができる。
なお、視覚提示のための処理は、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、ＬＥＤ点灯信号を生成することによって行われる。
【００３７】
聴覚提示は、連結部３３に設けられたスピーカ３７によって行われる。仮想物体の選択が行われると、操作装置１４があたかも仮想物体と接触したことで音が発生したように、スピーカ３７から音が発生する。これにより、操作装置１４が仮想物体に接触したことをユーザに印象付けることができる。
なお、聴覚提示のための処理も、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、音の信号を生成することによって行われる。
【００３８】
反力提示は、連結部３３及び第２操作体３２に内蔵された反力提示機構３９によって行われる。反力提示機構３９は、操作装置１４によって仮想物体を掴む操作を行ったときに、現実の物体を掴んだときと同様に、反力を発生させるためのものである。この反力は、操作体３１，３２の回動を規制することによって与えられる。
なお、反力提示のための処理も、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、後述のソレノイド４２ｂ，４３ｂを制御する信号を生成することによって行われる。
【００３９】
図３及び図４（ａ）に示す反力提示機構３９は、ラチェット方式であり、第１操作体３１側に設けられたプレート４１と、第２操作体３２側に設けられたロック機構４２と、を備えている。
【００４０】
プレート４１は、両操作体３１，３２の回動支点Ｃまわりで、第１操作体３１とともに回動するように設けられている。
ロック機構４２は、プレート４１に形成された多数の溝４１ａに係合して、一定角度毎に、操作装置１４の角度をロックするためのロック爪４２ａを有している。このロック爪４２ａは、通常は、溝４１ａに係合せず、操作装置１４の開閉は自在となっているが、操作装置１４によって仮想物体を挟んだことが判定されると、ソレノイド４２ｂによって、ロック爪４２ａが溝４１ａに係合するように、ロック爪４２ａの操作がなされ、操作装置１４の開き角度をロックする。
【００４１】
また、ラチェット方式の反力提示機構３９は、ロック爪４２ａが溝４１ａに係合しても、操作装置１４を閉じる方向にはロックするが、開く方向にはロックしない。したがって、操作装置１４が、ロック状態であっても、操作体３１，３２を閉じるのを止めると、操作体３１，３２を開く方向に付勢するバネの付勢力によって、操作体３１，３２は自然に開く。
このように、前記バネの付勢力が、ロック爪４２ａと溝４１ａの係合を乗り越えて、操作体３１，３２が開くことができるような大きさに設定されているため、ロック爪４２ａが溝４１ａに係合していても、操作体３１，３２を開くことができる。
【００４２】
なお、ＭＲ空間管理用コンピュータ１１によって、操作装置１４が仮想物体を放した（選択解除）と判定されると、ソレノイド４２ｂによって、ロック爪４２ａの溝４１ａへの係合が解除される。
このようなラチェット方式の反力提示機構３９の場合、仮想物体の大きさに応じて、操作装置先端の挟み幅をロックすることができる。
【００４３】
また、図４（ｂ）は、反力提示機構３９の他の例を示している。この反力提示機構３９は、ドラムブレーキ方式である。
ドラムブレーキ方式の反力提示機構３９は、第１操作体３１側に設けられたドラム４３と、第２操作体３２側に設けられてドラム４３の回動にブレーキを掛けるブレーキ機構４４と、を有している。
【００４４】
ブレーキ機構４４は、第１操作体３１の回動に伴って回動するドラム４３の外周側に位置するブレーキバンド４４ａと、このブレーキバンド４４ａを引き込んで、ブレーキバンド４４ａをドラム４３に締め込むことでブレーキを掛けるソレノイド４３ｂと、を備えている。
ブレーキバンド４４ａは、通常は、ドラム４３外周に接触していないか又は摩擦の小さい状態で接触しており、操作装置１４の開閉は自在となっているが、操作装置１４によって仮想物体を挟んだことが判定されると、ソレノイド４４ｂによって、ブレーキバンド４４ａが引き込まれ、操作装置１４の閉じ操作を抑制するようにブレーキが掛かる。
【００４５】
また、ブレーキ方式の反力提示機構３９によるブレーキ力は、少なくとも操作体３１，３２が開く方向に対しては、操作体３１，３２を開く方向に付勢するバネの付勢力よりは小さくなっている。したがって、操作装置１４がブレーキ状態であっても、操作体３１，３２を閉じるのを止めると、操作体３１，３２を開く方向に付勢するバネの付勢力によって、操作体３１，３２は自然に開く。
このように、前記バネの付勢力が、ブレーキが掛かっていても、操作体３１，３２が開くことができるような大きさに設定されているため、ブレーキが掛かっていても、操作体３１，３２を開くことができる。
【００４６】
なお、操作装置１４が仮想物体を放した（選択解除）と判定されると、ソレノイド４４ｂによって、ブレーキが解除される。
【００４７】
ブレーキ方式の反力提示機構３９を採用すると、仮想物体の大きさを提示できるだけでなく、仮想物体の設定された硬さに応じて、ブレーキ力を制御して、仮想物体の硬さ／柔らかさを提示することができる。
つまり、操作装置１４によって柔らかい仮想物体を選択した場合には、ソレノイド４４ｂによるブレーキバンド引き込み量を少なくして緩やかなブレーキを掛けることで、仮想物体の柔らかさをユーザに提示できる。
一方、操作装置１４によって硬い仮想物体を選択した場合には、ソレノイド４４ｂによるブレーキバンド引き込み量を多くして、強いブレーキを掛けることで、仮想物体の硬さをユーザに提示できる。
なお、ブレーキを掛けるための機構は、図示のものに限定されるものではなく、例えば、ブレーキバンド４４ａに代えてブレーキシューを、ドラム４３に摩擦接触させてブレーキを掛けるものであってもよい。
【００４８】
触覚提示は、連結部３３に内蔵された振動モータ４０によって行われる。振動モータ４０は、操作装置１４において操作がなされると、反力提示とは別に、操作結果の応答・確認のために振動を発生する。
なお、触覚提示のための処理も、ＭＲ空間管理用コンピュータ１１において認識された操作内容・操作結果に応じて、操作装置制御用コンピュータ１５が、振動モータ４０を制御する信号を生成することによって行われる。
【００４９】
［複合現実空間における操作装置の操作方法］
以上のように構成された操作装置１４では、複合現実空間において仮想物体を掴む操作（選択操作）、仮想物体を掴んだまま移動する操作（移動操作）、仮想物体を放す操作（選択解除操作）などが行える。これらの操作方法は、操作装置１４の外観から、ユーザが、容易にイメージでき、ＭＲ空間における良好な操作性が得られる。
【００５０】
［選択操作］
前記選択操作を行うには、図５に示すように、複合現実空間において、現実の物体である操作装置１４を仮想物体に近づけ、両操作体先端３１ａ，３２ａの間に仮想物体を位置させる。このときの操作装置１４の位置・姿勢情報は、位置姿勢センサ２３を介して、ＭＲ空間管理コンピュータ１１によって取得されている。
ＭＲ空間管理コンピュータ１１は、複合現実空間における仮想物体の位置と操作装置１４（の先端）の位置が一致したことを検出し、かつ、その位置で操作体３１，３２を閉じる操作（挟み操作）がユーザにより行われて、仮想物体の設定された大きさに対応する挟み幅まで閉じられたことをポテンショメータ３４を介して検出すると、その仮想物体が選択された旨の判定を行う。
【００５１】
仮想物体選択の判定がなされると、ユーザに対し、視覚、聴覚、反力、及び触覚が提示される。ここで、図４（ａ）のラチェット方式の反力提示機構３９を採用した場合、仮想物体選択時の挟み幅でロックされ、選択中はいくら強く押してもそれ以上押し込むことはできない。一方、図４（ｂ）のブレーキ方式の反力提示機構３９を採用した場合、仮想物体選択時の挟み幅で固定されるようブレーキがかかるが、仮想物体の設定された硬さが柔らかければ、さらに操作体３１，３２を強く押すとブレーキバンドが滑り、バネのような押し込み感として知覚される。
【００５２】
［移動操作］
図６に示すように、仮想物体を操作装置１４で選択したまま（掴んだまま）、操作装置１４を移動させると、複合現実空間において仮想物体を移動させることができる。つまり、ＭＲ空間管理用コンピュータ１１は、仮想物体が選択されている状態において、操作装置１４の現実空間における位置の変化を検出すると、操作装置１４の移動に追従するように、複合現実空間における仮想物体の位置を変更し、表示する。
なお、この移動操作中も、選択操作中と同様に、反力提示などが行われる。
【００５３】
［選択解除操作］
図７に示すように、仮想物体を操作装置１４で選択した（掴んだ）状態から、仮想物体を放すべく、操作装置１４の閉じ操作を止めると、操作体３１，３２を開く方向に付勢するバネによって、操作体３１，３２が自然に開く。そして、操作体３１，３２が開いたことは、ポテンショメータ３４によって検出される。
操作体３１，３２が開くと、ＭＲ空間管理用コンピュータ１１は、仮想物体の選択解除がなされたと判定する。また、操作装置制御用コンピュータ１５は、反力提示機構３９による反力提示が解除する処理を行う。つまり、ソレノイド４２ｂ，４３ｂを動作させて、ロックないしブレーキ（規制力）を解除させる。
【００５４】
なお、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。例えば、操作装置は、現実世界において挟み操作が行える道具を模したものであればよい。したがって、ピンセットのように回動支点が後端にある二股形状に限られるものではなく、ペンチのように回動支点が第１操作体と第２操作体の中途にあり、回動支点よりも後側において操作を行い、回動支点よりも前側で仮想物体を挟むものであってもよい。
また、操作装置の位置等を検出する位置姿勢センサ（第１検出手段）は、磁気センサ等に限られるものではなく、操作装置検出用カメラで撮像した映像から操作装置の位置を特定するためのコンピュータビジョンによって操作装置の位置等を検出するものであってもよい。
【図面の簡単な説明】
【００５５】
【図１】本発明の操作システムを採用したＭＲシステムの構成図である。
【図２】操作装置の外観図である。
【図３】操作装置の内部機構図である。
【図４】反力提示機構を示す側面図である。
【図５】選択操作の説明図である。
【図６】移動操作の説明図である。
【図７】選択解除操作の説明図である。
【符号の説明】
【００５６】
１ 複合現実感システム
１１ ＭＲ空間管理用コンピュータ（処理装置）
１２ ヘッドマウントディスプレイ
１４ 操作装置
１５ 操作装置制御用コンピュータ（処理装置）
１７ トランスミッタ
２３ 位置姿勢センサ（第１検出手段）
３１ 第１操作体
３２ 第２操作体
３４ ポテンショメータ（第２検出手段）
３９ 反力提示機構
【特許請求の範囲】
【請求項１】
複合現実空間における仮想物体を選択する操作を行う操作システムであって、
対をなす操作体が開閉可能に構成されるとともに、対の操作体によって挟み操作が可能な操作装置と、
前記操作装置の位置を検出する第１検出手段と、
前記操作装置において挟み操作がなされたことを検出する第２検出手段と、
選択対象である仮想物体の位置に、前記操作装置が存在することが前記第１検出手段によって検出されるとともに、前記操作装置において挟み操作がなされたことが前記第２検出手段によって検出されると、前記仮想物体の選択操作が行われたと判定する処理装置と、
を備えることを特徴とする操作システム。
【請求項２】
前記仮想物体の選択操作が行われたと判定されると、前記挟み操作に対する反力を前記操作装置に発生させる反力提示機構を備えている請求項１記載の操作システム。
【請求項３】
前記反力提示機構は、対をなす操作体の開閉動作における回動支点近傍に設けられて、前記回動支点における前記操作体の回動を規制するものである請求項２記載の操作システム。
【請求項４】
前記反力提示機構は、選択された仮想物体の設定された硬さに応じて、前記回動の規制を行う規制力が調整される請求項３記載の操作システム。
【請求項５】
前記第２検出手段は、前記挟み操作が行われたときの、前記対の操作体の挟み幅を検出可能に構成され、
前記処理装置は、前記挟み幅が、選択対象の仮想物体の設定された大きさに一致したときに、前記仮想物体の選択操作が行われたと判定する請求項１〜４のいずれか１項に記載の操作システム。
【請求項１】
複合現実空間における仮想物体を選択する操作を行う操作システムであって、
対をなす操作体が開閉可能に構成されるとともに、対の操作体によって挟み操作が可能な操作装置と、
前記操作装置の位置を検出する第１検出手段と、
前記操作装置において挟み操作がなされたことを検出する第２検出手段と、
選択対象である仮想物体の位置に、前記操作装置が存在することが前記第１検出手段によって検出されるとともに、前記操作装置において挟み操作がなされたことが前記第２検出手段によって検出されると、前記仮想物体の選択操作が行われたと判定する処理装置と、
を備えることを特徴とする操作システム。
【請求項２】
前記仮想物体の選択操作が行われたと判定されると、前記挟み操作に対する反力を前記操作装置に発生させる反力提示機構を備えている請求項１記載の操作システム。
【請求項３】
前記反力提示機構は、対をなす操作体の開閉動作における回動支点近傍に設けられて、前記回動支点における前記操作体の回動を規制するものである請求項２記載の操作システム。
【請求項４】
前記反力提示機構は、選択された仮想物体の設定された硬さに応じて、前記回動の規制を行う規制力が調整される請求項３記載の操作システム。
【請求項５】
前記第２検出手段は、前記挟み操作が行われたときの、前記対の操作体の挟み幅を検出可能に構成され、
前記処理装置は、前記挟み幅が、選択対象の仮想物体の設定された大きさに一致したときに、前記仮想物体の選択操作が行われたと判定する請求項１〜４のいずれか１項に記載の操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２０５２６（Ｐ２０１０−２０５２６Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８０１８８（Ｐ２００８−１８０１８８）
【出願日】平成２０年７月１０日（２００８．７．１０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 社団法人電子情報通信学会、電子情報通信学会技術研究報告 ＰＲＭＵ２００７−１５８〜２１３ 、２００８年（平成２０年）年１月１０日〔刊行物等〕 社団法人情報処理学会、インタラクション２００８ 論文集、２００８年（平成２０年）３月３日〔刊行物等〕 社団法人電子情報通信学会、電子情報通信学会２００８年総合大会講演論文集、２００８年（平成２０年）３月１８日
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１０日（２００８．７．１０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 社団法人電子情報通信学会、電子情報通信学会技術研究報告 ＰＲＭＵ２００７−１５８〜２１３ 、２００８年（平成２０年）年１月１０日〔刊行物等〕 社団法人情報処理学会、インタラクション２００８ 論文集、２００８年（平成２０年）３月３日〔刊行物等〕 社団法人電子情報通信学会、電子情報通信学会２００８年総合大会講演論文集、２００８年（平成２０年）３月１８日
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]