情報処理方法およびシステム
【課題】 作業者複合現実空間を作業者視点カメラで撮影した映像を利用して遠隔指示者が作業支援するシステムで、指示者の視点が作業者視点に拘束される。
【解決手段】 作業者が装着している第１撮像部の映像と、前記第１撮像部の位置姿勢に基づく仮想物体画像とに基づく複合現実空間画像を取得する複合現実空間画像取得工程と、前記作業者によって行われた前記仮想物体に対するイベント情報を取得するイベント情報取得工程と、前記指示者の視点位置姿勢情報を取得する第２ユーザ指定位置姿勢情報取得工程と、前記指示者の視点位置姿勢情報に基づき、前記イベント情報に応じた仮想物体画像を生成する生成工程とを有し、前記第１画像を前記指示者に提示する第１モードと、前記仮想物体画像を前記指示者に提示する第２モードとを有する。
【解決手段】 作業者が装着している第１撮像部の映像と、前記第１撮像部の位置姿勢に基づく仮想物体画像とに基づく複合現実空間画像を取得する複合現実空間画像取得工程と、前記作業者によって行われた前記仮想物体に対するイベント情報を取得するイベント情報取得工程と、前記指示者の視点位置姿勢情報を取得する第２ユーザ指定位置姿勢情報取得工程と、前記指示者の視点位置姿勢情報に基づき、前記イベント情報に応じた仮想物体画像を生成する生成工程とを有し、前記第１画像を前記指示者に提示する第１モードと、前記仮想物体画像を前記指示者に提示する第２モードとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる場所に居る複数のユーザが複合現実空間を共有して協調作業を行うためのものに関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界の継ぎ目のない融合を目指した複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）に関する技術開発が盛んになっている。ＭＲは従来現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（ＶＲ）の世界と現実の世界との共存を目的とし、ＶＲを増強する技術として注目されている。
【０００３】
複合現実感を実現する装置として代表的な物は頭部装着型表示装置（ＨＭＤ＝Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。すなわち、現実空間と仮想空間とをＨＭＤに合成して表示することにより複合現実感を実現するものである。
【０００４】
ＶＲを用いて遠隔の参加者間で会議や様々な協調作業を支援するシステムでは、上述したようにコンピュータ内に現実世界と切り離された世界を構築して共有するのに対し、ＭＲでの遠隔作業支援システムは現実世界をもとに仮想世界を重ね合わせた作業空間での作業を支援することが可能である。
【０００５】
頭部装着型表示装置（ＨＭＤ）を用いて参加者間で共有されている仮想物体と共にステレオカメラで撮影された参加者の立体映像を観察／操作できる技術の例が提案されている。例えば、参加者を２台のカメラで撮影し人物部分のみを切り出したステレオ映像をネットワークで伝送し、その立体映像を他の複数人の参加者が観察することができる。作業者の位置と仮想物体操作のための手の位置が計測されているため仮想物体の操作は可能であるが、参加者が観察しているステレオ映像は、背景が除去された参加者の映像と仮想物体によるＶＲ空間の映像であり、参加者の実空間の情報を有するものではない。
【０００６】
また作業者のＨＭＤ映像をもとに遠隔作業支援する技術の例が提案されている（特許文献１）。この例では作業者がカメラ付のＨＭＤを装着しこのカメラからの映像を作業者および遠隔にいる指示者にて共有し、指示者の指示をこのカメラ映像に重畳して作業指示を行なう技術が開示されている。作業者のカメラをステレオにして、作業者／指示者ともに同じ立体映像を観察可能であり、この映像中の作業対象物を指し示す指示者の手をクロマキー合成で切り出してカメラからの映像に合成する技術が述べられている。このシステムでは作業者の空間に座標が設定されていないので、作業対象物以外の仮想物体を作業者空間の任意の位置に配置してポインティングしたりインタラクションしたりすることができない。また作業者の視点位置が移動すると指示者が手を動かしていなくとも手の画像が移動してしまう問題があった。
【特許文献１】特開２００２−１３２４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように、従来技術は、指示者視点が作業者の視点に拘束されるため円滑に作業指示が行なえなかった。
【０００８】
本発明は、指示者視点が作業者の視点に拘束されないモードを備えることにより、上記課題を解決し、円滑に作業指示が行なえるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的を達成するために、本発明は以下の構成を有する。
【００１０】
本願請求項１記載の情報処理方法は、第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有する情報処理方法であって、前記第１のユーザが装着している第１撮像部の映像と、前記第１撮像部の位置姿勢に基づく仮想物体画像とに基づく複合現実空間画像を取得する複合現実空間画像取得工程と、前記第１のユーザによって行われた前記仮想物体に対するイベント情報を取得するイベント情報取得工程と、前記第２のユーザの視点位置姿勢情報を取得する第２ユーザ指定位置姿勢情報取得工程と、前記第２のユーザの視点位置姿勢情報に基づき、前記イベント情報に応じた仮想物体画像を生成する生成工程とを有し、前記第１画像を前記第２のユーザに提示する第１モードと、前記仮想物体画像を前記第２のユーザに提示する第２モードとを有することを特徴とする。
【００１１】
本願請求項４記載の発明は、作業者が存在する空間に仮想物体を重畳表示する作業者複合現実空間を遠隔から共有する情報処理システムであって、作業者の視点からの前記作業者複合現実空間のステレオ映像を指示者に伝送するステレオ映像伝送手段、前記仮想物体を前記作業者と前記指示者で共有する仮想物体共有手段、作業者と指示者がステレオ映像を立体視できる立体視手段とを備え、前記指示者が、前記作業者視点からのステレオ映像を共有するモードと、前記作業者視点と独立した視点で前記仮想物体を操作するモードを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、円滑な作業支援が可能となり、遠隔地間での協調作業の利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
（第一の実施形態）
以下添付図面を参照して、実施形態に従って詳細に説明する。
【００１４】
図１に本実施形態における遠隔複合現実感共有システムの機能構成を示す。構成は図１上部に示す作業者用複合現実感装置１０ａと図１下部に示す指示者用複合現実感装置１０ｂとからなり、それぞれは管理サーバ６０を介してネットワークで接続されているものとする。それぞれの装置は頭部装着型装置（ＨＭＤ＝Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）２０ａ，２０ｂを持ち作業者、指示者ともにＨＭＤを通して作業者のいる空間の複合現実感映像を見ることができる。また両者間で会話を行なうためのマイクロフォン２８ａ，２８ｂ、スピーカ２７ａ，２７ｂを具備する。
【００１５】
作業者用ＨＭＤ２０ａは、磁気を利用してＨＭＤの位置姿勢を計測する３次元位置姿勢センサ２１ａ、現実空間を撮像し画像を得ることのできるステレオカメラ２２（左眼用をＬ、右眼用をＲで示してある。）、画像を表示することのできるステレオ表示器２３ａ（左眼用をＬ、右眼用をＲで示してある。）からなり、３次元位置姿勢センサ２１ａとカメラ２２の位置関係はあらかじめ計測され固定しているとする。３次元位置姿勢センサ２１ａからは計測結果である位置姿勢信号が後述の位置姿勢計測部１１ａへ出力され、カメラ２２からは撮像結果が後述する画像入力部１２へ出力される。表示器２３ａは、画像合成部１５から入力として左眼用と右眼用の画像信号を受け画像をそれぞれ左眼用２３ａＬと右眼用の表示装置２３ａＲに表示する。
【００１６】
作業者用複合現実感装置１０ａ内にある位置姿勢計測部１１ａはＨＭＤ２０ａの３次元位置姿勢センサ２１ａから出力される３次元位置姿勢信号、および複合現実空間の３次元ポインティングデバイスであるスタイラスの３次元位置姿勢信号の信号を受けて、これらのデータを仮想物体管理部１６ａへ出力する。仮想物体管理部１６ａでは、作業者スタイラスおよびＨＭＤの位置姿勢のデータを位置姿勢制御部１１ａから受け取り、作業に用いられる全ての仮想物体のデータと共に蓄積する。仮想物体送受信部３１ａでは、指示者用複合現実感装置１０ｂとの間で共有する全ての仮想物体情報を管理サーバ６０との間で送受信する。管理サーバ６０から受信した仮想物体へのイベント情報は仮想物体管理部１６ａへ送られここに蓄積されている仮想物体のシーングラフの変更が行なわれる。また画像生成部１３では、仮想物体管理部１０ａに蓄積されているすべての仮想物体のシーングラフを作業者視点情報（ＨＭＤ位置姿勢情報）から見た左眼用と右眼用の仮想空間ＣＧを描画し画像を生成する。
【００１７】
１５は画像合成部であり、左眼用カメラ２２Ｌと右眼用カメラ２２Ｒからの撮像画像を画像入力部１２を通して入力し、この入力画像上に画像生成部１３ａにより生成された左眼用と右眼用の仮想空間ＣＧ画像と合成する。その結果、表示器２３ａの左眼用と右眼用の表示装置各々には、カメラから撮像された画像の上に作業者視点からの仮想空間のデータが重畳表示される。またこの重畳画像は映像符号化部３２ａで圧縮符号化されて映像送信部３３ａを通して管理サーバ６０へ伝送される。
【００１８】
指示者用複合現実感装置１０ｂの構成は、作業者用複合現実感装置１０ａとほぼ同じであるが、ＨＭＤ２０ｂにはカメラが装着されておらずカメラからの画像入力がない点が異なる。作業者空間の複合現実感映像は作業者ＨＭＤのカメラからのステレオ映像が、管理サーバ６０を介して映像受信部３３ｂで受信され映像復号化部３２ｂで復号化され表示器２３ｂの左眼用２３ｂＬと右眼用２３ｂＲの表示装置に表示される。指示者のＨＭＤの位置姿勢は３次元位置姿勢センサ２１ｂから取得され、スタイラス４１ｂの３次元位置姿勢とともに位置姿勢計測部１１ｂに入力され、仮想物体管理部１６ｂへ送られる。仮想物体１６ｂは、作業者用複合現実感装置１０ｂの仮想物体管理部１６ａと同様に、作業者指示者間で共有される全ての仮想物体データが蓄積されている。指示者側からの仮想物体に対するイベントは仮想物体送受信部３１ｂを通して管理サーバ６０へ送られ、管理サーバ６０から送られてくる仮想物体へのイベントはここを通して仮想物体管理部１６ｂへ送られシーングラフの変更が行なわれる。画像生成部１３ｂの機能は１３ａと同じなので説明は省略する。画像出力部１７は、映像符号化部３２ｂから送られてくる作業者複合現実感映像と、画像生成部１３ｂから送られてくる仮想物体ＣＧ画像を選択的に切替えて表示機２３ｂへ出力する。
【００１９】
また作業者用複合現実感装置と指示者用複合現実感装置のコネクションが確立した後には、映像通信モジュールと音声通信モジュールが起動され、作業者複合現実空間映像は映像送信部３３ａから映像受信部３３ｂへ一方向通信で伝送され、音声情報は双方向の音声データがやり取りされる。この結果作業者は２７ａのスピーカと２７ｂマイクロフォンを用いて、指示者は２８ａのスピーカと２８ｂマイクロフォンを用いて会話を行なうことができる。
【００２０】
６０は管理サーバであり、仮想物体情報の管理を行なう。仮想物体通信管理部６１では、作業者用複合現実感装置と指示者用複合現実感装置との間でやりとりされる情報通信管理を行なう。仮想物体管理部６２では、作業者と指示者スタイラスやＨＭＤを含む共有仮想物体のシーングラフの情報と、共有仮想物体の操作権の管理を行なう。作業者または指示者からの仮想物体情報の変更は全てイベントとして仮想物体管理部６２へ送信されここで共有のシーングラフの変更を行なった後、指示者複合現実感装置１０ａ、指示者用複合現実感装置１０ｂへ同じイベントが配信され、それぞれの装置に蓄積されている仮想物体シーングラフが変更される。
【００２１】
以上述べた構成での動作例を図２を用いて説明する。図２（１）はＨＭＤを装着した作業者４０が複合現実空間で作業を行なう様子が示されている。４２は実物の作業対象物であり、４３は作業対象物の３ＤモデルであるＣＧが立体視表示されている。４３の仮想物体は指示者と共有されており指示者からの作業指示や作業の例示がこの仮想物体４３を通して行なわれる。作業者のいる現実空間に対して図示するような世界座標系（ｘ，ｙ，ｚ）が設定されており、この座標系に置かれた例示モデルとしての仮想物体４３はＨＭＤを通して観察すると実物の作業対象物４２の隣に置かれたような位置関係で表示される。磁気センサが装着されたスタイラスを用いることによってこれらの仮想物体の一部を選択して移動させたりするインタラクションが可能である。４１ａは作業者用のスタイラスにＣＧを重畳したポインタを示し４１ｂは指示者のスタイラスをＣＧで表現したものである。
【００２２】
図２（２）は、遠隔にいる指示者の空間を示している。指示者５０はＨＭＤ２０ｂを装着しており、ＨＭＤ２０ｂの表示器には２３ｂのように作業対象物４２とその３ＤモデルのＣＧ４３の映像が立体視で映し出されている。これは作業者４０が見ている映像と全く同じ物である。４１ａは作業者のスタイラスの位置を示すポインタ、４１ｂは指示者のスタイラスの位置を示すポインタである。指示者が存在する空間にも作業者複合現実空間の世界座標系に対応する指示者世界座標系（ｘ，ｙ，ｚ）を図２（２）に示すように設定する。これら２つのの世界座標系において仮想物体の位置姿勢は作業者／指示者共通の座標値で表される。指示者のＨＭＤ２０ｂとスタイラス４１ｂには磁気センサが装着されているので、視点位置と手に持っているスタイラスの相対的な位置関係が測定できる。この位置関係を作業者視点からの位置関係に変換して、作業者視点からの指示者のスタイラスの位置を決めることができるので、指示者はあたかも作業者の視点からポインタを操作するような感覚を与えることができる。このように作業者視点複合現実感映像を作業者／指示者間で共有し、指示者のポインタを作業者視点位置を基準に表示する状態を作業空間モードと呼ぶことにする。
【００２３】
指示者５０は作業者と同じ映像２３ｂを見ながら仮想物体４３をポインタ４１ｂで指したり，または仮想物体の部品を移動させたりすることにより作業者への作業指示を行なう。
【００２４】
仮想物体の移動はスタイラス４１ｂを仮想物体に触れる位置まで移動し、図３に示すスタイラスの第一ボタン４７を押下する。これにより仮想物体の把持モードとなり、把持された仮想物体はスタイラスと共に移動する。上記把持モードの時にスタイラスのボタンを押下すると把持モードが終了し仮想物体がリリースされる。作業者も同様な操作で仮想物体を操作することができる。但し作業者のスタイラスはボタンが１つだけ装着されている（図示せず）。作業者と指示者の操作が同時に発生しないようにどちらか一方のみが把持モードに入り仮想物体を移動することができる。
【００２５】
この作業者空間モードにおいて、指示者のポインタを作業者の複合現実空間に表示する位置として、指示者の頭部位置と手に持ったスタイラスの相対位置関係を、作業者の頭の位置姿勢からの相対位置関係に変換して表示することにより、あたかも自分の視点から手を延ばしてポインティングしているような感覚が得られるが、作業者が頭部の位置姿勢を変化させるとそれに合わせてポインタの位置も移動してしまう。そのため指示者の意図しない部分にポインタが移動する欠点が生じる可能性がある。そこで指示者が図３のスタイラス第二ボタン４８を押下することで指示者視点からの仮想物体だけから構成される仮想空間（図４（２））が表示器２３ｂに表示される。この例では仮想物体４３と作業者ポインタ４１ａ、指示者ポインタ４１ｂからなる仮想空間が指示者視点から表示されている。この空間を見ながら仮想物体へのポインティングや移動などの操作を行なってその結果を作業者用複合現実感装置へ反映させ、作業者との仮想物体の共有が可能になる。すなわち指示者は作業者の頭の動きに関係なく自分の視点から仮想物体を見て操作することができる。この状態を共有仮想モードと呼ぶことにする。この時作業者は指示者により変更された仮想物体が重畳された複合現実空間を見ていることになる。
【００２６】
さらにこの共有仮想モードで指示者がスタイラス第二ボタン４８を押下すると、図４（３）に示す単独仮想モードの映像が表示される。この状態では仮想物体４３は作業者と共有されておらずポインタも指示者ポインタ４１ｂが表示されているのみである。この状態では、指示者のポインティングや仮想物体への変更は指示者用複合現実感装置のみで行なわれ作業者用複合現実感装置には反映されない。指示者は単独で仮想物体の操作を試行錯誤することができる。このモードで指示者がスタイラス第二ボタンを押下すると、単独仮想モードで編集された仮想物体が管理サーバへアップロードされ、さらに作業者複合現実感装置へダウンロードされて、その結果が反映された図４（１）のような映像が指示者ＨＭＤ表示装置に表示され、最初に説明した作業空間モードへ復帰する。このように指示者は指示内容によって適宜モードを切替えることにより効率的な作業指示が行なえるようになる。
【００２７】
図５は、複合現実感作業空間で作業を行なうための作業者用複合現実感装置１０ａの動作を説明するフローチャートである。図２では図示されていないが本装置１０ａは、作業者のＨＭＤ２０ａやスタイラス４１ａと接続できる位置にあり、管理サーバ６０を介して指示者用複合現実感装置１０ｂとネットワーク接続されているとする。
【００２８】
ステップＳ１００では、作業者用複合現実感装置１０ａの初期化を行なう。このステップでは、複合現実感作業空間の世界座標系が設定される。後述するセンサからの出力はこの座標系における６パラメータの組としてのデータ（ｘ，ｙ，ｚ，α，β，γ）として表現される。ここでαはｘ軸中心の回転角、βはｙ軸中心の回転角、γはｚ軸中心の回転角を表す。また実物体４２のリファレンスとなる仮想物体４３の初期データがこの世界座標系に配置され、シーングラフデータとして仮想物体管理部１６ａに蓄積される。
【００２９】
次のステップＳ１１０では、管理サーバ６０との間でネットワーク接続を確立し両装置でデータの送受信が可能な状態にして、ステップＳ１００で設定された仮想物体の情報を仮想物体送受信部３１ａを介して管理サーバへアップロードする。
【００３０】
ステップＳ１２０では、作業者用複合現実感装置１０ａと指示者用複合現実感装置１０ｂとの間で音声通信のコネクションを開始する。音声通信コネクションが設定後、音声出力はそれぞれスピーカ２７ａ，２７ｂから、音声入力はそれぞれマイクロフォン２８ａ，２８ｂから行なわれる。これにより作業者と指示者の間で音声による会話が可能となる。また映像通信のためのコネクションも設定され映像送信部３３ａから映像受信部３３ｂへの映像送信が可能な状態になる。
【００３１】
ステップＳ１３０では、作業者ＨＭＤに装着されているカメラ２２からの映像を画像入力部１２を経て画像合成部１５へ取り込む処理を行なう。カメラ２２は作業者の両目に対応する左眼用（Ｌ）と右眼用（Ｒ）２台のカメラから構成されており、それぞれの映像が画像合成部１５の別のバッファへ格納される。
【００３２】
次のステップＳ１４０では作業者の頭部の位置姿勢がＨＭＤ３次元位置センサ２１ａからの値として位置姿勢計測部１１ａに入力され、世界座標系における６パラメータの組としてのデータが生成される。
【００３３】
次のステップＳ１５０では作業者のスタイラス４１ａの３次元位置姿勢情報が上記のＨＭＤ３次元位置センサからのデータと同じ形式で位置姿勢計測部１１ａに入力され仮想物体管理部１６ａに保持される。
【００３４】
ステップＳ１６０ではステップＳ１５０で求められた作業者ＨＭＤとスタイラスの位置姿勢情報をイベントとして仮想物体送受信部３１ｂを通して管理サーバ６０へ送信する。
【００３５】
ステップＳ１７０では作業者スタイラスのボタンが押下されたかをチェックしボタンが押下されたならばステップＳ１８０へそうでなければステップＳ１９０へ進む。
【００３６】
ステップＳ１８０では、押下されたボタンイベントを仮想物体送受信部３１ａを通して管理サーバ６０へ送信する。
【００３７】
ステップＳ１９０では、作業者ポインタ、指示者ポインタ、仮想物体の変更に関する情報が管理サーバ６０からのイベントとして仮想物体送受信部３１ａを通して受信される。
【００３８】
ステップＳ２１０では、ステップＳ１９０で得られた変更情報を基に仮想物体管理部１６ａに格納されているシーングラフを変更する。
【００３９】
ステップＳ２２０では、画像生成部１３ａにおいて操作結果を反映した仮想物体、作業者ポインタ４１ａ、および指示者ポインタ４１ｂのシーングラフから、作業者ＨＭＤ位置姿勢のビューからの左眼用ＣＧ画像と右眼用ＣＧ画像をそれぞれ作成する。
【００４０】
次のステップＳ２４０では、ステップ２２０で生成された左眼用ＣＧ画像と右眼用ＣＧ画像を画像合成部１５のカメラからの左眼用撮像画像と右眼用撮像画像にそれぞれ上書きすることにより仮想物と現実の合成画像が得られる。３次元位置姿勢センサ２１ａと左眼用カメラ２２Ｌと右眼用カメラ２２Ｒの位置関係は固定されておりあらかじめキャリブレーションを行なって変換式を求めておくことができるので、この式を用いてカメラ視点の位置姿勢が決まる。この左眼用合成画像と右眼用合成画像が作業者ＨＭＤの左眼用表示器２３ａＬと右眼用表示器２３ａＲにそれぞれ表示される。
【００４１】
ステップＳ２５０では作業者ＨＭＤ表示器２３ａに表示されたのと同じ両眼画像が、画像符号化部３２ａで符号化され、映像送信部３３ａを通して指示者用複合現実感装置の映像受信部３３ｂへ送信される。
【００４２】
次のステップＳ２６０では、作業者用複合現実感装置の終了コマンドが入力されていればステップＳ２７０の音声通信終了処理に進みそうでなければステップＳ１３０へ戻る。
【００４３】
ステップＳ２７０では音声通信処理を終了し音声コネクションを切断し、映像通信コネクションも切断する。
【００４４】
ステップＳ２８０では管理サーバ６０との通信を切断して処理を終了する。
【００４５】
図６は、複合現実感作業空間での作業を指示／支援する指示者用複合現実感装置１０ｂの動作を説明するフローチャートである。最初に作業空間モードの処理がステップ３００から実行される。
【００４６】
ステップＳ３００では、指示者用複合現実感装置１０ｂの初期化を行なう。このステップでは、指示者が存在する空間の世界座標系が位置姿勢計測部１１ｂにおいて設定され、後述する３次元センサからの出力は前述した作業者用複合現実感装置１０ａと同じように６パラメータの組のデータとして表現される。また後述する指示者操作物ＩＤのテーブルがクリアされる。
【００４７】
次のステップＳ３０２では、管理サーバ６０とのネットワーク接続を確立し両装置でデータの送受信が可能な状態にし、仮想物体情報などのデータが仮想物体送受信部３１ｂを通してダウンロードされ、仮想物体管理部１６ｂに蓄積される。
【００４８】
ステップＳ３０４では、作業者用複合現実感装置１０ａとの間で音声通信コネクションと映像通信コネクションを設定し、音声通信を開始する。指示者の音声出力はスピーカ２７ｂから音声入力はマイクロフォン２８ｂから行なわれる。これにより作業中音声による会話が可能となる。作業者用複合現実感装置からの映像は映像受信部３３ｂを介して可能になる。
【００４９】
ステップＳ３０６では、指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１６ｂに保持される。
【００５０】
ステップＳ３０８では、ＨＭＤ３次元位置センサ２１ｂから指示者の視点の位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１６ｂに保持される。
【００５１】
ステップＳ３１０では、ステップ３０６、３０８で得られたスタイラスとＨＭＤの３次元位置姿勢データを管理サーバ６０へ送信する。
【００５２】
ステップＳ３１２では、作業者複合現実感装置の映像送信部３３ａから左右両眼の映像を映像受信部３３ｂで受信して左眼用と右眼用画像をそれぞれ映像復号化部３２ｂで復号する。
【００５３】
ステップＳ３１４では、復号された左眼用と右眼用画像を画像出力部１７へ書き込んで、指示者ＨＭＤ２０ｂの左眼用２３ｂＬと右眼用表示器２３ｂＲにそれぞれ表示する。
【００５４】
次のステップＳ３１６では、指示者用複合現実感装置の終了コマンドが入力されていればステップＳ３１８の音声通信終了処理に進みそうでなければステップＳ３０６へ戻り処理を繰り返す。
【００５５】
ステップＳ３１８では、音声通信コネクション、映像通信コネクションを切断し、音声処理を終了する。ステップＳ３２０では管理サーバ６０との通信を切断して処理を終了する。
【００５６】
この作業空間モードで指示者のスタイラスのボタンが押下されたときのボタンイベント処理を図７（１）に示す。スタイラスの第一ボタン４７が押下によりステップＳ４００が起動される。ステップＳ４００では、指示者のスタイラス、ＨＭＤの位置姿勢を仮想物体管理部１０ｂより読み出して管理サーバ６０へ送信して、図６作業空間モードのフローに戻る。またスタイラスの第二ボタン４８が押下されたときは、後述する共有仮想モードの処理に進む。共有仮想モードの処理を図６（２）のフローチャートで説明する。
【００５７】
ステップＳ３３０では、指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１０ｂに保持される。
【００５８】
ステップＳ３３４では、ステップ３３０、３３２で得られたスタイラスの３次元位置姿勢データを管理サーバ６０へ送信する。
【００５９】
ステップＳ３３６では、作業者ポインタ、指示者ポインタ、仮想物体の変更に関する情報が管理サーバ６０からのイベントとして仮想物体送受信部３１ｂを通して受信される。
【００６０】
ステップＳ３３８では、ステップＳ３３６で得られた変更情報を基に仮想物体管理部１６ｂに格納されているシーングラフを変更する。
【００６１】
ステップＳ３４０では、ステップＳ３３８で変更されたシーングラフを指示者視点（指示者ＨＭＤ位置姿勢）からの左眼用ＣＧ画像と右眼用ＣＧ画像を画像生成部１３ｂで生成して画像出力部１７へ出力することにより表示器２３に表示される。次にステップＳ３３０に戻る。
【００６２】
以上の処理によって指示者視点による仮想物体だけからなる仮想空間映像が指示者ＨＭＤに表示される。この共有仮想モードで指示者のスタイラスボタンが押下された際の処理を図７（２）に示す。
【００６３】
スタイラスの第一ボタン４７が押下によりステップＳ４１０が起動される。ステップＳ４１０では、指示者のスタイラスの位置姿勢を仮想物体管理部１０ｂより読み出して管理サーバ６０へ送信して、図６（２）共有仮想モードのフローに戻る。またスタイラスの第二ボタン４８が押下されたときは、ステップＳ４２０で、管理サーバの仮想物体管理部６２に格納されている指示者操作物ＩＤテーブルの該当欄をクリアするリクエストを管理サーバへ送信して、後述する単独仮想モードの処理に進む。
【００６４】
単独仮想モードの処理を図６（３）のフローチャートで説明する。
【００６５】
ステップＳ３５０では、指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１０ｂに保持される。
【００６６】
ステップＳ３５２では、ＨＭＤ３次元位置センサ２１ｂから指示者の視点の位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１０ｂに保持される。
【００６７】
ステップＳ３５４では、現在指示者が仮想物体を操作中か否かを、図１３に示す指示者操作物ＩＤテーブルをチェックして判定する。この表は作業者複合現実感装置の仮想物体管理部１６ｂに保持されており、指示者がどの仮想物体を操作中かを示す値が格納されている。図１３の例では仮想物体Ａを作業者が操作中であることを示している。操作中の仮想物体がない場合にはｎｕｌｌが格納されている。このテーブルをチェックして仮想物体を操作中の場合にはステップＳ３５６へそうでなければステップＳ３５８へ進む。
【００６８】
ステップＳ３５６では、指示者のスタイラス位置へ仮想物体を移動するイベントを発行する。
【００６９】
ステップＳ３５８では、指示者のスタイラス位置や仮想物体の変更がある場合にはそれをシーングラフへ反映させ、ＨＭＤの位置姿勢データを視点位置とする。
【００７０】
ステップＳ３６０では、シーングラフのデータを画像生成部１３ｂにて左眼用ＣＧと右眼用ＣＧを生成し画像出力部１７へ書き込んでこれらのＣＧを表示器２３ｂへ表示させる。
【００７１】
また指示者用複合現実感装置１０ｂでは、上記のフローの他にバックグラウンドで管理サーバからのイベントを受信して適宜シーングラフの変更などが行なわれるものとする。
【００７２】
この単独仮想モードで指示者のスタイラスボタンが押下された際の処理を図７（３）に示す。スタイラスの第一ボタン４７の押下によりステップＳ４３０が起動される。ステップ４３０では、指示者が仮想物体を操作中か否かを図１３の指示者操作物ＩＤテーブルをチェックして判定する。仮想物体を操作中の場合にはステップＳ４３２へ進み、そうでなければステップＳ４３４へ進む。
【００７３】
ステップＳ４３２では、図１３の指示者操作物ＩＤテーブルをクリアしｎｕｌｌを格納して、図６（３）の単独仮想モードのフローに戻る。
【００７４】
ステップＳ４３４では指示者のスタイラス位置と仮想空間に存在する全ての仮想物体との距離を比較して次のステップＳ４３６へ進む。
【００７５】
ステップＳ４３６では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ４３８に進み、存在しなければ図６（３）の単独仮想モードのフローに戻る。
【００７６】
ステップＳ４３８では、ステップＳ４３６で求められた操作対象物ＩＤを図１３の指示者操作物ＩＤテーブルへ書き込み第一ボタンイベント処理を終了する。
【００７７】
スタイラスの第二ボタン４８の押下によりステップＳ４４０が起動される。ステップＳ４４０では。図１３の指示者操作物ＩＤテーブルをクリアしてｎｕｌｌを格納する。
【００７８】
ステップＳ４４２では、仮想物体管理部１６ｂに格納されている仮想物体のシーングラフ全体を管理サーバの仮想物体管理部６２へアップロードするリクエストを管理サーバへ送り、データをアップロードして、作業空間モードのフローのステップＳ３０６からの処理を行なっていく。
【００７９】
次に管理サーバ６０での処理を図８のフローチャートを用いて説明する。管理サーバでは作業者複合現実感装置１０ａと指示者複合現実感装置１０ｂからのリクエストやイベントを受付けてその処理を行なう。
【００８０】
作業者スタイラス処理は、作業者複合現実感装置からスタイラス／ＨＭＤ位置イベントを受信した際に起動される。ステップＳ５００では、作業者スタイラス／ＨＭＤの位置姿勢を仮想物体管理部６２に格納されているシーングラフに反映させる。
【００８１】
ステップＳ５０２では作業者が仮想物体を操作中か否かを図１２の作業者／指示者操作物ＩＤテーブルをチェックして判定する。作業者／指示者操作物ＩＤテーブルは仮想物体管理部６２にあり、作業者の操作している仮想物体と指示者が操作している仮想物体のＩＤが格納されている。図１２の例では、作業者はどの仮想物体も操作していないのでｎｕｌｌが格納されており、指示者は仮想物体Ｃを操作している。作業者操作物ＩＤに仮想物体ＩＤがあればステップＳ５０４へそうでなければステップＳ５０６へ進む。
【００８２】
ステップＳ５０４では、ステップ５００で更新されたスタイラス位置へ操作中の仮想物体を移動させ、仮想物体管理部６２に格納されているシーングラフを変更して、ステップＳ５０６へ進む。
【００８３】
ステップＳ５０６では、更新された作業者スタイラス、ＨＭＤと仮想物体の情報を作業者ホストへ送信して、作業者スタイラス処理を終了する。
【００８４】
作業者ボタン処理は、作業者がスタイラスのボタンを押下したときに起動される処理で、ステップＳ５１０では、現在作業者が仮想物体を操作中か否かを図１２の作業者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５１４に進み、作業者操作物ＩＤが格納されていれば操作中と判定してステップＳ５１２に進む。
【００８５】
ステップＳ５１２では、図１２の作業者操作物ＩＤの内容をｎｕｌｌに置き換え作業者ボタンイベントの処理を終了する。
【００８６】
ステップＳ５１４では送信されてきた現在の作業者のスタイラス位置と作業者複合現実空間全ての仮想物体の位置を比較して次のステップに進む。
【００８７】
ステップＳ５１６では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５１８に進み、存在しなければ作業者ボタンイベントの処理を終了する。
【００８８】
ステップＳ５１８では、前ステップで求められた操作対象物ＩＤと図１２の指示者操作物ＩＤを調べ、同じであれば操作対象物は指示者が操作中と判定し作業者ボタンイベント処理を終了し、同じでなければステップＳ５２０に進む。
【００８９】
ステップＳ５２０では、ステップＳ５１６で求められた操作対象物ＩＤを図１２の作業者操作物ＩＤへ書き込み作業者ボタンイベント処理を終了する。
【００９０】
指示者スタイラス処理Ｉは、図６（１）作業空間モードのステップ３１０にて送信されたイベント処理フローである。ステップＳ５３０では、指示者の視点位置であるＨＭＤ３次元位置センサ２１ｂからの位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）と指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が受信される。これらは指示者の存在する空間の世界座標系での値であるので、スタイラスの位置姿勢を視点位置姿勢からの相対位置に変換して指示者スタイラス相対位置（ｘｄ，ｙｄ，ｚｄ，αｄ，βｄ，γｄ）＝（ｘｓ−ｘｈ，ｙｓ−ｙｈ，ｚｓ−ｚｈ，αｓ−αｈ，βｓ−βｈ，γｓ−γｈ）を計算する。
【００９１】
ステップＳ５３２では、前ステップで計算された指示者スタイラス相対位置を新たなスタイラスイベントとして仮想物体管理部６２のシーングラフを変更する。
【００９２】
ステップＳ５３４では指示者が仮想物体を操作中か否かを図１２の作業者／指示者操作物ＩＤテーブルの指示者操作物ＩＤをチェックして判定する。指示者操作物ＩＤがｎｕｌｌの場合には仮想物体を操作中でないと判定し、ステップＳ５３８へ、そうでなければ稼動物体を操作中と判定しステップＳ５３６へ進む。
【００９３】
ステップＳ５３６では、ステップ５３２で更新されたスタイラス位置へ操作中の仮想物体を移動させ、仮想物体管理部６２に格納されているシーングラフを変更して、ステップＳ５３８へ進む。
【００９４】
ステップＳ５３８では、更新された指示者スタイラス、ＨＭＤと仮想物体の情報を作業者用複合現実感装置１０ａ送信して、指示者スタイラス処理Ｉを終了する。
【００９５】
指示者スタイラス処理ＩＩは、図６（２）共有仮想モードのステップ３３４にて送信されたイベント処理フローである。ステップＳ５４０では、指示者の視点位置であるＨＭＤ３次元位置センサ２１ｂからの位置姿勢と指示者のスタイラス４１ｂの３次元位置姿勢情報イベントが受信され、この情報をもとに仮想物体管理部６２のシーングラフを変更する。
【００９６】
ステップＳ５４２では指示者が仮想物体を操作中か否かを図１２の作業者／指示者操作物ＩＤテーブルの指示者操作物ＩＤをチェックして判定する。指示者操作物ＩＤがｎｕｌｌの場合には仮想物体を操作中でないと判定し、ステップＳ５４６へ、そうでなければ稼動物体を操作中と判定しステップＳ５４４へ進む。
【００９７】
ステップＳ５４４では、ステップ５４０で更新されたスタイラス位置へ操作中の仮想物体を移動させ、仮想物体管理部６２に格納されているシーングラフを変更して、ステップＳ５４６へ進む。
【００９８】
ステップＳ５４６では、更新された指示者スタイラスと仮想物体の情報を作業者用複合現実感装置１０ａと指示者用複合現実感装置１０ｂへ送信して、指示者スタイラス処理ＩＩを終了する。
【００９９】
指示者第一ボタンＩ処理は、指示者が作業空間モードでスタイラス第一ボタンを押下した時に起動される図７（１）のステップＳ４００処理によってサーバに送信されるイベント処理である。ステップＳ５５０では、指示者の視点位置であるＨＭＤ３次元位置センサ２１ｂからの位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）と指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が受信される。これらは指示者の存在する空間の世界座標系での値であるので、スタイラスの位置姿勢を視点位置姿勢からの相対位置に変換して指示者スタイラス相対位置（ｘｄ，ｙｄ，ｚｄ，αｄ，βｄ，γｄ）＝（ｘｓ−ｘｈ，ｙｓ−ｙｈ，ｚｓ−ｚｈ，αｓ−αｈ，βｓ−βｈ，γｓ−γｈ）を計算する。
【０１００】
ステップＳ５５２では、現在指示者が仮想物体を操作中か否かを図１２の指示者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５５６に進み、指示者操作物ＩＤが格納されていれば操作中と判定してステップＳ５５４に進む。
【０１０１】
ステップＳ５５４では、図１２の指示者操作物ＩＤの内容をｎｕｌｌに置き換え作業者ボタンイベントの処理を終了する。
【０１０２】
ステップＳ５５６では仮想物体管理部６２に格納されている指示者の現在のスタイラス位置と作業者複合現実空間全ての仮想物体の位置を比較して次のステップに進む。
【０１０３】
ステップＳ５５８では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５６０に進み、存在しなければ作業者ボタンイベントの処理を終了する。
【０１０４】
ステップＳ５６０では、前ステップで求められた操作対象物ＩＤと図１２の作業者操作物ＩＤを調べ、同じであれば操作対象物は作業者が操作中と判定し指示者ボタンイベント処理Ｉを終了し、同じでなければステップＳ５６２に進む。
【０１０５】
ステップＳ５６２では、ステップＳ５５８で求められた操作対象物ＩＤを図１２の指示者操作物ＩＤへ書き込み指示者ボタンイベント処理Ｉを終了する。
【０１０６】
指示者第一ボタンＩＩ処理は、指示者が共有仮想モードでスタイラス第一ボタンを押下した時に起動される図７（２）のステップＳ４１０処理によってサーバに送信されるイベント処理である。ステップＳ５７０では、現在指示者が仮想物体を操作中か否かを図１２の指示者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５７４に進み、指示者操作物ＩＤが格納されていれば操作中と判定してステップＳ５７２に進む。
【０１０７】
ステップＳ５７２では、図１２の指示者操作物ＩＤの内容をｎｕｌｌに置き換え作業者ボタンイベントの処理を終了する。
【０１０８】
ステップＳ５７４では送信されてきた現在の指示者のスタイラス位置と作業者複合現実空間全ての仮想物体の位置を比較して次のステップに進む。
【０１０９】
ステップＳ５７６では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５７８に進み、存在しなければ作業者ボタンイベントの処理を終了する。
【０１１０】
ステップＳ５７８では、前ステップで求められた操作対象物ＩＤと図１２の作業者操作物ＩＤを調べ、同じであれば操作対象物は作業者が操作中と判定し指示者ボタンイベント処理ＩＩを終了し、同じでなければステップＳ５８０に進む。
【０１１１】
ステップＳ５８０では、ステップＳ５７６で求められた操作対象物ＩＤを図１２の指示者操作物ＩＤへ書き込み指示者ボタンイベント処理ＩＩを終了する。
【０１１２】
指示者操作物ＩＤクリア処理は、指示者が共有仮想モードでスタイラス第二ボタンを押下した時に起動される図７（２）のステップＳ４２０処理によってサーバに送信されるイベント処理である。ステップＳ５８４では、仮想物体管理部６２に格納されている指示者／作業者操作物ＩＤテーブルの指示者操作物ＩＤの内容をｎｕｌｌに置き換えて指示者操作物ＩＤクリア処理を終了する。
【０１１３】
指示者シーングラフアップロード処理は、指示者が単独仮想モードでスタイラス第二ボタンを押下した時に起動される図７（３）のステップＳ４４２処理によってサーバに送信されるイベント処理である。ステップＳ５８８では、指示者複合現実感装置からアップロードされてきた仮想物体のシーングラフで仮想物体管理部６２に蓄積されているシーングラフを置き換える。ステップＳ５９０では、置き換えられたシーングラフの情報を作業者複合現実感装置へダウンロードして、処理を終了する。
【０１１４】
本実施形態では、作業者のモード切替えボタンを図３の４８に示すスタイラスの第二ボタンとしたがこれに限るものではなく、これを次モードに移る、前モードに戻るの二つのボタンに割り当ててもよいし、モードの数だけボタンを準備してそれぞれのモードに進む機能を割り当てても良い。
【０１１５】
また指示者が共有仮想モードの時に作業者に提示される表示器には、図４（２）に示すような仮想物体を仮想空間の背景に配置した映像が映されるが、指示者が共有仮想モードに入る瞬間の作業者複合現実空間の映像（例えば図４（１）に示すような映像）をフリーズした背景を用いても良い。この場合作業者が視点を変えても背景映像は変化しないが、共有仮想物体の視点は自由に変更できるので発明の趣旨は損なわれない。
【０１１６】
（第二の実施形態）
第一の実施形態において、指示者は任意の時点で作業空間モード、共有仮想モード、単独仮想モードへ移行できる。しかしながら作業者表示装置２３ａの映像は、指示者のモード変化を反映しない。このため作業者にとっては、指示者がどのモードにいるのかが判断できないので、コミュニケーションが円滑に行なわれない可能性がある。そこで第二の実施形態では、作業者が作業者複合現実感映像を見ながら、指示者のモードを示す識別できるようにする。具体的には、指示者のポインタ４１ｂの色をモードによって変えるようにする。例えば図２（１）で、指示者が作業視点モードの場合には、指示者ポインタ４１ｂを緑色にし、共有仮想モードの場合には指示者ポインタ４１ｂを青色にし、単独仮想モードの場合には指示者ポインタ４１ｂを茶色にする。このようにする事で、作業者は作業者複合現実空間の中で指示者のポインタの色により指示者がどのモードであるかを判断することができる。この動作の具体的処理を以下に記述する。
【０１１７】
図６に示す指示者処理フローのステップＳ３００初期化処理の時点で作業空間モードでのポインタの色が設定されているとする。上述の例では青色が設定されている。図７に示す各モードで作業者がスタイラスの第二ボタンを押した際に起動される第二ボタン処理が第一の実施例と異なるので、図９で説明する。作業空間モードでの第二ボタン処理を図９（１）に示す。作業者ポインタの色変更イベント（上述の例の場合緑色への変更イベント）を管理サーバへ送信するステップＳ４０２が第一の実施例に加わっている。同様に共有仮想モードの第二ボタン処理ではステップＳ４２２（上述の例の場合茶色への変更イベント送信）処理が、単独仮想モードではステップＳ４４４（上述の例の場合青色への変更イベント送信）の処理が加わっている。また管理サーバで色変更処理を受信した場合の処理を図９（４）に示す。ステップＳ５９２では仮想物体管理部６２に蓄積されているシーングラフ中のポインタを指定された色へ変更し、次のステップＳ５９４でこの色変更イベントを作業者複合現実感装置と指示者複合現実感装置へ送信する。作業者複合現実感装置と指示者複合現実感装置ではこの色変更イベントによりそれぞれに蓄積されているシーングラフ中の指示者ポインタ４１ｂの色を変更する。これらの処理によって作業者のモードごとに異なる色の作業者ポインタを表示することができる。
【０１１８】
本実施形態では指示者ポインタの色で、作業者が指示者のモードを識別できるようにしたが色に限定されず、ポインタの形状など視覚的に識別できるものであれば構わない。
【０１１９】
（第三の実施形態）
第一の実施形態において、指示者が作業者空間モードの時には作業者の視点を両者が共有しているが、指示者が共有仮想モードの時には作業者、指示者がそれぞれ独立した視点で動作することになる。この時お互いのポインタは各々が見ている表示器の映像に写っているが、お互いの視点位置を知ることができない。このような状況では、共有仮想物体をまったく異なった視点で眺めながら作業指示することもあるため、お互いのコミュニケーションに誤解を生じる可能性もある。そこで第三の実施形態では、指示者が共有仮想モードの時に作業者の表示器２３ａに指示者の視点を、指示者の表示器２３ｂに作業者の視点を表示することにより、お互いの視点を確認できるようにする。図１０は、指示者が共有仮想モード時の表示器の画面例である。（１）は作業者表示装置２３ａの画面で仮想物体４３と作業者ポインタ４１ａ、指示者ポインタ４１ｂに加えて指示者の視点が５５ｂとして示されている。また図９（２）には同様に作業者の視点５５ａが示されている。このようにして両者がお互いの視点を確認することができる。この動作の具体的処理を第一の実施形態と異なる処理を以下に記述する。
【０１２０】
指示者用仮想現実感装置における指示者処理フローのうち図６（２）に示す共有仮想モードの処理が図１１（１）のようになる。異なる部分はステップＳ３３２でＨＭＤの３次元位置姿勢を位置姿勢計測部１１ｂより取得する。またステップＳ３３５では、ステップＳ３３２で得られたスタイラスの位置姿勢とステップ３３５で得られたＨＭＤの位置姿勢のイベントを管理サーバ６０へ送信する。またステップＳ３３６では、ポインタの情報に加えて、ＨＭＤの情報も受信することにより図１０に示すような視点を示すＣＧを表示することができる。また図５に示す作業者用複合現実感装置における作業者処理フローのステップＳ１９０でポインタ、仮想物体の情報に加えてＨＭＤの情報も受信することにより視点を表示するＣＧを表示することができる。管理サーバ６０での処理は図８（４）に示す指示者スタイラス処理ＩＩ処理が図１１（２）のように変更される。ステップＳ５４１は図８（４）のステップ５４０の処理に加えて指示者のＨＭＤの３次元位置姿勢を取得する処理が必要になる。またステップＳ５４７では、図８（４）のステップＳ５４６に加えて指示者のＨＭＤの情報も送信することになる。また図８（７）の指示者操作物ＩＤクリア処理は図１１（３）のように変更になる。ステップＳ５９６では、仮想物体管理部６２に格納されている指示者／作業者操作物ＩＤテーブルの指示者操作物ＩＤの内容をｎｕｌｌに置き換え、指示者／作業者の視点を表すＣＧをシーングラフから削除する。ステップＳ５９８では、この指示者／作業者視点ＣＧクリアイベントを作業者用複合現実感装置と指示者用複合現実感装置へ送信して処理を終了する。
【０１２１】
本実施形態では視点を示す画像として顔をあらわすＣＧを用いたが、視線を示す矢印を用いたり、作業者・指示者の実写映像を用いたりすることも可能で、視点位置が視覚的に認識されれば本発明の趣旨は達成できる。
【図面の簡単な説明】
【０１２２】
【図１】第一の実施形態における複合現実感遠隔協調作業支援システムの機能構成を示すブロック図である。
【図２】作業者複合現実感空間の様子と遠隔の指示者用複合現実感装置の画面表示例を示す図である。
【図３】指示者用複合現実感装置で用いられる指示者用スタイラスのボタン配置例を示す図である。
【図４】指示者用複合現実感装置におけるモード変更時の画面表示例を示す図である。
【図５】第一の実施形態における作業者用複合現実感装置での作業者処理のフローチャートである。
【図６】第一の実施形態における指示者用複合現実感装置での指示者処理のフローチャートである。
【図７】第一の実施形態における指示者用複合現実感装置でのボタンイベント処理のフローチャートである。
【図８】第一の実施形態における管理サーバでの受信イベント処理のフローチャートである。
【図９】第二の実施形態における指示者用複合現実感装置での指示者処理と管理サーバでの受信イベント処理の一部のフローチャートである。
【図１０】第三の実施形態における作業者用複合現実感装置と指示者用複合現実感装置の画面表示例を説明する図である。
【図１１】本第二の実施形態における指示者用複合現実感装置での指示者処理と管理サーバでの受信イベント処理の一部のフローチャートである。
【図１２】作業者／指示者操作物ＩＤテーブルの一例を示す図である。
【図１３】指示者操作物ＩＤテーブルの一例を示す図である。
【技術分野】
【０００１】
本発明は、異なる場所に居る複数のユーザが複合現実空間を共有して協調作業を行うためのものに関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界の継ぎ目のない融合を目指した複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）に関する技術開発が盛んになっている。ＭＲは従来現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（ＶＲ）の世界と現実の世界との共存を目的とし、ＶＲを増強する技術として注目されている。
【０００３】
複合現実感を実現する装置として代表的な物は頭部装着型表示装置（ＨＭＤ＝Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。すなわち、現実空間と仮想空間とをＨＭＤに合成して表示することにより複合現実感を実現するものである。
【０００４】
ＶＲを用いて遠隔の参加者間で会議や様々な協調作業を支援するシステムでは、上述したようにコンピュータ内に現実世界と切り離された世界を構築して共有するのに対し、ＭＲでの遠隔作業支援システムは現実世界をもとに仮想世界を重ね合わせた作業空間での作業を支援することが可能である。
【０００５】
頭部装着型表示装置（ＨＭＤ）を用いて参加者間で共有されている仮想物体と共にステレオカメラで撮影された参加者の立体映像を観察／操作できる技術の例が提案されている。例えば、参加者を２台のカメラで撮影し人物部分のみを切り出したステレオ映像をネットワークで伝送し、その立体映像を他の複数人の参加者が観察することができる。作業者の位置と仮想物体操作のための手の位置が計測されているため仮想物体の操作は可能であるが、参加者が観察しているステレオ映像は、背景が除去された参加者の映像と仮想物体によるＶＲ空間の映像であり、参加者の実空間の情報を有するものではない。
【０００６】
また作業者のＨＭＤ映像をもとに遠隔作業支援する技術の例が提案されている（特許文献１）。この例では作業者がカメラ付のＨＭＤを装着しこのカメラからの映像を作業者および遠隔にいる指示者にて共有し、指示者の指示をこのカメラ映像に重畳して作業指示を行なう技術が開示されている。作業者のカメラをステレオにして、作業者／指示者ともに同じ立体映像を観察可能であり、この映像中の作業対象物を指し示す指示者の手をクロマキー合成で切り出してカメラからの映像に合成する技術が述べられている。このシステムでは作業者の空間に座標が設定されていないので、作業対象物以外の仮想物体を作業者空間の任意の位置に配置してポインティングしたりインタラクションしたりすることができない。また作業者の視点位置が移動すると指示者が手を動かしていなくとも手の画像が移動してしまう問題があった。
【特許文献１】特開２００２−１３２４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように、従来技術は、指示者視点が作業者の視点に拘束されるため円滑に作業指示が行なえなかった。
【０００８】
本発明は、指示者視点が作業者の視点に拘束されないモードを備えることにより、上記課題を解決し、円滑に作業指示が行なえるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的を達成するために、本発明は以下の構成を有する。
【００１０】
本願請求項１記載の情報処理方法は、第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有する情報処理方法であって、前記第１のユーザが装着している第１撮像部の映像と、前記第１撮像部の位置姿勢に基づく仮想物体画像とに基づく複合現実空間画像を取得する複合現実空間画像取得工程と、前記第１のユーザによって行われた前記仮想物体に対するイベント情報を取得するイベント情報取得工程と、前記第２のユーザの視点位置姿勢情報を取得する第２ユーザ指定位置姿勢情報取得工程と、前記第２のユーザの視点位置姿勢情報に基づき、前記イベント情報に応じた仮想物体画像を生成する生成工程とを有し、前記第１画像を前記第２のユーザに提示する第１モードと、前記仮想物体画像を前記第２のユーザに提示する第２モードとを有することを特徴とする。
【００１１】
本願請求項４記載の発明は、作業者が存在する空間に仮想物体を重畳表示する作業者複合現実空間を遠隔から共有する情報処理システムであって、作業者の視点からの前記作業者複合現実空間のステレオ映像を指示者に伝送するステレオ映像伝送手段、前記仮想物体を前記作業者と前記指示者で共有する仮想物体共有手段、作業者と指示者がステレオ映像を立体視できる立体視手段とを備え、前記指示者が、前記作業者視点からのステレオ映像を共有するモードと、前記作業者視点と独立した視点で前記仮想物体を操作するモードを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、円滑な作業支援が可能となり、遠隔地間での協調作業の利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
（第一の実施形態）
以下添付図面を参照して、実施形態に従って詳細に説明する。
【００１４】
図１に本実施形態における遠隔複合現実感共有システムの機能構成を示す。構成は図１上部に示す作業者用複合現実感装置１０ａと図１下部に示す指示者用複合現実感装置１０ｂとからなり、それぞれは管理サーバ６０を介してネットワークで接続されているものとする。それぞれの装置は頭部装着型装置（ＨＭＤ＝Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）２０ａ，２０ｂを持ち作業者、指示者ともにＨＭＤを通して作業者のいる空間の複合現実感映像を見ることができる。また両者間で会話を行なうためのマイクロフォン２８ａ，２８ｂ、スピーカ２７ａ，２７ｂを具備する。
【００１５】
作業者用ＨＭＤ２０ａは、磁気を利用してＨＭＤの位置姿勢を計測する３次元位置姿勢センサ２１ａ、現実空間を撮像し画像を得ることのできるステレオカメラ２２（左眼用をＬ、右眼用をＲで示してある。）、画像を表示することのできるステレオ表示器２３ａ（左眼用をＬ、右眼用をＲで示してある。）からなり、３次元位置姿勢センサ２１ａとカメラ２２の位置関係はあらかじめ計測され固定しているとする。３次元位置姿勢センサ２１ａからは計測結果である位置姿勢信号が後述の位置姿勢計測部１１ａへ出力され、カメラ２２からは撮像結果が後述する画像入力部１２へ出力される。表示器２３ａは、画像合成部１５から入力として左眼用と右眼用の画像信号を受け画像をそれぞれ左眼用２３ａＬと右眼用の表示装置２３ａＲに表示する。
【００１６】
作業者用複合現実感装置１０ａ内にある位置姿勢計測部１１ａはＨＭＤ２０ａの３次元位置姿勢センサ２１ａから出力される３次元位置姿勢信号、および複合現実空間の３次元ポインティングデバイスであるスタイラスの３次元位置姿勢信号の信号を受けて、これらのデータを仮想物体管理部１６ａへ出力する。仮想物体管理部１６ａでは、作業者スタイラスおよびＨＭＤの位置姿勢のデータを位置姿勢制御部１１ａから受け取り、作業に用いられる全ての仮想物体のデータと共に蓄積する。仮想物体送受信部３１ａでは、指示者用複合現実感装置１０ｂとの間で共有する全ての仮想物体情報を管理サーバ６０との間で送受信する。管理サーバ６０から受信した仮想物体へのイベント情報は仮想物体管理部１６ａへ送られここに蓄積されている仮想物体のシーングラフの変更が行なわれる。また画像生成部１３では、仮想物体管理部１０ａに蓄積されているすべての仮想物体のシーングラフを作業者視点情報（ＨＭＤ位置姿勢情報）から見た左眼用と右眼用の仮想空間ＣＧを描画し画像を生成する。
【００１７】
１５は画像合成部であり、左眼用カメラ２２Ｌと右眼用カメラ２２Ｒからの撮像画像を画像入力部１２を通して入力し、この入力画像上に画像生成部１３ａにより生成された左眼用と右眼用の仮想空間ＣＧ画像と合成する。その結果、表示器２３ａの左眼用と右眼用の表示装置各々には、カメラから撮像された画像の上に作業者視点からの仮想空間のデータが重畳表示される。またこの重畳画像は映像符号化部３２ａで圧縮符号化されて映像送信部３３ａを通して管理サーバ６０へ伝送される。
【００１８】
指示者用複合現実感装置１０ｂの構成は、作業者用複合現実感装置１０ａとほぼ同じであるが、ＨＭＤ２０ｂにはカメラが装着されておらずカメラからの画像入力がない点が異なる。作業者空間の複合現実感映像は作業者ＨＭＤのカメラからのステレオ映像が、管理サーバ６０を介して映像受信部３３ｂで受信され映像復号化部３２ｂで復号化され表示器２３ｂの左眼用２３ｂＬと右眼用２３ｂＲの表示装置に表示される。指示者のＨＭＤの位置姿勢は３次元位置姿勢センサ２１ｂから取得され、スタイラス４１ｂの３次元位置姿勢とともに位置姿勢計測部１１ｂに入力され、仮想物体管理部１６ｂへ送られる。仮想物体１６ｂは、作業者用複合現実感装置１０ｂの仮想物体管理部１６ａと同様に、作業者指示者間で共有される全ての仮想物体データが蓄積されている。指示者側からの仮想物体に対するイベントは仮想物体送受信部３１ｂを通して管理サーバ６０へ送られ、管理サーバ６０から送られてくる仮想物体へのイベントはここを通して仮想物体管理部１６ｂへ送られシーングラフの変更が行なわれる。画像生成部１３ｂの機能は１３ａと同じなので説明は省略する。画像出力部１７は、映像符号化部３２ｂから送られてくる作業者複合現実感映像と、画像生成部１３ｂから送られてくる仮想物体ＣＧ画像を選択的に切替えて表示機２３ｂへ出力する。
【００１９】
また作業者用複合現実感装置と指示者用複合現実感装置のコネクションが確立した後には、映像通信モジュールと音声通信モジュールが起動され、作業者複合現実空間映像は映像送信部３３ａから映像受信部３３ｂへ一方向通信で伝送され、音声情報は双方向の音声データがやり取りされる。この結果作業者は２７ａのスピーカと２７ｂマイクロフォンを用いて、指示者は２８ａのスピーカと２８ｂマイクロフォンを用いて会話を行なうことができる。
【００２０】
６０は管理サーバであり、仮想物体情報の管理を行なう。仮想物体通信管理部６１では、作業者用複合現実感装置と指示者用複合現実感装置との間でやりとりされる情報通信管理を行なう。仮想物体管理部６２では、作業者と指示者スタイラスやＨＭＤを含む共有仮想物体のシーングラフの情報と、共有仮想物体の操作権の管理を行なう。作業者または指示者からの仮想物体情報の変更は全てイベントとして仮想物体管理部６２へ送信されここで共有のシーングラフの変更を行なった後、指示者複合現実感装置１０ａ、指示者用複合現実感装置１０ｂへ同じイベントが配信され、それぞれの装置に蓄積されている仮想物体シーングラフが変更される。
【００２１】
以上述べた構成での動作例を図２を用いて説明する。図２（１）はＨＭＤを装着した作業者４０が複合現実空間で作業を行なう様子が示されている。４２は実物の作業対象物であり、４３は作業対象物の３ＤモデルであるＣＧが立体視表示されている。４３の仮想物体は指示者と共有されており指示者からの作業指示や作業の例示がこの仮想物体４３を通して行なわれる。作業者のいる現実空間に対して図示するような世界座標系（ｘ，ｙ，ｚ）が設定されており、この座標系に置かれた例示モデルとしての仮想物体４３はＨＭＤを通して観察すると実物の作業対象物４２の隣に置かれたような位置関係で表示される。磁気センサが装着されたスタイラスを用いることによってこれらの仮想物体の一部を選択して移動させたりするインタラクションが可能である。４１ａは作業者用のスタイラスにＣＧを重畳したポインタを示し４１ｂは指示者のスタイラスをＣＧで表現したものである。
【００２２】
図２（２）は、遠隔にいる指示者の空間を示している。指示者５０はＨＭＤ２０ｂを装着しており、ＨＭＤ２０ｂの表示器には２３ｂのように作業対象物４２とその３ＤモデルのＣＧ４３の映像が立体視で映し出されている。これは作業者４０が見ている映像と全く同じ物である。４１ａは作業者のスタイラスの位置を示すポインタ、４１ｂは指示者のスタイラスの位置を示すポインタである。指示者が存在する空間にも作業者複合現実空間の世界座標系に対応する指示者世界座標系（ｘ，ｙ，ｚ）を図２（２）に示すように設定する。これら２つのの世界座標系において仮想物体の位置姿勢は作業者／指示者共通の座標値で表される。指示者のＨＭＤ２０ｂとスタイラス４１ｂには磁気センサが装着されているので、視点位置と手に持っているスタイラスの相対的な位置関係が測定できる。この位置関係を作業者視点からの位置関係に変換して、作業者視点からの指示者のスタイラスの位置を決めることができるので、指示者はあたかも作業者の視点からポインタを操作するような感覚を与えることができる。このように作業者視点複合現実感映像を作業者／指示者間で共有し、指示者のポインタを作業者視点位置を基準に表示する状態を作業空間モードと呼ぶことにする。
【００２３】
指示者５０は作業者と同じ映像２３ｂを見ながら仮想物体４３をポインタ４１ｂで指したり，または仮想物体の部品を移動させたりすることにより作業者への作業指示を行なう。
【００２４】
仮想物体の移動はスタイラス４１ｂを仮想物体に触れる位置まで移動し、図３に示すスタイラスの第一ボタン４７を押下する。これにより仮想物体の把持モードとなり、把持された仮想物体はスタイラスと共に移動する。上記把持モードの時にスタイラスのボタンを押下すると把持モードが終了し仮想物体がリリースされる。作業者も同様な操作で仮想物体を操作することができる。但し作業者のスタイラスはボタンが１つだけ装着されている（図示せず）。作業者と指示者の操作が同時に発生しないようにどちらか一方のみが把持モードに入り仮想物体を移動することができる。
【００２５】
この作業者空間モードにおいて、指示者のポインタを作業者の複合現実空間に表示する位置として、指示者の頭部位置と手に持ったスタイラスの相対位置関係を、作業者の頭の位置姿勢からの相対位置関係に変換して表示することにより、あたかも自分の視点から手を延ばしてポインティングしているような感覚が得られるが、作業者が頭部の位置姿勢を変化させるとそれに合わせてポインタの位置も移動してしまう。そのため指示者の意図しない部分にポインタが移動する欠点が生じる可能性がある。そこで指示者が図３のスタイラス第二ボタン４８を押下することで指示者視点からの仮想物体だけから構成される仮想空間（図４（２））が表示器２３ｂに表示される。この例では仮想物体４３と作業者ポインタ４１ａ、指示者ポインタ４１ｂからなる仮想空間が指示者視点から表示されている。この空間を見ながら仮想物体へのポインティングや移動などの操作を行なってその結果を作業者用複合現実感装置へ反映させ、作業者との仮想物体の共有が可能になる。すなわち指示者は作業者の頭の動きに関係なく自分の視点から仮想物体を見て操作することができる。この状態を共有仮想モードと呼ぶことにする。この時作業者は指示者により変更された仮想物体が重畳された複合現実空間を見ていることになる。
【００２６】
さらにこの共有仮想モードで指示者がスタイラス第二ボタン４８を押下すると、図４（３）に示す単独仮想モードの映像が表示される。この状態では仮想物体４３は作業者と共有されておらずポインタも指示者ポインタ４１ｂが表示されているのみである。この状態では、指示者のポインティングや仮想物体への変更は指示者用複合現実感装置のみで行なわれ作業者用複合現実感装置には反映されない。指示者は単独で仮想物体の操作を試行錯誤することができる。このモードで指示者がスタイラス第二ボタンを押下すると、単独仮想モードで編集された仮想物体が管理サーバへアップロードされ、さらに作業者複合現実感装置へダウンロードされて、その結果が反映された図４（１）のような映像が指示者ＨＭＤ表示装置に表示され、最初に説明した作業空間モードへ復帰する。このように指示者は指示内容によって適宜モードを切替えることにより効率的な作業指示が行なえるようになる。
【００２７】
図５は、複合現実感作業空間で作業を行なうための作業者用複合現実感装置１０ａの動作を説明するフローチャートである。図２では図示されていないが本装置１０ａは、作業者のＨＭＤ２０ａやスタイラス４１ａと接続できる位置にあり、管理サーバ６０を介して指示者用複合現実感装置１０ｂとネットワーク接続されているとする。
【００２８】
ステップＳ１００では、作業者用複合現実感装置１０ａの初期化を行なう。このステップでは、複合現実感作業空間の世界座標系が設定される。後述するセンサからの出力はこの座標系における６パラメータの組としてのデータ（ｘ，ｙ，ｚ，α，β，γ）として表現される。ここでαはｘ軸中心の回転角、βはｙ軸中心の回転角、γはｚ軸中心の回転角を表す。また実物体４２のリファレンスとなる仮想物体４３の初期データがこの世界座標系に配置され、シーングラフデータとして仮想物体管理部１６ａに蓄積される。
【００２９】
次のステップＳ１１０では、管理サーバ６０との間でネットワーク接続を確立し両装置でデータの送受信が可能な状態にして、ステップＳ１００で設定された仮想物体の情報を仮想物体送受信部３１ａを介して管理サーバへアップロードする。
【００３０】
ステップＳ１２０では、作業者用複合現実感装置１０ａと指示者用複合現実感装置１０ｂとの間で音声通信のコネクションを開始する。音声通信コネクションが設定後、音声出力はそれぞれスピーカ２７ａ，２７ｂから、音声入力はそれぞれマイクロフォン２８ａ，２８ｂから行なわれる。これにより作業者と指示者の間で音声による会話が可能となる。また映像通信のためのコネクションも設定され映像送信部３３ａから映像受信部３３ｂへの映像送信が可能な状態になる。
【００３１】
ステップＳ１３０では、作業者ＨＭＤに装着されているカメラ２２からの映像を画像入力部１２を経て画像合成部１５へ取り込む処理を行なう。カメラ２２は作業者の両目に対応する左眼用（Ｌ）と右眼用（Ｒ）２台のカメラから構成されており、それぞれの映像が画像合成部１５の別のバッファへ格納される。
【００３２】
次のステップＳ１４０では作業者の頭部の位置姿勢がＨＭＤ３次元位置センサ２１ａからの値として位置姿勢計測部１１ａに入力され、世界座標系における６パラメータの組としてのデータが生成される。
【００３３】
次のステップＳ１５０では作業者のスタイラス４１ａの３次元位置姿勢情報が上記のＨＭＤ３次元位置センサからのデータと同じ形式で位置姿勢計測部１１ａに入力され仮想物体管理部１６ａに保持される。
【００３４】
ステップＳ１６０ではステップＳ１５０で求められた作業者ＨＭＤとスタイラスの位置姿勢情報をイベントとして仮想物体送受信部３１ｂを通して管理サーバ６０へ送信する。
【００３５】
ステップＳ１７０では作業者スタイラスのボタンが押下されたかをチェックしボタンが押下されたならばステップＳ１８０へそうでなければステップＳ１９０へ進む。
【００３６】
ステップＳ１８０では、押下されたボタンイベントを仮想物体送受信部３１ａを通して管理サーバ６０へ送信する。
【００３７】
ステップＳ１９０では、作業者ポインタ、指示者ポインタ、仮想物体の変更に関する情報が管理サーバ６０からのイベントとして仮想物体送受信部３１ａを通して受信される。
【００３８】
ステップＳ２１０では、ステップＳ１９０で得られた変更情報を基に仮想物体管理部１６ａに格納されているシーングラフを変更する。
【００３９】
ステップＳ２２０では、画像生成部１３ａにおいて操作結果を反映した仮想物体、作業者ポインタ４１ａ、および指示者ポインタ４１ｂのシーングラフから、作業者ＨＭＤ位置姿勢のビューからの左眼用ＣＧ画像と右眼用ＣＧ画像をそれぞれ作成する。
【００４０】
次のステップＳ２４０では、ステップ２２０で生成された左眼用ＣＧ画像と右眼用ＣＧ画像を画像合成部１５のカメラからの左眼用撮像画像と右眼用撮像画像にそれぞれ上書きすることにより仮想物と現実の合成画像が得られる。３次元位置姿勢センサ２１ａと左眼用カメラ２２Ｌと右眼用カメラ２２Ｒの位置関係は固定されておりあらかじめキャリブレーションを行なって変換式を求めておくことができるので、この式を用いてカメラ視点の位置姿勢が決まる。この左眼用合成画像と右眼用合成画像が作業者ＨＭＤの左眼用表示器２３ａＬと右眼用表示器２３ａＲにそれぞれ表示される。
【００４１】
ステップＳ２５０では作業者ＨＭＤ表示器２３ａに表示されたのと同じ両眼画像が、画像符号化部３２ａで符号化され、映像送信部３３ａを通して指示者用複合現実感装置の映像受信部３３ｂへ送信される。
【００４２】
次のステップＳ２６０では、作業者用複合現実感装置の終了コマンドが入力されていればステップＳ２７０の音声通信終了処理に進みそうでなければステップＳ１３０へ戻る。
【００４３】
ステップＳ２７０では音声通信処理を終了し音声コネクションを切断し、映像通信コネクションも切断する。
【００４４】
ステップＳ２８０では管理サーバ６０との通信を切断して処理を終了する。
【００４５】
図６は、複合現実感作業空間での作業を指示／支援する指示者用複合現実感装置１０ｂの動作を説明するフローチャートである。最初に作業空間モードの処理がステップ３００から実行される。
【００４６】
ステップＳ３００では、指示者用複合現実感装置１０ｂの初期化を行なう。このステップでは、指示者が存在する空間の世界座標系が位置姿勢計測部１１ｂにおいて設定され、後述する３次元センサからの出力は前述した作業者用複合現実感装置１０ａと同じように６パラメータの組のデータとして表現される。また後述する指示者操作物ＩＤのテーブルがクリアされる。
【００４７】
次のステップＳ３０２では、管理サーバ６０とのネットワーク接続を確立し両装置でデータの送受信が可能な状態にし、仮想物体情報などのデータが仮想物体送受信部３１ｂを通してダウンロードされ、仮想物体管理部１６ｂに蓄積される。
【００４８】
ステップＳ３０４では、作業者用複合現実感装置１０ａとの間で音声通信コネクションと映像通信コネクションを設定し、音声通信を開始する。指示者の音声出力はスピーカ２７ｂから音声入力はマイクロフォン２８ｂから行なわれる。これにより作業中音声による会話が可能となる。作業者用複合現実感装置からの映像は映像受信部３３ｂを介して可能になる。
【００４９】
ステップＳ３０６では、指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１６ｂに保持される。
【００５０】
ステップＳ３０８では、ＨＭＤ３次元位置センサ２１ｂから指示者の視点の位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１６ｂに保持される。
【００５１】
ステップＳ３１０では、ステップ３０６、３０８で得られたスタイラスとＨＭＤの３次元位置姿勢データを管理サーバ６０へ送信する。
【００５２】
ステップＳ３１２では、作業者複合現実感装置の映像送信部３３ａから左右両眼の映像を映像受信部３３ｂで受信して左眼用と右眼用画像をそれぞれ映像復号化部３２ｂで復号する。
【００５３】
ステップＳ３１４では、復号された左眼用と右眼用画像を画像出力部１７へ書き込んで、指示者ＨＭＤ２０ｂの左眼用２３ｂＬと右眼用表示器２３ｂＲにそれぞれ表示する。
【００５４】
次のステップＳ３１６では、指示者用複合現実感装置の終了コマンドが入力されていればステップＳ３１８の音声通信終了処理に進みそうでなければステップＳ３０６へ戻り処理を繰り返す。
【００５５】
ステップＳ３１８では、音声通信コネクション、映像通信コネクションを切断し、音声処理を終了する。ステップＳ３２０では管理サーバ６０との通信を切断して処理を終了する。
【００５６】
この作業空間モードで指示者のスタイラスのボタンが押下されたときのボタンイベント処理を図７（１）に示す。スタイラスの第一ボタン４７が押下によりステップＳ４００が起動される。ステップＳ４００では、指示者のスタイラス、ＨＭＤの位置姿勢を仮想物体管理部１０ｂより読み出して管理サーバ６０へ送信して、図６作業空間モードのフローに戻る。またスタイラスの第二ボタン４８が押下されたときは、後述する共有仮想モードの処理に進む。共有仮想モードの処理を図６（２）のフローチャートで説明する。
【００５７】
ステップＳ３３０では、指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１０ｂに保持される。
【００５８】
ステップＳ３３４では、ステップ３３０、３３２で得られたスタイラスの３次元位置姿勢データを管理サーバ６０へ送信する。
【００５９】
ステップＳ３３６では、作業者ポインタ、指示者ポインタ、仮想物体の変更に関する情報が管理サーバ６０からのイベントとして仮想物体送受信部３１ｂを通して受信される。
【００６０】
ステップＳ３３８では、ステップＳ３３６で得られた変更情報を基に仮想物体管理部１６ｂに格納されているシーングラフを変更する。
【００６１】
ステップＳ３４０では、ステップＳ３３８で変更されたシーングラフを指示者視点（指示者ＨＭＤ位置姿勢）からの左眼用ＣＧ画像と右眼用ＣＧ画像を画像生成部１３ｂで生成して画像出力部１７へ出力することにより表示器２３に表示される。次にステップＳ３３０に戻る。
【００６２】
以上の処理によって指示者視点による仮想物体だけからなる仮想空間映像が指示者ＨＭＤに表示される。この共有仮想モードで指示者のスタイラスボタンが押下された際の処理を図７（２）に示す。
【００６３】
スタイラスの第一ボタン４７が押下によりステップＳ４１０が起動される。ステップＳ４１０では、指示者のスタイラスの位置姿勢を仮想物体管理部１０ｂより読み出して管理サーバ６０へ送信して、図６（２）共有仮想モードのフローに戻る。またスタイラスの第二ボタン４８が押下されたときは、ステップＳ４２０で、管理サーバの仮想物体管理部６２に格納されている指示者操作物ＩＤテーブルの該当欄をクリアするリクエストを管理サーバへ送信して、後述する単独仮想モードの処理に進む。
【００６４】
単独仮想モードの処理を図６（３）のフローチャートで説明する。
【００６５】
ステップＳ３５０では、指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１０ｂに保持される。
【００６６】
ステップＳ３５２では、ＨＭＤ３次元位置センサ２１ｂから指示者の視点の位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）が読み出され位置姿勢計測部１１ｂに入力され仮想物体管理部１０ｂに保持される。
【００６７】
ステップＳ３５４では、現在指示者が仮想物体を操作中か否かを、図１３に示す指示者操作物ＩＤテーブルをチェックして判定する。この表は作業者複合現実感装置の仮想物体管理部１６ｂに保持されており、指示者がどの仮想物体を操作中かを示す値が格納されている。図１３の例では仮想物体Ａを作業者が操作中であることを示している。操作中の仮想物体がない場合にはｎｕｌｌが格納されている。このテーブルをチェックして仮想物体を操作中の場合にはステップＳ３５６へそうでなければステップＳ３５８へ進む。
【００６８】
ステップＳ３５６では、指示者のスタイラス位置へ仮想物体を移動するイベントを発行する。
【００６９】
ステップＳ３５８では、指示者のスタイラス位置や仮想物体の変更がある場合にはそれをシーングラフへ反映させ、ＨＭＤの位置姿勢データを視点位置とする。
【００７０】
ステップＳ３６０では、シーングラフのデータを画像生成部１３ｂにて左眼用ＣＧと右眼用ＣＧを生成し画像出力部１７へ書き込んでこれらのＣＧを表示器２３ｂへ表示させる。
【００７１】
また指示者用複合現実感装置１０ｂでは、上記のフローの他にバックグラウンドで管理サーバからのイベントを受信して適宜シーングラフの変更などが行なわれるものとする。
【００７２】
この単独仮想モードで指示者のスタイラスボタンが押下された際の処理を図７（３）に示す。スタイラスの第一ボタン４７の押下によりステップＳ４３０が起動される。ステップ４３０では、指示者が仮想物体を操作中か否かを図１３の指示者操作物ＩＤテーブルをチェックして判定する。仮想物体を操作中の場合にはステップＳ４３２へ進み、そうでなければステップＳ４３４へ進む。
【００７３】
ステップＳ４３２では、図１３の指示者操作物ＩＤテーブルをクリアしｎｕｌｌを格納して、図６（３）の単独仮想モードのフローに戻る。
【００７４】
ステップＳ４３４では指示者のスタイラス位置と仮想空間に存在する全ての仮想物体との距離を比較して次のステップＳ４３６へ進む。
【００７５】
ステップＳ４３６では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ４３８に進み、存在しなければ図６（３）の単独仮想モードのフローに戻る。
【００７６】
ステップＳ４３８では、ステップＳ４３６で求められた操作対象物ＩＤを図１３の指示者操作物ＩＤテーブルへ書き込み第一ボタンイベント処理を終了する。
【００７７】
スタイラスの第二ボタン４８の押下によりステップＳ４４０が起動される。ステップＳ４４０では。図１３の指示者操作物ＩＤテーブルをクリアしてｎｕｌｌを格納する。
【００７８】
ステップＳ４４２では、仮想物体管理部１６ｂに格納されている仮想物体のシーングラフ全体を管理サーバの仮想物体管理部６２へアップロードするリクエストを管理サーバへ送り、データをアップロードして、作業空間モードのフローのステップＳ３０６からの処理を行なっていく。
【００７９】
次に管理サーバ６０での処理を図８のフローチャートを用いて説明する。管理サーバでは作業者複合現実感装置１０ａと指示者複合現実感装置１０ｂからのリクエストやイベントを受付けてその処理を行なう。
【００８０】
作業者スタイラス処理は、作業者複合現実感装置からスタイラス／ＨＭＤ位置イベントを受信した際に起動される。ステップＳ５００では、作業者スタイラス／ＨＭＤの位置姿勢を仮想物体管理部６２に格納されているシーングラフに反映させる。
【００８１】
ステップＳ５０２では作業者が仮想物体を操作中か否かを図１２の作業者／指示者操作物ＩＤテーブルをチェックして判定する。作業者／指示者操作物ＩＤテーブルは仮想物体管理部６２にあり、作業者の操作している仮想物体と指示者が操作している仮想物体のＩＤが格納されている。図１２の例では、作業者はどの仮想物体も操作していないのでｎｕｌｌが格納されており、指示者は仮想物体Ｃを操作している。作業者操作物ＩＤに仮想物体ＩＤがあればステップＳ５０４へそうでなければステップＳ５０６へ進む。
【００８２】
ステップＳ５０４では、ステップ５００で更新されたスタイラス位置へ操作中の仮想物体を移動させ、仮想物体管理部６２に格納されているシーングラフを変更して、ステップＳ５０６へ進む。
【００８３】
ステップＳ５０６では、更新された作業者スタイラス、ＨＭＤと仮想物体の情報を作業者ホストへ送信して、作業者スタイラス処理を終了する。
【００８４】
作業者ボタン処理は、作業者がスタイラスのボタンを押下したときに起動される処理で、ステップＳ５１０では、現在作業者が仮想物体を操作中か否かを図１２の作業者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５１４に進み、作業者操作物ＩＤが格納されていれば操作中と判定してステップＳ５１２に進む。
【００８５】
ステップＳ５１２では、図１２の作業者操作物ＩＤの内容をｎｕｌｌに置き換え作業者ボタンイベントの処理を終了する。
【００８６】
ステップＳ５１４では送信されてきた現在の作業者のスタイラス位置と作業者複合現実空間全ての仮想物体の位置を比較して次のステップに進む。
【００８７】
ステップＳ５１６では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５１８に進み、存在しなければ作業者ボタンイベントの処理を終了する。
【００８８】
ステップＳ５１８では、前ステップで求められた操作対象物ＩＤと図１２の指示者操作物ＩＤを調べ、同じであれば操作対象物は指示者が操作中と判定し作業者ボタンイベント処理を終了し、同じでなければステップＳ５２０に進む。
【００８９】
ステップＳ５２０では、ステップＳ５１６で求められた操作対象物ＩＤを図１２の作業者操作物ＩＤへ書き込み作業者ボタンイベント処理を終了する。
【００９０】
指示者スタイラス処理Ｉは、図６（１）作業空間モードのステップ３１０にて送信されたイベント処理フローである。ステップＳ５３０では、指示者の視点位置であるＨＭＤ３次元位置センサ２１ｂからの位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）と指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が受信される。これらは指示者の存在する空間の世界座標系での値であるので、スタイラスの位置姿勢を視点位置姿勢からの相対位置に変換して指示者スタイラス相対位置（ｘｄ，ｙｄ，ｚｄ，αｄ，βｄ，γｄ）＝（ｘｓ−ｘｈ，ｙｓ−ｙｈ，ｚｓ−ｚｈ，αｓ−αｈ，βｓ−βｈ，γｓ−γｈ）を計算する。
【００９１】
ステップＳ５３２では、前ステップで計算された指示者スタイラス相対位置を新たなスタイラスイベントとして仮想物体管理部６２のシーングラフを変更する。
【００９２】
ステップＳ５３４では指示者が仮想物体を操作中か否かを図１２の作業者／指示者操作物ＩＤテーブルの指示者操作物ＩＤをチェックして判定する。指示者操作物ＩＤがｎｕｌｌの場合には仮想物体を操作中でないと判定し、ステップＳ５３８へ、そうでなければ稼動物体を操作中と判定しステップＳ５３６へ進む。
【００９３】
ステップＳ５３６では、ステップ５３２で更新されたスタイラス位置へ操作中の仮想物体を移動させ、仮想物体管理部６２に格納されているシーングラフを変更して、ステップＳ５３８へ進む。
【００９４】
ステップＳ５３８では、更新された指示者スタイラス、ＨＭＤと仮想物体の情報を作業者用複合現実感装置１０ａ送信して、指示者スタイラス処理Ｉを終了する。
【００９５】
指示者スタイラス処理ＩＩは、図６（２）共有仮想モードのステップ３３４にて送信されたイベント処理フローである。ステップＳ５４０では、指示者の視点位置であるＨＭＤ３次元位置センサ２１ｂからの位置姿勢と指示者のスタイラス４１ｂの３次元位置姿勢情報イベントが受信され、この情報をもとに仮想物体管理部６２のシーングラフを変更する。
【００９６】
ステップＳ５４２では指示者が仮想物体を操作中か否かを図１２の作業者／指示者操作物ＩＤテーブルの指示者操作物ＩＤをチェックして判定する。指示者操作物ＩＤがｎｕｌｌの場合には仮想物体を操作中でないと判定し、ステップＳ５４６へ、そうでなければ稼動物体を操作中と判定しステップＳ５４４へ進む。
【００９７】
ステップＳ５４４では、ステップ５４０で更新されたスタイラス位置へ操作中の仮想物体を移動させ、仮想物体管理部６２に格納されているシーングラフを変更して、ステップＳ５４６へ進む。
【００９８】
ステップＳ５４６では、更新された指示者スタイラスと仮想物体の情報を作業者用複合現実感装置１０ａと指示者用複合現実感装置１０ｂへ送信して、指示者スタイラス処理ＩＩを終了する。
【００９９】
指示者第一ボタンＩ処理は、指示者が作業空間モードでスタイラス第一ボタンを押下した時に起動される図７（１）のステップＳ４００処理によってサーバに送信されるイベント処理である。ステップＳ５５０では、指示者の視点位置であるＨＭＤ３次元位置センサ２１ｂからの位置姿勢（ｘｈ，ｙｈ，ｚｈ，αｈ，βｈ，γｈ）と指示者のスタイラス４１ｂの３次元位置姿勢情報（ｘｓ，ｙｓ，ｚｓ，αｓ，βｓ，γｓ）が受信される。これらは指示者の存在する空間の世界座標系での値であるので、スタイラスの位置姿勢を視点位置姿勢からの相対位置に変換して指示者スタイラス相対位置（ｘｄ，ｙｄ，ｚｄ，αｄ，βｄ，γｄ）＝（ｘｓ−ｘｈ，ｙｓ−ｙｈ，ｚｓ−ｚｈ，αｓ−αｈ，βｓ−βｈ，γｓ−γｈ）を計算する。
【０１００】
ステップＳ５５２では、現在指示者が仮想物体を操作中か否かを図１２の指示者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５５６に進み、指示者操作物ＩＤが格納されていれば操作中と判定してステップＳ５５４に進む。
【０１０１】
ステップＳ５５４では、図１２の指示者操作物ＩＤの内容をｎｕｌｌに置き換え作業者ボタンイベントの処理を終了する。
【０１０２】
ステップＳ５５６では仮想物体管理部６２に格納されている指示者の現在のスタイラス位置と作業者複合現実空間全ての仮想物体の位置を比較して次のステップに進む。
【０１０３】
ステップＳ５５８では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５６０に進み、存在しなければ作業者ボタンイベントの処理を終了する。
【０１０４】
ステップＳ５６０では、前ステップで求められた操作対象物ＩＤと図１２の作業者操作物ＩＤを調べ、同じであれば操作対象物は作業者が操作中と判定し指示者ボタンイベント処理Ｉを終了し、同じでなければステップＳ５６２に進む。
【０１０５】
ステップＳ５６２では、ステップＳ５５８で求められた操作対象物ＩＤを図１２の指示者操作物ＩＤへ書き込み指示者ボタンイベント処理Ｉを終了する。
【０１０６】
指示者第一ボタンＩＩ処理は、指示者が共有仮想モードでスタイラス第一ボタンを押下した時に起動される図７（２）のステップＳ４１０処理によってサーバに送信されるイベント処理である。ステップＳ５７０では、現在指示者が仮想物体を操作中か否かを図１２の指示者操作物ＩＤを調べて、ｎｕｌｌであれば操作中でないと判定しステップＳ５７４に進み、指示者操作物ＩＤが格納されていれば操作中と判定してステップＳ５７２に進む。
【０１０７】
ステップＳ５７２では、図１２の指示者操作物ＩＤの内容をｎｕｌｌに置き換え作業者ボタンイベントの処理を終了する。
【０１０８】
ステップＳ５７４では送信されてきた現在の指示者のスタイラス位置と作業者複合現実空間全ての仮想物体の位置を比較して次のステップに進む。
【０１０９】
ステップＳ５７６では、距離がある閾値以下の仮想物体が存在すれば（複数の場合距離の短い方を選ぶ）その仮想物体を操作対象物としてステップＳ５７８に進み、存在しなければ作業者ボタンイベントの処理を終了する。
【０１１０】
ステップＳ５７８では、前ステップで求められた操作対象物ＩＤと図１２の作業者操作物ＩＤを調べ、同じであれば操作対象物は作業者が操作中と判定し指示者ボタンイベント処理ＩＩを終了し、同じでなければステップＳ５８０に進む。
【０１１１】
ステップＳ５８０では、ステップＳ５７６で求められた操作対象物ＩＤを図１２の指示者操作物ＩＤへ書き込み指示者ボタンイベント処理ＩＩを終了する。
【０１１２】
指示者操作物ＩＤクリア処理は、指示者が共有仮想モードでスタイラス第二ボタンを押下した時に起動される図７（２）のステップＳ４２０処理によってサーバに送信されるイベント処理である。ステップＳ５８４では、仮想物体管理部６２に格納されている指示者／作業者操作物ＩＤテーブルの指示者操作物ＩＤの内容をｎｕｌｌに置き換えて指示者操作物ＩＤクリア処理を終了する。
【０１１３】
指示者シーングラフアップロード処理は、指示者が単独仮想モードでスタイラス第二ボタンを押下した時に起動される図７（３）のステップＳ４４２処理によってサーバに送信されるイベント処理である。ステップＳ５８８では、指示者複合現実感装置からアップロードされてきた仮想物体のシーングラフで仮想物体管理部６２に蓄積されているシーングラフを置き換える。ステップＳ５９０では、置き換えられたシーングラフの情報を作業者複合現実感装置へダウンロードして、処理を終了する。
【０１１４】
本実施形態では、作業者のモード切替えボタンを図３の４８に示すスタイラスの第二ボタンとしたがこれに限るものではなく、これを次モードに移る、前モードに戻るの二つのボタンに割り当ててもよいし、モードの数だけボタンを準備してそれぞれのモードに進む機能を割り当てても良い。
【０１１５】
また指示者が共有仮想モードの時に作業者に提示される表示器には、図４（２）に示すような仮想物体を仮想空間の背景に配置した映像が映されるが、指示者が共有仮想モードに入る瞬間の作業者複合現実空間の映像（例えば図４（１）に示すような映像）をフリーズした背景を用いても良い。この場合作業者が視点を変えても背景映像は変化しないが、共有仮想物体の視点は自由に変更できるので発明の趣旨は損なわれない。
【０１１６】
（第二の実施形態）
第一の実施形態において、指示者は任意の時点で作業空間モード、共有仮想モード、単独仮想モードへ移行できる。しかしながら作業者表示装置２３ａの映像は、指示者のモード変化を反映しない。このため作業者にとっては、指示者がどのモードにいるのかが判断できないので、コミュニケーションが円滑に行なわれない可能性がある。そこで第二の実施形態では、作業者が作業者複合現実感映像を見ながら、指示者のモードを示す識別できるようにする。具体的には、指示者のポインタ４１ｂの色をモードによって変えるようにする。例えば図２（１）で、指示者が作業視点モードの場合には、指示者ポインタ４１ｂを緑色にし、共有仮想モードの場合には指示者ポインタ４１ｂを青色にし、単独仮想モードの場合には指示者ポインタ４１ｂを茶色にする。このようにする事で、作業者は作業者複合現実空間の中で指示者のポインタの色により指示者がどのモードであるかを判断することができる。この動作の具体的処理を以下に記述する。
【０１１７】
図６に示す指示者処理フローのステップＳ３００初期化処理の時点で作業空間モードでのポインタの色が設定されているとする。上述の例では青色が設定されている。図７に示す各モードで作業者がスタイラスの第二ボタンを押した際に起動される第二ボタン処理が第一の実施例と異なるので、図９で説明する。作業空間モードでの第二ボタン処理を図９（１）に示す。作業者ポインタの色変更イベント（上述の例の場合緑色への変更イベント）を管理サーバへ送信するステップＳ４０２が第一の実施例に加わっている。同様に共有仮想モードの第二ボタン処理ではステップＳ４２２（上述の例の場合茶色への変更イベント送信）処理が、単独仮想モードではステップＳ４４４（上述の例の場合青色への変更イベント送信）の処理が加わっている。また管理サーバで色変更処理を受信した場合の処理を図９（４）に示す。ステップＳ５９２では仮想物体管理部６２に蓄積されているシーングラフ中のポインタを指定された色へ変更し、次のステップＳ５９４でこの色変更イベントを作業者複合現実感装置と指示者複合現実感装置へ送信する。作業者複合現実感装置と指示者複合現実感装置ではこの色変更イベントによりそれぞれに蓄積されているシーングラフ中の指示者ポインタ４１ｂの色を変更する。これらの処理によって作業者のモードごとに異なる色の作業者ポインタを表示することができる。
【０１１８】
本実施形態では指示者ポインタの色で、作業者が指示者のモードを識別できるようにしたが色に限定されず、ポインタの形状など視覚的に識別できるものであれば構わない。
【０１１９】
（第三の実施形態）
第一の実施形態において、指示者が作業者空間モードの時には作業者の視点を両者が共有しているが、指示者が共有仮想モードの時には作業者、指示者がそれぞれ独立した視点で動作することになる。この時お互いのポインタは各々が見ている表示器の映像に写っているが、お互いの視点位置を知ることができない。このような状況では、共有仮想物体をまったく異なった視点で眺めながら作業指示することもあるため、お互いのコミュニケーションに誤解を生じる可能性もある。そこで第三の実施形態では、指示者が共有仮想モードの時に作業者の表示器２３ａに指示者の視点を、指示者の表示器２３ｂに作業者の視点を表示することにより、お互いの視点を確認できるようにする。図１０は、指示者が共有仮想モード時の表示器の画面例である。（１）は作業者表示装置２３ａの画面で仮想物体４３と作業者ポインタ４１ａ、指示者ポインタ４１ｂに加えて指示者の視点が５５ｂとして示されている。また図９（２）には同様に作業者の視点５５ａが示されている。このようにして両者がお互いの視点を確認することができる。この動作の具体的処理を第一の実施形態と異なる処理を以下に記述する。
【０１２０】
指示者用仮想現実感装置における指示者処理フローのうち図６（２）に示す共有仮想モードの処理が図１１（１）のようになる。異なる部分はステップＳ３３２でＨＭＤの３次元位置姿勢を位置姿勢計測部１１ｂより取得する。またステップＳ３３５では、ステップＳ３３２で得られたスタイラスの位置姿勢とステップ３３５で得られたＨＭＤの位置姿勢のイベントを管理サーバ６０へ送信する。またステップＳ３３６では、ポインタの情報に加えて、ＨＭＤの情報も受信することにより図１０に示すような視点を示すＣＧを表示することができる。また図５に示す作業者用複合現実感装置における作業者処理フローのステップＳ１９０でポインタ、仮想物体の情報に加えてＨＭＤの情報も受信することにより視点を表示するＣＧを表示することができる。管理サーバ６０での処理は図８（４）に示す指示者スタイラス処理ＩＩ処理が図１１（２）のように変更される。ステップＳ５４１は図８（４）のステップ５４０の処理に加えて指示者のＨＭＤの３次元位置姿勢を取得する処理が必要になる。またステップＳ５４７では、図８（４）のステップＳ５４６に加えて指示者のＨＭＤの情報も送信することになる。また図８（７）の指示者操作物ＩＤクリア処理は図１１（３）のように変更になる。ステップＳ５９６では、仮想物体管理部６２に格納されている指示者／作業者操作物ＩＤテーブルの指示者操作物ＩＤの内容をｎｕｌｌに置き換え、指示者／作業者の視点を表すＣＧをシーングラフから削除する。ステップＳ５９８では、この指示者／作業者視点ＣＧクリアイベントを作業者用複合現実感装置と指示者用複合現実感装置へ送信して処理を終了する。
【０１２１】
本実施形態では視点を示す画像として顔をあらわすＣＧを用いたが、視線を示す矢印を用いたり、作業者・指示者の実写映像を用いたりすることも可能で、視点位置が視覚的に認識されれば本発明の趣旨は達成できる。
【図面の簡単な説明】
【０１２２】
【図１】第一の実施形態における複合現実感遠隔協調作業支援システムの機能構成を示すブロック図である。
【図２】作業者複合現実感空間の様子と遠隔の指示者用複合現実感装置の画面表示例を示す図である。
【図３】指示者用複合現実感装置で用いられる指示者用スタイラスのボタン配置例を示す図である。
【図４】指示者用複合現実感装置におけるモード変更時の画面表示例を示す図である。
【図５】第一の実施形態における作業者用複合現実感装置での作業者処理のフローチャートである。
【図６】第一の実施形態における指示者用複合現実感装置での指示者処理のフローチャートである。
【図７】第一の実施形態における指示者用複合現実感装置でのボタンイベント処理のフローチャートである。
【図８】第一の実施形態における管理サーバでの受信イベント処理のフローチャートである。
【図９】第二の実施形態における指示者用複合現実感装置での指示者処理と管理サーバでの受信イベント処理の一部のフローチャートである。
【図１０】第三の実施形態における作業者用複合現実感装置と指示者用複合現実感装置の画面表示例を説明する図である。
【図１１】本第二の実施形態における指示者用複合現実感装置での指示者処理と管理サーバでの受信イベント処理の一部のフローチャートである。
【図１２】作業者／指示者操作物ＩＤテーブルの一例を示す図である。
【図１３】指示者操作物ＩＤテーブルの一例を示す図である。
【特許請求の範囲】
【請求項１】
第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有する情報処理方法であって、
前記第１のユーザが装着している第１撮像部の映像と、前記第１撮像部の位置姿勢に基づく仮想物体画像とに基づく複合現実空間画像を取得する複合現実空間画像取得工程と、
前記第１のユーザによって行われた前記仮想物体に対するイベント情報を取得するイベント情報取得工程と、
前記第２のユーザの視点位置姿勢情報を取得する第２ユーザ指定位置姿勢情報取得工程と、
前記第２のユーザの視点位置姿勢情報に基づき、前記イベント情報に応じた仮想物体画像を生成する生成工程とを有し、
前記第１画像を前記第２のユーザに提示する第１モードと、前記仮想物体画像を前記第２のユーザに提示する第２モードとを有することを特徴とする情報処理方法。
【請求項２】
さらに、前記イベント情報に基づかずに、前記第２の視点位置姿勢情報に応じた仮想物体画像を前記第２のユーザに提示する第３のモードを有することを特徴とする請求項１記載の情報処理方法。
【請求項３】
請求項１または２記載の情報処理方法をコンピュータにて実現するためのプログラム。
【請求項４】
作業者が存在する空間に仮想物体を重畳表示する作業者複合現実空間を遠隔から共有する情報処理システムであって、
作業者の視点からの前記作業者複合現実空間のステレオ映像を指示者に伝送するステレオ映像伝送手段、
前記仮想物体を前記作業者と前記指示者で共有する仮想物体共有手段、
作業者と指示者がステレオ映像を立体視できる立体視手段とを備え、
前記指示者が、前記作業者視点からのステレオ映像を共有するモードと、前記作業者視点と独立した視点で前記仮想物体を操作するモードを有することを特徴とする情報処理システム。
【請求項５】
前記作業者と独立した視点で前記仮想物体を操作するモードは、仮想物体を共有するモードと共有しないモードとからなる請求項４に記載の情報処理システム。
【請求項６】
前記作業者が、前記作業者視点からのステレオ映像を共有するモードと、前記作業者と独立した視点で前記仮想物体を操作するモードを切替える切替え手段を有する請求項４に記載の情報処理システム。
【請求項７】
前記作業者の立体視手段を用いて前記指示者のモードを識別する識別手段を有する請求項４に記載の情報処理システム。
【請求項８】
前記作業者の立体視手段を用いて前記指示者の視点位置を表示し、前記指示者の立体視手段を用いて前記作業者の視点位置を表示する表示手段を有する請求項４に記載の情報処理システム。
【請求項１】
第１のユーザが存在する空間に仮想物体を重畳表示する複合現実空間画像を、第２のユーザが共有する情報処理方法であって、
前記第１のユーザが装着している第１撮像部の映像と、前記第１撮像部の位置姿勢に基づく仮想物体画像とに基づく複合現実空間画像を取得する複合現実空間画像取得工程と、
前記第１のユーザによって行われた前記仮想物体に対するイベント情報を取得するイベント情報取得工程と、
前記第２のユーザの視点位置姿勢情報を取得する第２ユーザ指定位置姿勢情報取得工程と、
前記第２のユーザの視点位置姿勢情報に基づき、前記イベント情報に応じた仮想物体画像を生成する生成工程とを有し、
前記第１画像を前記第２のユーザに提示する第１モードと、前記仮想物体画像を前記第２のユーザに提示する第２モードとを有することを特徴とする情報処理方法。
【請求項２】
さらに、前記イベント情報に基づかずに、前記第２の視点位置姿勢情報に応じた仮想物体画像を前記第２のユーザに提示する第３のモードを有することを特徴とする請求項１記載の情報処理方法。
【請求項３】
請求項１または２記載の情報処理方法をコンピュータにて実現するためのプログラム。
【請求項４】
作業者が存在する空間に仮想物体を重畳表示する作業者複合現実空間を遠隔から共有する情報処理システムであって、
作業者の視点からの前記作業者複合現実空間のステレオ映像を指示者に伝送するステレオ映像伝送手段、
前記仮想物体を前記作業者と前記指示者で共有する仮想物体共有手段、
作業者と指示者がステレオ映像を立体視できる立体視手段とを備え、
前記指示者が、前記作業者視点からのステレオ映像を共有するモードと、前記作業者視点と独立した視点で前記仮想物体を操作するモードを有することを特徴とする情報処理システム。
【請求項５】
前記作業者と独立した視点で前記仮想物体を操作するモードは、仮想物体を共有するモードと共有しないモードとからなる請求項４に記載の情報処理システム。
【請求項６】
前記作業者が、前記作業者視点からのステレオ映像を共有するモードと、前記作業者と独立した視点で前記仮想物体を操作するモードを切替える切替え手段を有する請求項４に記載の情報処理システム。
【請求項７】
前記作業者の立体視手段を用いて前記指示者のモードを識別する識別手段を有する請求項４に記載の情報処理システム。
【請求項８】
前記作業者の立体視手段を用いて前記指示者の視点位置を表示し、前記指示者の立体視手段を用いて前記作業者の視点位置を表示する表示手段を有する請求項４に記載の情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−２９３６０５（Ｐ２００６−２９３６０５Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００５−１１２１０９（Ｐ２００５−１１２１０９）
【出願日】平成１７年４月８日（２００５．４．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願日】平成１７年４月８日（２００５．４．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]