３Ｄデータセットのネットワーク（”ＤｅｘｔｒｏＮｅｔ”）上での、協同的でインタラクティブな可視化のためシステムおよび方法
本発明は、３Ｄデータセットのインタラクティブな可視化に関する。特に、ネットワーク上で多数の当事者によって、１以上の３Ｄデータセットの協同的なインタラクティブな可視化に関する。この示唆されたシステムは、通信リンク上で、１以上のリモート機の１以上のリモートプローブの位置データを受信し、１つのリモートプローブと前記３Ｄ画像とを含む組み合わされた３Ｄシーンを、ローカルディスプレイ上に表示するために作成し、前記装置に対してローカルであるユーザによって、３Ｄ画像を処理し、そして、前記通信リンク上で、前記装置に対してローカルである前記ユーザによる前記処理に関連するデータであって、リモート機に３Ｄ画像上で処理を行うローカルプローブの画像を含む組み合わされた３次元シーンを表示させるデータを送信するように構成されている。
【発明の詳細な説明】
【背景技術】
【０００１】
他の出願とのクロスリファレンス
本願明細書は、（ｉ）「ネットワーク（「デキストロネット」（“DextroNet”））上での、協同的でインタラクティブな可視化のためシステムおよび方法（SYSTEMS AND METHODS FOR COLLABORATIVE INTERACTIVE VISUALIZATION OVER A NETWORK （"DextroNet"））」という発明の名称で、２００５年１２月３１日に出願された米国仮特許出願第６０／７５５，６５８号、（ｉｉ）「２Ｄインターフェース（「デキストロラップ」（“DextroLap”））を用いて３Ｄ可視化システムと対話を行うための方法およびシステム（METHODS AND SYSTEMS FOR INTERACTING WITH A 3D VISUALIZATION SYSTEM USING A 2D INTERFACE （"DextroLap"）」という発明の名称で、２００６年９月１９日に出願された米国仮特許出願第６０／８４５，６５４号、および（ｉｉｉ）「３Ｄデータセットのネットワーク（"DextroNet"）上での、協同的でインタラクティブな可視化のためシステムおよび方法（SYSTEMS AND METHODS FOR COLLABORATIVE INTERACTIVE VISUALIZATION OF 3D DATA SETS OVER A NETWORK （"DEXTRONET"）」という発明の名称で、２００６年１２月１９日に出された出願第 号（出願人は、この後者の仮特許出願の正しい出願番号と出願日を提供するために本願を補正する権利を留保している）の優先権を主張し、この仮出願の内容全体を引用によって本願明細書に援用するものとする。さらに本願明細書は、（ｉ）「ポインティング装置上に搭載されたカメラに基づく拡張現実感手術用ナビゲーションシステム（An Augmented Reality Surgical Navigation system Based on a Camera Mounted on a Pointing Device（「カメラプローブ」（Camera Probe））」という発明の名称で、２００４年４月２７日に出願された共係属中の出願された米国実用新案出願第１０／８３２，９０２号、（ｉｉ）「ポインティング装置上に搭載されたカメラに基づく拡張現実感手術用ナビゲーションシステム（An Augmented Reality Surgical Navigation system Based on a Camera Mounted on a Pointing Device （「カメラプローブ」（Camera Probe））」という発明の名称で、２００５年７月１日に出願された共係属中の出願された米国実用新案出願第１１／１７２，７２９号を引用によって援用する。
【技術分野】
【０００２】
本発明は、３次元（「３Ｄ」）データセットのインタラクティブな可視化に関する。特に、ネットワーク上で種々のプラットフォームを用いる、１以上の３Ｄデータセットの協同的なインタラクティブな可視化に関する。
【０００３】
発明の背景
従来、３Ｄデータセットの３次元可視化は、所与の３Ｄデータセットを、専用のワークステーションまたはコンピュータに投入する（または、複数の２Ｄイメージの１つを作成する）ことによって行われている。一般的には、１人のユーザが、一台の専用のワークステーション上で、インタラクティブに３Ｄデータセットを可視化する。これは例えば、ボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）製のデキストロスコープ（Dextroscope）（登録商標）によって行うことができる。デキストロスコープ（Dextroscope）（登録商標）は、ボリュームを立体的に表示することが可能であり、ユーザが３Ｄを完全に制御することが可能なハイエンド、ツルーインタラクティブ可視化システムである。さらにボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）製のデックス―レイ（DEX-Ray）（登録商標）システムは、コレジスタされた３Ｄスキャンデータとリアルタイムビデオを組み合わせた専用の３Ｄインタラクティブ可視化システムである。デックス―レイ（DEX-Ray）（登録商標）は、術前のスキャンデータから区分化されたバーチャルオブジェクトとリアルタイムビデオを組み合わせて複合画像とすることによって、ユーザ（一般的には外科医）が実際の手術の現場で「後ろを見る」ことを可能にする。しかしながら、従来、同程度にハイエンドのデキストロスコープ（Dextroscope）（登録商標）またはデックス―レイ（DEX-Ray）（登録商標）といった３Ｄインタラクティブ可視化システムを用いた場合、たとえ複数の表示システムがあり、多くの人がそれらの表示を実際のユーザの近くに立つことによって見ることができたとしても、可視化をコントロールできる（コントロール可能である）のは一度に１人のユーザだけである。したがって、そのようなシステムにおいては、制御を行う人以外は、試験中の３Ｄデータセットの操作に真の参加または協同しているとは言えない。
【０００４】
例えば、デックス―レイ（DEX-Ray）（登録商標）は、脳神経外科の処置などの複雑な手術の計画に使用することができる。そのような手術計画においては、上で引用したカメラプローブ（Camera Probe）に記載するように、神経外科医と彼のチームは、手術前スキャンデータと、このデータの区分化された関心オブジェクトを取得し、手術中に使用すべきアプローチなどのプランニングデータを追加することができる。さらに、カメラプローブ（Camera Probe）にさらに記載されているように、所与の３Ｄデータセット中の様々なポイントを「マーカー」として使用することができる。そのようなマーカーからのプローブをもつユーザの手の先端の位置が、手術中ずっとトラッキングされ、そして連続的に読み出される（可視化された、または聴覚化された手がかりを介して）。
【０００５】
さらに、手術を行いながら、手術部位から３Ｄ入力をすることが望ましいことが多い。そのようなシナリオでは、例えば、トラッキングボールを付着することによって、１以上の手術機器をトラッキングすることができ、外科医と患者の間の相互作用を、真実に近づけてよりよく可視化することができる。こうして、カメラプローブ（Camera Probe）に記載されているように、一旦手術が始まると、リアルタイムデータとバーチャルオブジェクトの組み合わせ画像を作成し、可視化することができる。しかしながら、外科医は、表示されたバーチャルオブジェクトを、手術しながら動的に適応させる（マーカーとして指定されたポイントを変化させることを含む）ことができないのが通常である。手術しながら、可視化を最適化することに集中する時間があまりなく、したがって、３Ｄ可視化システムの能力を完全に利用することができないためである。
【０００６】
デックス―レイ（DEX-Ray）（登録商標）タイプのシステムを使用することで、例えば、腫瘍近くの重要な神経または腫瘍自身などのような少量の関心バーチャルオブジェクトを、外科手術の前に指定することができ、これらのオブジェクトを外科手術中に表示することができる。マーカーポイントについても同じことが言える。上記したように、カメラプローブ（Camera Probe）は、所定数のマーカーポイントをどのように指定することができるか、また、プローブの先端からオブジェクトまでの動的な距離を処置の間どのようにトラッキングすることができるかについて記載している。理論的には、外科医は、処置しながら、マーカーポイントを適応することができるが、これも一般的には行われない。実際の処置は手術にかかりきりになり、進行中、拡張現実感パラメータを最適化するための時間はあまりないからである。
【０００７】
処置しながら、外科医が一般的にバーチャルデータと対話できない理由は他にもある。第１に、大半のナビゲーションシステムのインターフェースは、そのような生の相互作用を非常に複雑なものにしている。第２に、ナビゲーションシステムのインターフェースは無菌でなく、したがって外科医は、ナースや技師に指示することによって調整を行わなければならないことになるだろうからである。デックス―レイ（DEX-Ray）（登録商標）においては、空中でプローブを動かすだけで可視化を修正することが可能（カメラプローブ（Camera Probe）に記載されているように）であり、したがって、外科医は、無菌状態を維持しながら、表示パラメータを直接修正することができるが、手術中、可視化の環境を修正する必要がなければより都合がよい。いずれにしても、専門家が外科医を可視化によって援助をすることができるようになることが最良であろう。
【０００８】
同様に、例えば、手術の援助、ガイダンス、またはプランニングのためのデキストロスコープ（Dextroscope）（登録商標）などの標準的な３Ｄインタラクティブ可視化システムを用いた場合も、１つの場所にいるすべての関係者が協力することは困難であることが多い。例えば、外科医は、脳構造を共有しているシャム双生児の分離手術のような、完全に事前計画を立てることが困難な複雑な手術を行うことがある。そのような処置においては、実際の（長い）手術中に、術前のスキャンを連続的に参照し、実際に脳が露出している状態で映し出されるものに依存するチームのメンバー、または他の専門医に相談する必要があることがほとんどである。術前のスキャンデータのインタラクティブな３Ｄ可視化はそれを分析するための最もよい方法である一方、関連者のすべてが同一の物理的位置にいる場合でも、手術チームがそのようなシステムの表示の周りに集まることは困難である。さらに、症例が複雑であるほど、チームのメンバーがいるかもしれない地理的位置が離れていることが多く、データの可視化の利益を使って術前に相談することが困難なことが多い。
【０００９】
最後に、離れた場所にいる二当事者がインタラクティブ３Ｄデータセット可視化システムを用いて、またはそれを用いた技術を用いて議論するとき、例えば、一方の当事者がその使用について他方に指示を出す場合、双方が同時に３Ｄデータセットおよび他方の操作を見ることができることが必要である。
【００１０】
当業において必要なことは、遠隔の参加者に、そこに実際に存在するかのように操作させて、３Ｄインタラクティブ可視化システム中の３Ｄデータセット上で同時に手術させることである。
【発明の開示】
【課題を解決するための手段】
【００１１】
発明の概略
物理的に離れた場所にいる多数の人が協同して、ほぼ同時にインタラクティブに３Ｄデータセットを可視化するシステムと方法の例を提供する。本発明の実施態様において、例えば、データネットワークを介して接続されているメインワークステーションと１以上のリモートワークステーションが存在することができる。所与のメインワークステーションは、例えば、拡張現実感外科手術用ナビゲーションシステム、または３Ｄ可視化システムであることができ、各ワークステーションは、配置された同じ３Ｄデータセットを持つことができる。さらに、所与のワークステーションは、例えば、リアルタイムのビデオ、もしくはあらかじめ記録されているビデオ、または、管理された３Ｄ超音波可視化システムが提供されるような情報などの既に取得している３Ｄデータと、リアルタイムの画像を組み合わせることができる。リモートワークステーションにいるユーザは、例えば、外科手術のナビゲーションもしくは蛍光透視法などの所与の診断的または治療的処置を行うことができ、または、共有して格納されている３Ｄデータセットを用いてレクチャーが行われているメインワークステーションにいる別のユーザからの指示を受けることができる。メインワークステーションにいる１人のユーザは、例えば、各リモートユーザによって使用されているバーチャルツールを見ることができ、各リモートユーザは、例えば、メインユーザのバーチャルツールとそれがリモートワークステーションのデータセットに及ぼすそれぞれの効果を見ることができる。例えば、リモートワークステーションは、各地の機械のバーチャルコントロールパネルを介してリモートワークステーションの３Ｄデータセット上でのメインワークステーションのバーチャルツールを、前記バーチャルツールがリモートワークステーションのそれと関連するプローブであるかのように、同じように表示することができる。本発明の実施態様において、各ユーザのバーチャルツールは、それらのＩＰアドレス、異なる色、および／または、他の区別するための表示によって表現することができる。本発明の実施態様において、データネットワークは、低または高帯域のいずれかとすることができる。低帯域の実施態様においては、３Ｄデータセットは、各ユーザのワークステーションにあらかじめ載せることができ、メインユーザのバーチャルツールおよびデータの操作のみをネットワーク上に送信することができる。高帯域の実施態様においては、例えば、リアルタイムの画像、例えば、ビデオ、超音波もしくは蛍光透視画像も同様にネットワーク上に送信することができる。
【発明の効果】
【００１２】
発明の詳細な説明
Ｉ．概要
本発明の実施態様において、種々のタイプの３Ｄインタラクティブ可視化システムをデータネットワーク上に接続することができ、それによって、互いに離れたところにいる人どうしが同じ３Ｄデータセットを、様々な目的のためにほぼ同時に操作することができる。本発明の実施態様において、二人以上の人が互いに離れた位置にいながら、それぞれがワークステーション上に置かれた所与の３Ｄデータセット所有することができる。通常、そのような実施態様は、「メインユーザ」と1以上の「リモートユーザ」を考慮している。関係者は、例えば、手術の計画プロジェクト、例えば、シャム双生児の分離手術を行う医師のチームの協力者であることができる。または彼らは、ティーチャーもしくは講師や、スチューデントもしくは聴講者のグループであることができる。さらに、例えば、関係者には、（ｉ）ナビゲーションシステム（例えば、デックス―レイ（DEX-Ray）（登録商標）システム）、もしくは他の診断もしくは治療システム（例えば、カスラボマシーン（Cathlab machine）、管理された超音波システムなど）を用いて、患者に対して手術を施す、または診断もしくは治療的処置を行う外科医もしくは臨床医、ならびに（ｉｉ）外科医もしくは臨床医のように治療もしくは手術室といった物理的制限を受けずに、いくつかの遠隔地からの関連する３Ｄデータセット中のバーチャルオブジェクトを動的に修正し、可視化を行う可視化の専門家を含むことができる。または、当該関係者には、様々な教育的、職業的、レビュー、もしくはカスタマーサポートのコンテクストにおけるティーチャーと1以上のスチューデントを含むことができる。以下では、本発明は、種々の可能なパラダイムの使用、または使用例を記載するが、本発明はそのような使用例に限定されるものではない。本発明の機能は、３Ｄデータセットの洗練された可視化における種々のタイプの研究や協同が望ましい、またはそれが有用である、広範な応用に適用可能であると理解できる。
【発明を実施するための最良の形態】
【００１３】
説明を容易にするために、本発明の種々の実施態様では、時々「デキストロネット（DextroNet）」に言及する。これは、そのような種々の実施態様に関連する、譲受人によって使用されている考慮された登録商標である。
【００１４】
Ａ．デキストロスコープ（Dextroscope）（登録商標）−デキストロスコープ（Dextroscope）（登録商標）型相互作用
本発明の実施態様において、例えば、遠隔カスタマートレーニングもしくはテクニカルサポート、または、３Ｄインタラクティブ可視化システムの製造元とその顧客の間の遠隔相談のために、デキストロネット（DextroNet）を使用することができる。例えば、デキストロネット（DextroNet）は、３Ｄインタラクティブ可視化システムの製造者が使用して、遠隔オンデマンドテクニカルサービスをその顧客に提供することができる。そのような使用においては、例えば、そのような製造者によって提供された所与の３Ｄインタラクティブ可視化システムの使用に関して質問のある顧客は、常時トレーニングセンターに接続することができる。一度接続すれば、遠隔のトレーニング技術者が、例えば、顧客に所与のツール、例えば、デキストロスコープ（Dextroscope）（登録商標）上で輪郭線エディター（Contour Editor）をどのようにして使用すればよいのかを示すことができる。顧客が自分のデータセットのすべてを送信することを必要とせずに（患者の潜在的極秘事項に関する流出と、そういったデータを送信する時間の無駄を避ける）、そのようなトレーニングの一例は、遠隔トレーニングセッションの開始時に両当事者が持っている標準的なデータセットを用いて行うことができる。
【００１５】
デキストロネット（DextroNet）の使用を進めている、顧客に提供され得る別のサービスには、例えば、オフラインで顧客のために患者データを準備する（区分化する）ものがある。例えば、医療分野において、顧客は、関連する1以上の患者もしくは症例に関連するデータをｆｔｐで使用し、「放射線医学サービス」部門は、それを区分化し、顧客に返送することができる。そのようなサービスについて、本発明のある実施態様においては、行われたことについてのオンラインのデモンストレーション、または、顧客が取り扱う実際の患者データに関する遠隔トレーニングさえ、提供することができるであろう。
【００１６】
本発明の実施態様において、遠隔相談を提供することもできる。そのような実施態様においては、例えば、外科医と放射線専門医、画像診断の技師、顧問医師などの専門家のチームが、症例、その症例において採用すべき、さまざまな実行可能な外科手術的アプローチ、および類似の問題点について、すべて遠隔でデキストロネット（DextroNet）上で議論することができる。例えば、放射線専門医は、彼の見解、脳神経血管外科医としての見解を提供することができ、脳顔面頭蓋の専門家は、すべてを考慮しながら、別の見解を提供することができ、そして当該症例のデータをスキャニングすることによって作成された所与の３Ｄデータセット中の種々のボリュームオブジェクトを仮想的に「ポインティングする」。
【００１７】
Ｂ．デキストロスコープ（Dextroscope）（登録商標）−デックス―レイ（DEX-Ray）（登録商標）型相互作用
カメラプローブ（Camera Probe）に記載しているように、デックス―レイ（DEX-Ray）（登録商標）システムは、外科手術のナビゲーション装置として使用することができる。そのような装置は、デキストロネット（DextroNet）上で標準的なインタラクティブ３Ｄ表示システムに接続することができる。したがって、本発明の実施態様において、３Ｄデータ操作が可能であることは、「アウトソーシング」ができるということであり、外科医の無菌の現場によって課された制限を排除できるということである。例えば、外科医がデックス―レイ（DEX-Ray）（登録商標）型プローブを患者の頭蓋骨中に有しているとき、彼は、ベース コンピュータの近くにいる誰かに指示を出さないかぎり、一般的にナビゲーションシステムのインターフェースを制御することが不可能である。もちろんこのことは、望ましいことではない。そのようなコンピュータは、通常、完全に画像／音声をレンダリングすることに占有されているからである。
【００１８】
患者の頭蓋骨内のプローブを用いて、外科医は患者の脳の中の自分の方向を見つけようとする（すなわち、異なる領域を指示し、いまだ切断していない組織を超えてポイントすることはできない）ので、外科医は、プローブの位置を大きく変更することなく、他の画像モダリティー、他の区分化された構造（腫瘍、血管、神経（例えば、拡散テンソルイメージングなどを介して）を調べる助けが必要となるであろう。そのようなシナリオで、外科医は、プローブを使って指し示すことができ、また、話したり、聞いたりすることができるが、頭蓋骨に出入りすることができないことがしばしばある。この状況では、異なる可視化を提供する別の外科医（もしくは専門技術をもつアシスタント）の援助があれば有用であろう。そのような異なる可視化は、例えば、どの血管が最も近くにあり、どの神経が腫瘍の周りにあるかといったことを示すものである。そのような「可視化アシスタント」は、外科医のナビゲーションシステムと、デキストロネット（DextroNet）を介して接続することができる。
【００１９】
Ｃ．デキストロスコープ（Dextroscope）（登録商標）−カスラボ（Cathlab）（登録商標）型相互作用
別法として、本発明の実施態様において、デックス―レイ（DEX-Ray）（登録商標）―デキストロスコープ（Dextroscope）（登録商標）相互作用と類似のパラダイムは、例えば、Ｘ線蛍光透視法表示の形態で、オンラインの情報を用いることができる。ここで遠隔援助は、例えば、同じ個体の以前のスキャンから作成されたリアルタイムのＸ線画像（２Ｄ透視図）と３Ｄ画像（例えば、心臓のＣＴもしくはＭＲスキャンからのもの）の間のコレジストレーションを正確に調節するのを助ける。血管は、Ｘ線では見えないので、インターベンション心臓病専門医は、造影剤を注入して血管を数秒間不透明して観察せざるを得ない。造影剤の注入は、腎臓に問題のある患者には指示されない、また、どんな症例においても、患者のためには、造影剤は、（健康面からも、医療費の面からも）最小限にとどめるべきである。したがって、可視化アシスタントは、患者のＸ線画像を、例えば、術前のＣＴと同期させるために、数秒間の造影剤の流れを利用することができる。この情報は、拡張バーチャルオブジェクトとして、Ｘ線画像上に提示することができる。例えば、それは、Ｘ線画像の隣の別のモニターに表示することができる。例えば、心臓は、Ｘ線画像上で拍動することができ、ＣＴもそれに合わせて拍動することができる。または、心臓病専門医がカテーテルを有している正しい血管を追跡するのをガイドする際に、単に凍結の瞬間を示すこともできる。
【００２０】
本発明の実施態様において、一人だけが３Ｄデータに影響を及ぼす相互作用をコントロールし（「メインユーザ」）、デキストロネット（DextroNet）上で接続している他の関係者（「リモートユーザ」）はこれらの作用を見ることができるが、データそのもの、もっと正確に言えばデータに関する彼らの見解を変えることはできないと想定される。さらに、そのような実施形態においては、デキストロネット（DextroNet）は、例えば、メインユーザの３Ｄ相互作用の詳細のみをネットワーク上に送信する。そして、その後、各リモートワークステーションまたはシステムにおいて対話させる。これは、１人のユーザが、彼の相互作用に関するデータをリモートサーバに送信していた従来のシステムとは対照的なものである。そして当該リモートサーバはその後、コンピュータ処理を行い、リモートビューアに、３Ｄデータの最終的な画像を作成する、ステップや操作の順序を指示することなく、最終的なコンピュータ処理画像を返信する。
【００２１】
例えば、SGI's Vizサーバ（登録商標）のような従来の解決法は、一方向のネットワークのみを提供する。本発明の実施態様において、デキストロネット（DextroNet）は、多方向ネットワークである。SGI's Vizサーバ（登録商標）などのアプローチは、１人のユーザのみが最終的な投影図を所与の３Ｄシーンから要求するといった想定に頼っている。ちょうど１つの投影図（もしくは、例えば、ステレオのための一対の投影図）が必要である場合、リモートコンピュータは、画像を計算（レンダリング）し、得られたピクセルをクライアントに送信する。そしてそのクライアントは、局所でレンダリングすることによって得るものとは区別ができない画像を見ることになる。ユーザは、カーソルを動かして、例えば、回転操作を行い、指令をリモートサーバに送信し、３Ｄモデルが回転することができるようになる。当該モデルは、再びレンダリングすることができ、画像は、クライアントが見るように送信することができる。しかしながら、そのような従来のアプローチは、他のユーザにそれら自身の３Ｄ相互作用装置（そのようなスタイラス、プローブなど）を３Ｄモデルに介入させない。なぜなら、スタイラスに関するモデルについての深さ情報が存在しないからである。それはまた、クライアントに分離可能な視点を作成させない（以下に示す）。入手可能なものは、１人のユーザの視点からのピクセルだけだからである。
【００２２】
さらに、そのようなアプローチでは、最終的なレンダリングを得るために、どのようなステップが取られているかをリモートユーザに対して正確に示すことができない。もし彼が、そのようなインタラクティブな指令順序を実際に学びたいと関心を持っても、それをすることができない。対照的に、本発明の実施態様において、３Ｄモデルが、各ワークステーション（例えば、ティーチャーおよびスチューデント、または、例えば、可視化アシスタントと外科医、または、例えば、可視化アシスタントと実際の患者に処置を施す他の診断医または治療専門家などのステーション）において入手可能であり、その後、モデルの３Ｄを、それぞれステーションを有しているユーザの３Ｄと組み合わせることができ（すなわち、ツールや他のオブジェクト）、そのそれぞれをレンダリングすることができる。
【００２３】
データに対して遠隔から影響を及ぼすために、本発明の実施態様において、メインユーザのスタイラスの３Ｄ相互作用を、例えばリモートユーザの（リモート）バーチャルコントロールパネルと対話させるように、配置することができる。ことができる。そのような実施形態において、そのようなコントロールパネルの相互作用は、リモート機上でシステム指令に、例えば、「切断ボタンを押す」または「ズームスライダーを２．０にスライドさせる」のように翻訳される必要はない。むしろ、そのような実施態様においては、所与のメインユーザの操作は、リモートユーザの世界、例えば、リモートユーザ機の上に、操作されたメインユーザのツールの結果として、リモートユーザ機の上にメインユーザのツールを表示させることによって、現れるかもしれない。リモートユーザ側では、メインユーザのルールは、リモートユーザのバーチャルコントロールパネル上のボタンの上方の位置に現れ、その状態は、例えば、「起動動作」（ツールの４つの例示的な動作の１つ）であり、その後ボタンが押される。特別な指令は必要とされない。このように、リモートツールは、メインユーザもしくはリモートユーザの側でのローカルツールと同じ趣旨で作用することができる。したがって、メインユーザの機械の側（または、従来のVizサーバ（登録商標）アプローチを用いて）で示唆される余分なシステム指令を用いて操作に影響を及ぼす場合と比較して、これはよりシームレスな統合に到達することが可能である。システムレベルの指令を用いない別の理由は、リモートユーザの側の不連続な画面を避けるためである。例えば、もし、リモートユーザの側のバーチャルコントロールパネルとのスタイラス相互作用が連続的でなかったら、ツールは、依然としてシステム指令を介して機能することができたとしても、リモートユーザは、機能もしくは操作「Ｂ」が起こっている間、ボタン「Ａ」の上にツールがあるかどうかについて混乱する。もし、ツールの位置の表示を、上記のように同期させることができれば、余分のシステム指令は必要でなく、ツール自身で行うことができるであろう。
【００２４】
バーチャルコントロールパネルの目盛りは、異なるプラットフォームのユーザ間で変化し得ることがわかる。これは、例示したデキストロネット（DextroNet）を介して接続される種々の３Ｄ可視化システムのハードウェアおよびソフトウェアの構成が存在し得るためである。例えば、この譲受人であるボリュームインタラクション社（Volume Interactions Pte Ltd）によって提供される種々のシステムを用いることを説明すると、デキストロビーム（DextroBeam）（登録商標）は、ミラーを備えていないため、「反射された」目盛りを持たない。一方、デキストロラップ（DextroLAP）（登録商標）システムは、マウスを使用し、３Ｄトラッカーを使用しない。したがって、本発明の実施態様において、メインユーザの３Ｄ目盛りは、すべての接続されたリモートユーザに送信することができる。該リモートユーザは、一般に、異なる構造およびモデルの、種々の３Ｄインタラクティブ可視化システムプラットフォームを介して接続されている。そのような目盛り送信は、例えば、リモートユーザの側で正しいボタンを正しい時間に押すことによってメインユーザによって行われる３Ｄ相互作用を保障する。したがって、デキストロネット（DextroNet）と接続すると、プロトコルは、例えば、リモートユーザ側のコントロールパネルを、（位置、方向、大きさなどに関して）メインユーザ側のものと同一にする。その結果、コントロールパネル上でのメインユーザの操作が、様々なリモートユーザの機械上に複製される。
【００２５】
メインワークステーションがインターフェースと視点とをリモートワークステーションに同期させると、それは、以下において図５５（ａ）と関連付けて記載するように、例えば、コントロールパネルのパラメータをリモートワークステーションに送信する。こうして、リモートワークステーションがこれらのパラメータを受け取ると、例えば、この情報を用いて、自身のコントロールパネルや局所に表示されたオブジェクトを更新する。このプロセスが完了するとすぐ、メインユーザのツールは、例えば、リモートコントロールパネルを操作するために使用される。そして、メインユーザおよびリモートユーザの最初の視点を同じにすることができる。
【００２６】
本明細書においては、種々の例示的パラダイムが記載されている。言葉の節約のために、特徴は、「ティーチャー―スチューデント」パラダイムに関連付けて詳細に記したが、これは、「外科医−可視化アシスタント」パラダイムにも適用可能なものである。逆も然りであり、繰り返して説明しないことにする。「外科医−可視化アシスタント」パラダイムは、「ティーチャー―スチューデント」パラダイムと同様に機能する。後者においては、記録された、もしくはリアルタイムのビデオ、リアルタイムのイメージング（例えば、蛍光透視法、超音波、など）またはリアルタイムの機器位置情報が追加されており、それぞれ３Ｄデータセットにコレジスタされている。
【００２７】
Ｄ．デキストロネット（DextroNet）教育（ティーチャー―スチューデント）パラダイム
本発明の実施態様において、デキストロネット（DextroNet）接続は、教育用に使用することができる。例えば、デキストロネット（DextroNet）は、スチューデントに、外科手術の処置や計画、または、例えば、３Ｄインタラクティブ可視化システム、例えば、デキストロスコープ（Dextroscope）（登録商標）の使用について指導するために使用することができる。さらに、例示のデキストロネット（DextroNet）は、解剖学の指導に用いることができる。例えば、そのような遂行は、スチューデントたちに、人体の特定の複雑な解剖学の領域を習熟させるために使用することができる。さらに、例示のデキストロネット（DextroNet）は、例えば、 病理学の指導のために使用することもでき、したがって、検死試験の補足的な指導用ツールとして使用することができる（これは、患者が術中に死亡したときや、術前プランおよびそのような患者のスキャンデータが入手可能であるには特に有用かもしれない）。
【００２８】
本発明の実施態様において、デキストロスコープ（Dextroscope）（登録商標）、デキストロビーム（DextroBeam）（登録商標）、もしくはデックス―レイ（DEX-Ray）（登録商標）システム、またはそれらの均等物を熟知したインストラクター（例えば、医師、外科医、もしくは他の専門家であってもよい）は、例えば、少なくとも一人の遠隔に所在するスチューデントに対して、デキストロネット（DextroNet）を介して指導を行う。スチューデントは、インストラクターと同じ視点の相手役となる３Ｄモデルをを持つことができる。または、例えば、異なる視点を持つことができる。例えば、スチューデントは、インストラクターの視点を持つ１つのディスプレイ（またはディスプレイウィンドウ）を持っていてもよいし、異なる視点を持つ別のディスプレイ（またはディスプレイウィンドウ）を持っていてもよい。別法として、例えば、スチューデントまたはインストラクターは、 異なる視点間を切り換えることもできるだろう。これは、例えば、１つの画像がリモート視点であり、他方がローカル所画像である画像中画像を持っているようなものであり、ビデオ会議の行われる方法に類似している。そのような実施態様においては、双方の画像は、ローカルワークステーションに作成される（一方はローカルパラメータをもち、他方はリモートパラメータをもつ）。または、例えば、リモート画像は、遠隔にレンダリングされ、Vizサーバ（登録商標）アプローチと類似した方法（最後のピクセルのみ送信し、相互作用は送信しない）で送信される。したがって、所与のユーザは、リモートユーザが見ているものと全く同じものを見ることができる。「あなたは、私が見ているものを見ていますか？」といった疑いをもつことはない。
【００２９】
説明を簡易にするため、そのような教育的態様における関係者を「ティーチャー」もしくは「インストラクター」（メインユーザ）および「スチューデント」（リモートユーザ）と称する。次に、ティーチャー―スチューデントパラダイムの例を図１および３を用いて説明する。
【００３０】
本発明の実施態様において、ティーチャーは、例えば、スチューデントのリアルタイムのビュー画像を見ることはできないが、ティーチャーのワールド内に表示されているスチューデントのツールのポインタの方向によって、スチューデントが見ているもの（スチューデントの関心領域を示唆し得るものである）を知ることができる。リモートスタイラスの見かけからリモートステーションの視点を正確に「知る」ことができないときには、周知もしくは想定される事実、例えば、右側の人によってスタイラスが使用されている。それを使って前方向に指し示しているといったことなどから推量することができる。
【００３１】
そのような例示のシナリオは、ティーチャーが複数のスチューデントに教えることができるように設計されている。したがって、ティーチャーは、スチューデントがボイスや他のシグナルで質問をしてこない限り邪魔されることはない。その後、そのような質問のあるスチューデントの要望に基づいて、例示のティーチャーは、例えば、所与のオブジェクトを回転させ、容易に彼の視点をスチューデントの視点に並べることができる。彼はスチューデントがどのようにしてスチューデントのツールの方向からオブジェクトを見ているかについて実質的に明らかにすることができるからである。別法として、ティーチャーおよびスチューデントは、彼らの役割を逆転させることができる。これは、本発明の実施態様においては、例えば、以下に記載するように（「役割切り換え」（Role Switch））、２〜３のボタンをクリックすることによって、容易に実現することができる。記載しているように、本発明の実施態様において、ティーチャー―スチューデントパラダイムにおいては、スチューデントは、例えば、特定のオブジェクトに所属するボクセルもしくは複数の３Ｄ画像を変更しないいくつかの操作を除いては、オブジェクトを局所的に操作することはできない。そのような操作には、例えば、オブジェクトに対する翻訳、回転および／もしくはポインティング、またはオブジェクトのズーミング（倍率の変更）がある。これは通常、指示または複数の指示が、３Ｄデータセットと衝突するのを防ぐ。
【００３２】
一般に、リモートユーザ（例えば、ティーチャーとして行動しない、スチューデント、外科医、または可視化アシスタント）が実行できるローカルコントロールは、しばしば限定することができる。なぜなら、上記したように、一般的に、ティーチャーの（または可視化アシスタントの）データセットの操作は、各スチューデントの（または外科医の）機械に局所的に実行されるからである。すなわち、メインユーザの相互作用は、ネットワークを介して送信され、局所的に実行される。メインユーザはこのように、リモートユーザの（ローカル）機械のコントロールを有している。このような実施態様において、もしスチューデントが、ティーチャーの処理が最早意味をなさないかのように彼／彼女のデータのローカルコピーを変更することができたとしたら、混乱が生じ得る。例えば、標準的なデキストロスコープ（Dextroscope）（登録商標）上で、ユーザは、３Ｄデータセット中のオブジェクトの区分化の完全なコントロールを有している。例えば、その区分化は、オブジェクトの色彩自動照合表を変更することによって、変更することができる。あるいは、区分化だけをそのままにすることもできるし、既に区分化されているオブジェクトと関連する色や透明性をただ変えることもできる。後者の操作は、オブジェクトのもともとのコンテンツを変更しないが、その可視化パラメータを変更することはできる。
【００３３】
さらに、一般に、操作対象のオブジェクトの大きさについてのいくつかの想定に基づいて作動するデキストロスコープ（Dextroscope）（登録商標）型システム内ならびにインタラクティブ３Ｄデータセット可視化システム内には、多くのツールおよび操作が存在する。例えば、ツールの先端からオブジェクトの最も近い表面に光線を当てることによって作動するポインティングツールがある。ローカルユーザがオブジェクトの区分化を変更したために、オブジェクトの最も近い表面がそのようなポインティングツールに近づいたり、または、そのようなポインティングツールから離れたりすれば、ティーチャーが彼のポインティングツールを持ち上げ、オブジェクトを指し示したとき、スチューデントの画面上で、そのようなポインティングツールは、全く異なるオブジェクトにタッチするかもしれない。実際、スチューデント機では、ティーチャー機の上にあるものを通って、正しく進み、オブジェクトの表面へ行くことができる。一般に、ドリリングツール、ピッキングツール、輪郭線抽出ツール、イソ表面作成ツール、および種々の他のツールは同様に、それらが操作しているオブジェクトの大きさに依存している。したがって、記載したように、本発明の実施態様において、スチューデントのローカルコントロールパネルは、ティーチャーのコントロール下にある。そのような実施態様において、スチューデントができることは、ティーチャーの視点から離れ、彼が望むオブジェクトの回転、翻訳、拡大（ズーム）、または色もしくは透明性（大きさではない）を調節することだけである。したがって、ティーチャーと各オブジェクトの間の関係は保存される。どのくらい多くのコントロールがスチューデントに及ぶのかといった問題が常に生じる。本発明の実施態様において、その問題は、一般に、実際のデータセットを変更しないあらゆる局所の行動を可能にすることによって、解決することができる。
【００３４】
それにもかかわらず、本発明の実施態様において、ローカルユーザに、彼のローカルデータに対して「真に」影響を与えないが、むしろ後にその影響が表示され、一方、メインユーザの操作は、「ゴースト化」されたように表示される、データのローカルコピー上で作動する特定の操作をさせるようにすることで、複雑さが増すことがあり得る。
【００３５】
例えば、ティーチャーは、１以上のスチューデントに対して、種々のツールを用いた３Ｄデータセット間のオブジェクト間の種々の測定方法を説明していることもある。当該ティーチャーは、測定を行うことができ、それらは、スチューデントに見られるであろう。しかしながら、ティーチャーは、スチューデントが類似の測定を行うことができる能力をテストすることを望み、スチューデントに、教わったばかりのことを適用し、ティーチャーがまだ行っていない追加の測定を行うように求める場合もある。
【００３６】
スチューデントは、例えば、それらの測定を行い、例えば、彼の機械上に表示することができる。その後、ティーチャーは、例えば、スチューデントの機械のスナップショットを撮影し、スチューデントの技量を評価する。同様に、スチューデントは、「真の」データセットおよび、「ゴースト化」されたようにではなく、ティーチャーによるその「真の」操作が示され得る、彼のディスプレイに表示され得るデータセットを操作することができる。このように、ティーチャーの操作のすべてが、スチューデントの機械に表示されるように、オブジェクトのゴースト化された境界上で作用する。そして、スチューデントの局所操作は、切れ目のない状態で、機械上の必要な範囲で（すなわち、３Ｄデータセットに影響を及ぼすであろう程度に） 作用する。したがって、多大な複雑さと更なるローカルプロセシングといった犠牲の上で、スチューデントは、例えば、上記の翻訳、回転、ポインティング、および／または拡大など以外の操作を行うことが許されている。
【００３７】
尚、上記実施態様は、スチューデントが「増強した」分離モードに入る際には、彼が、データセット全体（３Ｄオブジェクトならびにコントロールパネルを含む）のコピーを作成することを要求している。この条件下では、スチューデントは、例えば、ローカル（コピー）データセット上で操作し、一方、ティーチャーは、リモートユーザまたはスチューデント機にゴースト化された状態で示されているオリジナルのデータセット上で操作することができる。こうして、２つの独立した画像処理プロセスは、例えば、同じ（スチューデントの）ワークステーション上で平行して作用することができる。もし、ティーチャーが、スチューデントによって開発された新しいアプローチを見たい場合、ティーチャーは、スチューデントの画像のスナップショットを撮影し、それについて両者で議論することができる。
【００３８】
本発明の実施態様において、ティーチャーの役割をこのように関係者から関係者に渡す役割切り換えを用いると、スチューデントは、ティーチャーからコントロールを引き継ぐ。彼は、例えば、操作または他の処置をどのようにして行うかを実証することによって、ティーチャーのオブジェクトのワークを引き続いて行い、彼の意見を提供する。これによって、すべての関係者による協同が可能になる。そのような実施態様においては、所与の時間には、ネットワーク上にティーチャーが一人存在し、そのような協同は、対立の問題を生じることなく連続的に行われる。
【００３９】
本発明の実施態様において、デキストロネット（DextroNet）は、異なる帯域幅の種々のネットワークによってサポートされている。ある実施態様において、デキストロネット（DextroNet）が教育的指導のために用いられる場合、例えば、低速ネットワークが行われる。例示のデキストロネット（DextroNet）を介して 接続されている３Ｄインタラクティブ可視化システムのそれぞれは、例えば、手術計画、手術の処置、または解剖学的構造のイメージングおよびビデオデータのコピーをもつことができる。したがって、典型的にはサイズの小さいトラッキングデータ、制御信号またはグラフィカルもしくは画像パラメータデータは、ネットワークを介して送信することができる。一般的には、デキストロネット（DextroNet）中では、ネットワーク情報は、例えば、メッセージおよびファイルの２つに分類することができる。メッセージは、例えば、トラッキングデータ、制御信号などを含むことができる。ファイルは、例えば、送信前に圧縮することが可能なグラフィカルおよび画像データを含むことができる。これを以下においてより詳細に説明する。
【００４０】
記載したように、本発明の実施態様において、１人のユーザによって導入された行動は、少なくとも他の１人のユーザ（スチューデントもしくは ティーチャー）のリモートロケーションに送信することができる。そこでは、第２のワークステーションが局所的に対応する画像を計算する。ネットワークで結ばれた関係者間のボイスによる通信は、帯域外とすることができる。例えば、低速ネットワーク態様においては電話で、または、例えば、高速ネットワーク態様においては、ボイス−オーバー−ネットワークシステム、例えば、ボイス−オーバーインターネットプロトコル（「VoIP」）を介して行われる。さらに、高速ネットワークは、カメラプローブ（Camera Probe）出願に記載されているようにカメラプローブ（Camera Probe）によって作成されるモノ−もしくはステレオビデオ情報の転送を収容することができる。このビデオ情報は、例えば、コンピュータが作成する画像と組み合わせることができる。または、分離したディスプレイもしくは ディスプレイウインドウで見ることができるようにしてもよい。３Ｄではないビデオ（または画像、スナップショット）の表示は、通常、「背景」としてのみ見られる。これは、画像またはビデオ（連続的な画像）は、実世界の投影図であって、３Ｄ情報を含まないからである。したがって、そのような画像またはビデオにおいて視覚可能なオブジェクトは、正確に３Ｄオブジェクト前部に位置づけることができる。そのような表示の可能性についてより詳細に下記において説明する。
【００４１】
本発明の実施態様において、デキストロネット（DextroNet）は、例えば、ワーキングを協同して、および独立してサポートすることができる。例示のシステムは、例えば、手術計画のためのスタンドアロンプラットフォームおよび独立したトレーニングとして使用することができる。そのような実施態様において、例えば、システム構成は、局所的に最適化することができる。スチューデントのシステムのインターフェースの位置や方向は、したがって、インストラクターのシステムのものと異ならせることができる。しかしながら、もしネットワーキング機能が起動すれば、スチューデントのシステムは、例えば、インストラクターのシステムのそれと合わせるよう、システム構成を変更することができる。これによって同等のシステム間に存在し得るミスマッチを避けることができる。
【００４２】
Ｅ．デキストロネット（DextroNet）外科医−可視化アシスタントパラダイム
本発明の別の実施態様において、インストラクター は、例えば、遠隔に所在する少なくとも一人のスチューデントを教えることができる。そして、「可視化アシスタント」は、画像を操作し、そのようなアシスタントが見るものを見るために必要なステップを助言することによって、あるいは、彼の視点のすべてを見ることができるように周期的に転送するティーチャーの役割によって、インストラクターを援助することができる。例えば、可視化アシスタントは、関心オブジェクト（例えば、カラールックテーブルもしくはオブジェクトの透明性）を強調する；関心オブジェクトを拡大（ズーム）する；方向または視点を変化させる；記録された処置のビデオ画像の再生、停止、巻き戻し、早送り、もしくは一時停止を行う； 分割されたスクリーンに異なる視点を提供する；表示するために、ビデオ画像とコンピュータ生成画像とを組み合わせる；モノおよびステレオ画像の表示の間でトグルを行う（それらがビデオ画像であるか、コンピュータ生成画像であるか）；ならびに、他の関連する操作およびプレゼンテーションタスクを行うために画像を処理することができる。インストラクターおよびスチューデントに加えて、可視化アシスタントを関与させることによって、インストラクターは、例えば、スチューデントを教えることに集中し、正確に言えば、画像の処理に注意を集中させる。さらに、アシスタントがシステムコントロールを渡し、それによってティーチャーとなったとき、３Ｄインタラクティブ画像システムを熟知していないかもしれないスチューデントは、彼らが必要とするかもしれない視点や情報を取得する際に助けてもらうことができる。
【００４３】
本発明の実施態様において、外科医または内科医および「可視化アシスタント」は、実際の手術中、または他の医療処置の間、デキストロネット（DextroNet）上で協同することができる。そのような実施態様において、通常、当該可視化アシスタントはメインユーザとして、内科医はリモートユーザとして行動する。外科医または内科医は、手術室または治療室で、例えば、手術を行ったり、いくつかの医学的、診断的、または治療的処置を患者に施したりすることができる。そして、可視化アシスタントは、例えば、外科手術部、外科手術上のギャラリー、隣接した部屋、または異なる場所すべてといった、離れたところに居る。これは、外科医−アシスタントパラダイムとして、以下に詳細に、図４乃至８を用いて説明する。
【００４４】
可視化アシスタントの仕事としては、例えば、手術をしている外科医と、例えば、ボイスで接触し、３Ｄ表示を外科医の最大限の援助となるように動的に操作することをあげることができる。他のリモートユーザは、観察することはできるが、例えば、リモートユーザとして、自由にデータを操作することはできないであろう。
【００４５】
例えば、外科医が、脳神経外科の処置と関連付けてデックス―レイ（DEX-Ray）（登録商標）を使用する場合を想定する。そのような例示的な実行においては、彼のメインディスプレイは、カメラプローブ（Camera Probe）出願に記載されているように、カメラの視点から見ることができるデータセットのそれらの部分に限定される。しかしながら、可視化アシスタントは、視点からのバーチャルデータを自由に見ることができる。本発明の実施態様において、可視化アシスタントは、２つのディスプレイを持つことができ、外科医の視点と彼の視点の双方を見ることができる。例えば彼は、外科手術を反対の視点から見ることができる（すなわち、腫瘍または他の頭蓋内構造に固定された誰かのものと、外科医が、彼の視点に「外部」から「入ってくる」所を見ることができる。
【００４６】
例えば、外科医が視神経の近くを手術しているとしよう。カメラプローブ（Camera Probe）出願に記載しているように、ユーザは、データセット中にマーカーとして、１以上のポイントをセットし、プローブの先端からそれらのマーカーまでの動的距離が連続的に読み出されるのを見る。さらに、ユーザは、１以上のトラッキングされた手術器具（ビデオ画像を取得しないであろう）を用いて同じことをすることができ、その結果、可視化の専門家は、例えば、外科医が実際に手術をしているときに入力を行うことができる。外科医が視神経近傍の位置に対する全体の表示に専念できないとき、可視化アシスタントはできる。
【００４７】
こうして、例えば、可視化アシスタントは、外科医が手術を行っている領域をデジタルにズームし、外科医の近くの視神経に沿って５つのマーカーポイントを設定し、それぞれまでの距離をモニターすることができ、特定の安全限界に外科医が居るかどうかを彼に忠告する。さらに、場合によっては、可視化アシスタントによって設定された新たなマーカーおよび動的距離を、外科医のシステムディスプレイに可視化、可聴化することもできる。メインユーザである可視化アシスタントは、３Ｄデータセットをコントロールするからである。
【００４８】
カメラプローブ（Camera Probe）に記載しているように、ユーザは、組み合わされた（拡張現実感）画像を含めた種々のバーチャル構造を特定することができる。理想的には、これは、外科手術の進行に合わせて動的に行われ、各段階において、その段階に関連する区分化を可視化することができる。しかしながら、実際には、一人で作業している外科医には、通常不可能である。外科医は、可視化の専門家でもなければ、当該システムの可能性を動的に自由に精神的に利用することもできないからである。しかしながら、可視化アシスタントはそれを行う。外科医が所与の領域に来ると、可視化アシスタントは、外科医に最良のガイドをするために構造を追加したり、取り除いたりすることができる。例えば、彼は、ある構造が外科手術前に区分化されなかったもの、例えば、術前のスキャンには現れなかった腫瘍の指状小片や繊維状のものといった脳構造の一部に関連する場合、オブジェクトをその場で区分化することができる。したがって、本発明の実施態様において、リモートビューアは、より多くの自由を持つことができ、したがって、計画前、例えば、いくつか挙げれば、カラライゼーション、透明性、区分化閾値などの間には行えなかった、あらゆる画像プロセシングを行うことができる。
【００４９】
類似性を利用すれば、外科医は、競技場の情報のプレスボックスで、高い視線から鳥の目でゲームを見て、他のチームの作戦行動におけるパターンを見ながら無線でコーチに話をするアシスタント（可視化アシスタント）がいるフットボールのコーチに類似すると考えることができる。そのような専門的助言をする人は、本発明の実施態様においては、例えば、自分のスクリーンと外科医のスクリーンの両方を見て、その両方に表示されたバーチャルオブジェクトを動的にコントロールして、手術をしている外科医に対して最良の援助を行うことができる。
【００５０】
ＩＩ．ティーチャー―スチューデント相互作用
Ａ．例示的プロセスフロー
次に、本発明の実施態様における、ティーチャー―スチューデントパラダイムのプロセスフローを説明する。
【００５１】
図１は、本発明のある実施態様におけるティーチャー型コンソールの例を示す図である。この図を用いて説明する。１０１では、例示のシステムは、接続しているあらゆるスチューデントの確認をすることができる。こうして、１０２では、新たなスチューデントが参加したか否かを決定することができる。Ｙｅｓであれば、１０３において、インターフェースおよびデータが、ティーチャーコンソールと、新たに参加したスチューデントのためのスチューデントのコンソールの間において同期を取ることができる。Ｎｏであれば、プロセスフローは１０１に戻り、当該システムは、参加するかもしれないあらゆるスチューデントの確認を行う。
【００５２】
１０３に戻る。例えば、コンソールの３Ｄインターフェースのボタンを明確にクリックすることによって、新たなスチューデントがデキストロネット（DextroNet）に参加すると、ティーチャーは、例えば、当該スチューデントにメッセージを送信し、それぞれのインターフェースとオブジェクト、例えば、スライダー、ボタンなどを同期させる。そのようなメッセージには、例えば、ティーチャーのコントロールパネルの位置、方向、大きさ、コントロールパネル上のバーチャルウインドウ機器（「ウィジェット」）、例えば、ボタンの上げ下げ、色彩自動照合表の設定、データセット中のバーチャルオブジェクトの位置、方向、大きさ、あらゆる入手可能なビデオを含むことができる。あるいは、ティーチャーが、スチューデントの側のデータが自分のものとは違いすぎることを見つけた場合、ティーチャーは、自分とスチューデントのそれぞれのコンソールの間の全体のデータセットの完全な同期を選択して行うことができる。これは、例えば、ティーチャーのコンソールによって、データセットを圧縮（スナップショットや記録を除去）し、それを新たにデキストロネット（DextroNet）セッションに参加したスチューデントに転送する。一旦、ティーチャーと新たに参加したスチューデントによって共有されるインターフェースならびにデータが同期されると、それらの協同的インタラクティブな可視化のための準備が完了し、次に説明するように、プロセスフローが図１の残りの部分を含むメインループに続く。
【００５３】
１１０において、例示のティーチャーシステムは、スチューデントビデオが受信されたかどうかを照会することができる。これは、例えば、スチューデントがデックス―レイ（DEX-Ray）（登録商標）型システムを操作すれば行われる。Ｙｅｓであれば、プロセスフローは１１１に進むことができ、そこで、前記スチューデントのビデオがレンダリングされ、プロセスフローは１２５に進むことができる。Ｎｏであれば、スチューデントビデオが受信され、プロセスフローは直接１２５に進むことができる。さらに、ティーチャーのワークステーションがビデオを利用可能とすれば、１０５において読み取られ、１０６においてレンダリングされ、そしてプロセスフローは、１２０に進むことができ、そこで当該システムは、そのようなあらゆるビデオが利用可能かどうかを照会することができる。
【００５４】
記載したように、１２０において、ティーチャーのビデオの利用可能性が決定される。Ｙｅｓであれば、１２６においてビデオフレームを送信することができ、プロセスフローは１２５に進むことができる。Ｎｏであれば、プロセスフローは１２５に進むことができ、そこで、ティーチャー３Ｄデバイスが読み取られる。ここで、ティーチャーは、バーチャルツール（例えば、スタイラス、データセットにおけるティーチャーの現在位置を示すアバター、またはドリル）の位置、方向、および状態を、それによってオペレータがデータセットと対話する３次元のコントロールの動きおよび状態を連続的にトラッキングするローカルトラキングシステムから、更新することができる。例えば、結腸鏡検査法アプリケーションを行っている標準的なデキストロスコープ（Dextroscope）（登録商標）においては、そのような３Ｄコントロールは、例えば、スタイラスやユーザ（ここではティーチャー）が右手および左手にそれぞれ持つジョイスティックであることができる。または、例えば、デキストロスコープ（Dextroscope）（登録商標）で他のアプリケーションを行う場合、代わりにユーザは、例えば、６Ｄコントローラーを左手に持つ。ティーチャー側の３Ｄ装置が１２５において読み出されると、ネットワーク（スチューデント）３Ｄ装置を１３０において読み出すことができ、ティーチャーワークステーションは、例えば、スチューデントの代表的なツールの位置、方向および状態を、スチューデントのワークステーションからネットワークを介してから受信したメッセージを介して更新することができる。
【００５５】
プロセスフローは、１３０から、例えば１３５に進み、そこでティーチャー側の相互作用がネットワークを介してスチューデントに送信される。ここで当該ティーチャーは、自分が使っているあらゆるツール、例えば、トリミングツール、ドリル、スライスビューアツール、など、ならびにキーボードイベントなどの位置、方向および状態をスチューデントに送信することができる。そのような位置および方向は、下記のデータフォーマットのセクションに記載したように世界座標に変換することができる。
【００５６】
プロセスフローは、１３５から、例えば１４０に進むことができ、そこで、スチューデントが現在、ローカルスチューデントディスプレイにおいてティーチャーのビューに従うことを希望しているかどうかを判定する。Ｙｅｓであれば、１４５において、当該視点は同期される。すなわち、ティーチャーは、スチューデントの視点の同期のリクエストを受信すると、当該ティーチャーは、彼のワークステーション内のバーチャルオブジェクトの位置、方向および大きさをスチューデントに送信する。Ｎｏであれば、１４０において、スチューデントは、したがって、彼の視点に従うことを選択する。そして、プロセスフローは１５０へ進み、そこで、データセットの３Ｄビューがレンダリングされる。こうした相互作用が進んでいるので、プロセスフローループは、１５０から１１０および１２０に回って戻り、そこで、例えば、デキストロネット（DextroNet）セッションが起動している限り繰り返され得る。そして、３Ｄデータセットの相互作用および操作は、連続的にネットワークに送信される。さらに、下記に示すように、スチューデントは、ティーチャーのものによるとは限らないが、ティーチャーの視点を見ることと、自身の（ローカル）視点を見ることの間でトグルすることができる。スチューデントの視点選択の現在の状態は、したがって、連続的にテストし、１４０までの各ループにおいて認識することができる。
【００５７】
対応するスチューデントのコンソールでのプロセスフローを説明する前に、次に、本発明の実施態様におけるデキストロネット（DextroNet）の種々の例示的構成を図２を用いて説明する。
【００５８】
図２は、デキストロネット（DextroNet）ネットワーク２５０とそれに接続する種々のコンソールの例を示す図である。例示の接続されている例示の装置はすべて、ボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）の製品または製品のプロトタイプである。例えば、デックス―レイ（DEX-Ray）（登録商標）型ワークステーション２１０は、デキストロネット（DextroNet）に接続することができる。上記したように、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションは、カメラプローブ（Camera Probe）出願に記載されている技術を行うワークステーションである。そのような技術は、例えば、脳神経外科のプランニングおよびナビゲーションを含む種々のコンテクストにおいて有用である。デックス―レイ（DEX-Ray）（登録商標）型ワークステーションにおいては、例えば、脳の術前の３Ｄスキャンデータ、またはバーチャルデータ、およびリアルタイムビデオ区分化された、およびプロセシングされた組み合わせビューを作成することができる。デックス―レイ（DEX-Ray）（登録商標）型ワークステーションは、ティーチャーコンソールとして機能することができ、そこでは、神経外科医が、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションを用いて、そのような組み合わせ画像を、手術プランニングを行っているとき、または外科手術を実行しているときでさえ、ネットワークで接続された他者へ示すことができる。または、より都合のよいことは、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションは、可視化アシスタントをティーチャーとして機能させ、スチューデントとして操作できることである。引き続き図２を用いて、２２０および２３０は、デキストロネット（DextroNet）に接続されたデックス―レイ（DEX-Ray）（登録商標）型ワークステーションを示す。標準的なデックス―レイ（DEX-Ray）（登録商標）型ワークステーションにおいては、３Ｄデータセットをインタラクティブに可視化することができるが、デックス―レイ（DEX-Ray）（登録商標）型コンソールとは異なり、一般的に生のビデオを捕捉し統合することはできない。しかしながら、標準的なデキストロスコープ（Dextroscope）（登録商標）があらかじめ記録しているビデオ３Ｄデータセットに統合し、例えば、神経外科手術の「ポストモーテム」分析およびレビューにおいて生じたように操作することができ、そこでは、デックス―レイ（DEX-Ray）（登録商標）が用いられる。
【００５９】
デキストロビーム（DextroBeam）ワークステーション２２０およびデキストロスコープ（Dextroscope）（登録商標）ワークステーション２３０は、本質的に同じ装置で異なる特色を持つものである。それは、主にディスプレイインターフェースが異なっている。デキストロビーム（DextroBeam）は、標準的なコンピュータ ワークステーションのような接続されたディスプレイを持つ代わりに、そのディスプレイを２２０に示すように、例えば、壁やスクリーンに投射するためのプロジェクタを用いる。逆に、デキストロスコープ（Dextroscope）（登録商標）は、通常２つのディスプレイを有している。１つは、オペレータが、鏡の下で３Ｄコントローラをつかみながら自分で実際に３Ｄデータセット上で操作しているように、リーチインインタラクティブ感をもつことができるように画像を鏡に投射する統合されたモニターである。もう一方は、鏡に投射されたものと同じコンテンツを表示する標準的なディスプレイモニターである。
【００６０】
したがって、図２に示すように、本発明の実施態様における例示のデキストロネット（DextroNet）ネットワークを用いた種々の協同的インタラクティブパラダイムが利用可能である。デックス―レイ（DEX-Ray）（登録商標）型ワークステーション２１０は、デキストロスコープ（Dextroscope）（登録商標）型ワークステーション２３０またはデキストロビーム（DextroBeam）ワークステーション２２０と協同することができる。あるいは、例えば、それは、デックス―レイ（DEX-Ray）（登録商標）ワークステーション２１０（図示せず）とも協同することができる。さらに、デキストロビーム（DextroBeam）ワークステーション２２０は、別のデキストロビーム（DextroBeam）ワークステーション２２０またはデキストロスコープ（Dextroscope）（登録商標）ワークステーション２３０とネットワーク２５０を介して対話することができる。
【００６１】
さらに、図２には示されていないが、他の３Ｄインタラクティブ可視化システムをデキストロネット（DextroNet）に接続することができる。例えば、同じくボリューム・インターラクション社（Volume Interactions）により提供されるデキストロスコープ（Dextroscope）（登録商標）およびデキストロビーム（DextroBeam）システム上で動くソフトウェアである、ラジオデキスター（RadioDexter）（登録商標）の一バージョンがある。これは、３Ｄ操作が２Ｄコントロールにマッピングされるラップトップ（または他のＰＣ）上、例えば、標準的なマウスやキーボードで起動する。そのようなソフトウェアの機能についてはデキストロラップ（DextroLap）出願に詳細に記載がある。そのようなソフトウェアを、ここでは「デキストロラップ（DextroLap）」と呼ぶ。デキストロラップ（DextroLap）コンソールは図２には示されていないが、これもデキストロネット（DextroNet）によく接続することができる。
【００６２】
さらに、特にティーチャー―スチューデントコンテクストにおいて２つ以上の協同するワークステーションが デキストロネット（DextroNet）上に存在する。そこでは、一人のティーチャーがデータセットを操作し、ネットワーク２５０に接続している多くのスチューデントのすべてが参加または傍観することができる。そのような実施態様においては、他のスチューデントの誰もが、例えば、各スチューデントのバーチャルツールを、ティーチャーのものと同様に見ることができる。図１０乃至３０を用いて説明するように、ティーチャーは、例えば、各スチューデントのＩＰアドレスならびにバーチャルツールの位置およびスナップショットまたはそれらの表示のリアルタイムのビデオを見ることができる。
【００６３】
本発明の別の実施態様においては、コントロール機能、すなわち、本明細書おいてはティーチャーとして記載されている操作機能性が、関係者から関係者に手渡され、あらゆる接続したシステムがそのデータとの相互作用を他の関係者に広めることを可能にしている。そのような実施態様においては、アイコンまたはメッセージは、例えば、どのシステムが次に操作するティーチャーであるのかを特定する。
【００６４】
デキストロネット（DextroNet）が提供し得る種々の協同の可能性から、スチューデントワークステーション上のプロセスフローを次に説明する。それは、ティーチャー―スチューデント相互作用が図２との関連で（図２に記載されているかどうか）説明した可能な接続のいずれかを利用することができることが理解できる。
【００６５】
図３を用いて説明すると、３０１において、スチューデントのコンソールは、利用可能なティーチャーとの接続を探す。これは、例えば、スチューデントのコンソールが、最初にインターネット上でデキストロネット（DextroNet）セッションに参加するという要求をブロードキャストすることによって行うことができる。もし、ティーチャーが利用可能であれば、当該スチューデントは、例えば、肯定応答を受信し、その後、接続されることができる。もし、インターネット（または他のデータネットワーク、例えば、ＶＰＮ）上でティーチャーが誰もアクティブ状態でなければ）、当該スチューデントは、例えば、所与のシステム構成によって規定されているようにサーバに接続し、ティーチャーを待つことになる。
【００６６】
ティーチャーが接続される（３０１において）と、プロセスフローが３０２に移動することができ、そこでは、スチューデントのコンソールが、当該スチューデントとティーチャーが協同的に対話するように、３Ｄデータセットに関連するインターフェースおよびデータを更新することを求めている。こうして、３０２において、スチューデントは、例えば、彼のコントロールパネルを、ネットワーク上で送信されてきたティーチャーのインターフェースとティーチャーのデータからのデータセットの位置、方向および大きさのパラメータを用いて更新することができる。彼はまた、ネットワーク上で送信されてきたメッセージを介して、コントロールパネル上のウィジェットの状態と、ティーチャーのシステム上のそれとを並べることができる。これらのメッセージは、例えば、バーチャルコントロールパネル上のボタンの上げ下げ、モジュールページ（例えば、デキストロスコープ（Dextroscope）（登録商標）に存在する；そのようなページは、種々の可能なモジュール、またはユーザが入る操作モードを示している、例えば、登録、区分化、可視化、など）、スライダーバーの現時点での値、コンボボックスの選択、色彩自動照合表設定などと関連付けることができる。
【００６７】
スチューデントは、例えば、彼のインターフェースが更新されると、３０２において、データ同期メッセージ、例えば、３Ｄデータセット中のバーチャルオブジェクトの詳細の位置、方向、大きさ、透明性、およびレベルなどを受信することもできる。記載しているように、同じデータセットにおいて、スチューデントバージョンのデータセットとティーチャーバージョンのデータセットとの間の違いがあまりに大きいと判断されれば（または、自動化プロセス中において、スチューデントのシステムによって）、彼はまた、ティーチャーが分析中の圧縮データセットの全体を送信するように要求することもできる。そのような場合、次にスチューデントのコンソールは、データを減圧し、リモートシナリオを再ローディングすることができる。あるいは、ティーチャーがある地点で時間内に行ったデータセットの相互作用のすべてを、スチューデント機の上で、局所的に行うことによって、ティーチャーは、全データセットではなく、相互作用リストを送信することができ、スチューデントのワークステーションが連続的にティーチャーバージョンのデータセットを受け取るようにする。インターフェースとデータが更新され、スチューデントのコンソールをティーチャーのコンソールと同期させると、プロセスフローは、次に説明する３１０および３２０に進む。
【００６８】
３１０において、ティーチャーのコンソールが何かビデオを送信したかどうかを判定する。Ｙｅｓであれば、ティーチャーのビデオは、３１４でレンダリングされ、プロセスフローは、３２５に進むことができる。Ｎｏであれば、３１０において、プロセスフローは、直接３２５に進むことができる。ビデオ発信の逆をアドレス指定すれば、すなわち、スチューデントのコンソールが、ティーチャーのコンソールに送信すべきビデオを持っていれば、ビデオフレームを利用可能かどうかが３２０において決定される。３２０でのプロセスフローを説明する前に、スチューデント側ビデオが存在すれば、スチューデントのコンソールは、３０５においてそれを読み出し、３０６においてそれをレンダリングする。３２０において利用可能であり、その後３２６においてそれを送信する。３２６から、プロセスフローは３２５に移動することもできる。例えば、スチューデントビデオが利用可能でない場合、プロセスフローは、３２０乃至３２５に直接進む。
【００６９】
３２５において、スチューデントのコンソールは、それ自身の３Ｄ装置（例えば、スタイラスおよびコントローラーまたはそれらの均等物、すなわち、ユーザが対話する実際の物理的インターフェース）を読み出す。これによって、示されているように、例えば、スタイラスおよび３Ｄコントローラーのトラッキングされた実際の位置によってバーチャルツールの位置、方向、および状態を計算できるようになる。スチューデントがデキストロラップ（DextroLap）システムを使用している場合、３Ｄ装置の代わりのマウスやキーボードが３２５において読み取られる。３３０において、スチューデントのコンソールは、例えば、ティーチャー３Ｄ装置を読み出すことができ、それに、ティーチャーの代表的なツールならびにキーボードイベントの位置、方向、および状態を、デキストロネット（DextroNet）で受け取ったメッセージから更新させる。３３０から、プロセスフローは、３４０に進むことができ、そこで、スチューデントが彼自身の視点をコントロールすることを選択するか、ティーチャーのものに従うかが決定される。Ｎｏの場合、スチューデントは、彼自身の視点をコントロールすることを選択し、プロセスフローは、次に３４５に進むことができ、そこでは、スチューデントは、例えば、ティーチャーの左手側のツール（この例では、３Ｄデータセット内のどこに所与のユーザが存在するか、どのオブジェクトが現在選択されているかを左手のツールがコントロールする。これは、２Ｄにおけるカーソルを動かすマウスに似ている）に関連するネットワーキングメッセージを無視する。そして、彼のローカルジョイスティックもしくは６Ｄコントローラーから直接的に、彼自身の左手側の位置、方向、および状態を読み出す。３４０において、Ｙｅｓであれば、したがって、スチューデントがティーチャーのースペクティブに従うことを選択すれば、彼の機械は、３４６において、ティーチャーへメッセージを送信し、ティーチャーのバーチャルオブジェクトの現在の位置および方向を問い合わせる。彼は、返答を受信するとすぐ、自身のオブジェクトを更新する。
【００７０】
３４０においてどの選択がなされたかにかかわらず、プロセスフローは、３４５または３４６乃至３５０のいずれかに進むことができる。そして、そこで、スチューデントのコンソールの３Ｄビューがレンダリングされ、その後プロセスフローは、決定３１０および３２０にもどり、その結果、上記したように、デキストロネット（DextroNet） インタラクティブプロセスフローは、連続的にセッションを通して繰り返す。
【００７１】
Ｂ．ティーチャー―スチューデント相互作用の特徴例
上記ティーチャー―スチューデントパラダイムから、本発明の実施態様において、下記の特徴が実行される。以下は、２人用のバーチャルツールをもち、１つのツールは１つのボタンスイッチをもち、ボタンとスライダーを持ち、可視化アプリケーションをコントロールするバーチャルコントロールパネルを利用するシステム上のユーザを想定している。そのような例示的システムは、例えば、ラジオデキスター（RadioDexter）（登録商標）ソフトウェアを動かす、ボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）製のデキストロスコープ（Dextroscope）（登録商標）またはデキストロビーム（DextroBeam）（登録商標）システムとすることができる。.
【００７２】
１．トラッキング負荷の軽減
本発明の実施態様において、ネットワークデータ転送レートの可変性を取り扱うため、ネットワークに課されるトラフィック負荷を軽減するため、ならびにキーユーザの３Ｄオブジェクト上での相互作用が見失われないことを確実にするために、例えば、バーチャルツールのボタンスイッチの４つの状態、確認、スタートアクション、ドゥアクション、およびアクションの停止を利用することができる。「確認」状態においては、ユーザは、バーチャルツールをコントロールするスタイラスをクリックせずに、それを動かすだけである（これによって、位置および方向データが生じるが、「ボタンが押された」というデータは生じない）。したがって、そのようなバーチャルツールは、活動的な操作は行わずに、バーチャルワールドではローミングとしてのみ現れるが、オブジェクトにおけるポインティングとして見ることができ、持続的なやり方ではないが、実際はいくつかのオブジェクトがその状態を変化させるように誘発する。例えば、ドリルツールは、バーチャルツールがそれと対話しているとき、３Ｄオブジェクトのシースルービューを示すことができるが、ボタンが押されるまでオブジェクトをドリルすることはない。「スタートアクション」状態においては、スタイラスのボタンを押すことができ、それが、押し下げられた状態が維持されると、それは、「ドゥアクション」状態をアクティブにする。例えば、ユーザがスタイラスボタンを解除するとすぐ、ツールは、「アクションの停止」状態に入り、「確認」状態に戻ることができる。したがって、ほとんどの時間、バーチャルツールは、「確認」状態である。この状態は、ツールが実際に機能しているときにはそれほど重要な状態ではない。
【００７３】
したがって、「確認」状態では、バーチャルツールは、バーチャルワールドではローミングとしてのみ現れ、例えば、１つの位置から他の位置へ移動するなどの活動的な操作は行われない。この状態でそのようなツールの位置や方向を送信するデータパケットは、「意味がない」データパケットであると考えることができる。密集したネットワークが存在する場合、ティーチャーの「送信」バッファが未送出パケットでいっぱいになっている可能性がある。そのような状況においては、本発明の実施態様において、デキストロネット（DextroNet）ソフトウェアは、「送信」バッファを確認することができ、こうした「確認」状態のパケットを捨てることができる。大半の時間、バーチャルツールは、「確認」状態であるため、それによってトラフィック負荷を大幅に軽減することができる。これを、図５３を用いて説明する。例えば、図５３（ａ）に示すように、ティーチャーが、自分の「送信」バッファ中に１セットのメッセージを持っていると仮定する。ネットワーク接続が低速である場合、彼は、例えば、図５３（ｂ）に示すようにメッセージをスチューデントに送るだけである。この場合、スチューデントは、ティーチャーのツールが、位置１から位置Ｎのように、「ジャンプ」するのを見て、次に、例えば、ドリル操作を行うが、実際のドリル操作の情報で失われるものはない。
【００７４】
本発明の実施態様において、デキストロネット（DextroNet）トラフィック負荷コントロールはこの事実を利用することができる。重要なメッセージは、優先的な転送に割り当てることができる。通常、ネットワーク速度が速いとき、ティーチャーのツールのすべての動きは、例えば、スチューデントに転送されることができる。こうして、スチューデントは、ティーチャーのツールの連続的な動きを見ることができる。しかしながら、ティーチャーのシステムが、（例えば、送出バッファ中で待っているメッセージが多すぎることに気づくことによって）ネットワーク速度が遅くなったことを検出したとき、本発明の実施態様においては、「確認」状態のメッセージを破棄することができる。このようにして、スチューデントは、密集したネットワーク条件の下であっても、ティーチャーのペースについていくことができる。そのようなメッセージ「圧縮」（損失性）スキームとの交換は、スチューデントのローカルビュー中のティーチャーのツールが、例えば、それほどスムーズに動いていないように見えるように行われる。にもかかわらず、バーチャルオブジェクト上の重要な操作は、失われることはないであろう。この軽減は、ネットワーク速度が速い場合には行う必要がない。このスイッチは、例えば、ティーチャーの「送出」バッファ中の列の長さとすることができる。「軽減」がない場合、ティーチャーのツールは、スチューデントのワールドにおいてスムーズに動くことができる。「軽減」が起こる場合、ティーチャーのツールは、連続的ではない。しかしながら、バーチャルオブジェクト上でのティーチャーの操作は失われることはなく、スチューデントのツールは、ティーチャーのツールのペースについていくことができるだろう。このように、本発明の実施態様においては、利用可能なネットワーク速度を動的に適用することができ、多解像度（すなわち、粗解像度および平滑解像度）でティーチャーのツールを表示することができる。
【００７５】
２．視点のコントロール
記載しているように、本発明の実施態様において、デキストロネット（DextroNet） スチューデントは、所与の３Ｄオブジェクトをコントロールするか、ティーチャーの視点に従うかのいずれかをすることができる。当該スチューデントが３Ｄオブジェクトのローカルコントロールを選択すれば、彼のローカル処理、例えば、オブジェクトの回転、翻訳およびズーム（デジタル倍率拡大）は、ティーチャーまたは他のスチューデントの世界において、３Ｄオブジェクトの位置に影響を及ぼさない。 しかしながら、ティーチャーは、例えば、スチューデントのバーチャルツールの位置および３Ｄオブジェクトに対する方向を見ることができ、したがって、上記したように、ティーチャーが、スチューデントの視点を参照することを可能にしている。そのようなシナリオ例においては、スチューデントは、現在ティーチャーによって選択されているものとは別の関心領域または方向を見出すために、自分の世界のオブジェクトを回転させることができる。そして、例えば、ボイスによっておよび／または、それを指し示すことによって、これをティーチャーと通信させることができる。その後、スチューデントのメッセージを受信して、ティーチャーの世界においてスチューデントによって指し示された場所に気づいたとき、ティーチャーは、例えば、特定の場所に至ることができる。一方、もしスチューデントがティーチャーのビューに従うことを選択すれば、ティーチャーの世界のすべての動きがスチューデントの局所的な世界と共有されるであろう。
【００７６】
本発明の実施態様において、ネットワーク上で送信されて、これら２つの状態間を切り換え、ユーザの視点に関連するリモートバーチャルツールを再度位置づけることが可能な特定の指令が存在し得る。そのような指令は、例えば、図１および３の１４０および３４０における決定を駆動することができる。
【００７７】
３．データ同期
本発明の実施態様において、単一および完全の２つの同期モードがある。例示的な単一同期モードは、例えば、オブジェクトの唯一の位置、方向、大きさ、透明性、および詳細なレベルを通信することができる。これらのパラメータは、それらが大きな帯域幅を要求せずにデータネットワーク上を転送されるという意味において、「軽量」であるとみなすことができる。したがって、本発明の実施態様において、ティーチャーモジュールは、例えば、新たなスチューデントのネットワークへの参加を検出したときすぐにそのような単一同期を行うことができる。
【００７８】
本発明の実施態様において、完全同期は、例えば、ユーザが明確にそれを求めている時（例えば、図1中の１４５）にのみ行うことができる。これは、すべてのティーチャーのデータ（報告目的で捕捉したデータ、例えば、スナップショットや３Ｄ記録を除く）の圧縮と転送に関与する。本発明の実施態様において、この同期は、時間がかかるため、任意とすることができる。そのような実施態様において、ティーチャーが完全同期を始めることができるのは、スチューデントがそれを要求したときだけである。多数のスチューデントがいる場合、例えば、データは、そのような要求を行ったスチューデントだけに送信される。さらに、完全同期は、2つの側の間に実質的な偏差が生じたときに、リカバリ策として使用することができる。帯域幅の利用可能性によるスループット限界がない場合、そのような完全同期は、自動的、周期的、または特に定められた事象がおこったときに行うことができる。
【００７９】
Ｃ．３Ｄインターフェース（コントロールパネル）の同期
本発明の実施態様において、例示の同期は、次に説明するように、目盛りの同期およびウィジェットの同期の２つのプロセスを含むことができる。
【００８０】
１．目盛りの同期
デキストロスコープ（Dextroscope）（登録商標）またはデキストロビーム（DextroBeam）（登録商標）型システムを用いる場合、例えば、バーチャルコントロールパネルは、対話中、３Ｄトラッカーが静止し、バーチャルツールがバーチャルコントロールパネルの対応する部分に接触することができる場合、物理的基材（例えば、アクリル製）を用いて正確に測定されなければならない。したがって、目盛りおよび構成は局所的であり、機械ごとに異なる。これは、ネットワーキング中にミスマッチの問題を引き起こしうる。例えば、目盛りおよび／または構成のミスマッチによりティーチャーのツールが所与のスチューデントのコントロールパネルに接触することができないかもしれない。本発明の実施態様において、ティーチャーおよびスチューデントのコントロールパネルは、以下のようにして同期することができる。ネットワーキングセッションがアクティブの状態にある間、ティーチャーのコントロールパネルの位置、方向、および大きさは、スチューデントに送信されることができ、それによって、スチューデント自身のコントロールパネルのパラメータを置き換えることが可能となる。ネットワーキングセッションが終了した場合、スチューデント機のもとの構成を回復させることができ、それによって、彼は一人で作業することが可能になる。
【００８１】
２．ウィジェットの同期
ネットワーキングセッションが開始すると、両サイドのコントロールパネルの最初の状態、例えば、スライダーバーの位置、ボタンやタブの状態、ルックアップテーブルのリストなどは、例えば、異なっていてもよい。これらのパラメータ全ては、ネットワーキングのためにはそろえる必要がある。
【００８２】
Ｄ．異なるインタラクティブプラットフォーム間の接続
本発明の実施態様において、異なるタイプのインタラクティブプラットフォーム間、例えば、デキストロスコープ（Dextroscope）（登録商標）とデキストロビーム（DextroBeam）（登録商標）との間の接続をサポートすることができる。したがって、デキストロスコープ（Dextroscope）（登録商標）上のティーチャーは、デキストロビーム（DextroBeam）（登録商標）の前に集まっている多数のリモートスチューデントに指導することができる。あるいは、例えば、ティーチャーは、デキストロビーム（DextroBeam）（登録商標）の前のローカルスチューデントを指導することができ、デキストロスコープ（Dextroscope）（登録商標）上のリモートスチューデントは見ることができる。
【００８３】
本発明の実施態様において、別のサポートされた接続としては、３Ｄインタラクティブプラットフォームと２Ｄデスクトップワークステーション間、例えば、上記のデキストロスコープ（Dextroscope）（登録商標）とデキストロラップ（DextroLap）システムのものがある。そのようなシステムによれば、関係者は、ユーザとシステムの間の相互作用がマウスやキーボードによって行われる場合（デキストロラップ出願に記載のように）、デスクトップワークステーションのみを使い、スタイラスおよびジョイスティックの３Ｄ入力装置を用いない。そのようなシナリオでは、ティーチャーおよびスチューデントの入力デバイスは、同一でない可能性がある。これは、３Ｄスタイラスやジョイスティックを持っていないスチューデントでも、全３Ｄで操作しているティーチャーを見て、マウスやキーボードを使ってティーチャーと通信することができるので、最も有用といえる。デスクトップワークステーション上には、キーボードイベントが、トラキングシステムからの動作と同様に転送され、補間され得る。そのような実施態様においては、キーネームやその変更子をネットワークメッセージに入れる必要がある。例えば、デキストロラップ（DextroLAP）カーソルは、３Ｄ位置を有している。この位置をティーチャーに送信することができ、そうすれば、ティーチャーは、スチューデントのカーソルの動きを３Ｄで見ることができる。
【００８４】
本発明の実施態様において、ユニックス（登録商標）およびウィンドウズシステム（登録商標）（Unix and Windows systems）（登録商標）上で動く種々のインタラクティブな可視化システムは、全てデキストロネット（DextroNet）と接続することができる。
【００８５】
Ｅ．自動的ティーチャー検出
本発明の実施態様において、所与のインターネット上にティーチャーとスチューデントが存在する場合、デキストロネット（DextroNet）は、自動的にティーチャーを検出することができる。以下においてより十分に説明するように、クライアントがサーバから返信を取得したら、それはサーバとネットワーク接続を開始し、サーバにティーチャーまたはスチューデントが存在するかどうかを伝える。サーバは、例えば、全てのクライアントの登録リスト（役割、ＩＰアドレス、ポート）を保持することができる。サーバが、新たに参加したクライアントがスチューデントであることを知ると、ティーチャーが利用可能であるかどうかを確認し、ティーチャーのＩＰアドレスとポートをスチューデントに送信する。したがって、スチューデントは、自動的にティーチャーの情報を取得することができる。もし、ティーチャーが存在しない場合、サーバは、例えば、スチューデントにネットワーキング接続から退去するように警告することができる。あるいは、スチューデントは、ティーチャーがオンラインに現れるまで待つこともできる。したがって、そのような実施態様においては、スチューデントは、例えば、サーバＩＰアドレスやポートを構成するなどの、低レベルのネットワーキングタスクについて心配する必要がない。ティーチャーが存在すればすぐ、スチューデントのシステムは自動的にそれを検出することができる。
【００８６】
ＩＩＩ．外科医−可視化アシスタント相互作用
Ａ．概論
次に、図４乃至８を用いて、本発明のある実施態様における外科医と可視化アシスタントとの間の例示の３Ｄデータセットの、例示の協同相互作用的な可視化について説明する。図４は、外科医のコンソールの例を示すプロセスフローチャートである。図５は、可視化アシスタントのコンソールのフローチャートの例を示す図である。図６乃至８は、そのようなシナリオにおける外科医と可視化アシスタントのそれぞれのビューの例を示す図である。
【００８７】
一般に、そのようなパラダイムは、「外科医」自身に限定されるわけではなく、一方の関係者（「外科医」）が診断的または治療的処置を所与の対象に施す場合、そしてその対象についての処置前の画像データを利用可能であり、身体的対象にコレジスタされている場合、および別の関係者が処置前の画像データから作成された３Ｄデータセットから対象を見ることが可能である場合、あらゆるシナリオを含むことができる。そのような記載したような「外科医」は、例えば、音波検査者（記載のように、例えば、「ソノデックス（"SonoDex"）」中）、カスラボ（Cathlab）（登録商標）機械を使用するインターベンション心臓病専門医、メッドトロニック（Medtronic）外科手術用ナビゲーションシステムを使用する外科医などを含むことができる。
【００８８】
記載した相互作用において、外科医は、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションを使用し、したがって、位置データおよびリアルタイムのビデオを捕捉することが予期される。また、可視化アシスタントは、あらゆるタイプのワークステーションを使用することができる。
【００８９】
図４を用いて説明すると、４０１において、外科医は、ネットワークに接続することができる。４０２において、可視化アシスタント側のデータを外科医側のデータに同期するすることができる。データの同期が完了するとすぐ、プロセスフローは、例えば、４０２から２つの平行な経路に沿って進むことができる。まず、４１０において、外科医は、可視化アシスタントのシナリオを要求することができる。要求があれば、４１１において、それはレンダリングされ得る。可視化アシスタントのシナリオが要求されない場合、プロセスフローは、４１０から直接４２０に進むことができ、そこで、外科医のコンソールは、ビデオプローブの位置および方向を読み出すことができる。ここで外科医のコンソールは、ビデオプローブ（ローカルである）の位置および方向を読み出し、それをバーチャルワールドの座標に変換する。次にプロセスフローは、４２０から、例えば４２５に進むことができる。
【００９０】
上記のプロセシングと平行して、ローカルビデオプロセシングが存在することに留意されたい。デックス―レイ（DEX-Ray）（登録商標）型ワークステーションである外科医のコンソールは、リアルタイムのビデオを取得することもできることが思い出される。したがって、４０５において、外科医のコンソールは、それ自身のビデを読み出すことができ、４０６においてそれをレンダリングすることができる。次にプロセスフローは同様に４２５に進むことができる。
【００９１】
４２５において、外科医のコンソールは、それがネットワーク上で取得したローカルビデオを可視化アシスタントに送信することができる。そこから、プロセスフローは４３０に進むことができ、そこで外科医のコンソールは、そのビデオプローブ情報を送信する。ここで、外科医のコンソールは、バーチャル世界の座標中のビデオプローブの位置および方向を可視化アシスタントに送信する。これは４２０において取得した情報の単なる送信である。４３５において、外科医のコンソールは、アシスタントの代表的なツールを通信することができる。ここで、外科医のコンソールは、外科医のバーチャル世界における可視化アシスタントの代表的なツールの位置および方向を受信し、通信することができる。このデータはネットワーク上で可視化アシスタントのコンソールから取得することができる。最後に、４５０において、外科医のコンソールは、ビデオおよび拡張現実感を含み得る３Ｄデータセットの３Ｄビューをレンダリングすることができ、それは、可視化アシスタントの代表的なツールの位置および方向を含む。現在の３Ｄレンダリングは、外科医ならびに可視化アシスタントの双方による３Ｄデータセットとの相互作用の結果となろう。可視化アシスタント側に着目した、外科医−可視化アシスタントパラダイムの別のサイドを次に図５を用いて説明する。
【００９２】
５０１において、可視化アシスタントはネットワークに接続することができ、５０２において、彼または彼女は、自身のデータを更新することができる。ここで可視化アシスタントは、ネットワーク上で入力される外科医のデータを用いて、自身のバーチャルオブジェクト位置、方向、および大きさを更新する必要がある。プロセスフローは、５０２から平行して、５１０および５２０の決定に進むことができる。まず、５１０において、外科医のコンソールからビデオを受信したかどうかを判定することができる。Ｙｅｓであれば、５１１において、外科医のビデオをレンダリングすることができる。Ｎｏであれば、プロセスフローは、５３０に進むことができる。第２に、決定５２０において、アシスタントのシナリオを送信すべきかどうかを判定することができる。これは、例えば、外科医のワークステーションからの問い合わせもしくは要求に返答して行うことができる。
【００９３】
外科医が可視化アシスタントのシナリオを要求していれば、５２５において、アシスタントのシナリオを送信することができ、アシスタントは、スナップショットもしくは彼のビューのビデオを送信することができる。そのようなスナップショットは、例えば、立体的なものでもよいし、モノスコピック（monoscopic）であってもよい。５２０において、外科医が可視化アシスタントのシナリオを要求していなかったら、プロセスフローは次に５３０に進むことができる。そこでプロセスフローは、５１０からも同様に到達する。そして、可視化アシスタントのコンソールは、それ自身の３Ｄ装置を読み出すことができる。ここで、可視化アシスタントは、自分のツールの完全なコントロールを有しているため、彼のツールの位置、方向、および大きさは、彼自身のスタイリスト（原語：stylist）および操作装置によって行うことができる。ここから、プロセスフローは、５４０に進むことができ、そこで、外科医の代表的なツールが更新されることができる。ここで可視化アシスタントのコンソールは、可視化アシスタントのバーチャル世界において、外科医の代表的なツールの位置および方向を受信し、更新することができる。
【００９４】
最後に、プロセスフローは、５５０に進み、そこで、可視化アシスタントのコンソールは、３Ｄデータセットの３Ｄビューをレンダリングする。この３Ｄビューは、可視化アシスタント自身の３Ｄ装置ならびに外科医の代表的なツールのそれに対する更新を含むことになり、外科医から受信するあらゆるビデも含むことができる。上記したように、外科医―可視化アシスタントパラダイムは、デキストロネット（DextroNet）上でのデックス―レイ（DEX-Ray）（登録商標）対デキストロスコープ（Dextroscope）（登録商標）型相互作用に関与すると想定される。このシナリオは、すでに述べたように、上記のティーチャー―スチューデントパラダイムの変形例である。外科医-可視化アシスタントシナリオにおいて、外科医は通常スチューデントの役割を担い、一方、アシスタントはティーチャーを担う。これは、外科医（スチューデント）が、手術に忙しく、データとの相互作用能力において、より制限されているためである。したがって、彼は主に可視化アシスタント（ティーチャー）がどのように３Ｄビジュアルバーチャルワールドをコントロールするかを見ることに関与する。
【００９５】
Ｂ．独立した視点
手術室でデックス―レイ（DEX-Ray）（登録商標）型コンソールを用いる場合、例えば、外科医の見地は、図６に示すようにビデオプローブの方向によって制限される。カメラプローブ（Camera Probe）出願により詳細に記載されているように、デックス―レイ（DEX-Ray）（登録商標）型装置は、３Ｄシーンをビデオプローブの位置に基づいて、したがって、ビデオプローブ中のカメラが持つ視点からレンダリングする。したがって、例えば、デックス―レイ（DEX-Ray）（登録商標）型コンソールを使用する外科医は、ビデオプローブの先端がどのようにして内部から標的、すなわち、標的自身の内部に固定された視点、例えば、腫瘍もしくは他の頭蓋内の構造に固定された視点にアプローチするのかを見ることができない。しかしながら、デキストロスコープ（Dextroscope）（登録商標）型機械上で実行されるようなプランニングシステムにおいては、アシスタントは、図８に示したような標的を調べるための無制限の見地を有している。こうして、本発明の実施態様において、デキストロネット（DextroNet）は、外科医を助け、彼に、外科医が手術を行っている実際の患者と関連する３Ｄデータセットを介して無制限に動く第２の目を提供するために、デックス―レイ（DEX-Ray）（登録商標）をデキストロスコープ（Dextroscope）（登録商標）と接続するために使用することができる。これは、リアルタイムの複雑な手術に携わっている外科医にとって非常に有用である。ここでは、手術に携わっている外科医にとっては論理的に不可能な多くの可視化が確実にプロセスを助けるであろう。それは、可視化アシスタントが手術もしくは他の実地の治療（診断）努力に有意に貢献し得るのはこのようなシナリオにおいてである。
【００９６】
Ｃ．交換可能な視点
別法として、本発明の実施態様において、外科医は、アシスタントの視点を見ることができる。その一例を図９に示す。このように、本発明の実施態様において、外科医には利用可能な２つのタイプのビューがある。１つは通常のカメラプローブ（Camera Probe）拡張現実感のビュー、すなわち、１つは、図６に示されるような３つの２Ｄの三面状画像が載ったビデオであり、他の１つは、図７に示されるような可視化アシスタント側の視点である。これらの２つのタイプのビューは、外科医がその間をトグルすることが可能な２つの別個のウインドウに表示される。こうして外科医は、例えば、図６と７の間をトグルすることができる。可視化アシスタントのビュー（図７）から、外科医は、バーチャルオブジェクトと彼のツールの関係を、異なる見地、例えば、腫瘍など標的オブジェクト上に位置づけられた視点から見ることができる。
【００９７】
さらに、本発明の実施態様において、可視化アシスタントも同様に、彼のディスプレイ中に外科医のシナリオを見ることができる。これは、例えば、図８に示されている。メインウインドウは、可視化アシスタントのビューである。これは、外科医が持つビデオプローブツールのカメラの位置による制限を受けない。さらに、図８には「図中図」のビューが存在する。これは、図８の左上のコーナーの小さなウインドウ８１０に示されている。これは、外科医にビューを彼が見えるように示している。これはビデオフレームとして転送することができ、したがって、可視化アシスタントはどんな方法によってもこれを操作することはできない。したがって、図８は、外科医のツールも（上から下までの線として）可視化された仮想の３Ｄ世界を表示するメインウインドウを示す図である。他方の小さなウインドウ８１０は、外科医の実際のビューであり、ライブの映像信号および、外科医のシナリオ上で利用可能であり、その表示パラメータが外科医によってのみ選択され、操作される３Ｄオブジェクトの拡張現実感を含んでいる。したがって、可視化アシスタントは、図６のメインウインドウの３Ｄ世界と図８の左上部分の画像ウインドウ８１０内の画像の２Ｄビデオの双方の中に外科医のツールを見ることができる。
【００９８】
ＩＶ．インターフェース相互作用の例
本発明の実施態様において、デキストロネット（DextroNet）のネットワーキング機能は、例えば、メインデキストロスコープ（Dextroscope）（登録商標）３Ｄインターフェース中の「ネットワーキング」タブからコントロールすることができる。
【００９９】
Ａ．接続を確立する
本発明の実施態様において、ユーザネットワーキングモジュールインターフェースの提供を受けることができる。そのようなインターフェースは、例えば、「ティーチャー」、「スチューデント」および「ネットワーキング停止」といった３つのボタンを備えている。そのような例示的インターフェースを介して、ユーザは、こうして、ティーチャーもしくはスチューデントのいずれかであることを選択し、またはデキストロネット（DextroNet）セッションの停止を選択することができる。本発明の実施態様において、ティーチャーがネットワーク内に存在するときのみ、スチューデントは、接続を確立することができる。そうでなければ、スチューデントは、「ティーチャーが存在しません」というメッセージを受け、接続を終了することになる。もし、スチューデントが３Ｄ入力デバイスを持っていない場合、例えば、デキストロラップ（DextroLAP）出願において、上記したように通信にはマウスを使うことができる。
【０１００】
Ｂ．ティーチャーアクション
さらに、追加的インターフェース特徴をメインユーザ、すなわち「ティーチャー」として行動するユーザに表示することができる。そのような実施態様において、ティーチャーには、スチューデントのＩＰリストと「同期」ボタンが提供され得る。このパネルは、ティーチャーのみが利用可能とすることができる。新たなスチューデントが参加したとき、例えば、スチューデントの最初のシナリオの、例えばスナップショットがティーチャーに送信されたり、スチューデントリストに表示されたりなどする。さらに、スチューデントのＩＰアドレスは、例えば、テキストボックスに示されることが可能である。複数のスチューデントが存在する場合、ティーチャーは、リストをスクロールして、他のスチューデントのＩＰアドレスやスナップショットを見ることができる。本発明の実施態様において、そのようなスナップショットを使えば、ティーチャーは、自分のデータセットとスチューデントのデータセットとの相対的な同期を正確に測定することができる。例えば、ネットワーキングを開始する際に同期を達成するための方法は、単一同期と完全同期の２つ存在する。一般的は、ティーチャーとスチューデントが同一のデータセットを持っている場合、単一同期だけが必要である。しかしながら、彼らが搭載しているデータセットが異なるものである場合、ティーチャーは、完全同期を開始しなければならない。そうでなければ、後に、障害が生じることになる。種々のスチューデントから送信されたスナップショットは、それらの初期の状態（環境およびデータ）をティーチャー側に表示する。したがって、ティーチャーは、スチューデントが、自分がスナップショットを介して有しているものと同じデータを搭載しているかどうかを確認することができる。もし異なれば、彼は当該スチューデントに警告して、完全同期を実行することができる。
【０１０１】
Ｃ．スチューデントアクション
本発明の実施態様において、ユーザがスチューデントとなることを選択するとすぐ、彼は、自分のバーチャルコントロールパネルのコントロールを失う。彼は、ティーチャーの操作を見て、自分が関心を持った部分を指し示すことができる。しかしながら、彼にできることには制限がある。彼は、ティーチャーにコントロールされている自分のバーチャルコントロールパネルにタッチすることができないためである。記載したように、彼が行うことができる制限された相互作用のセットは、専用のボタンによって（デキストロラップ（DextroLap）に記載のＰＣ遂行に用いられるものに類似している）、または、ティーチャーが例示のデキストロネット（DextroNet）を介して操作する「標準的な」コントロールパネルとは異なる専用の「スチューデント」バーチャルコントロールパネルを介して、容易に行うことができる。
【０１０２】
本発明の実施態様において、スチューデントには、ティーチャーの操作を見ることができる２つの方法がある。例えば、彼は、（ｉ）ティーチャーの視点に従う、または（ｉｉ）ティーチャーのものとは異なる見地からのデータセットを見ることができる。そのような実施態様において、彼は、彼のスタイラスまたは他のいくつかのシステムが定義するシグナルをクリックするだけで、これら２つのモードの間をトグルすることができる。
【０１０３】
本発明の実施態様において、スチューデントが、「従事」（すなわち、ティーチャーの見地に従う）モードにあるとき、例えば、「ロックオン（LockOn）」という語の赤いテキスト表示が提供されるようにすることができる。そのようなモードのとき、彼はオブジェクトを回転させたり、動かしたりすることができない。彼がスタイラスをクリックするか、または別の何らかのシグナルを送信して、切断すれば、「ロックオン」（"LockOn"）テキストは、例えば、消える。これは、彼は、自分自身の視点からデータセットを見ることができることを示すものである。このような「切断」モードでは、スチューデントは、例えば、左手のツールを使って、表示されたオブジェクトを回転させたり、動かしたりなどができる。
【０１０４】
Ｄ．ネットワーク接続の停止
記載した例示の遂行においては、ティーチャーのツールだけがバーチャルコントロールパネルにタッチすることができるので、「ネットワーキングの停止」ボタンをクリックすることによってネットワーキング機能を終了させる責任はティーチャーにある。ネットワーキングが終了すると、ティーチャーは、彼／彼女が、ネットワーキングセッション中にデータに対して行った変更の全てを保存することができる。しかしながら、スチューデントは、例えば、望ましければ、自分のシナリオをネットワーキング前のものに回復して、ネットワーキングセッションに入る前に保存していたものに回復することができる。
【０１０５】
本発明の実施態様において、ネットワーキング中、スチューデントのデータはティーチャーのデータの同期させることが要求されることがある。したがって、スチューデントのローカルデータを損なうことを回避するために、ネットワーキングセッションが実際に始まる前にスチューデントがネットワーキングボタンを押すと、例えば、彼自身のデータが何らかのバックアップディレクトリーに自動的にコピーすることができる。したがって、ネットワーキングセッションが終了したとき、彼は自身のデータをバックアップディレクトリーからコピーすることによって回復することができる。本発明の実施態様において、これは、「ネットワーキング停止」ボタンを押すと自動的に行うことができる。
【０１０６】
Ｅ．サーバの例
本発明の実施態様において、デキストロネット（DextroNet）は、図９に示すように、サーバクライアントアーキテクチャー上に確立することができる。このような構成例においては、ティーチャー９３０およびスチューデント９２０の双方は、クライアントである。それらは、例えば、逓倍する接続、接続登録、および接続照会を管理するために使用することができるサーバ９１０に物理的に接続されている。送信元（クライアント）からの全ての情報が、例えば、最初にサーバ９１０に渡される。当該サーバは、例えば、受信機ＩＰアドレスを分析し、その後メッセージを特定の目的地に渡す。こうして、そのような実施態様において、ネットワーキング機能を、ティーチャーまたはスチューデントのいずれかの側でアクティブな状態にする前に、そのようなサーバアプリケーションは最初に起動させなければならない。例示のサーバの特徴について以下において説明する。
【０１０７】
１．低レベルの観点から、本発明の実施態様において、サーバは、多重化技術を用いて、マルチプル接続をサポートすることができる。それは、例えば、データの到達が実行を誘発する、単一のプロセス並行サーバであることができる。タイムシェアリングは、例えば、負荷が大きすぎてＣＰＵがそれを処理しきれない場合に引き継ぐ。さらに、高レベルの観点から、送信元（クライアント）からのＩＰアドレスに基づいて、サーバは、ＴＣＰ／ＩＰプロトコルを用いて、メッセージを目的地にユニキャスト、マルチキャスト、もしくはブロードキャストすることができる。
【０１０８】
２．接続登録
クライアントはサーバに接続すると、サーバ上に、例えばそのＩＰアドレスとネットワーキングの役割（例えば、ティーチャーまたはスチューデント）を登録する。例えば、２つの基準、すなわち、（１）スチューデントが参加する前にティーチャーが存在していること、および（２）サーバに接続するティーチャーは一人だけであること、を確実にすることはサーバの責任とすることができる。基準（１）が満たされない場合、スチューデントは、例えば、ネットワーキングから退去するよう警告されることがあり得、または、例えば、ティーチャーが接続するまで待つよう助言されることもあり得る。基準（２）が満たされない場合、第２の推定上のティーチャーは、例えば、ネットワーキングから退去するよう警告されることがあり得る、または、例えば、彼がスチューデントとして接続されることが望ましいかどうか照会されることがあり得る。
【０１０９】
３．接続照会
本発明の実施態様において、クライアントは、現在の接続環境に何人の仲間のクライアントが存在しているのか、そして、それが誰なのかについて、サーバに照会することができる。このようにして、クライアントは、誰が通信に関与しているのかを知ることができる。これは、現在のスチューデントのダイナミックリストを保持しているティーチャーにとって重要である。サーバは、「仲間の照会」のような要求を受信したら、例えば、全ての仲間のクライアントのＩＰアドレスやポートを要求者に返信することができる。
【０１１０】
４．サーバ照会へ回答する
本発明の実施態様において、サーバは、ＬＡＮ上で自動検出され得る。例えば、サーバのＵＤＰソケットが、予期していたサーバアプリケーションについてのクライアントのブロードキャスト照会をＬＡＮから受信すると、起動中のアプリケーションの名前を確認して、求めているものが利用可能かどうかを知ることができる。もし利用可能であれば、サーバは、自身のアドレス（ＩＰ：ポート）を照会しているクライアントへ返信することができる。
【０１１１】
したがって、本発明の実施態様において、あるユーザが自分のネットワーキングでの役割を選択すれば（例えば、ネットワーキング接続に参加したときの可視化環境内のネットワーキングインターフェース上の「ティーチャー」または「スチューデント」ボタンを押すことによって）、彼はイントラネットを介して、サーバプログラム名を含む照会をブロードキャストすることができる。このメッセージは、例えば、全てのイントラネット機械上の専用のポートに送信することができる。サーバプログラムが起動していれば、それは専用のポートを聞き続けることができる。それが、ブロードキャストメッセージをクライアントから受信すると、サーバ機上の全ての起動しているプログラム名を確認して、整合性があるかどうかを知ることができる。整合性があれば、サーバは、例えば、それ自身のアドレス（ＩＰ：ポート）を照会しているクライアントに返信することができる。一方、クライアントは、サーバからの回答を待っていることができる。一定時間経過後、否定の回答が返信されれば、クライアントは、「サーバが作動していません」というエラーを報告することができ、例えば、通常のスタンドアロンワーク状態を再開する。
【０１１２】
５．サーバの起動
本発明の実施態様において、デキストロネット（DextroNet）サーバは、可視化の機械にインストールされることなく、スタンドアロンアプリケーションとして動くことができる。通信がＬＡＮ内部で行われている場合、例えば、ティーチャーもスチューデントもサーバのＩＰアドレスを正確に知っている必要はない。デキストロネット（DextroNet）ソフトウェアは、例えば、自動的にサーバを突き止める。通信がＷＡＮ上で行われている場合、サーバのＩＰとポートがデキストロネット（DextroNet）に提供されなければならない。例えば、ローカルサーバが検出されない場合、およびリモートサーバが存在しない場合、ティーチャーは、ネットワーキング機能を開始しようとする場合、例えば、自分の機械上で自動的にサーバアプリケーションの起動を行う。
【０１１３】
別法として、例えば、サーバ機能をティーチャーの役割と組み合わせることができる場合、つまり、ティーチャーの機械がサーバの役割を担うことができる場合、スチューデントの機械は、クライアントを維持することができる。しかしながら、そのような実施態様においては、ティーチャー機の負担が比較的重いものとなる可能性がある。なぜなら、３Ｄ可視化ソフトウェアからの可視化の要求、ならびにデキストロネット（DextroNet）からの通信の要求が同時に起こるからである。したがって、例えば、デキストロネット（DextroNet）通信ループの速度が、例えば、デキストロスコープ（Dextroscope）（登録商標）可視化ループによって、遅くなる可能性がある。これによって、待機バッファに残る入力および出力データを増加させる原因となり得る。したがって、本発明の実施態様において、データの列が長くなれば、「意味のない」データパケットは、例えば、落とすことができる。すなわち、そのようなデータパケットは、例えば、処理されることなく列から除去されることが可能となる。この文脈での「意味のない」データパケットはとは、プログラム／可視化の結果に影響を及ぼさないデータパケット、例えば、主な操作（例えば、ドリリング、トリミングなど）を行うことがなく、したがってデータセットに影響を及ぼさない、ツール（ティーチャーのものとスチューデントのもの両方）の移動を転送するパケットを言う。
【０１１４】
この文脈においては、かなり詳細に以下に示すように、ツールには４つの基本的な状態：「確認」、「スタートアクション」、「ドゥアクション」、および「アクションの停止」がある。「確認」状態では、バーチャルツールは、バーチャルワールドではローミングとしてのみ現れ、例えば、１つの位置から他の位置へ移動するなどの活動的な操作は行われない。この状態でそのようなツールの位置や方向を送信するデータパケットは、「意味がない」データパケットであると考えることができる。密集したネットワークが存在する場合、ティーチャーの「送信」バッファが未送出パケットでいっぱいになるだろう。そのような状況においては、本発明の実施態様において、当該ソフトウェアは、「送信」バッファを確認し、こうした「確認」状態のパケットを捨てることができる。大半の時間、バーチャルツールは、「確認」状態であるため、それによってトラフィック負荷を大幅に軽減することができる。例えば、ティーチャーは、（ａ）自分の「送信」バッファ中に１セットのメッセージを持っている。ネットワーク接続が低速である場合、彼は、メッセージを（ｂ）スチューデントに送る。この場合、スチューデントは、ティーチャーのツールが、位置１から位置ｎのように、「ジャンプ」するのを見て、次に、例えば、ドリル操作を行う。
【０１１５】
Ｖ．遂行の例
図１０乃至４９は、デキストロネット（DextroNet）の種々の例示の遂行を表す図である。そのような遂行は、例えば、ラジオデキスター（RadioDexter）（登録商標）ソフトウェアなどを動かすデキストロスコープ（Dextroscope）（登録商標）に統合するように設計されており、そのようなシステムの追加的な機能的なモジュールとして現れ得る。記載の例においては、ティーチャーおよびスチューデントは、サーバ プログラムを動かすサーバを介して互いに通信しあう。記載のように、各セッション中は、１つの時間にスチューデントは多数存在し得るが、ティーチャーは一人だけである。
【０１１６】
図１０乃至２５は、例示的ティーチャーと２人のスチューデントのビューの間の経時的関係を示す図である。図１０、１４、１８および２２のそれぞれは、３つのビューを並べて示している。そのそれぞれは、直後の３つの図に拡大して示している。
【０１１７】
図１０乃至２５は、本発明のある実施態様における、例示的ティーチャーと２人のスチューデントのそれぞれによって見られるそれぞれの図の間の例示的相互作用を示す図である。図１０において、ティーチャーは、スチューデントが接続しているかどうかを確認する。ティーチャーのビューを図１０（ａ）に示す。また、図１０（ｂ）および図１０（ｃ）は、例示の二人のスチューデントである、スチューデント１およびスチューデント２のそれぞれのビューを示している。示された例では、ティーチャーとスチューデント１は、デキストロスコープ（Dextroscope）（登録商標）型システムを使用している。そして、スチューデント２は、デキストロラップ（DextroLap）型システムを使用している。図１１乃至１３は、これらのビューをより詳細に示すものであり、次に述べる。
【０１１８】
図１１において、ティーチャーは、彼自身のツール１１００、スチューデント１のリモートツール１１０１、およびスチューデント２のリモートツール１１０２を見ることができる。スチューデント２のリモートツールは、スチューデント２がデキストロラップ（DextroLap）を使っているために、実際にはカーソルであることに留意されたい。したがって、全体の３Ｄコントロールを持っていない。さらに図１１に示すように、各スチューデントのリモートツールには、スチューデントのコンピュータのＩＰアドレスがついている。本発明の実施態様において、そのようなＩＰアドレスは、スチューデントの名前を表示するために変更することができる。別法として、例えば、両方を表示することができる。本発明の実施態様においては、ティーチャーに表示された各スチューデントの名前が示されることで同時にスチューデントの数を教えるために使用されることは特に有用である。このように、ティーチャーは、自分が誰に講義しているのかを知ることができる。
【０１１９】
さらに、ティーチャーのビューは、さまざまなスチューデントのスナップショットのためのディスプレイウインドウ１１２０であることが図１１から見て取れる。このスナップショットウインドウ１１２０によって、ティーチャーは、スチューデントのローカルビューを見ることができるのである。最後に、３つのネットワーキングツール、すなわち、「同期」１１５０、「リモートスナップショット」１１６０および「役割切り換え」１１７０が存在する。同期１１５０は、スチューデントとティーチャーの間の同期を取るために使用することができる。このツールは、それぞれのデータセットの状態が有意に離れて浮動していて混乱を引き起こすことがティーチャーにとって（またはスチューデントにとって）明らかな場合に用いることができる。リモートスナップショット１１６０は、スナップショットウインドウ１１２０に表示された特定のスチューデントのスナップショットを要求する。これは、例えば、接続しているスチューデントのスクロール可能なリストをもつティーチャーのコントロールパネルによって、容易に行うことができる。その後、ティーチャーは、例えば、スチューデントのリストをスクロールして、一人を選択することができる。その後、ティーチャーが、例えば、「捕捉」ボタンを押し、スナップショットがスチューデントのワークステーションから要求される。最後に、役割切り換え１１７０によって、ティーチャーとスチューデントの役割を切り換えることができる。このプロセスは、ティーチャー主導によるものに制限することができる。したがって、以下により詳細に示すように、このボタンは、例えば、ティーチャー機でのみアクティブな状態である。
【０１２０】
図１２は、スチューデント１のビューを示す図である。それは、スチューデント１のツール１２０１ならびにティーチャーのツール１２００を示す。スチューデント１自身１のＩＰアドレスが彼のツールとともに示されていることに留意されたい。この特徴はオフにする。または、例えば、ティーチャーのビューを用いたのと同様に、スチューデントの名前もしくは他のいくつかの識別子と置き換えることができる。スチューデントが見る３Ｄオブジェクト１２２５は、ティーチャーのビューが示すものと同じであり、同じ正確な見地もしくは視点に存在する。これは、スチューデント１のビューが、ティーチャーのものにロックオンしているためである。したがって、ロックオンサイン１２９０がスチューデント１のスクリーンの右上に表示されている。同期１２５０、リモートスナップショット１２６０および役割切り換え１２７０の３つのネットワーキングツールとしてティーチャーのツール１２００が見える。スチューデント１がスチューデントであり、ネットワーキングの機能性をコントロールしないので、スナップショットウインドウ１２２０には、スナップショットが何も表示されていない。実際、スチューデントがティーチャーのビューを見たいときは、既に図１２において示しているように、ティーチャーのビューにロックオンすればよいだけである。したがって、リモートスナップショット１２６０は、ゴースト化されている。同期１２５０も、役割切り換え１２７０も同様にゴースト化されている。ティーチャーのみ３つの機能を行うことができる。図１３は、図１２と同様に、スチューデント２のビューを示している。それによれば、同じ３Ｄオブジェクト１３２５が示されている。スチューデント１の３Ｄオブジェクトのビューは、ティーチャーやスチューデント２のものより透明に見えることがわかる。全てのワークステーションが同じプログラムを動かしているにもかかわらず、そのようなワークステーションは、異なる構成を備えているからである。例えば、「コントロールパネルがスタイラスによってタッチされたとき、３Ｄオブジェクトをゴースト化する」ように、例えば、いくつかは、特定の特徴が使用禁止であるかもしれない。そのような特徴は、例えば、スタイラスとコントロールパネルとのを促進することができる。
【０１２１】
これは、ユーザ（ラップトップ上で動くデキストロラップ（DextroLap）システムを利用しているかもしれないし、高速デキストロスコープ（Dextroscope）（登録商標）を利用しているかもしれない）が利用可能なグラフィックスカードに依存するためである。３Ｄインタラクティブ可視化ソフトウェアの、より「装飾的」な機能は、正確には同じ視覚的結果をもたらさないかもしれないが、３Ｄオブジェクトの効果の観点からは同一の振る舞いをするであろう（もちろん、同期のとれたビューを維持するためには、正確に同じである必要がある）。そのような装飾的機能の１つを、例えば、図１３に示している。ユーザがコントロールパネルと対話する際（そして、したがって、応答性には、ボタンおよびスライダーを正確にクリックする必要がある）の表示を促進するために、コントロールパネルとスタイラスを再生するだけで、３Ｄオブジェクトのレンダリングされた画像を捕捉して、３Ｄビュー上に透明にペーストすることができる。スチューデントのワークステーションに複製されない場合、アプリケーション上の結果は同じであるが、相互作用速度が遅くなる。そして、オブジェクトの表示内容が異なったものとなるであろう（すなわち、透明でない）。
【０１２２】
図１３において、スチューデント２もロックオンモードであり、したがって、ロックオンサイン１３９０が図１３にも表示されている。スチューデント２は、彼自身のツール、この場合カーソル１３０２を見ることができる。スチューデント２のローカルＩＰアドレスも表示されている。別の実施態様においては、それは、例えば、上記したように、置き換えられ、もしくは拡張されている。スチューデント１のケースと同様に、スナップショットウインドウ１３２０にスナップショットは表示されておらず、ネットワーキングツールの同期１３５０およびリモートスナップショット１３６０は両方とも、役割切り換え１３７０と同様にゴースト化されている。
【０１２３】
次に、図１４乃至１７について説明する。これは、図１０乃至１３に示されたものに続くある例示的時点における、図１０のティーチャーと二人のスチューデントを示すものである。図１４において、ティーチャーは、３Ｄオブジェクトの右後ろ側の隅の立方体のオブジェクトから、３Ｄオブジェクトの左後ろ側に見える円錐形のオブジェクトの先端まで線を描いた。ティーチャーは、これを例示の測定ツールを用いて行った。したがって、測定の末端近くに測定ボックスが現れており、それには、「４７．６８ｍｍ」と示されている。両スチューデントは、ロックオンモードである。次に、図１５乃至１７を用いて、３つのビューを詳細に説明する。
【０１２４】
図１５は、ティーチャーのビューを示す図である。隅の立方体のオブジェクトから、３Ｄオブジェクト１５２５の左後ろ側に見える円錐形のオブジェクトの先端までの測定を行うために用いられたティーチャーツール１５００が見える。さらに、スチューデント１のＩＰアドレスが付いたスチューデント１のリモートツール１５０１、ならびにスチューデント２のＩＰアドレスが付いたスチューデント２のリモートツール（カーソル）１５０２も見える。図１５のティーチャーのビューからわかるように、スチューデント１は、ティーチャーの測定が始まった、立方体上の点の近くに彼のリモートツールを指し示している。スチューデント２は、円錐のベースの近くのどこかを指している。
【０１２５】
スチューデント１のビューである図１６には、ティーチャーのツール１６００を見ることができる。ティーチャーのツールは、もちろん、スチューデント１から離れている。さらに、スチューデント１のツール１６０１、３Ｄオブジェクト１６２５、およびティーチャーが描いた測定線ならびに測定ボックス１６９２が見える。さらに、ロックオンサイン１６９０も見える。これは、スチューデント１がティーチャーのビューにロックオンしていることを示している。図１７には、スチューデント２のビューが示されている。スチューデント２は、ティーチャーのビューにロックオンしている。したがって、ロックオンサイン１７９０が表示さている。ティーチャーのツール１７００とともにスチューデント２のリモートツール１７０２が、彼のＩＰアドレスとともに示されている。さらに、３Ｄオブジェクト１７２５内の立方体のオブジェクトと円錐形のオブジェクトの間にティーチャーが描いた測定線が見える。したがって、ティーチャーが行った測定の長さを示す測定ボックス１７９２も同様に示されている。
【０１２６】
図１８乃至２１は、図１０乃至１７と有意に異なるティーチャーとスチューデントを示す図である。図１８乃至２１においては、スチューデント１は、自分のビューをティーチャーのものから切り離している。図１９に詳細に示しているように、ティーチャーは、彼自身のツール１９００と、スチューデント１のリモートツール１９０１とスチューデント２のリモートツール１９０２のそれぞれを見ることができる。図１９からわかるように、ティーチャーは、立法体のオブジェクトの隅近くの左上から円錐形のオブジェクトの先端までを、彼のツール１９００を用いて測定し終わったところである。同様に、図２０には、今は、スチューデント１は、もはやロックオンされていない。したがって、ロックオンサインは彼のビューに現れていない。スチューデント１は、彼のビューをティーチャーのものから切り離したので、彼は、上方から３Ｄオブジェクト２０２５を見ることができる。あるいは、彼が選択するあらゆる他の視点を見ることができる。さらには、切り離されたモードにおいては、コントロールパネルは、例えば、ここには示していないが、ローカルの相互作用に影響を及ぼす必要はない。スチューデントには、例えば、デキストロラップ（DextroLap）出願に記載されているように、ディスプレイの側部に現れる１セットのコントロールボタンが示されることがある。または、例えば、局所が省略されたコントロールパネルが提供されることがある。そのようなローカルコントロールパネルは、上記したように、例えば、短縮されたルックによってゴースト化することができる。ティーチャーのコントロールを受けている「真の」コントロールパネルではないことが容易に認識できる場合は、ゴースト化する必要はない。図２１に、スチューデント２のビューが示されている。スチューデント２はまだティーチャーにロックオンされているため、ロックオンサイン２１０２が表示されている。スチューデント２は、ティーチャーのツール２１００ならびに自身のツール２１０２の両方を居ることができる。スチューデント２はまた、３Ｄオブジェクト２１２５およびティーチャーが施した測定線も見ることができる。
【０１２７】
次に図２２乃至２５について説明する。これらは、ティーチャーのペンの位置が変わったことを以外は図１８の図と同様である。図２３のティーチャーのビューは、ティーチャーのツールが少し移動したことを除いて図１９と同じであることがわかる。したがって、ティーチャーのツール２３００は、３Ｄオブジェクト２３２５中の円錐形オブジェクトの先端の周りを本質的に回転している。スチューデント１のリモートツール２３０１、ならびにスチューデント２のリモートツール２３０２が、図１９においてそれらが占めていた同じ位置にまだ見える。図２４のスチューデント１の分離されたビューにおいて、変更された唯一の点は、ティーチャーのツール２４００の位置と方向である。そして、スチューデント１のツール２４０１も今ここで同様である。図２０と図２４の比較からわかるように、スチューデント１のツールは測定の末端点の周りに下向きに回転しており（本質的には、３Ｄオブジェクト２４２５の円錐の末端）、図２０における測定線とのなす角度と比較して、測定線とのなす角度を小さくしている。スチューデント１のビューは、スチューデント２のカーソルを示していないことがわかる。これは、上記したように、ティーチャーのみが全てのスチューデントを見ることができ、各スチューデントが見ることができるのはティーチャーだけだからである。したがって、各スチューデントは、他のスチューデントの存在を事実上忘れている（もちろん、スチューデントの一人が役割を切り換えてティーチャーとなった場合は除く。プロセスを以下により十分に説明する）。
【０１２８】
同様に、図２５は、スチューデント２のビューを示す図である。図２５は、ティーチャーのリモートツール２５００の位置と方向以外は図２１とほぼ同じである。スチューデント２自身のツール２５０２も３Ｄオブジェクト２５２５も動いていない。スチューデント２は、ティーチャーのビューに対してまだロックオンモードであり、したがって、ロックオンサイン２５９０が、このスチューデント２のビューに表示されている。
【０１２９】
図２６乃至２９は、ティーチャーと二人のスチューデントがネットワーキングセッションに参加している別の実施態様を示す図である。図２６において、ティーチャーは、ネットワークに接続している。当該システムは、「あなたはティーチャーです。」というメッセージを表示しており、ティーチャーのバーチャルツールが見える。まだスチューデントは接続していない。図２７において、第1のスチューデントが参加する。彼のツールおよびＩＰアドレスがデータセッションに見られ、彼の最初の（彼が入った時間付けの）スナップショットも同様に見ることができる。図２８において、第2のスチューデントが参加し、彼のツールとＩＰアドレスが、この時点でティーチャーにも利用可能となる。各スチューデントのＩＰアドレスは、彼らのバーチャルツールの隣にテキストボックスとして現れる。図２９および３０において、ティーチャーは、第1および第2のスチューデントとそれぞれ同期をとる。ティーチャーは、上記したように、ネットワーキングコントロールパネルの左パネルに表示されたスチューデントリストからスチューデントを選択することによって、どのスチューデントと同期を取るかを選択する。
【０１３０】
図３１乃至４３は、本発明のある実施態様における、様々な「外科医」および「可視化アシスタント」ビューの順序を示す図である。これらの図は、例えば、外科医がデックス―レイ（DEX-Ray）（登録商標）型システムを用いて手術を行い、例えば、デキストロスコープ（Dextroscope）（登録商標）またはデキストロビーム（DextroBeam）（登録商標）型システムを用いる可視化アシスタントがネットワーク上で外科医の機械と接続しているとき、どのようにして例示の協同が生じ得るかを示す。このパラダイムは、例えば、一人が診断的処置もしくは治療的処置を行い、したがって、対象に関するリアルタイムの情報を取得しており、他方の人がそのようなリアルタイムデータを受信し、それと対象に関する３Ｄデータを用いて第1の人を援助するために対象の可視化を作成するような、あらゆる状況に適用することができる。そのような可視化アシスタントの例は、例えば、利用可能な視点の自由を利用し（すなわち、彼は、自由に、彼が望むように、３Ｄデータ中のオブジェクトを回転、翻訳、および拡大する。外科医がそれらを見ている位置および方向におけるそのようなオブジェクトを見ることに限定されない）、外科医が見ることができないものを見る。そして、したがって、例えば、手術の現場にいる患者の組織に外科医を協同的にガイドする。これらの図について次に説明する。
【０１３１】
図３１は、可視化アシスタント（「ＶＡ」）ビューの２つの例を示す図である。一般に、外科医／可視化アシスタントパラダイムにおいては、外科医は、ロックオンして、一般的には、患者または対象の処理において物理的に使用する視点およびアプローチの角度とは相関しないであろうＶＡが作成した最適な可視化を見ることを決めていない限り、ＶＡのビューから切り離されている。図３１の文脈においては、そして、一般的には、ＶＡは、手術用ナビゲーションシステム、例えば、デックス―レイ（DEX-Ray）（登録商標）型システムを用いる外科医を援助するために使用される。上記したように、外科医は、スチューデントと類似した行動をし、上記したように、可視化アシスタントは、ティーチャーと類似した行動をする。これは、手術をしている外科医は、彼の視点が彼の保持するプローブや他の器具に限定されるため、３Ｄバーチャルデータの表示に関して自由が少ないという事実によるものである。例えば、デックス―レイ（DEX-Ray）（登録商標）システムを使用して、３Ｄデータからの視点を見ることは、手で持ったプローブ内のカメラで見るのと同じである。一方、ＶＡは、３Ｄバーチャルデータだけを見ているので、制限なく視点の変更を行うことが可能である。外科医は一般的に、拡張現実感を表示することを望むため（または、もし他の手術用ナビゲーションシステムを用いるのであれば、視点によって見える３Ｄデータは、彼がトラッキングするものとほぼ同様である）、外科医のビューは通常ＶＡから切り離されている。
【０１３２】
したがって、図３１において、可視化アシスタントは、外科医の手術および処置における関心オブジェクトを表す頭蓋骨を回転させ、冠状面のビューが左側、矢状面が右側に見えるようにする。各可視化アシスタントのビューには、外科医（スチューデントとして機能する）のリモートツール３１００が見える。矢状面のビューで、頭蓋骨の開口部を容易に見ることができる。分割している外科医の視点は、これらのそれぞれとは異なるものである。以下において図３４を用いてより十分に説明する。図３４に示されているように、外科医の実際のビューは、下記に示すように彼の手術経路にあるものより外科医のリモートツール３１００の軸に沿ってより多くなっている。図３２および図３３はそれぞれ、図３１の拡大図である。
【０１３３】
図３４は、図３１の可視化アシスタントのビューに対応する外科医のビューを例示した図である。このビューは、外科医が持っている実際の視点であって、彼の、例えば、デックス―レイ（DEX-Ray）（登録商標）型システム上に局所的に示された図である。外科医の視点は、カメラプローブ（Camera Probe）出願に記載のカメラプローブ（Camera Probe）のカメラの視点、または、例えば、別の手術用ナビゲーションシステムを使った場合は、彼の物理的方向および患者の内部へのアプローチの経路に対応している（そして、それによって制限されている）。図３４では、外科医のツール３４００は、彼が持っている実際のカメラプローブ（Camera Probe）、またはナビゲーションプローブもしくは器具に対応する。さらに図３４には、上記したように、他の何らかの識別子と置換または拡張することができる頭蓋骨の開口部２４１０および外科医のＩＰアドレス３４１６、ならびに部分的に見える球体３４０５も示されている。可視化アシスタントが、彼の視点を最適化することによって、よりよいビューを取得し、それによって、外科医がポイントを突き止めるのは、まさにこのオブジェクトである。図３１乃至４３には、球体３４０５（図３４に関して）は、外科医が処理している関心オブジェクト、例えば、腫瘍を表していると想定される。図３５は、可視化アシスタントのビュー、および上記したように頭蓋骨の開口部を含む頭蓋骨を示す、対応する外科医の切り離されたビューを示す図である。図３５においては、可視化アシスタントは、外科医が球体上のポイントを突き止めるのを援助する。可視化アシスタントは、このビューでは、頭蓋骨の側面を切り欠いて、球体を明らかに示している。一方、外科医のビューである図３５（ｂ）は、実際の世界では彼のプローブが動いているという事実に制限されており、頭蓋骨中の実際の穴もしくは上記頭蓋骨の開口部中にのみ動くことができる。対照的に、可視化アシスタントのビューは、制限がなく、データを自由に処理して、この球体を最も良好に可視化している。図３５（ａ）の各ビューでは、外科医のツール３５００が見えている。図３５（ｂ）に示されているように、外科医のツールの軸は、多かれ少なかれ彼の視点に対応している。一方、図３５（ａ）では、可視化アシスタントは、外科医の実際の経路に対して後部からオブジェクトを見ている。図３６および３７は、それぞれ図３５（ａ）および図３５（ｂ）を拡大して示した図である。図３７からわかるように、外科医のＩＰアドレス３７１６がはっきりと表示されている。
【０１３４】
ＶＩ．他の手術用ナビゲーションシステムとの統合
本発明の実施態様において、種々の３Ｄインタラクティブ可視化システムの製造業者からの３Ｄトラッキング（または２Ｄトラッキング）能を持つ装置、例えば、デキストロネット（DextroNet）上のデキストロスコープ（Dextroscope）（登録商標）などを接続することが可能である。そのような「外来」装置は、そのようなネットワークを介して送信される質問または指令に対応して、所定の情報をデキストロネット（DextroNet）に提供するであろう。例えば、Medtronic（Louisville, Colorado, USA）は、脳神経外科的処置のための種々のナビゲーション（または、画像がガイドする）システムを製造している。そのようなナビゲーションシステムの１つが、例えば、トレオン（登録商標）（TREON）システムである。さらに、メドトロニック（Medtronic）は、アプリケーションプログラムインターフェース（ＡＰＩ）ネットワーク インターフェースソフトウェアも製造している。それは、データをそのようなナビゲーションシステムから外部のアプリケーションへ、リアルタイムで流すことができる。
【０１３５】
同様に、別の製造業者であるブライアンラボエージー（BrainLAB AG）（Munich, Germany）は、類似のソフトウェア製品を持っている。この製品は、ベクタービジョンリンク（VectorVision Link）（VV Link）という名前の注文設計クライアント/サーバアーキテクチャーを使用し、可視化ツールキット（ＶＴＫ）から機能を拡大したものである。VV Linkは、両方向データが画像データセット、可視化およびツール位置などをリアルタイムで転送することを可能にする。これらの装置は、登録情報とプローブ座標情報を、デックス―レイ（DEX-Ray）（登録商標）システムと同様のやり方で提供するが、それらは、拡張現実感ベースではないので、ビデオ情報は提供されない。本発明の実施態様において、デキストロネット（DextroNet）サーバの変更例は、ステルスリンク（Stealthlink）（登録商標）またはVV Linkソフトウェアなどを組み込むことができるであろう。患者情報と登録情報の詳細が、例えば、交換可能である接続後、デキストロネット（DextroNet）は、例えば、これらのシステムに照会して、それらのプローブ座標を取得する。こうして、本発明の実施態様において、そのようなシステムは、外科医のワークステーションとして機能し、ティーチャー（ＶＡ）ワークステーションに空間座標を提供することができる。上記のデックス―レイ（DEX-Ray）（登録商標）による遂行とは異なり、現在のように構成されているこれらのシステムは、外科医のビューに、ＶＡワークステーションから外科手術中に表示を行うオプションを有していない。そうするためには、本発明のある実施態様の方法をナビゲーションシステム中に具体化するソフトウェアを組み込む必要がある。
【０１３６】
同様に、上記したように、本発明の実施態様において、例示のデキストロネット（DextroNet）を介して接続される機械は、異なる製造業者の製品とすることもでき、異なる構成、また異なるタイプであることができる。上記したように、手術用ナビゲーションシステム、例えば、デックス―レイ（DEX-Ray）（登録商標）システム、または、メドトロニック（Medtronic）やブライアンラボ（BrainLAB）のシステムをデキストロネット（DextroNet）を介して標準的な３Ｄインタラクティブ可視化ワークステーション、例えば、デキストロスコープ（Dextroscope）（登録商標）、デキストロビーム（DextroBeam）（登録商標）などに接続することができる。さらに上記したように、３Ｄ位置データを送信するシステム、例えば、拡張現実感を利用しない手術用ナビゲーションシステムを接続することもできる。
【０１３７】
次に説明する図４４乃至４９は、本発明のある実施態様におけるデキストロネット（DextroNet）のさらに別の使用である。この例は、デキストロネット（DextroNet）を介して３Ｄインタラクティブ可視化システム、例えば、デキストロスコープ（Dextroscope）（登録商標）に送信された、心臓病専門医が作成する２Ｄの蛍光透視画像の例に関するものである。パラダイムは、上記した外科医と可視化アシスタントのそれに類似する。しかしながら、このケースには、外科医は存在せず、代わって、インターベンション心臓病専門医が存在する。そのような実施態様においては、可視化アシスタントは、術前に取得しておいたＣＴＡスキャンの可視化アシスタントによる制限のない３Ｄ処理によって、そのようなインターベンション心臓病専門医が彼の関心のある解剖学的構造を可視化するのを援助する。
【０１３８】
したがって、図４４において、カスラボ（Cathlab）（登録商標）処置から取得した例示の蛍光透視画像を示す。当該画像は、Ｘ線を患者の胸郭に当てることによって取得した。画像中には、動脈、より正確には、造影剤を投与されて撮影された動脈内部の部分が見える。
【０１３９】
図４５は、標準的なインターベンション心臓病専門医のビューの例を示す図である。図４５において、インターベンション心臓病専門医は、例示の蛍光透視装置によって提供された視点から、造影剤を投与して撮影した血管の２Ｄ投影図のみを見る。図４５に示された画像は、そのような従来のインターベンション心臓病専門医のビューのシミュレイトされた投影図である（一連の実際の蛍光透視画像にマッチしている。また、関連するＣＴＡは入手できなかった）。シミュレーションは、ＣＴＡデータ上で操作することによって取得した（ＣＴＡの冠状動脈を区分化する（したがって、動脈だけ見ることができ、他の組織は見えない。それは、造影剤が動脈内を流れ、蛍光透視装置によって発光されたＸ線と相互作用する）、それらをあたかも蛍光透視法の結果のように暗く色づけする、そして、区分化された動脈を方向付け、スナップショットを撮影し、その後ＣＴＡのスナップショットを、区分化を行わずに撮影する）。
【０１４０】
図４６は、図４５の臨床医のビューに対応する可視化アシスタントのビューの例を示す図である。このような例示の可視化アシスタントは、図４５のインターベンション心臓病専門医と協同することができる。記載しているように、そのような可視化アシスタントは、術前のＣＴＡに対して制限のない３Ｄ処理を行う。図４６は、ＶＡが検査している冠状動脈の拡大図である。図４６乃至４８は、本発明のある実施態様における、インターベンション心臓病専門医と可視化アシスタントの間の相互作用の例を説明する図である。それらの図は、蛍光透視図とともにＣＴＡ図を手動で登録する方法を示している。ここで、例えば、ＶＡは、デキストロネット（DextroNet）を介して図４５のような蛍光透視法を取得し、次いで、例えば、当該画像を用いることでＣＴＡ（例えば、区分化された冠状動脈）を調整してこの受信画像と整合させることができる。ＶＡは、方向決定を行い、心臓病専門医が見ているもの（蛍光透視装置上には制限があり、通常トラッキングされず、心臓病専門医がよく知っているいくつかの標準的な位置だけとなる）を知るとすぐ、制限のない３Ｄ処理によって、リアルタイムで心臓病専門医にそれが何であるかを指示することができる。彼は、例えば、「左冠状動脈」もしくは「ＬＣＡ」、同様に、例えば、「右冠状動脈」もしくは「ＲＣＡ」といった注釈つけて、それらの血管を標識する。あるいは、彼は、カスラボ（Cathlab）（登録商標）画像（投影図または、そのような表示が利用可能であれば立体）でインターベンション心臓病専門医に提供することができる血管中の狭穿部を（３Ｄで）指し示すことができる。さらに、例えば、ＶＡは測定を行うことができる。そしてもしＶＡがフルオロスコープから新たな画像を見ることができれば、彼は、カテーテルがどこにあるかを特定し、３Ｄ位置を推定することができ、その後、重要な解剖学的ランドマークまでの距離を心臓病専門医に伝えることができる。
【０１４１】
図４７は、上記した図８と類似したシナリオを示す図である。可視化アシスタントは、全体の３Ｄとメイン画像の両方を見ることができ、また、スナップショットまたは左上隅にある「図中図」画像を見ることができる。当該図中図の画像は、例えば、インターベンション心臓病専門医のカスラボ（Cathlab）（登録商標）機械中で例示の蛍光透視装置によって作成したものである。それは、本質的に上記の４５に示した画像である。可視化アシスタントは、デキストロスコープ（Dextroscope）（登録商標）または均等の装置を使用して、術前のＣＴＡデータを処理し、区分化し（もしくは再区分化する）、最適には蛍光透視装置中に見えるものと同じ視点の血管を可視化することができる。このことは例えば、視点を、彼が図中図に見ているものに揃えることによって行うことができる。さらに、ＶＡのビューの遠方右側には、デキストロラップ（DextroLap）遂行に通常見えるものと類似した、例示の相互作用機能ボタンが見える。ＶＡは、必要に応じて、例えばデキストロラップ（DextroLap）使用することができることがわかる。または、例えば、彼はデキストロスコープ（Dextroscope）（登録商標）を最大限に使用することができるであろう。
【０１４２】
図４８は、さらに別の例示の、ＶＡが作成することができる３Ｄビューを示す図である。すなわち、記載したように、ＶＡは、全ＣＴＡデータにアクセスするので、したがって、例えば、図４８の左の画像に示されているように、取得面をまとめることができる。または、例えば、データを区分化して、図４８の右の画像に示すように、冠状動脈のみを明らかに示すことができる。
【０１４３】
最後に、図４９は、例えば、インターベンション心臓病専門医のカスラボ（Cathlab）（登録商標）装置に表示され得る画像を並べて示している。インターベンション心臓病専門医は、彼のローカル機で取得した蛍光透視図（左）と可視化アシスタントが、例えば、デキストロスコープ（Dextroscope）（登録商標）またはデキストロラップ（DextroLap）機械で作成した図とを同じディスプレイ上で比較することができる。この比較は容易であるので、心臓病専門医は、蛍光投影図をよりよく解釈することができるようになる。インターベンション心臓病専門医と可視化アシスタント間で通信を行うことで、可視化アシスタントは、インターベンション心臓病専門医にとって望ましく、有用であるかもしれないように、彼が局所で作成したビューを、例えば、改良、再区分化、および最適化して、それをデキストロネット（DextroNet）でインターベンション心臓病専門医に送信して、表示（図４９に示すように）し、インターベンション心臓病専門医による比較ができるようする。これは、例えば、蛍光透視法の処置を示すいくつかのモニターを備えたカスラボ（Cathlab）（登録商標）システムのような特徴を用いて行うことができる。別のモニターに３Ｄ画像を加えることは簡単なタスクであろう。これらの後者の画像は、例えば、蛍光透視と一致するかもしれないし、しないかもしれない。さらにそのようなシステムは蛍光透視装置の位置、ならびにその他の患者情報も示す。あるいは、例えば、無菌条件で使用される簡単なタッチスクリーンなどを備えたモニターなどの他のディスプレイを用いて、ＶＡの可視化を臨床医に返送することもできる。
【０１４４】
ＶＩＩ．役割切り換え
本発明の実施態様において、役割切り換え機能をサポートすることができる。役割切り換えは、例示のデキストロネット（DextroNet）における特徴であり、ティーチャーおよびスチューデント（または外科医および可視化アシスタント）に彼らのそれぞれの役割をオンラインで交換させるものである。ティーチャー―スチューデントパラダイムにおいて、スチューデントは、オブジェクトにおける、翻訳、回転、およびインティングを除き、３Ｄデータセットのオブジェクトを処理することはできない。役割切り換えによって、スチューデントがティーチャーからのコントロールを引き継ぐと、彼は、例えばオブジェクトに対するティーチャーのワークを続けて行うことができる。これは、ある程度の協同のためのモードを示唆するものである。さらに、ある一時点においては、ティーチャーは、ネットワーク上に一人しか存在しない。この協同は、連続的であり衝突の問題を生じることはない。
【０１４５】
例示のデキストロネット（DextroNet）では、ティーチャーおよびスチューデントは、低レベルではともにクライアントであることができ、それによって、役割切り換えは自然に行われる。役割切り換えは、現時点の通信セッションを用いることができ （すなわち、ネットワーキングを停止させ、再接続させる必要はない）、ティーチャーとスチューデントの役割を高レベルで行うことができる。このようにして、役割切り換えは、再接続のために時間を使うことを回避することで、かなり迅速に行うことができる。
【０１４６】
役割切り換えは、多数のスチューデントをサポートしている。ティーチャーは、どのスチューデントに自分のコントロールの権利を移管するかを決定する。他のスチューデントは、そのままの状態を維持することができるが、例えば、ティーチャーが変わったことを知ることができる。上記したように、本発明の実施態様においては、ティーチャーもスチューデントも、例えば、低レベルの意味においてはクライアントである。図９に示したように、本発明の実施態様において、デキストロネット（DextroNet）は、サーバクライアントアーキテクチャーが用いられる。そのようなアーキテクチャーでは、ティーチャーもスチューデントもクライアントである。サーバも、例えば、ティーチャーと多数のスチューデントの間の通信を行うために使用することができる。したがって、役割切り換えは、ネットワーキングを停止させたり、再接続することなく、現時点の通信セッションを用いる。全体のプロセス中、物理的な接続の変化は何も起こらない。唯一の論理的な新たな役割をサーバに割り当てる、および再割り当てをする必要がある。全てのクライアント間の役割変更を伝える通常のプロセスは、例えば、下記のものがある。スチューデントがコントロールの権利を要求し、ティーチャーが他のスチューデントに伝え、サーバは役割切り換えの準備をする。その後、例えば、ティーチャーもスチューデントも、下記に示す例示の役割変更にしたがって、それらのツールをリセットし更新する。
【０１４７】
・スチューデントとなる予定のティーチャーの機械は、スチューデントツールをローカルツールに変更し、彼のティーチャーツールを専用のリモートツール（すなわち、新しいティーチャーの）に変更する。他のリモートスチューデントのツールは、表示から削除される。
【０１４８】
・ティーチャーとなる予定のスチューデントの機械は、彼のティーチャーツールをローカルツールに変更し、他のスチューデントならびにスチューデントとなる予定のティーチャーのためのツールの表現（スチューデントツール）を追加する。
【０１４９】
・他のスチューデントの機械は、それらのティーチャーツールを新しいティーチャーに変えて表現する。彼らのツールは、スチューデントツールのまま維持される。
【０１５０】
これらの役割変更が完了するとすぐ、すべてのクライアントは、それらの新たな役割をサーバ上に再登録する。こうして役割切り換えが完了する。
【０１５１】
進行中の通信セッションを用いて、多数のスチューデントをサポートすることができる。データフローの管理は、注意が必要であり得る。例示の役割切り換えの前後に受信するデータは、例えば、分離する必要がある。また、役割のサーバ上への再登録は、例えば、同期させておくことが必要である。これを達成するために、全体のプロセスを、例えば、役割切り換えのための準備（フェーズＩ）、役割の変更（フェーズＩＩ）、そして新た役割のサーバへの登録（フェーズＩＩＩ）といった３つのフェーズに分けることができる。各フェーズの終わりに、全てのクライアントの状態を同期させることができる。
【０１５２】
このプロセスを、図５０乃至５２を用いて以下のようにまとめることができる。
【０１５３】
Ａ．フェーズＩ（図５０）
（１）ティーチャーは、自分のコントロールを移管した全てのスチューデントに合図を行う。全てのスチューデントから肯定応答を得た後、彼のツールはリセットされ、サーバは、彼が今役割切り換えの準備ができていることを通知し、ゾンビの状態（すなわち、機械がデータの受信のみ可能で、送信をすることができない状態）に入る。
【０１５４】
（２）スチューデントは、ティーチャーからシグナルを受けると、自分はティーチャーになるのか、またはスチューデントのままでいるのか彼の機械によって確認する。一方、またサーバは、ツールをリセットした後、役割切り換えの準備ができたことを通知する。このリセットは、ボリュームオブジェクトに対して既になされた変更には影響を及ぼさない。そして、彼は、受動状態または「ゾンビ」状態に入る。それは、記載したように、機械がメッセージを受信するだけで送信を行わない状態を意味する。
【０１５５】
本発明の実施態様において、ユーザは、役割切り換えプロセスにおける全ての通知を気にする必要はない。全ての役割切り換えプロセシングは、ユーザが「役割切り換え」ボタンを押すと自動的に行われることができる（そして、上記の記載および次に示す内容中のティーチャーまたはスチューデントについての言及「何かをする」は実際に、そのような行動を行うソフトウェアの例について言及している）。
【０１５６】
本発明の実施態様において、サーバは、ティーチャーとスチューデントの間の通信を管理するために使用することができる。例えば、それは彼らの役割の覚書である格納されたリストであることができる。したがって、役割が切り換えられたとき、サーバに通知されなければならない。さらに、役割切り換え中、ティーチャーとスチューデントの間の状態は、各フェーズの最後に同期させなければならない。サーバは、例えば、このプロセスを調整することもできる。例えば、フェーズＩの最後に、スチューデント／ティーチャーは、サーバに役割切り換えの準備ができたかどうかを通知しなければならない。この後、彼はゾンビ状態に入り、役割変更が可能なサーバからの指示を待つことになる。サーバは、例えば、いくつのクライアントが役割切り換えの準備ができているかを数えることができる。全てのクライアントの準備ができたことを知ったあと、彼は全員に指示を出し、彼らはフェーズＩＩに入ることができる。
【０１５７】
（３）サーバが、全てのクライアントが役割切り換えの準備をしたことを知ると、彼らにメッセージを送信し、ゾンビ状態から再開させる。
【０１５８】
（４）クライアント（ティーチャー―スチューデント）が再開すると、クライアントは、彼の役割を変更し、サーバに通知し、再びゾンビ状態に入る。
【０１５９】
Ｃ．フェーズＩＩＩ（図５２）
（５）サーバは、全ての彼のクライアントから、役割切り換えを行ったとのメッセージを受けると、彼はまずティーチャーを再開させる。
【０１６０】
（６）ティーチャーは、サーバに再登録を行い、サーバに通知する。次いで、サーバは、スチューデントを再開させる。
【０１６１】
（７）スチューデントは、サーバに再登録を行い、ティーチャーは、最初のスナップショットをスチューデントから受信した後、ティーチャーは、サーバに、次のスチューデントを再開させるように要求する。
【０１６２】
（８）ステップ（７）は、例えば、全てのスチューデントが再登録するまで繰り返すことができる。
【０１６３】
さらに、本発明の実施態様において、上記プロセスを経て各役割切り換えを行って、ティーチャーの役割は、複数の関係者に対して、関係者から関係者に回すことができる。
【０１６４】
ＶＩＩＩ．データフォーマット
本発明の実施態様において、以下の策を使用して、リモートターミナルへの適切な表示を確保することができる。
【０１６５】
Ａ．データ
各サイド（ティーチャー―スチューデント） は、同じデータのコピーを保持している。もしデータが異なれば、全データセットを同期させることができる（データファイルの圧縮および送信）。
【０１６６】
Ｂ．初期化
本発明の実施態様において、ネットワーキング機能を初期化する際の両サイドでバーチャルコントロールパネルを同期させることができる。例えば、デキストロスコープ（Dextroscope）（登録商標）/デキストロビーム（DextroBeam）（登録商標）ワークステーションにおいて、バーチャルコントロールパネルは、解釈中、３Ｄトラッカーが休止している場合、物理的なアクリルベースを用いて正確に測定しなければならない。それによって、バーチャルツールは、バーチャルコントロールパネル上の対応する部分にタッチすることができる。こうして、目盛りおよび構成はローカルとなり、機械ごとに変わる。このことによって、例えば、ティーチャーのツールがスチューデントのコントロールパネルにタッチすることができなくなるといったミスマッチを、ネットワーキングの間に起こることがある。この問題を回避するために、本発明のいくつかの実施態様においては、コントロールパネルを同期させることができる。ネットワーキング機能が稼動している間に、ティーチャーのコントロールパネルの位置、方向、および大きさをスチューデントに送信することができ、スチューデント自身のコントロールパネルのパラメータを置き換えることができる。ネットワーキング機能が終了すると、スタンドアロンで作動するようにスチューデントの前の構成を回復させることができる。本発明の実施態様において、ネットワーキング機能を初期化する際に両サイドの視点を同期させることができる。適切な表示のために、ティーチャーとスチューデントは、同じ目の位置、見る位置、投影の幅と高さ、回転角度などを共有すべきである。したがって、視点に関する全ての情報は、ネットワーキング機能の開始時に同期させるべきである。
【０１６７】
本発明の実施態様において、ネットワーキング機能を初期化する際に、両サイドのズームボックスを同期させることができる。したがって、ネットワーキング機能が開始すれば、当該両サイドのズームボックスを位置、方向、境界、コンピュータスクリーン領域などによって、同期を取らなければならない。
【０１６８】
Ｃ．ウィジェットを同期する
本発明の実施態様において、ネットワーキング機能の開始時、両サイドのコントロールパネルのスライダーバーの位置、ボタンやタブの状態、色彩自動照合表のリストなどの初期状態は異なっているかもしれない。これらの全てのパラメータは、そろえる必要がある。
【０１６９】
Ｄ．通信
本発明の実施態様において、２つのタイプの座標系を用いることができる。世界座標とオブジェクト座標である。世界座標は、バーチャルワールドに取り付けらた座標である。オブジェクト座標は、バーチャルワールドの各バーチャルオブジェクトに取り付けらたものである。本発明の実施態様において、全バーチャルツールを世界座標に表示することができる。ティーチャーおよびスチューデントは、それぞれそれらが使用する座標系のタイプと通信することができる。
【０１７０】
スチューデントが従事しているモード（「ロックオン」）のとき、ティーチャーもスチューデントも、世界座標における自分のツール名、状態、位置、方向、および大きさを彼の仲間に送信する。
【０１７１】
スチューデントが開放されたモード（「ロックオン」でない）のとき、ティーチャー側でティーチャーのツールがコントロールパネルにタッチすれば、ティーチャーは、世界座標におけるツール名、状態、位置、方向、および大きさをスチューデントに送信する。そうでなければ、彼は、オブジェクト座標における位置、方向、および大きさをスチューデントに送信する。スチューデントは、ティーチャーのツールに関連する情報を受信すると、彼は、受信した情報をオブジェクト座標から世界座標に変換し、その後、彼の世界にティーチャーのツールを表示する。一方、スチューデントは、オブジェクト座標における彼のツール名、状態、位置、方向、および大きさをティーチャーに送信する。ティーチャーは、その後それらを世界座標に変換することができる。スチューデントのツールを表示する前に行うことができる。本発明の実施態様において、スチューデントは、何の行動が起こっているかを、彼の世界のティーチャーのバーチャルツールの位置、方向、および状態に基づいて決定することができる。
【０１７２】
本発明の実施態様において、デキストロネット（DextroNet）は、ティーチャー側およびスチューデント側の視点のモードの同期を取ることができる。スチューデントは、視点を開放することを選択することができる。彼は、例えば、彼のスタイラスのボタンを押すことができる。この行動によって、メッセージがティーチャーの機械に送信され、「私は、離れます」という効果が生じる。スチューデントは、例えば、実際に彼の視点を切り換えることはできない。彼は、ティーチャーからの世界座標を使用し続ける。ティーチャーの機械がスチューデントのメッセージを受信すると、例えば、次に当該スチューデントに肯定応答を送信することができ、そして、その後は、オブジェクト座標に変わる。スチューデント機は、そのような肯定応答をティーチャー機から受信すると、その後実際に離れるための変更を行い、その後オブジェクト座標を使用することができるようになる。
【０１７３】
例えば、スチューデントが再び従事する場合、状況は同じである。したがって、本発明の実施態様において、ティーチャー機が、スチューデントが離れることを決定したことを知ったとき、スチューデント機ができるのは、スチューデントの視点を変更することだけである。このようにすれば、離脱や再従事の前後に、ティーチャー機とスチューデント機の間の座標の種類についての衝突が、生じるのを回避することができる。
【０１７４】
Ｅ．電信フォーマット
本発明の実施態様においては、例えば、２つの電信フォーマットが存在し得る。１つは、例えば、メッセージの更新に用いることができ、他方は、例えば、ファイルに用いることができる。
【０１７５】
１．メッセージの更新のためのフォーマットＩ
図５４は、メッセージの更新のための第１のフォーマットの例を示す。例えば、以下の属性を持つ以下のフィールドを使用することができる。
【０１７６】
開始タグ（Begin Tag）：電信の開始を示す（符号なしの文字）；
データ型（Data Type）：コンテンツがメッセージの更新であるのかファイルであるかを示す。メッセージの更新の場合、この値は２である（符号なしの整数）；
ＩＰ：送信元のＩＰアドレス（符号なしの文字）；
オブジェクト名：このメッセージを利用するために割り当てられたオブジェクト；
座標系（Co-ord System）：電信（符号なしの文字）中の位置、方向、および大きさを解釈するための座標系。例えば、２つの可能な値が存在する：世界座標には「wld」、オブジェクト座標には「app」；
位置（Position）：「オブジェクト名」中のオブジェクトの位置。１つの位置は、浮動中に３つの値ｘ、ｙ、ｚを含む；
方向（Orientation）: 「オブジェクト名」中のオブジェクトの方向。方向は、４ｘ４マトリクスである。マトリクス中の各要素は浮動するものである；
状態（State）：必要に応じて「オブジェクト名」中のオブジェクトの状態（符号なしの文字）。オブジェクトがツールであれば、その値は、４つの状態：ＭＫ＿ＣＨＥＣＫ、ＭＫ＿ＳＴＡＲＴ＿ＡＣＴＩＯＮ、ＭＫ＿ＤＯ＿ＡＣＴＩＯＮ、ＭＫ＿ＥＮＤ＿ＡＣＴＩＯＮのうちの１つとなる。
大きさ（Size）：「オブジェクト名」中のオブジェクトの大きさ。大きさは３つの値：ｘ、ｙ、ｚを浮動中に持つ；
終了タグ（End Tag）：電信の終了を示す（符号なしの文字）
【０１７７】
図５５（ａ）乃至５５（ｃ）は、図５４のフォーマットを用いる３つの例を説明する図である。図５５（ａ）は、コントロールパネルとの同期を取るためのメッセージの更新を説明する図である。図５５（ｂ）は、ウィジェットとの同期を取るためのメッセージの更新を説明する図である。図５５（ｃ）は、バーチャルツールとの同期を取るためのメッセージの更新を説明する図である。
【０１７８】
２．ファイル転送
本発明の実施態様において、長いファイルは、いくつかのブロックに分割して転送することができる。各電信は、そのようなブロックを含むことができる。本発明の実施態様において、ファイルを実際に転送する前に、更新メッセージを送信し、仲間にファイルを転送する旨を伝えることができる。「大きさ」フィールドが合計ブロック数（Total Block Number）（符号なしの整数）、ブロックの大きさ（Block Size）（符号なしの整数）、および最後のブロックの大きさ（Last Block Size）（符号なしの整数）を含むように修正することができるとすれば、図５４に示されているフォーマット１は、そのような更新メッセージ中で送信することができる。図５６にそのような更新メッセージの例を示している。図５６は、９９１ＫＢ（１，０１４，９２１バイト）の例示的ファイルの転送に関する例示的更新メッセージを示す。したがって、大きさフィールド内のデータを考慮して、仲間は、そのファイルが２４８ブロックであり、最後のブロックを除いた各ブロックの大きさが４０９６バイトであり、最後のブロックが３２０９バイトであることを知る。ファイル自体は、ファイル転送に採用される更新メッセージのための第２のフォーマットを用いて送信することができる。
【０１７９】
３．メッセージの更新のためのフォーマットＩＩ
図５７は、メッセージの更新のための第２のフォーマットの例を示す。本発明の実施態様において、以下のフィールドを使用することができる。
【０１８０】
開始タグ（Begin Tag）：電信の開始を示す（符号なしの文字）；
データ型（Data Type）：コンテンツがメッセージの更新であるのかファイルであるかを示す。ファイルの場合、この値は１である（符号なしの整数）；
ファイルブロック（File Block）：二進法でのファイルのブロック（符号なしの文字）；
終了タグ（End Tag）：電信の終了を示す（符号なしの文字）
【０１８１】
例示のファイル転送送信においては、それぞれが４０９６バイトである最初の２４７ブロックは、例えば、図５８（ａ）に示すように送信することができ、それぞれが３２０９バイトである最後のブロックは、フォーマットＩＩを用いて図５８（ｂ）に示すように送信することができる。
【０１８２】
本発明は、１以上の実施態様と関連付けて説明したが、それらの限定されるものではなく、添付の請求項は、特定のフォーマットおよび示されている本発明の変更例を含むだけでなく、本発明の真の範囲から逸脱せずに、当業者によって修正され得るものをさらに含むと解釈される。
【図面の簡単な説明】
【０１８３】
【図１】図１は、本発明のある実施態様における、ティーチャー型ワークステーションの例を示すプロセスフローチャートである。
【図２】図２は、本発明のある実施態様における、ネットワークを介して接続された種々のワークステーションの例を示すシステムレベル図である。
【図３】図３は、本発明のある実施態様における、スチューデント型ワークステーションの例を示すプロセスフローチャートである。
【図４】図４は、本発明のある実施態様における、外科医ワークステーションの例を示すプロセスフローチャートである。
【図５】図５は、本発明のある実施態様における、可視化援助ワークステーションの例を示すプロセスフローチャートである。
【図６】図６は、本発明のある実施態様における、外科医の標準的（空き）な図である。
【図７】図７は、本発明のある実施態様における、使用中の外科医の標準的な図である。
【図８】図８は、本発明のある実施態様における、可視化援助の例を示す図である。
【図９】図９は、本発明のある実施態様における、ティーチャー―スチューデントパラダイムアーキテクチャーの例を示す図である。
【図１０】図１０ａないし１０ｅは、本発明のある実施態様における、デキストロネット（デキストロネット（DextroNet））の一例の上で接続されたティーチャー―スチューデントパラダイムアーキテクチャーの例を示す図である。
【図１１−１３】図１１乃至１３は、図１０ａ乃至１０ｃを拡大して連続的に示した図である。
【図１４】図１４ａ乃至１４ｃは、例として、図１０のティーチャーと２人のスチューデントによってロックオンモードで観察される、３Ｄデータセットの例を示す図である。
【図１５−１７】図１５乃至１７は、図１４ａ乃至１４ｃを拡大して連続的に示した図である。
【図１８】図１８ａ乃至１８ｃは、図１４ａ乃至１４ｃに示される３Ｄデータセットの例を示す図であり、そこでは、ティーチャーが測定を行い、スチューデント１が空きの図のモードに切り換えを行っている。
【図１９−２１】図１９乃至２１は、図１８ａ乃至１８ｃを拡大して連続的に示した図である。
【図２２】図２２ａ乃至２２ｃは、ティーチャーがペンを動かした後の図１８ａ乃至１８ｃの例をそれぞれ示す図である。
【図２３−２５】図２３乃至２５は、図２２ａ乃至２２ｃを拡大して連続的に示した図である。
【図２６−３０】図２６乃至３９は、本発明のある実施態様における、二人のスチューデントがネットワーキングセッションに参加している、ティーチャーの見地からの順序の例を示す図である。
【図３１】図３１は、本発明のある実施態様における、可視化援助の２つの例を示す図である。
【図３２−３３】図３２乃至３３は、図３１を拡大して連続的に示した図である。
【図３４】図３４は、本発明のある実施態様における、図３１に示された可視化援助に対応する外科医の例を示す図である。
【図３５】図３５は、本発明のある実施態様における、両当事者が所与のポイントをファントムオブジェクト上に位置づけたときの、可視化援助と外科医の視点をそれぞれ示す図である。
【図３６−３７】図３６乃至３７は、図３５を拡大して連続的にそれぞれ示した図である。
【図３８】図３８は、本発明のある実施態様における、外科医を援助して、あるポイントをオブジェクト上に位置づける可視化援助を示す図である。
【図３９−４０】図３９乃至４０は、図３８を拡大して連続的にそれぞれ示した図である。
【図４１】図４１は、本発明のある実施態様における、外科医と協同して、あるポイントをオブジェクト上に位置づける例をさらに示す図である。
【図４２−４３】図４２乃至４３は、図４１を拡大して連続的にそれぞれ示した図である。
【図４４】蛍光透視法による画像の例を示す図である。
【図４５】図４５は、インターベンションを行う心臓病専門医の視点の例を示す図である。
【図４６】図４６は、本発明のある実施態様における、図４５に対応する可視化援助の例を外科医と協同して、あるポイントをオブジェクト上に位置づける例をさらに示す図である。
【図４７】図４７は、本発明のある実施態様における、図４６に示した可視化援助の例によって作成された図中図の例を示す図である。
【図４８】図４８は、本発明のある実施態様における、図４６乃至４７に示した可視化援助３Ｄ図の他の例を示す図である。
【図４９】図４９は、本発明のある実施態様における、インターベンションを行う心臓病専門医の視点の別の例を示す図である。
【図５０】図５０は、本発明のある実施態様における、第１ステージの役割スイッチプロセスの例を示す図である。
【図５１】図５１は、本発明のある実施態様における、第２ステージの役割スイッチプロセスの例を示す図である。
【図５２】図５２は、本発明のある実施態様における、第３ステージおよび最終ステージの役割スイッチプロセスの例を示す図である。
【図５３】図５３ａおよび５３ｂは、本発明のある実施態様における、ティーチャー（または、メインユーザ）システムの一例でデータ送信キューを示す図である。
【図５４】図５４は、本発明のある実施態様における、フォーマットを更新するするメッセージの例を示す図である。
【図５５】図５５ａ乃至５５ｃは、本発明のある実施態様における、図５４のメッセージフォーマットを用いて、コントロールパネル、ウィジェット、およびツールの一例を更新するメッセージの例を示す図である。
【図５６】図５６は、本発明のある実施態様における、図５４のメッセージフォーマットを用いて、ファイル転送に関するメッセージの例を示す図である。
【図５７】図５７は、本発明のある実施態様における、フォーマットを更新する別のメッセージの例を示す図である。
【図５８】図５８ａ至５８ｂは、本発明のある実施態様における、図５４のメッセージフォーマットの一例を用いたファイル転送メッセージを示す図である。
【背景技術】
【０００１】
他の出願とのクロスリファレンス
本願明細書は、（ｉ）「ネットワーク（「デキストロネット」（“DextroNet”））上での、協同的でインタラクティブな可視化のためシステムおよび方法（SYSTEMS AND METHODS FOR COLLABORATIVE INTERACTIVE VISUALIZATION OVER A NETWORK （"DextroNet"））」という発明の名称で、２００５年１２月３１日に出願された米国仮特許出願第６０／７５５，６５８号、（ｉｉ）「２Ｄインターフェース（「デキストロラップ」（“DextroLap”））を用いて３Ｄ可視化システムと対話を行うための方法およびシステム（METHODS AND SYSTEMS FOR INTERACTING WITH A 3D VISUALIZATION SYSTEM USING A 2D INTERFACE （"DextroLap"）」という発明の名称で、２００６年９月１９日に出願された米国仮特許出願第６０／８４５，６５４号、および（ｉｉｉ）「３Ｄデータセットのネットワーク（"DextroNet"）上での、協同的でインタラクティブな可視化のためシステムおよび方法（SYSTEMS AND METHODS FOR COLLABORATIVE INTERACTIVE VISUALIZATION OF 3D DATA SETS OVER A NETWORK （"DEXTRONET"）」という発明の名称で、２００６年１２月１９日に出された出願第 号（出願人は、この後者の仮特許出願の正しい出願番号と出願日を提供するために本願を補正する権利を留保している）の優先権を主張し、この仮出願の内容全体を引用によって本願明細書に援用するものとする。さらに本願明細書は、（ｉ）「ポインティング装置上に搭載されたカメラに基づく拡張現実感手術用ナビゲーションシステム（An Augmented Reality Surgical Navigation system Based on a Camera Mounted on a Pointing Device（「カメラプローブ」（Camera Probe））」という発明の名称で、２００４年４月２７日に出願された共係属中の出願された米国実用新案出願第１０／８３２，９０２号、（ｉｉ）「ポインティング装置上に搭載されたカメラに基づく拡張現実感手術用ナビゲーションシステム（An Augmented Reality Surgical Navigation system Based on a Camera Mounted on a Pointing Device （「カメラプローブ」（Camera Probe））」という発明の名称で、２００５年７月１日に出願された共係属中の出願された米国実用新案出願第１１／１７２，７２９号を引用によって援用する。
【技術分野】
【０００２】
本発明は、３次元（「３Ｄ」）データセットのインタラクティブな可視化に関する。特に、ネットワーク上で種々のプラットフォームを用いる、１以上の３Ｄデータセットの協同的なインタラクティブな可視化に関する。
【０００３】
発明の背景
従来、３Ｄデータセットの３次元可視化は、所与の３Ｄデータセットを、専用のワークステーションまたはコンピュータに投入する（または、複数の２Ｄイメージの１つを作成する）ことによって行われている。一般的には、１人のユーザが、一台の専用のワークステーション上で、インタラクティブに３Ｄデータセットを可視化する。これは例えば、ボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）製のデキストロスコープ（Dextroscope）（登録商標）によって行うことができる。デキストロスコープ（Dextroscope）（登録商標）は、ボリュームを立体的に表示することが可能であり、ユーザが３Ｄを完全に制御することが可能なハイエンド、ツルーインタラクティブ可視化システムである。さらにボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）製のデックス―レイ（DEX-Ray）（登録商標）システムは、コレジスタされた３Ｄスキャンデータとリアルタイムビデオを組み合わせた専用の３Ｄインタラクティブ可視化システムである。デックス―レイ（DEX-Ray）（登録商標）は、術前のスキャンデータから区分化されたバーチャルオブジェクトとリアルタイムビデオを組み合わせて複合画像とすることによって、ユーザ（一般的には外科医）が実際の手術の現場で「後ろを見る」ことを可能にする。しかしながら、従来、同程度にハイエンドのデキストロスコープ（Dextroscope）（登録商標）またはデックス―レイ（DEX-Ray）（登録商標）といった３Ｄインタラクティブ可視化システムを用いた場合、たとえ複数の表示システムがあり、多くの人がそれらの表示を実際のユーザの近くに立つことによって見ることができたとしても、可視化をコントロールできる（コントロール可能である）のは一度に１人のユーザだけである。したがって、そのようなシステムにおいては、制御を行う人以外は、試験中の３Ｄデータセットの操作に真の参加または協同しているとは言えない。
【０００４】
例えば、デックス―レイ（DEX-Ray）（登録商標）は、脳神経外科の処置などの複雑な手術の計画に使用することができる。そのような手術計画においては、上で引用したカメラプローブ（Camera Probe）に記載するように、神経外科医と彼のチームは、手術前スキャンデータと、このデータの区分化された関心オブジェクトを取得し、手術中に使用すべきアプローチなどのプランニングデータを追加することができる。さらに、カメラプローブ（Camera Probe）にさらに記載されているように、所与の３Ｄデータセット中の様々なポイントを「マーカー」として使用することができる。そのようなマーカーからのプローブをもつユーザの手の先端の位置が、手術中ずっとトラッキングされ、そして連続的に読み出される（可視化された、または聴覚化された手がかりを介して）。
【０００５】
さらに、手術を行いながら、手術部位から３Ｄ入力をすることが望ましいことが多い。そのようなシナリオでは、例えば、トラッキングボールを付着することによって、１以上の手術機器をトラッキングすることができ、外科医と患者の間の相互作用を、真実に近づけてよりよく可視化することができる。こうして、カメラプローブ（Camera Probe）に記載されているように、一旦手術が始まると、リアルタイムデータとバーチャルオブジェクトの組み合わせ画像を作成し、可視化することができる。しかしながら、外科医は、表示されたバーチャルオブジェクトを、手術しながら動的に適応させる（マーカーとして指定されたポイントを変化させることを含む）ことができないのが通常である。手術しながら、可視化を最適化することに集中する時間があまりなく、したがって、３Ｄ可視化システムの能力を完全に利用することができないためである。
【０００６】
デックス―レイ（DEX-Ray）（登録商標）タイプのシステムを使用することで、例えば、腫瘍近くの重要な神経または腫瘍自身などのような少量の関心バーチャルオブジェクトを、外科手術の前に指定することができ、これらのオブジェクトを外科手術中に表示することができる。マーカーポイントについても同じことが言える。上記したように、カメラプローブ（Camera Probe）は、所定数のマーカーポイントをどのように指定することができるか、また、プローブの先端からオブジェクトまでの動的な距離を処置の間どのようにトラッキングすることができるかについて記載している。理論的には、外科医は、処置しながら、マーカーポイントを適応することができるが、これも一般的には行われない。実際の処置は手術にかかりきりになり、進行中、拡張現実感パラメータを最適化するための時間はあまりないからである。
【０００７】
処置しながら、外科医が一般的にバーチャルデータと対話できない理由は他にもある。第１に、大半のナビゲーションシステムのインターフェースは、そのような生の相互作用を非常に複雑なものにしている。第２に、ナビゲーションシステムのインターフェースは無菌でなく、したがって外科医は、ナースや技師に指示することによって調整を行わなければならないことになるだろうからである。デックス―レイ（DEX-Ray）（登録商標）においては、空中でプローブを動かすだけで可視化を修正することが可能（カメラプローブ（Camera Probe）に記載されているように）であり、したがって、外科医は、無菌状態を維持しながら、表示パラメータを直接修正することができるが、手術中、可視化の環境を修正する必要がなければより都合がよい。いずれにしても、専門家が外科医を可視化によって援助をすることができるようになることが最良であろう。
【０００８】
同様に、例えば、手術の援助、ガイダンス、またはプランニングのためのデキストロスコープ（Dextroscope）（登録商標）などの標準的な３Ｄインタラクティブ可視化システムを用いた場合も、１つの場所にいるすべての関係者が協力することは困難であることが多い。例えば、外科医は、脳構造を共有しているシャム双生児の分離手術のような、完全に事前計画を立てることが困難な複雑な手術を行うことがある。そのような処置においては、実際の（長い）手術中に、術前のスキャンを連続的に参照し、実際に脳が露出している状態で映し出されるものに依存するチームのメンバー、または他の専門医に相談する必要があることがほとんどである。術前のスキャンデータのインタラクティブな３Ｄ可視化はそれを分析するための最もよい方法である一方、関連者のすべてが同一の物理的位置にいる場合でも、手術チームがそのようなシステムの表示の周りに集まることは困難である。さらに、症例が複雑であるほど、チームのメンバーがいるかもしれない地理的位置が離れていることが多く、データの可視化の利益を使って術前に相談することが困難なことが多い。
【０００９】
最後に、離れた場所にいる二当事者がインタラクティブ３Ｄデータセット可視化システムを用いて、またはそれを用いた技術を用いて議論するとき、例えば、一方の当事者がその使用について他方に指示を出す場合、双方が同時に３Ｄデータセットおよび他方の操作を見ることができることが必要である。
【００１０】
当業において必要なことは、遠隔の参加者に、そこに実際に存在するかのように操作させて、３Ｄインタラクティブ可視化システム中の３Ｄデータセット上で同時に手術させることである。
【発明の開示】
【課題を解決するための手段】
【００１１】
発明の概略
物理的に離れた場所にいる多数の人が協同して、ほぼ同時にインタラクティブに３Ｄデータセットを可視化するシステムと方法の例を提供する。本発明の実施態様において、例えば、データネットワークを介して接続されているメインワークステーションと１以上のリモートワークステーションが存在することができる。所与のメインワークステーションは、例えば、拡張現実感外科手術用ナビゲーションシステム、または３Ｄ可視化システムであることができ、各ワークステーションは、配置された同じ３Ｄデータセットを持つことができる。さらに、所与のワークステーションは、例えば、リアルタイムのビデオ、もしくはあらかじめ記録されているビデオ、または、管理された３Ｄ超音波可視化システムが提供されるような情報などの既に取得している３Ｄデータと、リアルタイムの画像を組み合わせることができる。リモートワークステーションにいるユーザは、例えば、外科手術のナビゲーションもしくは蛍光透視法などの所与の診断的または治療的処置を行うことができ、または、共有して格納されている３Ｄデータセットを用いてレクチャーが行われているメインワークステーションにいる別のユーザからの指示を受けることができる。メインワークステーションにいる１人のユーザは、例えば、各リモートユーザによって使用されているバーチャルツールを見ることができ、各リモートユーザは、例えば、メインユーザのバーチャルツールとそれがリモートワークステーションのデータセットに及ぼすそれぞれの効果を見ることができる。例えば、リモートワークステーションは、各地の機械のバーチャルコントロールパネルを介してリモートワークステーションの３Ｄデータセット上でのメインワークステーションのバーチャルツールを、前記バーチャルツールがリモートワークステーションのそれと関連するプローブであるかのように、同じように表示することができる。本発明の実施態様において、各ユーザのバーチャルツールは、それらのＩＰアドレス、異なる色、および／または、他の区別するための表示によって表現することができる。本発明の実施態様において、データネットワークは、低または高帯域のいずれかとすることができる。低帯域の実施態様においては、３Ｄデータセットは、各ユーザのワークステーションにあらかじめ載せることができ、メインユーザのバーチャルツールおよびデータの操作のみをネットワーク上に送信することができる。高帯域の実施態様においては、例えば、リアルタイムの画像、例えば、ビデオ、超音波もしくは蛍光透視画像も同様にネットワーク上に送信することができる。
【発明の効果】
【００１２】
発明の詳細な説明
Ｉ．概要
本発明の実施態様において、種々のタイプの３Ｄインタラクティブ可視化システムをデータネットワーク上に接続することができ、それによって、互いに離れたところにいる人どうしが同じ３Ｄデータセットを、様々な目的のためにほぼ同時に操作することができる。本発明の実施態様において、二人以上の人が互いに離れた位置にいながら、それぞれがワークステーション上に置かれた所与の３Ｄデータセット所有することができる。通常、そのような実施態様は、「メインユーザ」と1以上の「リモートユーザ」を考慮している。関係者は、例えば、手術の計画プロジェクト、例えば、シャム双生児の分離手術を行う医師のチームの協力者であることができる。または彼らは、ティーチャーもしくは講師や、スチューデントもしくは聴講者のグループであることができる。さらに、例えば、関係者には、（ｉ）ナビゲーションシステム（例えば、デックス―レイ（DEX-Ray）（登録商標）システム）、もしくは他の診断もしくは治療システム（例えば、カスラボマシーン（Cathlab machine）、管理された超音波システムなど）を用いて、患者に対して手術を施す、または診断もしくは治療的処置を行う外科医もしくは臨床医、ならびに（ｉｉ）外科医もしくは臨床医のように治療もしくは手術室といった物理的制限を受けずに、いくつかの遠隔地からの関連する３Ｄデータセット中のバーチャルオブジェクトを動的に修正し、可視化を行う可視化の専門家を含むことができる。または、当該関係者には、様々な教育的、職業的、レビュー、もしくはカスタマーサポートのコンテクストにおけるティーチャーと1以上のスチューデントを含むことができる。以下では、本発明は、種々の可能なパラダイムの使用、または使用例を記載するが、本発明はそのような使用例に限定されるものではない。本発明の機能は、３Ｄデータセットの洗練された可視化における種々のタイプの研究や協同が望ましい、またはそれが有用である、広範な応用に適用可能であると理解できる。
【発明を実施するための最良の形態】
【００１３】
説明を容易にするために、本発明の種々の実施態様では、時々「デキストロネット（DextroNet）」に言及する。これは、そのような種々の実施態様に関連する、譲受人によって使用されている考慮された登録商標である。
【００１４】
Ａ．デキストロスコープ（Dextroscope）（登録商標）−デキストロスコープ（Dextroscope）（登録商標）型相互作用
本発明の実施態様において、例えば、遠隔カスタマートレーニングもしくはテクニカルサポート、または、３Ｄインタラクティブ可視化システムの製造元とその顧客の間の遠隔相談のために、デキストロネット（DextroNet）を使用することができる。例えば、デキストロネット（DextroNet）は、３Ｄインタラクティブ可視化システムの製造者が使用して、遠隔オンデマンドテクニカルサービスをその顧客に提供することができる。そのような使用においては、例えば、そのような製造者によって提供された所与の３Ｄインタラクティブ可視化システムの使用に関して質問のある顧客は、常時トレーニングセンターに接続することができる。一度接続すれば、遠隔のトレーニング技術者が、例えば、顧客に所与のツール、例えば、デキストロスコープ（Dextroscope）（登録商標）上で輪郭線エディター（Contour Editor）をどのようにして使用すればよいのかを示すことができる。顧客が自分のデータセットのすべてを送信することを必要とせずに（患者の潜在的極秘事項に関する流出と、そういったデータを送信する時間の無駄を避ける）、そのようなトレーニングの一例は、遠隔トレーニングセッションの開始時に両当事者が持っている標準的なデータセットを用いて行うことができる。
【００１５】
デキストロネット（DextroNet）の使用を進めている、顧客に提供され得る別のサービスには、例えば、オフラインで顧客のために患者データを準備する（区分化する）ものがある。例えば、医療分野において、顧客は、関連する1以上の患者もしくは症例に関連するデータをｆｔｐで使用し、「放射線医学サービス」部門は、それを区分化し、顧客に返送することができる。そのようなサービスについて、本発明のある実施態様においては、行われたことについてのオンラインのデモンストレーション、または、顧客が取り扱う実際の患者データに関する遠隔トレーニングさえ、提供することができるであろう。
【００１６】
本発明の実施態様において、遠隔相談を提供することもできる。そのような実施態様においては、例えば、外科医と放射線専門医、画像診断の技師、顧問医師などの専門家のチームが、症例、その症例において採用すべき、さまざまな実行可能な外科手術的アプローチ、および類似の問題点について、すべて遠隔でデキストロネット（DextroNet）上で議論することができる。例えば、放射線専門医は、彼の見解、脳神経血管外科医としての見解を提供することができ、脳顔面頭蓋の専門家は、すべてを考慮しながら、別の見解を提供することができ、そして当該症例のデータをスキャニングすることによって作成された所与の３Ｄデータセット中の種々のボリュームオブジェクトを仮想的に「ポインティングする」。
【００１７】
Ｂ．デキストロスコープ（Dextroscope）（登録商標）−デックス―レイ（DEX-Ray）（登録商標）型相互作用
カメラプローブ（Camera Probe）に記載しているように、デックス―レイ（DEX-Ray）（登録商標）システムは、外科手術のナビゲーション装置として使用することができる。そのような装置は、デキストロネット（DextroNet）上で標準的なインタラクティブ３Ｄ表示システムに接続することができる。したがって、本発明の実施態様において、３Ｄデータ操作が可能であることは、「アウトソーシング」ができるということであり、外科医の無菌の現場によって課された制限を排除できるということである。例えば、外科医がデックス―レイ（DEX-Ray）（登録商標）型プローブを患者の頭蓋骨中に有しているとき、彼は、ベース コンピュータの近くにいる誰かに指示を出さないかぎり、一般的にナビゲーションシステムのインターフェースを制御することが不可能である。もちろんこのことは、望ましいことではない。そのようなコンピュータは、通常、完全に画像／音声をレンダリングすることに占有されているからである。
【００１８】
患者の頭蓋骨内のプローブを用いて、外科医は患者の脳の中の自分の方向を見つけようとする（すなわち、異なる領域を指示し、いまだ切断していない組織を超えてポイントすることはできない）ので、外科医は、プローブの位置を大きく変更することなく、他の画像モダリティー、他の区分化された構造（腫瘍、血管、神経（例えば、拡散テンソルイメージングなどを介して）を調べる助けが必要となるであろう。そのようなシナリオで、外科医は、プローブを使って指し示すことができ、また、話したり、聞いたりすることができるが、頭蓋骨に出入りすることができないことがしばしばある。この状況では、異なる可視化を提供する別の外科医（もしくは専門技術をもつアシスタント）の援助があれば有用であろう。そのような異なる可視化は、例えば、どの血管が最も近くにあり、どの神経が腫瘍の周りにあるかといったことを示すものである。そのような「可視化アシスタント」は、外科医のナビゲーションシステムと、デキストロネット（DextroNet）を介して接続することができる。
【００１９】
Ｃ．デキストロスコープ（Dextroscope）（登録商標）−カスラボ（Cathlab）（登録商標）型相互作用
別法として、本発明の実施態様において、デックス―レイ（DEX-Ray）（登録商標）―デキストロスコープ（Dextroscope）（登録商標）相互作用と類似のパラダイムは、例えば、Ｘ線蛍光透視法表示の形態で、オンラインの情報を用いることができる。ここで遠隔援助は、例えば、同じ個体の以前のスキャンから作成されたリアルタイムのＸ線画像（２Ｄ透視図）と３Ｄ画像（例えば、心臓のＣＴもしくはＭＲスキャンからのもの）の間のコレジストレーションを正確に調節するのを助ける。血管は、Ｘ線では見えないので、インターベンション心臓病専門医は、造影剤を注入して血管を数秒間不透明して観察せざるを得ない。造影剤の注入は、腎臓に問題のある患者には指示されない、また、どんな症例においても、患者のためには、造影剤は、（健康面からも、医療費の面からも）最小限にとどめるべきである。したがって、可視化アシスタントは、患者のＸ線画像を、例えば、術前のＣＴと同期させるために、数秒間の造影剤の流れを利用することができる。この情報は、拡張バーチャルオブジェクトとして、Ｘ線画像上に提示することができる。例えば、それは、Ｘ線画像の隣の別のモニターに表示することができる。例えば、心臓は、Ｘ線画像上で拍動することができ、ＣＴもそれに合わせて拍動することができる。または、心臓病専門医がカテーテルを有している正しい血管を追跡するのをガイドする際に、単に凍結の瞬間を示すこともできる。
【００２０】
本発明の実施態様において、一人だけが３Ｄデータに影響を及ぼす相互作用をコントロールし（「メインユーザ」）、デキストロネット（DextroNet）上で接続している他の関係者（「リモートユーザ」）はこれらの作用を見ることができるが、データそのもの、もっと正確に言えばデータに関する彼らの見解を変えることはできないと想定される。さらに、そのような実施形態においては、デキストロネット（DextroNet）は、例えば、メインユーザの３Ｄ相互作用の詳細のみをネットワーク上に送信する。そして、その後、各リモートワークステーションまたはシステムにおいて対話させる。これは、１人のユーザが、彼の相互作用に関するデータをリモートサーバに送信していた従来のシステムとは対照的なものである。そして当該リモートサーバはその後、コンピュータ処理を行い、リモートビューアに、３Ｄデータの最終的な画像を作成する、ステップや操作の順序を指示することなく、最終的なコンピュータ処理画像を返信する。
【００２１】
例えば、SGI's Vizサーバ（登録商標）のような従来の解決法は、一方向のネットワークのみを提供する。本発明の実施態様において、デキストロネット（DextroNet）は、多方向ネットワークである。SGI's Vizサーバ（登録商標）などのアプローチは、１人のユーザのみが最終的な投影図を所与の３Ｄシーンから要求するといった想定に頼っている。ちょうど１つの投影図（もしくは、例えば、ステレオのための一対の投影図）が必要である場合、リモートコンピュータは、画像を計算（レンダリング）し、得られたピクセルをクライアントに送信する。そしてそのクライアントは、局所でレンダリングすることによって得るものとは区別ができない画像を見ることになる。ユーザは、カーソルを動かして、例えば、回転操作を行い、指令をリモートサーバに送信し、３Ｄモデルが回転することができるようになる。当該モデルは、再びレンダリングすることができ、画像は、クライアントが見るように送信することができる。しかしながら、そのような従来のアプローチは、他のユーザにそれら自身の３Ｄ相互作用装置（そのようなスタイラス、プローブなど）を３Ｄモデルに介入させない。なぜなら、スタイラスに関するモデルについての深さ情報が存在しないからである。それはまた、クライアントに分離可能な視点を作成させない（以下に示す）。入手可能なものは、１人のユーザの視点からのピクセルだけだからである。
【００２２】
さらに、そのようなアプローチでは、最終的なレンダリングを得るために、どのようなステップが取られているかをリモートユーザに対して正確に示すことができない。もし彼が、そのようなインタラクティブな指令順序を実際に学びたいと関心を持っても、それをすることができない。対照的に、本発明の実施態様において、３Ｄモデルが、各ワークステーション（例えば、ティーチャーおよびスチューデント、または、例えば、可視化アシスタントと外科医、または、例えば、可視化アシスタントと実際の患者に処置を施す他の診断医または治療専門家などのステーション）において入手可能であり、その後、モデルの３Ｄを、それぞれステーションを有しているユーザの３Ｄと組み合わせることができ（すなわち、ツールや他のオブジェクト）、そのそれぞれをレンダリングすることができる。
【００２３】
データに対して遠隔から影響を及ぼすために、本発明の実施態様において、メインユーザのスタイラスの３Ｄ相互作用を、例えばリモートユーザの（リモート）バーチャルコントロールパネルと対話させるように、配置することができる。ことができる。そのような実施形態において、そのようなコントロールパネルの相互作用は、リモート機上でシステム指令に、例えば、「切断ボタンを押す」または「ズームスライダーを２．０にスライドさせる」のように翻訳される必要はない。むしろ、そのような実施態様においては、所与のメインユーザの操作は、リモートユーザの世界、例えば、リモートユーザ機の上に、操作されたメインユーザのツールの結果として、リモートユーザ機の上にメインユーザのツールを表示させることによって、現れるかもしれない。リモートユーザ側では、メインユーザのルールは、リモートユーザのバーチャルコントロールパネル上のボタンの上方の位置に現れ、その状態は、例えば、「起動動作」（ツールの４つの例示的な動作の１つ）であり、その後ボタンが押される。特別な指令は必要とされない。このように、リモートツールは、メインユーザもしくはリモートユーザの側でのローカルツールと同じ趣旨で作用することができる。したがって、メインユーザの機械の側（または、従来のVizサーバ（登録商標）アプローチを用いて）で示唆される余分なシステム指令を用いて操作に影響を及ぼす場合と比較して、これはよりシームレスな統合に到達することが可能である。システムレベルの指令を用いない別の理由は、リモートユーザの側の不連続な画面を避けるためである。例えば、もし、リモートユーザの側のバーチャルコントロールパネルとのスタイラス相互作用が連続的でなかったら、ツールは、依然としてシステム指令を介して機能することができたとしても、リモートユーザは、機能もしくは操作「Ｂ」が起こっている間、ボタン「Ａ」の上にツールがあるかどうかについて混乱する。もし、ツールの位置の表示を、上記のように同期させることができれば、余分のシステム指令は必要でなく、ツール自身で行うことができるであろう。
【００２４】
バーチャルコントロールパネルの目盛りは、異なるプラットフォームのユーザ間で変化し得ることがわかる。これは、例示したデキストロネット（DextroNet）を介して接続される種々の３Ｄ可視化システムのハードウェアおよびソフトウェアの構成が存在し得るためである。例えば、この譲受人であるボリュームインタラクション社（Volume Interactions Pte Ltd）によって提供される種々のシステムを用いることを説明すると、デキストロビーム（DextroBeam）（登録商標）は、ミラーを備えていないため、「反射された」目盛りを持たない。一方、デキストロラップ（DextroLAP）（登録商標）システムは、マウスを使用し、３Ｄトラッカーを使用しない。したがって、本発明の実施態様において、メインユーザの３Ｄ目盛りは、すべての接続されたリモートユーザに送信することができる。該リモートユーザは、一般に、異なる構造およびモデルの、種々の３Ｄインタラクティブ可視化システムプラットフォームを介して接続されている。そのような目盛り送信は、例えば、リモートユーザの側で正しいボタンを正しい時間に押すことによってメインユーザによって行われる３Ｄ相互作用を保障する。したがって、デキストロネット（DextroNet）と接続すると、プロトコルは、例えば、リモートユーザ側のコントロールパネルを、（位置、方向、大きさなどに関して）メインユーザ側のものと同一にする。その結果、コントロールパネル上でのメインユーザの操作が、様々なリモートユーザの機械上に複製される。
【００２５】
メインワークステーションがインターフェースと視点とをリモートワークステーションに同期させると、それは、以下において図５５（ａ）と関連付けて記載するように、例えば、コントロールパネルのパラメータをリモートワークステーションに送信する。こうして、リモートワークステーションがこれらのパラメータを受け取ると、例えば、この情報を用いて、自身のコントロールパネルや局所に表示されたオブジェクトを更新する。このプロセスが完了するとすぐ、メインユーザのツールは、例えば、リモートコントロールパネルを操作するために使用される。そして、メインユーザおよびリモートユーザの最初の視点を同じにすることができる。
【００２６】
本明細書においては、種々の例示的パラダイムが記載されている。言葉の節約のために、特徴は、「ティーチャー―スチューデント」パラダイムに関連付けて詳細に記したが、これは、「外科医−可視化アシスタント」パラダイムにも適用可能なものである。逆も然りであり、繰り返して説明しないことにする。「外科医−可視化アシスタント」パラダイムは、「ティーチャー―スチューデント」パラダイムと同様に機能する。後者においては、記録された、もしくはリアルタイムのビデオ、リアルタイムのイメージング（例えば、蛍光透視法、超音波、など）またはリアルタイムの機器位置情報が追加されており、それぞれ３Ｄデータセットにコレジスタされている。
【００２７】
Ｄ．デキストロネット（DextroNet）教育（ティーチャー―スチューデント）パラダイム
本発明の実施態様において、デキストロネット（DextroNet）接続は、教育用に使用することができる。例えば、デキストロネット（DextroNet）は、スチューデントに、外科手術の処置や計画、または、例えば、３Ｄインタラクティブ可視化システム、例えば、デキストロスコープ（Dextroscope）（登録商標）の使用について指導するために使用することができる。さらに、例示のデキストロネット（DextroNet）は、解剖学の指導に用いることができる。例えば、そのような遂行は、スチューデントたちに、人体の特定の複雑な解剖学の領域を習熟させるために使用することができる。さらに、例示のデキストロネット（DextroNet）は、例えば、 病理学の指導のために使用することもでき、したがって、検死試験の補足的な指導用ツールとして使用することができる（これは、患者が術中に死亡したときや、術前プランおよびそのような患者のスキャンデータが入手可能であるには特に有用かもしれない）。
【００２８】
本発明の実施態様において、デキストロスコープ（Dextroscope）（登録商標）、デキストロビーム（DextroBeam）（登録商標）、もしくはデックス―レイ（DEX-Ray）（登録商標）システム、またはそれらの均等物を熟知したインストラクター（例えば、医師、外科医、もしくは他の専門家であってもよい）は、例えば、少なくとも一人の遠隔に所在するスチューデントに対して、デキストロネット（DextroNet）を介して指導を行う。スチューデントは、インストラクターと同じ視点の相手役となる３Ｄモデルをを持つことができる。または、例えば、異なる視点を持つことができる。例えば、スチューデントは、インストラクターの視点を持つ１つのディスプレイ（またはディスプレイウィンドウ）を持っていてもよいし、異なる視点を持つ別のディスプレイ（またはディスプレイウィンドウ）を持っていてもよい。別法として、例えば、スチューデントまたはインストラクターは、 異なる視点間を切り換えることもできるだろう。これは、例えば、１つの画像がリモート視点であり、他方がローカル所画像である画像中画像を持っているようなものであり、ビデオ会議の行われる方法に類似している。そのような実施態様においては、双方の画像は、ローカルワークステーションに作成される（一方はローカルパラメータをもち、他方はリモートパラメータをもつ）。または、例えば、リモート画像は、遠隔にレンダリングされ、Vizサーバ（登録商標）アプローチと類似した方法（最後のピクセルのみ送信し、相互作用は送信しない）で送信される。したがって、所与のユーザは、リモートユーザが見ているものと全く同じものを見ることができる。「あなたは、私が見ているものを見ていますか？」といった疑いをもつことはない。
【００２９】
説明を簡易にするため、そのような教育的態様における関係者を「ティーチャー」もしくは「インストラクター」（メインユーザ）および「スチューデント」（リモートユーザ）と称する。次に、ティーチャー―スチューデントパラダイムの例を図１および３を用いて説明する。
【００３０】
本発明の実施態様において、ティーチャーは、例えば、スチューデントのリアルタイムのビュー画像を見ることはできないが、ティーチャーのワールド内に表示されているスチューデントのツールのポインタの方向によって、スチューデントが見ているもの（スチューデントの関心領域を示唆し得るものである）を知ることができる。リモートスタイラスの見かけからリモートステーションの視点を正確に「知る」ことができないときには、周知もしくは想定される事実、例えば、右側の人によってスタイラスが使用されている。それを使って前方向に指し示しているといったことなどから推量することができる。
【００３１】
そのような例示のシナリオは、ティーチャーが複数のスチューデントに教えることができるように設計されている。したがって、ティーチャーは、スチューデントがボイスや他のシグナルで質問をしてこない限り邪魔されることはない。その後、そのような質問のあるスチューデントの要望に基づいて、例示のティーチャーは、例えば、所与のオブジェクトを回転させ、容易に彼の視点をスチューデントの視点に並べることができる。彼はスチューデントがどのようにしてスチューデントのツールの方向からオブジェクトを見ているかについて実質的に明らかにすることができるからである。別法として、ティーチャーおよびスチューデントは、彼らの役割を逆転させることができる。これは、本発明の実施態様においては、例えば、以下に記載するように（「役割切り換え」（Role Switch））、２〜３のボタンをクリックすることによって、容易に実現することができる。記載しているように、本発明の実施態様において、ティーチャー―スチューデントパラダイムにおいては、スチューデントは、例えば、特定のオブジェクトに所属するボクセルもしくは複数の３Ｄ画像を変更しないいくつかの操作を除いては、オブジェクトを局所的に操作することはできない。そのような操作には、例えば、オブジェクトに対する翻訳、回転および／もしくはポインティング、またはオブジェクトのズーミング（倍率の変更）がある。これは通常、指示または複数の指示が、３Ｄデータセットと衝突するのを防ぐ。
【００３２】
一般に、リモートユーザ（例えば、ティーチャーとして行動しない、スチューデント、外科医、または可視化アシスタント）が実行できるローカルコントロールは、しばしば限定することができる。なぜなら、上記したように、一般的に、ティーチャーの（または可視化アシスタントの）データセットの操作は、各スチューデントの（または外科医の）機械に局所的に実行されるからである。すなわち、メインユーザの相互作用は、ネットワークを介して送信され、局所的に実行される。メインユーザはこのように、リモートユーザの（ローカル）機械のコントロールを有している。このような実施態様において、もしスチューデントが、ティーチャーの処理が最早意味をなさないかのように彼／彼女のデータのローカルコピーを変更することができたとしたら、混乱が生じ得る。例えば、標準的なデキストロスコープ（Dextroscope）（登録商標）上で、ユーザは、３Ｄデータセット中のオブジェクトの区分化の完全なコントロールを有している。例えば、その区分化は、オブジェクトの色彩自動照合表を変更することによって、変更することができる。あるいは、区分化だけをそのままにすることもできるし、既に区分化されているオブジェクトと関連する色や透明性をただ変えることもできる。後者の操作は、オブジェクトのもともとのコンテンツを変更しないが、その可視化パラメータを変更することはできる。
【００３３】
さらに、一般に、操作対象のオブジェクトの大きさについてのいくつかの想定に基づいて作動するデキストロスコープ（Dextroscope）（登録商標）型システム内ならびにインタラクティブ３Ｄデータセット可視化システム内には、多くのツールおよび操作が存在する。例えば、ツールの先端からオブジェクトの最も近い表面に光線を当てることによって作動するポインティングツールがある。ローカルユーザがオブジェクトの区分化を変更したために、オブジェクトの最も近い表面がそのようなポインティングツールに近づいたり、または、そのようなポインティングツールから離れたりすれば、ティーチャーが彼のポインティングツールを持ち上げ、オブジェクトを指し示したとき、スチューデントの画面上で、そのようなポインティングツールは、全く異なるオブジェクトにタッチするかもしれない。実際、スチューデント機では、ティーチャー機の上にあるものを通って、正しく進み、オブジェクトの表面へ行くことができる。一般に、ドリリングツール、ピッキングツール、輪郭線抽出ツール、イソ表面作成ツール、および種々の他のツールは同様に、それらが操作しているオブジェクトの大きさに依存している。したがって、記載したように、本発明の実施態様において、スチューデントのローカルコントロールパネルは、ティーチャーのコントロール下にある。そのような実施態様において、スチューデントができることは、ティーチャーの視点から離れ、彼が望むオブジェクトの回転、翻訳、拡大（ズーム）、または色もしくは透明性（大きさではない）を調節することだけである。したがって、ティーチャーと各オブジェクトの間の関係は保存される。どのくらい多くのコントロールがスチューデントに及ぶのかといった問題が常に生じる。本発明の実施態様において、その問題は、一般に、実際のデータセットを変更しないあらゆる局所の行動を可能にすることによって、解決することができる。
【００３４】
それにもかかわらず、本発明の実施態様において、ローカルユーザに、彼のローカルデータに対して「真に」影響を与えないが、むしろ後にその影響が表示され、一方、メインユーザの操作は、「ゴースト化」されたように表示される、データのローカルコピー上で作動する特定の操作をさせるようにすることで、複雑さが増すことがあり得る。
【００３５】
例えば、ティーチャーは、１以上のスチューデントに対して、種々のツールを用いた３Ｄデータセット間のオブジェクト間の種々の測定方法を説明していることもある。当該ティーチャーは、測定を行うことができ、それらは、スチューデントに見られるであろう。しかしながら、ティーチャーは、スチューデントが類似の測定を行うことができる能力をテストすることを望み、スチューデントに、教わったばかりのことを適用し、ティーチャーがまだ行っていない追加の測定を行うように求める場合もある。
【００３６】
スチューデントは、例えば、それらの測定を行い、例えば、彼の機械上に表示することができる。その後、ティーチャーは、例えば、スチューデントの機械のスナップショットを撮影し、スチューデントの技量を評価する。同様に、スチューデントは、「真の」データセットおよび、「ゴースト化」されたようにではなく、ティーチャーによるその「真の」操作が示され得る、彼のディスプレイに表示され得るデータセットを操作することができる。このように、ティーチャーの操作のすべてが、スチューデントの機械に表示されるように、オブジェクトのゴースト化された境界上で作用する。そして、スチューデントの局所操作は、切れ目のない状態で、機械上の必要な範囲で（すなわち、３Ｄデータセットに影響を及ぼすであろう程度に） 作用する。したがって、多大な複雑さと更なるローカルプロセシングといった犠牲の上で、スチューデントは、例えば、上記の翻訳、回転、ポインティング、および／または拡大など以外の操作を行うことが許されている。
【００３７】
尚、上記実施態様は、スチューデントが「増強した」分離モードに入る際には、彼が、データセット全体（３Ｄオブジェクトならびにコントロールパネルを含む）のコピーを作成することを要求している。この条件下では、スチューデントは、例えば、ローカル（コピー）データセット上で操作し、一方、ティーチャーは、リモートユーザまたはスチューデント機にゴースト化された状態で示されているオリジナルのデータセット上で操作することができる。こうして、２つの独立した画像処理プロセスは、例えば、同じ（スチューデントの）ワークステーション上で平行して作用することができる。もし、ティーチャーが、スチューデントによって開発された新しいアプローチを見たい場合、ティーチャーは、スチューデントの画像のスナップショットを撮影し、それについて両者で議論することができる。
【００３８】
本発明の実施態様において、ティーチャーの役割をこのように関係者から関係者に渡す役割切り換えを用いると、スチューデントは、ティーチャーからコントロールを引き継ぐ。彼は、例えば、操作または他の処置をどのようにして行うかを実証することによって、ティーチャーのオブジェクトのワークを引き続いて行い、彼の意見を提供する。これによって、すべての関係者による協同が可能になる。そのような実施態様においては、所与の時間には、ネットワーク上にティーチャーが一人存在し、そのような協同は、対立の問題を生じることなく連続的に行われる。
【００３９】
本発明の実施態様において、デキストロネット（DextroNet）は、異なる帯域幅の種々のネットワークによってサポートされている。ある実施態様において、デキストロネット（DextroNet）が教育的指導のために用いられる場合、例えば、低速ネットワークが行われる。例示のデキストロネット（DextroNet）を介して 接続されている３Ｄインタラクティブ可視化システムのそれぞれは、例えば、手術計画、手術の処置、または解剖学的構造のイメージングおよびビデオデータのコピーをもつことができる。したがって、典型的にはサイズの小さいトラッキングデータ、制御信号またはグラフィカルもしくは画像パラメータデータは、ネットワークを介して送信することができる。一般的には、デキストロネット（DextroNet）中では、ネットワーク情報は、例えば、メッセージおよびファイルの２つに分類することができる。メッセージは、例えば、トラッキングデータ、制御信号などを含むことができる。ファイルは、例えば、送信前に圧縮することが可能なグラフィカルおよび画像データを含むことができる。これを以下においてより詳細に説明する。
【００４０】
記載したように、本発明の実施態様において、１人のユーザによって導入された行動は、少なくとも他の１人のユーザ（スチューデントもしくは ティーチャー）のリモートロケーションに送信することができる。そこでは、第２のワークステーションが局所的に対応する画像を計算する。ネットワークで結ばれた関係者間のボイスによる通信は、帯域外とすることができる。例えば、低速ネットワーク態様においては電話で、または、例えば、高速ネットワーク態様においては、ボイス−オーバー−ネットワークシステム、例えば、ボイス−オーバーインターネットプロトコル（「VoIP」）を介して行われる。さらに、高速ネットワークは、カメラプローブ（Camera Probe）出願に記載されているようにカメラプローブ（Camera Probe）によって作成されるモノ−もしくはステレオビデオ情報の転送を収容することができる。このビデオ情報は、例えば、コンピュータが作成する画像と組み合わせることができる。または、分離したディスプレイもしくは ディスプレイウインドウで見ることができるようにしてもよい。３Ｄではないビデオ（または画像、スナップショット）の表示は、通常、「背景」としてのみ見られる。これは、画像またはビデオ（連続的な画像）は、実世界の投影図であって、３Ｄ情報を含まないからである。したがって、そのような画像またはビデオにおいて視覚可能なオブジェクトは、正確に３Ｄオブジェクト前部に位置づけることができる。そのような表示の可能性についてより詳細に下記において説明する。
【００４１】
本発明の実施態様において、デキストロネット（DextroNet）は、例えば、ワーキングを協同して、および独立してサポートすることができる。例示のシステムは、例えば、手術計画のためのスタンドアロンプラットフォームおよび独立したトレーニングとして使用することができる。そのような実施態様において、例えば、システム構成は、局所的に最適化することができる。スチューデントのシステムのインターフェースの位置や方向は、したがって、インストラクターのシステムのものと異ならせることができる。しかしながら、もしネットワーキング機能が起動すれば、スチューデントのシステムは、例えば、インストラクターのシステムのそれと合わせるよう、システム構成を変更することができる。これによって同等のシステム間に存在し得るミスマッチを避けることができる。
【００４２】
Ｅ．デキストロネット（DextroNet）外科医−可視化アシスタントパラダイム
本発明の別の実施態様において、インストラクター は、例えば、遠隔に所在する少なくとも一人のスチューデントを教えることができる。そして、「可視化アシスタント」は、画像を操作し、そのようなアシスタントが見るものを見るために必要なステップを助言することによって、あるいは、彼の視点のすべてを見ることができるように周期的に転送するティーチャーの役割によって、インストラクターを援助することができる。例えば、可視化アシスタントは、関心オブジェクト（例えば、カラールックテーブルもしくはオブジェクトの透明性）を強調する；関心オブジェクトを拡大（ズーム）する；方向または視点を変化させる；記録された処置のビデオ画像の再生、停止、巻き戻し、早送り、もしくは一時停止を行う； 分割されたスクリーンに異なる視点を提供する；表示するために、ビデオ画像とコンピュータ生成画像とを組み合わせる；モノおよびステレオ画像の表示の間でトグルを行う（それらがビデオ画像であるか、コンピュータ生成画像であるか）；ならびに、他の関連する操作およびプレゼンテーションタスクを行うために画像を処理することができる。インストラクターおよびスチューデントに加えて、可視化アシスタントを関与させることによって、インストラクターは、例えば、スチューデントを教えることに集中し、正確に言えば、画像の処理に注意を集中させる。さらに、アシスタントがシステムコントロールを渡し、それによってティーチャーとなったとき、３Ｄインタラクティブ画像システムを熟知していないかもしれないスチューデントは、彼らが必要とするかもしれない視点や情報を取得する際に助けてもらうことができる。
【００４３】
本発明の実施態様において、外科医または内科医および「可視化アシスタント」は、実際の手術中、または他の医療処置の間、デキストロネット（DextroNet）上で協同することができる。そのような実施態様において、通常、当該可視化アシスタントはメインユーザとして、内科医はリモートユーザとして行動する。外科医または内科医は、手術室または治療室で、例えば、手術を行ったり、いくつかの医学的、診断的、または治療的処置を患者に施したりすることができる。そして、可視化アシスタントは、例えば、外科手術部、外科手術上のギャラリー、隣接した部屋、または異なる場所すべてといった、離れたところに居る。これは、外科医−アシスタントパラダイムとして、以下に詳細に、図４乃至８を用いて説明する。
【００４４】
可視化アシスタントの仕事としては、例えば、手術をしている外科医と、例えば、ボイスで接触し、３Ｄ表示を外科医の最大限の援助となるように動的に操作することをあげることができる。他のリモートユーザは、観察することはできるが、例えば、リモートユーザとして、自由にデータを操作することはできないであろう。
【００４５】
例えば、外科医が、脳神経外科の処置と関連付けてデックス―レイ（DEX-Ray）（登録商標）を使用する場合を想定する。そのような例示的な実行においては、彼のメインディスプレイは、カメラプローブ（Camera Probe）出願に記載されているように、カメラの視点から見ることができるデータセットのそれらの部分に限定される。しかしながら、可視化アシスタントは、視点からのバーチャルデータを自由に見ることができる。本発明の実施態様において、可視化アシスタントは、２つのディスプレイを持つことができ、外科医の視点と彼の視点の双方を見ることができる。例えば彼は、外科手術を反対の視点から見ることができる（すなわち、腫瘍または他の頭蓋内構造に固定された誰かのものと、外科医が、彼の視点に「外部」から「入ってくる」所を見ることができる。
【００４６】
例えば、外科医が視神経の近くを手術しているとしよう。カメラプローブ（Camera Probe）出願に記載しているように、ユーザは、データセット中にマーカーとして、１以上のポイントをセットし、プローブの先端からそれらのマーカーまでの動的距離が連続的に読み出されるのを見る。さらに、ユーザは、１以上のトラッキングされた手術器具（ビデオ画像を取得しないであろう）を用いて同じことをすることができ、その結果、可視化の専門家は、例えば、外科医が実際に手術をしているときに入力を行うことができる。外科医が視神経近傍の位置に対する全体の表示に専念できないとき、可視化アシスタントはできる。
【００４７】
こうして、例えば、可視化アシスタントは、外科医が手術を行っている領域をデジタルにズームし、外科医の近くの視神経に沿って５つのマーカーポイントを設定し、それぞれまでの距離をモニターすることができ、特定の安全限界に外科医が居るかどうかを彼に忠告する。さらに、場合によっては、可視化アシスタントによって設定された新たなマーカーおよび動的距離を、外科医のシステムディスプレイに可視化、可聴化することもできる。メインユーザである可視化アシスタントは、３Ｄデータセットをコントロールするからである。
【００４８】
カメラプローブ（Camera Probe）に記載しているように、ユーザは、組み合わされた（拡張現実感）画像を含めた種々のバーチャル構造を特定することができる。理想的には、これは、外科手術の進行に合わせて動的に行われ、各段階において、その段階に関連する区分化を可視化することができる。しかしながら、実際には、一人で作業している外科医には、通常不可能である。外科医は、可視化の専門家でもなければ、当該システムの可能性を動的に自由に精神的に利用することもできないからである。しかしながら、可視化アシスタントはそれを行う。外科医が所与の領域に来ると、可視化アシスタントは、外科医に最良のガイドをするために構造を追加したり、取り除いたりすることができる。例えば、彼は、ある構造が外科手術前に区分化されなかったもの、例えば、術前のスキャンには現れなかった腫瘍の指状小片や繊維状のものといった脳構造の一部に関連する場合、オブジェクトをその場で区分化することができる。したがって、本発明の実施態様において、リモートビューアは、より多くの自由を持つことができ、したがって、計画前、例えば、いくつか挙げれば、カラライゼーション、透明性、区分化閾値などの間には行えなかった、あらゆる画像プロセシングを行うことができる。
【００４９】
類似性を利用すれば、外科医は、競技場の情報のプレスボックスで、高い視線から鳥の目でゲームを見て、他のチームの作戦行動におけるパターンを見ながら無線でコーチに話をするアシスタント（可視化アシスタント）がいるフットボールのコーチに類似すると考えることができる。そのような専門的助言をする人は、本発明の実施態様においては、例えば、自分のスクリーンと外科医のスクリーンの両方を見て、その両方に表示されたバーチャルオブジェクトを動的にコントロールして、手術をしている外科医に対して最良の援助を行うことができる。
【００５０】
ＩＩ．ティーチャー―スチューデント相互作用
Ａ．例示的プロセスフロー
次に、本発明の実施態様における、ティーチャー―スチューデントパラダイムのプロセスフローを説明する。
【００５１】
図１は、本発明のある実施態様におけるティーチャー型コンソールの例を示す図である。この図を用いて説明する。１０１では、例示のシステムは、接続しているあらゆるスチューデントの確認をすることができる。こうして、１０２では、新たなスチューデントが参加したか否かを決定することができる。Ｙｅｓであれば、１０３において、インターフェースおよびデータが、ティーチャーコンソールと、新たに参加したスチューデントのためのスチューデントのコンソールの間において同期を取ることができる。Ｎｏであれば、プロセスフローは１０１に戻り、当該システムは、参加するかもしれないあらゆるスチューデントの確認を行う。
【００５２】
１０３に戻る。例えば、コンソールの３Ｄインターフェースのボタンを明確にクリックすることによって、新たなスチューデントがデキストロネット（DextroNet）に参加すると、ティーチャーは、例えば、当該スチューデントにメッセージを送信し、それぞれのインターフェースとオブジェクト、例えば、スライダー、ボタンなどを同期させる。そのようなメッセージには、例えば、ティーチャーのコントロールパネルの位置、方向、大きさ、コントロールパネル上のバーチャルウインドウ機器（「ウィジェット」）、例えば、ボタンの上げ下げ、色彩自動照合表の設定、データセット中のバーチャルオブジェクトの位置、方向、大きさ、あらゆる入手可能なビデオを含むことができる。あるいは、ティーチャーが、スチューデントの側のデータが自分のものとは違いすぎることを見つけた場合、ティーチャーは、自分とスチューデントのそれぞれのコンソールの間の全体のデータセットの完全な同期を選択して行うことができる。これは、例えば、ティーチャーのコンソールによって、データセットを圧縮（スナップショットや記録を除去）し、それを新たにデキストロネット（DextroNet）セッションに参加したスチューデントに転送する。一旦、ティーチャーと新たに参加したスチューデントによって共有されるインターフェースならびにデータが同期されると、それらの協同的インタラクティブな可視化のための準備が完了し、次に説明するように、プロセスフローが図１の残りの部分を含むメインループに続く。
【００５３】
１１０において、例示のティーチャーシステムは、スチューデントビデオが受信されたかどうかを照会することができる。これは、例えば、スチューデントがデックス―レイ（DEX-Ray）（登録商標）型システムを操作すれば行われる。Ｙｅｓであれば、プロセスフローは１１１に進むことができ、そこで、前記スチューデントのビデオがレンダリングされ、プロセスフローは１２５に進むことができる。Ｎｏであれば、スチューデントビデオが受信され、プロセスフローは直接１２５に進むことができる。さらに、ティーチャーのワークステーションがビデオを利用可能とすれば、１０５において読み取られ、１０６においてレンダリングされ、そしてプロセスフローは、１２０に進むことができ、そこで当該システムは、そのようなあらゆるビデオが利用可能かどうかを照会することができる。
【００５４】
記載したように、１２０において、ティーチャーのビデオの利用可能性が決定される。Ｙｅｓであれば、１２６においてビデオフレームを送信することができ、プロセスフローは１２５に進むことができる。Ｎｏであれば、プロセスフローは１２５に進むことができ、そこで、ティーチャー３Ｄデバイスが読み取られる。ここで、ティーチャーは、バーチャルツール（例えば、スタイラス、データセットにおけるティーチャーの現在位置を示すアバター、またはドリル）の位置、方向、および状態を、それによってオペレータがデータセットと対話する３次元のコントロールの動きおよび状態を連続的にトラッキングするローカルトラキングシステムから、更新することができる。例えば、結腸鏡検査法アプリケーションを行っている標準的なデキストロスコープ（Dextroscope）（登録商標）においては、そのような３Ｄコントロールは、例えば、スタイラスやユーザ（ここではティーチャー）が右手および左手にそれぞれ持つジョイスティックであることができる。または、例えば、デキストロスコープ（Dextroscope）（登録商標）で他のアプリケーションを行う場合、代わりにユーザは、例えば、６Ｄコントローラーを左手に持つ。ティーチャー側の３Ｄ装置が１２５において読み出されると、ネットワーク（スチューデント）３Ｄ装置を１３０において読み出すことができ、ティーチャーワークステーションは、例えば、スチューデントの代表的なツールの位置、方向および状態を、スチューデントのワークステーションからネットワークを介してから受信したメッセージを介して更新することができる。
【００５５】
プロセスフローは、１３０から、例えば１３５に進み、そこでティーチャー側の相互作用がネットワークを介してスチューデントに送信される。ここで当該ティーチャーは、自分が使っているあらゆるツール、例えば、トリミングツール、ドリル、スライスビューアツール、など、ならびにキーボードイベントなどの位置、方向および状態をスチューデントに送信することができる。そのような位置および方向は、下記のデータフォーマットのセクションに記載したように世界座標に変換することができる。
【００５６】
プロセスフローは、１３５から、例えば１４０に進むことができ、そこで、スチューデントが現在、ローカルスチューデントディスプレイにおいてティーチャーのビューに従うことを希望しているかどうかを判定する。Ｙｅｓであれば、１４５において、当該視点は同期される。すなわち、ティーチャーは、スチューデントの視点の同期のリクエストを受信すると、当該ティーチャーは、彼のワークステーション内のバーチャルオブジェクトの位置、方向および大きさをスチューデントに送信する。Ｎｏであれば、１４０において、スチューデントは、したがって、彼の視点に従うことを選択する。そして、プロセスフローは１５０へ進み、そこで、データセットの３Ｄビューがレンダリングされる。こうした相互作用が進んでいるので、プロセスフローループは、１５０から１１０および１２０に回って戻り、そこで、例えば、デキストロネット（DextroNet）セッションが起動している限り繰り返され得る。そして、３Ｄデータセットの相互作用および操作は、連続的にネットワークに送信される。さらに、下記に示すように、スチューデントは、ティーチャーのものによるとは限らないが、ティーチャーの視点を見ることと、自身の（ローカル）視点を見ることの間でトグルすることができる。スチューデントの視点選択の現在の状態は、したがって、連続的にテストし、１４０までの各ループにおいて認識することができる。
【００５７】
対応するスチューデントのコンソールでのプロセスフローを説明する前に、次に、本発明の実施態様におけるデキストロネット（DextroNet）の種々の例示的構成を図２を用いて説明する。
【００５８】
図２は、デキストロネット（DextroNet）ネットワーク２５０とそれに接続する種々のコンソールの例を示す図である。例示の接続されている例示の装置はすべて、ボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）の製品または製品のプロトタイプである。例えば、デックス―レイ（DEX-Ray）（登録商標）型ワークステーション２１０は、デキストロネット（DextroNet）に接続することができる。上記したように、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションは、カメラプローブ（Camera Probe）出願に記載されている技術を行うワークステーションである。そのような技術は、例えば、脳神経外科のプランニングおよびナビゲーションを含む種々のコンテクストにおいて有用である。デックス―レイ（DEX-Ray）（登録商標）型ワークステーションにおいては、例えば、脳の術前の３Ｄスキャンデータ、またはバーチャルデータ、およびリアルタイムビデオ区分化された、およびプロセシングされた組み合わせビューを作成することができる。デックス―レイ（DEX-Ray）（登録商標）型ワークステーションは、ティーチャーコンソールとして機能することができ、そこでは、神経外科医が、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションを用いて、そのような組み合わせ画像を、手術プランニングを行っているとき、または外科手術を実行しているときでさえ、ネットワークで接続された他者へ示すことができる。または、より都合のよいことは、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションは、可視化アシスタントをティーチャーとして機能させ、スチューデントとして操作できることである。引き続き図２を用いて、２２０および２３０は、デキストロネット（DextroNet）に接続されたデックス―レイ（DEX-Ray）（登録商標）型ワークステーションを示す。標準的なデックス―レイ（DEX-Ray）（登録商標）型ワークステーションにおいては、３Ｄデータセットをインタラクティブに可視化することができるが、デックス―レイ（DEX-Ray）（登録商標）型コンソールとは異なり、一般的に生のビデオを捕捉し統合することはできない。しかしながら、標準的なデキストロスコープ（Dextroscope）（登録商標）があらかじめ記録しているビデオ３Ｄデータセットに統合し、例えば、神経外科手術の「ポストモーテム」分析およびレビューにおいて生じたように操作することができ、そこでは、デックス―レイ（DEX-Ray）（登録商標）が用いられる。
【００５９】
デキストロビーム（DextroBeam）ワークステーション２２０およびデキストロスコープ（Dextroscope）（登録商標）ワークステーション２３０は、本質的に同じ装置で異なる特色を持つものである。それは、主にディスプレイインターフェースが異なっている。デキストロビーム（DextroBeam）は、標準的なコンピュータ ワークステーションのような接続されたディスプレイを持つ代わりに、そのディスプレイを２２０に示すように、例えば、壁やスクリーンに投射するためのプロジェクタを用いる。逆に、デキストロスコープ（Dextroscope）（登録商標）は、通常２つのディスプレイを有している。１つは、オペレータが、鏡の下で３Ｄコントローラをつかみながら自分で実際に３Ｄデータセット上で操作しているように、リーチインインタラクティブ感をもつことができるように画像を鏡に投射する統合されたモニターである。もう一方は、鏡に投射されたものと同じコンテンツを表示する標準的なディスプレイモニターである。
【００６０】
したがって、図２に示すように、本発明の実施態様における例示のデキストロネット（DextroNet）ネットワークを用いた種々の協同的インタラクティブパラダイムが利用可能である。デックス―レイ（DEX-Ray）（登録商標）型ワークステーション２１０は、デキストロスコープ（Dextroscope）（登録商標）型ワークステーション２３０またはデキストロビーム（DextroBeam）ワークステーション２２０と協同することができる。あるいは、例えば、それは、デックス―レイ（DEX-Ray）（登録商標）ワークステーション２１０（図示せず）とも協同することができる。さらに、デキストロビーム（DextroBeam）ワークステーション２２０は、別のデキストロビーム（DextroBeam）ワークステーション２２０またはデキストロスコープ（Dextroscope）（登録商標）ワークステーション２３０とネットワーク２５０を介して対話することができる。
【００６１】
さらに、図２には示されていないが、他の３Ｄインタラクティブ可視化システムをデキストロネット（DextroNet）に接続することができる。例えば、同じくボリューム・インターラクション社（Volume Interactions）により提供されるデキストロスコープ（Dextroscope）（登録商標）およびデキストロビーム（DextroBeam）システム上で動くソフトウェアである、ラジオデキスター（RadioDexter）（登録商標）の一バージョンがある。これは、３Ｄ操作が２Ｄコントロールにマッピングされるラップトップ（または他のＰＣ）上、例えば、標準的なマウスやキーボードで起動する。そのようなソフトウェアの機能についてはデキストロラップ（DextroLap）出願に詳細に記載がある。そのようなソフトウェアを、ここでは「デキストロラップ（DextroLap）」と呼ぶ。デキストロラップ（DextroLap）コンソールは図２には示されていないが、これもデキストロネット（DextroNet）によく接続することができる。
【００６２】
さらに、特にティーチャー―スチューデントコンテクストにおいて２つ以上の協同するワークステーションが デキストロネット（DextroNet）上に存在する。そこでは、一人のティーチャーがデータセットを操作し、ネットワーク２５０に接続している多くのスチューデントのすべてが参加または傍観することができる。そのような実施態様においては、他のスチューデントの誰もが、例えば、各スチューデントのバーチャルツールを、ティーチャーのものと同様に見ることができる。図１０乃至３０を用いて説明するように、ティーチャーは、例えば、各スチューデントのＩＰアドレスならびにバーチャルツールの位置およびスナップショットまたはそれらの表示のリアルタイムのビデオを見ることができる。
【００６３】
本発明の別の実施態様においては、コントロール機能、すなわち、本明細書おいてはティーチャーとして記載されている操作機能性が、関係者から関係者に手渡され、あらゆる接続したシステムがそのデータとの相互作用を他の関係者に広めることを可能にしている。そのような実施態様においては、アイコンまたはメッセージは、例えば、どのシステムが次に操作するティーチャーであるのかを特定する。
【００６４】
デキストロネット（DextroNet）が提供し得る種々の協同の可能性から、スチューデントワークステーション上のプロセスフローを次に説明する。それは、ティーチャー―スチューデント相互作用が図２との関連で（図２に記載されているかどうか）説明した可能な接続のいずれかを利用することができることが理解できる。
【００６５】
図３を用いて説明すると、３０１において、スチューデントのコンソールは、利用可能なティーチャーとの接続を探す。これは、例えば、スチューデントのコンソールが、最初にインターネット上でデキストロネット（DextroNet）セッションに参加するという要求をブロードキャストすることによって行うことができる。もし、ティーチャーが利用可能であれば、当該スチューデントは、例えば、肯定応答を受信し、その後、接続されることができる。もし、インターネット（または他のデータネットワーク、例えば、ＶＰＮ）上でティーチャーが誰もアクティブ状態でなければ）、当該スチューデントは、例えば、所与のシステム構成によって規定されているようにサーバに接続し、ティーチャーを待つことになる。
【００６６】
ティーチャーが接続される（３０１において）と、プロセスフローが３０２に移動することができ、そこでは、スチューデントのコンソールが、当該スチューデントとティーチャーが協同的に対話するように、３Ｄデータセットに関連するインターフェースおよびデータを更新することを求めている。こうして、３０２において、スチューデントは、例えば、彼のコントロールパネルを、ネットワーク上で送信されてきたティーチャーのインターフェースとティーチャーのデータからのデータセットの位置、方向および大きさのパラメータを用いて更新することができる。彼はまた、ネットワーク上で送信されてきたメッセージを介して、コントロールパネル上のウィジェットの状態と、ティーチャーのシステム上のそれとを並べることができる。これらのメッセージは、例えば、バーチャルコントロールパネル上のボタンの上げ下げ、モジュールページ（例えば、デキストロスコープ（Dextroscope）（登録商標）に存在する；そのようなページは、種々の可能なモジュール、またはユーザが入る操作モードを示している、例えば、登録、区分化、可視化、など）、スライダーバーの現時点での値、コンボボックスの選択、色彩自動照合表設定などと関連付けることができる。
【００６７】
スチューデントは、例えば、彼のインターフェースが更新されると、３０２において、データ同期メッセージ、例えば、３Ｄデータセット中のバーチャルオブジェクトの詳細の位置、方向、大きさ、透明性、およびレベルなどを受信することもできる。記載しているように、同じデータセットにおいて、スチューデントバージョンのデータセットとティーチャーバージョンのデータセットとの間の違いがあまりに大きいと判断されれば（または、自動化プロセス中において、スチューデントのシステムによって）、彼はまた、ティーチャーが分析中の圧縮データセットの全体を送信するように要求することもできる。そのような場合、次にスチューデントのコンソールは、データを減圧し、リモートシナリオを再ローディングすることができる。あるいは、ティーチャーがある地点で時間内に行ったデータセットの相互作用のすべてを、スチューデント機の上で、局所的に行うことによって、ティーチャーは、全データセットではなく、相互作用リストを送信することができ、スチューデントのワークステーションが連続的にティーチャーバージョンのデータセットを受け取るようにする。インターフェースとデータが更新され、スチューデントのコンソールをティーチャーのコンソールと同期させると、プロセスフローは、次に説明する３１０および３２０に進む。
【００６８】
３１０において、ティーチャーのコンソールが何かビデオを送信したかどうかを判定する。Ｙｅｓであれば、ティーチャーのビデオは、３１４でレンダリングされ、プロセスフローは、３２５に進むことができる。Ｎｏであれば、３１０において、プロセスフローは、直接３２５に進むことができる。ビデオ発信の逆をアドレス指定すれば、すなわち、スチューデントのコンソールが、ティーチャーのコンソールに送信すべきビデオを持っていれば、ビデオフレームを利用可能かどうかが３２０において決定される。３２０でのプロセスフローを説明する前に、スチューデント側ビデオが存在すれば、スチューデントのコンソールは、３０５においてそれを読み出し、３０６においてそれをレンダリングする。３２０において利用可能であり、その後３２６においてそれを送信する。３２６から、プロセスフローは３２５に移動することもできる。例えば、スチューデントビデオが利用可能でない場合、プロセスフローは、３２０乃至３２５に直接進む。
【００６９】
３２５において、スチューデントのコンソールは、それ自身の３Ｄ装置（例えば、スタイラスおよびコントローラーまたはそれらの均等物、すなわち、ユーザが対話する実際の物理的インターフェース）を読み出す。これによって、示されているように、例えば、スタイラスおよび３Ｄコントローラーのトラッキングされた実際の位置によってバーチャルツールの位置、方向、および状態を計算できるようになる。スチューデントがデキストロラップ（DextroLap）システムを使用している場合、３Ｄ装置の代わりのマウスやキーボードが３２５において読み取られる。３３０において、スチューデントのコンソールは、例えば、ティーチャー３Ｄ装置を読み出すことができ、それに、ティーチャーの代表的なツールならびにキーボードイベントの位置、方向、および状態を、デキストロネット（DextroNet）で受け取ったメッセージから更新させる。３３０から、プロセスフローは、３４０に進むことができ、そこで、スチューデントが彼自身の視点をコントロールすることを選択するか、ティーチャーのものに従うかが決定される。Ｎｏの場合、スチューデントは、彼自身の視点をコントロールすることを選択し、プロセスフローは、次に３４５に進むことができ、そこでは、スチューデントは、例えば、ティーチャーの左手側のツール（この例では、３Ｄデータセット内のどこに所与のユーザが存在するか、どのオブジェクトが現在選択されているかを左手のツールがコントロールする。これは、２Ｄにおけるカーソルを動かすマウスに似ている）に関連するネットワーキングメッセージを無視する。そして、彼のローカルジョイスティックもしくは６Ｄコントローラーから直接的に、彼自身の左手側の位置、方向、および状態を読み出す。３４０において、Ｙｅｓであれば、したがって、スチューデントがティーチャーのースペクティブに従うことを選択すれば、彼の機械は、３４６において、ティーチャーへメッセージを送信し、ティーチャーのバーチャルオブジェクトの現在の位置および方向を問い合わせる。彼は、返答を受信するとすぐ、自身のオブジェクトを更新する。
【００７０】
３４０においてどの選択がなされたかにかかわらず、プロセスフローは、３４５または３４６乃至３５０のいずれかに進むことができる。そして、そこで、スチューデントのコンソールの３Ｄビューがレンダリングされ、その後プロセスフローは、決定３１０および３２０にもどり、その結果、上記したように、デキストロネット（DextroNet） インタラクティブプロセスフローは、連続的にセッションを通して繰り返す。
【００７１】
Ｂ．ティーチャー―スチューデント相互作用の特徴例
上記ティーチャー―スチューデントパラダイムから、本発明の実施態様において、下記の特徴が実行される。以下は、２人用のバーチャルツールをもち、１つのツールは１つのボタンスイッチをもち、ボタンとスライダーを持ち、可視化アプリケーションをコントロールするバーチャルコントロールパネルを利用するシステム上のユーザを想定している。そのような例示的システムは、例えば、ラジオデキスター（RadioDexter）（登録商標）ソフトウェアを動かす、ボリューム・インターラクション社（Volume Interactions Pte Ltd）（シンガポール）製のデキストロスコープ（Dextroscope）（登録商標）またはデキストロビーム（DextroBeam）（登録商標）システムとすることができる。.
【００７２】
１．トラッキング負荷の軽減
本発明の実施態様において、ネットワークデータ転送レートの可変性を取り扱うため、ネットワークに課されるトラフィック負荷を軽減するため、ならびにキーユーザの３Ｄオブジェクト上での相互作用が見失われないことを確実にするために、例えば、バーチャルツールのボタンスイッチの４つの状態、確認、スタートアクション、ドゥアクション、およびアクションの停止を利用することができる。「確認」状態においては、ユーザは、バーチャルツールをコントロールするスタイラスをクリックせずに、それを動かすだけである（これによって、位置および方向データが生じるが、「ボタンが押された」というデータは生じない）。したがって、そのようなバーチャルツールは、活動的な操作は行わずに、バーチャルワールドではローミングとしてのみ現れるが、オブジェクトにおけるポインティングとして見ることができ、持続的なやり方ではないが、実際はいくつかのオブジェクトがその状態を変化させるように誘発する。例えば、ドリルツールは、バーチャルツールがそれと対話しているとき、３Ｄオブジェクトのシースルービューを示すことができるが、ボタンが押されるまでオブジェクトをドリルすることはない。「スタートアクション」状態においては、スタイラスのボタンを押すことができ、それが、押し下げられた状態が維持されると、それは、「ドゥアクション」状態をアクティブにする。例えば、ユーザがスタイラスボタンを解除するとすぐ、ツールは、「アクションの停止」状態に入り、「確認」状態に戻ることができる。したがって、ほとんどの時間、バーチャルツールは、「確認」状態である。この状態は、ツールが実際に機能しているときにはそれほど重要な状態ではない。
【００７３】
したがって、「確認」状態では、バーチャルツールは、バーチャルワールドではローミングとしてのみ現れ、例えば、１つの位置から他の位置へ移動するなどの活動的な操作は行われない。この状態でそのようなツールの位置や方向を送信するデータパケットは、「意味がない」データパケットであると考えることができる。密集したネットワークが存在する場合、ティーチャーの「送信」バッファが未送出パケットでいっぱいになっている可能性がある。そのような状況においては、本発明の実施態様において、デキストロネット（DextroNet）ソフトウェアは、「送信」バッファを確認することができ、こうした「確認」状態のパケットを捨てることができる。大半の時間、バーチャルツールは、「確認」状態であるため、それによってトラフィック負荷を大幅に軽減することができる。これを、図５３を用いて説明する。例えば、図５３（ａ）に示すように、ティーチャーが、自分の「送信」バッファ中に１セットのメッセージを持っていると仮定する。ネットワーク接続が低速である場合、彼は、例えば、図５３（ｂ）に示すようにメッセージをスチューデントに送るだけである。この場合、スチューデントは、ティーチャーのツールが、位置１から位置Ｎのように、「ジャンプ」するのを見て、次に、例えば、ドリル操作を行うが、実際のドリル操作の情報で失われるものはない。
【００７４】
本発明の実施態様において、デキストロネット（DextroNet）トラフィック負荷コントロールはこの事実を利用することができる。重要なメッセージは、優先的な転送に割り当てることができる。通常、ネットワーク速度が速いとき、ティーチャーのツールのすべての動きは、例えば、スチューデントに転送されることができる。こうして、スチューデントは、ティーチャーのツールの連続的な動きを見ることができる。しかしながら、ティーチャーのシステムが、（例えば、送出バッファ中で待っているメッセージが多すぎることに気づくことによって）ネットワーク速度が遅くなったことを検出したとき、本発明の実施態様においては、「確認」状態のメッセージを破棄することができる。このようにして、スチューデントは、密集したネットワーク条件の下であっても、ティーチャーのペースについていくことができる。そのようなメッセージ「圧縮」（損失性）スキームとの交換は、スチューデントのローカルビュー中のティーチャーのツールが、例えば、それほどスムーズに動いていないように見えるように行われる。にもかかわらず、バーチャルオブジェクト上の重要な操作は、失われることはないであろう。この軽減は、ネットワーク速度が速い場合には行う必要がない。このスイッチは、例えば、ティーチャーの「送出」バッファ中の列の長さとすることができる。「軽減」がない場合、ティーチャーのツールは、スチューデントのワールドにおいてスムーズに動くことができる。「軽減」が起こる場合、ティーチャーのツールは、連続的ではない。しかしながら、バーチャルオブジェクト上でのティーチャーの操作は失われることはなく、スチューデントのツールは、ティーチャーのツールのペースについていくことができるだろう。このように、本発明の実施態様においては、利用可能なネットワーク速度を動的に適用することができ、多解像度（すなわち、粗解像度および平滑解像度）でティーチャーのツールを表示することができる。
【００７５】
２．視点のコントロール
記載しているように、本発明の実施態様において、デキストロネット（DextroNet） スチューデントは、所与の３Ｄオブジェクトをコントロールするか、ティーチャーの視点に従うかのいずれかをすることができる。当該スチューデントが３Ｄオブジェクトのローカルコントロールを選択すれば、彼のローカル処理、例えば、オブジェクトの回転、翻訳およびズーム（デジタル倍率拡大）は、ティーチャーまたは他のスチューデントの世界において、３Ｄオブジェクトの位置に影響を及ぼさない。 しかしながら、ティーチャーは、例えば、スチューデントのバーチャルツールの位置および３Ｄオブジェクトに対する方向を見ることができ、したがって、上記したように、ティーチャーが、スチューデントの視点を参照することを可能にしている。そのようなシナリオ例においては、スチューデントは、現在ティーチャーによって選択されているものとは別の関心領域または方向を見出すために、自分の世界のオブジェクトを回転させることができる。そして、例えば、ボイスによっておよび／または、それを指し示すことによって、これをティーチャーと通信させることができる。その後、スチューデントのメッセージを受信して、ティーチャーの世界においてスチューデントによって指し示された場所に気づいたとき、ティーチャーは、例えば、特定の場所に至ることができる。一方、もしスチューデントがティーチャーのビューに従うことを選択すれば、ティーチャーの世界のすべての動きがスチューデントの局所的な世界と共有されるであろう。
【００７６】
本発明の実施態様において、ネットワーク上で送信されて、これら２つの状態間を切り換え、ユーザの視点に関連するリモートバーチャルツールを再度位置づけることが可能な特定の指令が存在し得る。そのような指令は、例えば、図１および３の１４０および３４０における決定を駆動することができる。
【００７７】
３．データ同期
本発明の実施態様において、単一および完全の２つの同期モードがある。例示的な単一同期モードは、例えば、オブジェクトの唯一の位置、方向、大きさ、透明性、および詳細なレベルを通信することができる。これらのパラメータは、それらが大きな帯域幅を要求せずにデータネットワーク上を転送されるという意味において、「軽量」であるとみなすことができる。したがって、本発明の実施態様において、ティーチャーモジュールは、例えば、新たなスチューデントのネットワークへの参加を検出したときすぐにそのような単一同期を行うことができる。
【００７８】
本発明の実施態様において、完全同期は、例えば、ユーザが明確にそれを求めている時（例えば、図1中の１４５）にのみ行うことができる。これは、すべてのティーチャーのデータ（報告目的で捕捉したデータ、例えば、スナップショットや３Ｄ記録を除く）の圧縮と転送に関与する。本発明の実施態様において、この同期は、時間がかかるため、任意とすることができる。そのような実施態様において、ティーチャーが完全同期を始めることができるのは、スチューデントがそれを要求したときだけである。多数のスチューデントがいる場合、例えば、データは、そのような要求を行ったスチューデントだけに送信される。さらに、完全同期は、2つの側の間に実質的な偏差が生じたときに、リカバリ策として使用することができる。帯域幅の利用可能性によるスループット限界がない場合、そのような完全同期は、自動的、周期的、または特に定められた事象がおこったときに行うことができる。
【００７９】
Ｃ．３Ｄインターフェース（コントロールパネル）の同期
本発明の実施態様において、例示の同期は、次に説明するように、目盛りの同期およびウィジェットの同期の２つのプロセスを含むことができる。
【００８０】
１．目盛りの同期
デキストロスコープ（Dextroscope）（登録商標）またはデキストロビーム（DextroBeam）（登録商標）型システムを用いる場合、例えば、バーチャルコントロールパネルは、対話中、３Ｄトラッカーが静止し、バーチャルツールがバーチャルコントロールパネルの対応する部分に接触することができる場合、物理的基材（例えば、アクリル製）を用いて正確に測定されなければならない。したがって、目盛りおよび構成は局所的であり、機械ごとに異なる。これは、ネットワーキング中にミスマッチの問題を引き起こしうる。例えば、目盛りおよび／または構成のミスマッチによりティーチャーのツールが所与のスチューデントのコントロールパネルに接触することができないかもしれない。本発明の実施態様において、ティーチャーおよびスチューデントのコントロールパネルは、以下のようにして同期することができる。ネットワーキングセッションがアクティブの状態にある間、ティーチャーのコントロールパネルの位置、方向、および大きさは、スチューデントに送信されることができ、それによって、スチューデント自身のコントロールパネルのパラメータを置き換えることが可能となる。ネットワーキングセッションが終了した場合、スチューデント機のもとの構成を回復させることができ、それによって、彼は一人で作業することが可能になる。
【００８１】
２．ウィジェットの同期
ネットワーキングセッションが開始すると、両サイドのコントロールパネルの最初の状態、例えば、スライダーバーの位置、ボタンやタブの状態、ルックアップテーブルのリストなどは、例えば、異なっていてもよい。これらのパラメータ全ては、ネットワーキングのためにはそろえる必要がある。
【００８２】
Ｄ．異なるインタラクティブプラットフォーム間の接続
本発明の実施態様において、異なるタイプのインタラクティブプラットフォーム間、例えば、デキストロスコープ（Dextroscope）（登録商標）とデキストロビーム（DextroBeam）（登録商標）との間の接続をサポートすることができる。したがって、デキストロスコープ（Dextroscope）（登録商標）上のティーチャーは、デキストロビーム（DextroBeam）（登録商標）の前に集まっている多数のリモートスチューデントに指導することができる。あるいは、例えば、ティーチャーは、デキストロビーム（DextroBeam）（登録商標）の前のローカルスチューデントを指導することができ、デキストロスコープ（Dextroscope）（登録商標）上のリモートスチューデントは見ることができる。
【００８３】
本発明の実施態様において、別のサポートされた接続としては、３Ｄインタラクティブプラットフォームと２Ｄデスクトップワークステーション間、例えば、上記のデキストロスコープ（Dextroscope）（登録商標）とデキストロラップ（DextroLap）システムのものがある。そのようなシステムによれば、関係者は、ユーザとシステムの間の相互作用がマウスやキーボードによって行われる場合（デキストロラップ出願に記載のように）、デスクトップワークステーションのみを使い、スタイラスおよびジョイスティックの３Ｄ入力装置を用いない。そのようなシナリオでは、ティーチャーおよびスチューデントの入力デバイスは、同一でない可能性がある。これは、３Ｄスタイラスやジョイスティックを持っていないスチューデントでも、全３Ｄで操作しているティーチャーを見て、マウスやキーボードを使ってティーチャーと通信することができるので、最も有用といえる。デスクトップワークステーション上には、キーボードイベントが、トラキングシステムからの動作と同様に転送され、補間され得る。そのような実施態様においては、キーネームやその変更子をネットワークメッセージに入れる必要がある。例えば、デキストロラップ（DextroLAP）カーソルは、３Ｄ位置を有している。この位置をティーチャーに送信することができ、そうすれば、ティーチャーは、スチューデントのカーソルの動きを３Ｄで見ることができる。
【００８４】
本発明の実施態様において、ユニックス（登録商標）およびウィンドウズシステム（登録商標）（Unix and Windows systems）（登録商標）上で動く種々のインタラクティブな可視化システムは、全てデキストロネット（DextroNet）と接続することができる。
【００８５】
Ｅ．自動的ティーチャー検出
本発明の実施態様において、所与のインターネット上にティーチャーとスチューデントが存在する場合、デキストロネット（DextroNet）は、自動的にティーチャーを検出することができる。以下においてより十分に説明するように、クライアントがサーバから返信を取得したら、それはサーバとネットワーク接続を開始し、サーバにティーチャーまたはスチューデントが存在するかどうかを伝える。サーバは、例えば、全てのクライアントの登録リスト（役割、ＩＰアドレス、ポート）を保持することができる。サーバが、新たに参加したクライアントがスチューデントであることを知ると、ティーチャーが利用可能であるかどうかを確認し、ティーチャーのＩＰアドレスとポートをスチューデントに送信する。したがって、スチューデントは、自動的にティーチャーの情報を取得することができる。もし、ティーチャーが存在しない場合、サーバは、例えば、スチューデントにネットワーキング接続から退去するように警告することができる。あるいは、スチューデントは、ティーチャーがオンラインに現れるまで待つこともできる。したがって、そのような実施態様においては、スチューデントは、例えば、サーバＩＰアドレスやポートを構成するなどの、低レベルのネットワーキングタスクについて心配する必要がない。ティーチャーが存在すればすぐ、スチューデントのシステムは自動的にそれを検出することができる。
【００８６】
ＩＩＩ．外科医−可視化アシスタント相互作用
Ａ．概論
次に、図４乃至８を用いて、本発明のある実施態様における外科医と可視化アシスタントとの間の例示の３Ｄデータセットの、例示の協同相互作用的な可視化について説明する。図４は、外科医のコンソールの例を示すプロセスフローチャートである。図５は、可視化アシスタントのコンソールのフローチャートの例を示す図である。図６乃至８は、そのようなシナリオにおける外科医と可視化アシスタントのそれぞれのビューの例を示す図である。
【００８７】
一般に、そのようなパラダイムは、「外科医」自身に限定されるわけではなく、一方の関係者（「外科医」）が診断的または治療的処置を所与の対象に施す場合、そしてその対象についての処置前の画像データを利用可能であり、身体的対象にコレジスタされている場合、および別の関係者が処置前の画像データから作成された３Ｄデータセットから対象を見ることが可能である場合、あらゆるシナリオを含むことができる。そのような記載したような「外科医」は、例えば、音波検査者（記載のように、例えば、「ソノデックス（"SonoDex"）」中）、カスラボ（Cathlab）（登録商標）機械を使用するインターベンション心臓病専門医、メッドトロニック（Medtronic）外科手術用ナビゲーションシステムを使用する外科医などを含むことができる。
【００８８】
記載した相互作用において、外科医は、デックス―レイ（DEX-Ray）（登録商標）型ワークステーションを使用し、したがって、位置データおよびリアルタイムのビデオを捕捉することが予期される。また、可視化アシスタントは、あらゆるタイプのワークステーションを使用することができる。
【００８９】
図４を用いて説明すると、４０１において、外科医は、ネットワークに接続することができる。４０２において、可視化アシスタント側のデータを外科医側のデータに同期するすることができる。データの同期が完了するとすぐ、プロセスフローは、例えば、４０２から２つの平行な経路に沿って進むことができる。まず、４１０において、外科医は、可視化アシスタントのシナリオを要求することができる。要求があれば、４１１において、それはレンダリングされ得る。可視化アシスタントのシナリオが要求されない場合、プロセスフローは、４１０から直接４２０に進むことができ、そこで、外科医のコンソールは、ビデオプローブの位置および方向を読み出すことができる。ここで外科医のコンソールは、ビデオプローブ（ローカルである）の位置および方向を読み出し、それをバーチャルワールドの座標に変換する。次にプロセスフローは、４２０から、例えば４２５に進むことができる。
【００９０】
上記のプロセシングと平行して、ローカルビデオプロセシングが存在することに留意されたい。デックス―レイ（DEX-Ray）（登録商標）型ワークステーションである外科医のコンソールは、リアルタイムのビデオを取得することもできることが思い出される。したがって、４０５において、外科医のコンソールは、それ自身のビデを読み出すことができ、４０６においてそれをレンダリングすることができる。次にプロセスフローは同様に４２５に進むことができる。
【００９１】
４２５において、外科医のコンソールは、それがネットワーク上で取得したローカルビデオを可視化アシスタントに送信することができる。そこから、プロセスフローは４３０に進むことができ、そこで外科医のコンソールは、そのビデオプローブ情報を送信する。ここで、外科医のコンソールは、バーチャル世界の座標中のビデオプローブの位置および方向を可視化アシスタントに送信する。これは４２０において取得した情報の単なる送信である。４３５において、外科医のコンソールは、アシスタントの代表的なツールを通信することができる。ここで、外科医のコンソールは、外科医のバーチャル世界における可視化アシスタントの代表的なツールの位置および方向を受信し、通信することができる。このデータはネットワーク上で可視化アシスタントのコンソールから取得することができる。最後に、４５０において、外科医のコンソールは、ビデオおよび拡張現実感を含み得る３Ｄデータセットの３Ｄビューをレンダリングすることができ、それは、可視化アシスタントの代表的なツールの位置および方向を含む。現在の３Ｄレンダリングは、外科医ならびに可視化アシスタントの双方による３Ｄデータセットとの相互作用の結果となろう。可視化アシスタント側に着目した、外科医−可視化アシスタントパラダイムの別のサイドを次に図５を用いて説明する。
【００９２】
５０１において、可視化アシスタントはネットワークに接続することができ、５０２において、彼または彼女は、自身のデータを更新することができる。ここで可視化アシスタントは、ネットワーク上で入力される外科医のデータを用いて、自身のバーチャルオブジェクト位置、方向、および大きさを更新する必要がある。プロセスフローは、５０２から平行して、５１０および５２０の決定に進むことができる。まず、５１０において、外科医のコンソールからビデオを受信したかどうかを判定することができる。Ｙｅｓであれば、５１１において、外科医のビデオをレンダリングすることができる。Ｎｏであれば、プロセスフローは、５３０に進むことができる。第２に、決定５２０において、アシスタントのシナリオを送信すべきかどうかを判定することができる。これは、例えば、外科医のワークステーションからの問い合わせもしくは要求に返答して行うことができる。
【００９３】
外科医が可視化アシスタントのシナリオを要求していれば、５２５において、アシスタントのシナリオを送信することができ、アシスタントは、スナップショットもしくは彼のビューのビデオを送信することができる。そのようなスナップショットは、例えば、立体的なものでもよいし、モノスコピック（monoscopic）であってもよい。５２０において、外科医が可視化アシスタントのシナリオを要求していなかったら、プロセスフローは次に５３０に進むことができる。そこでプロセスフローは、５１０からも同様に到達する。そして、可視化アシスタントのコンソールは、それ自身の３Ｄ装置を読み出すことができる。ここで、可視化アシスタントは、自分のツールの完全なコントロールを有しているため、彼のツールの位置、方向、および大きさは、彼自身のスタイリスト（原語：stylist）および操作装置によって行うことができる。ここから、プロセスフローは、５４０に進むことができ、そこで、外科医の代表的なツールが更新されることができる。ここで可視化アシスタントのコンソールは、可視化アシスタントのバーチャル世界において、外科医の代表的なツールの位置および方向を受信し、更新することができる。
【００９４】
最後に、プロセスフローは、５５０に進み、そこで、可視化アシスタントのコンソールは、３Ｄデータセットの３Ｄビューをレンダリングする。この３Ｄビューは、可視化アシスタント自身の３Ｄ装置ならびに外科医の代表的なツールのそれに対する更新を含むことになり、外科医から受信するあらゆるビデも含むことができる。上記したように、外科医―可視化アシスタントパラダイムは、デキストロネット（DextroNet）上でのデックス―レイ（DEX-Ray）（登録商標）対デキストロスコープ（Dextroscope）（登録商標）型相互作用に関与すると想定される。このシナリオは、すでに述べたように、上記のティーチャー―スチューデントパラダイムの変形例である。外科医-可視化アシスタントシナリオにおいて、外科医は通常スチューデントの役割を担い、一方、アシスタントはティーチャーを担う。これは、外科医（スチューデント）が、手術に忙しく、データとの相互作用能力において、より制限されているためである。したがって、彼は主に可視化アシスタント（ティーチャー）がどのように３Ｄビジュアルバーチャルワールドをコントロールするかを見ることに関与する。
【００９５】
Ｂ．独立した視点
手術室でデックス―レイ（DEX-Ray）（登録商標）型コンソールを用いる場合、例えば、外科医の見地は、図６に示すようにビデオプローブの方向によって制限される。カメラプローブ（Camera Probe）出願により詳細に記載されているように、デックス―レイ（DEX-Ray）（登録商標）型装置は、３Ｄシーンをビデオプローブの位置に基づいて、したがって、ビデオプローブ中のカメラが持つ視点からレンダリングする。したがって、例えば、デックス―レイ（DEX-Ray）（登録商標）型コンソールを使用する外科医は、ビデオプローブの先端がどのようにして内部から標的、すなわち、標的自身の内部に固定された視点、例えば、腫瘍もしくは他の頭蓋内の構造に固定された視点にアプローチするのかを見ることができない。しかしながら、デキストロスコープ（Dextroscope）（登録商標）型機械上で実行されるようなプランニングシステムにおいては、アシスタントは、図８に示したような標的を調べるための無制限の見地を有している。こうして、本発明の実施態様において、デキストロネット（DextroNet）は、外科医を助け、彼に、外科医が手術を行っている実際の患者と関連する３Ｄデータセットを介して無制限に動く第２の目を提供するために、デックス―レイ（DEX-Ray）（登録商標）をデキストロスコープ（Dextroscope）（登録商標）と接続するために使用することができる。これは、リアルタイムの複雑な手術に携わっている外科医にとって非常に有用である。ここでは、手術に携わっている外科医にとっては論理的に不可能な多くの可視化が確実にプロセスを助けるであろう。それは、可視化アシスタントが手術もしくは他の実地の治療（診断）努力に有意に貢献し得るのはこのようなシナリオにおいてである。
【００９６】
Ｃ．交換可能な視点
別法として、本発明の実施態様において、外科医は、アシスタントの視点を見ることができる。その一例を図９に示す。このように、本発明の実施態様において、外科医には利用可能な２つのタイプのビューがある。１つは通常のカメラプローブ（Camera Probe）拡張現実感のビュー、すなわち、１つは、図６に示されるような３つの２Ｄの三面状画像が載ったビデオであり、他の１つは、図７に示されるような可視化アシスタント側の視点である。これらの２つのタイプのビューは、外科医がその間をトグルすることが可能な２つの別個のウインドウに表示される。こうして外科医は、例えば、図６と７の間をトグルすることができる。可視化アシスタントのビュー（図７）から、外科医は、バーチャルオブジェクトと彼のツールの関係を、異なる見地、例えば、腫瘍など標的オブジェクト上に位置づけられた視点から見ることができる。
【００９７】
さらに、本発明の実施態様において、可視化アシスタントも同様に、彼のディスプレイ中に外科医のシナリオを見ることができる。これは、例えば、図８に示されている。メインウインドウは、可視化アシスタントのビューである。これは、外科医が持つビデオプローブツールのカメラの位置による制限を受けない。さらに、図８には「図中図」のビューが存在する。これは、図８の左上のコーナーの小さなウインドウ８１０に示されている。これは、外科医にビューを彼が見えるように示している。これはビデオフレームとして転送することができ、したがって、可視化アシスタントはどんな方法によってもこれを操作することはできない。したがって、図８は、外科医のツールも（上から下までの線として）可視化された仮想の３Ｄ世界を表示するメインウインドウを示す図である。他方の小さなウインドウ８１０は、外科医の実際のビューであり、ライブの映像信号および、外科医のシナリオ上で利用可能であり、その表示パラメータが外科医によってのみ選択され、操作される３Ｄオブジェクトの拡張現実感を含んでいる。したがって、可視化アシスタントは、図６のメインウインドウの３Ｄ世界と図８の左上部分の画像ウインドウ８１０内の画像の２Ｄビデオの双方の中に外科医のツールを見ることができる。
【００９８】
ＩＶ．インターフェース相互作用の例
本発明の実施態様において、デキストロネット（DextroNet）のネットワーキング機能は、例えば、メインデキストロスコープ（Dextroscope）（登録商標）３Ｄインターフェース中の「ネットワーキング」タブからコントロールすることができる。
【００９９】
Ａ．接続を確立する
本発明の実施態様において、ユーザネットワーキングモジュールインターフェースの提供を受けることができる。そのようなインターフェースは、例えば、「ティーチャー」、「スチューデント」および「ネットワーキング停止」といった３つのボタンを備えている。そのような例示的インターフェースを介して、ユーザは、こうして、ティーチャーもしくはスチューデントのいずれかであることを選択し、またはデキストロネット（DextroNet）セッションの停止を選択することができる。本発明の実施態様において、ティーチャーがネットワーク内に存在するときのみ、スチューデントは、接続を確立することができる。そうでなければ、スチューデントは、「ティーチャーが存在しません」というメッセージを受け、接続を終了することになる。もし、スチューデントが３Ｄ入力デバイスを持っていない場合、例えば、デキストロラップ（DextroLAP）出願において、上記したように通信にはマウスを使うことができる。
【０１００】
Ｂ．ティーチャーアクション
さらに、追加的インターフェース特徴をメインユーザ、すなわち「ティーチャー」として行動するユーザに表示することができる。そのような実施態様において、ティーチャーには、スチューデントのＩＰリストと「同期」ボタンが提供され得る。このパネルは、ティーチャーのみが利用可能とすることができる。新たなスチューデントが参加したとき、例えば、スチューデントの最初のシナリオの、例えばスナップショットがティーチャーに送信されたり、スチューデントリストに表示されたりなどする。さらに、スチューデントのＩＰアドレスは、例えば、テキストボックスに示されることが可能である。複数のスチューデントが存在する場合、ティーチャーは、リストをスクロールして、他のスチューデントのＩＰアドレスやスナップショットを見ることができる。本発明の実施態様において、そのようなスナップショットを使えば、ティーチャーは、自分のデータセットとスチューデントのデータセットとの相対的な同期を正確に測定することができる。例えば、ネットワーキングを開始する際に同期を達成するための方法は、単一同期と完全同期の２つ存在する。一般的は、ティーチャーとスチューデントが同一のデータセットを持っている場合、単一同期だけが必要である。しかしながら、彼らが搭載しているデータセットが異なるものである場合、ティーチャーは、完全同期を開始しなければならない。そうでなければ、後に、障害が生じることになる。種々のスチューデントから送信されたスナップショットは、それらの初期の状態（環境およびデータ）をティーチャー側に表示する。したがって、ティーチャーは、スチューデントが、自分がスナップショットを介して有しているものと同じデータを搭載しているかどうかを確認することができる。もし異なれば、彼は当該スチューデントに警告して、完全同期を実行することができる。
【０１０１】
Ｃ．スチューデントアクション
本発明の実施態様において、ユーザがスチューデントとなることを選択するとすぐ、彼は、自分のバーチャルコントロールパネルのコントロールを失う。彼は、ティーチャーの操作を見て、自分が関心を持った部分を指し示すことができる。しかしながら、彼にできることには制限がある。彼は、ティーチャーにコントロールされている自分のバーチャルコントロールパネルにタッチすることができないためである。記載したように、彼が行うことができる制限された相互作用のセットは、専用のボタンによって（デキストロラップ（DextroLap）に記載のＰＣ遂行に用いられるものに類似している）、または、ティーチャーが例示のデキストロネット（DextroNet）を介して操作する「標準的な」コントロールパネルとは異なる専用の「スチューデント」バーチャルコントロールパネルを介して、容易に行うことができる。
【０１０２】
本発明の実施態様において、スチューデントには、ティーチャーの操作を見ることができる２つの方法がある。例えば、彼は、（ｉ）ティーチャーの視点に従う、または（ｉｉ）ティーチャーのものとは異なる見地からのデータセットを見ることができる。そのような実施態様において、彼は、彼のスタイラスまたは他のいくつかのシステムが定義するシグナルをクリックするだけで、これら２つのモードの間をトグルすることができる。
【０１０３】
本発明の実施態様において、スチューデントが、「従事」（すなわち、ティーチャーの見地に従う）モードにあるとき、例えば、「ロックオン（LockOn）」という語の赤いテキスト表示が提供されるようにすることができる。そのようなモードのとき、彼はオブジェクトを回転させたり、動かしたりすることができない。彼がスタイラスをクリックするか、または別の何らかのシグナルを送信して、切断すれば、「ロックオン」（"LockOn"）テキストは、例えば、消える。これは、彼は、自分自身の視点からデータセットを見ることができることを示すものである。このような「切断」モードでは、スチューデントは、例えば、左手のツールを使って、表示されたオブジェクトを回転させたり、動かしたりなどができる。
【０１０４】
Ｄ．ネットワーク接続の停止
記載した例示の遂行においては、ティーチャーのツールだけがバーチャルコントロールパネルにタッチすることができるので、「ネットワーキングの停止」ボタンをクリックすることによってネットワーキング機能を終了させる責任はティーチャーにある。ネットワーキングが終了すると、ティーチャーは、彼／彼女が、ネットワーキングセッション中にデータに対して行った変更の全てを保存することができる。しかしながら、スチューデントは、例えば、望ましければ、自分のシナリオをネットワーキング前のものに回復して、ネットワーキングセッションに入る前に保存していたものに回復することができる。
【０１０５】
本発明の実施態様において、ネットワーキング中、スチューデントのデータはティーチャーのデータの同期させることが要求されることがある。したがって、スチューデントのローカルデータを損なうことを回避するために、ネットワーキングセッションが実際に始まる前にスチューデントがネットワーキングボタンを押すと、例えば、彼自身のデータが何らかのバックアップディレクトリーに自動的にコピーすることができる。したがって、ネットワーキングセッションが終了したとき、彼は自身のデータをバックアップディレクトリーからコピーすることによって回復することができる。本発明の実施態様において、これは、「ネットワーキング停止」ボタンを押すと自動的に行うことができる。
【０１０６】
Ｅ．サーバの例
本発明の実施態様において、デキストロネット（DextroNet）は、図９に示すように、サーバクライアントアーキテクチャー上に確立することができる。このような構成例においては、ティーチャー９３０およびスチューデント９２０の双方は、クライアントである。それらは、例えば、逓倍する接続、接続登録、および接続照会を管理するために使用することができるサーバ９１０に物理的に接続されている。送信元（クライアント）からの全ての情報が、例えば、最初にサーバ９１０に渡される。当該サーバは、例えば、受信機ＩＰアドレスを分析し、その後メッセージを特定の目的地に渡す。こうして、そのような実施態様において、ネットワーキング機能を、ティーチャーまたはスチューデントのいずれかの側でアクティブな状態にする前に、そのようなサーバアプリケーションは最初に起動させなければならない。例示のサーバの特徴について以下において説明する。
【０１０７】
１．低レベルの観点から、本発明の実施態様において、サーバは、多重化技術を用いて、マルチプル接続をサポートすることができる。それは、例えば、データの到達が実行を誘発する、単一のプロセス並行サーバであることができる。タイムシェアリングは、例えば、負荷が大きすぎてＣＰＵがそれを処理しきれない場合に引き継ぐ。さらに、高レベルの観点から、送信元（クライアント）からのＩＰアドレスに基づいて、サーバは、ＴＣＰ／ＩＰプロトコルを用いて、メッセージを目的地にユニキャスト、マルチキャスト、もしくはブロードキャストすることができる。
【０１０８】
２．接続登録
クライアントはサーバに接続すると、サーバ上に、例えばそのＩＰアドレスとネットワーキングの役割（例えば、ティーチャーまたはスチューデント）を登録する。例えば、２つの基準、すなわち、（１）スチューデントが参加する前にティーチャーが存在していること、および（２）サーバに接続するティーチャーは一人だけであること、を確実にすることはサーバの責任とすることができる。基準（１）が満たされない場合、スチューデントは、例えば、ネットワーキングから退去するよう警告されることがあり得、または、例えば、ティーチャーが接続するまで待つよう助言されることもあり得る。基準（２）が満たされない場合、第２の推定上のティーチャーは、例えば、ネットワーキングから退去するよう警告されることがあり得る、または、例えば、彼がスチューデントとして接続されることが望ましいかどうか照会されることがあり得る。
【０１０９】
３．接続照会
本発明の実施態様において、クライアントは、現在の接続環境に何人の仲間のクライアントが存在しているのか、そして、それが誰なのかについて、サーバに照会することができる。このようにして、クライアントは、誰が通信に関与しているのかを知ることができる。これは、現在のスチューデントのダイナミックリストを保持しているティーチャーにとって重要である。サーバは、「仲間の照会」のような要求を受信したら、例えば、全ての仲間のクライアントのＩＰアドレスやポートを要求者に返信することができる。
【０１１０】
４．サーバ照会へ回答する
本発明の実施態様において、サーバは、ＬＡＮ上で自動検出され得る。例えば、サーバのＵＤＰソケットが、予期していたサーバアプリケーションについてのクライアントのブロードキャスト照会をＬＡＮから受信すると、起動中のアプリケーションの名前を確認して、求めているものが利用可能かどうかを知ることができる。もし利用可能であれば、サーバは、自身のアドレス（ＩＰ：ポート）を照会しているクライアントへ返信することができる。
【０１１１】
したがって、本発明の実施態様において、あるユーザが自分のネットワーキングでの役割を選択すれば（例えば、ネットワーキング接続に参加したときの可視化環境内のネットワーキングインターフェース上の「ティーチャー」または「スチューデント」ボタンを押すことによって）、彼はイントラネットを介して、サーバプログラム名を含む照会をブロードキャストすることができる。このメッセージは、例えば、全てのイントラネット機械上の専用のポートに送信することができる。サーバプログラムが起動していれば、それは専用のポートを聞き続けることができる。それが、ブロードキャストメッセージをクライアントから受信すると、サーバ機上の全ての起動しているプログラム名を確認して、整合性があるかどうかを知ることができる。整合性があれば、サーバは、例えば、それ自身のアドレス（ＩＰ：ポート）を照会しているクライアントに返信することができる。一方、クライアントは、サーバからの回答を待っていることができる。一定時間経過後、否定の回答が返信されれば、クライアントは、「サーバが作動していません」というエラーを報告することができ、例えば、通常のスタンドアロンワーク状態を再開する。
【０１１２】
５．サーバの起動
本発明の実施態様において、デキストロネット（DextroNet）サーバは、可視化の機械にインストールされることなく、スタンドアロンアプリケーションとして動くことができる。通信がＬＡＮ内部で行われている場合、例えば、ティーチャーもスチューデントもサーバのＩＰアドレスを正確に知っている必要はない。デキストロネット（DextroNet）ソフトウェアは、例えば、自動的にサーバを突き止める。通信がＷＡＮ上で行われている場合、サーバのＩＰとポートがデキストロネット（DextroNet）に提供されなければならない。例えば、ローカルサーバが検出されない場合、およびリモートサーバが存在しない場合、ティーチャーは、ネットワーキング機能を開始しようとする場合、例えば、自分の機械上で自動的にサーバアプリケーションの起動を行う。
【０１１３】
別法として、例えば、サーバ機能をティーチャーの役割と組み合わせることができる場合、つまり、ティーチャーの機械がサーバの役割を担うことができる場合、スチューデントの機械は、クライアントを維持することができる。しかしながら、そのような実施態様においては、ティーチャー機の負担が比較的重いものとなる可能性がある。なぜなら、３Ｄ可視化ソフトウェアからの可視化の要求、ならびにデキストロネット（DextroNet）からの通信の要求が同時に起こるからである。したがって、例えば、デキストロネット（DextroNet）通信ループの速度が、例えば、デキストロスコープ（Dextroscope）（登録商標）可視化ループによって、遅くなる可能性がある。これによって、待機バッファに残る入力および出力データを増加させる原因となり得る。したがって、本発明の実施態様において、データの列が長くなれば、「意味のない」データパケットは、例えば、落とすことができる。すなわち、そのようなデータパケットは、例えば、処理されることなく列から除去されることが可能となる。この文脈での「意味のない」データパケットはとは、プログラム／可視化の結果に影響を及ぼさないデータパケット、例えば、主な操作（例えば、ドリリング、トリミングなど）を行うことがなく、したがってデータセットに影響を及ぼさない、ツール（ティーチャーのものとスチューデントのもの両方）の移動を転送するパケットを言う。
【０１１４】
この文脈においては、かなり詳細に以下に示すように、ツールには４つの基本的な状態：「確認」、「スタートアクション」、「ドゥアクション」、および「アクションの停止」がある。「確認」状態では、バーチャルツールは、バーチャルワールドではローミングとしてのみ現れ、例えば、１つの位置から他の位置へ移動するなどの活動的な操作は行われない。この状態でそのようなツールの位置や方向を送信するデータパケットは、「意味がない」データパケットであると考えることができる。密集したネットワークが存在する場合、ティーチャーの「送信」バッファが未送出パケットでいっぱいになるだろう。そのような状況においては、本発明の実施態様において、当該ソフトウェアは、「送信」バッファを確認し、こうした「確認」状態のパケットを捨てることができる。大半の時間、バーチャルツールは、「確認」状態であるため、それによってトラフィック負荷を大幅に軽減することができる。例えば、ティーチャーは、（ａ）自分の「送信」バッファ中に１セットのメッセージを持っている。ネットワーク接続が低速である場合、彼は、メッセージを（ｂ）スチューデントに送る。この場合、スチューデントは、ティーチャーのツールが、位置１から位置ｎのように、「ジャンプ」するのを見て、次に、例えば、ドリル操作を行う。
【０１１５】
Ｖ．遂行の例
図１０乃至４９は、デキストロネット（DextroNet）の種々の例示の遂行を表す図である。そのような遂行は、例えば、ラジオデキスター（RadioDexter）（登録商標）ソフトウェアなどを動かすデキストロスコープ（Dextroscope）（登録商標）に統合するように設計されており、そのようなシステムの追加的な機能的なモジュールとして現れ得る。記載の例においては、ティーチャーおよびスチューデントは、サーバ プログラムを動かすサーバを介して互いに通信しあう。記載のように、各セッション中は、１つの時間にスチューデントは多数存在し得るが、ティーチャーは一人だけである。
【０１１６】
図１０乃至２５は、例示的ティーチャーと２人のスチューデントのビューの間の経時的関係を示す図である。図１０、１４、１８および２２のそれぞれは、３つのビューを並べて示している。そのそれぞれは、直後の３つの図に拡大して示している。
【０１１７】
図１０乃至２５は、本発明のある実施態様における、例示的ティーチャーと２人のスチューデントのそれぞれによって見られるそれぞれの図の間の例示的相互作用を示す図である。図１０において、ティーチャーは、スチューデントが接続しているかどうかを確認する。ティーチャーのビューを図１０（ａ）に示す。また、図１０（ｂ）および図１０（ｃ）は、例示の二人のスチューデントである、スチューデント１およびスチューデント２のそれぞれのビューを示している。示された例では、ティーチャーとスチューデント１は、デキストロスコープ（Dextroscope）（登録商標）型システムを使用している。そして、スチューデント２は、デキストロラップ（DextroLap）型システムを使用している。図１１乃至１３は、これらのビューをより詳細に示すものであり、次に述べる。
【０１１８】
図１１において、ティーチャーは、彼自身のツール１１００、スチューデント１のリモートツール１１０１、およびスチューデント２のリモートツール１１０２を見ることができる。スチューデント２のリモートツールは、スチューデント２がデキストロラップ（DextroLap）を使っているために、実際にはカーソルであることに留意されたい。したがって、全体の３Ｄコントロールを持っていない。さらに図１１に示すように、各スチューデントのリモートツールには、スチューデントのコンピュータのＩＰアドレスがついている。本発明の実施態様において、そのようなＩＰアドレスは、スチューデントの名前を表示するために変更することができる。別法として、例えば、両方を表示することができる。本発明の実施態様においては、ティーチャーに表示された各スチューデントの名前が示されることで同時にスチューデントの数を教えるために使用されることは特に有用である。このように、ティーチャーは、自分が誰に講義しているのかを知ることができる。
【０１１９】
さらに、ティーチャーのビューは、さまざまなスチューデントのスナップショットのためのディスプレイウインドウ１１２０であることが図１１から見て取れる。このスナップショットウインドウ１１２０によって、ティーチャーは、スチューデントのローカルビューを見ることができるのである。最後に、３つのネットワーキングツール、すなわち、「同期」１１５０、「リモートスナップショット」１１６０および「役割切り換え」１１７０が存在する。同期１１５０は、スチューデントとティーチャーの間の同期を取るために使用することができる。このツールは、それぞれのデータセットの状態が有意に離れて浮動していて混乱を引き起こすことがティーチャーにとって（またはスチューデントにとって）明らかな場合に用いることができる。リモートスナップショット１１６０は、スナップショットウインドウ１１２０に表示された特定のスチューデントのスナップショットを要求する。これは、例えば、接続しているスチューデントのスクロール可能なリストをもつティーチャーのコントロールパネルによって、容易に行うことができる。その後、ティーチャーは、例えば、スチューデントのリストをスクロールして、一人を選択することができる。その後、ティーチャーが、例えば、「捕捉」ボタンを押し、スナップショットがスチューデントのワークステーションから要求される。最後に、役割切り換え１１７０によって、ティーチャーとスチューデントの役割を切り換えることができる。このプロセスは、ティーチャー主導によるものに制限することができる。したがって、以下により詳細に示すように、このボタンは、例えば、ティーチャー機でのみアクティブな状態である。
【０１２０】
図１２は、スチューデント１のビューを示す図である。それは、スチューデント１のツール１２０１ならびにティーチャーのツール１２００を示す。スチューデント１自身１のＩＰアドレスが彼のツールとともに示されていることに留意されたい。この特徴はオフにする。または、例えば、ティーチャーのビューを用いたのと同様に、スチューデントの名前もしくは他のいくつかの識別子と置き換えることができる。スチューデントが見る３Ｄオブジェクト１２２５は、ティーチャーのビューが示すものと同じであり、同じ正確な見地もしくは視点に存在する。これは、スチューデント１のビューが、ティーチャーのものにロックオンしているためである。したがって、ロックオンサイン１２９０がスチューデント１のスクリーンの右上に表示されている。同期１２５０、リモートスナップショット１２６０および役割切り換え１２７０の３つのネットワーキングツールとしてティーチャーのツール１２００が見える。スチューデント１がスチューデントであり、ネットワーキングの機能性をコントロールしないので、スナップショットウインドウ１２２０には、スナップショットが何も表示されていない。実際、スチューデントがティーチャーのビューを見たいときは、既に図１２において示しているように、ティーチャーのビューにロックオンすればよいだけである。したがって、リモートスナップショット１２６０は、ゴースト化されている。同期１２５０も、役割切り換え１２７０も同様にゴースト化されている。ティーチャーのみ３つの機能を行うことができる。図１３は、図１２と同様に、スチューデント２のビューを示している。それによれば、同じ３Ｄオブジェクト１３２５が示されている。スチューデント１の３Ｄオブジェクトのビューは、ティーチャーやスチューデント２のものより透明に見えることがわかる。全てのワークステーションが同じプログラムを動かしているにもかかわらず、そのようなワークステーションは、異なる構成を備えているからである。例えば、「コントロールパネルがスタイラスによってタッチされたとき、３Ｄオブジェクトをゴースト化する」ように、例えば、いくつかは、特定の特徴が使用禁止であるかもしれない。そのような特徴は、例えば、スタイラスとコントロールパネルとのを促進することができる。
【０１２１】
これは、ユーザ（ラップトップ上で動くデキストロラップ（DextroLap）システムを利用しているかもしれないし、高速デキストロスコープ（Dextroscope）（登録商標）を利用しているかもしれない）が利用可能なグラフィックスカードに依存するためである。３Ｄインタラクティブ可視化ソフトウェアの、より「装飾的」な機能は、正確には同じ視覚的結果をもたらさないかもしれないが、３Ｄオブジェクトの効果の観点からは同一の振る舞いをするであろう（もちろん、同期のとれたビューを維持するためには、正確に同じである必要がある）。そのような装飾的機能の１つを、例えば、図１３に示している。ユーザがコントロールパネルと対話する際（そして、したがって、応答性には、ボタンおよびスライダーを正確にクリックする必要がある）の表示を促進するために、コントロールパネルとスタイラスを再生するだけで、３Ｄオブジェクトのレンダリングされた画像を捕捉して、３Ｄビュー上に透明にペーストすることができる。スチューデントのワークステーションに複製されない場合、アプリケーション上の結果は同じであるが、相互作用速度が遅くなる。そして、オブジェクトの表示内容が異なったものとなるであろう（すなわち、透明でない）。
【０１２２】
図１３において、スチューデント２もロックオンモードであり、したがって、ロックオンサイン１３９０が図１３にも表示されている。スチューデント２は、彼自身のツール、この場合カーソル１３０２を見ることができる。スチューデント２のローカルＩＰアドレスも表示されている。別の実施態様においては、それは、例えば、上記したように、置き換えられ、もしくは拡張されている。スチューデント１のケースと同様に、スナップショットウインドウ１３２０にスナップショットは表示されておらず、ネットワーキングツールの同期１３５０およびリモートスナップショット１３６０は両方とも、役割切り換え１３７０と同様にゴースト化されている。
【０１２３】
次に、図１４乃至１７について説明する。これは、図１０乃至１３に示されたものに続くある例示的時点における、図１０のティーチャーと二人のスチューデントを示すものである。図１４において、ティーチャーは、３Ｄオブジェクトの右後ろ側の隅の立方体のオブジェクトから、３Ｄオブジェクトの左後ろ側に見える円錐形のオブジェクトの先端まで線を描いた。ティーチャーは、これを例示の測定ツールを用いて行った。したがって、測定の末端近くに測定ボックスが現れており、それには、「４７．６８ｍｍ」と示されている。両スチューデントは、ロックオンモードである。次に、図１５乃至１７を用いて、３つのビューを詳細に説明する。
【０１２４】
図１５は、ティーチャーのビューを示す図である。隅の立方体のオブジェクトから、３Ｄオブジェクト１５２５の左後ろ側に見える円錐形のオブジェクトの先端までの測定を行うために用いられたティーチャーツール１５００が見える。さらに、スチューデント１のＩＰアドレスが付いたスチューデント１のリモートツール１５０１、ならびにスチューデント２のＩＰアドレスが付いたスチューデント２のリモートツール（カーソル）１５０２も見える。図１５のティーチャーのビューからわかるように、スチューデント１は、ティーチャーの測定が始まった、立方体上の点の近くに彼のリモートツールを指し示している。スチューデント２は、円錐のベースの近くのどこかを指している。
【０１２５】
スチューデント１のビューである図１６には、ティーチャーのツール１６００を見ることができる。ティーチャーのツールは、もちろん、スチューデント１から離れている。さらに、スチューデント１のツール１６０１、３Ｄオブジェクト１６２５、およびティーチャーが描いた測定線ならびに測定ボックス１６９２が見える。さらに、ロックオンサイン１６９０も見える。これは、スチューデント１がティーチャーのビューにロックオンしていることを示している。図１７には、スチューデント２のビューが示されている。スチューデント２は、ティーチャーのビューにロックオンしている。したがって、ロックオンサイン１７９０が表示さている。ティーチャーのツール１７００とともにスチューデント２のリモートツール１７０２が、彼のＩＰアドレスとともに示されている。さらに、３Ｄオブジェクト１７２５内の立方体のオブジェクトと円錐形のオブジェクトの間にティーチャーが描いた測定線が見える。したがって、ティーチャーが行った測定の長さを示す測定ボックス１７９２も同様に示されている。
【０１２６】
図１８乃至２１は、図１０乃至１７と有意に異なるティーチャーとスチューデントを示す図である。図１８乃至２１においては、スチューデント１は、自分のビューをティーチャーのものから切り離している。図１９に詳細に示しているように、ティーチャーは、彼自身のツール１９００と、スチューデント１のリモートツール１９０１とスチューデント２のリモートツール１９０２のそれぞれを見ることができる。図１９からわかるように、ティーチャーは、立法体のオブジェクトの隅近くの左上から円錐形のオブジェクトの先端までを、彼のツール１９００を用いて測定し終わったところである。同様に、図２０には、今は、スチューデント１は、もはやロックオンされていない。したがって、ロックオンサインは彼のビューに現れていない。スチューデント１は、彼のビューをティーチャーのものから切り離したので、彼は、上方から３Ｄオブジェクト２０２５を見ることができる。あるいは、彼が選択するあらゆる他の視点を見ることができる。さらには、切り離されたモードにおいては、コントロールパネルは、例えば、ここには示していないが、ローカルの相互作用に影響を及ぼす必要はない。スチューデントには、例えば、デキストロラップ（DextroLap）出願に記載されているように、ディスプレイの側部に現れる１セットのコントロールボタンが示されることがある。または、例えば、局所が省略されたコントロールパネルが提供されることがある。そのようなローカルコントロールパネルは、上記したように、例えば、短縮されたルックによってゴースト化することができる。ティーチャーのコントロールを受けている「真の」コントロールパネルではないことが容易に認識できる場合は、ゴースト化する必要はない。図２１に、スチューデント２のビューが示されている。スチューデント２はまだティーチャーにロックオンされているため、ロックオンサイン２１０２が表示されている。スチューデント２は、ティーチャーのツール２１００ならびに自身のツール２１０２の両方を居ることができる。スチューデント２はまた、３Ｄオブジェクト２１２５およびティーチャーが施した測定線も見ることができる。
【０１２７】
次に図２２乃至２５について説明する。これらは、ティーチャーのペンの位置が変わったことを以外は図１８の図と同様である。図２３のティーチャーのビューは、ティーチャーのツールが少し移動したことを除いて図１９と同じであることがわかる。したがって、ティーチャーのツール２３００は、３Ｄオブジェクト２３２５中の円錐形オブジェクトの先端の周りを本質的に回転している。スチューデント１のリモートツール２３０１、ならびにスチューデント２のリモートツール２３０２が、図１９においてそれらが占めていた同じ位置にまだ見える。図２４のスチューデント１の分離されたビューにおいて、変更された唯一の点は、ティーチャーのツール２４００の位置と方向である。そして、スチューデント１のツール２４０１も今ここで同様である。図２０と図２４の比較からわかるように、スチューデント１のツールは測定の末端点の周りに下向きに回転しており（本質的には、３Ｄオブジェクト２４２５の円錐の末端）、図２０における測定線とのなす角度と比較して、測定線とのなす角度を小さくしている。スチューデント１のビューは、スチューデント２のカーソルを示していないことがわかる。これは、上記したように、ティーチャーのみが全てのスチューデントを見ることができ、各スチューデントが見ることができるのはティーチャーだけだからである。したがって、各スチューデントは、他のスチューデントの存在を事実上忘れている（もちろん、スチューデントの一人が役割を切り換えてティーチャーとなった場合は除く。プロセスを以下により十分に説明する）。
【０１２８】
同様に、図２５は、スチューデント２のビューを示す図である。図２５は、ティーチャーのリモートツール２５００の位置と方向以外は図２１とほぼ同じである。スチューデント２自身のツール２５０２も３Ｄオブジェクト２５２５も動いていない。スチューデント２は、ティーチャーのビューに対してまだロックオンモードであり、したがって、ロックオンサイン２５９０が、このスチューデント２のビューに表示されている。
【０１２９】
図２６乃至２９は、ティーチャーと二人のスチューデントがネットワーキングセッションに参加している別の実施態様を示す図である。図２６において、ティーチャーは、ネットワークに接続している。当該システムは、「あなたはティーチャーです。」というメッセージを表示しており、ティーチャーのバーチャルツールが見える。まだスチューデントは接続していない。図２７において、第1のスチューデントが参加する。彼のツールおよびＩＰアドレスがデータセッションに見られ、彼の最初の（彼が入った時間付けの）スナップショットも同様に見ることができる。図２８において、第2のスチューデントが参加し、彼のツールとＩＰアドレスが、この時点でティーチャーにも利用可能となる。各スチューデントのＩＰアドレスは、彼らのバーチャルツールの隣にテキストボックスとして現れる。図２９および３０において、ティーチャーは、第1および第2のスチューデントとそれぞれ同期をとる。ティーチャーは、上記したように、ネットワーキングコントロールパネルの左パネルに表示されたスチューデントリストからスチューデントを選択することによって、どのスチューデントと同期を取るかを選択する。
【０１３０】
図３１乃至４３は、本発明のある実施態様における、様々な「外科医」および「可視化アシスタント」ビューの順序を示す図である。これらの図は、例えば、外科医がデックス―レイ（DEX-Ray）（登録商標）型システムを用いて手術を行い、例えば、デキストロスコープ（Dextroscope）（登録商標）またはデキストロビーム（DextroBeam）（登録商標）型システムを用いる可視化アシスタントがネットワーク上で外科医の機械と接続しているとき、どのようにして例示の協同が生じ得るかを示す。このパラダイムは、例えば、一人が診断的処置もしくは治療的処置を行い、したがって、対象に関するリアルタイムの情報を取得しており、他方の人がそのようなリアルタイムデータを受信し、それと対象に関する３Ｄデータを用いて第1の人を援助するために対象の可視化を作成するような、あらゆる状況に適用することができる。そのような可視化アシスタントの例は、例えば、利用可能な視点の自由を利用し（すなわち、彼は、自由に、彼が望むように、３Ｄデータ中のオブジェクトを回転、翻訳、および拡大する。外科医がそれらを見ている位置および方向におけるそのようなオブジェクトを見ることに限定されない）、外科医が見ることができないものを見る。そして、したがって、例えば、手術の現場にいる患者の組織に外科医を協同的にガイドする。これらの図について次に説明する。
【０１３１】
図３１は、可視化アシスタント（「ＶＡ」）ビューの２つの例を示す図である。一般に、外科医／可視化アシスタントパラダイムにおいては、外科医は、ロックオンして、一般的には、患者または対象の処理において物理的に使用する視点およびアプローチの角度とは相関しないであろうＶＡが作成した最適な可視化を見ることを決めていない限り、ＶＡのビューから切り離されている。図３１の文脈においては、そして、一般的には、ＶＡは、手術用ナビゲーションシステム、例えば、デックス―レイ（DEX-Ray）（登録商標）型システムを用いる外科医を援助するために使用される。上記したように、外科医は、スチューデントと類似した行動をし、上記したように、可視化アシスタントは、ティーチャーと類似した行動をする。これは、手術をしている外科医は、彼の視点が彼の保持するプローブや他の器具に限定されるため、３Ｄバーチャルデータの表示に関して自由が少ないという事実によるものである。例えば、デックス―レイ（DEX-Ray）（登録商標）システムを使用して、３Ｄデータからの視点を見ることは、手で持ったプローブ内のカメラで見るのと同じである。一方、ＶＡは、３Ｄバーチャルデータだけを見ているので、制限なく視点の変更を行うことが可能である。外科医は一般的に、拡張現実感を表示することを望むため（または、もし他の手術用ナビゲーションシステムを用いるのであれば、視点によって見える３Ｄデータは、彼がトラッキングするものとほぼ同様である）、外科医のビューは通常ＶＡから切り離されている。
【０１３２】
したがって、図３１において、可視化アシスタントは、外科医の手術および処置における関心オブジェクトを表す頭蓋骨を回転させ、冠状面のビューが左側、矢状面が右側に見えるようにする。各可視化アシスタントのビューには、外科医（スチューデントとして機能する）のリモートツール３１００が見える。矢状面のビューで、頭蓋骨の開口部を容易に見ることができる。分割している外科医の視点は、これらのそれぞれとは異なるものである。以下において図３４を用いてより十分に説明する。図３４に示されているように、外科医の実際のビューは、下記に示すように彼の手術経路にあるものより外科医のリモートツール３１００の軸に沿ってより多くなっている。図３２および図３３はそれぞれ、図３１の拡大図である。
【０１３３】
図３４は、図３１の可視化アシスタントのビューに対応する外科医のビューを例示した図である。このビューは、外科医が持っている実際の視点であって、彼の、例えば、デックス―レイ（DEX-Ray）（登録商標）型システム上に局所的に示された図である。外科医の視点は、カメラプローブ（Camera Probe）出願に記載のカメラプローブ（Camera Probe）のカメラの視点、または、例えば、別の手術用ナビゲーションシステムを使った場合は、彼の物理的方向および患者の内部へのアプローチの経路に対応している（そして、それによって制限されている）。図３４では、外科医のツール３４００は、彼が持っている実際のカメラプローブ（Camera Probe）、またはナビゲーションプローブもしくは器具に対応する。さらに図３４には、上記したように、他の何らかの識別子と置換または拡張することができる頭蓋骨の開口部２４１０および外科医のＩＰアドレス３４１６、ならびに部分的に見える球体３４０５も示されている。可視化アシスタントが、彼の視点を最適化することによって、よりよいビューを取得し、それによって、外科医がポイントを突き止めるのは、まさにこのオブジェクトである。図３１乃至４３には、球体３４０５（図３４に関して）は、外科医が処理している関心オブジェクト、例えば、腫瘍を表していると想定される。図３５は、可視化アシスタントのビュー、および上記したように頭蓋骨の開口部を含む頭蓋骨を示す、対応する外科医の切り離されたビューを示す図である。図３５においては、可視化アシスタントは、外科医が球体上のポイントを突き止めるのを援助する。可視化アシスタントは、このビューでは、頭蓋骨の側面を切り欠いて、球体を明らかに示している。一方、外科医のビューである図３５（ｂ）は、実際の世界では彼のプローブが動いているという事実に制限されており、頭蓋骨中の実際の穴もしくは上記頭蓋骨の開口部中にのみ動くことができる。対照的に、可視化アシスタントのビューは、制限がなく、データを自由に処理して、この球体を最も良好に可視化している。図３５（ａ）の各ビューでは、外科医のツール３５００が見えている。図３５（ｂ）に示されているように、外科医のツールの軸は、多かれ少なかれ彼の視点に対応している。一方、図３５（ａ）では、可視化アシスタントは、外科医の実際の経路に対して後部からオブジェクトを見ている。図３６および３７は、それぞれ図３５（ａ）および図３５（ｂ）を拡大して示した図である。図３７からわかるように、外科医のＩＰアドレス３７１６がはっきりと表示されている。
【０１３４】
ＶＩ．他の手術用ナビゲーションシステムとの統合
本発明の実施態様において、種々の３Ｄインタラクティブ可視化システムの製造業者からの３Ｄトラッキング（または２Ｄトラッキング）能を持つ装置、例えば、デキストロネット（DextroNet）上のデキストロスコープ（Dextroscope）（登録商標）などを接続することが可能である。そのような「外来」装置は、そのようなネットワークを介して送信される質問または指令に対応して、所定の情報をデキストロネット（DextroNet）に提供するであろう。例えば、Medtronic（Louisville, Colorado, USA）は、脳神経外科的処置のための種々のナビゲーション（または、画像がガイドする）システムを製造している。そのようなナビゲーションシステムの１つが、例えば、トレオン（登録商標）（TREON）システムである。さらに、メドトロニック（Medtronic）は、アプリケーションプログラムインターフェース（ＡＰＩ）ネットワーク インターフェースソフトウェアも製造している。それは、データをそのようなナビゲーションシステムから外部のアプリケーションへ、リアルタイムで流すことができる。
【０１３５】
同様に、別の製造業者であるブライアンラボエージー（BrainLAB AG）（Munich, Germany）は、類似のソフトウェア製品を持っている。この製品は、ベクタービジョンリンク（VectorVision Link）（VV Link）という名前の注文設計クライアント/サーバアーキテクチャーを使用し、可視化ツールキット（ＶＴＫ）から機能を拡大したものである。VV Linkは、両方向データが画像データセット、可視化およびツール位置などをリアルタイムで転送することを可能にする。これらの装置は、登録情報とプローブ座標情報を、デックス―レイ（DEX-Ray）（登録商標）システムと同様のやり方で提供するが、それらは、拡張現実感ベースではないので、ビデオ情報は提供されない。本発明の実施態様において、デキストロネット（DextroNet）サーバの変更例は、ステルスリンク（Stealthlink）（登録商標）またはVV Linkソフトウェアなどを組み込むことができるであろう。患者情報と登録情報の詳細が、例えば、交換可能である接続後、デキストロネット（DextroNet）は、例えば、これらのシステムに照会して、それらのプローブ座標を取得する。こうして、本発明の実施態様において、そのようなシステムは、外科医のワークステーションとして機能し、ティーチャー（ＶＡ）ワークステーションに空間座標を提供することができる。上記のデックス―レイ（DEX-Ray）（登録商標）による遂行とは異なり、現在のように構成されているこれらのシステムは、外科医のビューに、ＶＡワークステーションから外科手術中に表示を行うオプションを有していない。そうするためには、本発明のある実施態様の方法をナビゲーションシステム中に具体化するソフトウェアを組み込む必要がある。
【０１３６】
同様に、上記したように、本発明の実施態様において、例示のデキストロネット（DextroNet）を介して接続される機械は、異なる製造業者の製品とすることもでき、異なる構成、また異なるタイプであることができる。上記したように、手術用ナビゲーションシステム、例えば、デックス―レイ（DEX-Ray）（登録商標）システム、または、メドトロニック（Medtronic）やブライアンラボ（BrainLAB）のシステムをデキストロネット（DextroNet）を介して標準的な３Ｄインタラクティブ可視化ワークステーション、例えば、デキストロスコープ（Dextroscope）（登録商標）、デキストロビーム（DextroBeam）（登録商標）などに接続することができる。さらに上記したように、３Ｄ位置データを送信するシステム、例えば、拡張現実感を利用しない手術用ナビゲーションシステムを接続することもできる。
【０１３７】
次に説明する図４４乃至４９は、本発明のある実施態様におけるデキストロネット（DextroNet）のさらに別の使用である。この例は、デキストロネット（DextroNet）を介して３Ｄインタラクティブ可視化システム、例えば、デキストロスコープ（Dextroscope）（登録商標）に送信された、心臓病専門医が作成する２Ｄの蛍光透視画像の例に関するものである。パラダイムは、上記した外科医と可視化アシスタントのそれに類似する。しかしながら、このケースには、外科医は存在せず、代わって、インターベンション心臓病専門医が存在する。そのような実施態様においては、可視化アシスタントは、術前に取得しておいたＣＴＡスキャンの可視化アシスタントによる制限のない３Ｄ処理によって、そのようなインターベンション心臓病専門医が彼の関心のある解剖学的構造を可視化するのを援助する。
【０１３８】
したがって、図４４において、カスラボ（Cathlab）（登録商標）処置から取得した例示の蛍光透視画像を示す。当該画像は、Ｘ線を患者の胸郭に当てることによって取得した。画像中には、動脈、より正確には、造影剤を投与されて撮影された動脈内部の部分が見える。
【０１３９】
図４５は、標準的なインターベンション心臓病専門医のビューの例を示す図である。図４５において、インターベンション心臓病専門医は、例示の蛍光透視装置によって提供された視点から、造影剤を投与して撮影した血管の２Ｄ投影図のみを見る。図４５に示された画像は、そのような従来のインターベンション心臓病専門医のビューのシミュレイトされた投影図である（一連の実際の蛍光透視画像にマッチしている。また、関連するＣＴＡは入手できなかった）。シミュレーションは、ＣＴＡデータ上で操作することによって取得した（ＣＴＡの冠状動脈を区分化する（したがって、動脈だけ見ることができ、他の組織は見えない。それは、造影剤が動脈内を流れ、蛍光透視装置によって発光されたＸ線と相互作用する）、それらをあたかも蛍光透視法の結果のように暗く色づけする、そして、区分化された動脈を方向付け、スナップショットを撮影し、その後ＣＴＡのスナップショットを、区分化を行わずに撮影する）。
【０１４０】
図４６は、図４５の臨床医のビューに対応する可視化アシスタントのビューの例を示す図である。このような例示の可視化アシスタントは、図４５のインターベンション心臓病専門医と協同することができる。記載しているように、そのような可視化アシスタントは、術前のＣＴＡに対して制限のない３Ｄ処理を行う。図４６は、ＶＡが検査している冠状動脈の拡大図である。図４６乃至４８は、本発明のある実施態様における、インターベンション心臓病専門医と可視化アシスタントの間の相互作用の例を説明する図である。それらの図は、蛍光透視図とともにＣＴＡ図を手動で登録する方法を示している。ここで、例えば、ＶＡは、デキストロネット（DextroNet）を介して図４５のような蛍光透視法を取得し、次いで、例えば、当該画像を用いることでＣＴＡ（例えば、区分化された冠状動脈）を調整してこの受信画像と整合させることができる。ＶＡは、方向決定を行い、心臓病専門医が見ているもの（蛍光透視装置上には制限があり、通常トラッキングされず、心臓病専門医がよく知っているいくつかの標準的な位置だけとなる）を知るとすぐ、制限のない３Ｄ処理によって、リアルタイムで心臓病専門医にそれが何であるかを指示することができる。彼は、例えば、「左冠状動脈」もしくは「ＬＣＡ」、同様に、例えば、「右冠状動脈」もしくは「ＲＣＡ」といった注釈つけて、それらの血管を標識する。あるいは、彼は、カスラボ（Cathlab）（登録商標）画像（投影図または、そのような表示が利用可能であれば立体）でインターベンション心臓病専門医に提供することができる血管中の狭穿部を（３Ｄで）指し示すことができる。さらに、例えば、ＶＡは測定を行うことができる。そしてもしＶＡがフルオロスコープから新たな画像を見ることができれば、彼は、カテーテルがどこにあるかを特定し、３Ｄ位置を推定することができ、その後、重要な解剖学的ランドマークまでの距離を心臓病専門医に伝えることができる。
【０１４１】
図４７は、上記した図８と類似したシナリオを示す図である。可視化アシスタントは、全体の３Ｄとメイン画像の両方を見ることができ、また、スナップショットまたは左上隅にある「図中図」画像を見ることができる。当該図中図の画像は、例えば、インターベンション心臓病専門医のカスラボ（Cathlab）（登録商標）機械中で例示の蛍光透視装置によって作成したものである。それは、本質的に上記の４５に示した画像である。可視化アシスタントは、デキストロスコープ（Dextroscope）（登録商標）または均等の装置を使用して、術前のＣＴＡデータを処理し、区分化し（もしくは再区分化する）、最適には蛍光透視装置中に見えるものと同じ視点の血管を可視化することができる。このことは例えば、視点を、彼が図中図に見ているものに揃えることによって行うことができる。さらに、ＶＡのビューの遠方右側には、デキストロラップ（DextroLap）遂行に通常見えるものと類似した、例示の相互作用機能ボタンが見える。ＶＡは、必要に応じて、例えばデキストロラップ（DextroLap）使用することができることがわかる。または、例えば、彼はデキストロスコープ（Dextroscope）（登録商標）を最大限に使用することができるであろう。
【０１４２】
図４８は、さらに別の例示の、ＶＡが作成することができる３Ｄビューを示す図である。すなわち、記載したように、ＶＡは、全ＣＴＡデータにアクセスするので、したがって、例えば、図４８の左の画像に示されているように、取得面をまとめることができる。または、例えば、データを区分化して、図４８の右の画像に示すように、冠状動脈のみを明らかに示すことができる。
【０１４３】
最後に、図４９は、例えば、インターベンション心臓病専門医のカスラボ（Cathlab）（登録商標）装置に表示され得る画像を並べて示している。インターベンション心臓病専門医は、彼のローカル機で取得した蛍光透視図（左）と可視化アシスタントが、例えば、デキストロスコープ（Dextroscope）（登録商標）またはデキストロラップ（DextroLap）機械で作成した図とを同じディスプレイ上で比較することができる。この比較は容易であるので、心臓病専門医は、蛍光投影図をよりよく解釈することができるようになる。インターベンション心臓病専門医と可視化アシスタント間で通信を行うことで、可視化アシスタントは、インターベンション心臓病専門医にとって望ましく、有用であるかもしれないように、彼が局所で作成したビューを、例えば、改良、再区分化、および最適化して、それをデキストロネット（DextroNet）でインターベンション心臓病専門医に送信して、表示（図４９に示すように）し、インターベンション心臓病専門医による比較ができるようする。これは、例えば、蛍光透視法の処置を示すいくつかのモニターを備えたカスラボ（Cathlab）（登録商標）システムのような特徴を用いて行うことができる。別のモニターに３Ｄ画像を加えることは簡単なタスクであろう。これらの後者の画像は、例えば、蛍光透視と一致するかもしれないし、しないかもしれない。さらにそのようなシステムは蛍光透視装置の位置、ならびにその他の患者情報も示す。あるいは、例えば、無菌条件で使用される簡単なタッチスクリーンなどを備えたモニターなどの他のディスプレイを用いて、ＶＡの可視化を臨床医に返送することもできる。
【０１４４】
ＶＩＩ．役割切り換え
本発明の実施態様において、役割切り換え機能をサポートすることができる。役割切り換えは、例示のデキストロネット（DextroNet）における特徴であり、ティーチャーおよびスチューデント（または外科医および可視化アシスタント）に彼らのそれぞれの役割をオンラインで交換させるものである。ティーチャー―スチューデントパラダイムにおいて、スチューデントは、オブジェクトにおける、翻訳、回転、およびインティングを除き、３Ｄデータセットのオブジェクトを処理することはできない。役割切り換えによって、スチューデントがティーチャーからのコントロールを引き継ぐと、彼は、例えばオブジェクトに対するティーチャーのワークを続けて行うことができる。これは、ある程度の協同のためのモードを示唆するものである。さらに、ある一時点においては、ティーチャーは、ネットワーク上に一人しか存在しない。この協同は、連続的であり衝突の問題を生じることはない。
【０１４５】
例示のデキストロネット（DextroNet）では、ティーチャーおよびスチューデントは、低レベルではともにクライアントであることができ、それによって、役割切り換えは自然に行われる。役割切り換えは、現時点の通信セッションを用いることができ （すなわち、ネットワーキングを停止させ、再接続させる必要はない）、ティーチャーとスチューデントの役割を高レベルで行うことができる。このようにして、役割切り換えは、再接続のために時間を使うことを回避することで、かなり迅速に行うことができる。
【０１４６】
役割切り換えは、多数のスチューデントをサポートしている。ティーチャーは、どのスチューデントに自分のコントロールの権利を移管するかを決定する。他のスチューデントは、そのままの状態を維持することができるが、例えば、ティーチャーが変わったことを知ることができる。上記したように、本発明の実施態様においては、ティーチャーもスチューデントも、例えば、低レベルの意味においてはクライアントである。図９に示したように、本発明の実施態様において、デキストロネット（DextroNet）は、サーバクライアントアーキテクチャーが用いられる。そのようなアーキテクチャーでは、ティーチャーもスチューデントもクライアントである。サーバも、例えば、ティーチャーと多数のスチューデントの間の通信を行うために使用することができる。したがって、役割切り換えは、ネットワーキングを停止させたり、再接続することなく、現時点の通信セッションを用いる。全体のプロセス中、物理的な接続の変化は何も起こらない。唯一の論理的な新たな役割をサーバに割り当てる、および再割り当てをする必要がある。全てのクライアント間の役割変更を伝える通常のプロセスは、例えば、下記のものがある。スチューデントがコントロールの権利を要求し、ティーチャーが他のスチューデントに伝え、サーバは役割切り換えの準備をする。その後、例えば、ティーチャーもスチューデントも、下記に示す例示の役割変更にしたがって、それらのツールをリセットし更新する。
【０１４７】
・スチューデントとなる予定のティーチャーの機械は、スチューデントツールをローカルツールに変更し、彼のティーチャーツールを専用のリモートツール（すなわち、新しいティーチャーの）に変更する。他のリモートスチューデントのツールは、表示から削除される。
【０１４８】
・ティーチャーとなる予定のスチューデントの機械は、彼のティーチャーツールをローカルツールに変更し、他のスチューデントならびにスチューデントとなる予定のティーチャーのためのツールの表現（スチューデントツール）を追加する。
【０１４９】
・他のスチューデントの機械は、それらのティーチャーツールを新しいティーチャーに変えて表現する。彼らのツールは、スチューデントツールのまま維持される。
【０１５０】
これらの役割変更が完了するとすぐ、すべてのクライアントは、それらの新たな役割をサーバ上に再登録する。こうして役割切り換えが完了する。
【０１５１】
進行中の通信セッションを用いて、多数のスチューデントをサポートすることができる。データフローの管理は、注意が必要であり得る。例示の役割切り換えの前後に受信するデータは、例えば、分離する必要がある。また、役割のサーバ上への再登録は、例えば、同期させておくことが必要である。これを達成するために、全体のプロセスを、例えば、役割切り換えのための準備（フェーズＩ）、役割の変更（フェーズＩＩ）、そして新た役割のサーバへの登録（フェーズＩＩＩ）といった３つのフェーズに分けることができる。各フェーズの終わりに、全てのクライアントの状態を同期させることができる。
【０１５２】
このプロセスを、図５０乃至５２を用いて以下のようにまとめることができる。
【０１５３】
Ａ．フェーズＩ（図５０）
（１）ティーチャーは、自分のコントロールを移管した全てのスチューデントに合図を行う。全てのスチューデントから肯定応答を得た後、彼のツールはリセットされ、サーバは、彼が今役割切り換えの準備ができていることを通知し、ゾンビの状態（すなわち、機械がデータの受信のみ可能で、送信をすることができない状態）に入る。
【０１５４】
（２）スチューデントは、ティーチャーからシグナルを受けると、自分はティーチャーになるのか、またはスチューデントのままでいるのか彼の機械によって確認する。一方、またサーバは、ツールをリセットした後、役割切り換えの準備ができたことを通知する。このリセットは、ボリュームオブジェクトに対して既になされた変更には影響を及ぼさない。そして、彼は、受動状態または「ゾンビ」状態に入る。それは、記載したように、機械がメッセージを受信するだけで送信を行わない状態を意味する。
【０１５５】
本発明の実施態様において、ユーザは、役割切り換えプロセスにおける全ての通知を気にする必要はない。全ての役割切り換えプロセシングは、ユーザが「役割切り換え」ボタンを押すと自動的に行われることができる（そして、上記の記載および次に示す内容中のティーチャーまたはスチューデントについての言及「何かをする」は実際に、そのような行動を行うソフトウェアの例について言及している）。
【０１５６】
本発明の実施態様において、サーバは、ティーチャーとスチューデントの間の通信を管理するために使用することができる。例えば、それは彼らの役割の覚書である格納されたリストであることができる。したがって、役割が切り換えられたとき、サーバに通知されなければならない。さらに、役割切り換え中、ティーチャーとスチューデントの間の状態は、各フェーズの最後に同期させなければならない。サーバは、例えば、このプロセスを調整することもできる。例えば、フェーズＩの最後に、スチューデント／ティーチャーは、サーバに役割切り換えの準備ができたかどうかを通知しなければならない。この後、彼はゾンビ状態に入り、役割変更が可能なサーバからの指示を待つことになる。サーバは、例えば、いくつのクライアントが役割切り換えの準備ができているかを数えることができる。全てのクライアントの準備ができたことを知ったあと、彼は全員に指示を出し、彼らはフェーズＩＩに入ることができる。
【０１５７】
（３）サーバが、全てのクライアントが役割切り換えの準備をしたことを知ると、彼らにメッセージを送信し、ゾンビ状態から再開させる。
【０１５８】
（４）クライアント（ティーチャー―スチューデント）が再開すると、クライアントは、彼の役割を変更し、サーバに通知し、再びゾンビ状態に入る。
【０１５９】
Ｃ．フェーズＩＩＩ（図５２）
（５）サーバは、全ての彼のクライアントから、役割切り換えを行ったとのメッセージを受けると、彼はまずティーチャーを再開させる。
【０１６０】
（６）ティーチャーは、サーバに再登録を行い、サーバに通知する。次いで、サーバは、スチューデントを再開させる。
【０１６１】
（７）スチューデントは、サーバに再登録を行い、ティーチャーは、最初のスナップショットをスチューデントから受信した後、ティーチャーは、サーバに、次のスチューデントを再開させるように要求する。
【０１６２】
（８）ステップ（７）は、例えば、全てのスチューデントが再登録するまで繰り返すことができる。
【０１６３】
さらに、本発明の実施態様において、上記プロセスを経て各役割切り換えを行って、ティーチャーの役割は、複数の関係者に対して、関係者から関係者に回すことができる。
【０１６４】
ＶＩＩＩ．データフォーマット
本発明の実施態様において、以下の策を使用して、リモートターミナルへの適切な表示を確保することができる。
【０１６５】
Ａ．データ
各サイド（ティーチャー―スチューデント） は、同じデータのコピーを保持している。もしデータが異なれば、全データセットを同期させることができる（データファイルの圧縮および送信）。
【０１６６】
Ｂ．初期化
本発明の実施態様において、ネットワーキング機能を初期化する際の両サイドでバーチャルコントロールパネルを同期させることができる。例えば、デキストロスコープ（Dextroscope）（登録商標）/デキストロビーム（DextroBeam）（登録商標）ワークステーションにおいて、バーチャルコントロールパネルは、解釈中、３Ｄトラッカーが休止している場合、物理的なアクリルベースを用いて正確に測定しなければならない。それによって、バーチャルツールは、バーチャルコントロールパネル上の対応する部分にタッチすることができる。こうして、目盛りおよび構成はローカルとなり、機械ごとに変わる。このことによって、例えば、ティーチャーのツールがスチューデントのコントロールパネルにタッチすることができなくなるといったミスマッチを、ネットワーキングの間に起こることがある。この問題を回避するために、本発明のいくつかの実施態様においては、コントロールパネルを同期させることができる。ネットワーキング機能が稼動している間に、ティーチャーのコントロールパネルの位置、方向、および大きさをスチューデントに送信することができ、スチューデント自身のコントロールパネルのパラメータを置き換えることができる。ネットワーキング機能が終了すると、スタンドアロンで作動するようにスチューデントの前の構成を回復させることができる。本発明の実施態様において、ネットワーキング機能を初期化する際に両サイドの視点を同期させることができる。適切な表示のために、ティーチャーとスチューデントは、同じ目の位置、見る位置、投影の幅と高さ、回転角度などを共有すべきである。したがって、視点に関する全ての情報は、ネットワーキング機能の開始時に同期させるべきである。
【０１６７】
本発明の実施態様において、ネットワーキング機能を初期化する際に、両サイドのズームボックスを同期させることができる。したがって、ネットワーキング機能が開始すれば、当該両サイドのズームボックスを位置、方向、境界、コンピュータスクリーン領域などによって、同期を取らなければならない。
【０１６８】
Ｃ．ウィジェットを同期する
本発明の実施態様において、ネットワーキング機能の開始時、両サイドのコントロールパネルのスライダーバーの位置、ボタンやタブの状態、色彩自動照合表のリストなどの初期状態は異なっているかもしれない。これらの全てのパラメータは、そろえる必要がある。
【０１６９】
Ｄ．通信
本発明の実施態様において、２つのタイプの座標系を用いることができる。世界座標とオブジェクト座標である。世界座標は、バーチャルワールドに取り付けらた座標である。オブジェクト座標は、バーチャルワールドの各バーチャルオブジェクトに取り付けらたものである。本発明の実施態様において、全バーチャルツールを世界座標に表示することができる。ティーチャーおよびスチューデントは、それぞれそれらが使用する座標系のタイプと通信することができる。
【０１７０】
スチューデントが従事しているモード（「ロックオン」）のとき、ティーチャーもスチューデントも、世界座標における自分のツール名、状態、位置、方向、および大きさを彼の仲間に送信する。
【０１７１】
スチューデントが開放されたモード（「ロックオン」でない）のとき、ティーチャー側でティーチャーのツールがコントロールパネルにタッチすれば、ティーチャーは、世界座標におけるツール名、状態、位置、方向、および大きさをスチューデントに送信する。そうでなければ、彼は、オブジェクト座標における位置、方向、および大きさをスチューデントに送信する。スチューデントは、ティーチャーのツールに関連する情報を受信すると、彼は、受信した情報をオブジェクト座標から世界座標に変換し、その後、彼の世界にティーチャーのツールを表示する。一方、スチューデントは、オブジェクト座標における彼のツール名、状態、位置、方向、および大きさをティーチャーに送信する。ティーチャーは、その後それらを世界座標に変換することができる。スチューデントのツールを表示する前に行うことができる。本発明の実施態様において、スチューデントは、何の行動が起こっているかを、彼の世界のティーチャーのバーチャルツールの位置、方向、および状態に基づいて決定することができる。
【０１７２】
本発明の実施態様において、デキストロネット（DextroNet）は、ティーチャー側およびスチューデント側の視点のモードの同期を取ることができる。スチューデントは、視点を開放することを選択することができる。彼は、例えば、彼のスタイラスのボタンを押すことができる。この行動によって、メッセージがティーチャーの機械に送信され、「私は、離れます」という効果が生じる。スチューデントは、例えば、実際に彼の視点を切り換えることはできない。彼は、ティーチャーからの世界座標を使用し続ける。ティーチャーの機械がスチューデントのメッセージを受信すると、例えば、次に当該スチューデントに肯定応答を送信することができ、そして、その後は、オブジェクト座標に変わる。スチューデント機は、そのような肯定応答をティーチャー機から受信すると、その後実際に離れるための変更を行い、その後オブジェクト座標を使用することができるようになる。
【０１７３】
例えば、スチューデントが再び従事する場合、状況は同じである。したがって、本発明の実施態様において、ティーチャー機が、スチューデントが離れることを決定したことを知ったとき、スチューデント機ができるのは、スチューデントの視点を変更することだけである。このようにすれば、離脱や再従事の前後に、ティーチャー機とスチューデント機の間の座標の種類についての衝突が、生じるのを回避することができる。
【０１７４】
Ｅ．電信フォーマット
本発明の実施態様においては、例えば、２つの電信フォーマットが存在し得る。１つは、例えば、メッセージの更新に用いることができ、他方は、例えば、ファイルに用いることができる。
【０１７５】
１．メッセージの更新のためのフォーマットＩ
図５４は、メッセージの更新のための第１のフォーマットの例を示す。例えば、以下の属性を持つ以下のフィールドを使用することができる。
【０１７６】
開始タグ（Begin Tag）：電信の開始を示す（符号なしの文字）；
データ型（Data Type）：コンテンツがメッセージの更新であるのかファイルであるかを示す。メッセージの更新の場合、この値は２である（符号なしの整数）；
ＩＰ：送信元のＩＰアドレス（符号なしの文字）；
オブジェクト名：このメッセージを利用するために割り当てられたオブジェクト；
座標系（Co-ord System）：電信（符号なしの文字）中の位置、方向、および大きさを解釈するための座標系。例えば、２つの可能な値が存在する：世界座標には「wld」、オブジェクト座標には「app」；
位置（Position）：「オブジェクト名」中のオブジェクトの位置。１つの位置は、浮動中に３つの値ｘ、ｙ、ｚを含む；
方向（Orientation）: 「オブジェクト名」中のオブジェクトの方向。方向は、４ｘ４マトリクスである。マトリクス中の各要素は浮動するものである；
状態（State）：必要に応じて「オブジェクト名」中のオブジェクトの状態（符号なしの文字）。オブジェクトがツールであれば、その値は、４つの状態：ＭＫ＿ＣＨＥＣＫ、ＭＫ＿ＳＴＡＲＴ＿ＡＣＴＩＯＮ、ＭＫ＿ＤＯ＿ＡＣＴＩＯＮ、ＭＫ＿ＥＮＤ＿ＡＣＴＩＯＮのうちの１つとなる。
大きさ（Size）：「オブジェクト名」中のオブジェクトの大きさ。大きさは３つの値：ｘ、ｙ、ｚを浮動中に持つ；
終了タグ（End Tag）：電信の終了を示す（符号なしの文字）
【０１７７】
図５５（ａ）乃至５５（ｃ）は、図５４のフォーマットを用いる３つの例を説明する図である。図５５（ａ）は、コントロールパネルとの同期を取るためのメッセージの更新を説明する図である。図５５（ｂ）は、ウィジェットとの同期を取るためのメッセージの更新を説明する図である。図５５（ｃ）は、バーチャルツールとの同期を取るためのメッセージの更新を説明する図である。
【０１７８】
２．ファイル転送
本発明の実施態様において、長いファイルは、いくつかのブロックに分割して転送することができる。各電信は、そのようなブロックを含むことができる。本発明の実施態様において、ファイルを実際に転送する前に、更新メッセージを送信し、仲間にファイルを転送する旨を伝えることができる。「大きさ」フィールドが合計ブロック数（Total Block Number）（符号なしの整数）、ブロックの大きさ（Block Size）（符号なしの整数）、および最後のブロックの大きさ（Last Block Size）（符号なしの整数）を含むように修正することができるとすれば、図５４に示されているフォーマット１は、そのような更新メッセージ中で送信することができる。図５６にそのような更新メッセージの例を示している。図５６は、９９１ＫＢ（１，０１４，９２１バイト）の例示的ファイルの転送に関する例示的更新メッセージを示す。したがって、大きさフィールド内のデータを考慮して、仲間は、そのファイルが２４８ブロックであり、最後のブロックを除いた各ブロックの大きさが４０９６バイトであり、最後のブロックが３２０９バイトであることを知る。ファイル自体は、ファイル転送に採用される更新メッセージのための第２のフォーマットを用いて送信することができる。
【０１７９】
３．メッセージの更新のためのフォーマットＩＩ
図５７は、メッセージの更新のための第２のフォーマットの例を示す。本発明の実施態様において、以下のフィールドを使用することができる。
【０１８０】
開始タグ（Begin Tag）：電信の開始を示す（符号なしの文字）；
データ型（Data Type）：コンテンツがメッセージの更新であるのかファイルであるかを示す。ファイルの場合、この値は１である（符号なしの整数）；
ファイルブロック（File Block）：二進法でのファイルのブロック（符号なしの文字）；
終了タグ（End Tag）：電信の終了を示す（符号なしの文字）
【０１８１】
例示のファイル転送送信においては、それぞれが４０９６バイトである最初の２４７ブロックは、例えば、図５８（ａ）に示すように送信することができ、それぞれが３２０９バイトである最後のブロックは、フォーマットＩＩを用いて図５８（ｂ）に示すように送信することができる。
【０１８２】
本発明は、１以上の実施態様と関連付けて説明したが、それらの限定されるものではなく、添付の請求項は、特定のフォーマットおよび示されている本発明の変更例を含むだけでなく、本発明の真の範囲から逸脱せずに、当業者によって修正され得るものをさらに含むと解釈される。
【図面の簡単な説明】
【０１８３】
【図１】図１は、本発明のある実施態様における、ティーチャー型ワークステーションの例を示すプロセスフローチャートである。
【図２】図２は、本発明のある実施態様における、ネットワークを介して接続された種々のワークステーションの例を示すシステムレベル図である。
【図３】図３は、本発明のある実施態様における、スチューデント型ワークステーションの例を示すプロセスフローチャートである。
【図４】図４は、本発明のある実施態様における、外科医ワークステーションの例を示すプロセスフローチャートである。
【図５】図５は、本発明のある実施態様における、可視化援助ワークステーションの例を示すプロセスフローチャートである。
【図６】図６は、本発明のある実施態様における、外科医の標準的（空き）な図である。
【図７】図７は、本発明のある実施態様における、使用中の外科医の標準的な図である。
【図８】図８は、本発明のある実施態様における、可視化援助の例を示す図である。
【図９】図９は、本発明のある実施態様における、ティーチャー―スチューデントパラダイムアーキテクチャーの例を示す図である。
【図１０】図１０ａないし１０ｅは、本発明のある実施態様における、デキストロネット（デキストロネット（DextroNet））の一例の上で接続されたティーチャー―スチューデントパラダイムアーキテクチャーの例を示す図である。
【図１１−１３】図１１乃至１３は、図１０ａ乃至１０ｃを拡大して連続的に示した図である。
【図１４】図１４ａ乃至１４ｃは、例として、図１０のティーチャーと２人のスチューデントによってロックオンモードで観察される、３Ｄデータセットの例を示す図である。
【図１５−１７】図１５乃至１７は、図１４ａ乃至１４ｃを拡大して連続的に示した図である。
【図１８】図１８ａ乃至１８ｃは、図１４ａ乃至１４ｃに示される３Ｄデータセットの例を示す図であり、そこでは、ティーチャーが測定を行い、スチューデント１が空きの図のモードに切り換えを行っている。
【図１９−２１】図１９乃至２１は、図１８ａ乃至１８ｃを拡大して連続的に示した図である。
【図２２】図２２ａ乃至２２ｃは、ティーチャーがペンを動かした後の図１８ａ乃至１８ｃの例をそれぞれ示す図である。
【図２３−２５】図２３乃至２５は、図２２ａ乃至２２ｃを拡大して連続的に示した図である。
【図２６−３０】図２６乃至３９は、本発明のある実施態様における、二人のスチューデントがネットワーキングセッションに参加している、ティーチャーの見地からの順序の例を示す図である。
【図３１】図３１は、本発明のある実施態様における、可視化援助の２つの例を示す図である。
【図３２−３３】図３２乃至３３は、図３１を拡大して連続的に示した図である。
【図３４】図３４は、本発明のある実施態様における、図３１に示された可視化援助に対応する外科医の例を示す図である。
【図３５】図３５は、本発明のある実施態様における、両当事者が所与のポイントをファントムオブジェクト上に位置づけたときの、可視化援助と外科医の視点をそれぞれ示す図である。
【図３６−３７】図３６乃至３７は、図３５を拡大して連続的にそれぞれ示した図である。
【図３８】図３８は、本発明のある実施態様における、外科医を援助して、あるポイントをオブジェクト上に位置づける可視化援助を示す図である。
【図３９−４０】図３９乃至４０は、図３８を拡大して連続的にそれぞれ示した図である。
【図４１】図４１は、本発明のある実施態様における、外科医と協同して、あるポイントをオブジェクト上に位置づける例をさらに示す図である。
【図４２−４３】図４２乃至４３は、図４１を拡大して連続的にそれぞれ示した図である。
【図４４】蛍光透視法による画像の例を示す図である。
【図４５】図４５は、インターベンションを行う心臓病専門医の視点の例を示す図である。
【図４６】図４６は、本発明のある実施態様における、図４５に対応する可視化援助の例を外科医と協同して、あるポイントをオブジェクト上に位置づける例をさらに示す図である。
【図４７】図４７は、本発明のある実施態様における、図４６に示した可視化援助の例によって作成された図中図の例を示す図である。
【図４８】図４８は、本発明のある実施態様における、図４６乃至４７に示した可視化援助３Ｄ図の他の例を示す図である。
【図４９】図４９は、本発明のある実施態様における、インターベンションを行う心臓病専門医の視点の別の例を示す図である。
【図５０】図５０は、本発明のある実施態様における、第１ステージの役割スイッチプロセスの例を示す図である。
【図５１】図５１は、本発明のある実施態様における、第２ステージの役割スイッチプロセスの例を示す図である。
【図５２】図５２は、本発明のある実施態様における、第３ステージおよび最終ステージの役割スイッチプロセスの例を示す図である。
【図５３】図５３ａおよび５３ｂは、本発明のある実施態様における、ティーチャー（または、メインユーザ）システムの一例でデータ送信キューを示す図である。
【図５４】図５４は、本発明のある実施態様における、フォーマットを更新するするメッセージの例を示す図である。
【図５５】図５５ａ乃至５５ｃは、本発明のある実施態様における、図５４のメッセージフォーマットを用いて、コントロールパネル、ウィジェット、およびツールの一例を更新するメッセージの例を示す図である。
【図５６】図５６は、本発明のある実施態様における、図５４のメッセージフォーマットを用いて、ファイル転送に関するメッセージの例を示す図である。
【図５７】図５７は、本発明のある実施態様における、フォーマットを更新する別のメッセージの例を示す図である。
【図５８】図５８ａ至５８ｂは、本発明のある実施態様における、図５４のメッセージフォーマットの一例を用いたファイル転送メッセージを示す図である。
【特許請求の範囲】
【請求項１】
３次元画像をインタラクティブに処理するための装置であって、前記画像は、対象に関するイメージングデータから作成されたボリューメトリックデータを含み、前記装置は、
通信リンク上で、１以上のリモート機の１以上のリモートプローブの位置データを受信し、
前記少なくとも１つのリモートプローブと前記３次元画像とを含む組み合わされた３次元シーンを、ローカルディスプレイ上に表示するために作成し、
前記装置に対してローカルであるユーザによるローカルプローブの処理に応答して、前記３次元画像を処理し、
前記通信リンク上で、前記装置に対してローカルである前記ユーザによる前記処理に関連するデータであって、前記少なくとも１つのリモート機に前記３次元画像上で処理を行うローカルプローブの画像を含む組み合わされた３次元シーンを表示させるのに十分なデータを送信する、
ように構成されている、装置。
【請求項２】
さらに、ネットワーク条件に応答して、前記装置に対してローカルである前記ユーザによる前記処理に関して送信された前記データをフィルタリングするように構成されている、請求項１に記載の装置。
【請求項３】
前記フィルタリングは、前記３次元画像を実質的に修正しないデータパケットを落とす、請求項３に記載の装置。
【請求項４】
前記フィルタリングは、ツールの動きとツールの状態のうちの１つに関連するパケットを落とす、請求項３に記載の装置。
【請求項５】
さらに、前記１以上のリモート機のＩＰアドレス、ユーザ名、およびユーザ識別子のうちの少なくとも１つを表示するように構成されている、請求項１に記載の装置。
【請求項６】
前記１以上のリモート機に送信された、前記装置に対してローカルである前記ユーザによる前記処理に関する前記データは、前記ローカルプローブが前記１以上のリモート機と関連するプローブであるかのように前記ローカル機のバーチャルコントロールパネルと対話することによって、前記１以上のリモート機に、前記３次元画像上での処理を行う前記ローカルプローブの画像を表示させるのに十分である、請求項１に記載の装置。
【請求項７】
さらに、前記装置に対してローカルである前記ユーザの指令に応答して、前記１以上のリモート機の表示のスナップショットを受信するように構成されている、請求項１に記載の装置。
【請求項８】
さらに、前記装置に対してローカルである前記ユーザの指令に応答して、前記装置と前記１以上のリモート機のいずれかとの間に３次元画像の同期を引き起こすように構成されている、請求項１に記載の装置。
【請求項９】
前記同期を引き起こすことは、前記装置上に格納されている前記３次元画像の圧縮されているコピーを、前記１以上のリモート機に送信することを含む、請求項８に記載の装置。
【請求項１０】
前記同期を引き起こすことは、前記装置の前記３次元画像上で実行されたインタラクティブ指令のリストを送信することを含む、請求項８に記載の装置。
【請求項１１】
前記装置はさらに、リモート機のリモートユーザによるリクエストに応答して、前記ローカル機と前記リモート機の役割を切り換えるように構成されている、請求項１乃至１０のいずれかに記載の装置。
【請求項１２】
３次元画像をインタラクティブに処理するための装置であって、前記画像は、対象に関するイメージングデータから作成されたボリューメトリックデータを含み、前記装置は、
通信リンク上で、１つのリモート機の１つのリモートプローブの位置データを受信し、
１つのローカルプローブの位置データを受信し、
前記リモートプローブと、前記ローカルプローブと、前記３次元画像とを含む、組み合わされた３次元シーンを、ディスプレイ上に表示するために作成し、
前記リモートプローブの処理に応答して、前記ローカルプローブを介して前記リモート機に対してローカルであるユーザによる前記３次元画像の処理と実質的に等しいやり方で前記３次元画像を処理する、
ように構成されている、装置。
【請求項１３】
前記リモートプローブが前記装置と関連するプローブであるかのように、前記リモートプローブの処理に応答した前記３次元画像の処理が、前記ローカル機のバーチャルコントロールパネルと対話するリモートプローブの画像として表示される、請求項１２に記載の装置。
【請求項１４】
さらに、前記リモート機のＩＰアドレス、ユーザ名（原語：usemame）、およびユーザ識別子のうちの少なくとも１つを表示するように構成されている、請求項１２に記載の装置。
【請求項１５】
さらに、前記リモート機の指令に応答した前記表示のスナップショットを送信するように構成されている、請求項１２に記載の装置。
【請求項１６】
さらに、前記リモート機の指令に応答して、通信リンク上で、リモート機から送信された画像データを用いた３次元画像を同期させるように構成されている、請求項１２に記載の装置。
【請求項１７】
さらに、リモート機に対してローカルであるユーザのものと同じ視点、および前記リモート機に対してローカルであるユーザのものとは異なる任意の視点を持つ、３次元画像を表示するように構成されている、請求項１２に記載の装置。
【請求項１８】
さらに、バーチャルコントロールパネルを表示するように構成されている、請求項１７に記載の装置。
【請求項１９】
さらに、前記３次元画像が前記リモート機に対してローカルであるユーザのものとは異なる任意の視点で表示されるとき、前記装置に対してローカルであるユーザの指令に応答して、専用のローカルコントロールパネルを表示するように構成されている、請求項１７に記載の装置。
【請求項２０】
さらに、ユーザに、前記３次元画像上でローカル操作を行わせるように構成されている、請求項１２乃至１９のいずれかに記載の装置。
【請求項２１】
前記ローカル操作は、どのボクセルがオブジェクトの一部であるとみなされるかということに影響を及ぼさない処理を含む、請求項２０に記載の装置。
【請求項２２】
前記ローカル操作は、オブジェクトの翻訳および回転、ならびに倍率および透明性の設定のうちの１以上を含む、請求項２０に記載の装置。
【請求項２３】
さらに、前記３次元画像の追加的ローカルコピーを作成し、前記追加的コピーを、前記装置に対してローカルである前記ユーザから受信した処理に応答して処理するように構成されている、請求項１２または１７に記載の装置。
【請求項２４】
前記装置はさらに、前記対象に関する追加的データを、前記対象に対してローカルであり、前記リモート機の１つに対してローカルであるリモート装置から受信するように構成され、前記追加的データは、前記対象の３次元画像にコレジスタされている、請求項１に記載の装置。
【請求項２５】
前記対象に関する前記追加的データは、ほぼリアルタイムで取得される、請求項２４に記載の装置。
【請求項２６】
前記対象に関する前記追加的データは、リアルタイムのビデオ、あらかじめ記録されたビデオ、前記対象に対してローカルであるプローブまたは機器の位置データ、蛍光透視画像、超音波画像、およびマルチモーダル画像のうちの１以上である、請求項２４に記載の装置。
【請求項２７】
さらに、前記対象に対してローカルであり、前記リモート機の１つに対してローカルであるリモート装置からの、前記対象に関する追加的データを表示するように構成されている、請求項１乃至１２のいずれかに記載の装置。
【請求項２８】
前記追加的データは、前記対象の３次元画像にコレジスタされている、請求項２７に記載の装置。
【請求項２９】
前記追加的データは、ほぼリアルタイムである、請求項２７に記載の装置。
【請求項３０】
前記追加的データは、前記対象に関する前記追加的データは（原文どおり）、リアルタイムのビデオ、あらかじめ記録されたビデオ、前記対象に対してローカルであるプローブまたは機器の位置データ、蛍光透視画像、超音波画像、およびマルチモーダル画像のうちの１以上である、請求項２７に記載の装置。
【請求項３１】
３次元画像をインタラクティブに処理するためのシステムであって、前記画像は、対象に関するイメージングデータから作成されたボリューメトリックデータを含み、前記システムは、
請求項１乃至１１または２７乃至３０のいずれかに記載の装置を含むメインワークステーションと、
請求項１２乃至２６のいずれかに記載の装置を含む、１以上の離れたワークステーションと、
データネットワークとを含み、
前記メインワークステーションおよび前記１以上の離れたワークステーションのそれぞれは、前記データネットワークを介して接続されている、システム。
【請求項３２】
３次元画像をインタラクティブに処理する方法であって、前記画像は、対象に関するイメージングデータから作成されるボリューメトリックデータを含み、前記方法は、
請求項１乃至１１または２７乃至３０のいずれかに記載の第１の装置を提供するステップと；
請求項１２乃至２６のいずれかに記載の１以上の第２の装置を提供するステップと；
データネットワークを提供し、前記第１の装置と前記１以上の第２の装置を、データネットワークを介して接続するステップと；を含み、
操作において、前記第１の装置のユーザおよび前記１以上の第２の装置のユーザは、協同して共通の３Ｄデータセットを可視化する、方法。
【請求項３３】
前記第１の装置の前記ユーザの初期化において、前記第１の装置の前記ユーザと第２の装置のユーザが役割を切り換える、請求項３３に記載の方法。
【請求項３４】
ネットワークで結ばれたインタラクティブ３次元データ可視化システムであって、
対象のリアルタイム画像を取得し、それらを前記対象のコレジスタされた３Ｄボリューメトリックモデルの部分と組み合わせるためのメインシステムと；
前記組み合わされた画像を少なくとも１人のユーザに対して表示するためのディスプレイと；
プローブと；
前記プローブの位置をトラッキングするためのトラッキングユニットと；
データネットワークと；
それぞれがトラッキングされたバーチャルツールを備えた前記データネットワークによって、前記メインシステムに、通信できるように接続された前記組み合わされた画像を、インタラクティブに可視化するための１以上のリモートシステムと、を含み、
前記メインシステムのプローブのトラッキングされた位置と、組み合わされた画像は、前記データネットワーク上の各リモートシステムによって受信され、
前記リモートシステムは、前記組み合わされた画像または前記コレジスタされた３Ｄボリューメトリックモデルをインタラクティブに処理し、そのような処理された画像を前記メインシステムおよび他の全てのリモートシステムのディスプレイに送信する、システム。
【請求項３５】
前記組み合わされた画像は、前記対象上に載せられた２Ｄリアルタイムビデオである、請求項３４に記載のシステム。
【請求項３６】
前記メインワークステーションおよびリモートワークステーションを採用して、コンピュータ生成画像を修正し、前記対象上で行われる操作をシミュレイトする、請求項３４または３５に記載のシステム。
【請求項３７】
前記シミュレイトされる操作は、対象のボリューメトリックモデルの部分の除去を含む、請求項３６に記載のシステム。
【請求項３８】
前記メインシステムまたはリモートシステムを採用して、少なくとも１人のユーザからの、前記ボリューメトリックモデルの区分化された部分の色付けに対する、変更を受信する、請求項３４に記載のシステム。
【請求項３９】
前記メインシステムを採用して、第１のユーザから測定のためのボリューメトリックモデルの選択されたポイントを受信し、前記第２のシステムを採用して、第２のユーザから測定のためのボリューメトリックモデルの選択されたポイントを受信する、請求項３４に記載のシステム。
【請求項４０】
前記メインシステムまたは１つのリモートシステムは、少なくとも１人のユーザからの入力を受け、表示された関心領域上で拡大する、請求項３４に記載のシステム。
【請求項４１】
前記メインシステムまたは１つのリモートシステムを採用して、ボリューメトリックモデルの少なくとも１つの区分化されたオブジェクトの透明性または不透明性を変更するために、少なくとも１人のユーザからの入力を受ける、請求項３４に記載のシステム。
【請求項４２】
前記メインシステムまたは１つのリモートシステムを採用して、前記組み合わされた画像を修正して、前記操作の対象の物理的形状の中に変更を表現し、前記修正は、前記プローブのトラッキングされた位置に依存する、請求項３４に記載のシステム。
【請求項４３】
限定された３次元領域で操作を行う少なくとも１人のユーザによって使用される方法であって、前記方法は、
操作の対象の画像を作成するステップと；
前記画像を、前記対象とコレジストレーションの関係にある少なくとも１人のユーザに対して、表示するステップと；
長手方向の軸を持つプローブの位置を第１のシステムによってトラッキングするステップと；
その位置を第１のデータプロセシング装置と第２のシステムに対して送信するステップであって、
前記第１のデータプロセシング装置は、前記プローブの長手方向の軸に平行に伸びるラインにしたがって画像を作成し、前記ラインは、第１のユーザによってコントロールされる延長コントロール装置の出力にしたがって延長がコントロールされており、
第２のデータプロセシング装置を持つ前記第２のシステムは、前記操作の対象の少なくとも１つの画像を、前記画像を前記少なくとも１人のユーザに対して表示を行う少なくとも１つのディスプレイ上に作成し、そして、
前記第１のシステムの前記プローブの前記トラッキングされた位置は、前記第２のシステムに、通信ネットワーク上で受信されるステップと；
前記第１および第２のデータプロセシング装置をコントロールして前記操作の対象の前記少なくとも１つの画像を前記ラインのコントロールされた延長に従って修正するステップとを含む、方法。
【請求項４４】
前記第１のシステムの前記ディスプレイは、前記対象上に載せられた前記操作の対象の画像を作成する、請求項４３に記載の方法。
【請求項４５】
前記第１または第２のデータプロセシング装置は、コンピュータ生成画像を修正して、前記対象上で行われる操作をシミュレイトし、前記シミュレイトされる操作は、前記ラインの延長をコントロールすることによってコントロールされる、請求項４３または４４に記載の方法。
【請求項４６】
前記シミュレイトされる操作は、コンピュータ生成画像の前記ラインの延長によって示される患者の深部にいたる部分の除去を含む、請求項４５に記載の方法。
【請求項４７】
前記第１のシステムまたは前記第２のシステムは、少なくとも１人のユーザからのコンピュータ生成画像の色付けに対する変更を受信する、請求項４３に記載の方法。
【請求項４８】
前記第１のシステムは、測定のための選択されたポイントを第１のユーザから受信し、前記第２のシステムは、測定のための選択されたポイントを第２のユーザから受信する、請求項４３に記載の方法。
【請求項４９】
前記第１のシステムまたは前記第２のシステムは、少なくとも１人のユーザからの入力を受け、表示された関心領域上で拡大する、請求項４３に記載の方法。
【請求項５０】
前記第１のシステムまたは前記第２のシステムは、少なくとも１人のユーザからの入力を受け、少なくとも１つの透明性または不透明性を変更する、請求項４３に記載の方法。
【請求項５１】
前記第１のデータプロセシング装置または第２のデータプロセシングは、画像を修正し、前記操作の対象の物理的形状の中に変更を表現し、前記修正は、前記プローブのトラッキングされた位置に依存する、請求項４３に記載の方法。
【請求項５２】
ネットワークで結ばれたインタラクティブ３次元データ可視化システムであって、
メインシステムと；
複数の画像を少なくとも１人のユーザに対して表示するためのディスプレイと；
プローブと；
前記プローブの位置をトラッキングするためのトラッキングユニットと；
データネットワークと；
それぞれがトラッキングされたバーチャルツールを備えた前記データネットワークによって、前記メインシステムに、通信できるように接続された前記画像を、インタラクティブに可視化するための１以上のリモートシステムと、を含み、
前記メインシステムのプローブのトラッキングされた位置と、前記画像は、前記データネットワーク上の各リモートシステムによって受信され、
前記リモートシステムのそれぞれは、前記組み合わされた画像または前記コレジスタされた３Ｄボリューメトリックモデルをインタラクティブに処理し、そのトラッキングされたバーチャルツールの位置を前記メインシステムに送信する、システム。
【請求項５３】
メインシステムとリモートシステムの役割を繰り返し変更することができる、請求項５２のシステム。
【請求項５４】
前記リモートシステムは、データセットの前記メインシステムのビューまたはそれ自身のビューのいずれかを見ることができる、請求項５２のシステム。
【請求項５５】
前記リモートシステムは、あらゆる可視化処理を局所的に行うことができるが、データセットを修正することはできない、請求項５２のシステム。
【請求項５６】
前記メインシステムは、そのインターフェースおよびデータセットと、任意の時間に、任意のリモートシステムとの同期をとることができる、請求項５２のシステム。
【請求項５７】
協同的に、インタラクティブに、ボリューメトリックオブジェクトまたはシステムを可視化し、処理するための方法であって、
ローカルユーザが、オブジェクトまたはシステムのリアルタイム画像を取得し、それらと、同じオブジェクトまたはシステムのコレジスタされた３Ｄデータセットとを、メインワークステーションを使って組み合わせ、前記ローカルユーザは前記組み合わされた画像を局所的に表示し、それらをデータネットワークで送信するステップと；
それぞれが前記データネットワークに接続している１以上のリモートユーザが、前記組み合わされた画像を受信し、前記組み合わされた画像および前記コレジスタされたスキャン画像の少なくとも１つを、リモートワークステーションを用いて処理するステップと、を含み、
前記メインユーザおよび前記リモートユーザのそれぞれは、前記組み合わせ画像および前記３Ｄデータセットを処理することができ、
前記処理は、前記メインワークステーションおよび各リモートワークステーション上での実質的に周期のとれた表示のためにデータネットワークに送信される、方法。
【請求項１】
３次元画像をインタラクティブに処理するための装置であって、前記画像は、対象に関するイメージングデータから作成されたボリューメトリックデータを含み、前記装置は、
通信リンク上で、１以上のリモート機の１以上のリモートプローブの位置データを受信し、
前記少なくとも１つのリモートプローブと前記３次元画像とを含む組み合わされた３次元シーンを、ローカルディスプレイ上に表示するために作成し、
前記装置に対してローカルであるユーザによるローカルプローブの処理に応答して、前記３次元画像を処理し、
前記通信リンク上で、前記装置に対してローカルである前記ユーザによる前記処理に関連するデータであって、前記少なくとも１つのリモート機に前記３次元画像上で処理を行うローカルプローブの画像を含む組み合わされた３次元シーンを表示させるのに十分なデータを送信する、
ように構成されている、装置。
【請求項２】
さらに、ネットワーク条件に応答して、前記装置に対してローカルである前記ユーザによる前記処理に関して送信された前記データをフィルタリングするように構成されている、請求項１に記載の装置。
【請求項３】
前記フィルタリングは、前記３次元画像を実質的に修正しないデータパケットを落とす、請求項３に記載の装置。
【請求項４】
前記フィルタリングは、ツールの動きとツールの状態のうちの１つに関連するパケットを落とす、請求項３に記載の装置。
【請求項５】
さらに、前記１以上のリモート機のＩＰアドレス、ユーザ名、およびユーザ識別子のうちの少なくとも１つを表示するように構成されている、請求項１に記載の装置。
【請求項６】
前記１以上のリモート機に送信された、前記装置に対してローカルである前記ユーザによる前記処理に関する前記データは、前記ローカルプローブが前記１以上のリモート機と関連するプローブであるかのように前記ローカル機のバーチャルコントロールパネルと対話することによって、前記１以上のリモート機に、前記３次元画像上での処理を行う前記ローカルプローブの画像を表示させるのに十分である、請求項１に記載の装置。
【請求項７】
さらに、前記装置に対してローカルである前記ユーザの指令に応答して、前記１以上のリモート機の表示のスナップショットを受信するように構成されている、請求項１に記載の装置。
【請求項８】
さらに、前記装置に対してローカルである前記ユーザの指令に応答して、前記装置と前記１以上のリモート機のいずれかとの間に３次元画像の同期を引き起こすように構成されている、請求項１に記載の装置。
【請求項９】
前記同期を引き起こすことは、前記装置上に格納されている前記３次元画像の圧縮されているコピーを、前記１以上のリモート機に送信することを含む、請求項８に記載の装置。
【請求項１０】
前記同期を引き起こすことは、前記装置の前記３次元画像上で実行されたインタラクティブ指令のリストを送信することを含む、請求項８に記載の装置。
【請求項１１】
前記装置はさらに、リモート機のリモートユーザによるリクエストに応答して、前記ローカル機と前記リモート機の役割を切り換えるように構成されている、請求項１乃至１０のいずれかに記載の装置。
【請求項１２】
３次元画像をインタラクティブに処理するための装置であって、前記画像は、対象に関するイメージングデータから作成されたボリューメトリックデータを含み、前記装置は、
通信リンク上で、１つのリモート機の１つのリモートプローブの位置データを受信し、
１つのローカルプローブの位置データを受信し、
前記リモートプローブと、前記ローカルプローブと、前記３次元画像とを含む、組み合わされた３次元シーンを、ディスプレイ上に表示するために作成し、
前記リモートプローブの処理に応答して、前記ローカルプローブを介して前記リモート機に対してローカルであるユーザによる前記３次元画像の処理と実質的に等しいやり方で前記３次元画像を処理する、
ように構成されている、装置。
【請求項１３】
前記リモートプローブが前記装置と関連するプローブであるかのように、前記リモートプローブの処理に応答した前記３次元画像の処理が、前記ローカル機のバーチャルコントロールパネルと対話するリモートプローブの画像として表示される、請求項１２に記載の装置。
【請求項１４】
さらに、前記リモート機のＩＰアドレス、ユーザ名（原語：usemame）、およびユーザ識別子のうちの少なくとも１つを表示するように構成されている、請求項１２に記載の装置。
【請求項１５】
さらに、前記リモート機の指令に応答した前記表示のスナップショットを送信するように構成されている、請求項１２に記載の装置。
【請求項１６】
さらに、前記リモート機の指令に応答して、通信リンク上で、リモート機から送信された画像データを用いた３次元画像を同期させるように構成されている、請求項１２に記載の装置。
【請求項１７】
さらに、リモート機に対してローカルであるユーザのものと同じ視点、および前記リモート機に対してローカルであるユーザのものとは異なる任意の視点を持つ、３次元画像を表示するように構成されている、請求項１２に記載の装置。
【請求項１８】
さらに、バーチャルコントロールパネルを表示するように構成されている、請求項１７に記載の装置。
【請求項１９】
さらに、前記３次元画像が前記リモート機に対してローカルであるユーザのものとは異なる任意の視点で表示されるとき、前記装置に対してローカルであるユーザの指令に応答して、専用のローカルコントロールパネルを表示するように構成されている、請求項１７に記載の装置。
【請求項２０】
さらに、ユーザに、前記３次元画像上でローカル操作を行わせるように構成されている、請求項１２乃至１９のいずれかに記載の装置。
【請求項２１】
前記ローカル操作は、どのボクセルがオブジェクトの一部であるとみなされるかということに影響を及ぼさない処理を含む、請求項２０に記載の装置。
【請求項２２】
前記ローカル操作は、オブジェクトの翻訳および回転、ならびに倍率および透明性の設定のうちの１以上を含む、請求項２０に記載の装置。
【請求項２３】
さらに、前記３次元画像の追加的ローカルコピーを作成し、前記追加的コピーを、前記装置に対してローカルである前記ユーザから受信した処理に応答して処理するように構成されている、請求項１２または１７に記載の装置。
【請求項２４】
前記装置はさらに、前記対象に関する追加的データを、前記対象に対してローカルであり、前記リモート機の１つに対してローカルであるリモート装置から受信するように構成され、前記追加的データは、前記対象の３次元画像にコレジスタされている、請求項１に記載の装置。
【請求項２５】
前記対象に関する前記追加的データは、ほぼリアルタイムで取得される、請求項２４に記載の装置。
【請求項２６】
前記対象に関する前記追加的データは、リアルタイムのビデオ、あらかじめ記録されたビデオ、前記対象に対してローカルであるプローブまたは機器の位置データ、蛍光透視画像、超音波画像、およびマルチモーダル画像のうちの１以上である、請求項２４に記載の装置。
【請求項２７】
さらに、前記対象に対してローカルであり、前記リモート機の１つに対してローカルであるリモート装置からの、前記対象に関する追加的データを表示するように構成されている、請求項１乃至１２のいずれかに記載の装置。
【請求項２８】
前記追加的データは、前記対象の３次元画像にコレジスタされている、請求項２７に記載の装置。
【請求項２９】
前記追加的データは、ほぼリアルタイムである、請求項２７に記載の装置。
【請求項３０】
前記追加的データは、前記対象に関する前記追加的データは（原文どおり）、リアルタイムのビデオ、あらかじめ記録されたビデオ、前記対象に対してローカルであるプローブまたは機器の位置データ、蛍光透視画像、超音波画像、およびマルチモーダル画像のうちの１以上である、請求項２７に記載の装置。
【請求項３１】
３次元画像をインタラクティブに処理するためのシステムであって、前記画像は、対象に関するイメージングデータから作成されたボリューメトリックデータを含み、前記システムは、
請求項１乃至１１または２７乃至３０のいずれかに記載の装置を含むメインワークステーションと、
請求項１２乃至２６のいずれかに記載の装置を含む、１以上の離れたワークステーションと、
データネットワークとを含み、
前記メインワークステーションおよび前記１以上の離れたワークステーションのそれぞれは、前記データネットワークを介して接続されている、システム。
【請求項３２】
３次元画像をインタラクティブに処理する方法であって、前記画像は、対象に関するイメージングデータから作成されるボリューメトリックデータを含み、前記方法は、
請求項１乃至１１または２７乃至３０のいずれかに記載の第１の装置を提供するステップと；
請求項１２乃至２６のいずれかに記載の１以上の第２の装置を提供するステップと；
データネットワークを提供し、前記第１の装置と前記１以上の第２の装置を、データネットワークを介して接続するステップと；を含み、
操作において、前記第１の装置のユーザおよび前記１以上の第２の装置のユーザは、協同して共通の３Ｄデータセットを可視化する、方法。
【請求項３３】
前記第１の装置の前記ユーザの初期化において、前記第１の装置の前記ユーザと第２の装置のユーザが役割を切り換える、請求項３３に記載の方法。
【請求項３４】
ネットワークで結ばれたインタラクティブ３次元データ可視化システムであって、
対象のリアルタイム画像を取得し、それらを前記対象のコレジスタされた３Ｄボリューメトリックモデルの部分と組み合わせるためのメインシステムと；
前記組み合わされた画像を少なくとも１人のユーザに対して表示するためのディスプレイと；
プローブと；
前記プローブの位置をトラッキングするためのトラッキングユニットと；
データネットワークと；
それぞれがトラッキングされたバーチャルツールを備えた前記データネットワークによって、前記メインシステムに、通信できるように接続された前記組み合わされた画像を、インタラクティブに可視化するための１以上のリモートシステムと、を含み、
前記メインシステムのプローブのトラッキングされた位置と、組み合わされた画像は、前記データネットワーク上の各リモートシステムによって受信され、
前記リモートシステムは、前記組み合わされた画像または前記コレジスタされた３Ｄボリューメトリックモデルをインタラクティブに処理し、そのような処理された画像を前記メインシステムおよび他の全てのリモートシステムのディスプレイに送信する、システム。
【請求項３５】
前記組み合わされた画像は、前記対象上に載せられた２Ｄリアルタイムビデオである、請求項３４に記載のシステム。
【請求項３６】
前記メインワークステーションおよびリモートワークステーションを採用して、コンピュータ生成画像を修正し、前記対象上で行われる操作をシミュレイトする、請求項３４または３５に記載のシステム。
【請求項３７】
前記シミュレイトされる操作は、対象のボリューメトリックモデルの部分の除去を含む、請求項３６に記載のシステム。
【請求項３８】
前記メインシステムまたはリモートシステムを採用して、少なくとも１人のユーザからの、前記ボリューメトリックモデルの区分化された部分の色付けに対する、変更を受信する、請求項３４に記載のシステム。
【請求項３９】
前記メインシステムを採用して、第１のユーザから測定のためのボリューメトリックモデルの選択されたポイントを受信し、前記第２のシステムを採用して、第２のユーザから測定のためのボリューメトリックモデルの選択されたポイントを受信する、請求項３４に記載のシステム。
【請求項４０】
前記メインシステムまたは１つのリモートシステムは、少なくとも１人のユーザからの入力を受け、表示された関心領域上で拡大する、請求項３４に記載のシステム。
【請求項４１】
前記メインシステムまたは１つのリモートシステムを採用して、ボリューメトリックモデルの少なくとも１つの区分化されたオブジェクトの透明性または不透明性を変更するために、少なくとも１人のユーザからの入力を受ける、請求項３４に記載のシステム。
【請求項４２】
前記メインシステムまたは１つのリモートシステムを採用して、前記組み合わされた画像を修正して、前記操作の対象の物理的形状の中に変更を表現し、前記修正は、前記プローブのトラッキングされた位置に依存する、請求項３４に記載のシステム。
【請求項４３】
限定された３次元領域で操作を行う少なくとも１人のユーザによって使用される方法であって、前記方法は、
操作の対象の画像を作成するステップと；
前記画像を、前記対象とコレジストレーションの関係にある少なくとも１人のユーザに対して、表示するステップと；
長手方向の軸を持つプローブの位置を第１のシステムによってトラッキングするステップと；
その位置を第１のデータプロセシング装置と第２のシステムに対して送信するステップであって、
前記第１のデータプロセシング装置は、前記プローブの長手方向の軸に平行に伸びるラインにしたがって画像を作成し、前記ラインは、第１のユーザによってコントロールされる延長コントロール装置の出力にしたがって延長がコントロールされており、
第２のデータプロセシング装置を持つ前記第２のシステムは、前記操作の対象の少なくとも１つの画像を、前記画像を前記少なくとも１人のユーザに対して表示を行う少なくとも１つのディスプレイ上に作成し、そして、
前記第１のシステムの前記プローブの前記トラッキングされた位置は、前記第２のシステムに、通信ネットワーク上で受信されるステップと；
前記第１および第２のデータプロセシング装置をコントロールして前記操作の対象の前記少なくとも１つの画像を前記ラインのコントロールされた延長に従って修正するステップとを含む、方法。
【請求項４４】
前記第１のシステムの前記ディスプレイは、前記対象上に載せられた前記操作の対象の画像を作成する、請求項４３に記載の方法。
【請求項４５】
前記第１または第２のデータプロセシング装置は、コンピュータ生成画像を修正して、前記対象上で行われる操作をシミュレイトし、前記シミュレイトされる操作は、前記ラインの延長をコントロールすることによってコントロールされる、請求項４３または４４に記載の方法。
【請求項４６】
前記シミュレイトされる操作は、コンピュータ生成画像の前記ラインの延長によって示される患者の深部にいたる部分の除去を含む、請求項４５に記載の方法。
【請求項４７】
前記第１のシステムまたは前記第２のシステムは、少なくとも１人のユーザからのコンピュータ生成画像の色付けに対する変更を受信する、請求項４３に記載の方法。
【請求項４８】
前記第１のシステムは、測定のための選択されたポイントを第１のユーザから受信し、前記第２のシステムは、測定のための選択されたポイントを第２のユーザから受信する、請求項４３に記載の方法。
【請求項４９】
前記第１のシステムまたは前記第２のシステムは、少なくとも１人のユーザからの入力を受け、表示された関心領域上で拡大する、請求項４３に記載の方法。
【請求項５０】
前記第１のシステムまたは前記第２のシステムは、少なくとも１人のユーザからの入力を受け、少なくとも１つの透明性または不透明性を変更する、請求項４３に記載の方法。
【請求項５１】
前記第１のデータプロセシング装置または第２のデータプロセシングは、画像を修正し、前記操作の対象の物理的形状の中に変更を表現し、前記修正は、前記プローブのトラッキングされた位置に依存する、請求項４３に記載の方法。
【請求項５２】
ネットワークで結ばれたインタラクティブ３次元データ可視化システムであって、
メインシステムと；
複数の画像を少なくとも１人のユーザに対して表示するためのディスプレイと；
プローブと；
前記プローブの位置をトラッキングするためのトラッキングユニットと；
データネットワークと；
それぞれがトラッキングされたバーチャルツールを備えた前記データネットワークによって、前記メインシステムに、通信できるように接続された前記画像を、インタラクティブに可視化するための１以上のリモートシステムと、を含み、
前記メインシステムのプローブのトラッキングされた位置と、前記画像は、前記データネットワーク上の各リモートシステムによって受信され、
前記リモートシステムのそれぞれは、前記組み合わされた画像または前記コレジスタされた３Ｄボリューメトリックモデルをインタラクティブに処理し、そのトラッキングされたバーチャルツールの位置を前記メインシステムに送信する、システム。
【請求項５３】
メインシステムとリモートシステムの役割を繰り返し変更することができる、請求項５２のシステム。
【請求項５４】
前記リモートシステムは、データセットの前記メインシステムのビューまたはそれ自身のビューのいずれかを見ることができる、請求項５２のシステム。
【請求項５５】
前記リモートシステムは、あらゆる可視化処理を局所的に行うことができるが、データセットを修正することはできない、請求項５２のシステム。
【請求項５６】
前記メインシステムは、そのインターフェースおよびデータセットと、任意の時間に、任意のリモートシステムとの同期をとることができる、請求項５２のシステム。
【請求項５７】
協同的に、インタラクティブに、ボリューメトリックオブジェクトまたはシステムを可視化し、処理するための方法であって、
ローカルユーザが、オブジェクトまたはシステムのリアルタイム画像を取得し、それらと、同じオブジェクトまたはシステムのコレジスタされた３Ｄデータセットとを、メインワークステーションを使って組み合わせ、前記ローカルユーザは前記組み合わされた画像を局所的に表示し、それらをデータネットワークで送信するステップと；
それぞれが前記データネットワークに接続している１以上のリモートユーザが、前記組み合わされた画像を受信し、前記組み合わされた画像および前記コレジスタされたスキャン画像の少なくとも１つを、リモートワークステーションを用いて処理するステップと、を含み、
前記メインユーザおよび前記リモートユーザのそれぞれは、前記組み合わせ画像および前記３Ｄデータセットを処理することができ、
前記処理は、前記メインワークステーションおよび各リモートワークステーション上での実質的に周期のとれた表示のためにデータネットワークに送信される、方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【公表番号】特表２００９−５２１９８５（Ｐ２００９−５２１９８５Ａ）
【公表日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願番号】特願２００８−５４８４７２（Ｐ２００８−５４８４７２）
【出願日】平成１９年１月３日（２００７．１．３）
【国際出願番号】ＰＣＴ／ＳＧ２００７／０００００２
【国際公開番号】ＷＯ２００７／１０８７７６
【国際公開日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０８００５１６３）
【氏名又は名称原語表記】ＢＲＡＣＣＯ ＩＭＡＧＩＮＧ Ｓ．Ｐ．Ａ．
【住所又は居所原語表記】Ｖｉａ ＸＸＶ Ａｐｒｉｌｅ Ｎｏ．４， ２００９７ Ｓａｎ Ｄｏｎａｔｏ Ｍｉｌａｎｅｓｅ
【Ｆターム（参考）】
【公表日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願日】平成１９年１月３日（２００７．１．３）
【国際出願番号】ＰＣＴ／ＳＧ２００７／０００００２
【国際公開番号】ＷＯ２００７／１０８７７６
【国際公開日】平成１９年９月２７日（２００７．９．２７）
【出願人】（５０８００５１６３）
【氏名又は名称原語表記】ＢＲＡＣＣＯ ＩＭＡＧＩＮＧ Ｓ．Ｐ．Ａ．
【住所又は居所原語表記】Ｖｉａ ＸＸＶ Ａｐｒｉｌｅ Ｎｏ．４， ２００９７ Ｓａｎ Ｄｏｎａｔｏ Ｍｉｌａｎｅｓｅ
【Ｆターム（参考）】
[ Back to top ]