仮想インタラクティブプレゼンスのシステムおよび方法
【課題】好適な仮想インタラクティブプレゼンス用の方法およびシステムを提供すること。
【解決手段】本発明は、一実施形態において、仮想インタラクティブプレゼンス用の方法であって、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する、共通関心領域をレンダリングするステップと、該共通関心領域における該リモートユーザと該ローカルユーザとの間の相互作用をレンダリングするステップと、該リモートユーザの該プレゼンスがリアルタイムで該ローカルユーザにレンダリングされ、該ローカルユーザの該プレゼンスがリアルタイムで該リモートユーザにレンダリングされるように、該共通関心領域を連続的に更新するステップとを含む方法を提供する。
【解決手段】本発明は、一実施形態において、仮想インタラクティブプレゼンス用の方法であって、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する、共通関心領域をレンダリングするステップと、該共通関心領域における該リモートユーザと該ローカルユーザとの間の相互作用をレンダリングするステップと、該リモートユーザの該プレゼンスがリアルタイムで該ローカルユーザにレンダリングされ、該ローカルユーザの該プレゼンスがリアルタイムで該リモートユーザにレンダリングされるように、該共通関心領域を連続的に更新するステップとを含む方法を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
（連邦政府支援）
本発明は、米国エネルギー省による政府基金（助成／契約番号Ｈ３０９１２、Ｈ３４６１２、Ｈ３５６６２）によって開発された。政府は、この発明において一定の権利を有する。
【０００２】
（関連出願の引用）
本願は、米国仮出願第６０／９３０，８７４号（２００７年５月１８日出願）に基づく優先権を主張する。その全体が参照により本明細書に援用される。
【背景技術】
【０００３】
表示システム（ＶＩＰディスプレイ）、例えば、立体ディスプレイシステムを使用して、仮想インタラィティブプレゼンス（ＶＩＰ）を確立するための方法およびシステムを開示する。開示された方法およびシステムは、仮想現実を利用することができる。
【発明の概要】
【課題を解決するための手段】
【０００４】
付加的な利点は、以下の説明に部分的に記載されるか、または実践によって習得され得る。該利点は、特に、添付の発明概念において指摘される要素および組み合わせによって実現され獲得され得る。前述の一般的な説明および以下の発明を実施するための形態の両方は、例示的かつ説明的であるにすぎず、制限的と見なされないことを理解されたい。
本発明は、例えば、以下も提供する。
（項目１）
仮想インタラクティブプレゼンス用の方法であって、
リモートユーザおよびローカルユーザの物理的プレゼンスを反映する、共通関心領域をレンダリングするステップと、
該共通関心領域における該リモートユーザと該ローカルユーザとの間の相互作用をレンダリングするステップと、
該リモートユーザの該プレゼンスがリアルタイムで該ローカルユーザにレンダリングされ、該ローカルユーザの該プレゼンスがリアルタイムで該リモートユーザにレンダリングされるように、該共通関心領域を連続的に更新するステップと
を含む、方法。
（項目２）
前記共通関心領域は、前記リモートユーザが、前記ローカルユーザと同様に該共通関心領域を体験するようにレンダリングされる、項目１に記載の方法。
（項目３）
前記ローカルユーザは、前記共通関心領域において前記リモートユーザとの連続的相互作用を可能にする方式で、該リモートユーザの物理的プレゼンスを体験する、項目１または２に記載の方法。
（項目４）
前記共通領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
該共通領域における前記ローカルユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、項目１、２、または３に記載の方法。
（項目５）
前記共通関心領域におけるローカルオブジェクトの前記物理的プレゼンスをレンダリングするステップと、
該共通領域における前記リモートユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、項目１または４に記載の方法。
（項目６）
仮想インタラクティブプレゼンス用の方法であって、
ローカルオブジェクト、該ローカルオブジェクトの立体画像、およびローカルユーザの物理的プレゼンスを反映するローカル関心領域をレンダリングするステップと、
該ローカル関心領域における該ローカルオブジェクトと、該立体画像と、該ローカルユーザとの間の相互作用をレンダリングするステップと、
該ローカルオブジェクトの該プレゼンスおよび該ローカルオブジェクトの該立体画像は、リアルタイムで該ローカルユーザにレンダリングされるように、該ローカル関心領域を連続的に更新するステップと
を含む、方法。
（項目７）
前記ローカルオブジェクトは、患者であり、該ローカルオブジェクトの前記立体画像は、該患者の一部の医療画像である、項目６に記載の方法。
（項目８）
前記医療画像は、ｘ線画像、ＭＲＩ画像、またはＣＴ画像である、項目７に記載の方法。
（項目９）
前記ローカルユーザによって、前記立体画像を前記ローカルオブジェクト上に重ねるステップをさらに含む、項目６に記載の方法。
（項目１０）
前記ローカルユーザによって、前記立体画像の特性を調整するステップをさらに含む、項目６または９に記載の方法。
（項目１１）
前記特性は、透明性、空間的位置、およびスケールのうちの１つ以上である、項目１０に記載の方法。
（項目１２）
前記ローカル関心領域においてローカルツールをレンダリングするステップをさらに含む、項目６に記載の方法。
（項目１３）
前記ローカルオブジェクトの前記レンダリングに対する正確な空間的関係で、前記ローカルツールをレンダリングするステップをさらに含む、項目１２に記載の方法。
（項目１４）
仮想インタラィテクブプレゼンス用のシステムであって、
共通関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
ローカル仮想プレゼンスデータを伝送し、リモート仮想プレゼンスデータを受信するために構成されるネットワークインターフェースと、
該仮想プレゼンスディスプレイ、該ローカルセンサ、および該ネットワークインターフェースに連結されるプロセッサであって、該プロセッサは、
該ローカル仮想プレゼンスデータおよび該リモート仮想プレゼンスデータに基づいて、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する共通関心領域をレンダリングするステップと、
該共通関心領域における該リモートユーザと該ローカルユーザとの間の相互作用をレンダリングするステップと、
該リモートユーザの該プレゼンスがリアルタイムで該ローカルユーザにレンダリングされ、該ローカルユーザの該プレゼンスがリアルタイムで該リモートユーザにレンダリングされるように、該共通関心領域を連続的に更新するステップと、
該共通関心領域を該仮想プレゼンスディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備える、システム。
（項目１５）
前記仮想プレゼンスディスプレイは、立体ディスプレイおよび平面ディスプレイのうちの１つ以上である、項目１４に記載のシステム。
（項目１６）
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、項目１４に記載のシステム。
（項目１７）
前記共通関心領域は、前記リモートユーザが前記ローカルユーザと同様に該共通関心領域を体験するようにレンダリングされる、項目１４に記載のシステム。
（項目１８）
前記ローカルユーザは、前記共通関心領域において、前記リモートユーザとの連続的相互作用を可能にする方式で、該リモートユーザの物理的プレゼンスを体験する、項目１４または１７に記載のシステム。
（項目１９）
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの前記物理的プレゼンスをレンダリングするステップと、
該共通関心領域における前記ローカルユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
項目１４、１７、または１８に記載のシステム。
（項目２０）
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの前記物理的プレゼンスをレンダリングするステップと、
該共通関心領域における前記リモートユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
項目１４または１９に記載のシステム。
（項目２１）
仮想インタラクティブプレゼンス用のシステムであって、
ローカル関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
該仮想プレゼンスディスプレイおよび該ローカルセンサに連結されるプロセッサであって、該プロセッサは、
該ローカル仮想プレゼンスデータおよび該ローカルオブジェクトの立体画像に基づいて、ローカルオブジェクトおよびローカルユーザの物理的プレゼンスを反映するローカル関心領域をレンダリングするステップと、
該ローカル関心領域における、該ローカルオブジェクトと、該立体画像と、該ローカルユーザとの間の相互作用をレンダリングするステップと、
該ローカルオブジェクトの該プレゼンスおよび該ローカルオブジェクトの該立体画像がリアルタイムで該ローカルユーザにレンダリングされるように、該ローカル関心領域を連続的に更新するステップと、
該ローカル関心領域を該仮想プレゼンスディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備える、システム。
（項目２２）
前記仮想プレゼンスディスプレイは、立体ディスプレイおよび平面ディスプレイのうちの１つ以上である、項目２１に記載のシステム。
（項目２３）
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、項目２１に記載のシステム。
（項目２４）
前記ローカルオブジェクトは、患者であり、前記ローカルオブジェクトの前記立体画像は、該患者の一部の医療画像である、項目２１に記載のシステム。
（項目２５）
前記医療画像は、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つである、項目２４に記載のシステム。
（項目２６）
前記プロセッサは、前記ローカルユーザによって、前記立体画像を前記ローカルオブジェクト上に重ねるステップを含む、ステップを行うようにさらに構成される、項目２１に記載のシステム。
（項目２７）
前記プロセッサは、前記ローカルユーザによって、前記立体画像の特性を調整するステップを含む、ステップを行うようにさらに構成される、項目２１に記載のシステム。
（項目２８）
前記特性は、透明性、空間的位置、およびスケールのうちの１つ以上である、項目２７に記載のシステム。
（項目２９）
前記プロセッサは、前記ローカル関心領域においてローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、項目２１に記載のシステム。
（項目３０）
前記プロセッサは、前記レンダリングされたローカルオブジェクトに対する正確な空間的関係で前記ローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、項目２９に記載のシステム。
本明細書に組み込まれ、本明細書の一部を成す付随の図面は、実施形態を例証し、説明と合わせて、提供される方法およびシステムの原理を説明する役割を果たす。
【図面の簡単な説明】
【０００５】
【図１】図１は、仮想インタラクティブプレゼンスを説明する。
【図２】図２は、仮想インタラクティブプレゼンスを説明する。
【図３】図３は、リモートユーザを援助するローカルエキスパートを説明する。
【図４】図４は、例示的仮想プレゼンスシステムを説明する。
【図５】図５は、グラフィックサーバ内で行われる例示的プロセスを説明する。
【図６】図６は、ネットワークサーバ内で行われる例示的プロセスを説明する。
【図７】図７は、例示的ＶＩＰディスプレイの側面図を説明する。
【図８】図８は、例示的ＶＩＰディスプレイのユーザのビューを説明する。
【図９】図９は、例示的ＶＩＰディスプレイのユーザのビューを説明する。
【図１０】図１０は、例示的方法を説明する。
【図１１】図１１は、別の例示的方法を説明する。
【図１２】図１２は、リモート手術環境における仮想プレゼンスを説明する。
【図１３】図１３は、医療画像を動作領域とマージするステップを説明する。
【図１４】図１４は、例示的手術環境を説明する。
【発明を実施するための形態】
【０００６】
本方法およびシステムを開示および説明する前に、本方法およびシステムは、特定の合成方法、特定の構成要素、または特定の構成に限定されず、そのようなものとして、当然ながら異なり得ることを理解されたい。本明細書で使用する用語は、特定の実施形態のみを説明する目的であって、限定することを意図しないことも理解されたい。
【０００７】
本明細書および添付の発明概念において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上別段の明確な指示がない限り、複数の指示対象を含む。
【０００８】
本明細書において、範囲は、「約」ある特定の値から、および／または「約」別の特定の値までとして表され得る。かかる範囲が表される場合、別の実施形態は、ある特定の値から、および／または他の特定の値までを含む。同様に、先行して「約」を使用することにより、値が近似値として表される場合は、特定の値が別の実施形態を形成することを理解されるであろう。それぞれの範囲の端点は、他の端点に関連しても、また他の端点とは独立しても有意であることも理解されるであろう。
【０００９】
「随意の」または「随意に」は、後次に説明されるイベントまたは状況が起きることもあれば起きないこともあることを、および該説明は、前記イベントまたは状況が起きる事例および起きない事例を含む。
【００１０】
本明細書の説明および請求項を通して、「含む（ｃｏｍｐｒｉｓｅ）」という語および該語の変形例、例えば、「ｃｏｍｐｒｉｓｉｎｇ」および「ｃｏｍｐｒｉｓｅｓ」は、「含むが、それらに限定されない」を意味し、例えば、他の添加物、構成要素、完全体またはステップを除外することを意図しない。「例示的」とは、実施例のことを意味し、好適または理想的な実施形態の適用を言うことを意図しない。
【００１１】
開示される方法およびシステムを行うために使用できる構成要素を開示する。これらのおよび他の構成要素は、本明細書において開示され、これらの構成要素の組み合わせ、サブセット、相互作用、グループ等が開示されるが、それぞれ種々の、個々の、および集合的な組み合わせの特定指示が明示的には開示されないが、本明細書において、それぞれが、すべての方法およびシステムに関して具体的に検討および説明されることを理解されたい。これは、本出願のすべての側面に適用し、開示される方法におけるステップを含むが、それに限定されない。したがって、行うことができる種々の追加ステップがある場合は、これらの追加ステップのそれぞれが、開示される方法の任意の特定の実施形態または実施形態の組み合わせで行うことができることを理解されたい。
【００１２】
本方法およびシステムは、好適な実施形態の以下の発明を実施するための形態、およびそこに含まれる実施例、および図ならびにそれらの前後にある説明を参照することによって、より容易に理解され得る。
【００１３】
表示システム（ＶＩＰディスプレイ）、例えば、立体ディスプレイシステムを使用して、仮想インタラクティブプレゼンス（ＶＩＰ）を確立するための方法およびシステムを開示する。開示される方法およびシステムは、仮想現実を利用することができる。仮想現実（ＶＲ）とは、コンピュータおよびそのデバイスが、個々のアクションによって動的に制御される感覚環境を形成し、該環境がユーザには「現実」であるように思われる、ヒューマンコンピュータインターフェースを提供するコンピュータベースのアプリケーションをいう。ＶＲでは、コンピュータシステムとユーザとの間のコミュニケーションがある。コンピュータは、一側面において、（これは必須ではないが）多感覚であり得る、ユーザが体験するための感覚環境を形成し、該コンピュータは、ユーザ入力に応答して、現実的感覚を形成する。
【００１４】
一例示的側面において、開示されるシステムは、少なくとも２つの種類のＶＲ、没入型および非没入型を利用することができる。没入型ＶＲは、ユーザが実際に異なる環境にいるように錯覚させる。一側面において、該システムは、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｓ（ＨＭＤ））、イアフォン、およびグローブまたはワンド等の入力デバイス等のデバイスを使用することによりこれを達成する。別の側面において、体験のリアリズムを増強するために、ソフトウェアがシミュレートできる複数の自由度（Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ（ＤＯＦ））が利用される。概して、ＤＯＦが大きくなるほど、体験のリアリズムはより良くなる。例示的ＤＯＦは、制限なく、Ｘ、Ｙ、Ｚ、ロール、ピッチ、およびヨーを含む。
【００１５】
非没入型ＶＲは、ユーザの周囲環境から弁別可能な環境を形成する。これは、ユーザが別の世界に運ばれるような錯覚をもたらさない。非没入型ＶＲは、立体投影システム、コンピュータモニタ、および／またはステレオスピーカを使用することにより、三次元画像およびサラウンドサウンドを形成することによって機能する。非没入型ＶＲは、追加のハードウェアなしに、パーソナルコンピュータから実行することができる。
【００１６】
一側面において、没入型ＶＲにおける移動は、トラッカと呼ばれる光学的、音響的、磁気的、または機械的ハードウェアを使用することにより、システムによって実現することができる。 好ましくは、入力デバイスは、移動がより正確に表され得るように、可能な限り多くのこれらのトラッカを有する。例えば、バーチャルグローブは、それぞれの人差し指に最大３つのトラッカ、および掌および手首の場合はそれ以上を有し得、ユーザは、物体を掴んだり押したりすることができる。一側面において、該トラッカは、どの方向に入力が向かっているか、および入力デバイスが全方向においてどのように傾斜しているかをコンピュータに指示する、位置付けセンサを備え得る。これは、センサに６つの自由度を付与する。
【００１７】
出力デバイスは、ユーザを仮想世界に移動させる。本システムにおいて使用できる出力デバイスの実施例は、制限なく、眼鏡またはゴーグルの形態のヘッドマウントディスプレイ（ＨＭＤ）を含み、これによってユーザは、表示システムを頭上に装着することができる。ＨＭＤに対する１つのアプローチは、両目を覆うために十分な幅の１つだけの液晶ディスプレイ（ＬＣＤ）を使用することである。別のアプローチは、２つの個別のディスプレイを各目に１つを有することである。表示される画像が異なるため、これは幾分多くのコンピュータ処理能力を要する。各ディスプレイは、環境において適切な角度からレンダリングされた個別の画像を有する。視線追跡は、ＨＭＤと組み合わせることができる。これによって、例えば、外科医は、解像度を高めたい画像の部分に目を動かすことができる。
【００１８】
本システムの実施形態において使用できる出力デバイスの別の実施例は、シャッタを備える眼鏡である。このデバイスは、各目に対してフレーム１つおきに画像を更新し、他の目ではシャッタを閉じる。シャッタを備える眼鏡は、画像のちらつきを防ぐために、非常に高いフレームレートを必要とする。このデバイスは、ステレオモニタに使用され、二次元物体の三次元表示をもたらすが、ユーザを仮想世界に没入させない。
【００１９】
本システムの実施形態において使用できる別の出力デバイスは、複数のプロジェクタを有するスクリーンである。該スクリーンは、平面または湾曲のいずれかであり得る。同一スクリーン上で複数のプロジェクタを使用する場合の問題は、投影の間に目に見えるエッジがあり得ることである。これは、ソフトエッジシステムを使用することによって修正することができ、エッジにおいて投影は徐々に透明になり、投影が重なる。これは、画像間のほぼ完璧な移行をもたらす。所望の三次元効果を達成するために、シャッタを備える眼鏡を使用することができる。完全に不透明または完全に透明のいずれかに交互させる、特別な眼鏡を使用することができる。左目が不透明である場合、右目は透明である。これは、スクリーン上に対応する画像を投影しているプロジェクタに同期する。
【００２０】
別の側面において、Ｃａｖｅ自動仮想環境（Ｃａｖｅ ＡｕｔｏｍａｔｉｃＶｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ（ＣＡＶＥ））を本システムで使用することもできる。ＣＡＶＥは、立方形の室内でミラーを使用して、立体画像を壁に投影し、仮想世界に立っているかのような錯覚をもたらすことができる。該世界は、トラッカを使用して常に更新され、該ユーザは、ほぼ完全に制約されることなく動き回ることができる。
【００２１】
仮想インタラクティブプレゼンスを確立するための方法およびシステムを開示する。かかる方法およびシステムは、ユーザが任意の所定の目的、例えば、リモートエキスパートの送達等のために相互作用できるような方法で、関心領域にいくつかの要素／参加者を事実上存在させることができる。関心領域は、ポイントオブビューに応じて、可変量の「現実」および「仮想」要素を含み得る。開示される方法およびシステムの種々の構成要素は、図１において説明される。
【００２２】
共通関心領域１０１は、要素が物理的に存在するか、または事実上存在する領域である。ポイントオブリアリティ（またはポイントオブビュー）は、共通関心領域を体験している要素／参加者の視点を意味する。図１において、例示的ポイントオブリアリティ、またはポイントオブビューは、１０２および１０３において示される。これらは、ＶＩＰディスプレイを表す。共通関心領域は、両方の視点、またはポイントオブビューから同様に見えるが、それぞれ異なる組み合わせのローカル（物理的）およびリモート（仮想）要素／参加者を含む。
【００２３】
ローカル要素は、共通関心領域に物理的に存在する要素および／または参加者である。図１において、要素Ａ１０５は、領域Ａ１０４のローカル要素であり、領域Ａ１０４に物理的に存在する。要素Ｂ１０７は、領域Ｂ１０６のローカル要素であり、領域Ｂ１０６に物理的に存在する。
【００２４】
リモート要素は、共通関心領域に物理的に存在しない要素および／または参加者である。それらは、任意の他のローカル視点から「事実上存在する」として体験される。図１に示されるように、要素Ｂ１０７は、領域Ａ１０４に対するリモート要素であり、領域Ａ１０４に事実上存在する。要素Ａ１０５は、領域Ｂ１０６におけるリモート要素であり、領域Ｂ１０６に事実上存在する。
【００２５】
ローカルおよびリモート要素および／または参加者を組み合わせることによって、仮想インタラクティブプレゼンスをレンダリングするための方法は、以下のステップのうちの１つ以上を含み得る。共通ローカル領域は、領域、要素、および／または参加者の物理的プレゼンスを反映する方法でレンダリングされ得る。図２に示されるように、参加者Ａは、ビューアを通して、領域Ａにおける現実要素を体験することができる。共通ローカル領域は、リモート参加者がローカルパーソンと同様に体験できる方法で遠隔的に体験されるように、レンダリングされ得る。図２に示されるように、これは、参加者Ａが要素Ｂを領域Ａに事実上存在するものとして体験することによって説明される。
【００２６】
リモートパーソンは、自身を挿入し、および／または彼らに対してレンダリングされるように、仮想領域と相互作用することができる。例えば、参加者Ａは、手、器具等を領域Ａに挿入し、仮想要素Ｂと相互作用することができる。ビューアＢは、これに対する「仮想相補」を見ることができ、ビューアＢの現実要素は、参加者Ａの仮想要素と相互作用する。
【００２７】
共通ローカル領域は、リモート参加者のプレゼンスがリアルタイムでレンダリングされ得るように、連続的に更新され得る。例えば、リモートシーンは、リモートキャプチャとローカルレンダリングとの間の可能な限り小さく保たれるタイムラグで入手可能な最新のものであり得る。反対に、期間的差異を導入する必要がある場合は、これを同様に達成することができる。
【００２８】
共通のローカル領域は、ローカルシーンに有意義に一致するサイズおよび深度に縮尺することができる。また共通のローカル領域は、リモート要素を多少透明にするか、全体的に除去するか、あるいはローカルユーザのニーズに適うよう変更することができるように構成可能であり得る。
【００２９】
ローカル参加者は、共通ローカル領域における連続的相互作用を可能にする方式で、事実上存在する参加者を体験することができる。図３は、リモートユーザを援助するローカルエキスパートを例示する。ローカルエキスパート３０１の手は、わずかに透明であり、リモートユーザによって見られる領域に重ねられる。リモートユーザは、ローカルエキスパートの手、リモートユーザの手、およびリモートユーザの位置に配置されるパズルを見ることができる。ローカルエキスパートは、パズルを組み立てるリモートユーザを援助している。
【００３０】
図４は、例示的仮想プレゼンスシステムを説明する。１つのかかるシステムは、同一セッションに参加する各リモート参加者によって使用され得る。各システムは、ネットワーク接続を通じて互いに通信することができる。例えば、リモートサイトは、インターネットを経由して接続することができる。タスクは、各システムにおける複数のコンピュータの間で分割することができる。例えば、あるコンピュータ（グラフィックサーバ）は、ローカルカメラおよびネットワークサーバから画像を収集し、立体画像合成タスクを行い、ローカル立体ディスプレイシステムを駆動し得る。
【００３１】
図５は、グラフィックサーバで行うことができる例示的プロセスを説明する。画像は、ローカルデータ構造（フレームリング）に収集することができる。ローカル画像は、複数のカメラ、例えば、２つのカメラから収集され得る。リモート画像は、例えば、高速リモート直接メモリアクセス（ＲＤＭＡ）接続を経由して、ネットワークにより提供され得る。これらの画像は、リモートユーザおよびローカルユーザが同一シーンで見られ得るように、組み合わせることができる（図３に示すように）。この構成結果は、ローカル立体ディスプレイシステムに伝送され得る。第２のコンピュータは、ネットワークサーバとして機能し得、例えば、ネットワークのコード化／復号化タスクならびに深度マップ生成を行うことができる。
【００３２】
図６は、ネットワークサーバで行うことができる例示的プロセスを説明する。ＲＤＭＡ接続を経由してグラフィックサーバから収集されたローカル画像は、深度情報を用いて解析およびマップされ、効率的なネットワーク伝送のためにコード化され、リモートサイトにおいて対応するネットワークサーバによって受信されるように外部ネットワーク接続に伝送され得る。同時に、コード化される画像および深度マップは、リモートサイトから受信され、復号化され、ＲＤＭＡ接続を経由してローカルグラフィックサーバに提供されることができる。
【００３３】
該システムは、ネットワークサーバに接続される制御端末によってユーザ制御することができ、ユーザは、次いで、ネットワークサーバに対する専用のネットワーク接続を経由して、グラフィックサーバを制御することができる。
【００３４】
仮想インタラクティブプレゼンスのパラメータは、使用されるシステムに応じて構成され得る。構成可能なパラメータは、仮想要素のサイズ、仮想要素のプレゼンス（不透明、透明等）、仮想プレゼンスの時間（時間は、例えば、遅延、減速、加速するように構成することができる）、仮想および現実の任意の組み合わせが、互いに重ねられ、および／または「適合」され得るような要素の重ね等を含むが、それらに限定されない。
【００３５】
図７は、例示的ＶＩＰディスプレイの側面図を説明する。図８は、例示的ＶＩＰディスプレイのユーザのビューを説明する。図９は、例示的ＶＩＰディスプレイのユーザのビューを説明する。
【００３６】
本明細書で使用されるように、関心の「ローカル」領域は、ローカル物理的領域およびローカルユーザを意味し得、したがって、他の全ての領域をリモートにする。各領域は、各領域のローカル物理的ユーザに対してローカルであり得るが、他のユーザに対してリモートであり得る。領域の複合は、共通関心領域であり得る。これは、共通関心領域のローカルレンダリング内に「現実」の構成要素があり得、インタラクションは、単にユーザとオブジェクトを表すグラフィックアバター間だけでなく、物理的オブジェクトの実際のビデオ（および他の）レンダリング間でもあり得る点において、通常の「仮想世界」とは異なる。提示される方法およびシステムは、仮想インタラクティブプレゼンスを可能にし、現実および仮想の相互作用によって物理的ドメインを修正／最適化する。
【００３７】
図１０で説明される一側面では、１００１において、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する共通関心領域をレンダリングするステップと、１００２において、共通関心領域でのリモートユーザとローカルユーザとの間の相互作用をレンダリングするステップと、リモートユーザのプレゼンスがリアルタイムでローカルユーザにレンダリングされ、ローカルユーザのプレゼンスがリアルタイムでリモートユーザにレンダリングされるように、１００３において共通関心領域を連続的に更新するステップと、を含む、仮想インタラクティブプレゼンス用の方法を提供する。
【００３８】
共通関心領域は、リモートユーザがローカルユーザと同様に共通関心領域を体験するように、レンダリングすることができる。ローカルユーザは、共通関心領域におけるリモートユーザとの連続的相互作用を可能にする方式で、リモートユーザの物理的プレゼンスを体験することができる。該方法は、共通領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通領域におけるローカルユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップとをさらに含むことができる。該方法は、共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通関心領域におけるリモートユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップとをさらに含むことができる。
【００３９】
図１１で説明される別の側面では、１１０１において、ローカルオブジェクトの物理的プレゼンス、ローカルオブジェクトの立体画像、およびローカルユーザを反映するローカル関心領域をレンダリングするステップと、１１０２において、ローカル関心領域におけるローカルオブジェクト、立体画像、およびローカルユーザの間の相互作用をレンダリングするステップと、１１０３において、ローカルオブジェクトのプレゼンスおよびローカルオブジェクトの立体画像が、リアルタイムでローカルユーザにレンダリングされるように、ローカル関心領域を連続的に更新するステップとを含む、仮想インタラクティブプレゼンス用の方法を提供する。
【００４０】
ローカルオブジェクトは、例えば、患者であり得、ローカルオブジェクトの立体画像は、例えば、患者の一部の医療画像であり得る。しかしながら、ローカルオブジェクトは、任意の関心のオブジェクトであり得、ローカルオブジェクトの画像は、該オブジェクトの任意の正確なレンダリングであり得る。例えば、自動車エンジンおよびエンジンの三次元グラフィック等であり得る。
【００４１】
医療画像は、例えば、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つであり得る。該方法は、ローカルユーザによって、立体画像をローカルオブジェクト上に重ねるステップをさらに含み得る。重ねは、コンピュータによって自動的に行うことができる。
【００４２】
該方法は、ローカルユーザによって、立体画像の特性を調整するステップをさらに含み得る。該特性は、透明性、空間的位置、およびスケールのうちの１つ以上であり得る。
【００４３】
該方法は、ローカル関心領域において、ローカルツールをレンダリングするステップをさらに含み得る。該方法は、ローカルオブジェクトのレンダリングと正確な空間的関連で、ローカルツールをレンダリングするステップをさらに含み得る。該ツールは、任意の種類のツール、例えば手術ツールであり得る。
【００４４】
別の側面において、共通関心領域を表示するために構成される仮想プレゼンスディスプレイと、ローカル仮想プレゼンスデータを取得するように構成されるローカルセンサと、ローカル仮想プレゼンスデータを伝送し、リモート仮想プレゼンスデータを受信するように構成されるネットワークインターフェースと、仮想プレゼンスディスプレイ、ローカルセンサ、およびネットワークインターフェースに連結されるプロセッサと、を含む、仮想プレゼンス用のシステムが提供され、該プロセッサは、ローカル仮想プレゼンスデータおよびリモート仮想プレゼンスデータに基づいて、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する共通関心領域をレンダリングするステップと、共通関心領域におけるリモートユーザとローカルユーザとの間の相互作用をレンダリングするステップと、リモートユーザのプレゼンスが、リアルタイムでローカルユーザにレンダリングされ、ローカルユーザのプレゼンスが、リアルタイムでリモートユーザにレンダリングされるように、共通関心領域を連続的に更新するステップと、共通関心領域を仮想プレゼンスディスプレイに出力するステップとを行うように構成される。
【００４５】
仮想プレゼンスディスプレイは、立体ディスプレイ、平面ディスプレイ（例えば、ＣＲＴ、ＬＣＤ等）等のうちの１つ以上であり得る。センサは、カメラ、赤外線センサ、深度走査センサ等のうちの１つ以上であり得る。共通関心領域は、リモートユーザが、ローカルユーザと同様に共通関心領域を体験するように、レンダリングされ得る。ローカルユーザは、共通関心領域におけるリモートユーザとの連続的相互作用を可能にする方式で、リモートユーザの物理的プレゼンスを体験することができる。
【００４６】
プロセッサは、共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通関心領域におけるローカルユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップと、を含むステップを行うように、さらに構成することができる。
【００４７】
プロセッサは、共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通関心領域におけるリモートユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップと、を含むステップを行うように、さらに構成することができる。
【００４８】
ローカル関心領域を表示するために構成される仮想プレゼンスディスプレイと、ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、仮想プレゼンスディスプレイおよびローカルセンサに連結されるプロセッサとを含む、仮想プレゼンス用のシステムがさらに提供され、該プロセッサは、ローカル仮想プレゼンスデータおよびローカルオブジェクトの立体画像に基づいて、ローカルオブジェクトおよびローカルユーザの物理的プレゼンスを反映するローカル関心領域をレンダリングするステップと、ローカル関心領域におけるローカルオブジェクトと立体画像とローカルユーザとの間の相互作用をレンダリングするステップと、ローカルオブジェクトのプレゼンスおよびローカルオブジェクトの立体画像が、リアルタイムでローカルユーザにレンダリングされるように、ローカル関心領域を連続的に更新するステップと、ローカル関心領域を仮想プレゼンスディスプレイに出力するステップとを行うように構成される。
【００４９】
仮想プレゼンスディスプレイは、立体ディスプレイ、平面ディスプレイ（例えば、ＣＲＴ、ＬＣＤ等）等のうちの１つ以上であり得る。センサは、カメラ、赤外線センサ、深度走査センサ等のうちの１つ以上であり得る。
【００５０】
ローカルオブジェクトは、例えば、患者であり得、ローカルオブジェクトの立体画像は、例えば、患者の一部の医療画像であり得る。医療画像は、例えば、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つであり得る。しかしながら、ローカルオブジェクトは、任意の関心のオブジェクトであり得、ローカルオブジェクトの画像は、該オブジェクトの任意の正確なレンダリングであり得る。例えば、自動車エンジンおよびエンジンの三次元グラフィック等であり得る。
【００５１】
プロセッサは、ローカルユーザによって、立体画像をローカルオブジェクト上に重ねるステップを含む、ステップを行うように、さらに構成することができる。プロセッサは、ローカルユーザによって、立体画像の特性を調整するステップを含む、ステップを行うように、さらに構成することができる。該特性は、透明性、空間的位置、およびスケールのうちの１つ以上であり得る。
【００５２】
プロセッサは、ローカル関心領域におけるローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成され得る。プロセッサは、レンダリングされたローカルオブジェクトに対する正確な空間的関係でローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成することができる。
【００５３】
開示された方法およびシステムは、広範な適用を有し得る。例えば、手術、ゲーム、機械学、軍需、戦場プレゼンス、教育的試み（トレーニング）、および／または相互作用がシナリオの一部である任意の他のシチュエーションである。
【００５４】
リモートエキスパートを事実上ローカル手術領域内に存在させることができる方法およびシステムも開示される。仮想インタラクティブプレゼンスを使用して、互いに離れた２人の外科医がインタラクティブに手術工程を行うことを可能にすることができる。該方法およびシステムは、同一の現実の手術領域内に２人以上のオペレータを事実上存在させることができ、したがって、リモートアシスタンスを支援し、手術エキスパートをエキスポートすることができる。
【００５５】
該方法およびシステムを使用して、ガイダンスおよび配向（拡張現実）用に術中生体構造の画像データを生体構造自体に重ねることもできる。該方法およびシステムは、学生のトレーニングに使用することができる。該方法およびシステムは、事実上エキスパートをロボット工学領域に招き入れ、ロボットオペレータをガイドすることによって、ロボット工学領域を拡張および強化する。該方法およびシステムは、エキスパートの手を直接ガイダンス用の内視鏡下領域に挿入することによって、内視鏡下工程にも適用可能である。該方法およびシステムは、その基礎的技能が緊急事態に対処でき、仮想相互作用から習得するであろう実際のローカル外科医にリモートエキスパートの援助を提供することによって、リモート手術を拡大する。該方法およびシステムは、外傷部位および他の医療環境において使用することができる。該方法およびシステムを使用して、エンジニアリング、建設、建築等の他の分野においてリモートアシスタンスを提供することができる。開示された該方法およびシステムを使用して、専門知識をリモートの「必要とするサイト」に伝送し、いま生じている画像を直接手術領域にマージし、外科学生を訓練することができる。
【００５６】
リモート外科医をガイド／アシストする目的で、ローカルエキスパートの外科的手技をリモート外科医に伝送するための例示的リモート手術支援システムについて図１２で説明する。リモート外科医は、双眼ビデオシステム用いてリモート手術領域を見ることができる。ビデオシステムは、手および工程を行う器具を用いて領域を表示することができる。ビューイングシステムは、手術ビデオスコープとも称され得る。
【００５７】
リモート領域の双眼ビデオレンダリングは、第２の手術ビデオスコープシステムを通して、工程の（ここでは仮想の）立体レンダリングを見ることができるローカルエキスパートに伝送されることができる。ローカルエキスパートは、手を仮想領域に挿入することができ、したがって、仮想領域内の自身の実際の手を見ることができる。
【００５８】
ローカルエキスパートの手のビデオ画像は、実際の領域に重ねられるリモート外科医の手術ビデオスコープシステムに返送することができる。リモート外科医は、次いで、空間的／解剖学的に関連する内容において、自身の手術領域内でエキスパートの仮想の手を見ることができる。このシステムを用いて、ローカルエキスパートは、自身の手を使用して、リモート外科医に該手術を行う方法を示すことができる。
【００５９】
該システムの例示的要素は、リモートステーションを含み得、リモート外科医は、手術工程、例えば、載置された顕微鏡に類似し得る固定立体ビデオスコープから成る、リモート手術ビデオスコープシステムを実行することができる。リモート外科医は、この機器を使用して、手術領域を見ることができる。任意の他の種類の好適なＶＩＰディスプレイを使用することができる。システムは、ローカルステーションにおいて、双眼ビデオ画像を類似の手術ビデオスコープに投影することができる。ローカル手術ビデオスコープは、リモート工程の双眼ビデオ画像を受信することができ、ローカルエキスパートがそれを見ることができるようにする。ローカルビデオスコープは、ローカルビデオスコープを通して見られるように、仮想リモート領域内で、ローカル外科医の手が動く様子を見ることができる。ローカルビデオスコープは、次いで、ローカルエキスパートの手をリモートビデオスコープに返送し、リモート外科医が現実領域内でエキスパートの仮想の手を見ることができるようにする。
【００６０】
このシステムを用いて、ローカルエキスパートは、手術を成功裏に完了させる適切な手技をリモート外科医に示すことができる。リモート外科医は、新しい工程を実行するための一連の基礎的技術を有し得る。したがって、ローカルエキスパートは、リモート外科医に対して、一連の技術を適用するための新しい方法を簡単に実演することができる。このシステムは、リモート外科医に取って代わる必要はないが、リモート外科医の能力を強化するために使用することができる。リモート外科医は、任意の緊急事態に迅速に対処するため待機することができる。リモート外科医は、自身の手を使用してタスクを行うことができるため、時間の遅延が最小になり、ローカルエキスパートがリモートロボット機器を操作する必要がなくなる。
【００６１】
いま生じている医療画像を手術領域上にマージするための方法およびシステムも開示する。手術領域の立体画像、例えば、頭部の立体ＭＲＩを手術工程に先立って取得することができる。画像データは、生体構造の三次元レンダリングに再構成することができる。このレンダリングは、手術領域を見るために使用される手術ビデオスコープに伝送することができる。ビデオスコープを通して、外科医は、手術領域上に重ねられた不透明な方式で、この三次元レンダリングを見ることができる。この場合、外科医は、実際の頭部上に重ねられるレンダリングされた頭部を見ることになる。手術ビデオスコープインターフェースにおいてソフトウェアツールを使用して、外科医は、実際の頭部に「適合」するまでレンダリングされた画像を回転および拡大縮小することができる。ビデオスコープシステムによって、外科医は、レンダリングされた頭部と実際の頭部とを弁別可能にフェードさせて、外科医が実際の頭部を「のぞき込み」、手術を計画することが可能になる。
【００６２】
システムの例示的要素は、外科医が手術領域を見る手術ビデオスコープビューイングシステムを含み得る。十分な解像度の立体取得ＭＲＩ／ＣＴ（または他の）画像再構成用のコンピュータは、その画像を実際の手術生体構造と一致させることができる。立体レンダリングされた画像は、外科医がそれを立体的に見ることができるように、ビデオスコープシステムを通して表示することができる。ソフトウェアインターフェースは、外科医が、レンダリングされた生体構造が、実際の生体構造上に重ねられ得るように、レンダリングされた生体構造および実際の生体構造の透明性を変えることができるようにする。外科医は、レンダリングされた生体構造を「切り開いて」、画像の任意／すべての内部詳細を実際の生体構造に関連するものとして見ることができる。手術ツールは、挙動を追跡され画像に適用されることができるように、レンダリングされた生体構造に空間的に位置合わせされることができる。
【００６３】
図１３に示されるように、かかるタスクの実施例は、小さいオブジェクトを一瓶の暗いゼラチン内に配置して、外科医に見えないようにすることである。該タスクは、外科医が長い鉗子を使用して、ゼラチン内に到達し、オブジェクトに触れるまたは把持するためのものである。手術ビデオスコープシステムは、ゼラチン瓶の立体走査を取得して、瓶を三次元でレンダリングし、ビデオスコープを通して双眼鏡レンダリングを表示することができる。外科医は、スコープシステムを通してレンダリングおよび実際の瓶を見ることができ、レンダリングされた瓶を実際の瓶上に適合させることができる。透明度を弁別可能に調整することによって、外科医は、鉗子を用いて、実際の瓶内に到達し、選択されたオブジェクトを把持する一方で、他の指定オブジェクトを避けることができる。
【００６４】
把持器具は、手術領域の立体レンダリング上に空間的に位置合わせされることができ、それによって、ツールのグラフィックを適切な解剖学的配向で、手術領域のレンダリング上に表示することができる。これは、高度のガイダンスを提供することができる。これは、画像レンダリングシステムと通信するデジタイザーを用いて、実際のオブジェクト（瓶）上の指定ランドマークに触れることによって、したがって、オブジェクト／プローブ関係を画定することによって、実装することができる。オブジェクト（瓶）は、重ねによって瓶の画像に位置合わせされるため、プローブのグラフィックは、瓶の画像に関連して表示され、仮想手術を可能にし得る。
【００６５】
本システムを使用できる多くの状況がある。例えば、リモート手術、医療トレーニング、および遠隔医療は、第三世界諸国または軍事状況において使用することができる。患者から遠隔位置にある外科医は、患者の近くにいる他の外科医を援助することができ、患者の近くにいる衛生兵を援助することができ、ロボット手術システムに連結されると、外科的手術を行うことができる。他の実施例は、拡張または増強された手術から仮想環境を使用する通常の手術を含み、その実施例は、内視鏡下手術である。手術工程は、シミュレートすることもできる。互いに離れた位置にいる外科医は、実際の患者に対して手術を実行する前に工程を計画し、実践することができる。
【００６６】
他の適用は、術前の患者の調整、医学療法、予防医療、暴露療法、恐怖症の軽減、障害のある人々のトレーニング、およびスキル増強等を含む。
【００６７】
次いで、ビューアは、左目の画像は左目に送り、右目の画像は右目に送るパッシブ立体偏光眼鏡（サングラスと類似）を通して投影を見る。適切にオフセットされた画像がソフトウェアによって適切にレンダリングされると、これは立体視を幻覚させる。該システムは、システムに対する機能損傷のない他の種類の立体ディスプレイと置き換えることができる。立体ディスプレイは、偏光レンズに適合した少なくとも２つのディスプレイプロジェクタ、拡散時に光の偏光を維持する背面投影スクリーン材料、それぞれの目が特定の偏光の光のみを見るように制限する特別な眼鏡、およびビューアを含み得る。ビューされる画像は、２つのわずかに異なるビュー変換でレンダリングされ得、理想的なビューアの２つの目の異なる位置を反映する。１つのプロジェクタは、左目の位置にレンダリングされた画像を表示し、他のプロジェクタは、右目の位置にレンダリングされた画像を表示する。眼鏡は、左目が左目用にレンダリングされた画像のみを見て、右目が右目用にレンダリングされた画像のみを見るように光を制限する。適度な立体画像で提示されると、ビューアは深度を認識する。
【００６８】
図１４は、開示される方法を行うための例示的オペレーティング環境を説明するブロック図である。この例示的オペレーティング環境は、オペレーティング環境の単なる実施例であり、使用の範囲またはオペレーティング環境アーキテクチャの機能に関して何ら制限を示唆することを意図しない。オペレーティング環境は、例示的オペレーティング環境において説明されるいずれか１つまたは組み合わせに関連する任意の依存性または要件を有するものとして解釈されてはならない。
【００６９】
該方法は、多数の他の一般的な目的または特別な目的のコンピュータシステム環境または構成で動作し得る。該システムおよび方法との使用に好適であり得る、よく知られたコンピュータシステム、環境、および／または構成の実施例は、パーソナルコンピュータ、サーバコンピュータ、ラップトップデバイス、およびマルチプロセッサシステムを含むが、それらに限定されない。付加的な実施例は、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスのうちのいずれかを含む分散コンピューティング環境等を含む。
【００７０】
該方法は、コンピュータによって実行されているプログラムモジュール等の一般的な内容のコンピュータ命令において記載され得る。概して、プログラムモジュールは、特定のタスクを行うか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。該システムおよび方法は、分散コンピューティング環境においても実施することができ、タスクは、コミュニケーションネットワークによりリンクされるリモート処理デバイスによって行われる。分散コンピューティング環境において、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよびリモートコンピュータ記憶媒体の両方に位置付けられ得る。
【００７１】
本明細書で開示される方法は、コンピュータ１４０１の形態で、１つ以上の汎用コンピューティングデバイスを経由して実装され得る。コンピュータ１４０１の構成要素は、１つ以上のプロセッサまたは処理装置１４０３、システムメモリ１４１２、およびプロセッサ１４０３を含む種々のシステム構成要素をシステムメモリ１４１２に連結するシステムバス１４１３を含み得るが、それらに限定されない。
【００７２】
システムバス１４１３は、いくつかの可能な種類のバス構造のうちの１つ以上を表し、メモリバスまたはメモリコントローラ、周辺バス、加速グラフィックポート、およびプロセッサまたは種々のバスアーキテクチャのうちのいずれかを使用するローカルバスを含む。一例として、かかるアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクス標準アソシエーション（ＶＥＳＡ）ローカルバス、およびメザニンバスとしても知られる周辺構成要素相互接続（ＰＣＩ）バスを含み得る。このバスおよび本説明において特定されるすべてのバスは、有線または無線ネットワーク接続上で実装することもできる。バス１４１３、および本説明において特定されるすべてのバスは、有線または無線ネットワーク接続で実行することもでき、プロセッサ１４０３、大容量記憶デバイス１４０４、オペレーティングシステム１４０５、アプリケーションソフトウェア１４０６、データ１４０７、ネットワークアダプタ１４０８、システムメモリ１４１２、入力／出力インターフェース１４１０、ディスプレイアダプタ１４０９、ディスプレイデバイス１４１１、およびヒューマンマシンインターフェース１４０２を含むサブシステムのそれぞれは、物理的に個別の位置において、１つ以上のリモートコンピューティングデバイス１４１４ａ、ｂ、ｃ内に含まれ得、完全に分散されたシステムを有効に実装する際に、この形態のバスにより接続される。
【００７３】
コンピュータ１４０１は、典型的には、種々のコンピュータ可読媒体を含む。かかる媒体は、コンピュータ１４０１によってアクセスできる、任意の使用可能な媒体であり得、揮発性および不揮発性媒体、可撤性および非可撤性媒体の両方を含む。システムメモリ１４１２は、ランダムアクセスメモリ（ＲＡＭ）等の揮発性メモリ、および／または読取専用メモリ（ＲＯＭ）等の不揮発性メモリの形態で、コンピュータ可読媒体を含む。システムメモリ１４１２は、典型的には、データ１４０７等のデータ、および／またはオペレーティングシステム１４０５等のプログラムモジュール、および即時にアクセス可能および／または処理ユニット１４０３によって現在動作しているアプリケーションソフトウェア１４０６を含む。
【００７４】
コンピュータ１４０１は、他の可撤性／非可撤性、揮発性／不揮発性コンピュータ記憶媒体も含み得る。一例として、図１４は、コンピュータコード、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶をコンピュータ１４０１に提供できる大容量記憶デバイス１４０４を例示する。例えば、大容量記憶デバイス１４０４は、ハードディスク、可撤性磁気ディスク、可撤性光学ディスク、磁気カセット、または他の磁気記憶デバイス、フラッシュメモリカード、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能読取専用メモリ（ＥＥＰＲＯＭ）等であり得る。
【００７５】
任意の数のプログラムモジュールは、大容量記憶デバイス１４０４に記憶することができ、一例として、オペレーティングシステム１４０５およびアプリケーションソフトウェア１４０６を含む。オペレーティングシステム１４０５およびアプリケーションソフトウェア１４０６（またはそのいくつかの組み合わせ）はそれぞれ、プログラミングおよびアプリケーションソフトウェア１４０６の要素を含み得る。データ１４０７は、大容量記憶デバイス１４０４上に記憶することもできる。データ１４０７は、当該技術分野において知られる１つ以上のデータベースのうちのいずれかに記憶することができる。かかるデータベースの実施例は、ＤＢ２（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ａｃｃｅｓｓ、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒ、Ｏｒａｃｌｅ（登録商標）、ｍｙＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ等を含む。データベースは、集中化され得るか、複数のシステムに渡って分散され得る。
【００７６】
ユーザは、入力デバイス（図示せず）を経由して、コマンドおよび情報をコンピュータ１４０１に入力することができる。かかる入力デバイスの実施例は、キーボード、ポインティングデバイス（例えば、「マウス」）、マイクロフォン、ジョイスティック、シリアルポート、スキャナ、グローブ等の触覚入力デバイス、および他の身体着等を含むが、それらに限定されない。これらのおよび他の入力デバイスは、システムバス１４１３に連結されるヒューマンマシンインターフェース１４０２を経由して、処理装置１４０３に接続することができるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）等の他のインターフェースおよびバス構造によって接続され得る。
【００７７】
ディスプレイデバイス１４１１は、インターフェース、例えば、ディスプレイアダプタ１４０９等を経由して、システムバス１４１３に接続することもできる。コンピュータ１４０１は、２つ以上のディスプレイアダプタ１４０９を有し得、コンピュータ１４０１は、２つ以上のディスプレイデバイス１４１１を有し得る。例えば、ディスプレイデバイスは、モニタ、ＬＣＤ（液晶ディスプレイ）、またはプロジェクタであり得る。ディスプレイデバイス１４１１に加え、他の出力周辺デバイスは、入力／出力インターフェース１４１０を経由してコンピュータ１４０１に接続され得る、スピーカ（図示せず）およびプリンタ（図示せず）等の構成要素を含み得る。
【００７８】
コンピュータ１４０１は、１つ以上のリモートコンピューティングデバイス１４１４ａ、ｂ、ｃに対する論理結合を使用してネットワーク環境において動作することができる。一例として、リモートコンピューティングデバイスは、パーソナルコンピュータ、携帯型コンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、または他の共通ネットワークノード等であり得る。コンピュータ１４０１とリモートコンピューティングデバイス１４１４ａ、ｂ、ｃとの間の論理結合は、ローカルエリアネットワーク（ＬＡＮ）および一般的な広域ネットワーク（ＷＡＮ）を経由して形成され得る。かかるネットワーク接続は、ネットワークアダプタ１４０８を通り得る。ネットワークアダプタ１４０８は、有線および無線環境の両方で実装することができる。かかるネットワーク環境はオフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネット１４１５において一般的である。
【００７９】
１つ以上のＶＩＰディスプレイ１４１６ａ、ｂ、ｃ、ｄ、ｅは、コンピュータ１４０１と通信することができる。一側面において、ＶＩＰディスプレイ１４１６ｅは、入力／出力インターフェース１４１０によりコンピュータ１４０１と通信することができる。この通信は、有線または無線であり得る。リモートＶＩＰディスプレイ１４１６ａ、ｂ、ｃは、最初にそれぞれのリモートコンピューティングデバイス１４１４ａ、ｂ、ｃと通信することによってコンピュータ１４０１と通信することができ、リモートコンピューティングデバイス１４１４ａ、ｂ、ｃは、次いで、インターネット１４１５等のネットワークを経由して、ネットワークアダプタ１４０８によりコンピュータ１４０１と通信する。リモートＶＩＰディスプレイ１４１６ｄは、リモートコンピューティングデバイスを必要とせずに、コンピュータ１４０１と通信することができる。リモートＶＩＰディスプレイ１４１６ｄは、インターネット１４１５等のネットワークを経由して通信することができる。ＶＩＰディスプレイ１４１６ａ、ｂ、ｃ、ｄ、ｅは、無線または有線接続により通信することができる。ＶＩＰディスプレイ１４１６ａ、ｂ、ｃ、ｄ、ｅは、ＶＩＰディスプレイネットワークの一部として、個々にまたは集合的に通信することができる。
【００８０】
説明の目的で、アプリケーションプログラムおよび他の実行可能なプログラム構成要素、例えば、オペレーティングシステム１４０５は、本明細書において個別のブロックとして説明されるが、かかるプログラムおよび構成要素は、種々の時間に、コンピューティングデバイス１４０１の異なる記憶構成要素に存在し、コンピュータのデータプロセッサによって実行されることが認識される。アプリケーションソフトウェア１４０６の実装は、いくつかの形態のコンピュータ可読媒体で記憶またはそれらを跨って伝送され得る。コンピュータ可読媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体であり得る。一例として、制限なく、コンピュータ可読媒体は、「コンピュータ記憶媒体」および「通信媒体」を含み得る。「コンピュータ記憶媒体」は、情報記憶用の任意の方法または技術で実装される、揮発性、不揮発性、可撤性、および非可撤性媒体、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学式記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイス、または所望の情報を記憶するために使用でき、コンピュータによりアクセスできる任意の他の媒体を含むが、それらに限定されない。
【００８１】
別段の明確な記述がない限り、本明細書に記載される任意の方法は、そのステップを特定の順序で行う必要があると解釈されることは全く意図しない。したがって、方法の請求項は、実際にそのステップによって従うべき順序を列挙しないか、またはそうでなければ、具体的には、発明概念または説明において、該ステップが特定の順序に限定されるものであると記述されず、任意の観点において、順序が推測されることを全く意図しない。これは、任意の可能な非明示的解釈の基礎を保持し、ステップの配列または動作の流れに関する論理の問題、文法構成または句読法に由来する平易な意味、本明細書に記載の実施形態の数または種類を含む。
【００８２】
範囲または精神から逸脱することなく、本方法およびシステムにおいて、種々の修正および変形を行うことができることは、当業者に明らかとなるであろう。他の実施形態は、明細書および本明細書で開示される実践を考慮することにより当業者に明らかとなるであろう。明細書および実施例は、単なる例示として考慮され、真の範囲および精神は、以下の請求項によって示されている。
【技術分野】
【０００１】
（連邦政府支援）
本発明は、米国エネルギー省による政府基金（助成／契約番号Ｈ３０９１２、Ｈ３４６１２、Ｈ３５６６２）によって開発された。政府は、この発明において一定の権利を有する。
【０００２】
（関連出願の引用）
本願は、米国仮出願第６０／９３０，８７４号（２００７年５月１８日出願）に基づく優先権を主張する。その全体が参照により本明細書に援用される。
【背景技術】
【０００３】
表示システム（ＶＩＰディスプレイ）、例えば、立体ディスプレイシステムを使用して、仮想インタラィティブプレゼンス（ＶＩＰ）を確立するための方法およびシステムを開示する。開示された方法およびシステムは、仮想現実を利用することができる。
【発明の概要】
【課題を解決するための手段】
【０００４】
付加的な利点は、以下の説明に部分的に記載されるか、または実践によって習得され得る。該利点は、特に、添付の発明概念において指摘される要素および組み合わせによって実現され獲得され得る。前述の一般的な説明および以下の発明を実施するための形態の両方は、例示的かつ説明的であるにすぎず、制限的と見なされないことを理解されたい。
本発明は、例えば、以下も提供する。
（項目１）
仮想インタラクティブプレゼンス用の方法であって、
リモートユーザおよびローカルユーザの物理的プレゼンスを反映する、共通関心領域をレンダリングするステップと、
該共通関心領域における該リモートユーザと該ローカルユーザとの間の相互作用をレンダリングするステップと、
該リモートユーザの該プレゼンスがリアルタイムで該ローカルユーザにレンダリングされ、該ローカルユーザの該プレゼンスがリアルタイムで該リモートユーザにレンダリングされるように、該共通関心領域を連続的に更新するステップと
を含む、方法。
（項目２）
前記共通関心領域は、前記リモートユーザが、前記ローカルユーザと同様に該共通関心領域を体験するようにレンダリングされる、項目１に記載の方法。
（項目３）
前記ローカルユーザは、前記共通関心領域において前記リモートユーザとの連続的相互作用を可能にする方式で、該リモートユーザの物理的プレゼンスを体験する、項目１または２に記載の方法。
（項目４）
前記共通領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
該共通領域における前記ローカルユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、項目１、２、または３に記載の方法。
（項目５）
前記共通関心領域におけるローカルオブジェクトの前記物理的プレゼンスをレンダリングするステップと、
該共通領域における前記リモートユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、項目１または４に記載の方法。
（項目６）
仮想インタラクティブプレゼンス用の方法であって、
ローカルオブジェクト、該ローカルオブジェクトの立体画像、およびローカルユーザの物理的プレゼンスを反映するローカル関心領域をレンダリングするステップと、
該ローカル関心領域における該ローカルオブジェクトと、該立体画像と、該ローカルユーザとの間の相互作用をレンダリングするステップと、
該ローカルオブジェクトの該プレゼンスおよび該ローカルオブジェクトの該立体画像は、リアルタイムで該ローカルユーザにレンダリングされるように、該ローカル関心領域を連続的に更新するステップと
を含む、方法。
（項目７）
前記ローカルオブジェクトは、患者であり、該ローカルオブジェクトの前記立体画像は、該患者の一部の医療画像である、項目６に記載の方法。
（項目８）
前記医療画像は、ｘ線画像、ＭＲＩ画像、またはＣＴ画像である、項目７に記載の方法。
（項目９）
前記ローカルユーザによって、前記立体画像を前記ローカルオブジェクト上に重ねるステップをさらに含む、項目６に記載の方法。
（項目１０）
前記ローカルユーザによって、前記立体画像の特性を調整するステップをさらに含む、項目６または９に記載の方法。
（項目１１）
前記特性は、透明性、空間的位置、およびスケールのうちの１つ以上である、項目１０に記載の方法。
（項目１２）
前記ローカル関心領域においてローカルツールをレンダリングするステップをさらに含む、項目６に記載の方法。
（項目１３）
前記ローカルオブジェクトの前記レンダリングに対する正確な空間的関係で、前記ローカルツールをレンダリングするステップをさらに含む、項目１２に記載の方法。
（項目１４）
仮想インタラィテクブプレゼンス用のシステムであって、
共通関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
ローカル仮想プレゼンスデータを伝送し、リモート仮想プレゼンスデータを受信するために構成されるネットワークインターフェースと、
該仮想プレゼンスディスプレイ、該ローカルセンサ、および該ネットワークインターフェースに連結されるプロセッサであって、該プロセッサは、
該ローカル仮想プレゼンスデータおよび該リモート仮想プレゼンスデータに基づいて、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する共通関心領域をレンダリングするステップと、
該共通関心領域における該リモートユーザと該ローカルユーザとの間の相互作用をレンダリングするステップと、
該リモートユーザの該プレゼンスがリアルタイムで該ローカルユーザにレンダリングされ、該ローカルユーザの該プレゼンスがリアルタイムで該リモートユーザにレンダリングされるように、該共通関心領域を連続的に更新するステップと、
該共通関心領域を該仮想プレゼンスディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備える、システム。
（項目１５）
前記仮想プレゼンスディスプレイは、立体ディスプレイおよび平面ディスプレイのうちの１つ以上である、項目１４に記載のシステム。
（項目１６）
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、項目１４に記載のシステム。
（項目１７）
前記共通関心領域は、前記リモートユーザが前記ローカルユーザと同様に該共通関心領域を体験するようにレンダリングされる、項目１４に記載のシステム。
（項目１８）
前記ローカルユーザは、前記共通関心領域において、前記リモートユーザとの連続的相互作用を可能にする方式で、該リモートユーザの物理的プレゼンスを体験する、項目１４または１７に記載のシステム。
（項目１９）
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの前記物理的プレゼンスをレンダリングするステップと、
該共通関心領域における前記ローカルユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
項目１４、１７、または１８に記載のシステム。
（項目２０）
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの前記物理的プレゼンスをレンダリングするステップと、
該共通関心領域における前記リモートユーザと該ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
項目１４または１９に記載のシステム。
（項目２１）
仮想インタラクティブプレゼンス用のシステムであって、
ローカル関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
該仮想プレゼンスディスプレイおよび該ローカルセンサに連結されるプロセッサであって、該プロセッサは、
該ローカル仮想プレゼンスデータおよび該ローカルオブジェクトの立体画像に基づいて、ローカルオブジェクトおよびローカルユーザの物理的プレゼンスを反映するローカル関心領域をレンダリングするステップと、
該ローカル関心領域における、該ローカルオブジェクトと、該立体画像と、該ローカルユーザとの間の相互作用をレンダリングするステップと、
該ローカルオブジェクトの該プレゼンスおよび該ローカルオブジェクトの該立体画像がリアルタイムで該ローカルユーザにレンダリングされるように、該ローカル関心領域を連続的に更新するステップと、
該ローカル関心領域を該仮想プレゼンスディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備える、システム。
（項目２２）
前記仮想プレゼンスディスプレイは、立体ディスプレイおよび平面ディスプレイのうちの１つ以上である、項目２１に記載のシステム。
（項目２３）
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、項目２１に記載のシステム。
（項目２４）
前記ローカルオブジェクトは、患者であり、前記ローカルオブジェクトの前記立体画像は、該患者の一部の医療画像である、項目２１に記載のシステム。
（項目２５）
前記医療画像は、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つである、項目２４に記載のシステム。
（項目２６）
前記プロセッサは、前記ローカルユーザによって、前記立体画像を前記ローカルオブジェクト上に重ねるステップを含む、ステップを行うようにさらに構成される、項目２１に記載のシステム。
（項目２７）
前記プロセッサは、前記ローカルユーザによって、前記立体画像の特性を調整するステップを含む、ステップを行うようにさらに構成される、項目２１に記載のシステム。
（項目２８）
前記特性は、透明性、空間的位置、およびスケールのうちの１つ以上である、項目２７に記載のシステム。
（項目２９）
前記プロセッサは、前記ローカル関心領域においてローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、項目２１に記載のシステム。
（項目３０）
前記プロセッサは、前記レンダリングされたローカルオブジェクトに対する正確な空間的関係で前記ローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、項目２９に記載のシステム。
本明細書に組み込まれ、本明細書の一部を成す付随の図面は、実施形態を例証し、説明と合わせて、提供される方法およびシステムの原理を説明する役割を果たす。
【図面の簡単な説明】
【０００５】
【図１】図１は、仮想インタラクティブプレゼンスを説明する。
【図２】図２は、仮想インタラクティブプレゼンスを説明する。
【図３】図３は、リモートユーザを援助するローカルエキスパートを説明する。
【図４】図４は、例示的仮想プレゼンスシステムを説明する。
【図５】図５は、グラフィックサーバ内で行われる例示的プロセスを説明する。
【図６】図６は、ネットワークサーバ内で行われる例示的プロセスを説明する。
【図７】図７は、例示的ＶＩＰディスプレイの側面図を説明する。
【図８】図８は、例示的ＶＩＰディスプレイのユーザのビューを説明する。
【図９】図９は、例示的ＶＩＰディスプレイのユーザのビューを説明する。
【図１０】図１０は、例示的方法を説明する。
【図１１】図１１は、別の例示的方法を説明する。
【図１２】図１２は、リモート手術環境における仮想プレゼンスを説明する。
【図１３】図１３は、医療画像を動作領域とマージするステップを説明する。
【図１４】図１４は、例示的手術環境を説明する。
【発明を実施するための形態】
【０００６】
本方法およびシステムを開示および説明する前に、本方法およびシステムは、特定の合成方法、特定の構成要素、または特定の構成に限定されず、そのようなものとして、当然ながら異なり得ることを理解されたい。本明細書で使用する用語は、特定の実施形態のみを説明する目的であって、限定することを意図しないことも理解されたい。
【０００７】
本明細書および添付の発明概念において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上別段の明確な指示がない限り、複数の指示対象を含む。
【０００８】
本明細書において、範囲は、「約」ある特定の値から、および／または「約」別の特定の値までとして表され得る。かかる範囲が表される場合、別の実施形態は、ある特定の値から、および／または他の特定の値までを含む。同様に、先行して「約」を使用することにより、値が近似値として表される場合は、特定の値が別の実施形態を形成することを理解されるであろう。それぞれの範囲の端点は、他の端点に関連しても、また他の端点とは独立しても有意であることも理解されるであろう。
【０００９】
「随意の」または「随意に」は、後次に説明されるイベントまたは状況が起きることもあれば起きないこともあることを、および該説明は、前記イベントまたは状況が起きる事例および起きない事例を含む。
【００１０】
本明細書の説明および請求項を通して、「含む（ｃｏｍｐｒｉｓｅ）」という語および該語の変形例、例えば、「ｃｏｍｐｒｉｓｉｎｇ」および「ｃｏｍｐｒｉｓｅｓ」は、「含むが、それらに限定されない」を意味し、例えば、他の添加物、構成要素、完全体またはステップを除外することを意図しない。「例示的」とは、実施例のことを意味し、好適または理想的な実施形態の適用を言うことを意図しない。
【００１１】
開示される方法およびシステムを行うために使用できる構成要素を開示する。これらのおよび他の構成要素は、本明細書において開示され、これらの構成要素の組み合わせ、サブセット、相互作用、グループ等が開示されるが、それぞれ種々の、個々の、および集合的な組み合わせの特定指示が明示的には開示されないが、本明細書において、それぞれが、すべての方法およびシステムに関して具体的に検討および説明されることを理解されたい。これは、本出願のすべての側面に適用し、開示される方法におけるステップを含むが、それに限定されない。したがって、行うことができる種々の追加ステップがある場合は、これらの追加ステップのそれぞれが、開示される方法の任意の特定の実施形態または実施形態の組み合わせで行うことができることを理解されたい。
【００１２】
本方法およびシステムは、好適な実施形態の以下の発明を実施するための形態、およびそこに含まれる実施例、および図ならびにそれらの前後にある説明を参照することによって、より容易に理解され得る。
【００１３】
表示システム（ＶＩＰディスプレイ）、例えば、立体ディスプレイシステムを使用して、仮想インタラクティブプレゼンス（ＶＩＰ）を確立するための方法およびシステムを開示する。開示される方法およびシステムは、仮想現実を利用することができる。仮想現実（ＶＲ）とは、コンピュータおよびそのデバイスが、個々のアクションによって動的に制御される感覚環境を形成し、該環境がユーザには「現実」であるように思われる、ヒューマンコンピュータインターフェースを提供するコンピュータベースのアプリケーションをいう。ＶＲでは、コンピュータシステムとユーザとの間のコミュニケーションがある。コンピュータは、一側面において、（これは必須ではないが）多感覚であり得る、ユーザが体験するための感覚環境を形成し、該コンピュータは、ユーザ入力に応答して、現実的感覚を形成する。
【００１４】
一例示的側面において、開示されるシステムは、少なくとも２つの種類のＶＲ、没入型および非没入型を利用することができる。没入型ＶＲは、ユーザが実際に異なる環境にいるように錯覚させる。一側面において、該システムは、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｓ（ＨＭＤ））、イアフォン、およびグローブまたはワンド等の入力デバイス等のデバイスを使用することによりこれを達成する。別の側面において、体験のリアリズムを増強するために、ソフトウェアがシミュレートできる複数の自由度（Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ（ＤＯＦ））が利用される。概して、ＤＯＦが大きくなるほど、体験のリアリズムはより良くなる。例示的ＤＯＦは、制限なく、Ｘ、Ｙ、Ｚ、ロール、ピッチ、およびヨーを含む。
【００１５】
非没入型ＶＲは、ユーザの周囲環境から弁別可能な環境を形成する。これは、ユーザが別の世界に運ばれるような錯覚をもたらさない。非没入型ＶＲは、立体投影システム、コンピュータモニタ、および／またはステレオスピーカを使用することにより、三次元画像およびサラウンドサウンドを形成することによって機能する。非没入型ＶＲは、追加のハードウェアなしに、パーソナルコンピュータから実行することができる。
【００１６】
一側面において、没入型ＶＲにおける移動は、トラッカと呼ばれる光学的、音響的、磁気的、または機械的ハードウェアを使用することにより、システムによって実現することができる。 好ましくは、入力デバイスは、移動がより正確に表され得るように、可能な限り多くのこれらのトラッカを有する。例えば、バーチャルグローブは、それぞれの人差し指に最大３つのトラッカ、および掌および手首の場合はそれ以上を有し得、ユーザは、物体を掴んだり押したりすることができる。一側面において、該トラッカは、どの方向に入力が向かっているか、および入力デバイスが全方向においてどのように傾斜しているかをコンピュータに指示する、位置付けセンサを備え得る。これは、センサに６つの自由度を付与する。
【００１７】
出力デバイスは、ユーザを仮想世界に移動させる。本システムにおいて使用できる出力デバイスの実施例は、制限なく、眼鏡またはゴーグルの形態のヘッドマウントディスプレイ（ＨＭＤ）を含み、これによってユーザは、表示システムを頭上に装着することができる。ＨＭＤに対する１つのアプローチは、両目を覆うために十分な幅の１つだけの液晶ディスプレイ（ＬＣＤ）を使用することである。別のアプローチは、２つの個別のディスプレイを各目に１つを有することである。表示される画像が異なるため、これは幾分多くのコンピュータ処理能力を要する。各ディスプレイは、環境において適切な角度からレンダリングされた個別の画像を有する。視線追跡は、ＨＭＤと組み合わせることができる。これによって、例えば、外科医は、解像度を高めたい画像の部分に目を動かすことができる。
【００１８】
本システムの実施形態において使用できる出力デバイスの別の実施例は、シャッタを備える眼鏡である。このデバイスは、各目に対してフレーム１つおきに画像を更新し、他の目ではシャッタを閉じる。シャッタを備える眼鏡は、画像のちらつきを防ぐために、非常に高いフレームレートを必要とする。このデバイスは、ステレオモニタに使用され、二次元物体の三次元表示をもたらすが、ユーザを仮想世界に没入させない。
【００１９】
本システムの実施形態において使用できる別の出力デバイスは、複数のプロジェクタを有するスクリーンである。該スクリーンは、平面または湾曲のいずれかであり得る。同一スクリーン上で複数のプロジェクタを使用する場合の問題は、投影の間に目に見えるエッジがあり得ることである。これは、ソフトエッジシステムを使用することによって修正することができ、エッジにおいて投影は徐々に透明になり、投影が重なる。これは、画像間のほぼ完璧な移行をもたらす。所望の三次元効果を達成するために、シャッタを備える眼鏡を使用することができる。完全に不透明または完全に透明のいずれかに交互させる、特別な眼鏡を使用することができる。左目が不透明である場合、右目は透明である。これは、スクリーン上に対応する画像を投影しているプロジェクタに同期する。
【００２０】
別の側面において、Ｃａｖｅ自動仮想環境（Ｃａｖｅ ＡｕｔｏｍａｔｉｃＶｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ（ＣＡＶＥ））を本システムで使用することもできる。ＣＡＶＥは、立方形の室内でミラーを使用して、立体画像を壁に投影し、仮想世界に立っているかのような錯覚をもたらすことができる。該世界は、トラッカを使用して常に更新され、該ユーザは、ほぼ完全に制約されることなく動き回ることができる。
【００２１】
仮想インタラクティブプレゼンスを確立するための方法およびシステムを開示する。かかる方法およびシステムは、ユーザが任意の所定の目的、例えば、リモートエキスパートの送達等のために相互作用できるような方法で、関心領域にいくつかの要素／参加者を事実上存在させることができる。関心領域は、ポイントオブビューに応じて、可変量の「現実」および「仮想」要素を含み得る。開示される方法およびシステムの種々の構成要素は、図１において説明される。
【００２２】
共通関心領域１０１は、要素が物理的に存在するか、または事実上存在する領域である。ポイントオブリアリティ（またはポイントオブビュー）は、共通関心領域を体験している要素／参加者の視点を意味する。図１において、例示的ポイントオブリアリティ、またはポイントオブビューは、１０２および１０３において示される。これらは、ＶＩＰディスプレイを表す。共通関心領域は、両方の視点、またはポイントオブビューから同様に見えるが、それぞれ異なる組み合わせのローカル（物理的）およびリモート（仮想）要素／参加者を含む。
【００２３】
ローカル要素は、共通関心領域に物理的に存在する要素および／または参加者である。図１において、要素Ａ１０５は、領域Ａ１０４のローカル要素であり、領域Ａ１０４に物理的に存在する。要素Ｂ１０７は、領域Ｂ１０６のローカル要素であり、領域Ｂ１０６に物理的に存在する。
【００２４】
リモート要素は、共通関心領域に物理的に存在しない要素および／または参加者である。それらは、任意の他のローカル視点から「事実上存在する」として体験される。図１に示されるように、要素Ｂ１０７は、領域Ａ１０４に対するリモート要素であり、領域Ａ１０４に事実上存在する。要素Ａ１０５は、領域Ｂ１０６におけるリモート要素であり、領域Ｂ１０６に事実上存在する。
【００２５】
ローカルおよびリモート要素および／または参加者を組み合わせることによって、仮想インタラクティブプレゼンスをレンダリングするための方法は、以下のステップのうちの１つ以上を含み得る。共通ローカル領域は、領域、要素、および／または参加者の物理的プレゼンスを反映する方法でレンダリングされ得る。図２に示されるように、参加者Ａは、ビューアを通して、領域Ａにおける現実要素を体験することができる。共通ローカル領域は、リモート参加者がローカルパーソンと同様に体験できる方法で遠隔的に体験されるように、レンダリングされ得る。図２に示されるように、これは、参加者Ａが要素Ｂを領域Ａに事実上存在するものとして体験することによって説明される。
【００２６】
リモートパーソンは、自身を挿入し、および／または彼らに対してレンダリングされるように、仮想領域と相互作用することができる。例えば、参加者Ａは、手、器具等を領域Ａに挿入し、仮想要素Ｂと相互作用することができる。ビューアＢは、これに対する「仮想相補」を見ることができ、ビューアＢの現実要素は、参加者Ａの仮想要素と相互作用する。
【００２７】
共通ローカル領域は、リモート参加者のプレゼンスがリアルタイムでレンダリングされ得るように、連続的に更新され得る。例えば、リモートシーンは、リモートキャプチャとローカルレンダリングとの間の可能な限り小さく保たれるタイムラグで入手可能な最新のものであり得る。反対に、期間的差異を導入する必要がある場合は、これを同様に達成することができる。
【００２８】
共通のローカル領域は、ローカルシーンに有意義に一致するサイズおよび深度に縮尺することができる。また共通のローカル領域は、リモート要素を多少透明にするか、全体的に除去するか、あるいはローカルユーザのニーズに適うよう変更することができるように構成可能であり得る。
【００２９】
ローカル参加者は、共通ローカル領域における連続的相互作用を可能にする方式で、事実上存在する参加者を体験することができる。図３は、リモートユーザを援助するローカルエキスパートを例示する。ローカルエキスパート３０１の手は、わずかに透明であり、リモートユーザによって見られる領域に重ねられる。リモートユーザは、ローカルエキスパートの手、リモートユーザの手、およびリモートユーザの位置に配置されるパズルを見ることができる。ローカルエキスパートは、パズルを組み立てるリモートユーザを援助している。
【００３０】
図４は、例示的仮想プレゼンスシステムを説明する。１つのかかるシステムは、同一セッションに参加する各リモート参加者によって使用され得る。各システムは、ネットワーク接続を通じて互いに通信することができる。例えば、リモートサイトは、インターネットを経由して接続することができる。タスクは、各システムにおける複数のコンピュータの間で分割することができる。例えば、あるコンピュータ（グラフィックサーバ）は、ローカルカメラおよびネットワークサーバから画像を収集し、立体画像合成タスクを行い、ローカル立体ディスプレイシステムを駆動し得る。
【００３１】
図５は、グラフィックサーバで行うことができる例示的プロセスを説明する。画像は、ローカルデータ構造（フレームリング）に収集することができる。ローカル画像は、複数のカメラ、例えば、２つのカメラから収集され得る。リモート画像は、例えば、高速リモート直接メモリアクセス（ＲＤＭＡ）接続を経由して、ネットワークにより提供され得る。これらの画像は、リモートユーザおよびローカルユーザが同一シーンで見られ得るように、組み合わせることができる（図３に示すように）。この構成結果は、ローカル立体ディスプレイシステムに伝送され得る。第２のコンピュータは、ネットワークサーバとして機能し得、例えば、ネットワークのコード化／復号化タスクならびに深度マップ生成を行うことができる。
【００３２】
図６は、ネットワークサーバで行うことができる例示的プロセスを説明する。ＲＤＭＡ接続を経由してグラフィックサーバから収集されたローカル画像は、深度情報を用いて解析およびマップされ、効率的なネットワーク伝送のためにコード化され、リモートサイトにおいて対応するネットワークサーバによって受信されるように外部ネットワーク接続に伝送され得る。同時に、コード化される画像および深度マップは、リモートサイトから受信され、復号化され、ＲＤＭＡ接続を経由してローカルグラフィックサーバに提供されることができる。
【００３３】
該システムは、ネットワークサーバに接続される制御端末によってユーザ制御することができ、ユーザは、次いで、ネットワークサーバに対する専用のネットワーク接続を経由して、グラフィックサーバを制御することができる。
【００３４】
仮想インタラクティブプレゼンスのパラメータは、使用されるシステムに応じて構成され得る。構成可能なパラメータは、仮想要素のサイズ、仮想要素のプレゼンス（不透明、透明等）、仮想プレゼンスの時間（時間は、例えば、遅延、減速、加速するように構成することができる）、仮想および現実の任意の組み合わせが、互いに重ねられ、および／または「適合」され得るような要素の重ね等を含むが、それらに限定されない。
【００３５】
図７は、例示的ＶＩＰディスプレイの側面図を説明する。図８は、例示的ＶＩＰディスプレイのユーザのビューを説明する。図９は、例示的ＶＩＰディスプレイのユーザのビューを説明する。
【００３６】
本明細書で使用されるように、関心の「ローカル」領域は、ローカル物理的領域およびローカルユーザを意味し得、したがって、他の全ての領域をリモートにする。各領域は、各領域のローカル物理的ユーザに対してローカルであり得るが、他のユーザに対してリモートであり得る。領域の複合は、共通関心領域であり得る。これは、共通関心領域のローカルレンダリング内に「現実」の構成要素があり得、インタラクションは、単にユーザとオブジェクトを表すグラフィックアバター間だけでなく、物理的オブジェクトの実際のビデオ（および他の）レンダリング間でもあり得る点において、通常の「仮想世界」とは異なる。提示される方法およびシステムは、仮想インタラクティブプレゼンスを可能にし、現実および仮想の相互作用によって物理的ドメインを修正／最適化する。
【００３７】
図１０で説明される一側面では、１００１において、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する共通関心領域をレンダリングするステップと、１００２において、共通関心領域でのリモートユーザとローカルユーザとの間の相互作用をレンダリングするステップと、リモートユーザのプレゼンスがリアルタイムでローカルユーザにレンダリングされ、ローカルユーザのプレゼンスがリアルタイムでリモートユーザにレンダリングされるように、１００３において共通関心領域を連続的に更新するステップと、を含む、仮想インタラクティブプレゼンス用の方法を提供する。
【００３８】
共通関心領域は、リモートユーザがローカルユーザと同様に共通関心領域を体験するように、レンダリングすることができる。ローカルユーザは、共通関心領域におけるリモートユーザとの連続的相互作用を可能にする方式で、リモートユーザの物理的プレゼンスを体験することができる。該方法は、共通領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通領域におけるローカルユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップとをさらに含むことができる。該方法は、共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通関心領域におけるリモートユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップとをさらに含むことができる。
【００３９】
図１１で説明される別の側面では、１１０１において、ローカルオブジェクトの物理的プレゼンス、ローカルオブジェクトの立体画像、およびローカルユーザを反映するローカル関心領域をレンダリングするステップと、１１０２において、ローカル関心領域におけるローカルオブジェクト、立体画像、およびローカルユーザの間の相互作用をレンダリングするステップと、１１０３において、ローカルオブジェクトのプレゼンスおよびローカルオブジェクトの立体画像が、リアルタイムでローカルユーザにレンダリングされるように、ローカル関心領域を連続的に更新するステップとを含む、仮想インタラクティブプレゼンス用の方法を提供する。
【００４０】
ローカルオブジェクトは、例えば、患者であり得、ローカルオブジェクトの立体画像は、例えば、患者の一部の医療画像であり得る。しかしながら、ローカルオブジェクトは、任意の関心のオブジェクトであり得、ローカルオブジェクトの画像は、該オブジェクトの任意の正確なレンダリングであり得る。例えば、自動車エンジンおよびエンジンの三次元グラフィック等であり得る。
【００４１】
医療画像は、例えば、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つであり得る。該方法は、ローカルユーザによって、立体画像をローカルオブジェクト上に重ねるステップをさらに含み得る。重ねは、コンピュータによって自動的に行うことができる。
【００４２】
該方法は、ローカルユーザによって、立体画像の特性を調整するステップをさらに含み得る。該特性は、透明性、空間的位置、およびスケールのうちの１つ以上であり得る。
【００４３】
該方法は、ローカル関心領域において、ローカルツールをレンダリングするステップをさらに含み得る。該方法は、ローカルオブジェクトのレンダリングと正確な空間的関連で、ローカルツールをレンダリングするステップをさらに含み得る。該ツールは、任意の種類のツール、例えば手術ツールであり得る。
【００４４】
別の側面において、共通関心領域を表示するために構成される仮想プレゼンスディスプレイと、ローカル仮想プレゼンスデータを取得するように構成されるローカルセンサと、ローカル仮想プレゼンスデータを伝送し、リモート仮想プレゼンスデータを受信するように構成されるネットワークインターフェースと、仮想プレゼンスディスプレイ、ローカルセンサ、およびネットワークインターフェースに連結されるプロセッサと、を含む、仮想プレゼンス用のシステムが提供され、該プロセッサは、ローカル仮想プレゼンスデータおよびリモート仮想プレゼンスデータに基づいて、リモートユーザおよびローカルユーザの物理的プレゼンスを反映する共通関心領域をレンダリングするステップと、共通関心領域におけるリモートユーザとローカルユーザとの間の相互作用をレンダリングするステップと、リモートユーザのプレゼンスが、リアルタイムでローカルユーザにレンダリングされ、ローカルユーザのプレゼンスが、リアルタイムでリモートユーザにレンダリングされるように、共通関心領域を連続的に更新するステップと、共通関心領域を仮想プレゼンスディスプレイに出力するステップとを行うように構成される。
【００４５】
仮想プレゼンスディスプレイは、立体ディスプレイ、平面ディスプレイ（例えば、ＣＲＴ、ＬＣＤ等）等のうちの１つ以上であり得る。センサは、カメラ、赤外線センサ、深度走査センサ等のうちの１つ以上であり得る。共通関心領域は、リモートユーザが、ローカルユーザと同様に共通関心領域を体験するように、レンダリングされ得る。ローカルユーザは、共通関心領域におけるリモートユーザとの連続的相互作用を可能にする方式で、リモートユーザの物理的プレゼンスを体験することができる。
【００４６】
プロセッサは、共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通関心領域におけるローカルユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップと、を含むステップを行うように、さらに構成することができる。
【００４７】
プロセッサは、共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、共通関心領域におけるリモートユーザとローカルオブジェクトとの間の相互作用をレンダリングするステップと、を含むステップを行うように、さらに構成することができる。
【００４８】
ローカル関心領域を表示するために構成される仮想プレゼンスディスプレイと、ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、仮想プレゼンスディスプレイおよびローカルセンサに連結されるプロセッサとを含む、仮想プレゼンス用のシステムがさらに提供され、該プロセッサは、ローカル仮想プレゼンスデータおよびローカルオブジェクトの立体画像に基づいて、ローカルオブジェクトおよびローカルユーザの物理的プレゼンスを反映するローカル関心領域をレンダリングするステップと、ローカル関心領域におけるローカルオブジェクトと立体画像とローカルユーザとの間の相互作用をレンダリングするステップと、ローカルオブジェクトのプレゼンスおよびローカルオブジェクトの立体画像が、リアルタイムでローカルユーザにレンダリングされるように、ローカル関心領域を連続的に更新するステップと、ローカル関心領域を仮想プレゼンスディスプレイに出力するステップとを行うように構成される。
【００４９】
仮想プレゼンスディスプレイは、立体ディスプレイ、平面ディスプレイ（例えば、ＣＲＴ、ＬＣＤ等）等のうちの１つ以上であり得る。センサは、カメラ、赤外線センサ、深度走査センサ等のうちの１つ以上であり得る。
【００５０】
ローカルオブジェクトは、例えば、患者であり得、ローカルオブジェクトの立体画像は、例えば、患者の一部の医療画像であり得る。医療画像は、例えば、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つであり得る。しかしながら、ローカルオブジェクトは、任意の関心のオブジェクトであり得、ローカルオブジェクトの画像は、該オブジェクトの任意の正確なレンダリングであり得る。例えば、自動車エンジンおよびエンジンの三次元グラフィック等であり得る。
【００５１】
プロセッサは、ローカルユーザによって、立体画像をローカルオブジェクト上に重ねるステップを含む、ステップを行うように、さらに構成することができる。プロセッサは、ローカルユーザによって、立体画像の特性を調整するステップを含む、ステップを行うように、さらに構成することができる。該特性は、透明性、空間的位置、およびスケールのうちの１つ以上であり得る。
【００５２】
プロセッサは、ローカル関心領域におけるローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成され得る。プロセッサは、レンダリングされたローカルオブジェクトに対する正確な空間的関係でローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成することができる。
【００５３】
開示された方法およびシステムは、広範な適用を有し得る。例えば、手術、ゲーム、機械学、軍需、戦場プレゼンス、教育的試み（トレーニング）、および／または相互作用がシナリオの一部である任意の他のシチュエーションである。
【００５４】
リモートエキスパートを事実上ローカル手術領域内に存在させることができる方法およびシステムも開示される。仮想インタラクティブプレゼンスを使用して、互いに離れた２人の外科医がインタラクティブに手術工程を行うことを可能にすることができる。該方法およびシステムは、同一の現実の手術領域内に２人以上のオペレータを事実上存在させることができ、したがって、リモートアシスタンスを支援し、手術エキスパートをエキスポートすることができる。
【００５５】
該方法およびシステムを使用して、ガイダンスおよび配向（拡張現実）用に術中生体構造の画像データを生体構造自体に重ねることもできる。該方法およびシステムは、学生のトレーニングに使用することができる。該方法およびシステムは、事実上エキスパートをロボット工学領域に招き入れ、ロボットオペレータをガイドすることによって、ロボット工学領域を拡張および強化する。該方法およびシステムは、エキスパートの手を直接ガイダンス用の内視鏡下領域に挿入することによって、内視鏡下工程にも適用可能である。該方法およびシステムは、その基礎的技能が緊急事態に対処でき、仮想相互作用から習得するであろう実際のローカル外科医にリモートエキスパートの援助を提供することによって、リモート手術を拡大する。該方法およびシステムは、外傷部位および他の医療環境において使用することができる。該方法およびシステムを使用して、エンジニアリング、建設、建築等の他の分野においてリモートアシスタンスを提供することができる。開示された該方法およびシステムを使用して、専門知識をリモートの「必要とするサイト」に伝送し、いま生じている画像を直接手術領域にマージし、外科学生を訓練することができる。
【００５６】
リモート外科医をガイド／アシストする目的で、ローカルエキスパートの外科的手技をリモート外科医に伝送するための例示的リモート手術支援システムについて図１２で説明する。リモート外科医は、双眼ビデオシステム用いてリモート手術領域を見ることができる。ビデオシステムは、手および工程を行う器具を用いて領域を表示することができる。ビューイングシステムは、手術ビデオスコープとも称され得る。
【００５７】
リモート領域の双眼ビデオレンダリングは、第２の手術ビデオスコープシステムを通して、工程の（ここでは仮想の）立体レンダリングを見ることができるローカルエキスパートに伝送されることができる。ローカルエキスパートは、手を仮想領域に挿入することができ、したがって、仮想領域内の自身の実際の手を見ることができる。
【００５８】
ローカルエキスパートの手のビデオ画像は、実際の領域に重ねられるリモート外科医の手術ビデオスコープシステムに返送することができる。リモート外科医は、次いで、空間的／解剖学的に関連する内容において、自身の手術領域内でエキスパートの仮想の手を見ることができる。このシステムを用いて、ローカルエキスパートは、自身の手を使用して、リモート外科医に該手術を行う方法を示すことができる。
【００５９】
該システムの例示的要素は、リモートステーションを含み得、リモート外科医は、手術工程、例えば、載置された顕微鏡に類似し得る固定立体ビデオスコープから成る、リモート手術ビデオスコープシステムを実行することができる。リモート外科医は、この機器を使用して、手術領域を見ることができる。任意の他の種類の好適なＶＩＰディスプレイを使用することができる。システムは、ローカルステーションにおいて、双眼ビデオ画像を類似の手術ビデオスコープに投影することができる。ローカル手術ビデオスコープは、リモート工程の双眼ビデオ画像を受信することができ、ローカルエキスパートがそれを見ることができるようにする。ローカルビデオスコープは、ローカルビデオスコープを通して見られるように、仮想リモート領域内で、ローカル外科医の手が動く様子を見ることができる。ローカルビデオスコープは、次いで、ローカルエキスパートの手をリモートビデオスコープに返送し、リモート外科医が現実領域内でエキスパートの仮想の手を見ることができるようにする。
【００６０】
このシステムを用いて、ローカルエキスパートは、手術を成功裏に完了させる適切な手技をリモート外科医に示すことができる。リモート外科医は、新しい工程を実行するための一連の基礎的技術を有し得る。したがって、ローカルエキスパートは、リモート外科医に対して、一連の技術を適用するための新しい方法を簡単に実演することができる。このシステムは、リモート外科医に取って代わる必要はないが、リモート外科医の能力を強化するために使用することができる。リモート外科医は、任意の緊急事態に迅速に対処するため待機することができる。リモート外科医は、自身の手を使用してタスクを行うことができるため、時間の遅延が最小になり、ローカルエキスパートがリモートロボット機器を操作する必要がなくなる。
【００６１】
いま生じている医療画像を手術領域上にマージするための方法およびシステムも開示する。手術領域の立体画像、例えば、頭部の立体ＭＲＩを手術工程に先立って取得することができる。画像データは、生体構造の三次元レンダリングに再構成することができる。このレンダリングは、手術領域を見るために使用される手術ビデオスコープに伝送することができる。ビデオスコープを通して、外科医は、手術領域上に重ねられた不透明な方式で、この三次元レンダリングを見ることができる。この場合、外科医は、実際の頭部上に重ねられるレンダリングされた頭部を見ることになる。手術ビデオスコープインターフェースにおいてソフトウェアツールを使用して、外科医は、実際の頭部に「適合」するまでレンダリングされた画像を回転および拡大縮小することができる。ビデオスコープシステムによって、外科医は、レンダリングされた頭部と実際の頭部とを弁別可能にフェードさせて、外科医が実際の頭部を「のぞき込み」、手術を計画することが可能になる。
【００６２】
システムの例示的要素は、外科医が手術領域を見る手術ビデオスコープビューイングシステムを含み得る。十分な解像度の立体取得ＭＲＩ／ＣＴ（または他の）画像再構成用のコンピュータは、その画像を実際の手術生体構造と一致させることができる。立体レンダリングされた画像は、外科医がそれを立体的に見ることができるように、ビデオスコープシステムを通して表示することができる。ソフトウェアインターフェースは、外科医が、レンダリングされた生体構造が、実際の生体構造上に重ねられ得るように、レンダリングされた生体構造および実際の生体構造の透明性を変えることができるようにする。外科医は、レンダリングされた生体構造を「切り開いて」、画像の任意／すべての内部詳細を実際の生体構造に関連するものとして見ることができる。手術ツールは、挙動を追跡され画像に適用されることができるように、レンダリングされた生体構造に空間的に位置合わせされることができる。
【００６３】
図１３に示されるように、かかるタスクの実施例は、小さいオブジェクトを一瓶の暗いゼラチン内に配置して、外科医に見えないようにすることである。該タスクは、外科医が長い鉗子を使用して、ゼラチン内に到達し、オブジェクトに触れるまたは把持するためのものである。手術ビデオスコープシステムは、ゼラチン瓶の立体走査を取得して、瓶を三次元でレンダリングし、ビデオスコープを通して双眼鏡レンダリングを表示することができる。外科医は、スコープシステムを通してレンダリングおよび実際の瓶を見ることができ、レンダリングされた瓶を実際の瓶上に適合させることができる。透明度を弁別可能に調整することによって、外科医は、鉗子を用いて、実際の瓶内に到達し、選択されたオブジェクトを把持する一方で、他の指定オブジェクトを避けることができる。
【００６４】
把持器具は、手術領域の立体レンダリング上に空間的に位置合わせされることができ、それによって、ツールのグラフィックを適切な解剖学的配向で、手術領域のレンダリング上に表示することができる。これは、高度のガイダンスを提供することができる。これは、画像レンダリングシステムと通信するデジタイザーを用いて、実際のオブジェクト（瓶）上の指定ランドマークに触れることによって、したがって、オブジェクト／プローブ関係を画定することによって、実装することができる。オブジェクト（瓶）は、重ねによって瓶の画像に位置合わせされるため、プローブのグラフィックは、瓶の画像に関連して表示され、仮想手術を可能にし得る。
【００６５】
本システムを使用できる多くの状況がある。例えば、リモート手術、医療トレーニング、および遠隔医療は、第三世界諸国または軍事状況において使用することができる。患者から遠隔位置にある外科医は、患者の近くにいる他の外科医を援助することができ、患者の近くにいる衛生兵を援助することができ、ロボット手術システムに連結されると、外科的手術を行うことができる。他の実施例は、拡張または増強された手術から仮想環境を使用する通常の手術を含み、その実施例は、内視鏡下手術である。手術工程は、シミュレートすることもできる。互いに離れた位置にいる外科医は、実際の患者に対して手術を実行する前に工程を計画し、実践することができる。
【００６６】
他の適用は、術前の患者の調整、医学療法、予防医療、暴露療法、恐怖症の軽減、障害のある人々のトレーニング、およびスキル増強等を含む。
【００６７】
次いで、ビューアは、左目の画像は左目に送り、右目の画像は右目に送るパッシブ立体偏光眼鏡（サングラスと類似）を通して投影を見る。適切にオフセットされた画像がソフトウェアによって適切にレンダリングされると、これは立体視を幻覚させる。該システムは、システムに対する機能損傷のない他の種類の立体ディスプレイと置き換えることができる。立体ディスプレイは、偏光レンズに適合した少なくとも２つのディスプレイプロジェクタ、拡散時に光の偏光を維持する背面投影スクリーン材料、それぞれの目が特定の偏光の光のみを見るように制限する特別な眼鏡、およびビューアを含み得る。ビューされる画像は、２つのわずかに異なるビュー変換でレンダリングされ得、理想的なビューアの２つの目の異なる位置を反映する。１つのプロジェクタは、左目の位置にレンダリングされた画像を表示し、他のプロジェクタは、右目の位置にレンダリングされた画像を表示する。眼鏡は、左目が左目用にレンダリングされた画像のみを見て、右目が右目用にレンダリングされた画像のみを見るように光を制限する。適度な立体画像で提示されると、ビューアは深度を認識する。
【００６８】
図１４は、開示される方法を行うための例示的オペレーティング環境を説明するブロック図である。この例示的オペレーティング環境は、オペレーティング環境の単なる実施例であり、使用の範囲またはオペレーティング環境アーキテクチャの機能に関して何ら制限を示唆することを意図しない。オペレーティング環境は、例示的オペレーティング環境において説明されるいずれか１つまたは組み合わせに関連する任意の依存性または要件を有するものとして解釈されてはならない。
【００６９】
該方法は、多数の他の一般的な目的または特別な目的のコンピュータシステム環境または構成で動作し得る。該システムおよび方法との使用に好適であり得る、よく知られたコンピュータシステム、環境、および／または構成の実施例は、パーソナルコンピュータ、サーバコンピュータ、ラップトップデバイス、およびマルチプロセッサシステムを含むが、それらに限定されない。付加的な実施例は、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスのうちのいずれかを含む分散コンピューティング環境等を含む。
【００７０】
該方法は、コンピュータによって実行されているプログラムモジュール等の一般的な内容のコンピュータ命令において記載され得る。概して、プログラムモジュールは、特定のタスクを行うか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。該システムおよび方法は、分散コンピューティング環境においても実施することができ、タスクは、コミュニケーションネットワークによりリンクされるリモート処理デバイスによって行われる。分散コンピューティング環境において、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよびリモートコンピュータ記憶媒体の両方に位置付けられ得る。
【００７１】
本明細書で開示される方法は、コンピュータ１４０１の形態で、１つ以上の汎用コンピューティングデバイスを経由して実装され得る。コンピュータ１４０１の構成要素は、１つ以上のプロセッサまたは処理装置１４０３、システムメモリ１４１２、およびプロセッサ１４０３を含む種々のシステム構成要素をシステムメモリ１４１２に連結するシステムバス１４１３を含み得るが、それらに限定されない。
【００７２】
システムバス１４１３は、いくつかの可能な種類のバス構造のうちの１つ以上を表し、メモリバスまたはメモリコントローラ、周辺バス、加速グラフィックポート、およびプロセッサまたは種々のバスアーキテクチャのうちのいずれかを使用するローカルバスを含む。一例として、かかるアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクス標準アソシエーション（ＶＥＳＡ）ローカルバス、およびメザニンバスとしても知られる周辺構成要素相互接続（ＰＣＩ）バスを含み得る。このバスおよび本説明において特定されるすべてのバスは、有線または無線ネットワーク接続上で実装することもできる。バス１４１３、および本説明において特定されるすべてのバスは、有線または無線ネットワーク接続で実行することもでき、プロセッサ１４０３、大容量記憶デバイス１４０４、オペレーティングシステム１４０５、アプリケーションソフトウェア１４０６、データ１４０７、ネットワークアダプタ１４０８、システムメモリ１４１２、入力／出力インターフェース１４１０、ディスプレイアダプタ１４０９、ディスプレイデバイス１４１１、およびヒューマンマシンインターフェース１４０２を含むサブシステムのそれぞれは、物理的に個別の位置において、１つ以上のリモートコンピューティングデバイス１４１４ａ、ｂ、ｃ内に含まれ得、完全に分散されたシステムを有効に実装する際に、この形態のバスにより接続される。
【００７３】
コンピュータ１４０１は、典型的には、種々のコンピュータ可読媒体を含む。かかる媒体は、コンピュータ１４０１によってアクセスできる、任意の使用可能な媒体であり得、揮発性および不揮発性媒体、可撤性および非可撤性媒体の両方を含む。システムメモリ１４１２は、ランダムアクセスメモリ（ＲＡＭ）等の揮発性メモリ、および／または読取専用メモリ（ＲＯＭ）等の不揮発性メモリの形態で、コンピュータ可読媒体を含む。システムメモリ１４１２は、典型的には、データ１４０７等のデータ、および／またはオペレーティングシステム１４０５等のプログラムモジュール、および即時にアクセス可能および／または処理ユニット１４０３によって現在動作しているアプリケーションソフトウェア１４０６を含む。
【００７４】
コンピュータ１４０１は、他の可撤性／非可撤性、揮発性／不揮発性コンピュータ記憶媒体も含み得る。一例として、図１４は、コンピュータコード、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶をコンピュータ１４０１に提供できる大容量記憶デバイス１４０４を例示する。例えば、大容量記憶デバイス１４０４は、ハードディスク、可撤性磁気ディスク、可撤性光学ディスク、磁気カセット、または他の磁気記憶デバイス、フラッシュメモリカード、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能読取専用メモリ（ＥＥＰＲＯＭ）等であり得る。
【００７５】
任意の数のプログラムモジュールは、大容量記憶デバイス１４０４に記憶することができ、一例として、オペレーティングシステム１４０５およびアプリケーションソフトウェア１４０６を含む。オペレーティングシステム１４０５およびアプリケーションソフトウェア１４０６（またはそのいくつかの組み合わせ）はそれぞれ、プログラミングおよびアプリケーションソフトウェア１４０６の要素を含み得る。データ１４０７は、大容量記憶デバイス１４０４上に記憶することもできる。データ１４０７は、当該技術分野において知られる１つ以上のデータベースのうちのいずれかに記憶することができる。かかるデータベースの実施例は、ＤＢ２（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ａｃｃｅｓｓ、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒ、Ｏｒａｃｌｅ（登録商標）、ｍｙＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ等を含む。データベースは、集中化され得るか、複数のシステムに渡って分散され得る。
【００７６】
ユーザは、入力デバイス（図示せず）を経由して、コマンドおよび情報をコンピュータ１４０１に入力することができる。かかる入力デバイスの実施例は、キーボード、ポインティングデバイス（例えば、「マウス」）、マイクロフォン、ジョイスティック、シリアルポート、スキャナ、グローブ等の触覚入力デバイス、および他の身体着等を含むが、それらに限定されない。これらのおよび他の入力デバイスは、システムバス１４１３に連結されるヒューマンマシンインターフェース１４０２を経由して、処理装置１４０３に接続することができるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）等の他のインターフェースおよびバス構造によって接続され得る。
【００７７】
ディスプレイデバイス１４１１は、インターフェース、例えば、ディスプレイアダプタ１４０９等を経由して、システムバス１４１３に接続することもできる。コンピュータ１４０１は、２つ以上のディスプレイアダプタ１４０９を有し得、コンピュータ１４０１は、２つ以上のディスプレイデバイス１４１１を有し得る。例えば、ディスプレイデバイスは、モニタ、ＬＣＤ（液晶ディスプレイ）、またはプロジェクタであり得る。ディスプレイデバイス１４１１に加え、他の出力周辺デバイスは、入力／出力インターフェース１４１０を経由してコンピュータ１４０１に接続され得る、スピーカ（図示せず）およびプリンタ（図示せず）等の構成要素を含み得る。
【００７８】
コンピュータ１４０１は、１つ以上のリモートコンピューティングデバイス１４１４ａ、ｂ、ｃに対する論理結合を使用してネットワーク環境において動作することができる。一例として、リモートコンピューティングデバイスは、パーソナルコンピュータ、携帯型コンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、または他の共通ネットワークノード等であり得る。コンピュータ１４０１とリモートコンピューティングデバイス１４１４ａ、ｂ、ｃとの間の論理結合は、ローカルエリアネットワーク（ＬＡＮ）および一般的な広域ネットワーク（ＷＡＮ）を経由して形成され得る。かかるネットワーク接続は、ネットワークアダプタ１４０８を通り得る。ネットワークアダプタ１４０８は、有線および無線環境の両方で実装することができる。かかるネットワーク環境はオフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネット１４１５において一般的である。
【００７９】
１つ以上のＶＩＰディスプレイ１４１６ａ、ｂ、ｃ、ｄ、ｅは、コンピュータ１４０１と通信することができる。一側面において、ＶＩＰディスプレイ１４１６ｅは、入力／出力インターフェース１４１０によりコンピュータ１４０１と通信することができる。この通信は、有線または無線であり得る。リモートＶＩＰディスプレイ１４１６ａ、ｂ、ｃは、最初にそれぞれのリモートコンピューティングデバイス１４１４ａ、ｂ、ｃと通信することによってコンピュータ１４０１と通信することができ、リモートコンピューティングデバイス１４１４ａ、ｂ、ｃは、次いで、インターネット１４１５等のネットワークを経由して、ネットワークアダプタ１４０８によりコンピュータ１４０１と通信する。リモートＶＩＰディスプレイ１４１６ｄは、リモートコンピューティングデバイスを必要とせずに、コンピュータ１４０１と通信することができる。リモートＶＩＰディスプレイ１４１６ｄは、インターネット１４１５等のネットワークを経由して通信することができる。ＶＩＰディスプレイ１４１６ａ、ｂ、ｃ、ｄ、ｅは、無線または有線接続により通信することができる。ＶＩＰディスプレイ１４１６ａ、ｂ、ｃ、ｄ、ｅは、ＶＩＰディスプレイネットワークの一部として、個々にまたは集合的に通信することができる。
【００８０】
説明の目的で、アプリケーションプログラムおよび他の実行可能なプログラム構成要素、例えば、オペレーティングシステム１４０５は、本明細書において個別のブロックとして説明されるが、かかるプログラムおよび構成要素は、種々の時間に、コンピューティングデバイス１４０１の異なる記憶構成要素に存在し、コンピュータのデータプロセッサによって実行されることが認識される。アプリケーションソフトウェア１４０６の実装は、いくつかの形態のコンピュータ可読媒体で記憶またはそれらを跨って伝送され得る。コンピュータ可読媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体であり得る。一例として、制限なく、コンピュータ可読媒体は、「コンピュータ記憶媒体」および「通信媒体」を含み得る。「コンピュータ記憶媒体」は、情報記憶用の任意の方法または技術で実装される、揮発性、不揮発性、可撤性、および非可撤性媒体、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学式記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイス、または所望の情報を記憶するために使用でき、コンピュータによりアクセスできる任意の他の媒体を含むが、それらに限定されない。
【００８１】
別段の明確な記述がない限り、本明細書に記載される任意の方法は、そのステップを特定の順序で行う必要があると解釈されることは全く意図しない。したがって、方法の請求項は、実際にそのステップによって従うべき順序を列挙しないか、またはそうでなければ、具体的には、発明概念または説明において、該ステップが特定の順序に限定されるものであると記述されず、任意の観点において、順序が推測されることを全く意図しない。これは、任意の可能な非明示的解釈の基礎を保持し、ステップの配列または動作の流れに関する論理の問題、文法構成または句読法に由来する平易な意味、本明細書に記載の実施形態の数または種類を含む。
【００８２】
範囲または精神から逸脱することなく、本方法およびシステムにおいて、種々の修正および変形を行うことができることは、当業者に明らかとなるであろう。他の実施形態は、明細書および本明細書で開示される実践を考慮することにより当業者に明らかとなるであろう。明細書および実施例は、単なる例示として考慮され、真の範囲および精神は、以下の請求項によって示されている。
【特許請求の範囲】
【請求項１】
仮想インタラクティブプレゼンス用の方法であって、
リモートユーザおよびローカルユーザの連続的なマージされたリアルタイムの物理的プレゼンスを反映する二次元の共通関心領域をレンダリングするステップと、
実質的にあたかも、前記リモートユーザと前記ローカルユーザとが、物理的に近接し、かつ、リアルタイムで物理的に相互作用しているように、前記共通関心領域における前記リモートユーザの前記物理的プレゼンスと前記ローカルユーザの前記物理的プレゼンスとの間の相互作用をレンダリングするステップと、
前記リモートユーザの前記物理的プレゼンスがリアルタイムで前記ローカルユーザにレンダリングされ、前記ローカルユーザの前記物理的プレゼンスがリアルタイムで前記リモートユーザにレンダリングされるように、前記共通関心領域を連続的に更新するステップであって、前記更新された共通関心領域は、前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を反映する、ステップと、
前記ローカルユーザが第１のディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第１のディスプレイに出力するステップと、
前記リモートユーザが第２のディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第２のディスプレイに出力するステップと
を含み、前記第１のディスプレイの仕様は前記第２のディスプレイの仕様と異なり得る、方法。
【請求項２】
前記共通関心領域は、前記リモートユーザが、前記ローカルユーザと同様に前記共通関心領域を体験するようにレンダリングされる、請求項１に記載の方法。
【請求項３】
前記ローカルユーザは、前記共通関心領域において前記リモートユーザとの連続的相互作用を可能にする方式で、前記リモートユーザの物理的プレゼンスを体験する、請求項１または２に記載の方法。
【請求項４】
前記共通領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通領域における前記ローカルユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、請求項１、２、または３に記載の方法。
【請求項５】
前記共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通関心領域における前記リモートユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、請求項１または４に記載の方法。
【請求項６】
仮想インタラィテクブプレゼンス用のシステムであって、
共通関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
ローカル位置データを取得するために構成されるローカルトラッカと、
ローカル仮想プレゼンスデータを伝送し、リモート仮想プレゼンスデータを受信するために構成されるネットワークインターフェースと、
前記仮想プレゼンスディスプレイ、前記ローカルセンサ、および前記ネットワークインターフェースに連結されるプロセッサであって、前記プロセッサは、
前記ローカル位置データ、前記ローカル仮想プレゼンスデータおよび前記リモート仮想プレゼンスデータに基づいて、リモートユーザおよびローカルユーザの連続的なマージされたリアルタイムの物理的プレゼンスを反映する二次元の共通関心領域をレンダリングするステップと、
実質的にあたかも、前記リモートユーザと前記ローカルユーザとが、物理的に近接し、かつ、リアルタイムで物理的に相互作用しているように、前記共通関心領域における前記リモートユーザの前記物理的プレゼンスと前記ローカルユーザの前記物理的プレゼンスとの間の相互作用をレンダリングするステップと、
前記リモートユーザの前記物理的プレゼンスがリアルタイムで前記ローカルユーザにレンダリングされ、前記ローカルユーザの前記物理的プレゼンスがリアルタイムで前記リモートユーザにレンダリングされるように、前記共通関心領域を連続的に更新するステップであって、前記更新された共通関心領域は、前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を反映する、ステップと、
前記ローカルユーザが第１の平面ディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第１の平面ディスプレイに出力するステップと、
前記リモートユーザが第２の平面ディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第２の平面ディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備え、前記第１の平面ディスプレイの仕様は前記第２の平面ディスプレイの仕様と異なり得る、システム。
【請求項７】
立体ディスプレイのビューアが前記立体ディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記立体ディスプレイに出力するステップをさらに含む、請求項６に記載のシステム。
【請求項８】
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、請求項６に記載のシステム。
【請求項９】
前記共通関心領域は、前記リモートユーザが前記ローカルユーザと同様に前記共通関心領域を体験するようにレンダリングされる、請求項６に記載のシステム。
【請求項１０】
前記ローカルユーザは、前記共通関心領域において、前記リモートユーザとの連続的相互作用を可能にする方式で、前記リモートユーザの物理的プレゼンスを体験する、請求項６または９に記載のシステム。
【請求項１１】
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通関心領域における前記ローカルユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
請求項６、９、または１０に記載のシステム。
【請求項１２】
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通関心領域における前記リモートユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
請求項６または１１に記載のシステム。
【請求項１３】
仮想インタラクティブプレゼンス用のシステムであって、
ローカル関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
ローカル位置データを取得するために構成されるローカルトラッカと、
前記仮想プレゼンスディスプレイおよび前記ローカルセンサに連結されるプロセッサであって、前記プロセッサは、
前記ローカル位置データ、前記ローカル仮想プレゼンスデータおよびローカルオブジェクトの立体画像に基づいて、前記ローカルオブジェクトおよびローカルユーザの連続的なマージされたリアルタイムの物理的プレゼンスを反映する二次元のローカル関心領域をレンダリングするステップと、
実質的にあたかも、前記ローカルオブジェクトと前記立体画像と前記ローカルユーザとが、物理的に近接し、かつ、リアルタイムで物理的に相互作用しているように、前記ローカル関心領域における、前記ローカルオブジェクトと、前記立体画像と、前記ローカルユーザとの間の相互作用をレンダリングするステップと、
前記ローカルオブジェクトのプレゼンスおよび前記ローカルオブジェクトの前記立体画像がリアルタイムで前記ローカルユーザにレンダリングされるように、前記ローカル関心領域を連続的に更新するステップと、
前記ローカル関心領域を前記仮想プレゼンスディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備える、システム。
【請求項１４】
前記仮想プレゼンスディスプレイは、立体ディスプレイおよび平面ディスプレイのうちの１つ以上である、請求項１３に記載のシステム。
【請求項１５】
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、請求項１３に記載のシステム。
【請求項１６】
前記ローカルオブジェクトは、患者であり、前記ローカルオブジェクトの前記立体画像は、前記患者の一部の医療画像である、請求項１３に記載のシステム。
【請求項１７】
前記医療画像は、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つである、請求項１６に記載のシステム。
【請求項１８】
前記プロセッサは、前記ローカルユーザによって、前記立体画像を前記ローカルオブジェクト上に重ねるステップを含む、ステップを行うようにさらに構成される、請求項１３に記載のシステム。
【請求項１９】
前記プロセッサは、前記ローカルユーザによって、前記立体画像の特性を調整するステップを含む、ステップを行うようにさらに構成される、請求項１３に記載のシステム。
【請求項２０】
前記特性は、透明性、空間的位置、およびスケールのうちの１つ以上である、請求項１９に記載のシステム。
【請求項２１】
前記プロセッサは、前記ローカル関心領域においてローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、請求項１３に記載のシステム。
【請求項２２】
前記プロセッサは、前記レンダリングされたローカルオブジェクトに対する正確な空間的関係で前記ローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、請求項２１に記載のシステム。
【請求項１】
仮想インタラクティブプレゼンス用の方法であって、
リモートユーザおよびローカルユーザの連続的なマージされたリアルタイムの物理的プレゼンスを反映する二次元の共通関心領域をレンダリングするステップと、
実質的にあたかも、前記リモートユーザと前記ローカルユーザとが、物理的に近接し、かつ、リアルタイムで物理的に相互作用しているように、前記共通関心領域における前記リモートユーザの前記物理的プレゼンスと前記ローカルユーザの前記物理的プレゼンスとの間の相互作用をレンダリングするステップと、
前記リモートユーザの前記物理的プレゼンスがリアルタイムで前記ローカルユーザにレンダリングされ、前記ローカルユーザの前記物理的プレゼンスがリアルタイムで前記リモートユーザにレンダリングされるように、前記共通関心領域を連続的に更新するステップであって、前記更新された共通関心領域は、前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を反映する、ステップと、
前記ローカルユーザが第１のディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第１のディスプレイに出力するステップと、
前記リモートユーザが第２のディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第２のディスプレイに出力するステップと
を含み、前記第１のディスプレイの仕様は前記第２のディスプレイの仕様と異なり得る、方法。
【請求項２】
前記共通関心領域は、前記リモートユーザが、前記ローカルユーザと同様に前記共通関心領域を体験するようにレンダリングされる、請求項１に記載の方法。
【請求項３】
前記ローカルユーザは、前記共通関心領域において前記リモートユーザとの連続的相互作用を可能にする方式で、前記リモートユーザの物理的プレゼンスを体験する、請求項１または２に記載の方法。
【請求項４】
前記共通領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通領域における前記ローカルユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、請求項１、２、または３に記載の方法。
【請求項５】
前記共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通関心領域における前記リモートユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
をさらに含む、請求項１または４に記載の方法。
【請求項６】
仮想インタラィテクブプレゼンス用のシステムであって、
共通関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
ローカル位置データを取得するために構成されるローカルトラッカと、
ローカル仮想プレゼンスデータを伝送し、リモート仮想プレゼンスデータを受信するために構成されるネットワークインターフェースと、
前記仮想プレゼンスディスプレイ、前記ローカルセンサ、および前記ネットワークインターフェースに連結されるプロセッサであって、前記プロセッサは、
前記ローカル位置データ、前記ローカル仮想プレゼンスデータおよび前記リモート仮想プレゼンスデータに基づいて、リモートユーザおよびローカルユーザの連続的なマージされたリアルタイムの物理的プレゼンスを反映する二次元の共通関心領域をレンダリングするステップと、
実質的にあたかも、前記リモートユーザと前記ローカルユーザとが、物理的に近接し、かつ、リアルタイムで物理的に相互作用しているように、前記共通関心領域における前記リモートユーザの前記物理的プレゼンスと前記ローカルユーザの前記物理的プレゼンスとの間の相互作用をレンダリングするステップと、
前記リモートユーザの前記物理的プレゼンスがリアルタイムで前記ローカルユーザにレンダリングされ、前記ローカルユーザの前記物理的プレゼンスがリアルタイムで前記リモートユーザにレンダリングされるように、前記共通関心領域を連続的に更新するステップであって、前記更新された共通関心領域は、前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を反映する、ステップと、
前記ローカルユーザが第１の平面ディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第１の平面ディスプレイに出力するステップと、
前記リモートユーザが第２の平面ディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記第２の平面ディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備え、前記第１の平面ディスプレイの仕様は前記第２の平面ディスプレイの仕様と異なり得る、システム。
【請求項７】
立体ディスプレイのビューアが前記立体ディスプレイを介して前記リモートユーザの前記物理的プレゼンスおよび前記ローカルユーザの前記物理的プレゼンスの連続的なマージされたリアルタイムの移動を認識できるように、前記共通関心領域を前記立体ディスプレイに出力するステップをさらに含む、請求項６に記載のシステム。
【請求項８】
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、請求項６に記載のシステム。
【請求項９】
前記共通関心領域は、前記リモートユーザが前記ローカルユーザと同様に前記共通関心領域を体験するようにレンダリングされる、請求項６に記載のシステム。
【請求項１０】
前記ローカルユーザは、前記共通関心領域において、前記リモートユーザとの連続的相互作用を可能にする方式で、前記リモートユーザの物理的プレゼンスを体験する、請求項６または９に記載のシステム。
【請求項１１】
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通関心領域における前記ローカルユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
請求項６、９、または１０に記載のシステム。
【請求項１２】
前記プロセッサは、
前記共通関心領域におけるローカルオブジェクトの物理的プレゼンスをレンダリングするステップと、
前記共通関心領域における前記リモートユーザと前記ローカルオブジェクトとの間の相互作用をレンダリングするステップと
を含む、ステップを行うようにさらに構成される、
請求項６または１１に記載のシステム。
【請求項１３】
仮想インタラクティブプレゼンス用のシステムであって、
ローカル関心領域を表示するために構成される仮想プレゼンスディスプレイと、
ローカル仮想プレゼンスデータを取得するために構成されるローカルセンサと、
ローカル位置データを取得するために構成されるローカルトラッカと、
前記仮想プレゼンスディスプレイおよび前記ローカルセンサに連結されるプロセッサであって、前記プロセッサは、
前記ローカル位置データ、前記ローカル仮想プレゼンスデータおよびローカルオブジェクトの立体画像に基づいて、前記ローカルオブジェクトおよびローカルユーザの連続的なマージされたリアルタイムの物理的プレゼンスを反映する二次元のローカル関心領域をレンダリングするステップと、
実質的にあたかも、前記ローカルオブジェクトと前記立体画像と前記ローカルユーザとが、物理的に近接し、かつ、リアルタイムで物理的に相互作用しているように、前記ローカル関心領域における、前記ローカルオブジェクトと、前記立体画像と、前記ローカルユーザとの間の相互作用をレンダリングするステップと、
前記ローカルオブジェクトのプレゼンスおよび前記ローカルオブジェクトの前記立体画像がリアルタイムで前記ローカルユーザにレンダリングされるように、前記ローカル関心領域を連続的に更新するステップと、
前記ローカル関心領域を前記仮想プレゼンスディスプレイに出力するステップと
を含む、ステップを行うように構成される、
プロセッサと
を備える、システム。
【請求項１４】
前記仮想プレゼンスディスプレイは、立体ディスプレイおよび平面ディスプレイのうちの１つ以上である、請求項１３に記載のシステム。
【請求項１５】
前記センサは、カメラ、赤外線センサ、および深度走査センサのうちの１つ以上である、請求項１３に記載のシステム。
【請求項１６】
前記ローカルオブジェクトは、患者であり、前記ローカルオブジェクトの前記立体画像は、前記患者の一部の医療画像である、請求項１３に記載のシステム。
【請求項１７】
前記医療画像は、ｘ線画像、ＭＲＩ画像、またはＣＴ画像のうちの１つである、請求項１６に記載のシステム。
【請求項１８】
前記プロセッサは、前記ローカルユーザによって、前記立体画像を前記ローカルオブジェクト上に重ねるステップを含む、ステップを行うようにさらに構成される、請求項１３に記載のシステム。
【請求項１９】
前記プロセッサは、前記ローカルユーザによって、前記立体画像の特性を調整するステップを含む、ステップを行うようにさらに構成される、請求項１３に記載のシステム。
【請求項２０】
前記特性は、透明性、空間的位置、およびスケールのうちの１つ以上である、請求項１９に記載のシステム。
【請求項２１】
前記プロセッサは、前記ローカル関心領域においてローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、請求項１３に記載のシステム。
【請求項２２】
前記プロセッサは、前記レンダリングされたローカルオブジェクトに対する正確な空間的関係で前記ローカルツールをレンダリングするステップを含む、ステップを行うようにさらに構成される、請求項２１に記載のシステム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図７】
【図８】
【図９】
【図２】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−８５３０５（Ｐ２０１３−８５３０５Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１３−２４２９８（Ｐ２０１３−２４２９８）
【出願日】平成２５年２月１２日（２０１３．２．１２）
【分割の表示】特願２０１０−５０８６３１（Ｐ２０１０−５０８６３１）の分割
【原出願日】平成２０年５月１９日（２００８．５．１９）
【出願人】（５０６３８７４８７）ザ ユーエービー リサーチ ファンデーション (4)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１３−２４２９８（Ｐ２０１３−２４２９８）
【出願日】平成２５年２月１２日（２０１３．２．１２）
【分割の表示】特願２０１０−５０８６３１（Ｐ２０１０−５０８６３１）の分割
【原出願日】平成２０年５月１９日（２００８．５．１９）
【出願人】（５０６３８７４８７）ザ ユーエービー リサーチ ファンデーション (4)
【Ｆターム（参考）】
[ Back to top ]