イメージの情報を与える交信方法
【課題】いつでも関連情報を使用者に与えることができ、使用者の教育水準および経験を考慮することができるようにする。
【解決手段】使用者が頭装着型ディスプレイ装置５を装着し、周囲３のイメージが使用者に与えられ、使用者の頭の位置および方向が周囲に対し確立され、算出装置が先行ステップにもとづいて周囲のどの部分が使用者の頭の前方に位置するかを確立する、イメージの情報を使用者に与える交信方法において、外側の領域に中央部分フィールドおよび／または使用者から前記算出装置へのメッセージの伝達に含まれる対象があり、イメージを注視する使用者の方向が確立され、イメージの固視点がフィールドまたは対象内にあるとき、それが鮮明化され、算出装置に使用者が情報を受けたことが伝えられ、どのように固視点がフィールドおよび／または対象内に位置するかによって動作がなされるようにする。
【解決手段】使用者が頭装着型ディスプレイ装置５を装着し、周囲３のイメージが使用者に与えられ、使用者の頭の位置および方向が周囲に対し確立され、算出装置が先行ステップにもとづいて周囲のどの部分が使用者の頭の前方に位置するかを確立する、イメージの情報を使用者に与える交信方法において、外側の領域に中央部分フィールドおよび／または使用者から前記算出装置へのメッセージの伝達に含まれる対象があり、イメージを注視する使用者の方向が確立され、イメージの固視点がフィールドまたは対象内にあるとき、それが鮮明化され、算出装置に使用者が情報を受けたことが伝えられ、どのように固視点がフィールドおよび／または対象内に位置するかによって動作がなされるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、イメージの情報を与える交信方法に関するものであり、特に使用者が現実および仮想情報を複合するシステムと交信することができるようにする方法に関するものである。
【背景技術】
【０００２】
未来社会では、技術的システムがますます複雑化され、複雑な構造のものと関連付けられるであろう。同時に、多数のスペシャリストが採用されている現在よりも多くの技術的メンテナンスのスタッフが要求される。メンテナンスのスタッフには使用が容易である技術的サポートシステムが必要であろう。
【０００３】
このようなシステムは現実および仮想視覚情報が複合される技術および方法からなる複合現実感（ＭＲ）にもとづくと考えられる。対象に近づくことにより、ＭＲシステムの使用者は自分のニーズにもとづいて視界にある対象の関連情報をもつことができる。情報はシステムまたは個別の要素に関するものであってもよい。それは性能動作、たとえばどのようにして要素を分解するか、または取り付けに使用される締め付けモーメントを含むものであってもよい。使用者はＭＲシステムを介して故障点評定をなすことができ、与えられる是正措置をもつことができる。
【０００４】
技術開発は個人が感覚で実際に経験する情報にある程度対応する仮想情報を記録することを可能にした。これは現実を２つの部分、現実世界と仮想世界に分割することができるということを意味する。２つの世界が技術的装置によって複合され、技術的装置の使用者は２つの世界を１つのそれとして感知することができる。
【０００５】
したがって、ＭＲでは、仮想および現実世界を複合することができる。第１ステップでは、２つの世界から視覚イメージ情報だけを複合することから始めることができ、次のステップにおいて、２つの世界から聴覚情報を含ませることができる。この発明の理解を容易にするため、以下の説明は主として視覚イメージ情報に制限したものである。
【０００６】
種々の分野、たとえば薬学、製造産業、アドベンチャ産業および軍事関係において、ＭＲをトレーニング、修理、メンテナンスおよび製造などの種々のものに使用することができる。
【発明の開示】
【０００７】
この発明は特許請求の範囲の独立項に記載されている方法で情報を得ることによっていつでも関連情報を使用者に与え、使用者の教育水準および経験を考慮する問題を解決するものである。他の項にこの発明の好ましい実施例が記載されている。
【発明を実施するための最良の形態】
【０００８】
以下、この発明を図面にもとづいて詳細に説明する。
【０００９】
発明の理解を容易にするため、使用者が技術的装置を装着し、視覚仮想および現実世界を複合し、使用者に与えることができる、「ライブマニュアル」と呼ばれている実施例にもとづいて説明する。使用者の仕事は視覚教示にもとづいてエンジンブロックを分解することである。プロセスの技術的ステップは次のとおりである。
【００１０】
直接および間接視
【００１１】
現実視覚情報は現実世界から生じる情報である。モニタリングを直接なすことができ、図１に示すように、周囲３からの視放線が使用者の目１に直接、または透過または部分的透過光学装置２、たとえば一対のゴーグルを介して達する。図２に示すように、モニタリングを間接的に、たとえばカメラ４およびディスプレイ装置５を介してなすこともできる。カメラは周囲からの視放線をモニタし、その視放線を電気信号に変換し、これがディスプレイ装置に伝達され、信号が周囲を表すイメージに変換される。カメラ４およびディスプレイ装置５は使用者の頭および目に接近して配置することができる。この場合、カメラは使用者の頭の動きに追随し、頭制御式間接視が生じる。
【００１２】
ここにいうカメラは視放線にだけ高感度である必要はなく、他の範囲、たとえば近ＩＲ範囲、熱ＩＲ範囲またはＵＶ範囲にも高感度であってもよい。カメラはマルチスペクトルバンドによって周囲を検出することもできる。カメラが人間の目の受像面の内側および外側の両方で放射に高感度であるようにすることにより、間接視によって直接視よりも総合的に使用者に周囲を感知させることができる。
【００１３】
カメラが周囲をモニタし、それが見るものを電気信号に変換するため、この電気信号をコンピュータに伝達し、電気信号によって表されるイメージを、たとえばノイズ減少、コントラスト増幅または影または光の領域の小さい局所信号変化の増幅によって改良、変化または変換することができる。
【００１４】
仮想視覚情報の生成
仮想視覚情報はコンピュータまたは他のイメージ生成装置によって生じる情報である。仮想視覚情報はディスプレイ装置５を介して使用者に与えられる。仮想視覚情報をたとえばデータベースから生じさせ、またはコンピュータによって算出することができる。ここにいう仮想視覚情報は二次元イメージ（イメージおよび／またはテキスト情報）、二次元対象（例えば矢印）、三次元テキスト、三次元モデル（対象）、ビデオシーケンス、粒子系（フリッカスモーク／ファイア）および動画シミュレーションシーケンスである。
【００１５】
仮想および現実視覚イメージ情報の複合
主として２つの異なる技術、光学シースルーおよびビデオシースルーを使用し、前述した仮想視覚情報を現実視覚情報と複合することができる。
【００１６】
第１技術、光学シースルーでは、図１に示すように、使用者が現実視覚世界を透過または部分的透過光学装置２を介して見て、それに仮想視覚情報が反射される。仮想イメージ情報を表す視放線はラインナップ装置８からのラインナップデータにもとづいてコンピュータ７によって生じる。仮想情報はディスプレイ装置５を介して与えられ、ビームスプリッタ６を介して使用者の目に反射する。
【００１７】
第２技術、ビデオシースルーでは、図２に示すように、使用者が現実視覚世界をカメラ４およびディスプレイ装置５を介して見る。使用者にディスプレイ装置を介して与えられる前、カメラからのイメージがコンピュータ７または他のイメージ算出ユニットに送られる。コンピュータはラインナップ装置８からのラインナップデータにもとづいて先行サンプルと同様の方法で生じる仮想視覚情報を電子的にまたはコンピュータライズされた方法で複合することができる。この複合を異なる程度でなすことができ、仮想視覚情報がわずかに現実のものに重ね合わされ、仮想視覚情報が関連現実視覚情報と入れ代わる。
【００１８】
ラインナッププロセス
仮想および現実視覚情報の複合を正確になすため、いくつかの種類のラインナッププロセスを使用せねばならない。仮想視覚情報はほとんどの場合現実世界のシーンの位置に関連し、たとえば使用者の目で見たとき、実際の電線を壁に正確に重ねあわせることはできないため、どのようにして電線を壁に配置するかを表す仮想視覚情報は現実の壁の位置に関連する。
【００１９】
光学シースルーのラインナップ
光学シースルーの頭装着型装置を装着した使用者の場合、コンピュータは使用者が頭をどの方向にまわすかをある程度認識し、どの仮想視覚情報が与えられるか、およびどのように、ディスプレイ装置のイメージのどこにこれが生じるかを算出することができるようにせねばならない。前進した形式では、目が複合視覚情報を記録する人間のイメージデテクタであるため、装置の位置に対する目の位置も使用される。使用者の頭の装置の小さい変位によって現実および仮想視覚情報が望ましくない状態で変位することもある。
【００２０】
現実世界のシーンに対する使用者の位置および方向をラインナップする多くの方法がある。種々の技術が開発されており、どの物理的原理が使用されるかによってラインナップ装置、追跡装置を分類することができる（音響的、磁気的、慣性の法則、光学的および機械的）。異なる原理にもとづく２つの追跡装置を組み合わせ、ハイブリッド追跡装置を得ることもできる。
【００２１】
図３に示すように、位置、ｘ、ｙ、ｚおよび方向すなわち頭の回転、縦振りおよび横振り角度を検出することによって周囲に対する使用者の関係をラインナップすることもできる。回転はｈで示され、縦振りはｐで示され、横振りはｒで示されている。すべての方向の位置および方向がラインナップされると、６つの自由度のラインナップがなされる。いくつかの場合において、たとえば、使用者が椅子に深くまたは浅く座ったとき、回転、縦振りおよび横振りだけ、すなわち３つの自由度だけを測定すれば十分である。
【００２２】
カメラが頭装着型装置と一体化され、カメラの方向が装置の光学的方向に整合しているとき、コンピュータによってカメラのイメージを読み取ることができ、コンピュータはソフトウエアによってイメージのパターンおよびローカル特性を検出し、この方法でそれ自体を周囲に順応させることができる。
【００２３】
ビデオシースルーのラインナップ
ビデオシースルーの頭装着型装置を装着した使用者の場合、光学シースルーと同様の方法でコンピュータによってカメラのイメージの情報を使用することができる。したがって、コンピュータはカメラからのイメージのローカル特性またはパターンを検出し、この情報にもとづいてそれ自体を順応させることができる。たとえば、ローカル特性はテーブルまたはナットのコーナーである。しかしながら、ローカル特性が視界の異なる角度から異なる発光シチュエーションで見えるため、コンピュータによってカメラからのイメージのこのようなローカル特性を見出すことは困難である。
【００２４】
したがって、コンピュータがカメラからのイメージのパターンを見出すことができるようにするよう特別に構成されたパターンによってコンピュータをイメージに順応させることが適当である。このような特別に構成されたパターンをマーカーと呼ぶが、マーカーのパターンがユニークであり、マーカーの位置および方向、すなわちその６つの自由度をマーカーから決定することができるようにすべきである。図４および図５のマーカー９がホワイトのバックグラウンド１２に対するブラックフレーム１１によって包囲されたブラックとホワイトのユニークなパターン１０であるようにすることができる。マーカーは多数の光反射ドット、多数の光発生ドット、たとえば発光ダイオード、または何かを表す普通のイメージからなるものであってもよい。
【００２５】
コンピュータを順応させることに加え、マーカーを何らかの種類の現実視覚情報、またはより一般的には何らかの他の現実情報、たとえば聴覚情報に関連付けることができる。どのように何処に現実視覚情報が使用者に与えられるかについての情報を各マーカーに関連付けることもできる。図５に示されているように、マーカー９がエンジンブロック１３上にボルト１４付近に配置されているとき、コンピュータはたとえば仮想的に生じるスパナ１５を正確に位置決めし、ボルトがスパナによってゆるめられるよう指示することができる。
【００２６】
使用者から見えるカメライメージのマーカーを検出することによってコンピュータを周囲に順応させることができる。それに代わるものとして、カメラの視界をディスプレイ装置を介して使用者に与えられる視界よりも大きくすることができる。このような場合、コンピュータは全体的にまたは部分的に使用者に与えられるイメージの外側に位置するマーカーを見出すことができる。さらに展開したものでは、使用者にイメージを与えるカメラに対する一定の周知の関係をもって配置された１つまたはそれ以上のカメラを使用者の頭の方向とは完全に異なる方向のマーカーの検出に使用することができる。カメラ間の周知の関係により、関連仮想視覚イメージ情報を正確に使用者が見るイメージに位置決めすることもできる。
【００２７】
マーカーおよび実行オーダー
異なる位置、たとえばエンジンブロック上に配置された多数の異なるマーカーを使用することにより、コンピュータに接続された頭装着型ビデオシースルーシステムを装着した使用者はいかにしてたとえばエンジンブロックを分解するかの視覚記述を得ることができる。使用者はライブマニュアルを得る。
【００２８】
各マーカーが何らかの種類の現実視覚情報に関連付けられ、使用者が対象、エンジンブロックにアプローチするとき、もちろんすべてのマーカーが仮想視覚情報を同時に提供するわけではないが、どのようにして仮想視覚情報がディスプレイされるかに関する特定のオーダーがあるはずであり、種々の動作、たとえばエンジンを分解するための動作がなされる。
【００２９】
この発明は情報の異なる連鎖で確立され、使用者によってなされる種々の操作が実行の連鎖に配列される。それは階層システムの一定レベルの情報が新しい情報に通じるストラクチャシステムである。使用者は算出システムへのメッセージによって階層システムで後方および前方にジャンプし、必要と考える情報を得る。
【００３０】
さらに、システムはより前進した構成で情報を使用者の知識および経験のレベルに適合させる。システムが第１機会のすべての情報を使用者に与えるようにすることが考えられる。その後、使用者がエンジンなどの対象のシーケンスの同様の操作を繰り返すと、システムはどのようにして使用者の経験が増大するかのあらかじめ設定されたプランに従って情報を段階的に制限することができる。しかしながら、前述したように、使用者はいつでもより多くの情報を要求することができる。
【００３１】
さらに、使用者が自己識別することを要求するシステムが使用される場合、システムは使用者が前回になしたことの結果何をなすことができるかを考慮することもできる。この発明のシステムは後述するようにイメージの目の固視点を決定する注視追跡装置からなるため、これを目の認識によって使用者を識別することと組み合わせることができる。
【００３２】
通常の場合、全体のマーカーがイメージに見え、どの情報が最初に与えられるかを決定するとき、マーカーが考慮される。しかしながら、より前進したシステムはいくつかの改良点を含む。マーカーはアクティブ／パッシブ、実行／非実行、確認／非確認などのものであってもよい。
【００３３】
基本原理は普通は頭装着型ディスプレイを介して与えられるイメージであるカメライメージ内に位置するとき、マーカーはアクティブであり、イメージの外側にあるとき、マーカーはパッシブであることを含む。原則として、マーカーがアクティブであるとき、マーカーに関連付けられた仮想情報が示され、マーカーがパッシブであるとき、何の情報も示されない。
【００３４】
さらに展開されたシステムでは、マーカーをアクティブにする多数の条件を導入することができ、たとえば、それが使用者の一定距離内に位置決めされ、それが適切なプライオリティをもち、特定の動作があらかじめなされるなどである。このようなシステムでは、パッシブマーカーはシチュエーションによって「この動作をこの時点ではなさない」などの仮想情報を示すこともできる。
【００３５】
正確に使用者を導くシステムでは、たとえば、取り付けシーケンスにおいて、特定の動作が正確なオーダーで生じるようにせねばならない。したがって、マーカーの用語確認または正確にはマーカーに関連付けられる情報の確認を導入し、システムはたとえば使用者が特定の動作／操作をなしたことの情報を得ることができるようにすべきであることがわかった。使用者がある動作をなした後、使用者はマーカーに関連付けられた情報に関連する動作が伝えられたこと、またはそれをなしたことを確認する。この確認はたとえば使用者の手、声または目によってなされる命令によって生じる。使用者が確認の状態を承知するようにするため、シンボルをその状態を示すマーカーに関連付けることができる。たとえば、それは手の形式のシンボルであってもよく、その色は確認の現在の状態を示すようにしてもよい。
【００３６】
実行の動作の交信
頭装着型装置を装着し、どのようにして種々の動作をなすか、たとえばエンジンを分解するかの指示を受けた使用者は多くの場合実際の分解に両手を使用し、その両手が汚れることがある。このシチュエーションにおいて、前述したように、使用者はどうにか種々の動作を確認することができるようにせねばならない。ここで、図６に示すように、たとえば、使用者は頭装着型装置を装着し、それに注視追跡装置を追加している（片目または両目）。図６に目１、周囲の部分３、カメラ４、ディスプレイ装置５、コンピュータ７、近ＩＲ放射に感応するカメラ１６、近ＩＲ放射だけを通すフィルタ１７、近ＩＲ光源１８、球面ミラー１９、ホットミラー２０、すなわち近ＩＲ放射がミラーで反射され、すべての可視放射が透過される作用をもつ光学装置、およびビームスプリッタ２１が示されている。両目の方向が検出されると、カメラが各目に使用されるとき、それによって正確な立体画像仮想提示を生じさせることができ、カメラのイメージも立体画像である。
【００３７】
注視追跡装置はイメージの何処に使用者の固視点があるかを検出する。図５に示されているように、多数のフィールド／対象がカメラからのイメージ、すなわち周囲のイメージにマークされる。図５にイメージのフィールド２２、イメージの三次元の対象２３およびクロス２４が示され、これはイメージ内で固視点が何処に位置するかを示す。
【００３８】
フィールド／対象はイメージのコーナーに近接して位置決めすることができ、種々の形状、たとえばフィールド／対象の機能のための図５の矢印の形状をもたせることができる。フィールド／対象をカラーフレームによって包囲されたイメージの完全に透明の面として形成することができ、フレームの色はその機能を示す。機能をフィールド／対象のテキストの量として示すこともできる。フィールド／対象はより透明またはわずかに透明であってもよく、それを完全に色、図柄またはイメージでみたしてもよい。フィールド／対象は三次元、固定または可動のものであってもよい。使用者が１つのフィールド／対象を見たとき、それを変化するフィールド／対象の形状、色、動きまたは内容によって示すことができ、使用者がフィールド／対象を見たことをシステムが認識したことを使用者が理解するようにしてもよい。
【００３９】
フィールド／対象と交信することにより、使用者はシステムによって構成される実行のシーケンスの階層スキームにおいて情報を受けたこと、アクションをなしたことまたは段階的動きを要求したことを確認することができる。現実コマンド、確認を種々の方法でシステムに与えることができる。簡単な方法は特定のフィールドまたは対象を十分な時間にわたって見ることである。あらかじめ設定されたシーケンスで多数のフィールド／対象の目の通過がそのコマンドを与えるようにすることも可能である。１つの方法は目をイメージの周辺に迅速に移動させ、その後使用者の関心のあるフィールドに迅速に移動させることである。他のオプションはフィールドまたは対象の目の位置を完全に異なる動き、たとえばボイスコマンドまたは目以外の部分、たとえば使用者の足によってなされるコマンドと組み合わせることである。
【００４０】
カメラまたはディスプレイ装置が各目に使用されるとき、フィールド／対象を異なる焦点の面に位置決めすることもできる。フィールド／対象を立体効果によって使用者の近くにあるかのように感じさせることができ、遠くに位置決めされているかのように感じさせることもできる。使用者に何らかの種類のフィードバックを与える目的で種々のフィールド／対象に使用者に対する異なる距離をもたせることも可能である。
【００４１】
周囲を見回すとき、使用者は頭を大きい角度に使用し、目を小さい角度に使用する。使用者が注視制御ＭＲ装置を使用し、周囲を見回すとき、使用者の固視点は普通イメージの中心のまわりの制限された領域内を移動する（使用者の頭は大きい動きを生じさせる）。これが利用され、フィールド／対象が必要である前、それは示されない。イメージのエッジにあっても、使用者が確認またはコマンドを与えないとき、イメージ内にフィールド／対象があると、混乱が生じる。この場合、使用者がイメージの中央部分を規定し、固視点がこの中央イメージに達するまで、フィールド／対象は示されない。
【００４２】
固視点が常時イメージに示されると、さらに混乱が生じる。したがって、この発明はイメージの中央部分にあるとき、イメージの固視点を示さず、混乱が生じない方法、たとえばドットとしてそれを示す。中央部の外側では、普通固視点を示すことに問題はなく、使用者がフィールド／対象に関心をもつとき、何処を使用者が見るかを知ることは重要である。図５において、１つの方法はイメージの固視点２４がフィールド２２または対象２３にあるとき、外観、たとえば色または形状を変化させるフィールド／対象によってマークすることである。他の方法は固視点がイメージの中央部分の外側にあるとき、イメージの固視点を他の方法、たとえばクロス２４で表すことである。
【００４３】
いつ算出装置７が送られるメッセージを感知したかを知ることも重要である。これは外観、たとえば色または形状を変化させるフィールド／対象２２，２３によってなすことができる。変化するイメージまたはその一部だけでこの情報を受けることもでき、たとえば、情報または実行の次の連鎖を与えることができる。
【００４４】
この発明の実施例を説明する。図７はどのようにして図柄をもつマーカー９が物理的対象２５上に配置されるかを示す。使用者２６は頭を物理的対象およびマーカーに向けている。使用者は頭の装置２７を有し、それによって物理的対象からの現実イメージ情報とマーカーに対する位置および方向に関連付けられた重複仮想イメージ情報の両方を見ることができる。
【００４５】
頭装着型装置２７により、使用者の目を使用者とコンピュータ７の交信に使用することができ、注視制御ＭＲのためのソフトウエアが実現される。頭装着型装置はいくつかの伝達チャンネルおよび電源チャンネルを含むワイヤ２８によってコンピュータに関連付けされる。
【００４６】
図８は頭装着型装置の異なる部分を示し、目は符号１で示されている。
【００４７】
カメラシステムは
たとえばファイヤーワイヤーインタフェースを有するカラーカメラ２９と、
カラーカメラ２９のレンズ３０と、
カラーカメラ２９およびレンズ３０のミラー３１とからなる。ミラーの機能はカメラと後述するマイクロディスプレイ間の視差を減少させることである。
【００４８】
マイクロディスプレイシステムは
透過タイプのマイクロディスプレイ３２と、
マイクロディスプレイ３２のイルミネーション３３と、
マイクロディスプレイ３２のドライブエレクトロニクス３４と、
ビームスプリッタ３５と、
球面ミラー３６とからなる。
【００４９】
注視追跡システムは
たとえばファイヤーワイヤーをもち、近ＩＲ範囲で高感度をもつ白黒カメラ３７と、
視放線をフィルタリングする近ＩＲフィルタ３８と、
カメラ３７のレンズ３９と、
目１を照射し、目の角膜への反射を生じさせる近ＩＲイルミネーション４０と、
ホットミラー４１、すなわち近ＩＲ放線を反射させ、可視放線をおよそ４５°の入射角で透過させるミラーとからなる。
【００５０】
図９はどのようにしてコンピュータおよび実現されたソフトウエアが注視制御ＭＲの須ステムで動作するかを示す。
【００５１】
Ｐ１．図７の現実９，２５を示し、図８のカメラ２９でモニタされるイメージ情報。
Ｐ２．記録されたイメージがワイヤ２８およびファイヤーワイヤーインタフェースを介して図７のコンピュータ７のファイヤーワイヤーインタフェースに伝達される。
Ｐ３．その後、このイメージ情報がマーカー検出に進み、これは
Ｐ４．イメージ情報のスレシホールディングと、
Ｐ５．どのマーカーが含まれるかおよび６つの自由度の決定からなる。
Ｐ６．どのマーカーがデータベースに送られ、マーカーに関連付けられた仮想イメージ情報が記録されるかの情報。
Ｐ７．マーカーの６つの自由度がコンピュータグラフィックシステムに送られ、カメラ（Ｐ１）からのイメージ情報がデータベース（Ｐ６）からの仮想イメージ情報と複合される。どのようにしてこの複合が生じるかが（Ｐ５）からのマーカーの６つの自由度によって決定され、データベース（Ｐ６）からの情報によって決定される。
Ｐ８．コンピュータグラフィックシステム（Ｐ７）からの合成イメージ情報が図７の頭装着型装置２７に進み、これはマイクロディスプレイシステムを含む。
Ｐ９．同時に、目が図８のカメラ３７でモニタされる。
Ｐ１０．モニタされたイメージが図７のワイヤ２８およびファイヤーワイヤーインタフェースを介して図７のコンピュータ７のファイヤーワイヤーインタフェースに送られる。
Ｐ１１．その後、このイメージが瞳孔の検出および反射に進み、これは
Ｐ１２．イメージ情報のフィルタリングと、
Ｐ１３．イメージ情報のスレシホールディングと、
Ｐ１４．瞳孔の位置および図８の近ＩＲイルミネーションによって生じる角膜の反射の位置の決定からなる。
Ｐ１５．これらの位置のデータが方程式のシステムに導入され、使用者の目の方向が得られる。目の方向のデータがコンピュータグラフィックシステム（Ｐ７）に進み、固視点がたとえばイメージのクロスとしてマークされる。
【図面の簡単な説明】
【００５２】
【図１】直接視および光学シースルーと呼ばれるものを使用した現実および仮想情報の複合を示す。
【図２】カメラおよびディスプレイ装置を介する間接視およびビデオシースルーと呼ばれるものを使用した現実および仮想情報の複合を示す。
【図３】使用者の頭の６つの自由度を示す。
【図４】ユニークな図柄のマーカーの一例を示す。
【図５】マーカーと複合されたイメージ、仮想的に生じる対象およびイメージに挿入される現実の対象およびフィールド／対象を示し、使用者の目の固視点を位置決めし、関数を表すことができ、さらにイメージの使用者の目の固視点を表すクロスを示す。
【図６】組み込まれた注視追跡装置を有するＭＲの頭装着型システムの一例を示す。
【図７】この発明の実施例の一般図である。
【図８】図７の頭装着型装置の異なる部分を示す。
【図９】どのようにしてコンピュータおよびソフトウエアがこの発明の須ステムで動作するかを示すフローチャートである。
【符号の説明】
【００５３】
２，５，２７ 頭装着型ディスプレイ装置
３，９，２５ 周囲
７ 算出装置
２２ フィールド
２３ 対象
２４ 固視点
【技術分野】
【０００１】
この発明は、イメージの情報を与える交信方法に関するものであり、特に使用者が現実および仮想情報を複合するシステムと交信することができるようにする方法に関するものである。
【背景技術】
【０００２】
未来社会では、技術的システムがますます複雑化され、複雑な構造のものと関連付けられるであろう。同時に、多数のスペシャリストが採用されている現在よりも多くの技術的メンテナンスのスタッフが要求される。メンテナンスのスタッフには使用が容易である技術的サポートシステムが必要であろう。
【０００３】
このようなシステムは現実および仮想視覚情報が複合される技術および方法からなる複合現実感（ＭＲ）にもとづくと考えられる。対象に近づくことにより、ＭＲシステムの使用者は自分のニーズにもとづいて視界にある対象の関連情報をもつことができる。情報はシステムまたは個別の要素に関するものであってもよい。それは性能動作、たとえばどのようにして要素を分解するか、または取り付けに使用される締め付けモーメントを含むものであってもよい。使用者はＭＲシステムを介して故障点評定をなすことができ、与えられる是正措置をもつことができる。
【０００４】
技術開発は個人が感覚で実際に経験する情報にある程度対応する仮想情報を記録することを可能にした。これは現実を２つの部分、現実世界と仮想世界に分割することができるということを意味する。２つの世界が技術的装置によって複合され、技術的装置の使用者は２つの世界を１つのそれとして感知することができる。
【０００５】
したがって、ＭＲでは、仮想および現実世界を複合することができる。第１ステップでは、２つの世界から視覚イメージ情報だけを複合することから始めることができ、次のステップにおいて、２つの世界から聴覚情報を含ませることができる。この発明の理解を容易にするため、以下の説明は主として視覚イメージ情報に制限したものである。
【０００６】
種々の分野、たとえば薬学、製造産業、アドベンチャ産業および軍事関係において、ＭＲをトレーニング、修理、メンテナンスおよび製造などの種々のものに使用することができる。
【発明の開示】
【０００７】
この発明は特許請求の範囲の独立項に記載されている方法で情報を得ることによっていつでも関連情報を使用者に与え、使用者の教育水準および経験を考慮する問題を解決するものである。他の項にこの発明の好ましい実施例が記載されている。
【発明を実施するための最良の形態】
【０００８】
以下、この発明を図面にもとづいて詳細に説明する。
【０００９】
発明の理解を容易にするため、使用者が技術的装置を装着し、視覚仮想および現実世界を複合し、使用者に与えることができる、「ライブマニュアル」と呼ばれている実施例にもとづいて説明する。使用者の仕事は視覚教示にもとづいてエンジンブロックを分解することである。プロセスの技術的ステップは次のとおりである。
【００１０】
直接および間接視
【００１１】
現実視覚情報は現実世界から生じる情報である。モニタリングを直接なすことができ、図１に示すように、周囲３からの視放線が使用者の目１に直接、または透過または部分的透過光学装置２、たとえば一対のゴーグルを介して達する。図２に示すように、モニタリングを間接的に、たとえばカメラ４およびディスプレイ装置５を介してなすこともできる。カメラは周囲からの視放線をモニタし、その視放線を電気信号に変換し、これがディスプレイ装置に伝達され、信号が周囲を表すイメージに変換される。カメラ４およびディスプレイ装置５は使用者の頭および目に接近して配置することができる。この場合、カメラは使用者の頭の動きに追随し、頭制御式間接視が生じる。
【００１２】
ここにいうカメラは視放線にだけ高感度である必要はなく、他の範囲、たとえば近ＩＲ範囲、熱ＩＲ範囲またはＵＶ範囲にも高感度であってもよい。カメラはマルチスペクトルバンドによって周囲を検出することもできる。カメラが人間の目の受像面の内側および外側の両方で放射に高感度であるようにすることにより、間接視によって直接視よりも総合的に使用者に周囲を感知させることができる。
【００１３】
カメラが周囲をモニタし、それが見るものを電気信号に変換するため、この電気信号をコンピュータに伝達し、電気信号によって表されるイメージを、たとえばノイズ減少、コントラスト増幅または影または光の領域の小さい局所信号変化の増幅によって改良、変化または変換することができる。
【００１４】
仮想視覚情報の生成
仮想視覚情報はコンピュータまたは他のイメージ生成装置によって生じる情報である。仮想視覚情報はディスプレイ装置５を介して使用者に与えられる。仮想視覚情報をたとえばデータベースから生じさせ、またはコンピュータによって算出することができる。ここにいう仮想視覚情報は二次元イメージ（イメージおよび／またはテキスト情報）、二次元対象（例えば矢印）、三次元テキスト、三次元モデル（対象）、ビデオシーケンス、粒子系（フリッカスモーク／ファイア）および動画シミュレーションシーケンスである。
【００１５】
仮想および現実視覚イメージ情報の複合
主として２つの異なる技術、光学シースルーおよびビデオシースルーを使用し、前述した仮想視覚情報を現実視覚情報と複合することができる。
【００１６】
第１技術、光学シースルーでは、図１に示すように、使用者が現実視覚世界を透過または部分的透過光学装置２を介して見て、それに仮想視覚情報が反射される。仮想イメージ情報を表す視放線はラインナップ装置８からのラインナップデータにもとづいてコンピュータ７によって生じる。仮想情報はディスプレイ装置５を介して与えられ、ビームスプリッタ６を介して使用者の目に反射する。
【００１７】
第２技術、ビデオシースルーでは、図２に示すように、使用者が現実視覚世界をカメラ４およびディスプレイ装置５を介して見る。使用者にディスプレイ装置を介して与えられる前、カメラからのイメージがコンピュータ７または他のイメージ算出ユニットに送られる。コンピュータはラインナップ装置８からのラインナップデータにもとづいて先行サンプルと同様の方法で生じる仮想視覚情報を電子的にまたはコンピュータライズされた方法で複合することができる。この複合を異なる程度でなすことができ、仮想視覚情報がわずかに現実のものに重ね合わされ、仮想視覚情報が関連現実視覚情報と入れ代わる。
【００１８】
ラインナッププロセス
仮想および現実視覚情報の複合を正確になすため、いくつかの種類のラインナッププロセスを使用せねばならない。仮想視覚情報はほとんどの場合現実世界のシーンの位置に関連し、たとえば使用者の目で見たとき、実際の電線を壁に正確に重ねあわせることはできないため、どのようにして電線を壁に配置するかを表す仮想視覚情報は現実の壁の位置に関連する。
【００１９】
光学シースルーのラインナップ
光学シースルーの頭装着型装置を装着した使用者の場合、コンピュータは使用者が頭をどの方向にまわすかをある程度認識し、どの仮想視覚情報が与えられるか、およびどのように、ディスプレイ装置のイメージのどこにこれが生じるかを算出することができるようにせねばならない。前進した形式では、目が複合視覚情報を記録する人間のイメージデテクタであるため、装置の位置に対する目の位置も使用される。使用者の頭の装置の小さい変位によって現実および仮想視覚情報が望ましくない状態で変位することもある。
【００２０】
現実世界のシーンに対する使用者の位置および方向をラインナップする多くの方法がある。種々の技術が開発されており、どの物理的原理が使用されるかによってラインナップ装置、追跡装置を分類することができる（音響的、磁気的、慣性の法則、光学的および機械的）。異なる原理にもとづく２つの追跡装置を組み合わせ、ハイブリッド追跡装置を得ることもできる。
【００２１】
図３に示すように、位置、ｘ、ｙ、ｚおよび方向すなわち頭の回転、縦振りおよび横振り角度を検出することによって周囲に対する使用者の関係をラインナップすることもできる。回転はｈで示され、縦振りはｐで示され、横振りはｒで示されている。すべての方向の位置および方向がラインナップされると、６つの自由度のラインナップがなされる。いくつかの場合において、たとえば、使用者が椅子に深くまたは浅く座ったとき、回転、縦振りおよび横振りだけ、すなわち３つの自由度だけを測定すれば十分である。
【００２２】
カメラが頭装着型装置と一体化され、カメラの方向が装置の光学的方向に整合しているとき、コンピュータによってカメラのイメージを読み取ることができ、コンピュータはソフトウエアによってイメージのパターンおよびローカル特性を検出し、この方法でそれ自体を周囲に順応させることができる。
【００２３】
ビデオシースルーのラインナップ
ビデオシースルーの頭装着型装置を装着した使用者の場合、光学シースルーと同様の方法でコンピュータによってカメラのイメージの情報を使用することができる。したがって、コンピュータはカメラからのイメージのローカル特性またはパターンを検出し、この情報にもとづいてそれ自体を順応させることができる。たとえば、ローカル特性はテーブルまたはナットのコーナーである。しかしながら、ローカル特性が視界の異なる角度から異なる発光シチュエーションで見えるため、コンピュータによってカメラからのイメージのこのようなローカル特性を見出すことは困難である。
【００２４】
したがって、コンピュータがカメラからのイメージのパターンを見出すことができるようにするよう特別に構成されたパターンによってコンピュータをイメージに順応させることが適当である。このような特別に構成されたパターンをマーカーと呼ぶが、マーカーのパターンがユニークであり、マーカーの位置および方向、すなわちその６つの自由度をマーカーから決定することができるようにすべきである。図４および図５のマーカー９がホワイトのバックグラウンド１２に対するブラックフレーム１１によって包囲されたブラックとホワイトのユニークなパターン１０であるようにすることができる。マーカーは多数の光反射ドット、多数の光発生ドット、たとえば発光ダイオード、または何かを表す普通のイメージからなるものであってもよい。
【００２５】
コンピュータを順応させることに加え、マーカーを何らかの種類の現実視覚情報、またはより一般的には何らかの他の現実情報、たとえば聴覚情報に関連付けることができる。どのように何処に現実視覚情報が使用者に与えられるかについての情報を各マーカーに関連付けることもできる。図５に示されているように、マーカー９がエンジンブロック１３上にボルト１４付近に配置されているとき、コンピュータはたとえば仮想的に生じるスパナ１５を正確に位置決めし、ボルトがスパナによってゆるめられるよう指示することができる。
【００２６】
使用者から見えるカメライメージのマーカーを検出することによってコンピュータを周囲に順応させることができる。それに代わるものとして、カメラの視界をディスプレイ装置を介して使用者に与えられる視界よりも大きくすることができる。このような場合、コンピュータは全体的にまたは部分的に使用者に与えられるイメージの外側に位置するマーカーを見出すことができる。さらに展開したものでは、使用者にイメージを与えるカメラに対する一定の周知の関係をもって配置された１つまたはそれ以上のカメラを使用者の頭の方向とは完全に異なる方向のマーカーの検出に使用することができる。カメラ間の周知の関係により、関連仮想視覚イメージ情報を正確に使用者が見るイメージに位置決めすることもできる。
【００２７】
マーカーおよび実行オーダー
異なる位置、たとえばエンジンブロック上に配置された多数の異なるマーカーを使用することにより、コンピュータに接続された頭装着型ビデオシースルーシステムを装着した使用者はいかにしてたとえばエンジンブロックを分解するかの視覚記述を得ることができる。使用者はライブマニュアルを得る。
【００２８】
各マーカーが何らかの種類の現実視覚情報に関連付けられ、使用者が対象、エンジンブロックにアプローチするとき、もちろんすべてのマーカーが仮想視覚情報を同時に提供するわけではないが、どのようにして仮想視覚情報がディスプレイされるかに関する特定のオーダーがあるはずであり、種々の動作、たとえばエンジンを分解するための動作がなされる。
【００２９】
この発明は情報の異なる連鎖で確立され、使用者によってなされる種々の操作が実行の連鎖に配列される。それは階層システムの一定レベルの情報が新しい情報に通じるストラクチャシステムである。使用者は算出システムへのメッセージによって階層システムで後方および前方にジャンプし、必要と考える情報を得る。
【００３０】
さらに、システムはより前進した構成で情報を使用者の知識および経験のレベルに適合させる。システムが第１機会のすべての情報を使用者に与えるようにすることが考えられる。その後、使用者がエンジンなどの対象のシーケンスの同様の操作を繰り返すと、システムはどのようにして使用者の経験が増大するかのあらかじめ設定されたプランに従って情報を段階的に制限することができる。しかしながら、前述したように、使用者はいつでもより多くの情報を要求することができる。
【００３１】
さらに、使用者が自己識別することを要求するシステムが使用される場合、システムは使用者が前回になしたことの結果何をなすことができるかを考慮することもできる。この発明のシステムは後述するようにイメージの目の固視点を決定する注視追跡装置からなるため、これを目の認識によって使用者を識別することと組み合わせることができる。
【００３２】
通常の場合、全体のマーカーがイメージに見え、どの情報が最初に与えられるかを決定するとき、マーカーが考慮される。しかしながら、より前進したシステムはいくつかの改良点を含む。マーカーはアクティブ／パッシブ、実行／非実行、確認／非確認などのものであってもよい。
【００３３】
基本原理は普通は頭装着型ディスプレイを介して与えられるイメージであるカメライメージ内に位置するとき、マーカーはアクティブであり、イメージの外側にあるとき、マーカーはパッシブであることを含む。原則として、マーカーがアクティブであるとき、マーカーに関連付けられた仮想情報が示され、マーカーがパッシブであるとき、何の情報も示されない。
【００３４】
さらに展開されたシステムでは、マーカーをアクティブにする多数の条件を導入することができ、たとえば、それが使用者の一定距離内に位置決めされ、それが適切なプライオリティをもち、特定の動作があらかじめなされるなどである。このようなシステムでは、パッシブマーカーはシチュエーションによって「この動作をこの時点ではなさない」などの仮想情報を示すこともできる。
【００３５】
正確に使用者を導くシステムでは、たとえば、取り付けシーケンスにおいて、特定の動作が正確なオーダーで生じるようにせねばならない。したがって、マーカーの用語確認または正確にはマーカーに関連付けられる情報の確認を導入し、システムはたとえば使用者が特定の動作／操作をなしたことの情報を得ることができるようにすべきであることがわかった。使用者がある動作をなした後、使用者はマーカーに関連付けられた情報に関連する動作が伝えられたこと、またはそれをなしたことを確認する。この確認はたとえば使用者の手、声または目によってなされる命令によって生じる。使用者が確認の状態を承知するようにするため、シンボルをその状態を示すマーカーに関連付けることができる。たとえば、それは手の形式のシンボルであってもよく、その色は確認の現在の状態を示すようにしてもよい。
【００３６】
実行の動作の交信
頭装着型装置を装着し、どのようにして種々の動作をなすか、たとえばエンジンを分解するかの指示を受けた使用者は多くの場合実際の分解に両手を使用し、その両手が汚れることがある。このシチュエーションにおいて、前述したように、使用者はどうにか種々の動作を確認することができるようにせねばならない。ここで、図６に示すように、たとえば、使用者は頭装着型装置を装着し、それに注視追跡装置を追加している（片目または両目）。図６に目１、周囲の部分３、カメラ４、ディスプレイ装置５、コンピュータ７、近ＩＲ放射に感応するカメラ１６、近ＩＲ放射だけを通すフィルタ１７、近ＩＲ光源１８、球面ミラー１９、ホットミラー２０、すなわち近ＩＲ放射がミラーで反射され、すべての可視放射が透過される作用をもつ光学装置、およびビームスプリッタ２１が示されている。両目の方向が検出されると、カメラが各目に使用されるとき、それによって正確な立体画像仮想提示を生じさせることができ、カメラのイメージも立体画像である。
【００３７】
注視追跡装置はイメージの何処に使用者の固視点があるかを検出する。図５に示されているように、多数のフィールド／対象がカメラからのイメージ、すなわち周囲のイメージにマークされる。図５にイメージのフィールド２２、イメージの三次元の対象２３およびクロス２４が示され、これはイメージ内で固視点が何処に位置するかを示す。
【００３８】
フィールド／対象はイメージのコーナーに近接して位置決めすることができ、種々の形状、たとえばフィールド／対象の機能のための図５の矢印の形状をもたせることができる。フィールド／対象をカラーフレームによって包囲されたイメージの完全に透明の面として形成することができ、フレームの色はその機能を示す。機能をフィールド／対象のテキストの量として示すこともできる。フィールド／対象はより透明またはわずかに透明であってもよく、それを完全に色、図柄またはイメージでみたしてもよい。フィールド／対象は三次元、固定または可動のものであってもよい。使用者が１つのフィールド／対象を見たとき、それを変化するフィールド／対象の形状、色、動きまたは内容によって示すことができ、使用者がフィールド／対象を見たことをシステムが認識したことを使用者が理解するようにしてもよい。
【００３９】
フィールド／対象と交信することにより、使用者はシステムによって構成される実行のシーケンスの階層スキームにおいて情報を受けたこと、アクションをなしたことまたは段階的動きを要求したことを確認することができる。現実コマンド、確認を種々の方法でシステムに与えることができる。簡単な方法は特定のフィールドまたは対象を十分な時間にわたって見ることである。あらかじめ設定されたシーケンスで多数のフィールド／対象の目の通過がそのコマンドを与えるようにすることも可能である。１つの方法は目をイメージの周辺に迅速に移動させ、その後使用者の関心のあるフィールドに迅速に移動させることである。他のオプションはフィールドまたは対象の目の位置を完全に異なる動き、たとえばボイスコマンドまたは目以外の部分、たとえば使用者の足によってなされるコマンドと組み合わせることである。
【００４０】
カメラまたはディスプレイ装置が各目に使用されるとき、フィールド／対象を異なる焦点の面に位置決めすることもできる。フィールド／対象を立体効果によって使用者の近くにあるかのように感じさせることができ、遠くに位置決めされているかのように感じさせることもできる。使用者に何らかの種類のフィードバックを与える目的で種々のフィールド／対象に使用者に対する異なる距離をもたせることも可能である。
【００４１】
周囲を見回すとき、使用者は頭を大きい角度に使用し、目を小さい角度に使用する。使用者が注視制御ＭＲ装置を使用し、周囲を見回すとき、使用者の固視点は普通イメージの中心のまわりの制限された領域内を移動する（使用者の頭は大きい動きを生じさせる）。これが利用され、フィールド／対象が必要である前、それは示されない。イメージのエッジにあっても、使用者が確認またはコマンドを与えないとき、イメージ内にフィールド／対象があると、混乱が生じる。この場合、使用者がイメージの中央部分を規定し、固視点がこの中央イメージに達するまで、フィールド／対象は示されない。
【００４２】
固視点が常時イメージに示されると、さらに混乱が生じる。したがって、この発明はイメージの中央部分にあるとき、イメージの固視点を示さず、混乱が生じない方法、たとえばドットとしてそれを示す。中央部の外側では、普通固視点を示すことに問題はなく、使用者がフィールド／対象に関心をもつとき、何処を使用者が見るかを知ることは重要である。図５において、１つの方法はイメージの固視点２４がフィールド２２または対象２３にあるとき、外観、たとえば色または形状を変化させるフィールド／対象によってマークすることである。他の方法は固視点がイメージの中央部分の外側にあるとき、イメージの固視点を他の方法、たとえばクロス２４で表すことである。
【００４３】
いつ算出装置７が送られるメッセージを感知したかを知ることも重要である。これは外観、たとえば色または形状を変化させるフィールド／対象２２，２３によってなすことができる。変化するイメージまたはその一部だけでこの情報を受けることもでき、たとえば、情報または実行の次の連鎖を与えることができる。
【００４４】
この発明の実施例を説明する。図７はどのようにして図柄をもつマーカー９が物理的対象２５上に配置されるかを示す。使用者２６は頭を物理的対象およびマーカーに向けている。使用者は頭の装置２７を有し、それによって物理的対象からの現実イメージ情報とマーカーに対する位置および方向に関連付けられた重複仮想イメージ情報の両方を見ることができる。
【００４５】
頭装着型装置２７により、使用者の目を使用者とコンピュータ７の交信に使用することができ、注視制御ＭＲのためのソフトウエアが実現される。頭装着型装置はいくつかの伝達チャンネルおよび電源チャンネルを含むワイヤ２８によってコンピュータに関連付けされる。
【００４６】
図８は頭装着型装置の異なる部分を示し、目は符号１で示されている。
【００４７】
カメラシステムは
たとえばファイヤーワイヤーインタフェースを有するカラーカメラ２９と、
カラーカメラ２９のレンズ３０と、
カラーカメラ２９およびレンズ３０のミラー３１とからなる。ミラーの機能はカメラと後述するマイクロディスプレイ間の視差を減少させることである。
【００４８】
マイクロディスプレイシステムは
透過タイプのマイクロディスプレイ３２と、
マイクロディスプレイ３２のイルミネーション３３と、
マイクロディスプレイ３２のドライブエレクトロニクス３４と、
ビームスプリッタ３５と、
球面ミラー３６とからなる。
【００４９】
注視追跡システムは
たとえばファイヤーワイヤーをもち、近ＩＲ範囲で高感度をもつ白黒カメラ３７と、
視放線をフィルタリングする近ＩＲフィルタ３８と、
カメラ３７のレンズ３９と、
目１を照射し、目の角膜への反射を生じさせる近ＩＲイルミネーション４０と、
ホットミラー４１、すなわち近ＩＲ放線を反射させ、可視放線をおよそ４５°の入射角で透過させるミラーとからなる。
【００５０】
図９はどのようにしてコンピュータおよび実現されたソフトウエアが注視制御ＭＲの須ステムで動作するかを示す。
【００５１】
Ｐ１．図７の現実９，２５を示し、図８のカメラ２９でモニタされるイメージ情報。
Ｐ２．記録されたイメージがワイヤ２８およびファイヤーワイヤーインタフェースを介して図７のコンピュータ７のファイヤーワイヤーインタフェースに伝達される。
Ｐ３．その後、このイメージ情報がマーカー検出に進み、これは
Ｐ４．イメージ情報のスレシホールディングと、
Ｐ５．どのマーカーが含まれるかおよび６つの自由度の決定からなる。
Ｐ６．どのマーカーがデータベースに送られ、マーカーに関連付けられた仮想イメージ情報が記録されるかの情報。
Ｐ７．マーカーの６つの自由度がコンピュータグラフィックシステムに送られ、カメラ（Ｐ１）からのイメージ情報がデータベース（Ｐ６）からの仮想イメージ情報と複合される。どのようにしてこの複合が生じるかが（Ｐ５）からのマーカーの６つの自由度によって決定され、データベース（Ｐ６）からの情報によって決定される。
Ｐ８．コンピュータグラフィックシステム（Ｐ７）からの合成イメージ情報が図７の頭装着型装置２７に進み、これはマイクロディスプレイシステムを含む。
Ｐ９．同時に、目が図８のカメラ３７でモニタされる。
Ｐ１０．モニタされたイメージが図７のワイヤ２８およびファイヤーワイヤーインタフェースを介して図７のコンピュータ７のファイヤーワイヤーインタフェースに送られる。
Ｐ１１．その後、このイメージが瞳孔の検出および反射に進み、これは
Ｐ１２．イメージ情報のフィルタリングと、
Ｐ１３．イメージ情報のスレシホールディングと、
Ｐ１４．瞳孔の位置および図８の近ＩＲイルミネーションによって生じる角膜の反射の位置の決定からなる。
Ｐ１５．これらの位置のデータが方程式のシステムに導入され、使用者の目の方向が得られる。目の方向のデータがコンピュータグラフィックシステム（Ｐ７）に進み、固視点がたとえばイメージのクロスとしてマークされる。
【図面の簡単な説明】
【００５２】
【図１】直接視および光学シースルーと呼ばれるものを使用した現実および仮想情報の複合を示す。
【図２】カメラおよびディスプレイ装置を介する間接視およびビデオシースルーと呼ばれるものを使用した現実および仮想情報の複合を示す。
【図３】使用者の頭の６つの自由度を示す。
【図４】ユニークな図柄のマーカーの一例を示す。
【図５】マーカーと複合されたイメージ、仮想的に生じる対象およびイメージに挿入される現実の対象およびフィールド／対象を示し、使用者の目の固視点を位置決めし、関数を表すことができ、さらにイメージの使用者の目の固視点を表すクロスを示す。
【図６】組み込まれた注視追跡装置を有するＭＲの頭装着型システムの一例を示す。
【図７】この発明の実施例の一般図である。
【図８】図７の頭装着型装置の異なる部分を示す。
【図９】どのようにしてコンピュータおよびソフトウエアがこの発明の須ステムで動作するかを示すフローチャートである。
【符号の説明】
【００５３】
２，５，２７ 頭装着型ディスプレイ装置
３，９，２５ 周囲
７ 算出装置
２２ フィールド
２３ 対象
２４ 固視点
【特許請求の範囲】
【請求項１】
使用者が頭装着型ディスプレイ装置（２，５，２７）を装着し、周囲（３，９，２５）のイメージが使用者に与えられ、使用者の頭の位置および方向が周囲に対し確立され、算出装置（７）が先行ステップにもとづいて周囲のどの部分が使用者の頭の前方に位置するかを確立する、イメージの情報を使用者に与える交信方法であって、
前記算出装置が階層スキームで使用者がどこに位置するかを情報として確立し、使用者の頭の前方に位置する周囲の部分に関する性能動作を確立し、
前記算出装置が先行ステップにもとづいてどの情報が使用者に与えられるかを確立し、それを現実イメージと複合された仮想イメージの形式で与え、
前記イメージの中央部分が定められ、
外側の領域に中央部分フィールド（２２）および／または使用者から前記算出装置へのメッセージの伝達に含まれる対象（２３）があり、
イメージを注視する使用者の方向が確立され、イメージの固視点（２４）がフィールドまたは対象内にあるとき、それが鮮明化され、
前記算出装置に使用者が情報を受けたことが伝えられ、どのように固視点（２４）がフィールド（２２）および／または対象（３）内に位置するかによって動作がなされるようにすることを特徴とする方法。
【請求項２】
前記算出装置はどのようにして固視点（２４）がフィールド（２２）および／または対象（２３）に位置決めされるかによって次にどの階層スキームの情報が与えられるかを決定することを特徴とする請求項１に記載の方法。
【請求項３】
使用者の目がイメージの中央部分に達するまで前記フィールド／対象（２２，２３）は示されないことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記イメージの固視点（２４）がフィールド（２２）または対象（２３）にあるとき、外観、たとえば色または形状を変化させるフィールド／対象によってマークされるようにしたことを特徴とする請求項１−３のいずれかに記載の方法。
【請求項５】
前記イメージの固視点（２４）がフィールド（２２）または対象（２３）内にあり、イメージの中央部分の外側に位置決めされるとき、固視点がイメージに異なる方法で、たとえばクロス（２４）として表されることによってマークされ、イメージの中央部分内にあるとき、それが混乱しない方法で表されるか、または表されないことを特徴とする請求項１−３のいずれかに記載の方法。
【請求項６】
前記算出装置（７）が送られたメッセージを感知したとき、外観、たとえば色または形状を変化させるフィールド／対象（２２，２３）によってマークされることを特徴とする請求項１−５のいずれかに記載の方法。
【請求項７】
前記頭装着型ディスプレイ装置（２，２５，２７）が光学シースルーの技術を使用して現実イメージと仮想情報を複合することを特徴とする請求項１−６のいずれかに記載の方法。
【請求項８】
前記頭装着型ディスプレイ装置（２，２５，２７）がビデオシースルーの技術を使用して現実イメージと仮想情報を複合することを特徴とする請求項１−６のいずれかに記載の方法。
【請求項１】
使用者が頭装着型ディスプレイ装置（２，５，２７）を装着し、周囲（３，９，２５）のイメージが使用者に与えられ、使用者の頭の位置および方向が周囲に対し確立され、算出装置（７）が先行ステップにもとづいて周囲のどの部分が使用者の頭の前方に位置するかを確立する、イメージの情報を使用者に与える交信方法であって、
前記算出装置が階層スキームで使用者がどこに位置するかを情報として確立し、使用者の頭の前方に位置する周囲の部分に関する性能動作を確立し、
前記算出装置が先行ステップにもとづいてどの情報が使用者に与えられるかを確立し、それを現実イメージと複合された仮想イメージの形式で与え、
前記イメージの中央部分が定められ、
外側の領域に中央部分フィールド（２２）および／または使用者から前記算出装置へのメッセージの伝達に含まれる対象（２３）があり、
イメージを注視する使用者の方向が確立され、イメージの固視点（２４）がフィールドまたは対象内にあるとき、それが鮮明化され、
前記算出装置に使用者が情報を受けたことが伝えられ、どのように固視点（２４）がフィールド（２２）および／または対象（３）内に位置するかによって動作がなされるようにすることを特徴とする方法。
【請求項２】
前記算出装置はどのようにして固視点（２４）がフィールド（２２）および／または対象（２３）に位置決めされるかによって次にどの階層スキームの情報が与えられるかを決定することを特徴とする請求項１に記載の方法。
【請求項３】
使用者の目がイメージの中央部分に達するまで前記フィールド／対象（２２，２３）は示されないことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記イメージの固視点（２４）がフィールド（２２）または対象（２３）にあるとき、外観、たとえば色または形状を変化させるフィールド／対象によってマークされるようにしたことを特徴とする請求項１−３のいずれかに記載の方法。
【請求項５】
前記イメージの固視点（２４）がフィールド（２２）または対象（２３）内にあり、イメージの中央部分の外側に位置決めされるとき、固視点がイメージに異なる方法で、たとえばクロス（２４）として表されることによってマークされ、イメージの中央部分内にあるとき、それが混乱しない方法で表されるか、または表されないことを特徴とする請求項１−３のいずれかに記載の方法。
【請求項６】
前記算出装置（７）が送られたメッセージを感知したとき、外観、たとえば色または形状を変化させるフィールド／対象（２２，２３）によってマークされることを特徴とする請求項１−５のいずれかに記載の方法。
【請求項７】
前記頭装着型ディスプレイ装置（２，２５，２７）が光学シースルーの技術を使用して現実イメージと仮想情報を複合することを特徴とする請求項１−６のいずれかに記載の方法。
【請求項８】
前記頭装着型ディスプレイ装置（２，２５，２７）がビデオシースルーの技術を使用して現実イメージと仮想情報を複合することを特徴とする請求項１−６のいずれかに記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２００８−５０２９９２（Ｐ２００８−５０２９９２Ａ）
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００７−５１６４３９（Ｐ２００７−５１６４３９）
【出願日】平成１７年６月１７日（２００５．６．１７）
【国際出願番号】ＰＣＴ／ＳＥ２００５／０００９３６
【国際公開番号】ＷＯ２００５／１２４４２９
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５００２８８１６４）トータルフェルスバレッツ フォルスクニングスインスティテュート (3)
【出願人】（５０３２０８５４１）
【Ｆターム（参考）】
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１７年６月１７日（２００５．６．１７）
【国際出願番号】ＰＣＴ／ＳＥ２００５／０００９３６
【国際公開番号】ＷＯ２００５／１２４４２９
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５００２８８１６４）トータルフェルスバレッツ フォルスクニングスインスティテュート (3)
【出願人】（５０３２０８５４１）
【Ｆターム（参考）】
[ Back to top ]