インタラクティブ・システム及び方法
【解決手段】ユーザーに複合現実感の経験をもたらすインタラクティブ・システムであり、このシステムは、各面に一つのマーカーを有する少なくとも２つの面を有するオブジェクトと、 第１シーン内のオブジェクトの複数の画像をキャプチャする画像キャプチャリング・デバイスと、オブジェクトの少なくとも２面及び少なくとも１個のマーカーを識別することで第１シーン内のオブジェクトの位置及び向きをトラッキングするコンピュータ・ソフトウェアとを備えている。コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。この結果、ユーザーに対して複合現実感の経験がもたらされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムに関する。
【背景技術】
【０００２】
コンピュータ用のユーザー・インターフェースに関しては、比較的わずかな変化しか生じていない。何十年もの間、コンピュータに用いられる標準の入力デバイスは、キーボードとマウスである。最近、人気のある発展としては、ブルートゥース又は無線周波数を用いてデスクトップ端末と交信するワイヤレスキーボード及びマウスがある。これにより、ケーブルは不要になるが、これらのキーボード及びマウスは電池を必要とする。別の直感的入力方法は、音声認識である。この方法では、コンピュータがユーザーの声を認識して理解することが必要であり、さらに対応するコマンドを実行することが必要である。音声認識は、コンピュータを訓練してユーザーの話し方を認識するようにする事が必要である。しかし、正確さは、未だに、コンピュータの処理能力、マイクの質及びユーザーが喋る言葉の明瞭性に頼っている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
コンピュータとの間でのこのようにインターフェースをとることは、煩雑であって直感的ではないため、ユーザーの不満を引き起こしている。
【課題を解決するための手段】
【０００４】
本発明の第１の好ましい側面として、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムが提供され、システムは、
各面に１つのマーカーを有する少なくとも２つの面を有するオブジェクトと、
第１シーンにおけるオブジェクトの複数の画像をキャプチャーするための画像キャプチャリング・デバイスと、
オブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのコンピュータ・ソフトウェアとを備えている。
【０００５】
コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。この結果、ユーザーに複合現実感の経験がもたらされる。
【０００６】
有利な点として、オブジェクトの上面が塞がれている場合は、他の面のマーカーを識別可能であるため上面のマーカーを確認可能であり、オブジェクトのトラックが可能である。
【０００７】
好ましくは、マーカーは、単一のギャップを有する不連続のボーダーを含んでいる。
【０００８】
有利な点として、ギャップはボーダーの対称性を崩しており、そのためマーカー同士の相違を増やしている。
【０００９】
より好ましくは、マーカーは、ボーダー内の画像を備えている。この画像は、マーカーを識別するためのテンプレート／マッチングを促進する幾何学模様（幾何学的パターン）であってもよい。この模様は、見本のレポジトリに格納された見本（見本パターン）にマッチすることができても良い。
【００１０】
さらに好ましくは、ボーダー及び画像は、白い背景上の黒色であっても良い。有利な点として、これによって、変化する照明条件のマイナスの影響が少なくなる。
【００１１】
マーカーは、自らが識別されるために塞がれていない状態であっても良い。
【００１２】
マーカーは、先に定められた形状であっても良い。マーカーを識別するために、少なくとも形状の一部は、コンピュータ・ソフトウェアによって認識される。コンピュータ・ソフトウェアは、形状の検出された部分を用いて、マーカーの完全な先に決定された形状を決定しても良い。例えば、先に定められた形状が正方形である場合、コンピュータ・ソフトウェアは、１つのコーナーが塞がれていた場合、マーカーが正方形であると判断することができる。
【００１３】
コンピュータ・ソフトウェアは、ボーダーが部分的に塞がれておりボーダー内の模様が塞がれていない場合は、マーカーを識別しても良い。
【００１４】
インタラクティブ・システムは、さらにモニター、テレビスクリーン又はＬＣＤ等の、第２シーンが生成されると同時に第２シーンを表示するためのディスプレイ・デバイスを有していても良い。ディスプレイ・デバイスは、画像キャプチャリング・デバイスのビュー・ファインダー、又は画像若しくはビデオを投影するプロジェクタであっても良い。ディスプレイ・デバイスのビデオフレーム・レートは毎秒１２〜３０フレーム（１２［ｆｐｓ］〜３０［ｆｐｓ］）であっても良い。
【００１５】
画像キャプチャリング・デバイスは、ディスプレイ・デバイスの上方に取り付けられても良いし、画像キャプチャリング・デバイス及びディスプレイ・デバイスの両方がユーザーを向いていても良い。オブジェクトは、ユーザーとディスプレイ・デバイスとの間で操作可能であっても良い。
【００１６】
マルチメディア・コンテンツは、２Ｄ画像（２次元画像）又は３Ｄモデル（３次元モデル）、ビデオとオーディオの情報を含んでいても良い。
【００１７】
好ましくは、オブジェクトの少なくとも２つの面は実質的に平面である。
【００１８】
好ましくは、少なくとも２つの面は互いに接続されている。
【００１９】
オブジェクトは、キューブ又は多面体であっても良い。
【００２０】
オブジェクトは、折り畳み可能であり、例えばストーリーを語るための折り畳み可能なキューブであってもよい。
【００２１】
コンピュータ・ソフトウェアは、パーソナル・デジタル・アシスタント（PDA)、携帯電話、その他のモバイル・コミュニケーション・デバイス、または、内蔵コンピュータ・プロセッサ付きのコンソール・ボックスといった、モバイルのコンピューティング・デバイスやデスクトップのコンピューティング・デバイスにインストールされてもよい。
【００２２】
画像キャプチャリング・デバイスはカメラであっても良い。カメラはＣＣＤ又はＣＭＯＳビデオカメラであっても良い。
【００２３】
カメラ、コンピュータ・ソフトウェア及びディスプレイ・デバイスは、単一の統合ユニット内に設けられても良い。
【００２４】
カメラ、コンピュータ・ソフトウェア及びディスプレイ・デバイスは、互いに遠く離れた位置に設けられていても良い。
【００２５】
関連するマルチメディア・コンテンツは、表示されるビデオ・フレームごとに、関連するマルチメディア・コンテンツを第１シーンにレンダリングすることで、第１シーンに重ね合わされても良い。
【００２６】
オブジェクトの位置は３次元空間で計算しても良い。位置関係は、カメラとオブジェクトの間で推定されても良い。
【００２７】
カメラ画像は、しきい値処理されても良い。隣接する暗い領域は、コネクトテッド・コンポーネント・アルゴリズム（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔｓ ａｌｇｏｒｉｔｈｍ）を用いて識別されても良い。
【００２８】
輪郭探求技術は、これらの暗い領域のアウトラインを識別できる。４つのコーナーを有さない輪郭は放棄されても良い。間違ったサイズの領域を有する輪郭は放棄されても良い。
【００２９】
複数の直線は、正方形輪郭の各側に合致するようにしても良い。複数の直線の交点はコーナー位置の推定として用いられる。
【００３０】
射影変換は、これらのコーナーによって規定された領域をワープして標準の形状にするために用いられても良い。標準の形状は、マーカーの格納された見本パターンと相互相関関係にあり、それによってマーカーが識別され、マーカーの向きが検出される。
【００３１】
マーカーコーナーの位置は、マーカー位置に対するカメラ位置に関連するユニークなユークリッド行列変換を識別（特定）するために用いることができる。
【００３２】
インタラクティブ・システムは、ストーリーテリング・アプリケーション又はインテリア・デザイン・アプリケーションであっても良い。
【００３３】
システムは、少なくとも２つのオブジェクトをさらに備えていても良い。そこでは、少なくとも２つのオブジェクトの空間的関係が決定されると、識別されたマーカーに関連するマルチメディア・コンテンツから先に定められた応答（予め設定されたレスポンス）を生じさせる。
【００３４】
空間的関係は、オブジェクト同士の、距離、積み上げ、及び塞がりからなるグループの１つから選ぶことができる。
【００３５】
先に定められた応答は、関連するマルチメディア・コンテンツ、少なくとも一つの関連マルチメディア・コンテンツのアニメーション及び関連するマルチメディア・コンテンツの少なくとも１つのオーディオ・レコーディングの再生の相互作用からなるグループから選択可能である。
【００３６】
本発明の第２の側面として、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムが提供され、システムは、第１シーン内のオブジェクトの複数の画像をキャプチャーするための画像キャプチャリング・デバイスと、１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのコンピュータ・ソフトウェアとを備えている。
【００３７】
コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。その結果、複合現実感の経験がユーザーにもたらされる。
【００３８】
本発明の第３の側面では、複合現実感の経験をユーザーにもたらすためのソフトウェア・アプリケーションが提供され、アプリケーションは、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取るための画像処理モジュールと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしてさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、を備えている。
【００３９】
ソフトウェア・アプリケーションは、識別されたマーカーに関連するマルチメディア・コンテンツ取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。この結果、複合現実感の経験がユーザーにもたらされる。
【００４０】
本発明の第４の側面では、仮想オブジェクトを取得して複合現実感の経験をユーザーにもたらすための取得モジュールが提供され、モジュールは、
識別されたマーカーに関連するマーカー識別データを受け取るためのデータ・レシーバと、
マーカー識別データに関連する仮想オブジェクトを求めて仮想オブジェクトデーターベースを検索するための検索ツールと、を備えている。
【００４１】
マッチングが検出されると、仮想オブジェクトは、実際のシーン上の識別されたマーカーに関連する位置に重ね合わせられる。その結果、複合現実感の経験がユーザーにもたらされる。
【００４２】
１つの識別されたマーカーは、２つ以上の対応仮想オブジェクトを有していても良い。
【００４３】
本発明の第５の側面では、複合現実感の経験をユーザーにもたらすための関連するマルチメディア・コンテンツのレポジトリが提供され、レポジトリは、
マルチメディア・コンテンツの各アイテムを識別するための識別データフィールドと、
マルチメディア・コンテンツのアイテム又はマルチメディア・コンテンツの１つのアイテムの格納位置を格納するためのコンテンツデータのフィールドと、を備えている。
【００４４】
識別されたマーカーに関連するマーカー識別データは、識別データフィールドに関して検索され、さらに識別されたマーカーに関連するマルチメディア・コンテンツは取得されて実際のシーン上の識別されたマーカーに対する位置に重ね合わされる。その結果、複合現実感の経験がユーザーにもたらされる。
【００４５】
本発明の第６の側面では、複合現実感の経験をユーザーにもたらすための複合現実感コンテンツを搬送する信号が提供され、信号は、
実際のシーンと、実際のシーン上の識別されたマーカーに対する位置に重ね合わされた識別されたマーカーに関連するマルチメディア・コンテンツとを含むグラフィック情報を備えている。
【００４６】
識別されたマーカーは、各面におけるマーカーを有するオブジェクトの少なくとも２つの面をトラックすることで識別される。
【００４７】
信号は、識別されたマーカーに関連するオーディオ情報をさらに備えていても良い。
【００４８】
本発明の第７の側面では、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムに用いられる有形のオブジェクトが提供され、オブジェクトは、
少なくとも２つの面と、
各面における不連続のボーダー及びボーダー内の画像を含んでいるマーカーと、を備えている。
【００４９】
ボーダーの不連続は、ボーダー内の画像の配置（位置合わせ）及びオブジェクトの向きを示している。
【００５０】
オブジェクトの位置及び向きは、オブジェクトの少なくとも１面をトラックすることで、トラックされることができる。
【００５１】
本発明の第８の側面では、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムで用いられる有形のオブジェクト用のマーカーが提供され、マーカーは、
不連続のボーダー及びボーダー内の画像を備え、
シーン内のマーカーを識別するため、ボーダーはシーン内に配置されており、さらにボーダー内の画像は、画像レポジトリ内のマッチング・イメージを見つけるためにサーチされる。
【００５２】
マーカーが識別されると、コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得することができる。
【００５３】
本発明の第９の側面では、複合現実感の経験をユーザーにもたらすためのオブジェクトをトラッキングする方法が提供され、この方法は、
各面に１つのマーカーがあるオブジェクトの各面のために対応する変換行列を計算するステップと、
最高のトラッキング信頼性を有する表面を識別するステップと、
識別された表面とオブジェクトとの物理的関係に基づいて、マーカー座標系からオブジェクト座標系への変換行列を計算するステップとを備えている。
【００５４】
オブジェクト座標系からカメラ座標系への変換行列は、オブジェクト座標系から表面座標系への変換行列に表面座標系からカメラ座標系への変換行列を乗算することで、計算される。
【００５５】
本発明の第１０の側面では、複合現実感の経験をユーザーにもたらすための画像キャプチャリング・デバイスが提供され、このデバイスは、
第１シーン内の１つのオブジェクトの複数の画像をキャプチャーするための画像キャプチャリング・モジュールと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、を備えている。
【００５６】
デバイスは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。この結果、複合現実感の経験をユーザーにもたらす。
【００５７】
本発明の第１１の側面では、コンピュータプログラム・プロダクトが提供される。このプロダクトは、コンピュータにより実行可能なインストラクション（命令）を担持するためのコンピュータにより読み取り可能なメディアからなる。インストラクションは、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取ることと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックすることと、を備えている。
【００５８】
識別されたマーカーに関連するマルチメディア・コンテンツは取得され、第１シーン上の識別されたマーカーに対する位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンが生成される。この結果、複合現実感の経験がユーザーにもたらされる。
【発明を実施するための最良の形態】
【００５９】
図面及び以下の説明は、本発明が実施可能となる適切なコンピュータ環境の短く一般的な説明を提供することを意図している。必ずしも必須ではないが、本発明は、コンピュータにより実行可能なインストラクションの一般的なコンテクストにおいて説明される。インストラクションは、例えば、パーソナルコンピュータによって実行される複数のプログラム・モジュールである。一般的に、プログラム・モジュールは、特別なタスクを実施する又は特別な抽象データ型を実装するルーチーン、プログラム、文字、コンポーネント、データ構造である。当業者なら理解するように、本発明は、他のコンピュータシステムの構成によっても実施できる。他のコンピュータシステムの構成には、手持ちデバイス、マルチプロセッサ・システム、マイクロプロセッサ搭載の又はプログラム可能な民生用電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、コンソール・ボックス等が含まれる。本発明は、分散コンピュータ環境でも実施できる。そこでは、通信ネットワークによってリンクされた離れた複数の処理装置によってタスクが実行される。分散コンピュータ環境では、プログラム・モジュールは、ローカルのメモリ・ストレージ装置とリモートのメモリ・ストレージ装置との両方に配置されても良い。
【００６０】
図１を参照すると、コンピュータに搭載されたソフトウェア・アプリケーションと相互作用可能なインタラクティブ・システムが提供されている。この例では、ソフトウェア・アプリケーションは、メディア・ファイルを再生するためのメディア・プレーヤー・アプリケーションである。メディア・ファイルは、ＡＶＩムービーファイル又はＷＡＶオーディオ・ファイルを含んでいる。インタラクティブ・システムは、マイクロソフトのウィンドウズＸＰプラットフォームでＶｉｓｕａｌＣ++６．０を用いてプログラムされたソフトウェア、コンピュータのモニター、及びデスクトップ領域をトラックするためのモニターの上方に設置されたＤｒａｇｏｎｆｌｙカメラを備えている。
【００６１】
簡単なタンジブル・ユーザー・インターフェース（ＴＵＩ）を用いる複雑なインタラクションは、オブジェクト指向タンジブル・ユーザー・インターフェース（ＯＯＴＵＩ）コンセプトをインタラクティブ・システム用のソフトウェア開発に応用することで可能になっている。それぞれ異なるクラスのオブジェクトからの属性及び方法（メソッド）は、オブジェクト指向プログラミング（ＯＯＰ）技術を用いて抽象化されている。図１の（ａ）は、階層的な方法で構造化され（階層構造を有し）、複数の共通点がスーパークラスであるグラフィック・メディア１３の下で分類されている（クラス化されている）仮想オブジェクト（画像１０、ムービー１１、３Ｄアニメーション・オブジェクト１２）を示している。仮想オブジェクトに対応する３つのサブクラスは、画像１０、ムービー１１及び３Ｄアニメーション・オブジェクト１２である。これらのサブクラスは、属性及び方法（メソッド）をグラフィック・メディア・スーパークラス１３から継承している。ムービー１１及び３Ｄアニメーション・オブジェクト１２サブクラスは、自らのクラスに固有な属性及び方法（メソッド）を含んでいる。これらの属性及び方法（メソッド）は、ＴＵＩの状態によって決定されるＴＵＩの物理的特性及びアクションに結合されている。関連するオーディオ情報、例えば、音響効果を、グラフィック・メディア１１、１２、１３に関連づけることができる。このシステムでは、ＴＵＩによって、ファイルのデータベースを検索する活動や、グラフィック・メディア１１、１２、１３のサイジング、スケーリング及び移動をする活動の制御が可能である。ムービー１１及び３Ｄオブジェクト１２については、活動は、メディア・ファイルの再生／一時停止、早送り及び巻き戻しを含む。さらに、音量調節が可能である。
【００６２】
この例では、ＴＵＩはキューブである。キューブは、ボールや複雑な形状に比較して、自らの表面の一つに安定した物理的平衡を有しており、そのためトラックしたり感知したりすることが比較的容易である。このシステムでは、キューブの上面は、これら物理的平衡によって定義されている。さらに、キューブは、互いの上面に積み重ねることができる。積み重ね時には、キューブはコンパクトで安定した物理構造を形成する。このため、インタラクティブ・ワークスペースでの散乱が少なくなる。キューブは、ほとんどの人にとって子供の頃から親しんだ直感的かつ簡単なオブジェクトである。キューブは、掴むことができ、それによって人々は敏感な空間把握能力を利用することができ、物理的オブジェクト操作のための振る舞いに活用することができる。
【００６３】
キューブの位置及び動きは、視覚ベースのトラッキング・アルゴリズムを用いてメディア・プレーヤー・アプリケーションを介してグラフィック・メディアを操作することで、検出される。６つの互いに異なるマーカーがキューブの上に存在しており、１表面に１つのマーカーが存在する。他の例では、２つ以上のマーカーを一表面に配置することが可能である。そこでは各マーカーの互いに対する位置は知られておりしかも固定されている。なぜなら、キューブの表面同士の関係は知られているからである。キューブの位置を識別するためには、６つのマーカーのいずれか１つがトラックされる。これによって、相互作用中に片手又は両手がキューブの異なる部分を塞いでいるときでも、連続したトラッキングが保証される。このことは、キューブを操作する能力についての制限を最低限にすることで、キューブを直感的にかつ直接的に取り扱うことができることを意味している。
【００６４】
人工物の状態は、複数のクラスとのカップリング（結合）されている関係を切り替えるのに用いられる。キューブが自らの表面のいずれか一つに載置されているときに、各キューブの状態は１つのキューブの６つの物理的平衡状態から定義される。メディア・プレーヤー・アプリケーションとの相互作用については、わずか３つのクラスに対処するだけでよい。一つのキューブは、６つの状態を有しているため、単一のキューブは、３つのクラスとの適切なカップリング（結合）がなされる。このキューブは、「オブジェクト・キューブ」１４と呼ばれる。
【００６５】
しかし、仮想オブジェクトの仮想属性／方法（メソッド）１７を取り扱うのには、単一のキューブは不十分である。なぜなら、ムービー１１クラス及び３Ｄアニメーション・オブジェクト１２クラスのために結合の最大数はすでに６に達しているからである。カップリング（結合）の総数は、「キューブの６つの状態＜３クラス+６属性／方法（メソッド）１７」である。これは単一のキューブの限界を超えてしまう。そこで、第２のキューブが、仮想オブジェクトの仮想属性／方法（メソッド）１７をカップリング（結合）するために提供される。このキューブは、「方法キューブ」１５と呼ばれる。
【００６６】
「オブジェクト・キューブ」１４の状態は、表示されたオブジェクトのクラス及び「方法キューブ」１５が結合されるクラスを決定する。「方法キューブ」１５の状態は、どの仮想属性／方法（メソッド）１７に物理的な特性／アクション１８が結合されるかを決定する。関連する情報は、仮想オブジェクトさらにはキューブのために構造化され、さらにカテゴリー化される。図１（ｂ）は抽象化後のキューブ１６の構造を示す。
【００６７】
「オブジェクト・キューブ」１４は、グラフィカルメディアを収容するデータベースとして機能する。キューブの３つの有効な状態がある。キューブの上面がトラックされて３個の予め定められたマーカーの一つと一致する場合、キューブが継承したクラスのインスタンスを表示することだけが許可され、この例ではメディア・ファイルの種類である。キューブが回転又は変換されるときに、グラフィック仮想オブジェクトは、あたかもキューブの上面に取り付けられているかのように表示される。仮想オブジェクト及び物理的キューブの間のアタッチメント用の柔軟性を導入することも可能である。キューブのこれら状態は、「方法キューブ」１５のカップリング（結合）されたクラスを決定し、さらに継承したクラスにしたがってアクションへのカップリング（結合）を活性化又は不活性化する。
【００６８】
柔軟性については、マーカーが位置Ａで最後にトラックされた後に、ユーザーの手による塞がりによってシステムがマーカーのトラッキングを見失うかもしれない。マーカーが位置Ｂで後に再トラックされたときに、仮想オブジェクトは、位置Ａから位置Ｂに跳ねているので、仮想オブジェクトは、次のフレームに表示される。これにより、スムーズな移行が可能となって、システムがマーカー又はマーカー付きオブジェクトを見失ったときでもトラッキング・オブジェクト表示の点滅（チラツキ）が避けられる。
【００６９】
図２を参照すると、「方法キューブ」１５では、キューブの特性（プロパティ）／アクション１８は、仮想オブジェクトの３つのクラスの属性／方法（メソッド）１７にそれぞれマッピングされる。互いに異なる属性及び方法（メソッド）を有する仮想オブジェクトの３つの互いに異なるクラスがあるが、新しいインターフェースは、それら全てのために設計されなくても良い。その代わり、同じインターフェースをグループ化して、同様の方法（メソッド）／特性（プロパティ）を用いて同様の方法（メソッド）／特性（プロパティ）をさらに実装することで、重複度（冗長度）は減る。
【００７０】
図２では、「選択」メソッド１９、「スケールＸ−Ｙ」メソッド２０及び「変換」メソッド２１は、グラフィック・メディア・スーパークラス１３から継承される。これらは、同じインターフェース毎に制御のために一つにグループ化されることができる。「再生／停止のセット」メソッド２３、「アニメーション／停止のセット」メソッド、「音量調整」メソッド２４及び「フレーム位置のセット」メソッド２２は、個々のクラスに排他的関係にあってしかも実装において互いに異なる方法（メソッド）である。実行（実装）において異なるものの、同様な考え又はコンセプトを包含している方法（メソッド）１７は、やはり一つのインターフェースに基づいてグループ化可能である。図に示すように、物理的特性／アクション１８の一つのセット（設定）のみが、３つのクラス全てが共通に有する「スケール」メソッド２０とカップリング（結合）するために用いられる。これは、ＯＯＴＵＩにおける多様性（ｐｏｌｙｍｏｒｐｈｉｓｍ）の実行（実装）である。これは、分離可能なクラス間でのインターフェースまたは情報の複製を防止することで複数のＴＵＩを創り出すコンパクトで効率的な方法であり、そしてシステムにおけるインターフェースの数が減らされる。この方法論を用いることで、インターフェースの数は１５（画像のための方法（メソッド）−３つのインターフェース、ムービー−６つのインターフェース、３Ｄオブジェクト−６つのインターフェース）から６つのインターフェースにまで減る。これにより、システムは、単一のキューブの６個の状態によって取り扱い可能となる。
【００７１】
図３を参照すると、ピクチャーの第１列３０は、キューブが、方法（メソッド）３１とカップリング（結合）するための特性（プロパティ）を「ムービー」クラス１１から継承していることを示している。ユーザーは、継承したクラス内の「セット・フレーム」メソッド３２を用いてシーンを切り替えることができる。第２列３５は、ユーザーが「３Ｄオブジェクト」クラス１２の同じタスクをしていることを示している。第３列３６内の最初のピクチャーは、「画像」クラス１０が「セット・フレーム」メソッド３２を継承しておらず、そのため赤い十字が表面に現れていることを示している。２番目のピクチャーは、「オブジェクト・キューブ」１４が、赤い十字に示された定義されていない状態であることを示している。
【００７２】
ムービー１１オブジェクト及びアニメーション・オブジェクト１２の「セット・フレーム」３２メソッドに対する「方法キューブ」１５の回転アクションは、ムービーを見るための直感的なインターフェースである。この方法は、典型的なビデオプレーヤーにおける「早送り」及び「巻き戻し」といった機能を間接的に実現している。さらに、「方法キューブ」１５は、ユーザーにアニメーションの「再生／一時停止」を許可する。
【００７３】
ユーザーは、同じアクションにより、３つのクラス全てのグラフィック・メディアのサイズ測定をすることができる。つまり、「方法キューブ」１５を上面（状態２）の「＋」と共に回転させることでサイズ測定をすることができる。これは、「サイズ」メソッド２０を呼び出しており、この方法（メソッド）では、キューブのその上面の法線に対する角度を参照して、グラフィック・メディアのサイズを変更する。ＴＵＩの設計者の観点からは、「サイズ」メソッド２０は、３つのクラス１０、１１、１２に対して異なるように実装される。しかし、実装のこの違いはユーザーに知覚されず、つまりユーザートランスペアレント（ユーザーに気付かれないもの）である。
【００７４】
ユーザーの聴覚・視覚経験を増強させるために、視覚・聴覚効果が加えられて感情を揺さぶる経験が創り出される。例えば、アニメーション化された緑の丸い矢と赤い十字が、利用可能なアクションを示すのに用いられる。オーディオ・フィードバックは、オブジェクト・キューブ及び方法キューブ両方用の状態変化を示すための音響効果を含んでいる。
【００７５】
（例） ３Ｄボキャブラリ・ブック
図２２を参照すると、子供用３Ｄインタラクティブ・ボキャブラリ・ブックは、インタラクティブ・システムの一つのアプリケーションのである。３Ｄインタラクティブ・ボキャブラリ・ブックは、２つのキューブからの相互作用を必要とする。スクリーンショット上の左にある「オブジェクト・キューブ」は６面を有している。各面は、子供学習用３Ｄオブジェクトのカテゴリーを表している。図２２は、「乗り物」カテゴリーを示している。スクリーンショットの右側の「方法キューブ」は、「乗り物」データベースをナビゲートするのに使用される。ユーザーがキューブの上面の上方に示されたナビゲーション・パターンに従って「方法キューブ」を回転させると、「オブジェクト・キューブ」上方の３Ｄモデルが戦車から車に変化する。ポップアップ２Ｄテキストは、短い説明を含む互いに異なる言語で単語「戦車」を説明している。モデルはアニメーション化されていても良い。モデルがアニメーション化されている場合は、エンジン音は短い説明の人間による朗読とともに鳴らされる。互いに異なる言語における単語の異なる発音が再生されても良い。また、ユーザーにはオブジェクトをリサイズしたり動かしたりすることを含む相互作用が提供される。
【００７６】
（例） ３Ｄマジックストーリーキューブ・アプリケーション
インタラクティブ・システムのもう一つのアプリケーションは、３Ｄマジックストーリーキューブ・アプリケーションである。このアプリケーションでは、物語キューブは、有名な聖書物語、「ノアの箱船」について語る。アプリケーションが必要とするハードウェアは、コンピュータ、カメラ及び折り畳み可能なキューブである。コンピュータに対する最低限の要件は、少なくとも５１２ＭＢのＲＡＭ及び１２８ＭＢのグラフィックカードである。一例では、ＩＥＥＥ１３９４カメラが用いられる。ＩＥＥＥ１３９４カードがＩＥＥＥ１３９４カメラとのインターフェースを取るためにコンピュータに取り付けられる。このアプリケーションに適した２つのＩＥＥＥ１３９４カメラは、Ｄｒａｇｏｎｆｌｙカメラ又はＦｉｒｅｆｌｙカメラである。これら両方のカメラは、６４０ｘ４８０ピクセルの解像度及び３０Ｈｚの速度でカラー画像を取得可能である。これにより、折り畳み可能な有形のキューブを探りながら、ストーリーの３Ｄ版を見ることが可能である。カメラのキャプチャー速度が高くなればなるほど、待ち時間の低減によって複合現実感の経験がユーザーにとってより現実感を増す。カメラの解像度が高くなればなるほど、画像がより詳細になり、その結果トラッキングの正確さを向上させる。折り畳み可能なキューブは、３ＤストーリーテリングのためのＴＵＩとして用いられる。ユーザーはキューブを単方向に展開可能である。折り畳み可能なキューブは、先には、キューブ表面に印刷された図面を有する２Ｄストーリーテリングに用いられていた。
【００７７】
本アプリケーションに用いられるソフトウェア及びソフトウェア・ライブラリーは、マイクロソフトＶｉｓｕａｌ Ｃ++６．０、ＤｉｒｅｃｔＸ、ＯｐｅｎＧＬ、ＧＬＵＴ及びＭＸＲ開発ツールキットである。マイクロソフトＶｉｓｕａｌ Ｃ++６．０は、開発ツールとして使用される。これは、全て統合されたエディタ、コンパイラ及びデバッガを備えており、コーディング及びソフトウェア開発を簡単にしている。他のコンポーネント用ライブラリも統合されている。仮想現実（ＶＲ）モードでは、ＤｉｒｅｃｔＸ、ＯｐｅｎＧＬ及びＧＬＵＴがグラフィック表示のために重要な役割を果たしている。ＯｐｅｎＧＬは、ポータブルでインタラクティブな２Ｄ及び３Ｄグラフィックスアプリケーションを開発するのに最高の環境である。ＯｐｅｎＧＬは、ＶＲモードにおける２Ｄ及び３Ｄグラフィックスの全ての操作を担当している。ＧＬＵＴは、ＯｐｅｎＧＬユーティリティ・ツールキットであり、ＯｐｅｎＧＬプログラムを書くためのツールキットから独立したウィンドウシステムである。それはＯｐｅｎＧＬのためのウィンドウのアプリケーション・プログラミング・インターフェース（ＡＰＩ）を実装するのに用いられる。ＭＸＲ開発ツールキットによって、開発者は拡張現実感（ＡＲ）ソフトウェア・アプリケーションを作ることができる。それは、ビデオのキャプチャリングとマーカーの認識に主に用いられるアプリケーションをプログラムするのに用いられる。ＭＸＲツールキットは、基準をトラックして基準内のパターンを認識するコンピュータ・ビジョン・ツールである。各面にユニークなマーカーを有するキューブを使用することで、ＭＸＲツールキットにより、キューブの位置がコンピュータによって連続的にトラック可能となる。
【００７８】
図４を参照すると、３Ｄマジックストーリーキューブ・アプリケーションは、簡単な状態遷移モデル４０をインタラクティブなストーリーテリングに適用している。ユーザーがキューブを特定の物理的状態４１に展開すると、オーディオ及び３Ｄアニメーションの適切なセグメントが予め定められた順番に再生される。状態遷移は、現状態のコンテンツが再生された場合にのみ、引き起こされる。ＯＯＴＵＩコンセプトを適用することで、折り畳み可能なキューブの各状態４２の仮想結合が、ディジタルのアニメーションの１ページにマッピングされる。
【００７９】
図５を参照すると、アルゴリズム５０は、各展開されたページの上に１つの互いに異なるマーカーを有する折り畳み可能なキューブをトラックするように設計されている。マーカーの相対位置はトラックされ（５１）さらに記録される（５２）。このアルゴリズムによって、連続したトラッキングが保証され、さらに、いつ１ページが一度最後まで再生されたかを決定する。これによって、物語が一方向に探求されて、そのため物語が連続した物語の進行を維持できる。ストーリーの全ページが最後まで一度再生されると、ユーザーはシーン演技をもう一度見るためにストーリーの任意のページに戻ることができる。
【００８０】
システムを設計する際に心にとめておくべきいくつかの設計配慮は、悪い照明状況におけるシステムの堅牢性及び画像解像度である。キューブの展開は一方向であり、キューブが展開される度にストーリーの新しい１ページが現れる。ユーザーは、キューブに描かれたストーリーを非拡張ビュー（２Ｄビュー）及び拡張されたビュー（３Ｄビュー）の両方で見ることができる。物語のシナリオは、キューブの表面で拡張された３Ｄグラフィックスである。
【００８１】
ＡＲの語りは、３Ｄ操作及び３Ｄ触感に加えて３Ｄグラフィックス及び音響を導入することで、魅力的かつ分かりやすい経験を提供する。ユーザーは、物語を経験する際に参加型・探求型役割を楽しむことができる。物理的キューブは、感触及び物理的相互作用の感覚を提供し、それにより自然でかつ直感的な相互作用を得ることができる。例えば、ユーザーは、制御キューブを物語キューブの近くに動かして、新しいストーリーキャラクター又はストーリーオブジェクトを削除したり追加したりできる。さらに、物理的キューブによって、互いと自然に交流することができるので、聴衆との社交的ストーリーテリングが可能になる。
【００８２】
キューブを展開する際のユーザーの相互作用及び直感を増強するため、ストーリーの各ページ又はセグメントが再生された後に、アニメーション化された矢が現れてキューブを展開する方向を示す。さらに、使われた３Ｄ仮想モデルは９６％のわずかな透明度を有しており、ユーザーの手がまだ部分的に見えるようになっている。その結果、キューブをどのように操作するかについて視覚フィードバックが得られる。
【００８３】
一つの特定のマーカーがトラックされるとき、物語キューブの各ページのレンダリングが実行される。マーカーは小さくできるため、１ページ上の複数のマーカーを持たせることも可能である。複数のマーカーは、すでに知られたレイアウト内の同じ表面に位置しているため、マーカーの一つをトラックすることで、他のマーカーの位置の把握を保証する。これは、より堅牢なトラッキングを促進する性能問題である。
【００８４】
同期を補助するために、コンピュータのシステムクロックが、プログラムに用いられる様々なカウンターをインクリメントするのに用いられる。これにより、プログラムが互いに異なるコンピュータに対して様々な速度で実行できるようになる。別の例として、フレームレートを一定にする方法が用いられ、そこでは一定のフレーム数が一秒ごとにレンダリングされる。一定のフレームレートを達成するため、一秒を多くの同サイズのタイムスライスに分割し、各フレームのレンダリングを、各タイムスライスの開始時に開始させる。アプリケーションは、各フレームのレンダリングが１つのタイムスライスより長くかからないことを保証しなければならない。さもないと、フレーム周波数を一定にすることができず、破綻する。３Ｄマジックストーリーキューブ・アプリケーションのレンダリングのための最大可能なフレームレートを計算するため、最も複雑なシーンをレンダリングするのに必要な時間量を測定する。この測定により、毎秒フレーム数が算出される。
【００８５】
（例） インテリア・デザイン・アプリケーション
インタラクティブ・システムのために開発されたさらなるアプリケーションは、インテリア・デザイン・アプリケーションである。このアプリケーションでは、家具カタログとしてのブックを用いることで、ＭＸＲツールキットが部屋の位置を示す家具ボードと共に用いられる。
【００８６】
ＭＸＲツールキットは、各マーカーの位置を提供するが、仮想オブジェクトに相互作用させるためのコマンドの情報を提供しない。キューブは掴むことが可能であり、そのためユーザーは仮想オブジェクトのより典型的な感触を得ることができる。キューブは掴むことが可能であるので、ハンドルを振り回すのに比較して、運動の自由度は、制限がより少ない。キューブは、知られた関係にある６つの結合されたマーカーからなるオブジェクトとして、トラックされる。これにより、１つのマーカーが塞がれていたり覆われていたりするときでも、キューブの連続的なトラッキングが保証される。
【００８７】
キューブに加えて、家具ボードは６つのマーカーを有している。トラッキング精度の満足がいくレベルを得るためには、家具ボードの上に１つのマーカーを用いることさえできればよい。しかし、複数の印を用いると、１つの基準が塞がれていない限り、堅牢なトラッキングを可能にする。このことは、キューブ及びボードの連続したトラッキングに重要である。
【００８８】
特別な家具アイテムを選択するために、ユーザーは、各ページ上の１つのマーカーを有する家具カタログ又はブックを用いる。このコンセプトは、すでに述べられた３Ｄマジックストーリーキューブ・アプリケーションと同様である。ユーザーは、キューブをマーカーの横のローディング領域内に置く。この領域は、家具をＡＲモードで見るための選択の家具のカテゴリーを表している。
【００８９】
図１４を参照すると、キューブを用いて実行されるべきタスクを決定するのに先立って、ＯＯＴＵＩを適用することで、ソフトウェア開発者は複雑なインターフェースを取り扱えるようになっている。最初に、問題（対象）にしている仮想オブジェクト及びそれらの属性及び方法（メソッド）が決定される。仮想オブジェクトは、２つのグループに分類される。積み重ね可能なオブジェクト１４０及び積み重ね不能なオブジェクト１４１である。積み重ね可能なオブジェクト１４０は、他のオブジェクト、例えば、植物、テレビ及びハイファイ・ユニット（ハイファイ装置）の上面に配置可能なオブジェクトである。それらは地面の上に置くこともできる。両方のグループ１４０、１４１は、それらの親クラス、つまり、３Ｄ家具１４２から属性及び方法（メソッド）を継承している。積み重ね可能なオブジェクト１４０は、それ自身が置かれているオブジェクトに対する相対位置のさらなる属性１４３を有している。この抽象化の結果が図１４（ａ）に示されている。
【００９０】
仮想ツールキューブ１４４については、キューブの６個の平衡状態は、状態を決定する複数のファクターの中の一つとして、定義される。このキューブに対する２、３の追加属性があり、それらは家具カタログ及びボードを補足するように使われる。よって、例えば、ブック１４５及びボード１４６に対するキューブの相対位置のような、いくつかの追加の属性を持つことになる。キューブ親クラス１４４から継承した属性にカップリング（結合）されたこれらの追加の属性は、キューブの様々な状態を決定する。この要約の結果が図１４（ｂ）に示されている。
【００９１】
オブジェクトを直感的に掴み上げるため、以下の行為が必要である。
【００９２】
１）所望のオブジェクトに近接した位置に移動する
２）キューブを用いた「掴み上げ」ジェスチャーを行う
掴み上げられたオブジェクトは落とされるまで手のジェスチャーに従う。実際のオブジェクトが落とされると、以下のことが予期される。
【００９３】
１）手が落とすジェスチャーをしたときのみ、オブジェクトは落下を開始する
２）重力の法則に従って、落とされたオブジェクトは、オブジェクトの落下前の位置から真下に落ちる。
【００９４】
３）もしオブジェクトが角度を付けて落とされると、オブジェクトは落とされた後に角度を付けられたように見える。
【００９５】
これらは、仮想オブジェクトに拡張現実感を追加することを支配する基本的原則である。
【００９６】
図６を参照すると、ＯＯＴＵＩを適用すると、家具を追加するためにカップリング（結合）６０が物理的世界６１及び仮想世界６２との間に形成される。キューブを変換するコンセプト６３は、他の方法、例えば、家具を削除したり再配置したりすることに用いられる。同様なマッピングはキューブの他の面にもなされる。
【００９７】
ブック及びボードに対するキューブの関係を決定するため、仮想オブジェクトに対するキューブの位置及び近接度を検出する必要がある。ＭＸＲツールキットを用いることで、カメラに対する各マーカーの座標が分かる。この情報を用いて、行列計算が実行されて、ブック及びボードを含む他のアイテムに対するキューブの近接度及び相対位置が検出される。
【００９８】
図７は、どのようにして仮想オブジェクトの「掴み上げ」７０及び「落下」７１により家具７２がボードに追加されるかを例示するためのスクリーンショットの詳細な連続したストリップを示している。
【００９９】
図８を参照すると、家具アイテムを追加するのと同様に、「掴み上げ」８０及び落下の考えは、家具を再配置するのにも用いられる。追加を表す「＋」マーカーとは対照的に、「右向きの矢印」マーカー８１は、「右向きの矢印」マーカー８１が上面となるように用いられることで、全ての方向に移動可能であることを表す。図９は、家具を再配置するための仮想結合を示している。
【０１００】
ＡＲシステムを設計する際に、仮想オブジェクトの物理的制約は、実際のオブジェクトとして表される。家具を部屋の中に持ち込む際には、望みの仮想家具を部屋内で動かすとき物理的制約がある。仮想家具アイテムがすでにその位置にあるときは、ユーザーは他の家具アイテムをその位置に「落とす」ことができない。ユーザーが家具アイテムを落とすことができる最も近い位置は、ボード上の存在する家具アイテムの直近にある。
【０１０１】
図１０を参照すると、より小さな仮想家具アイテムはより大きなアイテムの上に積み上げられることができる。例えば、植物やテレビセットといったアイテムは、地面の上だけでなく、本棚やテーブルの上に置くことができる。同様に、地面に置かれたアイテムは再配置されて、もう一つのアイテムの上面に積み上げられる。図１０は、地面から拾われて本棚の一番上に置かれた植物を示している。
【０１０２】
図１１を参照すると、オブジェクトを直感的に削除又は外へ出すために、以下の行為が必要である。
【０１０３】
１）所望のオブジェクトに近接した位置に行く（１１０）。
【０１０４】
２）キューブを用いて、「掴み上げ」ジェスチャーを行う（１１１）。
【０１０５】
３）手による投げつけ動作（ｆｌｉｎｇｉｎｇ ｍｏｔｉｏｎ）を行う（１１２）。
【０１０６】
図１２を参照すると、ある家具アイテムは他の家具アイテムの上に積み上げることができる。このことは、ある仮想オブジェクトについてグループ化及び集団化関係１２０を形成することになる。図１２は、家具をひとまとめにして再配置するタスクにおいて（グループ化されたオブジェクト用の）大きなキューブを使用する場合を示している。
【０１０７】
視覚・聴覚フィードバックが追加されて、ユーザーの直感を増加させる。これにより、ユーザー経験は拡張され、さらにユーザーの接触、音及び視覚の感覚が有効に活用される。異なるイベントが生じるときに、様々な音が追加される。これらのイベントは、家具オブジェクトを選択すること、掴み上げること、追加すること、再配置すること及び削除することを含んでいる。さらに、家具アイテムがボード上の他のオブジェクトに衝突すると、ユーザーが家具アイテムを新しい位置に動かすまで、絶え間ないビープ音が連続して鳴り続ける。このことで、拡張された有形のユーザー・インターフェースがより直感的なものになる。視覚と聴覚両方のフィードバックをもたらすことでユーザーとの相互作用が増えるからである。
【０１０８】
インテリア・デザイン・アプリケーションで用いられるハードウェアは、家具ボード及びキューブを含んでいる。インテリア・デザイン・アプリケーションは先に述べられた単一のマーカートラッキングを拡張する。複数のオブジェクトをトラックするためにキューブは３次元であるのに対し、家具ボードは、２次元である。
【０１０９】
図１３を参照すると、ユーザーＩＤカードをトラックする方法は、共有ホワイトボードカード１３０をトラックすることまで拡張される。６個のマーカー１３１は、システムの堅牢性を増加するようにボード１３０の位置をトラックするのに用いられる。複数のマーカー１３１に対する変換行列は、視認可能なマーカーから推定される。利用可能なマーカーの数が少ないと、エラーが発生する。各マーカー１３１は、自らの中にユニークな模様（パターン）１３２を有しており、その模様（パターン）によってシステムがマーカー１３１を識別できるようになっている。マーカー１３１は、水平方向に又は垂直方向に整列されることになっており、これによりボード回転が推定可能となる。
【０１１０】
ショールームは、ボードの計算された中心１３３に対してレンダリングされる。上述の特定のマーカーがトラックされるとき、ボードの中心１３３は、プリセットされたＸ変位とＹ変位を用いていくつかの簡単な変換を行うことで、計算される。これら計算された中心１３３は、トラックされたマーカー１３１の数に基づいて平均化される。これにより、マーカー１３１がトラックされている限り、ボード１３０上での家具ショールームの連続したトラッキング及びレンダリングが確実になされる。
【０１１１】
マーカー１３１の表面は、視線と平行に接近しているとき、認識に使われるピクセル数が少なくなればなるほどトラッキングはより難しくなる。マーカーがひっくり返ると、トラッキングは失われる。マーカー１３１の全領域は確実にトラッキングを行うために常に見えていなければならないので、マーカー１３１におけるいかなる塞がりも許されない。このことによって、操作及び自然な両手によるインタラクションの困難さが発生してしまう。
【０１１２】
図１５を参照すると、このアルゴリズムの１つの利点は、それが両手でキューブを直接操作可能にすることにある。片手がキューブを操作するのに用いられる場合、キューブの６面の少なくとも１つの面が検出される限りは、キューブは常にトラックされる。キューブをトラックするのに用いられるアルゴリズムは以下の通りである。
【０１１３】
１．全ての表面マーカー１５０を検出し、各検出された面に対して対応する変換行列（Ｔｃｍ）を計算する。
【０１１４】
２．最高のトラッキング信頼性を有する表面を選択し、その表面ＩＤを認識する。すなわち、上面、底面、左、右、前及び後ろである。
【０１１５】
３．選択したマーカーとキューブとの物理的関係に基づいて、マーカー座標系からオブジェクト座標系（Ｔｍｏ）１５１への変換行列を計算する。
【０１１６】
４．オブジェクト座標系１５１からカメラ座標系（Ｔｃｏ）１５２への変換行列は、Ｔｃｏ=Ｔｃｍ-1×Ｔｍｏの式によって計算される。
【０１１７】
図１６は、小さなキューブ１６１及び大きいキューブ１６２のサーチが同時に行われているボード１６０におけるＡＲインテリア・デザイン・アプリケーションの実行を示している。
【０１１８】
キューブが家具カタログのマーカー１３１に近いときにユーザーが仮想オブジェクトを掴み上げることができるためには、キューブと仮想オブジェクトとの間の相対距離が分かっている必要がある。ＭＸＲツールキットは、各マーカー１３１のカメラ座標を返すため、マーカーが距離を計算するのに用いられる。キューブ上のマーカーと仮想オブジェクト用マーカーとの距離は、マーカーに対するキューブの近接度を求めるのに、用いられる。
【０１１９】
各マーカーのカメラ座標を求めることが可能である。このことは、キューブ上のマーカーのカメラ座標及び仮想オブジェクトのマーカーのカメラ座標は、ＭＸＲツールキットによって提供されていることを意味する。言い換えると、カメラに対するキューブ・マーカーの座標及び仮想オブジェクトマーカーの座標は知られている。ＴＡは、カメラ源（原点）から仮想オブジェクトマーカーへの変換行列である。ＴＢは、カメラ源（原点）からキューブ・マーカーへの変換行列である。しかし、これではキューブ・マーカーと仮想オブジェクトマーカーとの関係は得られない。座標から、有効距離を見つけることができる。
【０１２０】
ＴＡ−１を求めることで、仮想オブジェクトからカメラ源（原点）への変換行列が得られる。この情報を用いることで、キューブの仮想オブジェクトマーカーに対する相対位置が得られる。キューブと仮想オブジェクトとの近接度は興味の対象でしかない。それゆえ、仮想オブジェクトからキューブへの変換のみが必要とされ（すなわち、Ｔｘ、Ｔｙ、Ｔｚ）、回転コンポーネントは無視され得る。
【０１２１】
【数１】
（数式１）
【０１２２】
Ｔｚは、ブック又はボード上に置かれたときにキューブを測定するのに用いられる。これは、オブジェクトの掴み上げ及び落下のためのステージを設定する。この値は、キューブの上面にあるマーカーに対するキューブの高さに対応する。しかし、キューブの高さあたりの所定の範囲は、トラッキングの不正確さの原因となっている（トラッキングの不正確さの説明として許される）。
【０１２３】
Ｔｘ及びＴｙは、キューブがブック又はボードの所定の範囲にあるか否かを決定するのに用いられる。これにより、キューブが、ブックの近くで、かつローディング領域にある場合は、「追加」モードに入る。キューブは、ボードの周辺又はボード中心からある半径内にある場合は、キューブの再配置、削除、追加又は他のオブジェクトへの積み重ねが可能となっている。
【０１２４】
キューブの状態を決定するいくつかのパラメータがあり、キューブの上面、キューブの高さ、及びキューブのボード及びブックに対する位置を含んでいる。
【０１２５】
システムは、初期化ステップによってキャリブレーションがなされ、キューブの相互作用及び操作の間にキューブの上面を決定することができる。このステップは、キューブがテーブルの上に置かれたときに、開始前のテーブルの法線のキャプチャリングを含んでいる。このようにして、キューブがテーブルの上方で操作されているときに、キューブ及びテーブル上面の法線を比較することで、キューブの上面を決定することができる。キューブの変換行列は、ｔｆｍテーブルと呼ばれる行列内にキャプチャーされる。変換行列は、カメラに対するマーカーの位置及び向きの情報全てを包含している。正確な用語を用いると、トラッキング・フレームのレファレンスのフレーム内の点を、カメラのレファレンスのフレーム内の点に変換するのは、ユークリッド変換行列である。プログラムの全体構造は以下のように定義される。
【０１２６】
数式１の最終列は、好ましい計算に影響を与えないので省略される。最初の９個の要素（エレメント）は、３×３回転行列を形成し、さらにオブジェクトの向きを規定する。キューブの上面を決定するために、各面をトラッキングすることで得られた変換行列が用いられ、以下の数式が算出される。キューブの各面のための変換行列は、ｔｆｍＣｕｂｅと呼ばれる。
【０１２７】
Dot_product = tfmCube.r13*tfmTable.r13+
tfmCube.r23*tfmTable.r23+
tfmCube.r33*tfmTable.r33
（数式２）
数式２の変換行列を用いたときに最大のDot_product値となる面が、キューブの上面として決定される。キューブがブック及びボードに対してどの位置にあるかも考慮される。キューブの４つの位置状態は、オンボード、オフボード、オンブック及びオフブックとして定義される。キューブの状態と位置との関係は以下のようになる。
図１７を参照すると、家具の追加は、「+」マーカーをキューブ１７０の上面として使うことで行われる（１７０）。これは、家具カタログの近くに連れて行かれ、望みの家具のページが現れる。キューブがブック上にある（オンブック）と検出された場合（１７１）、仮想家具オブジェクトがキューブの上面に飛び出てくる。回転動作を用いることで、ユーザーは、キューブが回転している間に互いに異なる仮想家具アイテムが飛び出してくるので、カタログを「ブラウズ」することができる。キューブが掴み上げられる（オフブック）とき、キューブ上に見られる最後の仮想家具アイテムが掴み上げられる（１７２）。
【０１２８】
キューブがボード上にある（オンボード）と検出されるとき、ユーザーは、キューブをボードから持ち上げる（オフボード）ことで家具をキューブに追加できる（１７３）。家具を再配置するために、「右向きの矢印」マーカーを上面として、キューブはボードの上に置かれる（オンボード）。キューブがボード上に置かれているとき、ユーザーは、キューブを所望の家具の中心に動かすことで、家具を「掴み上げ」ることができる。
【０１２９】
図１８を参照すると、家具が「掴み上げられる」（オフボード）とき、家具はキューブの上面にレンダリングされ、オーディオ・ヒントが演奏される（鳴らさせる）（１８０）。次に、ユーザーは、ボード上のキューブを所望の位置に動かす。位置が選択されるとき、ユーザーは、単にキューブをボードから持ち上げて、その位置１８１に落とす。
【０１３０】
図１９を参照すると、家具を削除するために、キューブは、「ｘ」マーカーを上面１９０として、ボード上に置かれる（オンボード）。キューブがボード上にあると検出された場合、ユーザーは、キューブを所望の家具の中心に動かすことで、家具を選択できる。家具の選択が成功した場合、家具はキューブの上面にレンダリングされ、オーディオ・ヒントが演奏される（鳴らされる）（１９１）。次に、ユーザーはキューブをボードから持ち上げて（オフボード）、家具を削除する（１９２）。
【０１３１】
家具が導入又は再配置されるときに、忘れてはならない問題は家具の物理的制約である。現実と同様に、拡張現実感ワールドの家具は、他の家具に衝突したり「交差」したりすることができない。ゆえに、ユーザーは、家具型の家具に衝突する場合にその家具を追加することができない。
【０１３２】
図２０を参照すると、家具アイテム同士が衝突する問題を解決する一つの方法は、４つの境界となる座標２００と、衝突状態になっている家具の座標系に加えられている家具の中心とを転換することである。ポイントｐｔ０、ｐｔ１、ｐｔ２、ｐｔ３、ｐｔ４ ２００は、ボード上の家具のＵ−Ｖ軸に転換される。これら５点のＵ−Ｖ座標は、次にボード２０１上の家具のｘ方向長さ及びｙ方向幅に対してチェックされる。
【０１３３】
ＵN=ｃｏｓθ（ＸN−Ｘ0）+ｓｉｎθ（ＹN−Ｙ0）
ＶN=ｓｉｎθ（ＸN−Ｘ0）+ｃｏｓθ（ＹN−Ｙ0）
この式において、
（ＵN、ＶN）は、ボード上の家具に対して新しく転換された座標であり、
θは、ボード上の家具がＸ−Ｙ座標に対してなす角度であり、
（Ｘ0，Ｙ0）は、ボード上の家具のＸ−Ｙ中心座標であり、
（ＸN，ＹN）は、キューブ上の家具のいずれかのＸ−Ｙ座標である（図からは、それらは、ｐｔ０、ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４を表している。）
Ｕ−Ｖ座標のいずれかがＵN＜ｘ方向長さ ＆＆ ＶN＜ｙ方向幅であれば、音響が鳴らされる。これは、ユーザーに対して、家具アイテムをその位置に落とせず、家具アイテムを落とす前に他の位置に移動しなければならないことを示している。
【０１３４】
物を上面に積み重ね可能なテーブルや本棚といった家具については、フラグがスタックド（ｓｔａｃｋｅｄ）と呼ばれる家具構造（ｆｕｒｎｉｔｕｒｅ ｓｔｒｕｃｔｕｒｅ）において提供される。このフラグは、植物、ハイファイ・ユニット（ハイファイ装置）又はテレビといったオブジェクトがこのオブジェクトの上面にリリースされたことを検出されるときに、真（ｔｒｕｅ）に設定される。オブジェクトのこのカテゴリーは、それらの上に置かれたオブジェクトが４つまで許される。この種の家具は、例えば、植物であるであるが、ボードの中心に対する相対行列に加えて、その構造に、テーブルまたは棚に対して、積み上げたオブジェクトの相対変換行列を格納（保存）する。カメラが大きいキューブの上面「左向きの矢印」又は「ｘ」を検出すると、それはオブジェクトをひとまとめにして再配置及び削除するモードに突入する。このようにして、テーブル又は本棚が掴まれ、さらに積み重ねられたことを示すフラグが真（ｔｒｕｅ）である場合、テーブル又は棚上のオブジェクトは、その構造内に格納された相対変換行列を用いるキューブに従ってレンダリングされる。
【０１３５】
図２１に示すように、仮想オブジェクト同士の相互作用は、キューブ同士の空間的関係に対して応答するようにしてもよい。２つのキューブの距離は、物語のシーン内の物語キャラクターと他の仮想オブジェクトとの間の相互作用を定義するのに用いられる。第１スクリーンショットでは、ユーザーは、中国王女の仮想オブジェクトを有する小さなキューブを、惑星仮想オブジェクトを有する、より大きなキューブに向けて動かす。システム２１０は、常に小さなキューブと大きなキューブとの空間的関係を測定している。空間的関係がある条件を満たしている場合、例えば、小さいキューブとそれより大きいキューブとの距離は十分近くなっており、仮想オブジェクトからの応答が生じる。この例では、より大きなキューブに関連する仮想オブジェクトは、第２スクリーンショットで描かれるように惑星から薔薇に変化する。
【０１３６】
マーカーとして通常の形状が説明されてきたが、マーカーは不規則な形状であっても良い。ボーダーを有するマーカーが説明されてきたが、いくつか実施形態はボーダーが不要であることが予測される。不規則形状のマーカーについては、マーカーのための模様（パターン）は、以下のことができる。
・自らを表面の残りの部分から区別する。つまり、マーカーのＩＤを異ならせる。
・背景から容易に分離可能となる高コントラストエッジを有している。したがって、色は、必ずしも白黒にのみ制限される必要はない。
・さらにトラッキングのための少なくとも４つの特徴点を有する。変換行列を計算しているときに、少なくとも４つの特徴点が識別される。しかし、コーナーの代わりに、大きな黒点といった他の特徴点が用いられても良い。
【０１３７】
すでに述べられた不規則なトラッキング方法は、正方形マーカー使用法を補うことができる。正方形のコーナー又は辺が塞がれているときは、不規則なトラッキングが一時的な補助として使われる。
【０１３８】
インタラクティブ・システム２１０は、マイクロソフトのウィンドウズＸＰプラットフォームにおいてＶｉｓｕａｌ Ｃ++６．０を用いてプログラムされているが、他のプログラミング言語も可能であり、また他のプラットフォーム、例えば、ＬｉｎｕｘやＭａｃＯＳＸも使用可能である。
【０１３９】
Ｄｒａｇｏｎｆｌｙカメラ２１１が説明に用いられたが、少なくとも６４０ｘ４８０ピクセルのビデオ解像度を有するウェブカメラであれば使用可能である。
【０１４０】
システム２１０は、上記一実施形態ではソフトウェアとして説明したが、全てのソフトウェア機能を、カメラの電気回路に接続された回路に組み込んでハード・ワイヤード化することで実現することもできる。ゆえに、コンピュータ・ソフトウェアの画像処理機能はカメラ単独で実行されることになると予測される。
【０１４１】
したがって、コンピュータ・ソフトウェアの画像処理機能は、カメラ単独で実行されることが予想される。
【０１４２】
当業者にとっては、具体的な実施形態に示すように、広く述べられた本発明の範囲又は精神から逸脱することなく、本発明について多くの変形及び／又は変更が可能であることは理解されるであろう。本実施形態は、したがって、全ての点において例示に過ぎず制限を行うものではない。
【図面の簡単な説明】
【０１４３】
【図１】グラフィック・メディア及びインタラクティブ・システムのキューブの「抽象化」を示すクラス図である。
【図２】インタラクティブ・システムの「方法キューブ」内で定義された状態及びカップリング（結合）のマッピングを示すテーブルである。
【図３】インタラクティブ・システム内の「継承」を示す図表である。
【図４】３Ｄマジックストーリーキューブ・アプリケーション内の仮想カップリング（仮想結合）を示すテーブルである。
【図５】３Ｄマジックストーリーキューブ・アプリケーションのプロセスフロー図である。
【図６】インテリア・デザイン・アプリケーション内で家具を追加するための仮想カップリング（仮想結合）を示すテーブルである。
【図７】仮想オブジェクトの「掴み上げ」及び「落下」がどのように家具をボードに追加するかを例示する一連のスクリーンショットである。
【図８】家具を再配置する方法を例示する一連のスクリーンショットである。
【図９】家具を再配置するための仮想カップリング（仮想結合）を示すテーブルである。
【図１０】仮想オブジェクトの「掴み上げ」及び「落下」がどのように家具をボードに積み上げるかを例示する一連のスクリーンショットである。
【図１１】家具をボードから放り出すことを示す一連のスクリーンショットである。
【図１２】家具をまとめて再配置することを例示する一連のスクリーンショットである。
【図１３】インテリア・デザイン・アプリケーション内で用いられる６個のマーカーの描画表示である。
【図１４】仮想及び物理的オブジェクトの抽象化とカプセル化を示すクラス図である。
【図１５】トラッキング・キューブの座標系を例示する概略図である。
【図１６】インテリア・デザイン・アプリケーションのプラグラムのフローのプロセスフロー図である。
【図１７】家具を追加するためのプロセスフロー図である。
【図１８】家具を再配置するためのプロセスフロー図である。
【図１９】家具を削除するためのプロセスフロー図である。
【図２０】インテリア・デザイン・アプリケーションにおける家具アイテムの衝突を描いている。
【図２１】キューブ同士の空間的関係に対応する仮想オブジェクト同士の相互作用を例示する一連のスクリーンショットである。
【図２２】３Ｄボキャブラリブック・アプリケーションからの１つのスクリーンショットである。
【技術分野】
【０００１】
本発明は、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムに関する。
【背景技術】
【０００２】
コンピュータ用のユーザー・インターフェースに関しては、比較的わずかな変化しか生じていない。何十年もの間、コンピュータに用いられる標準の入力デバイスは、キーボードとマウスである。最近、人気のある発展としては、ブルートゥース又は無線周波数を用いてデスクトップ端末と交信するワイヤレスキーボード及びマウスがある。これにより、ケーブルは不要になるが、これらのキーボード及びマウスは電池を必要とする。別の直感的入力方法は、音声認識である。この方法では、コンピュータがユーザーの声を認識して理解することが必要であり、さらに対応するコマンドを実行することが必要である。音声認識は、コンピュータを訓練してユーザーの話し方を認識するようにする事が必要である。しかし、正確さは、未だに、コンピュータの処理能力、マイクの質及びユーザーが喋る言葉の明瞭性に頼っている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
コンピュータとの間でのこのようにインターフェースをとることは、煩雑であって直感的ではないため、ユーザーの不満を引き起こしている。
【課題を解決するための手段】
【０００４】
本発明の第１の好ましい側面として、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムが提供され、システムは、
各面に１つのマーカーを有する少なくとも２つの面を有するオブジェクトと、
第１シーンにおけるオブジェクトの複数の画像をキャプチャーするための画像キャプチャリング・デバイスと、
オブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのコンピュータ・ソフトウェアとを備えている。
【０００５】
コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。この結果、ユーザーに複合現実感の経験がもたらされる。
【０００６】
有利な点として、オブジェクトの上面が塞がれている場合は、他の面のマーカーを識別可能であるため上面のマーカーを確認可能であり、オブジェクトのトラックが可能である。
【０００７】
好ましくは、マーカーは、単一のギャップを有する不連続のボーダーを含んでいる。
【０００８】
有利な点として、ギャップはボーダーの対称性を崩しており、そのためマーカー同士の相違を増やしている。
【０００９】
より好ましくは、マーカーは、ボーダー内の画像を備えている。この画像は、マーカーを識別するためのテンプレート／マッチングを促進する幾何学模様（幾何学的パターン）であってもよい。この模様は、見本のレポジトリに格納された見本（見本パターン）にマッチすることができても良い。
【００１０】
さらに好ましくは、ボーダー及び画像は、白い背景上の黒色であっても良い。有利な点として、これによって、変化する照明条件のマイナスの影響が少なくなる。
【００１１】
マーカーは、自らが識別されるために塞がれていない状態であっても良い。
【００１２】
マーカーは、先に定められた形状であっても良い。マーカーを識別するために、少なくとも形状の一部は、コンピュータ・ソフトウェアによって認識される。コンピュータ・ソフトウェアは、形状の検出された部分を用いて、マーカーの完全な先に決定された形状を決定しても良い。例えば、先に定められた形状が正方形である場合、コンピュータ・ソフトウェアは、１つのコーナーが塞がれていた場合、マーカーが正方形であると判断することができる。
【００１３】
コンピュータ・ソフトウェアは、ボーダーが部分的に塞がれておりボーダー内の模様が塞がれていない場合は、マーカーを識別しても良い。
【００１４】
インタラクティブ・システムは、さらにモニター、テレビスクリーン又はＬＣＤ等の、第２シーンが生成されると同時に第２シーンを表示するためのディスプレイ・デバイスを有していても良い。ディスプレイ・デバイスは、画像キャプチャリング・デバイスのビュー・ファインダー、又は画像若しくはビデオを投影するプロジェクタであっても良い。ディスプレイ・デバイスのビデオフレーム・レートは毎秒１２〜３０フレーム（１２［ｆｐｓ］〜３０［ｆｐｓ］）であっても良い。
【００１５】
画像キャプチャリング・デバイスは、ディスプレイ・デバイスの上方に取り付けられても良いし、画像キャプチャリング・デバイス及びディスプレイ・デバイスの両方がユーザーを向いていても良い。オブジェクトは、ユーザーとディスプレイ・デバイスとの間で操作可能であっても良い。
【００１６】
マルチメディア・コンテンツは、２Ｄ画像（２次元画像）又は３Ｄモデル（３次元モデル）、ビデオとオーディオの情報を含んでいても良い。
【００１７】
好ましくは、オブジェクトの少なくとも２つの面は実質的に平面である。
【００１８】
好ましくは、少なくとも２つの面は互いに接続されている。
【００１９】
オブジェクトは、キューブ又は多面体であっても良い。
【００２０】
オブジェクトは、折り畳み可能であり、例えばストーリーを語るための折り畳み可能なキューブであってもよい。
【００２１】
コンピュータ・ソフトウェアは、パーソナル・デジタル・アシスタント（PDA)、携帯電話、その他のモバイル・コミュニケーション・デバイス、または、内蔵コンピュータ・プロセッサ付きのコンソール・ボックスといった、モバイルのコンピューティング・デバイスやデスクトップのコンピューティング・デバイスにインストールされてもよい。
【００２２】
画像キャプチャリング・デバイスはカメラであっても良い。カメラはＣＣＤ又はＣＭＯＳビデオカメラであっても良い。
【００２３】
カメラ、コンピュータ・ソフトウェア及びディスプレイ・デバイスは、単一の統合ユニット内に設けられても良い。
【００２４】
カメラ、コンピュータ・ソフトウェア及びディスプレイ・デバイスは、互いに遠く離れた位置に設けられていても良い。
【００２５】
関連するマルチメディア・コンテンツは、表示されるビデオ・フレームごとに、関連するマルチメディア・コンテンツを第１シーンにレンダリングすることで、第１シーンに重ね合わされても良い。
【００２６】
オブジェクトの位置は３次元空間で計算しても良い。位置関係は、カメラとオブジェクトの間で推定されても良い。
【００２７】
カメラ画像は、しきい値処理されても良い。隣接する暗い領域は、コネクトテッド・コンポーネント・アルゴリズム（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔｓ ａｌｇｏｒｉｔｈｍ）を用いて識別されても良い。
【００２８】
輪郭探求技術は、これらの暗い領域のアウトラインを識別できる。４つのコーナーを有さない輪郭は放棄されても良い。間違ったサイズの領域を有する輪郭は放棄されても良い。
【００２９】
複数の直線は、正方形輪郭の各側に合致するようにしても良い。複数の直線の交点はコーナー位置の推定として用いられる。
【００３０】
射影変換は、これらのコーナーによって規定された領域をワープして標準の形状にするために用いられても良い。標準の形状は、マーカーの格納された見本パターンと相互相関関係にあり、それによってマーカーが識別され、マーカーの向きが検出される。
【００３１】
マーカーコーナーの位置は、マーカー位置に対するカメラ位置に関連するユニークなユークリッド行列変換を識別（特定）するために用いることができる。
【００３２】
インタラクティブ・システムは、ストーリーテリング・アプリケーション又はインテリア・デザイン・アプリケーションであっても良い。
【００３３】
システムは、少なくとも２つのオブジェクトをさらに備えていても良い。そこでは、少なくとも２つのオブジェクトの空間的関係が決定されると、識別されたマーカーに関連するマルチメディア・コンテンツから先に定められた応答（予め設定されたレスポンス）を生じさせる。
【００３４】
空間的関係は、オブジェクト同士の、距離、積み上げ、及び塞がりからなるグループの１つから選ぶことができる。
【００３５】
先に定められた応答は、関連するマルチメディア・コンテンツ、少なくとも一つの関連マルチメディア・コンテンツのアニメーション及び関連するマルチメディア・コンテンツの少なくとも１つのオーディオ・レコーディングの再生の相互作用からなるグループから選択可能である。
【００３６】
本発明の第２の側面として、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムが提供され、システムは、第１シーン内のオブジェクトの複数の画像をキャプチャーするための画像キャプチャリング・デバイスと、１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのコンピュータ・ソフトウェアとを備えている。
【００３７】
コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。その結果、複合現実感の経験がユーザーにもたらされる。
【００３８】
本発明の第３の側面では、複合現実感の経験をユーザーにもたらすためのソフトウェア・アプリケーションが提供され、アプリケーションは、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取るための画像処理モジュールと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしてさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、を備えている。
【００３９】
ソフトウェア・アプリケーションは、識別されたマーカーに関連するマルチメディア・コンテンツ取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。この結果、複合現実感の経験がユーザーにもたらされる。
【００４０】
本発明の第４の側面では、仮想オブジェクトを取得して複合現実感の経験をユーザーにもたらすための取得モジュールが提供され、モジュールは、
識別されたマーカーに関連するマーカー識別データを受け取るためのデータ・レシーバと、
マーカー識別データに関連する仮想オブジェクトを求めて仮想オブジェクトデーターベースを検索するための検索ツールと、を備えている。
【００４１】
マッチングが検出されると、仮想オブジェクトは、実際のシーン上の識別されたマーカーに関連する位置に重ね合わせられる。その結果、複合現実感の経験がユーザーにもたらされる。
【００４２】
１つの識別されたマーカーは、２つ以上の対応仮想オブジェクトを有していても良い。
【００４３】
本発明の第５の側面では、複合現実感の経験をユーザーにもたらすための関連するマルチメディア・コンテンツのレポジトリが提供され、レポジトリは、
マルチメディア・コンテンツの各アイテムを識別するための識別データフィールドと、
マルチメディア・コンテンツのアイテム又はマルチメディア・コンテンツの１つのアイテムの格納位置を格納するためのコンテンツデータのフィールドと、を備えている。
【００４４】
識別されたマーカーに関連するマーカー識別データは、識別データフィールドに関して検索され、さらに識別されたマーカーに関連するマルチメディア・コンテンツは取得されて実際のシーン上の識別されたマーカーに対する位置に重ね合わされる。その結果、複合現実感の経験がユーザーにもたらされる。
【００４５】
本発明の第６の側面では、複合現実感の経験をユーザーにもたらすための複合現実感コンテンツを搬送する信号が提供され、信号は、
実際のシーンと、実際のシーン上の識別されたマーカーに対する位置に重ね合わされた識別されたマーカーに関連するマルチメディア・コンテンツとを含むグラフィック情報を備えている。
【００４６】
識別されたマーカーは、各面におけるマーカーを有するオブジェクトの少なくとも２つの面をトラックすることで識別される。
【００４７】
信号は、識別されたマーカーに関連するオーディオ情報をさらに備えていても良い。
【００４８】
本発明の第７の側面では、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムに用いられる有形のオブジェクトが提供され、オブジェクトは、
少なくとも２つの面と、
各面における不連続のボーダー及びボーダー内の画像を含んでいるマーカーと、を備えている。
【００４９】
ボーダーの不連続は、ボーダー内の画像の配置（位置合わせ）及びオブジェクトの向きを示している。
【００５０】
オブジェクトの位置及び向きは、オブジェクトの少なくとも１面をトラックすることで、トラックされることができる。
【００５１】
本発明の第８の側面では、複合現実感の経験をユーザーにもたらすためのインタラクティブ・システムで用いられる有形のオブジェクト用のマーカーが提供され、マーカーは、
不連続のボーダー及びボーダー内の画像を備え、
シーン内のマーカーを識別するため、ボーダーはシーン内に配置されており、さらにボーダー内の画像は、画像レポジトリ内のマッチング・イメージを見つけるためにサーチされる。
【００５２】
マーカーが識別されると、コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得することができる。
【００５３】
本発明の第９の側面では、複合現実感の経験をユーザーにもたらすためのオブジェクトをトラッキングする方法が提供され、この方法は、
各面に１つのマーカーがあるオブジェクトの各面のために対応する変換行列を計算するステップと、
最高のトラッキング信頼性を有する表面を識別するステップと、
識別された表面とオブジェクトとの物理的関係に基づいて、マーカー座標系からオブジェクト座標系への変換行列を計算するステップとを備えている。
【００５４】
オブジェクト座標系からカメラ座標系への変換行列は、オブジェクト座標系から表面座標系への変換行列に表面座標系からカメラ座標系への変換行列を乗算することで、計算される。
【００５５】
本発明の第１０の側面では、複合現実感の経験をユーザーにもたらすための画像キャプチャリング・デバイスが提供され、このデバイスは、
第１シーン内の１つのオブジェクトの複数の画像をキャプチャーするための画像キャプチャリング・モジュールと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、を備えている。
【００５６】
デバイスは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに第１シーン上の識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンを生成する。この結果、複合現実感の経験をユーザーにもたらす。
【００５７】
本発明の第１１の側面では、コンピュータプログラム・プロダクトが提供される。このプロダクトは、コンピュータにより実行可能なインストラクション（命令）を担持するためのコンピュータにより読み取り可能なメディアからなる。インストラクションは、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取ることと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、第１シーン内のオブジェクトの位置及び向きをトラックすることと、を備えている。
【００５８】
識別されたマーカーに関連するマルチメディア・コンテンツは取得され、第１シーン上の識別されたマーカーに対する位置に重ね合わされた関連するマルチメディア・コンテンツを含む第２シーンが生成される。この結果、複合現実感の経験がユーザーにもたらされる。
【発明を実施するための最良の形態】
【００５９】
図面及び以下の説明は、本発明が実施可能となる適切なコンピュータ環境の短く一般的な説明を提供することを意図している。必ずしも必須ではないが、本発明は、コンピュータにより実行可能なインストラクションの一般的なコンテクストにおいて説明される。インストラクションは、例えば、パーソナルコンピュータによって実行される複数のプログラム・モジュールである。一般的に、プログラム・モジュールは、特別なタスクを実施する又は特別な抽象データ型を実装するルーチーン、プログラム、文字、コンポーネント、データ構造である。当業者なら理解するように、本発明は、他のコンピュータシステムの構成によっても実施できる。他のコンピュータシステムの構成には、手持ちデバイス、マルチプロセッサ・システム、マイクロプロセッサ搭載の又はプログラム可能な民生用電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、コンソール・ボックス等が含まれる。本発明は、分散コンピュータ環境でも実施できる。そこでは、通信ネットワークによってリンクされた離れた複数の処理装置によってタスクが実行される。分散コンピュータ環境では、プログラム・モジュールは、ローカルのメモリ・ストレージ装置とリモートのメモリ・ストレージ装置との両方に配置されても良い。
【００６０】
図１を参照すると、コンピュータに搭載されたソフトウェア・アプリケーションと相互作用可能なインタラクティブ・システムが提供されている。この例では、ソフトウェア・アプリケーションは、メディア・ファイルを再生するためのメディア・プレーヤー・アプリケーションである。メディア・ファイルは、ＡＶＩムービーファイル又はＷＡＶオーディオ・ファイルを含んでいる。インタラクティブ・システムは、マイクロソフトのウィンドウズＸＰプラットフォームでＶｉｓｕａｌＣ++６．０を用いてプログラムされたソフトウェア、コンピュータのモニター、及びデスクトップ領域をトラックするためのモニターの上方に設置されたＤｒａｇｏｎｆｌｙカメラを備えている。
【００６１】
簡単なタンジブル・ユーザー・インターフェース（ＴＵＩ）を用いる複雑なインタラクションは、オブジェクト指向タンジブル・ユーザー・インターフェース（ＯＯＴＵＩ）コンセプトをインタラクティブ・システム用のソフトウェア開発に応用することで可能になっている。それぞれ異なるクラスのオブジェクトからの属性及び方法（メソッド）は、オブジェクト指向プログラミング（ＯＯＰ）技術を用いて抽象化されている。図１の（ａ）は、階層的な方法で構造化され（階層構造を有し）、複数の共通点がスーパークラスであるグラフィック・メディア１３の下で分類されている（クラス化されている）仮想オブジェクト（画像１０、ムービー１１、３Ｄアニメーション・オブジェクト１２）を示している。仮想オブジェクトに対応する３つのサブクラスは、画像１０、ムービー１１及び３Ｄアニメーション・オブジェクト１２である。これらのサブクラスは、属性及び方法（メソッド）をグラフィック・メディア・スーパークラス１３から継承している。ムービー１１及び３Ｄアニメーション・オブジェクト１２サブクラスは、自らのクラスに固有な属性及び方法（メソッド）を含んでいる。これらの属性及び方法（メソッド）は、ＴＵＩの状態によって決定されるＴＵＩの物理的特性及びアクションに結合されている。関連するオーディオ情報、例えば、音響効果を、グラフィック・メディア１１、１２、１３に関連づけることができる。このシステムでは、ＴＵＩによって、ファイルのデータベースを検索する活動や、グラフィック・メディア１１、１２、１３のサイジング、スケーリング及び移動をする活動の制御が可能である。ムービー１１及び３Ｄオブジェクト１２については、活動は、メディア・ファイルの再生／一時停止、早送り及び巻き戻しを含む。さらに、音量調節が可能である。
【００６２】
この例では、ＴＵＩはキューブである。キューブは、ボールや複雑な形状に比較して、自らの表面の一つに安定した物理的平衡を有しており、そのためトラックしたり感知したりすることが比較的容易である。このシステムでは、キューブの上面は、これら物理的平衡によって定義されている。さらに、キューブは、互いの上面に積み重ねることができる。積み重ね時には、キューブはコンパクトで安定した物理構造を形成する。このため、インタラクティブ・ワークスペースでの散乱が少なくなる。キューブは、ほとんどの人にとって子供の頃から親しんだ直感的かつ簡単なオブジェクトである。キューブは、掴むことができ、それによって人々は敏感な空間把握能力を利用することができ、物理的オブジェクト操作のための振る舞いに活用することができる。
【００６３】
キューブの位置及び動きは、視覚ベースのトラッキング・アルゴリズムを用いてメディア・プレーヤー・アプリケーションを介してグラフィック・メディアを操作することで、検出される。６つの互いに異なるマーカーがキューブの上に存在しており、１表面に１つのマーカーが存在する。他の例では、２つ以上のマーカーを一表面に配置することが可能である。そこでは各マーカーの互いに対する位置は知られておりしかも固定されている。なぜなら、キューブの表面同士の関係は知られているからである。キューブの位置を識別するためには、６つのマーカーのいずれか１つがトラックされる。これによって、相互作用中に片手又は両手がキューブの異なる部分を塞いでいるときでも、連続したトラッキングが保証される。このことは、キューブを操作する能力についての制限を最低限にすることで、キューブを直感的にかつ直接的に取り扱うことができることを意味している。
【００６４】
人工物の状態は、複数のクラスとのカップリング（結合）されている関係を切り替えるのに用いられる。キューブが自らの表面のいずれか一つに載置されているときに、各キューブの状態は１つのキューブの６つの物理的平衡状態から定義される。メディア・プレーヤー・アプリケーションとの相互作用については、わずか３つのクラスに対処するだけでよい。一つのキューブは、６つの状態を有しているため、単一のキューブは、３つのクラスとの適切なカップリング（結合）がなされる。このキューブは、「オブジェクト・キューブ」１４と呼ばれる。
【００６５】
しかし、仮想オブジェクトの仮想属性／方法（メソッド）１７を取り扱うのには、単一のキューブは不十分である。なぜなら、ムービー１１クラス及び３Ｄアニメーション・オブジェクト１２クラスのために結合の最大数はすでに６に達しているからである。カップリング（結合）の総数は、「キューブの６つの状態＜３クラス+６属性／方法（メソッド）１７」である。これは単一のキューブの限界を超えてしまう。そこで、第２のキューブが、仮想オブジェクトの仮想属性／方法（メソッド）１７をカップリング（結合）するために提供される。このキューブは、「方法キューブ」１５と呼ばれる。
【００６６】
「オブジェクト・キューブ」１４の状態は、表示されたオブジェクトのクラス及び「方法キューブ」１５が結合されるクラスを決定する。「方法キューブ」１５の状態は、どの仮想属性／方法（メソッド）１７に物理的な特性／アクション１８が結合されるかを決定する。関連する情報は、仮想オブジェクトさらにはキューブのために構造化され、さらにカテゴリー化される。図１（ｂ）は抽象化後のキューブ１６の構造を示す。
【００６７】
「オブジェクト・キューブ」１４は、グラフィカルメディアを収容するデータベースとして機能する。キューブの３つの有効な状態がある。キューブの上面がトラックされて３個の予め定められたマーカーの一つと一致する場合、キューブが継承したクラスのインスタンスを表示することだけが許可され、この例ではメディア・ファイルの種類である。キューブが回転又は変換されるときに、グラフィック仮想オブジェクトは、あたかもキューブの上面に取り付けられているかのように表示される。仮想オブジェクト及び物理的キューブの間のアタッチメント用の柔軟性を導入することも可能である。キューブのこれら状態は、「方法キューブ」１５のカップリング（結合）されたクラスを決定し、さらに継承したクラスにしたがってアクションへのカップリング（結合）を活性化又は不活性化する。
【００６８】
柔軟性については、マーカーが位置Ａで最後にトラックされた後に、ユーザーの手による塞がりによってシステムがマーカーのトラッキングを見失うかもしれない。マーカーが位置Ｂで後に再トラックされたときに、仮想オブジェクトは、位置Ａから位置Ｂに跳ねているので、仮想オブジェクトは、次のフレームに表示される。これにより、スムーズな移行が可能となって、システムがマーカー又はマーカー付きオブジェクトを見失ったときでもトラッキング・オブジェクト表示の点滅（チラツキ）が避けられる。
【００６９】
図２を参照すると、「方法キューブ」１５では、キューブの特性（プロパティ）／アクション１８は、仮想オブジェクトの３つのクラスの属性／方法（メソッド）１７にそれぞれマッピングされる。互いに異なる属性及び方法（メソッド）を有する仮想オブジェクトの３つの互いに異なるクラスがあるが、新しいインターフェースは、それら全てのために設計されなくても良い。その代わり、同じインターフェースをグループ化して、同様の方法（メソッド）／特性（プロパティ）を用いて同様の方法（メソッド）／特性（プロパティ）をさらに実装することで、重複度（冗長度）は減る。
【００７０】
図２では、「選択」メソッド１９、「スケールＸ−Ｙ」メソッド２０及び「変換」メソッド２１は、グラフィック・メディア・スーパークラス１３から継承される。これらは、同じインターフェース毎に制御のために一つにグループ化されることができる。「再生／停止のセット」メソッド２３、「アニメーション／停止のセット」メソッド、「音量調整」メソッド２４及び「フレーム位置のセット」メソッド２２は、個々のクラスに排他的関係にあってしかも実装において互いに異なる方法（メソッド）である。実行（実装）において異なるものの、同様な考え又はコンセプトを包含している方法（メソッド）１７は、やはり一つのインターフェースに基づいてグループ化可能である。図に示すように、物理的特性／アクション１８の一つのセット（設定）のみが、３つのクラス全てが共通に有する「スケール」メソッド２０とカップリング（結合）するために用いられる。これは、ＯＯＴＵＩにおける多様性（ｐｏｌｙｍｏｒｐｈｉｓｍ）の実行（実装）である。これは、分離可能なクラス間でのインターフェースまたは情報の複製を防止することで複数のＴＵＩを創り出すコンパクトで効率的な方法であり、そしてシステムにおけるインターフェースの数が減らされる。この方法論を用いることで、インターフェースの数は１５（画像のための方法（メソッド）−３つのインターフェース、ムービー−６つのインターフェース、３Ｄオブジェクト−６つのインターフェース）から６つのインターフェースにまで減る。これにより、システムは、単一のキューブの６個の状態によって取り扱い可能となる。
【００７１】
図３を参照すると、ピクチャーの第１列３０は、キューブが、方法（メソッド）３１とカップリング（結合）するための特性（プロパティ）を「ムービー」クラス１１から継承していることを示している。ユーザーは、継承したクラス内の「セット・フレーム」メソッド３２を用いてシーンを切り替えることができる。第２列３５は、ユーザーが「３Ｄオブジェクト」クラス１２の同じタスクをしていることを示している。第３列３６内の最初のピクチャーは、「画像」クラス１０が「セット・フレーム」メソッド３２を継承しておらず、そのため赤い十字が表面に現れていることを示している。２番目のピクチャーは、「オブジェクト・キューブ」１４が、赤い十字に示された定義されていない状態であることを示している。
【００７２】
ムービー１１オブジェクト及びアニメーション・オブジェクト１２の「セット・フレーム」３２メソッドに対する「方法キューブ」１５の回転アクションは、ムービーを見るための直感的なインターフェースである。この方法は、典型的なビデオプレーヤーにおける「早送り」及び「巻き戻し」といった機能を間接的に実現している。さらに、「方法キューブ」１５は、ユーザーにアニメーションの「再生／一時停止」を許可する。
【００７３】
ユーザーは、同じアクションにより、３つのクラス全てのグラフィック・メディアのサイズ測定をすることができる。つまり、「方法キューブ」１５を上面（状態２）の「＋」と共に回転させることでサイズ測定をすることができる。これは、「サイズ」メソッド２０を呼び出しており、この方法（メソッド）では、キューブのその上面の法線に対する角度を参照して、グラフィック・メディアのサイズを変更する。ＴＵＩの設計者の観点からは、「サイズ」メソッド２０は、３つのクラス１０、１１、１２に対して異なるように実装される。しかし、実装のこの違いはユーザーに知覚されず、つまりユーザートランスペアレント（ユーザーに気付かれないもの）である。
【００７４】
ユーザーの聴覚・視覚経験を増強させるために、視覚・聴覚効果が加えられて感情を揺さぶる経験が創り出される。例えば、アニメーション化された緑の丸い矢と赤い十字が、利用可能なアクションを示すのに用いられる。オーディオ・フィードバックは、オブジェクト・キューブ及び方法キューブ両方用の状態変化を示すための音響効果を含んでいる。
【００７５】
（例） ３Ｄボキャブラリ・ブック
図２２を参照すると、子供用３Ｄインタラクティブ・ボキャブラリ・ブックは、インタラクティブ・システムの一つのアプリケーションのである。３Ｄインタラクティブ・ボキャブラリ・ブックは、２つのキューブからの相互作用を必要とする。スクリーンショット上の左にある「オブジェクト・キューブ」は６面を有している。各面は、子供学習用３Ｄオブジェクトのカテゴリーを表している。図２２は、「乗り物」カテゴリーを示している。スクリーンショットの右側の「方法キューブ」は、「乗り物」データベースをナビゲートするのに使用される。ユーザーがキューブの上面の上方に示されたナビゲーション・パターンに従って「方法キューブ」を回転させると、「オブジェクト・キューブ」上方の３Ｄモデルが戦車から車に変化する。ポップアップ２Ｄテキストは、短い説明を含む互いに異なる言語で単語「戦車」を説明している。モデルはアニメーション化されていても良い。モデルがアニメーション化されている場合は、エンジン音は短い説明の人間による朗読とともに鳴らされる。互いに異なる言語における単語の異なる発音が再生されても良い。また、ユーザーにはオブジェクトをリサイズしたり動かしたりすることを含む相互作用が提供される。
【００７６】
（例） ３Ｄマジックストーリーキューブ・アプリケーション
インタラクティブ・システムのもう一つのアプリケーションは、３Ｄマジックストーリーキューブ・アプリケーションである。このアプリケーションでは、物語キューブは、有名な聖書物語、「ノアの箱船」について語る。アプリケーションが必要とするハードウェアは、コンピュータ、カメラ及び折り畳み可能なキューブである。コンピュータに対する最低限の要件は、少なくとも５１２ＭＢのＲＡＭ及び１２８ＭＢのグラフィックカードである。一例では、ＩＥＥＥ１３９４カメラが用いられる。ＩＥＥＥ１３９４カードがＩＥＥＥ１３９４カメラとのインターフェースを取るためにコンピュータに取り付けられる。このアプリケーションに適した２つのＩＥＥＥ１３９４カメラは、Ｄｒａｇｏｎｆｌｙカメラ又はＦｉｒｅｆｌｙカメラである。これら両方のカメラは、６４０ｘ４８０ピクセルの解像度及び３０Ｈｚの速度でカラー画像を取得可能である。これにより、折り畳み可能な有形のキューブを探りながら、ストーリーの３Ｄ版を見ることが可能である。カメラのキャプチャー速度が高くなればなるほど、待ち時間の低減によって複合現実感の経験がユーザーにとってより現実感を増す。カメラの解像度が高くなればなるほど、画像がより詳細になり、その結果トラッキングの正確さを向上させる。折り畳み可能なキューブは、３ＤストーリーテリングのためのＴＵＩとして用いられる。ユーザーはキューブを単方向に展開可能である。折り畳み可能なキューブは、先には、キューブ表面に印刷された図面を有する２Ｄストーリーテリングに用いられていた。
【００７７】
本アプリケーションに用いられるソフトウェア及びソフトウェア・ライブラリーは、マイクロソフトＶｉｓｕａｌ Ｃ++６．０、ＤｉｒｅｃｔＸ、ＯｐｅｎＧＬ、ＧＬＵＴ及びＭＸＲ開発ツールキットである。マイクロソフトＶｉｓｕａｌ Ｃ++６．０は、開発ツールとして使用される。これは、全て統合されたエディタ、コンパイラ及びデバッガを備えており、コーディング及びソフトウェア開発を簡単にしている。他のコンポーネント用ライブラリも統合されている。仮想現実（ＶＲ）モードでは、ＤｉｒｅｃｔＸ、ＯｐｅｎＧＬ及びＧＬＵＴがグラフィック表示のために重要な役割を果たしている。ＯｐｅｎＧＬは、ポータブルでインタラクティブな２Ｄ及び３Ｄグラフィックスアプリケーションを開発するのに最高の環境である。ＯｐｅｎＧＬは、ＶＲモードにおける２Ｄ及び３Ｄグラフィックスの全ての操作を担当している。ＧＬＵＴは、ＯｐｅｎＧＬユーティリティ・ツールキットであり、ＯｐｅｎＧＬプログラムを書くためのツールキットから独立したウィンドウシステムである。それはＯｐｅｎＧＬのためのウィンドウのアプリケーション・プログラミング・インターフェース（ＡＰＩ）を実装するのに用いられる。ＭＸＲ開発ツールキットによって、開発者は拡張現実感（ＡＲ）ソフトウェア・アプリケーションを作ることができる。それは、ビデオのキャプチャリングとマーカーの認識に主に用いられるアプリケーションをプログラムするのに用いられる。ＭＸＲツールキットは、基準をトラックして基準内のパターンを認識するコンピュータ・ビジョン・ツールである。各面にユニークなマーカーを有するキューブを使用することで、ＭＸＲツールキットにより、キューブの位置がコンピュータによって連続的にトラック可能となる。
【００７８】
図４を参照すると、３Ｄマジックストーリーキューブ・アプリケーションは、簡単な状態遷移モデル４０をインタラクティブなストーリーテリングに適用している。ユーザーがキューブを特定の物理的状態４１に展開すると、オーディオ及び３Ｄアニメーションの適切なセグメントが予め定められた順番に再生される。状態遷移は、現状態のコンテンツが再生された場合にのみ、引き起こされる。ＯＯＴＵＩコンセプトを適用することで、折り畳み可能なキューブの各状態４２の仮想結合が、ディジタルのアニメーションの１ページにマッピングされる。
【００７９】
図５を参照すると、アルゴリズム５０は、各展開されたページの上に１つの互いに異なるマーカーを有する折り畳み可能なキューブをトラックするように設計されている。マーカーの相対位置はトラックされ（５１）さらに記録される（５２）。このアルゴリズムによって、連続したトラッキングが保証され、さらに、いつ１ページが一度最後まで再生されたかを決定する。これによって、物語が一方向に探求されて、そのため物語が連続した物語の進行を維持できる。ストーリーの全ページが最後まで一度再生されると、ユーザーはシーン演技をもう一度見るためにストーリーの任意のページに戻ることができる。
【００８０】
システムを設計する際に心にとめておくべきいくつかの設計配慮は、悪い照明状況におけるシステムの堅牢性及び画像解像度である。キューブの展開は一方向であり、キューブが展開される度にストーリーの新しい１ページが現れる。ユーザーは、キューブに描かれたストーリーを非拡張ビュー（２Ｄビュー）及び拡張されたビュー（３Ｄビュー）の両方で見ることができる。物語のシナリオは、キューブの表面で拡張された３Ｄグラフィックスである。
【００８１】
ＡＲの語りは、３Ｄ操作及び３Ｄ触感に加えて３Ｄグラフィックス及び音響を導入することで、魅力的かつ分かりやすい経験を提供する。ユーザーは、物語を経験する際に参加型・探求型役割を楽しむことができる。物理的キューブは、感触及び物理的相互作用の感覚を提供し、それにより自然でかつ直感的な相互作用を得ることができる。例えば、ユーザーは、制御キューブを物語キューブの近くに動かして、新しいストーリーキャラクター又はストーリーオブジェクトを削除したり追加したりできる。さらに、物理的キューブによって、互いと自然に交流することができるので、聴衆との社交的ストーリーテリングが可能になる。
【００８２】
キューブを展開する際のユーザーの相互作用及び直感を増強するため、ストーリーの各ページ又はセグメントが再生された後に、アニメーション化された矢が現れてキューブを展開する方向を示す。さらに、使われた３Ｄ仮想モデルは９６％のわずかな透明度を有しており、ユーザーの手がまだ部分的に見えるようになっている。その結果、キューブをどのように操作するかについて視覚フィードバックが得られる。
【００８３】
一つの特定のマーカーがトラックされるとき、物語キューブの各ページのレンダリングが実行される。マーカーは小さくできるため、１ページ上の複数のマーカーを持たせることも可能である。複数のマーカーは、すでに知られたレイアウト内の同じ表面に位置しているため、マーカーの一つをトラックすることで、他のマーカーの位置の把握を保証する。これは、より堅牢なトラッキングを促進する性能問題である。
【００８４】
同期を補助するために、コンピュータのシステムクロックが、プログラムに用いられる様々なカウンターをインクリメントするのに用いられる。これにより、プログラムが互いに異なるコンピュータに対して様々な速度で実行できるようになる。別の例として、フレームレートを一定にする方法が用いられ、そこでは一定のフレーム数が一秒ごとにレンダリングされる。一定のフレームレートを達成するため、一秒を多くの同サイズのタイムスライスに分割し、各フレームのレンダリングを、各タイムスライスの開始時に開始させる。アプリケーションは、各フレームのレンダリングが１つのタイムスライスより長くかからないことを保証しなければならない。さもないと、フレーム周波数を一定にすることができず、破綻する。３Ｄマジックストーリーキューブ・アプリケーションのレンダリングのための最大可能なフレームレートを計算するため、最も複雑なシーンをレンダリングするのに必要な時間量を測定する。この測定により、毎秒フレーム数が算出される。
【００８５】
（例） インテリア・デザイン・アプリケーション
インタラクティブ・システムのために開発されたさらなるアプリケーションは、インテリア・デザイン・アプリケーションである。このアプリケーションでは、家具カタログとしてのブックを用いることで、ＭＸＲツールキットが部屋の位置を示す家具ボードと共に用いられる。
【００８６】
ＭＸＲツールキットは、各マーカーの位置を提供するが、仮想オブジェクトに相互作用させるためのコマンドの情報を提供しない。キューブは掴むことが可能であり、そのためユーザーは仮想オブジェクトのより典型的な感触を得ることができる。キューブは掴むことが可能であるので、ハンドルを振り回すのに比較して、運動の自由度は、制限がより少ない。キューブは、知られた関係にある６つの結合されたマーカーからなるオブジェクトとして、トラックされる。これにより、１つのマーカーが塞がれていたり覆われていたりするときでも、キューブの連続的なトラッキングが保証される。
【００８７】
キューブに加えて、家具ボードは６つのマーカーを有している。トラッキング精度の満足がいくレベルを得るためには、家具ボードの上に１つのマーカーを用いることさえできればよい。しかし、複数の印を用いると、１つの基準が塞がれていない限り、堅牢なトラッキングを可能にする。このことは、キューブ及びボードの連続したトラッキングに重要である。
【００８８】
特別な家具アイテムを選択するために、ユーザーは、各ページ上の１つのマーカーを有する家具カタログ又はブックを用いる。このコンセプトは、すでに述べられた３Ｄマジックストーリーキューブ・アプリケーションと同様である。ユーザーは、キューブをマーカーの横のローディング領域内に置く。この領域は、家具をＡＲモードで見るための選択の家具のカテゴリーを表している。
【００８９】
図１４を参照すると、キューブを用いて実行されるべきタスクを決定するのに先立って、ＯＯＴＵＩを適用することで、ソフトウェア開発者は複雑なインターフェースを取り扱えるようになっている。最初に、問題（対象）にしている仮想オブジェクト及びそれらの属性及び方法（メソッド）が決定される。仮想オブジェクトは、２つのグループに分類される。積み重ね可能なオブジェクト１４０及び積み重ね不能なオブジェクト１４１である。積み重ね可能なオブジェクト１４０は、他のオブジェクト、例えば、植物、テレビ及びハイファイ・ユニット（ハイファイ装置）の上面に配置可能なオブジェクトである。それらは地面の上に置くこともできる。両方のグループ１４０、１４１は、それらの親クラス、つまり、３Ｄ家具１４２から属性及び方法（メソッド）を継承している。積み重ね可能なオブジェクト１４０は、それ自身が置かれているオブジェクトに対する相対位置のさらなる属性１４３を有している。この抽象化の結果が図１４（ａ）に示されている。
【００９０】
仮想ツールキューブ１４４については、キューブの６個の平衡状態は、状態を決定する複数のファクターの中の一つとして、定義される。このキューブに対する２、３の追加属性があり、それらは家具カタログ及びボードを補足するように使われる。よって、例えば、ブック１４５及びボード１４６に対するキューブの相対位置のような、いくつかの追加の属性を持つことになる。キューブ親クラス１４４から継承した属性にカップリング（結合）されたこれらの追加の属性は、キューブの様々な状態を決定する。この要約の結果が図１４（ｂ）に示されている。
【００９１】
オブジェクトを直感的に掴み上げるため、以下の行為が必要である。
【００９２】
１）所望のオブジェクトに近接した位置に移動する
２）キューブを用いた「掴み上げ」ジェスチャーを行う
掴み上げられたオブジェクトは落とされるまで手のジェスチャーに従う。実際のオブジェクトが落とされると、以下のことが予期される。
【００９３】
１）手が落とすジェスチャーをしたときのみ、オブジェクトは落下を開始する
２）重力の法則に従って、落とされたオブジェクトは、オブジェクトの落下前の位置から真下に落ちる。
【００９４】
３）もしオブジェクトが角度を付けて落とされると、オブジェクトは落とされた後に角度を付けられたように見える。
【００９５】
これらは、仮想オブジェクトに拡張現実感を追加することを支配する基本的原則である。
【００９６】
図６を参照すると、ＯＯＴＵＩを適用すると、家具を追加するためにカップリング（結合）６０が物理的世界６１及び仮想世界６２との間に形成される。キューブを変換するコンセプト６３は、他の方法、例えば、家具を削除したり再配置したりすることに用いられる。同様なマッピングはキューブの他の面にもなされる。
【００９７】
ブック及びボードに対するキューブの関係を決定するため、仮想オブジェクトに対するキューブの位置及び近接度を検出する必要がある。ＭＸＲツールキットを用いることで、カメラに対する各マーカーの座標が分かる。この情報を用いて、行列計算が実行されて、ブック及びボードを含む他のアイテムに対するキューブの近接度及び相対位置が検出される。
【００９８】
図７は、どのようにして仮想オブジェクトの「掴み上げ」７０及び「落下」７１により家具７２がボードに追加されるかを例示するためのスクリーンショットの詳細な連続したストリップを示している。
【００９９】
図８を参照すると、家具アイテムを追加するのと同様に、「掴み上げ」８０及び落下の考えは、家具を再配置するのにも用いられる。追加を表す「＋」マーカーとは対照的に、「右向きの矢印」マーカー８１は、「右向きの矢印」マーカー８１が上面となるように用いられることで、全ての方向に移動可能であることを表す。図９は、家具を再配置するための仮想結合を示している。
【０１００】
ＡＲシステムを設計する際に、仮想オブジェクトの物理的制約は、実際のオブジェクトとして表される。家具を部屋の中に持ち込む際には、望みの仮想家具を部屋内で動かすとき物理的制約がある。仮想家具アイテムがすでにその位置にあるときは、ユーザーは他の家具アイテムをその位置に「落とす」ことができない。ユーザーが家具アイテムを落とすことができる最も近い位置は、ボード上の存在する家具アイテムの直近にある。
【０１０１】
図１０を参照すると、より小さな仮想家具アイテムはより大きなアイテムの上に積み上げられることができる。例えば、植物やテレビセットといったアイテムは、地面の上だけでなく、本棚やテーブルの上に置くことができる。同様に、地面に置かれたアイテムは再配置されて、もう一つのアイテムの上面に積み上げられる。図１０は、地面から拾われて本棚の一番上に置かれた植物を示している。
【０１０２】
図１１を参照すると、オブジェクトを直感的に削除又は外へ出すために、以下の行為が必要である。
【０１０３】
１）所望のオブジェクトに近接した位置に行く（１１０）。
【０１０４】
２）キューブを用いて、「掴み上げ」ジェスチャーを行う（１１１）。
【０１０５】
３）手による投げつけ動作（ｆｌｉｎｇｉｎｇ ｍｏｔｉｏｎ）を行う（１１２）。
【０１０６】
図１２を参照すると、ある家具アイテムは他の家具アイテムの上に積み上げることができる。このことは、ある仮想オブジェクトについてグループ化及び集団化関係１２０を形成することになる。図１２は、家具をひとまとめにして再配置するタスクにおいて（グループ化されたオブジェクト用の）大きなキューブを使用する場合を示している。
【０１０７】
視覚・聴覚フィードバックが追加されて、ユーザーの直感を増加させる。これにより、ユーザー経験は拡張され、さらにユーザーの接触、音及び視覚の感覚が有効に活用される。異なるイベントが生じるときに、様々な音が追加される。これらのイベントは、家具オブジェクトを選択すること、掴み上げること、追加すること、再配置すること及び削除することを含んでいる。さらに、家具アイテムがボード上の他のオブジェクトに衝突すると、ユーザーが家具アイテムを新しい位置に動かすまで、絶え間ないビープ音が連続して鳴り続ける。このことで、拡張された有形のユーザー・インターフェースがより直感的なものになる。視覚と聴覚両方のフィードバックをもたらすことでユーザーとの相互作用が増えるからである。
【０１０８】
インテリア・デザイン・アプリケーションで用いられるハードウェアは、家具ボード及びキューブを含んでいる。インテリア・デザイン・アプリケーションは先に述べられた単一のマーカートラッキングを拡張する。複数のオブジェクトをトラックするためにキューブは３次元であるのに対し、家具ボードは、２次元である。
【０１０９】
図１３を参照すると、ユーザーＩＤカードをトラックする方法は、共有ホワイトボードカード１３０をトラックすることまで拡張される。６個のマーカー１３１は、システムの堅牢性を増加するようにボード１３０の位置をトラックするのに用いられる。複数のマーカー１３１に対する変換行列は、視認可能なマーカーから推定される。利用可能なマーカーの数が少ないと、エラーが発生する。各マーカー１３１は、自らの中にユニークな模様（パターン）１３２を有しており、その模様（パターン）によってシステムがマーカー１３１を識別できるようになっている。マーカー１３１は、水平方向に又は垂直方向に整列されることになっており、これによりボード回転が推定可能となる。
【０１１０】
ショールームは、ボードの計算された中心１３３に対してレンダリングされる。上述の特定のマーカーがトラックされるとき、ボードの中心１３３は、プリセットされたＸ変位とＹ変位を用いていくつかの簡単な変換を行うことで、計算される。これら計算された中心１３３は、トラックされたマーカー１３１の数に基づいて平均化される。これにより、マーカー１３１がトラックされている限り、ボード１３０上での家具ショールームの連続したトラッキング及びレンダリングが確実になされる。
【０１１１】
マーカー１３１の表面は、視線と平行に接近しているとき、認識に使われるピクセル数が少なくなればなるほどトラッキングはより難しくなる。マーカーがひっくり返ると、トラッキングは失われる。マーカー１３１の全領域は確実にトラッキングを行うために常に見えていなければならないので、マーカー１３１におけるいかなる塞がりも許されない。このことによって、操作及び自然な両手によるインタラクションの困難さが発生してしまう。
【０１１２】
図１５を参照すると、このアルゴリズムの１つの利点は、それが両手でキューブを直接操作可能にすることにある。片手がキューブを操作するのに用いられる場合、キューブの６面の少なくとも１つの面が検出される限りは、キューブは常にトラックされる。キューブをトラックするのに用いられるアルゴリズムは以下の通りである。
【０１１３】
１．全ての表面マーカー１５０を検出し、各検出された面に対して対応する変換行列（Ｔｃｍ）を計算する。
【０１１４】
２．最高のトラッキング信頼性を有する表面を選択し、その表面ＩＤを認識する。すなわち、上面、底面、左、右、前及び後ろである。
【０１１５】
３．選択したマーカーとキューブとの物理的関係に基づいて、マーカー座標系からオブジェクト座標系（Ｔｍｏ）１５１への変換行列を計算する。
【０１１６】
４．オブジェクト座標系１５１からカメラ座標系（Ｔｃｏ）１５２への変換行列は、Ｔｃｏ=Ｔｃｍ-1×Ｔｍｏの式によって計算される。
【０１１７】
図１６は、小さなキューブ１６１及び大きいキューブ１６２のサーチが同時に行われているボード１６０におけるＡＲインテリア・デザイン・アプリケーションの実行を示している。
【０１１８】
キューブが家具カタログのマーカー１３１に近いときにユーザーが仮想オブジェクトを掴み上げることができるためには、キューブと仮想オブジェクトとの間の相対距離が分かっている必要がある。ＭＸＲツールキットは、各マーカー１３１のカメラ座標を返すため、マーカーが距離を計算するのに用いられる。キューブ上のマーカーと仮想オブジェクト用マーカーとの距離は、マーカーに対するキューブの近接度を求めるのに、用いられる。
【０１１９】
各マーカーのカメラ座標を求めることが可能である。このことは、キューブ上のマーカーのカメラ座標及び仮想オブジェクトのマーカーのカメラ座標は、ＭＸＲツールキットによって提供されていることを意味する。言い換えると、カメラに対するキューブ・マーカーの座標及び仮想オブジェクトマーカーの座標は知られている。ＴＡは、カメラ源（原点）から仮想オブジェクトマーカーへの変換行列である。ＴＢは、カメラ源（原点）からキューブ・マーカーへの変換行列である。しかし、これではキューブ・マーカーと仮想オブジェクトマーカーとの関係は得られない。座標から、有効距離を見つけることができる。
【０１２０】
ＴＡ−１を求めることで、仮想オブジェクトからカメラ源（原点）への変換行列が得られる。この情報を用いることで、キューブの仮想オブジェクトマーカーに対する相対位置が得られる。キューブと仮想オブジェクトとの近接度は興味の対象でしかない。それゆえ、仮想オブジェクトからキューブへの変換のみが必要とされ（すなわち、Ｔｘ、Ｔｙ、Ｔｚ）、回転コンポーネントは無視され得る。
【０１２１】
【数１】
（数式１）
【０１２２】
Ｔｚは、ブック又はボード上に置かれたときにキューブを測定するのに用いられる。これは、オブジェクトの掴み上げ及び落下のためのステージを設定する。この値は、キューブの上面にあるマーカーに対するキューブの高さに対応する。しかし、キューブの高さあたりの所定の範囲は、トラッキングの不正確さの原因となっている（トラッキングの不正確さの説明として許される）。
【０１２３】
Ｔｘ及びＴｙは、キューブがブック又はボードの所定の範囲にあるか否かを決定するのに用いられる。これにより、キューブが、ブックの近くで、かつローディング領域にある場合は、「追加」モードに入る。キューブは、ボードの周辺又はボード中心からある半径内にある場合は、キューブの再配置、削除、追加又は他のオブジェクトへの積み重ねが可能となっている。
【０１２４】
キューブの状態を決定するいくつかのパラメータがあり、キューブの上面、キューブの高さ、及びキューブのボード及びブックに対する位置を含んでいる。
【０１２５】
システムは、初期化ステップによってキャリブレーションがなされ、キューブの相互作用及び操作の間にキューブの上面を決定することができる。このステップは、キューブがテーブルの上に置かれたときに、開始前のテーブルの法線のキャプチャリングを含んでいる。このようにして、キューブがテーブルの上方で操作されているときに、キューブ及びテーブル上面の法線を比較することで、キューブの上面を決定することができる。キューブの変換行列は、ｔｆｍテーブルと呼ばれる行列内にキャプチャーされる。変換行列は、カメラに対するマーカーの位置及び向きの情報全てを包含している。正確な用語を用いると、トラッキング・フレームのレファレンスのフレーム内の点を、カメラのレファレンスのフレーム内の点に変換するのは、ユークリッド変換行列である。プログラムの全体構造は以下のように定義される。
【０１２６】
数式１の最終列は、好ましい計算に影響を与えないので省略される。最初の９個の要素（エレメント）は、３×３回転行列を形成し、さらにオブジェクトの向きを規定する。キューブの上面を決定するために、各面をトラッキングすることで得られた変換行列が用いられ、以下の数式が算出される。キューブの各面のための変換行列は、ｔｆｍＣｕｂｅと呼ばれる。
【０１２７】
Dot_product = tfmCube.r13*tfmTable.r13+
tfmCube.r23*tfmTable.r23+
tfmCube.r33*tfmTable.r33
（数式２）
数式２の変換行列を用いたときに最大のDot_product値となる面が、キューブの上面として決定される。キューブがブック及びボードに対してどの位置にあるかも考慮される。キューブの４つの位置状態は、オンボード、オフボード、オンブック及びオフブックとして定義される。キューブの状態と位置との関係は以下のようになる。
図１７を参照すると、家具の追加は、「+」マーカーをキューブ１７０の上面として使うことで行われる（１７０）。これは、家具カタログの近くに連れて行かれ、望みの家具のページが現れる。キューブがブック上にある（オンブック）と検出された場合（１７１）、仮想家具オブジェクトがキューブの上面に飛び出てくる。回転動作を用いることで、ユーザーは、キューブが回転している間に互いに異なる仮想家具アイテムが飛び出してくるので、カタログを「ブラウズ」することができる。キューブが掴み上げられる（オフブック）とき、キューブ上に見られる最後の仮想家具アイテムが掴み上げられる（１７２）。
【０１２８】
キューブがボード上にある（オンボード）と検出されるとき、ユーザーは、キューブをボードから持ち上げる（オフボード）ことで家具をキューブに追加できる（１７３）。家具を再配置するために、「右向きの矢印」マーカーを上面として、キューブはボードの上に置かれる（オンボード）。キューブがボード上に置かれているとき、ユーザーは、キューブを所望の家具の中心に動かすことで、家具を「掴み上げ」ることができる。
【０１２９】
図１８を参照すると、家具が「掴み上げられる」（オフボード）とき、家具はキューブの上面にレンダリングされ、オーディオ・ヒントが演奏される（鳴らさせる）（１８０）。次に、ユーザーは、ボード上のキューブを所望の位置に動かす。位置が選択されるとき、ユーザーは、単にキューブをボードから持ち上げて、その位置１８１に落とす。
【０１３０】
図１９を参照すると、家具を削除するために、キューブは、「ｘ」マーカーを上面１９０として、ボード上に置かれる（オンボード）。キューブがボード上にあると検出された場合、ユーザーは、キューブを所望の家具の中心に動かすことで、家具を選択できる。家具の選択が成功した場合、家具はキューブの上面にレンダリングされ、オーディオ・ヒントが演奏される（鳴らされる）（１９１）。次に、ユーザーはキューブをボードから持ち上げて（オフボード）、家具を削除する（１９２）。
【０１３１】
家具が導入又は再配置されるときに、忘れてはならない問題は家具の物理的制約である。現実と同様に、拡張現実感ワールドの家具は、他の家具に衝突したり「交差」したりすることができない。ゆえに、ユーザーは、家具型の家具に衝突する場合にその家具を追加することができない。
【０１３２】
図２０を参照すると、家具アイテム同士が衝突する問題を解決する一つの方法は、４つの境界となる座標２００と、衝突状態になっている家具の座標系に加えられている家具の中心とを転換することである。ポイントｐｔ０、ｐｔ１、ｐｔ２、ｐｔ３、ｐｔ４ ２００は、ボード上の家具のＵ−Ｖ軸に転換される。これら５点のＵ−Ｖ座標は、次にボード２０１上の家具のｘ方向長さ及びｙ方向幅に対してチェックされる。
【０１３３】
ＵN=ｃｏｓθ（ＸN−Ｘ0）+ｓｉｎθ（ＹN−Ｙ0）
ＶN=ｓｉｎθ（ＸN−Ｘ0）+ｃｏｓθ（ＹN−Ｙ0）
この式において、
（ＵN、ＶN）は、ボード上の家具に対して新しく転換された座標であり、
θは、ボード上の家具がＸ−Ｙ座標に対してなす角度であり、
（Ｘ0，Ｙ0）は、ボード上の家具のＸ−Ｙ中心座標であり、
（ＸN，ＹN）は、キューブ上の家具のいずれかのＸ−Ｙ座標である（図からは、それらは、ｐｔ０、ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４を表している。）
Ｕ−Ｖ座標のいずれかがＵN＜ｘ方向長さ ＆＆ ＶN＜ｙ方向幅であれば、音響が鳴らされる。これは、ユーザーに対して、家具アイテムをその位置に落とせず、家具アイテムを落とす前に他の位置に移動しなければならないことを示している。
【０１３４】
物を上面に積み重ね可能なテーブルや本棚といった家具については、フラグがスタックド（ｓｔａｃｋｅｄ）と呼ばれる家具構造（ｆｕｒｎｉｔｕｒｅ ｓｔｒｕｃｔｕｒｅ）において提供される。このフラグは、植物、ハイファイ・ユニット（ハイファイ装置）又はテレビといったオブジェクトがこのオブジェクトの上面にリリースされたことを検出されるときに、真（ｔｒｕｅ）に設定される。オブジェクトのこのカテゴリーは、それらの上に置かれたオブジェクトが４つまで許される。この種の家具は、例えば、植物であるであるが、ボードの中心に対する相対行列に加えて、その構造に、テーブルまたは棚に対して、積み上げたオブジェクトの相対変換行列を格納（保存）する。カメラが大きいキューブの上面「左向きの矢印」又は「ｘ」を検出すると、それはオブジェクトをひとまとめにして再配置及び削除するモードに突入する。このようにして、テーブル又は本棚が掴まれ、さらに積み重ねられたことを示すフラグが真（ｔｒｕｅ）である場合、テーブル又は棚上のオブジェクトは、その構造内に格納された相対変換行列を用いるキューブに従ってレンダリングされる。
【０１３５】
図２１に示すように、仮想オブジェクト同士の相互作用は、キューブ同士の空間的関係に対して応答するようにしてもよい。２つのキューブの距離は、物語のシーン内の物語キャラクターと他の仮想オブジェクトとの間の相互作用を定義するのに用いられる。第１スクリーンショットでは、ユーザーは、中国王女の仮想オブジェクトを有する小さなキューブを、惑星仮想オブジェクトを有する、より大きなキューブに向けて動かす。システム２１０は、常に小さなキューブと大きなキューブとの空間的関係を測定している。空間的関係がある条件を満たしている場合、例えば、小さいキューブとそれより大きいキューブとの距離は十分近くなっており、仮想オブジェクトからの応答が生じる。この例では、より大きなキューブに関連する仮想オブジェクトは、第２スクリーンショットで描かれるように惑星から薔薇に変化する。
【０１３６】
マーカーとして通常の形状が説明されてきたが、マーカーは不規則な形状であっても良い。ボーダーを有するマーカーが説明されてきたが、いくつか実施形態はボーダーが不要であることが予測される。不規則形状のマーカーについては、マーカーのための模様（パターン）は、以下のことができる。
・自らを表面の残りの部分から区別する。つまり、マーカーのＩＤを異ならせる。
・背景から容易に分離可能となる高コントラストエッジを有している。したがって、色は、必ずしも白黒にのみ制限される必要はない。
・さらにトラッキングのための少なくとも４つの特徴点を有する。変換行列を計算しているときに、少なくとも４つの特徴点が識別される。しかし、コーナーの代わりに、大きな黒点といった他の特徴点が用いられても良い。
【０１３７】
すでに述べられた不規則なトラッキング方法は、正方形マーカー使用法を補うことができる。正方形のコーナー又は辺が塞がれているときは、不規則なトラッキングが一時的な補助として使われる。
【０１３８】
インタラクティブ・システム２１０は、マイクロソフトのウィンドウズＸＰプラットフォームにおいてＶｉｓｕａｌ Ｃ++６．０を用いてプログラムされているが、他のプログラミング言語も可能であり、また他のプラットフォーム、例えば、ＬｉｎｕｘやＭａｃＯＳＸも使用可能である。
【０１３９】
Ｄｒａｇｏｎｆｌｙカメラ２１１が説明に用いられたが、少なくとも６４０ｘ４８０ピクセルのビデオ解像度を有するウェブカメラであれば使用可能である。
【０１４０】
システム２１０は、上記一実施形態ではソフトウェアとして説明したが、全てのソフトウェア機能を、カメラの電気回路に接続された回路に組み込んでハード・ワイヤード化することで実現することもできる。ゆえに、コンピュータ・ソフトウェアの画像処理機能はカメラ単独で実行されることになると予測される。
【０１４１】
したがって、コンピュータ・ソフトウェアの画像処理機能は、カメラ単独で実行されることが予想される。
【０１４２】
当業者にとっては、具体的な実施形態に示すように、広く述べられた本発明の範囲又は精神から逸脱することなく、本発明について多くの変形及び／又は変更が可能であることは理解されるであろう。本実施形態は、したがって、全ての点において例示に過ぎず制限を行うものではない。
【図面の簡単な説明】
【０１４３】
【図１】グラフィック・メディア及びインタラクティブ・システムのキューブの「抽象化」を示すクラス図である。
【図２】インタラクティブ・システムの「方法キューブ」内で定義された状態及びカップリング（結合）のマッピングを示すテーブルである。
【図３】インタラクティブ・システム内の「継承」を示す図表である。
【図４】３Ｄマジックストーリーキューブ・アプリケーション内の仮想カップリング（仮想結合）を示すテーブルである。
【図５】３Ｄマジックストーリーキューブ・アプリケーションのプロセスフロー図である。
【図６】インテリア・デザイン・アプリケーション内で家具を追加するための仮想カップリング（仮想結合）を示すテーブルである。
【図７】仮想オブジェクトの「掴み上げ」及び「落下」がどのように家具をボードに追加するかを例示する一連のスクリーンショットである。
【図８】家具を再配置する方法を例示する一連のスクリーンショットである。
【図９】家具を再配置するための仮想カップリング（仮想結合）を示すテーブルである。
【図１０】仮想オブジェクトの「掴み上げ」及び「落下」がどのように家具をボードに積み上げるかを例示する一連のスクリーンショットである。
【図１１】家具をボードから放り出すことを示す一連のスクリーンショットである。
【図１２】家具をまとめて再配置することを例示する一連のスクリーンショットである。
【図１３】インテリア・デザイン・アプリケーション内で用いられる６個のマーカーの描画表示である。
【図１４】仮想及び物理的オブジェクトの抽象化とカプセル化を示すクラス図である。
【図１５】トラッキング・キューブの座標系を例示する概略図である。
【図１６】インテリア・デザイン・アプリケーションのプラグラムのフローのプロセスフロー図である。
【図１７】家具を追加するためのプロセスフロー図である。
【図１８】家具を再配置するためのプロセスフロー図である。
【図１９】家具を削除するためのプロセスフロー図である。
【図２０】インテリア・デザイン・アプリケーションにおける家具アイテムの衝突を描いている。
【図２１】キューブ同士の空間的関係に対応する仮想オブジェクト同士の相互作用を例示する一連のスクリーンショットである。
【図２２】３Ｄボキャブラリブック・アプリケーションからの１つのスクリーンショットである。
【特許請求の範囲】
【請求項１】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムであって、
各面に１つのマーカーを有する少なくとも２つの面を有するオブジェクトと、
第１シーンにおける前記オブジェクトの画像をキャプチャーするための画像キャプチャリング・デバイスと、
前記オブジェクトの少なくとも２つの面をトラックし、少なくとも１つのマーカーを識別することにより前記第１シーンにおける前記オブジェクトの位置と方向とをトラックするコンピュータ・ソフトウェアと、
を備え、
前記コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、前記識別されたマーカーに対する相対位置に重ね合わされた前記関連のマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感の経験をもたらす、
インタラクティブ・システム。
【請求項２】
前記マーカーは、塞がれていない、
請求項１に記載のシステム。
【請求項３】
前記マーカーは、先に定められた形状である、
請求項１に記載のシステム。
【請求項４】
前記マーカーは、前記形状の少なくとも一部を認識することにより、前記ソフトウェアにより識別される、
請求項３に記載のシステム。
【請求項５】
前記コンピュータ・ソフトウェアは、前記形状の前記認識された一部を用いて、前記マーカーの前記先に定められた形状を完全に決定する、
請求項４に記載のシステム。
【請求項６】
前記先に定められた形状は、正方形である、
請求項３に記載のシステム。
【請求項７】
前記コンピュータ・ソフトウェアは、前記正方形の少なくとも２つのコーナーを認識することで、前記マーカーを決定する、
請求項６に記載のシステム。
【請求項８】
前記マーカーは、単一のギャップを有する不連続のボーダーを含む、
請求項１に記載のシステム。
【請求項９】
前記マーカーは、前記ボーダー内に画像を備えている、
請求項８に記載のシステム。
【請求項１０】
前記画像は、幾何学的なパターンである、
請求項９に記載のシステム。
【請求項１１】
前記パターンは、見本パターンのレポジトリに格納されている見本パターンである、
請求項１０に記載のシステム。
【請求項１２】
前記ボーダーの色は、前記マーカーの背景の色に対して高コントラストをなしており、それによって、前記背景が前記コンピュータ・ソフトウェアによって、分離され得る、
請求項８に記載のシステム。
【請求項１３】
前記ボーダーの色は黒であり、前記背景の色は白である、
請求項１２に記載のシステム。
【請求項１４】
前記コンピュータ・ソフトウェアは、前記ボーダーが部分的にふさがれている場合および前記ボーダー内の前記パターンがふさがれていない場合、１つのマーカーを識別することが可能である、
請求項１０に記載のシステム。
【請求項１５】
前記第２シーンが生成されると同時に前記第２シーンを表示するディスクプレイ・デバイスをさらに備える、
請求項１に記載のシステム。
【請求項１６】
前記ディスプレイ・デバイスは、モニタ、テレビスクリーン、ＬＣＤまたはＰＤＰである、
請求項１５に記載のシステム。
【請求項１７】
前記ディスプレイ・デバイスは、前記画像キャプチャーリング・デバイスのビューファインダ、または、画像若しくはビデオを投影するプロジェクターである、
請求項１５に記載のシステム。
【請求項１８】
前記ディスプレイ・デバイスの前記ビデオのフレームレートは、１２ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）から３０ｆｐｓの範囲内である、
請求項１５に記載のシステム。
【請求項１９】
前記画像キャプチャーリング・デバイスは、前記ディスプレイ・デバイスの上方に配置されている、
請求項１に記載のシステム。
【請求項２０】
前記画像キャプチャーリング・デバイスおよび前記ディスプレイ・デバイスは、ユーザーに向いている、
請求項１９に記載のシステム
【請求項２１】
前記オブジェクトは、前記ユーザーと前記ディスプレイ・デバイスの間で操作される、
請求項２０に記載のシステム
【請求項２２】
マルチメディア・コンテンツは、２次元画像または３次元モデル、ビデオまたはオーディオの情報を含む、
請求項１に記載のシステム
【請求項２３】
前記オブジェクトの前記少なくとも２つの面は、実質的に平面である、
請求項１に記載のシステム
【請求項２４】
前記少なくとも２つの面は、互いに接続されている、
請求項２３に記載のシステム
【請求項２５】
前記オブジェクトは、キューブまたは多面体である、
請求項２３に記載のシステム
【請求項２６】
前記オブジェクトは、折り畳み可能である、
請求項１に記載のシステム
【請求項２７】
前記オブジェクトは、ストーリーを語るための折り畳み可能なキューブである、
請求項２６に記載のシステム
【請求項２８】
前記コンピュータ・ソフトウェアは、パーソナル・デジタル・アシスタント（PDA)、携帯電話、その他のモバイル・コミュニケーション・デバイス、または、内蔵コンピュータ・プロセッサ付きのコンソール・ボックスといった、モバイルのコンピューティング・デバイスやデスクトップのコンピューティング・デバイスにインストールされる、
請求項１に記載のシステム
【請求項２９】
前記画像キャプチャーリング・デバイスは、カメラである、
請求項１に記載のシステム
【請求項３０】
前記カメラは、ＣＣＤまたはＣＭＯＳビデオ・カメラである、
請求項２９に記載のシステム
【請求項３１】
前記カメラ、前記コンピュータ・ソフトウェアおよび前記ディスプレイ・デバイスは、単一の統合ユニット内に設けられている、
請求項２９に記載のシステム。
【請求項３２】
前記カメラ、前記コンピュータ・ソフトウェアおよび前記ディスプレイ・デバイスは、互いに遠く離れた位置に配置されている、
請求項２９に記載のシステム。
【請求項３３】
前記関連するマルチメディア・コンテンツは、表示されるビデオ・フレームごとに前記関連するマルチメディア・コンテンツを前記第１シーンにレンダリングすることで、前記第１シーンに重ね合わせられる、
請求項１に記載のシステム。
【請求項３４】
前記オブジェクトの前記位置は、３次元空間で計算される、
請求項１に記載のシステム。
【請求項３５】
位置関係は、前記ディスプレイ・デバイスと前記オブジェクトとの間で推定される、
請求項３４に記載のシステム。
【請求項３６】
前記キャプチャーされた画像には、しきい値が設けられる、
請求項１に記載のシステム。
【請求項３７】
隣接する暗い領域は、コネクトテッド・コンポーネント・アルゴリズム（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔｓ ａｌｇｏｒｉｔｈｍ）を用いて識別される、
請求項３６に記載のシステム。
【請求項３８】
輪郭探索技術がこれらの暗い領域の輪郭を識別するのに用いられる、
請求項３７に記載のシステム。
【請求項３９】
４つのコーナーを有さない輪郭は、放棄される、
請求項３８に記載のシステム。
【請求項４０】
間違ったサイズの領域は、放棄される、
請求項３８に記載のシステム。
【請求項４１】
複数の直線は、正方形輪郭の各側に合致する、
請求項３８に記載のシステム。
【請求項４２】
前記複数の直線の交点は、コーナー位置の推定として用いられる、
請求項４１に記載のシステム。
【請求項４３】
射影変換が前記コーナー位置によって規定された領域をワープして標準の形状にするために用いられる、
請求項４２に記載のシステム。
【請求項４４】
前記標準の形状は、前記マーカーを識別し、前記オブジェクトの方向を決定するために、マーカーの格納されている見本パターンと相互相関関係にある、
請求項４３に記載のシステム。
【請求項４５】
前記コーナー位置は、前記マーカーの位置に対する前記ディスプレイ・デバイスの位置に関連するユニークなユーグリッド変換行列を識別するために用いられる、
請求項４２に記載のシステム。
【請求項４６】
前記インタラクティブ・システムは、インテリア・デザイン・アプリケーションまたはボキャブラリ・ティーチング・アプリケーションである、
請求項１に記載のシステム。
【請求項４７】
少なくとも２つのオブジェクトをさらに備え、
前記少なくとも２つのオブジェクト同士の空間的関係が決定されると、前記識別されたマーカーに関連する前記マルチメディア・コンテンツから先に定められた応答を生じさせる、
請求項１に記載のシステム。
【請求項４８】
前記空間的関係は、オブジェクト同士の距離、積み上げ及び塞がりからなるグループの中から選択される、
請求項４７に記載のシステム。
【請求項４９】
前記先に定められた応答は、前記関連するマルチメディア・コンテンツ、少なくとも１つの関連するマルチメディア・コンテンツのアニメーション及び少なくとも１つの関連するマルチメディア・コンテンツのためのオーディオ・レコーディングの再生の相互作用からなるグループの中から選ばれる、
請求項４７に記載のシステム。
【請求項５０】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムであって、
第１シーン内のオブジェクトの画像をキャプチャーするための画像キャプチャリング・デバイスと、
前記オブジェクトの少なくとも２面をトラックしさらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックするためのコンピュータ・ソフトウェアと、
を備え、
前記コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに前記第１シーン上の前記識別されたマーカーの相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感をもたらす、
インタラクティブ・システム。
【請求項５１】
ユーザーに複合現実感の経験をもたらすためのソフトウェア・アプリケーションであって、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取るための画像処理モジュールと、
各面が１つのマーカーを有する前記オブジェクトの少なくとも２面をトラックしさらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、
を備え、
前記ソフトウェア・アプリケーションは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連のマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感の経験をもたらす、
ソフトウェア・アプリケーション。
【請求項５２】
仮想オブジェクトを取得してユーザーに複合現実感の経験をもたらすための取得モジュールであって、
識別されたマーカーに関連するマーカー識別データを受け取るためのデータ・レシーバと、
前記マーカー識別データに関連する仮想オブジェクトを求めて仮想オブジェクトデーターベースを検索するための検察ツールと、
を備え、
マッチングが見つけられると、前記仮想オブジェクトは、実際のシーンの前記識別されたマーカーに対する相対位置に重ね合わされ、それにより複合現実感の経験をユーザーにもたらす、
取得モジュール。
【請求項５３】
１つの識別されたマーカーは、２つ以上の対応仮想オブジェクトを有している、
請求項５２記載のモジュール。
【請求項５４】
複合現実感の経験をユーザーにもたらすための関連するマルチメディア・コンテンツのレポジトリであって、
マルチメディア・コンテンツの各アイテムを識別するための識別データフィールドと、
マルチメディア・コンテンツのアイテム又はマルチメディア・コンテンツのアイテムの格納位置を格納するためのコンテンツデータのフィールドと、
を備え、
識別されたマーカーに関連するマーカー識別データは、前記識別データフィールドに関して検索され、さらに前記識別されたマーカーに関連するマルチメディア・コンテンツは、取得されて実際のシーン上の前記識別されたマーカーに対する相対位置に重ね合わされて、それにより複合現実感の経験をユーザーにもたらす、
レポジトリ。
【請求項５５】
複合現実感の経験をユーザーにもたらすための複合現実感コンテンツを搬送する信号であって、
実際のシーンと、識別されたマーカーに関連するマルチメディア・コンテンツであって、前記実際のシーン上の前記識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツとを含むグラフィック情報を備え、
前記識別されたマーカーは、各面におけるマーカーを有するオブジェクトの少なくとも２つの面をトラックすることによって識別される、
信号。
【請求項５６】
識別されたマーカーに関連するオーディオ情報をさらに備える、
請求項５５に記載の信号。
【請求項５７】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムで用いられる有形のオブジェクトであって、
少なくとも２つの面と、
不連続のボーダー及び前記ボーダー内の画像を有する、各面における１つのマーカーと、
を備え、
前記ボーダーの不連続は、前記ボーダー内のイメージの配置（位置合わせ）及び前記オブジェクトの向きを示している、
有形のオブジェクト。
【請求項５８】
前記オブジェクトの少なくとも１つの面をトラックすることで、前記オブジェクトの位置と方向がトラックされる、
請求項５７に記載のオブジェクト。
【請求項５９】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムで用いられる有形のオブジェクトのマーカーであって、
不連続のボーダーと、
前記ボーダー内の画像と、
を備え、
１つのシーンにおいて前記マーカーを識別するために、前記ボーダーが前記シーン内に配置され、前記ボーダー内の前記画像が画像レポジトリ内のマッチング画像を見つけるためにサーチされる、
マーカー。
【請求項６０】
コンピュータ・ソフトウェアは、前記マーカーが識別された場合、前記マーカーに関連するマルチメディア・コンテンツを取得する、
請求項５９に記載のマーカー。
【請求項６１】
複合現実感の経験をユーザーにもたらすための方法であって、
各面に１つのマーカーを有する少なくとも２つの面を有するオブジェクトの画像を第１シーンでキャプチャーすることと、
前記オブジェクトの少なくとも２つの面をトラックすることで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックすることと、
少なくとも１つのマーカーを識別することと、
を備え、
識別されたマーカーに関連するマルチメディア・コンテンツが取得され、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンを生成し、それにより複合現実感の経験をユーザーにもたらす、
方法。
【請求項６２】
複合現実感の経験をユーザーにもたらすためのオブジェクトをトラックする方法であって、
各面に１つのマーカーがあるオブジェクトの各面のための変換行列を計算するステップと、
最高のトラッキング信頼性を有する面を識別するステップと、
前記識別された面と前記オブジェクトとの物理的関係に基づいて、マーカー座標系からオブジェクト座標系への変換行列を計算するステップと、
を備え、
前記オブジェクト座標系からカメラ座標系への変換行列は、前記オブジェクト座標系から表面座標系への変換行列に前記表面座標系からカメラ座標系への変換行列を乗算することで、計算される、
方法。
【請求項６３】
静止位置にある前記オブジェクトの上面の法線をキャプチャーする初期ステップをさらに備えている、
請求項６２に記載の方法。
【請求項６４】
前記変換行列を用いて最大の内積を生成する面を計算することで、前記オブジェクトの上面を決定するステップをさらに備えている、
請求項６３に記載の方法。
【請求項６５】
前記オブジェクトの操作の間、前記オブジェクトの上面は、前記変換行列を用いて最大の内積を生成する面を連続して計算することで、決定される、
請求項６４に記載の方法。
【請求項６６】
複合現実感の経験をユーザーにもたらすための画像キャプチャリング・デバイスであって、
第１シーンにおける１つのオブジェクトのキャプチャーされた複数の画像を受け取るための画像処理モジュールと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、
を備え、
前記デバイスは識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感の経験をもたらす、
画像キャプチャリング・デバイス。
【請求項６７】
コンピュータにより実行可能なインストラクション（命令）を担持するコンピュータにより読み取り可能なメディアからなるコンピュータプログラム・プロダクトであって、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取ることと、
各面が１つのマーカーを有する前記オブジェクトの少なくとも２つの面をトラックし、さらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックすることと、
を備え、
識別されたマーカーに関連するマルチメディア・コンテンツは取得され、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンが生成され、それにより複合現実感の経験をユーザーにもたらす、
コンピュータプログラム・プロダクト。
【請求項１】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムであって、
各面に１つのマーカーを有する少なくとも２つの面を有するオブジェクトと、
第１シーンにおける前記オブジェクトの画像をキャプチャーするための画像キャプチャリング・デバイスと、
前記オブジェクトの少なくとも２つの面をトラックし、少なくとも１つのマーカーを識別することにより前記第１シーンにおける前記オブジェクトの位置と方向とをトラックするコンピュータ・ソフトウェアと、
を備え、
前記コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、前記識別されたマーカーに対する相対位置に重ね合わされた前記関連のマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感の経験をもたらす、
インタラクティブ・システム。
【請求項２】
前記マーカーは、塞がれていない、
請求項１に記載のシステム。
【請求項３】
前記マーカーは、先に定められた形状である、
請求項１に記載のシステム。
【請求項４】
前記マーカーは、前記形状の少なくとも一部を認識することにより、前記ソフトウェアにより識別される、
請求項３に記載のシステム。
【請求項５】
前記コンピュータ・ソフトウェアは、前記形状の前記認識された一部を用いて、前記マーカーの前記先に定められた形状を完全に決定する、
請求項４に記載のシステム。
【請求項６】
前記先に定められた形状は、正方形である、
請求項３に記載のシステム。
【請求項７】
前記コンピュータ・ソフトウェアは、前記正方形の少なくとも２つのコーナーを認識することで、前記マーカーを決定する、
請求項６に記載のシステム。
【請求項８】
前記マーカーは、単一のギャップを有する不連続のボーダーを含む、
請求項１に記載のシステム。
【請求項９】
前記マーカーは、前記ボーダー内に画像を備えている、
請求項８に記載のシステム。
【請求項１０】
前記画像は、幾何学的なパターンである、
請求項９に記載のシステム。
【請求項１１】
前記パターンは、見本パターンのレポジトリに格納されている見本パターンである、
請求項１０に記載のシステム。
【請求項１２】
前記ボーダーの色は、前記マーカーの背景の色に対して高コントラストをなしており、それによって、前記背景が前記コンピュータ・ソフトウェアによって、分離され得る、
請求項８に記載のシステム。
【請求項１３】
前記ボーダーの色は黒であり、前記背景の色は白である、
請求項１２に記載のシステム。
【請求項１４】
前記コンピュータ・ソフトウェアは、前記ボーダーが部分的にふさがれている場合および前記ボーダー内の前記パターンがふさがれていない場合、１つのマーカーを識別することが可能である、
請求項１０に記載のシステム。
【請求項１５】
前記第２シーンが生成されると同時に前記第２シーンを表示するディスクプレイ・デバイスをさらに備える、
請求項１に記載のシステム。
【請求項１６】
前記ディスプレイ・デバイスは、モニタ、テレビスクリーン、ＬＣＤまたはＰＤＰである、
請求項１５に記載のシステム。
【請求項１７】
前記ディスプレイ・デバイスは、前記画像キャプチャーリング・デバイスのビューファインダ、または、画像若しくはビデオを投影するプロジェクターである、
請求項１５に記載のシステム。
【請求項１８】
前記ディスプレイ・デバイスの前記ビデオのフレームレートは、１２ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）から３０ｆｐｓの範囲内である、
請求項１５に記載のシステム。
【請求項１９】
前記画像キャプチャーリング・デバイスは、前記ディスプレイ・デバイスの上方に配置されている、
請求項１に記載のシステム。
【請求項２０】
前記画像キャプチャーリング・デバイスおよび前記ディスプレイ・デバイスは、ユーザーに向いている、
請求項１９に記載のシステム
【請求項２１】
前記オブジェクトは、前記ユーザーと前記ディスプレイ・デバイスの間で操作される、
請求項２０に記載のシステム
【請求項２２】
マルチメディア・コンテンツは、２次元画像または３次元モデル、ビデオまたはオーディオの情報を含む、
請求項１に記載のシステム
【請求項２３】
前記オブジェクトの前記少なくとも２つの面は、実質的に平面である、
請求項１に記載のシステム
【請求項２４】
前記少なくとも２つの面は、互いに接続されている、
請求項２３に記載のシステム
【請求項２５】
前記オブジェクトは、キューブまたは多面体である、
請求項２３に記載のシステム
【請求項２６】
前記オブジェクトは、折り畳み可能である、
請求項１に記載のシステム
【請求項２７】
前記オブジェクトは、ストーリーを語るための折り畳み可能なキューブである、
請求項２６に記載のシステム
【請求項２８】
前記コンピュータ・ソフトウェアは、パーソナル・デジタル・アシスタント（PDA)、携帯電話、その他のモバイル・コミュニケーション・デバイス、または、内蔵コンピュータ・プロセッサ付きのコンソール・ボックスといった、モバイルのコンピューティング・デバイスやデスクトップのコンピューティング・デバイスにインストールされる、
請求項１に記載のシステム
【請求項２９】
前記画像キャプチャーリング・デバイスは、カメラである、
請求項１に記載のシステム
【請求項３０】
前記カメラは、ＣＣＤまたはＣＭＯＳビデオ・カメラである、
請求項２９に記載のシステム
【請求項３１】
前記カメラ、前記コンピュータ・ソフトウェアおよび前記ディスプレイ・デバイスは、単一の統合ユニット内に設けられている、
請求項２９に記載のシステム。
【請求項３２】
前記カメラ、前記コンピュータ・ソフトウェアおよび前記ディスプレイ・デバイスは、互いに遠く離れた位置に配置されている、
請求項２９に記載のシステム。
【請求項３３】
前記関連するマルチメディア・コンテンツは、表示されるビデオ・フレームごとに前記関連するマルチメディア・コンテンツを前記第１シーンにレンダリングすることで、前記第１シーンに重ね合わせられる、
請求項１に記載のシステム。
【請求項３４】
前記オブジェクトの前記位置は、３次元空間で計算される、
請求項１に記載のシステム。
【請求項３５】
位置関係は、前記ディスプレイ・デバイスと前記オブジェクトとの間で推定される、
請求項３４に記載のシステム。
【請求項３６】
前記キャプチャーされた画像には、しきい値が設けられる、
請求項１に記載のシステム。
【請求項３７】
隣接する暗い領域は、コネクトテッド・コンポーネント・アルゴリズム（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔｓ ａｌｇｏｒｉｔｈｍ）を用いて識別される、
請求項３６に記載のシステム。
【請求項３８】
輪郭探索技術がこれらの暗い領域の輪郭を識別するのに用いられる、
請求項３７に記載のシステム。
【請求項３９】
４つのコーナーを有さない輪郭は、放棄される、
請求項３８に記載のシステム。
【請求項４０】
間違ったサイズの領域は、放棄される、
請求項３８に記載のシステム。
【請求項４１】
複数の直線は、正方形輪郭の各側に合致する、
請求項３８に記載のシステム。
【請求項４２】
前記複数の直線の交点は、コーナー位置の推定として用いられる、
請求項４１に記載のシステム。
【請求項４３】
射影変換が前記コーナー位置によって規定された領域をワープして標準の形状にするために用いられる、
請求項４２に記載のシステム。
【請求項４４】
前記標準の形状は、前記マーカーを識別し、前記オブジェクトの方向を決定するために、マーカーの格納されている見本パターンと相互相関関係にある、
請求項４３に記載のシステム。
【請求項４５】
前記コーナー位置は、前記マーカーの位置に対する前記ディスプレイ・デバイスの位置に関連するユニークなユーグリッド変換行列を識別するために用いられる、
請求項４２に記載のシステム。
【請求項４６】
前記インタラクティブ・システムは、インテリア・デザイン・アプリケーションまたはボキャブラリ・ティーチング・アプリケーションである、
請求項１に記載のシステム。
【請求項４７】
少なくとも２つのオブジェクトをさらに備え、
前記少なくとも２つのオブジェクト同士の空間的関係が決定されると、前記識別されたマーカーに関連する前記マルチメディア・コンテンツから先に定められた応答を生じさせる、
請求項１に記載のシステム。
【請求項４８】
前記空間的関係は、オブジェクト同士の距離、積み上げ及び塞がりからなるグループの中から選択される、
請求項４７に記載のシステム。
【請求項４９】
前記先に定められた応答は、前記関連するマルチメディア・コンテンツ、少なくとも１つの関連するマルチメディア・コンテンツのアニメーション及び少なくとも１つの関連するマルチメディア・コンテンツのためのオーディオ・レコーディングの再生の相互作用からなるグループの中から選ばれる、
請求項４７に記載のシステム。
【請求項５０】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムであって、
第１シーン内のオブジェクトの画像をキャプチャーするための画像キャプチャリング・デバイスと、
前記オブジェクトの少なくとも２面をトラックしさらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックするためのコンピュータ・ソフトウェアと、
を備え、
前記コンピュータ・ソフトウェアは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに前記第１シーン上の前記識別されたマーカーの相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感をもたらす、
インタラクティブ・システム。
【請求項５１】
ユーザーに複合現実感の経験をもたらすためのソフトウェア・アプリケーションであって、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取るための画像処理モジュールと、
各面が１つのマーカーを有する前記オブジェクトの少なくとも２面をトラックしさらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、
を備え、
前記ソフトウェア・アプリケーションは、識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連のマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感の経験をもたらす、
ソフトウェア・アプリケーション。
【請求項５２】
仮想オブジェクトを取得してユーザーに複合現実感の経験をもたらすための取得モジュールであって、
識別されたマーカーに関連するマーカー識別データを受け取るためのデータ・レシーバと、
前記マーカー識別データに関連する仮想オブジェクトを求めて仮想オブジェクトデーターベースを検索するための検察ツールと、
を備え、
マッチングが見つけられると、前記仮想オブジェクトは、実際のシーンの前記識別されたマーカーに対する相対位置に重ね合わされ、それにより複合現実感の経験をユーザーにもたらす、
取得モジュール。
【請求項５３】
１つの識別されたマーカーは、２つ以上の対応仮想オブジェクトを有している、
請求項５２記載のモジュール。
【請求項５４】
複合現実感の経験をユーザーにもたらすための関連するマルチメディア・コンテンツのレポジトリであって、
マルチメディア・コンテンツの各アイテムを識別するための識別データフィールドと、
マルチメディア・コンテンツのアイテム又はマルチメディア・コンテンツのアイテムの格納位置を格納するためのコンテンツデータのフィールドと、
を備え、
識別されたマーカーに関連するマーカー識別データは、前記識別データフィールドに関して検索され、さらに前記識別されたマーカーに関連するマルチメディア・コンテンツは、取得されて実際のシーン上の前記識別されたマーカーに対する相対位置に重ね合わされて、それにより複合現実感の経験をユーザーにもたらす、
レポジトリ。
【請求項５５】
複合現実感の経験をユーザーにもたらすための複合現実感コンテンツを搬送する信号であって、
実際のシーンと、識別されたマーカーに関連するマルチメディア・コンテンツであって、前記実際のシーン上の前記識別されたマーカーに対する相対位置に重ね合わされた関連するマルチメディア・コンテンツとを含むグラフィック情報を備え、
前記識別されたマーカーは、各面におけるマーカーを有するオブジェクトの少なくとも２つの面をトラックすることによって識別される、
信号。
【請求項５６】
識別されたマーカーに関連するオーディオ情報をさらに備える、
請求項５５に記載の信号。
【請求項５７】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムで用いられる有形のオブジェクトであって、
少なくとも２つの面と、
不連続のボーダー及び前記ボーダー内の画像を有する、各面における１つのマーカーと、
を備え、
前記ボーダーの不連続は、前記ボーダー内のイメージの配置（位置合わせ）及び前記オブジェクトの向きを示している、
有形のオブジェクト。
【請求項５８】
前記オブジェクトの少なくとも１つの面をトラックすることで、前記オブジェクトの位置と方向がトラックされる、
請求項５７に記載のオブジェクト。
【請求項５９】
ユーザーに複合現実感の経験をもたらすためのインタラクティブ・システムで用いられる有形のオブジェクトのマーカーであって、
不連続のボーダーと、
前記ボーダー内の画像と、
を備え、
１つのシーンにおいて前記マーカーを識別するために、前記ボーダーが前記シーン内に配置され、前記ボーダー内の前記画像が画像レポジトリ内のマッチング画像を見つけるためにサーチされる、
マーカー。
【請求項６０】
コンピュータ・ソフトウェアは、前記マーカーが識別された場合、前記マーカーに関連するマルチメディア・コンテンツを取得する、
請求項５９に記載のマーカー。
【請求項６１】
複合現実感の経験をユーザーにもたらすための方法であって、
各面に１つのマーカーを有する少なくとも２つの面を有するオブジェクトの画像を第１シーンでキャプチャーすることと、
前記オブジェクトの少なくとも２つの面をトラックすることで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックすることと、
少なくとも１つのマーカーを識別することと、
を備え、
識別されたマーカーに関連するマルチメディア・コンテンツが取得され、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンを生成し、それにより複合現実感の経験をユーザーにもたらす、
方法。
【請求項６２】
複合現実感の経験をユーザーにもたらすためのオブジェクトをトラックする方法であって、
各面に１つのマーカーがあるオブジェクトの各面のための変換行列を計算するステップと、
最高のトラッキング信頼性を有する面を識別するステップと、
前記識別された面と前記オブジェクトとの物理的関係に基づいて、マーカー座標系からオブジェクト座標系への変換行列を計算するステップと、
を備え、
前記オブジェクト座標系からカメラ座標系への変換行列は、前記オブジェクト座標系から表面座標系への変換行列に前記表面座標系からカメラ座標系への変換行列を乗算することで、計算される、
方法。
【請求項６３】
静止位置にある前記オブジェクトの上面の法線をキャプチャーする初期ステップをさらに備えている、
請求項６２に記載の方法。
【請求項６４】
前記変換行列を用いて最大の内積を生成する面を計算することで、前記オブジェクトの上面を決定するステップをさらに備えている、
請求項６３に記載の方法。
【請求項６５】
前記オブジェクトの操作の間、前記オブジェクトの上面は、前記変換行列を用いて最大の内積を生成する面を連続して計算することで、決定される、
請求項６４に記載の方法。
【請求項６６】
複合現実感の経験をユーザーにもたらすための画像キャプチャリング・デバイスであって、
第１シーンにおける１つのオブジェクトのキャプチャーされた複数の画像を受け取るための画像処理モジュールと、
各面が１つのマーカーを有するオブジェクトの少なくとも２つの面をトラックしさらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックするためのトラッキング・モジュールと、
を備え、
前記デバイスは識別されたマーカーに関連するマルチメディア・コンテンツを取得し、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンを生成し、その結果ユーザーに複合現実感の経験をもたらす、
画像キャプチャリング・デバイス。
【請求項６７】
コンピュータにより実行可能なインストラクション（命令）を担持するコンピュータにより読み取り可能なメディアからなるコンピュータプログラム・プロダクトであって、
第１シーンにおける１つのオブジェクトのキャプチャーされた画像を画像キャプチャリング・デバイスから受け取ることと、
各面が１つのマーカーを有する前記オブジェクトの少なくとも２つの面をトラックし、さらに少なくとも１つのマーカーを識別することで、前記第１シーン内の前記オブジェクトの位置及び向きをトラックすることと、
を備え、
識別されたマーカーに関連するマルチメディア・コンテンツは取得され、さらに前記第１シーン上の前記識別されたマーカーに対する相対位置に重ね合わされた前記関連するマルチメディア・コンテンツを含む第２シーンが生成され、それにより複合現実感の経験をユーザーにもたらす、
コンピュータプログラム・プロダクト。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公表番号】特表２００８−５０１１８４（Ｐ２００８−５０１１８４Ａ）
【公表日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願番号】特願２００７−５１４９９８（Ｐ２００７−５１４９９８）
【出願日】平成１７年５月９日（２００５．５．９）
【国際出願番号】ＰＣＴ／ＳＧ２００５／０００１４６
【国際公開番号】ＷＯ２００５／１１６８０７
【国際公開日】平成１７年１２月８日（２００５．１２．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｌｉｎｕｘ
【出願人】（５０６３９３８７９）シンガポール国立大学 (1)
【Ｆターム（参考）】
【公表日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願日】平成１７年５月９日（２００５．５．９）
【国際出願番号】ＰＣＴ／ＳＧ２００５／０００１４６
【国際公開番号】ＷＯ２００５／１１６８０７
【国際公開日】平成１７年１２月８日（２００５．１２．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｌｉｎｕｘ
【出願人】（５０６３９３８７９）シンガポール国立大学 (1)
【Ｆターム（参考）】
[ Back to top ]