説明

AugmentedRealityResourcesのアプリケーション用に画像取り込み機能を具備した個人用装置とその方法

本発明の装置は、第1の画像取り込み装置と、前記第1装置で取り込まれた画像(3)を表示する表示スクリーン(2)と、第2装置との接続装置とを有し、前記第2装置は、パターンを特定するために、前記取り込まれた画像(3)を処理し、前記特定されたパターンの位置基準ベクトル(positional reference vector)を、前記第1装置に対し計算し、前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン(2)上で、前記取り込まれた画像(3)の上に重ねるのに適した寸法調整済み画像(4)又はその組を生成する、前記取り込まれた画像(3)に関連する情報を提供する。本発明の方法は、装置を用いたAugmented Reality Resourcesのアプリケーション用の方法である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、Augmented Reality Resourcesのアプリケーション用に画像取り込み機能を具備し、前記画像を表示する表示スクリーン具備する個人用装置と、Augmented Reality Resourcesのアプリケーションの方法に関する。
【背景技術】
【0002】
技術進歩により、既に公知のVirtual realityを、革新的なAugmented Realityが、超えている。この革新的なAugmented Realityとは、仮想空間(vitual world)と現実空間(real world)とを組み合わせて、見る者に実際の情報に重ね合わせた仮想情報を提供する。
【0003】
Augmented Realityは大きな利点を有する。例えば、Virtual realityとは異なり、ユーザを自分の置かれた環境から切り離さずに、ユーザの環境の中に存在しない仮想の要素を追加することにより、それを改善し接触させる利点がある。
【0004】
多くの分野で多数のアプリケーションがある。これらのアプリケーションは、受動的である、即ちユーザの介在を必要としない。例えば建築の分野では、完成後の家の形の三次元の画像、家の現在の(建築中の)状態と完成後に含まれる(依然として仮想的な)要素とを組み合わせるだけである。
【0005】
例えば、Augmented Realityの上記の受動的アプリケーションの代表的な提案は、特許文献1で提案されたものである。特許文献1は、ビデオ/テレビのプログラムの視聴者が、そのビデオ/テレビのプログラムに関連する同期化された補足的マルチメディア情報を、自動的にあるいは要求により、受信できるようにするシステムと方法に関する。
【0006】
【特許文献1】米国特許出願第2002/0188959号明細書
【特許文献2】米国特許出願第2004/0113885号明細書
【特許文献3】米国特許出願第2002/0167536号明細書
【0007】
能動的と考えられるアプリケーションもある。このアプリケーションでは、ユーザは表示された要素と対話(相互に作用)する。これらのアプリケーション、例えばコンピュータサイエンスの分野においては、多くのコンピュータの周辺機器は、仮想要素(例、様々な機能を活性化するキーボード、マウス、ボタン、ユーザの一連の動き)で置換できる。これは、ユーザが活性化しようとする機能に応じて行われ、適宜の検出器(例、相対的位置の検出)により、システムにより認識される。
【0008】
これらのアプリケーションの一例は、特許文献2で提案されている。特許文献2は、入力装置を用いたAugmented Realityシステムであり、ユーザはこのシステムと対話できる。この提案されたシステムは、ユーザにAugmented imageを表示する表示装置と、現実空間の対象物の位置を把握するビデオベースのトラッキング(追跡)システムと、プロセッサーと入力装置とを有する。プロセッサーは、ユーザの見た位置と方向を現実空間の目的(対象)物の位置に基づいて決定し、この仮想の目的物を表示装置に投影する。入力装置は、物理的ボタンをシュミレートするようAugmented され、ユーザが見えるシーン内で、現実空間内の所定位置にある一連のマーカを有する。これらのマーカは、ユーザが自分の指をマーカの上に置くことにより、ユーザにより物理的に操作される。この動作は、トラッキングシステムにより認識され処理される。この様な入力装置は、従来の周辺機器(例、キーボード又はマウス)を置換できる。
【0009】
別の種類のアプリケーションは、Augmented Realityとを組み合わせた既存の無線インフラにより、ユーザがそれを表示手段を含む携帯装置で使用できるようにしている。
【0010】
この様なアプリケーションの代表例が特許文献3で提案されている。特許文献3は、コンピュータで生成されたシーンを現実のシーンに重ね合わせることにより、Augmented Realityを見ることができるようにする表示装置を有する携帯用の電子装置とその方法とシステムに関連する。
【0011】
この様な表示装置は、2つの位置(position)を採用する。その内の1つの位置で、仮想シーンと重ね合わさった現実シーンを見ることができるようになる。これは、表示スクリーンに回転可能に搭載した半透明のミラーと表示手段とで得られる。
【0012】
このミラーを通して、(半透明である故にそれが可能であるが)、ユーザは、現実空間をユーザの位置に応じて見ることができ、表示スクリーン上に表示された仮想の画像をそこに反映させることもできる。これにより、ミラー内で現実のイメージ内に重ね合わせられる。
【発明の開示】
【発明が解決しようとする課題】
【0013】
本発明は、特に特許文献3で議論された表示手段を目視装置として必要とすることなく、新たなステップを表す最新の技術に対する別の解決方法を提供する。これは、携帯装置に限定することなく、あらゆる種類の個人装置に適用できる。
【課題を解決するための手段】
【0014】
上記の目的とその他目的は、本発明の以下に記載の個人装置により達成できる。即ち、本発明のAugmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置は、
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像を表示する表示スクリーンと、
(C) 第2装置との接続装置と、
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像を処理し、
(Y) 前記特定されたパターンの位置基準ベクトル(positional reference vector)を、前記第1装置に対し計算し、
(Z) 前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン上で、前記取り込まれた画像の上に重ねるのに適した寸法調整済み画像(suitably dimentional image)又はその組を生成する、前記取り込まれた画像に関連する情報を提供する。
【0015】
前記パターンは、グラフィック要素を表し、目的物あるいは対象物の画像の一部あるいは全てである。
【0016】
本発明の異なる構成も可能である。本発明の一実施例によれば、前記第2装置は、前記個人用装置に組み込まれて、第1装置との組み立て体を形成する。
【0017】
本発明の他の構成によれば、前記第2装置は離れた場所にあり、前記個人用装置は前記第2装置と通信するのに適した通信ユニットを更に有する。
【0018】
本発明の他の構成によれば、第2装置を組み込む構成要素は、遠隔地と個人用装置との間に配置され、前記個人用装置は、前記遠隔地にある構成要素と通信できる通信ユニットを更に有する。
【0019】
一実施例によれば、前記通信ユニットは、前記取り込まれた画像を、前記第2装置あるいはその一部に送信する。
【0020】
一実施例によれば、前記第2装置は、
受信した取り込まれた画像の処理を実行し、各特定されたパターンの位置基準ベクトルを、個人用装置に返信する。
更に好ましくは、
前記第2装置は、返信された位置基準ベクトル用の関連マスクを具備する画像を、
前記寸法調整済み画像又はその組の生成ができるように、各返信された位置基準ベクトル用のマスクを、
個人用装置に、返信する。
【0021】
第2装置あるいはその構成要素が、個人用装置内に配置された時は、この構成要素は、前記寸法調整済み画像又はその組を、個人用装置に戻された位置基準ベクトル又はマスクに応じて生成する。
【0022】
この為に、前記個人用装置内に配置された第2装置の構成要素は、その中に記憶された一連の画像を有し、前記構成要素は、前記寸法調整済み画像又はその組を、前記一連の記憶された画像から、選択手段により、生成する、あるいは、前記構成要素は、前記寸法調整済み画像又はその組を生成するために、前記記憶された画像を操作する。言い換えると装置が位置基準ベクトル又はマスクを第2装置の一連の構成部品から受領すると第1装置から既に送信された画像に対し、第2装置の別の一連の構成要素は前記ベクトル又はマスクに関連して記憶した画像を選択しそれを適宜寸法を合わせて、最終的にそれを取り込み画像上で寸法調整済み画像に重ね合わせる。かくしてAugmented Reality効果が得られるか又は前記効果を新たなイメージの生成手段により生成し、それらからそこに特定のアルゴリズムを駆動することにより記憶し、又は画像ではない記憶された一連のデータから記憶し、寸法調整済み画像をこの新たに取り込み画像上で生成された新たな画像で置換する。
【0023】
本発明の装置は、前記表示スクリーン上で、前記返信されたあるいは生成された寸法調整済み画像を、前記取り込まれた画像の上に重ね合わせる。
【0024】
前記通信ユニットは、前記取り込まれた画像を前記第2装置に、少なくとも部分的に、白黒画像で、全部あるいは一部を、送信する。
【0025】
この本発明の装置は、Augmented Reality Resourceのアプリケーション専用に設計された装置、あるいは異なる機能を実行する装置の両方である。後者の場合、前記表示スクリーンは、個人用装置に属するアプリケーションに関連する情報を表示する。前記表示スクリーンは、タッチパネル表示スクリーンであり、ユーザは、個人用装置に属するアプリケーションと対話あるいはそれを使用できる。カメラを組み込んだ携帯電話の場合には、その固有の機能(電話、マルチメディアのアプリケーション等)に加えて、カメラを使用してそれを表示装置がスクリーンに映し出しAugmented Reality Resourcesのアプリケーション用に用いることができる。
【0026】
本発明の第2の態様として、本発明のAugmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置は、
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像を表示する表示スクリーンと、
(C) 第2装置との接続装置と、
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像を処理し、
(Y) 前記表示スクリーン上で、前記取り込まれた画像の上に、重ね合わせる為に適した、寸法調整済み画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供する。
【0027】
本発明の一実施例によれば、前記寸法調整済み画像は、二次元あるいは三次元のテキストメッセージを表示する。
【0028】
本発明の第2の態様として、本発明のAugmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置は、
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像を表示する表示スクリーンと、
(C) 第2装置との接続装置と、
(D) 前記取り込まれた画像又はその一部と位置基準ベクトルを遠隔地に送信する通信ユニットと
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像を処理する。
【0029】
前記第2装置は、さらに、
(Y) 前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算する。
【0030】
前記第2装置は、前記遠隔地から来た前記取り込まれた画像に関連する情報を受信し、処理し、前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン上で、前記取り込まれた画像の上に重ねるのに適した寸法調整済み画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供する。
【0031】
本発明の第2の態様として、本発明のAugmented Reality Resourcesのアプリケーション用の方法は、画像取り込み機能を有する個人用装置により、
(A) 第1装置で画像を取り込むステップと、
(B) 前記取り込まれた画像を、前記個人用装置(1)の表示スクリーン上に表示するステップと、
(C) 前記取り込まれた画像を、第2装置に送信するステップと、
(D) 前記第2装置内で、以下のサブステップを実行するステップと、
(X) パターンを特定するために、前記取り込まれた画像を処理するサブステップ、
(Y) 前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算るサブステップ、
(Z) 前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン上で、前記取り込まれた画像の上に重ねるのに適した寸法調整済み画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供するるサブステップ、
(E) 前記寸法調整済み画像あるいはその組を、取り込まれた画像の上に重ねて、表示スクリーンに表示するステップと
を実行する。
【0032】
本発明の方法は、更に提供された情報に基づいて、寸法調整済み画像と生成された画像の両方又はそのイメージの組に対し全てのステップを実行する。
【0033】
前記画像の組は、ビデオシーケンスを形成する。
【0034】
本発明の方法は、別の角度からの前記画像を取り込むステップを有する。
【0035】
このアプリケーションにより、例えば複数の組み合わせの中から、固定された画像を取り込み送信し、装置の表示スクリーン上で見ることのできる三次元画像を受領し、前記固定画像を異なる角度から見た画像に重ね合わせるあるいは置換するステップを含む。
【実施例】
【0036】
図に示すように本発明の第1態様においては、本発明は、Augmented Reality Resourcesのアプリケーション用の画像取り込み機能を有する個人用装置1に関する。この個人用装置1は一例としてカメラ(図示せず)を組み込んだ携帯電話であるが、別の種類の個人用装置、例えば電子アジェンダ、ラップトップコンピュータも含む。
【0037】
本発明の個人装置は、
(A) 第1の画像取り込み装置(以下第1装置と称する)例、カメラと、
(B) 前記第1装置で取り込まれた画像を表示する表示スクリーンと、
(C) 第2装置との接続装置と、
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像を処理し、
(Y) 前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算し、
(Z) 前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン上で、前記取り込まれた画像の上に重ねるのに適した寸法調整済み画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供する。
【0038】
本発明の一実施例によれば、 前記第2装置は、前記個人用装置に組み込まれて、第1装置との組み立て体を形成する。あるいは、前記第2装置は、離れた場所にあり、前記個人用装置は、前記第2装置と通信するのに適した通信ユニット更に有する。
【0039】
このパターンは、グラフィック要素を表し、対象物5のビューの一部、あるいは全てである。例えばこれは、図1aの広告ポスターが貼られているバスストップで、個人用装置1であるカメラで撮られたもので、表示スクリーン2に表示している。あるいは図2aに示す雑誌でその一部をカメラで撮りそれを図2bの携帯電話の表示スクリーン2上に表示する。
【0040】
ここに示した実施例(図1b,2b,3a,3b,3c参照のこと)においては、生成された寸法調整済み画像4は、完全に仮想であり、表示スクリーン2上でカメラにより撮られた取り込み画像3の上に重ねられる。
【0041】
前述のケースは好ましいケースであるが、他の実施例(図示せず)もある。即ち、寸法調整済み画像4が取り込み画像3を置換し、寸法調整済み画像4のみが表示スクリーン2上に表示される。この場合、寸法調整済み画像4を生成することのできる情報は、仮想画像(virtual image)と現実画像(real image)を生成でき、この両者を重ね合わせるあるいは組み合わせることにより、寸法調整済み画像4を形成し、この寸法調整済み画像4が、最終的に表示スクリーン2に表示される。
【0042】
図1a,1bに示す実施例のように、個人用装置である第1装置は、広告ポスターである対象物5上に焦点あてることにより、物品の広告を行う取り込み画像3を取る。第2装置は、取り込み画像3を参照してパターンを特定し、前述したパターンの位置基準ベクトルを画像獲得用の第1装置に対し計算し、取り込み画像3に関連する寸法調整済み画像4を生成する(あるいは生成させる)。この取り込み画像3は、図では仮想のキャラクターで、広告用ポスターである対象物5に関連する賞を通知する。この生成された画像である対象物5は、賞には関連しない他の広告用ポスターとは、異なる。
【0043】
この結果を図1bに示す。同図は表示スクリーン2上の携帯電話を示し、この表示スクリーン2では、取り込み画像3と前記それに関連する仮想キャラクターである対象物4が見える。
【0044】
図2a,2bに示す実施例においては、対話が可能なあるいはダイナミックな広告が可能な新たな広告の概念の別のアプリケーションを示す。この場合、取り込み画像3は、雑誌である対象物5内に紹介された製品(特に運動靴)の広告である。生成された寸法調整済み画像4は、この運動靴の三次元表示である。前記画像あるいは三次元の寸法調整済み画像4は、別の角度から例えば雑誌である対象物5を移動した時に、観察できる。
【0045】
図3a,3b,3cは、図1a,1bに示した実施例と同一の概念に基づく別の実施例であるが、より進んだもので、第三世代のUMTS(Universal Mobile Telecommunications System)の技術により、リアルタイムで動く。即ち表示スクリーン2の上で、寸法調整済み画像4を取り込み画像3に重ねる(置換する)ために寸法調整済み画像4を送信することがほぼ瞬時に可能である。この様な技術(あるいは個人用装置1が携帯電話でない場合には他の類似の技術)を使用する利点は、より大量のデータをより広い周波数帯域で巡回させて、取り込み画像3と寸法調整済み画像4を、図1a,1bの最も基本的な実施例よりもより、複雑にすることが可能な点である。図3aは、ユーザが携帯電話のカメラで対象物5を撮り(しかし広告用ポスターの製品の表示の固定写真を撮るような最も基本的な実施例の場合と異なり)、この実施例では現実空間の写真を撮り、それは別の角度から写真を撮ったもの、あるいは画像あるいはビデオシーケンスを撮ったものでさえある。この取り込み画像3(又はビデオシーケンス)に関連する寸法調整済み画像4(又はビデオシーケンス)が、生成され、送信され、表示スクリーン2上で寸法調整済み画像の上に重ねられるかあるいは置換されて示される。この画像は、異なる角度から見た、あるいはの異なる所から見た寸法調整済み画像4(この場合飛行機であるが)であるが、それらは、取り込み画像3のある角度からのそれぞれの視野画面に関連付けられる。位置基準ベクトルの計算結果として、対象物5が携帯電話のカメラで撮られた角度は、変わることができ、表示スクリーン2上で、寸法調整済み画像4の画像も、取り込み画像3と同時に変わる。図3b,3cは、携帯電話の表示スクリーン2が2個の異なる角度からのこの様な状況を反映した画像を示す。
【0046】
寸法調整済み画像4の生成は、様々な方法で実行できる。例えば、第2装置内に記憶された一連の画像の単純な選択から、新たな画像を生成するために前記記憶された画像の操作まで、及び取り込み画像3からのみ開始した新たな寸法調整済み画像4の生成に至るまで様々な方法がある。
【0047】
個人用装置1は、Augmented Reality Resources専用の装置、Augmented Reality Resourcesのアプリケーションがその機能の1つであるような多機能装置の両方である。これは、携帯電話の場合に当てはまる。この場合、表示スクリーン2は、個人用装置1に属するアプリケーションに関連する情報を示し、ユーザが対話できるタッチパネルの表示スクリーンでもあり、かつ個人用装置1に属するアプリケーションと対話し使用できる。これは電子アジェンダにも当てはまる。
【0048】
第2の態様において、第1の態様と異なる点は、前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像を処理し、
(Y) 前記表示スクリーン上で、前記取り込まれた画像の上に、重ね合わせる為に適した、寸法調整済み画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供する。
【0049】
言い換えると、寸法調整済み画像4を生成するために位置基準ベクトルを計算する必要はなく、前記の画像生成と寸法調整は、特定されたパターンに基づいてのみ行われる。本発明の第2の態様の実施例(図示せず)においては、寸法調整済み画像4は、二次元あるいは三次元のテキストメッセージを表し、これは取り込み画像3の上に重ねられているかあるいは取り込み画像3を置換する。
【0050】
第3の態様において、本発明のAugmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置は、
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像を表示する表示スクリーンと、
(C) 第2装置と、
第2装置は、パターンを特定するために、前記取り込まれた画像を処理し、
(D) 前記取り込まれ画像又はその一部と位置基準ベクトルを遠隔地に送信する通信ユニットと
を有する。
【0051】
前記第2装置は、前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算する。
前記通信装置は、位置基準ベクトルを遠隔地に送信する。
【0052】
前記第2装置は、
前記遠隔地から来た前記取り込まれた画像(3)に関連する情報を受信し、処理し、
前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン上で、前記取り込まれた画像の上に重ねるのに適した寸法調整済み画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供する。
【0053】
第4の態様において、本発明のAugmented Reality Resourcesのアプリケーション用の方法は、画像取り込み機能を有する個人用装置により、
(A) 第1装置で画像を取り込むステップと、
(B) 前記取り込まれた画像を、前記個人用装置の表示スクリーン上に表示するステップと、
(C) 前記取り込まれた画像を、第2装置に送信するステップと、
(D) 前記第2装置内で、以下のサブステップを実行するステップと、
(X) パターンを特定するために、前記取り込まれた画像を処理するサブステップ、
(Y) 前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算るサブステップ、
(Z) 前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン上で、前記取り込まれた画像の上に重ねるのに適した寸法調整済画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供するるサブステップ、
(E) 前記寸法調整済み画像あるいはその組を、取り込まれた画像の上に重ねて、表示スクリーンに表示するステップと
を実行する。
【0054】
本発明の方法は、(F)前記提供された情報に基づいて、取り込まれた画像と寸法調整済み画像の両方の組に対する上記の全てのステップを実行するステップさらにを有する。取り込み画像3と寸法調整済み画像4の異なる角度から見たこの画像は、その目的は前記捕獲が異なる角度から実行されることであるが、前記提供された情報は前記寸法調整済み画像4の異なる画像を生成するデータを含み、それらの各々はそれぞれの角度から見たものである。
【0055】
一実施例によれば、前記画像の組は、ビデオシーケンスを形成する。
【0056】
第5の態様によれば、本発明のAugmented Reality Resourcesのアプリケーション用の方法は、画像取り込み機能を有する個人用装置により、
(A) 第1装置で画像を取り込むステップと、
(B) 前記取り込まれた画像を、前記個人用装置の表示スクリーン上に表示するステップと、
(C) 前記取り込まれた画像を、第2装置に送信するステップと、
(D) 前記第2装置内で、以下のサブステップを実行するステップと、
(X) パターンを特定するために、前記取り込まれた画像を処理するサブステップと、
(Y) 前記表示スクリーン上で、前記取り込まれた画像の上に重ねるのに適した寸法調整済み画像又はその組を生成する、前記取り込まれた画像に関連する情報を提供するるサブステップと、
(E) 前記寸法調整済み画像あるいは寸法調整済み画像の組を、取り込まれた画像の上に重ねて、表示スクリーンに表示するステップと
を実行する。
【0057】
一実施例によれば、前記寸法調整済み画像4は、二次元あるいは三次元のテキストメッセージを表示する。
【0058】
以上の説明は、本発明の一実施例に関するもので、この技術分野の当業者であれば、本発明の種々の変形例を考え得るが、それらはいずれも本発明の技術的範囲に包含される。特許請求の範囲の構成要素の後に記載した括弧内の番号は、図面の部品番号に対応し、発明の容易なる理解の為に付したものであり、発明を限定的に解釈するために用いてはならない。また、同一番号でも明細書と特許請求の範囲の部品名は必ずしも同一ではない。これは上記した理由による。
【図面の簡単な説明】
【0059】
【図1a】現実空間の画像を獲得したときの一実施例に対する本発明の装置を表す図。
【図1b】図1aと同一の実施例で、本発明の装置の表示スクリーンに、前記の取り込んだ画像と、この取り込んだ画像に関し受信し、重ね合わせた仮想の画像が見える図。
【図2a】本発明の他の実施例の個人用装置で取り込まれた物品(靴)が掲載された雑誌を表す図。
【図2b】本発明の表示スクリーンの取り込まれた画像上に、図2aの雑誌に掲載された物品を本発明のカメラで撮影して、前記画像の上に重ね合わされた同一の物品の斜視図を表す三次元の仮想画像を表す図。
【図3a】本発明の他の実施例で、本発明の装置がリアルタイムで仮想画像を受信したときに現実空間画像を取り込み、表示スクリーン上で、重ね合わせた両方の画像を表示した図。
【図3b】図3aと同一の実施例に対し、本発明の装置の表示スクリーン上に表示された特定の角度から視たAugmented Realityの特徴を具備した画像を表す図。
【図3c】図3aと同一の実施例に対し、本発明の装置の表示スクリーン上に表示された別の角度から視たAugmented Realityの特徴を具備した画像を表す図。
【符号の説明】
【0060】
1 個人用装置
2 表示スクリーン
3 取り込み画像
4 寸法調整済み画像
5 対象物

【特許請求の範囲】
【請求項1】
Augmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置において、
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像(3)を表示する表示スクリーン(2)と、
(C) 第2装置との接続装置と、
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像(3)を処理し、
(Y) 前記特定されたパターンの位置基準ベクトル(positional reference vector)を、前記第1装置に対し計算し、
(Z) 前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン(2)上で、前記取り込まれた画像(3)の上に重ねるのに適した寸法調整済み画像(4)又はその組を生成する、前記取り込まれた画像(3)に関連する情報を提供する
ことを特徴とする個人用装置。
【請求項2】
前記第2装置は、前記個人用装置(1)に組み込まれて、第1装置との組み立て体を形成する
ことを特徴とする請求項1記載の装置。
【請求項3】
前記第2装置は、遠隔地にあり、
前記個人用装置(1)は、
(D) 前記第2装置と通信するのに適した通信ユニット
を更に有する
ことを特徴とする請求項1記載の装置。
【請求項4】
前記第2装置を組み込む構成要素は、遠隔地と個人用装置(1)との間に配置され
前記個人用装置(1)は、
(E) 前記遠隔地にある構成要素と通信できる通信ユニット
を更に有する
ことを特徴とする請求項1記載の装置。
【請求項5】
前記パターンは、グラフィック要素を表す
ことを特徴とする請求項1記載の装置。
【請求項6】
前記グラフィック要素は、対象物(5)の画像の一部である
ことを特徴とする請求項5記載の装置。
【請求項7】
前記グラフィック要素は、対象物(5)の画像の全てである
ことを特徴とする請求項5記載の装置。
【請求項8】
前記情報が前記取り込まれた画像(3)を置換する時、前記情報は、仮想画像と現実画像を生成するデータを有し、その両方の重なりあるいは組み合わせが三次元画像を形成する
ことを特徴とする請求項1記載の装置。
【請求項9】
前記情報は、三次元画像を生成するデータを含む
ことを特徴とする請求項1記載の装置。
【請求項10】
前記通信ユニットは、前記取り込まれた画像(3)を、前記第2装置あるいはその一部に、送信する
ことを特徴とする請求項3もしくは4記載の装置。
【請求項11】
前記第2装置は、
受信した取り込まれた画像(3)を処理し、
各特定されたパターンの位置基準ベクトルを、個人用装置(1)に返信する
ことを特徴とする請求項10記載の装置。
【請求項12】
前記第2装置は、返信された位置基準ベクトル用の関連マスクを具備する画像(4)を、個人用装置(1)に、返信する
ことを特徴とする請求項11記載の装置。
【請求項13】
前記第2装置は、前記寸法調整済み画像(4)又はその組の生成ができるように、各返信された位置基準ベクトル用のマスクを、個人用装置(1)に返信する
ことを特徴とする請求項11記載の装置。
【請求項14】
前記個人用装置(1)内に配置された第2装置の構成要素は、前記寸法調整済み画像(4)又はその組を、個人用装置(1)に返信された前記位置基準ベクトル又はマスクに応じて、生成する
ことを特徴とする請求項11もしくは13記載の装置。
【請求項15】
前記個人用装置(1)内に配置された第2装置の構成要素は、その中に記憶された一連の画像を有し、
前記構成要素は、前記寸法調整済み画像(4)又はその組を、前記一連の記憶された画像から、選択手段により、生成する
ことを特徴とする請求項14記載の装置。
【請求項16】
前記構成要素は、前記寸法調整済み画像(4)又はその組を生成するために、前記記憶された画像を操作する
ことを特徴とする請求項15記載の装置。
【請求項17】
前記表示スクリーン(2)上で、前記返信されたあるいは生成された寸法調整済み画像(4)を、前記取り込まれた画像(3)の上に重ね合わせる
ことを特徴とする請求項12もしくは14記載の装置。
【請求項18】
前記表示スクリーン(2)上で、前記返信されたあるいは生成された寸法調整済み画像(4)で、前記取り込まれた画像(3)を置換する
ことを特徴とする請求項12もしくは13記載の装置。
【請求項19】
前記通信ユニットは、前記取り込まれた画像(3)を前記第2装置に、少なくとも部分的に、あるいは白黒画像で、送信する
ことを特徴とする請求項10記載の装置。
【請求項20】
前記通信ユニットは、前記取り込まれた画像(3)を前記第2装置に、全部あるいは一部を、送信する
ことを特徴とする請求項10記載の装置。
【請求項21】
前記表示スクリーン(2)は、個人用装置(1)に属するアプリケーションに関連する情報を表示する
ことを特徴とする請求項1記載の装置。
【請求項22】
前記表示スクリーン(2)は、タッチパネル表示スクリーンであり、
ユーザは、個人用装置(1)に属するアプリケーションと対話あるいは使用できる
ことを特徴とする請求項21記載の装置。
【請求項23】
Augmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置において
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像(3)を表示する表示スクリーン(2)と、
(C) 第2装置との接続装置と、
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像(3)を処理し、
(Y) 前記表示スクリーン(2)上で、前記取り込まれた画像(3)の上に、重ね合わせる為に適した、寸法調整済み画像(4)又はその組を生成する、前記取り込まれた画像(3)に関連する情報を提供する
ことを特徴とする個人用装置。
【請求項24】
前記寸法調整済み画像(4)は、二次元あるいは三次元のテキストメッセージを表示する
ことを特徴とする請求項23記載の装置。
【請求項25】
Augmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置において
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像(3)を表示する表示スクリーン(2)と、
(C) 第2装置との接続装置と、
(D) 前記取り込まれた画像(3)又はその一部と位置基準ベクトルを遠隔地に送信する通信ユニットと
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像(3)を処理し、
(Y) 前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算する
ことを特徴とする個人用装置。
【請求項26】
Augmented Reality Resourcesのアプリケーション用の画像取り込み機能を具備する個人装置において
(A) 第1の画像取り込み装置(以下第1装置と称する)と、
(B) 前記第1装置で取り込まれた画像(3)を表示する表示スクリーン(2)と、
(C) 第2装置との接続装置と、
(D) 前記取り込まれた画像(3)又はその一部と位置基準ベクトルを遠隔地に送信する通信ユニットと
を有し、
前記第2装置は、
(X) パターンを特定するために、前記取り込まれた画像(3)を処理する
ことを特徴とする個人用装置。
【請求項27】
前記第2装置は、
(Y) 前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算し、
前記通信ユニットは、前記位置基準ベクトルを遠隔地に送信する
ことを特徴とする請求項26記載の装置。
【請求項28】
Augmented Reality Resourcesのアプリケーション用の方法において、
画像取り込み機能を有する個人用装置により実行される、
(A) 第1装置で画像を取り込むステップと、
(B) 前記取り込まれた画像(3)を、前記個人用装置(1)の表示スクリーン(2)上に表示するステップと、
(C) 前記取り込まれた画像(3)を、第2装置に送信するステップと、
(D) 前記第2装置内で、以下のサブステップを実行するステップと、
(X) パターンを特定するために、前記取り込まれた画像(3)を処理するサブステップ、
(Y) 前記特定されたパターンの位置基準ベクトルを、前記第1装置に対し計算るサブステップ、
(Z) 前記位置基準ベクトルを考慮に入れながら、前記表示スクリーン(2)上で、前記取り込まれた画像(3)の上に重ねるのに適した寸法調整済み画像(4)又はその組を生成する、前記取り込まれた画像(3)に関連する情報を提供するるサブステップ、
(E) 前記寸法調整済み画像(4)あるいはその組を、取り込まれた画像(3)の上に重ねて、表示スクリーン(2)に表示するステップと
を有する
ことを特徴とする方法。
【請求項29】
(F) 前記提供された情報に基づいて、取り込まれた画像(3)と寸法調整済み画像(4)の両方の組に対する上記の全てのステップを実行するステップ
さらにを有する
ことを特徴とする請求項28記載の方法。
【請求項30】
前記画像の組は、ビデオシーケンスを形成する
ことを特徴とする請求項29記載の方法。
【請求項31】
(G) 異なる角度から前記(A)ステップを実行する
ことを特徴とする請求項28記載の方法。
【請求項32】
前記提供された情報は、それぞれの角度から見た寸法調整済み画像(4)又はその組を生成するデータを含む
ことを特徴とする請求項28もしくは29記載の方法。
【請求項33】
Augmented Reality Resourcesのアプリケーション用の方法において、
画像取り込み機能を有する個人用装置により実行される、
(A) 第1装置で画像を取り込むステップと、
(B) 前記取り込まれた画像(3)を、前記個人用装置(1)の表示スクリーン(2)上に表示するステップと、
(C) 前記取り込まれた画像(3)を、第2装置に送信するステップと、
(D) 前記第2装置内で、以下のサブステップを実行するステップと、
(X) パターンを特定するために、前記取り込まれた画像(3)を処理するサブステップと、
(Y) 前記表示スクリーン(2)上で、前記取り込まれた画像(3)の上に重ねるのに適した寸法調整済み画像(4)又はその組を生成する、前記取り込まれた画像(3)に関連する情報を提供するるサブステップと、
(E) 前記寸法調整済み画像(4)あるいは寸法調整済み画像(4)の組を、取り込まれた画像(3)の上に重ねて、表示スクリーン(2)に表示するステップと
を有する
ことを特徴とする方法。
【請求項34】
前記寸法調整済み画像(4)は、二次元あるいは三次元のテキストメッセージを表示する
ことを特徴とする請求項33記載の装置。

【図1a】
image rotate

【図1b】
image rotate

【図2a】
image rotate

【図2b】
image rotate

【図3a】
image rotate

【図3b】
image rotate

【図3c】
image rotate


【公表番号】特表2008−521110(P2008−521110A)
【公表日】平成20年6月19日(2008.6.19)
【国際特許分類】
【出願番号】特願2007−542009(P2007−542009)
【出願日】平成16年11月19日(2004.11.19)
【国際出願番号】PCT/ES2004/000518
【国際公開番号】WO2006/056622
【国際公開日】平成18年6月1日(2006.6.1)
【出願人】(507163851)ダーム インタラクティブ,エスエル (1)
【Fターム(参考)】