実在環境内においてデジタルモデルを視覚化する方法及び装置
【課題】ユーザーによる実在環境内における仮想モデルの視覚化を実現する方法及び装置を提供する。
【解決手段】強化されたビデオフローを形成するべく、実在環境を撮影するカメラのビデオフロー内に３Ｄ仮想オブジェクトの２Ｄ表現をリアルタイムで挿入し、複数のビデオフローを生成する複数のカメラを同時に使用することにより、異なる視角に応じて、実在環境内において仮想オブジェクトを視覚化可能である。特定のビデオフローを使用し、仮想モデル上における実在環境の効果を動的に生成している。例えば、仮想モデルは、デジタル複写であるか、又は実在複写の仮想的な強化であってよい。例えば、強化されたビデオフロー内に実在人物の表現などの仮想２Ｄオブジェクトを挿入可能である。
【解決手段】強化されたビデオフローを形成するべく、実在環境を撮影するカメラのビデオフロー内に３Ｄ仮想オブジェクトの２Ｄ表現をリアルタイムで挿入し、複数のビデオフローを生成する複数のカメラを同時に使用することにより、異なる視角に応じて、実在環境内において仮想オブジェクトを視覚化可能である。特定のビデオフローを使用し、仮想モデル上における実在環境の効果を動的に生成している。例えば、仮想モデルは、デジタル複写であるか、又は実在複写の仮想的な強化であってよい。例えば、強化されたビデオフロー内に実在人物の表現などの仮想２Ｄオブジェクトを挿入可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルモデルの視覚化に関するものであり、更に詳しくは、実在環境内においてデジタルモデルを視覚化する方法及び装置に関するものである。
【背景技術】
【０００２】
製品の開発コスト及び時間を抑制するべく、これらの製品のモックアップの分析は、実在世界から仮想的世界に向かって進展している。実在モックアップを視覚化するには、そのモックアップを製造する必要がある。コスト及びサイズの理由から、モックアップは、一般に、最終製品よりも小さいサイズで製造されている。しかしながら、このモックアップが、製品の実在表現をうまく処理することができると共に実在環境内に配置可能であるという利点を具備している場合には、この縮尺の違いにより、評価が困難となる。更には、機能強化の追加が、それぞれの実在モックアップにおける深刻且つ予測不能な遅延及びコストの原因となっている。例えば、車両の実在モックアップにおいてヘッドランプの設計を変更する場合は、ヘッドランプの製造と、その後のこのヘッドランプの実在モックアップ内への挿入が必要である。現在、産業界においては、多数の製品を、まずは、コンピュータ上において設計及びモデル化している。その製造の前の段階においては、製品は、仮想的であって、デジタルモックアップの形態で視覚化可能である。デジタルモックアップは、一般的に、ポリゴン、テクスチャ、及び材料に関する情報を有する三次元（３Ｄ）表現である。デジタルモックアップの使用は、多数の利点を提供している。具体的には、変更ごとに、新しいモックアップの製造を強いるということがなく、この結果、設計時間及びコストが低減される。モックアップの表現は、しばしば、没入型の部屋を形成するビデオプロジェクタ及びスクリーンの使用を通じて実現されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
製品を視覚化するべく生成された合成画像は、可能な限り現実に近づいてはいるものの、その製品は、その実在環境から抽出されており、従って、これを競合製品などの実在オブジェクト又はその環境にリンクされた製品と比較することは困難である。従って、デジタルモデルの視覚化を最適化するニーズが存在している。
本発明は、前述の問題点の中の少なくとも１つを解決している。
【課題を解決するための手段】
【０００４】
三次元仮想オブジェクトを実在環境内においてリアルタイムで視覚化する方法を提供することが、本発明の１つの目的であり、この方法は、少なくとも１つのビデオストリームを受信する段階と、少なくとも１つの受信したビデオストリーム内に三次元仮想オブジェクトの二次元表現をリアルタイムで挿入し、三次元仮想オブジェクトの二次元表現が挿入された少なくとも１つの受信したビデオストリームを有する少なくとも１つの増強されたビデオストリームを生成する段階と、少なくとも１つの増強されたビデオストリームを伝送する段階と、を有している。
【０００５】
実在環境内において仮想オブジェクトを視覚化することにより、その実在環境内においてオブジェクトを評価しつつ、同時に遅延及びコストを低減可能である。又、実在環境内において仮想オブジェクトを視覚化することにより、そのオブジェクトのいくつかの変形の分析も円滑に実行されることになる。
【０００６】
特定の一実施例においては、本発明による方法は、仮想オブジェクト上における実在環境の反射を動的に判定するべく第２のタイプのビデオストリームを受信する段階を有している。この結果、仮想オブジェクトの表現上における実在環境の動きを動的に管理することにより、リアリズムが増強される。具体的には、この第２のタイプのビデオストリームは、仮想オブジェクトの環境テクスチャを変更可能である。
【０００７】
更には、特定の一実施例によれば、仮想オブジェクトは、デジタルモックアップであってよい。実在環境内においてデジタルモックアップを視覚化することにより、その実在環境内においてそのモックアップを評価しつつ、同時に遅延及びコストを低減可能である。又、実在環境内においてデジタルモックアップを視覚化することにより、そのモックアップのいくつかの変形の分析も円滑に実行されることになる。
【０００８】
本発明の特定の一態様においては、仮想オブジェクトは、実在環境内に存在する実在モックアップの仮想的な増強である。実在モックアップ上において仮想的な増強を視覚化することにより、これらの増強のいくつかの変形を研究しつつ、同時に遅延及びコストを低減可能である。
【０００９】
更には、特定の一実施例によれば、本発明による方法は、増強されたビデオストリーム内において、ビデオストリームと関連付けられた少なくとも１つのデータストリームを受信する段階を有しており、このデータストリームは、関連付けられたビデオストリームの供給源の動きの特徴を示しており、このデータストリームに従って、三次元仮想オブジェクトの二次元表現を、受信したビデオストリーム内にリアルタイムで挿入している。この実施例においては、ビデオカメラは、移動可能であり、この結果、動的に変更可能な視角において、実在環境内において仮想オブジェクトを視覚化可能である。
【００１０】
更には、特定の一実施例によれば、仮想オブジェクトをアニメーション化することにより、そのリアリズムを増強すると共に、オブジェクトの分析の可能性を向上させている。
【００１１】
特定の一実施例によれば、本発明による方法は、受信したビデオストリーム内に二次元仮想オブジェクトをリアルタイムで挿入することにより、この分析対象の仮想オブジェクトを別の仮想オブジェクトと比較する段階を有している。具体的には、この二次元オブジェクトは、実在人物の表現であってよい。
【００１２】
特定の一実施例によれば、実在環境は、少なくとも１つの実在オブジェクトを有しており、本発明による方法は、実在オブジェクトの複数の特徴ポイントをその実在オブジェクトの仮想モデルの対応したポイントとマッチングさせることにより、実在オブジェクトと仮想オブジェクトの間の空間的リンクを生成する段階を有している。具体的には、本発明による方法は、ビデオストリームの供給源を検出することにより、仮想オブジェクトの視角を判定する段階を有することができる。又、本発明による方法は、実在オブジェクトに従って仮想オブジェクトを拡大縮小する段階を有することも可能である。
【００１３】
実在環境内において三次元仮想オブジェクトをリアルタイムで視覚化する装置を提供することが、本発明の別の目的であり、この装置は、前述の方法のそれぞれの段階を実行するべく適合された手段を有している。
【００１４】
更には、前述の方法のそれぞれの段階を、コンピュータに実行させるための命令を有するコンピュータプログラムを提供することが、本発明の１つの目的である。
【００１５】
本発明のその他の利点、目的、及び特徴については、非制限的な例として付与されている添付の図面を参照した以下の詳細な説明を参照することにより、明らかとなるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明の装置の概略図である。
【図２】実在環境内におけるデジタルモデルの視覚化への人物の挿入を示している。
【発明を実施するための形態】
【００１７】
本発明による方法及び装置によれば、ショールームと呼ばれる実在環境内においてモデルを視覚化するべく、デジタルモデルの画像と、このモデルによって表された製品の環境の実在画像をリアルタイムでミキシング可能である。生成されたビデオストリームは、デジタルモデルの追加対象であるショールームを撮影しているビデオカメラなどの供給源からのビデオストリームを有している。以下の説明においては、このビデオストリームを、増強されたビデオストリームと呼び、このストリームの画像を、増強されたショールームと呼ぶこととする。
【００１８】
説明の第１の部分においては、実在環境内においてデジタルモックアップを視覚化するための本発明による方法及び装置を示している。第２の部分においては、この方法及びこれらの装置を使用することにより、実在モックアップに追加された仮想的な増強を視覚化する方法を示している。
【００１９】
図１は、本発明による装置１００の一例を概略的に示している。この例においては、ショールームは、高解像度ビデオカメラ１０５−１と、標準的な解像度を具備した４つのビデオカメラ１１０−１〜１１０−４によって撮影している。高解像度カメラは、例えば、１９２０ピクセル×１０８０ラインなどのＨＤ規格によって規定された解像度の中の１つを具備可能である。標準的なビデオカメラは、７６８ピクセル×５７６ラインをリアルタイムで取得するＰＡＬ品質を有することができる。運動キャプチャ装置、即ち、運動センサをそれぞれのビデオカメラと関連付け可能である。この例においては、運動センサ１１５−１がビデオカメラ１０５−１と関連付けられており、運動センサ１２０−１〜１２０−４が、それぞれ、ビデオカメラ１１０−１〜１１０−４と関連付けられている。
【００２０】
それぞれの運動センサは、関連付けられているビデオカメラに装着されている。運動センサは、関連付けられているビデオカメラの可能な運動特性に従って選択されている。例えば、運動センサは、３つの自由度（水平回転、垂直回転、及びズーム）を具備したビデオカメラ用のアジマス／エレベーション／ズームタイプのものか、又は、６つの自由度（ｘ、ｙ、及びｚ軸との関係における変位、水平回転、垂直回転、及び傾斜）を具備したビデオカメラ用のｘ／ｙ／ｚ／パン／チルト／ロールタイプであってよい。
【００２１】
ビデオカメラは、ショールーム、即ち、デジタルモックアップが表示される空間を撮影している。ショールームは、例えば、オブジェクト１２５−１及び１２５−２などの実在オブジェクトを有することができる。参照符号１３０は、デジタルモックアップの場所を表している。
【００２２】
ビデオカメラをショールーム内に設置する前に、ビデオカメラ１０５−１及び１１０−１〜１１０４の光学歪み及び視野を算出している。
【００２３】
ビデオカメラ及び運動センサは、コンピュータに接続されている。ビデオカメラは、好ましくは、コンピュータのビデオ取得カードに接続されており、運動センサは、コンピュータの通信ポートに接続されている。図１の例においては、高解像度カメラ１０５−１及び運動センサ１１５−１は、第１コンピュータ１３５−１に接続されており、カメラ１１０−１〜１１０−４及び運動センサ１２０−１〜１２０−４は、第２コンピュータ１３５−２に接続されている。尚、これらのコンピュータは、標準的なパーソナルコンピュータ（ＰＣ）である。
【００２４】
それぞれのパーソナルコンピュータ１３５−１又は１３５−２は、好ましくは、個別のイーサネット（登録商標）ポート１４０−１及び１４０−２を具備しており、この結果、これらのパーソナルコンピュータは、互いに情報を交換可能である。又、それぞれのパーソナルコンピュータは、ビデオ取得カード及び通信ポート（図示されてはいない）をも有している。この例においては、パーソナルコンピュータ１３５−１は、高解像度取得カード１４５−１を含んでいる。現時点においては、マザーボードに伴う帯域幅制限に起因し、パーソナルコンピュータには、１枚の高解像度取得カードしか挿入することができない。将来においては、同一のパーソナルコンピュータ内において、いくつかの高解像度取得カード又は１つの高解像度取得カード及びいくつかの標準的な取得カードを使用可能となり、従って、パーソナルコンピュータ１３５−１及び１３５−２を単一のパーソナルコンピュータによって置換可能となろう。パーソナルコンピュータ１３５−２は、参照符号１４５−２を共有している４枚の標準的な取得カードを有している。ビデオカメラ１１０−１〜１１０−４と取得カード１４５−２の間の接続は、コンポジットビデオ又はＳＶｉｄｅｏ接続であってよい。高解像度又は標準的な取得カードは、ＰＣＩバスを介してパーソナルコンピュータに接続可能である。
【００２５】
パーソナルコンピュータ１３５−１及び１３５−２のそれぞれは、例えば、ＶＧＡタイプの出力を有するＡＴＩ Ｘ８００、ＡＴＩ １８００ＸＬ、又はＮＶｉｄｉａ ７９００ＧＴＸカードなどの、例えば、３Ｄアクセラレーションを有するグラフィックカードのような個別のグラフィックカード１５０−１及び１５０−２を有している。これらのグラフィックカードの出力は、モニタ（図示されてはいない）及び／又はビデオプロジェクタに接続可能である。この例においては、パーソナルコンピュータ１３５−１のグラフィックカード１５０−１の出力は、ビデオプロジェクタ１５５−１に接続されており、パーソナルコンピュータ１３５−２のグラフィックカード１５０−２の出力は、ビデオプロジェクタ１５５−２に接続されている。パーソナルコンピュータ１３５−１及び１３５−２によって生成されたビデオストリーム、即ち、増強されたビデオストリームは、１つ又は複数の投影スクリーン１６０上において同時に表示可能である。或いは、この代わりに、単一の増強されたビデオストリームを表示することも可能である。同様に、４つのビデオカメラ１１０−１〜１１０−４からパーソナルコンピュータ１３５−２によって生成された４つのビデオストリームも、同時に又は非同時に視覚化可能である。ビデオストリームの数と視覚化のサイズは、ユーザーによって選択されている。
【００２６】
パーソナルコンピュータ１３５−１及び１３５−２の基本的な役割は、ショールームを表すビデオストリームを取得することと、これにビデオカメラの位置に従ってデジタルモックアップを追加することと、増強されたビデオストリームをリアルタイムでプロジェクタに伝送することである。ビデオカメラからのビデオストリームを増強するべく、パーソナルコンピュータは、３Ｄオブジェクトをビデオストリーム内にリアルタイムで挿入することによってリアリティを増強するアプリケーション用に設計されたトータル・イマージョン（Ｔｏｔａｌ Ｉｍｍｅｒｓｉｏｎ）社のＤ’ＦＵＳＩＯＮソフトウェアを使用可能である。
【００２７】
増強されたビデオストリームの画像の分解能は、理想的には、これらを表示するべく使用されるビデオプロジェクタの固有分解能に対応している。増強されたビデオストリームの画像の分解能は、双一次フィルタリングなどのグラフィックカードに提供されている高品質テクスチャリサイジング法を使用することにより、これらの画像の表示に使用されるビデオプロジェクタの固有分解能に適合させるべく、変更可能である。
【００２８】
デジタルモックアップは、好ましくは、既製のＣＡＤ（コンピュータ援用設計）ソフトウェア又はモデリングソフトウェアを使用して生成されている。このファイルを、例えば、ＤｉｒｅｃｔＸフォーマットなどのＤ’ＦＵＳＩＯＮソフトウェアの内部フォーマットに変換している。マスキングの問題を克服するべく、増強されたショールーム内に存在することを要する実在オブジェクトのデジタルモデルをインポートすることも、同様に可能である。この結果、実在要素によってビデオカメラの位置の関数として部分的又は全体的にマスキングされるように、デジタルモデルを視覚化可能である。シーンをレンダリングする時点において、実在ショールーム内に表示される仮想オブジェクトのデジタルモデルと、ショールーム内に存在する実在オブジェクト（例えば、１２５−１及び１２５−２）に対応したデジタルモデルは、判明している。実在オブジェクトに対応したデジタルモデルは、画像内において可視状態にはないが、これらは、グラフィックカード上における深さ（Ｚバッファ）情報との関連において貢献している。この貢献により、仮想オブジェクトを実在オブジェクトによって部分的又は全体的にマスキング可能である。必要に応じてアニメーション化された、テクスチャが付与されたデジタルモックアップの３Ｄモデルと、ショールーム内に存在する実在オブジェクトの３Ｄモデルは、好ましくは、例えば、パーソナルコンピュータ１３５−１及び１３５−２のディスク上に保存されている。デジタルモックアップのアニメーションは、回転、並進、スケールの変更、及び／又はワイヤメッシュ表示タイプのものであってよい。デジタルモックアップは、好ましくは、増強されたビデオストリームの画像の表示に使用されるビデオプロジェクタの固有分解能を具備している。
【００２９】
本装置をセットアップする際には、実在オブジェクトを、好ましくは、ショールーム内のデジタルモックアップの場所に設置する。この実在オブジェクトのサイズは、好ましくは、デジタルモックアップのサイズに類似しており、実在世界において仮想オブジェクトを更に正確に表示するべく、既定では、この実在オブジェクトのプロポーションは、デジタルモックアップのプロポーションに類似している。この実在オブジェクトは、予め、モデル化されており、これを表す関連ＣＡＤファイルを使用して本装置を較正している。この実在オブジェクトは、例えば、理想的には低膨張係数を具備した材料から製造された立方体又は平行六面体である。それぞれのビデオカメラの検出ツールを使用することにより、デジタルモックアップの場所に設置された実在オブジェクトの特徴ポイントを実在オブジェクトのデジタルモデルの対応したポイントとマッチングさせている。これにより、実在オブジェクトにリンクされた絶対基準フレーム内において位置及び向き（ｘ／ｙ／ｚ／ロール／ピッチ／ノーズダイブ）を取得可能である。この結果、すべてのビデオカメラが同一の絶対基準フレーム内に配置される。
【００３０】
Ｄ’ＦＵＳＩＯＮソフトウェアは、好ましくは、このデジタルモックアップをそれぞれのビデオカメラからの画像内にリアルタイムで統合している。このソフトウェアは、起動の際に、いくつかのデジタルモックアップを読み込み可能である。次いで、読み込んだものの中から、１つのデジタルモックアップの表示を順次選択可能である。選択したデジタルモックアップについて、例えば、テクスチャや色などの材料、位置、及び／又は向きを変更可能である。例えば、自動車のデジタルモックアップのドアの開閉などのアニメーションを表示することも、同様に可能である。
【００３１】
デジタルモックアップ内における環境の反射を管理するべく、静的環境テクスチャを生成することも可能である。
ショールーム（壁、床、及び天井）をモデル化した後に、１８０°のビデオカメラパラメータを有する標準モデラを使用して環境テクスチャを算出する方法（球体又は立方体環境マッピング）と、
ショールーム内のデジタルモックアップの意図する場所に反射球体を配設して写真を撮影し、この写真を球体環境マップとして使用する方法、という２つの方法を使用可能である。
【００３２】
この静的環境テクスチャは、初期化又は設置フェーズにおいて判定している。このテクスチャを、ショールームにリンクされたイベントとは無関係に、デジタルモックアップに適用するのである。特に、ショールーム内に存在する動いている実在オブジェクト又は人物は、デジタルモックアップ上に生成された反射に影響を及ぼすことにならない。
【００３３】
この問題を軽減するために、本発明による方法及び装置は、デジタルモデルに適用される反射を動的に管理するべく適合されている。ビデオカメラをショールーム内のデジタルモックアップの場所（１３０）に設置する。このビデオカメラは、好ましくは、床に固定されており、上方を狙っている、即ち、上方を撮影している。これには、魚眼レンズが装着されている。このビデオカメラからのビデオストリームをパーソナルコンピュータ１３５−１及び１３５−２に伝送している。これを使用し、リアルタイムで環境テクスチャを更新している。この結果、例えば、デジタルモックアップ内において反射された自分自身を観察すると共に、移動の際、又はデジタルモックアップに近接したオブジェクトのコンテンツ又は位置が変化した場合に、反射の変化を観察可能である。
【００３４】
デジタルモックアップとの関係において、且つ、従って、デジタルモックアップのスケールが実在オブジェクトのスケールに適合されている場合には、実在オブジェクトとの関係において、１：１のスケールで、増強されたショールーム内に人物を表示可能である。増強されたショールーム内に人物を挿入する方法は、好ましくは、前方及び背後から人物を写真撮影する段階と、これらの写真から人物をクリッピングする段階と、から構成されている。写真を変更して、例えば、緑の背景などの均一色の背景上に人物の画像を得ることにより、写真をクリッピング可能である。この画像の使用の際には、Ｄ’ＦＵＳＩＯＮソフトウェアは、ピクセルシェーダ機能を使用することにより、例えば、緑などの背景色ではないピクセルのみを表示する。或いは、この代わりに、使用するグラフィックカードによるそれぞれのピクセルごとの表示／非表示の判定を実現するアルファ情報、即ち、グレースケール符号化された情報を含む別のビットマップと共に、人物の写真をＤ’ＦＵＳＩＯＮソフトウェアに送信する。この写真を使用して３Ｄオブジェクトにテクスチャを付与するが、この３Ｄオブジェクトは、例えば、単純な矩形であってよい。この３Ｄオブジェクトを、増強されたショールーム内において、ビデオカメラの角度に応じて、前面から又は背後から、増強されたショールームの画像の生成に使用されるビデオストリームを生成するビデオカメラの光学軸に垂直の状態において、リアルタイムで配置する。図２は、この方法を示している。参照符号２００−１及び２００−２は、それぞれ、前面及び背後から撮影された人物の写真のクリッピング結果を示している。右側のシーンは、車のデジタルモックアップの前面（左側）及び背後（右側）に表示された同一人物の写真と共に、車２０５のデジタルモックアップを有する増強されたショールームを示している。クリッピングされた写真２００−１と関連付けられた３Ｄオブジェクトは、その位置に応じて、デジタルモックアップによってマスキングされているか、又は、デジタルモックアップをマスキングしている。
【００３５】
増強されたショールームを視覚化する際には、例えば、パーソナルコンピュータ１３５−１及び１３５−２のキーボードを使用することにより、１つのビデオカメラの視界から別のものに切り換え可能である。ビデオカメラが移動可能であり、且つ、動力が付与されている場合には、例えば、パーソナルコンピュータ１３５−１〜１３５−２に接続されたマウス、キーボード、又はジョイスティックなどの別のポインティング装置を使用することにより、それらの動き、それらの向き、及び／又はそれらのズームファクタを制御することも可能である。増強されたショールームに仮想光源を追加することも可能であり、且つ、これらをリアルタイムで調節することにより、これらをショールームの実在照明と調和させることができる。ショールーム内に存在する実在オブジェクトの３Ｄモデルを使用することにより、ショールーム内におけるそれらのオブジェクトの位置に応じてデジタルモックアップをマスキングする。
【００３６】
又、本発明による方法及び装置は、増強されたリアリティを使用することにより、実在モックアップに仮想的な増強を追加し、且つ、従って、可能な試験の数を増大させつつ、同時に、コスト及び遅延を低減している。図１を参照すれば、実在オブジェクト１２５−１及び１２５−２は、ユーザーが仮想的な増強の追加を所望する実在モックアップの２つの部分を表現可能である。当然のことながら、本発明による方法及び装置の特性を変更することなしに、１つ又は複数の実在オブジェクト上に、又はこれらのそばに、仮想的な増強を配置可能である。
【００３７】
実在モックアップのデジタルモデルは、好ましくは、既製のＣＡＤソフトウェア又はモデラを利用して生成され、且つ、例えば、ＤｉｒｅｃｔＸフォーマットなどのＤ’ＦＵＳＩＯＮソフトウェアの内部フォーマットにインポートされる。この３Ｄデジタルモデルは、好ましくは、使用するパーソナルコンピュータのハードディスク上に保存されている（このモデルのテクスチャは不要である）。又、実在モックアップに追加される仮想的な増強のデジタルモデルも、ＣＡＤソフトウェアを利用して生成し、Ｄ’ＦＵＳＩＯＮソフトウェアの内部フォーマットにインポートし、且つ、ハードディスク上に保存可能である。これらの仮想的な増強は、好ましくは、これらの仮想的な増強を内蔵した増強されたビデオストリームからの画像の表示に使用されるビデオプロジェクタの固有分解能を有している。前述のデジタルモックアップと同様に、仮想的な増強をアニメーション化することも可能である（回転、並進、スケールの変更、及び／又はワイヤメッシュ表示）。
【００３８】
ビデオカメラの正確な位置は、実在モックアップの特徴ポイントをデジタルモデルの対応したポイントとマッチングさせることによって判定している。反射は、デジタルモックアップの視覚化と同様の方法において管理している。
【００３９】
仮想的な増強を表示する際には、これらのそれぞれを選択し、これらを表示するか又はこれらを消失させ、これらの位置を変更し、これらの向きを変更すると共に／又は、これらのテクスチャを変更可能である。
【００４０】
本発明は、実在環境、即ち、ショールーム内においてデジタルモックアップを視覚化しており、或いは、実在モックアップの仮想的な増強を視覚化している。デジタルモックアップ又は仮想的な増強上におけるショールームによって生成された反射の動的な管理以外に、本発明の新規な特徴は、
いくつかの環境マップを合成することにより、デジタルモックアップ又は仮想的な増強上における外部世界の反射の動的な管理を、それらの反射の静的な管理と合成可能であり（それぞれのマップの影響の程度は、例えば、０〜１の間で変化するパラメータによって付与可能である）、
いくつかのビデオカメラを使用することにより、異なる角度からデジタルモックアップ又は仮想的な増強を視覚化可能であり、
ショールーム内においてデジタルモックアップ又は仮想的な増強を視覚化するべく使用されるビデオカメラは、固定又は移動可能であってよいと共に、これらの焦点距離は、可変であってよく、
増強された画像、即ち、実在オブジェクト及び仮想オブジェクトから構成された画像をリアルタイムで表示しており、即ち、デジタルモックアップ又は仮想的な増強を有するショールームの視覚化が、ショールームの撮影と同時に実行されており、
デジタルモックアップ又は仮想的な増強をリアルタイムでアニメーション化可能であり、
ショールーム内におけるデジタルモックアップ又は仮想的な増強の位置とこれらの向きをリアルタイムで変更可能であり、
ショールームは、実在オブジェクト、具体的には、モックアップと比較される実在オブジェクトを有することが可能であり、それぞれのビデオカメラからの観察状態に応じて、デジタルモックアップ又は仮想的な強化を実在オブジェクトによって部分的に又は全体的にマスキング可能であり、
ショールーム内における実在オブジェクトの位置と、これらの向きをリアルタイムで変更可能であり、
ショールームは、物理的な人物を有することが可能であり、
本発明による装置をビデオ会議システムに接続することにより、コンポジット画像を別の場所にリアルタイムで伝送可能であり、
本発明による装置は、高解像度カメラを使用可能である、という利点を具備している。
【００４１】
画像処理及び増強されたリアリティの分野における熟練者であれば、当然のことながら、特定の要件を満足させるべく、以上の説明を変更することにより、自身の要件を満足させることが可能である。
【符号の説明】
【００４２】
１０５−１ 高解像度ビデオカメラ
１１０−１〜１１０−４ ビデオカメラ
１３０ デジタルモックアップの場所
１２５−１，１２５−２ オブジェクト
１３５−１ 第１コンピュータ
１３５−２ 第２コンピュータ
１５５−１，１５５−２ ビデオプロジェクタ
１６０ スクリーン
【技術分野】
【０００１】
本発明は、デジタルモデルの視覚化に関するものであり、更に詳しくは、実在環境内においてデジタルモデルを視覚化する方法及び装置に関するものである。
【背景技術】
【０００２】
製品の開発コスト及び時間を抑制するべく、これらの製品のモックアップの分析は、実在世界から仮想的世界に向かって進展している。実在モックアップを視覚化するには、そのモックアップを製造する必要がある。コスト及びサイズの理由から、モックアップは、一般に、最終製品よりも小さいサイズで製造されている。しかしながら、このモックアップが、製品の実在表現をうまく処理することができると共に実在環境内に配置可能であるという利点を具備している場合には、この縮尺の違いにより、評価が困難となる。更には、機能強化の追加が、それぞれの実在モックアップにおける深刻且つ予測不能な遅延及びコストの原因となっている。例えば、車両の実在モックアップにおいてヘッドランプの設計を変更する場合は、ヘッドランプの製造と、その後のこのヘッドランプの実在モックアップ内への挿入が必要である。現在、産業界においては、多数の製品を、まずは、コンピュータ上において設計及びモデル化している。その製造の前の段階においては、製品は、仮想的であって、デジタルモックアップの形態で視覚化可能である。デジタルモックアップは、一般的に、ポリゴン、テクスチャ、及び材料に関する情報を有する三次元（３Ｄ）表現である。デジタルモックアップの使用は、多数の利点を提供している。具体的には、変更ごとに、新しいモックアップの製造を強いるということがなく、この結果、設計時間及びコストが低減される。モックアップの表現は、しばしば、没入型の部屋を形成するビデオプロジェクタ及びスクリーンの使用を通じて実現されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
製品を視覚化するべく生成された合成画像は、可能な限り現実に近づいてはいるものの、その製品は、その実在環境から抽出されており、従って、これを競合製品などの実在オブジェクト又はその環境にリンクされた製品と比較することは困難である。従って、デジタルモデルの視覚化を最適化するニーズが存在している。
本発明は、前述の問題点の中の少なくとも１つを解決している。
【課題を解決するための手段】
【０００４】
三次元仮想オブジェクトを実在環境内においてリアルタイムで視覚化する方法を提供することが、本発明の１つの目的であり、この方法は、少なくとも１つのビデオストリームを受信する段階と、少なくとも１つの受信したビデオストリーム内に三次元仮想オブジェクトの二次元表現をリアルタイムで挿入し、三次元仮想オブジェクトの二次元表現が挿入された少なくとも１つの受信したビデオストリームを有する少なくとも１つの増強されたビデオストリームを生成する段階と、少なくとも１つの増強されたビデオストリームを伝送する段階と、を有している。
【０００５】
実在環境内において仮想オブジェクトを視覚化することにより、その実在環境内においてオブジェクトを評価しつつ、同時に遅延及びコストを低減可能である。又、実在環境内において仮想オブジェクトを視覚化することにより、そのオブジェクトのいくつかの変形の分析も円滑に実行されることになる。
【０００６】
特定の一実施例においては、本発明による方法は、仮想オブジェクト上における実在環境の反射を動的に判定するべく第２のタイプのビデオストリームを受信する段階を有している。この結果、仮想オブジェクトの表現上における実在環境の動きを動的に管理することにより、リアリズムが増強される。具体的には、この第２のタイプのビデオストリームは、仮想オブジェクトの環境テクスチャを変更可能である。
【０００７】
更には、特定の一実施例によれば、仮想オブジェクトは、デジタルモックアップであってよい。実在環境内においてデジタルモックアップを視覚化することにより、その実在環境内においてそのモックアップを評価しつつ、同時に遅延及びコストを低減可能である。又、実在環境内においてデジタルモックアップを視覚化することにより、そのモックアップのいくつかの変形の分析も円滑に実行されることになる。
【０００８】
本発明の特定の一態様においては、仮想オブジェクトは、実在環境内に存在する実在モックアップの仮想的な増強である。実在モックアップ上において仮想的な増強を視覚化することにより、これらの増強のいくつかの変形を研究しつつ、同時に遅延及びコストを低減可能である。
【０００９】
更には、特定の一実施例によれば、本発明による方法は、増強されたビデオストリーム内において、ビデオストリームと関連付けられた少なくとも１つのデータストリームを受信する段階を有しており、このデータストリームは、関連付けられたビデオストリームの供給源の動きの特徴を示しており、このデータストリームに従って、三次元仮想オブジェクトの二次元表現を、受信したビデオストリーム内にリアルタイムで挿入している。この実施例においては、ビデオカメラは、移動可能であり、この結果、動的に変更可能な視角において、実在環境内において仮想オブジェクトを視覚化可能である。
【００１０】
更には、特定の一実施例によれば、仮想オブジェクトをアニメーション化することにより、そのリアリズムを増強すると共に、オブジェクトの分析の可能性を向上させている。
【００１１】
特定の一実施例によれば、本発明による方法は、受信したビデオストリーム内に二次元仮想オブジェクトをリアルタイムで挿入することにより、この分析対象の仮想オブジェクトを別の仮想オブジェクトと比較する段階を有している。具体的には、この二次元オブジェクトは、実在人物の表現であってよい。
【００１２】
特定の一実施例によれば、実在環境は、少なくとも１つの実在オブジェクトを有しており、本発明による方法は、実在オブジェクトの複数の特徴ポイントをその実在オブジェクトの仮想モデルの対応したポイントとマッチングさせることにより、実在オブジェクトと仮想オブジェクトの間の空間的リンクを生成する段階を有している。具体的には、本発明による方法は、ビデオストリームの供給源を検出することにより、仮想オブジェクトの視角を判定する段階を有することができる。又、本発明による方法は、実在オブジェクトに従って仮想オブジェクトを拡大縮小する段階を有することも可能である。
【００１３】
実在環境内において三次元仮想オブジェクトをリアルタイムで視覚化する装置を提供することが、本発明の別の目的であり、この装置は、前述の方法のそれぞれの段階を実行するべく適合された手段を有している。
【００１４】
更には、前述の方法のそれぞれの段階を、コンピュータに実行させるための命令を有するコンピュータプログラムを提供することが、本発明の１つの目的である。
【００１５】
本発明のその他の利点、目的、及び特徴については、非制限的な例として付与されている添付の図面を参照した以下の詳細な説明を参照することにより、明らかとなるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明の装置の概略図である。
【図２】実在環境内におけるデジタルモデルの視覚化への人物の挿入を示している。
【発明を実施するための形態】
【００１７】
本発明による方法及び装置によれば、ショールームと呼ばれる実在環境内においてモデルを視覚化するべく、デジタルモデルの画像と、このモデルによって表された製品の環境の実在画像をリアルタイムでミキシング可能である。生成されたビデオストリームは、デジタルモデルの追加対象であるショールームを撮影しているビデオカメラなどの供給源からのビデオストリームを有している。以下の説明においては、このビデオストリームを、増強されたビデオストリームと呼び、このストリームの画像を、増強されたショールームと呼ぶこととする。
【００１８】
説明の第１の部分においては、実在環境内においてデジタルモックアップを視覚化するための本発明による方法及び装置を示している。第２の部分においては、この方法及びこれらの装置を使用することにより、実在モックアップに追加された仮想的な増強を視覚化する方法を示している。
【００１９】
図１は、本発明による装置１００の一例を概略的に示している。この例においては、ショールームは、高解像度ビデオカメラ１０５−１と、標準的な解像度を具備した４つのビデオカメラ１１０−１〜１１０−４によって撮影している。高解像度カメラは、例えば、１９２０ピクセル×１０８０ラインなどのＨＤ規格によって規定された解像度の中の１つを具備可能である。標準的なビデオカメラは、７６８ピクセル×５７６ラインをリアルタイムで取得するＰＡＬ品質を有することができる。運動キャプチャ装置、即ち、運動センサをそれぞれのビデオカメラと関連付け可能である。この例においては、運動センサ１１５−１がビデオカメラ１０５−１と関連付けられており、運動センサ１２０−１〜１２０−４が、それぞれ、ビデオカメラ１１０−１〜１１０−４と関連付けられている。
【００２０】
それぞれの運動センサは、関連付けられているビデオカメラに装着されている。運動センサは、関連付けられているビデオカメラの可能な運動特性に従って選択されている。例えば、運動センサは、３つの自由度（水平回転、垂直回転、及びズーム）を具備したビデオカメラ用のアジマス／エレベーション／ズームタイプのものか、又は、６つの自由度（ｘ、ｙ、及びｚ軸との関係における変位、水平回転、垂直回転、及び傾斜）を具備したビデオカメラ用のｘ／ｙ／ｚ／パン／チルト／ロールタイプであってよい。
【００２１】
ビデオカメラは、ショールーム、即ち、デジタルモックアップが表示される空間を撮影している。ショールームは、例えば、オブジェクト１２５−１及び１２５−２などの実在オブジェクトを有することができる。参照符号１３０は、デジタルモックアップの場所を表している。
【００２２】
ビデオカメラをショールーム内に設置する前に、ビデオカメラ１０５−１及び１１０−１〜１１０４の光学歪み及び視野を算出している。
【００２３】
ビデオカメラ及び運動センサは、コンピュータに接続されている。ビデオカメラは、好ましくは、コンピュータのビデオ取得カードに接続されており、運動センサは、コンピュータの通信ポートに接続されている。図１の例においては、高解像度カメラ１０５−１及び運動センサ１１５−１は、第１コンピュータ１３５−１に接続されており、カメラ１１０−１〜１１０−４及び運動センサ１２０−１〜１２０−４は、第２コンピュータ１３５−２に接続されている。尚、これらのコンピュータは、標準的なパーソナルコンピュータ（ＰＣ）である。
【００２４】
それぞれのパーソナルコンピュータ１３５−１又は１３５−２は、好ましくは、個別のイーサネット（登録商標）ポート１４０−１及び１４０−２を具備しており、この結果、これらのパーソナルコンピュータは、互いに情報を交換可能である。又、それぞれのパーソナルコンピュータは、ビデオ取得カード及び通信ポート（図示されてはいない）をも有している。この例においては、パーソナルコンピュータ１３５−１は、高解像度取得カード１４５−１を含んでいる。現時点においては、マザーボードに伴う帯域幅制限に起因し、パーソナルコンピュータには、１枚の高解像度取得カードしか挿入することができない。将来においては、同一のパーソナルコンピュータ内において、いくつかの高解像度取得カード又は１つの高解像度取得カード及びいくつかの標準的な取得カードを使用可能となり、従って、パーソナルコンピュータ１３５−１及び１３５−２を単一のパーソナルコンピュータによって置換可能となろう。パーソナルコンピュータ１３５−２は、参照符号１４５−２を共有している４枚の標準的な取得カードを有している。ビデオカメラ１１０−１〜１１０−４と取得カード１４５−２の間の接続は、コンポジットビデオ又はＳＶｉｄｅｏ接続であってよい。高解像度又は標準的な取得カードは、ＰＣＩバスを介してパーソナルコンピュータに接続可能である。
【００２５】
パーソナルコンピュータ１３５−１及び１３５−２のそれぞれは、例えば、ＶＧＡタイプの出力を有するＡＴＩ Ｘ８００、ＡＴＩ １８００ＸＬ、又はＮＶｉｄｉａ ７９００ＧＴＸカードなどの、例えば、３Ｄアクセラレーションを有するグラフィックカードのような個別のグラフィックカード１５０−１及び１５０−２を有している。これらのグラフィックカードの出力は、モニタ（図示されてはいない）及び／又はビデオプロジェクタに接続可能である。この例においては、パーソナルコンピュータ１３５−１のグラフィックカード１５０−１の出力は、ビデオプロジェクタ１５５−１に接続されており、パーソナルコンピュータ１３５−２のグラフィックカード１５０−２の出力は、ビデオプロジェクタ１５５−２に接続されている。パーソナルコンピュータ１３５−１及び１３５−２によって生成されたビデオストリーム、即ち、増強されたビデオストリームは、１つ又は複数の投影スクリーン１６０上において同時に表示可能である。或いは、この代わりに、単一の増強されたビデオストリームを表示することも可能である。同様に、４つのビデオカメラ１１０−１〜１１０−４からパーソナルコンピュータ１３５−２によって生成された４つのビデオストリームも、同時に又は非同時に視覚化可能である。ビデオストリームの数と視覚化のサイズは、ユーザーによって選択されている。
【００２６】
パーソナルコンピュータ１３５−１及び１３５−２の基本的な役割は、ショールームを表すビデオストリームを取得することと、これにビデオカメラの位置に従ってデジタルモックアップを追加することと、増強されたビデオストリームをリアルタイムでプロジェクタに伝送することである。ビデオカメラからのビデオストリームを増強するべく、パーソナルコンピュータは、３Ｄオブジェクトをビデオストリーム内にリアルタイムで挿入することによってリアリティを増強するアプリケーション用に設計されたトータル・イマージョン（Ｔｏｔａｌ Ｉｍｍｅｒｓｉｏｎ）社のＤ’ＦＵＳＩＯＮソフトウェアを使用可能である。
【００２７】
増強されたビデオストリームの画像の分解能は、理想的には、これらを表示するべく使用されるビデオプロジェクタの固有分解能に対応している。増強されたビデオストリームの画像の分解能は、双一次フィルタリングなどのグラフィックカードに提供されている高品質テクスチャリサイジング法を使用することにより、これらの画像の表示に使用されるビデオプロジェクタの固有分解能に適合させるべく、変更可能である。
【００２８】
デジタルモックアップは、好ましくは、既製のＣＡＤ（コンピュータ援用設計）ソフトウェア又はモデリングソフトウェアを使用して生成されている。このファイルを、例えば、ＤｉｒｅｃｔＸフォーマットなどのＤ’ＦＵＳＩＯＮソフトウェアの内部フォーマットに変換している。マスキングの問題を克服するべく、増強されたショールーム内に存在することを要する実在オブジェクトのデジタルモデルをインポートすることも、同様に可能である。この結果、実在要素によってビデオカメラの位置の関数として部分的又は全体的にマスキングされるように、デジタルモデルを視覚化可能である。シーンをレンダリングする時点において、実在ショールーム内に表示される仮想オブジェクトのデジタルモデルと、ショールーム内に存在する実在オブジェクト（例えば、１２５−１及び１２５−２）に対応したデジタルモデルは、判明している。実在オブジェクトに対応したデジタルモデルは、画像内において可視状態にはないが、これらは、グラフィックカード上における深さ（Ｚバッファ）情報との関連において貢献している。この貢献により、仮想オブジェクトを実在オブジェクトによって部分的又は全体的にマスキング可能である。必要に応じてアニメーション化された、テクスチャが付与されたデジタルモックアップの３Ｄモデルと、ショールーム内に存在する実在オブジェクトの３Ｄモデルは、好ましくは、例えば、パーソナルコンピュータ１３５−１及び１３５−２のディスク上に保存されている。デジタルモックアップのアニメーションは、回転、並進、スケールの変更、及び／又はワイヤメッシュ表示タイプのものであってよい。デジタルモックアップは、好ましくは、増強されたビデオストリームの画像の表示に使用されるビデオプロジェクタの固有分解能を具備している。
【００２９】
本装置をセットアップする際には、実在オブジェクトを、好ましくは、ショールーム内のデジタルモックアップの場所に設置する。この実在オブジェクトのサイズは、好ましくは、デジタルモックアップのサイズに類似しており、実在世界において仮想オブジェクトを更に正確に表示するべく、既定では、この実在オブジェクトのプロポーションは、デジタルモックアップのプロポーションに類似している。この実在オブジェクトは、予め、モデル化されており、これを表す関連ＣＡＤファイルを使用して本装置を較正している。この実在オブジェクトは、例えば、理想的には低膨張係数を具備した材料から製造された立方体又は平行六面体である。それぞれのビデオカメラの検出ツールを使用することにより、デジタルモックアップの場所に設置された実在オブジェクトの特徴ポイントを実在オブジェクトのデジタルモデルの対応したポイントとマッチングさせている。これにより、実在オブジェクトにリンクされた絶対基準フレーム内において位置及び向き（ｘ／ｙ／ｚ／ロール／ピッチ／ノーズダイブ）を取得可能である。この結果、すべてのビデオカメラが同一の絶対基準フレーム内に配置される。
【００３０】
Ｄ’ＦＵＳＩＯＮソフトウェアは、好ましくは、このデジタルモックアップをそれぞれのビデオカメラからの画像内にリアルタイムで統合している。このソフトウェアは、起動の際に、いくつかのデジタルモックアップを読み込み可能である。次いで、読み込んだものの中から、１つのデジタルモックアップの表示を順次選択可能である。選択したデジタルモックアップについて、例えば、テクスチャや色などの材料、位置、及び／又は向きを変更可能である。例えば、自動車のデジタルモックアップのドアの開閉などのアニメーションを表示することも、同様に可能である。
【００３１】
デジタルモックアップ内における環境の反射を管理するべく、静的環境テクスチャを生成することも可能である。
ショールーム（壁、床、及び天井）をモデル化した後に、１８０°のビデオカメラパラメータを有する標準モデラを使用して環境テクスチャを算出する方法（球体又は立方体環境マッピング）と、
ショールーム内のデジタルモックアップの意図する場所に反射球体を配設して写真を撮影し、この写真を球体環境マップとして使用する方法、という２つの方法を使用可能である。
【００３２】
この静的環境テクスチャは、初期化又は設置フェーズにおいて判定している。このテクスチャを、ショールームにリンクされたイベントとは無関係に、デジタルモックアップに適用するのである。特に、ショールーム内に存在する動いている実在オブジェクト又は人物は、デジタルモックアップ上に生成された反射に影響を及ぼすことにならない。
【００３３】
この問題を軽減するために、本発明による方法及び装置は、デジタルモデルに適用される反射を動的に管理するべく適合されている。ビデオカメラをショールーム内のデジタルモックアップの場所（１３０）に設置する。このビデオカメラは、好ましくは、床に固定されており、上方を狙っている、即ち、上方を撮影している。これには、魚眼レンズが装着されている。このビデオカメラからのビデオストリームをパーソナルコンピュータ１３５−１及び１３５−２に伝送している。これを使用し、リアルタイムで環境テクスチャを更新している。この結果、例えば、デジタルモックアップ内において反射された自分自身を観察すると共に、移動の際、又はデジタルモックアップに近接したオブジェクトのコンテンツ又は位置が変化した場合に、反射の変化を観察可能である。
【００３４】
デジタルモックアップとの関係において、且つ、従って、デジタルモックアップのスケールが実在オブジェクトのスケールに適合されている場合には、実在オブジェクトとの関係において、１：１のスケールで、増強されたショールーム内に人物を表示可能である。増強されたショールーム内に人物を挿入する方法は、好ましくは、前方及び背後から人物を写真撮影する段階と、これらの写真から人物をクリッピングする段階と、から構成されている。写真を変更して、例えば、緑の背景などの均一色の背景上に人物の画像を得ることにより、写真をクリッピング可能である。この画像の使用の際には、Ｄ’ＦＵＳＩＯＮソフトウェアは、ピクセルシェーダ機能を使用することにより、例えば、緑などの背景色ではないピクセルのみを表示する。或いは、この代わりに、使用するグラフィックカードによるそれぞれのピクセルごとの表示／非表示の判定を実現するアルファ情報、即ち、グレースケール符号化された情報を含む別のビットマップと共に、人物の写真をＤ’ＦＵＳＩＯＮソフトウェアに送信する。この写真を使用して３Ｄオブジェクトにテクスチャを付与するが、この３Ｄオブジェクトは、例えば、単純な矩形であってよい。この３Ｄオブジェクトを、増強されたショールーム内において、ビデオカメラの角度に応じて、前面から又は背後から、増強されたショールームの画像の生成に使用されるビデオストリームを生成するビデオカメラの光学軸に垂直の状態において、リアルタイムで配置する。図２は、この方法を示している。参照符号２００−１及び２００−２は、それぞれ、前面及び背後から撮影された人物の写真のクリッピング結果を示している。右側のシーンは、車のデジタルモックアップの前面（左側）及び背後（右側）に表示された同一人物の写真と共に、車２０５のデジタルモックアップを有する増強されたショールームを示している。クリッピングされた写真２００−１と関連付けられた３Ｄオブジェクトは、その位置に応じて、デジタルモックアップによってマスキングされているか、又は、デジタルモックアップをマスキングしている。
【００３５】
増強されたショールームを視覚化する際には、例えば、パーソナルコンピュータ１３５−１及び１３５−２のキーボードを使用することにより、１つのビデオカメラの視界から別のものに切り換え可能である。ビデオカメラが移動可能であり、且つ、動力が付与されている場合には、例えば、パーソナルコンピュータ１３５−１〜１３５−２に接続されたマウス、キーボード、又はジョイスティックなどの別のポインティング装置を使用することにより、それらの動き、それらの向き、及び／又はそれらのズームファクタを制御することも可能である。増強されたショールームに仮想光源を追加することも可能であり、且つ、これらをリアルタイムで調節することにより、これらをショールームの実在照明と調和させることができる。ショールーム内に存在する実在オブジェクトの３Ｄモデルを使用することにより、ショールーム内におけるそれらのオブジェクトの位置に応じてデジタルモックアップをマスキングする。
【００３６】
又、本発明による方法及び装置は、増強されたリアリティを使用することにより、実在モックアップに仮想的な増強を追加し、且つ、従って、可能な試験の数を増大させつつ、同時に、コスト及び遅延を低減している。図１を参照すれば、実在オブジェクト１２５−１及び１２５−２は、ユーザーが仮想的な増強の追加を所望する実在モックアップの２つの部分を表現可能である。当然のことながら、本発明による方法及び装置の特性を変更することなしに、１つ又は複数の実在オブジェクト上に、又はこれらのそばに、仮想的な増強を配置可能である。
【００３７】
実在モックアップのデジタルモデルは、好ましくは、既製のＣＡＤソフトウェア又はモデラを利用して生成され、且つ、例えば、ＤｉｒｅｃｔＸフォーマットなどのＤ’ＦＵＳＩＯＮソフトウェアの内部フォーマットにインポートされる。この３Ｄデジタルモデルは、好ましくは、使用するパーソナルコンピュータのハードディスク上に保存されている（このモデルのテクスチャは不要である）。又、実在モックアップに追加される仮想的な増強のデジタルモデルも、ＣＡＤソフトウェアを利用して生成し、Ｄ’ＦＵＳＩＯＮソフトウェアの内部フォーマットにインポートし、且つ、ハードディスク上に保存可能である。これらの仮想的な増強は、好ましくは、これらの仮想的な増強を内蔵した増強されたビデオストリームからの画像の表示に使用されるビデオプロジェクタの固有分解能を有している。前述のデジタルモックアップと同様に、仮想的な増強をアニメーション化することも可能である（回転、並進、スケールの変更、及び／又はワイヤメッシュ表示）。
【００３８】
ビデオカメラの正確な位置は、実在モックアップの特徴ポイントをデジタルモデルの対応したポイントとマッチングさせることによって判定している。反射は、デジタルモックアップの視覚化と同様の方法において管理している。
【００３９】
仮想的な増強を表示する際には、これらのそれぞれを選択し、これらを表示するか又はこれらを消失させ、これらの位置を変更し、これらの向きを変更すると共に／又は、これらのテクスチャを変更可能である。
【００４０】
本発明は、実在環境、即ち、ショールーム内においてデジタルモックアップを視覚化しており、或いは、実在モックアップの仮想的な増強を視覚化している。デジタルモックアップ又は仮想的な増強上におけるショールームによって生成された反射の動的な管理以外に、本発明の新規な特徴は、
いくつかの環境マップを合成することにより、デジタルモックアップ又は仮想的な増強上における外部世界の反射の動的な管理を、それらの反射の静的な管理と合成可能であり（それぞれのマップの影響の程度は、例えば、０〜１の間で変化するパラメータによって付与可能である）、
いくつかのビデオカメラを使用することにより、異なる角度からデジタルモックアップ又は仮想的な増強を視覚化可能であり、
ショールーム内においてデジタルモックアップ又は仮想的な増強を視覚化するべく使用されるビデオカメラは、固定又は移動可能であってよいと共に、これらの焦点距離は、可変であってよく、
増強された画像、即ち、実在オブジェクト及び仮想オブジェクトから構成された画像をリアルタイムで表示しており、即ち、デジタルモックアップ又は仮想的な増強を有するショールームの視覚化が、ショールームの撮影と同時に実行されており、
デジタルモックアップ又は仮想的な増強をリアルタイムでアニメーション化可能であり、
ショールーム内におけるデジタルモックアップ又は仮想的な増強の位置とこれらの向きをリアルタイムで変更可能であり、
ショールームは、実在オブジェクト、具体的には、モックアップと比較される実在オブジェクトを有することが可能であり、それぞれのビデオカメラからの観察状態に応じて、デジタルモックアップ又は仮想的な強化を実在オブジェクトによって部分的に又は全体的にマスキング可能であり、
ショールーム内における実在オブジェクトの位置と、これらの向きをリアルタイムで変更可能であり、
ショールームは、物理的な人物を有することが可能であり、
本発明による装置をビデオ会議システムに接続することにより、コンポジット画像を別の場所にリアルタイムで伝送可能であり、
本発明による装置は、高解像度カメラを使用可能である、という利点を具備している。
【００４１】
画像処理及び増強されたリアリティの分野における熟練者であれば、当然のことながら、特定の要件を満足させるべく、以上の説明を変更することにより、自身の要件を満足させることが可能である。
【符号の説明】
【００４２】
１０５−１ 高解像度ビデオカメラ
１１０−１〜１１０−４ ビデオカメラ
１３０ デジタルモックアップの場所
１２５−１，１２５−２ オブジェクト
１３５−１ 第１コンピュータ
１３５−２ 第２コンピュータ
１５５−１，１５５−２ ビデオプロジェクタ
１６０ スクリーン
【特許請求の範囲】
【請求項１】
実在環境内において三次元仮想オブジェクトをリアルタイムで視覚化する方法において、
少なくとも１つのビデオストリームを受信する段階と、
前記少なくとも１つの受信したビデオストリーム内に前記三次元仮想オブジェクトの二次元表現をリアルタイムで挿入し、前記三次元仮想オブジェクトの前記二次元表現が挿入された前記少なくとも１つの受信したビデオストリームを有する少なくとも１つの増強されたビデオストリームを生成する段階と、
前記少なくとも１つの増強されたビデオストリームを伝送する段階と、を有することを特徴とする方法。
【請求項２】
第２のタイプのビデオストリームを受信する段階を更に有しており、前記少なくとも１つのビデオストリームは、第１のタイプの少なくとも１つのビデオストリームであり、前記第２のタイプのビデオストリームにより、前記三次元仮想オブジェクト内における前記実在環境の反射の動的な判定が可能であることを特徴とする請求項１に記載の方法。
【請求項３】
前記第２のタイプのビデオストリームは、前記三次元仮想オブジェクトの環境テクスチャを変更することを特徴とする請求項２に記載の方法。
【請求項４】
前記仮想オブジェクトは、デジタルモックアップであることを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記仮想オブジェクトは、前記実在環境内に存在する実在モックアップの仮想的な増強であることを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項６】
前記第１のタイプの少なくとも１つのビデオストリームと関連付けられた少なくとも１つのデータストリームを受信する段階を更に有しており、前記少なくとも１つのデータストリームは、前記関連付けられたビデオストリームの供給源の動きの特徴を示しており、前記三次元仮想オブジェクトの前記二次元表現は、前記少なくとも１つのデータストリームに従って、前記少なくとも１つの受信したビデオストリーム内にリアルタイムで挿入されることを特徴とする請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記三次元仮想オブジェクトは、アニメーション化されることを特徴とする請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記少なくとも１つの受信したビデオストリーム内に前記三次元仮想オブジェクトの二次元表現をリアルタイムで挿入する前記段階は、前記少なくとも１つの受信したビデオストリーム内に二次元仮想オブジェクトをリアルタイムで挿入する段階を更に有することを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記二次元仮想オブジェクトは、実在人物の表現であることを特徴とする請求項８に記載の方法。
【請求項１０】
前記実在環境は、少なくとも１つの実在オブジェクトを有しており、この場合に、前記方法は、前記実在オブジェクトの複数の特徴ポイントを前記実在オブジェクトの仮想モデルの対応したポイントとマッチングさせる段階を更に有することを特徴とする請求項１から９のいずれか１項に記載の方法。
【請求項１１】
前記少なくとも１つの受信したビデオストリームの供給源を検出する段階を更に有することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つの実在オブジェクトに従って前記三次元仮想オブジェクトをスケーリングする段階を更に有することを特徴とする請求項１０又は１１に記載の方法。
【請求項１３】
請求項１から１２のいずれか１項に記載の方法のそれぞれの段階を実行するべく適合された手段を有する装置。
【請求項１４】
請求項１から１２のいずれか１項に記載の方法のそれぞれの段階を、コンピュータに実行させるためのコンピュータプログラム。
【請求項１】
実在環境内において三次元仮想オブジェクトをリアルタイムで視覚化する方法において、
少なくとも１つのビデオストリームを受信する段階と、
前記少なくとも１つの受信したビデオストリーム内に前記三次元仮想オブジェクトの二次元表現をリアルタイムで挿入し、前記三次元仮想オブジェクトの前記二次元表現が挿入された前記少なくとも１つの受信したビデオストリームを有する少なくとも１つの増強されたビデオストリームを生成する段階と、
前記少なくとも１つの増強されたビデオストリームを伝送する段階と、を有することを特徴とする方法。
【請求項２】
第２のタイプのビデオストリームを受信する段階を更に有しており、前記少なくとも１つのビデオストリームは、第１のタイプの少なくとも１つのビデオストリームであり、前記第２のタイプのビデオストリームにより、前記三次元仮想オブジェクト内における前記実在環境の反射の動的な判定が可能であることを特徴とする請求項１に記載の方法。
【請求項３】
前記第２のタイプのビデオストリームは、前記三次元仮想オブジェクトの環境テクスチャを変更することを特徴とする請求項２に記載の方法。
【請求項４】
前記仮想オブジェクトは、デジタルモックアップであることを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記仮想オブジェクトは、前記実在環境内に存在する実在モックアップの仮想的な増強であることを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項６】
前記第１のタイプの少なくとも１つのビデオストリームと関連付けられた少なくとも１つのデータストリームを受信する段階を更に有しており、前記少なくとも１つのデータストリームは、前記関連付けられたビデオストリームの供給源の動きの特徴を示しており、前記三次元仮想オブジェクトの前記二次元表現は、前記少なくとも１つのデータストリームに従って、前記少なくとも１つの受信したビデオストリーム内にリアルタイムで挿入されることを特徴とする請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記三次元仮想オブジェクトは、アニメーション化されることを特徴とする請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記少なくとも１つの受信したビデオストリーム内に前記三次元仮想オブジェクトの二次元表現をリアルタイムで挿入する前記段階は、前記少なくとも１つの受信したビデオストリーム内に二次元仮想オブジェクトをリアルタイムで挿入する段階を更に有することを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記二次元仮想オブジェクトは、実在人物の表現であることを特徴とする請求項８に記載の方法。
【請求項１０】
前記実在環境は、少なくとも１つの実在オブジェクトを有しており、この場合に、前記方法は、前記実在オブジェクトの複数の特徴ポイントを前記実在オブジェクトの仮想モデルの対応したポイントとマッチングさせる段階を更に有することを特徴とする請求項１から９のいずれか１項に記載の方法。
【請求項１１】
前記少なくとも１つの受信したビデオストリームの供給源を検出する段階を更に有することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つの実在オブジェクトに従って前記三次元仮想オブジェクトをスケーリングする段階を更に有することを特徴とする請求項１０又は１１に記載の方法。
【請求項１３】
請求項１から１２のいずれか１項に記載の方法のそれぞれの段階を実行するべく適合された手段を有する装置。
【請求項１４】
請求項１から１２のいずれか１項に記載の方法のそれぞれの段階を、コンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図２】
【公開番号】特開２０１２−１６８９６７（Ｐ２０１２−１６８９６７Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１２−９２２３０（Ｐ２０１２−９２２３０）
【出願日】平成２４年４月１３日（２０１２．４．１３）
【分割の表示】特願２００８−５２５６０２（Ｐ２００８−５２５６０２）の分割
【原出願日】平成１８年８月９日（２００６．８．９）
【出願人】（５０８０４０１７５）
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２４年４月１３日（２０１２．４．１３）
【分割の表示】特願２００８−５２５６０２（Ｐ２００８−５２５６０２）の分割
【原出願日】平成１８年８月９日（２００６．８．９）
【出願人】（５０８０４０１７５）
【Ｆターム（参考）】
[ Back to top ]