複雑なおよび／または変形可能なオブジェクトの表現および着用できるオブジェクトの仮想フィッティング
特定されたシーン状態の下で、複雑なおよび／または変形可能なオブジェクトは、多数の異なるシーン状態のそれぞれのために、それぞれのシーン状態の下でオブジェクトを示すオブジェクト（３４）のビューと、それぞれのビューにおいてオブジェクトの投影およびオブジェクトの所望の外観に対応する所定のテクスチャマップ間にマッピングを特定する関連したテクスチャマップ・マッピング情報とを含むデータベース（１６）において、所定のシーン状態を用いて所定のシーン状態に類似するシーン状態の下でオブジェクトを示す第１のビューを検索することによって、一方では必要な計算能力と他方では現実的な表現の印象との間の改良されたトレードオフによって表される。その後、第２のビューは、第１のビューを所定のシーン状態に適合することによって作られ、さらに、テクスチャマップ・マッピング情報に基づいて、オブジェクトは、第２のビューにおいてオブジェクト（３４）の検索が所定のテクスチャマップ（４０、５８）に対応するようにテクスチャされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複雑なおよび／または変形可能なオブジェクトの表現および例えば衣類などの着用できるオブジェクトの仮想フィッティングに関する。
【背景技術】
【０００２】
拡張現実アプリケーションは、特に、リアルビデオマテリアルを有するコンピュータ生成のオブジェクトを融合することを含む。そのために、例えば、リアルオブジェクトの照明状態、正確な位置および方位または幾何学的な変形は、アーティフィシャルオブジェクトがシーンの自然整数部分であるように、コンピュータ生成の仮想オブジェクトによって前記オブジェクトを交換しまたは補充するためにビデオシーケンス中で推定される。大部分の拡張現実アプリケーションは、１つまたはいくつかのカメラによってキャプチャされる現在および瞬間的な環境が、個々の情報およびオブジェクトによって補充され、さらに、ユーザの現在の運動または要求に依存している、インタラクティブな解決策である。これは、アーティフィシャルオブジェクトを共有表現に組み込む観点から、例えば運動、変形、照明に関して、シーンを分析する観点から、両方とも厳しいリアルタイム能力を必要とする。これは、特に、例えば織物、ヘアーなど、込み入った幾何学および／または変形可能なまたは弾性特性を有するオブジェクトによって困難になる。例えば衣類、眼鏡、宝石およびヘアースタイルの仮想フィッティングなど、用途によっては、それは、全て、さらに、現実的で生きているような動的な表現に依存し、それは、ほとんどの場合に大変な努力を必要としさらにリアルタイム要求に矛盾する。
【０００３】
仮想鏡アプリケーションは、例えば、Ｐ． Ｅｉｓｅｒｔ， Ｐ． Ｆｅｃｈｔｅｌｅｒ ａｎｄ Ｊ． Ｒｕｒａｉｎｓｋｙ： ”Ｖｉｒｔｕａｌ Ｍｉｒｒｏｒ： Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｓｈｏｅｓ ｉｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ”， Ｐｒｏｃ ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ ２００７）， Ｓａｎ Ａｎｔｏｎｉｏ， Ｔｅｘａｓ， ２００７、Ａ． Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ Ｃｌｏｔｈ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｒｔｕａｌ Ｃｌｏｔｈｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ”， Ｐｒｏｃ． Ｍｉｒａｇｅ ２００９ − Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ／Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｒｏｃｑｕｅｎｃｏｕｒｔ， Ｆｒａｎｃｅ， Ｍａｙ ２００９によって表されている。ユーザは、カメラによって撮影され、ディスプレイ上に彼自身／彼女自身を見ることができ、それは、リアルタイムにコンピュータ生成の衣類において鏡機能を取る。このために、彼女／彼のポーズおよび運動は、推定され、さらに、仮想衣類は、彼／彼女が実際にそれを着用しているかのように、鏡像においてそれが現れるように、ビデオフレームにおいて彼女／彼の身体上に描かれる。現実的な印象を提供するために、仮想衣類は、ユーザの運動の全てに追随しなければならなく、さらに、折り目およびマテリアル特性の現実的な低減を呈しなければならない。
【０００４】
例えば織物および衣類などの多くの自由度を有する仮想オブジェクトを分析して表すさまざまな考えられるアプローチがあるが、それは、リアルタイム能力に関して苦しむかまたはあまり現実的でない表現を提案する。アーティフィシャルオブジェクトは、例えば（形状、色、マテリアル、反射、運動および変形）などそれらの物理的特性に関してモデル化されうり、それのパラメータは、シーンまたはカメラ・ピクチャから推定され、さらに、コンピュータ・グラフィック法を用いて最後的に表される。ここで、表現の自然らしさは、モデリングの精度に依存し、さらに、現実的な表現は、しばしば数千の自由度を有し、それは、推定に多くの努力を必要とする。そのため、この表現において、高コスト処理を有する高品質（多くのパラメータ）および非常に限られたリアリズムを有するリアルタイム解決策の間の困難なトレードオフがある。
【０００５】
一方では、適切な推定法およびより正確なモデリングを用いて高品質を達成する現実的な表現を有することは可能である。衣類のために、形状は、例えば、いくつかのカメラ斜視図から３Ｄ再構成によって得られうる。これは、Ｄ． Ｐｒｉｔｃｈａｒｄ ａｎｄ Ｗ． Ｈｅｉｄｒｉｃｈ： Ｃｌｏｔｈ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ”， Ｐｒｏｃ． ｏｆ Ｅｕｒｏｇｒａｐｈｉｃｓ （Ｅｕｒｏｇｒａｐｈｉｃｓ ２００３）， Ｓｅｉｔｅｎ ２６３−２７１， ２００３、Ｒ． Ｗｈｉｔｅ， Ｄ． Ｆｏｒｓｙｔｈ ａｎｄ Ｊ． Ｖａｓａｎｔｈ： Ｃａｐｔｕｒｉｎｇ Ｒｅａｌ Ｆｏｌｄｓ ｉｎ Ｃｌｏｔｈ”， ＥＥＣＳ Ｄｅｐａｒｔｍｅｎｔ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ， Ｂｅｒｋｌｅｙ， ２００６、Ｄ． Ｂｒａｄｌｅｙ， Ｔ． Ｐｏｐａ， Ａ． Ｓｈｅｆｆｅｒ， Ｗ． Ｈｅｉｄｒｉｃｈ ａｎｄ Ｔ． Ｂｏｕｂｅｋｅｕｒ： ”Ｍａｒｋｅｒｌｅｓｓ Ｇａｒｍｅｎｔ Ｃａｐｔｕｒｅ”， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＳＩＧＧＲＡＰＨ）， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８およびＭ． Ｖｌａｓｉｃ， Ｉ． Ｂａｒａｎ， Ｗ． Ｍａｔｕｓｉｋ ａｎｄ Ｊ． Ｐｏｐｏｖｉｃ． Ａｒｔｉｃｕｌａｔｅｄ Ｍｅｓｈ Ａｎｉｍａｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｉｌｈｏｕｅｔｔｅｓ”， ＳＩＧＧＲＡＰＨ ２００８， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８によって表されている。この文書において、例えば折り目など、詳細の全てを有する織物の正確な３Ｄ形状は、再構成される。しかしながら、難しくて込み入ったカメラ・セットアップが必要とされ、そのような詳細な３Ｄモデルを計算することは、多くの計算時間を必要として、ここ数年においてリアルタイムに実施されることができない。
【０００６】
一方では、例えばリアルタイムにかつより簡単なキャプチャリングユニットで仮想衣類などを表すことへのアプローチがある。しかしながら、これらも、衣類の新しいコンピュータ生成の部分を表す代わりに、例えばＪ． Ｐｉｌｅｔ， Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ： ”Ａｕｇｍｅｎｔｉｎｇ Ｄｅｆｏｒｍａｂｌｅ Ｏｂｊｅｃｔｓ ｉｎ Ｒｅａｌ−ＴＩｍｅ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ． Ｖｉｅｎｎａ Ａｕｓｔｒｉａ， ２００５、およびＡ．Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ ｏｆ Ｇａｒｍｅｎｔｓ”， Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ ２００８）， Ｓａｎ Ｄｉｅｇｏ， ＣＡ， ２００８によるバージョンにおいて、衣類のしばしば四角い小さいセクションをリテクスチャすることを目的としてだけである。あるいは、表されることは、人が適切な方法で彼自身／彼女自身を位置付けることを必要とするように、ｈｔｔｐ：／／ｗｗｗ．ｉｃｏｎｎｉｃｈｏｌｓｏｎ．ｃｏｍ／ｎｒｆ０７／のバージョンにおいてのように、コンピュータ生成の衣類であるが、人に沿って運動せず、このように、双方向性およびリアリズムが失われる。
【０００７】
したがって、リアルタイム能力を有する複雑なコンピュータ生成のオブジェクトの現実的な外観の互換性を可能にするスキームの必要性がある。いくらかさらに一般に言い換えれば、一方では適度な計算能力と他方ではオブジェクトの現実的な印象との間のより良好なトレードオフを可能にする複雑なおよび／または変形可能なオブジェクトを示すためのスキームの必要性がある。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ｐ． Ｅｉｓｅｒｔ， Ｐ． Ｆｅｃｈｔｅｌｅｒ ａｎｄ Ｊ． Ｒｕｒａｉｎｓｋｙ：”Ｖｉｒｔｕａｌ Ｍｉｒｒｏｒ： Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｓｈｏｅｓ ｉｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ”， Ｐｒｏｃ ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ ２００７）， Ｓａｎ Ａｎｔｏｎｉｏ， Ｔｅｘａｓ， ２００７
【非特許文献２】Ａ． Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ Ｃｌｏｔｈ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｒｔｕａｌ Ｃｌｏｔｈｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ”， Ｐｒｏｃ． Ｍｉｒａｇｅ ２００９ − Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ／Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｒｏｃｑｕｅｎｃｏｕｒｔ， Ｆｒａｎｃｅ， Ｍａｙ ２００９
【非特許文献３】Ｄ． Ｐｒｉｔｃｈａｒｄ ａｎｄ Ｗ． Ｈｅｉｄｒｉｃｈ： Ｃｌｏｔｈ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ”， Ｐｒｏｃ． ｏｆ Ｅｕｒｏｇｒａｐｈｉｃｓ （Ｅｕｒｏｇｒａｐｈｉｃｓ ２００３）， Ｓｅｉｔｅｎ ２６３−２７１， ２００３
【非特許文献４】Ｒ． Ｗｈｉｔｅ， Ｄ． Ｆｏｒｓｙｔｈ ａｎｄ Ｊ． Ｖａｓａｎｔｈ： Ｃａｐｔｕｒｉｎｇ Ｒｅａｌ Ｆｏｌｄｓ ｉｎ Ｃｌｏｔｈ”， ＥＥＣＳ Ｄｅｐａｒｔｍｅｎｔ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ， Ｂｅｒｋｌｅｙ， ２００６
【非特許文献５】Ｄ． Ｂｒａｄｌｅｙ， Ｔ． Ｐｏｐａ， Ａ． Ｓｈｅｆｆｅｒ， Ｗ． Ｈｅｉｄｒｉｃｈ ａｎｄ Ｔ． Ｂｏｕｂｅｋｅｕｒ： ”Ｍａｒｋｅｒｌｅｓｓ Ｇａｒｍｅｎｔ Ｃａｐｔｕｒｅ”， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＳＩＧＧＲＡＰＨ）， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８
【非特許文献６】Ｍ． Ｖｌａｓｉｃ， Ｉ． Ｂａｒａｎ， Ｗ． Ｍａｔｕｓｉｋ ａｎｄ Ｊ． Ｐｏｐｏｖｉｃ． Ａｒｔｉｃｕｌａｔｅｄ Ｍｅｓｈ Ａｎｉｍａｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｉｌｈｏｕｅｔｔｅｓ”， ＳＩＧＧＲＡＰＨ ２００８， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８
【非特許文献７】Ｊ． Ｐｉｌｅｔ， Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ： ”Ａｕｇｍｅｎｔｉｎｇ Ｄｅｆｏｒｍａｂｌｅ Ｏｂｊｅｃｔｓ ｉｎ Ｒｅａｌ−ＴＩｍｅ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ． Ｖｉｅｎｎａ Ａｕｓｔｒｉａ， ２００５
【非特許文献８】Ａ．Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ ｏｆ Ｇａｒｍｅｎｔｓ”， Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ ２００８）， Ｓａｎ Ｄｉｅｇｏ， ＣＡ， ２００８
【非特許文献９】ｈｔｔｐ：／／ｗｗｗ．ｉｃｏｎｎｉｃｈｏｌｓｏｎ．ｃｏｍ／ｎｒｆ０７／
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明の目的は、スキームが上述の改良されたトレードオフを可能にする、複雑なおよび／または変形可能なオブジェクトを示すためのスキームと着用できるオブジェクトの仮想フィッティングを可能するスキームとを提供することである。
【課題を解決するための手段】
【００１０】
この目的は、請求項１または請求項１０に記載の装置によって、さらに、請求項１４または請求項１５に記載の方法によって達成される。
【００１１】
本発明の中心となる概念は、特定のシーン状態の下で、複雑なおよび／または変形可能なオブジェクトが一方では適度な計算能力と他方では現実的な表現の印象との間の改良されたトレードオフによって表されうり、多数の異なるシーン状態のそれぞれのために、それぞれのシーン状態の下でオブジェクトを示すオブジェクトのビューとそれぞれのビューに対するオブジェクトの投影およびオブジェクトの所望の外観に対応するテクスチャマップ間のマッピングを特定する関連したテクスチャマップ・マッピング情報とを含むデータベースを用いるときに、さらに、前記データベースにおいて、所定のシーン状態に類似するシーン状態の下でオブジェクトを示すビューを検索すること、その後に前記ビューを所定のシーン状態に適合すること、および、テクスチャマップ・マッピング情報に基づいてオブジェクトをテクスチャすることを含む。このアプローチは、生きているようなビューがデータベースに格納されうるように、大量の計算能力を初期設定段階に必要とするプロセスおよび／または計算を早めることを可能にする一方で、検索することおよび適合することに関して残りの複雑さは、低く保たれうり、その理由は、前記処理が所定のシーン状態から偏差をブリッジするだけであるかまたは所定のシーン状態に適合のために提供されるだけであるからであり、さらに、その結果、後の適合がおそらくリアルタイムにおいて実行されうるように、適合においてできたエラーが計算に関してできた簡略化のため結果に目に見える効果をほとんど及ぼさなかったからである。したがって、現実への表現の近さは、分解される必要はなく、その理由は、充分な時間および計算能力が、現実への近さを保証するためにデータベースに含まれるビューを作ることで費やされうるからである。例えば、データベースにおいて格納されるビューは、実際のカメラ・ショットから得られることができた。しかしながら、オブジェクトの３Ｄモデルの込み入って複雑なシミュレーションから得られるビューも、明らかに可能であり、その理由は、処理が初期設定段階において起こるからである。
【００１２】
認識された姿勢において身体に着けられうるオブジェクトの表現に関するアプリケーションに関して、本発明の中心となる概念は、データベース中で、認識された姿勢に類似する姿勢においてオブジェクトを示すビューを検索し、さらに、前記ビューを認識された姿勢に適合するように、ビューが多数の異なる姿勢において身体に着けられうるオブジェクトを示し、身体に着けられうるオブジェクトの多数のビューを有するデータベースが用いられるときに、複雑なおよび／または変形可能なオブジェクトが、認識された姿勢において、一方では適度な計算能力と他方では表現の現実的な印象との間の改良されたトレードオフによって表されうる。すでに述べたように、このアプローチは、初期設定段階に大量の計算能力を必要とするプロセスおよび／または計算を早めることを可能にし、その結果、生きているようなビューは、データベースにおいて格納されうるが、検索することおよび適合することに関して残り複雑さが低く保たれうり、その理由は、前記処理が所定のシーン状態から偏差をブリッジするだけであるかまたは所定のシーン状態に適合のために提供されるだけであるからであり、さらに、その結果、後の適合がおそらくリアルタイムにおいて実行されうるように、適合においてできたエラーが計算に関してできた簡略化のため結果に目に見える効果をほとんど及ぼさなかったからである。
【００１３】
本発明の実施形態によれば、シーン状態は、所望の二次元表現またはビューにおいてオブジェクトの位置が依存するもの、すなわち、例えば、シーン・ショットにおいてオブジェクトの三次元位置、例えば身体に着けられるオブジェクトの場合において腕および脚の姿勢などオブジェクトの姿勢、および、例えば身体測定などオブジェクトの測定である。類似するシーン状態の下でオブジェクトを示すデータベースから得られるビューを所定のシーン状態に適合するために、オブジェクトの近似形状の簡単なパラメータ化可能な３Ｄモデルが用いられうる。したがって、データベースのために必要な記憶容量は低いままである。一方、パラメータ化可能な３Ｄモデルおよび所定のシーン状態に対する適合のためのその再パラメータ化のための計算費用は、大変な努力を必要とせず、その理由は、パラメータ化可能な３Ｄモデルによるオブジェクトの近似形状の記載が完全に充分であり、さらに、例えば折り目の低減など、さもなければ計算的に高価な方法で処理されなければならなかった詳細が、データベース中でビューおよび／またはテクスチャマップ・マッピング情報中に含まれるからである。
【００１４】
さらなる実施形態によれば、データベース中のオブジェクトのビューをリテクスチャすることも可能であり、データベースは、３Ｄモデルまたはオブジェクト点の表面をテクスチャマップにマップするテクスチャマッピングを含み、前記テクスチャマップを介して、ピクセルに関連付けられる表面部位は、テクスチャマップ値が割り当てられ、データベースのビューにおいてピクセルに関連付けられさらにテクスチャ非依存またはテクスチャレス、オブジェクトの単色反射率分布を表す輝度値で重み付けられ、前記反射率分布はそれにもかかわらずそれぞれの姿勢においてオブジェクトの照明方向および散乱特性を考慮し、テクスチャマップから所望のテクスチャを有する所望の外観を有するオブジェクトを提供する。したがって、再構成のために必要な計算は、輝度重み付けと結合してテクスチャマップ・データの安価なインデックス付けに限られ、それは、オブジェクトのおそらく複雑な構造を考慮して、初期設定段階においてすでに決定されている。
【００１５】
このように本発明の実施形態は、例えば衣類およびヘアースタイルなどのオブジェクトの表現を可能にし、それは、それの高品質な自然な表現を提供するとともに、仮想オブジェクトのリアルタイム処理を可能にする。
【００１６】
本発明の好適な実施形態は、添付図面に関連して以下にさらに詳細に説明される。
【図面の簡単な説明】
【００１７】
【図１】図１は、実施形態による複雑なおよび／または変形可能なオブジェクトを表すための装置のブロック図を示す。
【図２】図２は、例えば、実施形態による、図１の装置によって、実行されうるように、複雑なおよび／または変形可能なオブジェクトを表す方法のフローチャートを示す。
【図３】図３は、実施形態による図２のテクスチャリングおよび／またはリテクスチャリングおよびシーン状態適合を説明するためのスケッチを示す。
【図４】図４は、実施形態による着用できるオブジェクトの仮想フィッティングのための装置を示す。
【発明を実施するための形態】
【００１８】
図１は、複雑なおよび／または変形可能なオブジェクトを表すための装置の実施形態を示し、前記装置は、１０で一般に示される。装置は、検索ユニット１２、アダプタ１４およびデータベース、任意に、テクスチャラー６２を含む。
【００１９】
データベース１６は、それに格納されるオブジェクトの多数のビューを有し、それらは、多数の異なるシーン状態の下でオブジェクトを示す。後述するように、データベース１６中で、ビューごとに、ビューが撮影された下で対応するシーン状態を格納することが可能である。さらに、ビューごとに、サブピクセルに対して正確であるオブジェクト・デマケーションを表すセグメンテーション・マスクが格納されうる。さらなる典型的な詳細が後述される。
【００２０】
検索ユニット１２は、所定のシーン状態を用いることによって、データベース１６において１つ以上の第１または予備ビューを検索するように構成され、前記ビューは、所定のシーン状態に類似するシーン状態の下でオブジェクトを示す。アダプタ１４は、次に、新しいビューを作るように構成され、それは、予備ビューを所定のシーン状態に適合することによって、所望の表現を表す。所望の表現を作ることに任意に貢献することができる任意に提供されたテクスチュラー６２は、さらに以下に詳細に取り組まれる。
【００２１】
オブジェクトは、衣類またはヘアースタイル、すなわち、多数の自由度を有するオブジェクトであってもよく、それらは、現実的にシミュレーションすることが困難であり、または、現実的な表現を計算することを必要とする計算能力が高い。以下に、例えば、オブジェクトが衣類であると仮定される。しかしながら、この点で、これらの特定の説明でさえ一般に複雑なおよび／または変形可能なオブジェクトを表現するだけである点に留意すべきである。
【００２２】
所定のシーン状態およびデータベース１６中でビューがオブジェクトを示す下で異なるシーン状態は、例えば、オブジェクトの位置、オブジェクトの姿勢および／またはオブジェクトの測定によって定義されうる。換言すれば、所定のシーン状態は、所定の値を有し、さらに、データベース１６において多数のビューは、オブジェクトの位置、オブジェクトの姿勢または変形、またはオブジェクトの測定のための異なる値の下でオブジェクトのビューを含む。オブジェクトが衣類である場合、例えば、オブジェクトの位置は、例えば、衣類の着用者の位置によって定義され、オブジェクトの姿勢は、腕および／または脚の姿勢によって、または、一般に、衣類の着用者の全体の姿勢によって定義され、さらに、オブジェクトの測定は、衣類の着用者の身体測定によって定義される。換言すれば、データベース１６は、そこにおいて格納される関連したシーン状態を有する多数のビューを有することができ、それは、さまざまな位置において、さまざまな姿勢において、および、衣類の着用者のためのさまざまな身体測定で衣類を示す。
【００２３】
データベース１６中に格納されるビューは、得られたかもしれない実際のショット、すなわちオブジェクトの物理的な実施形態のカメラ・ショットである。しかしながら、もちろん、データベース１６中のビューが３Ｄシミュレーションによって得られることも可能である。シミュレーションのために必要な高い費用は、データベース１６を作るためにすなわち初期設定段階の間に発生するだけであり、したがって、リアル−タイムアプリケーションに矛盾しない。
【００２４】
すでに述べられたように、検索ユニット１２は、ビュー１６の中で、所定のシーン状態に類似するシーン状態の下でオブジェクトを示す１つまたはいくつかを選択する。類似性は、いかなる適切な距離測定によっても定量化されうる。その後、前記アダプタ１４は、このように得られるビューを所定のシーン状態に適合する。そのために、アダプタ１４は、データベース１６において格納されさらにそこにおいて含まれる個々のビューに関連付けられる情報を用いることができる。例えば、シーン状態に加えて、データベース１６においてビューは、それらに関連付けられる上述したセグメンテーション情報を有することもでき、セグメンテーション情報は、それぞれのシーン状態に関するそれぞれのビューのどのピクセルが実際にオブジェクトに属するかさらにいずれがバックグラウンドだけを表すかを示す。さらに、データベース１６中のビューは、おそらくテクスチャ非依存の方法で格納され、それによると、例えば、一様な表面色、例えば白または他のいかなる中間色のためのピクチャを生じるために、ピクチャが撮られるときに、それぞれのビューにおいてオブジェクトの色および輝度の変更が変更テクスチャに基づいて減算される。さらに、データベース１６中のビューは、それに関連付けられる幾何学情報、すなわちそれぞれのビューへのオブジェクトの投影のピクセルまたは他の細分割部を有する深さおよび距離の値の関連を可能にする情報またはそれぞれのビューへのオブジェクトの投影を有する横に変更する深さおよび／または距離の関連を有することができる。この場合、したがって、ビューは、異なるシーン状態を有する、または、さまざまなシーン状態の下でオブジェクトの近似モデルの微細構造を表すテクスチャを有するオブジェクトの何らかの距離イメージを表す。
【００２５】
このように、検索されたビューおよび所定の位置間のオブジェクトの位置に関する偏差は、回転、並進運動、姿勢適合、変形またはそれらの組み合わせによって、アダプタの部分において修正されうる。以下の実施形態において、可能性は、アダプタ１４が予備ビューを所定のシーン状態を有するビューに適合するために所定のシーン状態に適合のためのオブジェクトの近似形状のパラメータ化可能な３Ｄモデルを用いるに従って後述する。パラメータ情報は、それがそれぞれのビューに関連付けられるように、データベース中に格納されうり、または、それがインデックス付けのために用いられる所定のシーン状態から生じることができる。もちろん、両方の可能性の組み合わせも、可能である。
【００２６】
追加としてまたは二者択一的に、テクスチャマップ・マッピング情報は、データベース中にあってもよく、すなわち、情報が、それぞれのビューにおいてオブジェクトの投影とオブジェクトの表面を表しさらに所望のテクスチャに対応するコンテンツで満たされうるテクスチャマップとの間のマッピングを可能にする。マッピングは、３Ｄオブジェクトの表面およびテクスチャマップ間の明確なマッピングの迂回路を介して、データベース中で定義されうる。３Ｄモデルの表面位置でまたは上でピクセルの関連または投影は、データベース１６中に前もって決定されまたは格納されることもでき、または、所望のビューにビューの適合の間にオンラインで起こることもできる。
【００２７】
本発明の実施形態による図１の装置の動作モードがさらに詳細に記載される前に、所定のシーン状態またはさまざまなシーン状態が例えば照明の入射方向を含む照明状況によって追加としてまたは二者択一的に定義されまたは異なる点に留意すべきである。このように、図２は、例えば、図１の装置によって、実行されうるように、複雑なおよび／または変形可能なオブジェクトを表す方法を示す。
【００２８】
第１の方法ステップ３２は、データベース１６において、所定のシーン状態に類似するシーン状態の下でオブジェクトを示すビューを検索することを含む。図１の場合において、検索３２は、検索ユニット１２によって実行される。オブジェクトが身体に着けられうる例えば身に着けられうるオブジェクトであり、さらに、所定のシーン状態が部屋内の位置、姿勢および／または着用できるオブジェクトの着用者のための１つまたはいくつかの身体測定であることが、例として仮定される。換言すれば、シーン状態は、空間位置、姿勢および／または着用者の１つまたはいくつかの身体測定に関する１つまたはいくつかの変数の値を含み、定義される距離の測定は、ステップ３２において、関連した値が同じ変数のために距離の測定によって定義される距離を最小化するという、データベース１６のビューの中のビューの選択を許容する。ステップ３２において、１つのビューだけの代わりに二つ以上ビューのどのビューが所定のシーン状態として類似するシーン状態の下でオブジェクトを示すかをデータベース１６から決定することも可能である。シーン状態のベクトル空間において、所定のシーン状態から最も小さい距離をもたらす、そのビューまたはそれらのビューを選択することは可能である。換言すれば、データベース１６は、所定のシーン状態を表すベクトルへの前記ベクトルの距離に応じて、その成分がシーン状態を表すいくつかのベクトルのために、その中で最も類似するビューがステップ３２において選択されるビューを含む。その成分が最も類似するシーン状態を表すいくつかのビューが選択された場合において、それらは、所定のシーン状態を表すベクトルへのベクトルの距離に応じて、重み付け方法において１つのビューに融合される。
【００２９】
図３は、例えば、さまざまなシーン状態のいずれかのためにデータベース１６からのビューを示す。図３において、オブジェクトは、例えばスカート３４である。図３は、部屋内の特定の位置または場所、スカート（図示せず）の着用者のビューイング方向の特定の方位、おそらく特定の脚の姿勢、および、おそらく特定の腹部または胴囲のためのスカート３４のビューを示す。図３において左側に示されるビューは、実際のスカートのカメラ・ショットによって、または、高コストのシミュレーションによって得られうる。ビューのピクセル３６は、図３において局所的に示されるだけである。前記ピクセルごとに、輝度値があり、それは、いわばスカート３４の単色の織物に対して、テクスチャ非依存またはテクスチャレスの方法で、視点に投影される光のための反射性を示し、前記反射性は、次々に、織物の散乱特性、織物表面の通常のローカル方位によっても、用いられる照明状況によっても特定される。これは、ピクチャが撮られるときに、存在するテクスチャを意味し、または、ピクセル３６の輝度に対するその効果は、単色のスカートの外観を生じるためにすでに減算されている。
【００３０】
図３において、スカート３４は、線画において表される。このように、等高線は、スカートを表すピクセル３６を包囲する。データベースは、例えばピクチャが撮られるときにバックグラウンド存在を表す、周囲のピクセルを含みまたはそこにおいて格納することが可能である。この場合、ピクセルに正確であるシルエットの記載のために、セグメンテーション・マスクは、ビューに加えてデータベース中に格納されうり、前記セグメンテーション・マスクは、透明度値がオブジェクトを表すかまたはフォアグラウンド（例えばピクセル３６）に属するかどうか、または、それがバックグラウンドに属するかどうかを、例えば透明度値によって、値のピクセルごとに示す。
【００３１】
さらに、図３の実施形態によれば、それぞれのピクセル３６は、それに関連付けられるテクスチャマップ位置を有することができ、それは、図３において矢印３８によって示されるように、テクスチャマップ４０に関するビューにおいてスカート３４のピクセルの位置を示し、それは、次々に、スカート３４の基礎をなしている織物の領域パラメータ化に対応し、または、織物表面のマップ投影をマップ平面に表す。例えば、テクスチャマップ投影は、太陽系座標によって定義されうる。図３において、ビュー３８のピクセル３６によって言及されるテクスチャマップ４０の領域４２は、ハッチングされることを示し、さらに、図３から集められうるように、前記領域４２が中断されまたは非連続的であること、さらに、例えば、スカート３４のビューに存在する折り目４６の低減により見えず、したがって、ビューのいかなるピクセルにも関連付けられない互いの間にギャップ４４を有することは可能である。データベースがマッピング３８を直接的に表す情報を含むことは可能である。しかしながら、テクスチャマップ・マッピング情報が間接的にマッピング３８を定義することも、すなわちオブジェクトの近似形状の以下に説明の３Ｄモデルの表面をテクスチャマップにマップすることによって、可能である。
【００３２】
すでに上述のように、データベース１６中のビューは、実際のショットから得られうる。例えば、スカート３４をはいた人は、さまざまな位置、方位および姿勢において撮影される。上述の輝度値が再構成されるピクセル値からの実際のショットを撮る１台のカメラに加えて、それぞれのショットにおいて人の現在の位置、方位および姿勢を再構成し、したがってそれぞれのショットの基礎をなしているシーン状態を決定することを可能にするのに役立つさらなるものが用いられうる。スカートのプロトタイプは、含むことができる。上述のデータ投影の再構成を簡略化するパターン、すなわち個々のピクセルを有するテクスチャマップ・ベクトルの関連を含む。一旦これが起こると、上述のように、個々のショットのピクセル値は、前に言及されたテクスチャ非依存の相似値が生じるように、テクスチャ修正されうる。
【００３３】
上述の情報に加えて、図３の実施形態によるビューごとにパラメータ化可能な３Ｄモデルもあり、前記パラメータ化可能な３Ｄモデルは、オブジェクトまたはスカート（３４）の近似形状を表す。図３において、例えば、そのような簡略化３Ｄモデルの投影の輪郭は、一点鎖線によってスカート３４のビューに取り込まれ、ここでこの３Ｄモデルは、例えば、円錐台の側面領域である。３Ｄモデルのパラメータ定義に関する情報は、モデルがポテンシャルパラメータ設定の下でできるだけスカート３４の形状に近づくように、定義されてもよい。前記情報は、それが情報の個々の部分に関連付けられるように、データベース１６中に明示的に格納されうり、または、それはそれぞれのビューが関連付けられるシーン状態から暗に生じることができる。明確な表示がパラメータ情報に関して基礎をなすシーン状態を補充する組み合わせを有することも可能である。しかしながら、３Ｄモデルをパラメータ化することに関する情報は、モデルが、一方ではポテンシャルパラメータ設定の下でスカート３４の形状にできるだけ近づくように、他方では対応するビューにおいてオブジェクトまたはそのシルエットを完全に含むために十分大きく選択されるように、定義さてもよい。３Ｄモデルのパラメータ設定に関する情報は、３Ｄモデルが、適合した方法で、または回転および翻訳によって、ビューまたはシーン状態の全てのために相互に転送可能であってもよく、すなわち、特にそれぞれのビューへのそれぞれのビューに関連付けられる位置においてモデルの投影がビューまたはシーン状態の全てのためにビューにおいてオブジェクトまたはそのシルエットを完全に含むような方法において、３Ｄモデルがシーン状態の全てに共通であるように、定義されてもよい。したがって、３Ｄモデルの形状は、共有するシーン状態の全てのためにデータベース１６中に格納されうる一方で、位置だけは、シーン状態のそれぞれのために特に個々に格納される。しかしながら、さまざまなビューのための３Ｄモデルが個々に形づくられることも可能である。例えば、３Ｄモデルは、グリッドモデルであってもよい。表面ノードまたは領域の数は、ビュー全体と同じでありうる。この場合、グリッドモデルがさまざまなビューのために異なることは可能でもあるが、３Ｄモデルのノードまたはユニット領域は、それらがシーン状態の定義範囲全体に連続的に変化するように選択される。例えば、初期設定段階の間、３Ｄモデルは、独立してではなく、正確にちょうど今言及された第２の状態の下で選択される。
【００３４】
図３の例示的な場合において、３Ｄモデルは、比較的に簡単であるが、スカートの折り目４６の低減が少なくとも部分的に再生されうるように、パラメータ化が設計されることも可能である。３Ｄモデルの目的は、以下の記載から集められうる。それもそこで述べられるように、さらに、３Ｄモデルは任意である。図３の実施形態の代わりの実施によれば、パラメータ化可能な３Ｄモデルは省略される。
【００３５】
オブジェクトの近似形状を表すパラメータ化可能な３Ｄモデル４８は、データベース１６のビューの全てによっても登録される。ステップ５２において、３Ｄモデル４８に関する関連した３Ｄ点は、ステップ３２において選択されるビューのピクセル３６に関連付けられる。一方では３Ｄモデル表面に関する点の関連および他方ではデータベース１６のそれぞれのビューのピクセルを介して、さまざまなビューを有する所属が、３Ｄモデルの点間に決定されうり、その所属は、データベース中のシーン状態を所望のシーン状態に適合する次のステップ５４において、ステップ３２において選択される、いくつかのビューの場合において連続的なフェードオーバーおよび融合のために利用されうる。特に、ステップ５４は、データベース１６からステップ３２において得られたビューを、パラメータ化可能なモデル４８を用いることによってスカート３４の所望のシーン状態に適合することを含む。これは、データベース１６中のビューからの３Ｄモデルが所望の姿勢、位置などに移行できるように、３Ｄモデルを回転し、変位し、スケーリングしまたは変形することによって達成されうる。より正確に言うと、ピクセル３６は、ステップ５２において、モデル４８の表面において幾何学点に最初に関連付けられる。関連仕様は、観測器を対向している表面点上へピクセル３６の投影を単に提供する。関連仕様は、ステップ５２においてオンラインで計算されてもよい。あるいは、関連仕様は、ステップ５２においてデータベースから読み出されるだけである。いくつかのビューの場合において、このように「テクスチャされる」３Ｄモデルは、回転、変位、スケーリングまたは変形によるステップ５４において、所望の姿勢、位置に転送され、さらに、そこで共有ビューにマージされ、転送およびマージのために、モデル表面において点を有する個々のビューからのピクセルの関連を利用することが可能である。結果として生じるビューは、所望のシーン状態に適合される。
【００３６】
３Ｄモデル４８がスカート３４の幾何学の大まかな近似だけを表すので、アニメーション、変形および表現は、低い効果で実現されうり、そのため、分析および合成に関するリアルタイム要求は、満たされうる。現実的な表現のために必要である詳細、例えば折り目の低減、マテリアル構造または詳細の豊富なシルエットは、データベース１６中にイメージによっておよび存在しうるいかなるセグメンテーション・マスクによっても表される。
【００３７】
図３の例示的な場合において、モデルは、人が運動するときに、織物のコース運動をシミュレートするために、変形パラメータに加えて動的な運動モデリングを含むこともできる。この場合も、微小変形は、ステップ３２において関連した姿勢パラメータから決定されたデータベース１６のビューによって表されうる。
【００３８】
したがって、ステップ５２の結果は、選択されたビューのシーン状態に適合されるスカート３４の近似の３Ｄモデル４８である。
【００３９】
ステップ５２は、特にそれぞれのビューにオブジェクトの投影に関連付けられる深さおよび幾何学情報が用いられるという点で、ステップ３２において選択されるビューがオブジェクトまたはスカート（３４）を表す下でシーン状態を、所定のシーン状態に適合することを可能にする。ステップ５４において、ビューがスカート３４を所定のシーン状態に表す下でシーン状態に適合するために、アダプタ１４がステップ３２のビューからスカート３４を並進的に相殺し、回転しまたは傾斜しまたは延長しまたは圧縮することは、３Ｄモデルによって可能である。ステップ５４の結果は、関連した輝度値またはテクスチャマップ位置を維持するとともに、最終的に、他の位置にステップ３２において決定される予備ビューの規則的に配列されたピクセル位置の横変位またはひずみである。
【００４０】
ステップ５２および５４が比較的小さい計算量を必要とすることは、この点でさらに強調されるべきである。３Ｄモデルの複雑さの程度が、上述のように、変動することができる場合であっても、所定のシーン状態に対する適合に関する計算出費は、最も複雑な計算がステップ３２において選択されるビューにおいてピクセル位置を変位するために抑止されるので、それにかかわりなく低いままである。反射状態および折り目４６の低減の形状は、シミュレートされる必要がなく計算される必要がない。それらは、データベースから引き継がれ続ける。軽微なシーン状態偏差だけが相殺されなければならないので、ユーザのための簡略化は、後に明白である。
【００４１】
ステップ３２において、２つ以上のビューがデータベースから得られうることはさらに留意されるべきである。この場合、ステップ５２および５４は、特に、例えば、適合されるビューの次の融合を有するビューのそれぞれのために実行される。同じことがステップ５６に当てはまり、それは後述される。
【００４２】
ステップ５６において、（リ）テクスチャリングは、テクスチャマップ・マッピング情報に基づいて、または、テクスチャマップ４２に対するモデル表面のテクスチャマッピングおよびビューの輝度値に基づいて実行される。図３の場合において、例えば、テクスチャまたはパターン５８は、所望のビューまたは表現においてスカート３４をテクスチャするために用いられる例によって示される。図１の装置において任意であるとして表されるテクスチャラー６２は、ステップ５６のために、ピクセル３６に関連付けられた例えばノードまたは三角形などの表面部位を、所望のテクスチャ５８が入れられるテクスチャマップ４２の位置に関連付けるために、データベース１６からテクスチャマップ・マッピング情報を用い、言及されるそれぞれのテクスチャマップ値は、それぞれの表面部位に関連付けられるピクセル３６の輝度値で重み付けられる。このように、所定のシーン状態の下でオブジェクトまたはスカート３４示す所望のビューが生じ、前記所望のビューは、図２において参照番号６４によって示される。別の表現で言うと、ピクセル３６を有するテクスチャマップ値の関連は、図３の現在記載されている実施形態において間接的に達成され、その理由は、ピクセルがすでにステップ５２において３Ｄモデルの表面点に関連付けられ、さらに、前記点が所望のシーン状態に適合を経由してステップ５４において変位されているからである。したがって、後の点は、それらに関連付けられるデータベース１６中のそれぞれのビューから輝度値も間接的に有し、さらに、それらも、それらに関連付けられるテクスチャマップ５８から、すなわちデータベース１６を用いることによって、それぞれのテクスチャマップ値も有し、それは、また、３Ｄモデルパラメータに加えて、それぞれのビューのためのマッピングを含み、そして、そのマッピングは、見ることができさらにオブジェクトの投影に重なるテクスチャマップ上に３Ｄモデルの表面の部分をマップする。
【００４３】
ステップ５４および５６が交換されうることは留意すべきである。ステップ５６は、ステップ５２の前に実行されてもよい。さらに、補間がステップ５４において生じたピクセル変位を規則的なピクセルアレイに再転送するために所望のビュー６４を得るために起こりうることは、以前に明示的に指摘されていない。さらに、パラメータ化可能な３Ｄモデルの代わりに、アプローチが、個々のピクセル３６のためにどの深さ情報値がデータベース１６中に含まれるかに基づいて、輪郭４８を用いることによって、適合されうることに留意すべきである。それらは、例えばランタイム測定プロセスなどによって、初期設定段階、例えばカメラ・キャプチャリング距離イメージにおいてほど早期に特定のカメラによって検出されうる。この場合、ステップ５２は、データベース１６から深さ情報値を読み取って、それらを個々のピクセルに関連付けるだけで、深さ情報値をピクセルに関連付けることに制限される。
【００４４】
このように、ステップ５６の結果は、所定のシーン状態の下でオブジェクトのビューである。上述のように、ステップ３２において決定されるいくつかのビューは、用いられうる。この場合、所望のビュー６４は、例えば、所望のテクスチャリングを含む関連したピクセル値からの距離のピクセル的な平均またはそれでの重み付けによって得られる。ステップ５６に追従するいくつかのビューから生じる点の不定期なクラウドに基づいて、ステップ５２〜５６を受けたいくつかのビューの場合において規則的なピクセル配列上に前に言及された補間を達成することは可能である。
【００４５】
図４に関して、図１の表現装置１０のアプリケーションは、例えば身に着けられうる例えばドレス１０２のような身体に着けられうるオブジェクトの仮想フィッティングのための装置１００との関連で以下に説明される。例えば、図４の装置１００は、例えばカメラなどのキャプチャリングデバイス１０４と、姿勢認識器１０６と、表現装置１０と、フューザー１０８とを含む。任意に、装置１００は、カメラ１０４が彼／彼女をキャプチャする遠近感からディスプレイ１１０上の彼自身／彼女自身をユーザー１１２が見る表示デバイス１１０を含むが、ディスプレイ１００に、ユーザ１１２は、重ね合わされたピクチャ、すなわち、所望のドレス１０２が人１１２上に重ね合わされるカメラ１０４のビューを示される。姿勢認識器１０６は、図４に示されるように、前に述べられる所定のシーン状態すなわち位置、アライメントおよび／またはユーザ１１２の姿勢を決定するためのカメラ１０４によって得られるショットを用いる。追加としてまたは二者択一的に、姿勢認識器１０６は、人１１２の身体測定を決定することができる。しかしながら、前記身体測定は、例えばキーボードのように、図４に示されない適切な入力装置を介して、人１１２によって入力されてもよい。さらに、姿勢認識器１０６がカメラ１０４によって撮られるカメラ・ショットを用いることさえなく所定のシーン状態または現在のシーン状態を認識することは可能である。例えば、姿勢認識器１０６は、３Ｄ測定システム例えばトライアンギュレーション・システム、ランタイムカメラまたは姿勢認識のためのその他を用いる。あるいは、姿勢認識器１０６は、カメラ１０４に加えて、複数のショットから、所定のまたは現在のシーン状態、すなわち位置、アライメントおよび／または人１１２の姿勢を決定するために、さまざまな方向からシーンおよび／または人１１２をキャプチャしまたは観察する１つ以上のさらなるカメラを用いることができる。
【００４６】
上述のように、表現装置１０は、その後、姿勢認識器１０６によって所定のシーン状態において所望の着用できるオブジェクト１０２の所望のビューおよび／または所望の表現を決定する。
【００４７】
次に、フューザー１０８は、合成されたイメージを形成するために着用できるオブジェクト１０２のビューで、カメラ・ピクチャ１０４を融合するように構成され、このように合成される前記画像は、図４に示されるように、ディスプレイ１１０に表示されうる。
【００４８】
図４の装置は、リアルタイムにおいて作動しおよび／またはフレームごとに融合されたフレームを生成するように構成されうる。そのために、姿勢認識器１０６、表現装置１１０およびフューザー１０８は、例えば、それぞれのフレームのためにまたは少しのフレームのために上述のステップまたはプロセスを実行するように構成されうり、後者の場合、フューザー１０８は、例えば、それぞれ、装置１０から表現を有する融合によって得られた、先行する合成されたフレームおよび後の合成されたフレームから割り込まれたフレームを補完することである。
【００４９】
図２および図３に関して、アプローチは、どのテクスチャマップ・マッピング情報がテクスチャマップ上へオブジェクト投影のマッピング３８を間接的に定義したかに従って、すなわち３Ｄモデル４８の表面部位をマップ４２にマップすることによって、上に述べられている。変形例は、マッピング３８がデータベース１６に明示的に格納されるということである。第１の方法ステップ３２において、所定のシーン状態に類似するシーン状態の下でオブジェクトを示すビューを、データベース１６において、検索する。前記ピクセル３６のそれぞれのために、輝度値があり、それは、テクスチャの非依存またはテクスチャレスの方法で、いわばスカート３４の単色の織物にために、視点に投影される光のための反射性を示す。さらに、テクスチャマップ４０に関するビューにおいてスカート３４のピクセルの位置を示すテクスチャマップ位置および／またはテクスチャマップ座標は、それぞれのピクセル３６に関連付けられる。マップ投影は、例えば、テクスチャ座標によって定義されうる。前に言及された情報に加えて、データベース１６においてビューごとに、オブジェクトまたはスカート３４の近似形状を表すパラメータ化可能な３Ｄモデルもある。適合ビューのために、上述の説明と異なって、ステップ５２は、モデル表面部位およびピクセル間の相互の関連を含まないかもしれないが、ステップ５２において、ステップ３２において選択されるビューのピクセル３６は、スカートまたはオブジェクト３４の近似形状のパラメータ化可能なモデル４８に基づいて、それらに関連付けられうり、深さ情報値は、例えばカメラ位置からそれぞれのピクセルのそれぞれのオブジェクト点間の距離の近似測定を示す。その関連は、以下の通りに発生しうる。アダプタ１４は、ステップ３２において選択されるビューに対応する前に言及された３Ｄモデルを計算することができ、さらに、距離値がピクセルに対応する位置で３Ｄモデル４８によって呈したスカート３４のそれぞれのピクセル３６に関連付ける。実際にスカートを表すが、３Ｄモデルの投影４８の外側に位置されうるスカート３４のポテンシャル・ピクセルのために、供給は、適切な方法で外側に挿入される３Ｄモデルの深さ情報値のために可能である。そのようなピクセルは、例えば、輪郭４８中でスカート３４で最も近いピクセルの深さ情報値を得る。あるいは、モデルは、それが完全にシルエットを囲むように選択されることができ、さらに、ピクセルに正確であるその輪郭は、セグメンテーション・マスクによって定義されうる。したがって、ステップ５２の結果は、スカート３４の深さイメージであり、前記深さイメージは、関連したシーン状態を有するスカート３４のオブジェクトを示す。前記深さ情報値に基づいて、アダプタ１４は、ビューがスカート３４を所定のシーン状態に表す下でシーン状態を適合するために、ステップ５４においてステップ３２のビューからスカート３４を並進的に相殺し、回転し、傾動しまたは延長しまたは圧縮する。ステップ５４の結果は、関連した輝度値またはテクスチャマップ・ベクトルを維持するとともに、最終的に、他の位置にステップ３２において決定される予備ビューの規則的に配列されたピクセル位置の横変位またはひずみである。反射状態および折り目４６の低減の形状は、シミュレートされる必要がなくて、この実施形態において計算される必要もない。ステップ５６は、ピクセル３６に関連付けられるテクスチャマップ位置および輝度値に基づいて（リ）テクスチャリングを含む。ステップ５６のために、テクスチャラー６２は、テクスチャ５８をピクセル３６に関連付けるためにテクスチャマップ位置を用い、そこにおいて、それぞれのテクスチャマップ・ベクトルが向けられるそれぞれのテクスチャマップ値は、ピクセル３６の輝度値で重み付けられる。このように、所定のシーン状態の下でオブジェクトまたはスカート３４を示す所望のビューがつくられる。
【００５０】
このように先に述べた実施形態は、複雑なおよび／または変形可能なオブジェクト例えば衣類などの表現を可能にする。この表現は、シーンを分析して合成するために用いられうる。高い表現品質を確実にする間にリアルタイムに処理することが可能である。これらの特性は、オフラインの前処理ステップに対する計算費用のシフトによって、および、テストオブジェクトの実際のビデオおよびピクチャの利用によって、使用可能である。それらの特性の全てに関して正確にオブジェクトをモデル化する代わりに、一実施形態は、例えば、カメラを用いてトレーニング段階の間、照明においてさまざまな表現的な運動、変形または変化を受けたオブジェクトをキャプチャすることを提供する。このビデオ・ベースのプロセスが一度だけ起こるので、高コストの捕捉システムおよび分析法は利用されうる。さらに、簡略化処理のために、適切なテストオブジェクトが設計されうり、そこにおいて、シェーディングのような情報およびテクスチャの方位における変化が直ちに抽出されうる。検索は、後ほどリテクスチャリング方法（５６を参照）によって、所望の外観に適合されうる。リアルタイムアプリケーションにおいて、新しいビューは、適切なおよび速いイメージ補間（５２および５４を参照）によって多数のテスト・ショットから作られうり、それは、テスト・ショットは、高レベルの自然らしさを有し、その理由は、それらが実際のショットから計算され、さらに、その結果、例えばさまざまなポーズに対して例えば折り目などの詳細において豊富である領域におけるシェーディングに関する情報の全ておよびテクスチャの方位における変化が含まれるからである。例えば衣類などの複雑な変形可能なオブジェクトは、大きな自由度を含み、イメージにおいて、検出することとポテンシャル運動および変形状態の全てを格納することとが可能でない。したがって、イメージ情報に加えて、一実施形態によれば、オブジェクトの粗い３Ｄ幾何学が、再構成され、さらに、例えば多角形ネットワークによって表される。このモデル（４８を参照）は、近似形状を表し、したがって、コンパクトな方法で記載されうり、急速に活気づけられ、さらに、新しいポーズおよびビューを差し込むために用いられうる。両方の前に言及された実施形態の概念は、近似モデル（４８を参照）をドミナント運動、変形または相互関係／変化のために利用することにあり、さらに、ピクチャ／ビデオベースの方法によって、例えばシェーディングおよびテクスチャの方位における変化などの詳細を加える。正確なシルエットは、わずかにより大きいモデル（４８を参照）上の透明的なテクスチャによって実現されうる。衣類を表すために、例えば、幾何学は、彼／彼女の腕および脚と同様に着用者の身体の形状を概略的に表すことができ、それの運動は、リアルタイムに、ポーズの推定のためのまたは人体トラッキング（１０６を参照）のためのアルゴリズムによって推定されうる。いかなる一定のポーズのためにも、ビューは、トレーニング段階（図４において１０を参照）から相似イメージから差し込まれうり、そこに格納されるポーズに関する小さい違いが、幾何学（５２および５４を参照）によって修正される。オフラインステップにおいて生成されるビデオ・ベースの表現が正しいシェーディング、新しいテクスチャ、パターンおよびアプリケーションに加えて表面に関して方位情報を含むこともでき、例えば実際のショットから、明示的にモデルでなけければならないことはなく、詳細を正しく適用することができる。
【００５１】
上述の実施形態の重要な利点は、相互関係の可能性と同様に高度な自然度およびリアリズムを有する拡張現実アプリケーションにおいて、複雑なオブジェクト、例えば衣類、ヘアスタイル、宝石または眼鏡のリアルタイム表現を実現する可能性にある。
【００５２】
さらに、さらなる利点は、最終用途のためのハードウェアが、例えばわずかのカメラしか必要とされない事実によって、簡略化されうることであり、その理由は、詳細情報がオフラインのステップにおいて一度限りに得られうり、したがって、費用がコンテンツ作製ステップにシフトされるからである。したがって、上述の実施形態は、大衆市場のための解決策として適切である。
【００５３】
上述の実施形態は、例えば、仮想フィッティングルームとして適用されるために用いられうり、そこにおいて、ユーザは、実質的に衣類を設計して試着する。さらに、上述の実施形態は、新しいヘアースタイルまたは眼鏡の高度な可視化のためにさらに宝石および腕時計を表すために使用されうる。
【００５４】
同時に、上述の実施形態は、自然の高品質の方法において仮想オブジェクトを表すとともに、リアルタイムにおいて処理されうる例えば衣類およびヘアースタイルなどのオブジェクトの表現を可能にする。
【００５５】
上述の説明は、ビューがテクスチャ非依存の方法においてデータベース１６に格納されると述べ、それによれば、同一の表面色、例えば白または他のいかなる自然色のためのショットを得るために、ピクチャが撮られるとともに、オブジェクトの色および／または輝度変更が、変更テクスチャのためそれぞれのビューにおいてすでに減算されている。これは、必ずしもそうであるというわけではない。むしろ、例えばピクセル溶解された方法において、それらに関連付けられるデテクスチャリング情報を有することが、データベース１６においてビューにとって可能であり、それは、ビューに適用されるときに、例えばピクセル的な乗算または減算によって、オブジェクト（３４）のテクチャされていない単色の表現を生じる。さらに、デテクスチャリングは、オンラインで実行されてもよい。
【００５６】
特に、状況に応じて、本発明のスキームがソフトウェアにおいて実施されうる点に留意すべきである。実施は、対応する方法が実行されるように、プログラム可能なコンピュータシステムと協動することができる、電子的に可読の制御信号を有するデジタル記憶媒体、特にディスクまたはＣＤにおいて実行することができる。そのため、本発明は、一般に、コンピュータプログラム製品がコンピュータ上で実行されるときに、本発明の方法を実行するための機械可読のキャリアに格納されたプログラムコードを有するコンピュータプログラム製品にある。したがって、換言すれば、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、その方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現されうる。
【技術分野】
【０００１】
本発明は、複雑なおよび／または変形可能なオブジェクトの表現および例えば衣類などの着用できるオブジェクトの仮想フィッティングに関する。
【背景技術】
【０００２】
拡張現実アプリケーションは、特に、リアルビデオマテリアルを有するコンピュータ生成のオブジェクトを融合することを含む。そのために、例えば、リアルオブジェクトの照明状態、正確な位置および方位または幾何学的な変形は、アーティフィシャルオブジェクトがシーンの自然整数部分であるように、コンピュータ生成の仮想オブジェクトによって前記オブジェクトを交換しまたは補充するためにビデオシーケンス中で推定される。大部分の拡張現実アプリケーションは、１つまたはいくつかのカメラによってキャプチャされる現在および瞬間的な環境が、個々の情報およびオブジェクトによって補充され、さらに、ユーザの現在の運動または要求に依存している、インタラクティブな解決策である。これは、アーティフィシャルオブジェクトを共有表現に組み込む観点から、例えば運動、変形、照明に関して、シーンを分析する観点から、両方とも厳しいリアルタイム能力を必要とする。これは、特に、例えば織物、ヘアーなど、込み入った幾何学および／または変形可能なまたは弾性特性を有するオブジェクトによって困難になる。例えば衣類、眼鏡、宝石およびヘアースタイルの仮想フィッティングなど、用途によっては、それは、全て、さらに、現実的で生きているような動的な表現に依存し、それは、ほとんどの場合に大変な努力を必要としさらにリアルタイム要求に矛盾する。
【０００３】
仮想鏡アプリケーションは、例えば、Ｐ． Ｅｉｓｅｒｔ， Ｐ． Ｆｅｃｈｔｅｌｅｒ ａｎｄ Ｊ． Ｒｕｒａｉｎｓｋｙ： ”Ｖｉｒｔｕａｌ Ｍｉｒｒｏｒ： Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｓｈｏｅｓ ｉｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ”， Ｐｒｏｃ ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ ２００７）， Ｓａｎ Ａｎｔｏｎｉｏ， Ｔｅｘａｓ， ２００７、Ａ． Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ Ｃｌｏｔｈ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｒｔｕａｌ Ｃｌｏｔｈｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ”， Ｐｒｏｃ． Ｍｉｒａｇｅ ２００９ − Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ／Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｒｏｃｑｕｅｎｃｏｕｒｔ， Ｆｒａｎｃｅ， Ｍａｙ ２００９によって表されている。ユーザは、カメラによって撮影され、ディスプレイ上に彼自身／彼女自身を見ることができ、それは、リアルタイムにコンピュータ生成の衣類において鏡機能を取る。このために、彼女／彼のポーズおよび運動は、推定され、さらに、仮想衣類は、彼／彼女が実際にそれを着用しているかのように、鏡像においてそれが現れるように、ビデオフレームにおいて彼女／彼の身体上に描かれる。現実的な印象を提供するために、仮想衣類は、ユーザの運動の全てに追随しなければならなく、さらに、折り目およびマテリアル特性の現実的な低減を呈しなければならない。
【０００４】
例えば織物および衣類などの多くの自由度を有する仮想オブジェクトを分析して表すさまざまな考えられるアプローチがあるが、それは、リアルタイム能力に関して苦しむかまたはあまり現実的でない表現を提案する。アーティフィシャルオブジェクトは、例えば（形状、色、マテリアル、反射、運動および変形）などそれらの物理的特性に関してモデル化されうり、それのパラメータは、シーンまたはカメラ・ピクチャから推定され、さらに、コンピュータ・グラフィック法を用いて最後的に表される。ここで、表現の自然らしさは、モデリングの精度に依存し、さらに、現実的な表現は、しばしば数千の自由度を有し、それは、推定に多くの努力を必要とする。そのため、この表現において、高コスト処理を有する高品質（多くのパラメータ）および非常に限られたリアリズムを有するリアルタイム解決策の間の困難なトレードオフがある。
【０００５】
一方では、適切な推定法およびより正確なモデリングを用いて高品質を達成する現実的な表現を有することは可能である。衣類のために、形状は、例えば、いくつかのカメラ斜視図から３Ｄ再構成によって得られうる。これは、Ｄ． Ｐｒｉｔｃｈａｒｄ ａｎｄ Ｗ． Ｈｅｉｄｒｉｃｈ： Ｃｌｏｔｈ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ”， Ｐｒｏｃ． ｏｆ Ｅｕｒｏｇｒａｐｈｉｃｓ （Ｅｕｒｏｇｒａｐｈｉｃｓ ２００３）， Ｓｅｉｔｅｎ ２６３−２７１， ２００３、Ｒ． Ｗｈｉｔｅ， Ｄ． Ｆｏｒｓｙｔｈ ａｎｄ Ｊ． Ｖａｓａｎｔｈ： Ｃａｐｔｕｒｉｎｇ Ｒｅａｌ Ｆｏｌｄｓ ｉｎ Ｃｌｏｔｈ”， ＥＥＣＳ Ｄｅｐａｒｔｍｅｎｔ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ， Ｂｅｒｋｌｅｙ， ２００６、Ｄ． Ｂｒａｄｌｅｙ， Ｔ． Ｐｏｐａ， Ａ． Ｓｈｅｆｆｅｒ， Ｗ． Ｈｅｉｄｒｉｃｈ ａｎｄ Ｔ． Ｂｏｕｂｅｋｅｕｒ： ”Ｍａｒｋｅｒｌｅｓｓ Ｇａｒｍｅｎｔ Ｃａｐｔｕｒｅ”， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＳＩＧＧＲＡＰＨ）， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８およびＭ． Ｖｌａｓｉｃ， Ｉ． Ｂａｒａｎ， Ｗ． Ｍａｔｕｓｉｋ ａｎｄ Ｊ． Ｐｏｐｏｖｉｃ． Ａｒｔｉｃｕｌａｔｅｄ Ｍｅｓｈ Ａｎｉｍａｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｉｌｈｏｕｅｔｔｅｓ”， ＳＩＧＧＲＡＰＨ ２００８， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８によって表されている。この文書において、例えば折り目など、詳細の全てを有する織物の正確な３Ｄ形状は、再構成される。しかしながら、難しくて込み入ったカメラ・セットアップが必要とされ、そのような詳細な３Ｄモデルを計算することは、多くの計算時間を必要として、ここ数年においてリアルタイムに実施されることができない。
【０００６】
一方では、例えばリアルタイムにかつより簡単なキャプチャリングユニットで仮想衣類などを表すことへのアプローチがある。しかしながら、これらも、衣類の新しいコンピュータ生成の部分を表す代わりに、例えばＪ． Ｐｉｌｅｔ， Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ： ”Ａｕｇｍｅｎｔｉｎｇ Ｄｅｆｏｒｍａｂｌｅ Ｏｂｊｅｃｔｓ ｉｎ Ｒｅａｌ−ＴＩｍｅ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ． Ｖｉｅｎｎａ Ａｕｓｔｒｉａ， ２００５、およびＡ．Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ ｏｆ Ｇａｒｍｅｎｔｓ”， Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ ２００８）， Ｓａｎ Ｄｉｅｇｏ， ＣＡ， ２００８によるバージョンにおいて、衣類のしばしば四角い小さいセクションをリテクスチャすることを目的としてだけである。あるいは、表されることは、人が適切な方法で彼自身／彼女自身を位置付けることを必要とするように、ｈｔｔｐ：／／ｗｗｗ．ｉｃｏｎｎｉｃｈｏｌｓｏｎ．ｃｏｍ／ｎｒｆ０７／のバージョンにおいてのように、コンピュータ生成の衣類であるが、人に沿って運動せず、このように、双方向性およびリアリズムが失われる。
【０００７】
したがって、リアルタイム能力を有する複雑なコンピュータ生成のオブジェクトの現実的な外観の互換性を可能にするスキームの必要性がある。いくらかさらに一般に言い換えれば、一方では適度な計算能力と他方ではオブジェクトの現実的な印象との間のより良好なトレードオフを可能にする複雑なおよび／または変形可能なオブジェクトを示すためのスキームの必要性がある。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ｐ． Ｅｉｓｅｒｔ， Ｐ． Ｆｅｃｈｔｅｌｅｒ ａｎｄ Ｊ． Ｒｕｒａｉｎｓｋｙ：”Ｖｉｒｔｕａｌ Ｍｉｒｒｏｒ： Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｓｈｏｅｓ ｉｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ”， Ｐｒｏｃ ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ ２００７）， Ｓａｎ Ａｎｔｏｎｉｏ， Ｔｅｘａｓ， ２００７
【非特許文献２】Ａ． Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ Ｃｌｏｔｈ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｖｉｒｔｕａｌ Ｃｌｏｔｈｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ”， Ｐｒｏｃ． Ｍｉｒａｇｅ ２００９ − Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ／Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｒｏｃｑｕｅｎｃｏｕｒｔ， Ｆｒａｎｃｅ， Ｍａｙ ２００９
【非特許文献３】Ｄ． Ｐｒｉｔｃｈａｒｄ ａｎｄ Ｗ． Ｈｅｉｄｒｉｃｈ： Ｃｌｏｔｈ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ”， Ｐｒｏｃ． ｏｆ Ｅｕｒｏｇｒａｐｈｉｃｓ （Ｅｕｒｏｇｒａｐｈｉｃｓ ２００３）， Ｓｅｉｔｅｎ ２６３−２７１， ２００３
【非特許文献４】Ｒ． Ｗｈｉｔｅ， Ｄ． Ｆｏｒｓｙｔｈ ａｎｄ Ｊ． Ｖａｓａｎｔｈ： Ｃａｐｔｕｒｉｎｇ Ｒｅａｌ Ｆｏｌｄｓ ｉｎ Ｃｌｏｔｈ”， ＥＥＣＳ Ｄｅｐａｒｔｍｅｎｔ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ， Ｂｅｒｋｌｅｙ， ２００６
【非特許文献５】Ｄ． Ｂｒａｄｌｅｙ， Ｔ． Ｐｏｐａ， Ａ． Ｓｈｅｆｆｅｒ， Ｗ． Ｈｅｉｄｒｉｃｈ ａｎｄ Ｔ． Ｂｏｕｂｅｋｅｕｒ： ”Ｍａｒｋｅｒｌｅｓｓ Ｇａｒｍｅｎｔ Ｃａｐｔｕｒｅ”， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＳＩＧＧＲＡＰＨ）， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８
【非特許文献６】Ｍ． Ｖｌａｓｉｃ， Ｉ． Ｂａｒａｎ， Ｗ． Ｍａｔｕｓｉｋ ａｎｄ Ｊ． Ｐｏｐｏｖｉｃ． Ａｒｔｉｃｕｌａｔｅｄ Ｍｅｓｈ Ａｎｉｍａｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｉｌｈｏｕｅｔｔｅｓ”， ＳＩＧＧＲＡＰＨ ２００８， Ｌｏｓ Ａｎｇｅｌｅｓ， ＣＡ， ２００８
【非特許文献７】Ｊ． Ｐｉｌｅｔ， Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ： ”Ａｕｇｍｅｎｔｉｎｇ Ｄｅｆｏｒｍａｂｌｅ Ｏｂｊｅｃｔｓ ｉｎ Ｒｅａｌ−ＴＩｍｅ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ． Ｖｉｅｎｎａ Ａｕｓｔｒｉａ， ２００５
【非特許文献８】Ａ．Ｈｉｌｓｍａｎｎ ａｎｄ Ｐ． Ｅｉｓｅｒｔ： ”Ｏｐｔｉｃａｌ Ｆｌｏｗ Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ ａｎｄ Ｒｅｔｅｘｔｕｒｉｎｇ ｏｆ Ｇａｒｍｅｎｔｓ”， Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ ２００８）， Ｓａｎ Ｄｉｅｇｏ， ＣＡ， ２００８
【非特許文献９】ｈｔｔｐ：／／ｗｗｗ．ｉｃｏｎｎｉｃｈｏｌｓｏｎ．ｃｏｍ／ｎｒｆ０７／
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明の目的は、スキームが上述の改良されたトレードオフを可能にする、複雑なおよび／または変形可能なオブジェクトを示すためのスキームと着用できるオブジェクトの仮想フィッティングを可能するスキームとを提供することである。
【課題を解決するための手段】
【００１０】
この目的は、請求項１または請求項１０に記載の装置によって、さらに、請求項１４または請求項１５に記載の方法によって達成される。
【００１１】
本発明の中心となる概念は、特定のシーン状態の下で、複雑なおよび／または変形可能なオブジェクトが一方では適度な計算能力と他方では現実的な表現の印象との間の改良されたトレードオフによって表されうり、多数の異なるシーン状態のそれぞれのために、それぞれのシーン状態の下でオブジェクトを示すオブジェクトのビューとそれぞれのビューに対するオブジェクトの投影およびオブジェクトの所望の外観に対応するテクスチャマップ間のマッピングを特定する関連したテクスチャマップ・マッピング情報とを含むデータベースを用いるときに、さらに、前記データベースにおいて、所定のシーン状態に類似するシーン状態の下でオブジェクトを示すビューを検索すること、その後に前記ビューを所定のシーン状態に適合すること、および、テクスチャマップ・マッピング情報に基づいてオブジェクトをテクスチャすることを含む。このアプローチは、生きているようなビューがデータベースに格納されうるように、大量の計算能力を初期設定段階に必要とするプロセスおよび／または計算を早めることを可能にする一方で、検索することおよび適合することに関して残りの複雑さは、低く保たれうり、その理由は、前記処理が所定のシーン状態から偏差をブリッジするだけであるかまたは所定のシーン状態に適合のために提供されるだけであるからであり、さらに、その結果、後の適合がおそらくリアルタイムにおいて実行されうるように、適合においてできたエラーが計算に関してできた簡略化のため結果に目に見える効果をほとんど及ぼさなかったからである。したがって、現実への表現の近さは、分解される必要はなく、その理由は、充分な時間および計算能力が、現実への近さを保証するためにデータベースに含まれるビューを作ることで費やされうるからである。例えば、データベースにおいて格納されるビューは、実際のカメラ・ショットから得られることができた。しかしながら、オブジェクトの３Ｄモデルの込み入って複雑なシミュレーションから得られるビューも、明らかに可能であり、その理由は、処理が初期設定段階において起こるからである。
【００１２】
認識された姿勢において身体に着けられうるオブジェクトの表現に関するアプリケーションに関して、本発明の中心となる概念は、データベース中で、認識された姿勢に類似する姿勢においてオブジェクトを示すビューを検索し、さらに、前記ビューを認識された姿勢に適合するように、ビューが多数の異なる姿勢において身体に着けられうるオブジェクトを示し、身体に着けられうるオブジェクトの多数のビューを有するデータベースが用いられるときに、複雑なおよび／または変形可能なオブジェクトが、認識された姿勢において、一方では適度な計算能力と他方では表現の現実的な印象との間の改良されたトレードオフによって表されうる。すでに述べたように、このアプローチは、初期設定段階に大量の計算能力を必要とするプロセスおよび／または計算を早めることを可能にし、その結果、生きているようなビューは、データベースにおいて格納されうるが、検索することおよび適合することに関して残り複雑さが低く保たれうり、その理由は、前記処理が所定のシーン状態から偏差をブリッジするだけであるかまたは所定のシーン状態に適合のために提供されるだけであるからであり、さらに、その結果、後の適合がおそらくリアルタイムにおいて実行されうるように、適合においてできたエラーが計算に関してできた簡略化のため結果に目に見える効果をほとんど及ぼさなかったからである。
【００１３】
本発明の実施形態によれば、シーン状態は、所望の二次元表現またはビューにおいてオブジェクトの位置が依存するもの、すなわち、例えば、シーン・ショットにおいてオブジェクトの三次元位置、例えば身体に着けられるオブジェクトの場合において腕および脚の姿勢などオブジェクトの姿勢、および、例えば身体測定などオブジェクトの測定である。類似するシーン状態の下でオブジェクトを示すデータベースから得られるビューを所定のシーン状態に適合するために、オブジェクトの近似形状の簡単なパラメータ化可能な３Ｄモデルが用いられうる。したがって、データベースのために必要な記憶容量は低いままである。一方、パラメータ化可能な３Ｄモデルおよび所定のシーン状態に対する適合のためのその再パラメータ化のための計算費用は、大変な努力を必要とせず、その理由は、パラメータ化可能な３Ｄモデルによるオブジェクトの近似形状の記載が完全に充分であり、さらに、例えば折り目の低減など、さもなければ計算的に高価な方法で処理されなければならなかった詳細が、データベース中でビューおよび／またはテクスチャマップ・マッピング情報中に含まれるからである。
【００１４】
さらなる実施形態によれば、データベース中のオブジェクトのビューをリテクスチャすることも可能であり、データベースは、３Ｄモデルまたはオブジェクト点の表面をテクスチャマップにマップするテクスチャマッピングを含み、前記テクスチャマップを介して、ピクセルに関連付けられる表面部位は、テクスチャマップ値が割り当てられ、データベースのビューにおいてピクセルに関連付けられさらにテクスチャ非依存またはテクスチャレス、オブジェクトの単色反射率分布を表す輝度値で重み付けられ、前記反射率分布はそれにもかかわらずそれぞれの姿勢においてオブジェクトの照明方向および散乱特性を考慮し、テクスチャマップから所望のテクスチャを有する所望の外観を有するオブジェクトを提供する。したがって、再構成のために必要な計算は、輝度重み付けと結合してテクスチャマップ・データの安価なインデックス付けに限られ、それは、オブジェクトのおそらく複雑な構造を考慮して、初期設定段階においてすでに決定されている。
【００１５】
このように本発明の実施形態は、例えば衣類およびヘアースタイルなどのオブジェクトの表現を可能にし、それは、それの高品質な自然な表現を提供するとともに、仮想オブジェクトのリアルタイム処理を可能にする。
【００１６】
本発明の好適な実施形態は、添付図面に関連して以下にさらに詳細に説明される。
【図面の簡単な説明】
【００１７】
【図１】図１は、実施形態による複雑なおよび／または変形可能なオブジェクトを表すための装置のブロック図を示す。
【図２】図２は、例えば、実施形態による、図１の装置によって、実行されうるように、複雑なおよび／または変形可能なオブジェクトを表す方法のフローチャートを示す。
【図３】図３は、実施形態による図２のテクスチャリングおよび／またはリテクスチャリングおよびシーン状態適合を説明するためのスケッチを示す。
【図４】図４は、実施形態による着用できるオブジェクトの仮想フィッティングのための装置を示す。
【発明を実施するための形態】
【００１８】
図１は、複雑なおよび／または変形可能なオブジェクトを表すための装置の実施形態を示し、前記装置は、１０で一般に示される。装置は、検索ユニット１２、アダプタ１４およびデータベース、任意に、テクスチャラー６２を含む。
【００１９】
データベース１６は、それに格納されるオブジェクトの多数のビューを有し、それらは、多数の異なるシーン状態の下でオブジェクトを示す。後述するように、データベース１６中で、ビューごとに、ビューが撮影された下で対応するシーン状態を格納することが可能である。さらに、ビューごとに、サブピクセルに対して正確であるオブジェクト・デマケーションを表すセグメンテーション・マスクが格納されうる。さらなる典型的な詳細が後述される。
【００２０】
検索ユニット１２は、所定のシーン状態を用いることによって、データベース１６において１つ以上の第１または予備ビューを検索するように構成され、前記ビューは、所定のシーン状態に類似するシーン状態の下でオブジェクトを示す。アダプタ１４は、次に、新しいビューを作るように構成され、それは、予備ビューを所定のシーン状態に適合することによって、所望の表現を表す。所望の表現を作ることに任意に貢献することができる任意に提供されたテクスチュラー６２は、さらに以下に詳細に取り組まれる。
【００２１】
オブジェクトは、衣類またはヘアースタイル、すなわち、多数の自由度を有するオブジェクトであってもよく、それらは、現実的にシミュレーションすることが困難であり、または、現実的な表現を計算することを必要とする計算能力が高い。以下に、例えば、オブジェクトが衣類であると仮定される。しかしながら、この点で、これらの特定の説明でさえ一般に複雑なおよび／または変形可能なオブジェクトを表現するだけである点に留意すべきである。
【００２２】
所定のシーン状態およびデータベース１６中でビューがオブジェクトを示す下で異なるシーン状態は、例えば、オブジェクトの位置、オブジェクトの姿勢および／またはオブジェクトの測定によって定義されうる。換言すれば、所定のシーン状態は、所定の値を有し、さらに、データベース１６において多数のビューは、オブジェクトの位置、オブジェクトの姿勢または変形、またはオブジェクトの測定のための異なる値の下でオブジェクトのビューを含む。オブジェクトが衣類である場合、例えば、オブジェクトの位置は、例えば、衣類の着用者の位置によって定義され、オブジェクトの姿勢は、腕および／または脚の姿勢によって、または、一般に、衣類の着用者の全体の姿勢によって定義され、さらに、オブジェクトの測定は、衣類の着用者の身体測定によって定義される。換言すれば、データベース１６は、そこにおいて格納される関連したシーン状態を有する多数のビューを有することができ、それは、さまざまな位置において、さまざまな姿勢において、および、衣類の着用者のためのさまざまな身体測定で衣類を示す。
【００２３】
データベース１６中に格納されるビューは、得られたかもしれない実際のショット、すなわちオブジェクトの物理的な実施形態のカメラ・ショットである。しかしながら、もちろん、データベース１６中のビューが３Ｄシミュレーションによって得られることも可能である。シミュレーションのために必要な高い費用は、データベース１６を作るためにすなわち初期設定段階の間に発生するだけであり、したがって、リアル−タイムアプリケーションに矛盾しない。
【００２４】
すでに述べられたように、検索ユニット１２は、ビュー１６の中で、所定のシーン状態に類似するシーン状態の下でオブジェクトを示す１つまたはいくつかを選択する。類似性は、いかなる適切な距離測定によっても定量化されうる。その後、前記アダプタ１４は、このように得られるビューを所定のシーン状態に適合する。そのために、アダプタ１４は、データベース１６において格納されさらにそこにおいて含まれる個々のビューに関連付けられる情報を用いることができる。例えば、シーン状態に加えて、データベース１６においてビューは、それらに関連付けられる上述したセグメンテーション情報を有することもでき、セグメンテーション情報は、それぞれのシーン状態に関するそれぞれのビューのどのピクセルが実際にオブジェクトに属するかさらにいずれがバックグラウンドだけを表すかを示す。さらに、データベース１６中のビューは、おそらくテクスチャ非依存の方法で格納され、それによると、例えば、一様な表面色、例えば白または他のいかなる中間色のためのピクチャを生じるために、ピクチャが撮られるときに、それぞれのビューにおいてオブジェクトの色および輝度の変更が変更テクスチャに基づいて減算される。さらに、データベース１６中のビューは、それに関連付けられる幾何学情報、すなわちそれぞれのビューへのオブジェクトの投影のピクセルまたは他の細分割部を有する深さおよび距離の値の関連を可能にする情報またはそれぞれのビューへのオブジェクトの投影を有する横に変更する深さおよび／または距離の関連を有することができる。この場合、したがって、ビューは、異なるシーン状態を有する、または、さまざまなシーン状態の下でオブジェクトの近似モデルの微細構造を表すテクスチャを有するオブジェクトの何らかの距離イメージを表す。
【００２５】
このように、検索されたビューおよび所定の位置間のオブジェクトの位置に関する偏差は、回転、並進運動、姿勢適合、変形またはそれらの組み合わせによって、アダプタの部分において修正されうる。以下の実施形態において、可能性は、アダプタ１４が予備ビューを所定のシーン状態を有するビューに適合するために所定のシーン状態に適合のためのオブジェクトの近似形状のパラメータ化可能な３Ｄモデルを用いるに従って後述する。パラメータ情報は、それがそれぞれのビューに関連付けられるように、データベース中に格納されうり、または、それがインデックス付けのために用いられる所定のシーン状態から生じることができる。もちろん、両方の可能性の組み合わせも、可能である。
【００２６】
追加としてまたは二者択一的に、テクスチャマップ・マッピング情報は、データベース中にあってもよく、すなわち、情報が、それぞれのビューにおいてオブジェクトの投影とオブジェクトの表面を表しさらに所望のテクスチャに対応するコンテンツで満たされうるテクスチャマップとの間のマッピングを可能にする。マッピングは、３Ｄオブジェクトの表面およびテクスチャマップ間の明確なマッピングの迂回路を介して、データベース中で定義されうる。３Ｄモデルの表面位置でまたは上でピクセルの関連または投影は、データベース１６中に前もって決定されまたは格納されることもでき、または、所望のビューにビューの適合の間にオンラインで起こることもできる。
【００２７】
本発明の実施形態による図１の装置の動作モードがさらに詳細に記載される前に、所定のシーン状態またはさまざまなシーン状態が例えば照明の入射方向を含む照明状況によって追加としてまたは二者択一的に定義されまたは異なる点に留意すべきである。このように、図２は、例えば、図１の装置によって、実行されうるように、複雑なおよび／または変形可能なオブジェクトを表す方法を示す。
【００２８】
第１の方法ステップ３２は、データベース１６において、所定のシーン状態に類似するシーン状態の下でオブジェクトを示すビューを検索することを含む。図１の場合において、検索３２は、検索ユニット１２によって実行される。オブジェクトが身体に着けられうる例えば身に着けられうるオブジェクトであり、さらに、所定のシーン状態が部屋内の位置、姿勢および／または着用できるオブジェクトの着用者のための１つまたはいくつかの身体測定であることが、例として仮定される。換言すれば、シーン状態は、空間位置、姿勢および／または着用者の１つまたはいくつかの身体測定に関する１つまたはいくつかの変数の値を含み、定義される距離の測定は、ステップ３２において、関連した値が同じ変数のために距離の測定によって定義される距離を最小化するという、データベース１６のビューの中のビューの選択を許容する。ステップ３２において、１つのビューだけの代わりに二つ以上ビューのどのビューが所定のシーン状態として類似するシーン状態の下でオブジェクトを示すかをデータベース１６から決定することも可能である。シーン状態のベクトル空間において、所定のシーン状態から最も小さい距離をもたらす、そのビューまたはそれらのビューを選択することは可能である。換言すれば、データベース１６は、所定のシーン状態を表すベクトルへの前記ベクトルの距離に応じて、その成分がシーン状態を表すいくつかのベクトルのために、その中で最も類似するビューがステップ３２において選択されるビューを含む。その成分が最も類似するシーン状態を表すいくつかのビューが選択された場合において、それらは、所定のシーン状態を表すベクトルへのベクトルの距離に応じて、重み付け方法において１つのビューに融合される。
【００２９】
図３は、例えば、さまざまなシーン状態のいずれかのためにデータベース１６からのビューを示す。図３において、オブジェクトは、例えばスカート３４である。図３は、部屋内の特定の位置または場所、スカート（図示せず）の着用者のビューイング方向の特定の方位、おそらく特定の脚の姿勢、および、おそらく特定の腹部または胴囲のためのスカート３４のビューを示す。図３において左側に示されるビューは、実際のスカートのカメラ・ショットによって、または、高コストのシミュレーションによって得られうる。ビューのピクセル３６は、図３において局所的に示されるだけである。前記ピクセルごとに、輝度値があり、それは、いわばスカート３４の単色の織物に対して、テクスチャ非依存またはテクスチャレスの方法で、視点に投影される光のための反射性を示し、前記反射性は、次々に、織物の散乱特性、織物表面の通常のローカル方位によっても、用いられる照明状況によっても特定される。これは、ピクチャが撮られるときに、存在するテクスチャを意味し、または、ピクセル３６の輝度に対するその効果は、単色のスカートの外観を生じるためにすでに減算されている。
【００３０】
図３において、スカート３４は、線画において表される。このように、等高線は、スカートを表すピクセル３６を包囲する。データベースは、例えばピクチャが撮られるときにバックグラウンド存在を表す、周囲のピクセルを含みまたはそこにおいて格納することが可能である。この場合、ピクセルに正確であるシルエットの記載のために、セグメンテーション・マスクは、ビューに加えてデータベース中に格納されうり、前記セグメンテーション・マスクは、透明度値がオブジェクトを表すかまたはフォアグラウンド（例えばピクセル３６）に属するかどうか、または、それがバックグラウンドに属するかどうかを、例えば透明度値によって、値のピクセルごとに示す。
【００３１】
さらに、図３の実施形態によれば、それぞれのピクセル３６は、それに関連付けられるテクスチャマップ位置を有することができ、それは、図３において矢印３８によって示されるように、テクスチャマップ４０に関するビューにおいてスカート３４のピクセルの位置を示し、それは、次々に、スカート３４の基礎をなしている織物の領域パラメータ化に対応し、または、織物表面のマップ投影をマップ平面に表す。例えば、テクスチャマップ投影は、太陽系座標によって定義されうる。図３において、ビュー３８のピクセル３６によって言及されるテクスチャマップ４０の領域４２は、ハッチングされることを示し、さらに、図３から集められうるように、前記領域４２が中断されまたは非連続的であること、さらに、例えば、スカート３４のビューに存在する折り目４６の低減により見えず、したがって、ビューのいかなるピクセルにも関連付けられない互いの間にギャップ４４を有することは可能である。データベースがマッピング３８を直接的に表す情報を含むことは可能である。しかしながら、テクスチャマップ・マッピング情報が間接的にマッピング３８を定義することも、すなわちオブジェクトの近似形状の以下に説明の３Ｄモデルの表面をテクスチャマップにマップすることによって、可能である。
【００３２】
すでに上述のように、データベース１６中のビューは、実際のショットから得られうる。例えば、スカート３４をはいた人は、さまざまな位置、方位および姿勢において撮影される。上述の輝度値が再構成されるピクセル値からの実際のショットを撮る１台のカメラに加えて、それぞれのショットにおいて人の現在の位置、方位および姿勢を再構成し、したがってそれぞれのショットの基礎をなしているシーン状態を決定することを可能にするのに役立つさらなるものが用いられうる。スカートのプロトタイプは、含むことができる。上述のデータ投影の再構成を簡略化するパターン、すなわち個々のピクセルを有するテクスチャマップ・ベクトルの関連を含む。一旦これが起こると、上述のように、個々のショットのピクセル値は、前に言及されたテクスチャ非依存の相似値が生じるように、テクスチャ修正されうる。
【００３３】
上述の情報に加えて、図３の実施形態によるビューごとにパラメータ化可能な３Ｄモデルもあり、前記パラメータ化可能な３Ｄモデルは、オブジェクトまたはスカート（３４）の近似形状を表す。図３において、例えば、そのような簡略化３Ｄモデルの投影の輪郭は、一点鎖線によってスカート３４のビューに取り込まれ、ここでこの３Ｄモデルは、例えば、円錐台の側面領域である。３Ｄモデルのパラメータ定義に関する情報は、モデルがポテンシャルパラメータ設定の下でできるだけスカート３４の形状に近づくように、定義されてもよい。前記情報は、それが情報の個々の部分に関連付けられるように、データベース１６中に明示的に格納されうり、または、それはそれぞれのビューが関連付けられるシーン状態から暗に生じることができる。明確な表示がパラメータ情報に関して基礎をなすシーン状態を補充する組み合わせを有することも可能である。しかしながら、３Ｄモデルをパラメータ化することに関する情報は、モデルが、一方ではポテンシャルパラメータ設定の下でスカート３４の形状にできるだけ近づくように、他方では対応するビューにおいてオブジェクトまたはそのシルエットを完全に含むために十分大きく選択されるように、定義さてもよい。３Ｄモデルのパラメータ設定に関する情報は、３Ｄモデルが、適合した方法で、または回転および翻訳によって、ビューまたはシーン状態の全てのために相互に転送可能であってもよく、すなわち、特にそれぞれのビューへのそれぞれのビューに関連付けられる位置においてモデルの投影がビューまたはシーン状態の全てのためにビューにおいてオブジェクトまたはそのシルエットを完全に含むような方法において、３Ｄモデルがシーン状態の全てに共通であるように、定義されてもよい。したがって、３Ｄモデルの形状は、共有するシーン状態の全てのためにデータベース１６中に格納されうる一方で、位置だけは、シーン状態のそれぞれのために特に個々に格納される。しかしながら、さまざまなビューのための３Ｄモデルが個々に形づくられることも可能である。例えば、３Ｄモデルは、グリッドモデルであってもよい。表面ノードまたは領域の数は、ビュー全体と同じでありうる。この場合、グリッドモデルがさまざまなビューのために異なることは可能でもあるが、３Ｄモデルのノードまたはユニット領域は、それらがシーン状態の定義範囲全体に連続的に変化するように選択される。例えば、初期設定段階の間、３Ｄモデルは、独立してではなく、正確にちょうど今言及された第２の状態の下で選択される。
【００３４】
図３の例示的な場合において、３Ｄモデルは、比較的に簡単であるが、スカートの折り目４６の低減が少なくとも部分的に再生されうるように、パラメータ化が設計されることも可能である。３Ｄモデルの目的は、以下の記載から集められうる。それもそこで述べられるように、さらに、３Ｄモデルは任意である。図３の実施形態の代わりの実施によれば、パラメータ化可能な３Ｄモデルは省略される。
【００３５】
オブジェクトの近似形状を表すパラメータ化可能な３Ｄモデル４８は、データベース１６のビューの全てによっても登録される。ステップ５２において、３Ｄモデル４８に関する関連した３Ｄ点は、ステップ３２において選択されるビューのピクセル３６に関連付けられる。一方では３Ｄモデル表面に関する点の関連および他方ではデータベース１６のそれぞれのビューのピクセルを介して、さまざまなビューを有する所属が、３Ｄモデルの点間に決定されうり、その所属は、データベース中のシーン状態を所望のシーン状態に適合する次のステップ５４において、ステップ３２において選択される、いくつかのビューの場合において連続的なフェードオーバーおよび融合のために利用されうる。特に、ステップ５４は、データベース１６からステップ３２において得られたビューを、パラメータ化可能なモデル４８を用いることによってスカート３４の所望のシーン状態に適合することを含む。これは、データベース１６中のビューからの３Ｄモデルが所望の姿勢、位置などに移行できるように、３Ｄモデルを回転し、変位し、スケーリングしまたは変形することによって達成されうる。より正確に言うと、ピクセル３６は、ステップ５２において、モデル４８の表面において幾何学点に最初に関連付けられる。関連仕様は、観測器を対向している表面点上へピクセル３６の投影を単に提供する。関連仕様は、ステップ５２においてオンラインで計算されてもよい。あるいは、関連仕様は、ステップ５２においてデータベースから読み出されるだけである。いくつかのビューの場合において、このように「テクスチャされる」３Ｄモデルは、回転、変位、スケーリングまたは変形によるステップ５４において、所望の姿勢、位置に転送され、さらに、そこで共有ビューにマージされ、転送およびマージのために、モデル表面において点を有する個々のビューからのピクセルの関連を利用することが可能である。結果として生じるビューは、所望のシーン状態に適合される。
【００３６】
３Ｄモデル４８がスカート３４の幾何学の大まかな近似だけを表すので、アニメーション、変形および表現は、低い効果で実現されうり、そのため、分析および合成に関するリアルタイム要求は、満たされうる。現実的な表現のために必要である詳細、例えば折り目の低減、マテリアル構造または詳細の豊富なシルエットは、データベース１６中にイメージによっておよび存在しうるいかなるセグメンテーション・マスクによっても表される。
【００３７】
図３の例示的な場合において、モデルは、人が運動するときに、織物のコース運動をシミュレートするために、変形パラメータに加えて動的な運動モデリングを含むこともできる。この場合も、微小変形は、ステップ３２において関連した姿勢パラメータから決定されたデータベース１６のビューによって表されうる。
【００３８】
したがって、ステップ５２の結果は、選択されたビューのシーン状態に適合されるスカート３４の近似の３Ｄモデル４８である。
【００３９】
ステップ５２は、特にそれぞれのビューにオブジェクトの投影に関連付けられる深さおよび幾何学情報が用いられるという点で、ステップ３２において選択されるビューがオブジェクトまたはスカート（３４）を表す下でシーン状態を、所定のシーン状態に適合することを可能にする。ステップ５４において、ビューがスカート３４を所定のシーン状態に表す下でシーン状態に適合するために、アダプタ１４がステップ３２のビューからスカート３４を並進的に相殺し、回転しまたは傾斜しまたは延長しまたは圧縮することは、３Ｄモデルによって可能である。ステップ５４の結果は、関連した輝度値またはテクスチャマップ位置を維持するとともに、最終的に、他の位置にステップ３２において決定される予備ビューの規則的に配列されたピクセル位置の横変位またはひずみである。
【００４０】
ステップ５２および５４が比較的小さい計算量を必要とすることは、この点でさらに強調されるべきである。３Ｄモデルの複雑さの程度が、上述のように、変動することができる場合であっても、所定のシーン状態に対する適合に関する計算出費は、最も複雑な計算がステップ３２において選択されるビューにおいてピクセル位置を変位するために抑止されるので、それにかかわりなく低いままである。反射状態および折り目４６の低減の形状は、シミュレートされる必要がなく計算される必要がない。それらは、データベースから引き継がれ続ける。軽微なシーン状態偏差だけが相殺されなければならないので、ユーザのための簡略化は、後に明白である。
【００４１】
ステップ３２において、２つ以上のビューがデータベースから得られうることはさらに留意されるべきである。この場合、ステップ５２および５４は、特に、例えば、適合されるビューの次の融合を有するビューのそれぞれのために実行される。同じことがステップ５６に当てはまり、それは後述される。
【００４２】
ステップ５６において、（リ）テクスチャリングは、テクスチャマップ・マッピング情報に基づいて、または、テクスチャマップ４２に対するモデル表面のテクスチャマッピングおよびビューの輝度値に基づいて実行される。図３の場合において、例えば、テクスチャまたはパターン５８は、所望のビューまたは表現においてスカート３４をテクスチャするために用いられる例によって示される。図１の装置において任意であるとして表されるテクスチャラー６２は、ステップ５６のために、ピクセル３６に関連付けられた例えばノードまたは三角形などの表面部位を、所望のテクスチャ５８が入れられるテクスチャマップ４２の位置に関連付けるために、データベース１６からテクスチャマップ・マッピング情報を用い、言及されるそれぞれのテクスチャマップ値は、それぞれの表面部位に関連付けられるピクセル３６の輝度値で重み付けられる。このように、所定のシーン状態の下でオブジェクトまたはスカート３４示す所望のビューが生じ、前記所望のビューは、図２において参照番号６４によって示される。別の表現で言うと、ピクセル３６を有するテクスチャマップ値の関連は、図３の現在記載されている実施形態において間接的に達成され、その理由は、ピクセルがすでにステップ５２において３Ｄモデルの表面点に関連付けられ、さらに、前記点が所望のシーン状態に適合を経由してステップ５４において変位されているからである。したがって、後の点は、それらに関連付けられるデータベース１６中のそれぞれのビューから輝度値も間接的に有し、さらに、それらも、それらに関連付けられるテクスチャマップ５８から、すなわちデータベース１６を用いることによって、それぞれのテクスチャマップ値も有し、それは、また、３Ｄモデルパラメータに加えて、それぞれのビューのためのマッピングを含み、そして、そのマッピングは、見ることができさらにオブジェクトの投影に重なるテクスチャマップ上に３Ｄモデルの表面の部分をマップする。
【００４３】
ステップ５４および５６が交換されうることは留意すべきである。ステップ５６は、ステップ５２の前に実行されてもよい。さらに、補間がステップ５４において生じたピクセル変位を規則的なピクセルアレイに再転送するために所望のビュー６４を得るために起こりうることは、以前に明示的に指摘されていない。さらに、パラメータ化可能な３Ｄモデルの代わりに、アプローチが、個々のピクセル３６のためにどの深さ情報値がデータベース１６中に含まれるかに基づいて、輪郭４８を用いることによって、適合されうることに留意すべきである。それらは、例えばランタイム測定プロセスなどによって、初期設定段階、例えばカメラ・キャプチャリング距離イメージにおいてほど早期に特定のカメラによって検出されうる。この場合、ステップ５２は、データベース１６から深さ情報値を読み取って、それらを個々のピクセルに関連付けるだけで、深さ情報値をピクセルに関連付けることに制限される。
【００４４】
このように、ステップ５６の結果は、所定のシーン状態の下でオブジェクトのビューである。上述のように、ステップ３２において決定されるいくつかのビューは、用いられうる。この場合、所望のビュー６４は、例えば、所望のテクスチャリングを含む関連したピクセル値からの距離のピクセル的な平均またはそれでの重み付けによって得られる。ステップ５６に追従するいくつかのビューから生じる点の不定期なクラウドに基づいて、ステップ５２〜５６を受けたいくつかのビューの場合において規則的なピクセル配列上に前に言及された補間を達成することは可能である。
【００４５】
図４に関して、図１の表現装置１０のアプリケーションは、例えば身に着けられうる例えばドレス１０２のような身体に着けられうるオブジェクトの仮想フィッティングのための装置１００との関連で以下に説明される。例えば、図４の装置１００は、例えばカメラなどのキャプチャリングデバイス１０４と、姿勢認識器１０６と、表現装置１０と、フューザー１０８とを含む。任意に、装置１００は、カメラ１０４が彼／彼女をキャプチャする遠近感からディスプレイ１１０上の彼自身／彼女自身をユーザー１１２が見る表示デバイス１１０を含むが、ディスプレイ１００に、ユーザ１１２は、重ね合わされたピクチャ、すなわち、所望のドレス１０２が人１１２上に重ね合わされるカメラ１０４のビューを示される。姿勢認識器１０６は、図４に示されるように、前に述べられる所定のシーン状態すなわち位置、アライメントおよび／またはユーザ１１２の姿勢を決定するためのカメラ１０４によって得られるショットを用いる。追加としてまたは二者択一的に、姿勢認識器１０６は、人１１２の身体測定を決定することができる。しかしながら、前記身体測定は、例えばキーボードのように、図４に示されない適切な入力装置を介して、人１１２によって入力されてもよい。さらに、姿勢認識器１０６がカメラ１０４によって撮られるカメラ・ショットを用いることさえなく所定のシーン状態または現在のシーン状態を認識することは可能である。例えば、姿勢認識器１０６は、３Ｄ測定システム例えばトライアンギュレーション・システム、ランタイムカメラまたは姿勢認識のためのその他を用いる。あるいは、姿勢認識器１０６は、カメラ１０４に加えて、複数のショットから、所定のまたは現在のシーン状態、すなわち位置、アライメントおよび／または人１１２の姿勢を決定するために、さまざまな方向からシーンおよび／または人１１２をキャプチャしまたは観察する１つ以上のさらなるカメラを用いることができる。
【００４６】
上述のように、表現装置１０は、その後、姿勢認識器１０６によって所定のシーン状態において所望の着用できるオブジェクト１０２の所望のビューおよび／または所望の表現を決定する。
【００４７】
次に、フューザー１０８は、合成されたイメージを形成するために着用できるオブジェクト１０２のビューで、カメラ・ピクチャ１０４を融合するように構成され、このように合成される前記画像は、図４に示されるように、ディスプレイ１１０に表示されうる。
【００４８】
図４の装置は、リアルタイムにおいて作動しおよび／またはフレームごとに融合されたフレームを生成するように構成されうる。そのために、姿勢認識器１０６、表現装置１１０およびフューザー１０８は、例えば、それぞれのフレームのためにまたは少しのフレームのために上述のステップまたはプロセスを実行するように構成されうり、後者の場合、フューザー１０８は、例えば、それぞれ、装置１０から表現を有する融合によって得られた、先行する合成されたフレームおよび後の合成されたフレームから割り込まれたフレームを補完することである。
【００４９】
図２および図３に関して、アプローチは、どのテクスチャマップ・マッピング情報がテクスチャマップ上へオブジェクト投影のマッピング３８を間接的に定義したかに従って、すなわち３Ｄモデル４８の表面部位をマップ４２にマップすることによって、上に述べられている。変形例は、マッピング３８がデータベース１６に明示的に格納されるということである。第１の方法ステップ３２において、所定のシーン状態に類似するシーン状態の下でオブジェクトを示すビューを、データベース１６において、検索する。前記ピクセル３６のそれぞれのために、輝度値があり、それは、テクスチャの非依存またはテクスチャレスの方法で、いわばスカート３４の単色の織物にために、視点に投影される光のための反射性を示す。さらに、テクスチャマップ４０に関するビューにおいてスカート３４のピクセルの位置を示すテクスチャマップ位置および／またはテクスチャマップ座標は、それぞれのピクセル３６に関連付けられる。マップ投影は、例えば、テクスチャ座標によって定義されうる。前に言及された情報に加えて、データベース１６においてビューごとに、オブジェクトまたはスカート３４の近似形状を表すパラメータ化可能な３Ｄモデルもある。適合ビューのために、上述の説明と異なって、ステップ５２は、モデル表面部位およびピクセル間の相互の関連を含まないかもしれないが、ステップ５２において、ステップ３２において選択されるビューのピクセル３６は、スカートまたはオブジェクト３４の近似形状のパラメータ化可能なモデル４８に基づいて、それらに関連付けられうり、深さ情報値は、例えばカメラ位置からそれぞれのピクセルのそれぞれのオブジェクト点間の距離の近似測定を示す。その関連は、以下の通りに発生しうる。アダプタ１４は、ステップ３２において選択されるビューに対応する前に言及された３Ｄモデルを計算することができ、さらに、距離値がピクセルに対応する位置で３Ｄモデル４８によって呈したスカート３４のそれぞれのピクセル３６に関連付ける。実際にスカートを表すが、３Ｄモデルの投影４８の外側に位置されうるスカート３４のポテンシャル・ピクセルのために、供給は、適切な方法で外側に挿入される３Ｄモデルの深さ情報値のために可能である。そのようなピクセルは、例えば、輪郭４８中でスカート３４で最も近いピクセルの深さ情報値を得る。あるいは、モデルは、それが完全にシルエットを囲むように選択されることができ、さらに、ピクセルに正確であるその輪郭は、セグメンテーション・マスクによって定義されうる。したがって、ステップ５２の結果は、スカート３４の深さイメージであり、前記深さイメージは、関連したシーン状態を有するスカート３４のオブジェクトを示す。前記深さ情報値に基づいて、アダプタ１４は、ビューがスカート３４を所定のシーン状態に表す下でシーン状態を適合するために、ステップ５４においてステップ３２のビューからスカート３４を並進的に相殺し、回転し、傾動しまたは延長しまたは圧縮する。ステップ５４の結果は、関連した輝度値またはテクスチャマップ・ベクトルを維持するとともに、最終的に、他の位置にステップ３２において決定される予備ビューの規則的に配列されたピクセル位置の横変位またはひずみである。反射状態および折り目４６の低減の形状は、シミュレートされる必要がなくて、この実施形態において計算される必要もない。ステップ５６は、ピクセル３６に関連付けられるテクスチャマップ位置および輝度値に基づいて（リ）テクスチャリングを含む。ステップ５６のために、テクスチャラー６２は、テクスチャ５８をピクセル３６に関連付けるためにテクスチャマップ位置を用い、そこにおいて、それぞれのテクスチャマップ・ベクトルが向けられるそれぞれのテクスチャマップ値は、ピクセル３６の輝度値で重み付けられる。このように、所定のシーン状態の下でオブジェクトまたはスカート３４を示す所望のビューがつくられる。
【００５０】
このように先に述べた実施形態は、複雑なおよび／または変形可能なオブジェクト例えば衣類などの表現を可能にする。この表現は、シーンを分析して合成するために用いられうる。高い表現品質を確実にする間にリアルタイムに処理することが可能である。これらの特性は、オフラインの前処理ステップに対する計算費用のシフトによって、および、テストオブジェクトの実際のビデオおよびピクチャの利用によって、使用可能である。それらの特性の全てに関して正確にオブジェクトをモデル化する代わりに、一実施形態は、例えば、カメラを用いてトレーニング段階の間、照明においてさまざまな表現的な運動、変形または変化を受けたオブジェクトをキャプチャすることを提供する。このビデオ・ベースのプロセスが一度だけ起こるので、高コストの捕捉システムおよび分析法は利用されうる。さらに、簡略化処理のために、適切なテストオブジェクトが設計されうり、そこにおいて、シェーディングのような情報およびテクスチャの方位における変化が直ちに抽出されうる。検索は、後ほどリテクスチャリング方法（５６を参照）によって、所望の外観に適合されうる。リアルタイムアプリケーションにおいて、新しいビューは、適切なおよび速いイメージ補間（５２および５４を参照）によって多数のテスト・ショットから作られうり、それは、テスト・ショットは、高レベルの自然らしさを有し、その理由は、それらが実際のショットから計算され、さらに、その結果、例えばさまざまなポーズに対して例えば折り目などの詳細において豊富である領域におけるシェーディングに関する情報の全ておよびテクスチャの方位における変化が含まれるからである。例えば衣類などの複雑な変形可能なオブジェクトは、大きな自由度を含み、イメージにおいて、検出することとポテンシャル運動および変形状態の全てを格納することとが可能でない。したがって、イメージ情報に加えて、一実施形態によれば、オブジェクトの粗い３Ｄ幾何学が、再構成され、さらに、例えば多角形ネットワークによって表される。このモデル（４８を参照）は、近似形状を表し、したがって、コンパクトな方法で記載されうり、急速に活気づけられ、さらに、新しいポーズおよびビューを差し込むために用いられうる。両方の前に言及された実施形態の概念は、近似モデル（４８を参照）をドミナント運動、変形または相互関係／変化のために利用することにあり、さらに、ピクチャ／ビデオベースの方法によって、例えばシェーディングおよびテクスチャの方位における変化などの詳細を加える。正確なシルエットは、わずかにより大きいモデル（４８を参照）上の透明的なテクスチャによって実現されうる。衣類を表すために、例えば、幾何学は、彼／彼女の腕および脚と同様に着用者の身体の形状を概略的に表すことができ、それの運動は、リアルタイムに、ポーズの推定のためのまたは人体トラッキング（１０６を参照）のためのアルゴリズムによって推定されうる。いかなる一定のポーズのためにも、ビューは、トレーニング段階（図４において１０を参照）から相似イメージから差し込まれうり、そこに格納されるポーズに関する小さい違いが、幾何学（５２および５４を参照）によって修正される。オフラインステップにおいて生成されるビデオ・ベースの表現が正しいシェーディング、新しいテクスチャ、パターンおよびアプリケーションに加えて表面に関して方位情報を含むこともでき、例えば実際のショットから、明示的にモデルでなけければならないことはなく、詳細を正しく適用することができる。
【００５１】
上述の実施形態の重要な利点は、相互関係の可能性と同様に高度な自然度およびリアリズムを有する拡張現実アプリケーションにおいて、複雑なオブジェクト、例えば衣類、ヘアスタイル、宝石または眼鏡のリアルタイム表現を実現する可能性にある。
【００５２】
さらに、さらなる利点は、最終用途のためのハードウェアが、例えばわずかのカメラしか必要とされない事実によって、簡略化されうることであり、その理由は、詳細情報がオフラインのステップにおいて一度限りに得られうり、したがって、費用がコンテンツ作製ステップにシフトされるからである。したがって、上述の実施形態は、大衆市場のための解決策として適切である。
【００５３】
上述の実施形態は、例えば、仮想フィッティングルームとして適用されるために用いられうり、そこにおいて、ユーザは、実質的に衣類を設計して試着する。さらに、上述の実施形態は、新しいヘアースタイルまたは眼鏡の高度な可視化のためにさらに宝石および腕時計を表すために使用されうる。
【００５４】
同時に、上述の実施形態は、自然の高品質の方法において仮想オブジェクトを表すとともに、リアルタイムにおいて処理されうる例えば衣類およびヘアースタイルなどのオブジェクトの表現を可能にする。
【００５５】
上述の説明は、ビューがテクスチャ非依存の方法においてデータベース１６に格納されると述べ、それによれば、同一の表面色、例えば白または他のいかなる自然色のためのショットを得るために、ピクチャが撮られるとともに、オブジェクトの色および／または輝度変更が、変更テクスチャのためそれぞれのビューにおいてすでに減算されている。これは、必ずしもそうであるというわけではない。むしろ、例えばピクセル溶解された方法において、それらに関連付けられるデテクスチャリング情報を有することが、データベース１６においてビューにとって可能であり、それは、ビューに適用されるときに、例えばピクセル的な乗算または減算によって、オブジェクト（３４）のテクチャされていない単色の表現を生じる。さらに、デテクスチャリングは、オンラインで実行されてもよい。
【００５６】
特に、状況に応じて、本発明のスキームがソフトウェアにおいて実施されうる点に留意すべきである。実施は、対応する方法が実行されるように、プログラム可能なコンピュータシステムと協動することができる、電子的に可読の制御信号を有するデジタル記憶媒体、特にディスクまたはＣＤにおいて実行することができる。そのため、本発明は、一般に、コンピュータプログラム製品がコンピュータ上で実行されるときに、本発明の方法を実行するための機械可読のキャリアに格納されたプログラムコードを有するコンピュータプログラム製品にある。したがって、換言すれば、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、その方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現されうる。
【特許請求の範囲】
【請求項１】
所定のシーン状態の下で複雑なおよび／または変形可能なオブジェクトを表すための装置であって、
前記所定のシーン状態によって、多数の異なるシーン状態のそれぞれのためにそれぞれのシーン状態の下でオブジェクトを示すオブジェクト（３４）のビューを示すデータベース（１６）において前記所定のシーン状態に類似するシーン状態の下でオブジェクト（３４）を示す第１のビューと前記それぞれのビューにおいてオブジェクト点間のマッピングおよび前記オブジェクトの所望の検索に対応する所定のテクスチャマップを特定する関連したテクスチャマップ・マッピング情報とを検索するための検索ユニット（１２）、
前記第１のビューを前記所定のシーン状態に適合するとともに第２のビューを作るためのアダプタ（１４）、および
前記第２のビューにおいて前記オブジェクト（３４）の前記検索が前記所定のテクスチャマップ（４０、５８）に対応するように、前記テクスチャマップ・マッピング情報に基づいて前記オブジェクト（３４）をテクスチャするように構成されるテクスチャラー（６２）を含む、装置。
【請求項２】
前記所定のシーン状態は、前記オブジェクト（３４）の位置、前記オブジェクト（３４）の姿勢、前記オブジェクト（３４）の変形および／または前記オブジェクトの測定のための所定の値を含み、さらに、前記データベース（１６）において前記オブジェクト（３４）の多数のビューは、前記オブジェクト（３４）の位置、前記オブジェクト（３４）の姿勢、前記オブジェクト（３４）の変形および／または前記オブジェクトの測定のための値を含む、請求項１に記載の装置。
【請求項３】
前記アダプタ（１４）は、前記第１のビューを前記所定のシーン状態に適合するために、前記第１のビューにおいて前記オブジェクト点に深度情報を関連付け、さらに、前記所定のシーン状態および前記第１のビューが前記オブジェクト（３４）を示す第２の状態間の偏差を補正するために前記深度情報を用いるように構成される、請求項２に記載の装置。
【請求項４】
前記アダプタ（１４）は、前記オブジェクトを表す前記第１のビューのピクセル（３６）を、前記データベース（１６）において前記第１のビューに関連付けられるパラメータ情報によって定義される前記オブジェクト（３４）の近似形状のパラメータ化可能な３Ｄモデルの表面部位に関連付け、さらに、前記所望のシーン状態に対応するために前記３Ｄモデルを変形して移動するように構成される、請求項２または請求項３に記載の装置。
【請求項５】
前記アダプタ（１４）は、前記オブジェクトの前記位置、前記オブジェクトの前記姿勢および／または前記オブジェクトの前記測定のための前記所定の値を用いるとともに前記パラメータ情報を決定するように構成される、請求項４に記載の装置。
【請求項６】
前記テクスチャマップ・マッピング情報は、前記情報が前記３Ｄモデルの表面および前記定義されたテクスチャマップ間にテクスチャマッピングを定義するという点で、前記オブジェクト点間の前記マッピングおよび前記所定のテクスチャマップを間接的に特定し、さらに、前記テクスチャラ（６２）は、前記テクスチャマッピングに基づいて、前記所定のテクスチャマップからテクスチャマップ値を前記３Ｄモデルの前記表面部位に関連付け、さらに、前記オブジェクト（３４）の前記所望の検索が前記第２のビューにもたらされるように、それを前記表面部位に関連付けられる前記第１のビューの前記ピクセルの輝度値で重み付けるように構成される、請求項４または請求項５に記載の装置。
【請求項７】
前記オブジェクトは、１枚の衣類であり、さらに、前記所定のシーン状態は、人の腕の姿勢、脚の姿勢、胴の姿勢および／または身体測定のための所定の値を含み、さらに、前記データベース（１６）において複数のビューは、人の腕の姿勢、脚の姿勢、胴の姿勢および／または身体測定のための異なる値を含む前記オブジェクトのビューを含む、前の請求項のいずれかに記載の装置。
【請求項８】
前記オブジェクトは、ヘアースタイルであり、さらに、前記所定のシーン状態は、人の頭の姿勢のための所定の値を含み、さらに、前記データベース（１６）において前記オブジェクト（３４）の前記多数のビューは、人の頭の姿勢の異なる値を含む前記オブジェクトのビューを含む、前の請求項のいずれかに記載の装置。
【請求項９】
前記データベース（１６）において前記オブジェクト（３４）の前記ビューは、テクスチャされていない単色方法において前記オブジェクト（３４）を示し、または、前記ビューに適用される場合、前記オブジェクト（３４）のテクスチャされていない単色表現を生じる関連したデテクスチャリング情報を含む、前の請求項のいずれかに記載の装置。
【請求項１０】
身体に着けられうるオブジェクトの仮想フィッティングのための装置であって、
人のデフォルト・ビューを作るためのキャプチャリングデバイス（１０４）、
前記デフォルト・ビューにおいて前記人の姿勢を認識するための姿勢認識装置（１０６）、
認識される前記姿勢によって、前記人の多数の異なる姿勢の中の前記身体に着けられうる前記オブジェクトを示す前記身体に着けられうる前記オブジェクトの多数のビューを含むデータベース（１６）において、認識される前記姿勢に類似する人の姿勢の下で前記身体に着けられうる前記オブジェクトを示す第１のビューを検索するための検索ユニット（１２）、
前記第１のビューを認識される前記姿勢に適合することによって第２のビューを作るためのアダプタ（１４）、および
それらの身体において、前記人が前記身体に着けられうる前記オブジェクトを着用する状態において前記人の合成されたビューを形成するために前記デフォルト・ビューおよび前記第２のビューを融合するためのフューザー（１０８）を含む、装置。
【請求項１１】
前記身体に着けられうる前記それぞれのオブジェクトの多数のビューは、人の異なる姿勢において前記身体に着けられうる前記それぞれのオブジェクトを示し、前記身体に着けられうる複数のオブジェクトのそれぞれのために前記データベース（１６）中に含まれ、
前記アダプタ（１４）は、前記身体に着けられうる前記それぞれのオブジェクトの近似形状のパラメータ化可能な３Ｄモデルの表面部位を、前記着用できるオブジェクトを表す前記第１のビューのピクセル（３６）に関連付けるように構成され、前記パラメータ化可能な３Ｄモデルが、前記身体に着けられうる前記それぞれのオブジェクトに関連付けられ、さらに、前記身体に着けられうる複数のオブジェクトの、前記身体に着けられうる、他のオブジェクトの他の３Ｄモデルとは異なり、さらに、前記アダプタ（１４）は、認識される前記姿勢に対応するために前記３Ｄモデルの前記パラメータを適合するように構成され、
前記身体に着けられうる前記それぞれのオブジェクトの前記３Ｄモデルの表面と、前記身体に着けられうる前記それぞれのオブジェクトの所望の検索に対応し、さらに、前記身体に着けられうる前記複数のオブジェクトの、前記身体に着けられうる、他のオブジェクトの他のテクスチャマップと異なる、前記身体に着けられうる前記それぞれのオブジェクトのそのようなテクスチャマップとの間の関連したテクスチャマッピングは、前記ビューに関して前記データベース（１６）中に含まれ、さらに
前記装置は、前記オブジェクト（３４）の前記所望の検索が前記第２のビューをもたらすように、前記テクスチャマップからテクスチャマップ値を前記テクスチャマッピングに基づいて前記３Ｄモデルの前記表面部位に関連付けるために、さらに、それを前記表面部位に関連付けられる前記第１のビューの前記ピクセルの輝度値で重み付けるために、テクスチャラー（６２）をさらに含む、請求項１０に記載の装置。
【請求項１２】
前記キャプチャリングデバイスは、ビデオカメラおよび前記姿勢認識装置（１０６）であり、前記検索ユニット（１２）、前記アダプタ（１４）および前記フューザー（１０８）は、リアルタイムに前記ビデオカメラの一連のショットを処理するように構成される、請求項１０または請求項１１に記載の装置。
【請求項１３】
前記一連のショットは、不完全であり、さらに、前記フューザー（１０８）は、補間によって前記一連のショットから割り込まれたショットを形成するように構成される、請求項１２に記載の装置。
【請求項１４】
所定のシーン状態の下で複雑なおよび／または変形可能なオブジェクトを表す方法であって、
前記所定のシーン状態によって、多数の異なるシーン状態のそれぞれのためにそれぞれのシーン状態の下でオブジェクトを示すオブジェクト（３４）のビューを示すデータベース（１６）において前記所定のシーン状態に類似するシーン状態の下でオブジェクト（３４）を示す第１のビューと前記それぞれのビューにおいてオブジェクト点間のマッピングおよび前記オブジェクトの所望の検索に対応する所定のテクスチャマップを特定する関連したテクスチャマップ・マッピング情報とを検索するステップ、
前記第１のビューを前記所定のシーン状態に適合するとともに第２のビューを作るステップ、および
前記第２のビューにおいて前記オブジェクト（３４）の前記検索が前記所定のテクスチャマップ（４０、５８）に対応するように、前記テクスチャマップ・マッピング情報に基づいて前記オブジェクトをテクスチャするステップを含む、方法。
【請求項１５】
前記身体に着けられうるオブジェクトの仮想フィッティングの方法であって、
人のデフォルト・ビューを作るステップ、
前記デフォルト・ビューにおいて前記人の姿勢を認識するステップ、
認識される前記姿勢によって、前記人の多数の異なる姿勢の中の前記身体に着けられうる前記オブジェクトを示す前記身体に着けられうる前記オブジェクトの多数のビューを含むデータベース（１６）において、認識される前記姿勢に類似する人の姿勢の下で前記身体に着けられうる前記オブジェクトを示す第１のビューを検索するステップ、
前記第１のビューを認識される前記姿勢に適合することによって第２のビューを作るステップ、および
それらの身体において、前記人が前記身体に着けられうる前記オブジェクトを着用する状態において前記人の合成されたビューを形成するために前記デフォルト・ビューおよび前記第２のビューを融合するステップを含む、方法。
【請求項１６】
コンピュータプログラムがコンピュータ上で実行されるときに、請求項１４または請求項１５に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【請求項１】
所定のシーン状態の下で複雑なおよび／または変形可能なオブジェクトを表すための装置であって、
前記所定のシーン状態によって、多数の異なるシーン状態のそれぞれのためにそれぞれのシーン状態の下でオブジェクトを示すオブジェクト（３４）のビューを示すデータベース（１６）において前記所定のシーン状態に類似するシーン状態の下でオブジェクト（３４）を示す第１のビューと前記それぞれのビューにおいてオブジェクト点間のマッピングおよび前記オブジェクトの所望の検索に対応する所定のテクスチャマップを特定する関連したテクスチャマップ・マッピング情報とを検索するための検索ユニット（１２）、
前記第１のビューを前記所定のシーン状態に適合するとともに第２のビューを作るためのアダプタ（１４）、および
前記第２のビューにおいて前記オブジェクト（３４）の前記検索が前記所定のテクスチャマップ（４０、５８）に対応するように、前記テクスチャマップ・マッピング情報に基づいて前記オブジェクト（３４）をテクスチャするように構成されるテクスチャラー（６２）を含む、装置。
【請求項２】
前記所定のシーン状態は、前記オブジェクト（３４）の位置、前記オブジェクト（３４）の姿勢、前記オブジェクト（３４）の変形および／または前記オブジェクトの測定のための所定の値を含み、さらに、前記データベース（１６）において前記オブジェクト（３４）の多数のビューは、前記オブジェクト（３４）の位置、前記オブジェクト（３４）の姿勢、前記オブジェクト（３４）の変形および／または前記オブジェクトの測定のための値を含む、請求項１に記載の装置。
【請求項３】
前記アダプタ（１４）は、前記第１のビューを前記所定のシーン状態に適合するために、前記第１のビューにおいて前記オブジェクト点に深度情報を関連付け、さらに、前記所定のシーン状態および前記第１のビューが前記オブジェクト（３４）を示す第２の状態間の偏差を補正するために前記深度情報を用いるように構成される、請求項２に記載の装置。
【請求項４】
前記アダプタ（１４）は、前記オブジェクトを表す前記第１のビューのピクセル（３６）を、前記データベース（１６）において前記第１のビューに関連付けられるパラメータ情報によって定義される前記オブジェクト（３４）の近似形状のパラメータ化可能な３Ｄモデルの表面部位に関連付け、さらに、前記所望のシーン状態に対応するために前記３Ｄモデルを変形して移動するように構成される、請求項２または請求項３に記載の装置。
【請求項５】
前記アダプタ（１４）は、前記オブジェクトの前記位置、前記オブジェクトの前記姿勢および／または前記オブジェクトの前記測定のための前記所定の値を用いるとともに前記パラメータ情報を決定するように構成される、請求項４に記載の装置。
【請求項６】
前記テクスチャマップ・マッピング情報は、前記情報が前記３Ｄモデルの表面および前記定義されたテクスチャマップ間にテクスチャマッピングを定義するという点で、前記オブジェクト点間の前記マッピングおよび前記所定のテクスチャマップを間接的に特定し、さらに、前記テクスチャラ（６２）は、前記テクスチャマッピングに基づいて、前記所定のテクスチャマップからテクスチャマップ値を前記３Ｄモデルの前記表面部位に関連付け、さらに、前記オブジェクト（３４）の前記所望の検索が前記第２のビューにもたらされるように、それを前記表面部位に関連付けられる前記第１のビューの前記ピクセルの輝度値で重み付けるように構成される、請求項４または請求項５に記載の装置。
【請求項７】
前記オブジェクトは、１枚の衣類であり、さらに、前記所定のシーン状態は、人の腕の姿勢、脚の姿勢、胴の姿勢および／または身体測定のための所定の値を含み、さらに、前記データベース（１６）において複数のビューは、人の腕の姿勢、脚の姿勢、胴の姿勢および／または身体測定のための異なる値を含む前記オブジェクトのビューを含む、前の請求項のいずれかに記載の装置。
【請求項８】
前記オブジェクトは、ヘアースタイルであり、さらに、前記所定のシーン状態は、人の頭の姿勢のための所定の値を含み、さらに、前記データベース（１６）において前記オブジェクト（３４）の前記多数のビューは、人の頭の姿勢の異なる値を含む前記オブジェクトのビューを含む、前の請求項のいずれかに記載の装置。
【請求項９】
前記データベース（１６）において前記オブジェクト（３４）の前記ビューは、テクスチャされていない単色方法において前記オブジェクト（３４）を示し、または、前記ビューに適用される場合、前記オブジェクト（３４）のテクスチャされていない単色表現を生じる関連したデテクスチャリング情報を含む、前の請求項のいずれかに記載の装置。
【請求項１０】
身体に着けられうるオブジェクトの仮想フィッティングのための装置であって、
人のデフォルト・ビューを作るためのキャプチャリングデバイス（１０４）、
前記デフォルト・ビューにおいて前記人の姿勢を認識するための姿勢認識装置（１０６）、
認識される前記姿勢によって、前記人の多数の異なる姿勢の中の前記身体に着けられうる前記オブジェクトを示す前記身体に着けられうる前記オブジェクトの多数のビューを含むデータベース（１６）において、認識される前記姿勢に類似する人の姿勢の下で前記身体に着けられうる前記オブジェクトを示す第１のビューを検索するための検索ユニット（１２）、
前記第１のビューを認識される前記姿勢に適合することによって第２のビューを作るためのアダプタ（１４）、および
それらの身体において、前記人が前記身体に着けられうる前記オブジェクトを着用する状態において前記人の合成されたビューを形成するために前記デフォルト・ビューおよび前記第２のビューを融合するためのフューザー（１０８）を含む、装置。
【請求項１１】
前記身体に着けられうる前記それぞれのオブジェクトの多数のビューは、人の異なる姿勢において前記身体に着けられうる前記それぞれのオブジェクトを示し、前記身体に着けられうる複数のオブジェクトのそれぞれのために前記データベース（１６）中に含まれ、
前記アダプタ（１４）は、前記身体に着けられうる前記それぞれのオブジェクトの近似形状のパラメータ化可能な３Ｄモデルの表面部位を、前記着用できるオブジェクトを表す前記第１のビューのピクセル（３６）に関連付けるように構成され、前記パラメータ化可能な３Ｄモデルが、前記身体に着けられうる前記それぞれのオブジェクトに関連付けられ、さらに、前記身体に着けられうる複数のオブジェクトの、前記身体に着けられうる、他のオブジェクトの他の３Ｄモデルとは異なり、さらに、前記アダプタ（１４）は、認識される前記姿勢に対応するために前記３Ｄモデルの前記パラメータを適合するように構成され、
前記身体に着けられうる前記それぞれのオブジェクトの前記３Ｄモデルの表面と、前記身体に着けられうる前記それぞれのオブジェクトの所望の検索に対応し、さらに、前記身体に着けられうる前記複数のオブジェクトの、前記身体に着けられうる、他のオブジェクトの他のテクスチャマップと異なる、前記身体に着けられうる前記それぞれのオブジェクトのそのようなテクスチャマップとの間の関連したテクスチャマッピングは、前記ビューに関して前記データベース（１６）中に含まれ、さらに
前記装置は、前記オブジェクト（３４）の前記所望の検索が前記第２のビューをもたらすように、前記テクスチャマップからテクスチャマップ値を前記テクスチャマッピングに基づいて前記３Ｄモデルの前記表面部位に関連付けるために、さらに、それを前記表面部位に関連付けられる前記第１のビューの前記ピクセルの輝度値で重み付けるために、テクスチャラー（６２）をさらに含む、請求項１０に記載の装置。
【請求項１２】
前記キャプチャリングデバイスは、ビデオカメラおよび前記姿勢認識装置（１０６）であり、前記検索ユニット（１２）、前記アダプタ（１４）および前記フューザー（１０８）は、リアルタイムに前記ビデオカメラの一連のショットを処理するように構成される、請求項１０または請求項１１に記載の装置。
【請求項１３】
前記一連のショットは、不完全であり、さらに、前記フューザー（１０８）は、補間によって前記一連のショットから割り込まれたショットを形成するように構成される、請求項１２に記載の装置。
【請求項１４】
所定のシーン状態の下で複雑なおよび／または変形可能なオブジェクトを表す方法であって、
前記所定のシーン状態によって、多数の異なるシーン状態のそれぞれのためにそれぞれのシーン状態の下でオブジェクトを示すオブジェクト（３４）のビューを示すデータベース（１６）において前記所定のシーン状態に類似するシーン状態の下でオブジェクト（３４）を示す第１のビューと前記それぞれのビューにおいてオブジェクト点間のマッピングおよび前記オブジェクトの所望の検索に対応する所定のテクスチャマップを特定する関連したテクスチャマップ・マッピング情報とを検索するステップ、
前記第１のビューを前記所定のシーン状態に適合するとともに第２のビューを作るステップ、および
前記第２のビューにおいて前記オブジェクト（３４）の前記検索が前記所定のテクスチャマップ（４０、５８）に対応するように、前記テクスチャマップ・マッピング情報に基づいて前記オブジェクトをテクスチャするステップを含む、方法。
【請求項１５】
前記身体に着けられうるオブジェクトの仮想フィッティングの方法であって、
人のデフォルト・ビューを作るステップ、
前記デフォルト・ビューにおいて前記人の姿勢を認識するステップ、
認識される前記姿勢によって、前記人の多数の異なる姿勢の中の前記身体に着けられうる前記オブジェクトを示す前記身体に着けられうる前記オブジェクトの多数のビューを含むデータベース（１６）において、認識される前記姿勢に類似する人の姿勢の下で前記身体に着けられうる前記オブジェクトを示す第１のビューを検索するステップ、
前記第１のビューを認識される前記姿勢に適合することによって第２のビューを作るステップ、および
それらの身体において、前記人が前記身体に着けられうる前記オブジェクトを着用する状態において前記人の合成されたビューを形成するために前記デフォルト・ビューおよび前記第２のビューを融合するステップを含む、方法。
【請求項１６】
コンピュータプログラムがコンピュータ上で実行されるときに、請求項１４または請求項１５に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１３−５０１２８４（Ｐ２０１３−５０１２８４Ａ）
【公表日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１２−５２３２７７（Ｐ２０１２−５２３２７７）
【出願日】平成２２年７月２３日（２０１０．７．２３）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６０７３４
【国際公開番号】ＷＯ２０１１／０１５４７０
【国際公開日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
【公表日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２２年７月２３日（２０１０．７．２３）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６０７３４
【国際公開番号】ＷＯ２０１１／０１５４７０
【国際公開日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
[ Back to top ]