イメージベースドビジュアルハルにおける凹状表面のモデリング
本明細書で開示される装置および方法は、オブジェクトの凹領域全体をキャプチャするためにカメラから取得された1組の参照画像および視点から取得された参照画像と、オブジェクトの凹領域のシルエット画像を取得するためのシルエット処理モジュールと、このシルエット処理モジュールに接続され、計算されたシルエット画像から凹領域の仮想逆転画像を合成し、凹領域を有するオブジェクトのビジュアルハルを生成するための仮想画像合成モジュールとを提供する。
【発明の詳細な説明】
【背景技術】
【0001】
イメージベースドレンダリング(IBR)は、1組の参照画像から新規な光景(scene)を生成する方法である。この参照画像はオブジェクトの実写像(actual picture)であり、色は、参照画像内のピクセルから計算されることができる。したがって、IBRは、フォトリアリズムを達成するための方法である。イメージベースドビジュアルハル(IBVH)は、オブジェクトの参照画像のグループから3次元(3D)モデルを再構成するために使用できるイメージベースドレンダリングの一種である。従来のIBVH技法は、像のグループを入力として受け取って対象オブジェクトの凸包を生成する3D再構成方法を必要とする。
【0002】
従来のIBVH技法では、参照画像中のオブジェクトのシルエットを使用して幾何情報を復元する。しかし、この従来の技法に関する問題は、シルエットからオブジェクトの表面の凹領域(すなわち、凹状オブジェクトと呼ばれる)の情報が明らかにできないことである。したがって、凹状オブジェクトを再構成することは難しい。特に、従来のIBVH技法では、突き出す不具合が生じ、続いてフォトリアリズムが低下することがある。突き出す不具合を有する再構成されたオブジェクトの一例が図2に示されている。突き出す不具合が発生する理由は、1つには凹領域が常にオブジェクトの残りの部分によって取り囲まれているからである。したがって、従来のIBVH技法は、参照画像を用いて凹状オブジェクトの幾何を得る上で問題を有する。
【発明の概要】
【0003】
方法およびコンピュータが実行可能なプログラムを記憶するコンピュータ可読媒体が、本開示において説明されている。この方法は、1つの凹領域または複数の凹領域を有するオブジェクトの複数の参照画像を取得すること、およびこの参照画像に基づいて凹領域(複数可)に対する仮想逆転画像(virtual inside−out image)を生成することを含む。
【0004】
あるいは、装置が本開示において説明されている。この装置は、凹領域を有するオブジェクトに対するカメラから取得された複数の参照画像およびこのオブジェクトの凹領域をキャプチャする視点から取得された参照画像を記憶するためのストレージと、各参照画像に対するシルエットを取得するためのシルエット処理モジュールと、凹領域の仮想逆転画像を取得し、オブジェクトのビジュアルハル(visual hull)を合成する仮想画像合成モジュールとを含む。
【0005】
あるいは、装置が本開示において説明されている。この装置は、カメラから取得されたオブジェクトの複数の参照画像およびこのオブジェクトの凹領域の境界全体をキャプチャした視点から取得された参照画像を記憶するためのストレージと、各参照画像および凹領域の境界に対するシルエットを取得するためのシルエット処理モジュールと、このシルエット処理モジュールに接続され、凹領域の仮想逆転画像を取得し、この仮想逆転画像に基づいて凹領域を有するオブジェクトに対するビジュアルハルを合成するための仮想画像合成モジュールとを含む。
【0006】
あるいは、方法が本開示において説明されている。この方法は、凹領域を有するオブジェクトの複数の参照画像を取得すること、この参照画像に基づいて凹領域に対する仮想逆転画像を生成すること、およびこの生成された仮想逆転画像を仮想参照画像として使用し、前記参照画像と共に、仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、ビジュアルハルを取得することを含む。
【0007】
上記は概要であり、したがって必然的に簡略化、一般化、および細部の省略を含む。したがって、この概要は例示的なものにすぎず、いかなる形であれ限定を意図するものではないことが当業者には理解されよう。本明細書において説明するデバイスおよび/または処理および/または他の主題の他の態様、特徴、および利点は、本明細書に記載する教示で明らかになろう。概要は、以下の「発明を実施するための形態」でさらに説明する一連の概念を簡略化された形で紹介するために提供するものである。この概要は、特許請求の範囲に記載された主題の重要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求の範囲に記載された主題の範囲を判断する際の補助として使用されることを意図するものでもない。
【図面の簡単な説明】
【0008】
【図1】例示的な一実施形態による方法に従って表示画像を再構成するように構成されたコンピューティングデバイスの構成の一例を示すブロック図である。
【図2】IBVHを使用した、凹状オブジェクトの突き出した形状の歪みを有するレンダリングの結果である。
【図3】図3aは、開示する方法による処理を行う前の画像である。図3bは、例示的な一実施形態による凹状オブジェクトモデリング方法を使用したレンダリングの結果である。
【図4】例示的な一実施形態による、図1のコンピューティングデバイスで実行されるモジュールを示すブロック図である。
【図5】例示的な一実施形態によりオブジェクトの凹領域に対するビジュアルシルエットコーンを生成する方法を示す流れ図である。
【図6】図5の3D座標を決定する方法の手順を示す流れ図である。
【図7】参照画像から取得されるビジュアルハルを示す概念図である。
【図8】例示的な一実施形態により凹領域の仮想逆転画像を取得するための仮想カメラの概念を示す図である。
【図9】3Dから2Dへの透視投影によって取得される凹領域の投影された逆転画像である。
【図10】図10aは、例示的な一実施形態による、真上から撮影されたオブジェクトの参照画像である。図10bは、例示的な一実施形態による、画像セグメンテーションを使用して得られる中間結果である。図10cは、例示的な一実施形態による、合成された仮想画像である。
【図11】凹領域の投影された逆転画像を参照画像として使用してビジュアルハルを決定する方法を示す流れ図である。
【図12】凹領域の投影された逆転画像を参照画像として使用して取得されたビジュアルハルを示す図である。
【発明を実施するための形態】
【0009】
以下の詳細な説明では、本発明の一部を形成する添付の図面を参照する。図面においては、文脈上特に指示しない限り、同じ符号は典型的には同じ構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記載する例示的な実施形態は限定を意図したものではない。本明細書で示す主題の趣旨または範囲から逸脱することなく、他の実施形態が利用可能であり、また他の変更を加えることができる。本明細書において一般的に説明され、かつ図に示される本開示の態様は、多種多様の異なる構成での配置、置き換え、組み合わせ、および設計が可能であり、これらはいずれも明示的に企図され、本開示の一部を構成することは容易に理解されよう。
【0010】
本開示は、特に、オブジェクトの画像の再構成に関連する方法、装置、コンピュータプログラム、およびシステムを対象とする。
【0011】
例えば図3aおよび図3bから分かるように、従来の処理方法のレンダリングの結果(図3a)と比較して、開示する凹状オブジェクトモデリングの手法では、対象凹状オブジェクトの形状およびテクスチャを正確に再構成し、高品質のフォトリアリスティックな結果(図3b)を生成する。
【0012】
本開示の例示的な一実施形態によれば、仮想カメラおよび画像は、凹状オブジェクトの幾何情報を特徴付けるビジュアルシルエットコーン(visual silhouette cone)を提供するために採用され、テクスチャ情報は、凹状オブジェクトの真上から撮影された画像によって与えられる。
【0013】
図1は、この方法に従って表示画像を再構成するように構成されたコンピューティングデバイスの構成の一例を示すブロック図である。
【0014】
図1は、前処理モジュール、仮想画像合成モジュール、および点再配置(point relocation)モジュールを実施するための例示的なコンピューティングデバイス100を示すブロック図である。基本構成101において、コンピューティングデバイス100は、典型的には、1つまたは複数のプロセッサ110と、システムメモリ120とを含む。プロセッサ110とシステムメモリ120の間での通信にメモリバス130を使用してもよい。
【0015】
プロセッサ110は、所望の構成に応じて、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタルシグナルプロセッサ(DSP)、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。プロセッサ110は、1次キャッシュ111および2次キャッシュ112などの1より多いレベルのキャッシングと、プロセッサコア113と、レジスタ114とを含んでもよい。プロセッサコア113は、算術論理演算装置(ALU)、浮動小数点演算装置(FPU)、デジタルシグナルプロセッサコア(DSPコア)、またはこれらの任意の組み合わせを含んでよい。メモリコントローラ115は、プロセッサ110と共に使用されてもよいし、またはいくつかの実装形態では、メモリコントローラ115は、プロセッサ110の内部部品であってもよい。
【0016】
システムメモリ120は、所望の構成に応じて、揮発性メモリ(RAMなど)、不揮発性メモリ(ROM、フラッシュメモリなど)、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。システムメモリ120は、典型的には、オペレーティングシステム121と、1つまたは複数のアプリケーション122と、プログラムデータ124とを含む。アプリケーション122は、オブジェクトを捕捉してレンダリングするように構成された凹状オブジェクトモデリング処理アプリケーション123を含む。以下でさらに説明するように、プログラムデータ124は、参照画像データ125を含む。いくつかの実施形態では、アプリケーション122は、オペレーティングシステム121上でプログラムデータ124を用いて演算を行うように構成されることができる。説明したこの基本構成は、図1において破線101の内部にあるこれらの構成要素によって示されている。
【0017】
コンピューティングデバイス100は、追加の特徴または機能と、基本構成101と任意の必要なデバイスおよびインターフェースとの間の通信を容易にするための追加のインターフェースとを有してもよい。例えば、ストレージインターフェースバス141を介した、基本構成101と1つまたは複数のデータストレージデバイス150との間の通信を容易にするために、バス/インターフェース制御装置140が使用されてもよい。データストレージデバイス150は、リムーバブルストレージデバイス151、ノンリムーバブルストレージデバイス152、またはこれらの組み合わせであってよい。リムーバブルストレージデバイスおよびノンリムーバブルストレージデバイスの例としていくつか挙げると、フレキシブルディスクドライブおよびハードディスクドライブ(HDD)などの磁気ディスクデバイス、コンパクトディスク(CD)ドライブまたはデジタル多用途ディスク(DVD)ドライブなどの光ディスクドライブ、ソリッドステートドライブ(SSD)、およびテープドライブがある。例示的なコンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術として実施される、揮発性および不揮発性の、リムーバブルおよびノンリムーバブルな媒体が含まれ得る。
【0018】
システムメモリ120、リムーバブルストレージ151、およびノンリムーバブルストレージ152はいずれもコンピュータ記憶媒体の例である。コンピュータ記憶媒体には、RAM、ROM、EEPROM、フラッシュメモリ、または他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、または所望の情報を記憶するために使用可能でかつコンピューティングデバイス100によりアクセス可能な他の任意の媒体があるが、これらに限定されない。このような任意のコンピュータ記憶媒体は、デバイス100の一部であってもよい。
【0019】
コンピューティングデバイス100は、バス/インターフェース制御装置140を介した、種々のインターフェースデバイス(例えば、出力インターフェース、周辺装置インターフェース、および通信インターフェース)から基本構成101への通信を容易にするためのインターフェースバス141も含んでよい。例示的な出力デバイス160は、グラフィックス処理ユニット161と、音声処理ユニット162とを含み、これらは、1つまたは複数のA/Vポート163を介してディスプレイまたはスピーカなどの種々の外部デバイスに通信するように構成されてもよい。例示的な周辺装置インターフェース170は、シリアルインターフェースコントローラ171またはパラレルインターフェースコントローラ172を含み、これらは、入力デバイス(例えば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど)または他の周辺機器(例えば、プリンタ、スキャナなど)などの外部デバイスと1つまたは複数のI/Oポート173を介して通信するように構成されてもよい。例示的な通信デバイス180は、ネットワークコントローラ181を含み、これは、1つまたは複数の通信ポート182を介したネットワーク通信による1つまたは複数の他のコンピューティングデバイス190との通信を容易にするように構成されてもよい。通信接続は通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の移送機構など、変調データ信号内の他のデータによって実施でき、任意の情報配信媒体を含む。「変調データ信号」は、信号内で情報を符号化するようにその特性のうちの1つまたは複数を設定または変更させた信号であってよい。限定ではなく、例として、通信媒体には、有線ネットワークまたは直接有線接続(direct−wired connection)などの有線媒体、ならびに音響、無線周波数(RF)、赤外線(IR)、および他の無線媒体などの無線媒体が含まれ得る。本明細書で使用するコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含むことができる。
【0020】
コンピューティングデバイス100は、携帯電話、携帯情報端末(PDA)、パーソナルメディアプレーヤーデバイス、ワイヤレスウェブウォッチデバイス、パーソナルヘッドセットデバイス、特定用途向けデバイス、または上記の機能のいずれかを含むハイブリッドデバイスなどの小型フォームファクタポータブル(またはモバイル)電子デバイスの一部分として実施されてもよい。コンピューティングデバイス100は、ラップトップコンピュータ構成とラップトップではないコンピュータ構成の両方を含むパーソナルコンピュータとして実施されてもよい。
【0021】
図4に示すように、凹状オブジェクトモデリング処理アプリケーション123は、シルエット処理モジュール402と仮想画像合成モジュール404という2つの部品を含んでよい。シルエット処理モジュール402は、オブジェクトの画像をキャプチャするかまたはこれにアクセスして、このオブジェクトのシルエットを抽出する。仮想画像合成モジュール404は、凹状オブジェクトの底辺に仮想カメラを設定し、シルエットを仮想カメラの画像領域にマッピングし、仮想画像を合成して、ビジュアルハルを形成する。
【0022】
凹状オブジェクトモデリング処理アプリケーション123は、shape−from−silhouette法による3D再構成(shape−from−silhouette 3D reconstruction)に基づくIBVH技法を必要とする。一般に、shape−from−silhouette法による3D再構成によって、シルエットコーンと呼ばれる幾何エンティティが作成される。shape−from−silhouette法による3D再構成では、原画像は、シルエット画像と呼ばれる前景/背景2値画像(foreground/background binary image)を生成するために、しきい値処理に供される。シルエットとして知られる前景マスクは、対応する3D前景オブジェクトの2D投影である。シルエットは、カメラのビューイングパラメータと共に、3Dオブジェクトを囲む逆投影された一般化円錐(back−projected generalized cone)を画定する。この一般化円錐がシルエットコーンである。
【0023】
イメージベースドビジュアルハル(IBVH)処理は、一般化円錐の共通部分(intersection)からビジュアルハルを生成する。一般に、IBVH処理は、写真のグループを入力として受け取り、対象オブジェクトの凸包を生成する。この凸包が、オブジェクトに対するビジュアルハルである。この処理では、各参照画像が前景と背景に分離される。前景マスクすなわちシルエットは、カメラのキャリブレーション情報と共に、3D空間において対象オブジェクトを含む逆投影された円錐を画定する。カメラのキャリブレーション情報は、焦点距離およびカメラの位置を含む。すべてのシルエットコーンの共通部分がオブジェクトの凸包を形成する。ビジュアルハルの例示的な図が図7に示されている。
【0024】
図5および図6は、オブジェクトに対するビジュアルハルから突き出した形状の歪みをなくす方法を示す。図7におけるビジュアルハルは、方法の手順で説明する要素を示す。図5に示すように、手順502では、凹領域を有するオブジェクトに対するビジュアルハル704は、一組の参照画像702のような写真のグループから取得される。参照画像702は、オブジェクトの外側の視点から撮影される。図5において、手順504では、ビジュアルハル上での凹領域境界の3D座標が計算される。図10aは、凹領域の真上から撮影された例示的な凹領域参照画像を示す。
【0025】
図6は、ビジュアルハル上での凹領域の境界の3D座標を決定する手順504を実行する手順を示す。
【0026】
図6において、手順602では、2D参照像706上の凹領域境界708が、手動による対話(manual interaction)または画像セグメンテーション法によって決定される。
【0027】
画像セグメンテーションの技法は、一般に、デジタル画像を複数のセグメント(複数組のピクセル、スーパーピクセルとしても知られる)に分割する処理を指す。画像セグメンテーションの目的は、画像の表示をより有意義で分析しやすいものに単純化および/または変更することである。特に、画像セグメンテーションでは、同じラベルを有するピクセルが特定の視覚的特性を共有するように、ラベルを画像のすべてのピクセルに割り当てることが必要である。画像セグメンテーションは、画像内のオブジェクトおよび境界(線、曲線など)の位置を特定するために使用される。手順602の場合、画像セグメンテーションは、凹領域の境界の位置を特定するために使用されることができる。
【0028】
画像セグメンテーションの結果が、画像全体を集団で包含する1組のセグメントまたは画像から抽出された1組の輪郭である。領域内のピクセルのそれぞれは、色、強度、またはテクスチャなどの何らかの特性または算定される性質に関して類似している。隣接する領域は、同じ特性(複数可)に関して著しく異なる。
【0029】
図10bは、画像セグメンテーションを使用して得られた中間結果の一例を示しており、凹領域の境界が識別される。
【0030】
図6において、手順604では、ビジュアルハル704上での凹領域境界710の3D座標が、手順602で決定された2D参照像706上の凹領域境界708を使用して、2D参照像上の位置を3D空間に逆に投影することによって決定される。2D参照像上の位置の3D空間への逆の投影を実行する手順がIBVH処理手順である。
【0031】
図5に示す方法を続けると、手順506では、凹領域内部の仮想カメラの位置が選択される。凹領域の内部から外部に向けてのオブジェクトの観察に相当する仮想カメラの位置が選択される。例えば図8に示す一実施形態では、仮想カメラが凹領域の底辺の中央にある位置が選択可能である。あるいは、凹領域の底辺の端にある位置などの他の位置も選択可能である。選択された位置を利用して、完全な凹領域境界を含むようにそのような位置における仮想逆転画像を生成することが可能である。その後、複数の仮想逆転画像が完全な凹領域境界を全体として包含する限り、いくつかの位置が選択可能である。
【0032】
手順508では、この選択された位置に基づいて、仮想カメラのカメラパラメータが決定される。
【0033】
仮想カメラの中心が設定されると、カメラの外部パラメータの変換ベクトルが決定される。外部パラメータの回転行列に関しては、仮想カメラの向きが上向きかつオブジェクトの底面に垂直を保つように、α=0、β=90、γ=0のように通常3つの回転角度が設定され、これにより凹状オブジェクトの真下にある底辺からのキャプチャリングのシミュレーションが可能になる。内部パラメータに関しては、焦点距離fのみが修正の必要があり、他の要因は、参照画像を撮像する実際のカメラの対応する要因と一致した状態を保つ。通常、仮想カメラの焦点距離は、凹状オブジェクトの奥行きに比例して決まる。仮想画像の焦点距離fの値は、凹領域境界の領域全体が、仮想カメラにより撮像される仮想画像の内部にあるように、参照画像を撮像するカメラの既知のパラメータに基づいて設定されてよい。
【0034】
カメラパラメータは、これらのカメラパラメータに基づいて仮想カメラによって撮影された複数の仮想逆転画像が完全な凹領域境界を全体として包含するように選択される。
【0035】
手順510では、凹領域のシルエットおよびテクスチャの画像が、例えば凹領域の外部かつ真上から、凹領域参照画像としてキャプチャされ、これには、完全な凹領域境界が含まれる。あるいは、完全な凹領域境界がいくつかの画像によって全体として包含され得る限り、いくつかの画像が撮影されることができる。
【0036】
手順512では、仮想逆転画像が、手順504で生成された凹領域境界の3D座標、手順508で生成されたカメラパラメータ、および手順510で取得された凹領域参照画像に基づいて、従来の3Dから2Dへの斜視投影技法を使用して生成される。
【0037】
3Dから2Dへの斜視投影を行う手順512は、図9に示されている。手順512における3Dから2Dへの斜視投影は、2D平面にある凹領域参照画像902が3D空間904に投影される方法である。3D空間に含まれる凹領域境界906は、2D平面にある仮想逆転画像908に投影される。
【0038】
1つまたはいくつかの仮想逆転画像(仮想カメラ位置が異なる)は、このような1つまたはいくつかの仮想逆転画像が完全な凹領域境界を包含できる限り、生成されることができる。
【0039】
図10cは、仮想カメラによって撮影された仮想逆転画像の一例を示す。
【0040】
3Dから2Dへの斜視投影の処理は、イメージベースドビジュアルハル(IBVH)処理を使用して生成されたビジュアルハルを使用して実行されることができる。
【0041】
そのうえ、凹状オブジェクトの修正されたビジュアルハルは、1つまたはいくつかの仮想逆転画像と共に、元の参照画像を追加の参照画像として使用して生成されることができる。1つまたはいくつかの仮想逆転画像は参照画像(複数可)として使用され、仮想逆転画像の共通部分間のセグメントは、(論理差のブーリアン演算により)ビューレイ(view ray)から取り去られる。また、いくつかの仮想逆転画像が参照画像として使用される場合、それらのセグメントは全体として取り去られる。
【0042】
具体的には、凹状オブジェクトに対する修正されたビジュアルハルを生成するにあたり、仮想カメラに基づいて生成された仮想逆転画像からマップされたセグメントに対して論理差のブーリアン演算が行われ、他の参照像からマップされたセグメントに対して論理積のブーリアン演算が行われる。
【0043】
凹領域に対する修正されたビジュアルハルを計算する手順を示す一例が図12に示されており、図11に示される以下の手順を必要とする。
【0044】
図11において、手順1102では、新規なカメラ(「新規な」カメラとは、図12のすべての他の参照画像1204のビューイング方向とは異なる新規なビューからオブジェクトを撮像している実際のカメラを意味する)によって撮像された新規なビュー画像(図12の1202)のピクセルに対して、新規なカメラの中心から放射されかつ新規なビュー画像のピクセルを通過するビューレイが計算される。参照画像1204上のこのビューレイの投影すなわち投影されたビューレイは、新規なカメラの位置情報を使用することによって決定されることができる。
【0045】
同様に、投影されたビューレイは、仮想参照画像のような仮想逆転画像1208に対しても決定される。
【0046】
図11において、手順1104では、投影されたビューレイが参照画像1204上で2Dシルエットと交差する点が参照画像上の1組の2D間隔となる。
【0047】
図11において、手順1106では、参照画像上の2D間隔が、ビューレイ上の対応する3Dセグメントが取得されるように、3D空間1206に逆に投影される。
【0048】
図11において、手順1108では、参照画像1204のすべてからのすべての投影された3Dラインセグメント上への1Dブーリアン論理積演算が行われ、その結果、すなわちすべての参照画像1204からのすべての3Dセグメントの共通部分は、新規なビュー画像のピクセルに対するビジュアルハル境界を示す。
【0049】
図11において、手順1110では、1つまたは複数の仮想逆転画像1208上の2D間隔が3D空間1206に逆に投影され、ビューレイ上の対応するセグメント(複数可)を取得する。次に、仮想逆転画像およびビューレイからマップされたセグメントに対して論理差のブーリアン演算が実行され、凹領域を有するオブジェクトに対するビジュアルハルを取得する。
【0050】
本明細書で開示される方法、コンピュータ可読記憶媒体、および装置によれば、オブジェクトの1つの凹領域または複数の凹領域の仮想逆転画像が生成されることができる。この仮想逆転画像によって、従来のイメージベースドビジュアルハル技法を使用して取得できないオブジェクトの図が可能になる。さらに、仮想逆転画像は、凹領域を有するオブジェクトの改良されたビジュアルハルを生成する際に使用でき、このビジュアルハルは、オブジェクトの幾何を正確に描出する。さらに、改良されたビジュアルハルは、突き出す不具合のないオブジェクトのフォトリアリスティックな画像を取得するために使用されることができる。
【0051】
前述の詳細な説明では、ブロック図、フローチャート、および/または例の使用によって、装置および/またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および/または例が1つまたは複数の機能および/または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および/または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび/または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、1つまたは複数のコンピュータ上で動作する1つまたは複数のコンピュータプログラムとして(例えば、1つまたは複数のコンピュータシステム上で動作する1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ上で動作する1つまたは複数のプログラムとして(例えば、1つまたは複数のマイクロプロセッサ上で動作する1つまたは複数のプログラムとして)、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および/またはアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)の通信タイプの媒体が含まれるが、それらには限定されない。
【0052】
本明細書で説明したやり方で装置および/またはプロセスを記載し、その後そのように記載された装置および/またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および/またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの1つもしくは複数、タッチパッドもしくはスクリーンなどの1つもしくは複数の相互作用装置、ならびに/またはフィードバックループおよびコントロールモータを含むコントロールシステム(例えば、位置検知用および/もしくは速度検知用フィードバック、コンポーネントの移動用および/もしくは数量の調整用コントロールモータ)を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング/通信システムおよび/またはネットワークコンピューティング/通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
【0053】
本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の2つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および/もしくは物理的に相互作用するコンポーネント、ならびに/またはワイヤレスに相互作用可能な、および/もしくはワイヤレスに相互作用するコンポーネント、ならびに/または論理的に相互作用する、および/もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
【0054】
本明細書における実質的にすべての複数形および/または単数形の用語の使用に対して、当業者は、状況および/または用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。さまざまな単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【0055】
通常、本明細書において、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本体部)において使用される用語は、全体を通じて「オープンな(open)」用語として意図されていることが、当業者には理解されよう(例えば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は、「含むがそれに限定されない(includes but is not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む発明に限定する、ということを示唆していると解釈されるべきではない(例えば、「a」および/または「an」は、通常、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、通常、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(例えば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、通常、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。「A、B、またはC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、またはCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「AまたはB」は、「A」または「B」あるいは「AおよびB」の可能性を含むことが理解されよう。
【0056】
本明細書において種々の態様および実施形態を開示してきたが、他の態様および実施形態は当業者に明らかであろう。本明細書で開示される種々の態様および実施形態は例示を目的としており、限定を意図するものではない。真の範囲および趣旨は、以下の特許請求の範囲によって示される。
【背景技術】
【0001】
イメージベースドレンダリング(IBR)は、1組の参照画像から新規な光景(scene)を生成する方法である。この参照画像はオブジェクトの実写像(actual picture)であり、色は、参照画像内のピクセルから計算されることができる。したがって、IBRは、フォトリアリズムを達成するための方法である。イメージベースドビジュアルハル(IBVH)は、オブジェクトの参照画像のグループから3次元(3D)モデルを再構成するために使用できるイメージベースドレンダリングの一種である。従来のIBVH技法は、像のグループを入力として受け取って対象オブジェクトの凸包を生成する3D再構成方法を必要とする。
【0002】
従来のIBVH技法では、参照画像中のオブジェクトのシルエットを使用して幾何情報を復元する。しかし、この従来の技法に関する問題は、シルエットからオブジェクトの表面の凹領域(すなわち、凹状オブジェクトと呼ばれる)の情報が明らかにできないことである。したがって、凹状オブジェクトを再構成することは難しい。特に、従来のIBVH技法では、突き出す不具合が生じ、続いてフォトリアリズムが低下することがある。突き出す不具合を有する再構成されたオブジェクトの一例が図2に示されている。突き出す不具合が発生する理由は、1つには凹領域が常にオブジェクトの残りの部分によって取り囲まれているからである。したがって、従来のIBVH技法は、参照画像を用いて凹状オブジェクトの幾何を得る上で問題を有する。
【発明の概要】
【0003】
方法およびコンピュータが実行可能なプログラムを記憶するコンピュータ可読媒体が、本開示において説明されている。この方法は、1つの凹領域または複数の凹領域を有するオブジェクトの複数の参照画像を取得すること、およびこの参照画像に基づいて凹領域(複数可)に対する仮想逆転画像(virtual inside−out image)を生成することを含む。
【0004】
あるいは、装置が本開示において説明されている。この装置は、凹領域を有するオブジェクトに対するカメラから取得された複数の参照画像およびこのオブジェクトの凹領域をキャプチャする視点から取得された参照画像を記憶するためのストレージと、各参照画像に対するシルエットを取得するためのシルエット処理モジュールと、凹領域の仮想逆転画像を取得し、オブジェクトのビジュアルハル(visual hull)を合成する仮想画像合成モジュールとを含む。
【0005】
あるいは、装置が本開示において説明されている。この装置は、カメラから取得されたオブジェクトの複数の参照画像およびこのオブジェクトの凹領域の境界全体をキャプチャした視点から取得された参照画像を記憶するためのストレージと、各参照画像および凹領域の境界に対するシルエットを取得するためのシルエット処理モジュールと、このシルエット処理モジュールに接続され、凹領域の仮想逆転画像を取得し、この仮想逆転画像に基づいて凹領域を有するオブジェクトに対するビジュアルハルを合成するための仮想画像合成モジュールとを含む。
【0006】
あるいは、方法が本開示において説明されている。この方法は、凹領域を有するオブジェクトの複数の参照画像を取得すること、この参照画像に基づいて凹領域に対する仮想逆転画像を生成すること、およびこの生成された仮想逆転画像を仮想参照画像として使用し、前記参照画像と共に、仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、ビジュアルハルを取得することを含む。
【0007】
上記は概要であり、したがって必然的に簡略化、一般化、および細部の省略を含む。したがって、この概要は例示的なものにすぎず、いかなる形であれ限定を意図するものではないことが当業者には理解されよう。本明細書において説明するデバイスおよび/または処理および/または他の主題の他の態様、特徴、および利点は、本明細書に記載する教示で明らかになろう。概要は、以下の「発明を実施するための形態」でさらに説明する一連の概念を簡略化された形で紹介するために提供するものである。この概要は、特許請求の範囲に記載された主題の重要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求の範囲に記載された主題の範囲を判断する際の補助として使用されることを意図するものでもない。
【図面の簡単な説明】
【0008】
【図1】例示的な一実施形態による方法に従って表示画像を再構成するように構成されたコンピューティングデバイスの構成の一例を示すブロック図である。
【図2】IBVHを使用した、凹状オブジェクトの突き出した形状の歪みを有するレンダリングの結果である。
【図3】図3aは、開示する方法による処理を行う前の画像である。図3bは、例示的な一実施形態による凹状オブジェクトモデリング方法を使用したレンダリングの結果である。
【図4】例示的な一実施形態による、図1のコンピューティングデバイスで実行されるモジュールを示すブロック図である。
【図5】例示的な一実施形態によりオブジェクトの凹領域に対するビジュアルシルエットコーンを生成する方法を示す流れ図である。
【図6】図5の3D座標を決定する方法の手順を示す流れ図である。
【図7】参照画像から取得されるビジュアルハルを示す概念図である。
【図8】例示的な一実施形態により凹領域の仮想逆転画像を取得するための仮想カメラの概念を示す図である。
【図9】3Dから2Dへの透視投影によって取得される凹領域の投影された逆転画像である。
【図10】図10aは、例示的な一実施形態による、真上から撮影されたオブジェクトの参照画像である。図10bは、例示的な一実施形態による、画像セグメンテーションを使用して得られる中間結果である。図10cは、例示的な一実施形態による、合成された仮想画像である。
【図11】凹領域の投影された逆転画像を参照画像として使用してビジュアルハルを決定する方法を示す流れ図である。
【図12】凹領域の投影された逆転画像を参照画像として使用して取得されたビジュアルハルを示す図である。
【発明を実施するための形態】
【0009】
以下の詳細な説明では、本発明の一部を形成する添付の図面を参照する。図面においては、文脈上特に指示しない限り、同じ符号は典型的には同じ構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記載する例示的な実施形態は限定を意図したものではない。本明細書で示す主題の趣旨または範囲から逸脱することなく、他の実施形態が利用可能であり、また他の変更を加えることができる。本明細書において一般的に説明され、かつ図に示される本開示の態様は、多種多様の異なる構成での配置、置き換え、組み合わせ、および設計が可能であり、これらはいずれも明示的に企図され、本開示の一部を構成することは容易に理解されよう。
【0010】
本開示は、特に、オブジェクトの画像の再構成に関連する方法、装置、コンピュータプログラム、およびシステムを対象とする。
【0011】
例えば図3aおよび図3bから分かるように、従来の処理方法のレンダリングの結果(図3a)と比較して、開示する凹状オブジェクトモデリングの手法では、対象凹状オブジェクトの形状およびテクスチャを正確に再構成し、高品質のフォトリアリスティックな結果(図3b)を生成する。
【0012】
本開示の例示的な一実施形態によれば、仮想カメラおよび画像は、凹状オブジェクトの幾何情報を特徴付けるビジュアルシルエットコーン(visual silhouette cone)を提供するために採用され、テクスチャ情報は、凹状オブジェクトの真上から撮影された画像によって与えられる。
【0013】
図1は、この方法に従って表示画像を再構成するように構成されたコンピューティングデバイスの構成の一例を示すブロック図である。
【0014】
図1は、前処理モジュール、仮想画像合成モジュール、および点再配置(point relocation)モジュールを実施するための例示的なコンピューティングデバイス100を示すブロック図である。基本構成101において、コンピューティングデバイス100は、典型的には、1つまたは複数のプロセッサ110と、システムメモリ120とを含む。プロセッサ110とシステムメモリ120の間での通信にメモリバス130を使用してもよい。
【0015】
プロセッサ110は、所望の構成に応じて、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタルシグナルプロセッサ(DSP)、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。プロセッサ110は、1次キャッシュ111および2次キャッシュ112などの1より多いレベルのキャッシングと、プロセッサコア113と、レジスタ114とを含んでもよい。プロセッサコア113は、算術論理演算装置(ALU)、浮動小数点演算装置(FPU)、デジタルシグナルプロセッサコア(DSPコア)、またはこれらの任意の組み合わせを含んでよい。メモリコントローラ115は、プロセッサ110と共に使用されてもよいし、またはいくつかの実装形態では、メモリコントローラ115は、プロセッサ110の内部部品であってもよい。
【0016】
システムメモリ120は、所望の構成に応じて、揮発性メモリ(RAMなど)、不揮発性メモリ(ROM、フラッシュメモリなど)、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。システムメモリ120は、典型的には、オペレーティングシステム121と、1つまたは複数のアプリケーション122と、プログラムデータ124とを含む。アプリケーション122は、オブジェクトを捕捉してレンダリングするように構成された凹状オブジェクトモデリング処理アプリケーション123を含む。以下でさらに説明するように、プログラムデータ124は、参照画像データ125を含む。いくつかの実施形態では、アプリケーション122は、オペレーティングシステム121上でプログラムデータ124を用いて演算を行うように構成されることができる。説明したこの基本構成は、図1において破線101の内部にあるこれらの構成要素によって示されている。
【0017】
コンピューティングデバイス100は、追加の特徴または機能と、基本構成101と任意の必要なデバイスおよびインターフェースとの間の通信を容易にするための追加のインターフェースとを有してもよい。例えば、ストレージインターフェースバス141を介した、基本構成101と1つまたは複数のデータストレージデバイス150との間の通信を容易にするために、バス/インターフェース制御装置140が使用されてもよい。データストレージデバイス150は、リムーバブルストレージデバイス151、ノンリムーバブルストレージデバイス152、またはこれらの組み合わせであってよい。リムーバブルストレージデバイスおよびノンリムーバブルストレージデバイスの例としていくつか挙げると、フレキシブルディスクドライブおよびハードディスクドライブ(HDD)などの磁気ディスクデバイス、コンパクトディスク(CD)ドライブまたはデジタル多用途ディスク(DVD)ドライブなどの光ディスクドライブ、ソリッドステートドライブ(SSD)、およびテープドライブがある。例示的なコンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術として実施される、揮発性および不揮発性の、リムーバブルおよびノンリムーバブルな媒体が含まれ得る。
【0018】
システムメモリ120、リムーバブルストレージ151、およびノンリムーバブルストレージ152はいずれもコンピュータ記憶媒体の例である。コンピュータ記憶媒体には、RAM、ROM、EEPROM、フラッシュメモリ、または他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、または所望の情報を記憶するために使用可能でかつコンピューティングデバイス100によりアクセス可能な他の任意の媒体があるが、これらに限定されない。このような任意のコンピュータ記憶媒体は、デバイス100の一部であってもよい。
【0019】
コンピューティングデバイス100は、バス/インターフェース制御装置140を介した、種々のインターフェースデバイス(例えば、出力インターフェース、周辺装置インターフェース、および通信インターフェース)から基本構成101への通信を容易にするためのインターフェースバス141も含んでよい。例示的な出力デバイス160は、グラフィックス処理ユニット161と、音声処理ユニット162とを含み、これらは、1つまたは複数のA/Vポート163を介してディスプレイまたはスピーカなどの種々の外部デバイスに通信するように構成されてもよい。例示的な周辺装置インターフェース170は、シリアルインターフェースコントローラ171またはパラレルインターフェースコントローラ172を含み、これらは、入力デバイス(例えば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど)または他の周辺機器(例えば、プリンタ、スキャナなど)などの外部デバイスと1つまたは複数のI/Oポート173を介して通信するように構成されてもよい。例示的な通信デバイス180は、ネットワークコントローラ181を含み、これは、1つまたは複数の通信ポート182を介したネットワーク通信による1つまたは複数の他のコンピューティングデバイス190との通信を容易にするように構成されてもよい。通信接続は通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の移送機構など、変調データ信号内の他のデータによって実施でき、任意の情報配信媒体を含む。「変調データ信号」は、信号内で情報を符号化するようにその特性のうちの1つまたは複数を設定または変更させた信号であってよい。限定ではなく、例として、通信媒体には、有線ネットワークまたは直接有線接続(direct−wired connection)などの有線媒体、ならびに音響、無線周波数(RF)、赤外線(IR)、および他の無線媒体などの無線媒体が含まれ得る。本明細書で使用するコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含むことができる。
【0020】
コンピューティングデバイス100は、携帯電話、携帯情報端末(PDA)、パーソナルメディアプレーヤーデバイス、ワイヤレスウェブウォッチデバイス、パーソナルヘッドセットデバイス、特定用途向けデバイス、または上記の機能のいずれかを含むハイブリッドデバイスなどの小型フォームファクタポータブル(またはモバイル)電子デバイスの一部分として実施されてもよい。コンピューティングデバイス100は、ラップトップコンピュータ構成とラップトップではないコンピュータ構成の両方を含むパーソナルコンピュータとして実施されてもよい。
【0021】
図4に示すように、凹状オブジェクトモデリング処理アプリケーション123は、シルエット処理モジュール402と仮想画像合成モジュール404という2つの部品を含んでよい。シルエット処理モジュール402は、オブジェクトの画像をキャプチャするかまたはこれにアクセスして、このオブジェクトのシルエットを抽出する。仮想画像合成モジュール404は、凹状オブジェクトの底辺に仮想カメラを設定し、シルエットを仮想カメラの画像領域にマッピングし、仮想画像を合成して、ビジュアルハルを形成する。
【0022】
凹状オブジェクトモデリング処理アプリケーション123は、shape−from−silhouette法による3D再構成(shape−from−silhouette 3D reconstruction)に基づくIBVH技法を必要とする。一般に、shape−from−silhouette法による3D再構成によって、シルエットコーンと呼ばれる幾何エンティティが作成される。shape−from−silhouette法による3D再構成では、原画像は、シルエット画像と呼ばれる前景/背景2値画像(foreground/background binary image)を生成するために、しきい値処理に供される。シルエットとして知られる前景マスクは、対応する3D前景オブジェクトの2D投影である。シルエットは、カメラのビューイングパラメータと共に、3Dオブジェクトを囲む逆投影された一般化円錐(back−projected generalized cone)を画定する。この一般化円錐がシルエットコーンである。
【0023】
イメージベースドビジュアルハル(IBVH)処理は、一般化円錐の共通部分(intersection)からビジュアルハルを生成する。一般に、IBVH処理は、写真のグループを入力として受け取り、対象オブジェクトの凸包を生成する。この凸包が、オブジェクトに対するビジュアルハルである。この処理では、各参照画像が前景と背景に分離される。前景マスクすなわちシルエットは、カメラのキャリブレーション情報と共に、3D空間において対象オブジェクトを含む逆投影された円錐を画定する。カメラのキャリブレーション情報は、焦点距離およびカメラの位置を含む。すべてのシルエットコーンの共通部分がオブジェクトの凸包を形成する。ビジュアルハルの例示的な図が図7に示されている。
【0024】
図5および図6は、オブジェクトに対するビジュアルハルから突き出した形状の歪みをなくす方法を示す。図7におけるビジュアルハルは、方法の手順で説明する要素を示す。図5に示すように、手順502では、凹領域を有するオブジェクトに対するビジュアルハル704は、一組の参照画像702のような写真のグループから取得される。参照画像702は、オブジェクトの外側の視点から撮影される。図5において、手順504では、ビジュアルハル上での凹領域境界の3D座標が計算される。図10aは、凹領域の真上から撮影された例示的な凹領域参照画像を示す。
【0025】
図6は、ビジュアルハル上での凹領域の境界の3D座標を決定する手順504を実行する手順を示す。
【0026】
図6において、手順602では、2D参照像706上の凹領域境界708が、手動による対話(manual interaction)または画像セグメンテーション法によって決定される。
【0027】
画像セグメンテーションの技法は、一般に、デジタル画像を複数のセグメント(複数組のピクセル、スーパーピクセルとしても知られる)に分割する処理を指す。画像セグメンテーションの目的は、画像の表示をより有意義で分析しやすいものに単純化および/または変更することである。特に、画像セグメンテーションでは、同じラベルを有するピクセルが特定の視覚的特性を共有するように、ラベルを画像のすべてのピクセルに割り当てることが必要である。画像セグメンテーションは、画像内のオブジェクトおよび境界(線、曲線など)の位置を特定するために使用される。手順602の場合、画像セグメンテーションは、凹領域の境界の位置を特定するために使用されることができる。
【0028】
画像セグメンテーションの結果が、画像全体を集団で包含する1組のセグメントまたは画像から抽出された1組の輪郭である。領域内のピクセルのそれぞれは、色、強度、またはテクスチャなどの何らかの特性または算定される性質に関して類似している。隣接する領域は、同じ特性(複数可)に関して著しく異なる。
【0029】
図10bは、画像セグメンテーションを使用して得られた中間結果の一例を示しており、凹領域の境界が識別される。
【0030】
図6において、手順604では、ビジュアルハル704上での凹領域境界710の3D座標が、手順602で決定された2D参照像706上の凹領域境界708を使用して、2D参照像上の位置を3D空間に逆に投影することによって決定される。2D参照像上の位置の3D空間への逆の投影を実行する手順がIBVH処理手順である。
【0031】
図5に示す方法を続けると、手順506では、凹領域内部の仮想カメラの位置が選択される。凹領域の内部から外部に向けてのオブジェクトの観察に相当する仮想カメラの位置が選択される。例えば図8に示す一実施形態では、仮想カメラが凹領域の底辺の中央にある位置が選択可能である。あるいは、凹領域の底辺の端にある位置などの他の位置も選択可能である。選択された位置を利用して、完全な凹領域境界を含むようにそのような位置における仮想逆転画像を生成することが可能である。その後、複数の仮想逆転画像が完全な凹領域境界を全体として包含する限り、いくつかの位置が選択可能である。
【0032】
手順508では、この選択された位置に基づいて、仮想カメラのカメラパラメータが決定される。
【0033】
仮想カメラの中心が設定されると、カメラの外部パラメータの変換ベクトルが決定される。外部パラメータの回転行列に関しては、仮想カメラの向きが上向きかつオブジェクトの底面に垂直を保つように、α=0、β=90、γ=0のように通常3つの回転角度が設定され、これにより凹状オブジェクトの真下にある底辺からのキャプチャリングのシミュレーションが可能になる。内部パラメータに関しては、焦点距離fのみが修正の必要があり、他の要因は、参照画像を撮像する実際のカメラの対応する要因と一致した状態を保つ。通常、仮想カメラの焦点距離は、凹状オブジェクトの奥行きに比例して決まる。仮想画像の焦点距離fの値は、凹領域境界の領域全体が、仮想カメラにより撮像される仮想画像の内部にあるように、参照画像を撮像するカメラの既知のパラメータに基づいて設定されてよい。
【0034】
カメラパラメータは、これらのカメラパラメータに基づいて仮想カメラによって撮影された複数の仮想逆転画像が完全な凹領域境界を全体として包含するように選択される。
【0035】
手順510では、凹領域のシルエットおよびテクスチャの画像が、例えば凹領域の外部かつ真上から、凹領域参照画像としてキャプチャされ、これには、完全な凹領域境界が含まれる。あるいは、完全な凹領域境界がいくつかの画像によって全体として包含され得る限り、いくつかの画像が撮影されることができる。
【0036】
手順512では、仮想逆転画像が、手順504で生成された凹領域境界の3D座標、手順508で生成されたカメラパラメータ、および手順510で取得された凹領域参照画像に基づいて、従来の3Dから2Dへの斜視投影技法を使用して生成される。
【0037】
3Dから2Dへの斜視投影を行う手順512は、図9に示されている。手順512における3Dから2Dへの斜視投影は、2D平面にある凹領域参照画像902が3D空間904に投影される方法である。3D空間に含まれる凹領域境界906は、2D平面にある仮想逆転画像908に投影される。
【0038】
1つまたはいくつかの仮想逆転画像(仮想カメラ位置が異なる)は、このような1つまたはいくつかの仮想逆転画像が完全な凹領域境界を包含できる限り、生成されることができる。
【0039】
図10cは、仮想カメラによって撮影された仮想逆転画像の一例を示す。
【0040】
3Dから2Dへの斜視投影の処理は、イメージベースドビジュアルハル(IBVH)処理を使用して生成されたビジュアルハルを使用して実行されることができる。
【0041】
そのうえ、凹状オブジェクトの修正されたビジュアルハルは、1つまたはいくつかの仮想逆転画像と共に、元の参照画像を追加の参照画像として使用して生成されることができる。1つまたはいくつかの仮想逆転画像は参照画像(複数可)として使用され、仮想逆転画像の共通部分間のセグメントは、(論理差のブーリアン演算により)ビューレイ(view ray)から取り去られる。また、いくつかの仮想逆転画像が参照画像として使用される場合、それらのセグメントは全体として取り去られる。
【0042】
具体的には、凹状オブジェクトに対する修正されたビジュアルハルを生成するにあたり、仮想カメラに基づいて生成された仮想逆転画像からマップされたセグメントに対して論理差のブーリアン演算が行われ、他の参照像からマップされたセグメントに対して論理積のブーリアン演算が行われる。
【0043】
凹領域に対する修正されたビジュアルハルを計算する手順を示す一例が図12に示されており、図11に示される以下の手順を必要とする。
【0044】
図11において、手順1102では、新規なカメラ(「新規な」カメラとは、図12のすべての他の参照画像1204のビューイング方向とは異なる新規なビューからオブジェクトを撮像している実際のカメラを意味する)によって撮像された新規なビュー画像(図12の1202)のピクセルに対して、新規なカメラの中心から放射されかつ新規なビュー画像のピクセルを通過するビューレイが計算される。参照画像1204上のこのビューレイの投影すなわち投影されたビューレイは、新規なカメラの位置情報を使用することによって決定されることができる。
【0045】
同様に、投影されたビューレイは、仮想参照画像のような仮想逆転画像1208に対しても決定される。
【0046】
図11において、手順1104では、投影されたビューレイが参照画像1204上で2Dシルエットと交差する点が参照画像上の1組の2D間隔となる。
【0047】
図11において、手順1106では、参照画像上の2D間隔が、ビューレイ上の対応する3Dセグメントが取得されるように、3D空間1206に逆に投影される。
【0048】
図11において、手順1108では、参照画像1204のすべてからのすべての投影された3Dラインセグメント上への1Dブーリアン論理積演算が行われ、その結果、すなわちすべての参照画像1204からのすべての3Dセグメントの共通部分は、新規なビュー画像のピクセルに対するビジュアルハル境界を示す。
【0049】
図11において、手順1110では、1つまたは複数の仮想逆転画像1208上の2D間隔が3D空間1206に逆に投影され、ビューレイ上の対応するセグメント(複数可)を取得する。次に、仮想逆転画像およびビューレイからマップされたセグメントに対して論理差のブーリアン演算が実行され、凹領域を有するオブジェクトに対するビジュアルハルを取得する。
【0050】
本明細書で開示される方法、コンピュータ可読記憶媒体、および装置によれば、オブジェクトの1つの凹領域または複数の凹領域の仮想逆転画像が生成されることができる。この仮想逆転画像によって、従来のイメージベースドビジュアルハル技法を使用して取得できないオブジェクトの図が可能になる。さらに、仮想逆転画像は、凹領域を有するオブジェクトの改良されたビジュアルハルを生成する際に使用でき、このビジュアルハルは、オブジェクトの幾何を正確に描出する。さらに、改良されたビジュアルハルは、突き出す不具合のないオブジェクトのフォトリアリスティックな画像を取得するために使用されることができる。
【0051】
前述の詳細な説明では、ブロック図、フローチャート、および/または例の使用によって、装置および/またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および/または例が1つまたは複数の機能および/または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および/または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび/または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、1つまたは複数のコンピュータ上で動作する1つまたは複数のコンピュータプログラムとして(例えば、1つまたは複数のコンピュータシステム上で動作する1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ上で動作する1つまたは複数のプログラムとして(例えば、1つまたは複数のマイクロプロセッサ上で動作する1つまたは複数のプログラムとして)、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および/またはアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)の通信タイプの媒体が含まれるが、それらには限定されない。
【0052】
本明細書で説明したやり方で装置および/またはプロセスを記載し、その後そのように記載された装置および/またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および/またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの1つもしくは複数、タッチパッドもしくはスクリーンなどの1つもしくは複数の相互作用装置、ならびに/またはフィードバックループおよびコントロールモータを含むコントロールシステム(例えば、位置検知用および/もしくは速度検知用フィードバック、コンポーネントの移動用および/もしくは数量の調整用コントロールモータ)を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング/通信システムおよび/またはネットワークコンピューティング/通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
【0053】
本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の2つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および/もしくは物理的に相互作用するコンポーネント、ならびに/またはワイヤレスに相互作用可能な、および/もしくはワイヤレスに相互作用するコンポーネント、ならびに/または論理的に相互作用する、および/もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
【0054】
本明細書における実質的にすべての複数形および/または単数形の用語の使用に対して、当業者は、状況および/または用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。さまざまな単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【0055】
通常、本明細書において、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本体部)において使用される用語は、全体を通じて「オープンな(open)」用語として意図されていることが、当業者には理解されよう(例えば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は、「含むがそれに限定されない(includes but is not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む発明に限定する、ということを示唆していると解釈されるべきではない(例えば、「a」および/または「an」は、通常、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、通常、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(例えば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、通常、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。「A、B、またはC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、またはCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「AまたはB」は、「A」または「B」あるいは「AおよびB」の可能性を含むことが理解されよう。
【0056】
本明細書において種々の態様および実施形態を開示してきたが、他の態様および実施形態は当業者に明らかであろう。本明細書で開示される種々の態様および実施形態は例示を目的としており、限定を意図するものではない。真の範囲および趣旨は、以下の特許請求の範囲によって示される。
【特許請求の範囲】
【請求項1】
凹領域を有するオブジェクトの複数の参照画像を取得すること、
前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること
を含む方法。
【請求項2】
前記生成することが、
前記複数の参照画像に基づいて前記オブジェクトの前記外側境界に対するビジュアルハルを取得することと、
前記ビジュアルハル上の前記凹領域の前記境界の3D座標を決定すること、
前記凹領域の仮想逆転画像を計算するための前記凹領域内部の位置を選択すること、
前記選択された位置に対する画像パラメータを決定すること、
前記凹領域の完全な境界を包含する画像を凹領域参照画像としてキャプチャすること、
前記決定された3D座標、前記画像パラメータ、および前記キャプチャされた凹領域参照画像に基づいて3Dから2Dへの斜視投影を実行することによって、前記凹領域に対する前記仮想逆転画像を生成すること
をさらに含む、請求項1に記載の方法。
【請求項3】
前記3D座標を決定することが、
画像セグメンテーションによって2D参照像内の前記凹領域の境界を決定すること、
前記ビジュアルハル上の前記凹領域の前記境界の対応する3D座標を決定すること
を含む、請求項2に記載の方法。
【請求項4】
前記生成された仮想逆転画像を仮想参照画像として使用し、前記複数の参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、修正されたビジュアルハルを取得すること
をさらに含む、請求項2に記載の方法。
【請求項5】
いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項4に記載の方法。
【請求項6】
コンピュータによって実行されると、
凹領域を有するオブジェクトの複数の参照画像を取得すること、
前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること
を実行する前記コンピュータが実行可能なプログラムコードを記憶するコンピュータ可読記憶媒体。
【請求項7】
前記生成することが、
前記複数の参照画像に基づいて前記オブジェクトの前記外側境界に対するビジュアルハルを取得することと、
前記ビジュアルハル上の前記凹領域の前記境界の3D座標を決定すること、
前記凹領域の仮想逆転画像を計算するための前記凹領域内部の位置を選択すること、
前記選択された位置に対する画像パラメータを決定すること、
前記凹領域の完全な境界を包含する画像を凹領域参照画像としてキャプチャすること、
前記決定された3D座標、前記画像パラメータ、および前記キャプチャされた凹領域参照画像に基づいて3Dから2Dへの斜視投影を実行することによって、前記凹領域に対する前記仮想逆転画像を生成すること
をさらに含む、請求項6に記載のコンピュータ可読記憶媒体。
【請求項8】
画像セグメンテーションによって2D参照像内の前記凹領域の境界を決定すること、
前記ビジュアルハル上の前記凹領域の前記境界の対応する3D座標を決定すること
を含む、請求項7に記載のコンピュータ可読記憶媒体。
【請求項9】
前記生成された仮想逆転画像を仮想参照画像として使用し、前記複数の参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、修正されたビジュアルハルを取得すること
をさらに含む、請求項7に記載のコンピュータ可読記憶媒体。
【請求項10】
いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項9に記載のコンピュータ可読記憶媒体。
【請求項11】
カメラから取得されたオブジェクトの複数の参照画像および前記オブジェクトの凹領域の境界全体をキャプチャした視点から取得された参照画像を記憶するためのストレージと、
各参照画像および前記凹領域の前記境界に対するシルエットを取得するためのシルエット処理モジュールと、
前記シルエット処理モジュールに接続され、前記凹領域の仮想逆転画像を取得し、前記仮想逆転画像に基づいて前記凹領域を有する前記オブジェクトに対するビジュアルハルを合成するための仮想画像合成モジュールと
を備える装置。
【請求項12】
前記シルエット処理モジュールが、前記凹領域を前記背景から分離し、前記凹領域の前記シルエットを計算する、請求項11に記載の装置。
【請求項13】
前記仮想画像合成モジュールが、焦点距離を含めて仮想カメラのパラメータを決定し、前記仮想カメラが前記オブジェクトの前記凹領域の内部にあり、
前記決定されたパラメータおよび前記凹領域の前記境界領域全体を包含する前記参照画像に基づいて前記仮想逆転画像を生成することを目的とする、請求項11に記載の装置。
【請求項14】
前記仮想カメラが、前記オブジェクトの前記凹領域の底辺にある、請求項13に記載の装置。
【請求項15】
凹領域を有するオブジェクトの複数の参照画像を取得すること、
前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること、
前記生成された仮想逆転画像を仮想参照画像として使用し、前記参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、ビジュアルハルを取得すること
を含む方法。
【請求項16】
いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項15に記載の方法。
【請求項1】
凹領域を有するオブジェクトの複数の参照画像を取得すること、
前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること
を含む方法。
【請求項2】
前記生成することが、
前記複数の参照画像に基づいて前記オブジェクトの前記外側境界に対するビジュアルハルを取得することと、
前記ビジュアルハル上の前記凹領域の前記境界の3D座標を決定すること、
前記凹領域の仮想逆転画像を計算するための前記凹領域内部の位置を選択すること、
前記選択された位置に対する画像パラメータを決定すること、
前記凹領域の完全な境界を包含する画像を凹領域参照画像としてキャプチャすること、
前記決定された3D座標、前記画像パラメータ、および前記キャプチャされた凹領域参照画像に基づいて3Dから2Dへの斜視投影を実行することによって、前記凹領域に対する前記仮想逆転画像を生成すること
をさらに含む、請求項1に記載の方法。
【請求項3】
前記3D座標を決定することが、
画像セグメンテーションによって2D参照像内の前記凹領域の境界を決定すること、
前記ビジュアルハル上の前記凹領域の前記境界の対応する3D座標を決定すること
を含む、請求項2に記載の方法。
【請求項4】
前記生成された仮想逆転画像を仮想参照画像として使用し、前記複数の参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、修正されたビジュアルハルを取得すること
をさらに含む、請求項2に記載の方法。
【請求項5】
いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項4に記載の方法。
【請求項6】
コンピュータによって実行されると、
凹領域を有するオブジェクトの複数の参照画像を取得すること、
前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること
を実行する前記コンピュータが実行可能なプログラムコードを記憶するコンピュータ可読記憶媒体。
【請求項7】
前記生成することが、
前記複数の参照画像に基づいて前記オブジェクトの前記外側境界に対するビジュアルハルを取得することと、
前記ビジュアルハル上の前記凹領域の前記境界の3D座標を決定すること、
前記凹領域の仮想逆転画像を計算するための前記凹領域内部の位置を選択すること、
前記選択された位置に対する画像パラメータを決定すること、
前記凹領域の完全な境界を包含する画像を凹領域参照画像としてキャプチャすること、
前記決定された3D座標、前記画像パラメータ、および前記キャプチャされた凹領域参照画像に基づいて3Dから2Dへの斜視投影を実行することによって、前記凹領域に対する前記仮想逆転画像を生成すること
をさらに含む、請求項6に記載のコンピュータ可読記憶媒体。
【請求項8】
画像セグメンテーションによって2D参照像内の前記凹領域の境界を決定すること、
前記ビジュアルハル上の前記凹領域の前記境界の対応する3D座標を決定すること
を含む、請求項7に記載のコンピュータ可読記憶媒体。
【請求項9】
前記生成された仮想逆転画像を仮想参照画像として使用し、前記複数の参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、修正されたビジュアルハルを取得すること
をさらに含む、請求項7に記載のコンピュータ可読記憶媒体。
【請求項10】
いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項9に記載のコンピュータ可読記憶媒体。
【請求項11】
カメラから取得されたオブジェクトの複数の参照画像および前記オブジェクトの凹領域の境界全体をキャプチャした視点から取得された参照画像を記憶するためのストレージと、
各参照画像および前記凹領域の前記境界に対するシルエットを取得するためのシルエット処理モジュールと、
前記シルエット処理モジュールに接続され、前記凹領域の仮想逆転画像を取得し、前記仮想逆転画像に基づいて前記凹領域を有する前記オブジェクトに対するビジュアルハルを合成するための仮想画像合成モジュールと
を備える装置。
【請求項12】
前記シルエット処理モジュールが、前記凹領域を前記背景から分離し、前記凹領域の前記シルエットを計算する、請求項11に記載の装置。
【請求項13】
前記仮想画像合成モジュールが、焦点距離を含めて仮想カメラのパラメータを決定し、前記仮想カメラが前記オブジェクトの前記凹領域の内部にあり、
前記決定されたパラメータおよび前記凹領域の前記境界領域全体を包含する前記参照画像に基づいて前記仮想逆転画像を生成することを目的とする、請求項11に記載の装置。
【請求項14】
前記仮想カメラが、前記オブジェクトの前記凹領域の底辺にある、請求項13に記載の装置。
【請求項15】
凹領域を有するオブジェクトの複数の参照画像を取得すること、
前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること、
前記生成された仮想逆転画像を仮想参照画像として使用し、前記参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、ビジュアルハルを取得すること
を含む方法。
【請求項16】
いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項15に記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公表番号】特表2013−513172(P2013−513172A)
【公表日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2012−542329(P2012−542329)
【出願日】平成21年12月7日(2009.12.7)
【国際出願番号】PCT/CN2009/075367
【国際公開番号】WO2011/069285
【国際公開日】平成23年6月16日(2011.6.16)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
2.EEPROM
【出願人】(510117919)ペキン ユニバーシティ (4)
【Fターム(参考)】
【公表日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願日】平成21年12月7日(2009.12.7)
【国際出願番号】PCT/CN2009/075367
【国際公開番号】WO2011/069285
【国際公開日】平成23年6月16日(2011.6.16)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
2.EEPROM
【出願人】(510117919)ペキン ユニバーシティ (4)
【Fターム(参考)】
[ Back to top ]