３次元形状モデル高精度化方法およびプログラム
【課題】被写体を撮影した画像と背景のみを撮影した画像から、被写体３次元モデルを高精度に復元する方法を提供する。
【解決手段】各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出し、オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行い、Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、算出と整形を繰り返し適用する。上記のＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価し、３次元形状モデルのテクスチャ状態をもとに３次元形状モデルの整形を行い、３次元形状モデルの整形が収束するまで、評価と整形を繰り返し適用する。
【解決手段】各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出し、オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行い、Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、算出と整形を繰り返し適用する。上記のＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価し、３次元形状モデルのテクスチャ状態をもとに３次元形状モデルの整形を行い、３次元形状モデルの整形が収束するまで、評価と整形を繰り返し適用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影した画像と背景のみを撮影した画像から、被写体３次元モデルを高精度に復元する方法およびプログラムに関する。
【背景技術】
【０００２】
自由視点映像の画質は、モデルベースの合成方式を考えた場合、多視点映像より生成される３次元形状モデルの精度に大きく左右される。多視点映像をもとに被写体の３次元形状モデル（３次元ボクセルデータ）を構築する代表的な手法として視体積交差法がある（非特許文献１）。しかしながら、この方法には、物体の凹領域を復元できないという原理的課題があった。
【０００３】
上記の原理的課題に対して、非特許文献２で提案されるｓｐａｃｅ ｃａｒｖｉｎｇを始めとした様々な手法が提案されている。また、特願２００９−１９５３３４号では、各カメラ画像間でステレオマッチングをもとに高精度化する手法が提案されている。
【０００４】
Ｖｉｓｕａｌ Ｈｕｌｌ高精度化に関する研究として、Ｐｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙのみならず、Ｖｉｓｕａｌ Ｈｕｌｌ表面形状の安定性を考慮したエネルギー関数を定義し、最適化の枠組みにより形状を補正する手法が提案されている。非特許文献３では、ステレオマッチングによる整形手法が提案されている。当該手法は、Ｐｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙによりカメラから被写体までの距離値をＶｉｓｕａｌ Ｈｕｌｌ内側へ押し込むための外力と、Ｖｉｓｕａｌ Ｈｕｌｌ表面の局所的な形状特徴を維持するための内力の線形結合により評価関数を定義し、最小化する距離値を求めることで、被写体の表面形状を決定する。Ｓｐａｃｅ ｃａｒｖｉｎｇ等の単一ボクセルに注目する手法に比べて、表面上に不自然な凹凸が発生することが少なく、滑らかな形状を復元できる結果が示されている。
【０００５】
一方、ボクセル空間中での隣接関係を考慮したグラフカットによりＶｉｓｕａｌ Ｈｕｌｌの整形を行う手法が提案されている。非特許文献４では、Ｖｉｓｕａｌ Ｈｕｌｌ表面近傍のボクセルに関して、ボクセル単体のＰｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙに基づくエネルギーと、ボクセル間の隣接関係に基づくエネルギー関数を定義し、グラフカットを適用することで、滑らかな形状を復元できることを示している。さらに、Ｖｉｓｕａｌ Ｈｕｌｌの内側に、被写体が確実に存在すると仮定するＣｏｒｅ領域を設け、グラフカットの適用範囲をＶｉｓｕａｌ Ｈｕｌｌ表面とＣｏｒｅ領域間に限定することで、被写体領域が誤って削られる可能性を低減することに成功している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】豊浦正広、飯山将晃、舩冨卓哉、角所考、美濃導彦、「欠損および過抽出を含む時系列シルエットからの三次元形状獲得」、電子情報通信学会技術研究報告，PRMU2007-168，Vol.107，No.427，pp.69-74，2008-1
【非特許文献２】Kutulakos他「ATheory of Shape by Space Carving 」 International Journal of Computer Vision ２０００年
【非特許文献３】冨山仁博他「局所的形状特徴に拘束された3次元形状復元手法とそのリアルタイム動画表示」 映像情報メディア学会誌, 61, 4, pp. 471-481 (2007)
【非特許文献４】Hisatomi他「Methodof 3D reconstruction using graph cuts, and its application to preservingintangible cultural heritage」 IEEE conference on ICCV, pp. 923 - 930 (2009).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献２に記載の提案方式等のほとんどの手法は、ボクセル単体のＰｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙのみに注目して除去するか否かを決定するため、最終的に獲得されるＶｉｓｕａｌ Ｈｕｌｌの復元精度は、被写体のテクスチャ状態に大きく依存するという問題があった。また、特願２００９−１９５３３４号では、マッチング誤差の影響により復元精度が低下するという問題が顕著であった。
【０００８】
また、非特許文献３の手法では、最終的な復元結果は、ステレオマッチングの探索精度に大きく依存するため、被写体のテクスチャ変化が少ない領域では十分な復元精度が得られないという問題が残っている。
【０００９】
また、非特許文献４の手法では、ボクセル間の隣接関係に基づくエネルギー関数が、単純にボクセル単体のエネルギー値の平均で定義されているため、ボクセル空間中の隣接関係を十分に考慮できているとは言えない。また、グラフカットの適用が一回に限定されているのに加え、適用結果を評価するプロセスが存在しないため、最終的に復元される３次元形状モデルに、背景領域が含まれる可能性が高いと考えられる。
【００１０】
以上の問題点を踏まえ、本発明では、ボクセル空間中での連続性を十分に考慮するとともに、整形過程の３次元形状モデルをもとに、実カメラ視点で生成される自由視点画像の画質を評価するプロセスを導入することで、３次元形状モデルのテクスチャ状態を考慮したＶｉｓｕａｌ Ｈｕｌｌ高精度化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を実現するため本発明による３次元形状モデル高精度化方法は、多視点のカメラ画像から被写体の３次元形状モデルを復元する方法であって、各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出ステップと、前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形ステップと、前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出ステップと前記第１の整形ステップを繰り返し適用する第1の収束ステップと、前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価ステップと、前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形ステップと、前記３次元形状モデルの整形が収束するまで、前記評価ステップと前記第２の整形ステップを繰り返し適用する第２の収束ステップとを含む。
【００１２】
また、前記算出ステップは、前記Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在する各ボクセルを各撮影カメラ視点に投影し、撮影カメラ間における投影画素値の分散を算出し、前記分散を正規化することで前記オブジェクトらしさに関する尤度を算出することも好ましい。
【００１３】
また、前記第１の整形ステップは、３次元ボクセル空間における各ボクセル間の隣接関係を考慮したエネルギー関数を定義し、前記エネルギー関数を最小化する枠組みで、各ボクセルを被写体領域または背景領域のいずれかに割り当てることで被写体領域を決定し、背景領域を不要部として除去することで、整形を行うことも好ましい。
【００１４】
また、前記第１の収束ステップは、前記不要部の除去を適用する前後の３次元形状モデルを比較し、表面として指定したボクセルより内側のボクセルが削られていない場合を収束とすることも好ましい。
【００１５】
また、前記評価ステップは、各撮影カメラ視点で、前記３次元形状モデルをもとに生成される自由視点画像と、前記撮影カメラ画像との差分画像を抽出することも好ましい。
【００１６】
また、前記第２の整形ステップは、各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を定義し、前記エネルギー関数を最小化する枠組みで、各画素を被写体領域または背景領域のいずれに割り当てるかを決定し、背景領域と判断される整形候補内に存在する画素の光線を探索し、前記３次元形状モデルとの交点を不要部として除去することで、前記３次元形状モデルの整形を行うことも好ましい。
【００１７】
また、前記第２の収束ステップは、前記不要部の除去を適用する前後の３次元形状モデルを比較し、削られるボクセル数が、一定数以下である場合を収束とすることも好ましい。
【００１８】
上記目的を実現するため本発明によるプログラムは、多視点のカメラ画像から被写体の３次元形状モデルを復元するためのコンピュータを、各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出手段と、前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形手段と、前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出手段と前記第１の整形手段を繰り返し適用する第１の収束手段と、前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価手段と、前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形手段と、前記３次元形状モデルの整形が収束するまで、前記評価手段と前記第２の整形手段を繰り返し適用する第２の収束手段として機能させ、３次元形状モデルを復元する。
【発明の効果】
【００１９】
本発明により、Ｖｉｓｕａｌ Ｈｕｌｌの高精度化を実現でき、最終的に復元される３次元形状をもとに生成される自由視点映像を高画質化することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明によるフローチャートを示す。
【図２】ボクセル空間内のＶｉｓｕａｌ Ｈｕｌｌの表面近傍を各視点に投影することを示す。
【図３】多視点カメラ画像の例を示す。
【図４】オリジナルの３次元形状モデルを示す。
【図５】入力のＶｉｓｕａｌ Ｈｕｌｌを示す。
【図６】ステップ４を終了した時点で整形されたＶｉｓｕａｌ Ｈｕｌｌを示す。
【図７】最終的に整形された３次元形状モデルを示す。
【発明を実施するための形態】
【００２１】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。提案手法は、ボクセル空間中での連続性を考慮した整形、および各視点での自由視点画像の画質を考慮した整形を特徴とする。本発明によるフローチャートを図１に示す。ある時刻１フレーム分の多視点カメラ画像と、各視点のカメラパラメータ、および各カメラの被写体シルエット画像から視体積交差法で復元されるＶｉｓｕａｌ Ｈｕｌｌを入力として、最終的に整形済みの３次元形状モデルを出力し、処理を終了する。以下、本フローチャートに基づいて説明する。
【００２２】
ステップ１：Ｖｉｓｕａｌ Ｈｕｌｌ表面近傍のボクセルのオブジェクトらしさを算出する。図２に示すように、ボクセル空間内のＶｉｓｕａｌ Ｈｕｌｌ表面近傍を各カメラ視点に投影する。視点ｉ（ｉ＝１，…，Ｎ）に投影された、カメラ画像内の座標をｖｉとし、この点での投影画素値は、特定の色空間における多次元ベクトルｘ（ｖｉ）として表される。色空間は例えば、ＲＧＢ空間が挙げられる。オブジェクトらしさに関する尤度を算出するため、投影画素値の各カメラ視点での平均および分散を算出する。
平均ベクトルｕ（ｖｉ）は、
【数１】
で算出される。ここで、＃ｎｖｉｓ（ｖｉ）は、オクルージョンのない視点（表面近傍のボクセルが見える視点）の数を表し、Σは、オクルージョンのない視点で行われる。ＲＧＢ空間の場合、平均ベクトルｕ（ｖｉ）は、ｕｒ（ｖｉ）、ｕｇ（ｖｉ）、ｕｂ（ｖｉ）の３つの成分を有する。
分散ベクトルσ（ｖｉ）は、
【数２】
で算出される。同様に、ＲＧＢ空間の場合、分散ベクトルσ２（ｖｉ）は、σ２ｒ（ｖｉ）、σ２ｇ（ｖｉ）、σ２ｂ（ｖｉ）の３つの成分を有する。
【００２３】
この分散を正規化することにより、オブジェクトらしさに関する尤度を求める。なお、正規化とは、σ２（ｖｉ）（ｉ＝１，…，Ｎ）の最大値でσ２（ｖｉ）を除算して、最大値を１．０にしたものである。以下の式に現れているσ２は、すべて正規化された後の分散を表している。
【００２４】
ステップ２：ボクセル空間中でのエネルギー関数を定義する。
エネルギー関数は、
【数３】
で定義される。ここでｖ＝（ｖ１，…，ｖｉ，…，ｖＮ）は、カメラ画像内の座標をｖｉを表し、λｖは正の定数であり、ａｖは、ボクセル空間中の各ボクセルを背景領域または被写体領域のいずれかに割り当てるかをそれぞれ０または１で表している。
【００２５】
Ｕ（ｖ；ａｖ）は、各ボクセル単体の尤度値のみに依存するデータ項であり、ａｖで指定される領域に割り当てる場合のエネルギー値は、以下の式で与えられる。
【数４】
ここで、Σは視点ｉ（ｉ＝１，…，Ｎ）について総和を取り、ｔｈｖ（ｃ）は、一定の閾値である。上式はＲＧＢ空間の場合の式を示している。上式で、例えば、ｔｈｖ（ｃ）＝１．２とした場合、σｃ２＝０．５であるとき、ｔｈｖ（ｃ）−σｃ２＝０．７、σｃ２＝０．５であるため、ａ＝１、つまり被写体領域に割り当てた方が、エネルギー値が低くなる。σｃ２＝０．７であるとき、ｔｈｖ（ｃ）−σｃ２＝０．５、σｃ２＝０．７であるため、ａ＝０、つまり背景領域に割り当てた方が、エネルギー値が低くなる。つまり、分散が小さいとき、被写体領域に割り当てた方が、エネルギー値が低くなる。
【００２６】
一方、Ｖ（ｖ；ａｖ）は、平滑化項であり、隣接ボクセル間の尤度値の差をもとに以下の式で算出される．
【数５】
ここで、ｄｉｓ（ｉ，ｊ）はボクセル間のユークリッド距離を表し、κｖは正の定数である。定数κｖは隣接ボクセルの全組み合わせＮｖに関する期待値の演算子＜・＞を用いて以下のように算出される。
【数６】
【００２７】
ステップ３：エネルギー最小化に基づくＶｉｓｕａｌ Ｈｕｌｌの整形を行う。上記エネルギー値Ｅ（ｖ；ａｖ）が最小になるように、画素値に０または１を割り当てる。これにより、Ｖｉｓｕａｌ Ｈｕｌｌの整形を行う。エネルギー値の最小化は、例えば、Graph-cutのアルゴリズムを用いる。ここで、ａｖ＝０、つまり背景領域に割り当てられたボクセルを不要部として除去する。
【００２８】
ステップ４：収束判定を行う。ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌとステップ１の入力のＶｉｓｕａｌ Ｈｕｌｌとを比較して、表面近傍のボクセルより内側のボクセルが削れていない場合、または削れたボクセルの数が一定の閾値内になったかどうかで収束判定を行う。収束が十分でないとき、ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌをステップ１の入力としてステップ１からステップ３を繰り返す。
【００２９】
ステップ５：各カメラ視点において、ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌから獲得された３次元形状モデルをもとに自由視点画像を生成し、自由視点画像と撮影画像との差分画像を算出する。以下のステップでは、３次元形状モデルのテクスチャ状態を評価することにより、３次元形状モデルの整形を行う。
【００３０】
ステップ６：各撮影カメラ視点で、差分画像中でのエネルギー関数を定義する。各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を以下のように定義する。
【数７】
で定義される。ここでｐは、差分画像の各画素を表し、λｐは正の定数であり、ａｐは、差分画像の各画素を背景領域または被写体領域のいずれかに割り当てるかをそれぞれ０または１で表している。
【００３１】
Ｕ（ｖ；ａｐ）は、差分画像の各画素の尤度値のみに依存するデータ項であり、ａｐで指定される領域に割り当てる場合のエネルギー値は、以下の式で与えられる。
【数８】
ここで、Σは差分画像の各画素について総和を取り、ｘｃ（ｐｉ）は、画素ｐｉでの画素値（ｘｒ、ｘｇ、またはｘｂ）であり、ｔｈｐ（ｃ）は、一定の閾値である。上式はＲＧＢ空間の場合の式を示している。
【００３２】
一方、Ｖ（ｖ；ａｐ）は、平滑化項であり、隣接画素間の画素値の差をもとに以下の式で算出される．
【数９】
ここで、ｄｉｓｐ（ｉ，ｊ）は画素間のユークリッド距離を表し、κｐは正の定数であり、ベクトルｘ（ｐｉ）は、画素ｐｉでの画素値ベクトル（ｘｒ、ｘｇ、ｘｂ）である。定数κｐは隣接画素間の全組み合わせＮｖに関する距離の期待値の演算子＜・＞を用いて以下のように算出される。
【数１０】
【００３３】
ステップ７：エネルギー最小化に基づき、Ｖｉｓｕａｌ Ｈｕｌｌの整形候補を特定する。上記エネルギー値Ｅ（ｖ；ａｐ）が最小になるように、画素値に０または１を割り当てる。これにより、Ｖｉｓｕａｌ Ｈｕｌｌの整形候補を特定する。エネルギー値の最小化は、例えば、Graph-cutのアルゴリズムを用いる。
【００３４】
ステップ８：Ｖｉｓｕａｌ Ｈｕｌｌ整形候補に含まれる各画素の光線を探索し、３次元形状モデルとの交点を除去する。上記のステップ５から７は、各視点ｉ（ｉ＝１，…，Ｎ）のカメラ画像に行われる。ａｐ＝０、つまり背景領域に割り当てた画素の光線を探索し、３次元形状モデルとの交点を不要部として除去する。これをすべてのカメラ画像に対して行い、不要なボクセルを削る。
【００３５】
ステップ９：収束判定を行う。ステップ８で得られた３次元形状モデルとステップ５の入力の３次元形状モデルとを比較して、表面近傍の内側のボクセルが削れていない場合、または削れたボクセルの数が一定の閾値内になったかどうかで収束判定を行う。収束が十分でないとき、ステップ８で得られた３次元形状モデルをステップ５の入力としてステップ５からステップ８を繰り返す。
【００３６】
次に、本発明の処理結果を実験結果により示す。実験は、凹領域を含む被写体を含む多視点画像を対象に、視体積交差法で復元されるＶｉｓｕａｌ Ｈｕｌｌに本発明の手法を適用した結果得られる３次元形状の精度を評価する。実験データとして、ＣＧモデルを２３視点に投影した画像と各視点のカメラパラメータ（中心射影行列）を用いた。
【００３７】
図３は、多視点カメラ画像の例を示す。図３ａは視点０２からのカメラ画像を、図３ｂは視点０６からのカメラ画像を示す。図４は、オリジナルの３次元形状モデルを示す。図５は、入力のＶｉｓｕａｌ Ｈｕｌｌを示す。図６は、ステップ４を終了した時点で整形されたＶｉｓｕａｌ Ｈｕｌｌを示す。図７は、最終的に整形された３次元形状モデルを示す。
【００３８】
図４と図５を比較すると、視体積交差法のみで作成されたＶｉｓｕａｌ Ｈｕｌｌは、物体の凹領域を復元できていないことが分かる。図４と図６を比較すると、本発明のステップ１から４の処理で、物体の凹領域が復元されていることが分かる。図６と図７を比較すると、本発明のステップ５から９の処理で、物体の凹領域がより正確に再現できていることが分かる。
【００３９】
上記の実験結果を定量的に示す。表１は、オリジナルの３次元形状モデルに対するＰｒｅｃｉｓｉｏｎ／Ｒｅｃａｌｌ／Ｆ値を示す。ここで、Ｒｅｃａｌｌは誤って削られたボクセルの比率を示し、Ｐｒｅｃｉｓｉｏｎは、本来削るべきボクセルが削れていない比率を示す。Ｆ値は、ＲｅｃａｌｌとＰｒｅｃｉｓｉｏｎをもとに計算された、３次元形状モデルの正確さを表す指標である。
【表１】
【００４０】
表１によると、Ｆ値は、最終的に整形された３次元形状モデルが最も良い値を示し、本発明のステップ１から９を実行することにより、物体の凹領域が復元されていることが分かる。
【００４１】
以上のように、本発明では、物体の凹領域の復元を行うことができ、Ｖｉｓｕａｌ Ｈｕｌｌの高精度化を実現でき、最終的に復元される３次元形状をもとに生成される自由視点映像を高画質化することが可能となる。
【００４２】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【技術分野】
【０００１】
本発明は、被写体を撮影した画像と背景のみを撮影した画像から、被写体３次元モデルを高精度に復元する方法およびプログラムに関する。
【背景技術】
【０００２】
自由視点映像の画質は、モデルベースの合成方式を考えた場合、多視点映像より生成される３次元形状モデルの精度に大きく左右される。多視点映像をもとに被写体の３次元形状モデル（３次元ボクセルデータ）を構築する代表的な手法として視体積交差法がある（非特許文献１）。しかしながら、この方法には、物体の凹領域を復元できないという原理的課題があった。
【０００３】
上記の原理的課題に対して、非特許文献２で提案されるｓｐａｃｅ ｃａｒｖｉｎｇを始めとした様々な手法が提案されている。また、特願２００９−１９５３３４号では、各カメラ画像間でステレオマッチングをもとに高精度化する手法が提案されている。
【０００４】
Ｖｉｓｕａｌ Ｈｕｌｌ高精度化に関する研究として、Ｐｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙのみならず、Ｖｉｓｕａｌ Ｈｕｌｌ表面形状の安定性を考慮したエネルギー関数を定義し、最適化の枠組みにより形状を補正する手法が提案されている。非特許文献３では、ステレオマッチングによる整形手法が提案されている。当該手法は、Ｐｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙによりカメラから被写体までの距離値をＶｉｓｕａｌ Ｈｕｌｌ内側へ押し込むための外力と、Ｖｉｓｕａｌ Ｈｕｌｌ表面の局所的な形状特徴を維持するための内力の線形結合により評価関数を定義し、最小化する距離値を求めることで、被写体の表面形状を決定する。Ｓｐａｃｅ ｃａｒｖｉｎｇ等の単一ボクセルに注目する手法に比べて、表面上に不自然な凹凸が発生することが少なく、滑らかな形状を復元できる結果が示されている。
【０００５】
一方、ボクセル空間中での隣接関係を考慮したグラフカットによりＶｉｓｕａｌ Ｈｕｌｌの整形を行う手法が提案されている。非特許文献４では、Ｖｉｓｕａｌ Ｈｕｌｌ表面近傍のボクセルに関して、ボクセル単体のＰｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙに基づくエネルギーと、ボクセル間の隣接関係に基づくエネルギー関数を定義し、グラフカットを適用することで、滑らかな形状を復元できることを示している。さらに、Ｖｉｓｕａｌ Ｈｕｌｌの内側に、被写体が確実に存在すると仮定するＣｏｒｅ領域を設け、グラフカットの適用範囲をＶｉｓｕａｌ Ｈｕｌｌ表面とＣｏｒｅ領域間に限定することで、被写体領域が誤って削られる可能性を低減することに成功している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】豊浦正広、飯山将晃、舩冨卓哉、角所考、美濃導彦、「欠損および過抽出を含む時系列シルエットからの三次元形状獲得」、電子情報通信学会技術研究報告，PRMU2007-168，Vol.107，No.427，pp.69-74，2008-1
【非特許文献２】Kutulakos他「ATheory of Shape by Space Carving 」 International Journal of Computer Vision ２０００年
【非特許文献３】冨山仁博他「局所的形状特徴に拘束された3次元形状復元手法とそのリアルタイム動画表示」 映像情報メディア学会誌, 61, 4, pp. 471-481 (2007)
【非特許文献４】Hisatomi他「Methodof 3D reconstruction using graph cuts, and its application to preservingintangible cultural heritage」 IEEE conference on ICCV, pp. 923 - 930 (2009).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献２に記載の提案方式等のほとんどの手法は、ボクセル単体のＰｈｏｔｏ Ｃｏｎｓｉｓｔｅｎｃｙのみに注目して除去するか否かを決定するため、最終的に獲得されるＶｉｓｕａｌ Ｈｕｌｌの復元精度は、被写体のテクスチャ状態に大きく依存するという問題があった。また、特願２００９−１９５３３４号では、マッチング誤差の影響により復元精度が低下するという問題が顕著であった。
【０００８】
また、非特許文献３の手法では、最終的な復元結果は、ステレオマッチングの探索精度に大きく依存するため、被写体のテクスチャ変化が少ない領域では十分な復元精度が得られないという問題が残っている。
【０００９】
また、非特許文献４の手法では、ボクセル間の隣接関係に基づくエネルギー関数が、単純にボクセル単体のエネルギー値の平均で定義されているため、ボクセル空間中の隣接関係を十分に考慮できているとは言えない。また、グラフカットの適用が一回に限定されているのに加え、適用結果を評価するプロセスが存在しないため、最終的に復元される３次元形状モデルに、背景領域が含まれる可能性が高いと考えられる。
【００１０】
以上の問題点を踏まえ、本発明では、ボクセル空間中での連続性を十分に考慮するとともに、整形過程の３次元形状モデルをもとに、実カメラ視点で生成される自由視点画像の画質を評価するプロセスを導入することで、３次元形状モデルのテクスチャ状態を考慮したＶｉｓｕａｌ Ｈｕｌｌ高精度化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を実現するため本発明による３次元形状モデル高精度化方法は、多視点のカメラ画像から被写体の３次元形状モデルを復元する方法であって、各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出ステップと、前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形ステップと、前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出ステップと前記第１の整形ステップを繰り返し適用する第1の収束ステップと、前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価ステップと、前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形ステップと、前記３次元形状モデルの整形が収束するまで、前記評価ステップと前記第２の整形ステップを繰り返し適用する第２の収束ステップとを含む。
【００１２】
また、前記算出ステップは、前記Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在する各ボクセルを各撮影カメラ視点に投影し、撮影カメラ間における投影画素値の分散を算出し、前記分散を正規化することで前記オブジェクトらしさに関する尤度を算出することも好ましい。
【００１３】
また、前記第１の整形ステップは、３次元ボクセル空間における各ボクセル間の隣接関係を考慮したエネルギー関数を定義し、前記エネルギー関数を最小化する枠組みで、各ボクセルを被写体領域または背景領域のいずれかに割り当てることで被写体領域を決定し、背景領域を不要部として除去することで、整形を行うことも好ましい。
【００１４】
また、前記第１の収束ステップは、前記不要部の除去を適用する前後の３次元形状モデルを比較し、表面として指定したボクセルより内側のボクセルが削られていない場合を収束とすることも好ましい。
【００１５】
また、前記評価ステップは、各撮影カメラ視点で、前記３次元形状モデルをもとに生成される自由視点画像と、前記撮影カメラ画像との差分画像を抽出することも好ましい。
【００１６】
また、前記第２の整形ステップは、各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を定義し、前記エネルギー関数を最小化する枠組みで、各画素を被写体領域または背景領域のいずれに割り当てるかを決定し、背景領域と判断される整形候補内に存在する画素の光線を探索し、前記３次元形状モデルとの交点を不要部として除去することで、前記３次元形状モデルの整形を行うことも好ましい。
【００１７】
また、前記第２の収束ステップは、前記不要部の除去を適用する前後の３次元形状モデルを比較し、削られるボクセル数が、一定数以下である場合を収束とすることも好ましい。
【００１８】
上記目的を実現するため本発明によるプログラムは、多視点のカメラ画像から被写体の３次元形状モデルを復元するためのコンピュータを、各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出手段と、前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形手段と、前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出手段と前記第１の整形手段を繰り返し適用する第１の収束手段と、前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価手段と、前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形手段と、前記３次元形状モデルの整形が収束するまで、前記評価手段と前記第２の整形手段を繰り返し適用する第２の収束手段として機能させ、３次元形状モデルを復元する。
【発明の効果】
【００１９】
本発明により、Ｖｉｓｕａｌ Ｈｕｌｌの高精度化を実現でき、最終的に復元される３次元形状をもとに生成される自由視点映像を高画質化することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明によるフローチャートを示す。
【図２】ボクセル空間内のＶｉｓｕａｌ Ｈｕｌｌの表面近傍を各視点に投影することを示す。
【図３】多視点カメラ画像の例を示す。
【図４】オリジナルの３次元形状モデルを示す。
【図５】入力のＶｉｓｕａｌ Ｈｕｌｌを示す。
【図６】ステップ４を終了した時点で整形されたＶｉｓｕａｌ Ｈｕｌｌを示す。
【図７】最終的に整形された３次元形状モデルを示す。
【発明を実施するための形態】
【００２１】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。提案手法は、ボクセル空間中での連続性を考慮した整形、および各視点での自由視点画像の画質を考慮した整形を特徴とする。本発明によるフローチャートを図１に示す。ある時刻１フレーム分の多視点カメラ画像と、各視点のカメラパラメータ、および各カメラの被写体シルエット画像から視体積交差法で復元されるＶｉｓｕａｌ Ｈｕｌｌを入力として、最終的に整形済みの３次元形状モデルを出力し、処理を終了する。以下、本フローチャートに基づいて説明する。
【００２２】
ステップ１：Ｖｉｓｕａｌ Ｈｕｌｌ表面近傍のボクセルのオブジェクトらしさを算出する。図２に示すように、ボクセル空間内のＶｉｓｕａｌ Ｈｕｌｌ表面近傍を各カメラ視点に投影する。視点ｉ（ｉ＝１，…，Ｎ）に投影された、カメラ画像内の座標をｖｉとし、この点での投影画素値は、特定の色空間における多次元ベクトルｘ（ｖｉ）として表される。色空間は例えば、ＲＧＢ空間が挙げられる。オブジェクトらしさに関する尤度を算出するため、投影画素値の各カメラ視点での平均および分散を算出する。
平均ベクトルｕ（ｖｉ）は、
【数１】
で算出される。ここで、＃ｎｖｉｓ（ｖｉ）は、オクルージョンのない視点（表面近傍のボクセルが見える視点）の数を表し、Σは、オクルージョンのない視点で行われる。ＲＧＢ空間の場合、平均ベクトルｕ（ｖｉ）は、ｕｒ（ｖｉ）、ｕｇ（ｖｉ）、ｕｂ（ｖｉ）の３つの成分を有する。
分散ベクトルσ（ｖｉ）は、
【数２】
で算出される。同様に、ＲＧＢ空間の場合、分散ベクトルσ２（ｖｉ）は、σ２ｒ（ｖｉ）、σ２ｇ（ｖｉ）、σ２ｂ（ｖｉ）の３つの成分を有する。
【００２３】
この分散を正規化することにより、オブジェクトらしさに関する尤度を求める。なお、正規化とは、σ２（ｖｉ）（ｉ＝１，…，Ｎ）の最大値でσ２（ｖｉ）を除算して、最大値を１．０にしたものである。以下の式に現れているσ２は、すべて正規化された後の分散を表している。
【００２４】
ステップ２：ボクセル空間中でのエネルギー関数を定義する。
エネルギー関数は、
【数３】
で定義される。ここでｖ＝（ｖ１，…，ｖｉ，…，ｖＮ）は、カメラ画像内の座標をｖｉを表し、λｖは正の定数であり、ａｖは、ボクセル空間中の各ボクセルを背景領域または被写体領域のいずれかに割り当てるかをそれぞれ０または１で表している。
【００２５】
Ｕ（ｖ；ａｖ）は、各ボクセル単体の尤度値のみに依存するデータ項であり、ａｖで指定される領域に割り当てる場合のエネルギー値は、以下の式で与えられる。
【数４】
ここで、Σは視点ｉ（ｉ＝１，…，Ｎ）について総和を取り、ｔｈｖ（ｃ）は、一定の閾値である。上式はＲＧＢ空間の場合の式を示している。上式で、例えば、ｔｈｖ（ｃ）＝１．２とした場合、σｃ２＝０．５であるとき、ｔｈｖ（ｃ）−σｃ２＝０．７、σｃ２＝０．５であるため、ａ＝１、つまり被写体領域に割り当てた方が、エネルギー値が低くなる。σｃ２＝０．７であるとき、ｔｈｖ（ｃ）−σｃ２＝０．５、σｃ２＝０．７であるため、ａ＝０、つまり背景領域に割り当てた方が、エネルギー値が低くなる。つまり、分散が小さいとき、被写体領域に割り当てた方が、エネルギー値が低くなる。
【００２６】
一方、Ｖ（ｖ；ａｖ）は、平滑化項であり、隣接ボクセル間の尤度値の差をもとに以下の式で算出される．
【数５】
ここで、ｄｉｓ（ｉ，ｊ）はボクセル間のユークリッド距離を表し、κｖは正の定数である。定数κｖは隣接ボクセルの全組み合わせＮｖに関する期待値の演算子＜・＞を用いて以下のように算出される。
【数６】
【００２７】
ステップ３：エネルギー最小化に基づくＶｉｓｕａｌ Ｈｕｌｌの整形を行う。上記エネルギー値Ｅ（ｖ；ａｖ）が最小になるように、画素値に０または１を割り当てる。これにより、Ｖｉｓｕａｌ Ｈｕｌｌの整形を行う。エネルギー値の最小化は、例えば、Graph-cutのアルゴリズムを用いる。ここで、ａｖ＝０、つまり背景領域に割り当てられたボクセルを不要部として除去する。
【００２８】
ステップ４：収束判定を行う。ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌとステップ１の入力のＶｉｓｕａｌ Ｈｕｌｌとを比較して、表面近傍のボクセルより内側のボクセルが削れていない場合、または削れたボクセルの数が一定の閾値内になったかどうかで収束判定を行う。収束が十分でないとき、ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌをステップ１の入力としてステップ１からステップ３を繰り返す。
【００２９】
ステップ５：各カメラ視点において、ステップ３で得られたＶｉｓｕａｌ Ｈｕｌｌから獲得された３次元形状モデルをもとに自由視点画像を生成し、自由視点画像と撮影画像との差分画像を算出する。以下のステップでは、３次元形状モデルのテクスチャ状態を評価することにより、３次元形状モデルの整形を行う。
【００３０】
ステップ６：各撮影カメラ視点で、差分画像中でのエネルギー関数を定義する。各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を以下のように定義する。
【数７】
で定義される。ここでｐは、差分画像の各画素を表し、λｐは正の定数であり、ａｐは、差分画像の各画素を背景領域または被写体領域のいずれかに割り当てるかをそれぞれ０または１で表している。
【００３１】
Ｕ（ｖ；ａｐ）は、差分画像の各画素の尤度値のみに依存するデータ項であり、ａｐで指定される領域に割り当てる場合のエネルギー値は、以下の式で与えられる。
【数８】
ここで、Σは差分画像の各画素について総和を取り、ｘｃ（ｐｉ）は、画素ｐｉでの画素値（ｘｒ、ｘｇ、またはｘｂ）であり、ｔｈｐ（ｃ）は、一定の閾値である。上式はＲＧＢ空間の場合の式を示している。
【００３２】
一方、Ｖ（ｖ；ａｐ）は、平滑化項であり、隣接画素間の画素値の差をもとに以下の式で算出される．
【数９】
ここで、ｄｉｓｐ（ｉ，ｊ）は画素間のユークリッド距離を表し、κｐは正の定数であり、ベクトルｘ（ｐｉ）は、画素ｐｉでの画素値ベクトル（ｘｒ、ｘｇ、ｘｂ）である。定数κｐは隣接画素間の全組み合わせＮｖに関する距離の期待値の演算子＜・＞を用いて以下のように算出される。
【数１０】
【００３３】
ステップ７：エネルギー最小化に基づき、Ｖｉｓｕａｌ Ｈｕｌｌの整形候補を特定する。上記エネルギー値Ｅ（ｖ；ａｐ）が最小になるように、画素値に０または１を割り当てる。これにより、Ｖｉｓｕａｌ Ｈｕｌｌの整形候補を特定する。エネルギー値の最小化は、例えば、Graph-cutのアルゴリズムを用いる。
【００３４】
ステップ８：Ｖｉｓｕａｌ Ｈｕｌｌ整形候補に含まれる各画素の光線を探索し、３次元形状モデルとの交点を除去する。上記のステップ５から７は、各視点ｉ（ｉ＝１，…，Ｎ）のカメラ画像に行われる。ａｐ＝０、つまり背景領域に割り当てた画素の光線を探索し、３次元形状モデルとの交点を不要部として除去する。これをすべてのカメラ画像に対して行い、不要なボクセルを削る。
【００３５】
ステップ９：収束判定を行う。ステップ８で得られた３次元形状モデルとステップ５の入力の３次元形状モデルとを比較して、表面近傍の内側のボクセルが削れていない場合、または削れたボクセルの数が一定の閾値内になったかどうかで収束判定を行う。収束が十分でないとき、ステップ８で得られた３次元形状モデルをステップ５の入力としてステップ５からステップ８を繰り返す。
【００３６】
次に、本発明の処理結果を実験結果により示す。実験は、凹領域を含む被写体を含む多視点画像を対象に、視体積交差法で復元されるＶｉｓｕａｌ Ｈｕｌｌに本発明の手法を適用した結果得られる３次元形状の精度を評価する。実験データとして、ＣＧモデルを２３視点に投影した画像と各視点のカメラパラメータ（中心射影行列）を用いた。
【００３７】
図３は、多視点カメラ画像の例を示す。図３ａは視点０２からのカメラ画像を、図３ｂは視点０６からのカメラ画像を示す。図４は、オリジナルの３次元形状モデルを示す。図５は、入力のＶｉｓｕａｌ Ｈｕｌｌを示す。図６は、ステップ４を終了した時点で整形されたＶｉｓｕａｌ Ｈｕｌｌを示す。図７は、最終的に整形された３次元形状モデルを示す。
【００３８】
図４と図５を比較すると、視体積交差法のみで作成されたＶｉｓｕａｌ Ｈｕｌｌは、物体の凹領域を復元できていないことが分かる。図４と図６を比較すると、本発明のステップ１から４の処理で、物体の凹領域が復元されていることが分かる。図６と図７を比較すると、本発明のステップ５から９の処理で、物体の凹領域がより正確に再現できていることが分かる。
【００３９】
上記の実験結果を定量的に示す。表１は、オリジナルの３次元形状モデルに対するＰｒｅｃｉｓｉｏｎ／Ｒｅｃａｌｌ／Ｆ値を示す。ここで、Ｒｅｃａｌｌは誤って削られたボクセルの比率を示し、Ｐｒｅｃｉｓｉｏｎは、本来削るべきボクセルが削れていない比率を示す。Ｆ値は、ＲｅｃａｌｌとＰｒｅｃｉｓｉｏｎをもとに計算された、３次元形状モデルの正確さを表す指標である。
【表１】
【００４０】
表１によると、Ｆ値は、最終的に整形された３次元形状モデルが最も良い値を示し、本発明のステップ１から９を実行することにより、物体の凹領域が復元されていることが分かる。
【００４１】
以上のように、本発明では、物体の凹領域の復元を行うことができ、Ｖｉｓｕａｌ Ｈｕｌｌの高精度化を実現でき、最終的に復元される３次元形状をもとに生成される自由視点映像を高画質化することが可能となる。
【００４２】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【特許請求の範囲】
【請求項１】
多視点のカメラ画像から被写体の３次元形状モデルを復元する方法であって、
各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出ステップと、
前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形ステップと、
前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出ステップと前記第１の整形ステップを繰り返し適用する第１の収束ステップと、
前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価ステップと、
前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形ステップと、
前記３次元形状モデルの整形が収束するまで、前記評価ステップと前記第２の整形ステップを繰り返し適用する第２の収束ステップと、
を含むことを特徴とする３次元形状モデルを復元する方法。
【請求項２】
前記算出ステップは、
前記Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在する各ボクセルを各撮影カメラ視点に投影し、
撮影カメラ間における投影画素値の分散を算出し、
前記分散を正規化することで前記オブジェクトらしさに関する尤度を算出することを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の整形ステップは、
３次元ボクセル空間における各ボクセル間の隣接関係を考慮したエネルギー関数を定義し、
前記エネルギー関数を最小化する枠組みで、各ボクセルを被写体領域または背景領域のいずれかに割り当てることで被写体領域を決定し、背景領域を不要部として除去することで、整形を行うことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記第１の収束ステップは、
前記不要部の除去を適用する前後の３次元形状モデルを比較し、
表面として指定したボクセルより内側のボクセルが削られていない場合を収束とすることを特徴とする請求項３に記載の方法。
【請求項５】
前記評価ステップは、
各撮影カメラ視点で、前記３次元形状モデルをもとに生成される自由視点画像と、前記撮影カメラ画像との差分画像を抽出することを特徴とする請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記第２の整形ステップは、
各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を定義し、
前記エネルギー関数を最小化する枠組みで、各画素を被写体領域または背景領域のいずれに割り当てるかを決定し、
背景領域と判断される整形候補内に存在する画素の光線を探索し、前記３次元形状モデルとの交点を不要部として除去することで、前記３次元形状モデルの整形を行うことを特徴とする請求項５に記載の方法。
【請求項７】
前記第２の収束ステップは、
前記不要部の除去を適用する前後の３次元形状モデルを比較し、
削られるボクセル数が、一定数以下である場合を収束とすることを特徴とする請求項６に記載の方法。
【請求項８】
多視点のカメラ画像から被写体の３次元形状モデルを復元するためのコンピュータを、
各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出手段と、
前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形手段と、
前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出手段と前記第１の整形手段を繰り返し適用する第１の収束手段と、
前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価手段と、
前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形手段と、
前記３次元形状モデルの整形が収束するまで、前記評価手段と前記第２の整形手段を繰り返し適用する第２の収束手段と、
して機能させ、３次元形状モデルを復元することを特徴とするプログラム。
【請求項１】
多視点のカメラ画像から被写体の３次元形状モデルを復元する方法であって、
各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出ステップと、
前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形ステップと、
前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出ステップと前記第１の整形ステップを繰り返し適用する第１の収束ステップと、
前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価ステップと、
前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形ステップと、
前記３次元形状モデルの整形が収束するまで、前記評価ステップと前記第２の整形ステップを繰り返し適用する第２の収束ステップと、
を含むことを特徴とする３次元形状モデルを復元する方法。
【請求項２】
前記算出ステップは、
前記Ｖｉｓｕａｌ Ｈｕｌｌの表面に存在する各ボクセルを各撮影カメラ視点に投影し、
撮影カメラ間における投影画素値の分散を算出し、
前記分散を正規化することで前記オブジェクトらしさに関する尤度を算出することを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の整形ステップは、
３次元ボクセル空間における各ボクセル間の隣接関係を考慮したエネルギー関数を定義し、
前記エネルギー関数を最小化する枠組みで、各ボクセルを被写体領域または背景領域のいずれかに割り当てることで被写体領域を決定し、背景領域を不要部として除去することで、整形を行うことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記第１の収束ステップは、
前記不要部の除去を適用する前後の３次元形状モデルを比較し、
表面として指定したボクセルより内側のボクセルが削られていない場合を収束とすることを特徴とする請求項３に記載の方法。
【請求項５】
前記評価ステップは、
各撮影カメラ視点で、前記３次元形状モデルをもとに生成される自由視点画像と、前記撮影カメラ画像との差分画像を抽出することを特徴とする請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記第２の整形ステップは、
各撮影カメラ視点において、前記差分画像の画素間での隣接関係を考慮したエネルギー関数を定義し、
前記エネルギー関数を最小化する枠組みで、各画素を被写体領域または背景領域のいずれに割り当てるかを決定し、
背景領域と判断される整形候補内に存在する画素の光線を探索し、前記３次元形状モデルとの交点を不要部として除去することで、前記３次元形状モデルの整形を行うことを特徴とする請求項５に記載の方法。
【請求項７】
前記第２の収束ステップは、
前記不要部の除去を適用する前後の３次元形状モデルを比較し、
削られるボクセル数が、一定数以下である場合を収束とすることを特徴とする請求項６に記載の方法。
【請求項８】
多視点のカメラ画像から被写体の３次元形状モデルを復元するためのコンピュータを、
各カメラの被写体シルエット画像から視体積交差法により復元されるＶｉｓｕａｌ Ｈｕｌｌの表面に存在するボクセルのオブジェクトらしさに関する尤度を算出する算出手段と、
前記オブジェクトらしさに関する尤度をもとにＶｉｓｕａｌ Ｈｕｌｌの整形を行う第１の整形手段と、
前記Ｖｉｓｕａｌ Ｈｕｌｌの整形が収束するまで、前記算出手段と前記第１の整形手段を繰り返し適用する第１の収束手段と、
前記収束ステップのＶｉｓｕａｌ Ｈｕｌｌから獲得される３次元形状モデルのテクスチャ状態を評価する評価手段と、
前記３次元形状モデルのテクスチャ状態の評価をもとに３次元形状モデルの整形を行う第２の整形手段と、
前記３次元形状モデルの整形が収束するまで、前記評価手段と前記第２の整形手段を繰り返し適用する第２の収束手段と、
して機能させ、３次元形状モデルを復元することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２０８７５９（Ｐ２０１２−２０８７５９Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７４３４０（Ｐ２０１１−７４３４０）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]