深度イメージに基づくモデリング方法及び装置
【課題】深度イメージに基づくモデリング方法及び装置を提供する。
【解決手段】三次元多角形メッシュを深度イメージに基づいてモデリングする方法において、前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップ４０と、複数のサンプリングラインを利用して前記バウンディングボリュームを分割して三次元グリッドを取得するステップ４１と、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップ４２と、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップ４４と、前記有効頂点の深度情報及びカラー情報を利用してモデリングをするステップ４５とを含むことを特徴とする深度イメージに基づくモデリング方法。
【解決手段】三次元多角形メッシュを深度イメージに基づいてモデリングする方法において、前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップ４０と、複数のサンプリングラインを利用して前記バウンディングボリュームを分割して三次元グリッドを取得するステップ４１と、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップ４２と、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップ４４と、前記有効頂点の深度情報及びカラー情報を利用してモデリングをするステップ４５とを含むことを特徴とする深度イメージに基づくモデリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深度イメージに基づくモデリング方法（a depth image-based modeling method）及び装置に係り、特に、深度情報とカラー情報とを多角形モデル（polygonal model）から取得してモデリングを行うモデリング方法及び装置に関する。
【背景技術】
【０００２】
深度イメージに基づく表現（ＤＩＢＲ：Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Representation）は、静止画像または動画像において表示された客体（ｏｂｊｅｃｔ）の各仮想点から得られた複数の画像と、各画像の画素毎の（pixel-wise）深度情報とを合成する技術である。
一般に、ＤＩＢＲは、元画像の点を、元画像の各画素の深度情報を利用して三次元（３Ｄ）空間に再投影する過程と、これら３Ｄ空間上の点を、所定のビューイング（ｖｉｅｗｉｎｇ）位置にある仮想カメラの映像平面に投影する過程とからなる。
すなわち、ＤＩＢＲは、二次元（２Ｄ）画像を三次元（３Ｄ）空間に再投影する段階と、再投影結果を２次元空間に投影し直す段階とから構成される。
【０００３】
図１Ａ乃至図１Ｃには、従来のＤＩＢＲモデリング方法の過程が示されている。
図１Ａにおいて、参照番号１０は客体を示し、参照符号１１は仮想カメラを示している。図１Ａに示すように、従来のＤＩＢＲモデリング方法では、客体１０を中心とした複数の位置に仮想カメラ１１が設置され、客体１０に関する複数の映像が得られる。図１Ｂは、仮想カメラ１１により得られた複数のカラーイメージ１２と、深度情報を有する深度イメージ１３とを図示したものである。ここで、深度イメージ１３はグレイスケールイメージである。
図から明らかなように、仮想カメラ１１は、客体の前後左右上下方向に位置して、客体に関する映像（イメージ）を得ることが判る。
図１Ｃは、図１Ｂに示したカラーイメージと深度イメージとを合成して得られるＤＩＢＲイメージである。
【０００４】
しかし、従来のＤＩＢＲモデリング方法の場合、何台もの仮想カメラを利用して映像を得るので、作業速度が遅いという問題点があり、かかる問題は、複雑な客体である場合、仮想カメラがさらに増加してしまうので、さらに深刻化する。
【０００５】
また、図２Ａ及び図２Ｂに示すように従来のＤＩＢＲモデリング方法の場合、客体を取り囲む最小の体積を有するカメラバウンディングボリューム（ＢＶ：Ｂｏｕｎｄｉｎｇ Ｖｏｌｕｍｅ）を手動で調整する必要があるので、この調整を行う作業者の能力によって画質が変わってしまうという問題があった。
ここで、図２Ａには、ＢＶの最適化が良好に行われた場合の例が示されており、図２Ｂには、ＢＶの最適化が良好に行われなかった場合の例が示されている。
【０００６】
さらに、従来のＤＩＢＲモデリング方法の場合、客体の複雑度により、仮想カメラの領域の設定をユーザが直接行う必要があるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする技術的課題は、客体の三次元多角形メッシュ構造における頂点座標を利用して、三次元深度情報及びカラー情報を取得してＤＩＢＲモデリング方法を行うための方法、すなわち、深度イメージに基づくＤＩＢＲモデリング方法と、これを行う装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、三次元多角形メッシュを深度イメージに基づいてモデリングする方法において、前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、複数のサンプリングラインを利用して前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、前記有効頂点の深度情報及びカラー情報を利用してモデリングをするステップとを含む深度イメージに基づくモデリング方法に関するものである。
【０００９】
この方法において、前記バウンディングボリュームは、三次元多角形メッシュの周縁を取り囲むのに必要な大きさを有し、前記モデリングは、ポイントテクスチャフォーマットを使用することが好ましい。
【００１０】
また、前記サンプリングラインの数は、前記モデリング時に具現しようとするポイント解像度に比例して決定されることが好ましい。具体的には、オブジェクトのモデリングの結果として得られるＤＩＢＲ(depth image-based rendering)イメージの点解像度に応じて決定されることが好ましい。
【００１１】
また、前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点のうちのいくつかを抽出するステップと、抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択するステップとを含むことが好ましい。
【００１２】
さらに、前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、前記三次元グリッドの中心点から前記三次元グリッドの頂点までの距離が、前記三次元多角形メッシュの多角形面までの距離より大きい場合に、前記三次元グリッドが前記三次元多角形メッシュの多角形面を含むと判断し、この条件を満たす三次元グリッドの頂点を前記有効頂点として抽出することが好ましい。
【００１３】
また、本発明においては、有効頂点として選択された三次元グリッドの頂点と最も近い三次元多角形メッシュ頂点の深度情報を、前記有効頂点の深度情報として用いることが好ましく、前記有効頂点のカラー情報は、前記有効頂点と最も近い三次元多角形メッシュ頂点の座標をテクスチャ座標に変換し、前記テクスチャ座標からカラー情報を求めることが好ましい。
【００１４】
さらに、本発明は、三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、前記二次元多角形メッシュの頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求めるステップと、前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含む深度イメージに基づくモデリング方法に関するものである。
【００１５】
このモデリング方法における前記モデリングは、ポイントテクスチャフォーマットを使用し、前記グリッドは、前記モデリングにより得られるＤＩＢＲイメージ（depth image-based representation）のポイント解像度に比例して決定され、前記グリッドの頂点についての深度情報及びカラー情報は、テクスチャ座標を用いて求められ、前記テクスチャ座標は、前記グリッドの頂点と最も近い二次元多角形メッシュの頂点の座標を変換して求めることが好ましい。
【００１６】
さらに本発明は、三次元多角形メッシュについての所定大きさを有するバウンディングボリュームを抽出し、複数のサンプリングラインを利用して、前記バウンディングボリュームを分割して三次元グリッドを取得する分割部と、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出する頂点抽出部と、前記三次元メッシュの複数の頂点の深度情報を利用して、前記有効頂点の深度情報を抽出する深度情報抽出部と、前記三次元グリッドの頂点についてのテクスチャマップを生成し、前記三次元グリッドの頂点に対応する前記テクスチャマップにおけるテクスチャ座標を利用して、各有効頂点のカラー情報を抽出するカラー情報抽出部と、前記深度情報及びカラー情報を利用してモデリングするモデリング部とを備える深度イメージに基づくモデリング装置に関するものである。
【００１７】
この装置では、前記三次元多角形メッシュの周縁を取り囲むのに必要な大きさの前記バウンディングボリュームを抽出し、前記バウンディングボリュームの分割に用いられる前記サンプリングラインの数は、前記モデリング時に具現しようとするポイント解像度に基づいて決定されることが好ましい。
【００１８】
さらに、前記頂点抽出部は、前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点を抽出し、抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択することが好ましい。
【００１９】
また、前記有効頂点のカラー情報は、中心座標系を用いて前記各有効頂点の座標をテクスチャ座標に変換し、各有効頂点のテクスチャ座標はＲＧＢ値に変換して取得することが好ましい。
【００２０】
また、本発明は、三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するテクスチャマップ生成部と、前記に次元多角形メッシュに重畳させるグリッドを生成するグリッド生成部と、前記二次元多角形メッシュの複数の頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求める深度情報抽出部と、前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするモデリング部とを含んで構成される深度イメージに基づくモデリング装置に関するものである。
【００２１】
また、本発明は、コンピュータで読取可能な記録媒体に関するものであって、前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、複数のサンプリングラインを利用し、前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、前記有効頂点の深度情報及びカラー情報を利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体に関するものである。
【００２２】
さらに、本発明は、コンピュータで読取可能な記録媒体に関するものであって、三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、前記二次元多角形メッシュの頂点を利用して、前記グリッド頂点についての深度情報と、カラー情報とを求めるステップと、前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体に関するものである。
【発明の効果】
【００２３】
本発明によれば、何枚もの深さ映像を合わせる作業が必要なく、多角形を介して直接深さ情報を得ることができるので、正確度が高い。また、複数の仮想カメラを設置する必要がないので、作業過程を短縮でき、カメラの死角地帯に係る深さ情報も抽出可能である。また、ＢＶがポイントの解像度に比例して決定されるので、画質が改善され、ユーザが介入する過程が必要ない。
【発明を実施するための最良の形態】
【００２４】
以下、添付された図面を参照しつつ、本発明の詳細に説明する。
図３は、本実施形態に係るＤＩＢＲモデリング装置のブロック図である。
図３に示すように、このＤＩＢＲモデリング装置は、分割部３０と、頂点抽出部３１と、深度情報抽出部３２と、カラー情報抽出部３３と、ＤＩＢＲ部３４とを備えて構成される。
次に、この図３に示すＤＩＢＲモデリング装置の動作を、図４のフローチャートを参照して説明する。
図４は、本実施形態に係るＤＩＢＲモデリング方法に関するフローチャートである。
【００２５】
図３及び図４に示すように、分割部３０は、オーサリングツール（authoring tool）を用いて取得した３Ｄ多角形メッシュ(3D polygonal mesh)から、ＢＶ（バウンディングボリューム）を抽出する（ステップ４０）。そして、分割部３０は、複数のサンプリングライン(sampling line)を用いてＢＶを分割して、３次元グリッド(3D grid)を取得する（ステップ４１）。
ここで、ＢＶは、客体の周縁を取り囲むのに必要な大きさを有する。言い換えると、ＢＶは、客体の周囲を取り囲むことのできる最小限の大きさで生成される。なぜなら、本発明では、従来のように仮想カメラを設置する必要がないからである。
【００２６】
抽出されたＢＶの分割に用いられるサンプリングラインの本数は、ポイント(point)解像度（客体（オブジェクト）のモデリングの結果として得られるＤＩＢＲ(depth image-based rendering)イメージの点解像度）に比例するボリューム(volume)解像度に基づいて決定される。さらに詳細に説明すれば、本実施形態で用いられるＤＩＢＲフォーマットは、ポイントテクスチャフォーマットである。
ポイントテクスチャフォーマットでは、サンプリングラインと客体との間の交差点の各々は、深度情報とカラー情報とを有している。
従って、本実施形態では、最終的な３次元ＤＩＢＲのポイント解像度が一旦設定されると、抽出されたＢＶの分割に用いられるサンプリングラインの本数が、このポイント解像度に応じて一義的に決まることになる。
図５は、複数のサンプリングラインを利用してＢＶを分割して得られる三次元グリッドを示す図である。
【００２７】
三次元多角形メッシュの生成に用いられるオーサリングツール（authoring tool）としては、３ＤＳ Ｍａｘや、Ｍａｙａなどのような従来公知の３次元グラフィックツールを用いることができる。
【００２８】
頂点抽出部３１は、分割された三次元グリッドの頂点のうち、三次元多角形メッシュと交差する頂点を有効頂点として抽出する。
言い換えると、頂点抽出部３１は、３次元多角形メッシュと交差する３Ｄグリッドから抽出される複数の頂点のうちのいくつかを、有効頂点として選択する。
具体的に説明をすると、頂点抽出部３１は、３次元多角形メッシュの多角形面を含む三次元グリッドの複数の立方体から、頂点を抽出する（ステップ４２）。
【００２９】
ここで、三次元グリッドの中心点から三次元多角形メッシュの多角形面までの距離が、三次元グリッドの中心点から立方体形状の三次元グリッドの頂点までの距離より小さければ、該当三次元グリッドが多角形面を備えていると判別する。
言い換えると、三次元グリッドの中心点から三次元グリッドの頂点までの距離が、三次元多角形メッシュの多角形面までの距離より大きい場合に、三次元グリッドが三次元多角形メッシュの多角形面を含むと判断する。
【００３０】
そして、頂点抽出部３１は、ステップ４２において抽出された頂点の中から、いくつかを、有効頂点として選択する（ステップ４３）。
頂点が有効であるか否かは、該当頂点を対応する多角形面に投影した際に、投影された点が、対応する多角形面の内部に存在するか否か（内側に位置するか否か）に基づき判断する。ここで、投影された点が多角形面の内部に存在しているか否かの判断は、投影された点により内部分割された多角形の面積の和が総面積の和と同じであるか否かを判別してなされる。
【００３１】
ここで、図６Ａに示すような三角形ＡＢＣを、例に挙げて説明をする。
投影点Ｄが三角形ＡＢＣの内部にある場合には、三角形ＡＢＣの面積は、三角形ＡＢＤの面積と、三角形ＡＤＣの面積と、三角形ＢＤＣの面積との和と同じになる。しかし、図６Ｂのように、投影点Ｄが三角形ＡＢＣの外部にある場合には、三角形ＡＢＣの面積は、三角形ＡＢＤの面積と、三角形ＡＤＣの面積と、三角形ＢＤＣの面積との和と同じにはならない。
【００３２】
有効な頂点が選択されると、深度情報抽出部３２は、有効頂点に関する深度情報を抽出し、カラー情報抽出部３３は、カラー情報を抽出する（ステップ４４）。
【００３３】
有効頂点に関する深度情報は、図７に図示されているように、有効頂点と距離が最も近い３Ｄ多角形メッシュの頂点の深度情報に置き換えることができる。
図７は、図５の参照番号５０で示す部分を拡大して示したものである。
図７において、７０はグリッド頂点を示し、７１は多角形のメッシュ頂点を示す。
【００３４】
図８に示すように、有効頂点に関するカラー情報は、各有効頂点の座標（ｘ，ｙ，ｚ）を、中心座標系（Ｂａｒｙｃｅｎｔｒｉｃ ｃｏｏｒｄｉｎａｔｅ）を利用してテクスチャマップのテクスチャ座標（Ｕ，Ｖ）に変換し、これに続いて各有効頂点のテクスチャ座標（Ｕ，Ｖ）の値をＲＧＢのカラー値に変換することで得ることができる。
【００３５】
ＤＩＢＲ部３４は、有効頂点に関する深度情報及びカラー情報を、ＤＩＢＲフォーマットの情報に変換すると共にこのＤＩＢＲフォーマットの情報をモデリングすることで、三次元のＤＩＢＲイメージ（depth image-based representation image）を生成する（ステップ４５）。
【００３６】
図９は、本発明の他の実施形態に係る深度イメージに基づくモデリング方法に関するフローチャートである。
この方法では、始めに、三次元多角形メッシュについてのテクスチャマップを、前記したオーサリングツール（authoring tool）を用いて生成する（ステップ９０）。
テクスチャマップに含まれる２次元多角形メッシュにグリッドを重畳させる（ステップ９１）。ここで、グリッドは、前記したように複数のサンプリングラインを用いて生成される。
【００３７】
本実施形態でも、最終的な３次元ＤＩＢＲイメージのポイント解像度が決定されると、グリッドの生成に用いられるサンプリングラインの本数は、ポイント解像度に比例して一義的に決定される。
図１０Ａは、テクスチャマップの一部分にグリッド重ねて表示したものである。この図においては、図示されているグリッドは、説明の便宜のために間隔が大きく描かれているが、グリッドの隣接するサンプリングラインの間隔は、２次元多角形メッシュの解像度よりも小さいことが望ましい。
【００３８】
各グリッド頂点に対し、グリッド頂点と最も近い多角形メッシュの頂点についての深さとカラーの情報を、グリッド頂点の深さとカラーの情報に代替する（ステップ９２）。
言い換えると、２次元多角形メッシュの複数の頂点に関する深度情報とカラー情報とは、グリッドの頂点のうちの最も近い頂点に関する深度情報とカラー情報とに置き換えられる（ステップ９２）。
図１０Ｂは、図１０Ａの参照番号１００で示す部分を拡大して図示したものである。
【００３９】
ここで、図７において、参照番号７０はグリッド頂点を示し、参照番号７１は多角形メッシュの頂点を示すものである。
また、参照番号１０１は、グリッド頂点を表す。参照番号１０２及び１０３は、それぞれ多角形メッシュの頂点を図示したものである。
グリッド頂点１０１に関する深度情報及びカラー情報は、グリッド頂点１０１に最も近い多角形メッシュの頂点１０２が有するテクスチャ座標を用いて取得することができる。
頂点１０２に関するカラー情報は、テクスチャ座標（Ｕ，Ｖ）の値を、ＲＧＢ値に変換することで取得することができる。
また、多角形メッシュ頂点１０２の深度情報は、テクスチャ座標（Ｕ，Ｖ）を中心座標系（Barycentric coordinate system）を利用して、（ｘ，ｙ，ｚ）座標に変換することで取得することができる。
【００４０】
各グリッド頂点についてのカラー情報及び深度情報を、それぞれＤＩＢＲフォーマットの情報に変換し、３次元ＤＩＢＲイメージを生成する（ステップ９３）。
【００４１】
本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。
ここでいう、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＮ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ記録装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマらにより容易に推論可能である。
【００４２】
すなわち、ここでいう本発明に係るコンピュータで読み取り可能な記録媒体とは、前記した深度イメージに基づくモデリング方法をコンピュータに実行させるためのプログラムが記録された記録媒体であって、具体的には、コンピュータに前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、複数のサンプリングラインを利用し、前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、前記有効頂点の深度情報及びカラー情報を利用してモデリングするステップとしての機能を実行させるプログラムが記録された記録媒体である。
【００４３】
さらに言い換えると、コンピュータを、三次元多角形メッシュについての所定大きさを有するバウンディングボリュームを抽出し、複数のサンプリングラインを利用して、前記バウンディングボリュームを分割して三次元グリッドを取得する分割手段、前記三次元多角形メッシュと交差する全気団次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出する頂点抽出手段、前記三次元メッシュの複数の頂点の深度情報を利用して、前記有効頂点の深度情報を抽出する深度情報抽出手段、前記三次元グリッドの頂点についてのテクスチャマップを生成し、前記三次元グリッドの頂点に対応する前記テクスチャマップにおけるテクスチャ座標を利用して、各有効頂点のカラー情報を抽出するカラー情報抽出手段、前記深度情報及びカラー情報を利用してモデリングするモデリング手段として機能させるプログラム自体、若しくはこのプログラムを記憶した記録媒体として具現化することができる。
【００４４】
本発明について前記実施形態を参考にして説明したが、それらは、例示的なものに過ぎず、本発明に属する技術分野の当業者ならば、それらから多様な変形及び均等な他実施形態が可能であるという点が理解されるであろう。よって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により決まるものである。
【産業上の利用可能性】
【００４５】
本発明の深度イメージに基づくモデリング方法及び装置は、例えば映像関連の技術分野に効果的に適用可能である。
【図面の簡単な説明】
【００４６】
【図１Ａ】従来のＤＩＢＲ過程を図示したグラフィックである。
【図１Ｂ】従来のＤＩＢＲ過程を図示したグラフィックである。
【図１Ｃ】従来のＤＩＢＲ過程を図示したグラフィックである。
【図２Ａ】カメラボリュームの例を図示したグラフィックである。
【図２Ｂ】カメラボリュームの例を図示したグラフィックである。
【図３】本発明の一実施形態によるＤＩＢＲ装置に係るブロック図である。
【図４】本発明の他の実施形態によるＤＩＢＲ法に係るフローチャートである。
【図５】バウンディングボリュームを複数のサンプリングラインを利用して３Ｄグリッドに分割する過程を図示したグラフィックである。
【図６Ａ】三次元グリッド頂点を多角形面に投影した例を図示した図面である。
【図６Ｂ】三次元グリッド頂点を多角形面に投影した例を図示した図面である。
【図７】図５の参照番号５０の部分を拡大して図示したグラフィックである。
【図８】三次元多角形メッシュについてのテクスチャマップを図示したグラフィックである。
【図９】本発明の他の実施形態による深度イメージに基づくモデリング方法に係るフローチャートを図示した図面である。
【図１０Ａ】テクスチャマップの一部分にグリッドを図示したグラフィックである。
【図１０Ｂ】図１０Ａの参照番号１００の部分を拡大して図示したグラフィックである。
【符号の説明】
【００４７】
３０ 分割部
３１ 頂点抽出部
３２ 深さ情報抽出部
３３ カラー情報抽出部
３４ ＤＩＢＲ部
【技術分野】
【０００１】
本発明は、深度イメージに基づくモデリング方法（a depth image-based modeling method）及び装置に係り、特に、深度情報とカラー情報とを多角形モデル（polygonal model）から取得してモデリングを行うモデリング方法及び装置に関する。
【背景技術】
【０００２】
深度イメージに基づく表現（ＤＩＢＲ：Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Representation）は、静止画像または動画像において表示された客体（ｏｂｊｅｃｔ）の各仮想点から得られた複数の画像と、各画像の画素毎の（pixel-wise）深度情報とを合成する技術である。
一般に、ＤＩＢＲは、元画像の点を、元画像の各画素の深度情報を利用して三次元（３Ｄ）空間に再投影する過程と、これら３Ｄ空間上の点を、所定のビューイング（ｖｉｅｗｉｎｇ）位置にある仮想カメラの映像平面に投影する過程とからなる。
すなわち、ＤＩＢＲは、二次元（２Ｄ）画像を三次元（３Ｄ）空間に再投影する段階と、再投影結果を２次元空間に投影し直す段階とから構成される。
【０００３】
図１Ａ乃至図１Ｃには、従来のＤＩＢＲモデリング方法の過程が示されている。
図１Ａにおいて、参照番号１０は客体を示し、参照符号１１は仮想カメラを示している。図１Ａに示すように、従来のＤＩＢＲモデリング方法では、客体１０を中心とした複数の位置に仮想カメラ１１が設置され、客体１０に関する複数の映像が得られる。図１Ｂは、仮想カメラ１１により得られた複数のカラーイメージ１２と、深度情報を有する深度イメージ１３とを図示したものである。ここで、深度イメージ１３はグレイスケールイメージである。
図から明らかなように、仮想カメラ１１は、客体の前後左右上下方向に位置して、客体に関する映像（イメージ）を得ることが判る。
図１Ｃは、図１Ｂに示したカラーイメージと深度イメージとを合成して得られるＤＩＢＲイメージである。
【０００４】
しかし、従来のＤＩＢＲモデリング方法の場合、何台もの仮想カメラを利用して映像を得るので、作業速度が遅いという問題点があり、かかる問題は、複雑な客体である場合、仮想カメラがさらに増加してしまうので、さらに深刻化する。
【０００５】
また、図２Ａ及び図２Ｂに示すように従来のＤＩＢＲモデリング方法の場合、客体を取り囲む最小の体積を有するカメラバウンディングボリューム（ＢＶ：Ｂｏｕｎｄｉｎｇ Ｖｏｌｕｍｅ）を手動で調整する必要があるので、この調整を行う作業者の能力によって画質が変わってしまうという問題があった。
ここで、図２Ａには、ＢＶの最適化が良好に行われた場合の例が示されており、図２Ｂには、ＢＶの最適化が良好に行われなかった場合の例が示されている。
【０００６】
さらに、従来のＤＩＢＲモデリング方法の場合、客体の複雑度により、仮想カメラの領域の設定をユーザが直接行う必要があるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする技術的課題は、客体の三次元多角形メッシュ構造における頂点座標を利用して、三次元深度情報及びカラー情報を取得してＤＩＢＲモデリング方法を行うための方法、すなわち、深度イメージに基づくＤＩＢＲモデリング方法と、これを行う装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、三次元多角形メッシュを深度イメージに基づいてモデリングする方法において、前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、複数のサンプリングラインを利用して前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、前記有効頂点の深度情報及びカラー情報を利用してモデリングをするステップとを含む深度イメージに基づくモデリング方法に関するものである。
【０００９】
この方法において、前記バウンディングボリュームは、三次元多角形メッシュの周縁を取り囲むのに必要な大きさを有し、前記モデリングは、ポイントテクスチャフォーマットを使用することが好ましい。
【００１０】
また、前記サンプリングラインの数は、前記モデリング時に具現しようとするポイント解像度に比例して決定されることが好ましい。具体的には、オブジェクトのモデリングの結果として得られるＤＩＢＲ(depth image-based rendering)イメージの点解像度に応じて決定されることが好ましい。
【００１１】
また、前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点のうちのいくつかを抽出するステップと、抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択するステップとを含むことが好ましい。
【００１２】
さらに、前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、前記三次元グリッドの中心点から前記三次元グリッドの頂点までの距離が、前記三次元多角形メッシュの多角形面までの距離より大きい場合に、前記三次元グリッドが前記三次元多角形メッシュの多角形面を含むと判断し、この条件を満たす三次元グリッドの頂点を前記有効頂点として抽出することが好ましい。
【００１３】
また、本発明においては、有効頂点として選択された三次元グリッドの頂点と最も近い三次元多角形メッシュ頂点の深度情報を、前記有効頂点の深度情報として用いることが好ましく、前記有効頂点のカラー情報は、前記有効頂点と最も近い三次元多角形メッシュ頂点の座標をテクスチャ座標に変換し、前記テクスチャ座標からカラー情報を求めることが好ましい。
【００１４】
さらに、本発明は、三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、前記二次元多角形メッシュの頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求めるステップと、前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含む深度イメージに基づくモデリング方法に関するものである。
【００１５】
このモデリング方法における前記モデリングは、ポイントテクスチャフォーマットを使用し、前記グリッドは、前記モデリングにより得られるＤＩＢＲイメージ（depth image-based representation）のポイント解像度に比例して決定され、前記グリッドの頂点についての深度情報及びカラー情報は、テクスチャ座標を用いて求められ、前記テクスチャ座標は、前記グリッドの頂点と最も近い二次元多角形メッシュの頂点の座標を変換して求めることが好ましい。
【００１６】
さらに本発明は、三次元多角形メッシュについての所定大きさを有するバウンディングボリュームを抽出し、複数のサンプリングラインを利用して、前記バウンディングボリュームを分割して三次元グリッドを取得する分割部と、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出する頂点抽出部と、前記三次元メッシュの複数の頂点の深度情報を利用して、前記有効頂点の深度情報を抽出する深度情報抽出部と、前記三次元グリッドの頂点についてのテクスチャマップを生成し、前記三次元グリッドの頂点に対応する前記テクスチャマップにおけるテクスチャ座標を利用して、各有効頂点のカラー情報を抽出するカラー情報抽出部と、前記深度情報及びカラー情報を利用してモデリングするモデリング部とを備える深度イメージに基づくモデリング装置に関するものである。
【００１７】
この装置では、前記三次元多角形メッシュの周縁を取り囲むのに必要な大きさの前記バウンディングボリュームを抽出し、前記バウンディングボリュームの分割に用いられる前記サンプリングラインの数は、前記モデリング時に具現しようとするポイント解像度に基づいて決定されることが好ましい。
【００１８】
さらに、前記頂点抽出部は、前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点を抽出し、抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択することが好ましい。
【００１９】
また、前記有効頂点のカラー情報は、中心座標系を用いて前記各有効頂点の座標をテクスチャ座標に変換し、各有効頂点のテクスチャ座標はＲＧＢ値に変換して取得することが好ましい。
【００２０】
また、本発明は、三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するテクスチャマップ生成部と、前記に次元多角形メッシュに重畳させるグリッドを生成するグリッド生成部と、前記二次元多角形メッシュの複数の頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求める深度情報抽出部と、前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするモデリング部とを含んで構成される深度イメージに基づくモデリング装置に関するものである。
【００２１】
また、本発明は、コンピュータで読取可能な記録媒体に関するものであって、前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、複数のサンプリングラインを利用し、前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、前記有効頂点の深度情報及びカラー情報を利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体に関するものである。
【００２２】
さらに、本発明は、コンピュータで読取可能な記録媒体に関するものであって、三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、前記二次元多角形メッシュの頂点を利用して、前記グリッド頂点についての深度情報と、カラー情報とを求めるステップと、前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体に関するものである。
【発明の効果】
【００２３】
本発明によれば、何枚もの深さ映像を合わせる作業が必要なく、多角形を介して直接深さ情報を得ることができるので、正確度が高い。また、複数の仮想カメラを設置する必要がないので、作業過程を短縮でき、カメラの死角地帯に係る深さ情報も抽出可能である。また、ＢＶがポイントの解像度に比例して決定されるので、画質が改善され、ユーザが介入する過程が必要ない。
【発明を実施するための最良の形態】
【００２４】
以下、添付された図面を参照しつつ、本発明の詳細に説明する。
図３は、本実施形態に係るＤＩＢＲモデリング装置のブロック図である。
図３に示すように、このＤＩＢＲモデリング装置は、分割部３０と、頂点抽出部３１と、深度情報抽出部３２と、カラー情報抽出部３３と、ＤＩＢＲ部３４とを備えて構成される。
次に、この図３に示すＤＩＢＲモデリング装置の動作を、図４のフローチャートを参照して説明する。
図４は、本実施形態に係るＤＩＢＲモデリング方法に関するフローチャートである。
【００２５】
図３及び図４に示すように、分割部３０は、オーサリングツール（authoring tool）を用いて取得した３Ｄ多角形メッシュ(3D polygonal mesh)から、ＢＶ（バウンディングボリューム）を抽出する（ステップ４０）。そして、分割部３０は、複数のサンプリングライン(sampling line)を用いてＢＶを分割して、３次元グリッド(3D grid)を取得する（ステップ４１）。
ここで、ＢＶは、客体の周縁を取り囲むのに必要な大きさを有する。言い換えると、ＢＶは、客体の周囲を取り囲むことのできる最小限の大きさで生成される。なぜなら、本発明では、従来のように仮想カメラを設置する必要がないからである。
【００２６】
抽出されたＢＶの分割に用いられるサンプリングラインの本数は、ポイント(point)解像度（客体（オブジェクト）のモデリングの結果として得られるＤＩＢＲ(depth image-based rendering)イメージの点解像度）に比例するボリューム(volume)解像度に基づいて決定される。さらに詳細に説明すれば、本実施形態で用いられるＤＩＢＲフォーマットは、ポイントテクスチャフォーマットである。
ポイントテクスチャフォーマットでは、サンプリングラインと客体との間の交差点の各々は、深度情報とカラー情報とを有している。
従って、本実施形態では、最終的な３次元ＤＩＢＲのポイント解像度が一旦設定されると、抽出されたＢＶの分割に用いられるサンプリングラインの本数が、このポイント解像度に応じて一義的に決まることになる。
図５は、複数のサンプリングラインを利用してＢＶを分割して得られる三次元グリッドを示す図である。
【００２７】
三次元多角形メッシュの生成に用いられるオーサリングツール（authoring tool）としては、３ＤＳ Ｍａｘや、Ｍａｙａなどのような従来公知の３次元グラフィックツールを用いることができる。
【００２８】
頂点抽出部３１は、分割された三次元グリッドの頂点のうち、三次元多角形メッシュと交差する頂点を有効頂点として抽出する。
言い換えると、頂点抽出部３１は、３次元多角形メッシュと交差する３Ｄグリッドから抽出される複数の頂点のうちのいくつかを、有効頂点として選択する。
具体的に説明をすると、頂点抽出部３１は、３次元多角形メッシュの多角形面を含む三次元グリッドの複数の立方体から、頂点を抽出する（ステップ４２）。
【００２９】
ここで、三次元グリッドの中心点から三次元多角形メッシュの多角形面までの距離が、三次元グリッドの中心点から立方体形状の三次元グリッドの頂点までの距離より小さければ、該当三次元グリッドが多角形面を備えていると判別する。
言い換えると、三次元グリッドの中心点から三次元グリッドの頂点までの距離が、三次元多角形メッシュの多角形面までの距離より大きい場合に、三次元グリッドが三次元多角形メッシュの多角形面を含むと判断する。
【００３０】
そして、頂点抽出部３１は、ステップ４２において抽出された頂点の中から、いくつかを、有効頂点として選択する（ステップ４３）。
頂点が有効であるか否かは、該当頂点を対応する多角形面に投影した際に、投影された点が、対応する多角形面の内部に存在するか否か（内側に位置するか否か）に基づき判断する。ここで、投影された点が多角形面の内部に存在しているか否かの判断は、投影された点により内部分割された多角形の面積の和が総面積の和と同じであるか否かを判別してなされる。
【００３１】
ここで、図６Ａに示すような三角形ＡＢＣを、例に挙げて説明をする。
投影点Ｄが三角形ＡＢＣの内部にある場合には、三角形ＡＢＣの面積は、三角形ＡＢＤの面積と、三角形ＡＤＣの面積と、三角形ＢＤＣの面積との和と同じになる。しかし、図６Ｂのように、投影点Ｄが三角形ＡＢＣの外部にある場合には、三角形ＡＢＣの面積は、三角形ＡＢＤの面積と、三角形ＡＤＣの面積と、三角形ＢＤＣの面積との和と同じにはならない。
【００３２】
有効な頂点が選択されると、深度情報抽出部３２は、有効頂点に関する深度情報を抽出し、カラー情報抽出部３３は、カラー情報を抽出する（ステップ４４）。
【００３３】
有効頂点に関する深度情報は、図７に図示されているように、有効頂点と距離が最も近い３Ｄ多角形メッシュの頂点の深度情報に置き換えることができる。
図７は、図５の参照番号５０で示す部分を拡大して示したものである。
図７において、７０はグリッド頂点を示し、７１は多角形のメッシュ頂点を示す。
【００３４】
図８に示すように、有効頂点に関するカラー情報は、各有効頂点の座標（ｘ，ｙ，ｚ）を、中心座標系（Ｂａｒｙｃｅｎｔｒｉｃ ｃｏｏｒｄｉｎａｔｅ）を利用してテクスチャマップのテクスチャ座標（Ｕ，Ｖ）に変換し、これに続いて各有効頂点のテクスチャ座標（Ｕ，Ｖ）の値をＲＧＢのカラー値に変換することで得ることができる。
【００３５】
ＤＩＢＲ部３４は、有効頂点に関する深度情報及びカラー情報を、ＤＩＢＲフォーマットの情報に変換すると共にこのＤＩＢＲフォーマットの情報をモデリングすることで、三次元のＤＩＢＲイメージ（depth image-based representation image）を生成する（ステップ４５）。
【００３６】
図９は、本発明の他の実施形態に係る深度イメージに基づくモデリング方法に関するフローチャートである。
この方法では、始めに、三次元多角形メッシュについてのテクスチャマップを、前記したオーサリングツール（authoring tool）を用いて生成する（ステップ９０）。
テクスチャマップに含まれる２次元多角形メッシュにグリッドを重畳させる（ステップ９１）。ここで、グリッドは、前記したように複数のサンプリングラインを用いて生成される。
【００３７】
本実施形態でも、最終的な３次元ＤＩＢＲイメージのポイント解像度が決定されると、グリッドの生成に用いられるサンプリングラインの本数は、ポイント解像度に比例して一義的に決定される。
図１０Ａは、テクスチャマップの一部分にグリッド重ねて表示したものである。この図においては、図示されているグリッドは、説明の便宜のために間隔が大きく描かれているが、グリッドの隣接するサンプリングラインの間隔は、２次元多角形メッシュの解像度よりも小さいことが望ましい。
【００３８】
各グリッド頂点に対し、グリッド頂点と最も近い多角形メッシュの頂点についての深さとカラーの情報を、グリッド頂点の深さとカラーの情報に代替する（ステップ９２）。
言い換えると、２次元多角形メッシュの複数の頂点に関する深度情報とカラー情報とは、グリッドの頂点のうちの最も近い頂点に関する深度情報とカラー情報とに置き換えられる（ステップ９２）。
図１０Ｂは、図１０Ａの参照番号１００で示す部分を拡大して図示したものである。
【００３９】
ここで、図７において、参照番号７０はグリッド頂点を示し、参照番号７１は多角形メッシュの頂点を示すものである。
また、参照番号１０１は、グリッド頂点を表す。参照番号１０２及び１０３は、それぞれ多角形メッシュの頂点を図示したものである。
グリッド頂点１０１に関する深度情報及びカラー情報は、グリッド頂点１０１に最も近い多角形メッシュの頂点１０２が有するテクスチャ座標を用いて取得することができる。
頂点１０２に関するカラー情報は、テクスチャ座標（Ｕ，Ｖ）の値を、ＲＧＢ値に変換することで取得することができる。
また、多角形メッシュ頂点１０２の深度情報は、テクスチャ座標（Ｕ，Ｖ）を中心座標系（Barycentric coordinate system）を利用して、（ｘ，ｙ，ｚ）座標に変換することで取得することができる。
【００４０】
各グリッド頂点についてのカラー情報及び深度情報を、それぞれＤＩＢＲフォーマットの情報に変換し、３次元ＤＩＢＲイメージを生成する（ステップ９３）。
【００４１】
本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。
ここでいう、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＮ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ記録装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマらにより容易に推論可能である。
【００４２】
すなわち、ここでいう本発明に係るコンピュータで読み取り可能な記録媒体とは、前記した深度イメージに基づくモデリング方法をコンピュータに実行させるためのプログラムが記録された記録媒体であって、具体的には、コンピュータに前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、複数のサンプリングラインを利用し、前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、前記有効頂点の深度情報及びカラー情報を利用してモデリングするステップとしての機能を実行させるプログラムが記録された記録媒体である。
【００４３】
さらに言い換えると、コンピュータを、三次元多角形メッシュについての所定大きさを有するバウンディングボリュームを抽出し、複数のサンプリングラインを利用して、前記バウンディングボリュームを分割して三次元グリッドを取得する分割手段、前記三次元多角形メッシュと交差する全気団次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出する頂点抽出手段、前記三次元メッシュの複数の頂点の深度情報を利用して、前記有効頂点の深度情報を抽出する深度情報抽出手段、前記三次元グリッドの頂点についてのテクスチャマップを生成し、前記三次元グリッドの頂点に対応する前記テクスチャマップにおけるテクスチャ座標を利用して、各有効頂点のカラー情報を抽出するカラー情報抽出手段、前記深度情報及びカラー情報を利用してモデリングするモデリング手段として機能させるプログラム自体、若しくはこのプログラムを記憶した記録媒体として具現化することができる。
【００４４】
本発明について前記実施形態を参考にして説明したが、それらは、例示的なものに過ぎず、本発明に属する技術分野の当業者ならば、それらから多様な変形及び均等な他実施形態が可能であるという点が理解されるであろう。よって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により決まるものである。
【産業上の利用可能性】
【００４５】
本発明の深度イメージに基づくモデリング方法及び装置は、例えば映像関連の技術分野に効果的に適用可能である。
【図面の簡単な説明】
【００４６】
【図１Ａ】従来のＤＩＢＲ過程を図示したグラフィックである。
【図１Ｂ】従来のＤＩＢＲ過程を図示したグラフィックである。
【図１Ｃ】従来のＤＩＢＲ過程を図示したグラフィックである。
【図２Ａ】カメラボリュームの例を図示したグラフィックである。
【図２Ｂ】カメラボリュームの例を図示したグラフィックである。
【図３】本発明の一実施形態によるＤＩＢＲ装置に係るブロック図である。
【図４】本発明の他の実施形態によるＤＩＢＲ法に係るフローチャートである。
【図５】バウンディングボリュームを複数のサンプリングラインを利用して３Ｄグリッドに分割する過程を図示したグラフィックである。
【図６Ａ】三次元グリッド頂点を多角形面に投影した例を図示した図面である。
【図６Ｂ】三次元グリッド頂点を多角形面に投影した例を図示した図面である。
【図７】図５の参照番号５０の部分を拡大して図示したグラフィックである。
【図８】三次元多角形メッシュについてのテクスチャマップを図示したグラフィックである。
【図９】本発明の他の実施形態による深度イメージに基づくモデリング方法に係るフローチャートを図示した図面である。
【図１０Ａ】テクスチャマップの一部分にグリッドを図示したグラフィックである。
【図１０Ｂ】図１０Ａの参照番号１００の部分を拡大して図示したグラフィックである。
【符号の説明】
【００４７】
３０ 分割部
３１ 頂点抽出部
３２ 深さ情報抽出部
３３ カラー情報抽出部
３４ ＤＩＢＲ部
【特許請求の範囲】
【請求項１】
三次元多角形メッシュを深度イメージに基づいてモデリングする方法において、
前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、
複数のサンプリングラインを利用して前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、
前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、
三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、
前記有効頂点の深度情報及びカラー情報を利用してモデリングをするステップとを含むことを特徴とする深度イメージに基づくモデリング方法。
【請求項２】
前記バウンディングボリュームは、
三次元多角形メッシュの周縁を取り囲むのに必要な大きさを有することを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項３】
前記モデリングは、
ポイントテクスチャフォーマットを使用することを特徴とする請求項１または請求項２に記載に記載の深度イメージに基づくモデリング方法。
【請求項４】
前記サンプリングラインの数は、
前記モデリング時に具現しようとするポイント解像度に比例して決定されることを特徴とする請求項３に記載の深度イメージに基づくモデリング方法。
【請求項５】
前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、
前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点のうちのいくつかを抽出するステップと、
抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択するステップとを含むことを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項６】
前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、
前記三次元グリッドの中心点から前記三次元グリッドの頂点までの距離が、前記三次元多角形メッシュの多角形面までの距離より大きい場合に、前記三次元グリッドが前記三次元多角形メッシュの多角形面を含むと判断し、
この条件を満たす三次元グリッドの頂点を前記有効頂点として抽出することを特徴とする請求項５に記載の深度イメージに基づくモデリング方法。
【請求項７】
有効頂点として選択された三次元グリッドの頂点と最も近い三次元多角形メッシュ頂点の深度情報を、前記有効頂点の深度情報として用いることを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項８】
前記有効頂点のカラー情報は、
前記有効頂点と最も近い三次元多角形メッシュ頂点の座標をテクスチャ座標に変換し、前記テクスチャ座標からカラー情報を求める
ことを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項９】
三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、
前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、
前記二次元多角形メッシュの複数の頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求めるステップと、
前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含むことを特徴とする深度イメージに基づくモデリング方法。
【請求項１０】
前記モデリングは、
ポイントテクスチャフォーマットを使用することを特徴とする請求項９に記載の深度イメージに基づくモデリング方法。
【請求項１１】
前記グリッドは、
前記モデリングにより得られるＤＩＢＲイメージのポイント解像度に比例して決定されることを特徴とする請求項１０に記載の深度イメージに基づくモデリング方法。
【請求項１２】
前記グリッドの頂点についての深度情報及びカラー情報は、テクスチャ座標を用いて求められ、
前記テクスチャ座標は、前記グリッドの頂点と最も近い二次元多角形メッシュの頂点の座標を変換して求めることを特徴とする請求項９に記載の深度イメージに基づくモデリング方法。
【請求項１３】
三次元多角形メッシュについての所定大きさを有するバウンディングボリュームを抽出し、複数のサンプリングラインを利用して、前記バウンディングボリュームを分割して三次元グリッドを取得する分割部と、
前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出する頂点抽出部と、
前記三次元メッシュの複数の頂点の深度情報を利用して、前記有効頂点の深度情報を抽出する深度情報抽出部と、
前記三次元グリッドの頂点についてのテクスチャマップを生成し、前記三次元グリッドの頂点に対応する前記テクスチャマップにおけるテクスチャ座標を利用して、各有効頂点のカラー情報を抽出するカラー情報抽出部と、
前記深度情報及びカラー情報を利用してモデリングするモデリング部とを備えることを特徴とする深度イメージに基づくモデリング装置。
【請求項１４】
前記分割部は、
前記三次元多角形メッシュの周縁を取り囲むのに必要な大きさの前記バウンディングボリュームを抽出し、
前記バウンディングボリュームの分割に用いられる前記サンプリングラインの数は、前記モデリング時に具現しようとするポイント解像度に基づいて決定されることを特徴とする請求項１３に記載の深度イメージに基づくモデリング装置。
【請求項１５】
前記頂点抽出部は、
前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点を抽出し、
抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択することを特徴とする請求項１３に記載の深度イメージに基づくモデリング装置。
【請求項１６】
前記有効頂点のカラー情報は、中心座標系を用いて前記各有効頂点の座標をテクスチャ座標に変換し、各有効頂点のテクスチャ座標はＲＧＢ値に変換して取得することを特徴とする請求項１３に記載の深度イメージに基づくモデリング装置。
【請求項１７】
三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するテクスチャマップ生成部と、
前記に次元多角形メッシュに重畳させるグリッドを生成するグリッド生成部と、
前記二次元多角形メッシュの複数の頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求める深度情報抽出部と、
前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするモデリング部とを含むことを特徴とする深度イメージに基づくモデリング装置。
【請求項１８】
前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、
複数のサンプリングラインを利用し、前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、
前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、
三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、
前記有効頂点の深度情報及びカラー情報を利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１９】
三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、
前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、
前記二次元多角形メッシュの頂点を利用して、前記グリッド頂点についての深度情報と、カラー情報とを求めるステップと、
前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１】
三次元多角形メッシュを深度イメージに基づいてモデリングする方法において、
前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、
複数のサンプリングラインを利用して前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、
前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、
三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、
前記有効頂点の深度情報及びカラー情報を利用してモデリングをするステップとを含むことを特徴とする深度イメージに基づくモデリング方法。
【請求項２】
前記バウンディングボリュームは、
三次元多角形メッシュの周縁を取り囲むのに必要な大きさを有することを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項３】
前記モデリングは、
ポイントテクスチャフォーマットを使用することを特徴とする請求項１または請求項２に記載に記載の深度イメージに基づくモデリング方法。
【請求項４】
前記サンプリングラインの数は、
前記モデリング時に具現しようとするポイント解像度に比例して決定されることを特徴とする請求項３に記載の深度イメージに基づくモデリング方法。
【請求項５】
前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、
前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点のうちのいくつかを抽出するステップと、
抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択するステップとを含むことを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項６】
前記三次元グリッドの複数の頂点のうちのいくつかを有効頂点として抽出するステップは、
前記三次元グリッドの中心点から前記三次元グリッドの頂点までの距離が、前記三次元多角形メッシュの多角形面までの距離より大きい場合に、前記三次元グリッドが前記三次元多角形メッシュの多角形面を含むと判断し、
この条件を満たす三次元グリッドの頂点を前記有効頂点として抽出することを特徴とする請求項５に記載の深度イメージに基づくモデリング方法。
【請求項７】
有効頂点として選択された三次元グリッドの頂点と最も近い三次元多角形メッシュ頂点の深度情報を、前記有効頂点の深度情報として用いることを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項８】
前記有効頂点のカラー情報は、
前記有効頂点と最も近い三次元多角形メッシュ頂点の座標をテクスチャ座標に変換し、前記テクスチャ座標からカラー情報を求める
ことを特徴とする請求項１に記載の深度イメージに基づくモデリング方法。
【請求項９】
三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、
前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、
前記二次元多角形メッシュの複数の頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求めるステップと、
前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含むことを特徴とする深度イメージに基づくモデリング方法。
【請求項１０】
前記モデリングは、
ポイントテクスチャフォーマットを使用することを特徴とする請求項９に記載の深度イメージに基づくモデリング方法。
【請求項１１】
前記グリッドは、
前記モデリングにより得られるＤＩＢＲイメージのポイント解像度に比例して決定されることを特徴とする請求項１０に記載の深度イメージに基づくモデリング方法。
【請求項１２】
前記グリッドの頂点についての深度情報及びカラー情報は、テクスチャ座標を用いて求められ、
前記テクスチャ座標は、前記グリッドの頂点と最も近い二次元多角形メッシュの頂点の座標を変換して求めることを特徴とする請求項９に記載の深度イメージに基づくモデリング方法。
【請求項１３】
三次元多角形メッシュについての所定大きさを有するバウンディングボリュームを抽出し、複数のサンプリングラインを利用して、前記バウンディングボリュームを分割して三次元グリッドを取得する分割部と、
前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出する頂点抽出部と、
前記三次元メッシュの複数の頂点の深度情報を利用して、前記有効頂点の深度情報を抽出する深度情報抽出部と、
前記三次元グリッドの頂点についてのテクスチャマップを生成し、前記三次元グリッドの頂点に対応する前記テクスチャマップにおけるテクスチャ座標を利用して、各有効頂点のカラー情報を抽出するカラー情報抽出部と、
前記深度情報及びカラー情報を利用してモデリングするモデリング部とを備えることを特徴とする深度イメージに基づくモデリング装置。
【請求項１４】
前記分割部は、
前記三次元多角形メッシュの周縁を取り囲むのに必要な大きさの前記バウンディングボリュームを抽出し、
前記バウンディングボリュームの分割に用いられる前記サンプリングラインの数は、前記モデリング時に具現しようとするポイント解像度に基づいて決定されることを特徴とする請求項１３に記載の深度イメージに基づくモデリング装置。
【請求項１５】
前記頂点抽出部は、
前記三次元多角形メッシュの多角形面を含む三次元グリッドの頂点を抽出し、
抽出した頂点を対応する多角形面に投影した際に、前記三次元多角形メッシュの内側に位置する頂点を有効頂点として選択することを特徴とする請求項１３に記載の深度イメージに基づくモデリング装置。
【請求項１６】
前記有効頂点のカラー情報は、中心座標系を用いて前記各有効頂点の座標をテクスチャ座標に変換し、各有効頂点のテクスチャ座標はＲＧＢ値に変換して取得することを特徴とする請求項１３に記載の深度イメージに基づくモデリング装置。
【請求項１７】
三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するテクスチャマップ生成部と、
前記に次元多角形メッシュに重畳させるグリッドを生成するグリッド生成部と、
前記二次元多角形メッシュの複数の頂点を利用して、前記グリッドの複数の頂点についての深度情報と、カラー情報とを求める深度情報抽出部と、
前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするモデリング部とを含むことを特徴とする深度イメージに基づくモデリング装置。
【請求項１８】
前記三次元多角形メッシュについてのバウンディングボリュームを抽出するステップと、
複数のサンプリングラインを利用し、前記バウンディングボリュームを分割して三次元グリッドを取得するステップと、
前記三次元多角形メッシュと交差する前記三次元グリッドの複数の頂点のうちのいくつかを、有効頂点として抽出するステップと、
三次元多角形メッシュの複数の頂点を利用して、各有効頂点に関する深度情報及びカラー情報を求めるステップと、
前記有効頂点の深度情報及びカラー情報を利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１９】
三次元多角形メッシュについてのテクスチャマップを生成し、前記三次元多角形メッシュを二次元多角形メッシュに変換するステップと、
前記二次元多角形メッシュに重畳させるグリッドを生成するステップと、
前記二次元多角形メッシュの頂点を利用して、前記グリッド頂点についての深度情報と、カラー情報とを求めるステップと、
前記グリッドの複数の頂点についての深度情報と、カラー情報とを利用してモデリングするステップとを含んで構成される深度イメージに基づくモデリング方法を実行するプログラムを記録したコンピュータで読み取り可能な記録媒体。
【図３】
【図４】
【図６Ａ】
【図６Ｂ】
【図９】
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図５】
【図７】
【図８】
【図１０Ａ】
【図１０Ｂ】
【図４】
【図６Ａ】
【図６Ｂ】
【図９】
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図５】
【図７】
【図８】
【図１０Ａ】
【図１０Ｂ】
【公開番号】特開２００６−１９０３０８（Ｐ２００６−１９０３０８Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００６−２１８０（Ｐ２００６−２１８０）
【出願日】平成１８年１月１０日（２００６．１．１０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１８年１月１０日（２００６．１．１０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
[ Back to top ]