説明

繰り返しパターンを用いた3Dメッシュの圧縮方法

工学の領域における3Dモデルは、通常、少数の大きな三角形と任意の連結性を有する、多数の連結成分を有する。大規模な3Dメッシュモデルのコンパクトな保管と高速な伝送を可能にするために、特に3Dメッシュモデル向けに設計された効率的な圧縮方式が提供される。3Dメッシュモデルをエンコーディングする方法は、繰り返しの成分を決定してクラスタリングする段階と、前記成分を正規化する段階であって、倍率と方向軸がクラスタリングされる、段階と、前記クラスタの参照値を用いて前記連結成分をエンコーディングする段階と、前記連結成分をエントロピーエンコーディングする段階とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3Dモデルの圧縮と復元を改良する方法及び装置に関し、特に、大規模な3Dモデルの圧縮と復元を改良する方法及び装置に関する。
【背景技術】
【0002】
建築設計、化学プラント及び機械CAD(computer-aided design)のような大規模な3Dの工学モデルの設計が、Second Life(登録商標)やGoogle Earth(登録商標)のような様々な仮想世界のアプリケーションにおいてますます普及している。ほとんどの工学モデルにおいては、多数の小規模から中規模のサイズの連結成分(connected component)が存在し、それぞれ平均的に二、三百個以下のポリゴンを有する。さらに、この種のモデルは、図1の「ミーティングルーム」において示されるように、様々な位置、スケール及び方向において繰り返される、多数の幾何学的な特徴を有する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
1990年前半から、3Dメッシュの効率的な圧縮のための様々なアルゴリズムが提案されてきた。既存のほとんどの3Dメッシュの圧縮アルゴリズムは、小さな三角形の高密度のメッシュを有する滑らかな表面に対して最もよく動作する。しかしながら、工学の分野の大規模な3Dモデルは、通常、多数の連結成分を有し、しばしば任意の連結性を有する少数の大きな三角形を有する。建築CADモデル及び機械CADモデルは、これらの方法が適さない、滑らかでない多数の表面を典型的に有している。さらに、ほとんどの従来の取り組みでは、それぞれ個別に連結成分を処理している。実際に、エンコーダのパフォーマンスは、幾何学的特徴の繰り返しのパターンの表現の冗長性を除去することによって、大きく増大し得る。大規模な3Dの工学モデルのコンパクトな記憶と高速な伝送を可能にするために、特に3Dメッシュモデルのために設計された、効率的な圧縮方法が必要である。大規模な3Dの工学モデルの良い圧縮方法とは、幾何学的特徴の繰り返しのパターンを自動的に発見することができ、発見された該幾何学的特徴のパターンから元のモデルを再構成(reconstruct)するための必要な情報を効率的にエンコードことができるべきである。
【0004】
非特許文献1は、大規模な3Dの工学モデルにおいて、幾何学的特徴の繰り返しを自動的に発見するための方法を提案した。しかしながら、非特許文献1は、3Dメッシュモデルについて、特に工学モデルに対して、完全な圧縮方式を提供するものではない。さらに、非特許文献1は、成分の頂点の位置の主成分分析(Principal Component Analysis; PCA)を用いている。結果として、同一の形状(geometry)と異なる連結性(connectivity)を有する成分は、同一の平均値(mean)と同一の方向軸(orientation axis)を有する。さらに、非特許文献1は、様々なスケールの繰り返しのパターンを検出することに適していない。スケール(すなわち、サイズ)においてのみ異なる二つの成分は、同一の等価な種類の特徴の繰り返しとして認識されない。さらに、非特許文献1に記載されるよりも、エンコードされたデータをさらに圧縮することが望ましい。したがって、非特許文献1の方法は、さらなる改良を必要とする。
【課題を解決するための手段】
【0005】
本発明は、特に、3Dの工学モデルのような、多数の小規模から中規模のサイズの連結成分からなり、様々な位置、スケール及び方向に繰り返す幾何学的な特徴を有する3Dメッシュのための、効率的な圧縮方法及び対応する装置を提供する。
【0006】
本発明によれば、複数の繰り返しの連結成分を有する3Dメッシュモデルをエンコーディングする方法は、次の段階を有する:第一の段階は、前記3Dメッシュモデルを自動的に分析する段階であって、繰り返しの前記成分が決定されてパターンのクラスタに分類され、夫々の成分の平均が決定され、さらに前記成分が正規化され、前記正規化は、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする、段階である。第二の段階は、前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てる段階である。第三の段階は、前記成分をエンコーディングする段階であって、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する、段階である。第四の段階は、夫々の成分の夫々のパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分をエントロピーエンコーディングする段階である。
【0007】
本発明によれば、3Dメッシュモデルをデコーディングする方法は、次の段階:受信されたデータをエントロピーデコーディングする段階と;受信されたデータをエントロピーデコーディングする段階と;パターンのクラスタの識別子と変換情報を抽出する段階であって、該変換情報は変換クラスタの識別子と変換残差とを有する、段階と;前記パターンのクラスタの識別子に従ってパターンを再構成する段階と;前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成する段階と;再構成された前記変換情報に従って再構成された前記パターンを変換する段階と;を有する。
【0008】
3Dメッシュモデルをエンコーディングする装置は、分析手段又はアナライザと、割り当て手段と、連結成分をエンコーディングする第一のエンコーディング手段(例えば、エンコーダ)と、エントロピーエンコーダである第二のエンコーディング手段とを有する。分析手段は、前記3Dメッシュモデルの自動的な分析に適しており、繰り返しの前記成分が決定されてパターンのクラスタに分類され、夫々の成分の平均又は中央が決定され、前記成分が正規化され、前記正規化は、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする。割り当て手段は、前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てに適している。エンコーディング手段は、前記成分のエンコーディングに適しており、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する。エントロピーエンコーダは、夫々の成分の夫々のパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分のエントロピーエンコーディングに適する。請求項6に開示される3Dメッシュモデルをデコーディングする装置は、エントロピーデコーダと、データ抽出手段(例えば、デマルチプレクサ)と、パターン再構成手段と、変換情報再構成手段と、変換手段とを有する。エントロピーデコーダは、受信されたデータのエントロピーデコーディングに適する。データ抽出手段は、パターンのクラスタの識別子と変換情報の抽出に適しており、該変換情報は変換クラスタの識別子と変換残差とを有する。パターン再構成手段は、前記パターンのクラスタの識別子に従うパターンの再構成に適する。前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成する変換情報再構成手段と、変換手段は、再構成された前記変換情報に従って再構成された前記パターンを変換するために適する。
【0009】
本発明による信号は、エンコーディングされた3Dメッシュモデルのデータを有し、該データは少なくとも一つのパターンのクラスタの識別子と変換情報とを有し、該変換情報は変換クラスタの識別子と変換残差を有する。
【0010】
本発明の有利な実施形態は、従属クレーム、以下の説明及び図面において開示される。
【0011】
本発明の例示的な実施形態は、添付される図面への参照と共に説明される。
【図面の簡単な説明】
【0012】
【図1】多くの特徴の繰り返しを有する例示的な3Dモデル「ミーティングルーム」を表す図。
【図2】エンコーディングの機構を表す図。
【図3】デコーディングの機構を表す図。
【図4】2Dの場合のkd木のジオメトリコーディングの原理を表す図。
【図5】「二次誤差行列」法を用いることが特に有益な、例示的な成分を表す図。
【図6】ある成分の例示的なエンコーディングを表す図。
【図7】ある成分の例示的な再構成を表す図。
【発明を実施するための形態】
【0013】
本発明は、大規模な3Dの工学モデルのための効率的な圧縮方法を提供する。そのようなモデルは、いわゆる「結合成分(connected component)」である、複数の区画(partition)から構成される。当該方法は、幾何学的特徴のパターンの繰り返しの表現における冗長性を自動的に発見して除去する段階を含む。一つの実施形態において、幾何学的なパターンの繰り返しは、連結成分を正規化し、次に互いに正規化された成分を比較することによって発見される。一つの実施形態において、正規化した後の全ての等価な連結成分は、一つの幾何学的なパターンのインスタンス(instance)と見なすことができる。原則として、等価な成分がクラスタリングされる。クラスタは、3Dモデルの一部のみか、あるいは全ての成分を指すことができる。次に、それぞれの連結成分は、対応する幾何学的なパターン(又はクラスタラングの種類)についての、英数字のIDのような識別子と、幾何学的なパターンから成分を再構成できる変換情報とによって表現することができる。この変換情報は、例としては、一つ以上の倍率(scale factor)、平均値(mean)(又は中央値(center))、方向軸(orientation axis)(又は回転の情報)又はシフト(shift)の情報であり得る。原則として、他の情報も可能である。幾何学的なパターンは、あらゆる(特に、あらゆる成熟した)3Dメッシュ圧縮方法により圧縮されることができる。一つの実施形態において、変換情報は、少なくとも、対応する成分の平均、方向軸及び倍率を有する。一つの実施形態において、それぞれの成分の方向軸は、三つの異なる次元、例えばx軸、y軸及びz軸であり得る。一つの実施形態において、全ての連結成分の方向軸は、k-means法に基づいてクラスタリングされる。一つの実施形態において、全ての連結成分の倍率もまた、k-means法に基づいてクラスタリングされる。一つの実施形態において、平均値は、k-d木のような空間のツリー構造(space tree)を用いて体系付けることによって圧縮される。すなわち、それぞれの葉ノードが、幾何学的なパターンのIDと、方向軸のクラスタのIDと、倍率のクラスタのIDとを記録する。
【0014】
本発明は、3Dの工学モデルのように、多数の連結成分からなり、多数の幾何学的な特徴の繰り返しを有する3Dメッシュのための効率的かつ完全な圧縮方式を提供する。本発明の一つの主要な特徴は、幾何学的特徴のパターンの繰り返しの表現における冗長性を発見して除去することである。本発明のもう一つの主要な特徴は、発見された幾何学的な特徴のパターンから、元のモデルを再構成するために必要な情報を効率的に圧縮することである。本発明の一つの有利な効果は、既知の方法と比較して、3Dメッシュモデルを記述するデータ量が削減されることである。一つの有利な効果は、エンコーディングがより正確なデータを与えることである。すなわち、より正確な再構成を可能にする。したがって、エンコーディングにより、質を改善し、要求される伝送及び記憶装置の帯域を減少し、かつ/又はデコーディングを高速化することができる。したがって、本発明は、エンコーディング、伝送、記憶装置及び3Dモデルの再構成に対して利点を有する。提案されるエンコーダ及びデコーダのブロック図は、図2及び図3に示される。
【0015】
図2は、本発明の一実施形態による3Dメッシュモデルのエンコーダを表す。連結成分は、三角形横断(triangle transversal)ブロックによって識別される。正規化ブロック101は、それぞれの連結成分を正規化する。一つの実施形態において、正規化は、特許文献1に記載の技術に基づく。特許文献1は、一つ以上の成分を含む3Dメッシュモデルをエンコードする方法を開示している。特許文献1に記載の正規化技術は、3D空間内で成分の正規直交基底を決定する段階であって、前記成分のそれぞれの頂点が重み付けされ、該重み付けは前記頂点の座標データと同一の三角形に属する他の頂点の座標データから決定される、段階と、前記成分の物体座標系の情報をエンコードする段階と、ワールド座標系に関する成分の方向を正規化する段階と、前記座標の位置を量子化する段階と、量子化された前記座標の位置をエンコードする段階と、を有する。
【0016】
別の実施形態において、他の正規化技術を用いてもよい。
【0017】
本発明の一実施形態によれば、それぞれの連結成分の方向及びスケールの両方が正規化される。非特許文献1は、成分の方向の正規化のみを開示する。したがって、様々なスケールの特徴の繰り返しを発見することに適していない。
【0018】
図2において、ブロック102は、繰り返される幾何学的なパターンを見つけるために、正規化された成分をマッチさせる。原則として、非特許文献1のマッチング法を用いることができる。入力モデルのそれぞれの連結成分は、対応する幾何学的パターンのIDと該幾何学的パターンとから、入力モデルを再構成するための変換情報とにより表現され得る。好ましくは、変換情報は、対応する連結成分のクラスタと、三つの方向軸と、倍率とを代表(representative)する幾何学的パターンを含む。平均値(すなわち、表現される幾何学的パターンの中央値)は伝送されず、デコーダにおいて再計算される。
【0019】
幾何学的パターンは、Edgebreakerエンコーダのような、あらゆる成熟した3Dメッシュエンコーダ(非特許文献2)により圧縮されることができる。他のメッシュエンコーダを、エンコーダブロック103において用いてもよい。複雑な3Dモデルにおける多数の連結成分を考慮すると、成分情報も多くの記憶領域を消費することになる。一つの実施形態において、本発明は、成分情報のための効率的な圧縮方法を提供する。
【0020】
大規模な3Dの工学モデルにおいて、多くの場合、全ての連結成分の中で、いくつかの主要な方向が存在することがわかっている。したがって、クラスタ分析は、方向軸105をエンコードするために、適切な選択である。原則として、あらゆるクラスタリングアルゴリズムを用いることができるが、k-means法(非特許文献3)は、クラスタリングの問題を解く、最もシンプルで効率的な、教師なし学習アルゴリズムの一つである。その手順は、与えられたデータセットをいくつかの数のクラスタに分類するための、シンプルで簡単な方法を伴う。しかしながら、クラスタの数であるkは事前に決定される必要があり、このことは通常は容易ではない。この制限を克服するために、ブロック105は、以下のようなクラスタ分析に基づいてk-means法を実行する:
αはユーザが定義した閾値であるとする。
Step 1:kを小さな数に設定する。例えば、k=4。
Step 2:k-meansクラスタリング法によりデータセットを分類する。
Step 3:各クラスタをチェックする。nは、分散(variance)がαより大きいクラスタの数であるとする。
if(n>0) then {k=k+n; Goto Step 2}
else END.
一つの実施形態において、方向軸及び倍率は、それぞれ上記のクラスタ分析方法を用いてクラスタリングされる。それぞれのクラスタの代表は、方向軸/倍率の一つのモード(mode)を定義する。方向軸/倍率は、対応する形態により予測され得る。
【0021】
セルの細分化に基づく木分解を採用する圧縮技術は、離散点を処理するために極めて効率的である。ブロック104は、全ての連結成分の平均値をエンコードするために、非特許文献4のようなkd木に基づく圧縮アルゴリズムを用いる。図4に示されるように、このアルゴリズムは、それぞれの反復により、一つのセルを二つの子のセルへと細分化し、二つの子のセルの一つの頂点の数をエンコードする。以下でより詳細に説明する。親のセルがp個の頂点を含む場合に、子のセルの一つの頂点の数は、算術符号を用いて
【数1】

を使用してエンコードされ得る。この細分化は、それぞれの空でないセルがただ一つの頂点を含むように十分小さくなり、頂点位置の十分に正確な再構成が可能になるまで、再帰的に適用される。さらなる詳細な説明が以下に与えられる。別の実施形態においては、kd木に加えて、八分木に基づく比較が、連結成分の全ての平均値を圧縮するために使用され得る(非特許文献5)。一つの実施形態において、平均値(すなわち、成分の中央値)は伝送されず、デコーダにおいて再計算される点に留意する。
【0022】
一つの実施形態において、それぞれの葉ノードは、成分の以下の情報を含む:
−幾何学的パターンのID
−それぞれの方向軸のクラスタのID及び予測残差(prediction residual)
−それぞれの倍率のクラスタのID及び予測残差
図3は、本発明の一実施形態によるデコーダを示す。エンコードされたビットストリームは、まず、エントロピーデコードされる。ここで、異なる複数の部分のデータが取得される。データの一部は、幾何学的パターンを取得するために、Edgebreakerデコーダ201に入力される。データの一部は、幾何学的パターンのクラスタの代表を含み、kd木に基づくデコーダ202に入力される。デコーダ202は、それぞれの連結成分の平均値(すなわち中央値)を提供する。平均値は、他の成分情報(パターンのID、方向軸及び倍率)とともに、復元ブロックへと伝えられる。成分の繰り返しを復元するための復元ブロックは、正規化された連結成分を復元するための第一のブロック203と、連結成分(繰り返しのない連結成分を含む)を復元する第二のブロック204と、連結成分を構築するための第三のブロック205とを有する。一つの実施形態において、デコーダは、そのインスタンスを復元する前に、それぞれの繰り返しのパターンの平均値を計算する。さらなるブロック(図3では示されない)において、完全なモデルが連結成分から構築される。
【0023】
本発明の一実施形態によれば、エントロピーデコーダ200は、方向軸の情報のデコードも行う。本発明の別の実施形態によれば、連結成分の復元には、平均値、幾何学的パターンのID、それぞれの方向軸のクラスタのID及び方向軸の予測残差、並びにそれぞれの倍率のクラスタのID及びそれぞれの連結成分の倍率の予測残差を用いる。すなわち、例えば連結成分のサイズを復元するために、倍率の情報(倍率のクラスタID及びそれぞれの倍率の予測残差を含む)がエントロピーデコードされ200、クラスタIDに従って未加工の倍率が生成され、予測残差によって更新され、そしてモデルを拡大縮小(スケール)するために用いられる倍率が得られる。方向軸のデコーディングが同様に処理される。
【0024】
それぞれのクラスタのためのクラスタの参照値(例えば、パターンのクラスタを表すパターンの幾何学的データ)は、エンコーダにおいて圧縮されて送信され、デコーダにおいて受信されて復元されることができる。別の実施形態において、デコーダは、例えばインターネットのような別のデータソースから、固有の識別子を用いてクラスタの参照データを取得することができる。例えば、パターンのクラスタPC1により表される、特定の例示的なパターンP1の連結性のデータがエンコードされ、伝送され、デコードされ得る。したがって、デコーダは、パターンのクラスタPC1を参照することにより特定されるパターンのインスタンスを再構成することができる。このことは、受信されたパターンP1を用い、倍率の情報と方向の情報とに従ってスケール及び回転し、さらにそれぞれの平均値の情報により目的の場所へ移動することによってなされる。これは、図7において示される。一つの実施形態において、スケール及び回転の前に、パターンの特定のインスタンスの残差データを追加する(インスタンスが参照パターンの正確なコピーでない場合)、さらなるステップを有する。別の実施形態において、パターンのクラスタのインスタンスが成分の正確なコピーでない場合には、残差の幾何学的データは用いられない。
【0025】
図6は、本発明の一実施形態のエンコードのステップを示す。原則として、連結成分を決定する段階602と、成分を正規化する段階604と、参照値(クラスタの代表値)に関する正規化された成分、その方向軸及び倍率を表現する段階616とが存在する。正規化する段階604は、成分の中央(すなわち平均)を決定する段階と、ワールド座標系の中央へ該中央を移動させる段階(横方向のシフト(transversal shift))と、該成分を一、二又は三軸の周りを回転させる段階と、該成分を一、二又は三軸においてスケールする段階とを有する。
【0026】
本発明の一実施形態において、圧縮された3Dメッシュモデルを有するビットストリームは:
−幾何学的パターンの数を示すいくつかのビットと;
−それぞれの幾何学的パターンのための、圧縮された前記メッシュのデータサイズの長さを示すいくつかのビットと;
−圧縮された前記幾何学的パターン(例えば、クラスタの参照データ)を表すビットと;
−方向軸のモードの数を示すいくつかのビットと;
−それぞれの方向軸のモードの詳細(例えば、クラスタの参照データ)を表すビットと;
−倍率のモードの数を示すいくつかのビットと;
−それぞれの倍率のモードの詳細(例えば、クラスタの参照データ)を表すビットと;
−kd木を記録するためのビットと;
−kd木のそれぞれの葉ノードの、幾何学的パターンのIDと方向軸のモードのIDを表すビットとを有する。
ビットストリームは、さらにエントロピーコーデックによりエンコードされ得る。
【0027】
原則として、本発明による圧縮は、パターンのクラスタを参照することにより表現される成分のためだけでなく、個別のパターンを有する他の成分、及びいかなるパターンのクラスタへの参照がない他の成分のためにも用いられることができる点に注意すべきである。
【0028】
本発明は、幾何学的な特徴のパターンの繰り返しを発見し、その中の冗長性を効率的な除去することにより、大規模な3Dの工学モデルのために改良された方法を提供する。一つの実施形態において、幾何学的パターンから元のメッシュを再構成するための変換情報は、クラスタ分析及びkd木に基づくコーデックに基づいて圧縮される。
【0029】
図4は、2Dの場合のkd木のジオメトリコーディングの実例を示す。bビットの整数の座標を有するn個の2Dの点があるとすると、最初のセルは、
【数2】

の長方形の境界ボックス(bounding box)である。アルゴリズムは、任意の固定の数のビット(例えば、32)に関して、点の総数nをエンコードすることによって開始する。次に、アルゴリズムは、メインのループを開始する。メインのループは、現在のセルを水平な軸に沿って二つに細分化し、それらのうちの一つ(例えば、左の一つ)の中に含まれる点の数を、ある最適な数のビットに符号化する。すなわち、親のセルがp個の点を含む場合に、0、1、・・・、pというp+1個の値をとり得る、半分のセルの中の点の数は、算術符号を用いて
【数3】

ビットに符号化される。第二の半分のセルの中に含まれる点の数は、明確にエンコードされる必要はない。なぜなら、総数と最初の半分のセルのために送信された数とから推測することができるためである。その後、二つのもたらされたセルのそれぞれが、同様の規則に従って垂直の軸に沿って細分化される。図4において表現される処理は、1x1より大きい、空でないセルが存在しなくなるまで繰り返す。図4について示されるように、対応するコードの列は、点の数:7、4、2、0、1、1、1、1、1、1、0、1、1、・・・のみから構成される。これらの点の位置は、出力の順番においてエンコードされる。アルゴリズムが進むにつれて、セルのサイズは小さくなり、送信されるデータはより正確な位置特定につながる。葉ノードは、1x1のサイズを有する、空でないセルである。それぞれの葉ノードは、ただ一つの幾何学的パターンを含む(幾何学的パターンのクラスタの代表又は平均)。「平均値」の語は、ここで次のような異なる意味として:成分の中央値、あるいは幾何学的パターンのクラスタを表現する成分として、用いられ得ることに注意すべきである。一般的に、パターンの平均値(すなわち、その中央値)は送信されない。なぜなら、デコーダにより計算され得るからである。一方で、幾何学的パターンである、インスタンスの平均値(すなわち、繰り返しのインスタンスについてのクラスタの代表値)は送信される。繰り返しのインスタンスの表現は、一つの実施形態において、それらを体系付けることによりkd木へと最適化されて送信される。
【0030】
一つの実施形態において、成分を正規化する場合に、本発明は、「二次誤差行列(quadric error matrix)」(QEM)法を用いる。一方、非特許文献1では頂点位置のPCAを用いている。QEM法は、以下で詳細に説明され、非特許文献6においてさらに詳細に説明されている。QEM法は、頂点の位置だけでなくメッシュの三角形にも依存するため、頂点の位置のPCAよりも正確な方向軸と平均値を与えることができる。したがって、本発明の正確さは、先行技術のシステムと比べて改善される。デコーダは、インスタンスを復元する前に、それぞれのパターンの平均値を計算する必要がある。連結成分のQEMは、その全ての三角形によって定義される。従って、QEMを用いることにより、それぞれの成分の平均値及び方向軸は、形状だけでなく、成分の連結性にも依存する。図5において示される成分に対して、二次誤差行列は、固有の方向軸を与えることができる。しかしながら、頂点位置のPCAは、方向を正規化するために用いられる場合に、同様のことを行うことができない。なぜなら、PCAは、成分と別の成分(例えば、純粋なシリンダ(pure cylinder))とを、同一の頂点の位置を用いて区別できないためである。したがって、二次誤差行列は、連結成分の正規化に対してより良い選択である。
【0031】
以下において、先行技術、特に非特許文献1に対する、本発明の例示的な実施形態の利点を説明する。
【0032】
それぞれの連結成分の方向とスケールの両方が、本発明において正規化される。非特許文献1のような先行技術は、成分の方向のみを正規化する。したがって、様々なスケールの特徴の繰り返しを発見することができない。非特許文献1において、二つのメッシュの方向づけられた境界ボックス(oriented bounding box; OBB)の次元が一致しない場合には、さらなるマッチングは実行されないことが言及されている。
【0033】
さらに、非特許文献1は、変換情報を圧縮することができない。しかしながら、本発明は、位置、方向軸及び倍率を含む変換情報を圧縮するための完全な解決策を提供する。対応するパターンから連結成分を復元するために、変換情報が必要とされる。一つの実施形態において、一つの連結成分の変換情報は、位置(移動(translation)のため、三つの浮動小数点の値)、方向軸(回転(rotation)のため、四つの浮動小数点の値)及び倍率(三つの浮動小数点の値)を含む。したがって、一つの連結成分の復元された変換情報は、十個の浮動小数点の値を含む。通常は多数の連結成分が存在するため、全ての連結成分の変換情報の圧縮率を顕著に減少させることが本発明の利点である。そして、データ構造又はモードの表示により、デコーダはそれを検出することができる。
【0034】
非特許文献1は、k個の頂点を有する一つのパターンの繰り返しのインスタンスが三つの整数値と七つの浮動小数点の数を必要とし、このエンコーディングの方式が四つ又はそれ以上の頂点の繰り返しのパターンのための圧縮を放棄し始めることに言及しており、非特許文献1において、少なくとも倍率のような変換情報がクラスタリングされ、あるいは圧縮されないことは明らかである。したがって、本発明よりも効率的でない圧縮方式が採用されている。
【0035】
さらに、本発明は、繰り返しのパターンの発見の間に、成分を調整するための二次誤差行列を用いることができる。したがって、同一の形状と異なる連結性とを有する成分が、異なる平均値と方向軸とを有する。非特許文献1は、成分の頂点の位置のPCAを用いるため、同一の形状と異なる連結性とを有する成分が、同一の平均値と方向軸とを有する。
【0036】
ペアごとの(pair-wise)成分のマッチングを行っている間に、両方のアルゴリズムは、変換後の頂点の位置を比較のみを行う。したがって、同一の形状で異なるトポロジを有する、異なった成分を区別することができる(非特許文献1では区別できない)。本発明によって改良されるデコーダは、繰り返しのインスタンスを復元するために、パターンの平均値と方向とを計算する。さらに、PCAの悪化するケースに対して(図5への参照と共に上で説明した)、二つの方法についての解は異なるものである。すなわち、本発明は非特許文献1の解より優れている。
【0037】
さらに、本発明において、全ての繰り返しのインスタンスの位置は、非特許文献4に記載のkd木に基づくアルゴリズムにより圧縮される。加えて、本発明において、繰り返しのインスタンスの方向軸は、k-means法に基づくクラスタリング分析により圧縮される。加えて、本発明において、繰り返しのインスタンスの倍率は、k-means法に基づくクラスタリング分析により圧縮される。
【0038】
方法、信号又は装置の一つの実施形態において、変換情報は、クラスタの代表である、成分の幾何学的なデータを有する。方法、信号又は装置の一つの実施形態において、表現される幾何学的なパターンの中央値は送信されず、デコーダにおいて再計算される。
【0039】
エンコーディング方法の一つの実施形態において、少なくとも方向軸及び倍率についてのクラスタリングは:初期パラメータkに基づいてk-means法によるクラスタリングを実行する段階であって、複数のクラスタを生じる、段階と;前記クラスタの夫々に対して分散を決定し、決定された前記分散を初期の分散の閾値と比較する段階と;決定された前記分散が前記閾値より大きいクラスタの数nを決定する段階と;一つ以上のクラスタにおいて決定された前記分散が前記閾値より大きい間は前記パラメータkを増加させてk-means法によるクラスタリングを実行する前記段階を繰り返し、決定された前記分散が全てのクラスタにおいて前記閾値以下になるまで、増加した前記パラメータkに基づいて夫々のクラスタのための分散を決定して該分散を前記分散閾値と比較する段階と;を有する拡張されたk-means法のクラスタリング方法を用いる。
【0040】
エンコーディングのための装置の一つの実施形態において、少なくとも方向軸及び倍率についてのクラスタリングには、拡張されたk-means法によるクラスタリングを用いられる。当該装置は:初期パラメータkに基づいてk-means法によるクラスタリングを実行するクラスタリング手段であって、複数のクラスタを生じる、クラスタリング手段と、前記クラスタの夫々に対して分散を決定し、決定された前記分散を初期の分散の閾値と比較する分散決定手段と、決定された前記分散が前記閾値より大きいクラスタの数nを決定する分析手段と、一つ以上のクラスタにおいて決定された前記分散が前記閾値より大きい間は前記パラメータkを増加させてk-means法によるクラスタリングを実行する前記段階を繰り返し、決定された前記分散が全てのクラスタにおいて前記閾値以下になるまで、増加した前記パラメータkに基づいて夫々のクラスタのための分散を決定して該分散を前記分散閾値と比較する、前記パラメータkの増加するための加算器と、を有する。
【0041】
一つの実施形態において、パラメータkは、閾値より大きな分散を有するクラスタの数nによって増加する。
【0042】
一つの実施形態において、デコーディングのための方法は、成分の平均値又は中央値を計算する段階であって、前記変換は該中央値に適用される、段階をさらに有する。一つの実施形態において、デコーダは、成分の平均値又は中央値を計算する計算手段であって、前記変換は該中央値に適用される、計算手段をさらに有する。一つの実施形態における、エンコーディングのための方法において、成分の前記平均値を決定する段階は、初期の一つのセルにおける前記成分の頂点の座標に従って該頂点を分類する段階と、それぞれの反復により一つのセルを二つの子のセルに細分化する段階と、前記二つの子のセルの一つにおいて頂点の数をエンコーディングする段階と、夫々の空でないセルが一つの頂点のみを含むよう十分小さくなるまで前記細分化を再帰的に適用する段階と、を有する、反復によるkd木に基づく圧縮を含む。一つの実施形態において、エンコーダは、反復によるkd木に基づく圧縮を実行する成分の前記平均値を決定するための手段を有し、該手段は、初期の一つのセルにおける前記成分の頂点の座標に従って該頂点を分類する手段と、それぞれの反復により一つのセルを二つの子のセルに細分化する手段と、前記二つの子のセルの一つにおいて頂点の数をエンコーディングする手段と、夫々の空でないセルが一つの頂点のみを含むよう十分小さくなるまで前記細分化を再帰的に適用する手段とを有する。
【0043】
エンコーディングのための方法についての一つの実施形態において、前記正規化する段階は、前記成分の中央を決定する段階と、横方向のシフトにおいて該中央をワールド座標系の中央に移動させる段階と、一つ、二つ又は三つの軸の周りに前記成分を回転させる段階と、一つ、二つ又は三つの次元において前記成分を拡大縮小する段階と、を有する。エンコーディングのための装置についての一つの実施形態において、正規化する手段は、前記成分の中央を決定する計算手段と、横方向のシフトにおいて該中央をワールド座標系の中央に移動させる移動手段と、一つ、二つ又は三つの軸の周りに前記成分を回転させる回転手段と、一つ、二つ又は三つの次元において前記成分を拡大縮小する拡大縮小手段と、を有する。
【0044】
エンコーディングの一つの実施形態において、二次誤差行列法が、繰り返しのパターンの発見の間に成分を調整するために用いられる。エンコーディングの一つの実施形態において、連結成分のための圧縮されていない変換情報は、十個の浮動小数点の数を有する。
【0045】
一つの実施形態において、デコーディングのための方法は、それぞれの繰り返しの成分のインスタンスを復元する前に、該成分の平均値を計算する段階をさらに有し、kd木に基づく計算方法が該平均値の計算のために用いられる。一つの実施形態において、デコーディングのための装置は、それぞれの繰り返しの成分のインスタンスを復元する前に、該成分の平均値を計算するための計算手段をさらに有し、kd木に基づく計算方法が該平均値の計算のために用いられる。
【0046】
一つの実施形態において、デコーディングのための方法は、拡大縮小及び回転の前に、前記パターンの固有のインスタンスの残差のデータを加算する段階をさらに有する。一つの実施形態において、デコーディングのための装置は、拡大縮小及び回転の前に、前記パターンの固有のインスタンスの残差のデータを加算する加算手段をさらに有する。
【0047】
一つの実施形態において、デコーディングのための方法は、前記繰り返しのインスタンスを復元する前に、パターンの平均値と方向を計算する段階をさらに有する。一つの実施形態において、デコーディングのための装置は、前記繰り返しのインスタンスを復元する前に、パターンの平均値と方向を計算する計算手段をさらに有する。
【0048】
したがって、本発明は上で述べた、先行技術の問題点及び欠点を全て解決する。例えば、非特許文献1は、対応する幾何学的パターンから連結成分を復元するための必要な情報を圧縮する解決策を提供しない。3Dの工学モデルが一般に有する、大きなサイズの連結成分を考慮すると、このような情報は、大量の記憶領域を使用する。
【0049】
本発明は、純粋に例示する目的のために説明されたものであり、詳細についての修正が本発明の範囲から逸脱することなくなされ得ることが理解されるだろう。
【0050】
本発明の好ましい実施形態に適用されるように、本発明の基本的で新しい特徴が示され、説明され、指摘されてきた。しかし、開示されたデバイスの形式で詳細に記載された装置、及びそれらの操作において記載された方法における、様々な省略、代用及び変更が、当業者によって本発明の精神から逸脱することなくなされ得ることが理解されるだろう。本発明は、3Dの工学メッシュモデルに関して開示されてきたが、当業者は、当該方法及び装置があらゆる3Dモデルに適用され得ることを理解するであろう。本質的に同一の機能を、同一の結果を得るために、本質的に同一の方法で実行する、それらの要素の全ての組み合わせが、本発明の範囲内である明らかに意図されている。説明された一つの実施形態から別の実施形態への要素の代用もまた完全に意図され予期されている。
【0051】
詳細な説明、クレーム及び図面において開示されたそれぞれの特徴は、独立に、あるいはあらゆる適切な組み合わせにより提供され得る。特徴は、必要に応じて、ハードウェア、ソフトウェア又はそれらの組み合わせによって実装され得る。クレームの中に現れる参照番号は、説明の目的でなされるものであり、クレームの範囲を限定する効果を有するべきではない。
【先行技術文献】
【特許文献】
【0052】
【特許文献1】欧州特許09305527号明細書
【非特許文献1】D. Shikhare, S. Bhakar and S. P. Mudur, "Compression of Large 3D Engineering Models using Automatic Discovery of Repeating Geometric Features",6th International Fall Workshop on Vision, Modeling and Visualization (VMV2001), November 21-23, 2001
【非特許文献2】J. Rossignac, Edgebreaker : "Connectivity compression for triangle meshes", IEEE Transactions on Visualization and Computer Graphics, Vol.5, No.1, p47-61, January-March 1999
【非特許文献3】J. B. MacQueen, "Some Methods for classification and Analysis of Multivariate Observations", Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, University of California Press, 1:p281-297, 1967
【非特許文献4】O. Devillers, P. Gandoin, "Geometric compression for interactive transmission", in: IEEE Visualization, p319-326, 2000
【非特許文献5】Jingliang Peng, C-C. Jay Kuo, "Geometry-guided progressive lossless 3D mesh coding with octree (OT) decomposition", ACM SIGGRAPH (ACM Transactions on Graphics 24(3)), p609-616, 2005
【非特許文献6】Michael Garland, Paul Heckbert "Simplifying Surfaces with Color and Texture using Quadratic Error Metrics",Carnegie Mellon University 1998

【特許請求の範囲】
【請求項1】
複数の繰り返しの連結成分を有する3Dメッシュモデルをエンコーディングする方法であって:
前記3Dメッシュモデルを自動的に分析する段階であって、繰り返しの前記成分が決定されてパターンのクラスタに分類され、夫々の成分の平均が決定され、さらに前記成分が正規化され、前記正規化は、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする、段階と;
前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てる段階と;
前記成分をエンコーディングする段階であって、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する、段階と;
夫々の成分の夫々のパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分をエントロピーエンコーディングする段階と;
を有する、方法。
【請求項2】
繰り返しの前記成分は繰り返しの幾何学的なパターンを有し、前記正規化の後に発見される、
請求項1に記載の方法。
【請求項3】
少なくとも前記方向軸と前記倍率についての前記クラスタリングは拡張されたk-means法によるクラスタリング法を用い、
初期パラメータkに基づいてk-means法によるクラスタリングを実行する段階であって、複数のクラスタを生じる、段階と;
前記クラスタの夫々に対して分散を決定し、決定された前記分散を初期の分散の閾値と比較する段階と;
決定された前記分散が前記閾値より大きいクラスタの数nを決定する段階と;
一つ以上のクラスタにおいて決定された前記分散が前記閾値より大きい間は前記パラメータkを増加させてk-means法によるクラスタリングを実行する前記段階を繰り返し、決定された前記分散が全てのクラスタにおいて前記閾値以下になるまで、増加した前記パラメータkに基づいて夫々のクラスタのための分散を決定して該分散を前記分散閾値と比較する段階と;
を有する、請求項1又は2に記載の方法。
【請求項4】
k-means法によるクラスタリングの前記パラメータkを前記閾値より大きい分散を有するクラスタの数nにより増加させる、
請求項3に記載の方法。
【請求項5】
成分の前記平均を決定する段階は、
初期の一つのセルにおける前記成分の頂点の座標に従って該頂点を分類する段階と、
それぞれの反復により一つのセルを二つの子のセルに細分化する段階と、
前記二つの子のセルの一つにおいて頂点の数をエンコーディングする段階と、
夫々の空でないセルが一つの頂点のみを含むよう十分小さくなるまで前記細分化を再帰的に適用する段階と、
を有する、反復によるkd木に基づく圧縮を含む、
請求項1乃至4何れか一項に記載の方法。
【請求項6】
前記正規化する段階は、
前記成分の中央を決定する段階と、
横方向のシフトにおいて該中央をワールド座標系の中央に移動させる段階と、
一つ、二つ又は三つの軸の周りに前記成分を回転させる段階と、
一つ、二つ又は三つの次元において前記成分を拡大縮小する段階と、
を有する、
請求項1乃至5何れか一項に記載の方法。
【請求項7】
3Dメッシュモデルをデコーディングする方法であって:
受信されたデータをエントロピーデコーディングする段階と;
パターンのクラスタの識別子と変換情報を抽出する段階であって、該変換情報は変換クラスタの識別子と変換残差とを有する、段階と;
前記パターンのクラスタの識別子に従ってパターンを再構成する段階と;
前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成する段階と;
再構成された前記変換情報に従って再構成された前記パターンを変換する段階と;
を有する、方法。
【請求項8】
前記変換情報は、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向軸の残差を有する、
請求項7に記載の方法。
【請求項9】
成分の平均又は中央を計算する段階であって、前記変換は該中央に適用される、段階
をさらに有する、請求項7又は8に記載の方法。
【請求項10】
拡大縮小及び回転の前に前記パターンの固有のインスタンスの残差のデータを加算する段階
をさらに有する、請求項7乃至9何れか一項に記載の方法。
【請求項11】
前記変換情報は、クラスタの代表の成分の幾何学的データを有する、
請求項1乃至10何れか一項に記載の方法。
【請求項12】
成分の前記中央は伝送されずにデコーディングの間に再計算される、
請求項11に記載の方法。
【請求項13】
複数の繰り返しの成分を有する3Dメッシュモデルをエンコーディングする装置であって:
前記3Dメッシュモデルを自動的に分析する分析手段であって、繰り返しの前記成分が決定されてパターンのクラスタに分類され、夫々の成分の平均又は中央が決定され、前記成分が正規化され、前記正規化は、倍率を決定して該倍率を倍率のクラスタに分類し、さらに方向軸を決定して該方向軸を方向軸のクラスタにクラスタリングする、分析手段と;
前記パターンのクラスタと倍率のクラスタと方向軸のクラスタに固有のクラスタの識別子を割り当てる割り当て手段と;
前記成分をエンコーディングするエンコーディング手段であって、前記成分が前記パターンのクラスタと倍率のクラスタと方向軸のクラスタと比較されることにより、少なくともパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とを取得する、エンコーディング手段と;
夫々の成分の夫々のパターンのクラスタの識別子と、倍率のクラスタの識別子と、倍率の残差と、方向軸のクラスタの識別子と、方向の残差とにより表される該成分をエントロピーエンコーディングするエントロピーエンコーダと;
を有する、装置。
【請求項14】
3Dメッシュモデルをデコーディングする装置であって:
受信されたデータをエントロピーデコーディングするエントロピーデコーダと;
パターンのクラスタの識別子と変換情報を抽出するデータ抽出手段であって、該変換情報は変換クラスタの識別子と変換残差とを有する、データ抽出手段と;
前記パターンのクラスタの識別子に従ってパターンを再構成するパターン再構成手段と;
前記変換クラスタの識別子と前記変換残差に従って変換情報を再構成する変換情報再構成手段と;
再構成された前記変換情報に従って再構成された前記パターンを変換する変換手段と;
を有する、装置。
【請求項15】
エンコーディングされた3Dメッシュモデルのデータを有する信号であって、該データは少なくとも一つのパターンのクラスタの識別子と変換情報とを有し、該変換情報は変換クラスタの識別子と変換残差を有する、信号。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公表番号】特表2012−530990(P2012−530990A)
【公表日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2012−516622(P2012−516622)
【出願日】平成22年6月9日(2010.6.9)
【国際出願番号】PCT/EP2010/058048
【国際公開番号】WO2010/149492
【国際公開日】平成22年12月29日(2010.12.29)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing 
【住所又は居所原語表記】1−5, rue Jeanne d’Arc, 92130 ISSY LES MOULINEAUX, France
【Fターム(参考)】