ボクセルデータ符号化方式
【課題】ボクセルデータの効率化を図り、且つ可逆圧縮を可能とすること。
【解決手段】カメラ群９−１により３次元対象物を撮影し、キャプチャデバイス９−３にてボクセル生成装置９−２に取り込む。撮影された映像はシルエット生成処理部９−４にてシルエットのみ抽出される。そしてボクセル生成手段判定部９−５にて、シルエットの分布に最適なボクセル生成手法を選択し、ボクセル空間を生成する。さらにボクセル符号化部９−６にてボクセルの分布から最適な符号化方式を選択し、符号化する。符号化されたデータはネットワーク伝送処理部９−７にて送信され、ネットワーク９−８を経由してネットワーク伝送処理部９−１０にて受信される。ボクセル復号化部９−１１ではどの符号化方式で符号化されたかを判定して、復号化を行う。ボクセル空間再構成部９−１２では復号化されたデータからボクセル空間を再構成する。３次元空間生成部９−１３ではボクセル空間を３次元ＣＧなどで３次元表現を行う。
【解決手段】カメラ群９−１により３次元対象物を撮影し、キャプチャデバイス９−３にてボクセル生成装置９−２に取り込む。撮影された映像はシルエット生成処理部９−４にてシルエットのみ抽出される。そしてボクセル生成手段判定部９−５にて、シルエットの分布に最適なボクセル生成手法を選択し、ボクセル空間を生成する。さらにボクセル符号化部９−６にてボクセルの分布から最適な符号化方式を選択し、符号化する。符号化されたデータはネットワーク伝送処理部９−７にて送信され、ネットワーク９−８を経由してネットワーク伝送処理部９−１０にて受信される。ボクセル復号化部９−１１ではどの符号化方式で符号化されたかを判定して、復号化を行う。ボクセル空間再構成部９−１２では復号化されたデータからボクセル空間を再構成する。３次元空間生成部９−１３ではボクセル空間を３次元ＣＧなどで３次元表現を行う。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、主に３次元ＣＧ及びバーチャルリアリティの分野に属し、特にボクセル形状表現した３次元モデルをネットワーク伝送する際の伝送効率化を可能にするボクセルデータ符号化方式に関する。
【０００２】
【従来の技術】
３次元ＣＧやバーチャルリアリティの分野にて立方体（ボクセルとも呼ぶ）を３次元の仮想空間上に複数配置することで、３次元物体の形状を表現する手法がある。この手法において構成された３次元物体の属する空間をボクセル空間と呼ぶ。この手法において３次元物体を表現するには多くのボクセルが必要となり、このボクセルデータを計算機にて扱う場合、大量のメモリが必要となる。さらにこれらのボクセルデータをネットワークを用いて遠隔地へ伝送する場合においては、更なるボクセルデータの効率化が必要となる。
【０００３】
ボクセルデータの効率化に関する従来の技術として、特開平０１−０４２９３９号公報に開示された「ボクセルデータ圧縮／展開装置」（以下、第１の従来技術と呼ぶ）が知られている。この手法ではボクセル空間をＸ平面、Ｙ平面、Ｚ平面に射影することで、ボクセルデータをその３つの射影平面に落とし込む。しかしながらこの手法では３次元物体間で影になってしまう場合、例えば２つの３次元物体がある場合など、影になってしまったボクセル情報は欠落してしまうことになり、完全に復元できない（すなわち非可逆圧縮）など、ある程度対象となる３次元物体の形状が限定されてしまう。
【０００４】
また、特開平１１−２６５４６０号公報には、ボクセル空間をＺ軸に沿ってある間隔でＸＹ平面でスライスし、Ｚ軸方向に対する前後関係からスライス間のボクセルを推測する非可逆圧縮手法（以下、第２の従来技術と呼ぶ）が開示されているが、これはスライス間の相関が高いことを前提にされており、相関の乏しいボクセル空間では正しく復元できない可能性がある。
【０００５】
【発明が解決しようとする課題】
従来技術の問題点として非可逆圧縮であることが挙げられる。上記した第１の従来技術では、ボクセル空間を投影面に投影する際、ボクセルデータどうしで影となる場合に元のボクセル空間が復元できない。また、上記した第２の従来技術ではＺ軸に沿ってスライスされた平面間の相関関係が乏しいボクセル空間の場合、元のボクセル空間を完全に復元することはできない。
【０００６】
本発明の目的は、ボクセルデータの効率化を図ることであり、且つ可逆圧縮を可能とするものである。これにはボクセル空間におけるボクセルの分布により複数の符号化手法の中から最適な手法を選択することで実現する。また、これを実現するにあたり、ボクセル生成の段階においてボクセル分布を推定することにより、ボクセルデータを効率化する最適なボクセル生成手法を選択し、且つ生成されたボクセルの分布から符号化手法を選択する手法をとる。
【０００７】
【課題を解決するための手段】
ボクセル空間生成手法に視体積交差法という手法について説明する。複数のカメラから撮影された対象物体のシルエットと、対象空間を立方体に分割した空間とを用意しておく。対象空間内の各立方体をシルエット（輪郭）映像に射影し、該各立方体がシルエットの内にあるならばボクセル対象候補となる。これを全てのカメラのシルエット映像に対して行う。射影された各立方体が全てにおいてシルエット内であれば、この立方体は３次元物体を構成する立方体すなわちボクセルの一つとするものである。この処理を対象空間内全体にわたって行うことで３次元物体を生成するという手法である（図１参照）。ちなみにここでは、これらの空間をボクセル空間と呼ぶ。
【０００８】
この手法においては対象空間全体についてシルエット内外を判定するが、対象空間全体を走査する手法として２通りの方法が考えられる。一つは対象空間（一般には立方体）内を一定の区間で立方体に分割し、各立方体をシルエット内外か否か判別する手法（以下、「順次走査手法」と呼ぶ）で、各立方体が順に走査される（図２参照）。もう一方は、ＯＣＴＲＥＥを用いた手法であり（以下、「ＯＣＴＲＥＥ手法」と呼ぶ）、対象空間（一般的には立方体）を８分割し、各立方体についてシルエット内外か否かを判別する。３次元形状を構成する立方体であると判定された場合、さらにこれを８分割し同様に判別を行う（図３参照）。立方体がシルエット外の場合は、その立方体は分割しない。前記順次走査手法についてはボクセルの集積度が比較的高い場合に有利であり、前記ＯＣＴＲＥＥ手法についてはボクセルの集積度が比較的低い場合に有利である。
【０００９】
このように、ボクセルの集積度によって各手法における利点・欠点があるが、ボクセルの集積度をシルエット映像から判断することにより、その３次元物体に適した手法にて対象空間走査を選択し、より高速にボクセル空間を生成可能とする。具体的には、各シルエット映像に対しバウンディングボックスを求め、その面積とシルエットの画素数との比率から所望の対象空間走査手法を選択する（図４参照）。
【００１０】
次に、上記した各手法におけるボクセル符号化方法において、前記順次走査手法では以下の２通りの符号化方法が考えられる。一つは３次元物体を形成するボクセルの座標値を列挙する方法（以下、「座標値列挙手法」と呼ぶ）であり（図５参照）、３次元物体を形成するボクセル個数が多い時はデータ量が大きくなる傾向にある。
【００１１】
もう一つは図６に示すように、順次走査手法にもあった対象空間をボクセルのサイズで分割し、全ての立方体を１ビットで表現するものである（以下、「空間分割列挙手法」と呼ぶ）。この手法では対象空間が大きい時にデータ量が大きくなる傾向がある。
【００１２】
そこで、対象空間とボクセル個数の量を比較することで、前記座標値列挙手法と前記空間分割列挙手法を切り替えて、効率的なボクセル符号化を行うことが可能となる。例えば、走査する３次元空間内の立方体の数をＶ、走査する３次元空間内のボクセルの数をｖ、ボクセルの座標値としてｎバイト必要とした場合、Ｖ／８≧ｖ×ｎの時は前記空間分割列挙手法が適しており、Ｖ／８＜ｖ×ｎの時は前記座標値列挙手法が適している。
【００１３】
前記ＯＣＴＲＥＥ手法においては空間を再帰的に８分割していくことから、８分割されたものを１バイトとし、これを順に記述していくことで効率的なボクセル符号化を行うことが可能になる（図７、図８参照。以下、「ＯＣＴＲＥＥ符号化手法」と呼ぶ）。
【００１４】
【作用】
はじめに、対象となる３次元物体を視体積交差法により３次元モデル化する際、３次元物体をカメラで撮影し、その３次元物体のシルエットを求める。シルエットはあらかじめ背景を撮影しておき、その差分（背景差分）を算出することでシルエットを求める既存の手法で行われる。
【００１５】
そのシルエットのバウンディングボックスを求め、その座標値からバウンディングボックスの面積Ｓｂｂを求める。この時シルエットの画素数Ｎｓも求める。ＳｂｂとＮｓの比率をＳｂｂ／Ｎｓとし、これが閾値Ｔより小さい時、すなわちボクセル集積度が高い時は順次走査手法をボクセル生成手法として選択する。Ｔより大きい時、すなわちボクセル集積度が低いときはＯＣＴＲＥＥ手法をボクセル生成手法として選択する。
【００１６】
ボクセル生成手法として順次走査手法を選択した場合、生成されたボクセル空間について走査する立方体の数Ｖ、ボクセルの個数ｖを求める。また、ボクセルの座標値としてｎバイト必要な時、Ｖ／８≧ｖ×ｎであるならば符号化手法として空間分割列挙手法を、Ｖ／８＜ｖ×ｎであるならば符号化手法として座標値列挙手法を選択する。
【００１７】
ボクセル生成手法としてＯＣＴＲＥＥ手法が選択された場合には、ＯＣＴＲＥＥ符号化手法にて符号化される。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図９を参照すると、大きくカメラ群９−１、ボクセル生成装置９−２、ネットワーク９−８、及びボクセル再構成装置９−９に分類できる。カメラ群９−１はボクセル生成対象となる３次元物体を撮影するためにあり、例えば図１０の様に３次元物体を囲むように設置される。これらの映像は１系統又は複数の系統にてボクセル生成装置９−２に取り込まれる。
【００２０】
ボクセル生成装置９−２はキャプチャデバイス９−３、シルエット生成処理部９−４、ボクセル生成手段判定部９−５、ボクセル符号化部９−６、ネットワーク伝送処理部９−７で構成されている。キャプチャデバイス９−３はカメラ群９−１からの映像を取り込み、ボクセル生成装置９−２の作業メモリ上に展開する。シルエット生成処理部９−４はカメラ映像の３次元物体のシルエットを生成する。
【００２１】
このシルエット生成は背景差分方式などの既存の手法にて行われる。例えば、対象となる３次元物体を対象空間に配置していない状態で１フレームを背景として予め撮影しておき、この背景映像と３次元物体を置いた状態でのカメラ映像との画素の差分をとることで３次元物体のシルエットを生成する。ボクセル生成手段判定部９−５ではボクセル生成手段を決定する。ここではシルエットのバウンディングボックスを求め、その座標値からバウンディングボックスの面積Ｓｂｂを求める。同時にシルエットの画素数Ｎｓも求める。
【００２２】
ＳｂｂとＮｓの比率をＳｂｂ／Ｎｓとし、このＳｂｂ／Ｎｓが閾値Ｔより小さい時、すなわちボクセル集積度が高い時は順次走査手法をボクセル生成手法として選択する。Ｓｂｂ／Ｎｓが閾値Ｔより大きい時、すなわちボクセル集積度が低いときはＯＣＴＲＥＥ手法をボクセル生成手法として選択する。ボクセル符号化部９−６ではボクセルの生成手法やボクセルの分布により符号化方式を変えて符号化する。
【００２３】
ボクセル生成手法として順次走査手法が選択された場合、生成されたボクセル空間について走査する立方体の数Ｖとボクセルの個数ｖを求める。また、ボクセルの座標値としてｎバイト必要な時、Ｖ／８≧ｖ×ｎであるならば符号化手法として空間分割列挙手法を、Ｖ／８＜ｖ×ｎであるならば符号化手法として座標値列挙手法を選択する。ボクセル生成手法としてＯＣＴＲＥＥ手法が選択された場合には、ＯＣＴＲＥＥ符号化手法にて符号化される。また、データの先頭にどの方式で符号化を行ったかを記述すると共に、それに付随するデータ、例えば順次走査手法における走査開始座標やどの範囲を走査するかなどのパラメータが格納される。
【００２４】
図１１、図１２、図１３に各々のデータ構造例をＣ言語風に示す。１１−８のデータ構造体は座標値列挙手法におけるデータ構造例である。１１−１は符号化方式を示す符号化モードを、１１−２ではボクセルの一辺の長さを、１１−３ではボクセルの個数を、１１−４はボクセル空間のＸ座標値を、１１−５はボクセル空間のＹ座標値を、１１−６はボクセル空間のＺ座標値を、１１−７は各ボクセルの座標値を格納する配列のポインタ（各ボクセルの座標値）を示す。
【００２５】
１２−１３のデータ構造体は空間分割列挙手法におけるデータ構造例である。１２−１は符号化方式を示す符号化モードを、１２−２ではボクセルの一辺の長さを、１２−３は分割されるボクセル空間の始点位置Ｘ座標を、１２−４は分割されるボクセル空間の始点位置Ｙ座標を、１２−５は分割されるボクセル空間の始点位置Ｚ座標を、１２−６は分割される空間の始点位置座標を、１２−７は分割されるボクセル空間のＸ座標方向の大きさを、１２−８は分割されるボクセル空間のＹ座標方向の大きさを、１２−９は分割されるボクセル空間のＺ座標方向の大きさを、１２−１０は分割されるボクセル空間の大きさを、１２−１１は８つの立方体が１バイトで表現（符号化）されたデータの長さ（バイト数）を、１２−１２は８つの立方体が１バイトで表現（符号化）されたデータのバッファポインタを示す。
【００２６】
１３−１２のデータ構造体はＯＣＴＲＥＥ符号化手法におけるデータ構造例である。１３−１は符号化手法を示す符号化モードを、１３−２はボクセル空間の始点位置Ｘ座標を、１３−３はボクセル空間の始点位置Ｙ座標を、１３−４はボクセル空間の始点位置Ｚ座標を、１３−５はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点座標位置を、１３−６はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点Ｘ座標位置（Ｘ軸方向の大きさ）を、１３−７はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点Ｙ座標位置（Ｙ軸方向の大きさ）を、１３−８はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点Ｚ座標位置（Ｚ軸方向の大きさ）を、１３−９はＯＣＴＲＥＥにて分割される対象ボクセル空間の大きさを、１３−１０はＯＣＴＲＥＥ符号化手法にて表現（符号化）されたボクセルデータの長さ（バイト数）を、１３−１１はＯＣＴＲＥＥ符号化手法にて表現（符号化）されたボクセルデータのバッファポインタを示す。ネットワーク伝送処理部９−７ではボクセル符号化部９−６にて作成されたボクセルデータを、ネットワーク９−８を経由してボクセル再構成装置９−９に送信する。
【００２７】
ネットワーク９−８はピアツーピアの接続が可能なネットワークを用いる。インターネットはその一つである。
【００２８】
ボクセル再構成装置９−９はネットワーク伝送処理部９−１０、ボクセル復号化部９−１１、ボクセル空間再構成部９−１２、３次元空間生成部９−１３で構成されている。ネットワーク伝送処理部９−１０ではネットワーク伝送処理部９−７から送信されたボクセルデータを、ネットワーク９−８を経由して受信する。ボクセル復号化部９−１１ではネットワーク伝送処理部９−１０によって受信されたボクセルデータからどの手法により符号化されたかを座標値列挙手法（モード１１−１）及び空間分割列挙手法（モード１２−１）及びＯＣＴＲＥＥ手法（モード１３−１）を用いて判別し、ボクセルデータの復号化を行う。ボクセル空間再構成部９−１２ではボクセル復号化部９−１１にて復号化されたボクセルデータからボクセル空間の再構築を行う。３次元空間生成部９−１３ではボクセル空間再構成部９−１２により生成されたボクセル空間から、３次元仮想空間を構築する。
【００２９】
以下、本実施の形態による符号化方式の動作について説明する。カメラ群９−１によりボクセル生成対象となる３次元物体を撮影する。撮影されたビデオ映像はキャプチャデバイス９−３にてボクセル生成装置９−２に取り込まれる。ビデオ映像はシルエット生成処理部９−４にて３次元物体のシルエットが抽出される。そのシルエットを元にボクセル生成手段判定部９−５ではボクセル生成手段が選択され、ボクセル空間が生成される。ボクセル符号化部９−６にてボクセル空間の特性に適したボクセル符号化方式が選択され、生成されたボクセル空間が符号化され、ボクセルデータが生成される。
【００３０】
ボクセル生成手段判定部９−５とボクセル符号化部９−６における一連の処理フローを図１４１４に示す。ステップ１４−１にてシルエットのバウンディングボックスの面積Ｓｂｂを算出し、続けてステップ１４−２にてシルエットの画素数Ｎｓを算出する。ステップ１４−３ではＳｂｂ／Ｎｓと適切に設定された閾値Ｔとを比較し、Ｓｂｂ／Ｎｓ＜Ｔならばステップ１４−４にて順次走査手法によるボクセル生成を、Ｓｂｂ／Ｎｓ≧Ｔならばステップ１４−１０にてＯＣＴＲＥＥ手法によるボクセル生成を行う。ステップ１４−４にて順次走査手法によるボクセル生成がなされた後、ステップ１４−５にて対象空間の分割された立方体の個数Ｖを算出する。続けてステップ１４−６にて３次元物体を構成するボクセルの個数ｖを算出する。ステップ１４−７にて立方体数Ｖを８で割った値とボクセル個数ｖとボクセルの座標を記述するのに必要なバイト数ｎをかけたものを比較し、Ｖ／８＜ｖ×ｎならばステップ１４−８にて座標値列挙手法による符号化を、Ｖ／８≧ｖ×ｎならばステップ１４−９にて空間分割列挙手法による符号化がなされる。
【００３１】
座標値列挙手法では図１１のように記述され、モード１１−１に座標値列挙手法を示すＩＤが記録される。空間分割列挙手法では図１２のようなデータ構造で記述され、モード１２−１に空間分割列挙手法を示すＩＤが記録される。一方１４−１０のＯＣＴＲＥＥ手法によるボクセル生成の場合は１４−１１のＯＣＴＲＥＥ符号化手法にて符号化される。ＯＣＴＲＥＥ符号化手法では図１３のようなデータ構造で記述され、モード１３−１にＯＣＴＲＥＥ符号化手法を示すＩＤが記録される。
【００３２】
これらのデータ構造で記述されたボクセルデータはネットワーク伝送処理部９−７にてネットワーク９−８を介してネットワーク伝送処理部９−１０に送信される。受信されたボクセルデータはのボクセル復号化部９−１１にてどの形式のデータ構造であるのかが判別される。具体的にはモード１１−１，１２−１及び１３−１のデータエリアを参照することで判別される。これらのｂｙ Ｍｏｄｅのデータエリアは全てデータの先頭などの同じ位置に存在する。判別されたデータ構造をもとにボクセルデータの復号化が行われ、ボクセル空間再構成部９−１２にてボクセル空間の再構築が行われる。再構築されたボクセル空間は３次元空間生成部９−１３によって３次元空間生成が行われる。ここではＯｐｅｎ ＧＬやＤｉｒｅｃｔ Ｘなどにより３次元仮想空間が生成される。
【００３３】
【発明の効果】
本発明によれば、ボクセルデータの分布から適切なボクセル符号化方式を選択することにより、ボクセルデータ量の効率化を図ることができる。
【図面の簡単な説明】
【図１】視体積交差法概念を示した図である。
【図２】順次走査法概念を示した図である。
【図３】ＯＣＴＲＥＥ手法概念を示した図である。
【図４】シルエットとバウンディングボックスの概念を示した図である。
【図５】座標値列挙手法概念を示した図である。
【図６】空間分割列挙法概念を示した図である。
【図７】ＯＣＴＲＥＥ符号化手法概念を示した図である。
【図８】ＯＣＴＲＥＥ符号化手法におけるデータ形式を示した図である。
【図９】本発明のボクセルデータ符号化方式のシステム構成図である。
【図１０】カメラ配置例を示した図である。
【図１１】座標列挙手法におけるデータ構造例を示した図である。
【図１２】空間分割列挙手法におけるデータ構造例を示した図である。
【図１３】ＯＣＴＲＥＥ符号化手法におけるデータ構造例を示した図である。
【図１４】ボクセル生成手段判定部及びボクセル符号化部における一連の処理を説明するためのフローチャートである。
【符号の説明】
１−１ カメラ１の視点
１−２ カメラ１のシルエット
１−３ 対象空間
１−４ 対象物体
１−５ カメラ２のシルエット
１−６ カメラ２の視点
１−７〜１−９ カメラ１の視点から対象物体の頂点へのベクトル
１−１０〜１−１２ カメラ２の視点から対象物体の頂点へのベクトル
２−１ スキャン（走査）方向。この方向を優先に走査される。
２−２ スキャン（走査）方向。２−１の次に優先して走査される。
２−３ スキャン（走査）方向。２−３の次に優先して走査される。
２−４ ボクセル空間
３−１ ＯＣＴＲＥＥ手法による分割０段階目
３−２ ＯＣＴＲＥＥ手法による分割１段階目
３−３ ＯＣＴＲＥＥ手法による分割３段階目
４−１ 映像フレーム
４−２ シルエット（輪郭）
４−３ バウンディングボックス
５−１ ボクセル１のＸ座標
５−２ ボクセル１のＹ座標
５−３ ボクセル１のＺ座標
６−１ ボクセル空間
６−２ １バイト分のボクセル集合体
７−１ ＯＣＴＲＥＥ手法による分割０段目
７−２ ＯＣＴＲＥＥ手法による分割１段目
７−３ ＯＣＴＲＥＥ手法による分割２段目
８−１ ＯＣＴＲＥＥ符号化手法における１段目のビット列構造
８−２ ＯＣＴＲＥＥ符号化手法における２段目のビット列構造
８−３〜８−４ １段目のＯＮビットに対する２段目のバイト
９−１ カメラ群
９−２ ボクセル生成装置
９−３ キャプチャデバイス
９−４ シルエット生成処理部
９−５ ボクセル生成手段判定部
９−６ ボクセル符号化部
９−７ ネットワーク伝送処理部
９−８ ネットワーク
９−９ ボクセル再構成装置
９−１０ ネットワーク伝送処理部
９−１１ ボクセル復号化部
９−１２ ボクセル空間再構成部
９−１３ ３次元空間生成部
１０−１〜１０−７ カメラ群
１０−９ 撮影対象物体
【０００１】
【発明の属する技術分野】
本発明は、主に３次元ＣＧ及びバーチャルリアリティの分野に属し、特にボクセル形状表現した３次元モデルをネットワーク伝送する際の伝送効率化を可能にするボクセルデータ符号化方式に関する。
【０００２】
【従来の技術】
３次元ＣＧやバーチャルリアリティの分野にて立方体（ボクセルとも呼ぶ）を３次元の仮想空間上に複数配置することで、３次元物体の形状を表現する手法がある。この手法において構成された３次元物体の属する空間をボクセル空間と呼ぶ。この手法において３次元物体を表現するには多くのボクセルが必要となり、このボクセルデータを計算機にて扱う場合、大量のメモリが必要となる。さらにこれらのボクセルデータをネットワークを用いて遠隔地へ伝送する場合においては、更なるボクセルデータの効率化が必要となる。
【０００３】
ボクセルデータの効率化に関する従来の技術として、特開平０１−０４２９３９号公報に開示された「ボクセルデータ圧縮／展開装置」（以下、第１の従来技術と呼ぶ）が知られている。この手法ではボクセル空間をＸ平面、Ｙ平面、Ｚ平面に射影することで、ボクセルデータをその３つの射影平面に落とし込む。しかしながらこの手法では３次元物体間で影になってしまう場合、例えば２つの３次元物体がある場合など、影になってしまったボクセル情報は欠落してしまうことになり、完全に復元できない（すなわち非可逆圧縮）など、ある程度対象となる３次元物体の形状が限定されてしまう。
【０００４】
また、特開平１１−２６５４６０号公報には、ボクセル空間をＺ軸に沿ってある間隔でＸＹ平面でスライスし、Ｚ軸方向に対する前後関係からスライス間のボクセルを推測する非可逆圧縮手法（以下、第２の従来技術と呼ぶ）が開示されているが、これはスライス間の相関が高いことを前提にされており、相関の乏しいボクセル空間では正しく復元できない可能性がある。
【０００５】
【発明が解決しようとする課題】
従来技術の問題点として非可逆圧縮であることが挙げられる。上記した第１の従来技術では、ボクセル空間を投影面に投影する際、ボクセルデータどうしで影となる場合に元のボクセル空間が復元できない。また、上記した第２の従来技術ではＺ軸に沿ってスライスされた平面間の相関関係が乏しいボクセル空間の場合、元のボクセル空間を完全に復元することはできない。
【０００６】
本発明の目的は、ボクセルデータの効率化を図ることであり、且つ可逆圧縮を可能とするものである。これにはボクセル空間におけるボクセルの分布により複数の符号化手法の中から最適な手法を選択することで実現する。また、これを実現するにあたり、ボクセル生成の段階においてボクセル分布を推定することにより、ボクセルデータを効率化する最適なボクセル生成手法を選択し、且つ生成されたボクセルの分布から符号化手法を選択する手法をとる。
【０００７】
【課題を解決するための手段】
ボクセル空間生成手法に視体積交差法という手法について説明する。複数のカメラから撮影された対象物体のシルエットと、対象空間を立方体に分割した空間とを用意しておく。対象空間内の各立方体をシルエット（輪郭）映像に射影し、該各立方体がシルエットの内にあるならばボクセル対象候補となる。これを全てのカメラのシルエット映像に対して行う。射影された各立方体が全てにおいてシルエット内であれば、この立方体は３次元物体を構成する立方体すなわちボクセルの一つとするものである。この処理を対象空間内全体にわたって行うことで３次元物体を生成するという手法である（図１参照）。ちなみにここでは、これらの空間をボクセル空間と呼ぶ。
【０００８】
この手法においては対象空間全体についてシルエット内外を判定するが、対象空間全体を走査する手法として２通りの方法が考えられる。一つは対象空間（一般には立方体）内を一定の区間で立方体に分割し、各立方体をシルエット内外か否か判別する手法（以下、「順次走査手法」と呼ぶ）で、各立方体が順に走査される（図２参照）。もう一方は、ＯＣＴＲＥＥを用いた手法であり（以下、「ＯＣＴＲＥＥ手法」と呼ぶ）、対象空間（一般的には立方体）を８分割し、各立方体についてシルエット内外か否かを判別する。３次元形状を構成する立方体であると判定された場合、さらにこれを８分割し同様に判別を行う（図３参照）。立方体がシルエット外の場合は、その立方体は分割しない。前記順次走査手法についてはボクセルの集積度が比較的高い場合に有利であり、前記ＯＣＴＲＥＥ手法についてはボクセルの集積度が比較的低い場合に有利である。
【０００９】
このように、ボクセルの集積度によって各手法における利点・欠点があるが、ボクセルの集積度をシルエット映像から判断することにより、その３次元物体に適した手法にて対象空間走査を選択し、より高速にボクセル空間を生成可能とする。具体的には、各シルエット映像に対しバウンディングボックスを求め、その面積とシルエットの画素数との比率から所望の対象空間走査手法を選択する（図４参照）。
【００１０】
次に、上記した各手法におけるボクセル符号化方法において、前記順次走査手法では以下の２通りの符号化方法が考えられる。一つは３次元物体を形成するボクセルの座標値を列挙する方法（以下、「座標値列挙手法」と呼ぶ）であり（図５参照）、３次元物体を形成するボクセル個数が多い時はデータ量が大きくなる傾向にある。
【００１１】
もう一つは図６に示すように、順次走査手法にもあった対象空間をボクセルのサイズで分割し、全ての立方体を１ビットで表現するものである（以下、「空間分割列挙手法」と呼ぶ）。この手法では対象空間が大きい時にデータ量が大きくなる傾向がある。
【００１２】
そこで、対象空間とボクセル個数の量を比較することで、前記座標値列挙手法と前記空間分割列挙手法を切り替えて、効率的なボクセル符号化を行うことが可能となる。例えば、走査する３次元空間内の立方体の数をＶ、走査する３次元空間内のボクセルの数をｖ、ボクセルの座標値としてｎバイト必要とした場合、Ｖ／８≧ｖ×ｎの時は前記空間分割列挙手法が適しており、Ｖ／８＜ｖ×ｎの時は前記座標値列挙手法が適している。
【００１３】
前記ＯＣＴＲＥＥ手法においては空間を再帰的に８分割していくことから、８分割されたものを１バイトとし、これを順に記述していくことで効率的なボクセル符号化を行うことが可能になる（図７、図８参照。以下、「ＯＣＴＲＥＥ符号化手法」と呼ぶ）。
【００１４】
【作用】
はじめに、対象となる３次元物体を視体積交差法により３次元モデル化する際、３次元物体をカメラで撮影し、その３次元物体のシルエットを求める。シルエットはあらかじめ背景を撮影しておき、その差分（背景差分）を算出することでシルエットを求める既存の手法で行われる。
【００１５】
そのシルエットのバウンディングボックスを求め、その座標値からバウンディングボックスの面積Ｓｂｂを求める。この時シルエットの画素数Ｎｓも求める。ＳｂｂとＮｓの比率をＳｂｂ／Ｎｓとし、これが閾値Ｔより小さい時、すなわちボクセル集積度が高い時は順次走査手法をボクセル生成手法として選択する。Ｔより大きい時、すなわちボクセル集積度が低いときはＯＣＴＲＥＥ手法をボクセル生成手法として選択する。
【００１６】
ボクセル生成手法として順次走査手法を選択した場合、生成されたボクセル空間について走査する立方体の数Ｖ、ボクセルの個数ｖを求める。また、ボクセルの座標値としてｎバイト必要な時、Ｖ／８≧ｖ×ｎであるならば符号化手法として空間分割列挙手法を、Ｖ／８＜ｖ×ｎであるならば符号化手法として座標値列挙手法を選択する。
【００１７】
ボクセル生成手法としてＯＣＴＲＥＥ手法が選択された場合には、ＯＣＴＲＥＥ符号化手法にて符号化される。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図９を参照すると、大きくカメラ群９−１、ボクセル生成装置９−２、ネットワーク９−８、及びボクセル再構成装置９−９に分類できる。カメラ群９−１はボクセル生成対象となる３次元物体を撮影するためにあり、例えば図１０の様に３次元物体を囲むように設置される。これらの映像は１系統又は複数の系統にてボクセル生成装置９−２に取り込まれる。
【００２０】
ボクセル生成装置９−２はキャプチャデバイス９−３、シルエット生成処理部９−４、ボクセル生成手段判定部９−５、ボクセル符号化部９−６、ネットワーク伝送処理部９−７で構成されている。キャプチャデバイス９−３はカメラ群９−１からの映像を取り込み、ボクセル生成装置９−２の作業メモリ上に展開する。シルエット生成処理部９−４はカメラ映像の３次元物体のシルエットを生成する。
【００２１】
このシルエット生成は背景差分方式などの既存の手法にて行われる。例えば、対象となる３次元物体を対象空間に配置していない状態で１フレームを背景として予め撮影しておき、この背景映像と３次元物体を置いた状態でのカメラ映像との画素の差分をとることで３次元物体のシルエットを生成する。ボクセル生成手段判定部９−５ではボクセル生成手段を決定する。ここではシルエットのバウンディングボックスを求め、その座標値からバウンディングボックスの面積Ｓｂｂを求める。同時にシルエットの画素数Ｎｓも求める。
【００２２】
ＳｂｂとＮｓの比率をＳｂｂ／Ｎｓとし、このＳｂｂ／Ｎｓが閾値Ｔより小さい時、すなわちボクセル集積度が高い時は順次走査手法をボクセル生成手法として選択する。Ｓｂｂ／Ｎｓが閾値Ｔより大きい時、すなわちボクセル集積度が低いときはＯＣＴＲＥＥ手法をボクセル生成手法として選択する。ボクセル符号化部９−６ではボクセルの生成手法やボクセルの分布により符号化方式を変えて符号化する。
【００２３】
ボクセル生成手法として順次走査手法が選択された場合、生成されたボクセル空間について走査する立方体の数Ｖとボクセルの個数ｖを求める。また、ボクセルの座標値としてｎバイト必要な時、Ｖ／８≧ｖ×ｎであるならば符号化手法として空間分割列挙手法を、Ｖ／８＜ｖ×ｎであるならば符号化手法として座標値列挙手法を選択する。ボクセル生成手法としてＯＣＴＲＥＥ手法が選択された場合には、ＯＣＴＲＥＥ符号化手法にて符号化される。また、データの先頭にどの方式で符号化を行ったかを記述すると共に、それに付随するデータ、例えば順次走査手法における走査開始座標やどの範囲を走査するかなどのパラメータが格納される。
【００２４】
図１１、図１２、図１３に各々のデータ構造例をＣ言語風に示す。１１−８のデータ構造体は座標値列挙手法におけるデータ構造例である。１１−１は符号化方式を示す符号化モードを、１１−２ではボクセルの一辺の長さを、１１−３ではボクセルの個数を、１１−４はボクセル空間のＸ座標値を、１１−５はボクセル空間のＹ座標値を、１１−６はボクセル空間のＺ座標値を、１１−７は各ボクセルの座標値を格納する配列のポインタ（各ボクセルの座標値）を示す。
【００２５】
１２−１３のデータ構造体は空間分割列挙手法におけるデータ構造例である。１２−１は符号化方式を示す符号化モードを、１２−２ではボクセルの一辺の長さを、１２−３は分割されるボクセル空間の始点位置Ｘ座標を、１２−４は分割されるボクセル空間の始点位置Ｙ座標を、１２−５は分割されるボクセル空間の始点位置Ｚ座標を、１２−６は分割される空間の始点位置座標を、１２−７は分割されるボクセル空間のＸ座標方向の大きさを、１２−８は分割されるボクセル空間のＹ座標方向の大きさを、１２−９は分割されるボクセル空間のＺ座標方向の大きさを、１２−１０は分割されるボクセル空間の大きさを、１２−１１は８つの立方体が１バイトで表現（符号化）されたデータの長さ（バイト数）を、１２−１２は８つの立方体が１バイトで表現（符号化）されたデータのバッファポインタを示す。
【００２６】
１３−１２のデータ構造体はＯＣＴＲＥＥ符号化手法におけるデータ構造例である。１３−１は符号化手法を示す符号化モードを、１３−２はボクセル空間の始点位置Ｘ座標を、１３−３はボクセル空間の始点位置Ｙ座標を、１３−４はボクセル空間の始点位置Ｚ座標を、１３−５はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点座標位置を、１３−６はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点Ｘ座標位置（Ｘ軸方向の大きさ）を、１３−７はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点Ｙ座標位置（Ｙ軸方向の大きさ）を、１３−８はＯＣＴＲＥＥ手法にて分割される対象ボクセル空間の始点Ｚ座標位置（Ｚ軸方向の大きさ）を、１３−９はＯＣＴＲＥＥにて分割される対象ボクセル空間の大きさを、１３−１０はＯＣＴＲＥＥ符号化手法にて表現（符号化）されたボクセルデータの長さ（バイト数）を、１３−１１はＯＣＴＲＥＥ符号化手法にて表現（符号化）されたボクセルデータのバッファポインタを示す。ネットワーク伝送処理部９−７ではボクセル符号化部９−６にて作成されたボクセルデータを、ネットワーク９−８を経由してボクセル再構成装置９−９に送信する。
【００２７】
ネットワーク９−８はピアツーピアの接続が可能なネットワークを用いる。インターネットはその一つである。
【００２８】
ボクセル再構成装置９−９はネットワーク伝送処理部９−１０、ボクセル復号化部９−１１、ボクセル空間再構成部９−１２、３次元空間生成部９−１３で構成されている。ネットワーク伝送処理部９−１０ではネットワーク伝送処理部９−７から送信されたボクセルデータを、ネットワーク９−８を経由して受信する。ボクセル復号化部９−１１ではネットワーク伝送処理部９−１０によって受信されたボクセルデータからどの手法により符号化されたかを座標値列挙手法（モード１１−１）及び空間分割列挙手法（モード１２−１）及びＯＣＴＲＥＥ手法（モード１３−１）を用いて判別し、ボクセルデータの復号化を行う。ボクセル空間再構成部９−１２ではボクセル復号化部９−１１にて復号化されたボクセルデータからボクセル空間の再構築を行う。３次元空間生成部９−１３ではボクセル空間再構成部９−１２により生成されたボクセル空間から、３次元仮想空間を構築する。
【００２９】
以下、本実施の形態による符号化方式の動作について説明する。カメラ群９−１によりボクセル生成対象となる３次元物体を撮影する。撮影されたビデオ映像はキャプチャデバイス９−３にてボクセル生成装置９−２に取り込まれる。ビデオ映像はシルエット生成処理部９−４にて３次元物体のシルエットが抽出される。そのシルエットを元にボクセル生成手段判定部９−５ではボクセル生成手段が選択され、ボクセル空間が生成される。ボクセル符号化部９−６にてボクセル空間の特性に適したボクセル符号化方式が選択され、生成されたボクセル空間が符号化され、ボクセルデータが生成される。
【００３０】
ボクセル生成手段判定部９−５とボクセル符号化部９−６における一連の処理フローを図１４１４に示す。ステップ１４−１にてシルエットのバウンディングボックスの面積Ｓｂｂを算出し、続けてステップ１４−２にてシルエットの画素数Ｎｓを算出する。ステップ１４−３ではＳｂｂ／Ｎｓと適切に設定された閾値Ｔとを比較し、Ｓｂｂ／Ｎｓ＜Ｔならばステップ１４−４にて順次走査手法によるボクセル生成を、Ｓｂｂ／Ｎｓ≧Ｔならばステップ１４−１０にてＯＣＴＲＥＥ手法によるボクセル生成を行う。ステップ１４−４にて順次走査手法によるボクセル生成がなされた後、ステップ１４−５にて対象空間の分割された立方体の個数Ｖを算出する。続けてステップ１４−６にて３次元物体を構成するボクセルの個数ｖを算出する。ステップ１４−７にて立方体数Ｖを８で割った値とボクセル個数ｖとボクセルの座標を記述するのに必要なバイト数ｎをかけたものを比較し、Ｖ／８＜ｖ×ｎならばステップ１４−８にて座標値列挙手法による符号化を、Ｖ／８≧ｖ×ｎならばステップ１４−９にて空間分割列挙手法による符号化がなされる。
【００３１】
座標値列挙手法では図１１のように記述され、モード１１−１に座標値列挙手法を示すＩＤが記録される。空間分割列挙手法では図１２のようなデータ構造で記述され、モード１２−１に空間分割列挙手法を示すＩＤが記録される。一方１４−１０のＯＣＴＲＥＥ手法によるボクセル生成の場合は１４−１１のＯＣＴＲＥＥ符号化手法にて符号化される。ＯＣＴＲＥＥ符号化手法では図１３のようなデータ構造で記述され、モード１３−１にＯＣＴＲＥＥ符号化手法を示すＩＤが記録される。
【００３２】
これらのデータ構造で記述されたボクセルデータはネットワーク伝送処理部９−７にてネットワーク９−８を介してネットワーク伝送処理部９−１０に送信される。受信されたボクセルデータはのボクセル復号化部９−１１にてどの形式のデータ構造であるのかが判別される。具体的にはモード１１−１，１２−１及び１３−１のデータエリアを参照することで判別される。これらのｂｙ Ｍｏｄｅのデータエリアは全てデータの先頭などの同じ位置に存在する。判別されたデータ構造をもとにボクセルデータの復号化が行われ、ボクセル空間再構成部９−１２にてボクセル空間の再構築が行われる。再構築されたボクセル空間は３次元空間生成部９−１３によって３次元空間生成が行われる。ここではＯｐｅｎ ＧＬやＤｉｒｅｃｔ Ｘなどにより３次元仮想空間が生成される。
【００３３】
【発明の効果】
本発明によれば、ボクセルデータの分布から適切なボクセル符号化方式を選択することにより、ボクセルデータ量の効率化を図ることができる。
【図面の簡単な説明】
【図１】視体積交差法概念を示した図である。
【図２】順次走査法概念を示した図である。
【図３】ＯＣＴＲＥＥ手法概念を示した図である。
【図４】シルエットとバウンディングボックスの概念を示した図である。
【図５】座標値列挙手法概念を示した図である。
【図６】空間分割列挙法概念を示した図である。
【図７】ＯＣＴＲＥＥ符号化手法概念を示した図である。
【図８】ＯＣＴＲＥＥ符号化手法におけるデータ形式を示した図である。
【図９】本発明のボクセルデータ符号化方式のシステム構成図である。
【図１０】カメラ配置例を示した図である。
【図１１】座標列挙手法におけるデータ構造例を示した図である。
【図１２】空間分割列挙手法におけるデータ構造例を示した図である。
【図１３】ＯＣＴＲＥＥ符号化手法におけるデータ構造例を示した図である。
【図１４】ボクセル生成手段判定部及びボクセル符号化部における一連の処理を説明するためのフローチャートである。
【符号の説明】
１−１ カメラ１の視点
１−２ カメラ１のシルエット
１−３ 対象空間
１−４ 対象物体
１−５ カメラ２のシルエット
１−６ カメラ２の視点
１−７〜１−９ カメラ１の視点から対象物体の頂点へのベクトル
１−１０〜１−１２ カメラ２の視点から対象物体の頂点へのベクトル
２−１ スキャン（走査）方向。この方向を優先に走査される。
２−２ スキャン（走査）方向。２−１の次に優先して走査される。
２−３ スキャン（走査）方向。２−３の次に優先して走査される。
２−４ ボクセル空間
３−１ ＯＣＴＲＥＥ手法による分割０段階目
３−２ ＯＣＴＲＥＥ手法による分割１段階目
３−３ ＯＣＴＲＥＥ手法による分割３段階目
４−１ 映像フレーム
４−２ シルエット（輪郭）
４−３ バウンディングボックス
５−１ ボクセル１のＸ座標
５−２ ボクセル１のＹ座標
５−３ ボクセル１のＺ座標
６−１ ボクセル空間
６−２ １バイト分のボクセル集合体
７−１ ＯＣＴＲＥＥ手法による分割０段目
７−２ ＯＣＴＲＥＥ手法による分割１段目
７−３ ＯＣＴＲＥＥ手法による分割２段目
８−１ ＯＣＴＲＥＥ符号化手法における１段目のビット列構造
８−２ ＯＣＴＲＥＥ符号化手法における２段目のビット列構造
８−３〜８−４ １段目のＯＮビットに対する２段目のバイト
９−１ カメラ群
９−２ ボクセル生成装置
９−３ キャプチャデバイス
９−４ シルエット生成処理部
９−５ ボクセル生成手段判定部
９−６ ボクセル符号化部
９−７ ネットワーク伝送処理部
９−８ ネットワーク
９−９ ボクセル再構成装置
９−１０ ネットワーク伝送処理部
９−１１ ボクセル復号化部
９−１２ ボクセル空間再構成部
９−１３ ３次元空間生成部
１０−１〜１０−７ カメラ群
１０−９ 撮影対象物体
【特許請求の範囲】
【請求項１】
３次元対象物を撮影するカメラ群と、
撮影された前記３次元対象物をビデオ映像として取り込むキャプチャデバイスと、
前記ビデオ映像のシルエットのみ抽出するシルエット生成処理部と、
前記映像シルエットの分布に最適なボクセル生成手法を選択し、ボクセル空間を生成するボクセル生成手段判定部と、
生成されたボクセル空間の特性に適したボクセル符号化方式を選択し、その選択されたボクセル符号化方式によって前記生成されたボクセル空間を符号化して、符号化されたボクセル符号化データを生成するボクセル符号化部と、
前記ボクセル符号化データを送信するネットワーク伝送処理部と、
前記ボクセル符号化データを、ネットワークを経由して受信するネットワーク伝送処理部と、
受信された前記ボクセル符号化データがどの符号化方式で符号化されたかを判定して、当該ボクセル符号化データの復号化を行うボクセル復号化部と、
前記復号化されたボクセル復号化データからボクセル空間を再構成するボクセル空間再構成部と、
前記再構成されたボクセル空間を３次元コンピュータグラフィック（ＣＧ）で３次元表現を行う３次元空間生成部
を有することを特徴とするボクセルデータ符号化方式。
【請求項２】
前記ボクセル生成手段判定部では、前記シルエットのバウンディングボックスを求め、その座標値からバウンディングボックスの面積（Ｓｂｂ）を求めると同時に前記シルエットの画素数（Ｎｓ）を求め、
前記面積（Ｓｂｂ）と前記画素数（Ｎｓ）の比率（Ｓｂｂ／Ｎｓ）が所定の閾値（Ｔ）より小さい時、順次走査手法をボクセル生成手法として選択し、前記比率（Ｓｂｂ／Ｎｓ）が前記閾値（Ｔ）より大きい時、ＯＣＴＲＥＥ手法をボクセル生成手法として選択することを特徴とする請求項１記載のボクセルデータ符号化方式。
【請求項３】
前記ボクセル符号化部は、ボクセル生成手法として順次走査手法が選択された場合、前記生成されたボクセル空間について走査する立方体の数Ｖとボクセルの個数ｖを求め、ボクセルの座標値を記述するのにｎバイト必要な時、前記立方体の数Ｖを８で割った値と、前記ボクセル個数ｖ及び前記ボクセルの座標を記述するのに必要なバイト数ｎを積算したものを比較し、Ｖ／８≧ｖ×ｎであるならば符号化手法として空間分割列挙手法を選択し、Ｖ／８＜ｖ×ｎであるならば符号化手法として座標値列挙手法を選択し、選択された符号化手法により前記ボクセル空間を符号化することを特徴とする請求項２記載のボクセルデータ符号化方式。
【請求項４】
前記ボクセル符号化部は、ボクセル生成手法として前記ＯＣＴＲＥＥ手法が選択された場合には、ＯＣＴＲＥＥ符号化手法にて前記ボクセル空間を符号化することを特徴とする請求項２記載のボクセルデータ符号化方式。
【請求項５】
前記ボクセル符号化データには、当該データの先頭にどの方式で符号化を行ったかを示すＩＤが記録されていることを特徴とする請求項３又は４記載のボクセルデータ符号化方式。
【請求項６】
前記ボクセル符号化データは、符号化手法として前記座標値列挙手法が選択された場合、それに付随するパラメータとして、ボクセルの一辺の長さ、ボクセルの個数、各ボクセルの座標値を格納する配列のポインタ、ボクセルのＸ座標値、ボクセルのＹ座標値、及びボクセルのＺ座標値が格納された構造を有していることを特徴とする請求項５記載のボクセルデータ符号化方式。
【請求項７】
前記ボクセル符号化データは、符号化手法として前記空間分割列挙手法が選択された場合、それに付随するパラメータとして、ボクセルの一辺の長さ、分割される空間の始点位置座標、分割される空間の始点位置Ｘ座標、分割される空間の始点位置Ｙ座標、分割される空間の始点位置Ｚ座標、分割される空間の大きさ、分割される空間のＸ座標方向の大きさ、分割される空間のＹ座標方向の大きさ、分割される空間のＺ座標方向の大きさ、８つの立方体が１バイトで表現されるデータの長さ、及び８つの立方体が１バイトで表現されるデータのポインタが格納された構造を有していることを特徴とする請求項５記載のボクセルデータ符号化方式。
【請求項８】
前記ボクセル符号化データは、符号化手法として前記ＯＣＴＲＥＥ符号化手法が選択された場合、それに付随するパラメータとして、ＯＣＴＲＥＥ手法にて分割される対象空間の始点座標位置、ＯＣＴＲＥＥ手法にて分割される対象空間の始点Ｘ座標位置、ＯＣＴＲＥＥ手法にて分割される対象空間の始点Ｙ座標位置、ＯＣＴＲＥＥ手法にて分割される対象空間の始点Ｚ座標位置、ＯＣＴＲＥＥにて分割される対象空間の大きさ、ＯＣＴＲＥＥにて分割される対象空間のＸ軸方向の大きさ、ＯＣＴＲＥＥにて分割される対象空間のＹ軸方向の大きさ、ＯＣＴＲＥＥにて分割される対象空間のＺ軸方向の大きさ、ＯＣＴＲＥＥ符号化手法にて表現されるボクセルデータの長さ、及びＯＣＴＲＥＥ符号化手法にて表現されるボクセルデータのポインタが格納された構造を有していることを特徴とする請求項５記載のボクセルデータ符号化方式。
【請求項１】
３次元対象物を撮影するカメラ群と、
撮影された前記３次元対象物をビデオ映像として取り込むキャプチャデバイスと、
前記ビデオ映像のシルエットのみ抽出するシルエット生成処理部と、
前記映像シルエットの分布に最適なボクセル生成手法を選択し、ボクセル空間を生成するボクセル生成手段判定部と、
生成されたボクセル空間の特性に適したボクセル符号化方式を選択し、その選択されたボクセル符号化方式によって前記生成されたボクセル空間を符号化して、符号化されたボクセル符号化データを生成するボクセル符号化部と、
前記ボクセル符号化データを送信するネットワーク伝送処理部と、
前記ボクセル符号化データを、ネットワークを経由して受信するネットワーク伝送処理部と、
受信された前記ボクセル符号化データがどの符号化方式で符号化されたかを判定して、当該ボクセル符号化データの復号化を行うボクセル復号化部と、
前記復号化されたボクセル復号化データからボクセル空間を再構成するボクセル空間再構成部と、
前記再構成されたボクセル空間を３次元コンピュータグラフィック（ＣＧ）で３次元表現を行う３次元空間生成部
を有することを特徴とするボクセルデータ符号化方式。
【請求項２】
前記ボクセル生成手段判定部では、前記シルエットのバウンディングボックスを求め、その座標値からバウンディングボックスの面積（Ｓｂｂ）を求めると同時に前記シルエットの画素数（Ｎｓ）を求め、
前記面積（Ｓｂｂ）と前記画素数（Ｎｓ）の比率（Ｓｂｂ／Ｎｓ）が所定の閾値（Ｔ）より小さい時、順次走査手法をボクセル生成手法として選択し、前記比率（Ｓｂｂ／Ｎｓ）が前記閾値（Ｔ）より大きい時、ＯＣＴＲＥＥ手法をボクセル生成手法として選択することを特徴とする請求項１記載のボクセルデータ符号化方式。
【請求項３】
前記ボクセル符号化部は、ボクセル生成手法として順次走査手法が選択された場合、前記生成されたボクセル空間について走査する立方体の数Ｖとボクセルの個数ｖを求め、ボクセルの座標値を記述するのにｎバイト必要な時、前記立方体の数Ｖを８で割った値と、前記ボクセル個数ｖ及び前記ボクセルの座標を記述するのに必要なバイト数ｎを積算したものを比較し、Ｖ／８≧ｖ×ｎであるならば符号化手法として空間分割列挙手法を選択し、Ｖ／８＜ｖ×ｎであるならば符号化手法として座標値列挙手法を選択し、選択された符号化手法により前記ボクセル空間を符号化することを特徴とする請求項２記載のボクセルデータ符号化方式。
【請求項４】
前記ボクセル符号化部は、ボクセル生成手法として前記ＯＣＴＲＥＥ手法が選択された場合には、ＯＣＴＲＥＥ符号化手法にて前記ボクセル空間を符号化することを特徴とする請求項２記載のボクセルデータ符号化方式。
【請求項５】
前記ボクセル符号化データには、当該データの先頭にどの方式で符号化を行ったかを示すＩＤが記録されていることを特徴とする請求項３又は４記載のボクセルデータ符号化方式。
【請求項６】
前記ボクセル符号化データは、符号化手法として前記座標値列挙手法が選択された場合、それに付随するパラメータとして、ボクセルの一辺の長さ、ボクセルの個数、各ボクセルの座標値を格納する配列のポインタ、ボクセルのＸ座標値、ボクセルのＹ座標値、及びボクセルのＺ座標値が格納された構造を有していることを特徴とする請求項５記載のボクセルデータ符号化方式。
【請求項７】
前記ボクセル符号化データは、符号化手法として前記空間分割列挙手法が選択された場合、それに付随するパラメータとして、ボクセルの一辺の長さ、分割される空間の始点位置座標、分割される空間の始点位置Ｘ座標、分割される空間の始点位置Ｙ座標、分割される空間の始点位置Ｚ座標、分割される空間の大きさ、分割される空間のＸ座標方向の大きさ、分割される空間のＹ座標方向の大きさ、分割される空間のＺ座標方向の大きさ、８つの立方体が１バイトで表現されるデータの長さ、及び８つの立方体が１バイトで表現されるデータのポインタが格納された構造を有していることを特徴とする請求項５記載のボクセルデータ符号化方式。
【請求項８】
前記ボクセル符号化データは、符号化手法として前記ＯＣＴＲＥＥ符号化手法が選択された場合、それに付随するパラメータとして、ＯＣＴＲＥＥ手法にて分割される対象空間の始点座標位置、ＯＣＴＲＥＥ手法にて分割される対象空間の始点Ｘ座標位置、ＯＣＴＲＥＥ手法にて分割される対象空間の始点Ｙ座標位置、ＯＣＴＲＥＥ手法にて分割される対象空間の始点Ｚ座標位置、ＯＣＴＲＥＥにて分割される対象空間の大きさ、ＯＣＴＲＥＥにて分割される対象空間のＸ軸方向の大きさ、ＯＣＴＲＥＥにて分割される対象空間のＹ軸方向の大きさ、ＯＣＴＲＥＥにて分割される対象空間のＺ軸方向の大きさ、ＯＣＴＲＥＥ符号化手法にて表現されるボクセルデータの長さ、及びＯＣＴＲＥＥ符号化手法にて表現されるボクセルデータのポインタが格納された構造を有していることを特徴とする請求項５記載のボクセルデータ符号化方式。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００４−７０７９２（Ｐ２００４−７０７９２Ａ）
【公開日】平成１６年３月４日（２００４．３．４）
【国際特許分類】
【出願番号】特願２００２−２３１１９２（Ｐ２００２−２３１１９２）
【出願日】平成１４年８月８日（２００２．８．８）
【出願人】（５９２２５６６２３）通信・放送機構 (2)
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【Ｆターム（参考）】
【公開日】平成１６年３月４日（２００４．３．４）
【国際特許分類】
【出願日】平成１４年８月８日（２００２．８．８）
【出願人】（５９２２５６６２３）通信・放送機構 (2)
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００２１３３０１）中部日本電気ソフトウェア株式会社 (56)
【Ｆターム（参考）】
[ Back to top ]