撮像システム及び方法
【課題】動く三次元物体を撮像するための撮像システム及び方法を提供すること。
【解決手段】動く三次元物体を撮像するための撮像システムにおいて、該システムは、３つの異なる角度から前記物体を照射する少なくとも３つの光源と、前記物体から反射された前記３つの光源からの放射を集めるように備えられたビデオカメラと、前記三次元物体の深度マップを生成するように構成された画像プロセッサと、を備える。前記光源の各々は、異なる周波数の放射を発する。前記画像プロセッサは、前記３つの異なる光源からの反射信号を識別するように構成されている。
【解決手段】動く三次元物体を撮像するための撮像システムにおいて、該システムは、３つの異なる角度から前記物体を照射する少なくとも３つの光源と、前記物体から反射された前記３つの光源からの放射を集めるように備えられたビデオカメラと、前記三次元物体の深度マップを生成するように構成された画像プロセッサと、を備える。前記光源の各々は、異なる周波数の放射を発する。前記画像プロセッサは、前記３つの異なる光源からの反射信号を識別するように構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ画像作成用のデータを集めて表示するために用いられる撮像システムの技術分野に関する。本発明は、また、複雑な物体（complex objects）の２Ｄ及び３Ｄアニメーション用のデータの生成に用いられても良い。
【背景技術】
【０００２】
３Ｄ画像作成の分野は、概ね、３Ｄフィルム製作のためにデータを取得するのにかかる時間により束縛されてきた。これまで、３Ｄ映画は、一般に、本格的な記録形式ではなく、目新しいものとして理解されてきた。いま、３Ｄ画像生成は、ＣＧ画像生成に用いられる重要なツールであると思われている。
【０００３】
３Ｄ画像データ作成の一つの確立された方法は、物体の写真を複数の異なる照射方向から撮影するフォトメトリック・ステレオ（例えば、非特許文献１を参照）である。各々の照射方向について、一つの写真が撮影される。したがって、これは、動く物体の映像をリアルタイムに取得するために用いることのできる技術ではない。
【０００４】
非特許文献２は、表面法線を計算するためにカラーを用いることについて述べている。しかしながら、リアルタイムでの３Ｄビデオの記録の問題を扱うためにカラーが用いられうるという認識はなかった。
【非特許文献１】R Woodham “photometric method for determining surface orientation from multiple images” Optical Eng. Number 1, pages 139-144 1980
【非特許文献２】A, Petrov “Light Color and Shape” Cognitive Processes and their Simulation, pages 350-358, 1987
【発明の開示】
【課題を解決するための手段】
【０００５】
本発明は、上述の問題を扱い、第１の態様では、動く三次元物体を撮像するための撮像システムにおいて、３つの異なる角度から前記物体を照射する少なくとも３つの光源と、前記物体から反射された前記３つの光源からの放射を集めるように備えられたビデオカメラと、前記三次元物体の深度マップ（depth map）を生成するように構成された画像プロセッサとを含み、前記光源の各々は、複数の周波数（ＵＶ放射、ＩＲ放射線などを含む）のうちで異なる周波数の放射を発し、前記画像プロセッサは、前記３つの異なる光源からの反射信号を識別するように構成されたシステムを提供する。
【０００６】
更に、本技術は、布、衣類、編物又は織物、シーツなどのような、複雑な物体のためのデータの記録に適用可能である。
【０００７】
動く物体からのデータを記録する場合に、自己遮蔽が発生し、これがデータに影響を与えるであろう。したがって、好ましくは、前記プロセッサは、前記物体が動くときに生じる影の位置を判定するように構成されている。前記影の位置は、前記光源の各々から測定された前記信号の強度が急に変化する位置を特定することによって、判定される。
【０００８】
好ましい実施形態において、前記プロセッサは、前記物体の表面法線の位置を判定する前に、前記影の位置を判定するように構成されている。
【０００９】
好ましい実施形態において、その装置は、キャリブレーションデータを記憶するように構成されたメモリを更に含み、前記キャリブレーションデータは、前記物体と同じ表面特性を持つサンプルからのデータを含み、該サンプルの表面の方向を示す情報とともに記憶されたものである。そして、前記プロセッサは、前記キャリブレーションデータを用いて、集められた前記放射から、前記物体のための深度マップを判定するように構成されても良い。
【００１０】
上記は、キャリブレーションボードと該キャリブレーションボードを搭載するように構成された搭載部とを用いることにより達せされても良い。前記キャリブレーションボードは、前記物体と同じ表面特性を持つ表面部分を有し、搭載するための前記搭載部は、前記キャリブレーションボードの表面の方向を判定するように構成された判定部を含む。
【００１１】
データを集める装置はスタンドアローンであることが可能であるが、前記深度マップから三次元動画像を表示するように構成された表示部を更に含む３Ｄ画像生成装置の一部に組み込まれても良い。
【００１２】
前記システムは、また、２Ｄ又は３Ｄアニメーションに用いられても良い。この場合、前記システムは、生成された前記深度マップを移動させるように構成された移動部を含む。
【００１３】
前記システムは、また、前記深度マップにパターンを適用するように構成された適用部を更に含んでも良い。前記適用部は、前記深度マップのフレームから前記物体の３Ｄテンプレートを形成し、前記フレームの前記物体上のパターンの位置を判定し、前記パターンを持つ前記テンプレートを、その後のフレーム群に適合するよう変形させるように構成されている。前記テンプレートは、該テンプレートの変形が、元の取得された（captured）前記データのフレーム間オプティカルフローに適合する必要があるという制約を用いて変形されても良い。好ましくは、前記テンプレートは、前記変形が前記データに許されるのと同じくらいの剛性であるという更なる制約を用いて変形される。
【００１４】
第２の態様では、本発明は、動く三次元物体を撮像するための方法において、３つの異なる角度から、それぞれ異なる周波数の放射を発する少なくとも３つの光源を用いて、前記物体を照射する工程と、ビデオカメラを用いて、前記物体から反射された前記３つの光源からの放射を集める工程と、前記３つの異なる光源からの反射信号を識別する工程と、前記ビデオカメラの出力から、前記三次元物体の深度マップを生成する工程を含む方法を提供する。
【００１５】
前記方法は、布又は他の柔軟性のある素材の映像化に適用しても良い。
【発明を実施するための最良の形態】
【００１６】
本発明は、これから、以下の非限定的な実施形態を参照して説明される。
【００１７】
図１は、物体１の撮像に用いられる、本発明の実施形態に係るシステムの概略図である。この物体は、３つの異なる光源３，５，７により照射される。
【００１８】
この特定の例において、第１の光源３は、赤色（Ｒ）光源であり、第２の光源５は、緑色（Ｇ）光源であり、第３の光源７は、青色（Ｂ）光源である。
【００１９】
本実施形態において、システムは、データに影響する背景放射を最小限に抑えるために、屋内又は暗い屋外のどちらかに備えられる。３つの光源３，５，７は、横方向には物体１の周囲に配置され、垂直方向には床面の高さから物体１の高さの間のレベルに置かれる。
【００２０】
３つの光源３，５，７の間の角距離は、物体１に関する回転面で約３０度である。より大きな角距離は、方向依存性のある色変化をよりはっきりさせることができる。しかしながら、光源が遠く離れすぎると、物体１のくぼんだ形状を識別することがより難しくなる。それは、そのような形状による影が、物体１のより大きい部分に広がり、データ解析をより難しくするからである。より好ましい配置において、物体１の各々の部分は、３つの光源３，５，７の全てにより照射される。
【００２１】
第２の光源５の垂直下方にあるカメラ９は、３つの光源３，５，７により照射されながら動く物体を記録するために用いられる。
【００２２】
システムを校正するために、図２に示されるタイプのキャリブレーションボードが用いられても良い。キャリブレーションボード２１は、四角の布２３と、複数の円のパターン２５とを含む。ボード２１が動くことにより、カメラ９と光源３，５，７との間のホモグラフィーを算出することができる。ホモグラフィーを計算することは、カメラに対して複数の光源方向を計算することを意味する。一旦、これが完了すると、ズームとフォーカスは、色又は光源方向に影響しないので、撮影の間、それらを変えることが可能になる。布２３は、また、色と方向との間の関連性を測定することを可能にする。
【００２３】
形状を判定するために、まず、撮像される物体の表面上の全ての点について、面の法線方向を判定する必要がある。本実施形態は、３つの光源３，５，７が、どの表面点上においても、その表面点の方向に依存する色キューを生じさせることを、仮定している。
【００２４】
したがって、表面色（ベクトル）Ｉと方向（ベクトル）ｎとの間に次の１対１マッピングＭが存在する。
Ｉ＝Ｍ（ｎ） または ｎ＝Ｍ−１（Ｉ）
Ｍを決定するために、フォトメトリック・ステレオ技術は、上記表面がランバート面であり、上記カメラのセンサ応答が線形であることを、仮定している。
【数１】
【００２５】
ここで、（ベクトル）Ｉは、画像上で観測されたＲＧＢカラーであり、（ベクトル）ｂは、環境光を示す定数ベクトルであり、（ベクトル）ｎは、表面位置における単位法線であり、Lは、３×３の行列である。この行列において、いずれの列も、光源に向けられ且つ物体のアルベド倍した光源強度により基準化された（scaled）、３Ｄベクトルを表す。物体のアルベドは、入射光に対して反射された割合である。
【００２６】
この例を単純化するために、複数の色割合が一定であると仮定する。すなわち、Ｒ／ＢとＢ／Ｇとの間の割当量は、画像上の各々のピクセルについて同一であるものとすべきである。これは、スケール係数までの３×４の行列［ＬＴｂ］を推定することによって、色と表面方向との間のマッピングが決定されることを可能にする。
【００２７】
多くの実際的な状況では、カメラの応答は非線形であり、また、表面はランバート反射体ではないであろうから、マッピングを計算するのはより難しいであろう。しかしながら、マッピングを測定するために図２に示されるタイプのキャリブレーションツールを用いることが可能である。撮像されることになっている物体の表面の材料が、キャリブレーションボード２１の四角２３に設置されれば、キャリブレーションシーケンスの一部として、各々の可能な表面法線について画像信号を測定することが可能になる。したがって、非線形条件と完全なランバート反射率特性を持たない表面とを考慮に入れても、表面法線ｎｉと材料の明度Ｉｉとの対応は決定可能である。
【００２８】
さまざまの既知のボード方向について画像が取得される最初のキャリブレーションルーティンからの結果は、すべての可能なボード方向について実行される必要はない。それは、すべての方向に適したデータを決定するために、最近隣補間が使用可能だからである。３×４の行列にキャリブレーションデータを提供するために、４つの方向だけからデータを取得することは可能である。良好なキャリブレーションデータは、５０前後の方向から獲得される。しかしながら、キャリブレーションデータは、容易に集めれるので、何千もの方向からデータを取得することもあり得る。
【００２９】
非ランバート反射体と非線形の応答関数を持つカメラのための複雑なマッピングを決定するために、キャリブレーションボードを用いる技術が使用可能であっても、なお、物体のアルベドが一定の色度を持つと仮定する必要がある。これが仮定されなければ、マッピングＭは、不可逆になり、同一の表面色について、いくつかの有効な表面方向が存在し得るであろう。
【００３０】
物体は、また、撮影の間それ自体を影にしても良い。図３のＡは、図１のシステムを用いて取得する、スパンデックスボディースーツを着用しているダンサーの画像である。図３のＡは、赤色光源からの画像データを示し、図３のＢは、緑色光源からの画像データを示し、図３のＣは、青色光源からの画像データを示している。この特定の例において、赤色光源は、ダンサーの右手側にあり、緑色光源は、ダンサーの前方にあり、青色光源はダンサーの左手側にある。表示されたポーズにおいて、ダンサーは、右側にターンする。図３のＣにおいて、左足に起因する右足上の影が、より顕著である。
【００３１】
影がない場合、１つのチャネル、すなわち、赤、緑又は青のいずれか、からの反射された照射は、滑らかに変化すると予想されるであろう。急な変化は、エッジの存在を示しており、これらエッジは、ラプラスフィルタを用いることによって各々のチャネルについて判定される。一つのチャネル当り実行されるこの解析からの結果は、図３のＤに示される。
【００３２】
エッジピクセルであると判定されたピクセルは、次いで更に、勾配方向（gradient orientation）を判定するために解析される。ピクセルは、基本方位（cardinal directions）の各々（すなわち、北、南、東、西、北西、南西、北東、南東)に沿って解析される。勾配の大きさが閾値τ以下に落ちるピクセルは、破棄される。勾配方向が一致する隣接ピクセルは、結合されたコンポーネントにグループ化される。
【００３３】
物体の境界エッジと影との間の相違を判定するために、そのアルゴリズムを用いることができるであろう。これは、図３のＥに示されている。図３のＥにおいて、３つのチャネル（ＲＧＢ）すべてが反射信号強度における急な変化を示す場合、物体の境界エッジが生じる。
【００３４】
上記から、ルックアップシャドウマスクを決定することが可能である。
【００３５】
そして、まず上記の技術を用いて影の位置を判定し、次いで３つの光源すべてからの良好な信号が存在する場合すなわち影が存在しない場合におけるピクセルのすべてについて法線を推定することによって、表面が再構築されても良い。法線は、前述のように推定される。
【００３６】
もし２つの光源からの信号のみが使用可能ならば、なお、データは処理可能である。ただし、一定のアルベド、すなわち、一定の色度及び一定の輝度、が仮定される必要がある。
【００３７】
一旦、表面法線の２Ｄグリッドが作成されれば、各々の法線フレームは、２Ｄポワソンソルバー又は同種のものを用いて統合される。例えば、逐次過剰緩和ソルバー（ＳＯＲ）が、各々のフレームの深度マップ又は表面メッシュの映像を作成するために用いられる。
【００３８】
各々のフレームの表面メッシュの生成は、ポワソンソルバーのための境界条件として用いられるシャドウマークの境界条件に制約される。輪郭のフレーム間コヒーレンシーは、また、境界条件とみなされる。
【００３９】
その技術の的確さを検証するために、マクベス・カラーチャートが用いられた。そのチャートは、有色の光源の各々により順番に照射された。
【００４０】
その技術は、カラー光源中の不純物、例えば、青色光及び緑色光に少量延びた赤色光、を補正することが、見出された。また、その技術は、最近のビデオカメラにしばしば用いられるカラーバランス機能を補正した。
【００４１】
図４のＡは、３つのＲＧＢ光源すべてにより照射された、図３のダンサーを示し、図４のＢは、再校正された画像を示す。ダンサーは、完全にはランバート材料ではないスパンデックスを着用している。再構築物上には、シーム３１及びダンサーの寛骨３３のような細部を見ることが出来る。したがって、図４のＢに示されるタイプの動画像は、図４のＡにおいて取得されたデータからリアルタイムに作成することが可能である。
【００４２】
図５は、従来方法と本発明の実施形態との結果を比較したものである。
【００４３】
図５のＡ，Ｂ，Ｃは、フォトメトリック・ステレオの技術を用いて個別に取得された３つのフレームを示す。フォトメトリック・ステレオにおいて、個別の画像は、デジタルスチルカメラを用いて取得される。次いで、３つの画像からのデータは、既知の方法（例えば、R Woodham “photometric method for determining surface orientation from multiple images” Optical Eng. Number 1, pages 139-144 1980を参照）に従ってＤの３Ｄ画像を形成するために処理される。
【００４４】
これは、図５のＥに示されるようにジャケットを照射するために、図１に示されるように３つの異なる色の光源が用いられる本発明の方法と比較することが可能である。図１の装置を用いて生成された３Ｄ画像は、図５のＦに示される。
【００４５】
図５のＤとＦの画像は類似しているが、Ｆの画像のみがリアルタイムの３Ｄビデオ構築におけるフレームとして用いることが可能である。これまでにわれわれは、３Ｄ画像の品質に影響を及ぼす問題、すなわち、カメラ自身に備わる単色光源の不純物及びカラーバランス機能について検討した。しかしながら、バウンディング・ボックス・ダイアゴナルを用いて計算される、図５のＤとＦの３Ｄ画像の間の誤差は、１．４％だけであった。
【００４６】
図６は、複雑な布地の材料の再構築物を示す。図６のＡは、複雑なテクスチャーパターンを持つジャンパーを着用しているモデルを示す。そのモデルは、図１を参照して説明された通り、３つの光源を用いて照射される。
【００４７】
図６のＢは、図６のＡのモデルについて、図３を参照して説明された通りに生成された画像を示す。ニットのジャンパーの複雑な表面のテクスチャーが、生成された画像においてはっきりと見られる。
【００４８】
衣類は、しばしば、テクスチャーに加えて又は代えて、表面上の色に備わるパターンをしぼませる。
【００４９】
図７のＡは、図１を参照して説明された装置を用いて取得された、ダンスをするモデルの一連の画像（（i）−（vii））である。ダンスをするモデルは、図６のＡ及びＢにおいて再構築されたのと同じジャンパーを着用している。しかしながら、図７は、一実施形態に係る方法が、カラーパターンが布にどのように適用できるかを示すために利用可能であることを、図示するために用いられる。
【００５０】
図７に示される結果において、カラービデオカメラは、１２８０×７２０の解像度をもって用いられた。計算時間は、深度マップの再生についてはフレーム当たり２０秒のオーダーであり、パターンの重ね合わせについてはフレーム当たり更に２０秒であった。計算は、２ＧｂのＲＡＭを備えた持った２．８ＧＨｚのペンティアム（登録商標）４ プロセッサを用いて実行された。
【００５１】
図７のＢは、図７のＡのダンサーから生成された一連の３Ｄ画像を示す。
【００５２】
図７Ｂの画像は、それぞれ、すぐ上に示された図７のＡのフレーム（（i）−（vii））に対応する。フレーム（（i）−（vii））は、一連のフレームから選択されたフレームである。
フレーム（i）−フレーム番号０
フレーム（ii）−フレーム番号２５０
フレーム（iii）−フレーム番号３４０
フレーム（iv）−フレーム番号３８０
フレーム（v）−フレーム番号４２７
フレーム（vi）−フレーム番号４６３
フレーム（vii）−フレーム番号５０８
ダンサー上にカラーパターンを重ね合わせる第１の方法において、単語ICCV 07及び緑色と黄色の旗である画像は、上述したように深度マップを用いて生成される。
【００５３】
これは、フレーム（i）から（iii）について功を奏するのが見られるが、しかしながら、フレーム（iv）において、ダンサーが下へ移動しているのにもかかわらず、旗とパターンの両方が同一の垂直レベルでとどまっている。フレーム（iv）において、旗が、ダンサーのジャンパーとともに、よく変形するように見える。しかしながら、ダンサーが下へ移動しているのにもかかわらず、パターンが同一の垂直レベルでとどまっている。したがって、パターンは、ダンサーのジャンパーに比べて上方へ移動しているように見える。この問題は、フレーム（v）から（vii）において継続する。
【００５４】
図７のＣは、ジャンパー上にパターンを重ね合わせるための強化された一つの方法の結果を示す。ここで、シーケンスの第１の深度マップ（i）は、それに続く全ての深度マップに適合するように変形されるテンプレートとして用いられる。
【００５５】
これは、ｚｋ（ｕ，ｖ）をフレームｔにおける深度マップとすることによって、行われる。変形可能なテンプレートは、フレーム０における深度マップに対応して設定され、そのテンプレートは、次式の頂点と１セットのエッジεとを持つ三角形メッシュである。
【数２】
【００５６】
【数３】
【００５７】
図７のＣで生成された画像は、テンプレートの変形が、元のビデオシーケンスのフレーム間２Ｄオプティカルフローに適合する必要があるという制約を用いて生成された。
【００５８】
まず、フレーム間オプティカルフローは、法線マップの映像を用いるコンピュータである。次いで、標準オプティカルフローアルゴリズムが用いられる（例えば、M Black and P Anadan “The robust estimation of multiple motions： parametric and piecewise smooth flow fields” Computer Vision and Image Understanding, volume 63(1), pages 75 to 104, January 1996参照）。それのために、フレームｔにおけるどのピクセル位置（ｕ，ｖ）も、フレームｔ＋１におけるそのピクセルの移動（ベクトル）ｄｔ（ｕ，ｖ）を予測する。（ｕｔ，ｖｔ）は、フレーム０において（ｕ０，ｖ０）であるピクセルのフレームｔにおける位置を意味するとする。（ｕｔ，ｖｔ）は、次の式を用いて、ｄｔ（ｕ，ｖ）を移動させることによって、推定することができる。ここで、ｊ＝１……….tである。
【数４】
【００５９】
【数５】
【００６０】
【数６】
【００６１】
上記の処理の結果は、図７のＣに見られる。ここで、パターンは、ジャンパーとともに変形し、また、ジャンパーと比較して同一の位置にとどまることを、認めることができる。しかしながら、ジャンパーの上端を見ると、伸張及び他の幾何学的な不自然な結果の発生が始まろうとしているのを、認めることができる。これはフレーム（ii）から見られ、また、フレーム（ｖｉｉｉ）までにジャンパーの全体の上端が変形されているのが見られる。これらの不自然な結果は、画像ノイズ又は遮蔽によるオプティカルフローにおける誤差に起因する。
【００６２】
この問題に対処するために、画像へ剛性をもたらすように、さらなる制約が付け加えられる。テンプレートメッシュの変形を公式化するために、隣接する頂点に適用される変形は、できるだけ類似した状態に保たれる必要がある。これは、次のエネルギー項ＥＲを加えることにより達成される。
【数７】
【００６３】
次いで、上記の２つの項が、次のように結合される。
【数８】
【００６４】
ここで、Ｎ（i）は、隣接する頂点ｉのセットであり、αは、メッシュの剛性の程度を示すパラメータである。この計算の結果は、図７のＤに示される。ここでは、フレームの進行につれて、パターンが、移動し、ダンサーのジャンパーとともに変形するのを見ることができ、また、ジャンパーにおいて人工物が見られる。示された実験において、パターンは、５００を越えるフレームについてジャンパーを追跡した。
【００６５】
図８は、図６及び７（図７のフレーム（iv））のダンサーの３Ｄ画像の異なる角度からの５つのビューを示す。画像は、カラーパターンなしで示されている。ジャンパーの細部は、５つのビューすべてにおいて認めることが可能である。メッシュは、およそ１８０，０００の頂点を含んでいる。
【００６６】
図６，７，８を参照して説明されたデータは、布と、複雑なテクスチャーパターン及び複雑なカラーパターンの両方を持つ布とのモデリングについて、本発明の一実施形態をどのように用いることが可能であるかを示す。
【００６７】
図９は、アニメーション用の布のモデリングについて、本発明の一実施形態をどのように用いることが可能であるかを示す。図９において、図６及び７の動くメッシュは、関節でつながったスケルトンに接続されている。
【００６８】
スキニングアルゴリズムは、コンピューター・アニメーションの技術において良く知られている。図９の特徴を生成するために、スムーズ・スキニング・アルゴリズムが用いられる。それにおいて、頂点（ベクトル）ｖｋは、それぞれ、一つ以上のスケルトンの関節に接続され、各々の関節へのリンクｊは、ｗｉ，ｋにより重み付けされる。重みは、各々の関節の動きが頂点の変形にどのくらい影響を及ぼすかを制御する。
【数９】
【００６９】
【数１０】
【００７０】
まず、固定されたスケルトンを、固定されたドレスの距離パターンに揃え、また、メッシュの頂点の各々について、スケルトン上の最近隣のセットに揃えることによって、メッシュがスケルトンに接続される。（The mesh was attached to the skeleton by first aligning a depth pattern of the fixed dress with a fixed skeleton and for each mesh vertex a set of nearest neighbours on the skeleton．）重みは、これらの距離に反比例するようにセットされる。次いで、スケルトンは、公に利用可能なｍｏｃａｐデータ(Carnegie−mellon mocap database http://mocap.cs.cmu.edu)を用いて映像化される（animated）。メッシュは、取得された布シーケンスのうちの１つを再生することによって映像化される。
【図面の簡単な説明】
【００７１】
【図１】本発明の一実施形態に係る装置の概略図である。
【図２】本発明の装置を校正するために用いられるキャリブレーションボードを示す図である。
【図３】Ａ，Ｂ及びＣは、ビデオカメラと、異なる位置から物体を照射する３つの異なるカラー光源とを用いて集められた、動く物体のビデオからのフレームを示す図であり、Ａは、第１の光源から集められた画像のコンポーネントを持つフレームを示し、Ｂは、第２の光源から集められた画像のコンポーネントを持つフレームを示し、Ｃは、第３の光源から集められた画像のコンポーネントを持つフレームを示し、Ｄは、ラプラシアン・フィルタにより判定された画像のエッジを示し、Ｅは、それら光線がそれらの影を投影する場合を示す。
【図４】Ａは、３つの光源すべてにより照射された、図３に示されるモデルの画像を示す図であり、Ｂは、生成された画像を示す図である。
【図５】Ａ，Ｂ及びＣは、従来技術のフォトメトリック・ステレオを用いて、取得されたジャケットの３つのフレームを示す図であり、ここで、各々のフレームＡ，Ｂ及びＣは、異なる照射方向からの照射を用いて個別に取得されたものであり、Ｄは、Ａ，Ｂ及びＣのデータから生成された３Ｄ画像であり、Ｄは、図１の装置にそれぞれ記載された各々の光源からのフレームであり、Ｅは、図１の装置により取得されたフレームであり、Ｆは、Ｅのフレームから生成された３Ｄ画像である。
【図６】Ａは、ビデオカメラと、３つの異なるカラー光源とを用いて集められた、テクスチャーを持つジャンパーを着ている動く物体のビデオからのフレームを示す図であり、Ｂは、Ａに示される物体から集められたデータから生成された３Ｄ画像を示す図である。
【図７】Ａは、ダンサーのフレームのシリーズを示す図であり、Ｂは、ダンサーのジャンパー上に重ね合わされたカラーパターンを持つ、Ａのダンスから生成された３Ｄ画像のフレームのシリーズを示す図であり、Ｃは、ダンサー上にカラー画像を重ね合わせる強化された方法を示す、Ａのダンサーのフレームのシリーズを示す図であり、ここで、パターンは、アドベクティブ・オプティカル・フローを持つ登録スキームを用いるものであり、Ｄは、剛性の制約を持つＣのアドベクティブ・オプティカル・フローを用いる、Ａのダンサーのフレームのシリーズである。
【図８】５つの異なる角度から見た３Ｄ画像を示す図である。
【図９】本発明の一つの実施形態によってモデル化されたドレスを着用する、関節でつながったスケルトンを示す図である。
【技術分野】
【０００１】
本発明は、３Ｄ画像作成用のデータを集めて表示するために用いられる撮像システムの技術分野に関する。本発明は、また、複雑な物体（complex objects）の２Ｄ及び３Ｄアニメーション用のデータの生成に用いられても良い。
【背景技術】
【０００２】
３Ｄ画像作成の分野は、概ね、３Ｄフィルム製作のためにデータを取得するのにかかる時間により束縛されてきた。これまで、３Ｄ映画は、一般に、本格的な記録形式ではなく、目新しいものとして理解されてきた。いま、３Ｄ画像生成は、ＣＧ画像生成に用いられる重要なツールであると思われている。
【０００３】
３Ｄ画像データ作成の一つの確立された方法は、物体の写真を複数の異なる照射方向から撮影するフォトメトリック・ステレオ（例えば、非特許文献１を参照）である。各々の照射方向について、一つの写真が撮影される。したがって、これは、動く物体の映像をリアルタイムに取得するために用いることのできる技術ではない。
【０００４】
非特許文献２は、表面法線を計算するためにカラーを用いることについて述べている。しかしながら、リアルタイムでの３Ｄビデオの記録の問題を扱うためにカラーが用いられうるという認識はなかった。
【非特許文献１】R Woodham “photometric method for determining surface orientation from multiple images” Optical Eng. Number 1, pages 139-144 1980
【非特許文献２】A, Petrov “Light Color and Shape” Cognitive Processes and their Simulation, pages 350-358, 1987
【発明の開示】
【課題を解決するための手段】
【０００５】
本発明は、上述の問題を扱い、第１の態様では、動く三次元物体を撮像するための撮像システムにおいて、３つの異なる角度から前記物体を照射する少なくとも３つの光源と、前記物体から反射された前記３つの光源からの放射を集めるように備えられたビデオカメラと、前記三次元物体の深度マップ（depth map）を生成するように構成された画像プロセッサとを含み、前記光源の各々は、複数の周波数（ＵＶ放射、ＩＲ放射線などを含む）のうちで異なる周波数の放射を発し、前記画像プロセッサは、前記３つの異なる光源からの反射信号を識別するように構成されたシステムを提供する。
【０００６】
更に、本技術は、布、衣類、編物又は織物、シーツなどのような、複雑な物体のためのデータの記録に適用可能である。
【０００７】
動く物体からのデータを記録する場合に、自己遮蔽が発生し、これがデータに影響を与えるであろう。したがって、好ましくは、前記プロセッサは、前記物体が動くときに生じる影の位置を判定するように構成されている。前記影の位置は、前記光源の各々から測定された前記信号の強度が急に変化する位置を特定することによって、判定される。
【０００８】
好ましい実施形態において、前記プロセッサは、前記物体の表面法線の位置を判定する前に、前記影の位置を判定するように構成されている。
【０００９】
好ましい実施形態において、その装置は、キャリブレーションデータを記憶するように構成されたメモリを更に含み、前記キャリブレーションデータは、前記物体と同じ表面特性を持つサンプルからのデータを含み、該サンプルの表面の方向を示す情報とともに記憶されたものである。そして、前記プロセッサは、前記キャリブレーションデータを用いて、集められた前記放射から、前記物体のための深度マップを判定するように構成されても良い。
【００１０】
上記は、キャリブレーションボードと該キャリブレーションボードを搭載するように構成された搭載部とを用いることにより達せされても良い。前記キャリブレーションボードは、前記物体と同じ表面特性を持つ表面部分を有し、搭載するための前記搭載部は、前記キャリブレーションボードの表面の方向を判定するように構成された判定部を含む。
【００１１】
データを集める装置はスタンドアローンであることが可能であるが、前記深度マップから三次元動画像を表示するように構成された表示部を更に含む３Ｄ画像生成装置の一部に組み込まれても良い。
【００１２】
前記システムは、また、２Ｄ又は３Ｄアニメーションに用いられても良い。この場合、前記システムは、生成された前記深度マップを移動させるように構成された移動部を含む。
【００１３】
前記システムは、また、前記深度マップにパターンを適用するように構成された適用部を更に含んでも良い。前記適用部は、前記深度マップのフレームから前記物体の３Ｄテンプレートを形成し、前記フレームの前記物体上のパターンの位置を判定し、前記パターンを持つ前記テンプレートを、その後のフレーム群に適合するよう変形させるように構成されている。前記テンプレートは、該テンプレートの変形が、元の取得された（captured）前記データのフレーム間オプティカルフローに適合する必要があるという制約を用いて変形されても良い。好ましくは、前記テンプレートは、前記変形が前記データに許されるのと同じくらいの剛性であるという更なる制約を用いて変形される。
【００１４】
第２の態様では、本発明は、動く三次元物体を撮像するための方法において、３つの異なる角度から、それぞれ異なる周波数の放射を発する少なくとも３つの光源を用いて、前記物体を照射する工程と、ビデオカメラを用いて、前記物体から反射された前記３つの光源からの放射を集める工程と、前記３つの異なる光源からの反射信号を識別する工程と、前記ビデオカメラの出力から、前記三次元物体の深度マップを生成する工程を含む方法を提供する。
【００１５】
前記方法は、布又は他の柔軟性のある素材の映像化に適用しても良い。
【発明を実施するための最良の形態】
【００１６】
本発明は、これから、以下の非限定的な実施形態を参照して説明される。
【００１７】
図１は、物体１の撮像に用いられる、本発明の実施形態に係るシステムの概略図である。この物体は、３つの異なる光源３，５，７により照射される。
【００１８】
この特定の例において、第１の光源３は、赤色（Ｒ）光源であり、第２の光源５は、緑色（Ｇ）光源であり、第３の光源７は、青色（Ｂ）光源である。
【００１９】
本実施形態において、システムは、データに影響する背景放射を最小限に抑えるために、屋内又は暗い屋外のどちらかに備えられる。３つの光源３，５，７は、横方向には物体１の周囲に配置され、垂直方向には床面の高さから物体１の高さの間のレベルに置かれる。
【００２０】
３つの光源３，５，７の間の角距離は、物体１に関する回転面で約３０度である。より大きな角距離は、方向依存性のある色変化をよりはっきりさせることができる。しかしながら、光源が遠く離れすぎると、物体１のくぼんだ形状を識別することがより難しくなる。それは、そのような形状による影が、物体１のより大きい部分に広がり、データ解析をより難しくするからである。より好ましい配置において、物体１の各々の部分は、３つの光源３，５，７の全てにより照射される。
【００２１】
第２の光源５の垂直下方にあるカメラ９は、３つの光源３，５，７により照射されながら動く物体を記録するために用いられる。
【００２２】
システムを校正するために、図２に示されるタイプのキャリブレーションボードが用いられても良い。キャリブレーションボード２１は、四角の布２３と、複数の円のパターン２５とを含む。ボード２１が動くことにより、カメラ９と光源３，５，７との間のホモグラフィーを算出することができる。ホモグラフィーを計算することは、カメラに対して複数の光源方向を計算することを意味する。一旦、これが完了すると、ズームとフォーカスは、色又は光源方向に影響しないので、撮影の間、それらを変えることが可能になる。布２３は、また、色と方向との間の関連性を測定することを可能にする。
【００２３】
形状を判定するために、まず、撮像される物体の表面上の全ての点について、面の法線方向を判定する必要がある。本実施形態は、３つの光源３，５，７が、どの表面点上においても、その表面点の方向に依存する色キューを生じさせることを、仮定している。
【００２４】
したがって、表面色（ベクトル）Ｉと方向（ベクトル）ｎとの間に次の１対１マッピングＭが存在する。
Ｉ＝Ｍ（ｎ） または ｎ＝Ｍ−１（Ｉ）
Ｍを決定するために、フォトメトリック・ステレオ技術は、上記表面がランバート面であり、上記カメラのセンサ応答が線形であることを、仮定している。
【数１】
【００２５】
ここで、（ベクトル）Ｉは、画像上で観測されたＲＧＢカラーであり、（ベクトル）ｂは、環境光を示す定数ベクトルであり、（ベクトル）ｎは、表面位置における単位法線であり、Lは、３×３の行列である。この行列において、いずれの列も、光源に向けられ且つ物体のアルベド倍した光源強度により基準化された（scaled）、３Ｄベクトルを表す。物体のアルベドは、入射光に対して反射された割合である。
【００２６】
この例を単純化するために、複数の色割合が一定であると仮定する。すなわち、Ｒ／ＢとＢ／Ｇとの間の割当量は、画像上の各々のピクセルについて同一であるものとすべきである。これは、スケール係数までの３×４の行列［ＬＴｂ］を推定することによって、色と表面方向との間のマッピングが決定されることを可能にする。
【００２７】
多くの実際的な状況では、カメラの応答は非線形であり、また、表面はランバート反射体ではないであろうから、マッピングを計算するのはより難しいであろう。しかしながら、マッピングを測定するために図２に示されるタイプのキャリブレーションツールを用いることが可能である。撮像されることになっている物体の表面の材料が、キャリブレーションボード２１の四角２３に設置されれば、キャリブレーションシーケンスの一部として、各々の可能な表面法線について画像信号を測定することが可能になる。したがって、非線形条件と完全なランバート反射率特性を持たない表面とを考慮に入れても、表面法線ｎｉと材料の明度Ｉｉとの対応は決定可能である。
【００２８】
さまざまの既知のボード方向について画像が取得される最初のキャリブレーションルーティンからの結果は、すべての可能なボード方向について実行される必要はない。それは、すべての方向に適したデータを決定するために、最近隣補間が使用可能だからである。３×４の行列にキャリブレーションデータを提供するために、４つの方向だけからデータを取得することは可能である。良好なキャリブレーションデータは、５０前後の方向から獲得される。しかしながら、キャリブレーションデータは、容易に集めれるので、何千もの方向からデータを取得することもあり得る。
【００２９】
非ランバート反射体と非線形の応答関数を持つカメラのための複雑なマッピングを決定するために、キャリブレーションボードを用いる技術が使用可能であっても、なお、物体のアルベドが一定の色度を持つと仮定する必要がある。これが仮定されなければ、マッピングＭは、不可逆になり、同一の表面色について、いくつかの有効な表面方向が存在し得るであろう。
【００３０】
物体は、また、撮影の間それ自体を影にしても良い。図３のＡは、図１のシステムを用いて取得する、スパンデックスボディースーツを着用しているダンサーの画像である。図３のＡは、赤色光源からの画像データを示し、図３のＢは、緑色光源からの画像データを示し、図３のＣは、青色光源からの画像データを示している。この特定の例において、赤色光源は、ダンサーの右手側にあり、緑色光源は、ダンサーの前方にあり、青色光源はダンサーの左手側にある。表示されたポーズにおいて、ダンサーは、右側にターンする。図３のＣにおいて、左足に起因する右足上の影が、より顕著である。
【００３１】
影がない場合、１つのチャネル、すなわち、赤、緑又は青のいずれか、からの反射された照射は、滑らかに変化すると予想されるであろう。急な変化は、エッジの存在を示しており、これらエッジは、ラプラスフィルタを用いることによって各々のチャネルについて判定される。一つのチャネル当り実行されるこの解析からの結果は、図３のＤに示される。
【００３２】
エッジピクセルであると判定されたピクセルは、次いで更に、勾配方向（gradient orientation）を判定するために解析される。ピクセルは、基本方位（cardinal directions）の各々（すなわち、北、南、東、西、北西、南西、北東、南東)に沿って解析される。勾配の大きさが閾値τ以下に落ちるピクセルは、破棄される。勾配方向が一致する隣接ピクセルは、結合されたコンポーネントにグループ化される。
【００３３】
物体の境界エッジと影との間の相違を判定するために、そのアルゴリズムを用いることができるであろう。これは、図３のＥに示されている。図３のＥにおいて、３つのチャネル（ＲＧＢ）すべてが反射信号強度における急な変化を示す場合、物体の境界エッジが生じる。
【００３４】
上記から、ルックアップシャドウマスクを決定することが可能である。
【００３５】
そして、まず上記の技術を用いて影の位置を判定し、次いで３つの光源すべてからの良好な信号が存在する場合すなわち影が存在しない場合におけるピクセルのすべてについて法線を推定することによって、表面が再構築されても良い。法線は、前述のように推定される。
【００３６】
もし２つの光源からの信号のみが使用可能ならば、なお、データは処理可能である。ただし、一定のアルベド、すなわち、一定の色度及び一定の輝度、が仮定される必要がある。
【００３７】
一旦、表面法線の２Ｄグリッドが作成されれば、各々の法線フレームは、２Ｄポワソンソルバー又は同種のものを用いて統合される。例えば、逐次過剰緩和ソルバー（ＳＯＲ）が、各々のフレームの深度マップ又は表面メッシュの映像を作成するために用いられる。
【００３８】
各々のフレームの表面メッシュの生成は、ポワソンソルバーのための境界条件として用いられるシャドウマークの境界条件に制約される。輪郭のフレーム間コヒーレンシーは、また、境界条件とみなされる。
【００３９】
その技術の的確さを検証するために、マクベス・カラーチャートが用いられた。そのチャートは、有色の光源の各々により順番に照射された。
【００４０】
その技術は、カラー光源中の不純物、例えば、青色光及び緑色光に少量延びた赤色光、を補正することが、見出された。また、その技術は、最近のビデオカメラにしばしば用いられるカラーバランス機能を補正した。
【００４１】
図４のＡは、３つのＲＧＢ光源すべてにより照射された、図３のダンサーを示し、図４のＢは、再校正された画像を示す。ダンサーは、完全にはランバート材料ではないスパンデックスを着用している。再構築物上には、シーム３１及びダンサーの寛骨３３のような細部を見ることが出来る。したがって、図４のＢに示されるタイプの動画像は、図４のＡにおいて取得されたデータからリアルタイムに作成することが可能である。
【００４２】
図５は、従来方法と本発明の実施形態との結果を比較したものである。
【００４３】
図５のＡ，Ｂ，Ｃは、フォトメトリック・ステレオの技術を用いて個別に取得された３つのフレームを示す。フォトメトリック・ステレオにおいて、個別の画像は、デジタルスチルカメラを用いて取得される。次いで、３つの画像からのデータは、既知の方法（例えば、R Woodham “photometric method for determining surface orientation from multiple images” Optical Eng. Number 1, pages 139-144 1980を参照）に従ってＤの３Ｄ画像を形成するために処理される。
【００４４】
これは、図５のＥに示されるようにジャケットを照射するために、図１に示されるように３つの異なる色の光源が用いられる本発明の方法と比較することが可能である。図１の装置を用いて生成された３Ｄ画像は、図５のＦに示される。
【００４５】
図５のＤとＦの画像は類似しているが、Ｆの画像のみがリアルタイムの３Ｄビデオ構築におけるフレームとして用いることが可能である。これまでにわれわれは、３Ｄ画像の品質に影響を及ぼす問題、すなわち、カメラ自身に備わる単色光源の不純物及びカラーバランス機能について検討した。しかしながら、バウンディング・ボックス・ダイアゴナルを用いて計算される、図５のＤとＦの３Ｄ画像の間の誤差は、１．４％だけであった。
【００４６】
図６は、複雑な布地の材料の再構築物を示す。図６のＡは、複雑なテクスチャーパターンを持つジャンパーを着用しているモデルを示す。そのモデルは、図１を参照して説明された通り、３つの光源を用いて照射される。
【００４７】
図６のＢは、図６のＡのモデルについて、図３を参照して説明された通りに生成された画像を示す。ニットのジャンパーの複雑な表面のテクスチャーが、生成された画像においてはっきりと見られる。
【００４８】
衣類は、しばしば、テクスチャーに加えて又は代えて、表面上の色に備わるパターンをしぼませる。
【００４９】
図７のＡは、図１を参照して説明された装置を用いて取得された、ダンスをするモデルの一連の画像（（i）−（vii））である。ダンスをするモデルは、図６のＡ及びＢにおいて再構築されたのと同じジャンパーを着用している。しかしながら、図７は、一実施形態に係る方法が、カラーパターンが布にどのように適用できるかを示すために利用可能であることを、図示するために用いられる。
【００５０】
図７に示される結果において、カラービデオカメラは、１２８０×７２０の解像度をもって用いられた。計算時間は、深度マップの再生についてはフレーム当たり２０秒のオーダーであり、パターンの重ね合わせについてはフレーム当たり更に２０秒であった。計算は、２ＧｂのＲＡＭを備えた持った２．８ＧＨｚのペンティアム（登録商標）４ プロセッサを用いて実行された。
【００５１】
図７のＢは、図７のＡのダンサーから生成された一連の３Ｄ画像を示す。
【００５２】
図７Ｂの画像は、それぞれ、すぐ上に示された図７のＡのフレーム（（i）−（vii））に対応する。フレーム（（i）−（vii））は、一連のフレームから選択されたフレームである。
フレーム（i）−フレーム番号０
フレーム（ii）−フレーム番号２５０
フレーム（iii）−フレーム番号３４０
フレーム（iv）−フレーム番号３８０
フレーム（v）−フレーム番号４２７
フレーム（vi）−フレーム番号４６３
フレーム（vii）−フレーム番号５０８
ダンサー上にカラーパターンを重ね合わせる第１の方法において、単語ICCV 07及び緑色と黄色の旗である画像は、上述したように深度マップを用いて生成される。
【００５３】
これは、フレーム（i）から（iii）について功を奏するのが見られるが、しかしながら、フレーム（iv）において、ダンサーが下へ移動しているのにもかかわらず、旗とパターンの両方が同一の垂直レベルでとどまっている。フレーム（iv）において、旗が、ダンサーのジャンパーとともに、よく変形するように見える。しかしながら、ダンサーが下へ移動しているのにもかかわらず、パターンが同一の垂直レベルでとどまっている。したがって、パターンは、ダンサーのジャンパーに比べて上方へ移動しているように見える。この問題は、フレーム（v）から（vii）において継続する。
【００５４】
図７のＣは、ジャンパー上にパターンを重ね合わせるための強化された一つの方法の結果を示す。ここで、シーケンスの第１の深度マップ（i）は、それに続く全ての深度マップに適合するように変形されるテンプレートとして用いられる。
【００５５】
これは、ｚｋ（ｕ，ｖ）をフレームｔにおける深度マップとすることによって、行われる。変形可能なテンプレートは、フレーム０における深度マップに対応して設定され、そのテンプレートは、次式の頂点と１セットのエッジεとを持つ三角形メッシュである。
【数２】
【００５６】
【数３】
【００５７】
図７のＣで生成された画像は、テンプレートの変形が、元のビデオシーケンスのフレーム間２Ｄオプティカルフローに適合する必要があるという制約を用いて生成された。
【００５８】
まず、フレーム間オプティカルフローは、法線マップの映像を用いるコンピュータである。次いで、標準オプティカルフローアルゴリズムが用いられる（例えば、M Black and P Anadan “The robust estimation of multiple motions： parametric and piecewise smooth flow fields” Computer Vision and Image Understanding, volume 63(1), pages 75 to 104, January 1996参照）。それのために、フレームｔにおけるどのピクセル位置（ｕ，ｖ）も、フレームｔ＋１におけるそのピクセルの移動（ベクトル）ｄｔ（ｕ，ｖ）を予測する。（ｕｔ，ｖｔ）は、フレーム０において（ｕ０，ｖ０）であるピクセルのフレームｔにおける位置を意味するとする。（ｕｔ，ｖｔ）は、次の式を用いて、ｄｔ（ｕ，ｖ）を移動させることによって、推定することができる。ここで、ｊ＝１……….tである。
【数４】
【００５９】
【数５】
【００６０】
【数６】
【００６１】
上記の処理の結果は、図７のＣに見られる。ここで、パターンは、ジャンパーとともに変形し、また、ジャンパーと比較して同一の位置にとどまることを、認めることができる。しかしながら、ジャンパーの上端を見ると、伸張及び他の幾何学的な不自然な結果の発生が始まろうとしているのを、認めることができる。これはフレーム（ii）から見られ、また、フレーム（ｖｉｉｉ）までにジャンパーの全体の上端が変形されているのが見られる。これらの不自然な結果は、画像ノイズ又は遮蔽によるオプティカルフローにおける誤差に起因する。
【００６２】
この問題に対処するために、画像へ剛性をもたらすように、さらなる制約が付け加えられる。テンプレートメッシュの変形を公式化するために、隣接する頂点に適用される変形は、できるだけ類似した状態に保たれる必要がある。これは、次のエネルギー項ＥＲを加えることにより達成される。
【数７】
【００６３】
次いで、上記の２つの項が、次のように結合される。
【数８】
【００６４】
ここで、Ｎ（i）は、隣接する頂点ｉのセットであり、αは、メッシュの剛性の程度を示すパラメータである。この計算の結果は、図７のＤに示される。ここでは、フレームの進行につれて、パターンが、移動し、ダンサーのジャンパーとともに変形するのを見ることができ、また、ジャンパーにおいて人工物が見られる。示された実験において、パターンは、５００を越えるフレームについてジャンパーを追跡した。
【００６５】
図８は、図６及び７（図７のフレーム（iv））のダンサーの３Ｄ画像の異なる角度からの５つのビューを示す。画像は、カラーパターンなしで示されている。ジャンパーの細部は、５つのビューすべてにおいて認めることが可能である。メッシュは、およそ１８０，０００の頂点を含んでいる。
【００６６】
図６，７，８を参照して説明されたデータは、布と、複雑なテクスチャーパターン及び複雑なカラーパターンの両方を持つ布とのモデリングについて、本発明の一実施形態をどのように用いることが可能であるかを示す。
【００６７】
図９は、アニメーション用の布のモデリングについて、本発明の一実施形態をどのように用いることが可能であるかを示す。図９において、図６及び７の動くメッシュは、関節でつながったスケルトンに接続されている。
【００６８】
スキニングアルゴリズムは、コンピューター・アニメーションの技術において良く知られている。図９の特徴を生成するために、スムーズ・スキニング・アルゴリズムが用いられる。それにおいて、頂点（ベクトル）ｖｋは、それぞれ、一つ以上のスケルトンの関節に接続され、各々の関節へのリンクｊは、ｗｉ，ｋにより重み付けされる。重みは、各々の関節の動きが頂点の変形にどのくらい影響を及ぼすかを制御する。
【数９】
【００６９】
【数１０】
【００７０】
まず、固定されたスケルトンを、固定されたドレスの距離パターンに揃え、また、メッシュの頂点の各々について、スケルトン上の最近隣のセットに揃えることによって、メッシュがスケルトンに接続される。（The mesh was attached to the skeleton by first aligning a depth pattern of the fixed dress with a fixed skeleton and for each mesh vertex a set of nearest neighbours on the skeleton．）重みは、これらの距離に反比例するようにセットされる。次いで、スケルトンは、公に利用可能なｍｏｃａｐデータ(Carnegie−mellon mocap database http://mocap.cs.cmu.edu)を用いて映像化される（animated）。メッシュは、取得された布シーケンスのうちの１つを再生することによって映像化される。
【図面の簡単な説明】
【００７１】
【図１】本発明の一実施形態に係る装置の概略図である。
【図２】本発明の装置を校正するために用いられるキャリブレーションボードを示す図である。
【図３】Ａ，Ｂ及びＣは、ビデオカメラと、異なる位置から物体を照射する３つの異なるカラー光源とを用いて集められた、動く物体のビデオからのフレームを示す図であり、Ａは、第１の光源から集められた画像のコンポーネントを持つフレームを示し、Ｂは、第２の光源から集められた画像のコンポーネントを持つフレームを示し、Ｃは、第３の光源から集められた画像のコンポーネントを持つフレームを示し、Ｄは、ラプラシアン・フィルタにより判定された画像のエッジを示し、Ｅは、それら光線がそれらの影を投影する場合を示す。
【図４】Ａは、３つの光源すべてにより照射された、図３に示されるモデルの画像を示す図であり、Ｂは、生成された画像を示す図である。
【図５】Ａ，Ｂ及びＣは、従来技術のフォトメトリック・ステレオを用いて、取得されたジャケットの３つのフレームを示す図であり、ここで、各々のフレームＡ，Ｂ及びＣは、異なる照射方向からの照射を用いて個別に取得されたものであり、Ｄは、Ａ，Ｂ及びＣのデータから生成された３Ｄ画像であり、Ｄは、図１の装置にそれぞれ記載された各々の光源からのフレームであり、Ｅは、図１の装置により取得されたフレームであり、Ｆは、Ｅのフレームから生成された３Ｄ画像である。
【図６】Ａは、ビデオカメラと、３つの異なるカラー光源とを用いて集められた、テクスチャーを持つジャンパーを着ている動く物体のビデオからのフレームを示す図であり、Ｂは、Ａに示される物体から集められたデータから生成された３Ｄ画像を示す図である。
【図７】Ａは、ダンサーのフレームのシリーズを示す図であり、Ｂは、ダンサーのジャンパー上に重ね合わされたカラーパターンを持つ、Ａのダンスから生成された３Ｄ画像のフレームのシリーズを示す図であり、Ｃは、ダンサー上にカラー画像を重ね合わせる強化された方法を示す、Ａのダンサーのフレームのシリーズを示す図であり、ここで、パターンは、アドベクティブ・オプティカル・フローを持つ登録スキームを用いるものであり、Ｄは、剛性の制約を持つＣのアドベクティブ・オプティカル・フローを用いる、Ａのダンサーのフレームのシリーズである。
【図８】５つの異なる角度から見た３Ｄ画像を示す図である。
【図９】本発明の一つの実施形態によってモデル化されたドレスを着用する、関節でつながったスケルトンを示す図である。
【特許請求の範囲】
【請求項１】
動く三次元物体を撮像するための撮像システムにおいて、
３つの異なる角度から前記物体を照射する少なくとも３つの光源と、
前記物体から反射された前記３つの光源からの放射を集めるように備えられたビデオカメラと、
前記三次元物体の深度マップを生成するように構成された画像プロセッサと、
を備え、
前記光源の各々は、異なる周波数の放射を発し、前記画像プロセッサは、前記３つの異なる光源からの反射信号を識別するように構成されていることを特徴とするシステム。
【請求項２】
前記撮像システムは、キャリブレーションデータを記憶するように構成されたメモリを更に備え、
前記キャリブレーションデータは、前記物体と同じ表面特性を持つサンプルからのデータを含み、該サンプルの表面の方向を示す情報とともに記憶されていることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記プロセッサは、前記キャリブレーションデータを用いて、集められた前記放射から前記物体に対する複数の表面法線を判定するように構成されていることを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記撮像システムは、キャリブレーションボードと該キャリブレーションボードを搭載するように構成された搭載部とを更に備え、
前記キャリブレーションボードは、前記物体と同じ表面特性を持つ表面部分を有し、搭載するための前記搭載部は、前記キャリブレーションボードの表面の方向を判定する判定部を含むことを特徴とする請求項２又は請求項３に記載の撮像システム。
【請求項５】
前記プロセッサは、前記物体が動くときに生じる影の位置を判定するように構成されていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像システム。
【請求項６】
前記影の位置は、前記光源の各々から測定された前記信号の強度が急に変化する位置を特定することによって判定されることを特徴とする請求項５に記載の撮像システム。
【請求項７】
前記プロセッサは、前記物体の表面法線の位置を判定する前に、前記影の位置を判定するように構成されていることを特徴とする請求項５又は請求項６に記載の撮像システム。
【請求項８】
前記物体は非剛性材料を含むことを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像システム。
【請求項９】
前記物体は布であることを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像システム。
【請求項１０】
請求項１乃至請求項９のいずれか１項に記載の撮像システムと、前記深度マップから三次元動画像を表示するように構成された表示部と、
を有することを特徴とする三次元画像を生成するための生成システム。
【請求項１１】
請求項１乃至請求項９のいずれか１項に記載の撮像システムと、
生成された前記深度マップを移動させる移動部と、
を有することを特徴とするアニメーションデータを生成するための生成システム。
【請求項１２】
前記生成システムは、前記深度マップにパターンを適用するように構成された適用部を更に含み、
前記適用部は、前記深度マップのフレームから前記物体の３Ｄテンプレートを形成し、前記フレームの前記物体上のパターンの位置を判定し、前記パターンを持つ前記テンプレートを、その後のフレーム群に適合するよう変形させるように構成されていることを特徴とする請求項１０又は請求項１１に記載の撮像システム。
【請求項１３】
前記テンプレートは、該テンプレートの変形が、元の取得された前記データのフレーム間オプティカルフローに適合する必要があるという制約を用いて変形されることを特徴とする請求項１２に記載の撮像システム。
【請求項１４】
前記テンプレートは、前記変形が前記データに許されるのと同じくらいの剛性であるという更なる制約を用いて変形されることを特徴とする請求項１３に記載の撮像システム。
【請求項１５】
動く三次元物体を撮像するための方法において、
３つの異なる角度から、それぞれ異なる周波数の放射を発する少なくとも３つの光源を用いて、前記物体を照射する工程と、
ビデオカメラを用いて、前記物体から反射された前記３つの光源からの放射を集める工程と、
前記３つの異なる光源からの反射信号を識別する工程と、
前記ビデオカメラの出力から、前記三次元物体の深度マップを生成する工程と、
を含む方法。
【請求項１６】
前記方法は、キャリブレーションデータを記憶する工程を更に含み、
前記キャリブレーションデータは、前記物体と同じ表面特性を持つサンプルからのデータを含み、該データは、該サンプルの表面の方向を示す情報とともに記憶されるものであることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記方法は、前記物体が動くときに生じる影の位置を判定する工程を含むことを特徴とする請求項１５又は請求項１６に記載の方法。
【請求項１８】
前記影の位置は、各々の前記光源から測定された前記信号の強度が急に変化する位置を特定することによって、判定されることを特徴とする請求項１７に記載の方法。
【請求項１９】
前記物体の表面法線の位置を判定する前に、前記影の位置が判定されることを特徴とする請求項１７又は請求項１８に記載の方法。
【請求項２０】
請求項１５乃至請求項１９のいずれか１項に記載の方法に従って布を撮像する工程と、
前記生成された深度マップを映像化する工程と、
を含むことを特徴とする布を映像化する方法。
【請求項１】
動く三次元物体を撮像するための撮像システムにおいて、
３つの異なる角度から前記物体を照射する少なくとも３つの光源と、
前記物体から反射された前記３つの光源からの放射を集めるように備えられたビデオカメラと、
前記三次元物体の深度マップを生成するように構成された画像プロセッサと、
を備え、
前記光源の各々は、異なる周波数の放射を発し、前記画像プロセッサは、前記３つの異なる光源からの反射信号を識別するように構成されていることを特徴とするシステム。
【請求項２】
前記撮像システムは、キャリブレーションデータを記憶するように構成されたメモリを更に備え、
前記キャリブレーションデータは、前記物体と同じ表面特性を持つサンプルからのデータを含み、該サンプルの表面の方向を示す情報とともに記憶されていることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記プロセッサは、前記キャリブレーションデータを用いて、集められた前記放射から前記物体に対する複数の表面法線を判定するように構成されていることを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記撮像システムは、キャリブレーションボードと該キャリブレーションボードを搭載するように構成された搭載部とを更に備え、
前記キャリブレーションボードは、前記物体と同じ表面特性を持つ表面部分を有し、搭載するための前記搭載部は、前記キャリブレーションボードの表面の方向を判定する判定部を含むことを特徴とする請求項２又は請求項３に記載の撮像システム。
【請求項５】
前記プロセッサは、前記物体が動くときに生じる影の位置を判定するように構成されていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像システム。
【請求項６】
前記影の位置は、前記光源の各々から測定された前記信号の強度が急に変化する位置を特定することによって判定されることを特徴とする請求項５に記載の撮像システム。
【請求項７】
前記プロセッサは、前記物体の表面法線の位置を判定する前に、前記影の位置を判定するように構成されていることを特徴とする請求項５又は請求項６に記載の撮像システム。
【請求項８】
前記物体は非剛性材料を含むことを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像システム。
【請求項９】
前記物体は布であることを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像システム。
【請求項１０】
請求項１乃至請求項９のいずれか１項に記載の撮像システムと、前記深度マップから三次元動画像を表示するように構成された表示部と、
を有することを特徴とする三次元画像を生成するための生成システム。
【請求項１１】
請求項１乃至請求項９のいずれか１項に記載の撮像システムと、
生成された前記深度マップを移動させる移動部と、
を有することを特徴とするアニメーションデータを生成するための生成システム。
【請求項１２】
前記生成システムは、前記深度マップにパターンを適用するように構成された適用部を更に含み、
前記適用部は、前記深度マップのフレームから前記物体の３Ｄテンプレートを形成し、前記フレームの前記物体上のパターンの位置を判定し、前記パターンを持つ前記テンプレートを、その後のフレーム群に適合するよう変形させるように構成されていることを特徴とする請求項１０又は請求項１１に記載の撮像システム。
【請求項１３】
前記テンプレートは、該テンプレートの変形が、元の取得された前記データのフレーム間オプティカルフローに適合する必要があるという制約を用いて変形されることを特徴とする請求項１２に記載の撮像システム。
【請求項１４】
前記テンプレートは、前記変形が前記データに許されるのと同じくらいの剛性であるという更なる制約を用いて変形されることを特徴とする請求項１３に記載の撮像システム。
【請求項１５】
動く三次元物体を撮像するための方法において、
３つの異なる角度から、それぞれ異なる周波数の放射を発する少なくとも３つの光源を用いて、前記物体を照射する工程と、
ビデオカメラを用いて、前記物体から反射された前記３つの光源からの放射を集める工程と、
前記３つの異なる光源からの反射信号を識別する工程と、
前記ビデオカメラの出力から、前記三次元物体の深度マップを生成する工程と、
を含む方法。
【請求項１６】
前記方法は、キャリブレーションデータを記憶する工程を更に含み、
前記キャリブレーションデータは、前記物体と同じ表面特性を持つサンプルからのデータを含み、該データは、該サンプルの表面の方向を示す情報とともに記憶されるものであることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記方法は、前記物体が動くときに生じる影の位置を判定する工程を含むことを特徴とする請求項１５又は請求項１６に記載の方法。
【請求項１８】
前記影の位置は、各々の前記光源から測定された前記信号の強度が急に変化する位置を特定することによって、判定されることを特徴とする請求項１７に記載の方法。
【請求項１９】
前記物体の表面法線の位置を判定する前に、前記影の位置が判定されることを特徴とする請求項１７又は請求項１８に記載の方法。
【請求項２０】
請求項１５乃至請求項１９のいずれか１項に記載の方法に従って布を撮像する工程と、
前記生成された深度マップを映像化する工程と、
を含むことを特徴とする布を映像化する方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−８１８５３（Ｐ２００９−８１８５３Ａ）
【公開日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−２４０１０４（Ｐ２００８−２４０１０４）
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年４月１６日（２００９．４．１６）
【国際特許分類】
【出願番号】特願２００８−２４０１０４（Ｐ２００８−２４０１０４）
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]