３Ｄ表面形状をキャプチャーするための方法およびシステム
【課題】変形表面のキャプチャーを高解像度で得る。
【解決手段】シーンの３Ｄ画像データをキャプチャーするシステムにおいて、各々が互いに異なる波長の光を照射し、キャプチャーすべきシーンを照明するよう構成された三つの光源と、前記シーンから反射された前記光源からの光を受光するよう構成され、各光源から受光された光を分離し、前記三つの光源ごとにキャプチャーされた前記画像に関するデータを出力する第一ビデオカメラと、前記シーンの第一デプスマップをキャプチャーするよう構成されたデプスセンサと、前記第一ビデオカメラからデータを受信し、該データを処理して前記三つの光源ごとにキャプチャーされた前記画像から得られた法線領域に関するデータを取得する解析ユニットにおいて、前記法線領域に関する前記データを前記第一デプスマップのデータに合成して、前記シーンの３Ｄ画像データをキャプチャーする前記解析ユニットとを備える。
【解決手段】シーンの３Ｄ画像データをキャプチャーするシステムにおいて、各々が互いに異なる波長の光を照射し、キャプチャーすべきシーンを照明するよう構成された三つの光源と、前記シーンから反射された前記光源からの光を受光するよう構成され、各光源から受光された光を分離し、前記三つの光源ごとにキャプチャーされた前記画像に関するデータを出力する第一ビデオカメラと、前記シーンの第一デプスマップをキャプチャーするよう構成されたデプスセンサと、前記第一ビデオカメラからデータを受信し、該データを処理して前記三つの光源ごとにキャプチャーされた前記画像から得られた法線領域に関するデータを取得する解析ユニットにおいて、前記法線領域に関する前記データを前記第一デプスマップのデータに合成して、前記シーンの３Ｄ画像データをキャプチャーする前記解析ユニットとを備える。
【発明の詳細な説明】
【関連出願】
【０００１】
この出願は、２０１１年５月９日に提出された英国特許出願第１１０７７１６．１号の優先権を主張するものであり、その全内容は、参照によってここに組込まれる。
【技術分野】
【０００２】
本発明の実施形態は、一般に、３Ｄ画像データをキャプチャーするための方法およびシステムに関する。
【背景技術】
【０００３】
変形表面のキャプチャーは、グラフィックス、医用画像、展開構造の解析といった様々な応用を目的としてますます重要になっている。空間領域および時間領域の双方で高解像度形状を得る実用的な方法が必要である。
【図面の簡単な説明】
【０００４】
ここで、以下の実施形態を参照しながら本発明を説明する。
【図１】図１は、本発明の実施形態で用いられるシステムである。
【図２】図２は、図１のシステムで用いられる解析ユニットの図である。
【図３】図３は、本発明の実施形態で用いられる較正方法のフローチャートである。
【図４】図４は、本発明の実施形態で用いられる再構成方法のフローチャートである。
【図５】図５（ａ）乃至（ｆ）は、図３に関して説明される較正手順を用いて得られた画像である。
【図６】図６（ａ）は図４に関して説明された方法を用いて得られた法線マップ、図６（ｂ）は色度を変えない方法を用いて得られた法線マップ、図６（ｃ）は図６（ａ）と図６（ｂ）との間の差を示す図である。
【図７】図７（ａ）乃至（ｆ）は、図３および図４に関して述べられた方法を用いた多色シーム（ｓｅｅｍ）の再構成を示す。
【図８】図８は、図３および図４に関して述べられた方法を用いたシーンの再構成を示す。
【図９】図９（ａ）は、図４の方法を用いて法線誤差に適用されたノイズの効果、図９（ｂ）は、デプス誤差に適用されたノイズの効果である。
【図１０】図１０（ａ）乃至（ｊ）は、既知のレンダリング画像の定量分析を示す。
【図１１】図１１（ａ）は再構成する画像であり、図１１（ｂ）乃至（ｅ）は、図１１（ａ）の画像の再構成を示す。
【図１２】図１２（ａ）は２色の入力画像、図１２（ｂ）は入力画像の法線マップ、図１２（ｃ）は様々な仮セグメンテーション、図１２（ｄ）は図１２（ｃ）の仮セグメンテーションの結果画像を示す。
【図１３】図１３は、本発明のさらに別の実施形態で用いられる再構成方法を示すフローチャートである。
【図１４】図１４は、本発明のさらに別の実施形態で用いられる較正方法を示すフローチャートである。
【図１５】図１５は、図１４の較正方法を実現するアルゴリズムを示すフローチャートである。
【図１６】図１６は、様々な再構成画像の色度の変化とセグメント化の問題を示す図である。
【図１７】図１７は、入力画像および本発明の実施形態の方法を用いた入力画像の再構成を示す。
【図１８】図１８は、既知のレンダリング画像の定量分析の画像を示す。
【図１９】図１９は、負対数尤度のプロットおよび色度に対するＢＩＣ値の結果を示す。
【図２０】図２０は、本発明のさらに別の実施形態で用いられるシステムを示す。
【図２１】図２１は、本発明の実施形態に係る較正方法で使用される較正ボードを示す。
【図２２】図２２は、本発明のさらに別の実施形態で用いられる較正方法を示すフローチャートである。
【図２３】図２３は、本発明のさらに別の実施形態で用いられる再構成方法を示すフローチャートである。
【図２４】図２４は、デプス画像における空間平滑化に応じた時間的ノイズのプロットである。
【図２５】図２５は、本発明の実施形態に係る方法を用いて再構成された面のスライスを示すプロットである。
【図２６】図２６は、本発明の実施形態で用いられる再構成処理によって生成された画像を示す。
【図２７】図２７は、デプスセンサからの出力、フォトメトリックステレオからの出力、および合成出力を用いる再構成サービスの画像を示す。
【図２８】図２８（ａ）乃至（ｄ）は、本発明の実施形態で用いられる較正ボードの概略図を示す。
【発明を実施するための形態】
【０００５】
一実施形態によれば、シーンの３Ｄ画像データをキャプチャーするシステムは、
各々が互いに異なる波長の光を照射し、キャプチャーすべきシーンを照明するよう構成された三つの光源と、
前記シーンから反射された前記光源からの光を受光するよう構成され、各光源から受光された光を分離し、前記三つの光源ごとにキャプチャーされた前記画像に関するデータを出力する第一ビデオカメラと、
前記シーンの第一デプスマップをキャプチャーするよう構成されたデプスセンサと；
前記第一ビデオカメラからデータを受信し、該データを処理して前記三つの光源ごとにキャプチャーされた前記画像より得られた法線領域に関するデータを取得し、前記法線領域に関する前記データを前記第一デプスマップのデータと合成することにより、前記シーンの３Ｄ画像データをキャプチャーする解析ユニットとを備える。
【０００６】
また一実施形態によれば、法線領域に関するデータは、ピクセルごとに視認されるシーン内の固形オブジェクトの表面に鉛直なベクトルの方向である。これらは第一ビデオカメラによるフォトメトリックステレオ測定によって決定される予測法線方向である。また別の実施形態によれば、法線領域に関するデータは、法線領域から第二深度マップを減じた統合法線領域である。
【０００７】
三つの光源と記載したが、三つよりも多くの光源を用いてもよい。
【０００８】
デプスセンサは多様な形態をとることができる。代表的なものとしては、第一ビデオカメラと三つの光源とを組み合わせることにより生成される周波数解像度よりも、２Ｄフーリエ空間においてもっと低い周波数解像度を有するデプスマップを生成するデプスセンサがある。第一ビデオカメラを三つの光源と組み合わせて協働させることで、いわゆるフォトメトリックステレオ法を用いた法線領域を生成する。このような方法により、２Ｄフーリエ空間において十分高い周波数解像度を有する画像が生成される。言い換えれば、この組み合わせによって、撮像中のシーンのディテールを豊富に含んだデプスマップに変換できる法線領域が生成される。また別の実施形態によれば、フォトメトリックステレオ法で生成される周波数解像度よりも、もっと低い２Ｄフーリエ空間における周波数解像度を有するデプスマップを生成するデプスセンサが用いられる。
【０００９】
また一実施形態によれば、前記デプスセンサは前記第一ビデオカメラと、第二ビデオカメラと、相関ユニットとを備え、前記第二ビデオカメラは前記第一ビデオカメラから空間的に分離されており、前記相関ユニットは前記第一および第二ビデオカメラから受信した前記データを相互に関連させることにより前記シーンのデプスマップを生成するよう構成されている。このタイプのデプスセンサは二視野のステレオデプスセンサである。別の実施形態によれば、パターンを該シーンに投影するよう構成されたプロジェクタと、前記シーンに投影された該パターンの画像をキャプチャーするよう構成されたカメラとを備えた画像符号化式デプスセンサが用いられ、該解析ユニットは第二デプスマップを生成するよう構成されている。さらに別の実施形態によれば、デプスセンサはタイムオブフライトセンサである。
【００１０】
さらに別の実施形態によれば、動的シーンの３Ｄ画像データを生成する方法であって、この方法は
三つの異なる方向から照射された前記シーンの該第一カメラによりキャプチャーされた映像データを含むフォトメトリック画像データであって、照明方向ごとにキャプチャーされた前記画像データに分離可能であるフォトメトリック画像データを第一ビデオカメラから受信する工程と、
デプスセンサから前記シーンの第一デプスマップのデータを示すデータを受信する工程と、
前記第一ビデオカメラから受信したデータを解析して、法線領域に関するデータを供給する工程とを備え、さらに前記方法は前記法線領域に関する前記データと前記第一デプスマップに関する前記データとを合成して前記シーンの前記３Ｄ画像データを生成する工程を備える。
【００１１】
また一実施形態によれば、画像となる前記シーンがＬａｍｂｅｒｔｉａｎ撮像モデルに従って光を反射することを想定して、前記第一ビデオカメラからの前記データが解析され、
【数１】
【００１２】
ここでｃ０，ｃ１，ｃ２をそれぞれ前記三つの方向から前記シーンを照明してキャプチャーした画像内のある画素について測定した輝度とするとき、ｃ＝［ｃ０ ｃ１ ｃ２］Ｔが成立し、ｎは前記画素の表面に対する法線を表すベクトル、Ｖは前記表面および前記カメラの照明に対する結合応答を表す行列、Ｌは前記三つの照明光の方向を決める行列である。前記三つの異なる方向の照明は異なる色の光であってもよい。一実施形態によれば、これらの光は赤、緑、青である。赤、緑、青の光を識別可能なフィルターシステムを第一ビデオカメラに設けてもよい。これにより、三つの照明方向からのデータをリアルタイムでキャプチャー可能となり、そのデータを分離することで各照明方向からのデータを別々に解析できる。
【００１３】
また一実施形態によれば、較正工程をさらに備え、Ｍ＝ＶＬの場合、該較正工程がＭを決定するよう構成されている。しかし、さらに別の実施形態によれば、ＶおよびＬは別々に決定される。行列Ｌは、システムやシーンの変化とは独立して決定できる。しかし、通常では行列Ｖはシーンごとに決定される。行列Ｖが一度決定されれば、シーン途中で再計算する必要はない。
【００１４】
一実施形態によれば、画素ごとにＶが決定される。さらに別の実施形態によれば、Ｎが１以上一シーン内の画素数未満の整数である場合、行列ＶがＮ個となるよう較正中に複数の行列Ｖがシーンごとに決定される。さらに別の実施形態においては、前記行列ＶａΕ１，．．．．．．．，ＮがＲＡＮＳＡＣアルゴリズムを用いて決定される。Ｎ個の色度はユーザによって決定されてもよい。また一実施形態によれば、システム自体が自動的にＮを決定しても良い。例えば、モデル選択法に基づいてＮを決定してもよい。適切なモデル選択法の例として、ベイズ情報量基準、赤池情報量基準、最小記述長基準がある。
【００１５】
行列Ｖは異なる方法で決めることができる。一実施形態によれば、前記第一ビデオカメラから受信された前記データは、前記三つの照明方向それぞれについて二つの異なる照射条件からなる六つの異なる条件下で照明された前記シーンの画像データを含み、前記六つの異なる条件下での前記データを解析することにより、画素ごとに前記行列Ｖが決定される。さらに別の実施形態によれば、前記三つの異なる照明方向からの前記データを解析し、かつ前記デプスセンサからのデータより前記表面法線を計算することによって、画素ごとに前記行列Ｖが決定される。
【００１６】
さらに別の実施形態によれば、前記解析工程が、該第一ビデオカメラおよび該デプスセンサからフレーム単位でデータ受信する工程と、前記観察されたシーンを一定の色度の領域にセグメント化する工程とを備え、一定の色度の領域のそれぞれに前記行列Ｖからなる行列が指定される。該セグメント化工程はマルコフ確率場ネットワークを用いて行われる。
【００１７】
また一実施形態によれば、前記第二デプスマップに関する前記データを前記第一デプスマップのデータと合成して前記シーンの３Ｄ画像データを生成する工程は、前記第二マップに関する前記データをノイズレベルでブラー処理する工程と、ブラーに起因する前記第二デプスマップの前記法線の回転を計算する工程と、該回転を前記第二デプスマップと同一のノイズレベルでブラー処理された前記第一デプスマップの前記法線に適用する工程とを含む。
【００１８】
さらに別の実施形態によれば、前記方法は、
それぞれが互いに異なる波長の光を照射するよう構成された三つの光源により、キャプチャーすべき前記シーンを照明することで前記フォトメトリック画像データをキャプチャーする工程と、
前記シーンから反射された前記光源からの光を受光するよう構成された第一ビデオカメラを用いて前記シーンの画像をキャプチャーし、前記光源ごとに前記シーンから反射された前記光を分離する工程とをさらに備える。
【００１９】
前記第二デプスマップに関する前記データを前記第一デプスマップのデータに位置合わせするための較正データを取得する工程を含む較正工程を追加で設けてもよく、該較正データを取得する工程は、既知の３次元レリーフを有する既知のパターンを有する較正ボードの画像データをキャプチャーする工程を備える。
【００２０】
各実施形態において、較正ボードは少なくとも一つの特徴があり、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンおよび該ボードの３Ｄレリーフの双方における切れ目を規定する行、点、または形から選ばれる。
【００２１】
また一実施形態によれば、その特徴が共通特徴となるよう、３Ｄレリーフにおける切れ目は２Ｄパターンにおける切れ目と同じ位置に存在する。さらに別の実施形態によれば、２Ｄパターンにおいて切れ目あるいは境界によって規定される特徴が、３Ｄレリーフにおける特徴の位置を規定する、もしくはその位置によって規定される場合、その特徴は互いに対応する特徴である。例えば、３Ｄレリーフにおいてにおける特徴は円であり、２Ｄパターンにおける特徴がその円の中心であってよく、その反対であってもよい。ある実施形態において、互いに対応する特徴とは、形状とその形状の中心であり、もしくは焦点とその焦点に対応する楕円、円弧、または円である。
【００２２】
二つのセンサのうち少なくとも一つのセンサがデータをキャプチャーして３Ｄ画像を生成するために用いられる場合、二つのセンサからの画像データを合成する必要があるときは、いつでもこのような較正ボードを用いることができる。
【００２３】
このように、二つの異なるセンサからの画像を合成する必要がある場合、このボードはどのような種類のシステムとも併用でき、上述した装置に限られることはない。該較正ボードは少なくとも一つの特徴を有し、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンと該ボードの３Ｄレリーフとの双方における切れ目を規定する線、点、または形状より選択される。
【００２４】
各実施形態において、少なくとも一つの共通特徴を備えた較正ボードが提供され、該共通特徴は、該較正ボード上に形成された２Ｄパターンおよび該ボードの３Ｄレリーフの双方における切れ目に対応する線、点、または形状より選択される。
【００２５】
また一実施形態によれば、該共通特徴は複数の共通点を備え、２Ｄ画像内の線の勾配における切れ目と、較正ボードのレリーフにおける点として切れ目との双方が存在する場合に該共通点が設けられる。
【００２６】
また一実施形態によれば、前記点は線の角部に配され、該線は２Ｄ画像内の線であり、較正ボードのレリーフにおける切れ目を規定している。該線は閉じた形状の一部であればよく、該閉じた形状は該較正ボードから凹んでいるか突出している。実施形態によっては、較正ボードの一部が凹み、他の部分が突出するよう、前記閉じた形状が較正ボードに対して変化するような外郭を有していてもよい。また、ボードの２Ｄ画像とボードの３Ｄレリーフとにおいて識別可能な少なくとも一つのコーナーが形成される場合、前記形状は多角形であってもよく、曲線的な辺を持っていてもよい。
【００２７】
さらに別の実施形態によれば、勾配の切れ目は閉じた形状の一部を構成しない線上に形成され、たとえば、その線は較正ボードの辺まで伸びているか、あるいは何か別の方法によって開いている。
【００２８】
さらに別の実施形態によれば、ボード内に開口が設けられ、較正ボードの該開口の境界が、較正ボードの平面内の線に沿って測定された線の勾配において切れ目のある線を有するよう、該角部を含む形状がボードから切り取られ、
さらに別の実施形態によれば、共通特徴はボードの３Ｄレリーフにおけるエッジを構成する線である。これら線はボードの角部を削ることによって簡単に形成される。
【００２９】
また一実施形態によれば、較正ボードは、正方形がいくつか除外された市松模様のパターンを有する。較正ボードは２Ｄパターンを含み、該パターンは二色以上で構成される。
【００３０】
さらに別の実施形態によれば、そのパターンは二レベル以上のレリーフおよびマップを有し、較正ボード上に段状のレリーフパターンを配する。
【００３１】
さらに別の実施形態によれば、二つのセンサを用いてキャプチャーされた画像データを位置合わせする方法が提供され、前記センサの少なくとも一つは３Ｄ画像データに関するデータをキャプチャーし、前記方法は、
少なくとも一つの特徴を有する較正ボードを設ける工程であって、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンと該ボードの３Ｄレリーフとの双方における切れ目を規定する線、点、または形状のうち一つから選択される工程と、
前記第一および第二センサからの前記画像データ内に、該少なくとも一つの特徴を配置する工程とを備える。
【００３２】
さらに別の実施形態として、三つ以上のセンサが設けられる。
【００３３】
またさらに別の実施形態によれば、一方のセンサはデプスセンサである。例えば、タイムオブフライトセンサ、あるいはパターンを該シーンに投影するよう構成されたプロジェクタと、前記シーンに投影された該パターンの画像をキャプチャーするよう構成されたカメラとを備えるデプスセンサである。他方のセンサは通常のカメラでよく、ビデオカメラでもスチルカメラでもよい。
【００３４】
本発明の実施形態はハードウェアあるいは汎用コンピュータのソフトウェアとして実装できる。さらに本発明の実施形態はハードウェアとソフトウェアの組合せとして実装できる。また本発明の実施形態は、単一の処理装置としても、あるいは分散ネットワーク処理装置としても実装できる。
【００３５】
本発明の実施形態はソフトウェとして実装できるため、本発明の実施形態は、適当なキャリア媒体を介して汎用コンピュータに提供されるコンピュータコードを含むものである。キャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気装置、あるいはプログラム可能なメモリ装置などの記憶媒体、例えば電気信号、光学信号、マイクロ波信号といった信号などの過渡媒体を含むものである。
【００３６】
図１は本発明の一実施形態を被写体１を撮像するのに使用したシステムの概略である。被写体は３つの異なる光源３，５，７によって照明される。この実施形態では、これら三つの光源がそれぞれ異なる三色の光を発することができる。ここでは、赤、緑、青の色を、これら三色を識別できるビデオカメラを得ることができるので、選択することとする。しかしながら、ビデオカメラで識別できる色を発光できるものであれば、どのような色を発光する光源であってもよい。また、可視光外の放射光源も使用することができる。色の正確な濃淡または発光の周波数はビデオカメラに依る。一実施形態では、光源は複数のプロジェクタであり、場面（シーン）がそれぞれのプロジェクタからのそれぞれの発光色で照明されるよう複数のフィルターを設ける。また、さらに別の実施形態では、被写体を照明するのにＬＥＤが用いられる。
【００３７】
一実施形態において、光源光は、カメラ内のセンサによりキャプチャーされた周波数に、それぞれのセンサが０から２５５の範囲の色をキャプチャーされるように調整される。この範囲より外の色が決定されると、サチュレーションが起こることがあり、その場合、生成される３−Ｄ画像に誤差が生じる。
【００３８】
この実施形態において、背景の光がデータに影響するのを最小にするために、システムは屋内屋外においても暗部に設置される。三つの光源３，５，７は被写体１の周りに横方向に配置され、フロア位置から被写体１の高さまでの間の数段階に縦方向に置かれる。ある実施形態においては、光源３，５，７は三角形に配置される。一配置例では、三角形配置された光源は隣り合う光源の間隔が１から３メートルであり、他の配置例では、隣り合う光源の間隔が１．５メートルから２．５メートルである。光源は被写体１に向けられている。
【００３９】
三光源３，５，７の角度は、被写体１を中心にその回転面においておよそ３０度の間隔で設けられる。角度間隔が大きいほど方向に依存する色はよりはっきりと変化する。光源が離れすぎていると、被写体１のへこんだ形の部分の識別が難しくなる。これは、そのような部分でつくられる影は被写体のさらに大きな部分に拡大され、データの解析をさらに難しくするからである。好ましくは、被写体１の各部分が三つのすべての光源３，５，７で照明される。
【００４０】
第二光源５の縦方向下に位置するカメラ９は、三つの光源３，５，７で照明されながら、移動する被写体１を記録するために用いられる。光源が三角に配置される実施形態においては、カメラ９はその三角形の面の内部に設置されてもよい。
【００４１】
カメラ９は異なった色の複数の画像を分離することができる。これは、カメラ内のフィルター機構によりなされる。こうして、カメラ９は三つのすべての光源からの照明を利用して被写体１の画像をキャプチャーすることができ、それぞれの光源からの反射光を順次識別することができる。したがって、赤、緑、青の光源からのそれぞれの反射光を用いて画像を生成することができる。
【００４２】
一実施形態において、第一ビデオカメラは生画像データを出力する。例えばＭＰＥＧのようなデータ圧縮機構は使用されない。画像データの圧縮により、再構成された３Ｄ画像に影響が現れる可能性がある。
【００４３】
図１の配置には第二カメラ１１も含まれている。第一カメラ９は、フォトメトリックステレオデータを収集するために使われる。第一および第二カメラは二視点ステレオデータを収集するために一緒に使用される。光源が三角形に配置されている場合、第一カメラ９と第二カメラ１１はともに三角形内部に設けられる。ある配置例においては、その二台のカメラの間隔は０．２５から１メートルであり、さらに別の配置例においては、その二台のカメラの間隔はおよそ０．５メートルである。
【００４４】
二視点ステレオデータを収集する場合、カメラ９と１１はそれぞれの光源３，５，７から受け取った光を識別しようとはしない。二台のカメラを使用した３−Ｄ画像のキャプチャーは、一般に二視点ステレオと呼ばれ、よく知られているので、これ以上の説明は割愛する。
【００４５】
カメラ９と１１でキャプチャーされたデータは解析部１３に供給される。解析部１３は、三光源３，５，７に接続されている。解析部１３は第一および第二カメラ９および１１から受け取ったデータの相関をとる相関部の機能を果たす。
【００４６】
図２はシステム解析部の可能な基本構造を示す。解析部１３は、プログラム２５を実行する処理部２３を有する。解析部１３は、さらに記憶装置２７を有する。記憶装置２７は、図１の二つのカメラ９、１１から受け取ったデータを解析し、光源３，５，７の照明を制御するためのプログラム２５で用いられるデータを記憶する。解析部１３はさらに入力モジュール１１と出力モジュール３３を有する。入力モジュール３１はカメラ入力部３５に接続されている。カメラ入力部３５は二つのカメラ９、１１からのデータを受け取る。カメラ入力部３５はカメラから単に直接データを受け取ってもよいし、または、外部記憶媒体またはネットワークからデータを受け取ってもよい。
【００４７】
出力モジュール３３にはディスプレイ３７が接続されている。ディスプレイ３７はカメラ入力部３５から受け取ったカメラデータからキャプチャーされた３Ｄ画像を表示する。ディスプレイ２７の代わりに、出力モジュール３３がファイルまたはインターネット等を介して出力を行ってもよい。
【００４８】
使用時において、解析部１３はカメラ入力部３３を介してカメラデータを受け取る。処理部２３で実行されるプログラム２５は、３Ｄ画像データを生成するために記憶装置２７に記憶されたデータを使ってカメラデータを解析する。そのデータは出力モジュール３３を介してディスプレイ３７に出力される。
【００４９】
最初に、図３のフローチャートを参照して較正方法を説明する。ステップＳ１０１において、一つのカメラと三光源のそれぞれを順次使って、較正被写体の複数の位置について較正ボードの画像を撮影する。
【００５０】
この方法は、（較正および再構成ともに）Ｌａｍｂｅｒｔｉａｎ反射率モデルを前提としている。図１を参照し、スペクトル反射率関数ρ（λ）および単位法線
【数２】
【００５１】
を持つ平面１を、１ｉ方向およびスペクトル分布Ｓｉ（λ）を持つ光源３により照明するとき、スペクトル感度ｕｊ（λ）を持つセンサ９により観測される輝度ｃｊは次の式で求められる。
【数３】
【００５２】
ここで、
【数４】
【００５３】
であり、ｉｊは、表面の色度、入射光色およびセンサのスペクトル感度を表し、αは表面のアルベド反射率を規定する。
【００５４】
これは、モノクロシーンにおいて、表面のアルベドが変化しようとも、υｉｊはシーン全体にわたって一定であることを意味する。３Ｄ画像をキャプチャーするには、関与の如何を問わず、面法線の方向と大きさを導き出すことが重要である。したがって、スケーリングされたアルベド反射率法線
【数５】
【００５５】
は、コンパクトネスに用いられ、これから
【数６】
【００５６】
を再正規化により復元することができる。
【００５７】
図１の三光源３，５，７がシーンを照明すると仮定すると、その結果得られるＲＧＢ画像ｃ＝［ｃ０ ｃ１ ｃ２］Ｔは次式で求められる。
【数７】
【００５８】
ここで、ｖｊ＝［υ０ｊ υ１ｊ υ２ｊ］Ｔであり、光線ｊに対する平面１とセンサ９の結合応答を表す。
【００５９】
新しい入力画像を所与とし、ＬとＶがいずれも可逆であることを条件として、法線マップは、
【数８】
【００６０】
を用いて再構成することができる。
【００６１】
使用される三光源３，５，７が一つの直線上にない場合、Ｌは可逆である。理論的には、カメラ内の各センサ９は光源３，５，７の一つに応答するのみである。Ｖは対角であって、ゆえに可逆である。しかし実際には、スペクトル分布が重なると、センサと光源において異なったチャネル間でクロストークが起こる。
【００６２】
赤、緑、青の光を使った結果は、先頭対角に沿って大きな値をもち、クロストークによりその他の領域では小さな値をもつＶ行列となる。このため、Ｖは可逆に適する。Ｖは異なる色度の面ごとに変化するが、フォトメトリックシステムの較正はＬとＶの推定に換算することができる。
【００６３】
ステップＳ１０３においてＬを推定するには、ステップＳ１０１でのキャプチャーのように、順次点灯された各々の光源により任意のいくつかの方向で撮像された較正ボードからのデータを使用する。そのとき、（既知の）ボードの法線が使われる。
【００６４】
これにより、各列のスケーリングファクタに従ってＬを推定できる（ｃ，ｎ）対の集合が得られる。ここで、Ｌは方向を定めるのみであるので、このスケーリングファクタは無視できる。この段階では、アルゴリズムの多視点ステレオ部分を較正し、カメラの相対位置も計算できる。
【００６５】
Ｖの推定は、シーンの材料特性に依存し、異なる色度の平面ごとに変わるので、さらに複雑な問題となる。図５はＶの較正に使われる６つの画像Ｉｗ１，Ｉｗ２，Ｉｗ３，Ｉｃ１，Ｉｃ２，Ｉｃ３を示す。これらの画像はステップＳ１０５でキャプチャーされる。
【００６６】
ここで、シーンの形状は６画像のそれぞれで不変とする。各々の光源は順次、まず白色光そして画像キャプチャーに使われる色に点灯される。
【００６７】
すでに算出された照明方向と組み合わされた白色照明のもとでの３画像Ｉｗ１，Ｉｗ２，Ｉｗ３によれば、標準フォトメトリックステレオにより、各画素がｎの値を持つ法線マップを作成することができる。
【００６８】
このマップは、閾値処理によって検出される、入力画像において陰になったり、正反射を呈するもの以外のすべての画素における推定を含む。
【００６９】
次の３画像Ｉｃ１；Ｉｃ２；Ｉｃ３のそれぞれにより、Ｖ行列の一つの列の推定が各画素でなされる。たとえば、Ｉｃ１を使って、第一光源のみオンの場合、式（２）は以下のように換算することができる。
【数９】
【００７０】
ｃ、ｎおよびｌ０は既知であるので、ｖ０のすべての要素を算出することができる。
【００７１】
上記の実施形態ではステップＳ１０７においてＶが各画素において推定される。これにより、マルチスペクトル・フォトメトリックステレオは多色シーンに拡張される。
【００７２】
較正画像において各画素の夫々の較正行列が推定されると、較正シーンにおけるＮ個の支配的な色を最良に表現するＮ個の較正行列が決定される。
【００７３】
一実施形態において、これはステップＳ１０９においてＲＡＮＳＡＣに基づくアプローチを用いてなされる。ここでは、算出された行列から任意に一つが仮定として選ばれる。そして、較正シーンにおけるそれをサポートする行列の数を調べる。仮定に対するサポートを測定するために、最大照明での画像がＩｆ＝Ｉｃ１＋Ｉｃ２＋Ｉｃ３に基づいて合成される。
【００７４】
したがって、式（２）から、既算の法線マップと照明方向ｎ、Ｌにそって仮定された行列Ｖｐを用いて同じ画面が生成される。数学的に、二つの合成された画像が十分近似であるなら、以下の式が満たされる場合、画素は仮定の行列Ｖｐをサポートする。
【数１０】
【００７５】
ここで、τは閾値であり、ｃｆはＩｆからの画素値である。
【００７６】
これが、各回で最大のサポートを持つ仮定を維持しながら一定の回数繰り返される。そして、最終的な較正行列は、最終仮定をサポートするすべての画素についてＶの平均をとることで発見される。最初の較正行列が選ばれると、それをサポートするすべての画素は取り除かれ、この処理がシーンにおいて次に支配的な色度が見つかるまで繰り返される。そして、Ｎ個の較正行列が復元されるまで、これは繰り返される。ここでＮは入力として与えられる。
【００７７】
３Ｄ画像の再構成を図４を参照して説明する。
【００７８】
あるシーンの画像は、ステップＳ２０１において異なる三色の光源でそのシーンを照明しながら、時間の経過だけシーンのビデオデータを得ることで再構成できる。このデータは較正について説明したのと同様に処理され、そして、ビデオデータの各フレーム毎に、それぞれのカメラからの照明によるデータは決定される。このようにして、各画素ごとにＣが得られる。
【００７９】
次にステップＳ２０５において、画像は、各画素でどの較正行列を使うか決定するためにセグメント化される。この実施形態では、下記のユナリー項およびペアワイズ項を持つマルコフ確率場（ＭＲＦ）フレームワークにおいてセグメント化は設定される。入力画像で影にならないノードが画素ごとに存在する。そして、エッジが４つ以内の近隣画素によるノードの間に加えられる。
【００８０】
ステレオ再構成からのデプスマップは平滑化され、各画素の法線ｎｓはそれから算出される。入力画面は各画素で平滑化画像値ｃｓを与えるのと同じ量だけ平滑化される。そして、行列Ｖｉを使うユナリー項は以下の式で与えられる。
【数１１】
【００８１】
これにより、復元されたステレオ領域と同様の低周波特性を有する法線マップを生成する較正行列が選ばれるようになる。
【００８２】
一実施形態において、ペアワイズ項のためにポッツモデルが用いられる。ここでは、同一ラベルを共用する近隣画素にはコストはかけられないが、異なるラベルを持つ場合はコストγが発生する。コストγはｓｏｂｅｌフィルターとしきい値処理により見つかった入力画像のエッジマップにより調整される。エッジ上にない画素には、γは大きく、エッジ上の画素には、γは小さい。
【００８３】
一実施形態において、ＭＲＦに対する最大事後（ＭＡＰ）解がツリー再重み付けメッセージパッシングアルゴリズムを使用して推定され、指定されたラベルに基づいて再構成がなされる。二つの領域の境界では画素混合が起こる場合があり、セグメント化における僅かな誤差によりアーチファクトが生じる可能性がある。これを少なくとも部分的には緩和するために、領域境界の一方の側のバンド画素において、境界に対し垂直に法線を補間する。
【００８４】
上記手順に基づく方法は、ステップＳ２０７において法線領域を生成し、非常に正確な高周波数情報をもたらすが、それは面を形成するために統合されなければならないために、僅かな較正誤差や想定モデルからのシーンのずれが大きな低周波誤差につながることがある。
【００８５】
より正確な低周波測定を提供するために、ステップＳ２０９において、各フレームで粗い形状を再構成するカメラ９、１１からのデータを用いた二視点ステレオシステムがこの実施形態に基づいた方法では使われる。任意の多視ステレオアルゴリズムがこの段階では使用できる。一実施形態に基づく方法では、後にフォトメトリックステレオによって復元される理由から、細かいディテールを復元する試みでなく、頑強性を規定するアルゴリズムを選択する。一例では７ｘ７ウインドウに合致する差分の二乗和（ＳＳＤ）が使われた。正規化相互相関（ＮＣＣ）を使うこともできる。
【００８６】
ステップ２０９においてステレオデプスが推定されると、ステップ２０７において得られた法線領域の高周波ディテールとステップ２０９のデプスマップの低周波情報がステップＳ２１１において組み合わされる。
【００８７】
法線領域から低周波バイアスを取り除くため、平滑化されたバージョンが、ガウス分散σ２で法線マップをブラー処理し、再正規化することにより作成される。この平滑化バージョンからのそれぞれの法線と元の法線領域の間の回転が記録され、そして画素ごとに、同じ量で平滑化されたステレオデプスマップのバージョンから算出された法線領域に適用される。
【００８８】
分散σ２を変化させることで、法線領域からの情報がステレオデプスマップからの情報により置き換えられる低いカットオフ周波数が変更される。一実施形態において、法線領域からの面を得るためにエネルギー最小化アプローチが用いられる。これにより、変更された法線マップにより高周波数ディテールを規定しつつ、全体の形がデプスマップと整合すること保証する。
【００８９】
上記技術を説明するために、上記技術で構成された法線マップを図６（ａ）に示す。図６（ｂ）は最終ステップのデプスマップの合成を使わなかった法線マップを、また図６（ｃ）はその二つの法線マップの度合いの違いを示す。
【００９０】
上記技術が多色シーンを対象とする場合を示すために、緑と白のクッションを含む困難なシーケンスを処理した。較正はＮを３として行った。入力画像および得られたセグメント化を図７に示す。
【００９１】
図７（ａ）は入力画像を示す。図７（ｂ）はステップＳ２０５に関して述べられたセグメント化を示す。図７（ｃ）はステップＳ２０７で得られた、平滑化されたデプス法線を示す。図７（ｄ）は一つの較正行列を使って推定された法線を示す。図７（ｅ）は三つの較正行列を使って推定された法線を示す。図７（ｆ）は一つの較正行列を使った再構成を示す。図７（ｇ）は三つの較正行列を使った再構成を示す。図７（ｈ）はセグメント化が失敗した入力画像を示す。図７（ｉ）は失敗したセグメント化を示す。図７（ｊ）はセグメント化が失敗した後の再構成を示す。
【００９２】
クッションのパターン周辺のセグメント化が正確な時は、手の周辺は不正確になってしまう。手の周辺の折り目はわれわれのステレオアルゴリズムで解像できる詳細の限界であり、そのため得られた法線に基づくセグメント化はノイズが多いことを証明できる。ステレオアルゴリズムからの平滑化法線を図７（ｃ）に示す。比較として同じシーンを一つの較正行列で復元した法線マップが図７（ｄ）、三つの較正行列を使用したものが図７（ｅ）に示される。一つのみの較正行列が全体のシーンで使われた場合、手は不正確に復元される（図７（ｆ））。一方、我々の新規技術を用いた場合、法線、したがって形状は正確に推定される（図７（ｇ））。
【００９３】
図７に示す画像は３００フレームシーケンスからの二コマである。大多数のフレームにおいて、セグメント化は一般に質的によい結果をもたらす程度に十分正確である。図７（ｈ）にあるようないくつかのコマにおいて、シャドウイングによりセグメント化に失敗し、指先を正確にセグメント化するのに失敗する。図７（ｊ）ではアーチファクトを呈する形状が得られたものが示されているが、このような不具合は稀である。再構成されたフレームが図８に示されている。
【００９４】
この提案のキャプチャーシステムは、動的シーンをキャプチャーするのに用いられるようデザインされ、入力の各フレームごとに個々の形状を計算する。いくつかのシーケンスがシステムの頑強性と結果品質を示すためにキャプチャーされた。シーケンスのいくつかの静止画像が図８に示されている。
【００９５】
図８において、左から右にそれぞれの列に、入力画像、ステレオ再構成、統合された法線領域、統合された法線領域の新規な視界、ステレオ情報が含まれた時の最終結果、最終結果の同じ新規な視界が示されている。法線領域の統合は正面から見た場合はよい結果をもたらすが、新しい角度から見た場合、低周波ゆがみが見られる。これらのゆがみはステレオからの低周波情報を用いて最終結果において取り除かれる。
【００９６】
第二の列に示されるステレオ結果にはディテール部がほとんどないが、全体としては正しい形状が示されている。第二および第三の列では純粋にフォトメトリックシステムで得られたものと比較可能な程度の結果が示されている。ここでは、元の方向に近い位置から見られた場合は納得いく結果だが、新しい視点からなされると低周波ゆがみがわかる。
【００９７】
最後の二列の合成結果は高周波ディテールを維持しながら低周波ゆがみを取り除いたことを示している。フォトメトリック法線マップからの中周波数を含むので、時間的なフリッカーもこの合成結果において、純粋なステレオ結果よりも、かなり目立たなくなっている。
【００９８】
これらシーケンスの画像サイズは１６００×１２００である。フレームあたり平均して、コンプリートなアルゴリズム実行時間は１６秒であり、ほとんどの時間は、ＣＵＤＡによるステレオ再構成の４秒と、シングルスレッドＣ＋＋による法線領域統合の９秒の２つの部分で費やされる。
【００９９】
下地の真のデータに対するアプローチの精度を示す目的で、合成画像について一連の実験を行った。公衆利用可能な高解像度モデルをＯｐｅｎＧＬでレンダリングした。拡散アルベドをモデルの半分に適用し、残りの半分を３つの異なるソリッドカラーを用いてレンダリングした。モデル全体で一様な白反射アルベドが存在した。入力画像例を図１０ａに示す。較正はターゲットボードをレンダリングし、これから、カメラと光源位置を推定することで行われる。
【０１００】
先ず、画像にノイズを加えないで再構成を行った。下地の真の法線と復元された法線との間の誤差が、図１０ｃに示される。色度一定の領域における誤差は、正反射のみによるものである。一方、未変更の半分においては、色度の変化により導入される、変化する誤差レベルが存在する。これらは、ひげや唇の周辺でもっとも顕著である。法線が補間された２画素の境界により色度の異なる領域間の境界においては誤差が発生してしまう。
【０１０１】
図１０（ｃ）に示される法線誤差結果とともに１つの較正行列を仮定し、フォトメトリックステレオ法を用いて較正を実行した。このアプローチは、モデルの自然な部分について正確な較正を推定し、現実施形態の方法に非常に良く似た結果を生みだす。しかしながら、これはシーンにおける多数の色度に対処することができない。
【０１０２】
自然画像には、いくらかのセンサノイズがあるので、各画素の各カラーチャネルに６の標準偏差を持ったガウス雑音を独立して加えることによってこれをシミュレートした。このノイズが法線に伝播し、図１０（ｄ）に示される誤差をもたらす。
【０１０３】
上記の結果は、高周波のディテールがフォトメトリックステレオによって復元されていることを示しているが、低周波誤差に関する情報を明らかにしていない。復元された法線領域を統合する場合、図１０（ｇ）に示されるように、復元されたデプス値と下地の実の値との間には大きな相違がある。図１０（ｈ）に示すように、ステレオ推定されたデプスマップと法線マップとを合成することでこの誤差は縮小される。しかし、図１０（ｊ）において強調するように、カメラに正対しておらずカメラに対して平行な顔の側面には、依然としてかなりの誤差がある。システムにカメラを追加すれば、この問題を解決する一助となる筈である。しかし、これではシステムの複雑性増加のコストに悩まされるであろう。
【０１０４】
ステレオ再構成からの低周波情報の導入もまた、法線の精度改善の一助となる。これは主として、小領域群にわたる恒常的な反射により引き起こされた誤差を削減することによるものであった。誤差マップを図１０（ｅ）および図１０（ｆ）に示す。ステレオデータの平滑化によってわずかにアーチファクトが引き起こされるが、再構成すると、これらを見るのは非常に難しいことが分かる（図１０（ｉ））。デプス誤差および法線誤差の計算結果をテーブル１に示す。
【数１２】
【０１０５】
使用されるブラーカーネルの分散（σ２）を変更することにより、フォトメトリック情報とステレオ情報の間のカットオフ周波数を変更することの影響を調べた。
【０１０６】
図９ａおよび９ｂは、再構成誤差についてこのパラメータを変更する影響を示している。図９（ａ）は法線誤差に対するσの影響を示しており、図９（ｂ）はデプス誤差に対するσの影響を示している。σを増加させることで、ステレオデプスマップに代わるフォトメトリック法線マップから、より大きな使用周波数範囲がもたらされる。
【０１０７】
カットオフ周波数を高くし、σを非常に小さくした場合、法線領域の高周波情報が失われ、大きな法線誤差が発生する。σが増加するにつれて最適条件に達し、過度にディテールを平滑化することなく法線領域におけるあらゆる低周波バイアスが低周波ステレオによって取り除かれる。この点を越えると、当該誤差は、おのずと法線領域の値の方に後戻りしてゆっくりと増加する。
【０１０８】
予想に反して、σを増加させることは、若干、デプス誤差を縮小する。これは、全体的な形、つまり超低周波成分がこの統合方法によって抑制されるからであって、ステレオデプスマップに代わるフォトメトリック法線領域から得られるのは中域周波数であることがその理由である。ステレオ再構成は単に二視点に基づくものであることから、サブ画素レベルで正確さを期すことは非常に困難である。したがって、いくらかの中波誤差が存在する。これは、法線領域が修正可能である。中波誤差は後続フレームとの間の表面のフリッカーとして現れるので、これは動的なシーンを再構成する場合に特に重要である。実際のシーケンスにおいて、この時間的なフリッカーを取り除くには、σの値をおよそ３０とすれば十分であった。
【０１０９】
実施形態に従う方法およびシステムにおいて、急速に変形する表面の高解像度形状のキャプチャーのためのマルチスペクトル・フォトメトリックステレオ法が提供される。また、多数の色度を含んだシーンにまでマルチスペクトルのフォトメトリックステレオを拡大することにより、以前の方法よりも広範囲な被写体に対するフォトメトリック較正を可能にする新規な較正技術が示される。マーカーを必要とせず、二視点ステレオ方式により、低周波情報が提供される。上記の方法およびシステムは、顔および布の変形を対象とし、わずか２つのカメラと３つの光源しか用いないという困難なシーケンスの３Ｄキャプチャーに用いることができる。上記の方法では、フォトメトリック結果から低周波バイアスを取り除きつつ、高レベルのディテールを維持する。
【０１１０】
上記の実施形態に従う方法およびシステムは、３つの異なる色の光源によるマルチスペクトル・フォトメトリックステレオを用い、単一のＲＧＢ画像で３つの光線方向をキャプチャーする。これは、フォトメトリックステレオが映像シーケンスの各フレームに対して実行され、入力映像と同じフレームレートで高解像度形状を生成することを可能にする。上記の方法およびシステムは、マーカーの使用を要しない。すなわち、再構成される被写体に別体のアーチファクトが付加されない。また、この方法およびシステムは、リアルタイムの多色シーンのキャプチャーに適用することができる。本発明の実施形態に従う方法は、較正シーンにおけるすべての表面のフォトメトリック特性の推定により、マルチスペクトル・フォトメトリックステレオ構成の較正を可能にする。さらに、この較正は、多数の色度を含んだシーンに対してマルチスペクトル・フォトメトリックステレオが適用されることを可能にする。
【０１１１】
本発明に従うシステムおよび方法によれば、わずか２つのカメラおよび３つのパッシブ光源を用いて高品質の結果を達成することが可能になる。
【０１１２】
次に、本発明の更なる別の実施形態に従う方法を述べる。
【０１１３】
本実施形態に従うシステムは、図１および２を参照して説明したものと同じハードウェアを用いる。不必要な反復説明を回避するため、同じ特徴を表わすために同じ参照数字を用いる。
【０１１４】
第１の実施形態で説明した方法との関係で述べると、この実施形態で説明される方法では多数の色を持つ被写体に対応することができる。当該実施形態の方法は、先の実施形態に関して説明したものと同様であって、法線推定が行なわれる前に、入力画像は一定の色度の領域にセグメント化される。
【０１１５】
図１１ａは、後に再構成される入力画像を示している。図１１ｂは、二視点ステレオから復元された低解像度形状を示している。これは、図１に示した２つのカメラを用いて得られる。図１１ｃは、一定の色度を仮定して推定された法線マップを示している。図１１ｄは、以下の実施形態で説明される方法を用いて推定された法線マップを示している。図１１ｅは、図１１ｄの法線マップと図１１ｂのステレオ画像とを合成することにより得られた高品質形状を示している。
【０１１６】
一方、当該さらに別の実施形態に従う方法では、低解像度ステレオデプスマップが各画素において平滑化された法線方向を計算するために構築される。この低解像度ステレオデプスマップは、２つのカメラ９および１１（図１）を用いて構築される。シーンには、Ｎの色度があると仮定する。シーンのＮの色度の各々に関して、任意の画素における平滑化された法線は、異なる色を予測する。これを例えば図１２に示す。図１２ａは、２つの色を含むパッチの発明を示している。これに対応する画像の法線マップが図１２ｂに示される。図１２ｃは、この場合において可能な仮のセグメント化を示す。図１２ｄは、図１２ｃのセグメント化の結果として得られる画像推定を示す。
【０１１７】
平滑化された法線から生成された画像が観察画像にできるだけ厳密に一致することを保証することにより、有効なセグメント化を見つけることができる。この実施形態では、セグメント化処理において次の２つの制約が課される。
【０１１８】
１．観察画像および平滑化法線マップの生成の尤度が最大化されること。
【０１１９】
２．色度が局所的に一定であること。
【０１２０】
第１の制約を履行するために、尤度項が導出される。この実施形態では、第２の制約を履行しつつセグメント化を行なうためにマルコフ確率場（ＭＲＦ）が用いられる。
【０１２１】
図１３は、本発明の実施形態に従う方法を用いて３Ｄ画像を再構成するために必要なステップを示すフローチャートである。
【０１２２】
第１の実施形態に関し、３つの異なる色の光で被写体または移動する被写体を照明しながら、ステップＳ４０１において、映像データが収集される。ステップＳＳ４０３において、１つのカメラからの映像データの各フレームごとに、各光源からの照明による画像データを分離する。
【０１２３】
Ｌａｍｂｅｒｔｉａｎ反射率モデルを用い、３つの離れた点光源が単位法線ｎおよびアルベドαで表面を照明し、環境光はないものと仮定して、観察される表面の輝度は、
【数１３】
【０１２４】
により与えられる。ここで、ｃ、ｌｉおよびｖｉは全て長さが３の列ベクトルである。ＣはＲＧＢ画像輝度を表わし、ｌｉは光線ｉの方向を規定し、ｖｉは光線ｉに対するセンサと表面の結合応答である。
【０１２５】
行列Ｖは、表面の色度、光のスペクトル分布、およびカメラセンサのスペクトル感度の組み合わせをモデル化する。色度が異なる領域で変化するのはこの行列である。表面αのアルベドは０と１の間の値であって、表面で反射された入射光線の割合に等しい。この実施形態において、画像の各チャネルは、各画素ごとで分散σ２の付加的な白色ガウス雑音により悪くなり、ｃは、通常、
【数１４】
【０１２６】
で分配されることを仮定している。
【０１２７】
観察された画像値ｃ、ならびにＶとＬの推定を所与として、ｎの最尤推定値は、
【数１５】
【０１２８】
により与えられる。
【０１２９】
観察画像および法線対（ｃ，ｎ）の尤度は、行列Ｖにより規定される色度を所与とし、ベイズのルールを用いて、
【数１６】
【０１３０】
により見つけることができる。
【０１３１】
この実施形態において、表面法線Ｐ（ｎ｜Ｖ）に関して一定のプライア（ｐｒｉｏｒ）を仮定している。Ｐ（ｃ｜ｎ，Ｖ）は表面のアルベドαを考慮することなく表現することはできない。これは未知であるから外に出して、
【数１７】
【０１３２】
となる。
【０１３３】
この実施形態において、プライアＰ（α｜ｎ，Ｖ）は０から１の範囲で一定となる。（ｘ）を用いることにより、
【数１８】
【０１３４】
が与えられる。
【０１３５】
この新しい座標系のＸ軸が線ＶＬｎと平行となるように座標系を選ぶことによって、
【数１９】
【０１３６】
のように書くことができる。
【０１３７】
ここで、ｃｒ＝［ｃｒ０ ｃｒ１ ｃｒ２］Ｔは新しい回転座標系におけるｃである。αに依存しない項を積分からすべて削除し、コンパクトネスについてのｂ＝｜ＶＬｎ｜を用いることにより、
【数２０】
【０１３８】
が与えられる。
【０１３９】
これはまとめることができ、
【数２１】
【０１４０】
が与えられる。
【０１４１】
ここで、
【数２２】
【０１４２】
であり、Ｅｒｆ（）は誤差関数である。オリジナルの座標系において、ｃｒ０およびｄは、
【数２３】
【０１４３】
および
【数２４】
【０１４４】
から与えられる。
【０１４５】
直観的に、ｃｒ０は線ＶＬｎに沿った距離に対応し、ｄは、ノイズによるこの線に垂直な変位に対応する。αについての一定のプライアにより、２つの誤差関数を含んだ項は０と｜ＶＬｎ｜の間でほぼ一定であり、それ自体は、実用上の目的では定数として扱うことができる。
【０１４６】
ステップＳ４０５において新たなシーンの異なる色度へのセグメント化を行なうために、マルコフ確率場（ＭＲＦ）が構築される。各ノードは、入力画像における画素に対応し、４近傍内の隣接画素の各々のノードに接続される。各ノードには、シーンにおけるＮ色度のうちの１つに対応するラベルａΕ１，．．．．．．．，Ｎが割り当てられる。色度が局所的に一定でなければならないという制約は、ペアワイズ項に対してポッツモデルを用いることにより行われ、ラベルを共有する隣接画素にはコストが割り当てられず、異なるラベルにはコストが割り当てられる。ユナリー項（ｕｎａｒｙ ｔｅｒｍ）は、前章で導出した尤度から与えられる。１組のＮ行列ＶａΕ１，．．．．．．．，Ｎを所与として、ラベルａをとる画素のユナリー項は、Ｐ（ｃ｜ｎ，Ｖａ）から与えられる。ここで、ｎは、ステレオデプスマップから推定された平滑化法線マップから得られ、ｃは、入力画像の平滑化されたバージョンから得られた画像輝度である。平滑化は、ステレオアルゴリズムでは復元しえない細かい幾何学的ディテールによる高周波変動を取り除くのに用いることができる。
【０１４７】
セグメント境界が領域境界に厳密に追随していることを保証するために、画像のエッジマップが計算され、エッジマップにおけるエッジと交差する、グラフ内エッジのポットコストがγ／１００にセットされる。
【０１４８】
ひとたびＭＲＦが構築されると、ツリー再重み付けメッセージパッシングアルゴリズムを用いてＭＲＦが解かれ、ステップＳ４０７において、関連するＶａとともに（９）式を用いて各画素ごとの法線がそれぞれ推定される。そしてステップＳ４１１において、この密な法線マップは、第１の実施形態に関して述べた方法が用いることにより、ステップＳ４０９で得られた低解像度ステレオマップと合成される。
【０１４９】
図１４は、本発明の実施形態に従う較正方法のフローチャートを示している。
【０１５０】
シーンという用語は、被写体あるいはシステムから見た被写体の配列にあたるものとして用いる。被写体は静止していてもよいし、静止していなくてもよい。
【０１５１】
本較正手順において、画像の再構成に必要なパラメータが推定される。このパラメータは２つのグループに分割することができる。
【０１５２】
グループ１−フォトメトリックパラメータ、すなわちＮおよびＶａΕ１，．．．．．．．，Ｎ。ここで、Ｎは異なる色度の数、ＶａΕ１，．．．．．．．，Ｎは、表面の色度、光のスペクトル分布、カメラセンサのスペクトル感度の組合せをモデル化する行列である。
【０１５３】
グループ２−光線方向行列Ｌ、画像ノイズσ、カメラ固有および外因性のパラメータを含むシステムパラメータ。
【０１５４】
グループ１のパラメータは各シーンについて推定する必要があるが、グループ２パラメータは一度推定するだけでよい。
【０１５５】
ステップＳ３０１では、視野内で回転し平行移動するチェッカーボード・パターンの画像をキャプチャーすることにより、固有および外因性のカメラパラメータの推定が行なわれる。
【０１５６】
ステップＳ３０３では、標準的な方法を用いてＬの推定が行なわれる。すなわち、一度に１つの光線をＯＮにして同チェッカーボード・パターンを回転し、（ｃ，ｎ）対の組が得て、これから最小自乗技術を用いてＬを推定することができる。σを推定するために一定の照明下で数枚の静止シーンの画像を得る。該画像の全域にわたる画素の平均の分散としてσ２が推定される。
【０１５７】
ＮおよびＶａΕ１，．．．．．．．，Ｎを推定するための手順は３つの部分に分割することができる。
【０１５８】
１．各画素におけるＶの個々の推定。
【０１５９】
２．Ｎ個の支配的色度、すなわちＶａΕ１，．．．．．．．，Ｎの推定。ただし、Ｎは所与とする。
【０１６０】
３．モデル順序選択問題としてのＮの選択。
【０１６１】
この実施形態による方法において、画素ごとのＶを推定するために、ステップＳ３０５における画像のうちの１つにおいて各光源をオンにすることにより、３つの画像Ｉｒ，ＩｇおよびＩｂが取得される。ここでは、シーン形状は３つの画像にわたって不変であるものとする。
【０１６２】
ステップＳ３０７においてステレオ再構成が行なわれて低解像度法線マップが与えられる。ステップＳ３０７において得られた法線マップおよびステップＳ３０３において先に計算された光線方向を所与として、ステップＳ３０５においてキャプチャーされた３つの画像の各々により、各画素における行列Ｖの１列を推定することができる。
【０１６３】
１色のカラー光線、例えばＩｒで照明することにより、次のようになる。
【数２５】
【０１６４】
ｃ、ｎ、およびｌ０は既知であることから、ｖ０のすべての要素を、Ｖにおけるすべての列にわたって一定であるスケーリングファクタαに至るまで計算することができる。ステレオ法線マップでは高周波形状を復元しえないという現実に対処すべく、この処理が行なわれる前に、３つの画像の各々は平滑化される。
【０１６５】
この手順は、実際のところ各画素におけるαＶ（Ｖではない）を復元する。しかしながら、Ｖのスケールは再構成において重要ではない。したがって、有効な法線を所与として予測することができる最大のｃの値が２５５以下となるように各Ｖ行列をスケーリングしてもよい。カメラの露出およびゲイン設定の調節により、実行の際にサチュレーションが起こらないことを確実にすることができる。
【０１６６】
各画素について個々の較正行列が推定されると、この実施形態に従う方法において、Ｎすなわちシーンに存在する色度の数と、シーンにおけるＮの支配的色度のフォトメトリック特性であるＶａΕ１，．．．．．．．，Ｎとが決定される。
【０１６７】
最初に、Ｎが既知であると仮定して、できるだけはっきりとシーンをあらわすＶａΕ１，．．．．．．．，Ｎが選ばれる。一実施形態において、ＲＡＮＳＡＣに基づいたアプローチが用いられる。ここで、ステップＳ３０９において計算されたＶ行列のうちの１つが仮定として任意に選ばれ、これをサポートする較正シーン内の画素数が調べられる。仮定に対するサポートを測定するために、十分なマルチスペクトル照明Ｉｒｇｂ下の画像がＩｒｇｂ＝Ｉｒ＋Ｉｇ＋Ｉｂによって合成される。この合成された画像からの画素輝度ｃおよび先に計算された法線を用いることにより、仮定のＶ行列を所与として、この（ｃ，ｎ）対の尤度を式（１５）を用いて計算することができる。尤度がしきい値τを超える場合には、画素が仮定の行列をサポートしており、超えない場合にはサポートしていない。
【０１６８】
これは、一定回数繰り返され、各回で最大のサポートを持つ仮定を保持する。その後、最終的な較正行列は、最終的な仮定をサポートするすべての画素についてのＶの平均により求められる。第１較正行列が選ばれると、それをサポートした画素がすべて削除され、当該処理が繰り返され、当該シーンにおいて次に最も支配的な色度が求められる。本処理は、Ｎの較正行列が復元されるまで繰り返される。ステップＳ３１１におけるＮの異なる値についても、処理が繰り返される。これについては、図１５を参照してより詳しく説明する。
【０１６９】
上記の手順では、Ｎが既知であるとしたが、ここでは異なる。Ｎの選択は、Ｎを増加させることによる、入力画像を表現するモデルの能力の増加が、モデルの複雑性の増加とのトレードオフとなる場合のモデル選択問題であると見ることができる。
【０１７０】
この実施形態に従う方法では、情報理論的選択法が用いられる。以下で説明するように、オーバーフィッティングの可能性を低減するためにベイズ情報量基準（ＢＩＣ）が用いられる。
【０１７１】
ＶａΕ１，．．．．．．．，Ｎを推定するためにＲＡＮＳＡＣ段階が実行されると、（ステップＳ４０５に関して説明した）再構成におけるＭＲＦを解決することができ、画像内の各画素において正確なＶａ用いることができる。
【０１７２】
画素の観点での非依存性を前提として、完全な画像の尤度は画素尤度の積である。したがって、ＢＩＣスコアを次式を用いて計算することができる。
【数２６】
【０１７３】
ここで、ｎは画像における画素数、ｍはＮを１だけ増加する場合の追加のモデル・パラメータの数（本例では９）である。ＢＩＣスコアが最低となるＮの値が選ばれる。実際上、この処理は、各Ｎに対するしきい値τの５つの値について繰り返され、すべてのＮおよびτにおいて最低のＢＩＣスコアが用いられる。
【０１７４】
本較正方法を実現するアルゴリズムを、図１５を参照して説明する。
【０１７５】
ステップＳ５０１において、Ｉｒ、Ｉｇ、Ｉｂ、Ｌ、σ、およびステレオデプスマップを取得する。これらを取得する１つの方法については図１４を参照して説明した。
【０１７６】
ステップＳ５０３では、図１４において説明したように各画素のＶが推定される。
【０１７７】
ステップＳ５０５では、Ｎおよびτの値の範囲が設定される。通常、Ｎ＝１をＮの最小値として、Ｎｍａｘの値およびτｍｉｎ、τｍａｘが設定される。典型的に、τの増加量が設定される。
【０１７８】
ステップＳ５０７において、Ｎとτの両方がそれらの最小値に設定される。ステップＳ５０９では、行列Ｖが１からＮまでのすべての値について推定される。これは、図１４を参照して説明したように行われる。次に、ステップＳ５１１において、図１３を参照して説明したように画像がセグメント化される。最終的に、ステップＳ５１３においてＢＩＣが計算される。
【０１７９】
ステップＳ５１５において、τがその最大値に達していないならばτはインクリメントされる。τがその最大値に達するまで、ステップＳ５０９からＳ５１３の処理が繰り返される。
【０１８０】
ステップＳ５１９では、Ｎがその最大値に達したかが判定され、達していない場合、τはその最小値にセットされ、Ｎが１だけインクリメントされ、ステップＳ５０９からＳ５１３のサイクルがτのすべての値について繰り返される。
【０１８１】
上記に続いて、ＶａΕ１，．．．．．．．，Ｎの仮の値がＮおよびτのすべての値に関してテストされ、最良のＢＩＣスコアを持つ値が選択される。
【０１８２】
次に、上記の方法を用いる再構成のいくつかの例を説明する。
【０１８３】
上記の方法は、多色のシーンに用いることができるが、色度が均一のシーンにも適用可能である。
【０１８４】
上記の実施形態に従う再構成を説明するために、緑と白のクッションを含む多色シーンを処理した。較正が行なわれてＮ＝３が選択される結果となった（クッションの２つの色度およびこれを保持する手の色度）。
【０１８５】
処理結果が図１６に示される。図１６ａは、１つの色度のみがシーン全体について仮定され、手の復元が不正確となった結果を示している。一方、図１３乃至１５に関して説明した方法を用いることによって、図１６ｂに示すように法線（つまり形状）が正確に推定される。
【０１８６】
図１６ｃは入力画像を示しており、図１６ｄは、図１６ｃの画像の不適切なセグメント化を示している。このセグメント化は、強いシャドウイングによって失敗している画像生成結果の形状にはアーチファクトが生じている（図１６ｅ参照）。
【０１８７】
図１７は、図１３乃至１５を参照して述べた方法を用いた場合の写真撮影の静止画を示している。
【０１８８】
図１７において入力画像は左手側の画像である。左から右の順で、次の５枚の画像は、（ｉ）ステレオ再構成、（ｉｉ）統合法線領域、（ｉｉｉ）統合法線領域の新規な視界、（ｉｖ）ステレオ情報を一度含めた最終結果、（ｖ）ステレオ結果群を含めた新規な最終結果を示している。上段はＮ＝１、中央の段はＮ＝２、下段はＮ＝３に対応する。
【０１８９】
２番目と３番目の列は、純粋なフォトメトリックシステムによって達成されたものと遜色のない結果を示しており、これはオリジナルの視線方向に接近して見た場合には納得のいくものであるが、低周波変形を含んでいる。これは、別の視点からレンダリングした時に明白になる。最後の２列の合成結果においては、高周波のディテールを維持しつつ、上記の低周波変形は取り除かれている。
【０１９０】
これらシーケンスの画像サイズは１６００＿１２００であり、コンプリートなアルゴリズムの平均実行時間は１フレーム当たり１６秒である。ほとんどの時間は、ＣＵＤＡによるステレオ再構成（４秒）と、シングルスレッドＣ＋＋による法線領域統合（９秒）の２つの部分で費やされる。セグメント化の平均時間はおよそ２秒である。
【０１９１】
下地の真のデータに対するアプローチの精度を示す目的で、合成画像について一連の実験を行った。公衆利用可能な高解像度モデルをＯｐｅｎＧＬでレンダリングした。拡散アルベドをモデルの半分に適用し、残りの半分を３つの異なるソリッドカラーを用いてレンダリングした。モデル全体で一様な白反射アルベドが存在した。入力画像例を図１８ａに示す。
【０１９２】
図１８において、色度の変動を全く想定していない既知の方法を用いて計算した場合の法線誤差を示す。図１８ｃは、低周波データの追加のない本提案手法を用いた場合の法線誤差を示している。図１８ｄは、低周波データが追加された後の法線誤差を示している。図１８ｅは、図１８ｃの法線領域を統合した後のデプス情報における誤差を示しており、図１８ｆは、図１８ｄの法線領域を統合した後の、低周波データを含むデプス誤差を示している。図１８ｇは、最終的な再構成画像である。
【０１９３】
先ず、画像にノイズを加えないで再構成を行った。下地の真の法線と復元された法線との間の誤差が、図１８ｃに示される。色度一定の領域における誤差は、正反射または領域境界によるものである。一方、未変更の半分においては、色度の変化により導入される、変化する誤差レベルが存在する。
【０１９４】
復元された法線領域が統合される場合、復元されたデプスと下地の実の値との間には、法線推定における若干のバイアスに起因して、図１８ｅに示すように大きな相違がある。ステレオ推定されたデプスマップと法線マップとを合成することにより、図１８ｆに示すようにこの誤差は大幅に削減される。
【０１９５】
画像をシミュレートするために、６の標準偏差をもつノイズガウス雑音を各画素の各カラーチャネルに対し個々に加え、上記の実験を繰り返した。デプス誤差および法線誤差の計算結果をテーブル１に示す。本方法は正確に法線方向を推定しており、ステレオ再構成と組み合わせた場合、同様に正確なデプスが与えられることがわかる。
【数２７】
【０１９６】
テーブル１では、色度が一定であると仮定することが大きな誤差につながっている。一方、ステレオデータは正確なデプスを提供するが、形状が過度に平滑化されており、このことが法線推定を不正確にしている。本提案の再構成方法は正確に法線方向を推定しているが、依然として、ステレオデータの追加が、デプス結果における低周波バイアスの除去を助けている。
【０１９７】
上記すべての実験において、ＮはＢＩＣ基準を用いるモデル選択によって推定された。しかしながら、他の基準を用いることが可能である。さらに別の実施形態において、負対数尤度を用いることができる。
【０１９８】
これを図１９に示す。同図には、負対数尤度と、Ｎ（シーンにおける色の数）の増加に伴うＢＩＣ値の結果がプロットされている。Ｎ＝５における下側の２つの線は、主に４つの色度を持った合成顔画像のものであり、Ｎ＝５における上側の２つの線は、主に２つの色度がある実物クッションのデータのものである。両方の場合において、これらプロットは１００回の実行の平均値であって、破線は負対数尤度、実線はＢＩＣ値を示している。
【０１９９】
上記の両方の場合において、正確なＮが選ばれていることがわかる。また、上記の両方の場合において、対数尤度の縮小率は、正確なＮ値を越えて急速に減少する。
【０２００】
上記の実施形態は、多視ステレオ再構成の利用により、複数の色度を含んだシーンにマルチスペクトルのフォトメトリックステレオを適用するためのシステムを提供する。フォトメトリック特性が較正シーンにおける各画素において推定されることを可能にする較正技術が示される。上記実施形態では、そのようなシーンの色度の数の自動推定がモデル選択アプローチを用いて行なわれる。上記較正情報を所与として、新規画像を一定色度の領域にセグメント化し、密な法線マップ推定を生成することができる。２つのカメラおよび３つの光源のみが必要でありながら、高品質の結果を生じるシステムを示した。
【０２０１】
上記の実施形態に従うシステムおよび方法は、変形表面の形状をキャプチャーするためのマルチスペクトル・フォトメトリックステレオ技術を提供する。新規なフォトメトリック較正技術は、区分的に複数の一定色度を含んだシーンの較正を可能にする。実施形態において、この方法は、画素ごとのフォトメトリック特性を推定し、シーンにおける支配的な色度を推定するためにＲＡＮＳＡＣに基づいたアプローチを用いる。さらに別の実施形態では、尤度項が作成され、表面法線、画像輝度、およびフォトメトリック特性が紐付けられる。これは、組み立てられるシーン中の色度の数をモデル推定問題として推定することを可能にする。較正中に存在する色度の数を自動的に推定するためにベイズ情報量基準が適用される。
【０２０２】
実施形態に従うシステムでは、２−カメラ・ステレオシステムが低解像度形状を提供するので、新しい画像を一定色度の領域にセグメント化するために尤度項を用いることが可能になる。一実施形態において、このセグメント化は、マルコフ確率場フレームワークで実行され、正確なフォトメトリック特性が各画素で用いられることを可能にし、密な法線マップを推定することが可能になる。
【０２０３】
本発明の実施形態に従う方法は、区分的に複数の一定色度を持った被写体に適用することが可能なマルチスペクトル・フォトメトリックステレオのための新規な較正技術を提供する。さらに、幾つかの実施形態において、この方法は、較正中に存在する色度の数の自動推定を可能にする。
【０２０４】
上記実施形態では、２つのカメラを用いて低解像度ステレオ画像を提供することを説明し、フォトメトリックステレオからのデータを向上するために低解像度画像を用いるという見地で上記実施形態を説明した。以下に述べる実施形態に従う方法およびシステムにおいては、フォトメトリックステレオデータがデプスセンサ測定を向上させるために用いられる。
【０２０５】
この特定の実施形態では、低解像度デプス測定がデプスセンサを用いて行なわれる。それは、キャプチャーするシーン上にパターンを投影することにより動作する「アクティブ照明デプスセンサ」と呼ばれる。２つのカメラを用いるもののような他のデプスセンサ、あるいはタイムオブフライト・デプスセンサを用いることが可能である。
【０２０６】
図２０は本発明のさらに別の実施形態に従うシステムを示している。このシステムは被写体６０１の画像化に用いられる。該システムは有色の３つの光源６０３、６０５および６０７を備える。光源の構成は、図１に関して説明したものと同じである。各光源は、異なる色で被写体６０１を照明する。特定の実施形態において、色は赤、緑および青色である。
【０２０７】
該システムは、カメラ６１１を含む。これは、ビデオカメラであって、異なる色を識別するように構成される。したがって、このカメラは、３つの光源からの照明を用いて被写体６０１の画像を得ることができ、赤色光、緑色光、青色光の個々の照明からのデータを抽出することができる。
【０２０８】
図２０のシステムは、デプスセンサを含む。特にこの実施形態において、デプスセンサはアクティブ光デプスセンサである。このアクティブ光デプスセンサは、赤外線投光器６１５を用いて近赤外スペクトルで既知のパターンをシーン上に投影する、光線符号化（Ｌｉｇｈｔ Ｃｏｄｉｎｇ）と呼ばれる方法を用いる。該システムは、被写体６０１によって変形した投影パターンを観察するための赤外線カメラ６０９を備える。この観察された変形パターンは、デプスを推論するのに用いられ、デプスマップを作成することができる。
【０２０９】
図２０の当該システムは、デプスセンサからの出力とフォトメトリックステレオとを合成する。先の実施形態のように、フォトメトリックステレオからの出力を解析するために、Ｌａｍｂｅｒｔｉａｎイメージングモデルが仮定される。
【０２１０】
ここで、方向ｌｉを持った光源と、スペクトルのリアクタンス関数ρ（λ）および単位法線
【数２８】
【０２１１】
を持つ表面を照明するスペクトル分布Ｓｉ（λ）とを所与として、スペクトル感度ｕｊ（λ）を持ったセンサによって観察される輝度ｃｊは、
【数２９】
【０２１２】
により与えられる。
【０２１３】
ここで、
【数３０】
【０２１４】
であって、αは表面のアルベドを規定し、ｖｉｊは、表面の色度、入射光線色およびセンサのスペクトル感度をあらわす。これは、単色のシーンについては、アルベドが変化してもｖｉｊがシーン全体にわたって一定であることを意味する。このアルベドの観点では、スケーリングされた法線
【数３１】
【０２１５】
がコンパクトネスに用いられ、
【数３２】
【０２１６】
は、再正規化により、これから復元することができる。
【０２１７】
前の実施形態に関して、シーンを照明する３つの光線が与えられると、生成されるＲＧＢ画像ｃ＝［ｃ０ ｃ１ ｃ２］Ｔは、
【数３３】
【０２１８】
により与えられる。
【０２１９】
ここで、ｖｊ＝［ｖ０ｊ ｖ１ｊ ｖ２ｊ］Ｔは、光線ｊに対する表面とセンサの結合応答を表わす。
【０２２０】
前の実施形態に関し、新規の入力画像が与えられると、
【数３４】
【０２２１】
により法線マップを再構成することができる。
【０２２２】
この実施形態に従う方法では、フォトメトリックの設定を較正するために、行列Ｍ＝ＶＬを発見しなければならない。この較正について、図２２のフローチャートを参照して説明する。
【０２２３】
この実施形態に従う方法では、フォトメトリックステレオに、デプスセンサからのデータを合成する。両方法を用いて収集された画像間のアライメント支援のために、レジストレーション手順が用いられる。この実施形態において、レジストレーション手順は、図２１に示すような較正被写体６２１を用いる。較正被写体６２１は、チェッカーボード６２３を含む。正方形６２５のうちのいくつかは取り除かれている。
【０２２４】
使用されるデプスカメラの種類に依存して、デプス画像およびフォトメトリック画像の位置が、そもそも合っているかもしれない。しかし、そうでない場合、２つの間でレジストレーションが行なわれなければならない。チェッカーボード６２１において、正方形のうちのいくつかは取り除かれている。暗背景を用いてチェッカーボードの画像がキャプチャーされる。この方法によって生成されたデプス画像は、切り取られた正方形の境界においてきれいなコーナーを持たないかもしれない。これは、コーナー局所化アプローチの失敗をもたらす。パターンに線をフィッティングし、コーナー位置の推定としてその交点を用いることにより、ロバストな結果を得ることができる。
【０２２５】
アライメントが完了すると、較正処理を実行することができる。ステップＳ７０１において、１つのカメラおよび３つの光源の各々を順番に用い、被写体の画像を得る。ステップＳ７０３では、デプスセンサを用いて被写体のデプスマップが取得される。このデータにより、各画素のｎを推定することが可能である。
【０２２６】
ステップＳ７０７では、（ｃ，ｎ）対を用い、ＲＡＮＳＡＣに基づいたアルゴリズムによってＭをロバストに推定する。線形系ｃ＝Ｍｎの解決によるＭの推定は上記３つの対で十分である。しかしながら、この３つの対は同じ色度を持つ表面上の点からもたらされなければならない。また、これは先天的に分からない。
【０２２７】
したがって、３点を任意に選んでＭｅを推定し、ステップＳ７０９において、他のすべての対の各対について、
【数３５】
【０２２８】
であるかを調べることにより、サポートを測定する。
【０２２９】
ここで、τはしきい値であり、ｃｆは画素値である。Ｍｅが良い推定である場合、それは、法線マップから正確に画像カラーを予測する。さらに、ＲＡＮＳＡＣ終了条件を満たすまで、（ｃ，ｎ）対の組がランダムに選ばれる。そしてステップＳ７１３において、最後のＭｅをサポートするすべての対から最小２乗アプローチを用いてＭの推定がなされる。
【０２３０】
上記のように、法線ｎはデプスカメラ測定から導出される。較正技術は単一のフレームまたはシーケンスに適用することができるが、Ｍの推定が適切になされるワイドレンジの法線方向が保証されなければならない。
【０２３１】
Ｍの推定がなされた後に、当該シーンに他の色度が存在する場合、ステップＳ７１３において、最初の推定をサポートしたすべての対を先ず全て削除して別のＭが推定されうる。これにより、存在している色は区分上一定であるという前提の下で、多色のシーンを取り扱うことが可能になる。
【０２３２】
この実施形態に従う方法を用いた再構成処理を図２３を参照して説明する。
【０２３３】
フォトメトリックステレオを使用する先の実施形態のように、ステップＳ８０１では、移動する被写体を３つの異なる色の光源で照明しながら映像データが収集される。ステップＳ８０３では、単一のカメラを用い、映像データの各フレームについて、各光線からの照明による画像データが分離される。
【０２３４】
ステップＳ８０５では、異なる色の領域にディテールがセグメント化される。このステップは、各画素におけるｎを推定するにはどのＭ行列を用いるかを決定するために行なわれる。セグメント化は、入力画像において陰にならない各画素が１つのノードを持つ、マルコフ確率場（ＭＲＦ）フレームワークで構成される。４近傍内の隣接画素に対応するノード間にはエッジが付加される。
【０２３５】
デプスセンサによるデプス画像は平滑化され、該デプス画像から各画素における法線ｎｓが計算される。入力画像は、同じ量で平滑化されて各画素には平滑化された画像値ｃｓが与えられ、行列Ｍｉを用いるためのユナリー項が、
【数３６】
【０２３６】
によって与えられる。
【０２３７】
これによって、デプス画像と同様の低周波特性を持った法線マップを生成する較正行列が選ばれるようになる。
【０２３８】
この実施形態において、ペアワイズ項にポッツモデルが用いられ、ラベルを共有する隣接の画素にはコストが割り当てられず、異なるラベルを持つ場合にコストγが割り当てられる。コストγは、Ｓｏｂｅｌフィルタリングおよび閾値化により求めた入力画像のエッジマップによって調整される。エッジ上でない画素についてはγの値は大きく、エッジ上の画素についてはγの値は小さい。ツリー再重み付けメッセージパッシングアルゴリズムを用いて、ＭＲＦに対する最大事後確率（ＭＡＰ）解が推定される。これにより、ステップＳ８０７において法線領域を作成することが可能になる。
【０２３９】
ステップＳ８０９において、デプスセンサからのデプス画像が決定される。これから３Ｄメッシュが作成される。較正被写体６２１を用いて得られた較正情報を用いることにより、このメッシュはフォトメトリックステレオ装置の座標系に変換され、フォトメトリックステレオ・カメラの視点から見たデプス画像がレイトレーシングを用いて生成される。このアプローチは、同じ解像度のデプス画像とフォトメトリックステレオ画像を合成したり、より高い解像度のカラー画像とデプス画像を合成するのに適している。
【０２４０】
ステップＳ８０９で得られたデプス画像の値が、ステップＳ８０７の法線領域から得られた画像上に投影されると、これら２つの種類の情報が合成される。
【０２４１】
まず、ステップＳ８０７で得られた法線領域の低周波バイアスは、法線領域のブラー異形がデプスマップのブラー異形から計算された法線と一致するように各法線を回転することで削除される。その後、ステップＳ８０９で生成されたデプスおよびステップＳ８０７で生成された法線の両方に表面をフィッティングさせるエネルギー関数最適化により、形状が推定される。
【０２４２】
上記の技術を例証するために、（位置合わせ済の）組み合わせカラーカメラを持つアクティブ光デプスセンサを用いて次の実験が行なわれた。同カメラは、アクティブ光デプスセンサとは独立してカラー画像を検出することができる。該アクティブ照明デプスセンサおよびカラーカメラは、デプス領域とカラー領域の両方に６４０×４８０の解像度を持つ。また、異なる色の光源の提供する３つの投光器をセンサの周囲に三角配置した。デプスカメラは近赤外線領域で動作することから、付加的な光源はこれに干渉しない。第２の高解像度カメラとして１６００×１２００の解像度を持つグラスホッパーカメラを用いた。カラーカメラを持つアクティブ照明デプスセンサから３０ｆｐｓの平均レートでデプス画像およびカラー画像をキャプチャーした。平均処理時間はシングルスレッドのＣ＋＋を用いて１フレーム当たり６秒であった。
【０２４３】
時間的なフリッカーを測定するために、静的シーンの３０回の再構成を実行し、３０フレームすべてにおいて正常に再構成された各画素の推定デプス値の標準偏差を計算した。これを３つのシーンに対して実行し、平均結果を計算した。
【０２４４】
図２４はデプス画像の空間平滑化に応じた時間的ノイズを示している。斜線部分は、標準偏差の結果の半分に等しい。フォトメトリックデータの使用により、平滑化の必要なしに時間的ノイズを低減することができる。上部の曲線は、デプスセンサからのそのままの結果を示し、下部の曲線は、デプスとフォトメトリックステレオの合成を示している。時間的ノイズ値は、各デプス画像に個々に適用されたガウスカーネルのサイズの関数として示される。空間平滑化がほとんどない場合、付加的なフォトメトリック情報は、時間的ノイズの大きさを著しく縮小する。十分な平滑化によりフリッカーは低減されるが、細かいディテールも削除されてしまう。一方、フォトメトリックデータの追加は、ノイズを低減しつつ、ディテールを向上する。時間的平滑化は使用されないことに留意されたい。
【０２４５】
上記の実験は、再構成における時間的変動のみを調べるものであり、システムの絶対精度に関する情報は与えられない。これを調べるために、既知の平面を再構成した。また、最小２乗推定を用いて、結果点集合に面をフィッティングした。この面による各再構成点の平均偏差を測定し、再構成精度のメトリックに用いた。デプス情報のみを用いる場合、最良フィッティング面への平均絶対誤差は１．６ｍｍであった。フォトメトリック情報を含めることにより、この誤差は１．２ｍｍに低減した。
【０２４６】
この結果を図２５に示す。図２５において、滑らかな線は、フォトメトリックステレオを合成したデプスからの結果を示し、他方の線は、デプスカメラからのそのままの結果を示している。フォトメトリックステレオは高周波ノイズを平滑化することができるが、低周波のゆがみは低減しない。
【０２４７】
フォトメトリックステレオの導入により動的シーンの再構成がもたらされるという質的改善を示すために、数枚のフェイスシーケンスをキャプチャーした。図２６は再構成の例を示している。図２６（ａ）は、デプスカメラのみからの結果を示し、図２６（ｂ）は、図２６（ｃ）に示される画像を用いてフォトメトリックステレオと合成したデプスカメラからの結果を示している。なお、図２６（ｃ）の画像は、複合カラーカメラからのものとした。フォトメトリックステレオの追加により、最初の再構成に見られるものよりもノイズが低減されると共に細かいディテールに分解されていることがわかる。このシーンについて、２つの較正行列が求められた。これらは、シャツをモデルするものと、皮膚をモデル化するものである。
【０２４８】
図２７において、当初の視点からレンダリングされた再構成表面を左の列に示し、新規視点からレンダリングされた再構成表面を２番目の右の列に示す。図２７のａおよびｂはデプスデータのみによる再構成、図２７のｃおよびｄはフォトメトリックデータのみによる再構成を示しており、ディテールは細かいが低周波のゆがみが出ている。図２７のｅおよびｆは、フォトメトリックステレオとデプスマップの合成による最終結果を示しており、細かいディテールと正確な包括的形状の両方が維持されている。
【０２４９】
高解像度カメラを用いてデプスカメラを増強すれば、再構成の品質が得られる。フォトメトリック再構成そのままでは図２７ｄに見られるように低周波ゆがみが引き起こされることから、デプスカメラ情報は常に重要である。
【０２５０】
上記の実施形態に従う方法およびシステムは、フォトメトリックステレオがデプスカメラ出力におけるノイズを低減することができると共に細かいディテールの解像度の獲得を可能にすることを示している。このアプローチの付加的装置要件は３つの異なる色を持った光源であり、これは控えめなものである。さらに別の実施形態は、高解像度カメラを追加するものであり、より細かいディテールの復元を可能にする。
【０２５１】
上記の方法およびシステムは、画像ベースのフォトメトリックステレオを用いてデプスカメラ出力を増強する。デプスカメラによって生成された測定結果は高周波ノイズを含んでおり、その削減にはフォトメトリックステレオが適切である。複合カラーカメラを持つアクティブ照明デプスセンサを用いる技術について示す。しかし、タイムオブフライトセンサのような種々様々のデプスセンシングデバイスが適用可能である。複合カラーカメラを用いることにより再構成の改善がみられ、より高度な解像度カメラを付加的に導入することによりさらなる改善が達成される。該方法は、再構成の質的改善ならびに時間的ノイズの量的削減を示す。
【０２５２】
上記は、アクティブ照明デプスセンサおよび複合カラーカメラ・システムによって提供されるデプスカメラの使用に主に焦点を当てるものであった。しかし、三角測量に基づくタイムオブフライト・カメラのような他種のデプスカメラを用いることができる。これは、高周波ノイズを持つ低解像度レンジ画像を生成する。上記の方法では、デプスカメラからの出力を増強するためにフォトメトリックステレオが用いられ、これにより（１）出力における高周波ノイズを低減し、（２）デプスカメラ単独の場合よりも細かいディテールを復元する。
【０２５３】
フォトメトリックステレオを選ぶ動機づけは、包括的形状（つまり低周波成分）の誤差が導入される傾向があるものの、正確な高周波データを提供するその誤差特性にある。デプスカメラからの正確な低周波情報とフォトメトリックステレオからの正確な高周波情報とを合成することにより、より正確な再構成がもたらされる。フレーム毎に形状を生成する目的において、マルチスペクトル・フォトメトリックステレオが用いられる。ここで、個別の方向からシーンを照明するための３つの異なる色の光源を用いることにより、単一画像において３つの光線方向がキャプチャーされる。これにより動的シーンのキャプチャーが可能である。
【０２５４】
異なるカメラあるいはセンサによってキャプチャーされた画像データの位置合わせに用いることが可能な較正ボードを図２１に示した。上記新規な較正ボードは上述の特定の実施形態に制限されず、２つの異なるカメラあるいはセンサによってキャプチャーされた画像の位置合わせが要求される任意のシステムに用いることができる。図２１の較正ボードでは、２Ｄパターン（つまりチェッカーボード正方形の角）において勾配線にはいずれも切れ目があり、いくつかの正方形の除去により３Ｄレリーフにおける点には切れ目がある。２Ｄ画像の勾配線における切れ目および３Ｄ画像における切れ目の両方に共通の点がある。共通点（あるいはこれに代わる点）に加え、正方形それ自体または正方形をなす境界線の少なくとも１つをアライメントに用いることができる。
【０２５５】
さらに、この種の較正ボードを変形することも可能である。図２８に、いくつかの可能な変形を示す。図２８（ａ）のように、シェイプ９０３を較正ボード９０１から切り抜く。この較正ボード９０１は第１の色を持っており、削除されるシェイプ９０３はカラーおよびレリーフにおける変化を与える。一実施形態では、シェイプ９０３の境界は２Ｄ画像および３Ｄレリーフにおける共通の特徴としてアライメントに用いられる。シェイプ９０３の境界の一部のみを用いてもよい。
【０２５６】
シェイプ９０３には、２Ｄ画像内の点９０５および９０７によって形成される２つの切れ目がある。これらの２点は、２Ｄ画像の勾配線および３Ｄ画像における切れ目を表わすことから共通点をなしており、２Ｄ画像データおよび３Ｄ画像データの両方において容易に認識することができる。さらに別の実施形態では、シェイプ９０３の境界線。
【０２５７】
図２８（ｂ）は、図２１のチェッカーボード配列の更なる変形を示す。較正ボード９１１からシェイプ９１３が取り除かれている。このシェイプ９１３は開口するように較正ボード９１１のコーナーから切り取られている。この場合においても、端点９１５および９１７の２点、すなわち２Ｄパターンに境界を定める勾配線による切れ目が形成される。
【０２５８】
重ねて、先のとおり、共通点９１５および９１７をアライメントに用いることができる。すなわち、シェイプ９１３の境界を成す１以上の線をアライメントに用いることができる。さらに別の実施形態では、コーナー９１９がボード９１１からカットされる。このコーナーの境界線は、当該ボード上の２Ｄ画像における切れ目ならびに該ボードの３Ｄレリーフにおける切れ目を表わすことから、共通の特徴としてアライメントに用いられる。
【０２５９】
更なる変形を図２８（ｃ）に示す。同図は、較正ボード９２１から切り抜かれた２つの正方形９２３および９２５を示している。正方形９２３（および９２５）のコーナー９２７のそれぞれは端点を与える。これらは、３Ｄレリーフおよびボードの２Ｄ画像を構成する勾配線の両方における不連続点であって、所要の共通点を与える。シェイプ９２３および９２５のそれら自体をアライメントに用いることができ、コーナー９２７は２Ｄパターンと３Ｄレリーフの間に共通の特徴を与える。
【０２６０】
更なる変形を図２８（ｄ）に示す。ボード９３１はカットアウト円９３３を持っている。この円形のシェイプ９３３の境界を共通の特徴として用いることができる。あるいは円９３３によって規定される中心９３５を共通の特徴として用いてもよい。一実施形態では、円９３３の境界は２Ｄ画像において用いられ、円９３５の中心は２つのセンサを位置合わせするために３Ｄ画像において用いられる。
【０２６１】
シェイプはさらに変形することができる。例えば、楕円９３７あるいは楕円の切片をアライメントに用いることが可能であり、また、楕円または楕円の切片の焦点９３９をアライメント用の共通点あるいは対応点のいずれかに用いることも可能である。
【０２６２】
上述した種々の較正ボードは、例えば画像符号化デプスセンサのようなデプスセンサを用いるシステムや、標準的なカメラを備えたタイムオブフライトセンサのように、あらゆるシステムの位置合わせに用いることができる。上記標準のカメラは、フォトメトリックステレオ測定用に構成する必要はない。
【０２６３】
図２８に示した例は、較正ボードから単にパターンをカットするものである。しかしながら、較正ボードからパターンを凹ませたり、突出させたり、パターンのある部分が較正ボードから突出し、他の部分が較正ボードから引っ込むように較正ボードに対してある角度に曲げてパターンを配置するなど、より複雑なアレンジが可能である。
【０２６４】
いくつかの実施形態を説明したが、これらの実施形態は例示のみを目的としており、発明の範囲を制限することは意図していない。実際には、本明細書で説明した新規の方法およびシステムは他の様々な形で具体化することができ、また発明の要旨から逸脱しない範囲で、本明細書で説明した方法およびシステムの構造における様々な省略、置換、および変更を行ってもよい。添付の特許請求の範囲およびその均等物は、発明の範囲および要旨に含まれうる構造あるいは改良に及ぶことが意図される。
【関連出願】
【０００１】
この出願は、２０１１年５月９日に提出された英国特許出願第１１０７７１６．１号の優先権を主張するものであり、その全内容は、参照によってここに組込まれる。
【技術分野】
【０００２】
本発明の実施形態は、一般に、３Ｄ画像データをキャプチャーするための方法およびシステムに関する。
【背景技術】
【０００３】
変形表面のキャプチャーは、グラフィックス、医用画像、展開構造の解析といった様々な応用を目的としてますます重要になっている。空間領域および時間領域の双方で高解像度形状を得る実用的な方法が必要である。
【図面の簡単な説明】
【０００４】
ここで、以下の実施形態を参照しながら本発明を説明する。
【図１】図１は、本発明の実施形態で用いられるシステムである。
【図２】図２は、図１のシステムで用いられる解析ユニットの図である。
【図３】図３は、本発明の実施形態で用いられる較正方法のフローチャートである。
【図４】図４は、本発明の実施形態で用いられる再構成方法のフローチャートである。
【図５】図５（ａ）乃至（ｆ）は、図３に関して説明される較正手順を用いて得られた画像である。
【図６】図６（ａ）は図４に関して説明された方法を用いて得られた法線マップ、図６（ｂ）は色度を変えない方法を用いて得られた法線マップ、図６（ｃ）は図６（ａ）と図６（ｂ）との間の差を示す図である。
【図７】図７（ａ）乃至（ｆ）は、図３および図４に関して述べられた方法を用いた多色シーム（ｓｅｅｍ）の再構成を示す。
【図８】図８は、図３および図４に関して述べられた方法を用いたシーンの再構成を示す。
【図９】図９（ａ）は、図４の方法を用いて法線誤差に適用されたノイズの効果、図９（ｂ）は、デプス誤差に適用されたノイズの効果である。
【図１０】図１０（ａ）乃至（ｊ）は、既知のレンダリング画像の定量分析を示す。
【図１１】図１１（ａ）は再構成する画像であり、図１１（ｂ）乃至（ｅ）は、図１１（ａ）の画像の再構成を示す。
【図１２】図１２（ａ）は２色の入力画像、図１２（ｂ）は入力画像の法線マップ、図１２（ｃ）は様々な仮セグメンテーション、図１２（ｄ）は図１２（ｃ）の仮セグメンテーションの結果画像を示す。
【図１３】図１３は、本発明のさらに別の実施形態で用いられる再構成方法を示すフローチャートである。
【図１４】図１４は、本発明のさらに別の実施形態で用いられる較正方法を示すフローチャートである。
【図１５】図１５は、図１４の較正方法を実現するアルゴリズムを示すフローチャートである。
【図１６】図１６は、様々な再構成画像の色度の変化とセグメント化の問題を示す図である。
【図１７】図１７は、入力画像および本発明の実施形態の方法を用いた入力画像の再構成を示す。
【図１８】図１８は、既知のレンダリング画像の定量分析の画像を示す。
【図１９】図１９は、負対数尤度のプロットおよび色度に対するＢＩＣ値の結果を示す。
【図２０】図２０は、本発明のさらに別の実施形態で用いられるシステムを示す。
【図２１】図２１は、本発明の実施形態に係る較正方法で使用される較正ボードを示す。
【図２２】図２２は、本発明のさらに別の実施形態で用いられる較正方法を示すフローチャートである。
【図２３】図２３は、本発明のさらに別の実施形態で用いられる再構成方法を示すフローチャートである。
【図２４】図２４は、デプス画像における空間平滑化に応じた時間的ノイズのプロットである。
【図２５】図２５は、本発明の実施形態に係る方法を用いて再構成された面のスライスを示すプロットである。
【図２６】図２６は、本発明の実施形態で用いられる再構成処理によって生成された画像を示す。
【図２７】図２７は、デプスセンサからの出力、フォトメトリックステレオからの出力、および合成出力を用いる再構成サービスの画像を示す。
【図２８】図２８（ａ）乃至（ｄ）は、本発明の実施形態で用いられる較正ボードの概略図を示す。
【発明を実施するための形態】
【０００５】
一実施形態によれば、シーンの３Ｄ画像データをキャプチャーするシステムは、
各々が互いに異なる波長の光を照射し、キャプチャーすべきシーンを照明するよう構成された三つの光源と、
前記シーンから反射された前記光源からの光を受光するよう構成され、各光源から受光された光を分離し、前記三つの光源ごとにキャプチャーされた前記画像に関するデータを出力する第一ビデオカメラと、
前記シーンの第一デプスマップをキャプチャーするよう構成されたデプスセンサと；
前記第一ビデオカメラからデータを受信し、該データを処理して前記三つの光源ごとにキャプチャーされた前記画像より得られた法線領域に関するデータを取得し、前記法線領域に関する前記データを前記第一デプスマップのデータと合成することにより、前記シーンの３Ｄ画像データをキャプチャーする解析ユニットとを備える。
【０００６】
また一実施形態によれば、法線領域に関するデータは、ピクセルごとに視認されるシーン内の固形オブジェクトの表面に鉛直なベクトルの方向である。これらは第一ビデオカメラによるフォトメトリックステレオ測定によって決定される予測法線方向である。また別の実施形態によれば、法線領域に関するデータは、法線領域から第二深度マップを減じた統合法線領域である。
【０００７】
三つの光源と記載したが、三つよりも多くの光源を用いてもよい。
【０００８】
デプスセンサは多様な形態をとることができる。代表的なものとしては、第一ビデオカメラと三つの光源とを組み合わせることにより生成される周波数解像度よりも、２Ｄフーリエ空間においてもっと低い周波数解像度を有するデプスマップを生成するデプスセンサがある。第一ビデオカメラを三つの光源と組み合わせて協働させることで、いわゆるフォトメトリックステレオ法を用いた法線領域を生成する。このような方法により、２Ｄフーリエ空間において十分高い周波数解像度を有する画像が生成される。言い換えれば、この組み合わせによって、撮像中のシーンのディテールを豊富に含んだデプスマップに変換できる法線領域が生成される。また別の実施形態によれば、フォトメトリックステレオ法で生成される周波数解像度よりも、もっと低い２Ｄフーリエ空間における周波数解像度を有するデプスマップを生成するデプスセンサが用いられる。
【０００９】
また一実施形態によれば、前記デプスセンサは前記第一ビデオカメラと、第二ビデオカメラと、相関ユニットとを備え、前記第二ビデオカメラは前記第一ビデオカメラから空間的に分離されており、前記相関ユニットは前記第一および第二ビデオカメラから受信した前記データを相互に関連させることにより前記シーンのデプスマップを生成するよう構成されている。このタイプのデプスセンサは二視野のステレオデプスセンサである。別の実施形態によれば、パターンを該シーンに投影するよう構成されたプロジェクタと、前記シーンに投影された該パターンの画像をキャプチャーするよう構成されたカメラとを備えた画像符号化式デプスセンサが用いられ、該解析ユニットは第二デプスマップを生成するよう構成されている。さらに別の実施形態によれば、デプスセンサはタイムオブフライトセンサである。
【００１０】
さらに別の実施形態によれば、動的シーンの３Ｄ画像データを生成する方法であって、この方法は
三つの異なる方向から照射された前記シーンの該第一カメラによりキャプチャーされた映像データを含むフォトメトリック画像データであって、照明方向ごとにキャプチャーされた前記画像データに分離可能であるフォトメトリック画像データを第一ビデオカメラから受信する工程と、
デプスセンサから前記シーンの第一デプスマップのデータを示すデータを受信する工程と、
前記第一ビデオカメラから受信したデータを解析して、法線領域に関するデータを供給する工程とを備え、さらに前記方法は前記法線領域に関する前記データと前記第一デプスマップに関する前記データとを合成して前記シーンの前記３Ｄ画像データを生成する工程を備える。
【００１１】
また一実施形態によれば、画像となる前記シーンがＬａｍｂｅｒｔｉａｎ撮像モデルに従って光を反射することを想定して、前記第一ビデオカメラからの前記データが解析され、
【数１】
【００１２】
ここでｃ０，ｃ１，ｃ２をそれぞれ前記三つの方向から前記シーンを照明してキャプチャーした画像内のある画素について測定した輝度とするとき、ｃ＝［ｃ０ ｃ１ ｃ２］Ｔが成立し、ｎは前記画素の表面に対する法線を表すベクトル、Ｖは前記表面および前記カメラの照明に対する結合応答を表す行列、Ｌは前記三つの照明光の方向を決める行列である。前記三つの異なる方向の照明は異なる色の光であってもよい。一実施形態によれば、これらの光は赤、緑、青である。赤、緑、青の光を識別可能なフィルターシステムを第一ビデオカメラに設けてもよい。これにより、三つの照明方向からのデータをリアルタイムでキャプチャー可能となり、そのデータを分離することで各照明方向からのデータを別々に解析できる。
【００１３】
また一実施形態によれば、較正工程をさらに備え、Ｍ＝ＶＬの場合、該較正工程がＭを決定するよう構成されている。しかし、さらに別の実施形態によれば、ＶおよびＬは別々に決定される。行列Ｌは、システムやシーンの変化とは独立して決定できる。しかし、通常では行列Ｖはシーンごとに決定される。行列Ｖが一度決定されれば、シーン途中で再計算する必要はない。
【００１４】
一実施形態によれば、画素ごとにＶが決定される。さらに別の実施形態によれば、Ｎが１以上一シーン内の画素数未満の整数である場合、行列ＶがＮ個となるよう較正中に複数の行列Ｖがシーンごとに決定される。さらに別の実施形態においては、前記行列ＶａΕ１，．．．．．．．，ＮがＲＡＮＳＡＣアルゴリズムを用いて決定される。Ｎ個の色度はユーザによって決定されてもよい。また一実施形態によれば、システム自体が自動的にＮを決定しても良い。例えば、モデル選択法に基づいてＮを決定してもよい。適切なモデル選択法の例として、ベイズ情報量基準、赤池情報量基準、最小記述長基準がある。
【００１５】
行列Ｖは異なる方法で決めることができる。一実施形態によれば、前記第一ビデオカメラから受信された前記データは、前記三つの照明方向それぞれについて二つの異なる照射条件からなる六つの異なる条件下で照明された前記シーンの画像データを含み、前記六つの異なる条件下での前記データを解析することにより、画素ごとに前記行列Ｖが決定される。さらに別の実施形態によれば、前記三つの異なる照明方向からの前記データを解析し、かつ前記デプスセンサからのデータより前記表面法線を計算することによって、画素ごとに前記行列Ｖが決定される。
【００１６】
さらに別の実施形態によれば、前記解析工程が、該第一ビデオカメラおよび該デプスセンサからフレーム単位でデータ受信する工程と、前記観察されたシーンを一定の色度の領域にセグメント化する工程とを備え、一定の色度の領域のそれぞれに前記行列Ｖからなる行列が指定される。該セグメント化工程はマルコフ確率場ネットワークを用いて行われる。
【００１７】
また一実施形態によれば、前記第二デプスマップに関する前記データを前記第一デプスマップのデータと合成して前記シーンの３Ｄ画像データを生成する工程は、前記第二マップに関する前記データをノイズレベルでブラー処理する工程と、ブラーに起因する前記第二デプスマップの前記法線の回転を計算する工程と、該回転を前記第二デプスマップと同一のノイズレベルでブラー処理された前記第一デプスマップの前記法線に適用する工程とを含む。
【００１８】
さらに別の実施形態によれば、前記方法は、
それぞれが互いに異なる波長の光を照射するよう構成された三つの光源により、キャプチャーすべき前記シーンを照明することで前記フォトメトリック画像データをキャプチャーする工程と、
前記シーンから反射された前記光源からの光を受光するよう構成された第一ビデオカメラを用いて前記シーンの画像をキャプチャーし、前記光源ごとに前記シーンから反射された前記光を分離する工程とをさらに備える。
【００１９】
前記第二デプスマップに関する前記データを前記第一デプスマップのデータに位置合わせするための較正データを取得する工程を含む較正工程を追加で設けてもよく、該較正データを取得する工程は、既知の３次元レリーフを有する既知のパターンを有する較正ボードの画像データをキャプチャーする工程を備える。
【００２０】
各実施形態において、較正ボードは少なくとも一つの特徴があり、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンおよび該ボードの３Ｄレリーフの双方における切れ目を規定する行、点、または形から選ばれる。
【００２１】
また一実施形態によれば、その特徴が共通特徴となるよう、３Ｄレリーフにおける切れ目は２Ｄパターンにおける切れ目と同じ位置に存在する。さらに別の実施形態によれば、２Ｄパターンにおいて切れ目あるいは境界によって規定される特徴が、３Ｄレリーフにおける特徴の位置を規定する、もしくはその位置によって規定される場合、その特徴は互いに対応する特徴である。例えば、３Ｄレリーフにおいてにおける特徴は円であり、２Ｄパターンにおける特徴がその円の中心であってよく、その反対であってもよい。ある実施形態において、互いに対応する特徴とは、形状とその形状の中心であり、もしくは焦点とその焦点に対応する楕円、円弧、または円である。
【００２２】
二つのセンサのうち少なくとも一つのセンサがデータをキャプチャーして３Ｄ画像を生成するために用いられる場合、二つのセンサからの画像データを合成する必要があるときは、いつでもこのような較正ボードを用いることができる。
【００２３】
このように、二つの異なるセンサからの画像を合成する必要がある場合、このボードはどのような種類のシステムとも併用でき、上述した装置に限られることはない。該較正ボードは少なくとも一つの特徴を有し、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンと該ボードの３Ｄレリーフとの双方における切れ目を規定する線、点、または形状より選択される。
【００２４】
各実施形態において、少なくとも一つの共通特徴を備えた較正ボードが提供され、該共通特徴は、該較正ボード上に形成された２Ｄパターンおよび該ボードの３Ｄレリーフの双方における切れ目に対応する線、点、または形状より選択される。
【００２５】
また一実施形態によれば、該共通特徴は複数の共通点を備え、２Ｄ画像内の線の勾配における切れ目と、較正ボードのレリーフにおける点として切れ目との双方が存在する場合に該共通点が設けられる。
【００２６】
また一実施形態によれば、前記点は線の角部に配され、該線は２Ｄ画像内の線であり、較正ボードのレリーフにおける切れ目を規定している。該線は閉じた形状の一部であればよく、該閉じた形状は該較正ボードから凹んでいるか突出している。実施形態によっては、較正ボードの一部が凹み、他の部分が突出するよう、前記閉じた形状が較正ボードに対して変化するような外郭を有していてもよい。また、ボードの２Ｄ画像とボードの３Ｄレリーフとにおいて識別可能な少なくとも一つのコーナーが形成される場合、前記形状は多角形であってもよく、曲線的な辺を持っていてもよい。
【００２７】
さらに別の実施形態によれば、勾配の切れ目は閉じた形状の一部を構成しない線上に形成され、たとえば、その線は較正ボードの辺まで伸びているか、あるいは何か別の方法によって開いている。
【００２８】
さらに別の実施形態によれば、ボード内に開口が設けられ、較正ボードの該開口の境界が、較正ボードの平面内の線に沿って測定された線の勾配において切れ目のある線を有するよう、該角部を含む形状がボードから切り取られ、
さらに別の実施形態によれば、共通特徴はボードの３Ｄレリーフにおけるエッジを構成する線である。これら線はボードの角部を削ることによって簡単に形成される。
【００２９】
また一実施形態によれば、較正ボードは、正方形がいくつか除外された市松模様のパターンを有する。較正ボードは２Ｄパターンを含み、該パターンは二色以上で構成される。
【００３０】
さらに別の実施形態によれば、そのパターンは二レベル以上のレリーフおよびマップを有し、較正ボード上に段状のレリーフパターンを配する。
【００３１】
さらに別の実施形態によれば、二つのセンサを用いてキャプチャーされた画像データを位置合わせする方法が提供され、前記センサの少なくとも一つは３Ｄ画像データに関するデータをキャプチャーし、前記方法は、
少なくとも一つの特徴を有する較正ボードを設ける工程であって、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンと該ボードの３Ｄレリーフとの双方における切れ目を規定する線、点、または形状のうち一つから選択される工程と、
前記第一および第二センサからの前記画像データ内に、該少なくとも一つの特徴を配置する工程とを備える。
【００３２】
さらに別の実施形態として、三つ以上のセンサが設けられる。
【００３３】
またさらに別の実施形態によれば、一方のセンサはデプスセンサである。例えば、タイムオブフライトセンサ、あるいはパターンを該シーンに投影するよう構成されたプロジェクタと、前記シーンに投影された該パターンの画像をキャプチャーするよう構成されたカメラとを備えるデプスセンサである。他方のセンサは通常のカメラでよく、ビデオカメラでもスチルカメラでもよい。
【００３４】
本発明の実施形態はハードウェアあるいは汎用コンピュータのソフトウェアとして実装できる。さらに本発明の実施形態はハードウェアとソフトウェアの組合せとして実装できる。また本発明の実施形態は、単一の処理装置としても、あるいは分散ネットワーク処理装置としても実装できる。
【００３５】
本発明の実施形態はソフトウェとして実装できるため、本発明の実施形態は、適当なキャリア媒体を介して汎用コンピュータに提供されるコンピュータコードを含むものである。キャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気装置、あるいはプログラム可能なメモリ装置などの記憶媒体、例えば電気信号、光学信号、マイクロ波信号といった信号などの過渡媒体を含むものである。
【００３６】
図１は本発明の一実施形態を被写体１を撮像するのに使用したシステムの概略である。被写体は３つの異なる光源３，５，７によって照明される。この実施形態では、これら三つの光源がそれぞれ異なる三色の光を発することができる。ここでは、赤、緑、青の色を、これら三色を識別できるビデオカメラを得ることができるので、選択することとする。しかしながら、ビデオカメラで識別できる色を発光できるものであれば、どのような色を発光する光源であってもよい。また、可視光外の放射光源も使用することができる。色の正確な濃淡または発光の周波数はビデオカメラに依る。一実施形態では、光源は複数のプロジェクタであり、場面（シーン）がそれぞれのプロジェクタからのそれぞれの発光色で照明されるよう複数のフィルターを設ける。また、さらに別の実施形態では、被写体を照明するのにＬＥＤが用いられる。
【００３７】
一実施形態において、光源光は、カメラ内のセンサによりキャプチャーされた周波数に、それぞれのセンサが０から２５５の範囲の色をキャプチャーされるように調整される。この範囲より外の色が決定されると、サチュレーションが起こることがあり、その場合、生成される３−Ｄ画像に誤差が生じる。
【００３８】
この実施形態において、背景の光がデータに影響するのを最小にするために、システムは屋内屋外においても暗部に設置される。三つの光源３，５，７は被写体１の周りに横方向に配置され、フロア位置から被写体１の高さまでの間の数段階に縦方向に置かれる。ある実施形態においては、光源３，５，７は三角形に配置される。一配置例では、三角形配置された光源は隣り合う光源の間隔が１から３メートルであり、他の配置例では、隣り合う光源の間隔が１．５メートルから２．５メートルである。光源は被写体１に向けられている。
【００３９】
三光源３，５，７の角度は、被写体１を中心にその回転面においておよそ３０度の間隔で設けられる。角度間隔が大きいほど方向に依存する色はよりはっきりと変化する。光源が離れすぎていると、被写体１のへこんだ形の部分の識別が難しくなる。これは、そのような部分でつくられる影は被写体のさらに大きな部分に拡大され、データの解析をさらに難しくするからである。好ましくは、被写体１の各部分が三つのすべての光源３，５，７で照明される。
【００４０】
第二光源５の縦方向下に位置するカメラ９は、三つの光源３，５，７で照明されながら、移動する被写体１を記録するために用いられる。光源が三角に配置される実施形態においては、カメラ９はその三角形の面の内部に設置されてもよい。
【００４１】
カメラ９は異なった色の複数の画像を分離することができる。これは、カメラ内のフィルター機構によりなされる。こうして、カメラ９は三つのすべての光源からの照明を利用して被写体１の画像をキャプチャーすることができ、それぞれの光源からの反射光を順次識別することができる。したがって、赤、緑、青の光源からのそれぞれの反射光を用いて画像を生成することができる。
【００４２】
一実施形態において、第一ビデオカメラは生画像データを出力する。例えばＭＰＥＧのようなデータ圧縮機構は使用されない。画像データの圧縮により、再構成された３Ｄ画像に影響が現れる可能性がある。
【００４３】
図１の配置には第二カメラ１１も含まれている。第一カメラ９は、フォトメトリックステレオデータを収集するために使われる。第一および第二カメラは二視点ステレオデータを収集するために一緒に使用される。光源が三角形に配置されている場合、第一カメラ９と第二カメラ１１はともに三角形内部に設けられる。ある配置例においては、その二台のカメラの間隔は０．２５から１メートルであり、さらに別の配置例においては、その二台のカメラの間隔はおよそ０．５メートルである。
【００４４】
二視点ステレオデータを収集する場合、カメラ９と１１はそれぞれの光源３，５，７から受け取った光を識別しようとはしない。二台のカメラを使用した３−Ｄ画像のキャプチャーは、一般に二視点ステレオと呼ばれ、よく知られているので、これ以上の説明は割愛する。
【００４５】
カメラ９と１１でキャプチャーされたデータは解析部１３に供給される。解析部１３は、三光源３，５，７に接続されている。解析部１３は第一および第二カメラ９および１１から受け取ったデータの相関をとる相関部の機能を果たす。
【００４６】
図２はシステム解析部の可能な基本構造を示す。解析部１３は、プログラム２５を実行する処理部２３を有する。解析部１３は、さらに記憶装置２７を有する。記憶装置２７は、図１の二つのカメラ９、１１から受け取ったデータを解析し、光源３，５，７の照明を制御するためのプログラム２５で用いられるデータを記憶する。解析部１３はさらに入力モジュール１１と出力モジュール３３を有する。入力モジュール３１はカメラ入力部３５に接続されている。カメラ入力部３５は二つのカメラ９、１１からのデータを受け取る。カメラ入力部３５はカメラから単に直接データを受け取ってもよいし、または、外部記憶媒体またはネットワークからデータを受け取ってもよい。
【００４７】
出力モジュール３３にはディスプレイ３７が接続されている。ディスプレイ３７はカメラ入力部３５から受け取ったカメラデータからキャプチャーされた３Ｄ画像を表示する。ディスプレイ２７の代わりに、出力モジュール３３がファイルまたはインターネット等を介して出力を行ってもよい。
【００４８】
使用時において、解析部１３はカメラ入力部３３を介してカメラデータを受け取る。処理部２３で実行されるプログラム２５は、３Ｄ画像データを生成するために記憶装置２７に記憶されたデータを使ってカメラデータを解析する。そのデータは出力モジュール３３を介してディスプレイ３７に出力される。
【００４９】
最初に、図３のフローチャートを参照して較正方法を説明する。ステップＳ１０１において、一つのカメラと三光源のそれぞれを順次使って、較正被写体の複数の位置について較正ボードの画像を撮影する。
【００５０】
この方法は、（較正および再構成ともに）Ｌａｍｂｅｒｔｉａｎ反射率モデルを前提としている。図１を参照し、スペクトル反射率関数ρ（λ）および単位法線
【数２】
【００５１】
を持つ平面１を、１ｉ方向およびスペクトル分布Ｓｉ（λ）を持つ光源３により照明するとき、スペクトル感度ｕｊ（λ）を持つセンサ９により観測される輝度ｃｊは次の式で求められる。
【数３】
【００５２】
ここで、
【数４】
【００５３】
であり、ｉｊは、表面の色度、入射光色およびセンサのスペクトル感度を表し、αは表面のアルベド反射率を規定する。
【００５４】
これは、モノクロシーンにおいて、表面のアルベドが変化しようとも、υｉｊはシーン全体にわたって一定であることを意味する。３Ｄ画像をキャプチャーするには、関与の如何を問わず、面法線の方向と大きさを導き出すことが重要である。したがって、スケーリングされたアルベド反射率法線
【数５】
【００５５】
は、コンパクトネスに用いられ、これから
【数６】
【００５６】
を再正規化により復元することができる。
【００５７】
図１の三光源３，５，７がシーンを照明すると仮定すると、その結果得られるＲＧＢ画像ｃ＝［ｃ０ ｃ１ ｃ２］Ｔは次式で求められる。
【数７】
【００５８】
ここで、ｖｊ＝［υ０ｊ υ１ｊ υ２ｊ］Ｔであり、光線ｊに対する平面１とセンサ９の結合応答を表す。
【００５９】
新しい入力画像を所与とし、ＬとＶがいずれも可逆であることを条件として、法線マップは、
【数８】
【００６０】
を用いて再構成することができる。
【００６１】
使用される三光源３，５，７が一つの直線上にない場合、Ｌは可逆である。理論的には、カメラ内の各センサ９は光源３，５，７の一つに応答するのみである。Ｖは対角であって、ゆえに可逆である。しかし実際には、スペクトル分布が重なると、センサと光源において異なったチャネル間でクロストークが起こる。
【００６２】
赤、緑、青の光を使った結果は、先頭対角に沿って大きな値をもち、クロストークによりその他の領域では小さな値をもつＶ行列となる。このため、Ｖは可逆に適する。Ｖは異なる色度の面ごとに変化するが、フォトメトリックシステムの較正はＬとＶの推定に換算することができる。
【００６３】
ステップＳ１０３においてＬを推定するには、ステップＳ１０１でのキャプチャーのように、順次点灯された各々の光源により任意のいくつかの方向で撮像された較正ボードからのデータを使用する。そのとき、（既知の）ボードの法線が使われる。
【００６４】
これにより、各列のスケーリングファクタに従ってＬを推定できる（ｃ，ｎ）対の集合が得られる。ここで、Ｌは方向を定めるのみであるので、このスケーリングファクタは無視できる。この段階では、アルゴリズムの多視点ステレオ部分を較正し、カメラの相対位置も計算できる。
【００６５】
Ｖの推定は、シーンの材料特性に依存し、異なる色度の平面ごとに変わるので、さらに複雑な問題となる。図５はＶの較正に使われる６つの画像Ｉｗ１，Ｉｗ２，Ｉｗ３，Ｉｃ１，Ｉｃ２，Ｉｃ３を示す。これらの画像はステップＳ１０５でキャプチャーされる。
【００６６】
ここで、シーンの形状は６画像のそれぞれで不変とする。各々の光源は順次、まず白色光そして画像キャプチャーに使われる色に点灯される。
【００６７】
すでに算出された照明方向と組み合わされた白色照明のもとでの３画像Ｉｗ１，Ｉｗ２，Ｉｗ３によれば、標準フォトメトリックステレオにより、各画素がｎの値を持つ法線マップを作成することができる。
【００６８】
このマップは、閾値処理によって検出される、入力画像において陰になったり、正反射を呈するもの以外のすべての画素における推定を含む。
【００６９】
次の３画像Ｉｃ１；Ｉｃ２；Ｉｃ３のそれぞれにより、Ｖ行列の一つの列の推定が各画素でなされる。たとえば、Ｉｃ１を使って、第一光源のみオンの場合、式（２）は以下のように換算することができる。
【数９】
【００７０】
ｃ、ｎおよびｌ０は既知であるので、ｖ０のすべての要素を算出することができる。
【００７１】
上記の実施形態ではステップＳ１０７においてＶが各画素において推定される。これにより、マルチスペクトル・フォトメトリックステレオは多色シーンに拡張される。
【００７２】
較正画像において各画素の夫々の較正行列が推定されると、較正シーンにおけるＮ個の支配的な色を最良に表現するＮ個の較正行列が決定される。
【００７３】
一実施形態において、これはステップＳ１０９においてＲＡＮＳＡＣに基づくアプローチを用いてなされる。ここでは、算出された行列から任意に一つが仮定として選ばれる。そして、較正シーンにおけるそれをサポートする行列の数を調べる。仮定に対するサポートを測定するために、最大照明での画像がＩｆ＝Ｉｃ１＋Ｉｃ２＋Ｉｃ３に基づいて合成される。
【００７４】
したがって、式（２）から、既算の法線マップと照明方向ｎ、Ｌにそって仮定された行列Ｖｐを用いて同じ画面が生成される。数学的に、二つの合成された画像が十分近似であるなら、以下の式が満たされる場合、画素は仮定の行列Ｖｐをサポートする。
【数１０】
【００７５】
ここで、τは閾値であり、ｃｆはＩｆからの画素値である。
【００７６】
これが、各回で最大のサポートを持つ仮定を維持しながら一定の回数繰り返される。そして、最終的な較正行列は、最終仮定をサポートするすべての画素についてＶの平均をとることで発見される。最初の較正行列が選ばれると、それをサポートするすべての画素は取り除かれ、この処理がシーンにおいて次に支配的な色度が見つかるまで繰り返される。そして、Ｎ個の較正行列が復元されるまで、これは繰り返される。ここでＮは入力として与えられる。
【００７７】
３Ｄ画像の再構成を図４を参照して説明する。
【００７８】
あるシーンの画像は、ステップＳ２０１において異なる三色の光源でそのシーンを照明しながら、時間の経過だけシーンのビデオデータを得ることで再構成できる。このデータは較正について説明したのと同様に処理され、そして、ビデオデータの各フレーム毎に、それぞれのカメラからの照明によるデータは決定される。このようにして、各画素ごとにＣが得られる。
【００７９】
次にステップＳ２０５において、画像は、各画素でどの較正行列を使うか決定するためにセグメント化される。この実施形態では、下記のユナリー項およびペアワイズ項を持つマルコフ確率場（ＭＲＦ）フレームワークにおいてセグメント化は設定される。入力画像で影にならないノードが画素ごとに存在する。そして、エッジが４つ以内の近隣画素によるノードの間に加えられる。
【００８０】
ステレオ再構成からのデプスマップは平滑化され、各画素の法線ｎｓはそれから算出される。入力画面は各画素で平滑化画像値ｃｓを与えるのと同じ量だけ平滑化される。そして、行列Ｖｉを使うユナリー項は以下の式で与えられる。
【数１１】
【００８１】
これにより、復元されたステレオ領域と同様の低周波特性を有する法線マップを生成する較正行列が選ばれるようになる。
【００８２】
一実施形態において、ペアワイズ項のためにポッツモデルが用いられる。ここでは、同一ラベルを共用する近隣画素にはコストはかけられないが、異なるラベルを持つ場合はコストγが発生する。コストγはｓｏｂｅｌフィルターとしきい値処理により見つかった入力画像のエッジマップにより調整される。エッジ上にない画素には、γは大きく、エッジ上の画素には、γは小さい。
【００８３】
一実施形態において、ＭＲＦに対する最大事後（ＭＡＰ）解がツリー再重み付けメッセージパッシングアルゴリズムを使用して推定され、指定されたラベルに基づいて再構成がなされる。二つの領域の境界では画素混合が起こる場合があり、セグメント化における僅かな誤差によりアーチファクトが生じる可能性がある。これを少なくとも部分的には緩和するために、領域境界の一方の側のバンド画素において、境界に対し垂直に法線を補間する。
【００８４】
上記手順に基づく方法は、ステップＳ２０７において法線領域を生成し、非常に正確な高周波数情報をもたらすが、それは面を形成するために統合されなければならないために、僅かな較正誤差や想定モデルからのシーンのずれが大きな低周波誤差につながることがある。
【００８５】
より正確な低周波測定を提供するために、ステップＳ２０９において、各フレームで粗い形状を再構成するカメラ９、１１からのデータを用いた二視点ステレオシステムがこの実施形態に基づいた方法では使われる。任意の多視ステレオアルゴリズムがこの段階では使用できる。一実施形態に基づく方法では、後にフォトメトリックステレオによって復元される理由から、細かいディテールを復元する試みでなく、頑強性を規定するアルゴリズムを選択する。一例では７ｘ７ウインドウに合致する差分の二乗和（ＳＳＤ）が使われた。正規化相互相関（ＮＣＣ）を使うこともできる。
【００８６】
ステップ２０９においてステレオデプスが推定されると、ステップ２０７において得られた法線領域の高周波ディテールとステップ２０９のデプスマップの低周波情報がステップＳ２１１において組み合わされる。
【００８７】
法線領域から低周波バイアスを取り除くため、平滑化されたバージョンが、ガウス分散σ２で法線マップをブラー処理し、再正規化することにより作成される。この平滑化バージョンからのそれぞれの法線と元の法線領域の間の回転が記録され、そして画素ごとに、同じ量で平滑化されたステレオデプスマップのバージョンから算出された法線領域に適用される。
【００８８】
分散σ２を変化させることで、法線領域からの情報がステレオデプスマップからの情報により置き換えられる低いカットオフ周波数が変更される。一実施形態において、法線領域からの面を得るためにエネルギー最小化アプローチが用いられる。これにより、変更された法線マップにより高周波数ディテールを規定しつつ、全体の形がデプスマップと整合すること保証する。
【００８９】
上記技術を説明するために、上記技術で構成された法線マップを図６（ａ）に示す。図６（ｂ）は最終ステップのデプスマップの合成を使わなかった法線マップを、また図６（ｃ）はその二つの法線マップの度合いの違いを示す。
【００９０】
上記技術が多色シーンを対象とする場合を示すために、緑と白のクッションを含む困難なシーケンスを処理した。較正はＮを３として行った。入力画像および得られたセグメント化を図７に示す。
【００９１】
図７（ａ）は入力画像を示す。図７（ｂ）はステップＳ２０５に関して述べられたセグメント化を示す。図７（ｃ）はステップＳ２０７で得られた、平滑化されたデプス法線を示す。図７（ｄ）は一つの較正行列を使って推定された法線を示す。図７（ｅ）は三つの較正行列を使って推定された法線を示す。図７（ｆ）は一つの較正行列を使った再構成を示す。図７（ｇ）は三つの較正行列を使った再構成を示す。図７（ｈ）はセグメント化が失敗した入力画像を示す。図７（ｉ）は失敗したセグメント化を示す。図７（ｊ）はセグメント化が失敗した後の再構成を示す。
【００９２】
クッションのパターン周辺のセグメント化が正確な時は、手の周辺は不正確になってしまう。手の周辺の折り目はわれわれのステレオアルゴリズムで解像できる詳細の限界であり、そのため得られた法線に基づくセグメント化はノイズが多いことを証明できる。ステレオアルゴリズムからの平滑化法線を図７（ｃ）に示す。比較として同じシーンを一つの較正行列で復元した法線マップが図７（ｄ）、三つの較正行列を使用したものが図７（ｅ）に示される。一つのみの較正行列が全体のシーンで使われた場合、手は不正確に復元される（図７（ｆ））。一方、我々の新規技術を用いた場合、法線、したがって形状は正確に推定される（図７（ｇ））。
【００９３】
図７に示す画像は３００フレームシーケンスからの二コマである。大多数のフレームにおいて、セグメント化は一般に質的によい結果をもたらす程度に十分正確である。図７（ｈ）にあるようないくつかのコマにおいて、シャドウイングによりセグメント化に失敗し、指先を正確にセグメント化するのに失敗する。図７（ｊ）ではアーチファクトを呈する形状が得られたものが示されているが、このような不具合は稀である。再構成されたフレームが図８に示されている。
【００９４】
この提案のキャプチャーシステムは、動的シーンをキャプチャーするのに用いられるようデザインされ、入力の各フレームごとに個々の形状を計算する。いくつかのシーケンスがシステムの頑強性と結果品質を示すためにキャプチャーされた。シーケンスのいくつかの静止画像が図８に示されている。
【００９５】
図８において、左から右にそれぞれの列に、入力画像、ステレオ再構成、統合された法線領域、統合された法線領域の新規な視界、ステレオ情報が含まれた時の最終結果、最終結果の同じ新規な視界が示されている。法線領域の統合は正面から見た場合はよい結果をもたらすが、新しい角度から見た場合、低周波ゆがみが見られる。これらのゆがみはステレオからの低周波情報を用いて最終結果において取り除かれる。
【００９６】
第二の列に示されるステレオ結果にはディテール部がほとんどないが、全体としては正しい形状が示されている。第二および第三の列では純粋にフォトメトリックシステムで得られたものと比較可能な程度の結果が示されている。ここでは、元の方向に近い位置から見られた場合は納得いく結果だが、新しい視点からなされると低周波ゆがみがわかる。
【００９７】
最後の二列の合成結果は高周波ディテールを維持しながら低周波ゆがみを取り除いたことを示している。フォトメトリック法線マップからの中周波数を含むので、時間的なフリッカーもこの合成結果において、純粋なステレオ結果よりも、かなり目立たなくなっている。
【００９８】
これらシーケンスの画像サイズは１６００×１２００である。フレームあたり平均して、コンプリートなアルゴリズム実行時間は１６秒であり、ほとんどの時間は、ＣＵＤＡによるステレオ再構成の４秒と、シングルスレッドＣ＋＋による法線領域統合の９秒の２つの部分で費やされる。
【００９９】
下地の真のデータに対するアプローチの精度を示す目的で、合成画像について一連の実験を行った。公衆利用可能な高解像度モデルをＯｐｅｎＧＬでレンダリングした。拡散アルベドをモデルの半分に適用し、残りの半分を３つの異なるソリッドカラーを用いてレンダリングした。モデル全体で一様な白反射アルベドが存在した。入力画像例を図１０ａに示す。較正はターゲットボードをレンダリングし、これから、カメラと光源位置を推定することで行われる。
【０１００】
先ず、画像にノイズを加えないで再構成を行った。下地の真の法線と復元された法線との間の誤差が、図１０ｃに示される。色度一定の領域における誤差は、正反射のみによるものである。一方、未変更の半分においては、色度の変化により導入される、変化する誤差レベルが存在する。これらは、ひげや唇の周辺でもっとも顕著である。法線が補間された２画素の境界により色度の異なる領域間の境界においては誤差が発生してしまう。
【０１０１】
図１０（ｃ）に示される法線誤差結果とともに１つの較正行列を仮定し、フォトメトリックステレオ法を用いて較正を実行した。このアプローチは、モデルの自然な部分について正確な較正を推定し、現実施形態の方法に非常に良く似た結果を生みだす。しかしながら、これはシーンにおける多数の色度に対処することができない。
【０１０２】
自然画像には、いくらかのセンサノイズがあるので、各画素の各カラーチャネルに６の標準偏差を持ったガウス雑音を独立して加えることによってこれをシミュレートした。このノイズが法線に伝播し、図１０（ｄ）に示される誤差をもたらす。
【０１０３】
上記の結果は、高周波のディテールがフォトメトリックステレオによって復元されていることを示しているが、低周波誤差に関する情報を明らかにしていない。復元された法線領域を統合する場合、図１０（ｇ）に示されるように、復元されたデプス値と下地の実の値との間には大きな相違がある。図１０（ｈ）に示すように、ステレオ推定されたデプスマップと法線マップとを合成することでこの誤差は縮小される。しかし、図１０（ｊ）において強調するように、カメラに正対しておらずカメラに対して平行な顔の側面には、依然としてかなりの誤差がある。システムにカメラを追加すれば、この問題を解決する一助となる筈である。しかし、これではシステムの複雑性増加のコストに悩まされるであろう。
【０１０４】
ステレオ再構成からの低周波情報の導入もまた、法線の精度改善の一助となる。これは主として、小領域群にわたる恒常的な反射により引き起こされた誤差を削減することによるものであった。誤差マップを図１０（ｅ）および図１０（ｆ）に示す。ステレオデータの平滑化によってわずかにアーチファクトが引き起こされるが、再構成すると、これらを見るのは非常に難しいことが分かる（図１０（ｉ））。デプス誤差および法線誤差の計算結果をテーブル１に示す。
【数１２】
【０１０５】
使用されるブラーカーネルの分散（σ２）を変更することにより、フォトメトリック情報とステレオ情報の間のカットオフ周波数を変更することの影響を調べた。
【０１０６】
図９ａおよび９ｂは、再構成誤差についてこのパラメータを変更する影響を示している。図９（ａ）は法線誤差に対するσの影響を示しており、図９（ｂ）はデプス誤差に対するσの影響を示している。σを増加させることで、ステレオデプスマップに代わるフォトメトリック法線マップから、より大きな使用周波数範囲がもたらされる。
【０１０７】
カットオフ周波数を高くし、σを非常に小さくした場合、法線領域の高周波情報が失われ、大きな法線誤差が発生する。σが増加するにつれて最適条件に達し、過度にディテールを平滑化することなく法線領域におけるあらゆる低周波バイアスが低周波ステレオによって取り除かれる。この点を越えると、当該誤差は、おのずと法線領域の値の方に後戻りしてゆっくりと増加する。
【０１０８】
予想に反して、σを増加させることは、若干、デプス誤差を縮小する。これは、全体的な形、つまり超低周波成分がこの統合方法によって抑制されるからであって、ステレオデプスマップに代わるフォトメトリック法線領域から得られるのは中域周波数であることがその理由である。ステレオ再構成は単に二視点に基づくものであることから、サブ画素レベルで正確さを期すことは非常に困難である。したがって、いくらかの中波誤差が存在する。これは、法線領域が修正可能である。中波誤差は後続フレームとの間の表面のフリッカーとして現れるので、これは動的なシーンを再構成する場合に特に重要である。実際のシーケンスにおいて、この時間的なフリッカーを取り除くには、σの値をおよそ３０とすれば十分であった。
【０１０９】
実施形態に従う方法およびシステムにおいて、急速に変形する表面の高解像度形状のキャプチャーのためのマルチスペクトル・フォトメトリックステレオ法が提供される。また、多数の色度を含んだシーンにまでマルチスペクトルのフォトメトリックステレオを拡大することにより、以前の方法よりも広範囲な被写体に対するフォトメトリック較正を可能にする新規な較正技術が示される。マーカーを必要とせず、二視点ステレオ方式により、低周波情報が提供される。上記の方法およびシステムは、顔および布の変形を対象とし、わずか２つのカメラと３つの光源しか用いないという困難なシーケンスの３Ｄキャプチャーに用いることができる。上記の方法では、フォトメトリック結果から低周波バイアスを取り除きつつ、高レベルのディテールを維持する。
【０１１０】
上記の実施形態に従う方法およびシステムは、３つの異なる色の光源によるマルチスペクトル・フォトメトリックステレオを用い、単一のＲＧＢ画像で３つの光線方向をキャプチャーする。これは、フォトメトリックステレオが映像シーケンスの各フレームに対して実行され、入力映像と同じフレームレートで高解像度形状を生成することを可能にする。上記の方法およびシステムは、マーカーの使用を要しない。すなわち、再構成される被写体に別体のアーチファクトが付加されない。また、この方法およびシステムは、リアルタイムの多色シーンのキャプチャーに適用することができる。本発明の実施形態に従う方法は、較正シーンにおけるすべての表面のフォトメトリック特性の推定により、マルチスペクトル・フォトメトリックステレオ構成の較正を可能にする。さらに、この較正は、多数の色度を含んだシーンに対してマルチスペクトル・フォトメトリックステレオが適用されることを可能にする。
【０１１１】
本発明に従うシステムおよび方法によれば、わずか２つのカメラおよび３つのパッシブ光源を用いて高品質の結果を達成することが可能になる。
【０１１２】
次に、本発明の更なる別の実施形態に従う方法を述べる。
【０１１３】
本実施形態に従うシステムは、図１および２を参照して説明したものと同じハードウェアを用いる。不必要な反復説明を回避するため、同じ特徴を表わすために同じ参照数字を用いる。
【０１１４】
第１の実施形態で説明した方法との関係で述べると、この実施形態で説明される方法では多数の色を持つ被写体に対応することができる。当該実施形態の方法は、先の実施形態に関して説明したものと同様であって、法線推定が行なわれる前に、入力画像は一定の色度の領域にセグメント化される。
【０１１５】
図１１ａは、後に再構成される入力画像を示している。図１１ｂは、二視点ステレオから復元された低解像度形状を示している。これは、図１に示した２つのカメラを用いて得られる。図１１ｃは、一定の色度を仮定して推定された法線マップを示している。図１１ｄは、以下の実施形態で説明される方法を用いて推定された法線マップを示している。図１１ｅは、図１１ｄの法線マップと図１１ｂのステレオ画像とを合成することにより得られた高品質形状を示している。
【０１１６】
一方、当該さらに別の実施形態に従う方法では、低解像度ステレオデプスマップが各画素において平滑化された法線方向を計算するために構築される。この低解像度ステレオデプスマップは、２つのカメラ９および１１（図１）を用いて構築される。シーンには、Ｎの色度があると仮定する。シーンのＮの色度の各々に関して、任意の画素における平滑化された法線は、異なる色を予測する。これを例えば図１２に示す。図１２ａは、２つの色を含むパッチの発明を示している。これに対応する画像の法線マップが図１２ｂに示される。図１２ｃは、この場合において可能な仮のセグメント化を示す。図１２ｄは、図１２ｃのセグメント化の結果として得られる画像推定を示す。
【０１１７】
平滑化された法線から生成された画像が観察画像にできるだけ厳密に一致することを保証することにより、有効なセグメント化を見つけることができる。この実施形態では、セグメント化処理において次の２つの制約が課される。
【０１１８】
１．観察画像および平滑化法線マップの生成の尤度が最大化されること。
【０１１９】
２．色度が局所的に一定であること。
【０１２０】
第１の制約を履行するために、尤度項が導出される。この実施形態では、第２の制約を履行しつつセグメント化を行なうためにマルコフ確率場（ＭＲＦ）が用いられる。
【０１２１】
図１３は、本発明の実施形態に従う方法を用いて３Ｄ画像を再構成するために必要なステップを示すフローチャートである。
【０１２２】
第１の実施形態に関し、３つの異なる色の光で被写体または移動する被写体を照明しながら、ステップＳ４０１において、映像データが収集される。ステップＳＳ４０３において、１つのカメラからの映像データの各フレームごとに、各光源からの照明による画像データを分離する。
【０１２３】
Ｌａｍｂｅｒｔｉａｎ反射率モデルを用い、３つの離れた点光源が単位法線ｎおよびアルベドαで表面を照明し、環境光はないものと仮定して、観察される表面の輝度は、
【数１３】
【０１２４】
により与えられる。ここで、ｃ、ｌｉおよびｖｉは全て長さが３の列ベクトルである。ＣはＲＧＢ画像輝度を表わし、ｌｉは光線ｉの方向を規定し、ｖｉは光線ｉに対するセンサと表面の結合応答である。
【０１２５】
行列Ｖは、表面の色度、光のスペクトル分布、およびカメラセンサのスペクトル感度の組み合わせをモデル化する。色度が異なる領域で変化するのはこの行列である。表面αのアルベドは０と１の間の値であって、表面で反射された入射光線の割合に等しい。この実施形態において、画像の各チャネルは、各画素ごとで分散σ２の付加的な白色ガウス雑音により悪くなり、ｃは、通常、
【数１４】
【０１２６】
で分配されることを仮定している。
【０１２７】
観察された画像値ｃ、ならびにＶとＬの推定を所与として、ｎの最尤推定値は、
【数１５】
【０１２８】
により与えられる。
【０１２９】
観察画像および法線対（ｃ，ｎ）の尤度は、行列Ｖにより規定される色度を所与とし、ベイズのルールを用いて、
【数１６】
【０１３０】
により見つけることができる。
【０１３１】
この実施形態において、表面法線Ｐ（ｎ｜Ｖ）に関して一定のプライア（ｐｒｉｏｒ）を仮定している。Ｐ（ｃ｜ｎ，Ｖ）は表面のアルベドαを考慮することなく表現することはできない。これは未知であるから外に出して、
【数１７】
【０１３２】
となる。
【０１３３】
この実施形態において、プライアＰ（α｜ｎ，Ｖ）は０から１の範囲で一定となる。（ｘ）を用いることにより、
【数１８】
【０１３４】
が与えられる。
【０１３５】
この新しい座標系のＸ軸が線ＶＬｎと平行となるように座標系を選ぶことによって、
【数１９】
【０１３６】
のように書くことができる。
【０１３７】
ここで、ｃｒ＝［ｃｒ０ ｃｒ１ ｃｒ２］Ｔは新しい回転座標系におけるｃである。αに依存しない項を積分からすべて削除し、コンパクトネスについてのｂ＝｜ＶＬｎ｜を用いることにより、
【数２０】
【０１３８】
が与えられる。
【０１３９】
これはまとめることができ、
【数２１】
【０１４０】
が与えられる。
【０１４１】
ここで、
【数２２】
【０１４２】
であり、Ｅｒｆ（）は誤差関数である。オリジナルの座標系において、ｃｒ０およびｄは、
【数２３】
【０１４３】
および
【数２４】
【０１４４】
から与えられる。
【０１４５】
直観的に、ｃｒ０は線ＶＬｎに沿った距離に対応し、ｄは、ノイズによるこの線に垂直な変位に対応する。αについての一定のプライアにより、２つの誤差関数を含んだ項は０と｜ＶＬｎ｜の間でほぼ一定であり、それ自体は、実用上の目的では定数として扱うことができる。
【０１４６】
ステップＳ４０５において新たなシーンの異なる色度へのセグメント化を行なうために、マルコフ確率場（ＭＲＦ）が構築される。各ノードは、入力画像における画素に対応し、４近傍内の隣接画素の各々のノードに接続される。各ノードには、シーンにおけるＮ色度のうちの１つに対応するラベルａΕ１，．．．．．．．，Ｎが割り当てられる。色度が局所的に一定でなければならないという制約は、ペアワイズ項に対してポッツモデルを用いることにより行われ、ラベルを共有する隣接画素にはコストが割り当てられず、異なるラベルにはコストが割り当てられる。ユナリー項（ｕｎａｒｙ ｔｅｒｍ）は、前章で導出した尤度から与えられる。１組のＮ行列ＶａΕ１，．．．．．．．，Ｎを所与として、ラベルａをとる画素のユナリー項は、Ｐ（ｃ｜ｎ，Ｖａ）から与えられる。ここで、ｎは、ステレオデプスマップから推定された平滑化法線マップから得られ、ｃは、入力画像の平滑化されたバージョンから得られた画像輝度である。平滑化は、ステレオアルゴリズムでは復元しえない細かい幾何学的ディテールによる高周波変動を取り除くのに用いることができる。
【０１４７】
セグメント境界が領域境界に厳密に追随していることを保証するために、画像のエッジマップが計算され、エッジマップにおけるエッジと交差する、グラフ内エッジのポットコストがγ／１００にセットされる。
【０１４８】
ひとたびＭＲＦが構築されると、ツリー再重み付けメッセージパッシングアルゴリズムを用いてＭＲＦが解かれ、ステップＳ４０７において、関連するＶａとともに（９）式を用いて各画素ごとの法線がそれぞれ推定される。そしてステップＳ４１１において、この密な法線マップは、第１の実施形態に関して述べた方法が用いることにより、ステップＳ４０９で得られた低解像度ステレオマップと合成される。
【０１４９】
図１４は、本発明の実施形態に従う較正方法のフローチャートを示している。
【０１５０】
シーンという用語は、被写体あるいはシステムから見た被写体の配列にあたるものとして用いる。被写体は静止していてもよいし、静止していなくてもよい。
【０１５１】
本較正手順において、画像の再構成に必要なパラメータが推定される。このパラメータは２つのグループに分割することができる。
【０１５２】
グループ１−フォトメトリックパラメータ、すなわちＮおよびＶａΕ１，．．．．．．．，Ｎ。ここで、Ｎは異なる色度の数、ＶａΕ１，．．．．．．．，Ｎは、表面の色度、光のスペクトル分布、カメラセンサのスペクトル感度の組合せをモデル化する行列である。
【０１５３】
グループ２−光線方向行列Ｌ、画像ノイズσ、カメラ固有および外因性のパラメータを含むシステムパラメータ。
【０１５４】
グループ１のパラメータは各シーンについて推定する必要があるが、グループ２パラメータは一度推定するだけでよい。
【０１５５】
ステップＳ３０１では、視野内で回転し平行移動するチェッカーボード・パターンの画像をキャプチャーすることにより、固有および外因性のカメラパラメータの推定が行なわれる。
【０１５６】
ステップＳ３０３では、標準的な方法を用いてＬの推定が行なわれる。すなわち、一度に１つの光線をＯＮにして同チェッカーボード・パターンを回転し、（ｃ，ｎ）対の組が得て、これから最小自乗技術を用いてＬを推定することができる。σを推定するために一定の照明下で数枚の静止シーンの画像を得る。該画像の全域にわたる画素の平均の分散としてσ２が推定される。
【０１５７】
ＮおよびＶａΕ１，．．．．．．．，Ｎを推定するための手順は３つの部分に分割することができる。
【０１５８】
１．各画素におけるＶの個々の推定。
【０１５９】
２．Ｎ個の支配的色度、すなわちＶａΕ１，．．．．．．．，Ｎの推定。ただし、Ｎは所与とする。
【０１６０】
３．モデル順序選択問題としてのＮの選択。
【０１６１】
この実施形態による方法において、画素ごとのＶを推定するために、ステップＳ３０５における画像のうちの１つにおいて各光源をオンにすることにより、３つの画像Ｉｒ，ＩｇおよびＩｂが取得される。ここでは、シーン形状は３つの画像にわたって不変であるものとする。
【０１６２】
ステップＳ３０７においてステレオ再構成が行なわれて低解像度法線マップが与えられる。ステップＳ３０７において得られた法線マップおよびステップＳ３０３において先に計算された光線方向を所与として、ステップＳ３０５においてキャプチャーされた３つの画像の各々により、各画素における行列Ｖの１列を推定することができる。
【０１６３】
１色のカラー光線、例えばＩｒで照明することにより、次のようになる。
【数２５】
【０１６４】
ｃ、ｎ、およびｌ０は既知であることから、ｖ０のすべての要素を、Ｖにおけるすべての列にわたって一定であるスケーリングファクタαに至るまで計算することができる。ステレオ法線マップでは高周波形状を復元しえないという現実に対処すべく、この処理が行なわれる前に、３つの画像の各々は平滑化される。
【０１６５】
この手順は、実際のところ各画素におけるαＶ（Ｖではない）を復元する。しかしながら、Ｖのスケールは再構成において重要ではない。したがって、有効な法線を所与として予測することができる最大のｃの値が２５５以下となるように各Ｖ行列をスケーリングしてもよい。カメラの露出およびゲイン設定の調節により、実行の際にサチュレーションが起こらないことを確実にすることができる。
【０１６６】
各画素について個々の較正行列が推定されると、この実施形態に従う方法において、Ｎすなわちシーンに存在する色度の数と、シーンにおけるＮの支配的色度のフォトメトリック特性であるＶａΕ１，．．．．．．．，Ｎとが決定される。
【０１６７】
最初に、Ｎが既知であると仮定して、できるだけはっきりとシーンをあらわすＶａΕ１，．．．．．．．，Ｎが選ばれる。一実施形態において、ＲＡＮＳＡＣに基づいたアプローチが用いられる。ここで、ステップＳ３０９において計算されたＶ行列のうちの１つが仮定として任意に選ばれ、これをサポートする較正シーン内の画素数が調べられる。仮定に対するサポートを測定するために、十分なマルチスペクトル照明Ｉｒｇｂ下の画像がＩｒｇｂ＝Ｉｒ＋Ｉｇ＋Ｉｂによって合成される。この合成された画像からの画素輝度ｃおよび先に計算された法線を用いることにより、仮定のＶ行列を所与として、この（ｃ，ｎ）対の尤度を式（１５）を用いて計算することができる。尤度がしきい値τを超える場合には、画素が仮定の行列をサポートしており、超えない場合にはサポートしていない。
【０１６８】
これは、一定回数繰り返され、各回で最大のサポートを持つ仮定を保持する。その後、最終的な較正行列は、最終的な仮定をサポートするすべての画素についてのＶの平均により求められる。第１較正行列が選ばれると、それをサポートした画素がすべて削除され、当該処理が繰り返され、当該シーンにおいて次に最も支配的な色度が求められる。本処理は、Ｎの較正行列が復元されるまで繰り返される。ステップＳ３１１におけるＮの異なる値についても、処理が繰り返される。これについては、図１５を参照してより詳しく説明する。
【０１６９】
上記の手順では、Ｎが既知であるとしたが、ここでは異なる。Ｎの選択は、Ｎを増加させることによる、入力画像を表現するモデルの能力の増加が、モデルの複雑性の増加とのトレードオフとなる場合のモデル選択問題であると見ることができる。
【０１７０】
この実施形態に従う方法では、情報理論的選択法が用いられる。以下で説明するように、オーバーフィッティングの可能性を低減するためにベイズ情報量基準（ＢＩＣ）が用いられる。
【０１７１】
ＶａΕ１，．．．．．．．，Ｎを推定するためにＲＡＮＳＡＣ段階が実行されると、（ステップＳ４０５に関して説明した）再構成におけるＭＲＦを解決することができ、画像内の各画素において正確なＶａ用いることができる。
【０１７２】
画素の観点での非依存性を前提として、完全な画像の尤度は画素尤度の積である。したがって、ＢＩＣスコアを次式を用いて計算することができる。
【数２６】
【０１７３】
ここで、ｎは画像における画素数、ｍはＮを１だけ増加する場合の追加のモデル・パラメータの数（本例では９）である。ＢＩＣスコアが最低となるＮの値が選ばれる。実際上、この処理は、各Ｎに対するしきい値τの５つの値について繰り返され、すべてのＮおよびτにおいて最低のＢＩＣスコアが用いられる。
【０１７４】
本較正方法を実現するアルゴリズムを、図１５を参照して説明する。
【０１７５】
ステップＳ５０１において、Ｉｒ、Ｉｇ、Ｉｂ、Ｌ、σ、およびステレオデプスマップを取得する。これらを取得する１つの方法については図１４を参照して説明した。
【０１７６】
ステップＳ５０３では、図１４において説明したように各画素のＶが推定される。
【０１７７】
ステップＳ５０５では、Ｎおよびτの値の範囲が設定される。通常、Ｎ＝１をＮの最小値として、Ｎｍａｘの値およびτｍｉｎ、τｍａｘが設定される。典型的に、τの増加量が設定される。
【０１７８】
ステップＳ５０７において、Ｎとτの両方がそれらの最小値に設定される。ステップＳ５０９では、行列Ｖが１からＮまでのすべての値について推定される。これは、図１４を参照して説明したように行われる。次に、ステップＳ５１１において、図１３を参照して説明したように画像がセグメント化される。最終的に、ステップＳ５１３においてＢＩＣが計算される。
【０１７９】
ステップＳ５１５において、τがその最大値に達していないならばτはインクリメントされる。τがその最大値に達するまで、ステップＳ５０９からＳ５１３の処理が繰り返される。
【０１８０】
ステップＳ５１９では、Ｎがその最大値に達したかが判定され、達していない場合、τはその最小値にセットされ、Ｎが１だけインクリメントされ、ステップＳ５０９からＳ５１３のサイクルがτのすべての値について繰り返される。
【０１８１】
上記に続いて、ＶａΕ１，．．．．．．．，Ｎの仮の値がＮおよびτのすべての値に関してテストされ、最良のＢＩＣスコアを持つ値が選択される。
【０１８２】
次に、上記の方法を用いる再構成のいくつかの例を説明する。
【０１８３】
上記の方法は、多色のシーンに用いることができるが、色度が均一のシーンにも適用可能である。
【０１８４】
上記の実施形態に従う再構成を説明するために、緑と白のクッションを含む多色シーンを処理した。較正が行なわれてＮ＝３が選択される結果となった（クッションの２つの色度およびこれを保持する手の色度）。
【０１８５】
処理結果が図１６に示される。図１６ａは、１つの色度のみがシーン全体について仮定され、手の復元が不正確となった結果を示している。一方、図１３乃至１５に関して説明した方法を用いることによって、図１６ｂに示すように法線（つまり形状）が正確に推定される。
【０１８６】
図１６ｃは入力画像を示しており、図１６ｄは、図１６ｃの画像の不適切なセグメント化を示している。このセグメント化は、強いシャドウイングによって失敗している画像生成結果の形状にはアーチファクトが生じている（図１６ｅ参照）。
【０１８７】
図１７は、図１３乃至１５を参照して述べた方法を用いた場合の写真撮影の静止画を示している。
【０１８８】
図１７において入力画像は左手側の画像である。左から右の順で、次の５枚の画像は、（ｉ）ステレオ再構成、（ｉｉ）統合法線領域、（ｉｉｉ）統合法線領域の新規な視界、（ｉｖ）ステレオ情報を一度含めた最終結果、（ｖ）ステレオ結果群を含めた新規な最終結果を示している。上段はＮ＝１、中央の段はＮ＝２、下段はＮ＝３に対応する。
【０１８９】
２番目と３番目の列は、純粋なフォトメトリックシステムによって達成されたものと遜色のない結果を示しており、これはオリジナルの視線方向に接近して見た場合には納得のいくものであるが、低周波変形を含んでいる。これは、別の視点からレンダリングした時に明白になる。最後の２列の合成結果においては、高周波のディテールを維持しつつ、上記の低周波変形は取り除かれている。
【０１９０】
これらシーケンスの画像サイズは１６００＿１２００であり、コンプリートなアルゴリズムの平均実行時間は１フレーム当たり１６秒である。ほとんどの時間は、ＣＵＤＡによるステレオ再構成（４秒）と、シングルスレッドＣ＋＋による法線領域統合（９秒）の２つの部分で費やされる。セグメント化の平均時間はおよそ２秒である。
【０１９１】
下地の真のデータに対するアプローチの精度を示す目的で、合成画像について一連の実験を行った。公衆利用可能な高解像度モデルをＯｐｅｎＧＬでレンダリングした。拡散アルベドをモデルの半分に適用し、残りの半分を３つの異なるソリッドカラーを用いてレンダリングした。モデル全体で一様な白反射アルベドが存在した。入力画像例を図１８ａに示す。
【０１９２】
図１８において、色度の変動を全く想定していない既知の方法を用いて計算した場合の法線誤差を示す。図１８ｃは、低周波データの追加のない本提案手法を用いた場合の法線誤差を示している。図１８ｄは、低周波データが追加された後の法線誤差を示している。図１８ｅは、図１８ｃの法線領域を統合した後のデプス情報における誤差を示しており、図１８ｆは、図１８ｄの法線領域を統合した後の、低周波データを含むデプス誤差を示している。図１８ｇは、最終的な再構成画像である。
【０１９３】
先ず、画像にノイズを加えないで再構成を行った。下地の真の法線と復元された法線との間の誤差が、図１８ｃに示される。色度一定の領域における誤差は、正反射または領域境界によるものである。一方、未変更の半分においては、色度の変化により導入される、変化する誤差レベルが存在する。
【０１９４】
復元された法線領域が統合される場合、復元されたデプスと下地の実の値との間には、法線推定における若干のバイアスに起因して、図１８ｅに示すように大きな相違がある。ステレオ推定されたデプスマップと法線マップとを合成することにより、図１８ｆに示すようにこの誤差は大幅に削減される。
【０１９５】
画像をシミュレートするために、６の標準偏差をもつノイズガウス雑音を各画素の各カラーチャネルに対し個々に加え、上記の実験を繰り返した。デプス誤差および法線誤差の計算結果をテーブル１に示す。本方法は正確に法線方向を推定しており、ステレオ再構成と組み合わせた場合、同様に正確なデプスが与えられることがわかる。
【数２７】
【０１９６】
テーブル１では、色度が一定であると仮定することが大きな誤差につながっている。一方、ステレオデータは正確なデプスを提供するが、形状が過度に平滑化されており、このことが法線推定を不正確にしている。本提案の再構成方法は正確に法線方向を推定しているが、依然として、ステレオデータの追加が、デプス結果における低周波バイアスの除去を助けている。
【０１９７】
上記すべての実験において、ＮはＢＩＣ基準を用いるモデル選択によって推定された。しかしながら、他の基準を用いることが可能である。さらに別の実施形態において、負対数尤度を用いることができる。
【０１９８】
これを図１９に示す。同図には、負対数尤度と、Ｎ（シーンにおける色の数）の増加に伴うＢＩＣ値の結果がプロットされている。Ｎ＝５における下側の２つの線は、主に４つの色度を持った合成顔画像のものであり、Ｎ＝５における上側の２つの線は、主に２つの色度がある実物クッションのデータのものである。両方の場合において、これらプロットは１００回の実行の平均値であって、破線は負対数尤度、実線はＢＩＣ値を示している。
【０１９９】
上記の両方の場合において、正確なＮが選ばれていることがわかる。また、上記の両方の場合において、対数尤度の縮小率は、正確なＮ値を越えて急速に減少する。
【０２００】
上記の実施形態は、多視ステレオ再構成の利用により、複数の色度を含んだシーンにマルチスペクトルのフォトメトリックステレオを適用するためのシステムを提供する。フォトメトリック特性が較正シーンにおける各画素において推定されることを可能にする較正技術が示される。上記実施形態では、そのようなシーンの色度の数の自動推定がモデル選択アプローチを用いて行なわれる。上記較正情報を所与として、新規画像を一定色度の領域にセグメント化し、密な法線マップ推定を生成することができる。２つのカメラおよび３つの光源のみが必要でありながら、高品質の結果を生じるシステムを示した。
【０２０１】
上記の実施形態に従うシステムおよび方法は、変形表面の形状をキャプチャーするためのマルチスペクトル・フォトメトリックステレオ技術を提供する。新規なフォトメトリック較正技術は、区分的に複数の一定色度を含んだシーンの較正を可能にする。実施形態において、この方法は、画素ごとのフォトメトリック特性を推定し、シーンにおける支配的な色度を推定するためにＲＡＮＳＡＣに基づいたアプローチを用いる。さらに別の実施形態では、尤度項が作成され、表面法線、画像輝度、およびフォトメトリック特性が紐付けられる。これは、組み立てられるシーン中の色度の数をモデル推定問題として推定することを可能にする。較正中に存在する色度の数を自動的に推定するためにベイズ情報量基準が適用される。
【０２０２】
実施形態に従うシステムでは、２−カメラ・ステレオシステムが低解像度形状を提供するので、新しい画像を一定色度の領域にセグメント化するために尤度項を用いることが可能になる。一実施形態において、このセグメント化は、マルコフ確率場フレームワークで実行され、正確なフォトメトリック特性が各画素で用いられることを可能にし、密な法線マップを推定することが可能になる。
【０２０３】
本発明の実施形態に従う方法は、区分的に複数の一定色度を持った被写体に適用することが可能なマルチスペクトル・フォトメトリックステレオのための新規な較正技術を提供する。さらに、幾つかの実施形態において、この方法は、較正中に存在する色度の数の自動推定を可能にする。
【０２０４】
上記実施形態では、２つのカメラを用いて低解像度ステレオ画像を提供することを説明し、フォトメトリックステレオからのデータを向上するために低解像度画像を用いるという見地で上記実施形態を説明した。以下に述べる実施形態に従う方法およびシステムにおいては、フォトメトリックステレオデータがデプスセンサ測定を向上させるために用いられる。
【０２０５】
この特定の実施形態では、低解像度デプス測定がデプスセンサを用いて行なわれる。それは、キャプチャーするシーン上にパターンを投影することにより動作する「アクティブ照明デプスセンサ」と呼ばれる。２つのカメラを用いるもののような他のデプスセンサ、あるいはタイムオブフライト・デプスセンサを用いることが可能である。
【０２０６】
図２０は本発明のさらに別の実施形態に従うシステムを示している。このシステムは被写体６０１の画像化に用いられる。該システムは有色の３つの光源６０３、６０５および６０７を備える。光源の構成は、図１に関して説明したものと同じである。各光源は、異なる色で被写体６０１を照明する。特定の実施形態において、色は赤、緑および青色である。
【０２０７】
該システムは、カメラ６１１を含む。これは、ビデオカメラであって、異なる色を識別するように構成される。したがって、このカメラは、３つの光源からの照明を用いて被写体６０１の画像を得ることができ、赤色光、緑色光、青色光の個々の照明からのデータを抽出することができる。
【０２０８】
図２０のシステムは、デプスセンサを含む。特にこの実施形態において、デプスセンサはアクティブ光デプスセンサである。このアクティブ光デプスセンサは、赤外線投光器６１５を用いて近赤外スペクトルで既知のパターンをシーン上に投影する、光線符号化（Ｌｉｇｈｔ Ｃｏｄｉｎｇ）と呼ばれる方法を用いる。該システムは、被写体６０１によって変形した投影パターンを観察するための赤外線カメラ６０９を備える。この観察された変形パターンは、デプスを推論するのに用いられ、デプスマップを作成することができる。
【０２０９】
図２０の当該システムは、デプスセンサからの出力とフォトメトリックステレオとを合成する。先の実施形態のように、フォトメトリックステレオからの出力を解析するために、Ｌａｍｂｅｒｔｉａｎイメージングモデルが仮定される。
【０２１０】
ここで、方向ｌｉを持った光源と、スペクトルのリアクタンス関数ρ（λ）および単位法線
【数２８】
【０２１１】
を持つ表面を照明するスペクトル分布Ｓｉ（λ）とを所与として、スペクトル感度ｕｊ（λ）を持ったセンサによって観察される輝度ｃｊは、
【数２９】
【０２１２】
により与えられる。
【０２１３】
ここで、
【数３０】
【０２１４】
であって、αは表面のアルベドを規定し、ｖｉｊは、表面の色度、入射光線色およびセンサのスペクトル感度をあらわす。これは、単色のシーンについては、アルベドが変化してもｖｉｊがシーン全体にわたって一定であることを意味する。このアルベドの観点では、スケーリングされた法線
【数３１】
【０２１５】
がコンパクトネスに用いられ、
【数３２】
【０２１６】
は、再正規化により、これから復元することができる。
【０２１７】
前の実施形態に関して、シーンを照明する３つの光線が与えられると、生成されるＲＧＢ画像ｃ＝［ｃ０ ｃ１ ｃ２］Ｔは、
【数３３】
【０２１８】
により与えられる。
【０２１９】
ここで、ｖｊ＝［ｖ０ｊ ｖ１ｊ ｖ２ｊ］Ｔは、光線ｊに対する表面とセンサの結合応答を表わす。
【０２２０】
前の実施形態に関し、新規の入力画像が与えられると、
【数３４】
【０２２１】
により法線マップを再構成することができる。
【０２２２】
この実施形態に従う方法では、フォトメトリックの設定を較正するために、行列Ｍ＝ＶＬを発見しなければならない。この較正について、図２２のフローチャートを参照して説明する。
【０２２３】
この実施形態に従う方法では、フォトメトリックステレオに、デプスセンサからのデータを合成する。両方法を用いて収集された画像間のアライメント支援のために、レジストレーション手順が用いられる。この実施形態において、レジストレーション手順は、図２１に示すような較正被写体６２１を用いる。較正被写体６２１は、チェッカーボード６２３を含む。正方形６２５のうちのいくつかは取り除かれている。
【０２２４】
使用されるデプスカメラの種類に依存して、デプス画像およびフォトメトリック画像の位置が、そもそも合っているかもしれない。しかし、そうでない場合、２つの間でレジストレーションが行なわれなければならない。チェッカーボード６２１において、正方形のうちのいくつかは取り除かれている。暗背景を用いてチェッカーボードの画像がキャプチャーされる。この方法によって生成されたデプス画像は、切り取られた正方形の境界においてきれいなコーナーを持たないかもしれない。これは、コーナー局所化アプローチの失敗をもたらす。パターンに線をフィッティングし、コーナー位置の推定としてその交点を用いることにより、ロバストな結果を得ることができる。
【０２２５】
アライメントが完了すると、較正処理を実行することができる。ステップＳ７０１において、１つのカメラおよび３つの光源の各々を順番に用い、被写体の画像を得る。ステップＳ７０３では、デプスセンサを用いて被写体のデプスマップが取得される。このデータにより、各画素のｎを推定することが可能である。
【０２２６】
ステップＳ７０７では、（ｃ，ｎ）対を用い、ＲＡＮＳＡＣに基づいたアルゴリズムによってＭをロバストに推定する。線形系ｃ＝Ｍｎの解決によるＭの推定は上記３つの対で十分である。しかしながら、この３つの対は同じ色度を持つ表面上の点からもたらされなければならない。また、これは先天的に分からない。
【０２２７】
したがって、３点を任意に選んでＭｅを推定し、ステップＳ７０９において、他のすべての対の各対について、
【数３５】
【０２２８】
であるかを調べることにより、サポートを測定する。
【０２２９】
ここで、τはしきい値であり、ｃｆは画素値である。Ｍｅが良い推定である場合、それは、法線マップから正確に画像カラーを予測する。さらに、ＲＡＮＳＡＣ終了条件を満たすまで、（ｃ，ｎ）対の組がランダムに選ばれる。そしてステップＳ７１３において、最後のＭｅをサポートするすべての対から最小２乗アプローチを用いてＭの推定がなされる。
【０２３０】
上記のように、法線ｎはデプスカメラ測定から導出される。較正技術は単一のフレームまたはシーケンスに適用することができるが、Ｍの推定が適切になされるワイドレンジの法線方向が保証されなければならない。
【０２３１】
Ｍの推定がなされた後に、当該シーンに他の色度が存在する場合、ステップＳ７１３において、最初の推定をサポートしたすべての対を先ず全て削除して別のＭが推定されうる。これにより、存在している色は区分上一定であるという前提の下で、多色のシーンを取り扱うことが可能になる。
【０２３２】
この実施形態に従う方法を用いた再構成処理を図２３を参照して説明する。
【０２３３】
フォトメトリックステレオを使用する先の実施形態のように、ステップＳ８０１では、移動する被写体を３つの異なる色の光源で照明しながら映像データが収集される。ステップＳ８０３では、単一のカメラを用い、映像データの各フレームについて、各光線からの照明による画像データが分離される。
【０２３４】
ステップＳ８０５では、異なる色の領域にディテールがセグメント化される。このステップは、各画素におけるｎを推定するにはどのＭ行列を用いるかを決定するために行なわれる。セグメント化は、入力画像において陰にならない各画素が１つのノードを持つ、マルコフ確率場（ＭＲＦ）フレームワークで構成される。４近傍内の隣接画素に対応するノード間にはエッジが付加される。
【０２３５】
デプスセンサによるデプス画像は平滑化され、該デプス画像から各画素における法線ｎｓが計算される。入力画像は、同じ量で平滑化されて各画素には平滑化された画像値ｃｓが与えられ、行列Ｍｉを用いるためのユナリー項が、
【数３６】
【０２３６】
によって与えられる。
【０２３７】
これによって、デプス画像と同様の低周波特性を持った法線マップを生成する較正行列が選ばれるようになる。
【０２３８】
この実施形態において、ペアワイズ項にポッツモデルが用いられ、ラベルを共有する隣接の画素にはコストが割り当てられず、異なるラベルを持つ場合にコストγが割り当てられる。コストγは、Ｓｏｂｅｌフィルタリングおよび閾値化により求めた入力画像のエッジマップによって調整される。エッジ上でない画素についてはγの値は大きく、エッジ上の画素についてはγの値は小さい。ツリー再重み付けメッセージパッシングアルゴリズムを用いて、ＭＲＦに対する最大事後確率（ＭＡＰ）解が推定される。これにより、ステップＳ８０７において法線領域を作成することが可能になる。
【０２３９】
ステップＳ８０９において、デプスセンサからのデプス画像が決定される。これから３Ｄメッシュが作成される。較正被写体６２１を用いて得られた較正情報を用いることにより、このメッシュはフォトメトリックステレオ装置の座標系に変換され、フォトメトリックステレオ・カメラの視点から見たデプス画像がレイトレーシングを用いて生成される。このアプローチは、同じ解像度のデプス画像とフォトメトリックステレオ画像を合成したり、より高い解像度のカラー画像とデプス画像を合成するのに適している。
【０２４０】
ステップＳ８０９で得られたデプス画像の値が、ステップＳ８０７の法線領域から得られた画像上に投影されると、これら２つの種類の情報が合成される。
【０２４１】
まず、ステップＳ８０７で得られた法線領域の低周波バイアスは、法線領域のブラー異形がデプスマップのブラー異形から計算された法線と一致するように各法線を回転することで削除される。その後、ステップＳ８０９で生成されたデプスおよびステップＳ８０７で生成された法線の両方に表面をフィッティングさせるエネルギー関数最適化により、形状が推定される。
【０２４２】
上記の技術を例証するために、（位置合わせ済の）組み合わせカラーカメラを持つアクティブ光デプスセンサを用いて次の実験が行なわれた。同カメラは、アクティブ光デプスセンサとは独立してカラー画像を検出することができる。該アクティブ照明デプスセンサおよびカラーカメラは、デプス領域とカラー領域の両方に６４０×４８０の解像度を持つ。また、異なる色の光源の提供する３つの投光器をセンサの周囲に三角配置した。デプスカメラは近赤外線領域で動作することから、付加的な光源はこれに干渉しない。第２の高解像度カメラとして１６００×１２００の解像度を持つグラスホッパーカメラを用いた。カラーカメラを持つアクティブ照明デプスセンサから３０ｆｐｓの平均レートでデプス画像およびカラー画像をキャプチャーした。平均処理時間はシングルスレッドのＣ＋＋を用いて１フレーム当たり６秒であった。
【０２４３】
時間的なフリッカーを測定するために、静的シーンの３０回の再構成を実行し、３０フレームすべてにおいて正常に再構成された各画素の推定デプス値の標準偏差を計算した。これを３つのシーンに対して実行し、平均結果を計算した。
【０２４４】
図２４はデプス画像の空間平滑化に応じた時間的ノイズを示している。斜線部分は、標準偏差の結果の半分に等しい。フォトメトリックデータの使用により、平滑化の必要なしに時間的ノイズを低減することができる。上部の曲線は、デプスセンサからのそのままの結果を示し、下部の曲線は、デプスとフォトメトリックステレオの合成を示している。時間的ノイズ値は、各デプス画像に個々に適用されたガウスカーネルのサイズの関数として示される。空間平滑化がほとんどない場合、付加的なフォトメトリック情報は、時間的ノイズの大きさを著しく縮小する。十分な平滑化によりフリッカーは低減されるが、細かいディテールも削除されてしまう。一方、フォトメトリックデータの追加は、ノイズを低減しつつ、ディテールを向上する。時間的平滑化は使用されないことに留意されたい。
【０２４５】
上記の実験は、再構成における時間的変動のみを調べるものであり、システムの絶対精度に関する情報は与えられない。これを調べるために、既知の平面を再構成した。また、最小２乗推定を用いて、結果点集合に面をフィッティングした。この面による各再構成点の平均偏差を測定し、再構成精度のメトリックに用いた。デプス情報のみを用いる場合、最良フィッティング面への平均絶対誤差は１．６ｍｍであった。フォトメトリック情報を含めることにより、この誤差は１．２ｍｍに低減した。
【０２４６】
この結果を図２５に示す。図２５において、滑らかな線は、フォトメトリックステレオを合成したデプスからの結果を示し、他方の線は、デプスカメラからのそのままの結果を示している。フォトメトリックステレオは高周波ノイズを平滑化することができるが、低周波のゆがみは低減しない。
【０２４７】
フォトメトリックステレオの導入により動的シーンの再構成がもたらされるという質的改善を示すために、数枚のフェイスシーケンスをキャプチャーした。図２６は再構成の例を示している。図２６（ａ）は、デプスカメラのみからの結果を示し、図２６（ｂ）は、図２６（ｃ）に示される画像を用いてフォトメトリックステレオと合成したデプスカメラからの結果を示している。なお、図２６（ｃ）の画像は、複合カラーカメラからのものとした。フォトメトリックステレオの追加により、最初の再構成に見られるものよりもノイズが低減されると共に細かいディテールに分解されていることがわかる。このシーンについて、２つの較正行列が求められた。これらは、シャツをモデルするものと、皮膚をモデル化するものである。
【０２４８】
図２７において、当初の視点からレンダリングされた再構成表面を左の列に示し、新規視点からレンダリングされた再構成表面を２番目の右の列に示す。図２７のａおよびｂはデプスデータのみによる再構成、図２７のｃおよびｄはフォトメトリックデータのみによる再構成を示しており、ディテールは細かいが低周波のゆがみが出ている。図２７のｅおよびｆは、フォトメトリックステレオとデプスマップの合成による最終結果を示しており、細かいディテールと正確な包括的形状の両方が維持されている。
【０２４９】
高解像度カメラを用いてデプスカメラを増強すれば、再構成の品質が得られる。フォトメトリック再構成そのままでは図２７ｄに見られるように低周波ゆがみが引き起こされることから、デプスカメラ情報は常に重要である。
【０２５０】
上記の実施形態に従う方法およびシステムは、フォトメトリックステレオがデプスカメラ出力におけるノイズを低減することができると共に細かいディテールの解像度の獲得を可能にすることを示している。このアプローチの付加的装置要件は３つの異なる色を持った光源であり、これは控えめなものである。さらに別の実施形態は、高解像度カメラを追加するものであり、より細かいディテールの復元を可能にする。
【０２５１】
上記の方法およびシステムは、画像ベースのフォトメトリックステレオを用いてデプスカメラ出力を増強する。デプスカメラによって生成された測定結果は高周波ノイズを含んでおり、その削減にはフォトメトリックステレオが適切である。複合カラーカメラを持つアクティブ照明デプスセンサを用いる技術について示す。しかし、タイムオブフライトセンサのような種々様々のデプスセンシングデバイスが適用可能である。複合カラーカメラを用いることにより再構成の改善がみられ、より高度な解像度カメラを付加的に導入することによりさらなる改善が達成される。該方法は、再構成の質的改善ならびに時間的ノイズの量的削減を示す。
【０２５２】
上記は、アクティブ照明デプスセンサおよび複合カラーカメラ・システムによって提供されるデプスカメラの使用に主に焦点を当てるものであった。しかし、三角測量に基づくタイムオブフライト・カメラのような他種のデプスカメラを用いることができる。これは、高周波ノイズを持つ低解像度レンジ画像を生成する。上記の方法では、デプスカメラからの出力を増強するためにフォトメトリックステレオが用いられ、これにより（１）出力における高周波ノイズを低減し、（２）デプスカメラ単独の場合よりも細かいディテールを復元する。
【０２５３】
フォトメトリックステレオを選ぶ動機づけは、包括的形状（つまり低周波成分）の誤差が導入される傾向があるものの、正確な高周波データを提供するその誤差特性にある。デプスカメラからの正確な低周波情報とフォトメトリックステレオからの正確な高周波情報とを合成することにより、より正確な再構成がもたらされる。フレーム毎に形状を生成する目的において、マルチスペクトル・フォトメトリックステレオが用いられる。ここで、個別の方向からシーンを照明するための３つの異なる色の光源を用いることにより、単一画像において３つの光線方向がキャプチャーされる。これにより動的シーンのキャプチャーが可能である。
【０２５４】
異なるカメラあるいはセンサによってキャプチャーされた画像データの位置合わせに用いることが可能な較正ボードを図２１に示した。上記新規な較正ボードは上述の特定の実施形態に制限されず、２つの異なるカメラあるいはセンサによってキャプチャーされた画像の位置合わせが要求される任意のシステムに用いることができる。図２１の較正ボードでは、２Ｄパターン（つまりチェッカーボード正方形の角）において勾配線にはいずれも切れ目があり、いくつかの正方形の除去により３Ｄレリーフにおける点には切れ目がある。２Ｄ画像の勾配線における切れ目および３Ｄ画像における切れ目の両方に共通の点がある。共通点（あるいはこれに代わる点）に加え、正方形それ自体または正方形をなす境界線の少なくとも１つをアライメントに用いることができる。
【０２５５】
さらに、この種の較正ボードを変形することも可能である。図２８に、いくつかの可能な変形を示す。図２８（ａ）のように、シェイプ９０３を較正ボード９０１から切り抜く。この較正ボード９０１は第１の色を持っており、削除されるシェイプ９０３はカラーおよびレリーフにおける変化を与える。一実施形態では、シェイプ９０３の境界は２Ｄ画像および３Ｄレリーフにおける共通の特徴としてアライメントに用いられる。シェイプ９０３の境界の一部のみを用いてもよい。
【０２５６】
シェイプ９０３には、２Ｄ画像内の点９０５および９０７によって形成される２つの切れ目がある。これらの２点は、２Ｄ画像の勾配線および３Ｄ画像における切れ目を表わすことから共通点をなしており、２Ｄ画像データおよび３Ｄ画像データの両方において容易に認識することができる。さらに別の実施形態では、シェイプ９０３の境界線。
【０２５７】
図２８（ｂ）は、図２１のチェッカーボード配列の更なる変形を示す。較正ボード９１１からシェイプ９１３が取り除かれている。このシェイプ９１３は開口するように較正ボード９１１のコーナーから切り取られている。この場合においても、端点９１５および９１７の２点、すなわち２Ｄパターンに境界を定める勾配線による切れ目が形成される。
【０２５８】
重ねて、先のとおり、共通点９１５および９１７をアライメントに用いることができる。すなわち、シェイプ９１３の境界を成す１以上の線をアライメントに用いることができる。さらに別の実施形態では、コーナー９１９がボード９１１からカットされる。このコーナーの境界線は、当該ボード上の２Ｄ画像における切れ目ならびに該ボードの３Ｄレリーフにおける切れ目を表わすことから、共通の特徴としてアライメントに用いられる。
【０２５９】
更なる変形を図２８（ｃ）に示す。同図は、較正ボード９２１から切り抜かれた２つの正方形９２３および９２５を示している。正方形９２３（および９２５）のコーナー９２７のそれぞれは端点を与える。これらは、３Ｄレリーフおよびボードの２Ｄ画像を構成する勾配線の両方における不連続点であって、所要の共通点を与える。シェイプ９２３および９２５のそれら自体をアライメントに用いることができ、コーナー９２７は２Ｄパターンと３Ｄレリーフの間に共通の特徴を与える。
【０２６０】
更なる変形を図２８（ｄ）に示す。ボード９３１はカットアウト円９３３を持っている。この円形のシェイプ９３３の境界を共通の特徴として用いることができる。あるいは円９３３によって規定される中心９３５を共通の特徴として用いてもよい。一実施形態では、円９３３の境界は２Ｄ画像において用いられ、円９３５の中心は２つのセンサを位置合わせするために３Ｄ画像において用いられる。
【０２６１】
シェイプはさらに変形することができる。例えば、楕円９３７あるいは楕円の切片をアライメントに用いることが可能であり、また、楕円または楕円の切片の焦点９３９をアライメント用の共通点あるいは対応点のいずれかに用いることも可能である。
【０２６２】
上述した種々の較正ボードは、例えば画像符号化デプスセンサのようなデプスセンサを用いるシステムや、標準的なカメラを備えたタイムオブフライトセンサのように、あらゆるシステムの位置合わせに用いることができる。上記標準のカメラは、フォトメトリックステレオ測定用に構成する必要はない。
【０２６３】
図２８に示した例は、較正ボードから単にパターンをカットするものである。しかしながら、較正ボードからパターンを凹ませたり、突出させたり、パターンのある部分が較正ボードから突出し、他の部分が較正ボードから引っ込むように較正ボードに対してある角度に曲げてパターンを配置するなど、より複雑なアレンジが可能である。
【０２６４】
いくつかの実施形態を説明したが、これらの実施形態は例示のみを目的としており、発明の範囲を制限することは意図していない。実際には、本明細書で説明した新規の方法およびシステムは他の様々な形で具体化することができ、また発明の要旨から逸脱しない範囲で、本明細書で説明した方法およびシステムの構造における様々な省略、置換、および変更を行ってもよい。添付の特許請求の範囲およびその均等物は、発明の範囲および要旨に含まれうる構造あるいは改良に及ぶことが意図される。
【特許請求の範囲】
【請求項１】
シーンの３Ｄ画像データをキャプチャーするシステムであって：
各々が互いに異なる波長の光を照射し、キャプチャーすべきシーンを照明するよう構成された三つの光源と；
前記シーンから反射された前記光源からの光を受光するよう構成され、各光源から受光された光を分離し、前記三つの光源ごとにキャプチャーされた前記画像に関するデータを出力する第一ビデオカメラと；
前記シーンの第一デプスマップをキャプチャーするよう構成されたデプスセンサと；
前記第一ビデオカメラからデータを受信し、該データを処理して前記三つの光源ごとにキャプチャーされた前記画像から得られた法線領域に関するデータを取得する解析ユニットにおいて、前記法線領域に関する前記データを前記第一デプスマップのデータに合成して、前記シーンの３Ｄ画像データをキャプチャーする前記解析ユニットとを備えるシステム。
【請求項２】
前記デプスセンサは前記第一ビデオカメラと、第二ビデオカメラと、相関ユニットとを備え、前記第二ビデオカメラは前記第一ビデオカメラから空間的に分離されており、前記相関ユニットは前記第一および第二ビデオカメラから受信した前記データを関連づけて前記シーンのデプスマップを生成するよう構成されている、請求項１に記載のシステム。
【請求項３】
該デプスセンサは、パターンを該シーンに投影するよう構成されたプロジェクタと、前記シーンに投影された該パターンの画像をキャプチャーするよう構成されたカメラとを備え、該解析ユニットは第二デプスマップを生成するよう構成されている、請求項１に記載のシステム。
【請求項４】
該デプスセンサはタイムオブフライトセンサを備える、請求項１に記載のシステム。
【請求項５】
動的シーンの３Ｄ画像データを生成する方法であって、
三つの異なる方向から照明された前記シーンの該第一カメラによりキャプチャーされた映像データを含むフォトメトリック画像データであって、照明方向ごとにキャプチャーされた前記画像データに分離可能であるフォトメトリック画像データを第一ビデオカメラから受信する工程と、
デプスセンサから前記シーンの第一デプスマップのデータを示すデータを受信する工程と、
前記第一ビデオカメラから受信したデータを解析して、法線領域に関するデータを供給する工程とを備え、更に前記方法は前記法線領域に関する前記データと前記第一デプスマップに関する前記データとを合成して前記シーンの前記３Ｄ画像データを生成する工程を備える方法。
【請求項６】
画像となる前記シーンがＬａｍｂｅｒｔｉａｎ撮像モデルに従って光を反射することを想定して、前記第一ビデオカメラからの前記データが解析され、
【数１】
ここで、ｃ０，ｃ１，ｃ２をそれぞれ前記三つの方向から前記シーンを照明してキャプチャーした画像内のある画素について測定した輝度とするとき、ｃ＝［ｃ０ ｃ１ ｃ２］Ｔが成立し、ｎは前記画素の表面に対する法線を表すベクトル、Ｖは前記表面および前記カメラの照明に対する結合応答を表す行列、Ｌは前記三つの照明光の方向を決める行列である、請求項５に記載の方法。
【請求項７】
較正工程をさらに備え、Ｍ＝ＶＬの場合、該較正工程がＭを決定するよう構成されている、請求項６に記載の方法。
【請求項８】
較正工程をさらに備え、Ｍ＝ＶＬの場合、該較正工程がＶおよびＬを決定するよう構成されている、請求項６に記載の方法。
【請求項９】
画素ごとにＶが決定される、請求項８に記載の方法。
【請求項１０】
Ｎを１以上でシーン内の画素数未満の整数である場合、行列ＶがＮ個となるよう較正中にシーンごとに複数の行列Ｖが決定される、請求項９に記載の方法。
【請求項１１】
前記行列ＶａΕ１，．．．．．．．，ＮがＲＡＮＳＡＣアルゴリズムを用いて決定される、請求項１０に記載の方法。
【請求項１２】
モデル選択法に基づいて前記Ｎが自動的に決定される、請求項１０に記載の方法。
【請求項１３】
前記第一ビデオカメラから受信された前記データは、前記三つの照明方向それぞれについて二つずつの異なる照射条件からなる六つの異なる条件下で照明された前記シーンの画像データを含み、前記六つの異なる条件下での前記データを解析することにより、画素ごとに前記行列Ｖが決定される、請求項９に記載の方法。
【請求項１４】
前記三つの異なる照明方向からの前記データを解析し、かつ前記デプスセンサからのデータより前記表面法線を計算することによって、画素ごとに前記行列Ｖが決定される、請求項９に記載の方法。
【請求項１５】
前記解析工程は、該第一ビデオカメラおよび該デプスセンサからのフレーム単位でのデータ受信する工程と、前記観察されたシーンを一定の色度の領域にセグメント化する工程とを備え、一定の色度の領域のそれぞれに前記行列Ｖからなる行列が指定される、請求項１０に記載の方法。
【請求項１６】
該セグメント化工程はマルコフ確率場ネットワークを用いて行われる、請求項１５に記載の方法。
【請求項１７】
前記第二デプスマップに関する前記データを前記第一デプスマップのデータと合成して前記シーンの３Ｄ画像データを生成する工程は、前記第二マップに関する前記データをノイズレベルでブラー処理する工程と、ブラーに起因する前記第二デプスマップの前記法線の回転を計算する工程と、該回転を前記第二デプスマップと同一のノイズレベルでブラー処理された前記第一デプスマップの前記法線に適用することとを含む、請求項５に記載の方法。
【請求項１８】
請求項５に記載の動的シーンの３Ｄ画像データを生成する方法であって：
それぞれが互いに異なる波長の光を照射するよう構成された三つの光源により、キャプチャーすべき前記シーンを照明することで前記フォトメトリック画像データをキャプチャーする工程と、
前記シーンから反射された前記光源からの光を受光するよう構成された第一ビデオカメラを用いて前記シーンの画像をキャプチャーし、前記光源ごとに前記シーンから反射された前記光を分離する工程とをさらに備える。
【請求項１９】
前記第二デプスマップに関する前記データを前記第一デプスマップのデータに位置合わせするための較正データを取得する工程をさらに備え、該較正データを取得する工程は、少なくとも一つの特徴を有する較正ボードの画像データをキャプチャーする工程を含み、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンと該ボードの３Ｄレリーフとの双方における切れ目を規定する行、点、または形から選ばれる、請求項１８に記載の方法。
【請求項２０】
請求項５に記載の前記方法を実行するようコンピュータを制御するためのコンピュータ読み取り可能な命令を記憶する記憶媒体。
【請求項１】
シーンの３Ｄ画像データをキャプチャーするシステムであって：
各々が互いに異なる波長の光を照射し、キャプチャーすべきシーンを照明するよう構成された三つの光源と；
前記シーンから反射された前記光源からの光を受光するよう構成され、各光源から受光された光を分離し、前記三つの光源ごとにキャプチャーされた前記画像に関するデータを出力する第一ビデオカメラと；
前記シーンの第一デプスマップをキャプチャーするよう構成されたデプスセンサと；
前記第一ビデオカメラからデータを受信し、該データを処理して前記三つの光源ごとにキャプチャーされた前記画像から得られた法線領域に関するデータを取得する解析ユニットにおいて、前記法線領域に関する前記データを前記第一デプスマップのデータに合成して、前記シーンの３Ｄ画像データをキャプチャーする前記解析ユニットとを備えるシステム。
【請求項２】
前記デプスセンサは前記第一ビデオカメラと、第二ビデオカメラと、相関ユニットとを備え、前記第二ビデオカメラは前記第一ビデオカメラから空間的に分離されており、前記相関ユニットは前記第一および第二ビデオカメラから受信した前記データを関連づけて前記シーンのデプスマップを生成するよう構成されている、請求項１に記載のシステム。
【請求項３】
該デプスセンサは、パターンを該シーンに投影するよう構成されたプロジェクタと、前記シーンに投影された該パターンの画像をキャプチャーするよう構成されたカメラとを備え、該解析ユニットは第二デプスマップを生成するよう構成されている、請求項１に記載のシステム。
【請求項４】
該デプスセンサはタイムオブフライトセンサを備える、請求項１に記載のシステム。
【請求項５】
動的シーンの３Ｄ画像データを生成する方法であって、
三つの異なる方向から照明された前記シーンの該第一カメラによりキャプチャーされた映像データを含むフォトメトリック画像データであって、照明方向ごとにキャプチャーされた前記画像データに分離可能であるフォトメトリック画像データを第一ビデオカメラから受信する工程と、
デプスセンサから前記シーンの第一デプスマップのデータを示すデータを受信する工程と、
前記第一ビデオカメラから受信したデータを解析して、法線領域に関するデータを供給する工程とを備え、更に前記方法は前記法線領域に関する前記データと前記第一デプスマップに関する前記データとを合成して前記シーンの前記３Ｄ画像データを生成する工程を備える方法。
【請求項６】
画像となる前記シーンがＬａｍｂｅｒｔｉａｎ撮像モデルに従って光を反射することを想定して、前記第一ビデオカメラからの前記データが解析され、
【数１】
ここで、ｃ０，ｃ１，ｃ２をそれぞれ前記三つの方向から前記シーンを照明してキャプチャーした画像内のある画素について測定した輝度とするとき、ｃ＝［ｃ０ ｃ１ ｃ２］Ｔが成立し、ｎは前記画素の表面に対する法線を表すベクトル、Ｖは前記表面および前記カメラの照明に対する結合応答を表す行列、Ｌは前記三つの照明光の方向を決める行列である、請求項５に記載の方法。
【請求項７】
較正工程をさらに備え、Ｍ＝ＶＬの場合、該較正工程がＭを決定するよう構成されている、請求項６に記載の方法。
【請求項８】
較正工程をさらに備え、Ｍ＝ＶＬの場合、該較正工程がＶおよびＬを決定するよう構成されている、請求項６に記載の方法。
【請求項９】
画素ごとにＶが決定される、請求項８に記載の方法。
【請求項１０】
Ｎを１以上でシーン内の画素数未満の整数である場合、行列ＶがＮ個となるよう較正中にシーンごとに複数の行列Ｖが決定される、請求項９に記載の方法。
【請求項１１】
前記行列ＶａΕ１，．．．．．．．，ＮがＲＡＮＳＡＣアルゴリズムを用いて決定される、請求項１０に記載の方法。
【請求項１２】
モデル選択法に基づいて前記Ｎが自動的に決定される、請求項１０に記載の方法。
【請求項１３】
前記第一ビデオカメラから受信された前記データは、前記三つの照明方向それぞれについて二つずつの異なる照射条件からなる六つの異なる条件下で照明された前記シーンの画像データを含み、前記六つの異なる条件下での前記データを解析することにより、画素ごとに前記行列Ｖが決定される、請求項９に記載の方法。
【請求項１４】
前記三つの異なる照明方向からの前記データを解析し、かつ前記デプスセンサからのデータより前記表面法線を計算することによって、画素ごとに前記行列Ｖが決定される、請求項９に記載の方法。
【請求項１５】
前記解析工程は、該第一ビデオカメラおよび該デプスセンサからのフレーム単位でのデータ受信する工程と、前記観察されたシーンを一定の色度の領域にセグメント化する工程とを備え、一定の色度の領域のそれぞれに前記行列Ｖからなる行列が指定される、請求項１０に記載の方法。
【請求項１６】
該セグメント化工程はマルコフ確率場ネットワークを用いて行われる、請求項１５に記載の方法。
【請求項１７】
前記第二デプスマップに関する前記データを前記第一デプスマップのデータと合成して前記シーンの３Ｄ画像データを生成する工程は、前記第二マップに関する前記データをノイズレベルでブラー処理する工程と、ブラーに起因する前記第二デプスマップの前記法線の回転を計算する工程と、該回転を前記第二デプスマップと同一のノイズレベルでブラー処理された前記第一デプスマップの前記法線に適用することとを含む、請求項５に記載の方法。
【請求項１８】
請求項５に記載の動的シーンの３Ｄ画像データを生成する方法であって：
それぞれが互いに異なる波長の光を照射するよう構成された三つの光源により、キャプチャーすべき前記シーンを照明することで前記フォトメトリック画像データをキャプチャーする工程と、
前記シーンから反射された前記光源からの光を受光するよう構成された第一ビデオカメラを用いて前記シーンの画像をキャプチャーし、前記光源ごとに前記シーンから反射された前記光を分離する工程とをさらに備える。
【請求項１９】
前記第二デプスマップに関する前記データを前記第一デプスマップのデータに位置合わせするための較正データを取得する工程をさらに備え、該較正データを取得する工程は、少なくとも一つの特徴を有する較正ボードの画像データをキャプチャーする工程を含み、該少なくとも一つの特徴は、該較正ボード上に形成された２Ｄパターンと該ボードの３Ｄレリーフとの双方における切れ目を規定する行、点、または形から選ばれる、請求項１８に記載の方法。
【請求項２０】
請求項５に記載の前記方法を実行するようコンピュータを制御するためのコンピュータ読み取り可能な命令を記憶する記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１２−２４８１８３（Ｐ２０１２−２４８１８３Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１０７４９５（Ｐ２０１２−１０７４９５）
【出願日】平成２４年５月９日（２０１２．５．９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１２−１０７４９５（Ｐ２０１２−１０７４９５）
【出願日】平成２４年５月９日（２０１２．５．９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]