３Ｄ撮像システム
目的物表面の三次元モデルを計算する装置・方法を開示する。少なくとも一の指向性エネルギ源が目的物を指向的に照射する。相互に相対して固定位置で少なくとも二の空間的に離れたビューポイントを有する撮像アセンブリは目的物がエネルギ源で照射されると個々のビューポイントにおける目的物の一連の画像を記録する。所定形状フィーチャを有する少なくとも一のテンプレートは目的物と同時にビューポイントに対し可視である。ビューポイントにて記録された画像は分析され一連の画像内の個々の画像に対してテンプレートに相対する個々のビューポイントの位置及びポーズを判別する。目的物に対する測光データはビューポイントの計算された位置及びポーズと画像データを用いて生成される。目的物の初期の三次元モデルを含む形状データは光学三角測量を用いてステレオスコープ復元を実行して生成される。形状及び測光データは組み合わされ三次元モデルを構築する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像を取得する装置及び方法に関する。特に、本発明は、目的物の表面の３Ｄ撮像及び計測に関する。
【背景技術】
【０００２】
３Ｄ撮像は、実際の目的物の表面領域の形状（物理形状）のデジタルフォームへの取得である。場合により、目的物の物質反射特性も取得され得る。目的物の表面領域は、目的物の物理的表面のサブ領域と考えられ得る。システムは、広範な表面領域の撮像を含むように拡張できるが、このことは、システムは、単一のビューポイントから画像装置により取得可能な領域よりも大きい領域（例えば、３Ｄの目的物の一つ以上の側面に関する表面領域）を取得できることを意味する。システムは、形状の計量特性と同時に、目的物若しくはシーンの表面形状及び物質特性の、一部もしくは全てを捕捉できる。物質反射特性の例は、散乱表面色、物質の示す鏡面反射性の性質の計測を含み、両方とも絶対値として、及び、スペクトル成分により、示される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｒ，Ｉ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”．Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００
【非特許文献２】Ｊ−Ｙ Ｂｏｕｇｕｅｔ“Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ”ｈｔｔｐ：ｗｗｗ．ｖｉｓｉｏｎ．ｃａｌｔｅｃｈ．ｅｄｕ／ｂｏｕｇｕｅｔｊ／ｃａｌｉｂ ｄｏｃ／ｉｎｄｅｘ．ｈｔｍｌ
【非特許文献３】Ｒ，Ｉ．Ｈａｒｔｌｅｙ及びＡ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００
【非特許文献４】Ｋｏｌｍｏｇｏｒｏｖ及びＺａｂｉｈによる“Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２００３
【非特許文献５】Ａ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓによる“Ｒｅｃｏｖｅｒｉｎｇ ３−Ｄ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｆｒｏｍ ａ ｓｍａｌｌ ｎｕｍｂｅｒ ｏｆ ｐｈｏｔｏｇｒａｐｈｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ，Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ，ページ２３０−２４０、２００３
【非特許文献６】Ｓ．Ｓｍｉｔｈによる“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ａ Ｐｒａｃｔｉｃａｌ Ｇｕｉｄｅ ｆｏｒ Ｅｎｇｉｎｅｅｒｓ ａｎｄ Ｓｃｉｅｎｔｉｓｔｓ”，Ｂｕｔｔｅｒｗｏｒｔｈ−Ｈｅｉｎｅｍａｎｎ ２００２
【非特許文献７】Ｊ．Ｃ．Ｃａｒｒ及びＲ．Ｋ．Ｂｅａｔｓｏｎ及びＪ．Ｂ．Ｃｈｅｒｒｉｅ及びＴ．Ｊ．Ｍｉｔｃｈｅｌｌ及びＷ．Ｒ．Ｆｒｉｇｈｔ及びＢ．Ｃ．ＭｃＣａｌｌｕｍ及びＴ．Ｒ．Ｅｖａｎｓによる“Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨページ６７−７６，２００１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３Ｄ撮像の利用例は、様々な領域で見出され得る。医療目的の人体の撮像、ビデオゲーム及びフィルムの生産でレンダするためのデータの捕捉、アーキテクチャモデルキャプチャ、ＣＡＤのためのリバースエンジニアリング、及び、考古学などの、アーカイブ目的のデータチャプチャ、などである。目的物の形状の３Ｄ収集のための、様々なシステムが知られているが、通常、現存のシステムは、この点に関して以下の制約（欠点）の一つ又はそれ以上を示す。
・それらは形状のみ取得し、物質反射率について取得しない。
・それらは携帯式ではなく、従って“あるがままでの”キャプチャができない。
・それらは、説得力のあるレンダリング、即ち、詳細な分析のための、十分な解像度（ユニット領域当たりのサンプル）に達していない。
・それらは、対象の十分な領域（例えば、全体壁若しくは床、又は、単一のビューポイントから取得し得ない、人体の部分などの、自己閉塞した目的物）をキャプチャしない。
・それらは、“ステッチ”する十分な手段を与えない。ここで、“ステッチ”することとは、キャプチャされたデータの多数の小さいセクションを、自動的に単一の連続のより大きいセクションに組み合わせることである。
・システムは、自動式ロボットアーム、精密製造部品などの、複雑で及び／又は非常に高価なハードウエアを利用する。
・システムは、複雑で且つ時間の掛かる較正を要求する。
・撮像装置及び他のシステム形状の較正は、独立した手順として実施されねばならず、結果として、システム較正エラーが積み重なることがある。
・システムのキーとなる物理パラメータは、計量規格に付託されない。
・結果として計測は、度量衡標準へ辿ることができない。
・システムは、例えば、射影レーザストライプに基づく“能動的”ステレオスコープ技術
を要求するが、システムの安全性若しくは受容性に関する問題により、システムは、例えば医療的利用に適さないものになってしまう。
【０００５】
本システムは、上記問題の少なくとも一部を緩和することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの形態によって、目的物の３次元モデルを計算するための装置が提示される。装置は、目的物を指向的に照射するように構成された少なくとも一つの指向性エネルギ源を含む。撮像検知アセンブリは、相互に相対して、固定された位置で少なくとも２つの空間的に分離したビューポイントを有し、目的物が上記エネルギ源により照射されるとき、個々のビューポイントにて目的物に関する一連の画像を記録するように構成されている。少なくとも一つの位置特定テンプレートは、所定の形状フィーチャを有し、ビューポイントの少なくとも一つに対して、目的物と同時に可視である。プロセッサは、ビューポイントにて記録された画像を分析するように構成されており、一連の画像内の個々の画像につき、上記位置特定テンプレートに相対する個々のビューポイントの位置及びポーズを判別し、計算されたビューポイントの位置及びポーズ、並びに、画像データ及びエネルギ源からの照射の指向を、利用して、目的物のための測光データを生成する。プロセッサは、更に、光学三角測量を用いてステレオスコープ復元を実行することにより目的物の初期の３次元モデルを含む形状データを生成し、上記形状データと上記測光データを組み合わせて３次元モデルを構築するように構成されている。
【０００７】
よって、装置は、目的物の少なくとも２つの分離したビューポイントを設けることができる。２つのビューポイントの場合、これは“ステレオペア”としばしば称される。但し、当然ながら２以上のビューポイントも利用可能であり、このことは、装置の正確さ及び／又は可視範囲を増大させる。本明細書で用いる“ステレオ”及び“ステレオスコープ”の用語は、２若しくは３又はそれ以上のビューポイントからの画像の処理を含むことを意図するものであり、ペアのビューポイントのみに開示を限定することを意図しない。
【０００８】
指向性エネルギ源は、例えば、標準的写真フラッシュ、高輝度ＬＥＤクラスタ、若しくは、キセノンフラッシュ電球即ち“リングフラッシュ”であってもよい。但し、当然ながら、エネルギは可視光スペクトル内である必要は無い。エネルギ源は、電磁放射などの指向性エネルギを生成するどの手段を含んでもよく、以降ではそれを“光”と称するものとし、当然ながらこれは可視スペクトル内の放射に限定されない。例えば、偏光フィルタなどの、適切な光学フィルタリングは、エネルギ源及び／又は画像検知アセンブリに含まれてビューポイントにおける指向性エネルギ源の直接の反射の可視性を減少させるものであってもよい。可視光指向性エネルギが利用される場合、例えば、２つ若しくはそれ以上の標準的デジタルカメラ、若しくはビデオカメラ、又は適宜搭載されたＣＭＯＳセンサ及びレンズを含む、センサが、ビューポイントに設けられてもよい。他のタイプの指向性エネルギの場合、利用される指向性エネルギに対して適切なセンサが、選ばれる。離散センサが個々のビューポイントに配置されてもよく、別の形態では単一のセンサが、分割レンズの背後に配置されてもよい。
【０００９】
一つの実施形態では、照射の指向性はビューポイントに相対して、周知であってもよい。このことは、例えば、照射が、ビューポイントに相対して固定された、多数のエネルギ源により設けられるならば、達成され得る。
【００１０】
照射の指向性がビューポイントに相対して周知でないならば、位置特定テンプレートはエネルギ源により照射されねばならず、同時に、一連の画像のうちの個々の画像において、ビューポイントの少なくとも一つに対して、可視で無ければならない。例えば、エネルギ源は、一連の画像内において画像間で移動可能であり、その場合、位置特定テンプレートは照射の指向性を特定するのに利用され得る。
【００１１】
位置特定テンプレートは、撮像デバイスと位置特定テンプレートの相対的位置が位置特定テンプレートを撮像することにより判別され得るように、（例えば、プリントパターンなどの）所定のセットの形状フィーチャを含んでもよい。パターンのフィーチャは、画像処理アルゴリズムのための非常に刺激的なビーコンとして作用するように設計されてもよい。周知の寸法の光源位置特定フィーチャも、位置特定テンプレートに関するエネルギ源の相対的位置の計算を促進すべく、設けられ得る。これは、例えば、周知の寸法のコーン若しくはピラミッドであればよい。位置特定テンプレートは、撮像デバイス内で色応答較正及び／又は訂正を促進する色較正部を含んでもよい。
【００１２】
個々の位置特定テンプレートは、個別の位置特定テンプレートが自動的に一意的に特定され得る一つ若しくはそれ以上の一意的フィーチャを包含してもよい。このことの一つの例は、プリントされた１Ｄ若しくは２Ｄの“バーコード”である。このことの別の例は、無線周波数特定デバイス、即ち“ＲＦＩＤタグ”を含む。別の例は、パターン内に配置された、一つ若しくはそれ以上の逆反射マーカを含み得る。更なる例は、位置特定テンプレート内の埋め込みＥＥＰＲＯＭチップなどを含む。これらのフィルタのどれもが、記録された画像を目的物にリンクし、及び／又は、位置特定テンプレートの単一の利用を保証する、“鍵”として利用され得る。位置特定テンプレートは、計量基準に対して、自動的な識別及び／又は計測を可能にする、更なるマーカを含み得る。ショートレンジのＲＦＩＤタグトランシーバにより、ＲＦＩＤタグを含む位置特定テンプレートと装置の残部との間の通信が可能になる。装置内のインタフェースハードウエアにより、ＥＥＰＲＯＭなどを含む位置特定テンプレートと装置の残部との間の通信が可能になる。
【００１３】
一意的識別フィーチャは、他の３Ｄ画像取得システムと共に用いられるテンプレート上にも含まれ得る。従って、本発明の別の形態によると、目的物の３次元モデルを計算する装置が提示され、該装置は、目的物の少なくとも一つの３Ｄモデルを生成するように構成された少なくとも一つの画像スキャナを含む。装置は、所定の形状フィーチャを有する少なくとも一つの位置特定テンプレートと、他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャも含む。位置特定テンプレートは、利用時に目的物と同時にスキャナにより検出されるように構成されている。プロセッサは、センサにより記録された画像を分析し３次元モデルを構築するように構成されている。本発明は、そのような一意的識別フィーチャを有する位置特定テンプレートも提示する。
【００１４】
好適な実施形態では、装置は、複数の位置特定テンプレートを含む。センサ及びエネルギ源が、少なくとも２つの第１のテンプレートが、目的物の第１の部分と同時に、センサの少なくとも一つに対して可視である、第１の位置に配置され、上記少なくとも２つの第１のテンプレートの少なくとも一つが、少なくとも一つの他のテンプレート、及び、上記第１の部分とオーバラップする目的物の第２の部分と同時に、センサに対して尚可視である、第２の位置へ移動可能である。センサが両方の位置からの画像を記録し、画像からのデータが組み合わされて目的物の第１と第２の部分をカバーするモデルを生成する。
【００１５】
言い換えれば、多数のテンプレートを利用することにより、大きい目的物のオーバラップする部分の画像を、別途可能なものよりも、目的物のより大きい部分の画像を構築するのに用いることができる。更に、多数のテンプレートは、形状データを取得する他の手段（例えば、レーザストライパ）と共に用いることもでき、その利用は受動的ステレオを用いる構成に限定されない。よって本発明の更なる形態によると、目的物の３次元モデルを構築する装置が提示され、該装置は、目的物の画像を記録するように構成されている少なくとも一つの画像センサを含む。装置は、複数の位置特定テンプレートを含み、各々の位置特定テンプレートは、表面と同時にセンサに可視である所定のセットの形状フィーチャを含み、これにより、テンプレートに関してセンサの相対的位置の判別が可能になる。プロセッサは、センサにより記録された記録された画像を分析して、個々の位置特定テンプレートに関するセンサの相対的位置を判別し更なる処理のために目的物の多数のビューポイントからの画像を組み合わせるように構成されている。目的物の表面の表面復元は、指向性エネルギ源からの反射エネルギの計測変動を用いて、若しくは、周知の他の方法を利用して画像を処理することにより、実施され得る。
【００１６】
プロセッサは、撮像デバイスからの画像を格納し、或る画像処理機能、検査中の目的物の表面の３Ｄ復元及び表示、並びに、分離した照射状況の復元、計量基準の抽出、色基準の抽出、一意的識別子の抽出及び記録、及びテンプレートに対する単一の利用の実行などの、他の機能を実行する、手段を含んでもよい。通常、これは、モニタを伴うデスクトップ若しくはラップトップ、ハードディスク、及び、全ての他の一般的コンポーネントであればよい。
【００１７】
システムは、計測学的原理を採用する。よって、少なくとも好適な実施形態では、原理上、上位の計量基準にトレース可能な基準的“テンプレート”に関して、計測が為される。全ての撮像は、固定座標データ若しくは座標データのセットを用いて実行される。システムの全ての較正は、原理上、参照目的物としての“テンプレート”を用いて実行され得る。システムの一つの実施形態の特別の特徴は、シーンの単一のカメラビューでは収まりきらない大きい表面領域を実効的に処理することができることである。受動的ステレオスコープ形状データと測光データを組み合わせることにより、レーザストライパプロジェクションなどのパターン化光に対する要求は除去される。
【００１８】
システムは、携帯式キャプチャにたいして適合的であるのが好ましい。即ち、システムは、“そのままで”キャプチャできるように目的物若しくは拡張表面に対して移動可能である。よってセンサは、携帯式の、ハンドヘルド器具で組み合わされているのが好ましい。利用時には、表面の一連の画像が、表面上に若しくは表面周りに配置された一つ若しくはそれ以上のテンプレートでキャプチャされ、表面と同時に撮像されるのが好ましい。ステレオ画像のセットは、指向性エネルギ源を移動し、ステレオ（二つ若しくはそれ以上のビューポイント）画像カメラと同期する指向性エネルギ源を発射することにより、取得される。その後、検査中の表面を復元する処理を実行する（キャプチャ後“オフライン”でも実行可能である）。所得された表面の測光復元は、２つのステレオビューポイントの一つの“サイド”からの変動する指向性照明を有する画像のセットを処理することにより、実施され得る。取得された表面の受動的ステレオスコープ復元は、画像の一つ若しくはそれ以上のステレオペアを処理することにより、実施され得る。
【００１９】
本発明の更なる形態によると、目的物の３次元モデルを計算するための方法が提示される。目的物は、少なくとも一つの指向性エネルギ源で、指向的に照射される。目的物に関する一連の画像が、相互に相対して、固定された位置で少なくとも２つの空間的に分離したビューポイントの各々において記録される。ビューポイントの少なくとも一つからの画像は所定の形状フィーチャを有する少なくとも一つの位置特定テンプレートも含む。位置特定テンプレートに相対する個々のビューポイントの位置及びポーズは、記録された画像から、判別される。目的物のための測光データは、記録された画像から、計算されたビューポイントの位置及びポーズ、並びに、照射の指向を利用して、生成される。目的物の初期の３次元モデルを含む形状データは、光学三角測量を用いてステレオスコープ復元を実行することにより生成される。形状データと測光データは、３次元モデルを構築するために組み合わされる。
【００２０】
本発明の更なる形態によると、目的物の３次元モデルを構築する方法が提示される。 画像センサが、複数のビューポイントからの目的物のオーバラップする部分の画像を記録するために利用され、個々の画像は、所定の形状フィーチャを有する少なくとも２つの位置特定テンプレートを含む。画像センサの相対的位置は、位置特定テンプレートに関して、判別される。更なる処理のために、表面の多数のビューポイントからの画像が組み合わされる。好ましくは、指向性エネルギ源からの反射エネルギにおける計測変動を用いて。目的物の表面の表面復元が実行される。
【００２１】
本発明の別途の形態によると、目的物の３次元モデルを計算する方法が提示される。他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャと、所定の形状フィーチャとを有する、少なくとも一つの位置特定テンプレートと共に、目的物の画像を記録するために少なくとも一つの画像センサが利用される。３次元モデルを構築するために、画像センサにより記録された画像が分析される。
【発明の効果】
【００２２】
本発明に係るシステムにより、上記問題の少なくとも一部が緩和される。
【図面の簡単な説明】
【００２３】
【図１】目的物の３Ｄ画像を取得する装置を示す。
【図２】携帯電話のセクションをキャプチャする、利用時の図１の装置を示す。
【図３】壁のセクションをキャプチャする、利用時の別の装置を示す。
【図４】位置特定テンプレートの例を示す。
【図５】“従来の”測光ステレオのための通常のセットアップを示す。
【図６】ステレオスコープの範囲決定の形状図を示す。
【図７】多数のオーバラップの領域での撮像による、拡張表面領域をキャプチャする、利用時の図１の装置を示す。
【図８】多数のオーバラップの領域での撮像による、拡張表面領域をキャプチャする、利用時の図３の装置を示す。
【図９】様々なビューポイントから取得される画像を組み合わせるシステムの例を示す。
【発明を実施するための形態】
【００２４】
本発明の複数の好適な実施形態を、添付の図面を参照しつつ例示としてのみ説明する。
【００２５】
図１は、目的物１０１の３Ｄ画像をキャプチャする装置１００を示す。装置１００は、２台のカメラ１１１、１１２、及び、カメラ１１１、１１２に堅固に固定された４台の指向性光源１０６−１０９を備える撮像デバイス１０４を含む。この例で示されるように、デバイス１０４は、人間の肢の表面の位置をキャプチャするのに利用されている。もっとも、当然ながらその利用は人体に限定されるものではなく、デバイスは、概略類似の特徴を有する目的物、若しくはより大きい目的物のセクション、又は、壁や床などの環境の表面に、用いられ得る。一つ若しくはそれ以上の位置特定テンプレート１０２、１０３は、目的物１０１の表面が、同時に撮像デバイス１０４から見えるように、目的物１０１上に若しくは傍に配置される。これらテンプレート１０２、１０３は、復元を為すべく、カメラ１１１、１１２の視野内にあることが要求される。単一のテンプレート１０２、１０３が画像を復元するのに要求されているが、単一のテンプレートのみが利用されるときに取得可能な目的物１０１の表面領域は限定される。テンプレートの数を増すことにより、システムは、必要な広い領域をカバーすることができる。例えば、“使い捨て”の粘着パッドや両面テープを用いるアタッチメントなどの、テンプレートを添付する方法が利用される。
【００２６】
この例では、視覚デバイス１０４はハンドヘルドであり、ケーシング及びハンドル１０５を含むこととされている。もっとも、この物理的構成は制約的なものではないことは明らかであり、デバイスはどんな適切な形状でもよく、例えば、ハンドヘルドではなく三脚により支持されてもよい。光源は、カメラに対して堅固に固定されているので、カメラに対する光源の位置は分かっている。システムの更なる特徴は、関連する位置特定テンプレート１０２、１０３に埋め込まれたＲＦＩＤタグと通信して一義的に特定する、ケーシング１０５内部に含まれた無線トランシーバである。システムのまた更なる特徴は、関連する位置特定テンプレート１０２、１０３に埋め込まれたＥＥＰＲＯＭ若しくは類似のデバイスと通信して一義的に特定する、インタフェースハードウエアである。
【００２７】
指向性光源１０６−１０９は、両方のカメラ１１１、１１２と同時に動作し、これにより、ここのカメラは、目的物１０１とテンプレート１０２、１０３の一連の２Ｄ画像を取得する。カメラからの２Ｄ画像は、以下で詳しく説明する、目的物１０１の３Ｄ表現を生成する処理手段により処理される。処理手段は、この例ではラップトップコンピュータ１１０として示されている。もっとも、当然ながら“オンボード”プロセッサにより処理が実施され得る。“オンラインで”（即ち、イメージキャプチャの間に、若しくはその直後に）でも、一連の画像が例えばフラッシュメモリにセーブされ後で処理される“オフラインで”でも、処理が実施され得るのは明白である。
【００２８】
前述のように、撮像システムは、人体の撮像に限定されるものではない。図２は、無生物の目的物、この場合は携帯電話２０１の表面領域を撮像するのに用いる、本発明の類似のハンドヘルドの形態を示す。この場合、単一の位置特定テンプレート２０２のみが、利用され、目的物近傍に配置され、撮像デバイス１０４で目的物と同時に視覚される必要がある。
【００２９】
別のハードウエア構成が図３に示される。この例では、壁３０１の領域などの、拡張された環境の３Ｄ画像をキャプチャするのに、別の装置が用いられている。この例では、（ハンドヘルドの写真用フラッシュなどの）単一の光源３０２は、三脚３０４に搭載されているカメラ３０３とは独立して、移動可能である。一連の画像は、個々の画像に対して様々に配置される光源３０２により、カメラ３０３でキャプチャされる。テンプレート３０５−３１０の配列が、壁３０１上に、離れて配置される。個々のテンプレートは、図４に示しており且つ以下で詳しく説明する、“光位置特定”フィーチャ４０４を含む。個々のテンプレート上の光位置特定フィーチャ４０４は、テンプレートの画像に関する画像処理を介して、個々の画像内の指向性光源の位置を解決するのに利用される。画像処理は、専用の処理デバイス３１１により実行され得る。もっとも、当然ながらどの適切な処理手段も用いられ得る。
【００３０】
カメラ３０３により撮像される一連の画像は、３Ｄ情報及び物質表面特性を取得するために、処理される。結果データのサンプリングの解像度は、カメラ３０３の解像度に直接関連する。カメラ３０３自身は撮像間に動かすこともでき、よって、（後で詳しく述べるように）セクションで全壁を撮像できる。当然ながら、セクションの目的物１０１の表面をマップすべく、図１、２の撮像デバイス１０４により同様のアプローチを採用することもできる。目的物１０１、２０１、３０１をセクションで撮像することが必要である複数の理由がある。
１）表面のサイズに関して、所望の復元解像度に対する撮像デバイスの解像度は、全体領域が一つのセクションであるならば、不十分である。
２）表面の完全な領域において、指向性光源によりアウトプットされるエネルギの量は、反射エネルギからの表面復元には不十分である。
３）表面目的物に関して対象の領域は、目的物の自己閉塞により、単一の位置から見ることができない（例えば、一つのビューポイントから人間の肢の全体表面領域を見ることは不可能である）。
【００３１】
図３、７、８、９は、目的物１０１、３０１の表面の拡張された領域の画像をセクションで取得する原理を示す。図３では、カメラ３０３の可視領域３１２が、全体壁３０１の一部、及び、全セットの６テンプレート３０５−３１０のうち４個のテンプレート３０５、３０６、３０８、３０９のみを含むのが分かる。壁の多数セクションの画像を得ることにより、全体表面の３Ｄマップが構築され得る。このことは更に図８、９で示される。
【００３２】
同様に、図７は、３つの異なる位置７０５、７０６、７０７にある図１の撮像デバイス１０４を示し、それら位置の各々では、カメラ１１１、１１２は異なる視野７０８、７０９、７１０を有している。個々の視野は、撮像される目的物７０１の全体表面領域の部分を含み、また、位置特定テンプレート７０２、７０３、７０４の少なくとも２つを含む。一貫性ある単一モデルへの視覚の自動的組み合わせのキーは、多数の位置特定テンプレートの利用であり、このことは以下でより詳しく説明する。
【００３３】
３Ｄ情報を得るための３つの原理的取得技術を説明する。第１は光度復元であり、この場合、表面方向は、指向性光源からの周知の入射角に対する、反射エネルギの観測される変動から、計算される。このことにより、相対的な表面反射率のマップ（若しくは、照射の無い色）と一緒に、相対的高解像度表面法線マップが与えられる。相対的な表面反射のマップは統合され、深さ、若しくは範囲の情報を与えるのであり、それら情報は、目的物表面の３Ｄ形状を特定する。良好な高周波数ディテールのアウトプットはこの収集方法に対して一貫しているが、撮像処理内に存在するノイズの性質のために、絶対計量形状ではなく、低周波数ドリフト若しくは曲率の、導入部が存在する。取得の第２の方法は、受動的なステレオスコープの復元であり、光学三角測量に基づいて表面深さを計算する。これは、光学視差の周知の原理に基づく。この技術は概略、良好な低周波情報（目的物の表面の下層の粗の形状）を与えるが、ノイズが多く高周波数ディテールに欠ける。よって、２つの方法は補完的である。一つ若しくはそれ以上の位置特定テンプレートの利用を介して両方のモダリティからの情報を組み合わせるシステムは、携帯式のコンパクトなパッケージで優れた３Ｄ復元を生成できる。
【００３４】
本明細書で開示するシステムの光学フィーチャは、撮像デバイスと指向性光源に対する光学フィルタリングを利用する。目的は、復元ソフトウエアを混乱させる画像内のアーチファクトに導いてしまう、取得した画像内での指向性光源の鏡面反射が、見えることを減らすことにある。例えば、このことは、円偏光子フィルタの適切な方向のセットの利用によって、達成され得る。光学フィルタリングは、本明細書で開示するシステムで用いられる３Ｄ復元の２つの方法により実施される画像処理と共に利用すると、特に利点がある。
【００３５】
図４は、（図１−３、７の位置特定テンプレート１０２、１０３、２０２、３０５−３１０、７０２−４として用いるのに適当な）例示の位置特定テンプレートを詳細に示す。性質上２Ｄ及び３Ｄの両方の、種々のテンプレート構成が、撮像装置及び指向性エネルギ源の位置特定を実行するのに利用可能であること、及び、以下のフィーチャの多くは光学的であり機能等価物により置換可能であることは、当業者であれば理解するところである。この例では、テンプレートは、周知の計量寸法及び正確性のプリントパターンを伴う平坦平面ブロック４０１であり、以下のものを含む。
１．細い中央白線４０２を伴う太い黒ボーダ。
２．光位置特定フィーチャ。この例では、（測光光源３０２などの）指向性光源により証明されときブロックに付属するコーン４０４により、三角のシャドウ（図示せず）が投じられる中央白領域４０３として、示される。別の実施形態では、マットピラミッドが、コーンの代わりに利用され得る。ピラミッドが利用され得ると、指向性光源で照らした場合、ピラミッドの側部は、強度を様々変えることで撮像デバイスにより、観測される。光位置特定フィーチャに対する必要性は、選択されたシステム光源構成により決定される。
３．方向マーカ４０５。これはブロックから９０°回転対称を除去する。光学コーディング４０６。この例ではバーコードであるが、特定の位置特定テンプレートを一意的に特定する。これらは、単一のフィーチャに組み合され得る。
４．埋め込み無線周波数識別デバイス（ＲＦＩＤタグ）（図示せず）。これは、ハンドヘルドデバイスのケーシング１０５内の短距離無線トランシーバの利用を介して、テンプレートを一意的に特定するのに利用され得る。
５．埋め込みＥＥＰＲＯＭデバイス等（図示せず）。これは、ハンドヘルドデバイスとの通信を介して、テンプレートを一意的に特定するのに利用され得る。これは、ハンドヘルドデバイスのケーシング１０５内の適当なドッキング領域と接触させることにより、達成され得る。
６．色較正フィーチャ４０７。これは、例えば、撮像デバイス内の色反応較正及び／又は訂正を促進するように設計された色彩パターンを有する領域を含む。
７．逆反射デバイス４０８。これは、撮像デバイスへの同様の起源の位置を有する光源により照らされると、“ビーコン”として作用する画像内の特定可能フィーチャとなる。これは、画像処理ルーチンによる画像内のテンプレートの検出をアシストし得る。
【００３６】
指向性エネルギ源としての光、及び、撮像装置としてのステレオカメラペアを利用する、図１、２で示される撮像デバイス１０４の操作を、実施される機能、即ち、（光学識別による）テンプレート位置特定、測光３Ｄ復元、受動ステレオスコープ３Ｄ復元、並びに、測光及びステレオスコープデータの統合による３Ｄ復元に形式で、以下、説明する。
【００３７】
システムの第１の機能は、目的物が撮像される個々のビューポイントから見える一つ若しくはそれ以上のテンプレートに対する撮像デバイス１０４と、多数のビューポイントが用いられるべき場合の、全てのテンプレート自身の相対的位置とを、位置特定することである。図１の例では、ステレオカメラ１１１、１１２の初期の視野は、表面と２つの位置特定テンプレート１０２、１０３のセクションを含む。光学カメラ位置特定は、位置特定テンプレート上で規定される絶対座標フレームに関して、ステレオカメラシステムの空間内のポーズ（特に、ミリメートルなどのメータ単位での、実効的なカメラ中心座標Ｘ、Ｙ、Ｚによる、カメラのロール角、傾斜角及びヨー角）の決定である。位置特定テンプレートは、周知の計量サイズのものであるので、例えば、Ｅｓｓｅｎｔｉａｌ Ｍａｔｒｉｘ（Ｒ，Ｉ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”．Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００（非特許文献１））に記載されるような、例えば、焦点距離や、２つのカメラ間の射影的関係などの、カメラの撮像特性を幾つか計量的に与えられると、ステレオカメラの相対的位置は決定され得る。
【００３８】
個別のカメラと、ステレオ若しくはマルチビューカメラシステムとの両方の形状較正は周知の技術であり、較正テンプレートを撮像すること、或る特徴を抽出すること、及び、射影幾何学を利用してステレオカメラシステムの撮像特性を詳述するパラメータを決定することによる、画像ベースのアプローチで、実施され得る。その技術の実装は、Ｊ−Ｙ Ｂｏｕｇｕｅｔ“Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ”ｈｔｔｐ：ｗｗｗ．ｖｉｓｉｏｎ．ｃａｌｔｅｃｈ．ｅｄｕ／ｂｏｕｇｕｅｔｊ／ｃａｌｉｂ ｄｏｃ／ｉｎｄｅｘ．ｈｔｍｌ（非特許文献２）により記載されている。カメラシステムの撮像の特徴を知ることで、光学カメラ位置特定は、位置特定テンプレートの単一のビューポイントから（即ち、ステレオペアの単一の画像を用いて）実行され得る。このことは、（例示のテンプレート内の細い白線４０２などの）或る特徴を検知する画像処理ルーチンを実行すること、及び、射影幾何学を適用してカメラに対するテンプレートの座標フレーム間のホモグラフィを計算することを、含む。テンプレートのステレオビューの場合、較正されたステレオシステムを仮定すると、ポーズの評価の更なる正確性が得られ、及び／又は、較正パラメータが実証される。テンプレートのマルチプルビューも、原理上、カメラを記述する（若しくは較正する）のに必要とされる、鍵となる物理的パラメータを生成するのに利用可能であり、よって、同じ計量規格が、正確な復元に必要なカメラ位置及びパラメータを規定することができる。
【００３９】
システムは、調査される目的物の表面上に若しくは側に配置された一つ若しくはそれ以上の位置特定テンプレートを利用する。前述のように、図１の例では、カメラ１１１、１１２のビューポイントにより、カメラはテンプレート１０２、１０３を撮像でき、多数のテンプレートが可視である場合、ステレオカメラ１１１、１１２のポーズは、視覚上テンプレート１０２、１０３の各々に関して決定され得る。個別のテンプレートから計算されるものとして、若しくは、これらの座標フレームの全て若しくは一部の変換として、標準的ポーズが（任意に）選択され得る。標準的ビューは、テンプレートの現存のグループの全てのビューが投射される単一の座標フレームである。更に、テンプレート１０２、１０３が同じビューポイントから同時に撮像されるので、テンプレート１０２、１０３の相対的座標フレームの間の変換マッピングは、自明に計算され得る。多数のテンプレートを利用することと、テンプレート間の相対的ポーズを計算することは、大きい表面をセクションで撮像することの鍵である。
【００４０】
図７は、拡張表面領域、この例でも人間の足７０１の上方部を、キャプチャする使用中の図１のシステムを示す。３つの位置特定テンプレート７０２、７０３、７０４は足７０１に添付され、足は、３つの位置７０５、７０６、７０７に、撮像デバイス１０４及び関連ハードウエアを配置することで、ビューされる。個々の視野７０８、７０９、７１０は、少なくとも一つの他の視野とオーバラップし、３つのテンプレート７０２、７０３、７０４のうちの少なくとも２つを含む。ステレオカメラシステムの較正は一定のままであり、個々のビュー内の個々のテンプレートの間の相対的ポーズは（即ち、テンプレート７０２を７０３に、７０３を７０４に、７０２を７０４にマッピングして）計算され得るので、異なる位置７０５、７０６、７０７のための相対的ポーズと共に、全てのテンプレートの相対的ポーズを決定する完全なマッピングが、決定され得る。
【００４１】
個々のテンプレートは、単一のビューポイントから独立した位置特定を、与えるので、ビューポイントに渡る位置評価を組み合わせる必要が無く、（“ドリフト”として知られる）画像登録から生じるポーズ評価内での蓄積されたエラーを回避し、標準的ビュー座標間での変換と関連するスタックされたエラーを残すのみである。原理上、標準的ビュー間でスタックしたエラーが容認できないとみなされたとしても、独立の画像がテンプレートの全アンサンブルから取られて単一のグローバル座標系を規定できる。これは、“追跡する”方法に基づくビデオカメラに関する、本システムの重要な利点である。
【００４２】
この処理を自動的に実行するために、シーンの個々のビュー内で個々のテンプレートを一貫したやり方で特定することが、必要である。図４に関して前述したように、個々の位置特定テンプレート４０１は、その位置特定テンプレートを一意的に特定するのに利用される、バーコード４０６などのコーディングを含む。コーディングが信頼性高く検出され得る限り、あらゆるテンプレートは一意的となる。これは以下１）２）を満たすならば必要では無い。
１）位置特定テンプレートが不規則に配置され、オーバラップするビューが（少なくとも）２つのテンプレートを共通して含む。
２）位置特定が十分に正確である。
【００４３】
位置特定のテンプレートの間の相対的ポーズは、それらを一意的に特定するのに用いられ得る。配置の不規則性、及び、ポーズ評価の正確性によって、テンプレートから９０°対称を除去する（図４に示される）方向マーカ４０５を用いることが、必要になったりならなかったりする。採用されるＲＦＩＤシステムの相対的感度及び範囲によっては、テンプレートの一意的特定を助ける埋め込みＲＦＩＤタグを利用することが、バーコードの代替策となる。更なる代替策は、一意的な特定を助ける適切な通信ハードウエアを伴うテンプレート内の埋め込みＥＥＰＲＯＭチップなどを用いることである。
【００４４】
テンプレートの一意的な特定の利点は、大きい表面をセクションで撮像するのに多数のテンプレートが用いられる場合に限定されるものではない。一意的な特定は、結果としての画像ファイルの処理や格納にて助けとなる、システムによってキャプチャされる画像に関する更なるメタデータを、与えることができる。一つの特別な例は、医療的撮像に関するものであり、ターゲットのコードが、電子的患者記録と共に一意的スキャンを格納する助けとなるように用いられ得る。一意的な識別子は、データオーディットトレールを与えることにより、臨床試験の助けとなる。ターゲットが患者の皮膚に直接に配置されているならば、交差感染の可能性のため、別の患者に再利用してはならない。テンプレート識別子コードの不揮発性のリストは撮像デバイス内に格納されて、再利用されるテンプレートに関する処理を回避し、衛生実践を奨励するように、用いることができる。生産的プロセスの更なる例では、本明細書に開示される撮像方法は、品質保証管理のためにエンドツーエンドのオーディットトレールを与えるターゲットのコードにより、コンポーネントの構築の正確性を実証するのに、適用され得る。より一般的な例では、特定のコードをテンプレートに割り付け物理的分布を制御することにより、一意的識別子は、３Ｄ画像の創作者を判別する“ウオータマーク”を与え得る。
【００４５】
システムの第２の機能は、検査中の目的物の表面の測光回復を実行することである。測光回復の基本的原理は、測光ステレオ（ＰＳ）の原理である。測光ステレオの標準的フォームでは、表面に関する、一連の測光画像が取得され、このとき、カメラは目的物の表面に関して静止しているが、画像間にて照明方向で幾何学的変動はある。図５はそのようなシステムを示す。目的物５０１の表面から幾何学的上方をキャプチャすることが所望される。このことを達成するため、目的物は、複数の同一光源５０３〜５０５により個別に照らされるが、単一のカメラビューポイント５０２により撮像される。通常、３つの光源の最小のものが用いられる。
【００４６】
測光ステレオは、表面物質反射特性の近似モデルを要求する。一般的には、これは、双方向反射率分布関数（ＢＲＤＦ）により（表面の単一ポイントにて）モデル化され得る。問題を追跡可能にするために、単純化モデルが通常利用される。一つの例は、ランバートの余弦則モデルである。この単純なモデルでは、カメラにより観測される表面の強度は、光源からの入射照射エネルギの量、及び、目的物の表面形状による縮小効果のみに、依存する。これは以下のように表され得る。
【数１】
ここで、Ｉは、目的物に関して、単一のポイントでのカメラの観測された強度を表し、Ｐは、そのポイントでの入射照射光エネルギを表し、Ｎは、目的物−相対表面の法線ベクトルを表し、Ｌは、入射光の、正規化された目的物−相対方向を表し、ρはそのポイントでの目的物のランバート反射率を表す。
【００４７】
通常、目的物の表面におけるＰの変動は、先行の較正するステップで決定され、よって補償され得る。Ｌは通常、較正により決定され得る。原理的に、テンプレートを撮像することにより取得される情報を用いて、両方の較正するステップは実行されうる。図５の較正では、カメラと目的物は静止を維持しており、よって特定のピクセルにおいてカメラにより観測される表面の領域は同一を維持する。従って、変動する光方向により、画像のセットにおける特定のカメラピクセルにて観測される強度は、測光サンプルのセットと考えられ得る。光方向のカウントをＭ（Ｍ＞２）として、倍数を積み重ねることにより（数１）Ｎ及びρに対する解は、擬似逆元を介して最小二乗の意味で、見出され得る。
【数２】
【００４８】
ここで、Ｎが正規化されねばならないと更に分かることにより、ρはＮのノルムとして回復され得る。よって、表面反射率の適切なトレース可能モデルであるならば、ＰＳは、（例えば、可能な不均質ランバート反射係数などの）表面法線マップ及び物質特性として、目的物形状を取得するのに利用され得る。ＰＳは、単なるランバート反射の回復に限定されるものではないことに留意されたい。より洗練されたモデルの利用により、色反射、及び、例えば、鏡面反射の計測が回復され得る。別の（若しくは更なる)アプローチは、画像内で鏡面反射が見えることを減じさせるように、撮像デバイス及び光源の適切な光学フィルタリングを設けることである。
【００４９】
図５に示すＰＳの“従来の”構成に関していくつかの潜在的な問題がある。第一に、多数の物理的光源のハードウエアエキップメントは、幾つかの利用例では、コストが掛かり、ポータブルキャプチャには不便である。第二に、相対的光方向が既には知られていない場合、入射光方向の較正及び入射照射光の変動は、時間が掛かる。前述の位置特定テンプレートの利用は、これら問題を緩和する。
【００５０】
光学フィーチャとして、位置特定テンプレートは、光方向が単一の画像から決定され得る方法を与え得る。このことは、位置特定テンプレートの相対的ポーズを計算すること、及び（光位置特定フィーチャ４０４がコーンである場合には）コーンによりテンプレートの平面４０３に投射される三角シャドーを観測することにより、達成され得る。光線は、（テンプレートの平面に有る）三角シャドーの頂点から、周知の寸法を有し拠ってテンプレートの座標フレームに関して周知の位置を有するコーン４０４の先端を介して、投射されるので、入射光の方向が見出され得る。マットピラミッドの場合、ピラミッドの４面の表面の法線方向は周知であるので、側面の相対的強度は、数２と同様に用いて光源に対する光線を計算することができる。
【００５１】
入射光強度（Ｐ）の変動は、コーン形の光位置特定フィーチャの場合、位置特定テンプレートの影の無い部分からサンプルすることにより、評価され得る。ピラミッド光位置特定フィーチャの場合、位置特定テンプレート上のピラミッド周りの平坦領域が、同じ目的のために利用され得る。これらの領域４０３は、一様に白く平坦であり、従って、この領域における光強度の変動は、カメラ画像のピクセル強度の変化として現れる。サンプルは、画像内に存在する複数の位置特定テンプレートから組み合わせられ得、十分に拡散した光源が用いられるならば、Ｐの変動はスムーズになる。テンプレートが画像に渡って分布されていると仮定すると、サンプルは集合的に、表面の可視領域におけるＰの変動を表すものと考えられ得る。２Ｄ補間機能（例えば、バイ−クワドラテック）は適用可能であり画像内の任意の位置のＰのための値を評価する。
【００５２】
位置特定テンプレートの更なる光学的機能は、撮像システム、例えば、カメラの“ホワイトバランス”のカラーレスポンスの変動に対する、較正及び／又は訂正を助けることである。テンプレートは、例えば、白及び黒の領域を有する、周知の反射率を備えるので、このことは、テンプレートの画像を処理することを介して、達成され得る。このことを達成する方法は、当業者には周知である。この機能は更に、テンプレート内の特定のカラー較正フィーチャ４０７を組み合わせることにより、促進され得るものである。このカラー較正フィーチャ４０７は周知の反射率の付色領域を有する。このことにより、撮像されたカラーレスポンスと周知のベース反射率との間の直接の比較が可能になる。
【００５３】
システムの第３の機能は、光学三角測量を用いて受動的ステレオスコープ復元を実行することである。この技術は、それ自身物質反射率特性の取得のためのものではなく、（同じ撮像デバイスが用いられたならば）測光的アプローチよりも低い解像度形状データを生成するものであることに、留意されたい。この利点は、測光的復元を保管する、回復したデータのノイズ特徴にある。
【００５４】
この議論の目的のために、撮像デバイスは、２つの僅かに分離するビューポイントから、即ち、ステレオ画像ペアから、目的物の表面の画像を取得することが考えられる。２つのステレオビューポイント間の射影関係が、先行する較正を介して知られているならば、深さ情報は、ステレオペアを形成する画像間で２Ｄポイントを相互に関連付けることにより、解像され得る。ステレオビューポイントを用いる範囲情報の復元は、例えば、Ｒ，Ｉ．Ｈａｒｔｌｅｙ及びＡ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００（非特許文献３）に記載されており、更に、図６を参照して示される。標準的“ピンホール”モデルを仮定すると、平面６０１は、分離したカメラビューポイントの中心を表す２つのポイント６０２、６０３と交差し、２つの平面６０５、６０６はカメラ画像平面を表し、目的物の表面に第３のポイント６０４がある。目的物表面ポイント６０４の概念上のカメラ画像平面の画像６０７、６０８は、カメラの中心から目的物表面ポイント６０４への光線６０９，６１０の交差点である。従って、所与のポイント６０７に対して、対応するポイント６０８は、他のカメラ画像平面６０６内での平面６０１の交差部分である直線上に、なければならない。深さ情報の復元は、ステレオビュー間の対応の相対的密度セットが達成され得るならば、較正されたステレオカメラが与えられることにより、達成され得る。この分野では多数のアルゴリズムが残されている。例えば、Ｋｏｌｍｏｇｏｒｏｖ及びＺａｂｉｈによる“Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２００３（非特許文献４）に記載されている。
【００５５】
一意的な対応が見出され得ないので完全な影の画像領域は回復され得ない、ということが、受動的ステレオスコープ復元に関する一つの問題である。本明細書に記載のシステムの利点は、指向性のライティングを変動することで、多数のステレオ画像ペアを取得し得ることである。全ての可視的ポイントにて画像ペアの少なくとも一つで表面が適切に照射され、データを損失すること無く復元され得るという可能性は、このことにより大きく増大する。異なるステレオ画像セットから復元される形状は、位置特定テンプレートが参照のフレームを与えるので、単一の統合データセットに容易にマージされ得る。受動的ステレオスコープ復元に関する更なる問題は、画像内の優勢な光源からの直接の鏡面反射の存在である。鏡面反射は高画像コントラストの領域となることが多く、表面の位置が、見る方向で変動する。よって、それらは、“虚偽の対応”の光源となり、ステレオ復元を妨げるものとして、知られている。この問題を最小化するためのアプローチは、適切な光学フィルタを撮像デバイス及び光源に適用し、可視的な鏡面反射を最小化することである。
【００５６】
システムの第４の機能は、関連する（空間的に変動する）物質特性に従って、検査中の表面の３Ｄモデルを復元することである。このことは、前述の測光及び形状回復方法から復元されるデータを融合することにより、為される。測光ステレオにより、（不均質な）物質反射率モデルの係数と同時に、高密度表面法線マップの回復が与えられる。この開示の目的のために、用いられる表面形状の基本モデルは、“レンジマップ”即ち、レンジサンプルの２Ｄマトリクスとして、モデル化されるカメラに可視である目的物の表面のモデルである。この場合、形状復元により生成されるデータは、予測可能な量の高周波数ノイズを伴う、実際の“レンジマップ”のバイアスの無い、相対的に低解像のサンプリングであると、考えられ得る。測光復元により与えられる法線マップデータは、比較的高解像度の、但しバイアスの或る、実際の“レンジマップ”の導関数のサンプリングである、と考えられ得る。本発明の範囲から乖離すること無く、他の表現も利用し得ることは、当業者は理解し得る。例えば、走査される目的物の表面が、歪んだ平面（即ち、レンジマップ）として表現し得ないならば、例えば、表面作用素が、法線データに適合して曲率の詳細な計測を取得するのに用いられ、表面が、例えば、その測地的若しくは原理的曲率を介して、多様体として局所的に表され得る。
【００５７】
法線マップの統合により、バイアスされたレンジマップとして、表面は回復し得る。統合における問題の解決策への多数のアプローチは当業者に周知であるが、一つのアプローチは、以下の式の変分問題として扱うものである。離散化することにより、このことは、即座に解かれる二次最適化問題となる。
【数３】
【００５８】
測光回復から所得される表面法線を用いてレンジマップを回復することに関し、複数の問題がある。
１）法線評価の正確性は、物質反射率モデルが基本表面をどれだけ十分に表しているかに、限定される。
２）法線評価は、カメラセンサの質に依存するノイズのレベルに支配される。
３）法線マップは、ステップエッジを、即ち、表面の非連続部を、表すことができない（即ち、回復できない）。同様に、ＤＣ情報（即ち、カメラからの、表面の全体のグロスの距離は直接には得られない。
【００５９】
最終的な結果は、ドリフト、即ち、復元されたレンジマップでの曲率歪みである。（Ａ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓによる“Ｒｅｃｏｖｅｒｉｎｇ ３−Ｄ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｆｒｏｍ ａ ｓｍａｌｌ ｎｕｍｂｅｒ ｏｆ ｐｈｏｔｏｇｒａｐｈｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ，Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ，ページ２３０−２４０、２００３（非特許文献５）にて用いられている、反射鏡の用語を含むような）より洗練された物質反射率モデルを適用することで、この問題を幾分解決できるが、（２）（３）の問題は残る。解決策は、受動的ステレオスコープ復元プロセスからのデータセットなどの、別の取得手段から目的物表面の形状の更なる情報を採用することである。このデータは、グロススケール形状を示す低解像度の“スケルトン”を与え、一方で測光データは、高解像度形状詳細及び物質反射率特徴を与えるのに用いられる。
【００６０】
測光データ及びステレオスコープデータを融合するアプローチは、多数の利点を示すものである。特に、エラー及びバイアスモダリティは、相補的である。測光回復は、非常に詳細な形状を与えるが、回復時の低周波数ノイズ（即ち、バイアス）の影響を受ける。形状に係る方法は通常、低解像度であるが、高周波数ノイズを有しゼロバイアスである。両方のアプローチの組み合わせは、少ない撮像ハードウエア及びより高速の処理時間により、高解像度及び軽量回復を実現するので、強力である。測光−ステレオスコープの融合タスクは、２つのモダリティからのデータを組み合わせて、単一のモデルを生成することである。当業者には複数のアプローチが知られているが、しかしながら、一つの特別の適切な方法は、ウイーナフィルタを用いることである。
【００６１】
ウイーナフィルタは、カルマンフィルタを用いて解決されるような最適状態評価問題のための、定常状態解である。ウイーナフィルタは、測光データとステレオスコープデータを組み合わせる場合など、信号の導関数の計測がある場合、特定の値に関するものである。ウイーナフィルタは、定常状態の復元高さの最小分散推定を見出す結果である。ウイーナフィルタは、計測信号のフーリエ変換を見出すこと、更に、これらの信号はホワイトノイズプロセスにより生成されたのであってＳ．Ｓｍｉｔｈによる“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ａ Ｐｒａｃｔｉｃａｌ Ｇｕｉｄｅ ｆｏｒ Ｅｎｇｉｎｅｅｒｓ ａｎｄ Ｓｃｉｅｎｔｉｓｔｓ”，Ｂｕｔｔｅｒｗｏｒｔｈ−Ｈｅｉｎｅｍａｎｎ ２００２（非特許文献６）で示されるような周知の周波数スペクトラムの計測ノイズにより化けが生じていると仮定することにより、取得される。この実施形態では、例として、ノイズプロセスはそれ自身ホワイトである、と仮定する。
【００６２】
目的物の表面の位置の推定値を、ｚ−と表すとすると、ウイーナフィルタは以下を最小化する。
【数４】
ここで、Ｅ［］は期待値を示す。
【００６３】
別のアプローチは、以下の式を用いて、数３の式での３つの計測値から計測“ｄ”が取得される、決定論的方法での積分である。
【数５】
ここで、λは、受動的ステレオスコープ復元から取得されるデータへの、全体的な相対重みを示す。値を増加すると、アウトプットを、ステレオスコープデータにより近づけるように限定することになる。実際には、このことは、高速フーリエ変換などの標準的な技術を利用することにより、周波数領域で非常に高速で達成され得る。ここでＦＦＴを利用することは、ウイーナフィルタなどの最小二乗問題を解くよりも、高速で達成することであることに、留意されたい。例えば、高速ウエーブレット変換を用いるなど、他の技術も利用され得る。
【００６４】
“レンジマップ”として目的物表面について前述の形状表現を与えるこのステージからのアウトプットは、一つ若しくはそれ以上の位置特定テンプレートにより規定される、任意の座標フレームに相対する目的物の表面への距離の２Ｄマトリクスを与える融合レンジマップであり、このレンジマップは、測光データ若しくはステレオスコープデータの何れかに加えて、エラー特徴を改良するものであり、同時に、物質反射率係数の対応する２Ｄマトリクスは、例えば、カラー反射率を表す。
【００６５】
システムの最後の光学的機能は、多数のビューポイントからのデータセットが単一の一貫したデータセットに自動的に組み合わされる（若しくは“ステッチされる”）自動的方法を与え、目的物の拡張表面の３Ｄ撮像を実行することである。ビューポイント間の相対ポーズが計算可能であれば、形状データセットの融合は即座に達成され得る。物質、即ち、カラー反射率データの融合は、照射不変物質反射率マップの生成を要求する。これら両方のタスクは、本明細書で開示するように、多数の位置特定テンプレートを利用することにより、大いに促進される。
【００６６】
図７は、図１に示すハードウエア構成に基づき、オーバラップするビューポイント７０８、７０９、７１０を用いて、このことを達成する、例示の走査構成を示す。撮像を実行し上述のステップを処理することで、３つのデータセット７１１、７１２、７１３が生成される。夫々は目的物７０１の表面のサブセクションを表す。夫々のビューポイントは、別のビューポイントと共通して少なくとも一つのテンプレートを共有するのであり、判別するために共通して視覚されるテンプレートに対するカメラポーズの変更を容認するものである。一つのカメラビューを他のものに対してマップする変換のセットは、任意に選択された座標フレームに関して、決定され得る。グローバル座標フレームにより、形状のセクションは、相互に関して登録され得るのであり、更に、例えば、Ｊ．Ｃ．Ｃａｒｒ及びＲ．Ｋ．Ｂｅａｔｓｏｎ及びＪ．Ｂ．Ｃｈｅｒｒｉｅ及びＴ．Ｊ．Ｍｉｔｃｈｅｌｌ及びＷ．Ｒ．Ｆｒｉｇｈｔ及びＢ．Ｃ．ＭｃＣａｌｌｕｍ及びＴ．Ｒ．Ｅｖａｎｓによる“Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨページ６７−７６，２００１（非特許文献７）に記載される、標準的アルゴリズムが、データセットを融合するのに用いられ得る。
【００６７】
多数のビューポイントから取得された物質反射率データセットをステッチすることの鍵は、全体の照射及び色の不変性を保証することである。システムの位置は、ビューポイント間で変化するので、光源の全体の距離は一定とならず、テンプレートシステムが利用されないならば、例えば、物質特性の全体照明の変動に繋がり得る。このことは、様々なビューポイントからの、サンプル物質特性に対する洗練されたアルゴリズムの開発に繋がったのであり、それは、（例えば、米国特許第６６８６９２１号に例として記載される）一様な照射及び色不変性を達成する変換を計算するものである。較正されたテンプレートのセットの利用は、測光画像に対して反射率標準を与えるものであり、そのような技術を不必要にする。これは、全ての復元が較正されたテンプレートによって実施され、入射光強度、カメラカラーバランスなどの変動が、周知の標準に対して、推定され且つ訂正され得るからである。取得される物質特徴は、本来的に照射及び色不変性である。従って、多数の物質反射率データセットをステッチすることは、例えば、当業者に十分知られた色補間アルゴリズムと同時に、確立されたグローバル座標フレームの利用を要求するのみである。
【００６８】
当然のことながら、拡張表面の３Ｄ撮像を達成する多数の位置特定ターゲットを利用することは、図７に示すような、ステレオカメラの利用に限定されるものではない。図８は、拡張表面領域、この例でも壁８０１をキャプチャする、利用時の図３のシステムを示す。（図４に示す位置特定テンプレート４０１と同様の）４つの位置特定テンプレート８０２−８０５が、壁に貼られ、壁は、撮像デバイス３０３及び関連ハードウエア３１１を２つのポジション８０６、８０７、８０８で配置して、ビューされている。ビュー８０９、８１０、８１１のオーバラップするフィールドは夫々、４つのテンプレートのうち少なくとも２つを含む。カメラの較正は一定のままであり、個々のビューにおける個々のテンプレート間の相対的ポーズ（即ち、８０３に対する８０２の、８０４に対する８０３の、８０５に対する８０４のマッピング）は計算可能であるから、位置８０６、８０７、８０８に対する相対的ポーズと共に、全てのテンプレートの相対的ポーズを決定する完全なマッピングは、図７の構成と同様にして、決定され得る。
【００６９】
検査中の表面の複雑性、及び、復元の所望の正確性によっては、従来の形状キャプチャ方法を利用して、更なる形状情報を取得することが望ましい。図８にて、そのようなデバイス（図示せず）が、主要な撮像デバイス３０３に結合されてもよい。例えば、（ＷＯ２００７／１２９０４７に記載されるような）レーザストリップやスペックル、ホワイトライト若しくはフリンジベースの投射など、様々なアプローチが用いられてもよい。これらのシステムはそれ自身、物質反射率特性を取得する方法を与えるものではなく、受動的ステレオスコープアプローチと同様に、測光アプローチよりも低解像度形状データを生成する傾向にある、ということに留意されたい。
【００７０】
（図８に示されるように）ビューのオーバラップするフィールドを用いて、多数の位置特定テンプレートをキャプチャすることにより、全てのテンプレートに対する、相対的ポーズ変換の完全なセットが、計算可能である。位置特定テンプレート自身のポーズを把握することで、検査中の表面に対する概略全体の形状を与える更なる方法が、示される。位置特定テンプレートの全体スケールにて基本的表面がスムーズに湾曲しているならば、（適切に配置された）テンプレートは、局所の表面勾配を概算するものと考えられ得る。よって、個々のテンプレートは、検査中の表面上の、空間における単一の絶対位置（頂点）と、テンプレートの表面に垂直である、このポイントにおける即時の局所表面法線の計測量とを、与える。グローバル座標フレームは任意に選択可能であり、３Ｄ表面は、頂点及び法線データに適合する。よって、適切に円滑に変化する表面に対して、基本的な３Ｄ構造の粗モデは、更なる形状走査ハードウエアを利用すること無く、導出され得る。
【００７１】
図９は、復元された測光データ及び形状データをマージするのに利用され得る、一つの例示の方法を示す。図９は、３つのカメラビューポイント９０１、９０２、９０３の“バードアイ”ビューを概略示す図であり、個々のビューポイントは、対応する画像平面９０４、９０５、９０６を有する。画像自身は、例えば、測光法線データ、若しくは、形状レンジデータから、構成されてよい。延長された点線９１１で示されるように、“アウタ（外部）”ビュー９０４、９０５を中間ビュー９０５のビューポイントに変換してもよい。当業者に周知であるように、このことは、平面投射を介して達成され得る。結果として復元されたビューポイント９０７となる。台形領域９０８、９１０は、外部（アウタ）ビューポイント９０４、９０５の平面投射から生じており、ここで、矩形領域９０９は元の画像９０５である。３つの領域９０８−９１０外部の領域に対して、データは利用不可能である。画像９０７は、カメラにキャプチャされたビューポイントを超えて拡張する。オーバラップする領域９１３、９１４は、再投射が、同じ位置で利用可能である多数のデータサンプルとなることを、示す。データの性質に依存する適切な操作と共に、フィルタ操作は、これら領域で利用されねばならない。例えば、検査中の表面領域の基本的全体形状に拠っては、（部分的に）円柱若しくは球面にマッピングするような、他の投射方法も利用可能であることを、当業者であれば理解し得るところである。
【００７２】
当然のことながら、上述の実施形態からの変更も、本発明の範囲内にあり得る。例えば、図４の位置特定テンプレートは、形状フィーチャの特別のセットを示すが、当然ながら、計測を確立するのに利用可能などの適切なフィーチャも利用可能である。同様に、例示の撮像デバイスは“カメラ”を含むものとして記載してきたが、どの適切な画像センサも利用可能である。実際に、レンズスプリッタを伴う単一のセンサも適切である。他の例として、ビデオカメラ、ＣＭＯＳセンサなどを含む。更に、照射する放射は、可視光である必要は無い。エネルギのどの適切な形態も利用可能であり、画像センサも然るべく選択される。カメラは、ケーシングに“堅固に”付されたものとして、種々の実施形態で記載したが、当然のことながら、このことは、カメラがケーシングに伸縮自在に搭載されているような、状況も含む。
【符号の説明】
【００７３】
１０１・・・目的物、
１０２、１０３・・・位置特定テンプレート、
１０４・・・撮像デバイス、
１０５・・・ケーシング、
１１１、１１２・・・カメラ。
【技術分野】
【０００１】
本発明は、３次元画像を取得する装置及び方法に関する。特に、本発明は、目的物の表面の３Ｄ撮像及び計測に関する。
【背景技術】
【０００２】
３Ｄ撮像は、実際の目的物の表面領域の形状（物理形状）のデジタルフォームへの取得である。場合により、目的物の物質反射特性も取得され得る。目的物の表面領域は、目的物の物理的表面のサブ領域と考えられ得る。システムは、広範な表面領域の撮像を含むように拡張できるが、このことは、システムは、単一のビューポイントから画像装置により取得可能な領域よりも大きい領域（例えば、３Ｄの目的物の一つ以上の側面に関する表面領域）を取得できることを意味する。システムは、形状の計量特性と同時に、目的物若しくはシーンの表面形状及び物質特性の、一部もしくは全てを捕捉できる。物質反射特性の例は、散乱表面色、物質の示す鏡面反射性の性質の計測を含み、両方とも絶対値として、及び、スペクトル成分により、示される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｒ，Ｉ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”．Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００
【非特許文献２】Ｊ−Ｙ Ｂｏｕｇｕｅｔ“Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ”ｈｔｔｐ：ｗｗｗ．ｖｉｓｉｏｎ．ｃａｌｔｅｃｈ．ｅｄｕ／ｂｏｕｇｕｅｔｊ／ｃａｌｉｂ ｄｏｃ／ｉｎｄｅｘ．ｈｔｍｌ
【非特許文献３】Ｒ，Ｉ．Ｈａｒｔｌｅｙ及びＡ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００
【非特許文献４】Ｋｏｌｍｏｇｏｒｏｖ及びＺａｂｉｈによる“Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２００３
【非特許文献５】Ａ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓによる“Ｒｅｃｏｖｅｒｉｎｇ ３−Ｄ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｆｒｏｍ ａ ｓｍａｌｌ ｎｕｍｂｅｒ ｏｆ ｐｈｏｔｏｇｒａｐｈｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ，Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ，ページ２３０−２４０、２００３
【非特許文献６】Ｓ．Ｓｍｉｔｈによる“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ａ Ｐｒａｃｔｉｃａｌ Ｇｕｉｄｅ ｆｏｒ Ｅｎｇｉｎｅｅｒｓ ａｎｄ Ｓｃｉｅｎｔｉｓｔｓ”，Ｂｕｔｔｅｒｗｏｒｔｈ−Ｈｅｉｎｅｍａｎｎ ２００２
【非特許文献７】Ｊ．Ｃ．Ｃａｒｒ及びＲ．Ｋ．Ｂｅａｔｓｏｎ及びＪ．Ｂ．Ｃｈｅｒｒｉｅ及びＴ．Ｊ．Ｍｉｔｃｈｅｌｌ及びＷ．Ｒ．Ｆｒｉｇｈｔ及びＢ．Ｃ．ＭｃＣａｌｌｕｍ及びＴ．Ｒ．Ｅｖａｎｓによる“Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨページ６７−７６，２００１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３Ｄ撮像の利用例は、様々な領域で見出され得る。医療目的の人体の撮像、ビデオゲーム及びフィルムの生産でレンダするためのデータの捕捉、アーキテクチャモデルキャプチャ、ＣＡＤのためのリバースエンジニアリング、及び、考古学などの、アーカイブ目的のデータチャプチャ、などである。目的物の形状の３Ｄ収集のための、様々なシステムが知られているが、通常、現存のシステムは、この点に関して以下の制約（欠点）の一つ又はそれ以上を示す。
・それらは形状のみ取得し、物質反射率について取得しない。
・それらは携帯式ではなく、従って“あるがままでの”キャプチャができない。
・それらは、説得力のあるレンダリング、即ち、詳細な分析のための、十分な解像度（ユニット領域当たりのサンプル）に達していない。
・それらは、対象の十分な領域（例えば、全体壁若しくは床、又は、単一のビューポイントから取得し得ない、人体の部分などの、自己閉塞した目的物）をキャプチャしない。
・それらは、“ステッチ”する十分な手段を与えない。ここで、“ステッチ”することとは、キャプチャされたデータの多数の小さいセクションを、自動的に単一の連続のより大きいセクションに組み合わせることである。
・システムは、自動式ロボットアーム、精密製造部品などの、複雑で及び／又は非常に高価なハードウエアを利用する。
・システムは、複雑で且つ時間の掛かる較正を要求する。
・撮像装置及び他のシステム形状の較正は、独立した手順として実施されねばならず、結果として、システム較正エラーが積み重なることがある。
・システムのキーとなる物理パラメータは、計量規格に付託されない。
・結果として計測は、度量衡標準へ辿ることができない。
・システムは、例えば、射影レーザストライプに基づく“能動的”ステレオスコープ技術
を要求するが、システムの安全性若しくは受容性に関する問題により、システムは、例えば医療的利用に適さないものになってしまう。
【０００５】
本システムは、上記問題の少なくとも一部を緩和することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの形態によって、目的物の３次元モデルを計算するための装置が提示される。装置は、目的物を指向的に照射するように構成された少なくとも一つの指向性エネルギ源を含む。撮像検知アセンブリは、相互に相対して、固定された位置で少なくとも２つの空間的に分離したビューポイントを有し、目的物が上記エネルギ源により照射されるとき、個々のビューポイントにて目的物に関する一連の画像を記録するように構成されている。少なくとも一つの位置特定テンプレートは、所定の形状フィーチャを有し、ビューポイントの少なくとも一つに対して、目的物と同時に可視である。プロセッサは、ビューポイントにて記録された画像を分析するように構成されており、一連の画像内の個々の画像につき、上記位置特定テンプレートに相対する個々のビューポイントの位置及びポーズを判別し、計算されたビューポイントの位置及びポーズ、並びに、画像データ及びエネルギ源からの照射の指向を、利用して、目的物のための測光データを生成する。プロセッサは、更に、光学三角測量を用いてステレオスコープ復元を実行することにより目的物の初期の３次元モデルを含む形状データを生成し、上記形状データと上記測光データを組み合わせて３次元モデルを構築するように構成されている。
【０００７】
よって、装置は、目的物の少なくとも２つの分離したビューポイントを設けることができる。２つのビューポイントの場合、これは“ステレオペア”としばしば称される。但し、当然ながら２以上のビューポイントも利用可能であり、このことは、装置の正確さ及び／又は可視範囲を増大させる。本明細書で用いる“ステレオ”及び“ステレオスコープ”の用語は、２若しくは３又はそれ以上のビューポイントからの画像の処理を含むことを意図するものであり、ペアのビューポイントのみに開示を限定することを意図しない。
【０００８】
指向性エネルギ源は、例えば、標準的写真フラッシュ、高輝度ＬＥＤクラスタ、若しくは、キセノンフラッシュ電球即ち“リングフラッシュ”であってもよい。但し、当然ながら、エネルギは可視光スペクトル内である必要は無い。エネルギ源は、電磁放射などの指向性エネルギを生成するどの手段を含んでもよく、以降ではそれを“光”と称するものとし、当然ながらこれは可視スペクトル内の放射に限定されない。例えば、偏光フィルタなどの、適切な光学フィルタリングは、エネルギ源及び／又は画像検知アセンブリに含まれてビューポイントにおける指向性エネルギ源の直接の反射の可視性を減少させるものであってもよい。可視光指向性エネルギが利用される場合、例えば、２つ若しくはそれ以上の標準的デジタルカメラ、若しくはビデオカメラ、又は適宜搭載されたＣＭＯＳセンサ及びレンズを含む、センサが、ビューポイントに設けられてもよい。他のタイプの指向性エネルギの場合、利用される指向性エネルギに対して適切なセンサが、選ばれる。離散センサが個々のビューポイントに配置されてもよく、別の形態では単一のセンサが、分割レンズの背後に配置されてもよい。
【０００９】
一つの実施形態では、照射の指向性はビューポイントに相対して、周知であってもよい。このことは、例えば、照射が、ビューポイントに相対して固定された、多数のエネルギ源により設けられるならば、達成され得る。
【００１０】
照射の指向性がビューポイントに相対して周知でないならば、位置特定テンプレートはエネルギ源により照射されねばならず、同時に、一連の画像のうちの個々の画像において、ビューポイントの少なくとも一つに対して、可視で無ければならない。例えば、エネルギ源は、一連の画像内において画像間で移動可能であり、その場合、位置特定テンプレートは照射の指向性を特定するのに利用され得る。
【００１１】
位置特定テンプレートは、撮像デバイスと位置特定テンプレートの相対的位置が位置特定テンプレートを撮像することにより判別され得るように、（例えば、プリントパターンなどの）所定のセットの形状フィーチャを含んでもよい。パターンのフィーチャは、画像処理アルゴリズムのための非常に刺激的なビーコンとして作用するように設計されてもよい。周知の寸法の光源位置特定フィーチャも、位置特定テンプレートに関するエネルギ源の相対的位置の計算を促進すべく、設けられ得る。これは、例えば、周知の寸法のコーン若しくはピラミッドであればよい。位置特定テンプレートは、撮像デバイス内で色応答較正及び／又は訂正を促進する色較正部を含んでもよい。
【００１２】
個々の位置特定テンプレートは、個別の位置特定テンプレートが自動的に一意的に特定され得る一つ若しくはそれ以上の一意的フィーチャを包含してもよい。このことの一つの例は、プリントされた１Ｄ若しくは２Ｄの“バーコード”である。このことの別の例は、無線周波数特定デバイス、即ち“ＲＦＩＤタグ”を含む。別の例は、パターン内に配置された、一つ若しくはそれ以上の逆反射マーカを含み得る。更なる例は、位置特定テンプレート内の埋め込みＥＥＰＲＯＭチップなどを含む。これらのフィルタのどれもが、記録された画像を目的物にリンクし、及び／又は、位置特定テンプレートの単一の利用を保証する、“鍵”として利用され得る。位置特定テンプレートは、計量基準に対して、自動的な識別及び／又は計測を可能にする、更なるマーカを含み得る。ショートレンジのＲＦＩＤタグトランシーバにより、ＲＦＩＤタグを含む位置特定テンプレートと装置の残部との間の通信が可能になる。装置内のインタフェースハードウエアにより、ＥＥＰＲＯＭなどを含む位置特定テンプレートと装置の残部との間の通信が可能になる。
【００１３】
一意的識別フィーチャは、他の３Ｄ画像取得システムと共に用いられるテンプレート上にも含まれ得る。従って、本発明の別の形態によると、目的物の３次元モデルを計算する装置が提示され、該装置は、目的物の少なくとも一つの３Ｄモデルを生成するように構成された少なくとも一つの画像スキャナを含む。装置は、所定の形状フィーチャを有する少なくとも一つの位置特定テンプレートと、他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャも含む。位置特定テンプレートは、利用時に目的物と同時にスキャナにより検出されるように構成されている。プロセッサは、センサにより記録された画像を分析し３次元モデルを構築するように構成されている。本発明は、そのような一意的識別フィーチャを有する位置特定テンプレートも提示する。
【００１４】
好適な実施形態では、装置は、複数の位置特定テンプレートを含む。センサ及びエネルギ源が、少なくとも２つの第１のテンプレートが、目的物の第１の部分と同時に、センサの少なくとも一つに対して可視である、第１の位置に配置され、上記少なくとも２つの第１のテンプレートの少なくとも一つが、少なくとも一つの他のテンプレート、及び、上記第１の部分とオーバラップする目的物の第２の部分と同時に、センサに対して尚可視である、第２の位置へ移動可能である。センサが両方の位置からの画像を記録し、画像からのデータが組み合わされて目的物の第１と第２の部分をカバーするモデルを生成する。
【００１５】
言い換えれば、多数のテンプレートを利用することにより、大きい目的物のオーバラップする部分の画像を、別途可能なものよりも、目的物のより大きい部分の画像を構築するのに用いることができる。更に、多数のテンプレートは、形状データを取得する他の手段（例えば、レーザストライパ）と共に用いることもでき、その利用は受動的ステレオを用いる構成に限定されない。よって本発明の更なる形態によると、目的物の３次元モデルを構築する装置が提示され、該装置は、目的物の画像を記録するように構成されている少なくとも一つの画像センサを含む。装置は、複数の位置特定テンプレートを含み、各々の位置特定テンプレートは、表面と同時にセンサに可視である所定のセットの形状フィーチャを含み、これにより、テンプレートに関してセンサの相対的位置の判別が可能になる。プロセッサは、センサにより記録された記録された画像を分析して、個々の位置特定テンプレートに関するセンサの相対的位置を判別し更なる処理のために目的物の多数のビューポイントからの画像を組み合わせるように構成されている。目的物の表面の表面復元は、指向性エネルギ源からの反射エネルギの計測変動を用いて、若しくは、周知の他の方法を利用して画像を処理することにより、実施され得る。
【００１６】
プロセッサは、撮像デバイスからの画像を格納し、或る画像処理機能、検査中の目的物の表面の３Ｄ復元及び表示、並びに、分離した照射状況の復元、計量基準の抽出、色基準の抽出、一意的識別子の抽出及び記録、及びテンプレートに対する単一の利用の実行などの、他の機能を実行する、手段を含んでもよい。通常、これは、モニタを伴うデスクトップ若しくはラップトップ、ハードディスク、及び、全ての他の一般的コンポーネントであればよい。
【００１７】
システムは、計測学的原理を採用する。よって、少なくとも好適な実施形態では、原理上、上位の計量基準にトレース可能な基準的“テンプレート”に関して、計測が為される。全ての撮像は、固定座標データ若しくは座標データのセットを用いて実行される。システムの全ての較正は、原理上、参照目的物としての“テンプレート”を用いて実行され得る。システムの一つの実施形態の特別の特徴は、シーンの単一のカメラビューでは収まりきらない大きい表面領域を実効的に処理することができることである。受動的ステレオスコープ形状データと測光データを組み合わせることにより、レーザストライパプロジェクションなどのパターン化光に対する要求は除去される。
【００１８】
システムは、携帯式キャプチャにたいして適合的であるのが好ましい。即ち、システムは、“そのままで”キャプチャできるように目的物若しくは拡張表面に対して移動可能である。よってセンサは、携帯式の、ハンドヘルド器具で組み合わされているのが好ましい。利用時には、表面の一連の画像が、表面上に若しくは表面周りに配置された一つ若しくはそれ以上のテンプレートでキャプチャされ、表面と同時に撮像されるのが好ましい。ステレオ画像のセットは、指向性エネルギ源を移動し、ステレオ（二つ若しくはそれ以上のビューポイント）画像カメラと同期する指向性エネルギ源を発射することにより、取得される。その後、検査中の表面を復元する処理を実行する（キャプチャ後“オフライン”でも実行可能である）。所得された表面の測光復元は、２つのステレオビューポイントの一つの“サイド”からの変動する指向性照明を有する画像のセットを処理することにより、実施され得る。取得された表面の受動的ステレオスコープ復元は、画像の一つ若しくはそれ以上のステレオペアを処理することにより、実施され得る。
【００１９】
本発明の更なる形態によると、目的物の３次元モデルを計算するための方法が提示される。目的物は、少なくとも一つの指向性エネルギ源で、指向的に照射される。目的物に関する一連の画像が、相互に相対して、固定された位置で少なくとも２つの空間的に分離したビューポイントの各々において記録される。ビューポイントの少なくとも一つからの画像は所定の形状フィーチャを有する少なくとも一つの位置特定テンプレートも含む。位置特定テンプレートに相対する個々のビューポイントの位置及びポーズは、記録された画像から、判別される。目的物のための測光データは、記録された画像から、計算されたビューポイントの位置及びポーズ、並びに、照射の指向を利用して、生成される。目的物の初期の３次元モデルを含む形状データは、光学三角測量を用いてステレオスコープ復元を実行することにより生成される。形状データと測光データは、３次元モデルを構築するために組み合わされる。
【００２０】
本発明の更なる形態によると、目的物の３次元モデルを構築する方法が提示される。 画像センサが、複数のビューポイントからの目的物のオーバラップする部分の画像を記録するために利用され、個々の画像は、所定の形状フィーチャを有する少なくとも２つの位置特定テンプレートを含む。画像センサの相対的位置は、位置特定テンプレートに関して、判別される。更なる処理のために、表面の多数のビューポイントからの画像が組み合わされる。好ましくは、指向性エネルギ源からの反射エネルギにおける計測変動を用いて。目的物の表面の表面復元が実行される。
【００２１】
本発明の別途の形態によると、目的物の３次元モデルを計算する方法が提示される。他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャと、所定の形状フィーチャとを有する、少なくとも一つの位置特定テンプレートと共に、目的物の画像を記録するために少なくとも一つの画像センサが利用される。３次元モデルを構築するために、画像センサにより記録された画像が分析される。
【発明の効果】
【００２２】
本発明に係るシステムにより、上記問題の少なくとも一部が緩和される。
【図面の簡単な説明】
【００２３】
【図１】目的物の３Ｄ画像を取得する装置を示す。
【図２】携帯電話のセクションをキャプチャする、利用時の図１の装置を示す。
【図３】壁のセクションをキャプチャする、利用時の別の装置を示す。
【図４】位置特定テンプレートの例を示す。
【図５】“従来の”測光ステレオのための通常のセットアップを示す。
【図６】ステレオスコープの範囲決定の形状図を示す。
【図７】多数のオーバラップの領域での撮像による、拡張表面領域をキャプチャする、利用時の図１の装置を示す。
【図８】多数のオーバラップの領域での撮像による、拡張表面領域をキャプチャする、利用時の図３の装置を示す。
【図９】様々なビューポイントから取得される画像を組み合わせるシステムの例を示す。
【発明を実施するための形態】
【００２４】
本発明の複数の好適な実施形態を、添付の図面を参照しつつ例示としてのみ説明する。
【００２５】
図１は、目的物１０１の３Ｄ画像をキャプチャする装置１００を示す。装置１００は、２台のカメラ１１１、１１２、及び、カメラ１１１、１１２に堅固に固定された４台の指向性光源１０６−１０９を備える撮像デバイス１０４を含む。この例で示されるように、デバイス１０４は、人間の肢の表面の位置をキャプチャするのに利用されている。もっとも、当然ながらその利用は人体に限定されるものではなく、デバイスは、概略類似の特徴を有する目的物、若しくはより大きい目的物のセクション、又は、壁や床などの環境の表面に、用いられ得る。一つ若しくはそれ以上の位置特定テンプレート１０２、１０３は、目的物１０１の表面が、同時に撮像デバイス１０４から見えるように、目的物１０１上に若しくは傍に配置される。これらテンプレート１０２、１０３は、復元を為すべく、カメラ１１１、１１２の視野内にあることが要求される。単一のテンプレート１０２、１０３が画像を復元するのに要求されているが、単一のテンプレートのみが利用されるときに取得可能な目的物１０１の表面領域は限定される。テンプレートの数を増すことにより、システムは、必要な広い領域をカバーすることができる。例えば、“使い捨て”の粘着パッドや両面テープを用いるアタッチメントなどの、テンプレートを添付する方法が利用される。
【００２６】
この例では、視覚デバイス１０４はハンドヘルドであり、ケーシング及びハンドル１０５を含むこととされている。もっとも、この物理的構成は制約的なものではないことは明らかであり、デバイスはどんな適切な形状でもよく、例えば、ハンドヘルドではなく三脚により支持されてもよい。光源は、カメラに対して堅固に固定されているので、カメラに対する光源の位置は分かっている。システムの更なる特徴は、関連する位置特定テンプレート１０２、１０３に埋め込まれたＲＦＩＤタグと通信して一義的に特定する、ケーシング１０５内部に含まれた無線トランシーバである。システムのまた更なる特徴は、関連する位置特定テンプレート１０２、１０３に埋め込まれたＥＥＰＲＯＭ若しくは類似のデバイスと通信して一義的に特定する、インタフェースハードウエアである。
【００２７】
指向性光源１０６−１０９は、両方のカメラ１１１、１１２と同時に動作し、これにより、ここのカメラは、目的物１０１とテンプレート１０２、１０３の一連の２Ｄ画像を取得する。カメラからの２Ｄ画像は、以下で詳しく説明する、目的物１０１の３Ｄ表現を生成する処理手段により処理される。処理手段は、この例ではラップトップコンピュータ１１０として示されている。もっとも、当然ながら“オンボード”プロセッサにより処理が実施され得る。“オンラインで”（即ち、イメージキャプチャの間に、若しくはその直後に）でも、一連の画像が例えばフラッシュメモリにセーブされ後で処理される“オフラインで”でも、処理が実施され得るのは明白である。
【００２８】
前述のように、撮像システムは、人体の撮像に限定されるものではない。図２は、無生物の目的物、この場合は携帯電話２０１の表面領域を撮像するのに用いる、本発明の類似のハンドヘルドの形態を示す。この場合、単一の位置特定テンプレート２０２のみが、利用され、目的物近傍に配置され、撮像デバイス１０４で目的物と同時に視覚される必要がある。
【００２９】
別のハードウエア構成が図３に示される。この例では、壁３０１の領域などの、拡張された環境の３Ｄ画像をキャプチャするのに、別の装置が用いられている。この例では、（ハンドヘルドの写真用フラッシュなどの）単一の光源３０２は、三脚３０４に搭載されているカメラ３０３とは独立して、移動可能である。一連の画像は、個々の画像に対して様々に配置される光源３０２により、カメラ３０３でキャプチャされる。テンプレート３０５−３１０の配列が、壁３０１上に、離れて配置される。個々のテンプレートは、図４に示しており且つ以下で詳しく説明する、“光位置特定”フィーチャ４０４を含む。個々のテンプレート上の光位置特定フィーチャ４０４は、テンプレートの画像に関する画像処理を介して、個々の画像内の指向性光源の位置を解決するのに利用される。画像処理は、専用の処理デバイス３１１により実行され得る。もっとも、当然ながらどの適切な処理手段も用いられ得る。
【００３０】
カメラ３０３により撮像される一連の画像は、３Ｄ情報及び物質表面特性を取得するために、処理される。結果データのサンプリングの解像度は、カメラ３０３の解像度に直接関連する。カメラ３０３自身は撮像間に動かすこともでき、よって、（後で詳しく述べるように）セクションで全壁を撮像できる。当然ながら、セクションの目的物１０１の表面をマップすべく、図１、２の撮像デバイス１０４により同様のアプローチを採用することもできる。目的物１０１、２０１、３０１をセクションで撮像することが必要である複数の理由がある。
１）表面のサイズに関して、所望の復元解像度に対する撮像デバイスの解像度は、全体領域が一つのセクションであるならば、不十分である。
２）表面の完全な領域において、指向性光源によりアウトプットされるエネルギの量は、反射エネルギからの表面復元には不十分である。
３）表面目的物に関して対象の領域は、目的物の自己閉塞により、単一の位置から見ることができない（例えば、一つのビューポイントから人間の肢の全体表面領域を見ることは不可能である）。
【００３１】
図３、７、８、９は、目的物１０１、３０１の表面の拡張された領域の画像をセクションで取得する原理を示す。図３では、カメラ３０３の可視領域３１２が、全体壁３０１の一部、及び、全セットの６テンプレート３０５−３１０のうち４個のテンプレート３０５、３０６、３０８、３０９のみを含むのが分かる。壁の多数セクションの画像を得ることにより、全体表面の３Ｄマップが構築され得る。このことは更に図８、９で示される。
【００３２】
同様に、図７は、３つの異なる位置７０５、７０６、７０７にある図１の撮像デバイス１０４を示し、それら位置の各々では、カメラ１１１、１１２は異なる視野７０８、７０９、７１０を有している。個々の視野は、撮像される目的物７０１の全体表面領域の部分を含み、また、位置特定テンプレート７０２、７０３、７０４の少なくとも２つを含む。一貫性ある単一モデルへの視覚の自動的組み合わせのキーは、多数の位置特定テンプレートの利用であり、このことは以下でより詳しく説明する。
【００３３】
３Ｄ情報を得るための３つの原理的取得技術を説明する。第１は光度復元であり、この場合、表面方向は、指向性光源からの周知の入射角に対する、反射エネルギの観測される変動から、計算される。このことにより、相対的な表面反射率のマップ（若しくは、照射の無い色）と一緒に、相対的高解像度表面法線マップが与えられる。相対的な表面反射のマップは統合され、深さ、若しくは範囲の情報を与えるのであり、それら情報は、目的物表面の３Ｄ形状を特定する。良好な高周波数ディテールのアウトプットはこの収集方法に対して一貫しているが、撮像処理内に存在するノイズの性質のために、絶対計量形状ではなく、低周波数ドリフト若しくは曲率の、導入部が存在する。取得の第２の方法は、受動的なステレオスコープの復元であり、光学三角測量に基づいて表面深さを計算する。これは、光学視差の周知の原理に基づく。この技術は概略、良好な低周波情報（目的物の表面の下層の粗の形状）を与えるが、ノイズが多く高周波数ディテールに欠ける。よって、２つの方法は補完的である。一つ若しくはそれ以上の位置特定テンプレートの利用を介して両方のモダリティからの情報を組み合わせるシステムは、携帯式のコンパクトなパッケージで優れた３Ｄ復元を生成できる。
【００３４】
本明細書で開示するシステムの光学フィーチャは、撮像デバイスと指向性光源に対する光学フィルタリングを利用する。目的は、復元ソフトウエアを混乱させる画像内のアーチファクトに導いてしまう、取得した画像内での指向性光源の鏡面反射が、見えることを減らすことにある。例えば、このことは、円偏光子フィルタの適切な方向のセットの利用によって、達成され得る。光学フィルタリングは、本明細書で開示するシステムで用いられる３Ｄ復元の２つの方法により実施される画像処理と共に利用すると、特に利点がある。
【００３５】
図４は、（図１−３、７の位置特定テンプレート１０２、１０３、２０２、３０５−３１０、７０２−４として用いるのに適当な）例示の位置特定テンプレートを詳細に示す。性質上２Ｄ及び３Ｄの両方の、種々のテンプレート構成が、撮像装置及び指向性エネルギ源の位置特定を実行するのに利用可能であること、及び、以下のフィーチャの多くは光学的であり機能等価物により置換可能であることは、当業者であれば理解するところである。この例では、テンプレートは、周知の計量寸法及び正確性のプリントパターンを伴う平坦平面ブロック４０１であり、以下のものを含む。
１．細い中央白線４０２を伴う太い黒ボーダ。
２．光位置特定フィーチャ。この例では、（測光光源３０２などの）指向性光源により証明されときブロックに付属するコーン４０４により、三角のシャドウ（図示せず）が投じられる中央白領域４０３として、示される。別の実施形態では、マットピラミッドが、コーンの代わりに利用され得る。ピラミッドが利用され得ると、指向性光源で照らした場合、ピラミッドの側部は、強度を様々変えることで撮像デバイスにより、観測される。光位置特定フィーチャに対する必要性は、選択されたシステム光源構成により決定される。
３．方向マーカ４０５。これはブロックから９０°回転対称を除去する。光学コーディング４０６。この例ではバーコードであるが、特定の位置特定テンプレートを一意的に特定する。これらは、単一のフィーチャに組み合され得る。
４．埋め込み無線周波数識別デバイス（ＲＦＩＤタグ）（図示せず）。これは、ハンドヘルドデバイスのケーシング１０５内の短距離無線トランシーバの利用を介して、テンプレートを一意的に特定するのに利用され得る。
５．埋め込みＥＥＰＲＯＭデバイス等（図示せず）。これは、ハンドヘルドデバイスとの通信を介して、テンプレートを一意的に特定するのに利用され得る。これは、ハンドヘルドデバイスのケーシング１０５内の適当なドッキング領域と接触させることにより、達成され得る。
６．色較正フィーチャ４０７。これは、例えば、撮像デバイス内の色反応較正及び／又は訂正を促進するように設計された色彩パターンを有する領域を含む。
７．逆反射デバイス４０８。これは、撮像デバイスへの同様の起源の位置を有する光源により照らされると、“ビーコン”として作用する画像内の特定可能フィーチャとなる。これは、画像処理ルーチンによる画像内のテンプレートの検出をアシストし得る。
【００３６】
指向性エネルギ源としての光、及び、撮像装置としてのステレオカメラペアを利用する、図１、２で示される撮像デバイス１０４の操作を、実施される機能、即ち、（光学識別による）テンプレート位置特定、測光３Ｄ復元、受動ステレオスコープ３Ｄ復元、並びに、測光及びステレオスコープデータの統合による３Ｄ復元に形式で、以下、説明する。
【００３７】
システムの第１の機能は、目的物が撮像される個々のビューポイントから見える一つ若しくはそれ以上のテンプレートに対する撮像デバイス１０４と、多数のビューポイントが用いられるべき場合の、全てのテンプレート自身の相対的位置とを、位置特定することである。図１の例では、ステレオカメラ１１１、１１２の初期の視野は、表面と２つの位置特定テンプレート１０２、１０３のセクションを含む。光学カメラ位置特定は、位置特定テンプレート上で規定される絶対座標フレームに関して、ステレオカメラシステムの空間内のポーズ（特に、ミリメートルなどのメータ単位での、実効的なカメラ中心座標Ｘ、Ｙ、Ｚによる、カメラのロール角、傾斜角及びヨー角）の決定である。位置特定テンプレートは、周知の計量サイズのものであるので、例えば、Ｅｓｓｅｎｔｉａｌ Ｍａｔｒｉｘ（Ｒ，Ｉ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”．Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００（非特許文献１））に記載されるような、例えば、焦点距離や、２つのカメラ間の射影的関係などの、カメラの撮像特性を幾つか計量的に与えられると、ステレオカメラの相対的位置は決定され得る。
【００３８】
個別のカメラと、ステレオ若しくはマルチビューカメラシステムとの両方の形状較正は周知の技術であり、較正テンプレートを撮像すること、或る特徴を抽出すること、及び、射影幾何学を利用してステレオカメラシステムの撮像特性を詳述するパラメータを決定することによる、画像ベースのアプローチで、実施され得る。その技術の実装は、Ｊ−Ｙ Ｂｏｕｇｕｅｔ“Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ”ｈｔｔｐ：ｗｗｗ．ｖｉｓｉｏｎ．ｃａｌｔｅｃｈ．ｅｄｕ／ｂｏｕｇｕｅｔｊ／ｃａｌｉｂ ｄｏｃ／ｉｎｄｅｘ．ｈｔｍｌ（非特許文献２）により記載されている。カメラシステムの撮像の特徴を知ることで、光学カメラ位置特定は、位置特定テンプレートの単一のビューポイントから（即ち、ステレオペアの単一の画像を用いて）実行され得る。このことは、（例示のテンプレート内の細い白線４０２などの）或る特徴を検知する画像処理ルーチンを実行すること、及び、射影幾何学を適用してカメラに対するテンプレートの座標フレーム間のホモグラフィを計算することを、含む。テンプレートのステレオビューの場合、較正されたステレオシステムを仮定すると、ポーズの評価の更なる正確性が得られ、及び／又は、較正パラメータが実証される。テンプレートのマルチプルビューも、原理上、カメラを記述する（若しくは較正する）のに必要とされる、鍵となる物理的パラメータを生成するのに利用可能であり、よって、同じ計量規格が、正確な復元に必要なカメラ位置及びパラメータを規定することができる。
【００３９】
システムは、調査される目的物の表面上に若しくは側に配置された一つ若しくはそれ以上の位置特定テンプレートを利用する。前述のように、図１の例では、カメラ１１１、１１２のビューポイントにより、カメラはテンプレート１０２、１０３を撮像でき、多数のテンプレートが可視である場合、ステレオカメラ１１１、１１２のポーズは、視覚上テンプレート１０２、１０３の各々に関して決定され得る。個別のテンプレートから計算されるものとして、若しくは、これらの座標フレームの全て若しくは一部の変換として、標準的ポーズが（任意に）選択され得る。標準的ビューは、テンプレートの現存のグループの全てのビューが投射される単一の座標フレームである。更に、テンプレート１０２、１０３が同じビューポイントから同時に撮像されるので、テンプレート１０２、１０３の相対的座標フレームの間の変換マッピングは、自明に計算され得る。多数のテンプレートを利用することと、テンプレート間の相対的ポーズを計算することは、大きい表面をセクションで撮像することの鍵である。
【００４０】
図７は、拡張表面領域、この例でも人間の足７０１の上方部を、キャプチャする使用中の図１のシステムを示す。３つの位置特定テンプレート７０２、７０３、７０４は足７０１に添付され、足は、３つの位置７０５、７０６、７０７に、撮像デバイス１０４及び関連ハードウエアを配置することで、ビューされる。個々の視野７０８、７０９、７１０は、少なくとも一つの他の視野とオーバラップし、３つのテンプレート７０２、７０３、７０４のうちの少なくとも２つを含む。ステレオカメラシステムの較正は一定のままであり、個々のビュー内の個々のテンプレートの間の相対的ポーズは（即ち、テンプレート７０２を７０３に、７０３を７０４に、７０２を７０４にマッピングして）計算され得るので、異なる位置７０５、７０６、７０７のための相対的ポーズと共に、全てのテンプレートの相対的ポーズを決定する完全なマッピングが、決定され得る。
【００４１】
個々のテンプレートは、単一のビューポイントから独立した位置特定を、与えるので、ビューポイントに渡る位置評価を組み合わせる必要が無く、（“ドリフト”として知られる）画像登録から生じるポーズ評価内での蓄積されたエラーを回避し、標準的ビュー座標間での変換と関連するスタックされたエラーを残すのみである。原理上、標準的ビュー間でスタックしたエラーが容認できないとみなされたとしても、独立の画像がテンプレートの全アンサンブルから取られて単一のグローバル座標系を規定できる。これは、“追跡する”方法に基づくビデオカメラに関する、本システムの重要な利点である。
【００４２】
この処理を自動的に実行するために、シーンの個々のビュー内で個々のテンプレートを一貫したやり方で特定することが、必要である。図４に関して前述したように、個々の位置特定テンプレート４０１は、その位置特定テンプレートを一意的に特定するのに利用される、バーコード４０６などのコーディングを含む。コーディングが信頼性高く検出され得る限り、あらゆるテンプレートは一意的となる。これは以下１）２）を満たすならば必要では無い。
１）位置特定テンプレートが不規則に配置され、オーバラップするビューが（少なくとも）２つのテンプレートを共通して含む。
２）位置特定が十分に正確である。
【００４３】
位置特定のテンプレートの間の相対的ポーズは、それらを一意的に特定するのに用いられ得る。配置の不規則性、及び、ポーズ評価の正確性によって、テンプレートから９０°対称を除去する（図４に示される）方向マーカ４０５を用いることが、必要になったりならなかったりする。採用されるＲＦＩＤシステムの相対的感度及び範囲によっては、テンプレートの一意的特定を助ける埋め込みＲＦＩＤタグを利用することが、バーコードの代替策となる。更なる代替策は、一意的な特定を助ける適切な通信ハードウエアを伴うテンプレート内の埋め込みＥＥＰＲＯＭチップなどを用いることである。
【００４４】
テンプレートの一意的な特定の利点は、大きい表面をセクションで撮像するのに多数のテンプレートが用いられる場合に限定されるものではない。一意的な特定は、結果としての画像ファイルの処理や格納にて助けとなる、システムによってキャプチャされる画像に関する更なるメタデータを、与えることができる。一つの特別な例は、医療的撮像に関するものであり、ターゲットのコードが、電子的患者記録と共に一意的スキャンを格納する助けとなるように用いられ得る。一意的な識別子は、データオーディットトレールを与えることにより、臨床試験の助けとなる。ターゲットが患者の皮膚に直接に配置されているならば、交差感染の可能性のため、別の患者に再利用してはならない。テンプレート識別子コードの不揮発性のリストは撮像デバイス内に格納されて、再利用されるテンプレートに関する処理を回避し、衛生実践を奨励するように、用いることができる。生産的プロセスの更なる例では、本明細書に開示される撮像方法は、品質保証管理のためにエンドツーエンドのオーディットトレールを与えるターゲットのコードにより、コンポーネントの構築の正確性を実証するのに、適用され得る。より一般的な例では、特定のコードをテンプレートに割り付け物理的分布を制御することにより、一意的識別子は、３Ｄ画像の創作者を判別する“ウオータマーク”を与え得る。
【００４５】
システムの第２の機能は、検査中の目的物の表面の測光回復を実行することである。測光回復の基本的原理は、測光ステレオ（ＰＳ）の原理である。測光ステレオの標準的フォームでは、表面に関する、一連の測光画像が取得され、このとき、カメラは目的物の表面に関して静止しているが、画像間にて照明方向で幾何学的変動はある。図５はそのようなシステムを示す。目的物５０１の表面から幾何学的上方をキャプチャすることが所望される。このことを達成するため、目的物は、複数の同一光源５０３〜５０５により個別に照らされるが、単一のカメラビューポイント５０２により撮像される。通常、３つの光源の最小のものが用いられる。
【００４６】
測光ステレオは、表面物質反射特性の近似モデルを要求する。一般的には、これは、双方向反射率分布関数（ＢＲＤＦ）により（表面の単一ポイントにて）モデル化され得る。問題を追跡可能にするために、単純化モデルが通常利用される。一つの例は、ランバートの余弦則モデルである。この単純なモデルでは、カメラにより観測される表面の強度は、光源からの入射照射エネルギの量、及び、目的物の表面形状による縮小効果のみに、依存する。これは以下のように表され得る。
【数１】
ここで、Ｉは、目的物に関して、単一のポイントでのカメラの観測された強度を表し、Ｐは、そのポイントでの入射照射光エネルギを表し、Ｎは、目的物−相対表面の法線ベクトルを表し、Ｌは、入射光の、正規化された目的物−相対方向を表し、ρはそのポイントでの目的物のランバート反射率を表す。
【００４７】
通常、目的物の表面におけるＰの変動は、先行の較正するステップで決定され、よって補償され得る。Ｌは通常、較正により決定され得る。原理的に、テンプレートを撮像することにより取得される情報を用いて、両方の較正するステップは実行されうる。図５の較正では、カメラと目的物は静止を維持しており、よって特定のピクセルにおいてカメラにより観測される表面の領域は同一を維持する。従って、変動する光方向により、画像のセットにおける特定のカメラピクセルにて観測される強度は、測光サンプルのセットと考えられ得る。光方向のカウントをＭ（Ｍ＞２）として、倍数を積み重ねることにより（数１）Ｎ及びρに対する解は、擬似逆元を介して最小二乗の意味で、見出され得る。
【数２】
【００４８】
ここで、Ｎが正規化されねばならないと更に分かることにより、ρはＮのノルムとして回復され得る。よって、表面反射率の適切なトレース可能モデルであるならば、ＰＳは、（例えば、可能な不均質ランバート反射係数などの）表面法線マップ及び物質特性として、目的物形状を取得するのに利用され得る。ＰＳは、単なるランバート反射の回復に限定されるものではないことに留意されたい。より洗練されたモデルの利用により、色反射、及び、例えば、鏡面反射の計測が回復され得る。別の（若しくは更なる)アプローチは、画像内で鏡面反射が見えることを減じさせるように、撮像デバイス及び光源の適切な光学フィルタリングを設けることである。
【００４９】
図５に示すＰＳの“従来の”構成に関していくつかの潜在的な問題がある。第一に、多数の物理的光源のハードウエアエキップメントは、幾つかの利用例では、コストが掛かり、ポータブルキャプチャには不便である。第二に、相対的光方向が既には知られていない場合、入射光方向の較正及び入射照射光の変動は、時間が掛かる。前述の位置特定テンプレートの利用は、これら問題を緩和する。
【００５０】
光学フィーチャとして、位置特定テンプレートは、光方向が単一の画像から決定され得る方法を与え得る。このことは、位置特定テンプレートの相対的ポーズを計算すること、及び（光位置特定フィーチャ４０４がコーンである場合には）コーンによりテンプレートの平面４０３に投射される三角シャドーを観測することにより、達成され得る。光線は、（テンプレートの平面に有る）三角シャドーの頂点から、周知の寸法を有し拠ってテンプレートの座標フレームに関して周知の位置を有するコーン４０４の先端を介して、投射されるので、入射光の方向が見出され得る。マットピラミッドの場合、ピラミッドの４面の表面の法線方向は周知であるので、側面の相対的強度は、数２と同様に用いて光源に対する光線を計算することができる。
【００５１】
入射光強度（Ｐ）の変動は、コーン形の光位置特定フィーチャの場合、位置特定テンプレートの影の無い部分からサンプルすることにより、評価され得る。ピラミッド光位置特定フィーチャの場合、位置特定テンプレート上のピラミッド周りの平坦領域が、同じ目的のために利用され得る。これらの領域４０３は、一様に白く平坦であり、従って、この領域における光強度の変動は、カメラ画像のピクセル強度の変化として現れる。サンプルは、画像内に存在する複数の位置特定テンプレートから組み合わせられ得、十分に拡散した光源が用いられるならば、Ｐの変動はスムーズになる。テンプレートが画像に渡って分布されていると仮定すると、サンプルは集合的に、表面の可視領域におけるＰの変動を表すものと考えられ得る。２Ｄ補間機能（例えば、バイ−クワドラテック）は適用可能であり画像内の任意の位置のＰのための値を評価する。
【００５２】
位置特定テンプレートの更なる光学的機能は、撮像システム、例えば、カメラの“ホワイトバランス”のカラーレスポンスの変動に対する、較正及び／又は訂正を助けることである。テンプレートは、例えば、白及び黒の領域を有する、周知の反射率を備えるので、このことは、テンプレートの画像を処理することを介して、達成され得る。このことを達成する方法は、当業者には周知である。この機能は更に、テンプレート内の特定のカラー較正フィーチャ４０７を組み合わせることにより、促進され得るものである。このカラー較正フィーチャ４０７は周知の反射率の付色領域を有する。このことにより、撮像されたカラーレスポンスと周知のベース反射率との間の直接の比較が可能になる。
【００５３】
システムの第３の機能は、光学三角測量を用いて受動的ステレオスコープ復元を実行することである。この技術は、それ自身物質反射率特性の取得のためのものではなく、（同じ撮像デバイスが用いられたならば）測光的アプローチよりも低い解像度形状データを生成するものであることに、留意されたい。この利点は、測光的復元を保管する、回復したデータのノイズ特徴にある。
【００５４】
この議論の目的のために、撮像デバイスは、２つの僅かに分離するビューポイントから、即ち、ステレオ画像ペアから、目的物の表面の画像を取得することが考えられる。２つのステレオビューポイント間の射影関係が、先行する較正を介して知られているならば、深さ情報は、ステレオペアを形成する画像間で２Ｄポイントを相互に関連付けることにより、解像され得る。ステレオビューポイントを用いる範囲情報の復元は、例えば、Ｒ，Ｉ．Ｈａｒｔｌｅｙ及びＡ．Ｚｉｓｓｅｒｍａｎによる“Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，ＩＳＢＮ：０５２１６２３０４９２０００（非特許文献３）に記載されており、更に、図６を参照して示される。標準的“ピンホール”モデルを仮定すると、平面６０１は、分離したカメラビューポイントの中心を表す２つのポイント６０２、６０３と交差し、２つの平面６０５、６０６はカメラ画像平面を表し、目的物の表面に第３のポイント６０４がある。目的物表面ポイント６０４の概念上のカメラ画像平面の画像６０７、６０８は、カメラの中心から目的物表面ポイント６０４への光線６０９，６１０の交差点である。従って、所与のポイント６０７に対して、対応するポイント６０８は、他のカメラ画像平面６０６内での平面６０１の交差部分である直線上に、なければならない。深さ情報の復元は、ステレオビュー間の対応の相対的密度セットが達成され得るならば、較正されたステレオカメラが与えられることにより、達成され得る。この分野では多数のアルゴリズムが残されている。例えば、Ｋｏｌｍｏｇｏｒｏｖ及びＺａｂｉｈによる“Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｖｉａ Ｇｒａｐｈ Ｃｕｔｓ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２００３（非特許文献４）に記載されている。
【００５５】
一意的な対応が見出され得ないので完全な影の画像領域は回復され得ない、ということが、受動的ステレオスコープ復元に関する一つの問題である。本明細書に記載のシステムの利点は、指向性のライティングを変動することで、多数のステレオ画像ペアを取得し得ることである。全ての可視的ポイントにて画像ペアの少なくとも一つで表面が適切に照射され、データを損失すること無く復元され得るという可能性は、このことにより大きく増大する。異なるステレオ画像セットから復元される形状は、位置特定テンプレートが参照のフレームを与えるので、単一の統合データセットに容易にマージされ得る。受動的ステレオスコープ復元に関する更なる問題は、画像内の優勢な光源からの直接の鏡面反射の存在である。鏡面反射は高画像コントラストの領域となることが多く、表面の位置が、見る方向で変動する。よって、それらは、“虚偽の対応”の光源となり、ステレオ復元を妨げるものとして、知られている。この問題を最小化するためのアプローチは、適切な光学フィルタを撮像デバイス及び光源に適用し、可視的な鏡面反射を最小化することである。
【００５６】
システムの第４の機能は、関連する（空間的に変動する）物質特性に従って、検査中の表面の３Ｄモデルを復元することである。このことは、前述の測光及び形状回復方法から復元されるデータを融合することにより、為される。測光ステレオにより、（不均質な）物質反射率モデルの係数と同時に、高密度表面法線マップの回復が与えられる。この開示の目的のために、用いられる表面形状の基本モデルは、“レンジマップ”即ち、レンジサンプルの２Ｄマトリクスとして、モデル化されるカメラに可視である目的物の表面のモデルである。この場合、形状復元により生成されるデータは、予測可能な量の高周波数ノイズを伴う、実際の“レンジマップ”のバイアスの無い、相対的に低解像のサンプリングであると、考えられ得る。測光復元により与えられる法線マップデータは、比較的高解像度の、但しバイアスの或る、実際の“レンジマップ”の導関数のサンプリングである、と考えられ得る。本発明の範囲から乖離すること無く、他の表現も利用し得ることは、当業者は理解し得る。例えば、走査される目的物の表面が、歪んだ平面（即ち、レンジマップ）として表現し得ないならば、例えば、表面作用素が、法線データに適合して曲率の詳細な計測を取得するのに用いられ、表面が、例えば、その測地的若しくは原理的曲率を介して、多様体として局所的に表され得る。
【００５７】
法線マップの統合により、バイアスされたレンジマップとして、表面は回復し得る。統合における問題の解決策への多数のアプローチは当業者に周知であるが、一つのアプローチは、以下の式の変分問題として扱うものである。離散化することにより、このことは、即座に解かれる二次最適化問題となる。
【数３】
【００５８】
測光回復から所得される表面法線を用いてレンジマップを回復することに関し、複数の問題がある。
１）法線評価の正確性は、物質反射率モデルが基本表面をどれだけ十分に表しているかに、限定される。
２）法線評価は、カメラセンサの質に依存するノイズのレベルに支配される。
３）法線マップは、ステップエッジを、即ち、表面の非連続部を、表すことができない（即ち、回復できない）。同様に、ＤＣ情報（即ち、カメラからの、表面の全体のグロスの距離は直接には得られない。
【００５９】
最終的な結果は、ドリフト、即ち、復元されたレンジマップでの曲率歪みである。（Ａ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓによる“Ｒｅｃｏｖｅｒｉｎｇ ３−Ｄ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｆｒｏｍ ａ ｓｍａｌｌ ｎｕｍｂｅｒ ｏｆ ｐｈｏｔｏｇｒａｐｈｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ，Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ，ページ２３０−２４０、２００３（非特許文献５）にて用いられている、反射鏡の用語を含むような）より洗練された物質反射率モデルを適用することで、この問題を幾分解決できるが、（２）（３）の問題は残る。解決策は、受動的ステレオスコープ復元プロセスからのデータセットなどの、別の取得手段から目的物表面の形状の更なる情報を採用することである。このデータは、グロススケール形状を示す低解像度の“スケルトン”を与え、一方で測光データは、高解像度形状詳細及び物質反射率特徴を与えるのに用いられる。
【００６０】
測光データ及びステレオスコープデータを融合するアプローチは、多数の利点を示すものである。特に、エラー及びバイアスモダリティは、相補的である。測光回復は、非常に詳細な形状を与えるが、回復時の低周波数ノイズ（即ち、バイアス）の影響を受ける。形状に係る方法は通常、低解像度であるが、高周波数ノイズを有しゼロバイアスである。両方のアプローチの組み合わせは、少ない撮像ハードウエア及びより高速の処理時間により、高解像度及び軽量回復を実現するので、強力である。測光−ステレオスコープの融合タスクは、２つのモダリティからのデータを組み合わせて、単一のモデルを生成することである。当業者には複数のアプローチが知られているが、しかしながら、一つの特別の適切な方法は、ウイーナフィルタを用いることである。
【００６１】
ウイーナフィルタは、カルマンフィルタを用いて解決されるような最適状態評価問題のための、定常状態解である。ウイーナフィルタは、測光データとステレオスコープデータを組み合わせる場合など、信号の導関数の計測がある場合、特定の値に関するものである。ウイーナフィルタは、定常状態の復元高さの最小分散推定を見出す結果である。ウイーナフィルタは、計測信号のフーリエ変換を見出すこと、更に、これらの信号はホワイトノイズプロセスにより生成されたのであってＳ．Ｓｍｉｔｈによる“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ａ Ｐｒａｃｔｉｃａｌ Ｇｕｉｄｅ ｆｏｒ Ｅｎｇｉｎｅｅｒｓ ａｎｄ Ｓｃｉｅｎｔｉｓｔｓ”，Ｂｕｔｔｅｒｗｏｒｔｈ−Ｈｅｉｎｅｍａｎｎ ２００２（非特許文献６）で示されるような周知の周波数スペクトラムの計測ノイズにより化けが生じていると仮定することにより、取得される。この実施形態では、例として、ノイズプロセスはそれ自身ホワイトである、と仮定する。
【００６２】
目的物の表面の位置の推定値を、ｚ−と表すとすると、ウイーナフィルタは以下を最小化する。
【数４】
ここで、Ｅ［］は期待値を示す。
【００６３】
別のアプローチは、以下の式を用いて、数３の式での３つの計測値から計測“ｄ”が取得される、決定論的方法での積分である。
【数５】
ここで、λは、受動的ステレオスコープ復元から取得されるデータへの、全体的な相対重みを示す。値を増加すると、アウトプットを、ステレオスコープデータにより近づけるように限定することになる。実際には、このことは、高速フーリエ変換などの標準的な技術を利用することにより、周波数領域で非常に高速で達成され得る。ここでＦＦＴを利用することは、ウイーナフィルタなどの最小二乗問題を解くよりも、高速で達成することであることに、留意されたい。例えば、高速ウエーブレット変換を用いるなど、他の技術も利用され得る。
【００６４】
“レンジマップ”として目的物表面について前述の形状表現を与えるこのステージからのアウトプットは、一つ若しくはそれ以上の位置特定テンプレートにより規定される、任意の座標フレームに相対する目的物の表面への距離の２Ｄマトリクスを与える融合レンジマップであり、このレンジマップは、測光データ若しくはステレオスコープデータの何れかに加えて、エラー特徴を改良するものであり、同時に、物質反射率係数の対応する２Ｄマトリクスは、例えば、カラー反射率を表す。
【００６５】
システムの最後の光学的機能は、多数のビューポイントからのデータセットが単一の一貫したデータセットに自動的に組み合わされる（若しくは“ステッチされる”）自動的方法を与え、目的物の拡張表面の３Ｄ撮像を実行することである。ビューポイント間の相対ポーズが計算可能であれば、形状データセットの融合は即座に達成され得る。物質、即ち、カラー反射率データの融合は、照射不変物質反射率マップの生成を要求する。これら両方のタスクは、本明細書で開示するように、多数の位置特定テンプレートを利用することにより、大いに促進される。
【００６６】
図７は、図１に示すハードウエア構成に基づき、オーバラップするビューポイント７０８、７０９、７１０を用いて、このことを達成する、例示の走査構成を示す。撮像を実行し上述のステップを処理することで、３つのデータセット７１１、７１２、７１３が生成される。夫々は目的物７０１の表面のサブセクションを表す。夫々のビューポイントは、別のビューポイントと共通して少なくとも一つのテンプレートを共有するのであり、判別するために共通して視覚されるテンプレートに対するカメラポーズの変更を容認するものである。一つのカメラビューを他のものに対してマップする変換のセットは、任意に選択された座標フレームに関して、決定され得る。グローバル座標フレームにより、形状のセクションは、相互に関して登録され得るのであり、更に、例えば、Ｊ．Ｃ．Ｃａｒｒ及びＲ．Ｋ．Ｂｅａｔｓｏｎ及びＪ．Ｂ．Ｃｈｅｒｒｉｅ及びＴ．Ｊ．Ｍｉｔｃｈｅｌｌ及びＷ．Ｒ．Ｆｒｉｇｈｔ及びＢ．Ｃ．ＭｃＣａｌｌｕｍ及びＴ．Ｒ．Ｅｖａｎｓによる“Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨページ６７−７６，２００１（非特許文献７）に記載される、標準的アルゴリズムが、データセットを融合するのに用いられ得る。
【００６７】
多数のビューポイントから取得された物質反射率データセットをステッチすることの鍵は、全体の照射及び色の不変性を保証することである。システムの位置は、ビューポイント間で変化するので、光源の全体の距離は一定とならず、テンプレートシステムが利用されないならば、例えば、物質特性の全体照明の変動に繋がり得る。このことは、様々なビューポイントからの、サンプル物質特性に対する洗練されたアルゴリズムの開発に繋がったのであり、それは、（例えば、米国特許第６６８６９２１号に例として記載される）一様な照射及び色不変性を達成する変換を計算するものである。較正されたテンプレートのセットの利用は、測光画像に対して反射率標準を与えるものであり、そのような技術を不必要にする。これは、全ての復元が較正されたテンプレートによって実施され、入射光強度、カメラカラーバランスなどの変動が、周知の標準に対して、推定され且つ訂正され得るからである。取得される物質特徴は、本来的に照射及び色不変性である。従って、多数の物質反射率データセットをステッチすることは、例えば、当業者に十分知られた色補間アルゴリズムと同時に、確立されたグローバル座標フレームの利用を要求するのみである。
【００６８】
当然のことながら、拡張表面の３Ｄ撮像を達成する多数の位置特定ターゲットを利用することは、図７に示すような、ステレオカメラの利用に限定されるものではない。図８は、拡張表面領域、この例でも壁８０１をキャプチャする、利用時の図３のシステムを示す。（図４に示す位置特定テンプレート４０１と同様の）４つの位置特定テンプレート８０２−８０５が、壁に貼られ、壁は、撮像デバイス３０３及び関連ハードウエア３１１を２つのポジション８０６、８０７、８０８で配置して、ビューされている。ビュー８０９、８１０、８１１のオーバラップするフィールドは夫々、４つのテンプレートのうち少なくとも２つを含む。カメラの較正は一定のままであり、個々のビューにおける個々のテンプレート間の相対的ポーズ（即ち、８０３に対する８０２の、８０４に対する８０３の、８０５に対する８０４のマッピング）は計算可能であるから、位置８０６、８０７、８０８に対する相対的ポーズと共に、全てのテンプレートの相対的ポーズを決定する完全なマッピングは、図７の構成と同様にして、決定され得る。
【００６９】
検査中の表面の複雑性、及び、復元の所望の正確性によっては、従来の形状キャプチャ方法を利用して、更なる形状情報を取得することが望ましい。図８にて、そのようなデバイス（図示せず）が、主要な撮像デバイス３０３に結合されてもよい。例えば、（ＷＯ２００７／１２９０４７に記載されるような）レーザストリップやスペックル、ホワイトライト若しくはフリンジベースの投射など、様々なアプローチが用いられてもよい。これらのシステムはそれ自身、物質反射率特性を取得する方法を与えるものではなく、受動的ステレオスコープアプローチと同様に、測光アプローチよりも低解像度形状データを生成する傾向にある、ということに留意されたい。
【００７０】
（図８に示されるように）ビューのオーバラップするフィールドを用いて、多数の位置特定テンプレートをキャプチャすることにより、全てのテンプレートに対する、相対的ポーズ変換の完全なセットが、計算可能である。位置特定テンプレート自身のポーズを把握することで、検査中の表面に対する概略全体の形状を与える更なる方法が、示される。位置特定テンプレートの全体スケールにて基本的表面がスムーズに湾曲しているならば、（適切に配置された）テンプレートは、局所の表面勾配を概算するものと考えられ得る。よって、個々のテンプレートは、検査中の表面上の、空間における単一の絶対位置（頂点）と、テンプレートの表面に垂直である、このポイントにおける即時の局所表面法線の計測量とを、与える。グローバル座標フレームは任意に選択可能であり、３Ｄ表面は、頂点及び法線データに適合する。よって、適切に円滑に変化する表面に対して、基本的な３Ｄ構造の粗モデは、更なる形状走査ハードウエアを利用すること無く、導出され得る。
【００７１】
図９は、復元された測光データ及び形状データをマージするのに利用され得る、一つの例示の方法を示す。図９は、３つのカメラビューポイント９０１、９０２、９０３の“バードアイ”ビューを概略示す図であり、個々のビューポイントは、対応する画像平面９０４、９０５、９０６を有する。画像自身は、例えば、測光法線データ、若しくは、形状レンジデータから、構成されてよい。延長された点線９１１で示されるように、“アウタ（外部）”ビュー９０４、９０５を中間ビュー９０５のビューポイントに変換してもよい。当業者に周知であるように、このことは、平面投射を介して達成され得る。結果として復元されたビューポイント９０７となる。台形領域９０８、９１０は、外部（アウタ）ビューポイント９０４、９０５の平面投射から生じており、ここで、矩形領域９０９は元の画像９０５である。３つの領域９０８−９１０外部の領域に対して、データは利用不可能である。画像９０７は、カメラにキャプチャされたビューポイントを超えて拡張する。オーバラップする領域９１３、９１４は、再投射が、同じ位置で利用可能である多数のデータサンプルとなることを、示す。データの性質に依存する適切な操作と共に、フィルタ操作は、これら領域で利用されねばならない。例えば、検査中の表面領域の基本的全体形状に拠っては、（部分的に）円柱若しくは球面にマッピングするような、他の投射方法も利用可能であることを、当業者であれば理解し得るところである。
【００７２】
当然のことながら、上述の実施形態からの変更も、本発明の範囲内にあり得る。例えば、図４の位置特定テンプレートは、形状フィーチャの特別のセットを示すが、当然ながら、計測を確立するのに利用可能などの適切なフィーチャも利用可能である。同様に、例示の撮像デバイスは“カメラ”を含むものとして記載してきたが、どの適切な画像センサも利用可能である。実際に、レンズスプリッタを伴う単一のセンサも適切である。他の例として、ビデオカメラ、ＣＭＯＳセンサなどを含む。更に、照射する放射は、可視光である必要は無い。エネルギのどの適切な形態も利用可能であり、画像センサも然るべく選択される。カメラは、ケーシングに“堅固に”付されたものとして、種々の実施形態で記載したが、当然のことながら、このことは、カメラがケーシングに伸縮自在に搭載されているような、状況も含む。
【符号の説明】
【００７３】
１０１・・・目的物、
１０２、１０３・・・位置特定テンプレート、
１０４・・・撮像デバイス、
１０５・・・ケーシング、
１１１、１１２・・・カメラ。
【特許請求の範囲】
【請求項１】
目的物の３次元モデルを計算するための装置において、
目的物を指向的に照射するように構成された少なくとも一つの指向性エネルギ源と、
相互に対して、固定された位置で少なくとも２つの空間的に分離したビューポイントを有し、目的物が上記エネルギ源により照射されるとき、個々のビューポイントにて目的物に関する一連の画像を記録するように構成されている撮像検知アセンブリと、
所定の形状フィーチャを有し、利用時にビューポイントの少なくとも一つに対して、目的物と同時に可視であるように構成されている少なくとも一つの位置特定テンプレートと、
ビューポイントにて記録された画像を分析するように構成されているプロセッサであって、
一連の画像内の個々の画像につき、上記位置特定テンプレートに相対する個々のビューポイントの位置及びポーズを判別し、
計算されたビューポイントの位置及びポーズ、並びに、エネルギ源からの照射の指向を利用して、目的物のための測光データを生成し、
光学三角測量を用いてステレオスコープ復元を実行することにより目的物の初期の３次元モデルを含む形状データを生成し、
上記形状データと上記測光データを組み合わせて３次元モデルを構築する
プロセッサと
を含む、装置。
【請求項２】
ビューポイントに相対する照射の指向が周知である、請求項１に記載の装置。
【請求項３】
上記少なくとも一つの指向性エネルギ源が、ビューポイントに相対して固定された位置における多数のエネルギ源を含む、請求項２に記載の装置。
【請求項４】
上記位置特定テンプレートが、ビューポイントの少なくとも一つに対して、目的物と同時に可視であるとき、利用時に上記エネルギ源により照射されるように構成されており、
上記プロセッサが、上記位置特定テンプレートを包含する個々の画像の一部から、照射の指向を計算するように構成されている、請求項１に記載の装置。
【請求項５】
上記エネルギ源が、一連の画像内の画像間でビューポイントに相対して移動可能である、請求項４に記載の装置。
【請求項６】
上記位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
上記プロセッサが、上記エネルギ源位置特定フィーチャを包含する画像の一部から、上記位置特定テンプレートに相対する上記エネルギ源のポーズを判別するように構成されている、請求項４に記載の装置。
【請求項７】
上記エネルギ源位置特定フィーチャが、周知の寸法のピラミッド若しくはコーンを含む、請求項６に記載の装置。
【請求項８】
ビューポイント及びエネルギ源が、携帯可能なハンドヘルド器具内で組み合わされている、請求項１乃至７のうちのいずれか一に記載の装置。
【請求項９】
複数の位置特定テンプレートを更に含み、
少なくとも２つの第１のテンプレートが、目的物の第１の部分と同時に、ビューポイントの少なくとも一つに対して可視である、第１の位置に、ビューポイント及びエネルギ源が配置され、
上記少なくとも２つの第１のテンプレートの少なくとも一つが、少なくとも一つの他のテンプレート、及び、上記第１の部分とオーバラップする目的物の第２の部分と同時に、ビューポイントの少なくとも一つに対して尚可視である、第２の位置へ、ビューポイント及びエネルギ源が移動可能であり、
ビューポイントが、第１及び第２の位置からの画像を記録するように構成されており、上記プロセッサが、画像からのデータを組み合わせて目的物の第１と第２の部分をカバーするモデルを生成するように、構成されている、
請求項１乃至８のうちのいずれか一に記載の装置。
【請求項１０】
ビューポイントがエネルギ源に相対して周知の位置に配置されている、請求項１乃至９のうちのいずれか一に記載の装置。
【請求項１１】
光学センサが個々のビューポイントに配置されている、請求項１乃至１０のうちのいずれか一に記載の装置。
【請求項１２】
目的物の３次元モデルを構築する装置において、
複数の視線方向からの目的物の画像を記録するように構成されている少なくとも一つの画像センサと、
個々の視線方向に対して、目的物の表面の少なくとも一部と同時に、少なくとも一つが上記画像センサに可視である、複数の位置特定テンプレートと、
異なる視線方向から記録された画像を分析して、内部に含まれる情報を位置特定テンプレートの位置と組み合わせ、目的物の表面の３次元モデルを構築するように構成されているプロセッサと
を含む、装置。
【請求項１３】
３次元モデルの生成が、表面の位置、形状及び反射率特性のうちの一つ若しくはそれ以上の３次元復元の生成を含む、請求項１２に記載の装置。
【請求項１４】
更に、目的物を照射するように構成された少なくとも一つの指向性エネルギ源を含み、
表面の復元が、上記指向性エネルギ源から反射されたエネルギ内の計測した変動を利用して、実行される、
請求項１２又は１３に記載の装置。
【請求項１５】
更に、形状指向性エネルギ源を含み、
上記形状指向性エネルギ源が、検査中の目的物を照射するのに用いられ、上記画像センサが、上記形状指向性エネルギ源により照射される目的物の画像をキャプチャするように構成されており、
上記プロセッサは、画像処理機能を実行して形状復元を実行するように構成されており、
上記プロセッサは、形状データと反射率変動データを組み合わせて目的物の表面の３次元復元をアウトプットするように構成されている
請求項１２、１３、１４のうちのいずれか一に記載の装置。
【請求項１６】
上記形状指向性エネルギ源が、レーザプロジェクタを含む
請求項１５に記載の装置。
【請求項１７】
個々の位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
上記プロセッサが、上記エネルギ源位置特定フィーチャを包含する画像の一部から、個々の位置特定テンプレートに相対する上記エネルギ源のポーズを判別するように構成されている
請求項１４乃至１６のうちのいずれか一に記載の装置。
【請求項１８】
画像内のエネルギ源の直接反射の可視性を減少する光学フィルタリングを含む
請求項１乃至１７のうちのいずれか一に記載の装置。
【請求項１９】
上記若しくは個々の位置特定テンプレートが、他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャを含む
請求項１乃至１８のうちのいずれか一に記載の装置。
【請求項２０】
目的物の３次元モデルを計算する装置において、
目的物の少なくとも一つの画像を記録するように構成された少なくとも一つの画像センサと、
他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャを有し、利用時に目的物と同時に上記画像センサにより検出されるように構成されている少なくとも一つの位置特定テンプレートと、
上記画像センサにより記録された画像を分析し３次元モデルを構築するように構成されているプロセッサと
を含む、装置。
【請求項２１】
上記一意的識別フィーチャが、上記プロセッサにより復号されるバーコードを含む
請求項１９又は２０に記載の装置。
【請求項２２】
上記一意的識別フィーチャが、ＲＦＤＩタグを含む
請求項１９又は２０に記載の装置。
【請求項２３】
上記一意的識別フィーチャが、ＥＥＰＲＯＭチップ含む
請求項１９又は２０に記載の装置。
【請求項２４】
目的物が、３次元物品の少なくとも一部を含む
請求項１乃至２３のうちのいずれか一に記載の装置。
【請求項２５】
目的物が、表面、若しくは表面の一部を含む
請求項１乃至２４のうちのいずれか一に記載の装置。
【請求項２６】
目的物の３次元モデルを計算する際に利用される位置特定テンプレートにおいて、
利用時に、目的物と同時に、撮像センサに可視であり、撮像センサに動作可能で接続されたプロセッサにより利用されて目的物の３次元モデルの構築を促進する、形状フィーチャと、
他の位置特定テンプレートとの区別を可能にする一意的位置特定フィーチャと
を含む、位置特定テンプレート。
【請求項２７】
目的物の３次元モデルを計算するための方法において、
少なくとも一つの指向性エネルギ源で、目的物を指向的に照射するステップと、
相互に相対して、固定された位置で少なくとも２つの空間的に分離したビューポイントの各々における目的物に関する一連の画像を記録するステップであって、ビューポイントの少なくとも一つからの画像は所定の形状フィーチャを有する少なくとも一つの位置特定テンプレートも含む、ステップと、
記録された画像から、上記位置特定テンプレートに相対する個々のビューポイントの位置及びポーズを判別するステップと、
記録された画像から、計算されたビューポイントの位置及びポーズ、並びに、照射の指向を利用して、目的物のための測光データを生成するステップと、
光学三角測量を用いてステレオスコープ復元を実行することにより目的物の初期の３次元モデルを含む形状データを生成するステップと、
上記３次元モデルを構築するために上記形状データと上記測光データを組み合わせるステップと
を含む、方法。
【請求項２８】
上記位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
更に、上記エネルギ源位置特定フィーチャを包含する画像の一部から、上記位置特定テンプレートに相対する上記エネルギ源のポーズを判別するステップを含む
請求項２７に記載の方法。
【請求項２９】
ビューポイント及びエネルギ源が、携帯可能なハンドヘルド器具内で組み合わされている、請求項２７又は２８に記載の方法。
【請求項３０】
更に、
複数の位置特定テンプレートを更に含み、
少なくとも２つの第１のテンプレートが、目的物の第１の部分と同時に、ビューポイントの少なくとも一つに対して可視である、第１の位置に、ビューポイント及びエネルギ源を配置するステップと、
第１の位置からの個々のビューポイントにて第１の画像を記録するステップであって、個々の第１の画像が、目的物の第１の部分及び上記少なくとも２つの第１のテンプレートを含む、ステップと、
上記少なくとも２つの第１のテンプレートの少なくとも一つが、少なくとも一つの他のテンプレート、及び、上記第１の部分とオーバラップする目的物の第２の部分と同時に、ビューポイントの少なくとも一つに対して尚可視である、第２の位置へ、ビューポイント及びエネルギ源を移動するステップと、
第２の位置からの個々のビューポイントにて第２の画像を記録するステップと、
目的物の第１と第２の部分をカバーするモデルを生成するために、第１と第２の画像からのデータを組み合わせるステップと
を含む
請求項２７、２８、２９のうちのいずれか一に記載の方法。
【請求項３１】
目的物の３次元モデルを構築する方法において、
複数の視線方向からの目的物のオーバラップする部分の画像を記録する少なくとも一つの画像センサを利用するステップであって、個々の画像は、所定の形状フィーチャを有する少なくとも２つの位置特定テンプレートを含む、ステップと、
上記位置特定テンプレートに関して、上記画像センサの相対的位置を判別するステップと、
更なる処理のために、表面の多数の視線方向からの画像を組み合わせるステップと、
目的物の表面の表面復元を実行するステップと
を含む、方法。
【請求項３２】
更に、
形状指向性エネルギ源で目的物を照射するステップと、
上記形状指向性エネルギ源で照射された目的物の画像をキャプチャするために上記画像センサを利用するステップと、
形状復元を実行するために画像処理機能を実行するステップと、
表面の３次元復元をアウトプットするために形状データ及び反射率データを組み合わせるステップと
を含む、請求項３１に記載の方法。
【請求項３３】
個々の位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
更に、上記エネルギ源位置特定フィーチャを包含する画像の一部から、個々の位置特定テンプレートに相対する上記エネルギ源のポーズを判別するステップを含む
請求項３１又は３２に記載の方法。
【請求項３４】
上記若しくは個々の位置特定テンプレートが、他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャを含む
請求項２７乃至３３のうちのいずれか一に記載の方法。
【請求項３５】
目的物の３次元モデルを計算する方法において、
他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャと、所定の形状フィーチャとを有する、少なくとも一つの位置特定テンプレートと共に、目的物の画像を記録する少なくとも一つの画像センサを利用するステップと、
３次元モデルを構築するために、上記画像センサにより記録された画像を分析するステップと
を含む、方法。
【請求項３６】
上記一意的識別フィーチャが、バーコードを含み、
更に、上記位置特定テンプレートを特定するために、画像内のバーコードを特定してバーコードを復号するステップを含む
請求項３４又は３５に記載の方法。
【請求項３７】
上記一意的識別フィーチャが、ＲＦＤＩタグを含み、
更に、上記位置特定テンプレートを特定するために、ＲＦリーダを利用するステップを含む
請求項３４又は３５に記載の方法。
【請求項３８】
上記一意的識別フィーチャが、ＥＥＰＲＯＭチップ含み、
更に、上記位置特定テンプレートを特定するために、リーダを利用するステップを含む
請求項３４又は３５に記載の方法。
【請求項３９】
目的物が、３次元物品の少なくとも一部を含む
請求項２７乃至３８のうちのいずれか一に記載の方法。
【請求項４０】
目的物が、表面、若しくは表面の一部を含む
請求項２７乃至３９のうちのいずれか一に記載の方法。
【請求項４１】
添付の図面を参照して明細書に記載される目的物の３Ｄモデルを計算する装置。
【請求項４２】
添付の図面を参照して明細書に記載される目的物の３Ｄモデルを計算する方法。
【請求項１】
目的物の３次元モデルを計算するための装置において、
目的物を指向的に照射するように構成された少なくとも一つの指向性エネルギ源と、
相互に対して、固定された位置で少なくとも２つの空間的に分離したビューポイントを有し、目的物が上記エネルギ源により照射されるとき、個々のビューポイントにて目的物に関する一連の画像を記録するように構成されている撮像検知アセンブリと、
所定の形状フィーチャを有し、利用時にビューポイントの少なくとも一つに対して、目的物と同時に可視であるように構成されている少なくとも一つの位置特定テンプレートと、
ビューポイントにて記録された画像を分析するように構成されているプロセッサであって、
一連の画像内の個々の画像につき、上記位置特定テンプレートに相対する個々のビューポイントの位置及びポーズを判別し、
計算されたビューポイントの位置及びポーズ、並びに、エネルギ源からの照射の指向を利用して、目的物のための測光データを生成し、
光学三角測量を用いてステレオスコープ復元を実行することにより目的物の初期の３次元モデルを含む形状データを生成し、
上記形状データと上記測光データを組み合わせて３次元モデルを構築する
プロセッサと
を含む、装置。
【請求項２】
ビューポイントに相対する照射の指向が周知である、請求項１に記載の装置。
【請求項３】
上記少なくとも一つの指向性エネルギ源が、ビューポイントに相対して固定された位置における多数のエネルギ源を含む、請求項２に記載の装置。
【請求項４】
上記位置特定テンプレートが、ビューポイントの少なくとも一つに対して、目的物と同時に可視であるとき、利用時に上記エネルギ源により照射されるように構成されており、
上記プロセッサが、上記位置特定テンプレートを包含する個々の画像の一部から、照射の指向を計算するように構成されている、請求項１に記載の装置。
【請求項５】
上記エネルギ源が、一連の画像内の画像間でビューポイントに相対して移動可能である、請求項４に記載の装置。
【請求項６】
上記位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
上記プロセッサが、上記エネルギ源位置特定フィーチャを包含する画像の一部から、上記位置特定テンプレートに相対する上記エネルギ源のポーズを判別するように構成されている、請求項４に記載の装置。
【請求項７】
上記エネルギ源位置特定フィーチャが、周知の寸法のピラミッド若しくはコーンを含む、請求項６に記載の装置。
【請求項８】
ビューポイント及びエネルギ源が、携帯可能なハンドヘルド器具内で組み合わされている、請求項１乃至７のうちのいずれか一に記載の装置。
【請求項９】
複数の位置特定テンプレートを更に含み、
少なくとも２つの第１のテンプレートが、目的物の第１の部分と同時に、ビューポイントの少なくとも一つに対して可視である、第１の位置に、ビューポイント及びエネルギ源が配置され、
上記少なくとも２つの第１のテンプレートの少なくとも一つが、少なくとも一つの他のテンプレート、及び、上記第１の部分とオーバラップする目的物の第２の部分と同時に、ビューポイントの少なくとも一つに対して尚可視である、第２の位置へ、ビューポイント及びエネルギ源が移動可能であり、
ビューポイントが、第１及び第２の位置からの画像を記録するように構成されており、上記プロセッサが、画像からのデータを組み合わせて目的物の第１と第２の部分をカバーするモデルを生成するように、構成されている、
請求項１乃至８のうちのいずれか一に記載の装置。
【請求項１０】
ビューポイントがエネルギ源に相対して周知の位置に配置されている、請求項１乃至９のうちのいずれか一に記載の装置。
【請求項１１】
光学センサが個々のビューポイントに配置されている、請求項１乃至１０のうちのいずれか一に記載の装置。
【請求項１２】
目的物の３次元モデルを構築する装置において、
複数の視線方向からの目的物の画像を記録するように構成されている少なくとも一つの画像センサと、
個々の視線方向に対して、目的物の表面の少なくとも一部と同時に、少なくとも一つが上記画像センサに可視である、複数の位置特定テンプレートと、
異なる視線方向から記録された画像を分析して、内部に含まれる情報を位置特定テンプレートの位置と組み合わせ、目的物の表面の３次元モデルを構築するように構成されているプロセッサと
を含む、装置。
【請求項１３】
３次元モデルの生成が、表面の位置、形状及び反射率特性のうちの一つ若しくはそれ以上の３次元復元の生成を含む、請求項１２に記載の装置。
【請求項１４】
更に、目的物を照射するように構成された少なくとも一つの指向性エネルギ源を含み、
表面の復元が、上記指向性エネルギ源から反射されたエネルギ内の計測した変動を利用して、実行される、
請求項１２又は１３に記載の装置。
【請求項１５】
更に、形状指向性エネルギ源を含み、
上記形状指向性エネルギ源が、検査中の目的物を照射するのに用いられ、上記画像センサが、上記形状指向性エネルギ源により照射される目的物の画像をキャプチャするように構成されており、
上記プロセッサは、画像処理機能を実行して形状復元を実行するように構成されており、
上記プロセッサは、形状データと反射率変動データを組み合わせて目的物の表面の３次元復元をアウトプットするように構成されている
請求項１２、１３、１４のうちのいずれか一に記載の装置。
【請求項１６】
上記形状指向性エネルギ源が、レーザプロジェクタを含む
請求項１５に記載の装置。
【請求項１７】
個々の位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
上記プロセッサが、上記エネルギ源位置特定フィーチャを包含する画像の一部から、個々の位置特定テンプレートに相対する上記エネルギ源のポーズを判別するように構成されている
請求項１４乃至１６のうちのいずれか一に記載の装置。
【請求項１８】
画像内のエネルギ源の直接反射の可視性を減少する光学フィルタリングを含む
請求項１乃至１７のうちのいずれか一に記載の装置。
【請求項１９】
上記若しくは個々の位置特定テンプレートが、他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャを含む
請求項１乃至１８のうちのいずれか一に記載の装置。
【請求項２０】
目的物の３次元モデルを計算する装置において、
目的物の少なくとも一つの画像を記録するように構成された少なくとも一つの画像センサと、
他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャを有し、利用時に目的物と同時に上記画像センサにより検出されるように構成されている少なくとも一つの位置特定テンプレートと、
上記画像センサにより記録された画像を分析し３次元モデルを構築するように構成されているプロセッサと
を含む、装置。
【請求項２１】
上記一意的識別フィーチャが、上記プロセッサにより復号されるバーコードを含む
請求項１９又は２０に記載の装置。
【請求項２２】
上記一意的識別フィーチャが、ＲＦＤＩタグを含む
請求項１９又は２０に記載の装置。
【請求項２３】
上記一意的識別フィーチャが、ＥＥＰＲＯＭチップ含む
請求項１９又は２０に記載の装置。
【請求項２４】
目的物が、３次元物品の少なくとも一部を含む
請求項１乃至２３のうちのいずれか一に記載の装置。
【請求項２５】
目的物が、表面、若しくは表面の一部を含む
請求項１乃至２４のうちのいずれか一に記載の装置。
【請求項２６】
目的物の３次元モデルを計算する際に利用される位置特定テンプレートにおいて、
利用時に、目的物と同時に、撮像センサに可視であり、撮像センサに動作可能で接続されたプロセッサにより利用されて目的物の３次元モデルの構築を促進する、形状フィーチャと、
他の位置特定テンプレートとの区別を可能にする一意的位置特定フィーチャと
を含む、位置特定テンプレート。
【請求項２７】
目的物の３次元モデルを計算するための方法において、
少なくとも一つの指向性エネルギ源で、目的物を指向的に照射するステップと、
相互に相対して、固定された位置で少なくとも２つの空間的に分離したビューポイントの各々における目的物に関する一連の画像を記録するステップであって、ビューポイントの少なくとも一つからの画像は所定の形状フィーチャを有する少なくとも一つの位置特定テンプレートも含む、ステップと、
記録された画像から、上記位置特定テンプレートに相対する個々のビューポイントの位置及びポーズを判別するステップと、
記録された画像から、計算されたビューポイントの位置及びポーズ、並びに、照射の指向を利用して、目的物のための測光データを生成するステップと、
光学三角測量を用いてステレオスコープ復元を実行することにより目的物の初期の３次元モデルを含む形状データを生成するステップと、
上記３次元モデルを構築するために上記形状データと上記測光データを組み合わせるステップと
を含む、方法。
【請求項２８】
上記位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
更に、上記エネルギ源位置特定フィーチャを包含する画像の一部から、上記位置特定テンプレートに相対する上記エネルギ源のポーズを判別するステップを含む
請求項２７に記載の方法。
【請求項２９】
ビューポイント及びエネルギ源が、携帯可能なハンドヘルド器具内で組み合わされている、請求項２７又は２８に記載の方法。
【請求項３０】
更に、
複数の位置特定テンプレートを更に含み、
少なくとも２つの第１のテンプレートが、目的物の第１の部分と同時に、ビューポイントの少なくとも一つに対して可視である、第１の位置に、ビューポイント及びエネルギ源を配置するステップと、
第１の位置からの個々のビューポイントにて第１の画像を記録するステップであって、個々の第１の画像が、目的物の第１の部分及び上記少なくとも２つの第１のテンプレートを含む、ステップと、
上記少なくとも２つの第１のテンプレートの少なくとも一つが、少なくとも一つの他のテンプレート、及び、上記第１の部分とオーバラップする目的物の第２の部分と同時に、ビューポイントの少なくとも一つに対して尚可視である、第２の位置へ、ビューポイント及びエネルギ源を移動するステップと、
第２の位置からの個々のビューポイントにて第２の画像を記録するステップと、
目的物の第１と第２の部分をカバーするモデルを生成するために、第１と第２の画像からのデータを組み合わせるステップと
を含む
請求項２７、２８、２９のうちのいずれか一に記載の方法。
【請求項３１】
目的物の３次元モデルを構築する方法において、
複数の視線方向からの目的物のオーバラップする部分の画像を記録する少なくとも一つの画像センサを利用するステップであって、個々の画像は、所定の形状フィーチャを有する少なくとも２つの位置特定テンプレートを含む、ステップと、
上記位置特定テンプレートに関して、上記画像センサの相対的位置を判別するステップと、
更なる処理のために、表面の多数の視線方向からの画像を組み合わせるステップと、
目的物の表面の表面復元を実行するステップと
を含む、方法。
【請求項３２】
更に、
形状指向性エネルギ源で目的物を照射するステップと、
上記形状指向性エネルギ源で照射された目的物の画像をキャプチャするために上記画像センサを利用するステップと、
形状復元を実行するために画像処理機能を実行するステップと、
表面の３次元復元をアウトプットするために形状データ及び反射率データを組み合わせるステップと
を含む、請求項３１に記載の方法。
【請求項３３】
個々の位置特定テンプレートが、３次元エネルギ源位置特定フィーチャを含み、
更に、上記エネルギ源位置特定フィーチャを包含する画像の一部から、個々の位置特定テンプレートに相対する上記エネルギ源のポーズを判別するステップを含む
請求項３１又は３２に記載の方法。
【請求項３４】
上記若しくは個々の位置特定テンプレートが、他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャを含む
請求項２７乃至３３のうちのいずれか一に記載の方法。
【請求項３５】
目的物の３次元モデルを計算する方法において、
他の位置特定テンプレートとの区別を可能にする一意的識別フィーチャと、所定の形状フィーチャとを有する、少なくとも一つの位置特定テンプレートと共に、目的物の画像を記録する少なくとも一つの画像センサを利用するステップと、
３次元モデルを構築するために、上記画像センサにより記録された画像を分析するステップと
を含む、方法。
【請求項３６】
上記一意的識別フィーチャが、バーコードを含み、
更に、上記位置特定テンプレートを特定するために、画像内のバーコードを特定してバーコードを復号するステップを含む
請求項３４又は３５に記載の方法。
【請求項３７】
上記一意的識別フィーチャが、ＲＦＤＩタグを含み、
更に、上記位置特定テンプレートを特定するために、ＲＦリーダを利用するステップを含む
請求項３４又は３５に記載の方法。
【請求項３８】
上記一意的識別フィーチャが、ＥＥＰＲＯＭチップ含み、
更に、上記位置特定テンプレートを特定するために、リーダを利用するステップを含む
請求項３４又は３５に記載の方法。
【請求項３９】
目的物が、３次元物品の少なくとも一部を含む
請求項２７乃至３８のうちのいずれか一に記載の方法。
【請求項４０】
目的物が、表面、若しくは表面の一部を含む
請求項２７乃至３９のうちのいずれか一に記載の方法。
【請求項４１】
添付の図面を参照して明細書に記載される目的物の３Ｄモデルを計算する装置。
【請求項４２】
添付の図面を参照して明細書に記載される目的物の３Ｄモデルを計算する方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１１−５１６８４９（Ｐ２０１１−５１６８４９Ａ）
【公表日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２０１１−５０２４３３（Ｐ２０１１−５０２４３３）
【出願日】平成２１年３月２７日（２００９．３．２７）
【国際出願番号】ＰＣＴ／ＧＢ２００９／０５０２９９
【国際公開番号】ＷＯ２００９／１２２２００
【国際公開日】平成２１年１０月８日（２００９．１０．８）
【出願人】（５１０２６３３３１）エイコナ・テクノロジーズ・リミテッド (1)
【氏名又は名称原語表記】Ｅｙｋｏｎａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｔｄ
【Ｆターム（参考）】
【公表日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年３月２７日（２００９．３．２７）
【国際出願番号】ＰＣＴ／ＧＢ２００９／０５０２９９
【国際公開番号】ＷＯ２００９／１２２２００
【国際公開日】平成２１年１０月８日（２００９．１０．８）
【出願人】（５１０２６３３３１）エイコナ・テクノロジーズ・リミテッド (1)
【氏名又は名称原語表記】Ｅｙｋｏｎａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｔｄ
【Ｆターム（参考）】
[ Back to top ]