三次元検知のために深度変化させる光照射野
本願のマッピング方法は、形状が共通的特性を共有しつつ、パターン内のスポットの位置が無相関状態となるように、個々の位置及び個々の形状を有する複数のスポット（５２、５４、８０、８２）のパターンを物体（２８）上に投射する段階を含む。上記物体上のスポットの画像は、キャプチャされ、及び上記物体の三次元（３Ｄ）マップを導出するように処理される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、三次元（３Ｄ）物体をマッピングする方法及びシステムに関するものであり、更に詳しくは、３Ｄの光学測距及びマッピングに関するものである。
【背景技術】
【０００２】
コヒーレントな光ビームを、拡散器を通過させ表面上に投射させると、当該表面上で一次スペックルパターンが観察可能となる。一次スペックルは、拡散されたビーム間の異なる成分における干渉によって生成される。尚、この「一次スペックル」という用語は、本特許出願においては、物体の粗い表面からのコヒーレント光の拡散反射によって生成される二次スペックルとは区別して使用される。
【０００３】
ハート（Hart）は、中華民国での特許（TW527528B）及び米国への特許出願（09/616,606号）において高速３Ｄ撮像システムにおけるスペックルパターンの使用法について記述しており、この開示内容は、本引用により本明細書に包含される。このシステムは、能動的な撮像素子及びＣＣＤ素子を有する単一レンズのカメラサブシステムと、相関処理サブシステムとを含む。能動的な撮像素子は、焦点がぼけた画像間における非等辺の間隔（non-equilateral spacing）を調節可能にして、相対的に深い被写界深度及び高いサブピクセル変位精度を実現できる回転アパーチャであってよい。スペックルパターンを物体上に投射し、この結果得られるパターンの画像を、複数の角度から取得している。これらの画像を、画像相関法を使用して局所的に相互相関させ、相対的なカメラ位置情報を使用して表面位置を決定し、それぞれの局所的な相関領域の三次元座標を算出している。
【０００４】
スペックルに基づいた別の３Ｄ撮像法は、ハンター（Hunter）他によって米国特許（6,101,269号）に記述されており、この開示内容は、本引用により本明細書に包含される。ランダムなスペックルパターンを３Ｄ表面上に投射し、複数のカメラによって撮像することにより、複数の二次元デジタル画像を取得している。これらの二次元デジタル画像を処理して表面の三次元の特徴を取得している。
【０００５】
３Ｄマッピング及び測距の別の方法は、構造化又はコード化された照明を使用している。例えば、Sazbon 他は、この種の範囲推定法について「Qualitative Real-Time Range Extraction for Preplanned Scene Partitioning Using Laser Beam Coding」（Pattern Recognition Letters 26（2005年）、1771〜1781頁）に記述しており、この内容は、本引用により本明細書に包含される。位相専用フィルタは、レーザービームを作業空間内のＭ個の異なる範囲セグメントに対応したＭ個の異なる回折パターンにコード化している。従って、照明されたシーン内のそれぞれのプレーンは、光源からのそのプレーンの範囲に対応したパターンによって照射されることになる。一般的なカメラを使用することにより、シーンの画像をキャプチャ可能であり、シーンの画像を処理してシーン内の物体の範囲を判定可能にしている。著者らは、Gerchberg-Saxtonアルゴリズムに基づいて位相専用フィルタをデザインする反復的な手順について記述している。
【発明の開示】
【課題を解決するための手段】
【０００６】
以下に記述する本発明の実施例は、成形されたスポット照明パターンを使用した３Ｄマッピング及び測距の方法及びシステムを提供する。この照明パターンは、制御された且つ識別可能な形状を備えた明るいスポットのアレイを有している。いくつかの実施例において、スポットの相対的な位置は、（例えば、スペックルパターンなどのランダム又は擬似ランダムなパターンにおいて）無相関状態になるが、これらのスポットは、いずれの場合にも、予め規定された類似の形状特性を共有している。特定の実施例においては、スポットは、特定の方向において細長くなっており、これは、照明ビームに対して直角に走る所与のプレーン内のすべてのスポットに共通している。但し、上記の代わりに、その他のスポット形状を使用することも可能である。
【０００７】
いくつかの実施例においては、スポットの形状特性は、照明源からの距離に伴って変化する。この距離に伴って変化する形状特性は、光学的な２つの制約を重畳するようにデザインされた１つ又は複数の光学要素に照明ビームを通過させることによって実現可能である。光学的な２つの上記制約の１つは、ビームを複数のスポットに分割することであり、別のもう１つは、距離に伴って変化する形状を生成することである。上記重畳法は、距離に伴って変化する様々なパターンを、簡単且つ柔軟に生成することを可能にする。この距離に伴って変化する形状特性の成果として、パターンによって照明された物体表面の一部に現れるスポットの形状は、照明源から物体の各表面部分までの範囲を判定するのに使用可能とする。
【０００８】
いくつかの実施例において、物体表面上のパターン部分の横断方向のシフトは、既知の範囲に位置した基準パターンとの関係において、物体表面の３Ｄマップを再構築するのに使用される。形状に基づいた測距およびシフトに基づいたマッピングの組み合わせは、照明源からの広い範囲の距離をカバーする正確な３Ｄマップを生成するのに使用することが可能である。
【０００９】
従って、本発明の一実施例によれば、マッピング法が提供されており、この方法は、
個々の位置及び個々の形状を有する複数のスポットのパターンを物体上に投射する段階であって、上記形状が共通的特性を共有する一方で、上記パターン内の上記スポットの位置が無相関状態になるような、投射段階と、
上記物体上の上記スポットの画像をキャプチャする段階と、
上記物体の三次元（３Ｄ）マップを導出するべく上記画像を処理する段階と、を含む。
【００１０】
一実施例において、上記スポットのパターンは、ランダムスペックルパターンを含む。
【００１１】
いくつかの実施例において、形状の共通的特性は、パターンの供給源からの距離の関数として変化し、画像を処理する段階は、供給源からの表面までの距離を判定するべく画像内の物体の表面上のスポットの特性を分析する段階を含む。一実施例において、スポットは、パターンの供給源からの距離の関数として回転する細長い形状を共有しており、且つ、特性を分析する段階は、物体の表面上におけるスポットの方向を判定する段階を含む。代替方法又は追加方法として、画像を処理する段階は、画像内の物体の複数のエリア上のパターンと基準画像内のパターンとの間の個々のオフセットを見出す段階と、３Ｄマップを導出するために、距離と共にオフセットを使用する段階と、を含む。個々のオフセットを見出す段階は、供給源から表面までの距離に対して応答可能なように、複数の基準画像の中から基準画像を選択する段階を含むことが可能である。
【００１２】
別の実施例において、パターン内のスポットは、第１方向において配列された細長い形状を有し、且つ、画像を処理する段階は、３Ｄマップを導出するために、画像内の物体の複数のエリア上のパターンと基準画像内のパターンとの間において、第１方向に垂直である第２方向における個々のオフセットを見出す段階を含む。スポットのパターンを投射する段階は、コヒーレントな光ビームに拡散器を通過させる段階を含むことが可能であり、そして、上記光ビームは、第２方向に細長い拡散器においてプロファイルを有している。
【００１３】
開示した実施例において、画像をキャプチャする段階は、画像が移動する間に一連の画像をキャプチャする段階を含み、画像を処理する段階は、一連の画像を処理することにより物体の移動を追跡する段階を含む。一実施例において、物体は、人体の一部であり、移動を追跡する段階は、人体の一部によって実行されたジェスチャーを識別する段階と、ジェスチャーに対して応答可能なように、コンピュータアプリケーションに入力を提供する段階と、を含む。
【００１４】
又、本発明の一実施例によれば、撮像方法も提供されており、この方法は、
光ビームに対する第１の光学的制約の適用が、光ビームを複数のスポットのパターンに分割するような、第１の光学的制約を規定する段階と、
光ビームに対する第２の光学的制約の適用が、光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えるスポットを光ビームに形成させるような、第２の光学的制約を規定する段階と、
上記第１の光学的制約及び上記第２の光学的制約を重畳させるべく、少なくとも１つの光学要素をデザインする段階と、
パターン内の複数のスポットが形状特性を備えるように、パターンを表面上に投射するために、少なくとも１つの光学要素を通じて光ビームを導く段階と、を含む。
【００１５】
いくつかの実施例において、少なくとも１つの光学要素は、ビームをパターンに分割するための第１光学要素と、形状特性に適用するための第２光学要素と、を含む。一実施例において、パターンは、スペックルパターンを含み、第１光学要素は、拡散器を含む。
【００１６】
代替方法又は追加方法として、少なくとも１つの光学要素は、回折光学要素（ＤＯＥ：Diffractive Optical Element）を含む。一実施例において、ＤＯＥは、細長い形状をスポットに付与するための少なくとも１つのゾーンプレートを含む。上記少なくとも１つのゾーンプレートは、スポットの細長い形状を距離の関数として回転させるように、異なる個々の周期及び角度方位を備えた複数の重畳するゾーンプレートを含むことが可能である。
【００１７】
更に、代替方法又は追加方法として、少なくとも１つの光学要素は、屈折光学要素を含む。
【００１８】
通常、第１の光学的制約によって規定されるパターンは、１／４を上回らないデューティサイクルを備える。
【００１９】
いくつかの実施例において、パターンは、位置が無相関状態となるように、スポットの個々の位置を規定している。
【００２０】
開示した一実施例において、第２の光学的制約は、スポットに、距離の関数として回転する細長い形状を備えさせている。別の実施例においては、第２の光学的制約は、スポットに、環形状を備えさせている。
【００２１】
いくつかの実施例において、本方法は、表面上のスポットの画像をキャプチャする段階と、少なくとも１つの光学要素から表面までの距離を判定するべく画像を処理する段階と、を含む。
【００２２】
本発明の一実施例によれば、マッピング装置が更に提供されており、この装置は、個々の位置及び個々の形状を有した複数のスポットのパターンを物体上に投射するように構成された照明アセンブリであって、上記形状が共通的特性を共有する一方で上記パターン内の上記スポットの上記位置が無相関状態になるような、照明アセンブリと、
物体上のスポットの画像をキャプチャするように構成された撮像アセンブリと、
物体の三次元（３Ｄ）マップを導出するために画像を処理するように結合された画像プロセッサと、を含む。
【００２３】
本発明の一実施例によれば、撮像装置が更に提供されており、この装置は、
第１の光学的制約及び第２の光学的制約を重畳するようにデザインされた少なくとも１つの光学要素であって、上記第１の光学的制約の光ビームへの適用が、光ビームを複数のスポットのパターンに分割することであり、上記第２の光学的制約の光ビームへの適用が、光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えたスポットを前記ビームに形成させるようにする、光学要素と、
パターン内の複数のスポットが形状特性を具備するようにパターンを表面上に投射するために、少なくとも１つの光学要素を通じて光ビームを導くように構成された光源と、を含む。
【００２４】
添付の図面との関連において、その実施例に関する以下の詳細な説明を参照することにより、本発明について更に理解することができよう。
【発明を実施するための最良の形態】
【００２５】
（システムの概要）
図１は、本発明の一実施例による３Ｄ測距及びマッピングシステム２０の画的な概略図である。システム２０は、スポットのパターンを生成して物体２８上に投射し、且つ、物体上に現れるスポットパターンの画像をキャプチャする撮像装置２２を有している。装置２２のデザイン及び動作の詳細については、以降の図面に示されており、且つ、それらの図面を参照して後述することとする。
【００２６】
いくつかの実施例において、撮像装置２２によって投射されるスポットのパターンは、スペックルパターンを含む。本特許出願の明細書および各請求項において、この「スペックルパターン」という用語は、投射ビーム軸を横断するプレーン内において無相関状態となっている位置の明るいスポットでの投射パターンを意味している。これらの位置は、パターン内のスペックルの位置の自動相関が、横断方向のシフト関数としてスポットサイズよりも大きなどのようなシフトにとっても重要でないという意味において無相関状態にある。一次レーザースペックルによって生成されるものなどのランダムパターン（前述のものなど）は、この意味において無相関状態にある。擬似ランダム及び準ランダムパターンなどの人間又はコンピュータデザインによって生成されるパターンも、無相関状態にすることができる。システム２０内において実装可能であるスペックルに基づいた３Ｄマッピングの理論及び動作のその他の側面については、2006年3月14日付けで出願されたＰＣＴ特許出願（PCT/IL2006/000335）及び2007年3月8日付けで出願された「Three-Dimensional Sensing Using Speckle Patterns」という名称のＰＣＴ特許出願に記述されている。これらの出願は、いずれも、本特許出願の譲受人に譲渡されており、且つ、それらの開示内容は、本引用により、本明細書に包含される。
【００２７】
その他の実施例において、スポットは、照明ビームをDamman格子又は適切な微小レンズアレイに通過させることによって生成可能であるタイプのパターンなどのような、規則的な非ランダムなパターン内において配列可能である。
【００２８】
後述する測距及びマッピングアプリケーションにおける良好な性能のためには、スポットパターンは、低デューティサイクルを有していることが有利である。即ち、平均を上回る輝度を有するパターンのエリア部分が、１／ｅを上回ってはおらず、望ましくは、１／４未満、又は１／１０未満であることが有利である。低いデューティサイクルは、３Ｄマッピングのためのスポットシフトの検出における信号／雑音比の向上に有利である。また、低いデューティサイクルは、隣接するスポットがオーバーラップした間、結果的に生じる干渉の影響を回避するのにも有用である。
【００２９】
スポット（スペックル）の位置が無相関状態にある間も、本発明の実施例において使用されるパターン内のスポットの形状は、従来のレーザースペックルパターンにおけるように完全にランダムだけでなく、共通的な形状特性をも有している。例えば、後述するように、いくつかの実施例においては、スポットは、特定の軸に沿って細長くなっている。追加方法または代替方法として、スポットは、形状が制御されて、照明ビームの軸に沿った距離の関数としての形状の変化が識別可能である限り、その他の共通的な形状特性を有することが可能である。尚、本明細書における「形状の変化」という用語は、照明源からの距離に伴って通常発生するスポットサイズの単純な線形性の増加以外の変化を意味する。
【００３０】
画像プロセッサ２４は、物体２８の深度測距、および選択した時の物体２８の３Ｄマッピングを実行するために、装置２２によって生成された画像データを処理する。尚、この本特許出願及び各請求項において使用される「測距」という用語は、撮像装置から物体までの距離の粗い尺度を見出すことを意味しており、一方、「３Ｄマップ」という用語は、物体の表面を表す３Ｄ座標の組を意味している。このような画像データに基づいたマップの導出は、「３Ｄマッピング」、又は等価的に「３Ｄ再構築」と呼ばれている。後述するように、３Ｄ再構築プロセスにおいては、測距及びマッピングの両方を粗いフェーズ及び微細なフェーズとして同時に使用可能である。従って、測距は、ある種の粗い３Ｄマッピングであると見なすことも可能である。
【００３１】
このような測距及びマッピングを実行する画像プロッサ２４は、後述する機能を実行するべくソフトウェアにおいてプログラムされた汎用コンピュータプロセッサから構成可能である。ソフトウェアは、例えば、ネットワーク上において、プロセッサ２４に電子的な形態においてダウンロード可能であり、或いは、代替として、光学、磁気、又は電子的なメモリ媒体などの実体のある媒体上において提供することも可能である。代替方法または追加方法として、画像プロセッサの機能のいくつか又はすべてを、カスタム又はセミカスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアにおいて実装することも可能である。尚、プロセッサ２４は、図１には、一例として、撮像装置２２とは別個のユニットとして示されているが、プロセッサ２４の処理機能のいくつか又はすべてを、撮像装置のハウジング内の適切な専用回路、又はさもなければ撮像装置と関連付けられた適切な専用回路によって実行することも可能である。
【００３２】
プロセッサ２４によって生成される３Ｄマップは、様々な異なる目的に使用可能である。例えば、このマップは、物体の擬似３Ｄ画像を表示するディスプレイ２６などの出力装置に送信可能である。図１に示されている例においては、物体２８は、対象物の本体の全部又は一部（例えば、手）から構成されている。この場合には、システム２０を使用することにより、ジェスチャーに基づいたユーザーインターフェイスを提供可能であり、この場合には、装置２２によって検出されたユーザーの動きにより、マウス、ジョイスティック、又はその他のアクセサリなどの触覚的なインターフェイス要素の代わりに、ゲームなどの対話型のコンピュータアプリケーションを制御する。或いは、代替に、システム２０を使用することにより、３Ｄ座標プロファイルを必要としている実質的にあらゆるアプリケーションにおいて、その他のタイプの物体の３Ｄマップを生成することも可能である。
【００３３】
図２は、本発明の一実施例による装置２２の概略平面図である。装置２２内の照明アセンブリ３０は、通常はレーザーであるコヒーレントな光源３４と、後述するように、スペックルパターン又はスポットのその他のパターンを生成するべく組み合わせとして通常は使用される１つ又は複数の光学要素３６、３８と、を含む。（尚、本特許出願の明細書における「光」という用語は、赤外線及び紫外線、並びに、可視光を含む任意の種類の光学的放射を意味する）。供給源３４によって放射された光ビームは、光学要素３６及び３８を通過し、物体２８が配置されているターゲット領域４６を照射している。画像キャプチャアセンブリ３２は、物体２８上に投射されたパターンの画像をキャプチャしている。アセンブリ３２は、画像を画像センサ４２上に合焦する対物用光学素子４０を含む。通常、センサ４０は、ＣＣＤ又はＣＭＯＳベースの画像センサアレイなどの検出器要素４４の直線アレイを含む。
【００３４】
図２に示されている実施例においては、照明アセンブリ３０及び画像キャプチャアセンブリ３２は、固定された空間的関係に保持されている。後述するこの構成及び処理法によれば、照明及び画像キャプチャアセンブリ間における相対的な移動を伴うことなしに、且つ、可動部品を伴うことなしに、単一の画像キャプチャアセンブリを使用して３Ｄマッピングを実行可能である。代替として、後述する照明、測距、及びマッピングの技法は、先の背景技術の箇所で記述した様々な異なる構成に、その他の種類の画像キャプチャアセンブリを併用させて、使用することも可能である。例えば、画像キャプチャアセンブリは、照明アセンブリとの関係において移動可能であってよい。追加方法又は代替方法として、複数の画像キャプチャアセンブリを使用することにより、異なる角度から物体２８の画像をキャプチャすることも可能である。
【００３５】
３Ｄマップの演算、及び図２の構成における物体２８の動きに起因したマップ内の変化の演算を単純化するべく、アセンブリ３０及び３２は以下のように取り付けることが可能である。すなわち、画像キャプチャアセンブリ３２の入射瞳孔と、光学要素３６上の光源３４によって形成されるスポットとの中心を通過する軸が、センサ４０の軸の１つと平行になるように取り付けることが可能である（これは、Ｘ軸になるように便宜され、Ｚ軸は装置２２からの距離に対応することになる）。この構成の利点については、「Three-Dimensional Sensing Using Speckle Patterns」という名称の前述のＰＣＴ特許出願に更に説明されている。
【００３６】
具体的には、この構成における三角測量によれば、物体上のポイントのＺ方向のシフトδＺは、画像内において観察されるスポットパターン内の随伴する横断方向のシフトδＸを生成することになる。従って、既知の距離Ｚにおいて取得された基準画像との関係においてアセンブリ３２によってキャプチャされた画像内のスポットのＸ座標におけるシフトを計測することにより、物体上のポイントのＺ座標と、時間に伴うＺ座標におけるシフトを判定可能である。Ｙ方向のシフトは無視可能である。この種の三角測量法は、特にスペックルパターンを使用している３Ｄマッピングに好適であるが、その他のタイプのスポットパターンと共に使用するべく、この方法の態様を適合させることも可能である。
【００３７】
換言すれば、キャプチャされた画像のそれぞれのエリア内のスポットのグループを基準画像と比較することにより、基準画像内の最も緊密にマッチングしているスポットのグループを見出している。画像内のマッチングしているスポットのグループ間における相対的なシフトは、基準画像との関係におけるキャプチャされた画像のエリアのＺ方向のシフトを付与している。スポットパターン内におけるシフトは、画像相関又は当技術分野において既知のその他の画像マッチング演算法を使用して計測可能である。いくつかの模範的な方法については、前述のＰＣＴ特許出願に記述されている。
【００３８】
（共通的な形状特性を有するスペックルパターンの生成）
共通的な形状特性を有するスポットのパターンを使用することにより、いくつかの方法においてシステム２０の動作を向上させることができる。例えば、Ｘ方向のシフトのみが物体の３Ｄ再構築において有意である前述の装置２２の構成においては、Ｙ方向に細長くなったスペックルのパターンを使用することが有利であろう。この結果、プロセッサ２４がＺ方向のシフトを検出する目的で画像間における相関を演算する間、この演算は、Ｙ方向におけるスペックルの小さなシフトの影響を受けにくくなる。この機能により、Ｘ方向のシフト演算の安定性が改善される（且つ、演算において相対的に小さな相関ウィンドウを使用可能であろう）。
【００３９】
Ｙ方向において細長く、且つ、Ｘ方向における位置が無相関状態になるような種類のスペックルパターンを生成するために、いくつかの方法を使用することが可能である。１つの可能性は、Ｘ方向に細長くなった粒子のランダムに配列されたアレイと共に、光学要素３６を拡散器として構成するというものである（この場合には、要素３８は不要であろう）。上記粒子は、例えば、不透明であってよく、或いは、代替として、上記粒子は、透過光の位相の変化を生成するべく、異なる厚さを有することも可能である。別の代替方法として、光源３４からの光ビームをＸ方向に細長くしつつ、要素３６が従来の等方性の拡散器を有することも可能である。この目的のために、例えば、供給源と拡散器との間の円筒形レンズ（図示されてはいない）を使用することも可能である。
【００４０】
更に別の選択肢は、要素３６を（等方性であってよい）拡散器から構成すると共に、要素３８を回折光学要素（ＤＯＥ）から構成するというものである。Ｙ軸に沿って細長い望ましいスペックルを生成するべく、要素３８は、Ｘ軸に平行に方向付けされたラインを有する適切な格子又はゾーンプレートから単純に構成することが可能である。
【００４１】
尚、概念的な明瞭性のために、要素３６及び３８は、図２には、別個のコンポーネントであるものとして示しているが、拡散器及びＤＯＥは、通常、互いに接触状態にあり、且つ、１つに接着することも可能である。或いは、代替として、光学ブランクの片面上にＤＯＥを形成して、他面を研磨して拡散器を生成することにより、要素３６及び３８を一体成形品として製造することも可能である。更には、代替として、拡散器及び格子又はゾーンプレートによって課される光学的な制約を、単一のＤＯＥ内において組み合わせることも可能であり、この場合、たとえば、Ｘ軸に方向付けされたラインと擬似ランダム拡散パターンとが重畳されることになる。これらのケースのすべてにおいて、遠視野におけるスペックルのパターンは、拡散器によって提供されたランダムな位置分布と、ＤＯＥのフーリエ変換によって規定される形状とを畳み込みしたものとなる。
【００４２】
距離Ｚに伴って変化する更に複雑なパターンを生成するＤＯＥの生成において、類似の重畳法が使用可能である。いくつかの実施例においては、異なる距離の範囲において異なる形状を具備したスポットパターンを生成するべく、ＤＯＥをデザインすることが可能である。図２を参照すれば、スポットは、距離Ｚ１において１つの形状を具備し、Ｚ２において別の形状を具備し、以下同様である。例えば、スポットの細長い形状は、ある範囲から次の範囲の間において４５°の回転が可能である。結果として、物体２８がＺＡに配置されている間、スポットは、範囲 Ｚ２への向きを具備することになり、物体がＺＢにある間、スポットは、範囲Ｚ３への向きを具備することになる。この結果、スポットの向きを検出することにより、プロセッサ２４（図１）は、スポットの位置相関に基づいた３Ｄ再構築プロセスとは無関係に、物体の距離の範囲を判定可能である。測距とマッピングの組み合わせを使用することにより、更に後述するように、改善された測距及び／分解能を有する３Ｄマップを生成可能である。
【００４３】
様々な方法を使用することにより、望ましいＺ依存性を有するスポットパターンを生成する単一光学要素をデザイン可能である。この種の範囲依存性のスペックル成形を付与するための光学要素３８のデザインに使用可能な１つの方法は、前述のSazbon 他による文献に記述されているように、反復的なGerchberg-Saxton法を使用するというものである。但し、この方法は、計算コストが高く、且つ収束が保証されてはいない。
【００４４】
代替として、このような目的の１つ又は複数の光学要素の組を制約の重畳に基づいてデザインすることも可能である。例えば、４つの予め規定された距離において４つの向きを有するＺに伴って変化する単一のパターンを単独で実装する要素を（低デューティサイクル及び無相関状態になる位置を有するスポットパターンを生成する）スプリッタと重畳させることにより、異なる個々の距離において４つの異なる向きを有するスペックルを生成するためのこのような１つ又は複数の要素が製作可能である。この単一パターンを生成する要素は、例えば、それぞれが光を範囲の中の１つにおいて適切な個々の方向を有するラインに合焦する４つのゾーンプレートの重畳であってよい。
【００４５】
代替方法または追加方法として、重畳を演算し、適切なコンピュータ生成ホログラム（ＣＧＨ：Computer-Generated Hologram）又はその他のＤＯＥにおいて実現することも可能である。それぞれ、距離Ｚｉ（ｉ＝１，２、…、Ｋ）における光強度（又は、等価的には振幅）に対して課される制約の組Ｒｉ（ｉ＝１，２、…、Ｋ）が付与された場合に、これらの制約を実現する光学要素は、次のように２つのパターンの畳み込みに分解可能であり、
【００４６】
【数１】
【００４７】
この場合に、Ｓは、Ｒ１、Ｒ２、…、ＲＫに対して同一であり、Ｐｉは、ｉ＝１，２、…、Ｋであるｉに伴って任意に変化することが許容される。これらの制約は、以下のように、光学要素３６及び３８に対応した２つのフィルタＦｓ、Ｆｖを使用して実現可能である
【００４８】
・フィルタＦｓは、遠視野における強度パターンＳを生成しており、これは、これがＳの適切な逆フーリエ変換であることを意味している（これは、当技術分野において既知のＤＯＥデザイン法を使用して演算可能である）。
【００４９】
・フィルタＦｖは、それぞれ、距離Ｚｉ（ｉ＝１，２、…、Ｋ）における強度パターンＰｉ（ｉ＝１，２、…、Ｋ）を生成している。この種の強度パターンは、一般的に、前述のパターンＲｉ（ｉ＝１，２、…、Ｋ）よりも演算が格段に単純であり、且つ、一般に、当技術分野において既知の方法を使用して個別に生成可能である。
【００５０】
合成されたフィルタＦ＝Ｆｓ・Ｆｖ（この場合、フィルタプレーン内のポイントごとに乗算が実行される）は、それぞれ、距離Ｚｉ（ｉ＝１，２、…、Ｋ）における強度パターンＲｉ（ｉ＝１，２、…、Ｋ）を実現することになる。
【００５１】
この方法の１つの欠点は、
【００５２】
【数２】
【００５３】
という種類の畳み込みとして表現可能である制約の組についてのみ有効であるという点にある。この欠点は、フレネル・ゾンマーフェルト（Fresnel-Sommerfeld）式の線形性を使用して、任意の制約の組を畳み込みの合計に分解することによって軽減可能である。この結果、それぞれのこのような畳み込み用のフィルタを前述の技法によって生成可能であり、これらのフィルタを重畳することにより、所望の結果を付与可能である。
【００５４】
図３Ａ〜図３Ｄは、本発明の一実施例に従ってデザインされたＤＯＥ３６及び３８を通じてレーザービームを投射することによって生成された画像の概略表現である。このデザインの目的は、Ｚ０からＺ０＋ΔＺに至る所与の範囲にわたるＺの関数として、延長軸が、１８０°にわたって変化する細長いスペックルのパターンを生成することにある。図３Ａ及び図３Ｂは、それぞれ、Ｆｓ及びＦｖによって生成されたパターンを示しており、これらは、次のように規定されている。
【００５５】
・Ｆｓは、Ｚにおいて変化する必要がないランダムなスペックルの遠視野パターンを生成している。例えば、Ｆｓは、ランダムに分布した２００×２００個の明るいスペックル５０を有すると共に残りの視野が暗くなっている１０００×１０００個のピクセルのパターンを生成するべくデザイン可能である。スポットのサイズに応じて、デューティサイクルは、通常、略４％〜２５％である。このパターンを実現する光学要素３６は、当技術分野において既知の技法を使用して生成された位相専用ＤＯＥから構成可能である。
【００５６】
・Ｆｖは、Ｚ０及びＺ０＋ΔＺのプレーン間の近視野の容積内においてＮ個の光強度パターンを生成している。図３Ｂは、所与のＺ＝Ｚ０＋（ｐ／Ｎ）ΔＺにおける１つのこのようなパターンを示している。このパターンは、Ｖ×Ｗ個のピクセルを有しており、この場合に、Ｖ及びＷは、通常、小さい値であり、この場合には、Ｖ＝Ｗ＝５である。それぞれのｐ（ｐ＝１、…、Ｎ）において、パターンは、垂直との関係において角度θ＝１８０＊ｐ／Ｎだけ回転している。このパターンを実現する光学要素３８は、前述のGerchberg-Saxton法を使用することにより、後述するように複数のゾーンプレートを重畳することにより、或いは、当技術分野において既知のＤＯＥデザインの任意のその他の適切な方法を使用することにより、デザイン可能である。このパターンは小さいため、ＤＯＥの生成に必要な演算は、いずれの場合にも相対的に簡単である。
【００５７】
図３Ｃ及び図３Ｄは、Ｚの２つの異なる値においてＦｓ及びＦｖに対応した要素３６及び３８を重畳させることによって生成されたスペックルのパターンを示している。これらのパターンは、それぞれ、Ｚに応じて異なる角度に方向付けられた２００×２００個の細長いスペックル５２及び５４を有している。距離がＺ０からＺ０＋ΔＺに増大するのに伴って、これらのスペックルは、１８０°だけ回転している。物体２８の表面上に投射されたスペックルの角度θを検出し、装置２２から投射表面までの距離としてＺ＝Ｚ０＋（ｐ／Ｎ）ΔＺを付与することで、これにより、プロセッサ２４は、ｐ＝Ｎθ／１８０が判定可能である。
【００５８】
図４は、本発明の一実施例による３Ｄ測距及びマッピング方法を概略的に示すフローチャートである。以下、わかりやすくするべく、この方法については、図３Ｃ及び図３Ｄに示されているスペックルパターンを使用する図１及び図２に示されているシステム２０を参照して説明することとする。但し、この方法は、先程引用した参考文献に記述されているものなどのその他の種類のスペックルに基づいた撮像システムにおいても同様に適用可能である。更には、代替法として、図３Ｃ及び図３Ｄに示されているスペックルの回転線形性の形状の代わりに、その他の種類のスポットパターン及びＺに伴って変化するスポット形状特性を生成及び使用することも可能である。
【００５９】
物体の測距及び撮像のための準備として、撮像装置２２を作動させて１つ又は複数の基準スペックル画像をキャプチャしている。この目的のために、例えば、Ｚ１、Ｚ２、Ｚ３、…、などのＺ軸に沿った原点からの１つ又は複数の既知の基準距離において、平面を配置することが可能である。撮像アセンブリ３２は、それぞれの距離において照明アセンブリ３０によって表面上に投射されたスペックルパターンの基準画像をキャプチャしている。或いは、代替に、スペックルパターンは、基本的に、ＦｖのＺに伴って変化する小さなパターンとＦｓの遠視野スポットパターンとの畳み込みであるため、個々の基準パターンを２つのフィルタについて別個に判定した後に畳み込むことにより、それぞれの距離Ｚにおける合成パターンを付与することも可能である。この方法は、基準パターンの保存に必要なメモリ量を低減可能である。更には、代替に、全体パターンのデザインを標準化することも可能であり、この場合には、基準のキャプチャが不要となる。
【００６０】
試験キャプチャ段階６０において、物体２８をターゲット領域４６内に導入し、物体の表面上に投射されたスペックルパターンの試験画像を装置２２によってキャプチャする。次いで、プロセッサ２４は、測距段階６２において、スペックルの向きの角度を演算する。この目的のために、プロセッサは、例えば、試験画像のスペクトル分析を実行することができる。スペクトルの形状（例えば、長軸及び短軸の方向）は、スペックルの向きの角度に対応することで、今度は、対応スペクトルが物体の範囲を示すことになる。代替方法または追加方法として、プロセッサは、スペックル形状といくつかの異なる基準形状間における相互相関を演算することも可能である。当然のことながら、物体が十分な深度を有している場合には、スペックルの角度が表面上において変化可能であり、この結果、物体の異なる部分が異なる範囲を具備することになる。プロセッサ２４は、スペックルの角度が突然変化する場所を物体の端部として識別することが可能である。
【００６１】
プロセッサ２４は、物体２８の粗い３Ｄマップを生成している間に、段階６２の形状に基づいた測距を単独で使用可能である。しかし、図４に示されている実施例において、プロセッサは、再構築段階６４において物体２８の３Ｄマップを再構築している間に、スポット位置の三角測量との関連においてこの測距を使用する。この目的のために、プロセッサは、通常、試験画像内の物体表面上の異なる地点と適切な基準画像内のスペックルパターンの対応したエリアの間の局所的なオフセットを計測する。次いで、プロセッサは、これらのオフセットに基づいて、三角測量を使用することにより、これらの物体の地点のＺ座標を判定する。これらの目的に使用可能な方法については、前述のＰＣＴ特許出願及び先程引用したその他の参考文献に記述されている。
【００６２】
段階６２における測距と段階６４における３Ｄ再構築を組み合わせることにより、システム２０は、スペックルに基づいた三角測量によって一般的に実現可能であるものよりも高い精度及び／又は低い演算コストによって３Ｄ再構築を実行可能であり、且つ、この組み合わせを使用することにより、計測が実行されるＺ方向における範囲を増大させることも可能である。例えば、前述のように、異なる基準距離において複数の基準画像をキャプチャしている場合、プロセッサは、その基準距離が段階６２において見出された範囲に最も近接している基準画像との関係において局所的なオフセットを計測可能である。プロセッサ２４は、測距結果を使用し、チェックを要する又は相対的に大きな精度によるオフセットの演算を要する異なる局所的なオフセット値の数を制限可能であるため、単一の基準画像のみが使用されている場合にも、段階６４における三角測量の精度及び／又は速度を向上させることができる。
【００６３】
段階６０〜６４は、ターゲット領域４６内において物体２８の動きを追跡するべく、継続的に反復可能である。このために、装置２２は、物体が移動している間に一連の試験画像をキャプチャしており、プロセッサ２４は、物体の３Ｄ移動を追跡するべく、段階６２及び６４を反復する。いくつかの反復においては、物体が以前の反復以降にそれほど遠くには移動していないと仮定することにより、段階６２をスキップ可能であろう。
【００６４】
代替実施例（図示されてはいない）においては、スペックルパターンのシフトに基づいた三角測量を粗い測距に使用しており、スペックル形状特性の変化を正確な３Ｄマッピングに使用している。三角測量の精度は、特に、照明アセンブリ３０と画像キャプチャアセンブリ３２との間のＸ軸に沿った離隔幅によって左右される。粗い三角測量しか必要とされていない場合には、アセンブリ３０及び３２を１つに近接した状態において配置し、これにより、装置２２の更に小型のデザインを実現可能である。
【００６５】
例えば、ターゲット領域４６内において、スペックル形状のＺに伴って変化するパターンをいくつかのサイクルにわたって複製することにより、形状に基づいたＺ方向の計測精度の改善が実現可能である。換言すれば、前述の回転線形スペックル形状及び図２に示されている構成の例を参照した場合に、スペックルの向きは、Ｚ１とＺ２との間において、次いで、Ｚ２とＺ３との間において、そして、再度、Ｚ３とＺ４との間において、１８０°にわたって変化可能である。プロセッサ２４は、スペックルの三角測量の結果を使用することにより、これらの３つの範囲の中のいずれに物体が配置されているのかを決定した後に、スペックルの向きを使用し、その範囲内における物体の正確な３Ｄマップを構築することになる。或いは、代替方法として、上述のように、図３Ｃ及び図３Ｄに示されている方向変動の代わりに、その他のＺに伴って変化するスポット形状特性は、本願の明細書において使用することも可能である。
【００６６】
様々な方法を使用することにより、Ｚに伴って変化する形状をＺにおける複数のサイクルにわたって複製可能である。例えば、適切な多焦点レンズ（図示されてはいない）を使用してパターンをターゲット領域４６上に合焦可能である。このようなレンズは、例えば、異なる個々の焦点距離を有するいくつかのフレネル（Fresnel）・ゾーンプレートの重畳から構成可能である。或いは、代替方法として、ベンエリエゼル（Ben Eliezer）他によって「All Optical Extended Depth of Field Imaging System」（Journal of Optica and Pure Physics-A、5（2003年）、Ｓ164〜Ｓ169頁）に記述されている技法を使用して適切な多焦点レンズをデザインすることも可能であり、この文献の内容は、本引用により、本明細書に包含される。更には、代替方法として、複数のサイクルにわたって反復するスペックル形状を付与するべく、光学要素３８を最初から前述の重畳法を使用してデザインすることも可能である。
【００６７】
図５Ａ〜図５Ｑは、本発明の一実施例による成形されたスポットのパターンを生成するべく光学要素３８を製造するための方法を概略的に示している。図５Ａ〜図５Ｐは、ゾーンプレート７０の組の概略正面図であり、図５Ｑは、図５Ａ〜図５Ｐのゾーンプレートを重畳することによって生成されたＤＯＥ７２の概略正面図である。ＤＯＥ７２は、図３Ｃ及び図３Ｄに示されている種類の回転線形スポットを生成するべく、適切な拡散器又はその他のビーム分割フィルタＦｓと共に使用されるフィルタＦｖとして機能可能である。
【００６８】
ゾーンプレート７０のそれぞれのものは、波長λ用にデザインされたｎ＝１、…、Ｎ（この例においては、Ｎ＝１６である）である焦点距離ｆｎのフレネル・ゾーンプレートである。このようなゾーンプレートの透過関数は、次式によって付与される。
【００６９】
【数３】
【００７０】
ここで、それぞれのゾーンプレート内のＸ−Ｙ軸は、（ｎ−１）π／Ｎだけ回転している。或いは、代替に、ゾーンプレート７０は、透明な位相専用ゾーンプレートとしてデザインすることも可能である。ＤＯＥ７２は、これらのＮ個のゾーンプレートの重畳７４から構成されている。この重畳は、π／Ｎ（ｆｎ−ｆｎ−１）ｒａｄ／ｍのレートにおいてＺの関数として回転するラインを生成することになる。
【００７１】
様々な方法を使用することにより、ゾーンプレート７０を重畳可能である。例えば、重畳は、図５Ｑに示されているように、１６個のコンポーネントゾーンプレートから切り出された「パイ・スライス（pie slice）」カットの集まりとして製作可能である。或いは、代替に、異なるゾーンプレート片をランダムに抽出してアセンブルすることにより、重畳を生成可能である。更には、代替に、コンポーネントゾーンプレートをＤＯＥ７２内のそれぞれの地点において合計することにより、それぞれの地点における合計透過率又は位相シフトの適切な量子化を有する単一パターンを生成することも可能である。
【００７２】
或いは、代替に、光学要素３８は、前述のゾーンプレートの代わりに、屈折レンズのアレイから構成することも可能である。この場合には、パイ・スライス又はランダムな分布における異なる向きの（マイクロレンズなど）円筒形レンズの重畳を使用することにより、Ｚに伴って変化する所望のパターンを生成可能である。
【００７３】
図６Ａ〜図６Ｄは、本発明の別の実施例に従ってデザインされたＤＯＥを通じてレーザービームを投射することによって生成された画像の概略表現である。先行する実施例において示されている例は、特に、回転線形形状を有するスペックルのパターンに関係したものであるが、本発明の原理は、その他のタイプのＺに伴って変化するパターンの生成及びこのようなパターンを使用した光学測距においても同様に適用可能である。図６Ａ〜図６Ｄは、一例を示しており、この場合には、スペックル８０及び８２は、円形又は楕円形の形態において共通的な形態的特性を具備している。それぞれのスポットの形状の半径は、全体としてのパターンの線形倍率とは異なるレートにおいて照明アセンブリからの距離に伴って変化しており、これにより、距離に関する情報を提供している。その他の種類の形状及びパターンも、当業者には明らかであり、且つ、本発明の範囲に属するものと見なされる。
【００７４】
図６Ａ及び図６Ｂは、それぞれ、Ｆｓ及びＦｖによって生成されたパターンを示している。先行する例と同様に、Ｆｓは、Ｚにおいて変化する必要がないランダムスペックルのパターン５０を生成している。Ｆｖは、環状の光強度パターンをターゲット領域内に生成している。環の半径は、画像キャプチャアセンブリ３２によってキャプチャされた画像内において観察されるスポットの半径に基づいた測距を実現する方式により、Ｚに伴って変化している。先程説明したように、このパターンを実装する光学要素は、Gerchberg-Saxton法を使用することにより、又は異なるサイズ特性を有する単純な円形又は楕円形パターンを生成する複数の回折光学要素を重畳することにより、又は当技術分野において既知であるＤＯＥデザインの任意のその他の適切な方法を使用することにより、デザイン可能である。
【００７５】
図６Ｃ及び図６Ｄは、コヒーレントな光をＺの２つの異なる値に位置した表面を有する（Ｆｓ及びＦｖに対応した）要素３６及び３８を通過させることによって表面上に投射されるスペックルパターンの画像を示している。これらは、画像キャプチャアセンブリ３２によってキャプチャされた際の画像である。これらのパターンは、それぞれ、Ｚに応じて異なる半径を有する楕円形のスペックル８０及び８２を有している。距離がＺ０からＺ０＋ΔＺに増大するのに伴って、物体２８の表面上に投射され、且つ、センサ４２上において撮像されるスペックルの半径は、既知のレートにおいて増大又は減少する。従って、スペックルの半径を計測することにより、プロセッサ２４は、装置２２からその表面までの範囲を判定可能である。更には、プロセッサは、Ｘ−Ｙプレーンとの関係における表面の傾斜角度を判定するべく、スペックルの形状の変化を検出及び分析することも可能である。
【００７６】
前述の実施例は、具体的には、２つの光学要素３６及び３８を使用して通常は実装される２つのタイプのパターンの重畳に関係しているが、この実施例において使用されるデザイン法を３つ以上のパターンの重畳に拡張することも可能である。前述のように、この方法は、次式のようにＬ個のパターンの畳み込みとして提示可能である投射光パターンに対する制約ｉに適用可能である。
【００７７】
【数４】
【００７８】
この場合、Ｌ個のフィルタＦｌ（ｌ＝１、２、…、Ｌ）は、フィルタＦｌが、それぞれ、Ｚｉ（ｉ＝１、２、…、Ｋ）においてパターンＰｌｉ（ｉ＝１、２、…、Ｋ）を実装するようにデザインされている。合成されたフィルタ
【００７９】
【数５】
【００８０】
は、係数Ｌだけ低減されたＺスケールにおいて
【００８１】
【数６】
【００８２】
を実現している。従って、デザイン段階において、フィルタは、係数Ｌだけスケールアップされている。一般的なスカラー回折理論を使用することにより、ｚにおけるフィールド分布Ｕ（ｘ，ｙ，ｚ）が、
【００８３】
【数７】
【００８４】
によって付与されることになることを示すことが可能である。この場合、Ｕｌ（ｘ，ｙ，ｚ）は、距離ｚにおいて生成されるパターンフィルタｌであり、
【００８５】
【数８】
【００８６】
は、畳み込みを表している。
【００８７】
更には、前述の実施例は、特にスペックル成形並びにスペックルに基づいた３Ｄ測距及びマッピングに関係しているが、多制約フィルタ及びその他の光学要素（並びに、特にＺに伴って変化するパターンを生成する要素）をデザインするための前述の方法を使用することにより、複雑な光パターンを必要としているその他のアプリケーションの光学要素を生成することも可能である。
【００８８】
従って、前述の実施例は、一例として引用したものであり、本発明は、以上において具体的に図示及び説明したものに限定されるものではないことを理解されたい。むしろ、本発明の範囲は、以上の説明を参照した間、当業者が想起し、且つ、従来技術には開示されていない前述の様々な特徴の組み合わせ及びサブ組み合わせの両方、並びに、その変形及び変更をも包含している。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施例による３Ｄ測距及びマッピングシステムの画的な概略図である。
【図２】本発明の一実施例によるスペックル撮像装置の概略平面図である。
【図３Ａ】本発明の一実施例によるランダム化の光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図３Ｂ】本発明の一実施例による回折光学要素（ＤＯＥ）によって生成された光パターンの概略表現である。
【図３Ｃ】本発明の一実施例による図３Ａ及び図３Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図３Ｄ】本発明の一実施例による図３Ａ及び図３Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図４】本発明の一実施例による３Ｄ測距及びマッピング方法を概略的に示すフローチャートである。
【図５Ａ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｂ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｃ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｄ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｅ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｆ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｇ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｈ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｉ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｊ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｋ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｌ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｍ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｎ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｏ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｐ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｑ】本発明の一実施例による図５Ａ〜図５Ｑのゾーンプレートの重畳によって生成されたＤＯＥの概略前面図である。
【図６Ａ】本発明の一実施例によるランダム化の光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図６Ｂ】本発明の一実施例による回折光学要素（ＤＯＥ）によって生成された光パターンの概略表現である。
【図６Ｃ】本発明の一実施例による図６Ａ及び図６Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図６Ｄ】本発明の一実施例による図６Ａ及び図６Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【技術分野】
【０００１】
本発明は、一般に、三次元（３Ｄ）物体をマッピングする方法及びシステムに関するものであり、更に詳しくは、３Ｄの光学測距及びマッピングに関するものである。
【背景技術】
【０００２】
コヒーレントな光ビームを、拡散器を通過させ表面上に投射させると、当該表面上で一次スペックルパターンが観察可能となる。一次スペックルは、拡散されたビーム間の異なる成分における干渉によって生成される。尚、この「一次スペックル」という用語は、本特許出願においては、物体の粗い表面からのコヒーレント光の拡散反射によって生成される二次スペックルとは区別して使用される。
【０００３】
ハート（Hart）は、中華民国での特許（TW527528B）及び米国への特許出願（09/616,606号）において高速３Ｄ撮像システムにおけるスペックルパターンの使用法について記述しており、この開示内容は、本引用により本明細書に包含される。このシステムは、能動的な撮像素子及びＣＣＤ素子を有する単一レンズのカメラサブシステムと、相関処理サブシステムとを含む。能動的な撮像素子は、焦点がぼけた画像間における非等辺の間隔（non-equilateral spacing）を調節可能にして、相対的に深い被写界深度及び高いサブピクセル変位精度を実現できる回転アパーチャであってよい。スペックルパターンを物体上に投射し、この結果得られるパターンの画像を、複数の角度から取得している。これらの画像を、画像相関法を使用して局所的に相互相関させ、相対的なカメラ位置情報を使用して表面位置を決定し、それぞれの局所的な相関領域の三次元座標を算出している。
【０００４】
スペックルに基づいた別の３Ｄ撮像法は、ハンター（Hunter）他によって米国特許（6,101,269号）に記述されており、この開示内容は、本引用により本明細書に包含される。ランダムなスペックルパターンを３Ｄ表面上に投射し、複数のカメラによって撮像することにより、複数の二次元デジタル画像を取得している。これらの二次元デジタル画像を処理して表面の三次元の特徴を取得している。
【０００５】
３Ｄマッピング及び測距の別の方法は、構造化又はコード化された照明を使用している。例えば、Sazbon 他は、この種の範囲推定法について「Qualitative Real-Time Range Extraction for Preplanned Scene Partitioning Using Laser Beam Coding」（Pattern Recognition Letters 26（2005年）、1771〜1781頁）に記述しており、この内容は、本引用により本明細書に包含される。位相専用フィルタは、レーザービームを作業空間内のＭ個の異なる範囲セグメントに対応したＭ個の異なる回折パターンにコード化している。従って、照明されたシーン内のそれぞれのプレーンは、光源からのそのプレーンの範囲に対応したパターンによって照射されることになる。一般的なカメラを使用することにより、シーンの画像をキャプチャ可能であり、シーンの画像を処理してシーン内の物体の範囲を判定可能にしている。著者らは、Gerchberg-Saxtonアルゴリズムに基づいて位相専用フィルタをデザインする反復的な手順について記述している。
【発明の開示】
【課題を解決するための手段】
【０００６】
以下に記述する本発明の実施例は、成形されたスポット照明パターンを使用した３Ｄマッピング及び測距の方法及びシステムを提供する。この照明パターンは、制御された且つ識別可能な形状を備えた明るいスポットのアレイを有している。いくつかの実施例において、スポットの相対的な位置は、（例えば、スペックルパターンなどのランダム又は擬似ランダムなパターンにおいて）無相関状態になるが、これらのスポットは、いずれの場合にも、予め規定された類似の形状特性を共有している。特定の実施例においては、スポットは、特定の方向において細長くなっており、これは、照明ビームに対して直角に走る所与のプレーン内のすべてのスポットに共通している。但し、上記の代わりに、その他のスポット形状を使用することも可能である。
【０００７】
いくつかの実施例においては、スポットの形状特性は、照明源からの距離に伴って変化する。この距離に伴って変化する形状特性は、光学的な２つの制約を重畳するようにデザインされた１つ又は複数の光学要素に照明ビームを通過させることによって実現可能である。光学的な２つの上記制約の１つは、ビームを複数のスポットに分割することであり、別のもう１つは、距離に伴って変化する形状を生成することである。上記重畳法は、距離に伴って変化する様々なパターンを、簡単且つ柔軟に生成することを可能にする。この距離に伴って変化する形状特性の成果として、パターンによって照明された物体表面の一部に現れるスポットの形状は、照明源から物体の各表面部分までの範囲を判定するのに使用可能とする。
【０００８】
いくつかの実施例において、物体表面上のパターン部分の横断方向のシフトは、既知の範囲に位置した基準パターンとの関係において、物体表面の３Ｄマップを再構築するのに使用される。形状に基づいた測距およびシフトに基づいたマッピングの組み合わせは、照明源からの広い範囲の距離をカバーする正確な３Ｄマップを生成するのに使用することが可能である。
【０００９】
従って、本発明の一実施例によれば、マッピング法が提供されており、この方法は、
個々の位置及び個々の形状を有する複数のスポットのパターンを物体上に投射する段階であって、上記形状が共通的特性を共有する一方で、上記パターン内の上記スポットの位置が無相関状態になるような、投射段階と、
上記物体上の上記スポットの画像をキャプチャする段階と、
上記物体の三次元（３Ｄ）マップを導出するべく上記画像を処理する段階と、を含む。
【００１０】
一実施例において、上記スポットのパターンは、ランダムスペックルパターンを含む。
【００１１】
いくつかの実施例において、形状の共通的特性は、パターンの供給源からの距離の関数として変化し、画像を処理する段階は、供給源からの表面までの距離を判定するべく画像内の物体の表面上のスポットの特性を分析する段階を含む。一実施例において、スポットは、パターンの供給源からの距離の関数として回転する細長い形状を共有しており、且つ、特性を分析する段階は、物体の表面上におけるスポットの方向を判定する段階を含む。代替方法又は追加方法として、画像を処理する段階は、画像内の物体の複数のエリア上のパターンと基準画像内のパターンとの間の個々のオフセットを見出す段階と、３Ｄマップを導出するために、距離と共にオフセットを使用する段階と、を含む。個々のオフセットを見出す段階は、供給源から表面までの距離に対して応答可能なように、複数の基準画像の中から基準画像を選択する段階を含むことが可能である。
【００１２】
別の実施例において、パターン内のスポットは、第１方向において配列された細長い形状を有し、且つ、画像を処理する段階は、３Ｄマップを導出するために、画像内の物体の複数のエリア上のパターンと基準画像内のパターンとの間において、第１方向に垂直である第２方向における個々のオフセットを見出す段階を含む。スポットのパターンを投射する段階は、コヒーレントな光ビームに拡散器を通過させる段階を含むことが可能であり、そして、上記光ビームは、第２方向に細長い拡散器においてプロファイルを有している。
【００１３】
開示した実施例において、画像をキャプチャする段階は、画像が移動する間に一連の画像をキャプチャする段階を含み、画像を処理する段階は、一連の画像を処理することにより物体の移動を追跡する段階を含む。一実施例において、物体は、人体の一部であり、移動を追跡する段階は、人体の一部によって実行されたジェスチャーを識別する段階と、ジェスチャーに対して応答可能なように、コンピュータアプリケーションに入力を提供する段階と、を含む。
【００１４】
又、本発明の一実施例によれば、撮像方法も提供されており、この方法は、
光ビームに対する第１の光学的制約の適用が、光ビームを複数のスポットのパターンに分割するような、第１の光学的制約を規定する段階と、
光ビームに対する第２の光学的制約の適用が、光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えるスポットを光ビームに形成させるような、第２の光学的制約を規定する段階と、
上記第１の光学的制約及び上記第２の光学的制約を重畳させるべく、少なくとも１つの光学要素をデザインする段階と、
パターン内の複数のスポットが形状特性を備えるように、パターンを表面上に投射するために、少なくとも１つの光学要素を通じて光ビームを導く段階と、を含む。
【００１５】
いくつかの実施例において、少なくとも１つの光学要素は、ビームをパターンに分割するための第１光学要素と、形状特性に適用するための第２光学要素と、を含む。一実施例において、パターンは、スペックルパターンを含み、第１光学要素は、拡散器を含む。
【００１６】
代替方法又は追加方法として、少なくとも１つの光学要素は、回折光学要素（ＤＯＥ：Diffractive Optical Element）を含む。一実施例において、ＤＯＥは、細長い形状をスポットに付与するための少なくとも１つのゾーンプレートを含む。上記少なくとも１つのゾーンプレートは、スポットの細長い形状を距離の関数として回転させるように、異なる個々の周期及び角度方位を備えた複数の重畳するゾーンプレートを含むことが可能である。
【００１７】
更に、代替方法又は追加方法として、少なくとも１つの光学要素は、屈折光学要素を含む。
【００１８】
通常、第１の光学的制約によって規定されるパターンは、１／４を上回らないデューティサイクルを備える。
【００１９】
いくつかの実施例において、パターンは、位置が無相関状態となるように、スポットの個々の位置を規定している。
【００２０】
開示した一実施例において、第２の光学的制約は、スポットに、距離の関数として回転する細長い形状を備えさせている。別の実施例においては、第２の光学的制約は、スポットに、環形状を備えさせている。
【００２１】
いくつかの実施例において、本方法は、表面上のスポットの画像をキャプチャする段階と、少なくとも１つの光学要素から表面までの距離を判定するべく画像を処理する段階と、を含む。
【００２２】
本発明の一実施例によれば、マッピング装置が更に提供されており、この装置は、個々の位置及び個々の形状を有した複数のスポットのパターンを物体上に投射するように構成された照明アセンブリであって、上記形状が共通的特性を共有する一方で上記パターン内の上記スポットの上記位置が無相関状態になるような、照明アセンブリと、
物体上のスポットの画像をキャプチャするように構成された撮像アセンブリと、
物体の三次元（３Ｄ）マップを導出するために画像を処理するように結合された画像プロセッサと、を含む。
【００２３】
本発明の一実施例によれば、撮像装置が更に提供されており、この装置は、
第１の光学的制約及び第２の光学的制約を重畳するようにデザインされた少なくとも１つの光学要素であって、上記第１の光学的制約の光ビームへの適用が、光ビームを複数のスポットのパターンに分割することであり、上記第２の光学的制約の光ビームへの適用が、光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えたスポットを前記ビームに形成させるようにする、光学要素と、
パターン内の複数のスポットが形状特性を具備するようにパターンを表面上に投射するために、少なくとも１つの光学要素を通じて光ビームを導くように構成された光源と、を含む。
【００２４】
添付の図面との関連において、その実施例に関する以下の詳細な説明を参照することにより、本発明について更に理解することができよう。
【発明を実施するための最良の形態】
【００２５】
（システムの概要）
図１は、本発明の一実施例による３Ｄ測距及びマッピングシステム２０の画的な概略図である。システム２０は、スポットのパターンを生成して物体２８上に投射し、且つ、物体上に現れるスポットパターンの画像をキャプチャする撮像装置２２を有している。装置２２のデザイン及び動作の詳細については、以降の図面に示されており、且つ、それらの図面を参照して後述することとする。
【００２６】
いくつかの実施例において、撮像装置２２によって投射されるスポットのパターンは、スペックルパターンを含む。本特許出願の明細書および各請求項において、この「スペックルパターン」という用語は、投射ビーム軸を横断するプレーン内において無相関状態となっている位置の明るいスポットでの投射パターンを意味している。これらの位置は、パターン内のスペックルの位置の自動相関が、横断方向のシフト関数としてスポットサイズよりも大きなどのようなシフトにとっても重要でないという意味において無相関状態にある。一次レーザースペックルによって生成されるものなどのランダムパターン（前述のものなど）は、この意味において無相関状態にある。擬似ランダム及び準ランダムパターンなどの人間又はコンピュータデザインによって生成されるパターンも、無相関状態にすることができる。システム２０内において実装可能であるスペックルに基づいた３Ｄマッピングの理論及び動作のその他の側面については、2006年3月14日付けで出願されたＰＣＴ特許出願（PCT/IL2006/000335）及び2007年3月8日付けで出願された「Three-Dimensional Sensing Using Speckle Patterns」という名称のＰＣＴ特許出願に記述されている。これらの出願は、いずれも、本特許出願の譲受人に譲渡されており、且つ、それらの開示内容は、本引用により、本明細書に包含される。
【００２７】
その他の実施例において、スポットは、照明ビームをDamman格子又は適切な微小レンズアレイに通過させることによって生成可能であるタイプのパターンなどのような、規則的な非ランダムなパターン内において配列可能である。
【００２８】
後述する測距及びマッピングアプリケーションにおける良好な性能のためには、スポットパターンは、低デューティサイクルを有していることが有利である。即ち、平均を上回る輝度を有するパターンのエリア部分が、１／ｅを上回ってはおらず、望ましくは、１／４未満、又は１／１０未満であることが有利である。低いデューティサイクルは、３Ｄマッピングのためのスポットシフトの検出における信号／雑音比の向上に有利である。また、低いデューティサイクルは、隣接するスポットがオーバーラップした間、結果的に生じる干渉の影響を回避するのにも有用である。
【００２９】
スポット（スペックル）の位置が無相関状態にある間も、本発明の実施例において使用されるパターン内のスポットの形状は、従来のレーザースペックルパターンにおけるように完全にランダムだけでなく、共通的な形状特性をも有している。例えば、後述するように、いくつかの実施例においては、スポットは、特定の軸に沿って細長くなっている。追加方法または代替方法として、スポットは、形状が制御されて、照明ビームの軸に沿った距離の関数としての形状の変化が識別可能である限り、その他の共通的な形状特性を有することが可能である。尚、本明細書における「形状の変化」という用語は、照明源からの距離に伴って通常発生するスポットサイズの単純な線形性の増加以外の変化を意味する。
【００３０】
画像プロセッサ２４は、物体２８の深度測距、および選択した時の物体２８の３Ｄマッピングを実行するために、装置２２によって生成された画像データを処理する。尚、この本特許出願及び各請求項において使用される「測距」という用語は、撮像装置から物体までの距離の粗い尺度を見出すことを意味しており、一方、「３Ｄマップ」という用語は、物体の表面を表す３Ｄ座標の組を意味している。このような画像データに基づいたマップの導出は、「３Ｄマッピング」、又は等価的に「３Ｄ再構築」と呼ばれている。後述するように、３Ｄ再構築プロセスにおいては、測距及びマッピングの両方を粗いフェーズ及び微細なフェーズとして同時に使用可能である。従って、測距は、ある種の粗い３Ｄマッピングであると見なすことも可能である。
【００３１】
このような測距及びマッピングを実行する画像プロッサ２４は、後述する機能を実行するべくソフトウェアにおいてプログラムされた汎用コンピュータプロセッサから構成可能である。ソフトウェアは、例えば、ネットワーク上において、プロセッサ２４に電子的な形態においてダウンロード可能であり、或いは、代替として、光学、磁気、又は電子的なメモリ媒体などの実体のある媒体上において提供することも可能である。代替方法または追加方法として、画像プロセッサの機能のいくつか又はすべてを、カスタム又はセミカスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアにおいて実装することも可能である。尚、プロセッサ２４は、図１には、一例として、撮像装置２２とは別個のユニットとして示されているが、プロセッサ２４の処理機能のいくつか又はすべてを、撮像装置のハウジング内の適切な専用回路、又はさもなければ撮像装置と関連付けられた適切な専用回路によって実行することも可能である。
【００３２】
プロセッサ２４によって生成される３Ｄマップは、様々な異なる目的に使用可能である。例えば、このマップは、物体の擬似３Ｄ画像を表示するディスプレイ２６などの出力装置に送信可能である。図１に示されている例においては、物体２８は、対象物の本体の全部又は一部（例えば、手）から構成されている。この場合には、システム２０を使用することにより、ジェスチャーに基づいたユーザーインターフェイスを提供可能であり、この場合には、装置２２によって検出されたユーザーの動きにより、マウス、ジョイスティック、又はその他のアクセサリなどの触覚的なインターフェイス要素の代わりに、ゲームなどの対話型のコンピュータアプリケーションを制御する。或いは、代替に、システム２０を使用することにより、３Ｄ座標プロファイルを必要としている実質的にあらゆるアプリケーションにおいて、その他のタイプの物体の３Ｄマップを生成することも可能である。
【００３３】
図２は、本発明の一実施例による装置２２の概略平面図である。装置２２内の照明アセンブリ３０は、通常はレーザーであるコヒーレントな光源３４と、後述するように、スペックルパターン又はスポットのその他のパターンを生成するべく組み合わせとして通常は使用される１つ又は複数の光学要素３６、３８と、を含む。（尚、本特許出願の明細書における「光」という用語は、赤外線及び紫外線、並びに、可視光を含む任意の種類の光学的放射を意味する）。供給源３４によって放射された光ビームは、光学要素３６及び３８を通過し、物体２８が配置されているターゲット領域４６を照射している。画像キャプチャアセンブリ３２は、物体２８上に投射されたパターンの画像をキャプチャしている。アセンブリ３２は、画像を画像センサ４２上に合焦する対物用光学素子４０を含む。通常、センサ４０は、ＣＣＤ又はＣＭＯＳベースの画像センサアレイなどの検出器要素４４の直線アレイを含む。
【００３４】
図２に示されている実施例においては、照明アセンブリ３０及び画像キャプチャアセンブリ３２は、固定された空間的関係に保持されている。後述するこの構成及び処理法によれば、照明及び画像キャプチャアセンブリ間における相対的な移動を伴うことなしに、且つ、可動部品を伴うことなしに、単一の画像キャプチャアセンブリを使用して３Ｄマッピングを実行可能である。代替として、後述する照明、測距、及びマッピングの技法は、先の背景技術の箇所で記述した様々な異なる構成に、その他の種類の画像キャプチャアセンブリを併用させて、使用することも可能である。例えば、画像キャプチャアセンブリは、照明アセンブリとの関係において移動可能であってよい。追加方法又は代替方法として、複数の画像キャプチャアセンブリを使用することにより、異なる角度から物体２８の画像をキャプチャすることも可能である。
【００３５】
３Ｄマップの演算、及び図２の構成における物体２８の動きに起因したマップ内の変化の演算を単純化するべく、アセンブリ３０及び３２は以下のように取り付けることが可能である。すなわち、画像キャプチャアセンブリ３２の入射瞳孔と、光学要素３６上の光源３４によって形成されるスポットとの中心を通過する軸が、センサ４０の軸の１つと平行になるように取り付けることが可能である（これは、Ｘ軸になるように便宜され、Ｚ軸は装置２２からの距離に対応することになる）。この構成の利点については、「Three-Dimensional Sensing Using Speckle Patterns」という名称の前述のＰＣＴ特許出願に更に説明されている。
【００３６】
具体的には、この構成における三角測量によれば、物体上のポイントのＺ方向のシフトδＺは、画像内において観察されるスポットパターン内の随伴する横断方向のシフトδＸを生成することになる。従って、既知の距離Ｚにおいて取得された基準画像との関係においてアセンブリ３２によってキャプチャされた画像内のスポットのＸ座標におけるシフトを計測することにより、物体上のポイントのＺ座標と、時間に伴うＺ座標におけるシフトを判定可能である。Ｙ方向のシフトは無視可能である。この種の三角測量法は、特にスペックルパターンを使用している３Ｄマッピングに好適であるが、その他のタイプのスポットパターンと共に使用するべく、この方法の態様を適合させることも可能である。
【００３７】
換言すれば、キャプチャされた画像のそれぞれのエリア内のスポットのグループを基準画像と比較することにより、基準画像内の最も緊密にマッチングしているスポットのグループを見出している。画像内のマッチングしているスポットのグループ間における相対的なシフトは、基準画像との関係におけるキャプチャされた画像のエリアのＺ方向のシフトを付与している。スポットパターン内におけるシフトは、画像相関又は当技術分野において既知のその他の画像マッチング演算法を使用して計測可能である。いくつかの模範的な方法については、前述のＰＣＴ特許出願に記述されている。
【００３８】
（共通的な形状特性を有するスペックルパターンの生成）
共通的な形状特性を有するスポットのパターンを使用することにより、いくつかの方法においてシステム２０の動作を向上させることができる。例えば、Ｘ方向のシフトのみが物体の３Ｄ再構築において有意である前述の装置２２の構成においては、Ｙ方向に細長くなったスペックルのパターンを使用することが有利であろう。この結果、プロセッサ２４がＺ方向のシフトを検出する目的で画像間における相関を演算する間、この演算は、Ｙ方向におけるスペックルの小さなシフトの影響を受けにくくなる。この機能により、Ｘ方向のシフト演算の安定性が改善される（且つ、演算において相対的に小さな相関ウィンドウを使用可能であろう）。
【００３９】
Ｙ方向において細長く、且つ、Ｘ方向における位置が無相関状態になるような種類のスペックルパターンを生成するために、いくつかの方法を使用することが可能である。１つの可能性は、Ｘ方向に細長くなった粒子のランダムに配列されたアレイと共に、光学要素３６を拡散器として構成するというものである（この場合には、要素３８は不要であろう）。上記粒子は、例えば、不透明であってよく、或いは、代替として、上記粒子は、透過光の位相の変化を生成するべく、異なる厚さを有することも可能である。別の代替方法として、光源３４からの光ビームをＸ方向に細長くしつつ、要素３６が従来の等方性の拡散器を有することも可能である。この目的のために、例えば、供給源と拡散器との間の円筒形レンズ（図示されてはいない）を使用することも可能である。
【００４０】
更に別の選択肢は、要素３６を（等方性であってよい）拡散器から構成すると共に、要素３８を回折光学要素（ＤＯＥ）から構成するというものである。Ｙ軸に沿って細長い望ましいスペックルを生成するべく、要素３８は、Ｘ軸に平行に方向付けされたラインを有する適切な格子又はゾーンプレートから単純に構成することが可能である。
【００４１】
尚、概念的な明瞭性のために、要素３６及び３８は、図２には、別個のコンポーネントであるものとして示しているが、拡散器及びＤＯＥは、通常、互いに接触状態にあり、且つ、１つに接着することも可能である。或いは、代替として、光学ブランクの片面上にＤＯＥを形成して、他面を研磨して拡散器を生成することにより、要素３６及び３８を一体成形品として製造することも可能である。更には、代替として、拡散器及び格子又はゾーンプレートによって課される光学的な制約を、単一のＤＯＥ内において組み合わせることも可能であり、この場合、たとえば、Ｘ軸に方向付けされたラインと擬似ランダム拡散パターンとが重畳されることになる。これらのケースのすべてにおいて、遠視野におけるスペックルのパターンは、拡散器によって提供されたランダムな位置分布と、ＤＯＥのフーリエ変換によって規定される形状とを畳み込みしたものとなる。
【００４２】
距離Ｚに伴って変化する更に複雑なパターンを生成するＤＯＥの生成において、類似の重畳法が使用可能である。いくつかの実施例においては、異なる距離の範囲において異なる形状を具備したスポットパターンを生成するべく、ＤＯＥをデザインすることが可能である。図２を参照すれば、スポットは、距離Ｚ１において１つの形状を具備し、Ｚ２において別の形状を具備し、以下同様である。例えば、スポットの細長い形状は、ある範囲から次の範囲の間において４５°の回転が可能である。結果として、物体２８がＺＡに配置されている間、スポットは、範囲 Ｚ２への向きを具備することになり、物体がＺＢにある間、スポットは、範囲Ｚ３への向きを具備することになる。この結果、スポットの向きを検出することにより、プロセッサ２４（図１）は、スポットの位置相関に基づいた３Ｄ再構築プロセスとは無関係に、物体の距離の範囲を判定可能である。測距とマッピングの組み合わせを使用することにより、更に後述するように、改善された測距及び／分解能を有する３Ｄマップを生成可能である。
【００４３】
様々な方法を使用することにより、望ましいＺ依存性を有するスポットパターンを生成する単一光学要素をデザイン可能である。この種の範囲依存性のスペックル成形を付与するための光学要素３８のデザインに使用可能な１つの方法は、前述のSazbon 他による文献に記述されているように、反復的なGerchberg-Saxton法を使用するというものである。但し、この方法は、計算コストが高く、且つ収束が保証されてはいない。
【００４４】
代替として、このような目的の１つ又は複数の光学要素の組を制約の重畳に基づいてデザインすることも可能である。例えば、４つの予め規定された距離において４つの向きを有するＺに伴って変化する単一のパターンを単独で実装する要素を（低デューティサイクル及び無相関状態になる位置を有するスポットパターンを生成する）スプリッタと重畳させることにより、異なる個々の距離において４つの異なる向きを有するスペックルを生成するためのこのような１つ又は複数の要素が製作可能である。この単一パターンを生成する要素は、例えば、それぞれが光を範囲の中の１つにおいて適切な個々の方向を有するラインに合焦する４つのゾーンプレートの重畳であってよい。
【００４５】
代替方法または追加方法として、重畳を演算し、適切なコンピュータ生成ホログラム（ＣＧＨ：Computer-Generated Hologram）又はその他のＤＯＥにおいて実現することも可能である。それぞれ、距離Ｚｉ（ｉ＝１，２、…、Ｋ）における光強度（又は、等価的には振幅）に対して課される制約の組Ｒｉ（ｉ＝１，２、…、Ｋ）が付与された場合に、これらの制約を実現する光学要素は、次のように２つのパターンの畳み込みに分解可能であり、
【００４６】
【数１】
【００４７】
この場合に、Ｓは、Ｒ１、Ｒ２、…、ＲＫに対して同一であり、Ｐｉは、ｉ＝１，２、…、Ｋであるｉに伴って任意に変化することが許容される。これらの制約は、以下のように、光学要素３６及び３８に対応した２つのフィルタＦｓ、Ｆｖを使用して実現可能である
【００４８】
・フィルタＦｓは、遠視野における強度パターンＳを生成しており、これは、これがＳの適切な逆フーリエ変換であることを意味している（これは、当技術分野において既知のＤＯＥデザイン法を使用して演算可能である）。
【００４９】
・フィルタＦｖは、それぞれ、距離Ｚｉ（ｉ＝１，２、…、Ｋ）における強度パターンＰｉ（ｉ＝１，２、…、Ｋ）を生成している。この種の強度パターンは、一般的に、前述のパターンＲｉ（ｉ＝１，２、…、Ｋ）よりも演算が格段に単純であり、且つ、一般に、当技術分野において既知の方法を使用して個別に生成可能である。
【００５０】
合成されたフィルタＦ＝Ｆｓ・Ｆｖ（この場合、フィルタプレーン内のポイントごとに乗算が実行される）は、それぞれ、距離Ｚｉ（ｉ＝１，２、…、Ｋ）における強度パターンＲｉ（ｉ＝１，２、…、Ｋ）を実現することになる。
【００５１】
この方法の１つの欠点は、
【００５２】
【数２】
【００５３】
という種類の畳み込みとして表現可能である制約の組についてのみ有効であるという点にある。この欠点は、フレネル・ゾンマーフェルト（Fresnel-Sommerfeld）式の線形性を使用して、任意の制約の組を畳み込みの合計に分解することによって軽減可能である。この結果、それぞれのこのような畳み込み用のフィルタを前述の技法によって生成可能であり、これらのフィルタを重畳することにより、所望の結果を付与可能である。
【００５４】
図３Ａ〜図３Ｄは、本発明の一実施例に従ってデザインされたＤＯＥ３６及び３８を通じてレーザービームを投射することによって生成された画像の概略表現である。このデザインの目的は、Ｚ０からＺ０＋ΔＺに至る所与の範囲にわたるＺの関数として、延長軸が、１８０°にわたって変化する細長いスペックルのパターンを生成することにある。図３Ａ及び図３Ｂは、それぞれ、Ｆｓ及びＦｖによって生成されたパターンを示しており、これらは、次のように規定されている。
【００５５】
・Ｆｓは、Ｚにおいて変化する必要がないランダムなスペックルの遠視野パターンを生成している。例えば、Ｆｓは、ランダムに分布した２００×２００個の明るいスペックル５０を有すると共に残りの視野が暗くなっている１０００×１０００個のピクセルのパターンを生成するべくデザイン可能である。スポットのサイズに応じて、デューティサイクルは、通常、略４％〜２５％である。このパターンを実現する光学要素３６は、当技術分野において既知の技法を使用して生成された位相専用ＤＯＥから構成可能である。
【００５６】
・Ｆｖは、Ｚ０及びＺ０＋ΔＺのプレーン間の近視野の容積内においてＮ個の光強度パターンを生成している。図３Ｂは、所与のＺ＝Ｚ０＋（ｐ／Ｎ）ΔＺにおける１つのこのようなパターンを示している。このパターンは、Ｖ×Ｗ個のピクセルを有しており、この場合に、Ｖ及びＷは、通常、小さい値であり、この場合には、Ｖ＝Ｗ＝５である。それぞれのｐ（ｐ＝１、…、Ｎ）において、パターンは、垂直との関係において角度θ＝１８０＊ｐ／Ｎだけ回転している。このパターンを実現する光学要素３８は、前述のGerchberg-Saxton法を使用することにより、後述するように複数のゾーンプレートを重畳することにより、或いは、当技術分野において既知のＤＯＥデザインの任意のその他の適切な方法を使用することにより、デザイン可能である。このパターンは小さいため、ＤＯＥの生成に必要な演算は、いずれの場合にも相対的に簡単である。
【００５７】
図３Ｃ及び図３Ｄは、Ｚの２つの異なる値においてＦｓ及びＦｖに対応した要素３６及び３８を重畳させることによって生成されたスペックルのパターンを示している。これらのパターンは、それぞれ、Ｚに応じて異なる角度に方向付けられた２００×２００個の細長いスペックル５２及び５４を有している。距離がＺ０からＺ０＋ΔＺに増大するのに伴って、これらのスペックルは、１８０°だけ回転している。物体２８の表面上に投射されたスペックルの角度θを検出し、装置２２から投射表面までの距離としてＺ＝Ｚ０＋（ｐ／Ｎ）ΔＺを付与することで、これにより、プロセッサ２４は、ｐ＝Ｎθ／１８０が判定可能である。
【００５８】
図４は、本発明の一実施例による３Ｄ測距及びマッピング方法を概略的に示すフローチャートである。以下、わかりやすくするべく、この方法については、図３Ｃ及び図３Ｄに示されているスペックルパターンを使用する図１及び図２に示されているシステム２０を参照して説明することとする。但し、この方法は、先程引用した参考文献に記述されているものなどのその他の種類のスペックルに基づいた撮像システムにおいても同様に適用可能である。更には、代替法として、図３Ｃ及び図３Ｄに示されているスペックルの回転線形性の形状の代わりに、その他の種類のスポットパターン及びＺに伴って変化するスポット形状特性を生成及び使用することも可能である。
【００５９】
物体の測距及び撮像のための準備として、撮像装置２２を作動させて１つ又は複数の基準スペックル画像をキャプチャしている。この目的のために、例えば、Ｚ１、Ｚ２、Ｚ３、…、などのＺ軸に沿った原点からの１つ又は複数の既知の基準距離において、平面を配置することが可能である。撮像アセンブリ３２は、それぞれの距離において照明アセンブリ３０によって表面上に投射されたスペックルパターンの基準画像をキャプチャしている。或いは、代替に、スペックルパターンは、基本的に、ＦｖのＺに伴って変化する小さなパターンとＦｓの遠視野スポットパターンとの畳み込みであるため、個々の基準パターンを２つのフィルタについて別個に判定した後に畳み込むことにより、それぞれの距離Ｚにおける合成パターンを付与することも可能である。この方法は、基準パターンの保存に必要なメモリ量を低減可能である。更には、代替に、全体パターンのデザインを標準化することも可能であり、この場合には、基準のキャプチャが不要となる。
【００６０】
試験キャプチャ段階６０において、物体２８をターゲット領域４６内に導入し、物体の表面上に投射されたスペックルパターンの試験画像を装置２２によってキャプチャする。次いで、プロセッサ２４は、測距段階６２において、スペックルの向きの角度を演算する。この目的のために、プロセッサは、例えば、試験画像のスペクトル分析を実行することができる。スペクトルの形状（例えば、長軸及び短軸の方向）は、スペックルの向きの角度に対応することで、今度は、対応スペクトルが物体の範囲を示すことになる。代替方法または追加方法として、プロセッサは、スペックル形状といくつかの異なる基準形状間における相互相関を演算することも可能である。当然のことながら、物体が十分な深度を有している場合には、スペックルの角度が表面上において変化可能であり、この結果、物体の異なる部分が異なる範囲を具備することになる。プロセッサ２４は、スペックルの角度が突然変化する場所を物体の端部として識別することが可能である。
【００６１】
プロセッサ２４は、物体２８の粗い３Ｄマップを生成している間に、段階６２の形状に基づいた測距を単独で使用可能である。しかし、図４に示されている実施例において、プロセッサは、再構築段階６４において物体２８の３Ｄマップを再構築している間に、スポット位置の三角測量との関連においてこの測距を使用する。この目的のために、プロセッサは、通常、試験画像内の物体表面上の異なる地点と適切な基準画像内のスペックルパターンの対応したエリアの間の局所的なオフセットを計測する。次いで、プロセッサは、これらのオフセットに基づいて、三角測量を使用することにより、これらの物体の地点のＺ座標を判定する。これらの目的に使用可能な方法については、前述のＰＣＴ特許出願及び先程引用したその他の参考文献に記述されている。
【００６２】
段階６２における測距と段階６４における３Ｄ再構築を組み合わせることにより、システム２０は、スペックルに基づいた三角測量によって一般的に実現可能であるものよりも高い精度及び／又は低い演算コストによって３Ｄ再構築を実行可能であり、且つ、この組み合わせを使用することにより、計測が実行されるＺ方向における範囲を増大させることも可能である。例えば、前述のように、異なる基準距離において複数の基準画像をキャプチャしている場合、プロセッサは、その基準距離が段階６２において見出された範囲に最も近接している基準画像との関係において局所的なオフセットを計測可能である。プロセッサ２４は、測距結果を使用し、チェックを要する又は相対的に大きな精度によるオフセットの演算を要する異なる局所的なオフセット値の数を制限可能であるため、単一の基準画像のみが使用されている場合にも、段階６４における三角測量の精度及び／又は速度を向上させることができる。
【００６３】
段階６０〜６４は、ターゲット領域４６内において物体２８の動きを追跡するべく、継続的に反復可能である。このために、装置２２は、物体が移動している間に一連の試験画像をキャプチャしており、プロセッサ２４は、物体の３Ｄ移動を追跡するべく、段階６２及び６４を反復する。いくつかの反復においては、物体が以前の反復以降にそれほど遠くには移動していないと仮定することにより、段階６２をスキップ可能であろう。
【００６４】
代替実施例（図示されてはいない）においては、スペックルパターンのシフトに基づいた三角測量を粗い測距に使用しており、スペックル形状特性の変化を正確な３Ｄマッピングに使用している。三角測量の精度は、特に、照明アセンブリ３０と画像キャプチャアセンブリ３２との間のＸ軸に沿った離隔幅によって左右される。粗い三角測量しか必要とされていない場合には、アセンブリ３０及び３２を１つに近接した状態において配置し、これにより、装置２２の更に小型のデザインを実現可能である。
【００６５】
例えば、ターゲット領域４６内において、スペックル形状のＺに伴って変化するパターンをいくつかのサイクルにわたって複製することにより、形状に基づいたＺ方向の計測精度の改善が実現可能である。換言すれば、前述の回転線形スペックル形状及び図２に示されている構成の例を参照した場合に、スペックルの向きは、Ｚ１とＺ２との間において、次いで、Ｚ２とＺ３との間において、そして、再度、Ｚ３とＺ４との間において、１８０°にわたって変化可能である。プロセッサ２４は、スペックルの三角測量の結果を使用することにより、これらの３つの範囲の中のいずれに物体が配置されているのかを決定した後に、スペックルの向きを使用し、その範囲内における物体の正確な３Ｄマップを構築することになる。或いは、代替方法として、上述のように、図３Ｃ及び図３Ｄに示されている方向変動の代わりに、その他のＺに伴って変化するスポット形状特性は、本願の明細書において使用することも可能である。
【００６６】
様々な方法を使用することにより、Ｚに伴って変化する形状をＺにおける複数のサイクルにわたって複製可能である。例えば、適切な多焦点レンズ（図示されてはいない）を使用してパターンをターゲット領域４６上に合焦可能である。このようなレンズは、例えば、異なる個々の焦点距離を有するいくつかのフレネル（Fresnel）・ゾーンプレートの重畳から構成可能である。或いは、代替方法として、ベンエリエゼル（Ben Eliezer）他によって「All Optical Extended Depth of Field Imaging System」（Journal of Optica and Pure Physics-A、5（2003年）、Ｓ164〜Ｓ169頁）に記述されている技法を使用して適切な多焦点レンズをデザインすることも可能であり、この文献の内容は、本引用により、本明細書に包含される。更には、代替方法として、複数のサイクルにわたって反復するスペックル形状を付与するべく、光学要素３８を最初から前述の重畳法を使用してデザインすることも可能である。
【００６７】
図５Ａ〜図５Ｑは、本発明の一実施例による成形されたスポットのパターンを生成するべく光学要素３８を製造するための方法を概略的に示している。図５Ａ〜図５Ｐは、ゾーンプレート７０の組の概略正面図であり、図５Ｑは、図５Ａ〜図５Ｐのゾーンプレートを重畳することによって生成されたＤＯＥ７２の概略正面図である。ＤＯＥ７２は、図３Ｃ及び図３Ｄに示されている種類の回転線形スポットを生成するべく、適切な拡散器又はその他のビーム分割フィルタＦｓと共に使用されるフィルタＦｖとして機能可能である。
【００６８】
ゾーンプレート７０のそれぞれのものは、波長λ用にデザインされたｎ＝１、…、Ｎ（この例においては、Ｎ＝１６である）である焦点距離ｆｎのフレネル・ゾーンプレートである。このようなゾーンプレートの透過関数は、次式によって付与される。
【００６９】
【数３】
【００７０】
ここで、それぞれのゾーンプレート内のＸ−Ｙ軸は、（ｎ−１）π／Ｎだけ回転している。或いは、代替に、ゾーンプレート７０は、透明な位相専用ゾーンプレートとしてデザインすることも可能である。ＤＯＥ７２は、これらのＮ個のゾーンプレートの重畳７４から構成されている。この重畳は、π／Ｎ（ｆｎ−ｆｎ−１）ｒａｄ／ｍのレートにおいてＺの関数として回転するラインを生成することになる。
【００７１】
様々な方法を使用することにより、ゾーンプレート７０を重畳可能である。例えば、重畳は、図５Ｑに示されているように、１６個のコンポーネントゾーンプレートから切り出された「パイ・スライス（pie slice）」カットの集まりとして製作可能である。或いは、代替に、異なるゾーンプレート片をランダムに抽出してアセンブルすることにより、重畳を生成可能である。更には、代替に、コンポーネントゾーンプレートをＤＯＥ７２内のそれぞれの地点において合計することにより、それぞれの地点における合計透過率又は位相シフトの適切な量子化を有する単一パターンを生成することも可能である。
【００７２】
或いは、代替に、光学要素３８は、前述のゾーンプレートの代わりに、屈折レンズのアレイから構成することも可能である。この場合には、パイ・スライス又はランダムな分布における異なる向きの（マイクロレンズなど）円筒形レンズの重畳を使用することにより、Ｚに伴って変化する所望のパターンを生成可能である。
【００７３】
図６Ａ〜図６Ｄは、本発明の別の実施例に従ってデザインされたＤＯＥを通じてレーザービームを投射することによって生成された画像の概略表現である。先行する実施例において示されている例は、特に、回転線形形状を有するスペックルのパターンに関係したものであるが、本発明の原理は、その他のタイプのＺに伴って変化するパターンの生成及びこのようなパターンを使用した光学測距においても同様に適用可能である。図６Ａ〜図６Ｄは、一例を示しており、この場合には、スペックル８０及び８２は、円形又は楕円形の形態において共通的な形態的特性を具備している。それぞれのスポットの形状の半径は、全体としてのパターンの線形倍率とは異なるレートにおいて照明アセンブリからの距離に伴って変化しており、これにより、距離に関する情報を提供している。その他の種類の形状及びパターンも、当業者には明らかであり、且つ、本発明の範囲に属するものと見なされる。
【００７４】
図６Ａ及び図６Ｂは、それぞれ、Ｆｓ及びＦｖによって生成されたパターンを示している。先行する例と同様に、Ｆｓは、Ｚにおいて変化する必要がないランダムスペックルのパターン５０を生成している。Ｆｖは、環状の光強度パターンをターゲット領域内に生成している。環の半径は、画像キャプチャアセンブリ３２によってキャプチャされた画像内において観察されるスポットの半径に基づいた測距を実現する方式により、Ｚに伴って変化している。先程説明したように、このパターンを実装する光学要素は、Gerchberg-Saxton法を使用することにより、又は異なるサイズ特性を有する単純な円形又は楕円形パターンを生成する複数の回折光学要素を重畳することにより、又は当技術分野において既知であるＤＯＥデザインの任意のその他の適切な方法を使用することにより、デザイン可能である。
【００７５】
図６Ｃ及び図６Ｄは、コヒーレントな光をＺの２つの異なる値に位置した表面を有する（Ｆｓ及びＦｖに対応した）要素３６及び３８を通過させることによって表面上に投射されるスペックルパターンの画像を示している。これらは、画像キャプチャアセンブリ３２によってキャプチャされた際の画像である。これらのパターンは、それぞれ、Ｚに応じて異なる半径を有する楕円形のスペックル８０及び８２を有している。距離がＺ０からＺ０＋ΔＺに増大するのに伴って、物体２８の表面上に投射され、且つ、センサ４２上において撮像されるスペックルの半径は、既知のレートにおいて増大又は減少する。従って、スペックルの半径を計測することにより、プロセッサ２４は、装置２２からその表面までの範囲を判定可能である。更には、プロセッサは、Ｘ−Ｙプレーンとの関係における表面の傾斜角度を判定するべく、スペックルの形状の変化を検出及び分析することも可能である。
【００７６】
前述の実施例は、具体的には、２つの光学要素３６及び３８を使用して通常は実装される２つのタイプのパターンの重畳に関係しているが、この実施例において使用されるデザイン法を３つ以上のパターンの重畳に拡張することも可能である。前述のように、この方法は、次式のようにＬ個のパターンの畳み込みとして提示可能である投射光パターンに対する制約ｉに適用可能である。
【００７７】
【数４】
【００７８】
この場合、Ｌ個のフィルタＦｌ（ｌ＝１、２、…、Ｌ）は、フィルタＦｌが、それぞれ、Ｚｉ（ｉ＝１、２、…、Ｋ）においてパターンＰｌｉ（ｉ＝１、２、…、Ｋ）を実装するようにデザインされている。合成されたフィルタ
【００７９】
【数５】
【００８０】
は、係数Ｌだけ低減されたＺスケールにおいて
【００８１】
【数６】
【００８２】
を実現している。従って、デザイン段階において、フィルタは、係数Ｌだけスケールアップされている。一般的なスカラー回折理論を使用することにより、ｚにおけるフィールド分布Ｕ（ｘ，ｙ，ｚ）が、
【００８３】
【数７】
【００８４】
によって付与されることになることを示すことが可能である。この場合、Ｕｌ（ｘ，ｙ，ｚ）は、距離ｚにおいて生成されるパターンフィルタｌであり、
【００８５】
【数８】
【００８６】
は、畳み込みを表している。
【００８７】
更には、前述の実施例は、特にスペックル成形並びにスペックルに基づいた３Ｄ測距及びマッピングに関係しているが、多制約フィルタ及びその他の光学要素（並びに、特にＺに伴って変化するパターンを生成する要素）をデザインするための前述の方法を使用することにより、複雑な光パターンを必要としているその他のアプリケーションの光学要素を生成することも可能である。
【００８８】
従って、前述の実施例は、一例として引用したものであり、本発明は、以上において具体的に図示及び説明したものに限定されるものではないことを理解されたい。むしろ、本発明の範囲は、以上の説明を参照した間、当業者が想起し、且つ、従来技術には開示されていない前述の様々な特徴の組み合わせ及びサブ組み合わせの両方、並びに、その変形及び変更をも包含している。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施例による３Ｄ測距及びマッピングシステムの画的な概略図である。
【図２】本発明の一実施例によるスペックル撮像装置の概略平面図である。
【図３Ａ】本発明の一実施例によるランダム化の光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図３Ｂ】本発明の一実施例による回折光学要素（ＤＯＥ）によって生成された光パターンの概略表現である。
【図３Ｃ】本発明の一実施例による図３Ａ及び図３Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図３Ｄ】本発明の一実施例による図３Ａ及び図３Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図４】本発明の一実施例による３Ｄ測距及びマッピング方法を概略的に示すフローチャートである。
【図５Ａ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｂ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｃ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｄ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｅ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｆ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｇ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｈ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｉ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｊ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｋ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｌ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｍ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｎ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｏ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｐ】本発明の一実施例によるＤＯＥの生成の間、使用される異なる回転角度を有するゾーンプレートの組の概略表現である。
【図５Ｑ】本発明の一実施例による図５Ａ〜図５Ｑのゾーンプレートの重畳によって生成されたＤＯＥの概略前面図である。
【図６Ａ】本発明の一実施例によるランダム化の光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図６Ｂ】本発明の一実施例による回折光学要素（ＤＯＥ）によって生成された光パターンの概略表現である。
【図６Ｃ】本発明の一実施例による図６Ａ及び図６Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【図６Ｄ】本発明の一実施例による図６Ａ及び図６Ｂの光学要素を通じたレーザービームの投射によって生成されたスペックルパターンの概略表現である。
【特許請求の範囲】
【請求項１】
個々の位置及び個々の形状を有する複数のスポットのパターンを物体上に投射する段階であって、前記形状が共通的特性を共有する一方で前記パターン内の前記スポットの位置が無相関状態になるような、投射段階と、
前記物体上の前記スポットの画像をキャプチャする段階と、
前記物体の三次元（３Ｄ）マップを導出するべく前記画像を処理する段階と、を含むマッピング方法。
【請求項２】
前記スポットのパターンは、ランダムなスペックルパターンを含む請求項１記載の方法。
【請求項３】
前記パターンを投射する段階は、コヒーレントな光ビームを前記複数のスポットに分割する第１の光学的制約と、前記形状の共通的特性を少なくとも１つのスポットに適用するための第２の光学的制約と、を重畳するようにデザインされた少なくとも１つの光学要素に、前記コヒーレントな光ビームを通過させる段階を含む請求項１記載の方法。
【請求項４】
前記少なくとも１つの光学要素は、前記パターンを生成するための第１光学要素と、前記共通的特性を適用するための第２光学要素と、を含む請求項３記載の方法。
【請求項５】
前記形状の共通的特性は、前記パターンの供給源からの距離の関数として変化し、前記画像を処理する段階は、前記供給源から前記物体の表面までの距離を判定するべく、前記画像内の前記物体の表面上のスポットの特性を分析する段階を含む請求項１記載の方法。
【請求項６】
前記スポットは、前記パターンの供給源からの距離の関数として回転する細長い形状を共有しており、前記特性を分析する段階は、前記物体の表面上の前記スポットの方向を判定する段階を含む請求項５記載の方法。
【請求項７】
前記画像を処理する段階は、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内のパターンとの間の個々のオフセットを見出す段階と、前記３Ｄマップを導出するために前記オフセットを前記距離と共に使用する段階と、を含む請求項５記載の方法。
【請求項８】
前記個々のオフセットを見出す段階は、前記供給源から前記表面までの距離に対して応答可能なように、複数の基準画像の中から前記基準画像を選択する段階を含む請求項７記載の方法。
【請求項９】
前記パターン内の前記スポットは、第１方向において配列された細長い形状を有し、前記画像を処理する段階は、前記３Ｄマップを導出するべく、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内の前記パターンとの間で、前記第１方向に垂直である第２方向における個々のオフセットを見出す段階を含む請求項１〜８の中のいずれか一項に記載の方法。
【請求項１０】
前記スポットのパターンを投射する段階は、コヒーレントな光ビームを拡散器に通過させる段階を含み、前記ビームは、前記第２方向に細長い前記拡散器においてプロファイルを有する請求項９記載の方法。
【請求項１１】
前記画像をキャプチャする段階は、前記物体が移動している間に、一連の画像をキャプチャする段階を含み、前記画像を処理する段階は、前記一連の画像を処理することにより、前記物体の移動を追跡する段階を含む請求項１〜８の中のいずれか一項に記載の方法。
【請求項１２】
前記物体は、人体の一部であり、
前記移動を追跡する段階は、前記人体の一部によって実行されたジェスチャーを識別する段階と、前記ジェスチャーに対して応答可能なように、コンピュータアプリケーションに入力を提供する段階と、を含む請求項１１記載の方法。
【請求項１３】
光ビームに対する第１の光学的制約の適用が、前記光ビームを複数のスポットのパターンに分割するような、第１の光学的制約を規定する段階と、
前記光ビームに対する第２の光学的制約の適用が、前記光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えるスポットを前記光ビームに形成させるような、第２の光学的制約を規定する段階と、
前記第１の光学的制約及び前記第２の光学的制約を重畳させるべく、少なくとも１つの光学要素をデザインする段階と、
前記パターン内の前記複数のスポットが前記形状特性を備えるように、前記パターンを表面上に投射するために、前記少なくとも１つの光学要素を通じて光ビームを導く段階と、を含む撮像方法。
【請求項１４】
前記少なくとも１つの光学要素は、前記ビームを前記パターンに分割するための第１光学要素と、前記形状特性を適用するための第２光学要素とを含む請求項１３記載の方法。
【請求項１５】
前記パターンは、スペックルパターンを含む請求項１４記載の方法。
【請求項１６】
前記第１光学要素は、拡散器を含む請求項１５記載の方法。
【請求項１７】
前記少なくとも１つの光学要素は、回折光学要素（ＤＯＥ：Diffractive Optical Element）を含む請求項１３記載の方法。
【請求項１８】
前記ＤＯＥは、細長い形状を前記スポットに付与するための少なくとも１つのゾーンプレートを含む請求項１７記載の方法。
【請求項１９】
前記少なくとも１つのゾーンプレートは、前記スポットの前記細長い形状を前記距離の関数として回転させるように、異なる個々の周期及び角度方位を備えた複数の重畳するゾーンプレートを含む請求項１８記載の方法。
【請求項２０】
前記少なくとも１つの光学要素は、屈折光学要素を含む請求項１３記載の方法。
【請求項２１】
前記第１の光学的制約によって規定される前記パターンは、１／４を上回らないデューティサイクルを備える請求項１３記載の方法。
【請求項２２】
前記パターンは、前記位置が無相関状態になるように前記スポットの個々の位置を規定している請求項１３記載の方法。
【請求項２３】
前記第２の光学的制約は、前記スポットに、前記距離の関数として回転する細長い形状を備えさせる請求項１３〜２２の中のいずれか一項に記載の方法。
【請求項２４】
前記第２の光学的制約は、前記スポットに、環形状を備えさせる請求項１３〜２２の中のいずれか一項に記載の方法。
【請求項２５】
前記表面上の前記スポットの画像をキャプチャする段階と、前記少なくとも１つの光学要素から前記表面までの距離を判定するべく前記画像を処理する段階と、を含む請求項１３〜２２の中のいずれか一項に記載の方法。
【請求項２６】
個々の位置及び個々の形状を有した複数のスポットのパターンを物体上に投射するように構成された照明アセンブリであって、前記形状が共通的特性を共有する一方で前記パターン内の前記スポットの前記位置が無相関状態になるような、照明アセンブリと、
前記物体上の前記スポットの画像をキャプチャするように構成された撮像アセンブリと、
前記物体の三次元（３Ｄ）マップを導出するために前記画像を処理するように結合された画像プロセッサと、を含むマッピング装置。
【請求項２７】
前記スポットのパターンは、ランダムなスペックルパターンを含む請求項２６記載の装置。
【請求項２８】
前記照明アセンブリは、
光ビームを前記複数のスポットに分割する第１の光学的制約と、前記形状の前記共通的特性を少なくとも１つのスポットに適用するための第２の光学的制約とを、重畳するようにデザインされた少なくとも１つの光学要素と、
前記少なくとも１つの光学要素を通じてコヒーレントな光ビームを導くように構成された光源と、を含む請求項２６記載の装置。
【請求項２９】
前記少なくとも１つの光学要素は、前記パターンを生成するための第１光学要素と、前記共通的特性を前記形状に適用するための第２光学要素と、を含む請求項２８記載の装置。
【請求項３０】
前記形状の前記共通的特性は、前記パターンの供給源からの距離の関数として変化し、前記画像プロセッサは、前記供給源から表面までの距離を判定するべく前記画像内の前記物体の表面上の前記スポットの前記特性を分析するように構成されている請求項２６記載の装置。
【請求項３１】
前記スポットは、前記パターンの供給源からの距離の関数として回転する細長い形状を共有し、前記画像プロセッサは、前記物体の前記表面上の前記スポットの方向を判定するように構成されている請求項３０記載の装置。
【請求項３２】
前記画像プロセッサは、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内の前記パターンとの間の個々のオフセットを見出し、且つ、前記３Ｄマップを導出するべく、前記オフセットを前記距離と共に使用するように構成されている請求項３０記載の装置。
【請求項３３】
前記画像プロセッサは、前記供給源から前記表面までの距離に対して応答可能なように、複数の基準画像の中から前記基準画像を選択するように構成されている請求項３２記載の装置。
【請求項３４】
前記パターン内の前記スポットは、第１方向において配列された細長い形状を備え、前記画像プロセッサは、前記３Ｄマップを導出するべく、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内の前記パターンとの間において前記第１方向に垂直である第２方向における個々のオフセットを見出すように構成されている請求項２６〜３３の中のいずれか一項に記載の装置。
【請求項３５】
前記照明アセンブリは、拡散器と、前記拡散器を通じてコヒーレントな光ビームを導くように構成された光源と、含み、前記ビームは、前記第２方向において細長い前記拡散器においてプロファイルを有する請求項３４記載の装置。
【請求項３６】
前記撮像アセンブリは、前記物体が移動している間に、一連の画像をキャプチャするように構成され、
前記画像プロセッサは、前記一連の画像を処理することにより、前記物体の移動を追跡するように構成されている請求項２６〜３３の中のいずれか一項に記載の装置。
【請求項３７】
前記物体は、人体の一部であり、前記画像プロセッサは、前記人体の一部によって実行されるジェスチャーを識別し、且つ、前記ジェスチャーに応答可能なようにコンピュータアプリケーションに入力を提供するように構成されている請求項３６記載の装置。
【請求項３８】
第１の光学的制約及び第２の光学的制約を重畳するようにデザインされた少なくとも１つの光学要素であって、前記第１の光学的制約の光ビームへの適用が、前記光ビームを複数のスポットのパターンに分割することであり、前記第２の光学的制約の光ビームへの適用が、前記光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えたスポットを前記光ビームに形成させるようにする、光学要素と、
前記パターン内の前記複数のスポットが前記形状特性を備えるように前記パターンを表面上に投射するために、前記少なくとも１つの光学要素を通じて前記光ビームを導くように構成された光源と、を含む撮像装置。
【請求項３９】
前記少なくとも１つの光学要素は、前記ビームを前記パターンに分割するための第１光学要素と、前記形状特性を適用するための第２光学要素と、を含む請求項３８記載の装置。
【請求項４０】
前記パターンは、スペックルパターンを含む請求項３９記載の装置。
【請求項４１】
前記第１光学要素は、拡散器を含む請求項４０記載の装置。
【請求項４２】
前記少なくとも１つの光学要素は、回折光学要素（ＤＯＥ）を含む請求項３８記載の装置。
【請求項４３】
前記ＤＯＥは、細長い形状を前記スポットに付与するための少なくとも１つのゾーンプレートを含む請求項４２記載の装置。
【請求項４４】
前記少なくとも１つのゾーンプレートは、前記スポットの前記細長い形状を前記距離の関数として回転させるように、異なる個々の周期及び角度方位を備えた複数の重畳されたゾーンプレートを含む請求項４３記載の装置。
【請求項４５】
前記少なくとも１つの光学要素は、屈折光学要素を含む請求項３８記載の装置。
【請求項４６】
前記第１の光学的制約によって規定された前記パターンは、１／４を上回らないデューティサイクルを備える請求項３８記載の装置。
【請求項４７】
前記パターンは、前記位置が無相関状態となるように前記スポットの個々の位置を規定している請求項３８記載の装置。
【請求項４８】
前記第２の光学的制約は、前記スポットに、前記距離の関数として回転する細長い形状を備えさせる請求項３８〜４７の中のいずれか一項に記載の装置。
【請求項４９】
前記第２の光学的制約は、前記スポットに、環形状を備えさせる請求項３８〜４７の中のいずれか一項に記載の装置。
【請求項５０】
前記表面上の前記スポットの画像をキャプチャするように構成された撮像アセンブリと、前記少なくとも１つの光学要素から前記表面までの前記距離を判定するために前記画像を処理するように結合された画像プロセッサと、を含む請求項３８〜４７の中のいずれか一項に記載の装置。
【請求項１】
個々の位置及び個々の形状を有する複数のスポットのパターンを物体上に投射する段階であって、前記形状が共通的特性を共有する一方で前記パターン内の前記スポットの位置が無相関状態になるような、投射段階と、
前記物体上の前記スポットの画像をキャプチャする段階と、
前記物体の三次元（３Ｄ）マップを導出するべく前記画像を処理する段階と、を含むマッピング方法。
【請求項２】
前記スポットのパターンは、ランダムなスペックルパターンを含む請求項１記載の方法。
【請求項３】
前記パターンを投射する段階は、コヒーレントな光ビームを前記複数のスポットに分割する第１の光学的制約と、前記形状の共通的特性を少なくとも１つのスポットに適用するための第２の光学的制約と、を重畳するようにデザインされた少なくとも１つの光学要素に、前記コヒーレントな光ビームを通過させる段階を含む請求項１記載の方法。
【請求項４】
前記少なくとも１つの光学要素は、前記パターンを生成するための第１光学要素と、前記共通的特性を適用するための第２光学要素と、を含む請求項３記載の方法。
【請求項５】
前記形状の共通的特性は、前記パターンの供給源からの距離の関数として変化し、前記画像を処理する段階は、前記供給源から前記物体の表面までの距離を判定するべく、前記画像内の前記物体の表面上のスポットの特性を分析する段階を含む請求項１記載の方法。
【請求項６】
前記スポットは、前記パターンの供給源からの距離の関数として回転する細長い形状を共有しており、前記特性を分析する段階は、前記物体の表面上の前記スポットの方向を判定する段階を含む請求項５記載の方法。
【請求項７】
前記画像を処理する段階は、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内のパターンとの間の個々のオフセットを見出す段階と、前記３Ｄマップを導出するために前記オフセットを前記距離と共に使用する段階と、を含む請求項５記載の方法。
【請求項８】
前記個々のオフセットを見出す段階は、前記供給源から前記表面までの距離に対して応答可能なように、複数の基準画像の中から前記基準画像を選択する段階を含む請求項７記載の方法。
【請求項９】
前記パターン内の前記スポットは、第１方向において配列された細長い形状を有し、前記画像を処理する段階は、前記３Ｄマップを導出するべく、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内の前記パターンとの間で、前記第１方向に垂直である第２方向における個々のオフセットを見出す段階を含む請求項１〜８の中のいずれか一項に記載の方法。
【請求項１０】
前記スポットのパターンを投射する段階は、コヒーレントな光ビームを拡散器に通過させる段階を含み、前記ビームは、前記第２方向に細長い前記拡散器においてプロファイルを有する請求項９記載の方法。
【請求項１１】
前記画像をキャプチャする段階は、前記物体が移動している間に、一連の画像をキャプチャする段階を含み、前記画像を処理する段階は、前記一連の画像を処理することにより、前記物体の移動を追跡する段階を含む請求項１〜８の中のいずれか一項に記載の方法。
【請求項１２】
前記物体は、人体の一部であり、
前記移動を追跡する段階は、前記人体の一部によって実行されたジェスチャーを識別する段階と、前記ジェスチャーに対して応答可能なように、コンピュータアプリケーションに入力を提供する段階と、を含む請求項１１記載の方法。
【請求項１３】
光ビームに対する第１の光学的制約の適用が、前記光ビームを複数のスポットのパターンに分割するような、第１の光学的制約を規定する段階と、
前記光ビームに対する第２の光学的制約の適用が、前記光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えるスポットを前記光ビームに形成させるような、第２の光学的制約を規定する段階と、
前記第１の光学的制約及び前記第２の光学的制約を重畳させるべく、少なくとも１つの光学要素をデザインする段階と、
前記パターン内の前記複数のスポットが前記形状特性を備えるように、前記パターンを表面上に投射するために、前記少なくとも１つの光学要素を通じて光ビームを導く段階と、を含む撮像方法。
【請求項１４】
前記少なくとも１つの光学要素は、前記ビームを前記パターンに分割するための第１光学要素と、前記形状特性を適用するための第２光学要素とを含む請求項１３記載の方法。
【請求項１５】
前記パターンは、スペックルパターンを含む請求項１４記載の方法。
【請求項１６】
前記第１光学要素は、拡散器を含む請求項１５記載の方法。
【請求項１７】
前記少なくとも１つの光学要素は、回折光学要素（ＤＯＥ：Diffractive Optical Element）を含む請求項１３記載の方法。
【請求項１８】
前記ＤＯＥは、細長い形状を前記スポットに付与するための少なくとも１つのゾーンプレートを含む請求項１７記載の方法。
【請求項１９】
前記少なくとも１つのゾーンプレートは、前記スポットの前記細長い形状を前記距離の関数として回転させるように、異なる個々の周期及び角度方位を備えた複数の重畳するゾーンプレートを含む請求項１８記載の方法。
【請求項２０】
前記少なくとも１つの光学要素は、屈折光学要素を含む請求項１３記載の方法。
【請求項２１】
前記第１の光学的制約によって規定される前記パターンは、１／４を上回らないデューティサイクルを備える請求項１３記載の方法。
【請求項２２】
前記パターンは、前記位置が無相関状態になるように前記スポットの個々の位置を規定している請求項１３記載の方法。
【請求項２３】
前記第２の光学的制約は、前記スポットに、前記距離の関数として回転する細長い形状を備えさせる請求項１３〜２２の中のいずれか一項に記載の方法。
【請求項２４】
前記第２の光学的制約は、前記スポットに、環形状を備えさせる請求項１３〜２２の中のいずれか一項に記載の方法。
【請求項２５】
前記表面上の前記スポットの画像をキャプチャする段階と、前記少なくとも１つの光学要素から前記表面までの距離を判定するべく前記画像を処理する段階と、を含む請求項１３〜２２の中のいずれか一項に記載の方法。
【請求項２６】
個々の位置及び個々の形状を有した複数のスポットのパターンを物体上に投射するように構成された照明アセンブリであって、前記形状が共通的特性を共有する一方で前記パターン内の前記スポットの前記位置が無相関状態になるような、照明アセンブリと、
前記物体上の前記スポットの画像をキャプチャするように構成された撮像アセンブリと、
前記物体の三次元（３Ｄ）マップを導出するために前記画像を処理するように結合された画像プロセッサと、を含むマッピング装置。
【請求項２７】
前記スポットのパターンは、ランダムなスペックルパターンを含む請求項２６記載の装置。
【請求項２８】
前記照明アセンブリは、
光ビームを前記複数のスポットに分割する第１の光学的制約と、前記形状の前記共通的特性を少なくとも１つのスポットに適用するための第２の光学的制約とを、重畳するようにデザインされた少なくとも１つの光学要素と、
前記少なくとも１つの光学要素を通じてコヒーレントな光ビームを導くように構成された光源と、を含む請求項２６記載の装置。
【請求項２９】
前記少なくとも１つの光学要素は、前記パターンを生成するための第１光学要素と、前記共通的特性を前記形状に適用するための第２光学要素と、を含む請求項２８記載の装置。
【請求項３０】
前記形状の前記共通的特性は、前記パターンの供給源からの距離の関数として変化し、前記画像プロセッサは、前記供給源から表面までの距離を判定するべく前記画像内の前記物体の表面上の前記スポットの前記特性を分析するように構成されている請求項２６記載の装置。
【請求項３１】
前記スポットは、前記パターンの供給源からの距離の関数として回転する細長い形状を共有し、前記画像プロセッサは、前記物体の前記表面上の前記スポットの方向を判定するように構成されている請求項３０記載の装置。
【請求項３２】
前記画像プロセッサは、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内の前記パターンとの間の個々のオフセットを見出し、且つ、前記３Ｄマップを導出するべく、前記オフセットを前記距離と共に使用するように構成されている請求項３０記載の装置。
【請求項３３】
前記画像プロセッサは、前記供給源から前記表面までの距離に対して応答可能なように、複数の基準画像の中から前記基準画像を選択するように構成されている請求項３２記載の装置。
【請求項３４】
前記パターン内の前記スポットは、第１方向において配列された細長い形状を備え、前記画像プロセッサは、前記３Ｄマップを導出するべく、前記画像内の前記物体の複数のエリア上の前記パターンと基準画像内の前記パターンとの間において前記第１方向に垂直である第２方向における個々のオフセットを見出すように構成されている請求項２６〜３３の中のいずれか一項に記載の装置。
【請求項３５】
前記照明アセンブリは、拡散器と、前記拡散器を通じてコヒーレントな光ビームを導くように構成された光源と、含み、前記ビームは、前記第２方向において細長い前記拡散器においてプロファイルを有する請求項３４記載の装置。
【請求項３６】
前記撮像アセンブリは、前記物体が移動している間に、一連の画像をキャプチャするように構成され、
前記画像プロセッサは、前記一連の画像を処理することにより、前記物体の移動を追跡するように構成されている請求項２６〜３３の中のいずれか一項に記載の装置。
【請求項３７】
前記物体は、人体の一部であり、前記画像プロセッサは、前記人体の一部によって実行されるジェスチャーを識別し、且つ、前記ジェスチャーに応答可能なようにコンピュータアプリケーションに入力を提供するように構成されている請求項３６記載の装置。
【請求項３８】
第１の光学的制約及び第２の光学的制約を重畳するようにデザインされた少なくとも１つの光学要素であって、前記第１の光学的制約の光ビームへの適用が、前記光ビームを複数のスポットのパターンに分割することであり、前記第２の光学的制約の光ビームへの適用が、前記光ビームの軸に沿った距離の関数として予め規定された方式において変化する形状特性を備えたスポットを前記光ビームに形成させるようにする、光学要素と、
前記パターン内の前記複数のスポットが前記形状特性を備えるように前記パターンを表面上に投射するために、前記少なくとも１つの光学要素を通じて前記光ビームを導くように構成された光源と、を含む撮像装置。
【請求項３９】
前記少なくとも１つの光学要素は、前記ビームを前記パターンに分割するための第１光学要素と、前記形状特性を適用するための第２光学要素と、を含む請求項３８記載の装置。
【請求項４０】
前記パターンは、スペックルパターンを含む請求項３９記載の装置。
【請求項４１】
前記第１光学要素は、拡散器を含む請求項４０記載の装置。
【請求項４２】
前記少なくとも１つの光学要素は、回折光学要素（ＤＯＥ）を含む請求項３８記載の装置。
【請求項４３】
前記ＤＯＥは、細長い形状を前記スポットに付与するための少なくとも１つのゾーンプレートを含む請求項４２記載の装置。
【請求項４４】
前記少なくとも１つのゾーンプレートは、前記スポットの前記細長い形状を前記距離の関数として回転させるように、異なる個々の周期及び角度方位を備えた複数の重畳されたゾーンプレートを含む請求項４３記載の装置。
【請求項４５】
前記少なくとも１つの光学要素は、屈折光学要素を含む請求項３８記載の装置。
【請求項４６】
前記第１の光学的制約によって規定された前記パターンは、１／４を上回らないデューティサイクルを備える請求項３８記載の装置。
【請求項４７】
前記パターンは、前記位置が無相関状態となるように前記スポットの個々の位置を規定している請求項３８記載の装置。
【請求項４８】
前記第２の光学的制約は、前記スポットに、前記距離の関数として回転する細長い形状を備えさせる請求項３８〜４７の中のいずれか一項に記載の装置。
【請求項４９】
前記第２の光学的制約は、前記スポットに、環形状を備えさせる請求項３８〜４７の中のいずれか一項に記載の装置。
【請求項５０】
前記表面上の前記スポットの画像をキャプチャするように構成された撮像アセンブリと、前記少なくとも１つの光学要素から前記表面までの前記距離を判定するために前記画像を処理するように結合された画像プロセッサと、を含む請求項３８〜４７の中のいずれか一項に記載の装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図５Ｇ】
【図５Ｈ】
【図５Ｉ】
【図５Ｊ】
【図５Ｋ】
【図５Ｌ】
【図５Ｍ】
【図５Ｎ】
【図５Ｏ】
【図５Ｐ】
【図５Ｑ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図５Ｇ】
【図５Ｈ】
【図５Ｉ】
【図５Ｊ】
【図５Ｋ】
【図５Ｌ】
【図５Ｍ】
【図５Ｎ】
【図５Ｏ】
【図５Ｐ】
【図５Ｑ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【公表番号】特表２００９−５３０６０４（Ｐ２００９−５３０６０４Ａ）
【公表日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−５５８９８４（Ｐ２００８−５５８９８４）
【出願日】平成１９年３月１３日（２００７．３．１３）
【国際出願番号】ＰＣＴ／ＩＬ２００７／０００３２７
【国際公開番号】ＷＯ２００７／１０５２１５
【国際公開日】平成１９年９月２０日（２００７．９．２０）
【出願人】（５０８２５８３８９）プライム センス リミティド (2)
【Ｆターム（参考）】
【公表日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【国際出願番号】ＰＣＴ／ＩＬ２００７／０００３２７
【国際公開番号】ＷＯ２００７／１０５２１５
【国際公開日】平成１９年９月２０日（２００７．９．２０）
【出願人】（５０８２５８３８９）プライム センス リミティド (2)
【Ｆターム（参考）】
[ Back to top ]