説明

空間光パターンに基づく深さデータの生成

空間光パターンに基づいて深さデータを生成するための技術について一般に説明される。いくつかの例では、深さデータを生成する方法が、空間光パターンが投射される1つまたは複数の物体の画像を取得することであって、画像内の空間光パターンのぼやけが深さ方向に単調に増加または減少する、取得することと、対象画素周りの局所画像領域にある画像の空間周波数成分値を算出することと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めることとを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、深さデータの生成に関する。
【背景技術】
【0002】
本明細書で特に指示がない限り、本欄に記載された方法は、本出願のクレームに対する先行技術ではなく、本欄に記載されたことにより先行技術であると認めるものでもない。
【0003】
立体視用の画像は、右目用画像と左目用画像とから構成され得る。観察者は、通常、右目で右目用画像のみを見て、左目で左目用画像のみを見るように作られた特殊な眼鏡を使用することにより、三次元シーンを認識することができる。立体視用の画像データを送信する典型的な方法は2つあり得る。第1の方法では、左目用画像および右目用画像の両方を送信することができ、通常の二次元画像データが送信される場合と比べてデータが2倍になり得る。第2の方法では、左目用画像および右目用画像から深さマップを作成することができ、作成された深さマップを左目用画像および右目用画像のいずれかとともに送信することができる。データの受信側は、深さマップを使用して、2つの画像のうちの送信されていない一方を再生成することができる。第2の方法により、通常の二次元画像データが送信される場合よりもデータ量も多くなり得る。さらに、送信側で深さマップを作成する必要があるため、さらに計算負荷がかかり得る。
【発明の概要】
【課題を解決するための手段】
【0004】
1つまたは複数の実施形態によれば、深さデータを生成する方法は、空間光パターンが投射される1つまたは複数の物体の画像を取得することであって、画像内の空間光パターンのぼやけが深さ方向に単調に増加または減少する、取得することと、対象画素周りの局所画像領域にある画像の空間周波数成分値を算出することと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めることとを含む。
【0005】
1つまたは複数の実施形態によれば、深さデータを生成するための装置は、空間光パターンが投射される1つまたは複数の物体の画像を受信するように構成された画像受信ユニットであって、画像内の空間光パターンのぼやけが深さ方向に単調に増加または減少する画像受信ユニットと、対象画素周りの局所画像領域にある画像の空間周波数成分値を算出するように構成された周波数成分算出ユニットと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めるように構成された深さマップ作成ユニットとを備える。
【0006】
1つまたは複数の実施形態によれば、深さデータを生成するためのシステムは、空間光パターンを投射するように構成された投射ユニットと、空間光パターンが投射される1つまたは複数の物体の画像を取り込むように構成された撮像ユニットであって、画像内の空間光パターンのぼやけが深さ方向に単調に増加または減少する撮像ユニットと、対象画素周りの局所画像領域にある画像の空間周波数成分値を算出するように構成された周波数成分算出ユニットと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めるように構成された深さマップ作成ユニットとを備える。
【0007】
前述した概要は、単に例示の目的で記載したものであり、限定的なものではない。前述した例示の態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が、以下の詳細な説明を参照することにより明らかになるであろう。
【0008】
明細書の最終部において本開示の主題が特に指摘され、特許請求の範囲に明確に記載される。本開示の前述した特徴およびその他の特徴は、添付図面を参照しながら、以下の説明および添付のクレームを読むことにより完全に明らかになるであろう。これらの図面は、開示にしたがい複数の実施形態のみを示したものであって、開示の範囲を限定すると見なされるものではないことから、添付図面を用いることにより開示がさらに具体的かつ詳細に説明される。
【図面の簡単な説明】
【0009】
【図1】深さデータ生成システムの一例を示す図である。
【図2】空間光パターンの一例を示す図である。
【図3】物体面上で深さ方向に単調に増加する空間光パターンのぼやけの一例を示す図である。
【図4】深さデータ生成装置の構成の一例を示すブロック図である。
【図5】深さデータ生成装置により行われる深さデータを生成するための方法を示すフローチャートである。
【図6】反射率補正ユニットの構成の一例を示すブロック図である。
【図7】反射率補正ユニットにより行われる、輝度補正を行うプロセスを示すフローチャートである。
【図8】深さマップ作成ユニットの構成の一例を示すブロック図である。
【図9】深さマップ作成ユニットにより行われる、深さデータを求めるための方法を示すフローチャートである。
【図10】深さ方向にぼやけが単調に増加する一例を示す図である。
【発明を実施するための形態】
【0010】
すべての図面は、本明細書に記載された少なくともいくつかの実施形態にしたがってまとめられた。
【0011】
以下の詳細な説明は、特許請求の範囲に記載された主題を完全に理解するために、具体的詳細に沿って様々な例を述べたものである。しかし、特許請求の範囲に記載された主題を、本明細書に開示された具体的詳細の一部を除いて実行することができる点を当業者は理解するであろう。さらに、いくつかの状況では、特許請求の範囲に記載された主題を不必要に曖昧にすることのないように、周知の方法、手順、システム、部品、および/または回路について、詳細に説明されていない。以下の詳細な説明で、説明の一部をなす添付図面を参照する。文中に特に断りのない限り、図中、同一の符号は通常、同一の部品を示す。詳細な説明、図面、および特許請求の範囲に記載された例示の実施形態は、限定的なものではない。本明細書に提示された主題の精神または範囲を逸脱しない限り、他の実施形態を使用してもよく、他の変更を加えてもよい。本明細書全体に記載され図示された本開示の態様は、様々な異なる構成で配置、代用、結合、分離、および設計することができ、これらのすべては本明細書で明確に企図されることが容易に理解されよう。
【0012】
本開示は、特に、深さデータの生成に関連した方法、装置、デバイスおよび/またはシステムについて書かれたものである。
【0013】
簡単に言うと、本明細書では、深さデータを生成するための方法および装置に関する技術について全体に説明されている。いくつかの例では、方法が、空間光パターンが投射される1つまたは複数の物体の画像を取得することであって、画像内の空間光パターンのぼやけが深さ方向に単調に増加または減少する、取得することと、対象画素周りの局所画像領域にある画像の空間周波数成分値を算出することと、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めることとを含み得る。
【0014】
図1は、本明細書に記載された少なくともいくつかの実施形態により配置された、深さデータ生成システムの一例を示す図である。図1に示す深さデータ生成システム10は、投射ユニット11、撮像ユニット12、および深さデータ生成装置13を備え得る。説明の便宜上、空間において直交する3方向を座標系のx、yおよびz軸で示し、z軸を投射ユニット11および撮像ユニット12の深さ方向に対応する軸とすることができる。投射ユニット11は空間光パターンを発するように構成され得る。投射ユニット11は、フィルム媒体等により生成される高精細画像を投射可能な従来のプロジェクタであり得る。あるいは、投射ユニット11は、液晶表示パネルを使用するデジタルプロジェクタ、またはデジタルマイクロミラーデバイスを使用するDLP(デジタルライトプロセッシング)プロジェクタであり得る。このような場合、投射すべき空間光パターンの表示データを投射ユニット11に入力できる。撮像ユニット12は、空間光パターンが投射される1つまたは複数の物体16〜18の画像を取り込むように構成され得る。撮像ユニット12は、CCD(電荷結合素子)画像センサまたはCMOS(相補性金属酸化膜半導体)画像センサ等の撮像装置を使用するカメラであり得る。投射ユニット11および撮像ユニット12の光学システムパラメータを調節して、取り込まれた画像の空間光パターンのぼやけが深さ方向zに単調に増加または減少するようにすることができる。このような光学システムパラメータを得る方法については、詳細に後述し得る。
【0015】
撮像ユニット12をスチルカメラとして動作させて、一度に1つの画像を生成するか、またはビデオカメラあるいは動画カメラとして動作させて、作動状態の間、連続して一連の画像を生成することができる。撮像ユニット12により生成された画像は、深さデータ生成装置13に送られる。画像は一過性媒体14または非一過性媒体15を介して送られ得る。一過性媒体14は、電気信号が送信される通信線、または電磁信号が送信される空間であり得る。非一過性媒体15は、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、メモリカード等の有形の記録媒体であり得る。
【0016】
深さデータ生成装置13は、撮像ユニット12により取り込まれた画像内の所与のx,y位置に対応する画素において、深さ方向の位置zを示す深さデータを生成するように構成され得る。このような深さデータを、撮像ユニット12により取り込まれた画像から抽出することができる。すなわち、深さデータ生成装置13は、例えば、撮像ユニット12により取り込まれた画像を分析することにより、物体16の撮像ユニット12からの距離を示す深さデータを生成することができる。深さデータ生成装置13は、画像内のすべての画素での深さを示す深さマップを生成することができる。
【0017】
深さデータを生成するために、投射ユニット11は、対象画素周りの局所画像領域にある画像の所定の空間周波数成分値を算出することができる。次に、投射ユニット11は、深さと空間周波数成分値との事前に設定した関係を用いて、算出した空間周波数成分値に対応する深さデータを求めることができる。前述したように、取り込まれた画像内の空間光パターンのぼやけが深さ方向zに単調に増加または減少することができる。このような場合、所定の空間周波数成分値が深さ方向zに単調に増加または減少することができる。深さと所定の空間周波数成分値との関係が数式で表され得る。あるいは、深さと所定の空間周波数成分値との関係を事前に求めて、メモリ内のルックアップテーブル等として記憶することができる。このルックアップテーブルを深さデータの判定時に参照して、対象画素に対して算出された所定の空間周波数成分値に対応する深さ値をテーブル内で示すことができる。
【0018】
図2は、本明細書に記載された少なくともいくつかの実施形態により配置された空間光パターンの一例を示す図である。この例では、空間光パターンが格子状パターンであり得、黒と白の正方形領域が、縦方向および横方向に交互に配置されている。投射ユニット11および撮像ユニット12は、ほぼ同じ画角を有するように構成され得る。このような場合、投射ユニット11により表面に投射された空間光パターンの各正方形領域が、表面の投射ユニット11からの距離zに関係なく、撮像ユニット12により撮影された画像内で一定の二次元サイズを有するように出現し得る。すなわち、図1に示す例では、撮像ユニット12により見たときに、物体16の面に投射された空間光パターンが、物体17または18の表面に投射された空間光パターンと同じサイズを有するように出現し得る。投射ユニット11は、深さ方向の点zpfに焦点位置を有して、撮像ユニット12により取り込まれる物体(例えば、16、17、18)よりも焦点位置zpfが近くなるように構成され得る。この構成により、深さzに位置する物体表面上で、空間光パターンのぼやけが深さ方向zに確実に単調に増加し得る。投射ユニット11は、いずれの物体よりも投射ユニット11から離れた焦点位置を有し得る。この構成により、深さzに位置する物体面上で、空間光パターンのぼやけが深さ方向zに確実に単調に減少し得る。
【0019】
図3は、本明細書に記載された少なくともいくつかの実施形態により配置された物体面上で、空間光パターンのぼやけが深さ方向zに単調に増加する一例を示す図である。図3において、撮像ユニット12により取り込まれた画像30は、物体16の画像31(図1参照)、物体17の画像32、および物体18の画像33を含み得る。図1に示すように、物体16、物体17、および物体18は、深さ方向zにおいて図示した順で配置され、物体16が撮像ユニット12に最も近く配置され得る。このような場合、最も近い物体16に投射される空間光パターン34が最も鮮明であり、最も遠い物体18に投射される空間光パターン36が最も不鮮明であり、物体17に投射される空間光パターン35は中程度の鮮明さであり得る。対象の局所画像領域において、画像30に出現する空間光パターン34、35、および36のぼやけ度の関数であり得る所定の周波数成分値を分析することにより、深さデータが画像30から抽出され得る。
【0020】
投射ユニット11により投射された空間光パターンは、取り込まれた画像30に出現する空間光パターン34、35、および36が微細で、画像30を見る人が空間光パターンの存在を認識できないように構成され得る。このような微細な光パターンは、1280×1024画素、1920×1080画素等の多数の画素を有する液晶表示パネルを使用するデジタルプロジェクタにより生成され得る。通常の観察条件では、人の視覚で2、3画素のサイズほどの小ささの詳細を認識することができない。すなわち、画像に出現する空間光パターンは、画像を見るときに人の視覚で認識可能な空間周波数よりも高い空間周波数で周期的であり得る。この構成により、美的な視点から見た画像30の質が、重畳された空間光パターンによって下がることが確実に避けられ得る。しかし、格子状パターンの各正方形領域のサイズは、x方向およびy方向の画素サイズの少なくとも2倍であることに注目することができる。この配置により、空間光パターンの周波数成分についての正確な情報を抽出するために、適切なサンプリングピッチが撮像ユニット12により確実に達成され得る。
【0021】
図3の画像30に出現する空間光パターンに関する上記の説明では、撮像ユニット12の焦点合わせを考慮に入れていない。撮像ユニット12が例えばピンホールカメラであれば、撮像ユニット12は、任意の距離で物体に焦点を合わせることができる。このような場合、所与の物体面に投射された空間光パターンは、物体面上にあるときに、取り込まれた画像内でぼやけて出現し得る。すなわち、いくつかの状況下では、撮像ユニット12の焦点合わせが無視され得る。
【0022】
しかし、実際には、撮像ユニット12の光学システムの特性が、取り込まれた画像に出現する空間光パターンのぼやけに影響を与え得る。すなわち、撮像ユニット12により取り込まれた画像から深さデータを生成するときに、投射ユニット11の焦点合わせに加えて撮像ユニット12の焦点合わせを考慮に入れる必要があり得る。いくつかの状況では、撮像ユニット12が対象の物体である物体16に焦点を合わせ得る。別の状況では、撮像ユニット12が対象の物体である物体17に焦点を合わせた後、次の対象の物体である物体18に焦点を合わせ得る。撮像ユニット12の焦点の合わせおよびその焦点位置の変更を考慮に入れる方法について、さらに以下で説明する。しかし、ここでは、撮像ユニット12の焦点合わせにもかかわらず、取り込まれた画像内の空間光パターンのぼやけが深さ方向zに単調に増加または減少するようにすることは容易であり得る点に注目されたい。このような単調な特性が提供され得るのは、投射ユニット11によってぼやけが深さ方向に単調に増加(または減少)することが、撮像ユニット12によってぼやけを深さ方向に変更することよりも確実に重要であることによる。
【0023】
図4は、本明細書に記載された少なくともいくつかの実施形態により配置された深さデータ生成装置13の構成の一例を示す図である。図4に示す深さデータ生成装置13は、画像受信ユニット41、周波数成分算出ユニット42、反射率補正ユニット43、深さマップ作成ユニット44、および周波数検出ユニット45を備え得る。
【0024】
図5は、本明細書に記載された少なくともいくつかの実施形態により配置された深さデータ生成装置13により行われる、深さデータを生成するための方法を示すフローチャートである。前述したように、例示の方法は、ブロックS1、S2、S3、S4、S5および/またはS6の1つまたは複数により示される1つまたは複数の動作、作用、または機能を含み得る。図5の方法を、例えば、図4に示す深さデータ生成装置13を使用して実施することができるため、深さデータを生成するための方法については図4および5を参照して説明する。
【0025】
画像受信ユニット41は、空間光パターンが投射された1つまたは複数の物体の画像を撮像ユニット12から受信することができる。この画像では、空間光パターンのぼやけが深さ方向に単調に増加または減少し得る。処理はブロックS1から始まる。ブロックS1では、周波数検出ユニット45が画像をブロックに分割し得、各ブロックが、画素列からなる矩形画素領域となり得る。処理はブロックS1からブロックS2まで続き得る。
【0026】
ブロックS2で、周波数検出ユニット45が、各ブロックにフーリエ変換またはアダマール変換等の直交変換を適用して、ブロックごとに周波数成分F(u,v)を得ることができる。ここでは、F(u,v)が、対象のブロックに対応する画素列の画素値を示す画素データb(x,y)の離散フーリエ変換(またはアダマール変換、その他の直交変換)であり得る。座標x,yは対象のブロック内の画素位置を示し得る。変数uはx方向の空間周波数を示し、変数vはy方向の空間周波数を示す。処理はブロックS2からブロックS3まで続き得る。
【0027】
ブロックS3で、周波数検出ユニット45は、すべてのブロックのF(u,v)を合計しS(u,v)を得て、閾値周波数よりも高い周波数範囲におけるS(u,v)の最大値を見つけることができる。画像中にブロックがN個ある場合、S(u,v)は、第1のブロックのF(u,v)、第2のブロックのF(u,v)、第3のブロックのF(u,v)、…、および、第NのブロックのF(u,v)の合計であり得る。ある空間周波数で周期的である空間光パターンが画像に含まれるので、S(u,v)は、ある閾値周波数よりも高い周波数範囲内のこの空間周波数で局所最大値を有し得る。この閾値周波数は、空間光パターンが周期的である空間周波数を考慮に入れることにより求められ得る。例えば、閾値周波数は、前記空間周波数よりも低く設定されるが、取り込まれたシーンがもつ画像情報の周波数スペクトルの大部分よりも高く設定され得る。取り込まれたシーンがもつ画像情報の周波数スペクトルの大部分(すなわち、投射された空間光パターンがもつ画像情報を除く)が低周波数に存在するため、このような閾値周波数を提供することにより、投射された空間光パターンがもつスペクトルの局所最大値を検出することが可能になる。このようにして、空間光パターンが周期的である空間周波数(u,v)を検出することができる。処理はブロックS3からブロックS4まで続き得る。
【0028】
ブロックS4で、周波数成分算出ユニット42が、座標(x,y)における各対象画素周りの局所画像領域に、フーリエ変換またはアダマール変換等の直交変換を適用して周波数成分Fx,y(u,v)を得ることができる。この局所画像領域は、座標(x,y)で中心に位置する矩形画像領域であり得る。ここでは、Fx,y(u,v)が、局所画像領域の画素列の画素値である画素データの離散フーリエ変換(またはアダマール変換、その他の直交変換)であり得る。処理はブロックS4からブロックS5まで続く。
【0029】
ブロックS5で、反射率補正ユニット43が異なる物体反射率についてFx,y(u,v)を補正し得る。投射ユニット11により投射された空間光パターンが物体面により反射されて撮像ユニット12に到達し得る。反射光の輝度は、物体面の反射率によって決まり得る。これにより、取り込まれた画像の画素値(すなわち輝度値)は各物体面の反射率によって決まる。物体面の反射率が増加すると、この物体面に対応する画像領域内にある画素の画素値も増加し得る。したがって、Fx,y(u,v)の値も物体面の反射率によって決まり得る。反射率補正ユニット43は、物体面の反射率の差によって生じるFx,y(u,v)の変動をなくし得る。この補正プロセスについては詳細に後述し得る。処理はブロックS5からブロックS6まで続き得る。
【0030】
ブロックS6では、深さマップ作成ユニット44が、補正されたFx,y(u,v)とルックアップテーブルとに基づいて深さマップを生成し得る。ルックアップテーブルは、深さ(すなわち、z方向の位置)と空間周波数成分値Fx,y(u,v)との関係を示し得る。このルックアップテーブルは、事前に作成されてメモリに記憶され得る。
【0031】
図6は、本明細書に記載された少なくともいくつかの実施形態により配置された反射率補正ユニット43の構成の一例を示すブロック図である。図6に示す反射率補正ユニット43は、広域平均輝度算出ユニット61、補正ユニット62、および局所平均輝度算出ユニット63を備え得る。
【0032】
図7は、本明細書に記載された少なくともいくつかの実施形態により配置された反射率補正ユニット43により行われる、輝度を補正するための方法を示すフローチャートである。前述したように、例示の方法は、ブロックS21、S22および/またはS23の1つまたは複数により示される1つまたは複数の動作、作用、または機能を含み得る。図7の方法を、例えば、図6に示す反射率補正ユニット43を使用して実施することができるため、輝度を補正するための方法については、図6および7を参照して説明する。処理はブロックS21から始まり得る。
【0033】
ブロック21で、広域平均輝度算出ユニット61は、画像全体の平均輝度DCを算出し得る。画像全体の平均輝度DCは、すべての画素値を合計して、得られた合計を画素数で割ることにより算出され得る。あるいは、画像全体の平均輝度DCは、Fx,y(u,v)とともに得られる直流成分Fx,y(0,0)を用いることにより算出され得る。直流成分Fx,y(0,0)は局所画像領域内の画素値の合計に比例するため、広域平均輝度算出ユニット61は、Fx,y(0,0)を用いて画像全体の平均輝度DCを得ることができる。処理はブロックS21からブロックS22まで続き得る。
【0034】
ブロックS22で、局所平均輝度算出ユニット63は、座標(x,y)に位置する各対象画素周りの局所画像領域の平均輝度DCxyを算出し得る。局所画像領域の平均輝度DCxyは、局所画像領域のすべての画素値を合計して、得られた合計を画素数で割ることにより算出され得る。あるいは、局所画像領域の平均輝度DCxyを直流成分Fx,y(0,0)から直接得ることができ得る。処理はブロックS22からブロックS23まで続き得る。
【0035】
ブロックS23では、補正ユニット62が、Fx,y(u,v)に輝度補正のためのDC/DCxyを掛け得る。局所画像領域の局所平均輝度DCxyは、この局所画像領域に対応する物体面の反射率に比例し得ることに注目することができる。さらに、Fx,y(u,v)の値はこの局所画像領域に対応する物体面の反射率に比例し得る。したがって、DC/DCxyを掛けることにより、Fx,y(u,v)からの物体面反射率変動の影響を除去し得る。物体面反射率変動の影響を除去するためには、Fx,y(u,v)に1/DCxyを掛ければ十分であり得る点に注目することができる。
【0036】
図8は、本明細書に記載された少なくともいくつかの実施形態により配置された深さマップ作成ユニット44の構成の一例を示すブロック図である。図8に示す深さマップ作成ユニット44は、カメラパラメータ取得ユニット81、A(z)算出ユニット82、LUT作成ユニット83、深さ算出ユニット84、およびB(z)を示すLUT(ルックアップテーブル)85を備える。A(z)は、深さ方向の位置と、空間光パターンを投射する投射ユニット11により生じる空間光パターンのぼやけとの関係を表し得る。B(z)は、深さ方向の位置と、画像を取り込む撮像ユニット12により生じる空間光パターンのぼやけとの関係を表し得る。
【0037】
図9は、本明細書に記載された少なくともいくつかの実施形態により配置された深さマップ作成ユニット44により行われる、深さデータを求めるための方法を示すフローチャートである。前述したように、例示の方法は、ブロックS31、S32、S33、S34および/またはS35の1つまたは複数により示される1つまたは複数の動作、作用、または機能を含み得る。前述した例示の方法は、投射ユニット11の焦点合わせによる効果と撮像ユニット12の焦点合わせによる効果とを組み合わせることにより深さデータを求める。図9の方法を、例えば、図8に示す深さマップ作成ユニット44を使用して実施することができるため、深さデータを求めるための方法については、図8および9を参照して説明する。処理はブロックS31から始まり得る。
【0038】
ブロックS31で、カメラパラメータ取得ユニット81は、撮像ユニット12からz方向の焦点位置zcfと開口サイズDとを得ることができる。カメラパラメータ取得ユニット81は、焦点位置(xcf、ycf)を得ることができ、x−y面のこの点で撮像ユニット12が物体面に焦点を合わせる。開口サイズDは通常、焦点距離fとfの数Nの形で与えられ得る。次に開口サイズ(すなわち、入射瞳の直径)DがD=f/Nとして算出され得る。処理はブロックS31からブロックS32まで続き得る。
【0039】
ブロックS32で、A(z)算出ユニット82は、カメラ光学システム(すなわち、撮像ユニット12)により生じる空間パターン周波数の深さ依存振幅変動A(z)を、焦点位置zcfおよび開口サイズDに基づく深さzの関数として算出し得る。この深さ依存振幅変動A(z)は、撮像ユニット12が焦点位置zcfに焦点を合わせることにより見られるように、深さzに位置する面上の空間光パターンの空間周波数(u,v)の振幅を表し得る。この空間光パターンは、深さzに位置する面上にぼやけがない、理想的な空間光パターンであり得る。すなわち、深さ依存振幅変動A(z)は、投射ユニット11により生じる空間光パターンのぼやけが存在しない状況で、撮像ユニット12により生じる空間光パターンのぼやけのみを考慮に入れ得る。
【0040】
深さ依存振幅変動A(z)は、以下の通り得られ得る。距離zcfに焦点を合わせる撮像ユニット12の点広がり関数は、psf(x,y、z)として示され得、これは直径Dz/(zcf+z)を有する円形領域内の値(2(zcf+z)/Dz)/pi(pi=3.14…)を想定し、この円形領域外側のゼロを想定する。次に、深さzに位置する空間光パターンは、撮像ユニット12により取り込まれた画内に、p(x,y)=p(x,y)*psf(x,y,z)として出現し得る。ここでp(x,y)は位置zcfにおける空間光パターンであり、記号「*」は畳み込み演算を表す。p(x,y)の、xおよびyに対する直交変換(例えば、フーリエ変換またはアダマール変換等)は、P(u,v)=P(u,v)PSF(u,v,z)として表され得る。ここでP(u,v)およびPSF(u,v,z)は、それぞれp(x,y)およびpsf(x,y,z)の直交変換である。次に、深さ依存振幅変動A(z)はP(u,v)に等しくなり得る。ここで(u,v)は空間光パターンが周期的である空間周波数である。処理はブロックS32からブロックS33まで続き得る。
【0041】
ブロックS33で、LUT作成ユニット83が、Fx,y(u,v)とA(z)およびB(z)に基づく深さzとの関係を示すルックアップテーブルBc(z)を作成し得る。ここでB(z)は、投射ユニット11により生じる空間光パターンのぼやけを表す。B(z)は、以下のようにして事前に得られ得る。初めに、投射ユニット11は、図1に関連して説明したように、深さzpfに焦点を合わせながら深さzに位置する空白の平面(例えば、白い平面)に、空間光パターン(例えば、格子状パターン)を投射することができる。次に、深さzに位置する面上のこの空間光パターンの画像は、深さzに位置する面に焦点を合わせる撮像ユニット12により取り込まれ得る。取り込まれた画像内の空間光パターンp(x,y,z)には、投射ユニット11により生じるぼやけが含まれ得るが、撮像ユニット12により生じるぼやけは含まれ得ない。p(x,y,z)のxおよびyに対する直交変換がP(u,v,z)として示されるとき、B(z)はP(u,v,z)として表され得る。このようにして事前に得られたB(z)は、メモリ内のルックアップテーブルB(z)として記憶され得る。投射ユニット11により生じるぼやけと撮像ユニット12により生じるぼやけの両方を考慮に入れる深さ依存振幅変動は、A(z)B(z)として表され得る。すなわち、A(z)B(z)は、ルックアップテーブルBc(z)として記憶され得る。あるいは、B(z)は、格子状パターン等の空間光パターンではなく、単一の光点を投射することにより点広がり関数の深さ依存特性として得られ得る点に注目することができる。さらに、あるいは、B(z)は、投射ユニット11の点広がり関数を近似する数式としても得られ得る点に注目することができる。点広がり関数は、前述したpsf(x,y,z)と同様であるか、またはガウス関数により表され得る。B(z)が数式で表されるときには、Bc(z)もルックアップテーブルではなく数式として得られ得る。処理はブロックS33からブロックS34まで続き得る。
【0042】
ブロックS34では、深さ算出ユニット84が輝度率に対してFx,y(u,v)を標準化し得る。前述したように、反射率変動に対して反射率補正ユニット43によりに補正された周波数成分値は、Fx,y(u,v)DC/DCxyとなり得る。x−y面において撮像ユニット12が物体面に焦点を合わせる点である焦点位置(xcf,ycf)は、図9のブロックS1において撮像ユニット12から得られ得る。この焦点位置(xcf、ycf)でのFx,y(u,v)DC/DCxyの値はRxyとして示され得る。次に、深さ算出ユニット84は、この値にBc(zcf)/Rxyを掛けることにより、取り込まれた画像内の所与の空間座標(x,y)におけるFx,y(u,v)DC/DCxyの値を標準化し得る。この標準化プロセスにより、焦点深さzcfにおける焦点位置(xcf、ycf)での空間周波数(u,v)の振幅は、確実にBc(zcf)に等しくなり得る。処理はブロックS34からブロックS35まで続き得る。
【0043】
ブロックS35では、深さ算出ユニット84が、標準化されたFx,y(u,v)およびBc(z)に基づいて各画素位置での深さを判定し得る。すなわち、深さ算出ユニット84は、ルックアップテーブルBc(z)を参照して(Fx,y(u,v)DC/DCxy)×(Bc(zcf)/Rxy)に関連づけられた深さzを見つけることができる。ルックアップテーブルBc(z)で見つけられる深さzは、画素位置(x,y)に対応する物体面が、撮像ユニット12により取り込まれたシーン内に位置する深さであり得る。
【0044】
前述した方法で、投射ユニット11により生じる空間光パターンのぼやけと撮像ユニット12により生じる空間光パターンのぼやけとの両方を、深さマップ作成ユニット44により作成された深さマップ内で考慮に入れることができる。さらに、前述したように、撮像ユニット12の焦点合わせにもかかわらず、取り込まれた画像内の空間光パターンのぼやけが深さ方向zに単調に増加または減少するようにすることは容易であり得る。このような単調な特性が提供され得るのは、投射ユニット11によってぼやけが深さ方向に単調に増加(または減少)することが、撮像ユニット12によってぼやけを深さ方向に変更することよりも確実に重要であることによる。
【0045】
図10は、本明細書に記載された少なくともいくつかの実施形態により配置された、ぼやけの深さ方向への単調な増加の一例を示す図である。横軸は深さzを表し、縦軸は空間周波数(u,v)の振幅を表し得る。特性曲線91はA(z)に対応し、A(z)は撮像ユニット12により生じる空間光パターンのぼやけを表し得る。撮像ユニット12は、対象の物体に焦点位置を有して、特性曲線91が深さ方向zのこの焦点位置で最大ピークを有し得るようになっている。特性曲線92はB(z)に対応し、B(z)は投射ユニット11により生じる空間光パターンのぼやけを表し得る。投射ユニット11は、深さ方向zにおいて最も近い点に焦点位置を有して、深さzの増加とともに特性曲線92が単調に下降するようになっている。すなわち、特性曲線92により表されるぼやけは、深さzの増加とともに単調に増加し得る。
【0046】
図10に示すように、投射ユニット11によってぼやけが深さ方向に単調に増加することが、撮像ユニット12によってぼやけが深さ方向に変更することよりも重要であるようにすることができる。したがって、Bc(z)=A(z)B(z)に対応する特性曲線93は、深さzの増加とともに単調に下降し得る。すなわち、投射ユニット11により生じるぼやけと撮像ユニット12により生じるぼやけとを組み合わせることによって得られるぼやけは、深さzの増加とともに単調に増加し得る。このようなぼやけ特性により、深さデータは空間周波数(u,v)の所与の振幅から一意的に求められ得る。
【0047】
本開示における、「応答して」または「応じて」という用語は、特定の特徴および/または構造のみに対する応答に限定されるものではない。1つの特徴は別の特徴および/または構造にも応答し、その特徴および/または構造内にも見つけることができる。さらに、「結合された」、「応答する」、「応じて」または「連通して」等の用語または句を、本明細書または下記の特許請求の範囲で使用する場合、これらの用語を広く解釈すべきである。例えば、「結合された」という句は、その句が使用されている文脈に合わせて、通信可能、電気的、および/または動作可能に結合されていることを示すことができる。
【0048】
前述した詳細な説明の一部は、コンピュータメモリ等の演算システムメモリ内に記憶されたデータビットまたは2値デジタル信号上の動作をアルゴリズムまたは記号による表現として表されている。このようなアルゴリズムによる説明または表現は、データ処理技術における当業者が、作業の内容を他の当業者に伝えるために使用する技術の例である。アルゴリズムは、ここでは、また一般に、動作の自己無撞着シーケンス、または所望の結果につながる同様の処理であると考えられる。この文脈では、動作または処理が、物理量の物理的操作をともなう。必要ではないが通常、このような量は、記憶、転送、結合、比較、または別の方法での操作が可能な電気または磁気信号の形をとり得る。主に一般的な使用のために、ビット、データ、値、要素、記号、文字、用語、数、数字等の信号に言及することは、時には便利であることがわかっている。しかし、これらのすべて、および同様の用語は適切な物理量と関連づけられるものであり、便利な標示に過ぎないことを理解すべきである。特に別の記述のない限り、以下の説明から明らかなように、本明細書の記載全体を通して「処理」「演算」「算出」「判定」等の用語を使用することにより、演算装置の作用またはプロセスに言及していることを理解されたい。この演算装置は、演算装置のメモリ、レジスタ、その他の情報記憶装置、送信装置、または表示装置内の物理的な電子量または磁気量として表されるデータを操作または転送する。
【0049】
前述の詳細な説明では、ブロック図、フローチャートおよび/または例の使用により、デバイスおよび/またはプロセスの様々な実施形態について述べた。このようなブロック図、フローチャートおよび/または例が、1つまたは複数の機能および/または動作を含む限り、このようなブロック図、フローチャートまたは例のうちの各機能および/または動作は、広範囲なハードウェア、ソフトウェア、ファームウェアまたは実質的にそれらの任意の組み合わせによって、個別にかつ/または集合的に実施できることを、当業者は理解するであろう。一実施形態において、本明細書で述べた主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)または他の統合フォーマットを介して実施してもよい。しかし、当業者は、本明細書に開示された実施形態のいくつかの態様は、全体的にまたは部分的に、1つまたは複数のコンピュータ上を走る1つもしくは複数のコンピュータプログラムとして(例えば、1つもしくは複数のコンピュータシステム上を走る1つもしくは複数のプログラムとして)、1つもしくは複数のプロセッサ上を走る1つもしくは複数のプログラムとして(例えば、1つもしくは複数のマイクロプロセッサ上を走る1つもしくは複数のプログラムとして)、ファームウェアとして、または実質的にこれらの任意の組み合わせとして、集積回路上で同等に実行できること、および回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェア用のコードの書き込みが、本開示に照らして、当該技術分野の技術における一技術内に十分に入ることを理解するであろう。さらに、当業者は、本明細書で説明した主題の機構は、様々な形態のプログラム製品として分配できること、および本明細書で説明した主題の例示的な実施形態が、実際に分配を実行するために使用される特定のタイプの信号担持媒体に関係なく適用されることを理解するであろう。信号担持媒体の例には、限定されないが、以下ものが含まれる。すなわち、フロッピー(登録商標)ディスク、ハードディスクドライブ(HDD)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、コンピュータメモリなどの記録可能なタイプの媒体、ならびにデジタルおよび/またはアナログ通信媒体(例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンク等)などの送信タイプの媒体が含まれる。
【0050】
本明細書に記載の方法でデバイスおよび/またはプロセスを説明し、その後、このような説明したデバイスおよび/またはプロセスをデータ処理システムに統合するためにエンジニアリングの手法を用いることが、当該技術分野において普通であることを、当業者は理解するであろう。すなわち、本明細書で説明するデバイスおよび/またはプロセスの少なくともいくつかは、十分な実験を介して、データ処理システムに統合することができる。当業者は、典型的なデータ処理システムは、一般に、1つまたは複数のシステムユニットハウジングと、ビデオ表示装置と、揮発性および不揮発性メモリなどのメモリと、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサと、オペレーティングシステムなどの計算エンティティと、ドライバと、グラフィカルユーザインタフェースおよびアプリケーションプログラムと、タッチパッドまたはスクリーン等の1つまたは複数の対話装置と、フィードバックループおよび制御モータ(例えば、位置および/または速度を感知するためのフィードバック、ならびにコンポーネントおよび/または量を移動しかつ/または調整するための制御モータ)を含む制御システムと、を備え得ることを理解するであろう。典型的なデータ処理システムは、データ計算/通信および/またはネットワークコンピューティング/通信システムにおいて典型的に見出されるコンポーネントなど、任意の適切な市販のコンポーネントを用いて実現してもよい。
【0051】
本明細書で説明した主題は、時には、他の異なるコンポーネント内に含まれるかまたはそれらに接続された異なるコンポーネントを示す。このように表現されたアーキテクチャが、単に例示的であること、および実際には、同じ機能を実現する他の多くのアーキテクチャを実施できることを理解されたい。概念的な意味で、同じ機能を実現するコンポーネントの任意の配置が、所望の機能を実現するように効果的に「関連づけられる」。したがって、特定の機能を実現するために本明細書において結合された任意の2つのコンポーネントは、アーキテクチャまたは中間コンポーネントに関係なく、所望の機能を実現するように互いに「関連づけられる」と見なすことができる。同様に、そのように関連づけられた任意の2つのコンポーネントはまた、所望の機能を実現するために、互いに「動作可能に接続される」または「動作可能に結合される」と見なすことができ、このように関連づけることができる任意の2つのコンポーネントはまた、所望の機能を実現するために、互いに「動作可能に結合可能である」と見なすことができる。動作可能に結合可能な特定の例には、限定されないが、物理的に結合可能なおよび/または物理的に対話するコンポーネント、ならびに/または無線で対話可能なおよび/または無線で対話するコンポーネント、ならびに/または論理的に対話するおよび/または論理的に対話可能なコンポーネントが含まれる。
【0052】
本明細書において、実質的に任意の複数形および/または単数形の用語の使用に関連して、当業者は、文脈および/または適用例に適切であるように、複数形から単数形へ、および/または単数形から複数形へ翻訳することができる。様々な単数形/複数形の変更は、明瞭にするために本明細書においてはっきりと説明してもよい。
【0053】
一般に、本明細書および特に添付の特許請求の範囲(例えば、添付された特許請求の範囲の本文)で用いられる用語は、一般に、「開放」用語(例えば、用語「含んでいる」は、「含んでいるが、それに限定されるわけではない」と解釈すべきであり、用語「有する」は、「少なくとも有する」と解釈すべきであり、用語「含む」は、「含むが、それに限定されるわけではない」と解釈すべきである等)として意図されていることを、当業者は理解するであろう。さらに当業者は、特定数の導入されたクレーム記載が意図的である場合には、このような意図が、そのクレームにおいて明示的に挙げられ、このような記載がなければ、このような意図が存在しないことを理解されよう。例えば、理解の助けとして、以下の添付された特許請求の範囲には、クレーム記載を導入するために、導入句「少なくとも1つの」および「1つまたは複数の」の使用を含んでもよい。しかし、このような句の使用は、次のことを意味すると解釈すべきでない。すなわち、不定冠詞「a」または「an」によるクレーム記載の導入は、このような導入されたクレーム記載を含む任意の特定のクレームを、ただ1つのこのような記載を含む実施に限定することを意味すると解釈すべきでない。たとえ同じクレームが、導入句「1つまたは複数の」または「少なくとも1つの」、ならびに不定冠詞「a」または「an」(例えば、「a」および/または「an」は、典型的には、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈すべきである)を含む場合であっても同様である。同じことが、クレーム記載を導入するために用いられる定冠詞の使用にも当てはまる。さらに、たとえ導入されたクレーム記載の特定の数が、明示的に挙げられている場合であっても、当業者は、このような記載が、典型的には、少なくとも挙げられた数を意味するように解釈されるべきであると理解するであろう(例えば、他の修飾語がない「2つの記載」の素の記載は、通常、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびCの少なくとも1つ、等」に類似した慣用語が用いられる例において、一般に、このような構成は、当業者がこのような慣用語を理解するであろう意味に意図されている(例えば、「A、BおよびCの少なくとも1つを有するシステム」は、限定されないが、Aだけ、Bだけ、Cだけ、AおよびBを一緒に、AおよびCを一緒に、BおよびCを一緒に、ならびに/またはA、BおよびCを一緒に有するシステムを含む、等)。「A、BおよびCの少なくとも1つ、等」に類似した慣用語が用いられる例において、一般に、このような構成は、当業者がこのような慣用語を理解するであろう意味に意図されている(例えば、「A、BおよびCの少なくとも1つを有するシステム」は、限定されないが、Aだけ、Bだけ、Cだけ、AおよびBを一緒に、AおよびCを一緒に、BおよびCを一緒に、ならびに/またはA、BおよびCを一緒に有するシステムを含む、等)。さらに、2つ以上の代替用語を表す実質的に任意の離接語および/または句は、説明、特許請求の範囲または図面にあっても、用語の1つ、用語のどちらか、または両方の用語を含む可能性を企図するように理解すべきである。例えば句「AまたはB」は、「A」もしくは「B」、または「AおよびB」の可能性を含むように理解されよう。
【0054】
さらに、「最適化」という用語は、「最大化」および/または「最小化」を含み得るものと理解すべきである。本明細書で使用される「最小化」等の用語は、広域最小値、局所最小値、近似広域最小値、および/または近似局所最小値を含み得る。同様に、本明細書で使用される「最大化」等の用語は、広域最大値、局所最大値、近似広域最大値、および/または近似局所最大値を含み得ることも理解すべきである。
【0055】
明細書における「ある実施」「一つの実施」「いくつかの実施」または「他の実施」についての言及は、1つまたは複数の実施に関連して記載された特定の特徴、構造または特性が、少なくともいくつかの実施に含まれ得るが、必ずしもすべての実施に含まれるわけではないことを意味し得る。前述の説明では「ある実施」「一つの実施」または「いくつかの実施」が様々に現れるが、これらは、必ずしもすべてが同じ実施に言及しているわけではない。
【0056】
ある例の技術について、様々な方法およびシステムを使用して本明細書で説明し図示したが、特許請求の範囲に記載された主題を逸脱しなければ、様々な他の変更を行うことができ、等価物で置き換えることができる点を当業者は理解すべきである。さらに、本明細書に記載された中心となる概念を逸脱しなければ、多くの変更を行って特定の状況を特許請求の範囲に記載された主題の教示に適合させることができる。したがって、特許請求の範囲に記載された主題は、開示された特定の例に限定されるものではなく、このような特許請求の範囲に記載された主題は、添付の特許請求の範囲に含まれるすべての実施および等価物を含むことができる。

【特許請求の範囲】
【請求項1】
空間光パターンが投射される1つまたは複数の物体の画像を取得することであって、画像内の前記空間光パターンのぼやけが深さ方向に単調に増加または減少する、取得することと、
対象画素周りの局所画像領域にある画像の空間周波数成分値を算出することと、
深さと前記空間周波数成分値との事前に設定した関係を用いて、前記算出した空間周波数成分値に対応する深さデータを求めることとを含む、深さデータを生成する方法。
【請求項2】
画像の空間周波数スペクトルが閾値周波数よりも高い周波数範囲に最大値を有する空間周波数を検出することをさらに含み、前記算出した空間周波数成分値が、前記検出された空間周波数における空間周波数成分値であり、画像内の前記空間光パターンが、前記閾値周波数よりも高い空間周波数で少なくとも周期的である、請求項1に記載の方法。
【請求項3】
画像内の前記空間光パターンが周期的である空間周波数が、画像を見るときの人の視覚で認識可能な空間周波数よりも高い、請求項1に記載の方法。
【請求項4】
前記局所画像領域が矩形領域であり、前記空間周波数値を算出することが、前記矩形領域に直交変換を適用することにより空間周波数成分を算出することを含む、請求項1に記載の方法。
【請求項5】
画像の前記局所画像領域に出現する物体の反射率に対して前記算出した空間周波数成分値を補正することをさらに含む、請求項1に記載の方法。
【請求項6】
前記算出値を補正することが、算出値を前記局所画像領域内の画像の平均輝度で割ることにより行われる、請求項5に記載の方法。
【請求項7】
前記深さ方向の位置と、前記空間光パターンを投射するための投射システムにより生じる前記空間光パターンのぼやけとの第1の関係を示す第1のデータを取得することと、
前記深さ方向の位置と、画像を取り込むための撮像システムにより生じる前記空間光パターンのぼやけとの第2の関係を示す第2のデータを取得することと、
前記第1のデータおよび前記第2のデータに基づいて、深さと前記空間周波数成分値との事前に設定した関係を算出することとを含む、請求項1に記載の方法。
【請求項8】
前記第2のデータを取得することが、
前記深さ方向における前記撮像システムの焦点位置と、前記撮像システムのレンズ開口サイズとを示すデータを取得することと、
受信したデータに基づいて、前記撮像システムにより生じる前記空間光パターンのぼやけを前記深さ方向の様々な位置に対して算出することとを含む、請求項7に記載の方法。
【請求項9】
前記第1のデータを取得することが、
前記投射システムから単調な平面に前記空間光パターンを投射することと、
前記面に焦点を合わせる前記撮像システムを使用することにより、前記面に投射される前記空間光パターンの画像を取り込むことと、
前記空間光パターンを投射して、前記空間光パターンの画像を前記深さ方向における様々な位置にある単調な平面に対して取り込むこととを含む、請求項7に記載の方法。
【請求項10】
空間光パターンが投射される1つまたは複数の物体の画像を受信するように構成された画像受信ユニットであって、画像内の前記空間光パターンのぼやけが深さ方向に単調に増加または減少する画像受信ユニットと、
対象画素周りの局所画像領域にある画像の空間周波数成分値を算出するように構成された周波数成分算出ユニットと、
深さと空間周波数成分値との事前に設定した関係を用いて、前記算出した空間周波数成分値に対応する深さデータを求めるように構成された深さマップ作成ユニットとを備える、深さデータを生成するための装置。
【請求項11】
画像の空間周波数スペクトルが閾値周波数よりも高い周波数範囲に最大値を有する空間周波数を検出するように構成された周波数検出ユニットをさらに含み、前記算出した空間周波数成分値が、検出された空間周波数における空間周波数成分値であり、画像内の前記空間光パターンが、前記閾値周波数よりも高い空間周波数で少なくとも周期的である、請求項10に記載の装置。
【請求項12】
画像内の前記空間光パターンが周期的である空間周波数が、画像を見るときの人の視覚で認識可能な空間周波数よりも高い、請求項10に記載の装置。
【請求項13】
前記周波数成分算出ユニットが、局所画像領域である矩形領域に直交変換を適用することにより空間周波数成分を算出するように構成される、請求項10に記載の装置。
【請求項14】
画像の前記局所画像領域に出現する物体の反射率に対して前記算出した空間周波数成分値を補正するように構成された反射率補正ユニットをさらに備える、請求項10に記載の装置。
【請求項15】
前記反射率補正ユニットが、前記算出値を前記局所画像領域内の画像の平均輝度で割るように構成される、請求項14に記載の装置。
【請求項16】
前記深さマップ生成ユニットが、
前記深さ方向の位置と、前記空間光パターンを投射するための投射システムにより生じる前記空間光パターンのぼやけとの第1の関係を示す第1のデータを記憶するように構成されたデータ記憶ユニットと、
前記深さ方向の位置と、画像を取り込むための撮像システムにより生じる前記空間光パターンのぼやけとの第2の関係を示す第2のデータを取得するように構成されたぼやけデータ取得ユニットと、
前記第1のデータおよび前記第2のデータに基づいて、深さと前記空間周波数成分値との事前に設定した関係を算出するように構成された関係算出ユニットとを備える、請求項10に記載の装置。
【請求項17】
前記深さ方向における前記撮像システムの焦点位置と、前記撮像システムのレンズ開口サイズとを示すデータを取得するように構成されたパラメータ取得ユニットをさらに備え、
前記ぼやけデータ取得ユニットが、前記焦点位置および前記レンズ開口サイズに基づいて、前記撮像システムにより生じる前記空間光パターンのぼやけを前記深さ方向の様々な位置に対して算出するように構成される、請求項16に記載の装置。
【請求項18】
空間光パターンを投射するように構成された投射ユニットと、
前記空間光パターンが投射される1つまたは複数の物体の画像を取り込むように構成された撮像ユニットであって、画像内の前記空間光パターンのぼやけが深さ方向に単調に増加または減少する撮像ユニットと、
対象画素周りの局所画像領域にある画像の空間周波数成分値を算出するように構成された周波数成分算出ユニットと、
深さと前記空間周波数成分値との事前に設定した関係を用いて、前記算出した空間周波数成分値に対応する深さデータを求めるように構成された深さマップ作成ユニットとを備える、深さデータを生成するためのシステム。
【請求項19】
前記算出値を前記局所画像領域内の画像の平均輝度で割ることにより、画像の前記局所画像領域に出現する物体の反射率に対して前記算出した空間周波数成分値を補正するように構成された反射率補正ユニットをさらに備える、請求項18に記載のシステム。
【請求項20】
前記深さマップ生成ユニットが、
前記深さ方向の位置と、前記投射ユニットにより生じる前記空間光パターンのぼやけとの第1の関係を示す第1のデータを記憶するように構成されたデータ記憶ユニットと、
前記深さ方向の位置と、前記撮像ユニットにより生じる前記空間光パターンのぼやけとの第2の関係を示す第2のデータを取得するように構成されたぼやけデータ取得ユニットと、
前記第1のデータおよび前記第2のデータに基づいて、深さと前記空間周波数成分値との事前に設定した関係を算出するように構成された関係算出ユニットとを備える、請求項18に記載のシステム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公表番号】特表2013−502558(P2013−502558A)
【公表日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2011−527918(P2011−527918)
【出願日】平成22年10月5日(2010.10.5)
【国際出願番号】PCT/JP2010/005965
【国際公開番号】WO2012/046270
【国際公開日】平成24年4月12日(2012.4.12)
【出願人】(509348786)エンパイア テクノロジー ディベロップメント エルエルシー (117)
【Fターム(参考)】