飛行時間撮像装置
【課題】飛行時間測定を使用した深度図を生成するための改良された解法に関し、特に飛行時間撮像装置およびより精度良い飛行時間撮像方法を提供する。
【解決手段】飛行時間撮像装置6のセンサ5の画素アレイ内の伝播遅延を考慮した、深度修正プロファイルは測定された深度図に応用される。前記深度修正プロファイルは、2つのn次元多項式の重ね合わせである。
【解決手段】飛行時間撮像装置6のセンサ5の画素アレイ内の伝播遅延を考慮した、深度修正プロファイルは測定された深度図に応用される。前記深度修正プロファイルは、2つのn次元多項式の重ね合わせである。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行時間測定を使用した深度図を生成するための改良された解法に関し、特に飛行時間撮像装置およびより精度良い飛行時間撮像方法に関する。
【背景技術】
【0002】
3Dビデオコンテンツを生成するために、通常のビデオデータに加えて、撮られる領域内に位置する物体の距離を測定することは重要である。この目的のために、典型的に飛行時間撮像装置(time−of−flight imager)、すなわち飛行時間の法則を利用して距離データを生成する測定システムが使用される。飛行時間撮像装置は光源と光センサを含み、これらは画素配列をなす。深度図を測定するために、光源はパルスによって始動し、光センサのすべての画素は、トランスファーゲート(Transfer Gate、TG)パルスおよびグローバルシャッターゲート(Global Shutter Gate、GSG)パルスによって同時に始動する。詳細は非特許文献1を参照されたい。
【0003】
また、特許文献1には飛行時間測定の方法とセンサが開示されている。センサは、可変バックグラウンド放射の状態のもと、バックグラウンド放射の十分な抑制が達成されるように設計されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】世界公開第2009/135952パンフレット
【非特許文献】
【0005】
【非特許文献1】”A 0.5μm pixel frame−transfer CCD image sensor in 110 nm CMOS”,2007 IEEE International Electron Devices Meeting,Vol.35(2007)pp.1003−1006
【発明の概要】
【0006】
深度図測定の精度を下げるのはバックグラウンド放射だけではない。正確な深度図を得るためには、光源と、トランスファーゲートパルスと、グローバルシャッターゲートパルスとの間の時間的な関係が一定であることが同様に重要である。
【0007】
したがって、本発明の目的は、改良された精度に達した深度図を生成するための飛行時間の解法を提供することである。
【0008】
本発明によると、この目的は、測定された深度図を得るための、物体を照らすための光源と、物体によって反射した光を検出する画素配列をなすセンサとを有する、物体の深度図を測定するための飛行時間撮像装置によって達せられ、飛行時間撮像装置は測定された深度図に深さを修正する形状を提供するように設計されている。
【0009】
同様に、飛行時間撮像装置を用いた物体の深度図の測定の方法は、
−光源によって放射された光によって物体を照らすステップと、
−測定された深度図を得るために、画素配列をなすセンサによって、物体によって反射された光を検出するステップと、
−測定された深度図に深さを修正する形状を提供するステップと
を備える。
【0010】
光源と、トランスファーゲートパルスと、グローバルシャッターゲートパルスとの間の時間的な関係を正確に制御したとしても、特に多くの画素数を有するセンサに対して、深度図は十分ではない。これは、飛行時間撮像装置のセンサ、すなわちセンサの異なる画素の電気的な経路長の差異によって生じているということがわかっている。トランスファーゲートパルスとグローバルシャッターゲートパルスは同じ経路を通過する。よってこれらのパルスの間に明らかなシフトはない。しかしこれらのパルスの時間的な関係は光源トリガーパルスに関して、センサの画素の配列にわたって変化している。すなわち、パルスは画素の配列にわたる伝搬の遅延に依存している。伝搬の遅延へのさらなる寄与は、センサの水平方向および鉛直方向のドライバに起因する。正確な伝搬の遅延は画素の配列のがその位置に依存するが、容易に10から20nsの範囲をとりうる。以下ではこの効果を「シェーディング(shading)」と呼ぶ。
【0011】
光は3×109m/sの速さで移動するので、1mの距離では光は3.3ns遅延する。この距離を飛行時間撮像装置を使用して測定するためには、光は飛行時間撮像装置に戻る必要があり、したがって1mの距離は光を6.6ns遅延させる。その結果、伝搬遅延の飛行時間撮像装置での20nsの差は3mの誤差を生じさせる。明らかに撮像装置にわたるパルスの伝搬遅延は測定の精度に大きな影響を与える。撮像装置のサイズが大きくなると、伝播遅延の問題は増大する。この問題に対処する簡単なオプションは、センサの水平および垂直のドライバを高い速度にし、伝播遅延を小さくするように最適化することである。しかしこれはセンサ、したがって飛行時間撮像装置のコストを増大させる。加えて、ドライバを最適化したにもかかわらず、余剰の遅延が残る。
【0012】
本発明による解法は、深度修正プロファイルを用いて、伝播遅延の結果である、深度図内の誤差を修正することによって伝播遅延の問題を解決する。この解法は、低コストで実施でき、精度の向上した深度図を生成することを確実にすることが優位な点である。加えて、深度修正プロファイルを調整できるようにすることで、センサの劣化、または環境の変化によって生じる効果に対応することができる。
【0013】
深度修正プロファイルは2つのn次元多項式の重ねあわせであることが優位な点である。2つの多項式のうちの1つ目は入力値として、センサの行番号を有し、2つの多項式のうちの2つ目は入力値として、センサの行の画素番号を有する。概してセンサの行方向と列方向では十分であるので、2つの2次元多項式が用いられることが望ましい。2つの多項式の重ね合わせは3次元修正プロファイルを結果として生成し、測定した深度図からこれを引くと修正された深度図が得られる。当然、2つの多項式のとしてほかの次元を用いることができる。
【0014】
深度修正プロファイルは、メモリ、すなわちルックアップテーブルから、読み出されることが望ましい。これは、限定された量の処理力のみ必要とするという優位さを有する。かわりに、深度修正プロファイルは、多項式をもとにオンザフライ(on the fly)で計算される。この場合多項式の係数は好都合にメモリから読み出される。後者の解法はより処理力を要求するが、メモリの必要な量は減少する。環境の変化、すなわち温度や湿度の変化に対応するために、異なる環境条件での深度修正プロファイルがメモリ内で利用可能である。この場合、飛行時間撮像装置は、適切な深度修正プロファイルを選択するために、対応するセンサ、すなわち温度センサおよび湿度センサを含む。
【0015】
深度修正プロファイルは、既知の物体の深度図を測定し、測定された深度図を予想される深度図と比較することで算出することが望ましい。より具体的には、深度修正プロファイルを算出するには、次のステップが実行される:
−平らな表面を、光源によって放射される光を用いて照らすステップであって、平らな表面は飛行時間撮像装置のセンサと平行であって飛行時間撮像装置から既知の距離離れている、ステップと、
−測定した深度図を得るために、平らな表面によって反射された光をセンサによって検出するステップと、
−測定した深度図から深度修正プロファイルを算出するステップ。
深度修正プロファイルは以下のステップによって、測定された深度図から算出されることが望ましい:
−センサの行上の行アベレージング(line averaging)を実行するステップと、
−2つの多項式のうちの一つ目を算出するために、n次元の多項式をアベレージングされた行の値にフィッティングするステップと、
−測定された深度図からアベレージングされた行の値を引くステップと、
−センサの列上の列アベレージング(column averaging)を実行するステップと、
−2つの多項式のうちの二つ目を算出するために、n次元の多項式をアベレージングされた列の値にフィッティングするステップと、
−測定された深度図からアベレージングされた列の値を引くステップ。
このようにして深度修正プロファイルは簡単に算出される。
【0016】
かわりに、深度修正プロファイルは既知の物体の予測される深度図を測定された深度図から引くことによって得られる。この目的のために、優位に、複数の測定の平均が算出される。この場合いかなる関数も深度修正プロファイルにフィットさせる必要がない。しかし、深度修正プロファイルはより滑らかでなく、この場合、測定の許容誤差により生じるノイズが最終的な深度修正プロファイルにより大きな影響を与える。
【0017】
加えて、たとえば平らな表面といったよく定義された物体に対する測定された深度図から深度修正プロファイルを算出するかわりに、センサの画素アレイの中のトランスファーゲートパルスおよびグローバルシャッターゲートパルスの伝播遅延を直接測定するか、少なくとも近似的に計算することが可能である。算出された遅延は、深度値に変換される。
【0018】
よりよい理解のために、本発明は、添付の図を参照しながら、以下の記述でより詳細な説明を行う。本発明は、この例示の実施形態に限定されず、添付の特許請求の範囲で定義された本発明の範囲から逸脱することなく、特定の特徴は都合よく組み合わされ、および/または変更される。
【図面の簡単な説明】
【0019】
【図1】本発明にかかる飛行時間撮像装置の原理を示す図である。
【図2】従来の飛行時間撮像装置を用いて得られた、平らな表面の深度図である。
【図3】飛行時間撮像装置のセンサ内の伝播遅延の原因を説明する図である。
【図4】垂直方向の変化の2次元の多項式を用いたフィットを示す図である。
【図5】水平方向の変化の2次元の多項式を用いたフィットを示す図である。
【図6】図4と5の2次元多項式を組み合わせて得られた深度補正図である。
【図7】図6の深度補正図を用いて補正した後の図3の深度図である。
【図8】異なる深さに配置された4つの物体の例の領域を示す図である。
【図9】従来の飛行時間撮像装置を用いて得られた図8の領域の深度図である。
【図10】図6の深度補正図を用いて補正した後の図9の深度図である。
【図11】図10の修正された深度図の深度を拡大した図である。
【発明を実施するための形態】
【0020】
図1は本発明にかかる飛行時間撮像装置6の原理を説明する図である。飛行時間撮像装置6は光源2、レンズ4、検出器5、および処理回路7を含む。飛行時間撮像装置6から75cmの距離dに位置する物体1は光源2、すなわち赤外線LEDの4×4アレイによって照らされる。物体1は、センサ5の画素アレイに面する平らな表面を有している。この平らな表面によって反射された光3は、レンズ4によって集光され、センサ5の画素アレイ上に撮像される。これにより物体1の深度図が測定可能になる。処理回路7は測定された深度図の処理を行うことができる。
【0021】
飛行時間撮像装置6によって測定された物体1の深度図を図2に示す。灰色の値はcmの単位の測定した深さを示す。これらはxおよびy方向にセンサ5の画素に対してプロットされている。物体1の平らな表面は75cmの固定された距離dを有しているにもかかわらず、結果の深度図は明らかに平らではない。代わりに、距離は、減少したyピクセルおよび減少したxピクセルに対して右下端で予想した値から増加している。
【0022】
図2の平らでない深度図の解釈は、図3を参照しながら以下に説明するように、センサ5の画素アレイの内部の伝播遅延である。センサ5は複数の画素51を含み、これらは行と列に配列されている。トランスファーゲートパルスTGおよびグローバルシャッターゲートパルスGSGは入力部からそれぞれの画素51へ移動する必要がある。パルスがカバーしなければならない距離は異なる画素51に対して変わる。これは、すでに濃淡で示されているように、水平方向には伝播遅延の増加Δthを、同様に垂直方向には伝播遅延の増加Δtvを引き起こす。
【0023】
2次元多項式によって濃淡の効果(shading effect)を近似することができることが知られている。図4は垂直方向の濃淡の量の測定値をcmの単位で行番号に対して示しており、同様に測定値に対する2次元多項式フィットも示している。垂直方向の濃淡の量は行の平均となっている。
【0024】
同様に、図5で見られるように、水平方向の濃淡の効果は2次元多項式によって近似されることができる。水平方向の濃淡の量は、オリジナルのイメージから行平均イメージを引いて、列の平均化を実行することによって見出される。
【0025】
水平方向の濃淡と垂直方向の濃淡それぞれに対して得られる2つの2次元多項式の組み合わせは、図6に示すように3次元多項式修正イメージを結果としてもたらす。この修正イメージは、センサ5によって得られたいかなる深度図を修正するためにも、回路7によって実際に使用される。たとえば、図7は図6の深度補正図を用いて補正した後の図3の深度図を示す。修正は、飛行時間撮像装置6によって測定された深度図から修正イメージを引くことによって実行される。修正された深度図はすべてのセンサの領域にわたって、予想された距離を示している。
【0026】
以下に、修正イメージが、例の領域に対して飛行時間撮像装置6によって測定された深度図に応用する。領域は図8に示されている。4つの物体11、12、13、14は、飛行時間撮像装置6から異なる距離、すなわち45cm、75cm、105cmおよび135cm離れて配置されている。飛行時間撮像装置6によって得られたこの領域のオリジナルの深度図を図9に示す。濃淡の効果によって、異なる物体11、12、13、14の測定された距離は一定ではない。しかし、修正イメージを引いたあと、修正された深度図、図10が得られた。減少した深さの範囲が0cmから140cmを示す修正された深度図の拡大を図11に示す。異なる物体11、12、13、14の距離は本質的に一定で、予想した距離と一致する。
【技術分野】
【0001】
本発明は、飛行時間測定を使用した深度図を生成するための改良された解法に関し、特に飛行時間撮像装置およびより精度良い飛行時間撮像方法に関する。
【背景技術】
【0002】
3Dビデオコンテンツを生成するために、通常のビデオデータに加えて、撮られる領域内に位置する物体の距離を測定することは重要である。この目的のために、典型的に飛行時間撮像装置(time−of−flight imager)、すなわち飛行時間の法則を利用して距離データを生成する測定システムが使用される。飛行時間撮像装置は光源と光センサを含み、これらは画素配列をなす。深度図を測定するために、光源はパルスによって始動し、光センサのすべての画素は、トランスファーゲート(Transfer Gate、TG)パルスおよびグローバルシャッターゲート(Global Shutter Gate、GSG)パルスによって同時に始動する。詳細は非特許文献1を参照されたい。
【0003】
また、特許文献1には飛行時間測定の方法とセンサが開示されている。センサは、可変バックグラウンド放射の状態のもと、バックグラウンド放射の十分な抑制が達成されるように設計されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】世界公開第2009/135952パンフレット
【非特許文献】
【0005】
【非特許文献1】”A 0.5μm pixel frame−transfer CCD image sensor in 110 nm CMOS”,2007 IEEE International Electron Devices Meeting,Vol.35(2007)pp.1003−1006
【発明の概要】
【0006】
深度図測定の精度を下げるのはバックグラウンド放射だけではない。正確な深度図を得るためには、光源と、トランスファーゲートパルスと、グローバルシャッターゲートパルスとの間の時間的な関係が一定であることが同様に重要である。
【0007】
したがって、本発明の目的は、改良された精度に達した深度図を生成するための飛行時間の解法を提供することである。
【0008】
本発明によると、この目的は、測定された深度図を得るための、物体を照らすための光源と、物体によって反射した光を検出する画素配列をなすセンサとを有する、物体の深度図を測定するための飛行時間撮像装置によって達せられ、飛行時間撮像装置は測定された深度図に深さを修正する形状を提供するように設計されている。
【0009】
同様に、飛行時間撮像装置を用いた物体の深度図の測定の方法は、
−光源によって放射された光によって物体を照らすステップと、
−測定された深度図を得るために、画素配列をなすセンサによって、物体によって反射された光を検出するステップと、
−測定された深度図に深さを修正する形状を提供するステップと
を備える。
【0010】
光源と、トランスファーゲートパルスと、グローバルシャッターゲートパルスとの間の時間的な関係を正確に制御したとしても、特に多くの画素数を有するセンサに対して、深度図は十分ではない。これは、飛行時間撮像装置のセンサ、すなわちセンサの異なる画素の電気的な経路長の差異によって生じているということがわかっている。トランスファーゲートパルスとグローバルシャッターゲートパルスは同じ経路を通過する。よってこれらのパルスの間に明らかなシフトはない。しかしこれらのパルスの時間的な関係は光源トリガーパルスに関して、センサの画素の配列にわたって変化している。すなわち、パルスは画素の配列にわたる伝搬の遅延に依存している。伝搬の遅延へのさらなる寄与は、センサの水平方向および鉛直方向のドライバに起因する。正確な伝搬の遅延は画素の配列のがその位置に依存するが、容易に10から20nsの範囲をとりうる。以下ではこの効果を「シェーディング(shading)」と呼ぶ。
【0011】
光は3×109m/sの速さで移動するので、1mの距離では光は3.3ns遅延する。この距離を飛行時間撮像装置を使用して測定するためには、光は飛行時間撮像装置に戻る必要があり、したがって1mの距離は光を6.6ns遅延させる。その結果、伝搬遅延の飛行時間撮像装置での20nsの差は3mの誤差を生じさせる。明らかに撮像装置にわたるパルスの伝搬遅延は測定の精度に大きな影響を与える。撮像装置のサイズが大きくなると、伝播遅延の問題は増大する。この問題に対処する簡単なオプションは、センサの水平および垂直のドライバを高い速度にし、伝播遅延を小さくするように最適化することである。しかしこれはセンサ、したがって飛行時間撮像装置のコストを増大させる。加えて、ドライバを最適化したにもかかわらず、余剰の遅延が残る。
【0012】
本発明による解法は、深度修正プロファイルを用いて、伝播遅延の結果である、深度図内の誤差を修正することによって伝播遅延の問題を解決する。この解法は、低コストで実施でき、精度の向上した深度図を生成することを確実にすることが優位な点である。加えて、深度修正プロファイルを調整できるようにすることで、センサの劣化、または環境の変化によって生じる効果に対応することができる。
【0013】
深度修正プロファイルは2つのn次元多項式の重ねあわせであることが優位な点である。2つの多項式のうちの1つ目は入力値として、センサの行番号を有し、2つの多項式のうちの2つ目は入力値として、センサの行の画素番号を有する。概してセンサの行方向と列方向では十分であるので、2つの2次元多項式が用いられることが望ましい。2つの多項式の重ね合わせは3次元修正プロファイルを結果として生成し、測定した深度図からこれを引くと修正された深度図が得られる。当然、2つの多項式のとしてほかの次元を用いることができる。
【0014】
深度修正プロファイルは、メモリ、すなわちルックアップテーブルから、読み出されることが望ましい。これは、限定された量の処理力のみ必要とするという優位さを有する。かわりに、深度修正プロファイルは、多項式をもとにオンザフライ(on the fly)で計算される。この場合多項式の係数は好都合にメモリから読み出される。後者の解法はより処理力を要求するが、メモリの必要な量は減少する。環境の変化、すなわち温度や湿度の変化に対応するために、異なる環境条件での深度修正プロファイルがメモリ内で利用可能である。この場合、飛行時間撮像装置は、適切な深度修正プロファイルを選択するために、対応するセンサ、すなわち温度センサおよび湿度センサを含む。
【0015】
深度修正プロファイルは、既知の物体の深度図を測定し、測定された深度図を予想される深度図と比較することで算出することが望ましい。より具体的には、深度修正プロファイルを算出するには、次のステップが実行される:
−平らな表面を、光源によって放射される光を用いて照らすステップであって、平らな表面は飛行時間撮像装置のセンサと平行であって飛行時間撮像装置から既知の距離離れている、ステップと、
−測定した深度図を得るために、平らな表面によって反射された光をセンサによって検出するステップと、
−測定した深度図から深度修正プロファイルを算出するステップ。
深度修正プロファイルは以下のステップによって、測定された深度図から算出されることが望ましい:
−センサの行上の行アベレージング(line averaging)を実行するステップと、
−2つの多項式のうちの一つ目を算出するために、n次元の多項式をアベレージングされた行の値にフィッティングするステップと、
−測定された深度図からアベレージングされた行の値を引くステップと、
−センサの列上の列アベレージング(column averaging)を実行するステップと、
−2つの多項式のうちの二つ目を算出するために、n次元の多項式をアベレージングされた列の値にフィッティングするステップと、
−測定された深度図からアベレージングされた列の値を引くステップ。
このようにして深度修正プロファイルは簡単に算出される。
【0016】
かわりに、深度修正プロファイルは既知の物体の予測される深度図を測定された深度図から引くことによって得られる。この目的のために、優位に、複数の測定の平均が算出される。この場合いかなる関数も深度修正プロファイルにフィットさせる必要がない。しかし、深度修正プロファイルはより滑らかでなく、この場合、測定の許容誤差により生じるノイズが最終的な深度修正プロファイルにより大きな影響を与える。
【0017】
加えて、たとえば平らな表面といったよく定義された物体に対する測定された深度図から深度修正プロファイルを算出するかわりに、センサの画素アレイの中のトランスファーゲートパルスおよびグローバルシャッターゲートパルスの伝播遅延を直接測定するか、少なくとも近似的に計算することが可能である。算出された遅延は、深度値に変換される。
【0018】
よりよい理解のために、本発明は、添付の図を参照しながら、以下の記述でより詳細な説明を行う。本発明は、この例示の実施形態に限定されず、添付の特許請求の範囲で定義された本発明の範囲から逸脱することなく、特定の特徴は都合よく組み合わされ、および/または変更される。
【図面の簡単な説明】
【0019】
【図1】本発明にかかる飛行時間撮像装置の原理を示す図である。
【図2】従来の飛行時間撮像装置を用いて得られた、平らな表面の深度図である。
【図3】飛行時間撮像装置のセンサ内の伝播遅延の原因を説明する図である。
【図4】垂直方向の変化の2次元の多項式を用いたフィットを示す図である。
【図5】水平方向の変化の2次元の多項式を用いたフィットを示す図である。
【図6】図4と5の2次元多項式を組み合わせて得られた深度補正図である。
【図7】図6の深度補正図を用いて補正した後の図3の深度図である。
【図8】異なる深さに配置された4つの物体の例の領域を示す図である。
【図9】従来の飛行時間撮像装置を用いて得られた図8の領域の深度図である。
【図10】図6の深度補正図を用いて補正した後の図9の深度図である。
【図11】図10の修正された深度図の深度を拡大した図である。
【発明を実施するための形態】
【0020】
図1は本発明にかかる飛行時間撮像装置6の原理を説明する図である。飛行時間撮像装置6は光源2、レンズ4、検出器5、および処理回路7を含む。飛行時間撮像装置6から75cmの距離dに位置する物体1は光源2、すなわち赤外線LEDの4×4アレイによって照らされる。物体1は、センサ5の画素アレイに面する平らな表面を有している。この平らな表面によって反射された光3は、レンズ4によって集光され、センサ5の画素アレイ上に撮像される。これにより物体1の深度図が測定可能になる。処理回路7は測定された深度図の処理を行うことができる。
【0021】
飛行時間撮像装置6によって測定された物体1の深度図を図2に示す。灰色の値はcmの単位の測定した深さを示す。これらはxおよびy方向にセンサ5の画素に対してプロットされている。物体1の平らな表面は75cmの固定された距離dを有しているにもかかわらず、結果の深度図は明らかに平らではない。代わりに、距離は、減少したyピクセルおよび減少したxピクセルに対して右下端で予想した値から増加している。
【0022】
図2の平らでない深度図の解釈は、図3を参照しながら以下に説明するように、センサ5の画素アレイの内部の伝播遅延である。センサ5は複数の画素51を含み、これらは行と列に配列されている。トランスファーゲートパルスTGおよびグローバルシャッターゲートパルスGSGは入力部からそれぞれの画素51へ移動する必要がある。パルスがカバーしなければならない距離は異なる画素51に対して変わる。これは、すでに濃淡で示されているように、水平方向には伝播遅延の増加Δthを、同様に垂直方向には伝播遅延の増加Δtvを引き起こす。
【0023】
2次元多項式によって濃淡の効果(shading effect)を近似することができることが知られている。図4は垂直方向の濃淡の量の測定値をcmの単位で行番号に対して示しており、同様に測定値に対する2次元多項式フィットも示している。垂直方向の濃淡の量は行の平均となっている。
【0024】
同様に、図5で見られるように、水平方向の濃淡の効果は2次元多項式によって近似されることができる。水平方向の濃淡の量は、オリジナルのイメージから行平均イメージを引いて、列の平均化を実行することによって見出される。
【0025】
水平方向の濃淡と垂直方向の濃淡それぞれに対して得られる2つの2次元多項式の組み合わせは、図6に示すように3次元多項式修正イメージを結果としてもたらす。この修正イメージは、センサ5によって得られたいかなる深度図を修正するためにも、回路7によって実際に使用される。たとえば、図7は図6の深度補正図を用いて補正した後の図3の深度図を示す。修正は、飛行時間撮像装置6によって測定された深度図から修正イメージを引くことによって実行される。修正された深度図はすべてのセンサの領域にわたって、予想された距離を示している。
【0026】
以下に、修正イメージが、例の領域に対して飛行時間撮像装置6によって測定された深度図に応用する。領域は図8に示されている。4つの物体11、12、13、14は、飛行時間撮像装置6から異なる距離、すなわち45cm、75cm、105cmおよび135cm離れて配置されている。飛行時間撮像装置6によって得られたこの領域のオリジナルの深度図を図9に示す。濃淡の効果によって、異なる物体11、12、13、14の測定された距離は一定ではない。しかし、修正イメージを引いたあと、修正された深度図、図10が得られた。減少した深さの範囲が0cmから140cmを示す修正された深度図の拡大を図11に示す。異なる物体11、12、13、14の距離は本質的に一定で、予想した距離と一致する。
【特許請求の範囲】
【請求項1】
物体の深度図を測定するための飛行時間撮像装置であって、前記物体を照らすための光源と、測定された深度図を得るために前記物体によって反射された光を検出するための画素アレイのセンサとを含み、前記飛行時間撮像装置は前記測定された深度図に深度修正プロファイルを適用するように適合されたことを特徴とする飛行時間撮像装置。
【請求項2】
前記深度修正プロファイルは2つのn次元多項式の重ね合わせであることを特徴とする請求項1に記載の飛行時間撮像装置。
【請求項3】
前記2つのn次元多項式のうちの1番目は入力値として前記センサの行番号を有し、前記2つのn次元多項式のうちの2番目は入力値として前記センサの画素番号を有することを特徴とする請求項2に記載の飛行時間撮像装置。
【請求項4】
前記深度修正プロファイルはオンザフライで計算されるか、ルックアップテーブルから読み出されることを特徴とする請求項1乃至3のいずれか1項に記載の飛行時間撮像装置。
【請求項5】
飛行時間撮像装置を用いて物体の深度図を測定する方法であって、
光源によって放射される光で前記物体を照らすステップと、
測定された深度図を得るために画素アレイを有するセンサを用いて前記物体によって反射された光を検出するステップと
を備え、前記方法はさらに、
前記測定された深度図に深度修正プロファイルを適用するステップを有することを特徴とする方法。
【請求項6】
前記深度修正プロファイルは2つのn次元多項式の重ね合わせであることを特徴とする請求項5に記載の方法。
【請求項7】
前記2つのn次元多項式のうちの1番目は入力値として前記センサの行番号を有し、前記2つのn次元多項式のうちの2番目は入力値として前記センサの画素番号を有することを特徴とする請求項6に記載の方法。
【請求項8】
前記深度修正プロファイルはオンザフライで計算されるか、ルックアップテーブルから読み出されることを特徴とする請求項5乃至7のいずれか1項に記載の方法。
【請求項9】
飛行時間撮像装置のための深度修正プロファイルを算出する方法であって、
前記飛行時間撮像装置のセンサの画素アレイに平行で、前記飛行時間撮像装置から既知の距離離れて位置している、平らな表面を照らすステップと、
測定された深度図を得るために前記センサを使用して前記平らな表面によって反射された光を検出するステップと
を備え、前記方法はさらに、
前記測定された深度図から前記深度修正プロファイルを算出するステップをさらに備えたことを特徴とする方法。
【請求項10】
前記深度修正プロファイルは2つのn次元多項式の重ね合わせであることを特徴とする請求項9に記載の方法。
【請求項11】
前記センサの行上の行のアベレージングを実行するステップと、
2つの多項式のうちの一番目を算出するために、前記アベレージングされた行の値をn次元多項式にフィッティングするステップと、
前記測定された深度図から前記アベレージングされた行を引くステップと、
前記センサの列上の列のアベレージングを実行するステップと、
2つの多項式のうちの二番目を算出するために、前記アベレージングされた列の値をn次元多項式にフィッティングするステップと
をさらに備えたことを特徴とする請求項10に記載の方法。
【請求項12】
前記深度修正プロファイルをルックアップテーブルに保存するステップをさらに備えたことを特徴とする請求項9乃至11のいずれか1項に記載の方法。
【請求項1】
物体の深度図を測定するための飛行時間撮像装置であって、前記物体を照らすための光源と、測定された深度図を得るために前記物体によって反射された光を検出するための画素アレイのセンサとを含み、前記飛行時間撮像装置は前記測定された深度図に深度修正プロファイルを適用するように適合されたことを特徴とする飛行時間撮像装置。
【請求項2】
前記深度修正プロファイルは2つのn次元多項式の重ね合わせであることを特徴とする請求項1に記載の飛行時間撮像装置。
【請求項3】
前記2つのn次元多項式のうちの1番目は入力値として前記センサの行番号を有し、前記2つのn次元多項式のうちの2番目は入力値として前記センサの画素番号を有することを特徴とする請求項2に記載の飛行時間撮像装置。
【請求項4】
前記深度修正プロファイルはオンザフライで計算されるか、ルックアップテーブルから読み出されることを特徴とする請求項1乃至3のいずれか1項に記載の飛行時間撮像装置。
【請求項5】
飛行時間撮像装置を用いて物体の深度図を測定する方法であって、
光源によって放射される光で前記物体を照らすステップと、
測定された深度図を得るために画素アレイを有するセンサを用いて前記物体によって反射された光を検出するステップと
を備え、前記方法はさらに、
前記測定された深度図に深度修正プロファイルを適用するステップを有することを特徴とする方法。
【請求項6】
前記深度修正プロファイルは2つのn次元多項式の重ね合わせであることを特徴とする請求項5に記載の方法。
【請求項7】
前記2つのn次元多項式のうちの1番目は入力値として前記センサの行番号を有し、前記2つのn次元多項式のうちの2番目は入力値として前記センサの画素番号を有することを特徴とする請求項6に記載の方法。
【請求項8】
前記深度修正プロファイルはオンザフライで計算されるか、ルックアップテーブルから読み出されることを特徴とする請求項5乃至7のいずれか1項に記載の方法。
【請求項9】
飛行時間撮像装置のための深度修正プロファイルを算出する方法であって、
前記飛行時間撮像装置のセンサの画素アレイに平行で、前記飛行時間撮像装置から既知の距離離れて位置している、平らな表面を照らすステップと、
測定された深度図を得るために前記センサを使用して前記平らな表面によって反射された光を検出するステップと
を備え、前記方法はさらに、
前記測定された深度図から前記深度修正プロファイルを算出するステップをさらに備えたことを特徴とする方法。
【請求項10】
前記深度修正プロファイルは2つのn次元多項式の重ね合わせであることを特徴とする請求項9に記載の方法。
【請求項11】
前記センサの行上の行のアベレージングを実行するステップと、
2つの多項式のうちの一番目を算出するために、前記アベレージングされた行の値をn次元多項式にフィッティングするステップと、
前記測定された深度図から前記アベレージングされた行を引くステップと、
前記センサの列上の列のアベレージングを実行するステップと、
2つの多項式のうちの二番目を算出するために、前記アベレージングされた列の値をn次元多項式にフィッティングするステップと
をさらに備えたことを特徴とする請求項10に記載の方法。
【請求項12】
前記深度修正プロファイルをルックアップテーブルに保存するステップをさらに備えたことを特徴とする請求項9乃至11のいずれか1項に記載の方法。
【図1】
【図3】
【図4】
【図5】
【図8】
【図2】
【図6】
【図7】
【図9】
【図10】
【図11】
【図3】
【図4】
【図5】
【図8】
【図2】
【図6】
【図7】
【図9】
【図10】
【図11】
【公開番号】特開2011−257402(P2011−257402A)
【公開日】平成23年12月22日(2011.12.22)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−129111(P2011−129111)
【出願日】平成23年6月9日(2011.6.9)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing
【住所又は居所原語表記】1−5, rue Jeanne d’Arc, 92130 ISSY LES MOULINEAUX, France
【Fターム(参考)】
【公開日】平成23年12月22日(2011.12.22)
【国際特許分類】
【出願番号】特願2011−129111(P2011−129111)
【出願日】平成23年6月9日(2011.6.9)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing
【住所又は居所原語表記】1−5, rue Jeanne d’Arc, 92130 ISSY LES MOULINEAUX, France
【Fターム(参考)】
[ Back to top ]