説明

3次元計測装置

【課題】投影部及び撮影部が高速に動作するものでなくても、手振れによる影響を十分に低減できる3次元計測装置を提供する。
【解決手段】
この3次元計測装置1は、所定角度ずつ位相をシフトして1組の縞パターンを被写体2に投影する投影部4と、各縞パターンが投影された被写体2を撮影して1組の縞パターン画像を得る撮影部5と、1組の縞パターン画像から画素ごとに位相値を復元する画像処理部6と、を備えて被写体2の表面形状を計測するものにおいて、画像処理部6は、1組の縞パターン画像相互の位置ずれ量を算出する位置ずれ量算出手段61と、位置ずれ量分だけ画素の位置を移動し、かつ、位置ずれ量を縞パターンの波長と比較して得られる位相ずれ量を縞パターンの位相に加算する位置ずれ量補正手段62と、を有してなる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位相シフト法を用いた3次元計測装置に関する。
【背景技術】
【0002】
被写体の3次元形状を非接触で計測する3次元計測装置における計測手段として、位相シフト法が知られている(例えば、特許文献1、2)。この位相シフト法は、次のようなものである。まず、被写体の表面に輝度が正弦波状に変化する縞パターンを投影するとともに、その画像を別の方向から撮影するプロセスを、順次縞パターンの位相を所定角度(π/2或いは2π/3)ずつシフトさせて1周期分だけ行うことにより、1組(4枚或いは3枚)の撮影画像を得る。次に、それらの撮影画像間の輝度差から、被写体の表面形状に応じて変化した縞パターンの位相値を算出するなどの一連の画像処理を行って被写体上の縞パターンの位相を再現し、それを基に被写体の表面形状の計測が行われる。
【0003】
ところで、3次元計測装置は様々な分野で用いられており、例えば、工場施設におけるパイプなどの部品を3次元計測することで、腐食による形状変化を調べその耐用残年数の検査を行うものがある。本願出願人は、先の出願(特願2005―329448)において、工場施設におけるパイプなどの部品を現場で簡便に計測できるように、1組の各々の画像を短い時間で撮影し、それを順繰りに何回も繰り返し行うことにより、手振れによる影響を低減した3次元計測装置を提案している。
【0004】
【特許文献1】特開平6−66527号公報
【特許文献2】特開平11−14327号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、前記先の出願では、例えば約1ミリ秒といった短い時間の撮影を繰り返し行うためには、投影部は高速に動作する高性能なものである必要があり、かつ、撮影部は高速に動作する高性能なもの或いは複数の受光素子を切り換えて用いる特別なものである必要があり、その結果、高価格にならざるを得なかった。
【0006】
本発明は上記事由に鑑みてなしたもので、その目的とするところは、投影部及び撮影部が高速に動作するものでなくても、手振れによる影響を十分に低減できる3次元計測装置を提供することにある。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、請求項1に係る3次元計測装置は、所定角度ずつ位相をシフトして1組の縞パターンを被写体に投影する投影部と、各縞パターンが投影された被写体を撮影して1組の縞パターン画像を得る撮影部と、1組の縞パターン画像から画素ごとに位相値を復元する画像処理部と、を備えて被写体の表面形状を計測する3次元計測装置において、前記画像処理部は、1組の縞パターン画像相互の位置ずれ量を算出する位置ずれ量算出手段と、該位置ずれ量分だけ画素の位置を移動し、かつ、位置ずれ量を縞パターンの波長と比較して得られる位相ずれ量を縞パターンの位相に加算する位置ずれ量補正手段と、を有してなることを特徴とする。
【0008】
請求項2に係る3次元計測装置は、請求項1に記載された3次元計測装置において、前記位置ずれ量補正手段の縞パターンの波長は、平面又は略平面の部分で縞パターン画像にフィッティングする正弦波を当てはめて求めたものであることを特徴とする。
【0009】
請求項3に係る3次元計測装置は、請求項1に記載された3次元計測装置において、前記位置ずれ量補正手段の縞パターンの波長は、縞パターン画像を2次元フーリエ変換し、投影した縞パターンの波長の近傍のピーク値が現れる座標から求めたものであることを特徴とする。
【0010】
請求項4に係る3次元計測装置は、請求項3に記載された3次元計測装置において、前記位置ずれ量算出手段では縞パターン画像の2次元フーリエ変換を行い、前記位置ずれ量補正手段の縞パターンの波長は、位置ずれ量算出手段で行った縞パターン画像の2次元フーリエ変換結果を用いて求めることを特徴とする。
【0011】
請求項5に係る3次元計測装置は、請求項1乃至4のいずれかに記載された3次元計測装置において、前記位置ずれ量の算出と補正は画素ごとに行い、前記位置ずれ量算出手段は、画素iを中心としたウィンドウ内の縞パターン画像から画素iの位置ずれ量を算出することを特徴とする。
【発明の効果】
【0012】
本発明の3次元計測装置は、画像処理部の位置ずれ量補正手段が、算出された位置ずれ量分だけ画素の位置を移動し、かつ、位置ずれ量を縞パターンの波長と比較して得られる位相ずれ量を縞パターンの位相に加算するので、投影部及び撮影部をそれほど高速に動作させずとも、手振れによる影響を十分に低減できるものとなる。
【発明を実施するための最良の形態】
【0013】
以下、本発明の最良の実施形態を図面を参照しながら説明する。図1は本発明の実施形態に係る3次元計測装置1の使用状態を示す斜視図である。3次元計測装置1は、位相シフト法によって測定すべき被写体2の表面形状を計測するものであり、持ち可能なようにコンパクトな筐体には、後述する投影部4、撮影部5、画像処理部6などが収容されている。筐体は、例えば、横幅が約25cm、高さが約10cm、奥行きが約15cmである。
【0014】
図2は、3次元計測装置1の全体構成を示す模式図である。3次元計測装置1は、所定角度ずつ位相を順次シフトして1組の縞パターンを被写体2に投影する投影部4と、各縞パターンが投影された被写体2を順次撮影して1組の縞パターン画像(縞パターンを含む被写体2の画像)を得る撮影部5と、一連の画像処理を行って1組の縞パターン画像から画素ごとに位相値を復元する画像処理部6と、を備える。この復元された画素ごとの位相値を基に、被写体2の表面形状の計測が行われる。
【0015】
投影部4が投影する縞パターンは、輝度(連続的な階調)が正弦波状に変化するものである。投影する縞パターンの波長λは、本実施形態の例では16画素(16個の画素分の長さ)とする。撮影部5は、受光素子(例えばCCD)を有し、被写体2に縞パターンが投影されている時間(投影時間)内に被写体2からの1枚の縞パターン画像を取り込みそれを保持する。本実施形態の例では1枚の縞パターン画像の画素数は1024×768とする。
【0016】
投影部4において位相シフトの所定角度は、例えば、π/2(90度)か2π/3(120度)にすることができ、それに応じて1組の縞パターン画像は4枚か3枚の縞パターン画像からなる。本実施形態では、所定角度をπ/2とし、1組の縞パターン画像を4枚の縞パターン画像からなるものとしている。投影部4は、1個の縞パターンを所定時間T経過するごとに順に1回ずつ投影する。例えば、所定時間Tを60ミリ秒とすると、1個目の縞パターンを投影して1枚目の縞パターン画像を得、1枚目の投影開始から60ミリ秒後に2個目の縞パターンを投影して2枚目の縞パターン画像を得、2枚目の投影開始から60ミリ秒後に3個目の縞パターンを投影して3枚目の縞パターン画像を得、3枚目の投影開始から60ミリ秒後に4個目の縞パターンを投影して4枚目の縞パターン画像を得る。
【0017】
所定時間Tは、投影部4における縞パターンの設定時間及び投影時間、画像処理部6による撮影部5が保持する縞パターン画像のデータの読み出し時間などを総合した1枚の縞パターン画像を得るために必要とされる時間である。この所定時間Tは、投影部4と撮影部5のハードウェアの性能に依存する。所定時間Tが長いと、手振れの影響により1組の縞パターン画像相互の位置ずれ量が大きくなり易い。
【0018】
1、2、3、4枚目の縞パターン画像の画素iの輝度値をそれぞれP1i、P2i、P3i、P4iとすると、これらは次の(1)〜(4)式で表される。
1i=K×(IBASE+I×cos(Φ))
2i=K×(IBASE+I×cos(Φ+θ2i))
3i=K×(IBASE+I×cos(Φ+θ3i))
4i=K×(IBASE+I×cos(Φ+θ4i))
【0019】
ここで、Kは画素iに対応した被写体2の反射率、IBASEは縞パターンの光量の中心値、Iは縞パターンの光量の振幅値、Φは画素iの復元しようとする位相値である。θ2i、θ3i、θ4iは位相シフト量であり、1組の縞パターン画像相互の位置ずれがないとすると、次式(5)〜(7)に示される定数である。
θ2i=π/2
θ3i=π
θ4i=3π/2
【0020】
画像処理部6は、画像読み出し手段60により所定時間T内に撮影部5が保持する各縞パターン画像のデータを読み出す。そして、位置ずれ量算出手段61により1組の縞パターン画像相互の位置ずれ量を算出し、位置ずれ量補正手段62により位置ずれ量を補正する。位置ずれ量の算出及びその補正は、縞パターン画像全体ごとの場合と画素ごとの場合がある。縞パターン画像全体ごとの場合は、縞パターン画像相互間での相対的な平行移動の位置ずれに対応することができる。画素ごとの場合は、縞パターン画像相互間での相対的な平行移動と回転の位置ずれに対応することができる。なお、1組の縞パターン画像相互の位置ずれ量は1組のいずれかが基準の縞パターン画像となるが、本実施形態では、1枚目の縞パターン画像を基準の縞パターン画像とする。また、後述のn枚目の縞パターン画像、位置ずれ量(δnX、δnY)、位相シフト量θni等は、本明細書の表記において、nは2、3、4の整数を表すものとする。位置ずれ量の算出及びその補正の後は、位相復元手段63により各画素の位相値を復元する。
【0021】
縞パターン画像全体ごとの位置ずれ量(δnX、δnY)は、縞パターン画像全体又は設定したウィンドウ内の縞パターン画像を使った位相相関法等により算出する。位相相関法のように画像を変換して位置ずれ量を算出するものは、計算量を少なくするために、ウィンドウを設定するのが望ましい。ウィンドウの大きさは、計算量と計算精度を考慮して設定すればよく、本実施形態では、256×256画素としている。ウィンドウを設定する箇所は、被写体2の表面形状に特徴ある部分とする。位相相関法は、2枚の画像についてそれぞれの画像を2次元フーリエ変換し、それらを合成して2次元逆フーリエ変換するものである。2枚の画像が近似している場合には急峻なピーク値を示す座標が存在し、その座標が2枚の画像相互の位置ずれ量を示す。
【0022】
また、ジャイロを3次元計測装置1に取り付けて、位置ずれ量(δnX、δnY)を算出することも可能である。ジャイロを用いると、被写体2の表面形状の変化が少なく縞パターン画像から位置ずれ量を算出するのが難しい場合でも、容易に位置ずれ量を算出することができる。
【0023】
縞パターン画像全体ごとの位置ずれ量(δnX、δnY)の補正は次の2段階で行う。第1の位置ずれ量補正では、縞パターンを除いて1枚目の縞パターン画像に一致するように位置ずれ量(δnX、δnY)だけn枚目の縞パターン画像をX軸及びY軸方向に移動する。図3は、この状態の具体例の説明図である。(A)〜(A)は補正前の1〜4枚目のウィンドウの縞パターン画像であり、(B)〜(B)は第1の位置ずれ量補正後の1〜4枚目のウィンドウ内の縞パターン画像である。1枚目の縞パターン画像に対する2、3、4枚目の縞パターン画像の位置ずれ量(δ2X、δ2Y)、(δ3X、δ3Y)、(δ4X、δ4Y)はそれぞれ、(−2.96、−9.52)、(−8.45、−4.04)、(−10.95、7.44)が算出されている。そして、2、3、4枚目の縞パターン画像をそれぞれ、(2.96、9.52)、(8.45、4.04)、(10.95、−7.44)だけ移動することで第1の位置ずれ量補正を行っている。
【0024】
第2の位置ずれ量補正では、n枚目の縞パターン画像の縞パターンの位相シフト量θniを補正する。位相シフト量θniは、縞パターンがX軸に対して完全に(或いはほぼ完全に)垂直に投影されたとするとY軸方向についての補正は必要ない。この場合、X軸方向の位置ずれ量δnXを縞パターンの波長λと比較して位相ずれ量を得、それを加算することで、次式(5.1)〜 (7.1)に示すように位相シフト量θniを補正する。
θ2i=π/2+δ2X/λ×2π
θ3i=π+δ3X/λ×2π
θ4i=3π/2+δ4X/λ×2π
図3の例では、第2の位置ずれ量補正は、次式(5.1’) 〜(7.1’)のようになる。
θ2i=π/2+2.96/16×2π
θ3i=π+8.45/16×2π
θ4i=3π/2+10.95/16×2π
【0025】
また、縞パターンがX軸に対して斜めに投影されたとすると、波長λがX軸方向とY軸方向の成分(λ、λ)からなるものと考える。この場合、X軸及びY軸方向の位置ずれ量(δnX、δnY)を縞パターンの波長(λ、λ)と比較して位相ずれ量を得、それを加算することで、次式(5.2) 〜(7.2)に示すように位相シフト量θniを補正する。
θ2i=π/2+(δ2X/λ+δ2Y/λ)×2π
θ3i=π+(δ3X/λ+δ3Y/λ)×2π
θ4i=3π/2+(δ4X/λ+δ4Y/λ)×2π
これらは、縞パターンがX軸に対して完全に垂直ならばλは無限大となるので、(5.1)〜(7.1)式に一致する。
【0026】
第2の位置ずれ量補正の精度を高めるためには、縞パターンの波長λの補正を行う。被写体2に縞パターンを投影する角度と被写体2を撮影する角度は異なるため、投影した縞パターンの波長λの近傍に撮影した縞パターンの波長λはあるけれども、厳密には異なるからである。
【0027】
縞パターンの波長λの補正を行う1つの方式は、1枚の縞パターン画像の平面の部分には投影された縞パターンの正弦波のみが観測されることを利用するものである。この観測される正弦波にフィッティングする正弦波を当てはめて行けば、縞パターンの波長λの値を得ることができる。このためには、図4に示すように、平面である基準板7を被写体2の端に置き、被写体2と一緒に撮影する。そして、基準板7における1枚の縞パターン画像(例えば、1枚目の縞パターン画像)から、縞パターンの波長λの値を得る。また、基準板7を用いず、1枚の縞パターン画像の略平面の部分でフィッティングする正弦波を当てはめ、縞パターンの波長λの値を求めることも可能である。
【0028】
縞パターンの波長λの補正を行うもう1つの方式は、2次元フーリエ変換の結果を用いるものである。所定のウィンドウ(例えば、256×256画素)の縞パターン画像の2次元フーリエ変換の結果には、被写体2の表面形状が複雑なものであっても、投影した縞パターンの波長λに相当する座標の近傍にピーク値が現れる。この方式は、位置ずれ量の算出に2次元フーリエ変換を用いたならば、その2次元フーリエ変換の結果を再度用いることができるので、位相相関法による位置ずれ量の算出の場合に特に有効である。
【0029】
図5は、2次元フーリエ変換の結果を用いて縞パターンの波長を求める方式の説明図である。なお、図5に示す具体例は図3とは別の例である。図5において、(A)は縞パターンの投影画像(256×256画素)を示し、(B)はその2次元フーリエ変換の結果を示す。(B)においては、明度が係数の大きさを表し、(−17、−3)、(17、3)の座標にピーク値が現れる。従って、縞パターンはX軸に対して斜めに投影されていて、X軸方向の波長λは128÷17=7.53画素、Y軸方向の波長λは128÷3=42.67画素と求められる。
【0030】
位置ずれ量の算出と補正との間には、位置ずれ量の評価を行うことが望ましい。図6は、位置ずれ量の評価を示す処理フロー図である。位置ずれ量の算出(S101)の後、X軸方向の位置ずれ量δnXを位置ずれ評価最小値K(例えば、1/20画素)及び位置ずれ評価最大値K(例えば、20画素)と比較する(S102)。X軸方向の位置ずれ量δnXが位置ずれ評価最小値K以下の場合は、十分な復元精度が得られるので、計算量を抑えるため位置ずれ量の補正は行わない(S103)。位置ずれ量δnXが位置ずれ評価最大値K以上の場合は、適切な補正が行えないので、位相シフト法による3次元計測は行わない。Kの値は、通常の注意力で3次元計測装置1を使用するとき、位置ずれ量δnXがこれより十分小さくなるような値とする。位置ずれ量δnXが位置ずれ評価最大値K以上の場合、そこで画像処理は中止することもできるが、簡易な3次元計測をかわりに行うことも可能である。本実施形態では、詳細は省略するが、1枚目の縞パターン画像のみを用い空間的に位相値を算出する方法で3次元計測を行っている(S104)。位置ずれ量δnXが位置ずれ評価最小値Kよりも大きく位置ずれ評価最大値Kよりも小さい場合は、位置ずれ量の補正を行う(S105)。
【0031】
次に、画素ごとの位置ずれ量(δnXi、δnYi)の算出及びその補正について説明する。
【0032】
n枚目の縞パターン画像の画素iの位置ずれ量(δnXi、δnYi)は、具体的には、画素iを中心としたウインドウ(例えば64×64画素)を設定し、このウィンドウの縞パターン画像を使って算出した位置ずれ量を画素iの位置ずれ量とする。そして、縞パターンを除いて1枚目の縞パターン画像に一致するように位置ずれ量(δnXi、δnYi)だけn枚目の縞パターン画像をX軸及びY軸方向に移動して第1の位置ずれ量補正を行う。次に、画素iにおける縞パターンの波長(λnXi、λnYi)を求める。具体的には、位置ずれ量(δnXi、δnYi)の算出で使用したウィンドウの2次元フーリエ変換の結果を用い、そこで算出した波長を画素iにおける縞パターンの波長とする。従って、2次元フーリエ変換の結果が共用できる位相相関法で位置ずれ量の算出を行うのが望ましい。
【0033】
それから、位置ずれ量(δnXi、δnYi)を縞パターンの波長(λnXi、λnYi)と比較して位相ずれ量を得、それを加算することで、次式(5.3) 〜(7.3)に示すように位相シフト量θniを補正する。
θ2i=π/2+(δ2Xi/λ2Xi+δ2Yi/λ2Yi)×2π
θ3i=π+(δ3Xi/λ3Xi+δ3Yi/λ3Yi)×2π
θ4i=3π/2+(δ4Xi/λ4Xi+δ4Yi/λ4Yi)×2π
【0034】
以上のようにして位相シフト量θniが補正されると、位相復元手段63により、K、IBASE、I、Φを変数とした連立方程式である上記(1)〜(4)式から画素iの位相値Φを復元する。具体的には、以下のようにして、Φの値を求めることができる。先ず、α、β、γを次式(8) 〜(10)のように定義する。
α=K×I×cos(Φ
β=K×I×sin(Φ
γ=K×IBASE
そうすると、(1)〜(4)式は次式(11)〜(14)に変形される。
1i=γ+α
2i=γ+α×cos(θ2i)−β×sin(θ2i
3i=γ+α×cos(θ3i)−β×sin(θ3i
4i=γ+α×cos(θ4i)−β×sin(θ4i
(11)〜(14)式からα、β、γが求まる。そして、次式(15)
Φ=arctan(β/α
であるから、画素iの位相値Φが求まる。
【0035】
なお、仮に位置ずれがない場合は、位置ずれ量(δnXi、δnYi)の値は0であるから、Φは次式(15.1)のようになる。
Φ=arctan((P4i−P2i)/(P1i−P3i))
【0036】
このようにして、画像処理部6により1組の縞パターン画像相互の位置ずれ量が補正され、画素iの位相値であるΦが適切に復元される。従って、投影部4と撮影部5が高速に動作可能なハードウェアでなく所定時間Tが長くても、手振れによる影響を十分に低減できる。また、機械振動などによるぶれが起こる状況で使用されてもその影響を十分に低減できる。
【0037】
以上、本発明の実施形態に係る3次元計測装置について説明したが、本発明は、実施形態に記載したものに限られることなく、特許請求の範囲に記載した事項の範囲内でのさまざまな設計変更が可能である。例えば、上記の画素ごとに位置ずれ量の算出と補正を行うものは最も精度の高い補正が可能であるが、それに要する計算量は非常に多い。従って、縞パターンの波長を画素ごとに求めず縞パターン画像全体で共通の値とするなどして、計算量を減らすこともできる。
【図面の簡単な説明】
【0038】
【図1】発明の実施形態に係る3次元計測装置の使用状態を示す斜視図である。
【図2】同上の3次元計測装置の全体構成の模式図である。
【図3】同上の位置ずれ量の補正の状態の具体例の説明図である。
【図4】同上の縞パターンの波長を求める1方式の斜視図である。
【図5】同上の縞パターンの波長を求めるもう1方式の説明図である。
【図6】同上の位置ずれ量の評価を示す処理フロー図である。
【符号の説明】
【0039】
1 3次元計測装置
2 被写体
4 投影部
5 撮影部
6 画像処理部
60 画像読み出し手段
61 位置ずれ量算出手段
62 位置ずれ量補正手段
63 位相復元手段

【特許請求の範囲】
【請求項1】
所定角度ずつ位相をシフトして1組の縞パターンを被写体に投影する投影部と、各縞パターンが投影された被写体を撮影して1組の縞パターン画像を得る撮影部と、1組の縞パターン画像から画素ごとに位相値を復元する画像処理部と、を備えて被写体の表面形状を計測する3次元計測装置において、
前記画像処理部は、1組の縞パターン画像相互の位置ずれ量を算出する位置ずれ量算出手段と、該位置ずれ量分だけ画素の位置を移動し、かつ、位置ずれ量を縞パターンの波長と比較して得られる位相ずれ量を縞パターンの位相に加算する位置ずれ量補正手段と、を有してなることを特徴とする3次元計測装置。
【請求項2】
請求項1に記載された3次元計測装置において、
前記位置ずれ量補正手段の縞パターンの波長は、平面又は略平面の部分で縞パターン画像にフィッティングする正弦波を当てはめて求めたものであることを特徴とする3次元計測装置。
【請求項3】
請求項1に記載された3次元計測装置において、
前記位置ずれ量補正手段の縞パターンの波長は、縞パターン画像を2次元フーリエ変換し、投影した縞パターンの波長の近傍のピーク値が現れる座標から求めたものであることを特徴とする3次元計測装置。
【請求項4】
請求項3に記載された3次元計測装置において、
前記位置ずれ量算出手段では縞パターン画像の2次元フーリエ変換を行い、
前記位置ずれ量補正手段の縞パターンの波長は、位置ずれ量算出手段で行った縞パターン画像の2次元フーリエ変換結果を用いて求めることを特徴とする3次元計測装置。
【請求項5】
請求項1乃至4のいずれかに記載された3次元計測装置において、
前記位置ずれ量の算出と補正は画素ごとに行い、
前記位置ずれ量算出手段は、画素iを中心としたウィンドウ内の縞パターン画像から画素iの位置ずれ量を算出することを特徴とする3次元計測装置。

【図2】
image rotate

【図6】
image rotate

【図1】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2008−190962(P2008−190962A)
【公開日】平成20年8月21日(2008.8.21)
【国際特許分類】
【出願番号】特願2007−24650(P2007−24650)
【出願日】平成19年2月2日(2007.2.2)
【出願人】(505399007)アイディンシステム株式会社 (3)
【Fターム(参考)】