3次元形状計測方法および装置
【課題】位相シフト法を用いる3次元形状計測方法および装置において、簡単な構成により、表面に文字や柄などによる反射率の異なる領域が混在する被計測物体についても計測精度を向上可能とする。
【解決手段】本装置1は、最良の計測結果を選択して決定するため、被計測物体の計測領域10に縞パターンを投影する2つの縞パターン投影部2a,2bと、撮像部3と、撮像部3からのデータを基に計測領域10の3次元形状を求める3次元計測処理部4とを備える。縞パターン投影部2a,2bが、撮像部3を挟んで向かい合うように、かつ撮像部3の光軸30に対して線対称に配置され、縞パターン投影部2a,2bから同じ縞パターンSPを投影する。各縞パターン投影部2a,2bからそれぞれ独立に縞パターンを投影して2種類の3次元座標を求め、撮像部3の撮像素子上の1点に対応して得られる2種類の3次元座標の平均値を計測結果として計測精度を向上させる。
【解決手段】本装置1は、最良の計測結果を選択して決定するため、被計測物体の計測領域10に縞パターンを投影する2つの縞パターン投影部2a,2bと、撮像部3と、撮像部3からのデータを基に計測領域10の3次元形状を求める3次元計測処理部4とを備える。縞パターン投影部2a,2bが、撮像部3を挟んで向かい合うように、かつ撮像部3の光軸30に対して線対称に配置され、縞パターン投影部2a,2bから同じ縞パターンSPを投影する。各縞パターン投影部2a,2bからそれぞれ独立に縞パターンを投影して2種類の3次元座標を求め、撮像部3の撮像素子上の1点に対応して得られる2種類の3次元座標の平均値を計測結果として計測精度を向上させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被計測物体の3次元形状計測方法および装置に関する。
【背景技術】
【0002】
従来から、非接触かつ自動処理により被計測物体の3次元形状を計測する方法として、いわゆる位相シフト法が知られている。位相シフト法は、互いに位相をずらした正弦波縞パターン光による照明状態のもとで撮像した複数の縞パターン画像つまり複数の輝度分布データを用いて、画像全体について定まる1つの位相状態について画素点毎の位相を求め、その位相の分布データを3次元座標決定の基礎データとする。3次元形状計測結果は、位相分布データと撮像の幾何学条件等から得られ、各画素に被計測物体表面の3次元座標を割り当てた距離画像として得られる。
【0003】
位相シフト法を用いて3次元形状計測を行う場合に、被計測物体表面に反射率の異なる部分、例えば、文字や柄があると、これらの文字や柄と背景部分の境界において計測誤差が発生する。その原因は、境界部分における注目画素の輝度がその周辺画素の輝度に影響されてぼけて真の輝度から変化することによる。このぼけは、例えば、撮像の際の焦点ぼけやレンズの変調伝達関数特性に基づくぼけによる。縞パターン画像がぼけると基礎データとする位相の分布データが誤差を含み、計測誤差が発生する。
【0004】
上述の誤差の発生をシミュレーションにより図23乃至図28を参照して説明する。図23は反射率の異なる領域を含む計測領域を一様照明のもとで撮像した画像Gを示し、図24は図23の画像Gにおけるx0方向に沿った輝度値変化を示す。これらの図に示すように一様照明のもとで明部(領域w2)と暗部(領域w1,w3)とが2値の輝度値L1,L2となるコントラストのある対象領域に対して、強制的にぼけを発生させて比較する。図25(a)〜(d)は、明度がx方向に正弦波状に変化する照明のもとで、それぞれ位相変化分δφを0(初期位相状態)から、π/2,π,3π/2とした場合の、x0方向に沿った輝度変化の計算値を示す。これはぼけのないデータである。図26(a)〜(d)は、図25(a)〜(d)の輝度変化に標準偏差σのガウス移動平均処理を行って、計算により強制的に輝度変化をぼかして得たデータである。図27は、図25(a)〜(d)から算出した位相分布と、図26(a)〜(d)から算出した位相分布とを重ねて示している。図28は、図27において位相差ΔPが生じている部分Dを拡大して示している。図27、図28に示すように、明暗の境界xbの位置で、破線で示したぼかし有りの位相値は、実線で示したぼかしのない正しい位相値から変化して、位相差ΔPの誤差を有している。
【0005】
上述の位相値の誤差による3次元座標の計測誤差の発生について説明する。図29は位相シフト法による3次元計測における3次元計測点を特定する仕組みをピンホールモデルで示す。縞パターン投影装置はパターン生成部22を備え、撮像装置(カメラ)は撮像素子31を備えている。点Aは縞パターン投影装置の光学中心、点Cはカメラの光学中心、点Oは縞パターン投影装置の光軸とカメラの光軸との交点である。カメラによって撮像された画像から求められる位相値は、投影装置内部のパターン生成部22上の座標に1対1対応する。そこで、撮像素子31における或る画素について位相を求めると、パターン生成部22上の点Pの位置と、これに対応する撮像素子31上の点Qの位置が特定される。
【0006】
また、計測したい点Mの位置は、直線A−Pと直線C−Qの各延長線の交点Mとして求められる。上述した位相値の誤差が生じた場合に、パターン生成部22上の点Pの位置が、位相値の誤差に従って少しずれた点P1として認識される。このとき、計測された点の位置は、直線A−P1と直線C−Qの延長線の交点M1となる。すなわち、位相値の誤差により、線分M−M1の長さ分の誤差が3次元計測値の誤差となる。
【0007】
上述のような特性を有する位相シフト法は、被計測物体上に反射率の異なる部分があると、その部分の明暗状態が表面形状を反映しないものとなって計測誤差を発生するので、被計測物体は白く塗装して計測される。従って、位相シフト法による3次元形状計測は、例えば、3次元CADに基づいて製作された製品が正しい形状にできているかを検証するために、白塗装された試作段階の物体について行われるが、実際の生産工程におけるインライン計測には殆ど使われていない。
【0008】
また、位相シフト法において、カメラの視野方向と投影装置による投影方向とが異なることに加え被計測物体が3次元形状であることにより発生する自己隠蔽(いわゆるオクルージョン)や、影、乱反射、などの影響を解消するため、異なる複数の方向から縞パターン光を投影したり、被計測物体を回転させたりして、計測精度を上げることが提案されている(例えば、特許文献1参照)。
【特許文献1】特開平7−19825号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、上述したように、従来の位相シフト法は実際の生産工程におけるインライン計測には殆ど使われていない。また、上述した特許文献1に示されるような位相シフト法による計測方法は、被計測物体表面の反射率の違いにより発生する計測誤差を解決することができない。
【0010】
本発明は、上記課題を解消するものであって、簡単な構成により、表面に文字や柄などによる反射率の異なる領域が混在する被計測物体や自己隠蔽による影が発生する被計測物体についても計測精度を向上できる位相シフト法による3次元形状計測方法および装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を達成するために、請求項1の発明は、明度が正弦波状に変化する縞パターンを異なる位相で3回以上被計測物体に投影して撮像し、得られた複数の画像を用いて各画素における被計測物体の3次元座標を位相シフト法により求める3次元形状計測方法において、被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸を含む平面内に投影用光軸を2つ設定し、前記投影用光軸の各方向からそれぞれ独立に計測領域に縞パターンを投影すると共に前記撮像部によって撮像して2種類の3次元座標を求める計測ステップと、前記計測ステップにより前記撮像部の撮像素子上の1点に対応して得られる2種類の3次元座標の平均値を算出する演算ステップと、を含むものである。
【0012】
請求項2の発明は、請求項1に記載の3次元形状計測方法において、前記2つの投影用光軸が、前記撮像部の光軸に対して線対称に設定されているものである。
【0013】
請求項3の発明は、請求項1または請求項2に記載の3次元形状計測方法において、前記2つの投影用光軸の一方から縞パターンを投影して撮像された画像に影が生じた場合に、その影の部分を任意の距離だけ拡張した領域について、他方の投影用光軸から縞パターンを投影して撮像された画像に基づく3次元座標を用いるものである。
【0014】
請求項4の発明は、請求項1乃至請求項3のいずれか一項に記載の3次元形状計測方法
において、前記撮像部の撮像レンズ、または前記2つの投影用光軸から縞パターンを投影するための投影レンズのいずれかにテレセントリックレンズを用いるものである。
【0015】
請求項5の発明は、請求項1乃至請求項4のいずれか一項に記載の3次元形状計測方法において、前記撮像部の撮像レンズ、および前記2つの投影用光軸から縞パターンを投影するための投影レンズのそれぞれにテレセントリックレンズを用いるものである。
【0016】
請求項6の発明は、請求項1乃至請求項5のいずれか一項に記載の3次元形状計測方法を用いる3次元形状計測装置である。
【発明の効果】
【0017】
請求項1の発明によれば、2種類の3次元座標の平均値を計測結果とすることができるので、位相値の誤差やランダムノイズに起因する3次元座標の計測誤差を低減することができ、精度の高い計測ができる。
【0018】
請求項2の発明によれば、位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができるので、表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。
【0019】
請求項3の発明によれば、自己隠蔽による影の部分の周辺において発生する位相値の誤差に起因する3次元座標の計測誤差を解消でき、計測精度を向上できる。
【0020】
請求項4の発明によれば、投影装置からの出射光や撮像部への入射光を、被計測物体側の空間において平行光線として光学特性を改善できるので、計測精度を向上できる。
【0021】
請求項5の発明によれば、請求項4と同等の効果が得られる。
【0022】
請求項6の発明によれば、自己隠蔽による影が発生したり、表面に文字や柄などによる反射率の異なる領域が混在したりする被計測物体についても、計測精度を向上できる位相シフト法による3次元形状計測装置を提供することができる。
【発明を実施するための最良の形態】
【0023】
(第1の実施形態)
第1の実施形態に係る3次元形状計測装置について図1乃至図4を参照して説明する。なお、図1に示す構成は他の実施形態に共通であり、他の実施形態においても参照する。また、本実施形態と次の第2の実施形態では、自己隠蔽のない立体表面の形状計測について説明しており、自己隠蔽による影を有する被計測物体の形状計測については、第3、第4の実施形態において説明する。
【0024】
図1、図2は3次元形状計測装置の構成を示す。3次元形状計測装置1は、文字や柄などによる反射率の異なる領域が表面に混在する被計測物体についても、位相シフト法を用いて非接触で精度良くその3次元形状を計測可能とする装置であって、画像中の画素毎に被計測物体の3次元座標を求めることができる。この3次元形状計測装置1は、基本的に、通常の位相シフト法による3次元形状計測を複数回行い、その計測結果から最良の計測結果を決定することにより、最終的に高精度の3次元形状計測を可能にする。
【0025】
このため、3次元形状計測装置1は、互いに異なる方向(本例の場合対向する方向)から被計測物体の計測領域10に縞パターンを投影する2系統(第1および第2)の縞パターン投影部2a,2b(総称して縞パターン投影部2と表記)と、計測領域10の上方に設置されて計測領域10を撮像する撮像部3と、縞パターン投影部2および撮像部3とを制御すると共に縞パターン投影部2および撮像部3から出力されるデータを基に計測領域10の3次元形状を求める計算を行う3次元計測処理部4とを備えている。計測領域10は、任意の3次元凹凸表面を有する被計測物体の表面領域である。
【0026】
縞パターン投影部2a,2bは、それぞれ照明部21a,21b(総称して21)、縞パターン生成部22a,22b(総称して22)、および投影光学部23a,23b(総称して23)を備えている。照明部21は、光源と光源からの光を平行光に変換するコンデンサーレンズとを用いて構成される。縞パターン生成部22は、光の透過率が一方向に沿って正弦波状に変化する、平面上において平行縞となる縞パターンを生成する部分であり、透過型液晶板と偏光板とを用いて構成される。投影光学部23は、縞パターン生成部22で作られた縞パターンを計測対象物に投影するためのレンズで構成される。
【0027】
縞パターン投影部2a,2bの各投影用光軸20a,20b(総称して20)は、撮像部3の光軸30を含む平面に含まれるように設定されている。なお、縞パターン投影部2a,2bは、実際に複数の機器を準備する必要はなく、1系統の縞パターン投影部2の配置を変えることにより2系統の動作を実現してもよい。これは、複数系統からの照明のもとで同時に撮像することはないからである。しかしながら、撮像の段取り変えに要する時間などを考えると、複数系統を固定して移動せずに用いる方が好ましい。
【0028】
上述の縞パターン生成部22を構成する透過型液晶板と偏光板とは、反射型液晶板と偏光板との組合せ、縞パターンを焼き付けたフィルムと所定の位相をずらすためのそのフィルムを移動させるアクチュエータとの組合せ、またはデジタルミラーデバイス(DMD)などによって、同等の機能を実現するようにしてもよい。
【0029】
撮像部3は、計測領域10からの光を光電変換して画像データを生成するための撮像素子31と、計測領域10の像を撮像素子31上に形成するための光学レンズから成る撮像光学部32とを備えている。
【0030】
3次元計測処理部4は、縞パターンデータ作成部41と、中央制御部42と、メモリ43と、演算部44と、計測結果や撮像画像等を表示する表示部45と、本装置の操作に必要な入出力部(不図示)と、を備えている。また、演算部44は、最終的な計測結果を決定するための計測結果決定部4aを備えている。このような3次元計測処理部4は、CPU、外部記憶装置、表示装置、入力装置などを備えた一般的な構成を備えたコンピュータ、およびコンピュータ上のプロセスや機能の集合を用いて構成することができる。
【0031】
表示部45は、通常のコンピュータ周辺機器として用いられる液晶ディスプレイやCRT等で構成することができる。入出力部は、簡単なスイッチ群で構成したり、通常のコンピュータ周辺機器におけるマウスやキーボード等を用いて構成される。縞パターンデータ作成部41は、縞パターン投影部2a,2bの縞パターン生成部22において生成される縞パターンのもとになるデータを生成する。
【0032】
中央制御部42は、縞パターン投影部2a,2bに送る縞パターンのもとデータの送信制御、縞パターン投影部2a,2bの投影制御、撮像部3の撮像制御などを行って、計測領域10に投影する縞パターンの位相を一定の位相間隔でシフトさせると共に、各位相のもとで照明した計測領域10の撮像部3による撮像を制御する。中央制御部42は、このほか、表示部45や入出力部その他の各部の制御を行う。
【0033】
メモリ43は、3次元形状計測に必要なデータを記録するところであり、撮像部3と縞パターン投影部2a,2bの空間配置に関するデータ、撮像部3の分解能、縞パターンのピッチ、位相シフト量、撮像部3により撮像された画像データ等のデータが記録される。
【0034】
演算部44は、メモリ43に記録されたデータを用いて、位相シフト法における撮像画像の各画素での位相値を求め、求まった位相値に基づいて各画素点毎に計測領域10の3次元形状座標を算出する。
【0035】
(縞パターン投影部2a,2bと撮像部3の空間配置)
本実施形態では、被計測物体の計測領域10の上方に撮像部3が設置され、撮像部3の光軸30と、2系統の縞パターン投影部2a,2bの各投影用光軸20a,20bとが同一平面内に設定され、2つの縞パターン投影部2a,2bが互いに撮像部3を挟むように配置されている。3つの光軸20a,20b,30は互いに1つの点Oで交わるように配置されるが、必ずしもこのようにする必要はない。
【0036】
ここで、便宜上右手系直交座標系を構成する空間の座標軸X,Y,Z、および画像面における座標軸x,yを定義する。Z軸は撮像部3の光軸30とし、X軸は3つの光軸が含まれる面にあるとする。座標軸x,yは、座標軸X,Yに一致させて、または対応させて定義することができる。また、便宜上、x軸方向を水平方向と呼ぶことがある。
【0037】
(縞パターンSPの配置)
本実施形態の位相シフト法で用いられる縞パターンSPは、明度が一定方向(以下、パターン変化方向5)に沿って正弦波状に変化するパターンである。本実施形態においては、パターン変化方向5を、X,x軸方向に設定している。
【0038】
(動作説明)
本実施形態の3次元形状計測装置1が、被計測物体の表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できることを説明する。要点は、互いに撮像部3を挟むように配置した2つの縞パターン投影部2a,2bを用いて形状計測を行い、2種類の計測結果を平均化することにより、個々の縞パターン投影部2a,2bによる計測における位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができることによる。
【0039】
図3は、縞パターン投影部2a,2bからの照明光および撮像部3への入射光の各光路と計測誤差との関連を示す。既に、位相シフト法における従来の問題として、図23乃至図28、および図29を参照して、表面に反射率の異なる領域が混在する被計測物体における位相値の誤差発生と、その位相値の誤差による計測精度の発生を説明した。ここでは、本実施形態の3次元形状計測装置1が、2つの縞パターン投影部2a,2bを備えることにより、2種類の3次元座標の平均値を計測結果として3次元座標の計測誤差を低減できる原理を示す。
【0040】
図3は、図29で説明した位相シフト法による3次元計測のピンホールモデルにおいて、光学中心を点Bとする第2の投影装置を追加したものである。本図において、2つの縞パターン投影部2a,2bはそれぞれパターン生成部22a,22bを備え、撮像部3は撮像素子31を備えている。点A,Bは縞パターン投影部2a,2bの光学中心、点Cは撮像部3の光学中心、点Oは縞パターン投影部2a,2bの光軸20a,20bと撮像部3の光軸30との交点である。点A,Bが点Cを挟んで、向かい合うように配置されている。撮像部3によって撮像された画像から求められる位相値は、パターン生成部22a,22b上の座標に1対1対応する。そこで、撮像素子31における或る画素について位相を求めると、パターン生成部22a上の点Pの位置と、これに対応する撮像素子31上の点Qの位置が特定される。
【0041】
また、計測しようとする点Mの位置は、直線A−Pと直線C−Qの各延長線の交点Mとして求められる。上述した位相値の誤差が生じた場合に、パターン生成部22a上の点Pの位置が、位相値の誤差に従って少しずれた点P1として認識される。このとき、計測された点の位置は、直線A−P1と直線C−Qの延長線の交点M1となる。位相値の誤差により、線分M−M1の長さ分の誤差が3次元計測値の誤差となる。なお、光学中心とは、各光学装置において入射光または出射光が一点に収束する仮想の点である。
【0042】
縞パターン投影部2bにおいて、測定しようとする点Mに対応するパターン生成部22b上の点をRとすると、点Rは直線B−Mとパターン生成部22bの平面との交点となる。ここで、縞パターン投影部2bと撮像部3の組み合わせで求めた位相においても、縞パターン投影部2aと撮像部3の組み合わせで求めた位相と同様の誤差が生じる場合を考える。この場合、位相値の誤差によって点Rの位置が点R1であると誤認識される。その結果、縞パターン投影部2bによって求められる計測点の位置は、直線B−R1と直線C−Qの各延長線の交点M2となる。この場合、直線C−Qにおいて考えると、点M1と点M2とは点Mを間に挟む位置関係となる。
【0043】
上述のことは、縞パターン投影部2a,2bを用いた場合に発生する計測誤差が、互いに符号が異なる誤差となることを意味する。従って、計測された点M1の座標値と点M2の座標値との平均値を求めることにより、誤差が相殺され、本来の位置である点Mの座標値に近い計測結果を得ることができる。これが3次元形状計測装置1における3次元座標の計測誤差を低減する原理である。
【0044】
ここで、誤差ベクトルの概念を導入する。縞パターン投影部2aのパターン生成部22a上に生じる誤差は、パターン生成部22a上における誤差のない位置から、誤差によって移動した位置に向かうパターン生成部22a上のベクトルの方向と大きさによって表すことができる。このベクトルを誤差ベクトルVaとする(図中では、大きさを拡大して表示している)。同様にパターン生成部22b上における誤差ベクトルVbを定義する。
【0045】
上述の誤差ベクトルVa,Vbを用いると、直線C−Q上で点M1と点M2とが点Mを間に挟む位置関係となるための条件は、誤差ベクトルVa,Vbの、光軸30に直交する方向の成分を成分va,vbとするとき、成分va,vbの向きが互いに同じ向きになることである、と表現される。これは、例えば図3の場合、点P1が点Pの右側に移動し、点R1が点Rの右側に移動するように、同じ側に誤差が発生することを意味する。
【0046】
計測時に発生する位相値の誤差が、上述のような条件を満たすための装置の条件は、縞パターン投影部2a,2bが、撮像部3を挟んで向かい合うように配置され、2つの縞パターン投影部2a,2bから同じ縞パターンSPを投影する場合に満たされる。この条件を[投影部配置条件1]とする。
【0047】
ここで、縞パターン投影部2a,2bから投影する縞パターンSPが同じとは、少なくとも縞パターンSPのパターン変化方向5が同じ方向、ということである。例えば、図1、図2の場合、2つのパターン変化方向5は共に同じくX方向とされている。
【0048】
図4は2つの投影用光軸20a,20bのなす角度と相対誤差の関係を示す。上述の[投影部配置条件1]を満たした上で、さらに計測値の平均値を求める平均化処理を行った後に残る誤差(相対誤差Re)を小さくするための条件[投影部配置条件2]を説明する。図4に示すように、縞パターン投影部2aの光軸20aと撮像部3の光軸30とのなす角度θAを20゜に固定し、縞パターン投影部2bの光軸20bと撮像部3の光軸30とのなす角度θBを変化させたとき、相対誤差Reは、θB=20゜、すなわち、θA=θBのときに最小となっている。この条件が、求める[投影部配置条件2]である。
【0049】
上述のように、角度が等しくなる(θA=θB)のは、2つの投影用光軸20a,20bが、例えば、撮像部3の光軸30に対して線対称に設定されている場合に成り立つ。線対称の場合、3つの光軸20a,20b,30は互いに1つの点Oで交わるが、θA=θBとするには、必ずしもこのようにする必要はない。また、[投影部配置条件1]や[投影部配置条件2]は、必ずしも厳密に満たされなくとも、このような条件に近付けることにより、計測精度を向上できることを説明する。
【0050】
本実施形態の3次元形状計測装置1によれば、上述の[投影部配置条件1,2]を満たすことにより、位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができるので、立体的な被計測物体の表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。
【0051】
(第2の実施形態)
第2の実施形態に係る3次元形状計測装置について図5を参照して説明する。本実施形態の3次元形状計測装置1は、第1の実施形態における撮像部3の撮像レンズにテレセントリックレンズ11を用い、2つの縞パターン投影部2a,2bから縞パターンSPを投影するための投影レンズに、それぞれテレセントリックレンズ12a,12bを用いるものである。
【0052】
上述の第1の実施形態における[投影部配置条件1,2]を満たしていても、誤差は0にはならない。これは、撮像部3の撮像素子31や縞パターン投影部2a,2bのパターン生成部22a,22b上の素子から被計測物体側の空間における光線が、それぞれ平行にならないことに起因する。
【0053】
そこで、パターン生成部22a,22bの対物側、および撮像素子31の対物側におけるレンズを、テレセントリックレンズ11,12a,12bにすることにより、上述の問題を解決する。図5は、[投影部配置条件2]を満たす2つの縞パターン投影部2a,2bに、同じ投影視野の物体側テレセントリックレンズ12a,12bを用いて、撮像部3にも物体側テレセントリックレンズ11を用いた場合の、点M,M1,M2の位置関係を示す。
【0054】
一方のパターン生成部22a上の点P,P1を通る主光線のテレセントリックレンズ12a上の位置をPt,Pt1とする。同様に、他方のパターン生成部22bとテレセントリックレンズ12b上の点R,R1,Rt,Rt1を定義する。このとき、直線Pt−Mと直線Pt1−M1は平行である。また、直線Rt−Mと直線Rt1−M2は平行である。従って、各点間の距離について、(M−M1):(M−M2)=(Pt−Pt1):(Rt−Rt1)という比例関係が成り立つ。また、2つの縞パターン投影部2a,2bで同じ投影視野のレンズを使用していることにより、(Pt−Pt1):(Rt−Rt1)=(P−P1):(R−R1)という比例関係が成り立つ。
【0055】
2点間の距離(P−P1)と距離(R−R1)とは、それぞれの縞パターン投影部2a,2bを用いた場合の位相値の誤差の大きさであるから、この2つが等しい場合、(M−M1)=(M−M2)が成り立つ。従って、一方の縞パターン投影部2aまたは2bを用いて得られた計測結果と、他方の縞パターン投影部2bまたは2aを用いて得られた計測結果とを平均化処理することによって、計測誤差を相殺することができる。これは、点P,Q,Rがそれぞれパターン生成部22a,22b上、または撮像素子31上のどの位置にあるかに依存することなく、すなわち、パターン生成部22a,22b上、または撮像素子31上の全面において成り立つ。
【0056】
上述の通り、平均化処理によって、どの場合でも誤差をゼロにすることができるのは、撮像部3と、2つの縞パターン投影部2a,2bの全てについて、物体側テレセントリックを用いた場合のみである。しかしながら、撮像部3と2つの縞パターン投影部2a,2bの、いずれかのみを物体側テレセントリックにした場合であっても、誤差は0にはできないものの、全てが非テレセントリック系であるよりは誤差を改善することができる。従って、そのような構成も、装置コストや装置寸法の面で制約がある場合においては、有効に採用することができる。
【0057】
本実施形態の3次元形状計測装置1によれば、縞パターン投影部2a,2bからの出射光や撮像部3への入射光を、被計測物体側の空間において平行光線として光学特性を改善できるので、計測精度を向上できる。
【0058】
(第3の実施形態)
第3の実施形態に係る3次元形状計測方法について、図6乃至図11を参照して説明する。本実施形態は、上述の第1、第2の実施形態における3次元形状計測装置1を用いて3次元形状計測を行う方法を示すものである。本実施形態では、自己隠蔽により被計測物体の計測領域に影が発生する場合に、計測精度を向上させることについて説明する。
【0059】
図6は本計測方法の概要を示す。本計測方法では、処理の前半の計測ステップにおいて2組の点群データ取得が独立に行われ(#1,#2)、後半の演算ステップにおいて2組の3次元形状データから微分強度に基づいて画素毎にデータ選択または平均化処理が行われて最良の3次元形状データが決定される(#3)。
【0060】
前半の処理は、図7(a)(b)(c)に示すように、撮像、位相復元、3次元形状復元を行う処理であって、中央制御部42の制御のもとで2つの縞パターン投影部2a,2bを用いて行われる。この処理は、一般的な位相シフト法を用いる計測と同様である。また、後半の処理は、図7(d)に示すように、2つの3次元座標データから選択し、またはこれらを平均化により合成する処理であり、計測結果決定部4aによって行われる。
【0061】
図8は、本計測方法の全体のフローチャートを示す。2組の点群データ取得が行われ(S1,S2)、その後、2組の3次元形状データから各画素毎にデータ処理が行われる(ループLP1〜LP11,LP2〜LP22)。
【0062】
(点群データ取得)
図9は、上述のフローチャートにおける点群データ取得処理(S1,S2)を行うサブルーティンを示す。この処理は、縞パターン投影部2a,2bにとって共通の処理である。以下において、式や変数における添字kは、縞パターン投影部2a,2bを識別するAまたはBを表す。この点群データ取得処理では、3次元形状データおよび微分強度データが点群データとして取得される。
【0063】
ここで、「点群データ」という用語について説明する。位相シフト法を用いる3次元形状計測では、計測領域10に対して一定の位置に固定した撮像部3によって種々の画像が撮像され、参照される。これらの画像は、互いに同じ画素数、および互いに同じx,y座標系(図1参照)のもとでの同じ画素配列を有して構成されている。また、各画素は、XYZ座標系(図1参照)で定義される3次元空間における計測領域10の表面の特定の点に対応している。点群データは、これらの特定の点に関するデータ、すなわち、輝度、XYZ座標値、所定の画像についてその点における輝度の微分強度、などのデータの総称である。通常、そのデータの種類毎に画素数と同じ数のデータの集まり(すなわち点群)となる。
【0064】
上述のように、点群データは画像中の画素毎に取得されるデータであり、点群データ取得処理は、画像を撮像する画像データ取得処理(S10)、および、演算部44による画素毎の点群データ取得のための画像処理(ループLP3〜LP33,LP4〜LP44)によって行われる。この画像処理では、位相シフト法に関する処理(S11,S12)、および微分強度データの取得が行われる(S13)。
【0065】
図10は、画像データ取得処理(S10)を行うサブルーティンを示す。このサブルーティンの処理では、4相の位相シフト法のための4つの縞パターン光による照明のもとでの4つの画像データと、一様照明のもとでの1つの画像データが取得される。縞パターン照明による画像は輝度データIki(x,y),i=0,1,2,3として記録され(LP5〜LP55)、一様照明による画像は輝度データIk(x,y)として記録される(S24〜S26)。ここで、x,yは画像上の画素の位置を示す座標であり、画像のサイズに応じてx=0,1,・・,m,y=0,1,・・,nである。なお、ここでは4相の位相シフト法を用いる例を示すが、3次元形状データを取得するためには、これに限らず3相または5相以上の位相シフト法を用いることもできる。
【0066】
(縞パターン光による画像データ取得)
中央制御部42は、位相変化ループ(LP5〜LP55)において、変数iの値を各ループ毎にi=0,1,2,3と変化させて、投影縞パターンデータ生成(S20)、縞パターン投影(S21)、撮像(S22)、輝度データ記録(S23)を行う。すなわち、中央制御部42は、正弦波の位相をπ/2ずつ変化させて画像データを輝度データとしてメモリ43に4回取り込む。
【0067】
より具体的に述べると、3次元計測処理部4の縞パターンデータ作成部41が、投影縞パターンデータを生成する(S20)。生成された縞パターンデータは、中央制御部42の制御によって縞パターン投影部2a,2bに転送され、縞パターン投影部2a,2bより、正弦波状に明度が変化する縞パターンSPとして被計測物の計測領域10に投影される(S21)。
【0068】
縞パターン生成部22a,22bで作られる縞パターンLki(u,v)は、次式(1)に表される。この縞パターンは、明度が正弦波状に変化する。ここで、(u,v)は縞パターン投影部2a,2bの縞パターン生成部22を構成する透過型液晶板上の座標であり、b(u,v)はバイアス値、a(u,v)は振幅、φ(u)は初期位相(i=0の場合の位相)、iπ/2は初期位相からの位相シフト量(i=0,1,2,3)である。
【0069】
【数1】
【0070】
撮像部3は、縞パターンが投影された被計測物の計測領域10を撮像し(S22)、撮像された各画素の輝度データから成る輝度データIki(x,y)は、3次元計測処理部4のメモリ43に記録される(S23)。
【0071】
(一様照明による画像データ取得)
次に、中央制御部42は、縞パターン投影部2a,2bによって明るさが一様な照明光を被計測物の計測領域10に投影し(S24)、撮像部3によって撮像し(S25)、縞パターンのない一様照明での輝度データIk(x,y)をメモリに記録する(S26)。
【0072】
縞パターンのない画像は、上述のように縞パターンが投影されていない一様照明による状態を撮像して得ることもできるが、位相シフト法計測のために取得した縞パターンの画像を合成して取得することもできる。つまり、具体的な輝度データIkの取得方法として、次の2つの方法を用いることができる。
(1)パターンのない明るさが一定の画像を投影部から投影して撮像する。
(2)Ik=Ik0+Ik1+Ik2+Ik3により合成して求める。
【0073】
(位相算出)
次に、図9に戻って、位相算出(S11)を説明し、その後、3次元データ計算(S12)を説明する。まず、上述の縞パターン投影と撮像によって得られた各画素の輝度値Iki(x,y)(i=0,1,2,3)から、次式(2)によって定義される位相φ(x,y)が算出される(S11)。算出は演算部44において行われる。
【0074】
【数2】
【0075】
この位相φ(x,y)は、画像全体について定まる1つの位相状態について、座標(x,y)で定まる画素点毎の位相(位相値)の分布データである。この式で表される位相分布データと撮像の幾何学条件等から、被計測物体表面の3次元座標を各画素に割り当てた、いわゆる距離画像が得られる。より詳しく説明すると、計測領域10に投影された縞パターンSPは、計測領域10の3次元形状によって変調(歪曲)される。投影時の位相φ(u)と、撮像した画像から求めた位相φ(x,y)は、もとが同じものであるので、撮像部3の撮像素子31上の座標と液晶板上の座標の対応関係を得ることができる。従って、三角測量の原理によって被計測物表面の計測領域10の3次元座標X,Y,Zが、次式(3)によって求められる(S12)。
【0076】
【数3】
【0077】
ここで、(X,Y,Z)は3次元空間における計測領域10の表面の点の座標、u(φ)は液晶板上における画素の座標(位相が変化する方向の座標)である。またpc,ppはそれぞれ、撮像部3、縞パターン投影部2a,2bのキャリブレーションで求められるパラメータであり、次式(4)(5)を満足する。
【0078】
【数4】
【0079】
【数5】
【0080】
上述の処理に基づいて、1つの縞パターン投影部2aまたは2bと撮像部3の組み合わせによる3次元形状計測結果として、画像上の画素位置(x,y)において空間座標データ(X,Y,Z)が定義された3次元点群データPk(x,y;X,Y,Z)が得られる。このように表された3次元点群データは、画像上の1点が3次元点の1点に対応することから、3次元座標ベクトル(X,Y,Z)を値として持つ離散関数である。
【0081】
ところで、隠蔽によって縞パターンSPが投影されていない被計測領域(影の部分)の点や、撮像部3に向けて十分に光を反射しないような被計測領域の点の画素については、正しく3次元座標を求めることができない。そこで、次式(6)で定義される正弦波の振幅A(x,y)が一定値以下になる点を、このような計測不可能点として扱う。このような点の画素に対応する3次元座標は定義されないことになる。3次元座標が定義されない点については、記号NULLを用いて、Pk(x,y)=NULLのように表す。
【0082】
【数6】
【0083】
(微分強度データ計算)
図9における処理では、一様照明での輝度データIk(x,y)について微分強度データ(微分強度画像)を求める計算が行われる(S13)。微分強度画像は、画像のx方向(水平方向)について輝度データの微分値を算出し、その絶対値(すなわち強度)をとって求められる。この算出には、例えばSobelフィルタを用いることができる。輝度データIkに対応するx方向の微分値Dk(x,y)は、次式(7)で求められる。
【0084】
【数7】
【0085】
上式のように画像のx方向について輝度データの微分強度を求めるのは、次の理由による。すなわち、x方向は、縞パターン投影部2a,2bによって照明する照明光の方向(向きは互いに異なる)であり、被計測物体の自己隠蔽による影はx方向の前方または後方に発生する。その影の境界は、x方向に直交する方向成分を優勢な成分として有する。このような影の領域を検出するためにx方向の微分強度が有効に用いられる。
【0086】
以上の処理により、図8のステップS1,S2における、縞パターン投影部2a,2bによる2組の点群データ取得が完了し、3次元形状データPk(x,y;X,Y,Z),k=A,B、微分強度データDk(x,y),k=A,Bが取得される。以下では、図8における各画素についての最良の3次元形状データの選択による画素データの決定と平均化の処理を説明する(ループLP1〜LP11、LP2〜LP22)。なお、Pk(x,y;X,Y,Z)をPk(x,y)と表記し、選択決定された最終の3次元形状データをP(x,y;X,Y,Z)、またはP(x,y)と表記する。
【0087】
(画素データの決定)
図8におけるループ処理において(ループLP1〜LP11,LP2〜LP22)、座標x,yによって指定された特定の画素について、PA(x,y),PB(x,y)の存在の如何が判断され、いずれか一方のみが存在する場合には、その値が選択され、P(x,y)=PA(x,y)、または、P(x,y)=PB(x,y)とされる(S6,S8)。また、いずれも存在していなければ(S3,S7でNo)、P(x,y)は、非存在とされ、「999」などの所定の異常値がP(x,y)に与えられる(S9)。
【0088】
上述の処理(S6,S8,S9)は、各縞パターン投影部2a,2bからの投影方向に依存して発生する3次元立体形状に起因する隠蔽(影ができる、いわゆるオクルージョン)のため計測結果がなくなる場合の対応処理である。これにより、2種類の測定結果のうち、一方が隠蔽の影響を受ける場合、他方を正しい計測結果として選択して、隠蔽部分の補完をすることができる。
【0089】
PA(x,y),PB(x,y)がいずれも存在する場合に(S3とS4でYes)、微分強度に基づく画素データの選択決定が行われる(S5)。ここの処理では、処理の対象となる画素データが、隠蔽によって画像に生じた影の境界部分のデータか、または影から離れた位置のデータかによって区別され、それぞれ最適化される。影の境界部分では、影の影響で輝度値が正常値から変化している(ぼけが発生している)と考えられる。影の境界部分の検出に微分強度が用いられる。
【0090】
図11は、上述の微分強度に基づく画素データ決定処理(S5)を行うサブルーティンを示す。ここで、微分強度データDk(x,y),k=A,Bを簡単に、微分強度DA,DBと表す。現在処理中の座標x,yにおける画素について、微分強度の差DA−DBを所定の閾値Tと比較し、差が閾値より大きければ(DA−DB>T、#10でYes)、P(x,y)=PB(x,y)とする(#11)。逆に、微分強度の差、DA−DBが、閾値Tより小さければ、すなわち、−(DA−DB)>Tであれば(#12でYes)、P(x,y)=PA(x,y)とする(#13)。
【0091】
また、差DA−DBが閾値Tよりも大きくなく、かつ、−Tよりも小さくなければ、すなわち、差の絶対値が閾値以下、|DA−DB|≦Tの場合(#10,#12でNo)、平均値を算出して、P(x,y)=(PA(x,y)+PB(x,y))/2とする(#14)。
【0092】
上述の選択および平均値化の処理の原理を、さらに、図12乃至図15を参照して説明する。図12(a)は、縞パターン投影部2aによって方向LAからの一様照明のもとで撮像した画像IAを示し、隠蔽による影が領域15にy方向に沿って発生している。図12(b)は、前記と同じ計測領域を、縞パターン投影部2bによって方向LBからの一様照明のもとで撮像した画像IBを示し、領域15には影が発生していない。
【0093】
図13(a)(b)は、それぞれ上述の画像IA,IBから、前出の式(7)によって求めた微分強度画像DA,DBである。画像DAにおいては、領域15と領域16に影の痕跡と境界部分の痕跡が認められ、画像DBにおいては、痕跡が認められない。
【0094】
図14(a)は、上述の画像IAに対応して段差がある計測領域の3次元形状計測データについて、あるy座標値(Y座標値)におけるZ座標の測定値をX座標に対する変数値として示す。この測定結果では、段差による隠蔽のため領域x1における計測値(破線が真の座標値)が得られなく、境界部分である領域x2においては、影の影響のため真値からのずれが発生している。
【0095】
図14(b)は、同様に上述の画像IBに対応するZ座標の測定値を示す。この測定結果では、影の発生がないので、真値に沿った結果が得られている。なお、領域x1,x2は上述の領域15,16に対応する。
【0096】
図14(a2)(b2)は、それぞれ上述の画像IA,IBに対応する図である。ここで、画像IAにおいて、領域x1のように隠蔽による影の部分を領域a1、領域x2のように影の境界部分を領域a2、その他の部分を領域a3とする。また、画像IBにおいて、領域a1,a2,a3に対応する部分を、領域b1,b2,b3とする。
【0097】
上述の図8におけるステップS8の処理は、領域b1における計測値を採用する処理であり、図11におけるステップ#11の処理は、領域b2における計測値を採用する処理であり、図11におけるステップ#14の処理は、領域a3と領域b3における計測値の平均値を採用する処理である。これらの処理に関して、PA(x,y)とPB(x,y)とは互いに相補的であり、一方に影ができて他方に影ができないときに、または、共に影ができないときに、互いに補完し合ってP(x,y)の計測精度を向上させることができる。
【0098】
図15(a)は、図14(a2)における、あるy値についての輝度値IAxおよび微分強度DAx(これは絶対値)のx方向変化を示し、図15(b)は、同様に、図14(b2)における輝度値IBxおよび微分強度DBxのx方向変化を示す。これらの図から、微分強度の差(DA−DB)によって領域x2を検出できることが分かる。つまり、IA,IBについての微分強度の差が大きい箇所は、どちらかに影の境界線ができている場所であると判断でき、影のない方の3次元点を選択することができる。
【0099】
これは、物体表面のテクスチャ(文字や柄)の場合は、どちらからの投影であっても微分強度はほぼ等しい値になるのに対し、隠蔽により、どちらか一方の投影によってできた影の場合は一方にしか大きい微分強度値が現れない、ということを利用している。そこで、例えば、図11におけるステップ#10において、DA−DB>Tが成立して領域a2が検出されるので、P(x,y)として、領域b2における計測値PB(x,y)が採用される。
【0100】
本実施形態の3次元形状計測方法によれば、2つの縞パターン投影部2a,2bによって取得した3次元形状計測データを、照明方向に沿って輝度を微分した微分強度に基づいて計測データを選択し、さらには、計測データの平均値を算出して計測結果とするので、隠蔽による影の部分や、影の境界部分や、影や影の境界ではない部分において、それぞれ最適の計測結果とすることができ、3次元形状計測の精度を向上させることができる。また、平均化処理によると、ランダム雑音の影響を低減させることができ、3次元形状計測の精度を向上させることができる。
【0101】
また、本実施形態の3次元形状計測方法は、2つの縞パターン投影部2a,2bが対向配置されている(図1、図2)ことによる装置特性だけを用いているので、それぞれの縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きには依存していない処理である。
【0102】
(第4の実施形態)
第4の実施形態に係る3次元形状計測方法について、図16乃至図21を参照して説明する。本実施形態は、上述の第3の実施形態における隠蔽部分(領域a1)および影の境界部分(領域a2)の求め方(特定の仕方)を、微分強度を用いるのではなく、差分画像、2値化処理、および膨張処理によって行うものである。従って、点群データの取得の部分は、第3の実施形態と同様である。
【0103】
図16(a)は、縞パターン投影部2aによって図の左方からの一様照明のもとで撮像した画像IAを示し、右側に隠蔽による影SAが発生しており、図16(b)は、前記と同じ計測領域を、縞パターン投影部2bによって右方からの一様照明のもとで撮像した画像IBを示し、左側に影SBが発生している。
【0104】
図17(a)は、上記2つの画像の差分画像(IA−IB)を示し、図17(b)は、同様に差分画像(IB−IA)を示す。この差分処理において、例えば、画像の暗部の輝度値をゼロとし、明部を輝度値をその明るさに応じた正値とすると、一方の画像における影(暗部)に対応する部分が、他方の画像における明部から取り出される。輝度値の差分値が負の値は、画像において暗部とされている。
【0105】
図18(a)(b)は、上記差分画像(IA−IB),(IB−IA)を所定の閾値で明暗(白黒)の2値とし2値化画像GA,GBである。この処理により、画像IAにおける影SA部分が2値化画像GBに領域eAとして抽出され、画像IBにおける影SB部分が2値化画像GAに領域eBとして抽出される。
【0106】
図19(a)(b)は、それぞれ、上記2値化画像GA,GBにおいて明部、すなわち領域eA,eBを膨張処理して、拡張領域EA,EBとした拡張2値化画像GAE,GBEである。この膨張処理は、明部(白部)の各画素について、所定の画素数α、例えばα=5だけ周囲の画素を白とする処理である。この処理により、抽出された影の領域の周辺部分が画素数αだけ拡張される(広がる)ことになり、影の境界部分が拡張領域EA,EBに取り込まれることになる。
【0107】
図20は、点群データを取得し、上述の拡張領域EA,EBを生成するまでの処理のフローチャートを示す。ステップS31,S32の処理は、図8におけるステップS1,S2の処理と同様である。ステップS33では、各画素の輝度値の差分から成るいわゆる差分画像ID(x,y)=ID=IA−IBが算出される。この差分画像における各画素は、一般に正負の差分値を有し、その絶対値が大きな画素は隠蔽による影の部分に対応する。
【0108】
上述の隠蔽による影の部分を明確化するために、を正負の閾値(DTH>0、と−DTH)で2値化して、2値化画像GA,GBを算出する(S34)。ID(x,y)≧DTHの場合に画素値を1(明)とし、ID(x,y)<DTHの場合に画素値を0(暗)とする。このようにして得られた画像GA(x,y)は、IBにおける影の部分を明部として有する画像である(図16乃至図19の説明参照)。同様に、ID(x,y)≦−DTHの場合に画素値を1(明)とし、ID(x,y)>−DTHの場合に画素値を0(暗)とする。このようにして得られた画像GB(x,y)は、IAにおける影の部分を明部として有する画像である。
【0109】
次に、上述の影の部分に影の境界部分を含ませるために、画像GA(x,y),GB(x,y)における値1を有する画素を、それぞれα(定数)画素拡張し、得られた画像をGAE(x,y),GBE(x,y)とする(S35)。
【0110】
上述の明部が拡張された2つの画像における値1を有する画素領域が、それぞれ影の境界部分を包含する領域EA,EBとして抽出される(S36)。
【0111】
(画素データの決定)
図21は、第3の実施形態の図8のフローチャートにおけるxyループ部分に対応する処理ルーティンを示す。xyループ処理において(ループLP1〜LP11,LP2〜LP22)、座標x,yによって指定された特定の画素(注目画素)について、PA(x,y),PB(x,y)の存在の如何が判断され、いずれも存在していなければ(S3,S7でNo)、P(x,y)は、非存在とされ、「999」などの所定の異常値がP(x,y)に与えられる(S42)。
【0112】
また、少なくともいずれか一方が存在する場合には(S41でYes)、注目画素が領域EB内かどうか判断され、EB内であれば(S43でYes)、P(x,y)=PA(x,y)とされる(S44)。また、EB内でなければ(S43でNo)、さらに領域EA内かどうか判断され、EA内であれば(S45でYes)、P(x,y)=PB(x,y)とされる(S46)。
【0113】
注目画素が領域EA,EB内のいずれでもない場合には(S45でNo)、平均値が算出され、P(x,y)=(PA(x,y)+PB(x,y))/2とされる(S47)。
【0114】
本実施形態の3次元形状計測方法によれば、隠蔽による影の部分と影の境界部分について、近接する画素間の輝度値の差分に基づく離散的な微分強度によらずに、適切な計測結果の選択を確実に実行でき、計測誤差を低減して精度の高い計測ができる。また、本実施形態の計測方法は、上述の第3の実施形態と同様に、各縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きには依存していない処理である。
【0115】
(第5の実施形態)
図22は、第5の実施形態に係る3次元形状計測装置および計測方法を示す。本実施形態は、第1または第2の実施形態とは、縞パターン投影部2a,2bが投影する縞パターンSPのパターン変化方向5をX軸方向(x軸方向)からずらした互いに平行な同じ方向としている点が異なり、他の点は同様である。
【0116】
本実施形態の3次元形状計測方法および装置によると、第1または第2の実施形態と同様に、2つの縞パターン投影部2a,2bを互いに対向する位置に配置する構成としており、各縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きを同じとしているので、第1、第2の実施形態と同様に、位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができ、表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。
【0117】
また、本実施形態の3次元形状計測方法および装置によると、2つの縞パターン投影部2a,2bを互いに対向する位置に配置する構成としているので、第3、第4の実施形態と同様に、各縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きには依存せずに、一方側からの照明によって発生する隠蔽(オクルージョン)による計測データの欠損や影の境界部分におけるデータ損傷を、他方側からの照明による計測データによって補完することができる。
【0118】
なお、本発明は、上記各実施形態によって示した構成に限られることなく種々の変形が可能である。例えば、上述した各実施形態の構成を互いに組み合わせた構成とすることができる。また、位相シフト法で用いられる縞パターンSPは、明度が必ずしも正弦波状に変化するパターンである必要はなく、明度が周期的に変化する縞パターンであればよい。
【図面の簡単な説明】
【0119】
【図1】本発明の第1の実施形態に係る3次元形状計測装置の模式的構成図。
【図2】同上装置の投影部、撮像部、および縞パターンの位置関係を示す平面図。
【図3】同上装置における投影部からの照明光および撮像部への入射光の各光路と計測誤差との関連を説明する平面図。
【図4】同上装置における2つの投影用光軸のなす角度と相対誤差の関係を示すグラフ。
【図5】第2の実施形態に係る3次元形状計測装置における投影部からの照明光および撮像部への入射光の各光路を示す平面図。
【図6】第3の実施形態に係る3次元形状計測方法の概要を示すフローチャート。
【図7】(a)〜(d)は同上方法の要点を段階的に示す模式的概念図。
【図8】同上方法を説明するフローチャート。
【図9】同上方法における点群データ取得のフローチャート。
【図10】同上方法における画像データ取得のフローチャート。
【図11】同上方法における画素データ決定のフローチャート。
【図12】(a)(b)は同じ計測領域を異なる方向から照明して撮像した画像。
【図13】(a)(b)は図12(a)(b)の画像についてのx方向微分画像。
【図14】(a)は隠蔽された領域を含む計測領域の3次元形状データをX座標に対するZ座標値で示すグラフ、(b)は同領域を隠蔽なしの条件で計測した3次元形状データを示すグラフ、(a1)は(a)における計測領域の画像、(b1)は(b)における計測領域の画像。
【図15】(a)は図14(a2)の画像におけるx軸方向の輝度値と微分値のグラフ、(b)は図14(b2)の画像におけるx軸方向の輝度値と微分値のグラフ。
【図16】(a)(b)は第4の実施形態に係る3次元形状計測方法を説明するための、同じ計測領域を異なる方向から照明して撮像した画像。
【図17】(a)は図16(a)の画像から図16(b)の画像を差し引いた差分画像、(b)は図16(b)の画像から図16(a)の画像を差し引いた差分画像。
【図18】(a)(b)はそれぞれ図17(a)(b)の画像を2値化した画像。
【図19】(a)(b)はそれぞれ図18(a)(b)の画像における白画素領域を拡張した画像。
【図20】同上方法における点群データ取得と前処理のフローチャート。
【図21】同上方法における画素データ決定のフローチャート。
【図22】第5の実施形態に係る3次元形状計測方法および装置を説明するための投影部、撮像部、および縞パターンの位置関係を示す平面図。
【図23】従来および本発明が適用される反射率の異なる領域を含む計測領域の一様照明のもとでの画像。
【図24】図23の画像におけるx0方向に沿った輝度値変化を示すグラフ。
【図25】(a)〜(d)はそれぞれ図23の画像を明度がx方向に正弦波状に変化する照明のもとで位相変化分を初期位相0から、π/2,π,3π/2とした場合のx0方向に沿った輝度値変化の計算値を示すグラフ。
【図26】(a)〜(d)はそれぞれ図25(a)〜(d)の輝度値に移動平均処理を行って輝度変化をぼかした状態のグラフ。
【図27】図25(a)〜(d)から算出した初期位相のx方向の変化を示すグラフと図26(a)〜(d)から算出した初期位相のx方向の変化を示すグラフを重ねて示したグラフ。
【図28】図27のD部を拡大したグラフ。
【図29】位相シフト法における投影部からの照明光および撮像部への入射光の各光路と計測誤差との関連を説明する平面図。
【符号の説明】
【0120】
1 3次元形状計測装置
2,2a,2b 縞パターン投影部
3 撮像部
4 計測処理部
10 計測領域
11,12a,12b テレセントリックレンズ
20,20a,20b 投影用光軸
30 撮像部光軸
SP 縞パターン
X,Y,Z 3次元座標
【技術分野】
【0001】
本発明は、被計測物体の3次元形状計測方法および装置に関する。
【背景技術】
【0002】
従来から、非接触かつ自動処理により被計測物体の3次元形状を計測する方法として、いわゆる位相シフト法が知られている。位相シフト法は、互いに位相をずらした正弦波縞パターン光による照明状態のもとで撮像した複数の縞パターン画像つまり複数の輝度分布データを用いて、画像全体について定まる1つの位相状態について画素点毎の位相を求め、その位相の分布データを3次元座標決定の基礎データとする。3次元形状計測結果は、位相分布データと撮像の幾何学条件等から得られ、各画素に被計測物体表面の3次元座標を割り当てた距離画像として得られる。
【0003】
位相シフト法を用いて3次元形状計測を行う場合に、被計測物体表面に反射率の異なる部分、例えば、文字や柄があると、これらの文字や柄と背景部分の境界において計測誤差が発生する。その原因は、境界部分における注目画素の輝度がその周辺画素の輝度に影響されてぼけて真の輝度から変化することによる。このぼけは、例えば、撮像の際の焦点ぼけやレンズの変調伝達関数特性に基づくぼけによる。縞パターン画像がぼけると基礎データとする位相の分布データが誤差を含み、計測誤差が発生する。
【0004】
上述の誤差の発生をシミュレーションにより図23乃至図28を参照して説明する。図23は反射率の異なる領域を含む計測領域を一様照明のもとで撮像した画像Gを示し、図24は図23の画像Gにおけるx0方向に沿った輝度値変化を示す。これらの図に示すように一様照明のもとで明部(領域w2)と暗部(領域w1,w3)とが2値の輝度値L1,L2となるコントラストのある対象領域に対して、強制的にぼけを発生させて比較する。図25(a)〜(d)は、明度がx方向に正弦波状に変化する照明のもとで、それぞれ位相変化分δφを0(初期位相状態)から、π/2,π,3π/2とした場合の、x0方向に沿った輝度変化の計算値を示す。これはぼけのないデータである。図26(a)〜(d)は、図25(a)〜(d)の輝度変化に標準偏差σのガウス移動平均処理を行って、計算により強制的に輝度変化をぼかして得たデータである。図27は、図25(a)〜(d)から算出した位相分布と、図26(a)〜(d)から算出した位相分布とを重ねて示している。図28は、図27において位相差ΔPが生じている部分Dを拡大して示している。図27、図28に示すように、明暗の境界xbの位置で、破線で示したぼかし有りの位相値は、実線で示したぼかしのない正しい位相値から変化して、位相差ΔPの誤差を有している。
【0005】
上述の位相値の誤差による3次元座標の計測誤差の発生について説明する。図29は位相シフト法による3次元計測における3次元計測点を特定する仕組みをピンホールモデルで示す。縞パターン投影装置はパターン生成部22を備え、撮像装置(カメラ)は撮像素子31を備えている。点Aは縞パターン投影装置の光学中心、点Cはカメラの光学中心、点Oは縞パターン投影装置の光軸とカメラの光軸との交点である。カメラによって撮像された画像から求められる位相値は、投影装置内部のパターン生成部22上の座標に1対1対応する。そこで、撮像素子31における或る画素について位相を求めると、パターン生成部22上の点Pの位置と、これに対応する撮像素子31上の点Qの位置が特定される。
【0006】
また、計測したい点Mの位置は、直線A−Pと直線C−Qの各延長線の交点Mとして求められる。上述した位相値の誤差が生じた場合に、パターン生成部22上の点Pの位置が、位相値の誤差に従って少しずれた点P1として認識される。このとき、計測された点の位置は、直線A−P1と直線C−Qの延長線の交点M1となる。すなわち、位相値の誤差により、線分M−M1の長さ分の誤差が3次元計測値の誤差となる。
【0007】
上述のような特性を有する位相シフト法は、被計測物体上に反射率の異なる部分があると、その部分の明暗状態が表面形状を反映しないものとなって計測誤差を発生するので、被計測物体は白く塗装して計測される。従って、位相シフト法による3次元形状計測は、例えば、3次元CADに基づいて製作された製品が正しい形状にできているかを検証するために、白塗装された試作段階の物体について行われるが、実際の生産工程におけるインライン計測には殆ど使われていない。
【0008】
また、位相シフト法において、カメラの視野方向と投影装置による投影方向とが異なることに加え被計測物体が3次元形状であることにより発生する自己隠蔽(いわゆるオクルージョン)や、影、乱反射、などの影響を解消するため、異なる複数の方向から縞パターン光を投影したり、被計測物体を回転させたりして、計測精度を上げることが提案されている(例えば、特許文献1参照)。
【特許文献1】特開平7−19825号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、上述したように、従来の位相シフト法は実際の生産工程におけるインライン計測には殆ど使われていない。また、上述した特許文献1に示されるような位相シフト法による計測方法は、被計測物体表面の反射率の違いにより発生する計測誤差を解決することができない。
【0010】
本発明は、上記課題を解消するものであって、簡単な構成により、表面に文字や柄などによる反射率の異なる領域が混在する被計測物体や自己隠蔽による影が発生する被計測物体についても計測精度を向上できる位相シフト法による3次元形状計測方法および装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を達成するために、請求項1の発明は、明度が正弦波状に変化する縞パターンを異なる位相で3回以上被計測物体に投影して撮像し、得られた複数の画像を用いて各画素における被計測物体の3次元座標を位相シフト法により求める3次元形状計測方法において、被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸を含む平面内に投影用光軸を2つ設定し、前記投影用光軸の各方向からそれぞれ独立に計測領域に縞パターンを投影すると共に前記撮像部によって撮像して2種類の3次元座標を求める計測ステップと、前記計測ステップにより前記撮像部の撮像素子上の1点に対応して得られる2種類の3次元座標の平均値を算出する演算ステップと、を含むものである。
【0012】
請求項2の発明は、請求項1に記載の3次元形状計測方法において、前記2つの投影用光軸が、前記撮像部の光軸に対して線対称に設定されているものである。
【0013】
請求項3の発明は、請求項1または請求項2に記載の3次元形状計測方法において、前記2つの投影用光軸の一方から縞パターンを投影して撮像された画像に影が生じた場合に、その影の部分を任意の距離だけ拡張した領域について、他方の投影用光軸から縞パターンを投影して撮像された画像に基づく3次元座標を用いるものである。
【0014】
請求項4の発明は、請求項1乃至請求項3のいずれか一項に記載の3次元形状計測方法
において、前記撮像部の撮像レンズ、または前記2つの投影用光軸から縞パターンを投影するための投影レンズのいずれかにテレセントリックレンズを用いるものである。
【0015】
請求項5の発明は、請求項1乃至請求項4のいずれか一項に記載の3次元形状計測方法において、前記撮像部の撮像レンズ、および前記2つの投影用光軸から縞パターンを投影するための投影レンズのそれぞれにテレセントリックレンズを用いるものである。
【0016】
請求項6の発明は、請求項1乃至請求項5のいずれか一項に記載の3次元形状計測方法を用いる3次元形状計測装置である。
【発明の効果】
【0017】
請求項1の発明によれば、2種類の3次元座標の平均値を計測結果とすることができるので、位相値の誤差やランダムノイズに起因する3次元座標の計測誤差を低減することができ、精度の高い計測ができる。
【0018】
請求項2の発明によれば、位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができるので、表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。
【0019】
請求項3の発明によれば、自己隠蔽による影の部分の周辺において発生する位相値の誤差に起因する3次元座標の計測誤差を解消でき、計測精度を向上できる。
【0020】
請求項4の発明によれば、投影装置からの出射光や撮像部への入射光を、被計測物体側の空間において平行光線として光学特性を改善できるので、計測精度を向上できる。
【0021】
請求項5の発明によれば、請求項4と同等の効果が得られる。
【0022】
請求項6の発明によれば、自己隠蔽による影が発生したり、表面に文字や柄などによる反射率の異なる領域が混在したりする被計測物体についても、計測精度を向上できる位相シフト法による3次元形状計測装置を提供することができる。
【発明を実施するための最良の形態】
【0023】
(第1の実施形態)
第1の実施形態に係る3次元形状計測装置について図1乃至図4を参照して説明する。なお、図1に示す構成は他の実施形態に共通であり、他の実施形態においても参照する。また、本実施形態と次の第2の実施形態では、自己隠蔽のない立体表面の形状計測について説明しており、自己隠蔽による影を有する被計測物体の形状計測については、第3、第4の実施形態において説明する。
【0024】
図1、図2は3次元形状計測装置の構成を示す。3次元形状計測装置1は、文字や柄などによる反射率の異なる領域が表面に混在する被計測物体についても、位相シフト法を用いて非接触で精度良くその3次元形状を計測可能とする装置であって、画像中の画素毎に被計測物体の3次元座標を求めることができる。この3次元形状計測装置1は、基本的に、通常の位相シフト法による3次元形状計測を複数回行い、その計測結果から最良の計測結果を決定することにより、最終的に高精度の3次元形状計測を可能にする。
【0025】
このため、3次元形状計測装置1は、互いに異なる方向(本例の場合対向する方向)から被計測物体の計測領域10に縞パターンを投影する2系統(第1および第2)の縞パターン投影部2a,2b(総称して縞パターン投影部2と表記)と、計測領域10の上方に設置されて計測領域10を撮像する撮像部3と、縞パターン投影部2および撮像部3とを制御すると共に縞パターン投影部2および撮像部3から出力されるデータを基に計測領域10の3次元形状を求める計算を行う3次元計測処理部4とを備えている。計測領域10は、任意の3次元凹凸表面を有する被計測物体の表面領域である。
【0026】
縞パターン投影部2a,2bは、それぞれ照明部21a,21b(総称して21)、縞パターン生成部22a,22b(総称して22)、および投影光学部23a,23b(総称して23)を備えている。照明部21は、光源と光源からの光を平行光に変換するコンデンサーレンズとを用いて構成される。縞パターン生成部22は、光の透過率が一方向に沿って正弦波状に変化する、平面上において平行縞となる縞パターンを生成する部分であり、透過型液晶板と偏光板とを用いて構成される。投影光学部23は、縞パターン生成部22で作られた縞パターンを計測対象物に投影するためのレンズで構成される。
【0027】
縞パターン投影部2a,2bの各投影用光軸20a,20b(総称して20)は、撮像部3の光軸30を含む平面に含まれるように設定されている。なお、縞パターン投影部2a,2bは、実際に複数の機器を準備する必要はなく、1系統の縞パターン投影部2の配置を変えることにより2系統の動作を実現してもよい。これは、複数系統からの照明のもとで同時に撮像することはないからである。しかしながら、撮像の段取り変えに要する時間などを考えると、複数系統を固定して移動せずに用いる方が好ましい。
【0028】
上述の縞パターン生成部22を構成する透過型液晶板と偏光板とは、反射型液晶板と偏光板との組合せ、縞パターンを焼き付けたフィルムと所定の位相をずらすためのそのフィルムを移動させるアクチュエータとの組合せ、またはデジタルミラーデバイス(DMD)などによって、同等の機能を実現するようにしてもよい。
【0029】
撮像部3は、計測領域10からの光を光電変換して画像データを生成するための撮像素子31と、計測領域10の像を撮像素子31上に形成するための光学レンズから成る撮像光学部32とを備えている。
【0030】
3次元計測処理部4は、縞パターンデータ作成部41と、中央制御部42と、メモリ43と、演算部44と、計測結果や撮像画像等を表示する表示部45と、本装置の操作に必要な入出力部(不図示)と、を備えている。また、演算部44は、最終的な計測結果を決定するための計測結果決定部4aを備えている。このような3次元計測処理部4は、CPU、外部記憶装置、表示装置、入力装置などを備えた一般的な構成を備えたコンピュータ、およびコンピュータ上のプロセスや機能の集合を用いて構成することができる。
【0031】
表示部45は、通常のコンピュータ周辺機器として用いられる液晶ディスプレイやCRT等で構成することができる。入出力部は、簡単なスイッチ群で構成したり、通常のコンピュータ周辺機器におけるマウスやキーボード等を用いて構成される。縞パターンデータ作成部41は、縞パターン投影部2a,2bの縞パターン生成部22において生成される縞パターンのもとになるデータを生成する。
【0032】
中央制御部42は、縞パターン投影部2a,2bに送る縞パターンのもとデータの送信制御、縞パターン投影部2a,2bの投影制御、撮像部3の撮像制御などを行って、計測領域10に投影する縞パターンの位相を一定の位相間隔でシフトさせると共に、各位相のもとで照明した計測領域10の撮像部3による撮像を制御する。中央制御部42は、このほか、表示部45や入出力部その他の各部の制御を行う。
【0033】
メモリ43は、3次元形状計測に必要なデータを記録するところであり、撮像部3と縞パターン投影部2a,2bの空間配置に関するデータ、撮像部3の分解能、縞パターンのピッチ、位相シフト量、撮像部3により撮像された画像データ等のデータが記録される。
【0034】
演算部44は、メモリ43に記録されたデータを用いて、位相シフト法における撮像画像の各画素での位相値を求め、求まった位相値に基づいて各画素点毎に計測領域10の3次元形状座標を算出する。
【0035】
(縞パターン投影部2a,2bと撮像部3の空間配置)
本実施形態では、被計測物体の計測領域10の上方に撮像部3が設置され、撮像部3の光軸30と、2系統の縞パターン投影部2a,2bの各投影用光軸20a,20bとが同一平面内に設定され、2つの縞パターン投影部2a,2bが互いに撮像部3を挟むように配置されている。3つの光軸20a,20b,30は互いに1つの点Oで交わるように配置されるが、必ずしもこのようにする必要はない。
【0036】
ここで、便宜上右手系直交座標系を構成する空間の座標軸X,Y,Z、および画像面における座標軸x,yを定義する。Z軸は撮像部3の光軸30とし、X軸は3つの光軸が含まれる面にあるとする。座標軸x,yは、座標軸X,Yに一致させて、または対応させて定義することができる。また、便宜上、x軸方向を水平方向と呼ぶことがある。
【0037】
(縞パターンSPの配置)
本実施形態の位相シフト法で用いられる縞パターンSPは、明度が一定方向(以下、パターン変化方向5)に沿って正弦波状に変化するパターンである。本実施形態においては、パターン変化方向5を、X,x軸方向に設定している。
【0038】
(動作説明)
本実施形態の3次元形状計測装置1が、被計測物体の表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できることを説明する。要点は、互いに撮像部3を挟むように配置した2つの縞パターン投影部2a,2bを用いて形状計測を行い、2種類の計測結果を平均化することにより、個々の縞パターン投影部2a,2bによる計測における位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができることによる。
【0039】
図3は、縞パターン投影部2a,2bからの照明光および撮像部3への入射光の各光路と計測誤差との関連を示す。既に、位相シフト法における従来の問題として、図23乃至図28、および図29を参照して、表面に反射率の異なる領域が混在する被計測物体における位相値の誤差発生と、その位相値の誤差による計測精度の発生を説明した。ここでは、本実施形態の3次元形状計測装置1が、2つの縞パターン投影部2a,2bを備えることにより、2種類の3次元座標の平均値を計測結果として3次元座標の計測誤差を低減できる原理を示す。
【0040】
図3は、図29で説明した位相シフト法による3次元計測のピンホールモデルにおいて、光学中心を点Bとする第2の投影装置を追加したものである。本図において、2つの縞パターン投影部2a,2bはそれぞれパターン生成部22a,22bを備え、撮像部3は撮像素子31を備えている。点A,Bは縞パターン投影部2a,2bの光学中心、点Cは撮像部3の光学中心、点Oは縞パターン投影部2a,2bの光軸20a,20bと撮像部3の光軸30との交点である。点A,Bが点Cを挟んで、向かい合うように配置されている。撮像部3によって撮像された画像から求められる位相値は、パターン生成部22a,22b上の座標に1対1対応する。そこで、撮像素子31における或る画素について位相を求めると、パターン生成部22a上の点Pの位置と、これに対応する撮像素子31上の点Qの位置が特定される。
【0041】
また、計測しようとする点Mの位置は、直線A−Pと直線C−Qの各延長線の交点Mとして求められる。上述した位相値の誤差が生じた場合に、パターン生成部22a上の点Pの位置が、位相値の誤差に従って少しずれた点P1として認識される。このとき、計測された点の位置は、直線A−P1と直線C−Qの延長線の交点M1となる。位相値の誤差により、線分M−M1の長さ分の誤差が3次元計測値の誤差となる。なお、光学中心とは、各光学装置において入射光または出射光が一点に収束する仮想の点である。
【0042】
縞パターン投影部2bにおいて、測定しようとする点Mに対応するパターン生成部22b上の点をRとすると、点Rは直線B−Mとパターン生成部22bの平面との交点となる。ここで、縞パターン投影部2bと撮像部3の組み合わせで求めた位相においても、縞パターン投影部2aと撮像部3の組み合わせで求めた位相と同様の誤差が生じる場合を考える。この場合、位相値の誤差によって点Rの位置が点R1であると誤認識される。その結果、縞パターン投影部2bによって求められる計測点の位置は、直線B−R1と直線C−Qの各延長線の交点M2となる。この場合、直線C−Qにおいて考えると、点M1と点M2とは点Mを間に挟む位置関係となる。
【0043】
上述のことは、縞パターン投影部2a,2bを用いた場合に発生する計測誤差が、互いに符号が異なる誤差となることを意味する。従って、計測された点M1の座標値と点M2の座標値との平均値を求めることにより、誤差が相殺され、本来の位置である点Mの座標値に近い計測結果を得ることができる。これが3次元形状計測装置1における3次元座標の計測誤差を低減する原理である。
【0044】
ここで、誤差ベクトルの概念を導入する。縞パターン投影部2aのパターン生成部22a上に生じる誤差は、パターン生成部22a上における誤差のない位置から、誤差によって移動した位置に向かうパターン生成部22a上のベクトルの方向と大きさによって表すことができる。このベクトルを誤差ベクトルVaとする(図中では、大きさを拡大して表示している)。同様にパターン生成部22b上における誤差ベクトルVbを定義する。
【0045】
上述の誤差ベクトルVa,Vbを用いると、直線C−Q上で点M1と点M2とが点Mを間に挟む位置関係となるための条件は、誤差ベクトルVa,Vbの、光軸30に直交する方向の成分を成分va,vbとするとき、成分va,vbの向きが互いに同じ向きになることである、と表現される。これは、例えば図3の場合、点P1が点Pの右側に移動し、点R1が点Rの右側に移動するように、同じ側に誤差が発生することを意味する。
【0046】
計測時に発生する位相値の誤差が、上述のような条件を満たすための装置の条件は、縞パターン投影部2a,2bが、撮像部3を挟んで向かい合うように配置され、2つの縞パターン投影部2a,2bから同じ縞パターンSPを投影する場合に満たされる。この条件を[投影部配置条件1]とする。
【0047】
ここで、縞パターン投影部2a,2bから投影する縞パターンSPが同じとは、少なくとも縞パターンSPのパターン変化方向5が同じ方向、ということである。例えば、図1、図2の場合、2つのパターン変化方向5は共に同じくX方向とされている。
【0048】
図4は2つの投影用光軸20a,20bのなす角度と相対誤差の関係を示す。上述の[投影部配置条件1]を満たした上で、さらに計測値の平均値を求める平均化処理を行った後に残る誤差(相対誤差Re)を小さくするための条件[投影部配置条件2]を説明する。図4に示すように、縞パターン投影部2aの光軸20aと撮像部3の光軸30とのなす角度θAを20゜に固定し、縞パターン投影部2bの光軸20bと撮像部3の光軸30とのなす角度θBを変化させたとき、相対誤差Reは、θB=20゜、すなわち、θA=θBのときに最小となっている。この条件が、求める[投影部配置条件2]である。
【0049】
上述のように、角度が等しくなる(θA=θB)のは、2つの投影用光軸20a,20bが、例えば、撮像部3の光軸30に対して線対称に設定されている場合に成り立つ。線対称の場合、3つの光軸20a,20b,30は互いに1つの点Oで交わるが、θA=θBとするには、必ずしもこのようにする必要はない。また、[投影部配置条件1]や[投影部配置条件2]は、必ずしも厳密に満たされなくとも、このような条件に近付けることにより、計測精度を向上できることを説明する。
【0050】
本実施形態の3次元形状計測装置1によれば、上述の[投影部配置条件1,2]を満たすことにより、位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができるので、立体的な被計測物体の表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。
【0051】
(第2の実施形態)
第2の実施形態に係る3次元形状計測装置について図5を参照して説明する。本実施形態の3次元形状計測装置1は、第1の実施形態における撮像部3の撮像レンズにテレセントリックレンズ11を用い、2つの縞パターン投影部2a,2bから縞パターンSPを投影するための投影レンズに、それぞれテレセントリックレンズ12a,12bを用いるものである。
【0052】
上述の第1の実施形態における[投影部配置条件1,2]を満たしていても、誤差は0にはならない。これは、撮像部3の撮像素子31や縞パターン投影部2a,2bのパターン生成部22a,22b上の素子から被計測物体側の空間における光線が、それぞれ平行にならないことに起因する。
【0053】
そこで、パターン生成部22a,22bの対物側、および撮像素子31の対物側におけるレンズを、テレセントリックレンズ11,12a,12bにすることにより、上述の問題を解決する。図5は、[投影部配置条件2]を満たす2つの縞パターン投影部2a,2bに、同じ投影視野の物体側テレセントリックレンズ12a,12bを用いて、撮像部3にも物体側テレセントリックレンズ11を用いた場合の、点M,M1,M2の位置関係を示す。
【0054】
一方のパターン生成部22a上の点P,P1を通る主光線のテレセントリックレンズ12a上の位置をPt,Pt1とする。同様に、他方のパターン生成部22bとテレセントリックレンズ12b上の点R,R1,Rt,Rt1を定義する。このとき、直線Pt−Mと直線Pt1−M1は平行である。また、直線Rt−Mと直線Rt1−M2は平行である。従って、各点間の距離について、(M−M1):(M−M2)=(Pt−Pt1):(Rt−Rt1)という比例関係が成り立つ。また、2つの縞パターン投影部2a,2bで同じ投影視野のレンズを使用していることにより、(Pt−Pt1):(Rt−Rt1)=(P−P1):(R−R1)という比例関係が成り立つ。
【0055】
2点間の距離(P−P1)と距離(R−R1)とは、それぞれの縞パターン投影部2a,2bを用いた場合の位相値の誤差の大きさであるから、この2つが等しい場合、(M−M1)=(M−M2)が成り立つ。従って、一方の縞パターン投影部2aまたは2bを用いて得られた計測結果と、他方の縞パターン投影部2bまたは2aを用いて得られた計測結果とを平均化処理することによって、計測誤差を相殺することができる。これは、点P,Q,Rがそれぞれパターン生成部22a,22b上、または撮像素子31上のどの位置にあるかに依存することなく、すなわち、パターン生成部22a,22b上、または撮像素子31上の全面において成り立つ。
【0056】
上述の通り、平均化処理によって、どの場合でも誤差をゼロにすることができるのは、撮像部3と、2つの縞パターン投影部2a,2bの全てについて、物体側テレセントリックを用いた場合のみである。しかしながら、撮像部3と2つの縞パターン投影部2a,2bの、いずれかのみを物体側テレセントリックにした場合であっても、誤差は0にはできないものの、全てが非テレセントリック系であるよりは誤差を改善することができる。従って、そのような構成も、装置コストや装置寸法の面で制約がある場合においては、有効に採用することができる。
【0057】
本実施形態の3次元形状計測装置1によれば、縞パターン投影部2a,2bからの出射光や撮像部3への入射光を、被計測物体側の空間において平行光線として光学特性を改善できるので、計測精度を向上できる。
【0058】
(第3の実施形態)
第3の実施形態に係る3次元形状計測方法について、図6乃至図11を参照して説明する。本実施形態は、上述の第1、第2の実施形態における3次元形状計測装置1を用いて3次元形状計測を行う方法を示すものである。本実施形態では、自己隠蔽により被計測物体の計測領域に影が発生する場合に、計測精度を向上させることについて説明する。
【0059】
図6は本計測方法の概要を示す。本計測方法では、処理の前半の計測ステップにおいて2組の点群データ取得が独立に行われ(#1,#2)、後半の演算ステップにおいて2組の3次元形状データから微分強度に基づいて画素毎にデータ選択または平均化処理が行われて最良の3次元形状データが決定される(#3)。
【0060】
前半の処理は、図7(a)(b)(c)に示すように、撮像、位相復元、3次元形状復元を行う処理であって、中央制御部42の制御のもとで2つの縞パターン投影部2a,2bを用いて行われる。この処理は、一般的な位相シフト法を用いる計測と同様である。また、後半の処理は、図7(d)に示すように、2つの3次元座標データから選択し、またはこれらを平均化により合成する処理であり、計測結果決定部4aによって行われる。
【0061】
図8は、本計測方法の全体のフローチャートを示す。2組の点群データ取得が行われ(S1,S2)、その後、2組の3次元形状データから各画素毎にデータ処理が行われる(ループLP1〜LP11,LP2〜LP22)。
【0062】
(点群データ取得)
図9は、上述のフローチャートにおける点群データ取得処理(S1,S2)を行うサブルーティンを示す。この処理は、縞パターン投影部2a,2bにとって共通の処理である。以下において、式や変数における添字kは、縞パターン投影部2a,2bを識別するAまたはBを表す。この点群データ取得処理では、3次元形状データおよび微分強度データが点群データとして取得される。
【0063】
ここで、「点群データ」という用語について説明する。位相シフト法を用いる3次元形状計測では、計測領域10に対して一定の位置に固定した撮像部3によって種々の画像が撮像され、参照される。これらの画像は、互いに同じ画素数、および互いに同じx,y座標系(図1参照)のもとでの同じ画素配列を有して構成されている。また、各画素は、XYZ座標系(図1参照)で定義される3次元空間における計測領域10の表面の特定の点に対応している。点群データは、これらの特定の点に関するデータ、すなわち、輝度、XYZ座標値、所定の画像についてその点における輝度の微分強度、などのデータの総称である。通常、そのデータの種類毎に画素数と同じ数のデータの集まり(すなわち点群)となる。
【0064】
上述のように、点群データは画像中の画素毎に取得されるデータであり、点群データ取得処理は、画像を撮像する画像データ取得処理(S10)、および、演算部44による画素毎の点群データ取得のための画像処理(ループLP3〜LP33,LP4〜LP44)によって行われる。この画像処理では、位相シフト法に関する処理(S11,S12)、および微分強度データの取得が行われる(S13)。
【0065】
図10は、画像データ取得処理(S10)を行うサブルーティンを示す。このサブルーティンの処理では、4相の位相シフト法のための4つの縞パターン光による照明のもとでの4つの画像データと、一様照明のもとでの1つの画像データが取得される。縞パターン照明による画像は輝度データIki(x,y),i=0,1,2,3として記録され(LP5〜LP55)、一様照明による画像は輝度データIk(x,y)として記録される(S24〜S26)。ここで、x,yは画像上の画素の位置を示す座標であり、画像のサイズに応じてx=0,1,・・,m,y=0,1,・・,nである。なお、ここでは4相の位相シフト法を用いる例を示すが、3次元形状データを取得するためには、これに限らず3相または5相以上の位相シフト法を用いることもできる。
【0066】
(縞パターン光による画像データ取得)
中央制御部42は、位相変化ループ(LP5〜LP55)において、変数iの値を各ループ毎にi=0,1,2,3と変化させて、投影縞パターンデータ生成(S20)、縞パターン投影(S21)、撮像(S22)、輝度データ記録(S23)を行う。すなわち、中央制御部42は、正弦波の位相をπ/2ずつ変化させて画像データを輝度データとしてメモリ43に4回取り込む。
【0067】
より具体的に述べると、3次元計測処理部4の縞パターンデータ作成部41が、投影縞パターンデータを生成する(S20)。生成された縞パターンデータは、中央制御部42の制御によって縞パターン投影部2a,2bに転送され、縞パターン投影部2a,2bより、正弦波状に明度が変化する縞パターンSPとして被計測物の計測領域10に投影される(S21)。
【0068】
縞パターン生成部22a,22bで作られる縞パターンLki(u,v)は、次式(1)に表される。この縞パターンは、明度が正弦波状に変化する。ここで、(u,v)は縞パターン投影部2a,2bの縞パターン生成部22を構成する透過型液晶板上の座標であり、b(u,v)はバイアス値、a(u,v)は振幅、φ(u)は初期位相(i=0の場合の位相)、iπ/2は初期位相からの位相シフト量(i=0,1,2,3)である。
【0069】
【数1】
【0070】
撮像部3は、縞パターンが投影された被計測物の計測領域10を撮像し(S22)、撮像された各画素の輝度データから成る輝度データIki(x,y)は、3次元計測処理部4のメモリ43に記録される(S23)。
【0071】
(一様照明による画像データ取得)
次に、中央制御部42は、縞パターン投影部2a,2bによって明るさが一様な照明光を被計測物の計測領域10に投影し(S24)、撮像部3によって撮像し(S25)、縞パターンのない一様照明での輝度データIk(x,y)をメモリに記録する(S26)。
【0072】
縞パターンのない画像は、上述のように縞パターンが投影されていない一様照明による状態を撮像して得ることもできるが、位相シフト法計測のために取得した縞パターンの画像を合成して取得することもできる。つまり、具体的な輝度データIkの取得方法として、次の2つの方法を用いることができる。
(1)パターンのない明るさが一定の画像を投影部から投影して撮像する。
(2)Ik=Ik0+Ik1+Ik2+Ik3により合成して求める。
【0073】
(位相算出)
次に、図9に戻って、位相算出(S11)を説明し、その後、3次元データ計算(S12)を説明する。まず、上述の縞パターン投影と撮像によって得られた各画素の輝度値Iki(x,y)(i=0,1,2,3)から、次式(2)によって定義される位相φ(x,y)が算出される(S11)。算出は演算部44において行われる。
【0074】
【数2】
【0075】
この位相φ(x,y)は、画像全体について定まる1つの位相状態について、座標(x,y)で定まる画素点毎の位相(位相値)の分布データである。この式で表される位相分布データと撮像の幾何学条件等から、被計測物体表面の3次元座標を各画素に割り当てた、いわゆる距離画像が得られる。より詳しく説明すると、計測領域10に投影された縞パターンSPは、計測領域10の3次元形状によって変調(歪曲)される。投影時の位相φ(u)と、撮像した画像から求めた位相φ(x,y)は、もとが同じものであるので、撮像部3の撮像素子31上の座標と液晶板上の座標の対応関係を得ることができる。従って、三角測量の原理によって被計測物表面の計測領域10の3次元座標X,Y,Zが、次式(3)によって求められる(S12)。
【0076】
【数3】
【0077】
ここで、(X,Y,Z)は3次元空間における計測領域10の表面の点の座標、u(φ)は液晶板上における画素の座標(位相が変化する方向の座標)である。またpc,ppはそれぞれ、撮像部3、縞パターン投影部2a,2bのキャリブレーションで求められるパラメータであり、次式(4)(5)を満足する。
【0078】
【数4】
【0079】
【数5】
【0080】
上述の処理に基づいて、1つの縞パターン投影部2aまたは2bと撮像部3の組み合わせによる3次元形状計測結果として、画像上の画素位置(x,y)において空間座標データ(X,Y,Z)が定義された3次元点群データPk(x,y;X,Y,Z)が得られる。このように表された3次元点群データは、画像上の1点が3次元点の1点に対応することから、3次元座標ベクトル(X,Y,Z)を値として持つ離散関数である。
【0081】
ところで、隠蔽によって縞パターンSPが投影されていない被計測領域(影の部分)の点や、撮像部3に向けて十分に光を反射しないような被計測領域の点の画素については、正しく3次元座標を求めることができない。そこで、次式(6)で定義される正弦波の振幅A(x,y)が一定値以下になる点を、このような計測不可能点として扱う。このような点の画素に対応する3次元座標は定義されないことになる。3次元座標が定義されない点については、記号NULLを用いて、Pk(x,y)=NULLのように表す。
【0082】
【数6】
【0083】
(微分強度データ計算)
図9における処理では、一様照明での輝度データIk(x,y)について微分強度データ(微分強度画像)を求める計算が行われる(S13)。微分強度画像は、画像のx方向(水平方向)について輝度データの微分値を算出し、その絶対値(すなわち強度)をとって求められる。この算出には、例えばSobelフィルタを用いることができる。輝度データIkに対応するx方向の微分値Dk(x,y)は、次式(7)で求められる。
【0084】
【数7】
【0085】
上式のように画像のx方向について輝度データの微分強度を求めるのは、次の理由による。すなわち、x方向は、縞パターン投影部2a,2bによって照明する照明光の方向(向きは互いに異なる)であり、被計測物体の自己隠蔽による影はx方向の前方または後方に発生する。その影の境界は、x方向に直交する方向成分を優勢な成分として有する。このような影の領域を検出するためにx方向の微分強度が有効に用いられる。
【0086】
以上の処理により、図8のステップS1,S2における、縞パターン投影部2a,2bによる2組の点群データ取得が完了し、3次元形状データPk(x,y;X,Y,Z),k=A,B、微分強度データDk(x,y),k=A,Bが取得される。以下では、図8における各画素についての最良の3次元形状データの選択による画素データの決定と平均化の処理を説明する(ループLP1〜LP11、LP2〜LP22)。なお、Pk(x,y;X,Y,Z)をPk(x,y)と表記し、選択決定された最終の3次元形状データをP(x,y;X,Y,Z)、またはP(x,y)と表記する。
【0087】
(画素データの決定)
図8におけるループ処理において(ループLP1〜LP11,LP2〜LP22)、座標x,yによって指定された特定の画素について、PA(x,y),PB(x,y)の存在の如何が判断され、いずれか一方のみが存在する場合には、その値が選択され、P(x,y)=PA(x,y)、または、P(x,y)=PB(x,y)とされる(S6,S8)。また、いずれも存在していなければ(S3,S7でNo)、P(x,y)は、非存在とされ、「999」などの所定の異常値がP(x,y)に与えられる(S9)。
【0088】
上述の処理(S6,S8,S9)は、各縞パターン投影部2a,2bからの投影方向に依存して発生する3次元立体形状に起因する隠蔽(影ができる、いわゆるオクルージョン)のため計測結果がなくなる場合の対応処理である。これにより、2種類の測定結果のうち、一方が隠蔽の影響を受ける場合、他方を正しい計測結果として選択して、隠蔽部分の補完をすることができる。
【0089】
PA(x,y),PB(x,y)がいずれも存在する場合に(S3とS4でYes)、微分強度に基づく画素データの選択決定が行われる(S5)。ここの処理では、処理の対象となる画素データが、隠蔽によって画像に生じた影の境界部分のデータか、または影から離れた位置のデータかによって区別され、それぞれ最適化される。影の境界部分では、影の影響で輝度値が正常値から変化している(ぼけが発生している)と考えられる。影の境界部分の検出に微分強度が用いられる。
【0090】
図11は、上述の微分強度に基づく画素データ決定処理(S5)を行うサブルーティンを示す。ここで、微分強度データDk(x,y),k=A,Bを簡単に、微分強度DA,DBと表す。現在処理中の座標x,yにおける画素について、微分強度の差DA−DBを所定の閾値Tと比較し、差が閾値より大きければ(DA−DB>T、#10でYes)、P(x,y)=PB(x,y)とする(#11)。逆に、微分強度の差、DA−DBが、閾値Tより小さければ、すなわち、−(DA−DB)>Tであれば(#12でYes)、P(x,y)=PA(x,y)とする(#13)。
【0091】
また、差DA−DBが閾値Tよりも大きくなく、かつ、−Tよりも小さくなければ、すなわち、差の絶対値が閾値以下、|DA−DB|≦Tの場合(#10,#12でNo)、平均値を算出して、P(x,y)=(PA(x,y)+PB(x,y))/2とする(#14)。
【0092】
上述の選択および平均値化の処理の原理を、さらに、図12乃至図15を参照して説明する。図12(a)は、縞パターン投影部2aによって方向LAからの一様照明のもとで撮像した画像IAを示し、隠蔽による影が領域15にy方向に沿って発生している。図12(b)は、前記と同じ計測領域を、縞パターン投影部2bによって方向LBからの一様照明のもとで撮像した画像IBを示し、領域15には影が発生していない。
【0093】
図13(a)(b)は、それぞれ上述の画像IA,IBから、前出の式(7)によって求めた微分強度画像DA,DBである。画像DAにおいては、領域15と領域16に影の痕跡と境界部分の痕跡が認められ、画像DBにおいては、痕跡が認められない。
【0094】
図14(a)は、上述の画像IAに対応して段差がある計測領域の3次元形状計測データについて、あるy座標値(Y座標値)におけるZ座標の測定値をX座標に対する変数値として示す。この測定結果では、段差による隠蔽のため領域x1における計測値(破線が真の座標値)が得られなく、境界部分である領域x2においては、影の影響のため真値からのずれが発生している。
【0095】
図14(b)は、同様に上述の画像IBに対応するZ座標の測定値を示す。この測定結果では、影の発生がないので、真値に沿った結果が得られている。なお、領域x1,x2は上述の領域15,16に対応する。
【0096】
図14(a2)(b2)は、それぞれ上述の画像IA,IBに対応する図である。ここで、画像IAにおいて、領域x1のように隠蔽による影の部分を領域a1、領域x2のように影の境界部分を領域a2、その他の部分を領域a3とする。また、画像IBにおいて、領域a1,a2,a3に対応する部分を、領域b1,b2,b3とする。
【0097】
上述の図8におけるステップS8の処理は、領域b1における計測値を採用する処理であり、図11におけるステップ#11の処理は、領域b2における計測値を採用する処理であり、図11におけるステップ#14の処理は、領域a3と領域b3における計測値の平均値を採用する処理である。これらの処理に関して、PA(x,y)とPB(x,y)とは互いに相補的であり、一方に影ができて他方に影ができないときに、または、共に影ができないときに、互いに補完し合ってP(x,y)の計測精度を向上させることができる。
【0098】
図15(a)は、図14(a2)における、あるy値についての輝度値IAxおよび微分強度DAx(これは絶対値)のx方向変化を示し、図15(b)は、同様に、図14(b2)における輝度値IBxおよび微分強度DBxのx方向変化を示す。これらの図から、微分強度の差(DA−DB)によって領域x2を検出できることが分かる。つまり、IA,IBについての微分強度の差が大きい箇所は、どちらかに影の境界線ができている場所であると判断でき、影のない方の3次元点を選択することができる。
【0099】
これは、物体表面のテクスチャ(文字や柄)の場合は、どちらからの投影であっても微分強度はほぼ等しい値になるのに対し、隠蔽により、どちらか一方の投影によってできた影の場合は一方にしか大きい微分強度値が現れない、ということを利用している。そこで、例えば、図11におけるステップ#10において、DA−DB>Tが成立して領域a2が検出されるので、P(x,y)として、領域b2における計測値PB(x,y)が採用される。
【0100】
本実施形態の3次元形状計測方法によれば、2つの縞パターン投影部2a,2bによって取得した3次元形状計測データを、照明方向に沿って輝度を微分した微分強度に基づいて計測データを選択し、さらには、計測データの平均値を算出して計測結果とするので、隠蔽による影の部分や、影の境界部分や、影や影の境界ではない部分において、それぞれ最適の計測結果とすることができ、3次元形状計測の精度を向上させることができる。また、平均化処理によると、ランダム雑音の影響を低減させることができ、3次元形状計測の精度を向上させることができる。
【0101】
また、本実施形態の3次元形状計測方法は、2つの縞パターン投影部2a,2bが対向配置されている(図1、図2)ことによる装置特性だけを用いているので、それぞれの縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きには依存していない処理である。
【0102】
(第4の実施形態)
第4の実施形態に係る3次元形状計測方法について、図16乃至図21を参照して説明する。本実施形態は、上述の第3の実施形態における隠蔽部分(領域a1)および影の境界部分(領域a2)の求め方(特定の仕方)を、微分強度を用いるのではなく、差分画像、2値化処理、および膨張処理によって行うものである。従って、点群データの取得の部分は、第3の実施形態と同様である。
【0103】
図16(a)は、縞パターン投影部2aによって図の左方からの一様照明のもとで撮像した画像IAを示し、右側に隠蔽による影SAが発生しており、図16(b)は、前記と同じ計測領域を、縞パターン投影部2bによって右方からの一様照明のもとで撮像した画像IBを示し、左側に影SBが発生している。
【0104】
図17(a)は、上記2つの画像の差分画像(IA−IB)を示し、図17(b)は、同様に差分画像(IB−IA)を示す。この差分処理において、例えば、画像の暗部の輝度値をゼロとし、明部を輝度値をその明るさに応じた正値とすると、一方の画像における影(暗部)に対応する部分が、他方の画像における明部から取り出される。輝度値の差分値が負の値は、画像において暗部とされている。
【0105】
図18(a)(b)は、上記差分画像(IA−IB),(IB−IA)を所定の閾値で明暗(白黒)の2値とし2値化画像GA,GBである。この処理により、画像IAにおける影SA部分が2値化画像GBに領域eAとして抽出され、画像IBにおける影SB部分が2値化画像GAに領域eBとして抽出される。
【0106】
図19(a)(b)は、それぞれ、上記2値化画像GA,GBにおいて明部、すなわち領域eA,eBを膨張処理して、拡張領域EA,EBとした拡張2値化画像GAE,GBEである。この膨張処理は、明部(白部)の各画素について、所定の画素数α、例えばα=5だけ周囲の画素を白とする処理である。この処理により、抽出された影の領域の周辺部分が画素数αだけ拡張される(広がる)ことになり、影の境界部分が拡張領域EA,EBに取り込まれることになる。
【0107】
図20は、点群データを取得し、上述の拡張領域EA,EBを生成するまでの処理のフローチャートを示す。ステップS31,S32の処理は、図8におけるステップS1,S2の処理と同様である。ステップS33では、各画素の輝度値の差分から成るいわゆる差分画像ID(x,y)=ID=IA−IBが算出される。この差分画像における各画素は、一般に正負の差分値を有し、その絶対値が大きな画素は隠蔽による影の部分に対応する。
【0108】
上述の隠蔽による影の部分を明確化するために、を正負の閾値(DTH>0、と−DTH)で2値化して、2値化画像GA,GBを算出する(S34)。ID(x,y)≧DTHの場合に画素値を1(明)とし、ID(x,y)<DTHの場合に画素値を0(暗)とする。このようにして得られた画像GA(x,y)は、IBにおける影の部分を明部として有する画像である(図16乃至図19の説明参照)。同様に、ID(x,y)≦−DTHの場合に画素値を1(明)とし、ID(x,y)>−DTHの場合に画素値を0(暗)とする。このようにして得られた画像GB(x,y)は、IAにおける影の部分を明部として有する画像である。
【0109】
次に、上述の影の部分に影の境界部分を含ませるために、画像GA(x,y),GB(x,y)における値1を有する画素を、それぞれα(定数)画素拡張し、得られた画像をGAE(x,y),GBE(x,y)とする(S35)。
【0110】
上述の明部が拡張された2つの画像における値1を有する画素領域が、それぞれ影の境界部分を包含する領域EA,EBとして抽出される(S36)。
【0111】
(画素データの決定)
図21は、第3の実施形態の図8のフローチャートにおけるxyループ部分に対応する処理ルーティンを示す。xyループ処理において(ループLP1〜LP11,LP2〜LP22)、座標x,yによって指定された特定の画素(注目画素)について、PA(x,y),PB(x,y)の存在の如何が判断され、いずれも存在していなければ(S3,S7でNo)、P(x,y)は、非存在とされ、「999」などの所定の異常値がP(x,y)に与えられる(S42)。
【0112】
また、少なくともいずれか一方が存在する場合には(S41でYes)、注目画素が領域EB内かどうか判断され、EB内であれば(S43でYes)、P(x,y)=PA(x,y)とされる(S44)。また、EB内でなければ(S43でNo)、さらに領域EA内かどうか判断され、EA内であれば(S45でYes)、P(x,y)=PB(x,y)とされる(S46)。
【0113】
注目画素が領域EA,EB内のいずれでもない場合には(S45でNo)、平均値が算出され、P(x,y)=(PA(x,y)+PB(x,y))/2とされる(S47)。
【0114】
本実施形態の3次元形状計測方法によれば、隠蔽による影の部分と影の境界部分について、近接する画素間の輝度値の差分に基づく離散的な微分強度によらずに、適切な計測結果の選択を確実に実行でき、計測誤差を低減して精度の高い計測ができる。また、本実施形態の計測方法は、上述の第3の実施形態と同様に、各縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きには依存していない処理である。
【0115】
(第5の実施形態)
図22は、第5の実施形態に係る3次元形状計測装置および計測方法を示す。本実施形態は、第1または第2の実施形態とは、縞パターン投影部2a,2bが投影する縞パターンSPのパターン変化方向5をX軸方向(x軸方向)からずらした互いに平行な同じ方向としている点が異なり、他の点は同様である。
【0116】
本実施形態の3次元形状計測方法および装置によると、第1または第2の実施形態と同様に、2つの縞パターン投影部2a,2bを互いに対向する位置に配置する構成としており、各縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きを同じとしているので、第1、第2の実施形態と同様に、位相値の誤差に起因する3次元座標の計測誤差を互いに相殺させることができ、表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。
【0117】
また、本実施形態の3次元形状計測方法および装置によると、2つの縞パターン投影部2a,2bを互いに対向する位置に配置する構成としているので、第3、第4の実施形態と同様に、各縞パターン投影部2a,2bによって投影される縞パターンSPのパターン変化方向5の向きには依存せずに、一方側からの照明によって発生する隠蔽(オクルージョン)による計測データの欠損や影の境界部分におけるデータ損傷を、他方側からの照明による計測データによって補完することができる。
【0118】
なお、本発明は、上記各実施形態によって示した構成に限られることなく種々の変形が可能である。例えば、上述した各実施形態の構成を互いに組み合わせた構成とすることができる。また、位相シフト法で用いられる縞パターンSPは、明度が必ずしも正弦波状に変化するパターンである必要はなく、明度が周期的に変化する縞パターンであればよい。
【図面の簡単な説明】
【0119】
【図1】本発明の第1の実施形態に係る3次元形状計測装置の模式的構成図。
【図2】同上装置の投影部、撮像部、および縞パターンの位置関係を示す平面図。
【図3】同上装置における投影部からの照明光および撮像部への入射光の各光路と計測誤差との関連を説明する平面図。
【図4】同上装置における2つの投影用光軸のなす角度と相対誤差の関係を示すグラフ。
【図5】第2の実施形態に係る3次元形状計測装置における投影部からの照明光および撮像部への入射光の各光路を示す平面図。
【図6】第3の実施形態に係る3次元形状計測方法の概要を示すフローチャート。
【図7】(a)〜(d)は同上方法の要点を段階的に示す模式的概念図。
【図8】同上方法を説明するフローチャート。
【図9】同上方法における点群データ取得のフローチャート。
【図10】同上方法における画像データ取得のフローチャート。
【図11】同上方法における画素データ決定のフローチャート。
【図12】(a)(b)は同じ計測領域を異なる方向から照明して撮像した画像。
【図13】(a)(b)は図12(a)(b)の画像についてのx方向微分画像。
【図14】(a)は隠蔽された領域を含む計測領域の3次元形状データをX座標に対するZ座標値で示すグラフ、(b)は同領域を隠蔽なしの条件で計測した3次元形状データを示すグラフ、(a1)は(a)における計測領域の画像、(b1)は(b)における計測領域の画像。
【図15】(a)は図14(a2)の画像におけるx軸方向の輝度値と微分値のグラフ、(b)は図14(b2)の画像におけるx軸方向の輝度値と微分値のグラフ。
【図16】(a)(b)は第4の実施形態に係る3次元形状計測方法を説明するための、同じ計測領域を異なる方向から照明して撮像した画像。
【図17】(a)は図16(a)の画像から図16(b)の画像を差し引いた差分画像、(b)は図16(b)の画像から図16(a)の画像を差し引いた差分画像。
【図18】(a)(b)はそれぞれ図17(a)(b)の画像を2値化した画像。
【図19】(a)(b)はそれぞれ図18(a)(b)の画像における白画素領域を拡張した画像。
【図20】同上方法における点群データ取得と前処理のフローチャート。
【図21】同上方法における画素データ決定のフローチャート。
【図22】第5の実施形態に係る3次元形状計測方法および装置を説明するための投影部、撮像部、および縞パターンの位置関係を示す平面図。
【図23】従来および本発明が適用される反射率の異なる領域を含む計測領域の一様照明のもとでの画像。
【図24】図23の画像におけるx0方向に沿った輝度値変化を示すグラフ。
【図25】(a)〜(d)はそれぞれ図23の画像を明度がx方向に正弦波状に変化する照明のもとで位相変化分を初期位相0から、π/2,π,3π/2とした場合のx0方向に沿った輝度値変化の計算値を示すグラフ。
【図26】(a)〜(d)はそれぞれ図25(a)〜(d)の輝度値に移動平均処理を行って輝度変化をぼかした状態のグラフ。
【図27】図25(a)〜(d)から算出した初期位相のx方向の変化を示すグラフと図26(a)〜(d)から算出した初期位相のx方向の変化を示すグラフを重ねて示したグラフ。
【図28】図27のD部を拡大したグラフ。
【図29】位相シフト法における投影部からの照明光および撮像部への入射光の各光路と計測誤差との関連を説明する平面図。
【符号の説明】
【0120】
1 3次元形状計測装置
2,2a,2b 縞パターン投影部
3 撮像部
4 計測処理部
10 計測領域
11,12a,12b テレセントリックレンズ
20,20a,20b 投影用光軸
30 撮像部光軸
SP 縞パターン
X,Y,Z 3次元座標
【特許請求の範囲】
【請求項1】
明度が正弦波状に変化する縞パターンを異なる位相で3回以上被計測物体に投影して撮像し、得られた複数の画像を用いて各画素における被計測物体の3次元座標を位相シフト法により求める3次元形状計測方法において、
被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸を含む平面内に投影用光軸を2つ設定し、前記投影用光軸の各方向からそれぞれ独立に計測領域に縞パターンを投影すると共に前記撮像部によって撮像して2種類の3次元座標を求める計測ステップと、
前記計測ステップにより前記撮像部の撮像素子上の1点に対応して得られる2種類の3次元座標の平均値を算出する演算ステップと、を含むことを特徴とする3次元形状計測方法。
【請求項2】
前記2つの投影用光軸が、前記撮像部の光軸に対して線対称に設定されていることを特徴とする請求項1に記載の3次元形状計測方法。
【請求項3】
前記2つの投影用光軸の一方から縞パターンを投影して撮像された画像に影が生じた場合に、その影の部分を任意の距離だけ拡張した領域について、他方の投影用光軸から縞パターンを投影して撮像された画像に基づく3次元座標を用いることを特徴とする請求項1または請求項2に記載の3次元形状計測方法。
【請求項4】
前記撮像部の撮像レンズ、または前記2つの投影用光軸から縞パターンを投影するための投影レンズのいずれかにテレセントリックレンズを用いることを特徴とする請求項1乃至請求項3のいずれか一項に記載の3次元形状計測方法。
【請求項5】
前記撮像部の撮像レンズ、および前記2つの投影用光軸から縞パターンを投影するための投影レンズのそれぞれにテレセントリックレンズを用いることを特徴とする請求項1乃至請求項4のいずれか一項に記載の3次元形状計測方法。
【請求項6】
請求項1乃至請求項5のいずれか一項に記載の3次元形状計測方法を用いる3次元形状計測装置。
【請求項1】
明度が正弦波状に変化する縞パターンを異なる位相で3回以上被計測物体に投影して撮像し、得られた複数の画像を用いて各画素における被計測物体の3次元座標を位相シフト法により求める3次元形状計測方法において、
被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸を含む平面内に投影用光軸を2つ設定し、前記投影用光軸の各方向からそれぞれ独立に計測領域に縞パターンを投影すると共に前記撮像部によって撮像して2種類の3次元座標を求める計測ステップと、
前記計測ステップにより前記撮像部の撮像素子上の1点に対応して得られる2種類の3次元座標の平均値を算出する演算ステップと、を含むことを特徴とする3次元形状計測方法。
【請求項2】
前記2つの投影用光軸が、前記撮像部の光軸に対して線対称に設定されていることを特徴とする請求項1に記載の3次元形状計測方法。
【請求項3】
前記2つの投影用光軸の一方から縞パターンを投影して撮像された画像に影が生じた場合に、その影の部分を任意の距離だけ拡張した領域について、他方の投影用光軸から縞パターンを投影して撮像された画像に基づく3次元座標を用いることを特徴とする請求項1または請求項2に記載の3次元形状計測方法。
【請求項4】
前記撮像部の撮像レンズ、または前記2つの投影用光軸から縞パターンを投影するための投影レンズのいずれかにテレセントリックレンズを用いることを特徴とする請求項1乃至請求項3のいずれか一項に記載の3次元形状計測方法。
【請求項5】
前記撮像部の撮像レンズ、および前記2つの投影用光軸から縞パターンを投影するための投影レンズのそれぞれにテレセントリックレンズを用いることを特徴とする請求項1乃至請求項4のいずれか一項に記載の3次元形状計測方法。
【請求項6】
請求項1乃至請求項5のいずれか一項に記載の3次元形状計測方法を用いる3次元形状計測装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図14】
【図15】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図12】
【図13】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図14】
【図15】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図12】
【図13】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2009−264862(P2009−264862A)
【公開日】平成21年11月12日(2009.11.12)
【国際特許分類】
【出願番号】特願2008−113385(P2008−113385)
【出願日】平成20年4月24日(2008.4.24)
【出願人】(000005832)パナソニック電工株式会社 (17,916)
【Fターム(参考)】
【公開日】平成21年11月12日(2009.11.12)
【国際特許分類】
【出願日】平成20年4月24日(2008.4.24)
【出願人】(000005832)パナソニック電工株式会社 (17,916)
【Fターム(参考)】
[ Back to top ]