多数の基準面を用いた形状計測方法および形状計測装置
【課題】多数の基準面を格子の投影に利用して、輝度分布が余弦波状でない格子や不等間隔格子でも精度良く形状計測を行い得る形状計測方法および形状計測装置を提供する。
【解決手段】本発明の形状計測装置は、基準面12を含む基準平板11と、基準平板11を法線方向に移動させるステージ13と、平行移動の各位置で格子パターンを投影するプロジェクタ14と、各位置で基準面12に形成される格子を撮影した第1撮影画像と、各位置で基準面12の投影格子を撮影した第2撮影画像と、試料物体17に投影した格子を撮影した第3撮影画像を得るカメラ15と、第1撮影画像の格子および第2撮影画像の投影格子の解析をそれぞれ画素毎に行って、基準平板11の移動量と格子の2次元座標とから成る空間座標と投影格子の位相θとを対応付けたテーブルを形成し、該テーブルと前記第3撮影画像とに基づいて試料物体17の空間座標を求める解析装置16とを備える。
【解決手段】本発明の形状計測装置は、基準面12を含む基準平板11と、基準平板11を法線方向に移動させるステージ13と、平行移動の各位置で格子パターンを投影するプロジェクタ14と、各位置で基準面12に形成される格子を撮影した第1撮影画像と、各位置で基準面12の投影格子を撮影した第2撮影画像と、試料物体17に投影した格子を撮影した第3撮影画像を得るカメラ15と、第1撮影画像の格子および第2撮影画像の投影格子の解析をそれぞれ画素毎に行って、基準平板11の移動量と格子の2次元座標とから成る空間座標と投影格子の位相θとを対応付けたテーブルを形成し、該テーブルと前記第3撮影画像とに基づいて試料物体17の空間座標を求める解析装置16とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体や人体等の試料物体の形状計測を非接触かつ高精度で行い得る多数の基準面を用いた形状計測方法および多数の基準面を用いた形状計測装置に関するものである。
【背景技術】
【0002】
非接触式3次元形状計測方法の従来技術としては、例えば以下に説明する従来技術1および従来技術2がある。
【0003】
従来技術1(特許文献1参照)は、カメラを用いた形状計測装置において、カメラまたはプロジェクタのレンズ収差の影響を受けない高精度な形状計測を行うことを目的としており、格子模様が描かれた基準平板の画像からカメラまたはプロジェクタのレンズ中心座標を算出するのではなく、基準面に固定された2次元格子から、カメラの画素毎の視線が通る光路と、プロジェクタから投影される光の光路とをそれぞれ全て求めて、それら光路の交点として空間座標を算出する形状計測方法およびその方法に用いる形状計測装置である。
【0004】
従来技術2(特許文献2参照)は、従来時間を掛けて解析していた形状計測やレーザの干渉縞を利用した微小変形計測をリアルタイムで計測結果が得られるようにして、振動している物体や動いている物体の動的な変化をその場で観察できるようにすることを目的としており、格子模様が4/30秒で1周期分移動するように連続的に位相シフト行いながらCCDカメラで1/30秒毎に1枚の画像を撮影して合計4枚撮影し、それらの画像から位置分布を求める方法である。
【0005】
【特許文献1】特許第2913021号公報
【特許文献2】特許第3265476号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
上記従来技術1の非接触式3次元形状計測方法は、プロジェクタからx方向の格子およびy方向の格子の両方を別々に投影する必要があるため、格子の投影に時間が掛かってしまうとともに、座標計算が複雑であるため、座標計算に多大な時間が掛かってしまう。
【0007】
上記従来技術2の非接触式3次元形状計測方法に用いている位相シフト法では、撮影された格子が余弦波状の輝度分布を持っていると仮定して位相値を求めている。しかし、実際の格子画像においては、プロジェクタによって投影された格子の輝度分布は余弦波状からずれている場合が多く、液晶プロジェクタによる格子投影の場合は、液晶の入力値と表示される濃度(透過率)との関係が非線形であるため、輝度分布が余弦波からずれてしまう。フィルムに格子を焼き付けたものを使う場合も精度良い余弦波状の輝度分布を作成することは実際には困難である。また、ガラス基板上に余弦波状の格子を作成することも困難である。ガラス基板上に矩形波状の格子を作成して、それを焦点をずらせて投影することによって余弦波状の格子に近いパターンを投影する方法もあるが、精度良い余弦波状にはならず、また、プロジェクタからの距離によっても輝度分布が変化する。
この従来技術2の非接触式3次元形状計測方法は、計測すべき試料物体に対して余弦波状の格子を投影して計測を行う格子投影方法であり、この方法では試料物体の高さを算出する際に、投影された格子のピッチを縦方向もしくは横方向に等間隔かつ余弦波分布に変化させなければならないため、焦点ずれなどで投影した格子の輝度分布が理想的な分布からずれた場合には格子が等間隔かつ余弦波分布に変化せず、計測の誤差が大きくなってしまうため、算出式を投影された格子に合うように複雑にしなければならず、座標計算が複雑化するため座標計算に多大な時間が掛かってしまう。
図22(a)は従来技術2の非接触式3次元形状計測方法における余弦波状格子およびゆがんだ格子の輝度分布を例示する図であり、図22(b)は図22(a)のそれぞれの輝度分布から位相シフト法によって得られた位相値の分布を例示する図である。図22(a),(b)から、余弦波状の格子の場合は横軸の位相と算出された縦軸の位相とはほぼ同一の値が得られるが、余弦波からずれた輝度分布を持つ格子の場合は、算出された位相分布に誤差が発生することがわかる。
【0008】
本発明は、基準面を含む基準平板をその放線方向に微小量ずつ平行移動させたときの多数の基準面を2次元パターンの形成や空間を分割して数値化できるパターンの投影に利用することにより、投影するパターンの輝度分布が余弦波状でなくても、投影するパターンのピッチが不等間隔であっても、精度良く形状計測を行い得る、多数の基準面を用いた形状計測方法および形状計測装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の多数の基準面を用いた形状計測方法は、2次元パターンが形成される基準面を含む基準平板を該基準平板の法線方向に微小量ずつ平行移動させる第1工程と、前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影して第1撮影画像を得る第2工程と、前記平行移動の各位置において、前記基準面に投影した、空間を分割して数値化できるパターンを撮影して第2撮影画像を得る第3工程と、前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成する第4工程と、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る第5工程と、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める第6工程と、を行うことを特徴とする。
【0010】
本発明の多数の基準面を用いた形状計測方法の好適例としては、前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出すること、前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくこと、前記空間を分割して数値化できるパターンは、等間隔格子であること、および、前記空間を分割して数値化できるパターンは、放射状格子を含む不等間隔格子であること、がある。
【0011】
上記目的を達成するため、本発明の多数の基準面を用いた形状計測装置は、2次元パターンが形成される基準面を含む基準平板と、前記基準平板を該基準平板の法線方向に微小量ずつ平行移動させるステージと、前記平行移動の各位置において、前記基準面に空間を分割して数値化できるパターンを投影する投影装置と、前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影した第1撮影画像と、前記基準面に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像とを得るとともに、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る撮影装置と、前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成するとともに、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める解析装置と、を備えることを特徴とする。
【0012】
本発明の多数の基準面を用いた形状計測装置の好適例としては、前記解析装置は、前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出すること、前記解析装置は、前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくこと、前記投影装置は、投影される前記空間を分割して数値化できるパターンが等間隔のパターンであること、前記投影装置は、投影される前記空間を分割して数値化できるパターンが放射状格子を含む不等間隔のパターンであること、前記投影装置は、前記空間を分割して数値化できるパターンを焦点ずれさせて投影する投影装置であること、前記投影装置は、液晶プロジェクタまたはDMDプロジェクタであること、および、前記投影装置は、前記空間を分割して数値化できるパターンを投影する際に所定シフト量ずつ位相シフトを行い得る投影装置であり、前記撮影装置は、前記位相シフトに同期して前記第2撮影画像を撮影し得る撮影装置であること、がある。
[発明の効果]
【0013】
本発明の多数の基準面を用いた形状計測方法によれば、上記第1工程〜第6工程を行うことにより、基準面を含む基準平板をその放線方向に微小量ずつ平行移動させたときの多数の基準面を2次元パターンの形成や空間を分割して数値化できるパターンの投影に利用するので、投影するパターンの輝度分布が余弦波状でなくても、投影するパターンのピッチが不等間隔であっても、精度良く形状計測を行い得る、多数の基準面を用いた形状計測方法を提供することができる。
【0014】
本発明の多数の基準面を用いた形状計測装置によれば、2次元パターンが形成される基準面を含む基準平板と、前記基準平板を該基準平板の法線方向に微小量ずつ平行移動させるステージと、前記平行移動の各位置において、前記基準面に空間を分割して数値化できるパターンを投影する投影装置と、前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影した第1撮影画像と、前記基準面に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像とを得るとともに、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る撮影装置と、前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成するとともに、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める解析装置とを備えるように構成したので、投影するパターンの輝度分布が余弦波状でなくても、投影するパターンのピッチが不等間隔であっても、精度良く形状計測を行い得る、多数の基準面を用いた形状計測方法を提供することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
まず、本発明の形状計測方法に用いる「多数の基準面を用いた校正(キャリブレーション)手法」について説明する。
格子投影方法による3次元形状計測における校正方法の従来手法は、ワールド座標系とカメラ座標系およびプロジェクタ座標系とを関連付けるための行列の各要素を求めることであったが、この従来手法は基本的にレンズの歪曲収差が無いピンホールモデルを用いているため、実際にはレンズ収差による誤差が含まれる結果となり、高精度な形状計測は期待できない。また、座標計算も複雑であり、多大な計測時間が必要になる。
本願の発明者らは、格子投影方法による形状計測方法の1つとして、撮像素子の画素毎にキャリブレーションを行うことで、レンズ収差によるゆがみや光学系の幾何学的パラメータの実測誤差などの種々の誤差要因を排除して計測精度を向上させる形状計測方法を提案しており、その考え方を格子投影による形状計測や位相シフトデジタルホログラフィによる微小変形・ひずみ計測に適用してきた。画素毎にキャリブレーションを行う方法は、最近の画像計測で用いられ始めており、デジタル画像相関法による変形計測にも適用されている。
本発明の形状計測方法に用いる「格子投影形状計測における多数の基準面を用いた校正手法」では、空間座標のz方向(基準平板の法線方向)に基準平板を微小量ずつ平行移動させながら、各位置において基準面上の投影格子の位相分布を求め、それからカメラの撮影画像の1画素毎に位相とz座標とを1対1で対応付けたテーブルを作成する。その際、基準面に格子が表示できる特殊な液晶パネルを用いることで、z座標と同様に空間座標のx座標およびy座標についても位相と1対1で対応付けるテーブル化を行う。このキャリブレーション手法により、レンズの歪曲収差の影響や投影格子の輝度むらによる位相誤差の影響の無い精度の良い形状計測が容易に実現できる。また、空間座標の計算時間もほとんど掛からないため、リアルタイム形状計測も実現できるようになる。
【0016】
[多数の基準面を用いた校正手法の原理]
形状計測における校正の考え方を従来手法とは大きく変えて、本発明では、投影された格子の位相と3次元座標との対応関係をカメラ(撮影装置)の画素毎に求めておくことを校正と呼ぶ。校正を行うことができれば、試料物体に投影された格子の位相が得ることにより、即座に3次元座標を得ることができる。
図1は本発明における多数の基準面を用いた校正手法の原理を示す図である。z軸に垂直に設置された基準面をz軸方向に少しずつ平行移動させる。カメラ(撮影装置)およびプロジェクタ(投影装置)は基準面の上方に固定しておく。プロジェクタからは2次元パターンである格子が基準面に投影される。このとき、投影される格子は等間隔である必要は特にない。投影される格子の位相は位相シフト法によって容易に算出することができる。カメラのある1画素は図1に示す直線L上の点を撮影しているものとする。その画素は、基準面R0,R1,R2,・・,RNに応じて、それぞれ点P0,P1,P2,・・,PNを撮影することになる。それぞれの点における位相θ0,θ1,θ2,・・,θNは、位相シフト法によって求めることができる。
【0017】
図2は本発明における1画素の撮影ラインLと基準面上のx,y,z座標との関係を示す図である。カメラのある1画素が撮影している各基準面上の点P0,P1,P2,・・,PNについては、基準面に形成された2次元状のパターンからx座標およびy座標を得て、基準面の位置からz座標を得る。基準面に形成される2次元状のパターンとしては、そのパターンからx座標およびy座標が得られるようなパターンが必要である。
2次元状のパターンとして2次元格子を用いる場合には、その2次元格子のx方向およびy方向の位相値をそれぞれ求め、さらに位相接続を行うことによって、各点におけるx座標およびy座標をそれぞれ得ることができる。なお、「位相接続」の詳細については、特許第3281918号公報を参照のこと。
【0018】
2次元格子パターンからx方向およびy方向の位相値を得る手法の1つにフーリエ変換格子法がある。また、基準面として表面に光拡散板を貼り付けた液晶パネルを用いることで、格子パターンを基準面上に表示することができ、格子パターンを撮影した画像から位相シフト法によって位相分布を求める手法もある。なお、位相シフト法以外の格子の位相を求める方法としては、フーリエ変換縞パターン解析法(「Takeda, M. and Mutoh, K., Fourier transform profilometry for the automatic measurement of 3-D object shapes, Applied Optics, Vol. 22, No. 24, 3977-3982(1983) 」を参照のこと)がある。
このようにすることで、各基準面の位置毎に、投影格子の位相θに対する3次元座標(x,y,z座標)がそれぞれ画素毎に得られることになる。投影格子の位相θは、基準面の位置でしか得られないが、必要に応じて基準面の間隔を小さくして、その間を補間することで、全ての位相に対する3次元座標を精度良く求めることができる。
【0019】
[液晶ディスプレイを用いた基準平板]
上述した校正手法では、基準面に形成された2次元状のパターンが必要になる。平板に2次元格子パターンを描くことにより基準面に2次元状のパターンを形成する手法も有効ではあるが、フーリエ変換格子法を用いる場合は周囲で誤差が大きくなる問題がある。さらに、基準面上に濃淡のパターンが描かれることによって、格子投影をする場合に、基準面内の位置によって投影格子の位相の精度にばらつきが生じる欠点がある。そこで、本発明では、液晶ディスプレイを用いることで、精度良くx方向およびy方向の位相値をそれぞれ求めることができ、さらに投影格子の位相も精度良く得ることができる基準平板を用いている。この基準平板は、位相シフト法によって位相解析を行うことで、各画素のx座標およびy座標を精度良く求めることができる。さらに投影格子に対して、基準面内の位置によって投影格子の位相の精度にばらつきが生じないようになる。
なお、「位相解析」の詳細については、「藤垣元治、光学的全視野計測における位相解析技術、システム/制御/情報, Vol.48, No. 12, 495-503(2004)」を参照のこと。
【0020】
図3(a),(b)はそれぞれ、液晶ディスプレイを用いた基準平板および基準平板が取り付けられるステージを用いる本発明の形状計測装置の構成を示す図である。液晶ディスプレイ1の表面には光拡散板2が貼り付けられており、液晶パネル1aに表示された画像をバックライト光源3からの照明光4によって光拡散板2に背面から投影する構造になっている。液晶ディスプレイ1は、z方向に移動する移動ステージ5上に、ディスプレイ表面がz軸に対して垂直になるように取り付けられている。移動ステージ5は、コンピュータ(解析装置)6からの移動ステージ制御信号によってz方向の位置を制御されている。
図3(b)にはプロジェクタ(投影装置)7から格子(投影格子ともいう)を投影している様子を示している。プロジェクタ7から投影する格子を撮影する場合には、液晶パネル1aには黒パターンを基準面表示画像として表示することによって、バックライト光源3からの照明光4を遮断する。プロジェクタ7からは投影画像として格子画像を投影し、カメラ(撮影装置)8で撮影する。プロジェクタ7から投影された投影格子は、光拡散板2の表面に投影される。したがって、光拡散板2の表面が基準面となる。移動ステージ5を用いて基準面2の位置をz0,z1,z2,・・,zNに移動し、それぞれの位置において投影格子の位相解析を行うことで、カメラ8で撮影される画像の画素毎にそれぞれの位置に対する位相θ0,θ1,θ2,・・,θNを得ることができる。
【0021】
図4(a),(b)はそれぞれ、本発明の形状計測装置の基準平板の基準面へ格子画像を表示する様子を説明するための図である。プロジェクタ7には投影画像として黒パターンを入力することで、プロジェクタ7からの光が基準面2に到達しないようにする。液晶パネル1aには基準面2への表示画像として、図4(a)の場合はx方向の格子画像を表示し、図4(b)の場合はy方向の格子画像を表示する。バックライト光源3から出た照明光によって、液晶パネル1aに表示された格子画像が液晶パネルに貼り付けられた光拡散板2に背面から投影される。投影された画像は、光拡散板2に内部を散乱しながら透過し、光拡散板2の表面、すなわち基準面に表示される。したがって、カメラ8によって基準面2に表示された格子画像を撮影することができる。
移動ステージ5を用いて基準面2の位置をz0,z1,z2,・・,zNに移動し、それぞれの位置においてx方向およびy方向の格子の位相解析を行い、その位相に対して位相接続を行い、さらに、位相接続された位相からx座標またはy座標への換算を行うことで、カメラ8により撮影される画像の画素毎にそれぞれの位置に対するx座標x0,x1,x2,・・,xNおよびy座標y0,y1,y2,・・,yNを得ることができる。
【0022】
以上の手順を整理すると、次のようになる。
1 基準面を所定の位置に移動させる。
1-1 基準面の表示画像を黒パターンにする。
1-2 プロジェクタから格子画像を投影する。
2 位相シフトしながら複数毎撮影し、位相シフト法によって画素毎に位相を求める。
2-1 プロジェクタへの投影画像を黒パターンにする。
2-2 基準面の表示画像をx方向の格子にして液晶パネルに表示する。
2-3 位相シフトしながら複数毎撮影し、位相シフト法によって画素毎に位相を求める。
3 位相接続を行う。
4 位相とx座標との換算を行う。
4-1 基準面の表示画像をy方向の格子にして液晶パネルに表示する。
4-2 位相シフトしながら複数毎撮影し、位相シフト法によって画素毎に位相を求める。
5 位相接続を行う.
6 位相とy座標との換算を行う。
7 基準面を微小量移動させて、上記1以降を繰り返す。
【0023】
[試料物体の空間座標を得る方法]
上述した校正手法によって、位相θ0,θ1,θ2,・・,θNと、x座標x0,x1,x2,・・,xN、y座標y0,y1,y2,・・,yNおよびz座標z0,z1,z2,・・,zNとの関係が画素毎にそれぞれ得られる。それらの関係は、図5(a)〜(c)に示すようになる。
図6は本発明の形状計測装置において基準面R0と基準面RNとの間に試料物体9を設置した状態を示す図である。この状態では、試料物体9には校正のときと同一の格子が投影されるため、直線L上を撮影する画素の場合は、物体上の点Pを撮影することになり、点Pに投影されている格子の位相θP がその画素の位相として得られることになる。
まず、図6に示すように、位相θP に対応するx座標xPは、位相θP を間に持つ前後の位相θi およびθi+1と、それに対応するx座標xiおよびxi+1を用いて、式(1)で求めることができる。同様に、y座標については、y座標yiおよびyi+1 を用いて、式(2)で求めることができ、z座標については、z座標ziおよびzi+1 を用いて、式(3)で求めることができる。ここで、θ=θP とする。また、θi+1qi+1<θi となる場合(例えば、図5(a)〜(c)でi=3のような場合)には、θi+1に2πを加えて、式(1)、式(2)および式(3)を用いる。
【0024】
【数1】
【0025】
また、式(1),(2),(3)を用いて、予め等間隔の位相θに対応するx座標、y座標、z座標のテーブルをそれぞれ作成しておくこともできる。そうすることによって、試料物体を撮影して得られた位相から即座にその点の空間座標(x座標,y座標,z座標)を得ることが可能になる。
なお、図5(a),(b),(c)のそれぞれにおいて、Kとして示す区間の位相に対しては、その位相を間に持つ前後の位相θN およびθN+1 のうち、θN+1は存在しない。そこで、i=N−1として式(1)、式(2)および式(3)を用いて、位相と空間座標との関係を求める。すなわち、1つ手前の基準面における位相および座標の値を用いて計算する。こうすることによって、0から2πの全ての位相に対して、空間座標を得ることができる。
【0026】
[投影格子の位相接続ができる場合の多数の基準面を用いた校正手法の原理]
投影格子に対して位相接続ができる場合には、基準面の設置範囲を広くすることができる。位相接続を行わない場合には、基準面の設置範囲は位相が2π以上変化しない範囲に限定されていたが、位相接続ができる場合には、位相接続ができる範囲まで広げることができ、それによって大きな凹凸を持つ物体の形状計測が可能になる。
図7は本発明の形状計測装置において位相接続を行う場合の基準面の位置と位相接続された位相φとの関係を示す図である。上述した校正方法と同様に、各基準面の位置毎に、投影格子の位相接続された位相φに対する3次元座標(x,y,z座標)がそれぞれ画素毎に得られることになる。
【0027】
[投影格子の位相接続ができる場合の試料物体の座標を得る方法]
上述した校正手法によって、位相θ0,θ1,θ2,・・,θNと、x座標x0,x1,x2,・・,xN、y座標y0,y1,y2,・・,yNおよびz座標z0,z1,z2,・・,zNとの関係が画素毎にそれぞれ得られる。それらの関係は、図8(a)〜(c)に示すようになる。
図9は本発明の形状計測装置において基準面R0と基準面RNとの間に試料物体9を設置した状態を示す図である。この状態では、試料物体9には校正のときと同一の格子が投影されるため、直線L上を撮影する画素の場合は、物体上の点Pを撮影することになり、点Pに投影されている格子の位相θP がその画素の位相として得られることになる。
まず、図9に示すように、位相θP に対応するx座標xPは、位相θP を間に持つ前後の位相θi およびθi+1と、それに対応するx座標xiおよびxi+1を用いて、式(4)で求めることができる。同様に、y座標については、y座標yiおよびyi+1 を用いて、式(5)で求めることができ、z座標については、z座標ziおよびzi+1 を用いて、式(6)で求めることができる。ここで、φ=φP とする。
【0028】
【数2】
【0029】
また、式(4),(5),(6)を用いて、予め等間隔の位相φに対応するx座標、y座標、z座標のテーブルをそれぞれ作成しておくこともできる。そうすることによって、試料物体を撮影して得られた位相から即座にその点の空間座標(x座標,y座標,z座標)を得ることが可能になる。
なお、図8(a),(b),(c)のそれぞれにおいて、Kとして示す区間の位相に対しては、その位相を間に持つ前後のどちらかの位相が存在しない。そこで、i=0もしくはi=N−1として式(4)、式(5)および式(6)を用いて、位相と空間座標との関係を求める。すなわち、φ0 より小さいφに対しては0番目および1番目の基準面における位相および座標の値を用いて計算し、φ0 より大きいφに対しては(N−1)番目およびN番目の基準面における位相および座標の値を用いて計算する。こうすることによって、0から2πの全ての位相に対して、空間座標を得ることができる。
【0030】
本発明の形状計測方法に用いる「多数の基準面を用いた校正手法」の利点を以下に列挙する。
(1)レンズの歪曲収差によるゆがみの影響を受けずに、精度良く座標値が得られる。
(1a)異なる方向から複数台のカメラで撮影するように構成した場合、得られた座標データを容易に合成することができる。
(1b)全周囲計測を容易に実現することができる。
(1c)異なる方向から複数のプロジェクタで投影された格子を用いて1台のカメラで撮影するように構成した場合、容易に合成が行えるため、影になる部分を少なくすることができる。
(2)格子のピッチが不等間隔であっても計測が可能である。
(2a)放射状の格子や渦巻状の格子を回転させながら投影することで形状計測ができるようになる。
(2b)レーザ干渉縞のように等間隔にならない格子(以下、不等間隔格子という)を用いた形状計測が可能になる。
(2c)投影像がゆがむレンズ系(魚眼レンズなど)を用いた投影手法を用いても精度良く形状計測が可能である。
(3)格子の輝度分布が余弦波状でなくても計測が可能である。
(3a)矩形波状の格子を焦点ずれさせて余弦波に近い輝度分布を持つ格子にして投影しても、精度良く形状計測が行える。
(3b)液晶パネルのように入力値と表示濃度との間が非線形の関係となるようなものを用いて格子投影を行っても、精度良く形状計測が行える。
【0031】
[第1実施形態]
図10は本発明の第1実施形態の形状計測方法の実施に用いる形状計測装置の構成を示す図である。本実施形態の形状計測装置は、リアルタイム形状計測装置として構成されており、基準平板11と、基準面12と、ステージ13と、投影装置14と、撮影装置15と、解析装置(例えばパーソナルコンピュータ、以下、PCという)16とを具備して成る。
【0032】
上記基準平板11としては、本実施形態では液晶ディスプレイを用いている。液晶ディスプレイ11の表面には、基準面12となる光拡散板が貼り付けられている。液晶ディスプレイ11は、ステージ13上に設置されている。
上記基準面(光拡散板)12は、基準平板の法線方向(図10のz方向)に垂直になるように、したがって図10のx,y平面と平行な平面上に取り付けられている。上記基準面(光拡散板)12には、後述するようにして、所定の2次元パターン(本実施形態では等間隔格子を用いる)が形成されるとともに、空間を分割して数値化できるパターン(本実施形態では等間隔格子を用いる)が投影される。
なお、本実施形態では、基準平板11として液晶ディスプレイを用いて、校正に用いる画像を撮影する際に基準面(光拡散板)12上に所定の2次元パターン(本実施形態では等間隔格子を用いる)を表示するようにしているが、基準平板11として基準面(光拡散板)12上に所定の2次元パターン(等間隔格子)が固定的に描かれた平板を用いることも可能である。
また、本実施形態では、「空間を分割して数値化できるパターン」として等間隔格子を用いて格子パターンによる位相解析を行うようにしているが、「空間を分割して数値化できるパターン」として「濃淡のパターン」を用いたり(特願2003−328230号公報を参照のこと)、「空間コード」を用いる「空間コード化法」を用いたりすることも可能である。その場合、「空間を分割して数値化した値」は、格子を用いる場合はその位相となり、濃淡のパターンの場合は輝度比となり、空間コード化法の場合は,コード化された値となる。
【0033】
上記ステージ13は、基準平板11を該基準平板の法線方向(図10のz方向)に微小量ずつ平行移動させるものであり、本実施形態では直動ステージを用いている。
上記投影装置(プロジェクタ)14としては、本実施形態では液晶プロジェクタを用いているが、代わりにDMDプロジェクタを用いてもよい。液晶プロジェクタ14は、液晶パネルと、光源と、レンズとから成り、ステージ13のz方向の平行移動の各位置(R0,R1,・・,RN)において、液晶プロジェクタの液晶パネルに表示されたパターン(例えば格子状の濃淡パターン)を基準面12に投影するとともに、液晶プロジェクタに対して所定位置関係に設置した試料物体17に、「空間を分割して数値化できるパターン」として、液晶プロジェクタの液晶パネルに表示されたパターン(例えば格子状の濃淡パターン)を投影する。なお、プロジェクタ14は、「空間を分割して数値化できるパターン」を投影する際に所定シフト量ずつ位相シフトを行い得るプロジェクタであっても、「空間を分割して数値化できるパターン」を焦点ずれさせて投影する投影装置であってもよい。
【0034】
上記撮影装置15としては、本実施形態ではカメラ(例えばCCDカメラ)を用いている。上記撮影装置15は、図10に示すように基準面12の正面に設置されており、ステージ13のz方向の平行移動の各位置において、基準面12にそれぞれ形成される2次元パターンを撮影した第1撮影画像に対応する第1撮影画像信号と、基準面12に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像に対応する第2撮影画像信号とをPC16に入力するとともに、試料物体17に投影した、前記空間を分割して数値化できるパターンを撮影した第3撮影画像に対応する第3撮影画像信号をPC16に入力する。なお、位相シフトを行いながら、空間を分割して数値化できるパターンを撮影して第2撮影画像を得る際には、カメラ15は、前記位相シフトに同期して第2撮影画像を撮影するものとする。また、試料物体17を撮影する際には、基準面12をカメラ15に対して遠ざかるように後方に移動させるものとする。
【0035】
上記解析装置16としては、本実施形態ではパーソナルコンピュータ(以下、PCという)を用いている。PC16は、画像投影のために投影画像信号(例えば投影格子画像信号)をプロジェクタ14に入力し、ステージ13のz方向位置制御のためにステージ制御信号をステージ13に入力し、所定の2次元パターン(本実施形態では等間隔格子を用いる)の表示のために生成した表示画像信号(等間隔格子画像信号)を液晶ディスプレイ11に入力し、カメラ15から撮影画像信号(第1撮影画像信号、第2撮影画像信号、第3撮影画像信号)を入力される。
【0036】
図11は第1実施形態の形状計測装置の解析装置16の構成を示す機能ブロック図である。解析装置16は、校正処理部21と、連続撮影部22と、実時間解析部23と、精密解析部24とから成る。
【0037】
上記校正処理部21では、校正の作業を行う。基準平板として液晶ディスプレイ11を用いた基準面12に表示する表示画像や、プロジェクタ14から投影する投影画像(例えば格子画像)を生成したり、ステージ13へのステージ制御信号を生成したりする。これらを所定のタイミングに合わせて出力して、カメラ15によって基準面12の画像を撮影する。カメラ15によって撮影された撮影画像から画素毎に位相解析を行って投影格子の位相θを得たり、基準面12に表示された格子の位相からx座標およびy座標をそれぞれ得たりする。z座標に関しては、基準面12が移動する位置(基準平板11の移動量)がz座標に対応するため、その値を用いる。これらから、等間隔に位相を分割したときのx座標,y座標,z座標をそれぞれ補間により算出することで、位相と空間座標とを1対1で対応付けたテーブル(位相−座標テーブル)を作成し、作成した位相−座標テーブルを記憶装置(例えばハードディスク)へ保存する。
【0038】
上記連続撮影部22では、試料物体17の形状計測をリアルタイムに行うために、DMA転送を用いてカメラ15で撮影された全ての撮影画像をリングメモリに記録する。このとき、プロジェクタ14には、撮影のタイミングに合わせて空間を分割して数値化できるパターン画像(例えば格子画像)を位相シフトさせながら投影画像として入力する。リングメモリに保存された時系列の撮影画像は、計測終了後に精密解析を行うために記憶装置(例えばハードディスク)へも保存される。
【0039】
上記実時間解析部23では、連続撮影部22のリングメモリから最新の連続する4フレームの画像I0,I1,I2,I3を取り出してバッファメモリに格納する。それぞれの画像から1画素ずつI2−I0およびI3−I1を求め、それぞれの結果から位相解析テーブルを用いて位相θを求める。得られた位相θから、校正処理部21で作成した位相−座標テーブルを用いて、x座標またはy座標と、z座標とを求め、表示画像処理を行って、z座標の分布をモニタに表示する、もしくは、x座標,y座標,z座標を用いて立体画像(3D画像)をモニタに表示する。この一連の処理が終了すると、再度実時間解析部23の処理の始めに戻り、再度同一内容の処理を繰り返す。
【0040】
上記精密解析部24では、連続撮影部22で保存された時系列の撮影画像に対して順に連続する4フレームの画像I0,I1,I2,I3を取り出してバッファメモリに格納する。それぞれの画像から1画素ずつI2−I0およびI3−I1を求め、それぞれの結果から位相解析テーブルを用いて位相θを求める。得られた位相θから、校正処理部21で作成した位相−座標テーブルを用いて、x座標と、y座標と、z座標とをそれぞれ求め、記憶装置(例えばハードディスク)に形状計測結果として保存する。精密解析部24では、実時間解析部23とは異なり、全フレームに対して時系列の形状計測結果が得られる。
【0041】
[校正および形状計測結果]
まず、基準面をz=0mmから19.8mmまでの範囲において、0.2mm間隔で100個所の位置に移動して、それぞれに位置において投影格子の位相と空間座標との対応関係を画素毎に求めた。このようにして得られた投影格子の位相と空間座標との対応関係を基にして、位相2π/100毎に、投影格子の位相とx,y,z座標との対応関係を示す位相−座標テーブルを画素毎に作成した。
次に、試料物体17として中央部が断面台形状に盛り上がった試料物体を用意して、上述したようにして、試料物体17のリアルタイム形状計測を行った。そして、試料物体17の撮影画像と位相−座標テーブルとに基づいて試料物体17の空間座標(x,y,z)を求めた。
【0042】
図12は第1実施形態のリアルタイム形状計測において試料物体17に投影された格子を示す図面代用写真である。図13は第1実施形態のリアルタイム形状計測において試料物体17に投影された格子の位相分布を示す図面代用写真である。図14は第1実施形態の試料物体17のリアルタイム形状計測の計測結果のz座標の分布を示す図面代用写真である。図15は第1実施形態のリアルタイム形状計測により得た試料物体17の中央部の断面形状を示す図である。
以上の計測結果から、試料物体17の中央部(台形の上段部)のz座標分布平均と、試料物体17の周辺部(台形の左右下段部)のz座標分布平均との差を求め、z座標分布平均差分値と実際の高さとを比較してz座標計測の平均誤差を求めた結果、0.015mmとなった。また、試料物体17の中央部のz座標分布の標準偏差を求めた結果、0.086mmとなった。この結果より、本発明の第1実施形態の形状計測手法によって十分良い精度で形状計測が行うことができていることが確認できた。
【0043】
[第2実施形態]
本発明の第2実施形態の形状計測方法の実施に用いる形状計測装置としては、第1実施形態と同一構成の形状計測装置を用いる。本実施形態の形状計測装置は、プロジェクタ14から基準面12や試料物体17に投影する「空間を分割して数値化できるパターン」として、本実施形態では不等間隔格子である放射状格子を用いて、試料物体17の形状を計測する形状計測装置として構成されている。
【0044】
図16は第2実施形態の形状計測に用いる放射状格子を示す図面代用写真である。この放射状格子は、円板に1ピッチ3°の矩形格子を多数描いて構成されており、本実施形態の形状計測図16に示す放射状格子の一部分だけを使って投影を行った。この放射状格子が描かれた円板を図示しない放射状格子回転投影装置に取り付けて、ステッピングモータを駆動することにより、位相シフトを行った。
上記放射状格子を計測面でぼかして投影して、完全な余弦波ではない格子で計測を行った。試料物体17としては第1実施形態と同一形状の「中央部が断面台形状に盛り上がった試料物体」を用いて、試料物体の中央部の段差(高さ10.00mm)を計測した。基準面としては、z=0mmから19mmまでの範囲において、1mm間隔で20個所に移動してそれぞれの位置で計測を行い、合計20枚の基準面について計測を行った。位相シフトは、π/2ずつ位相を変えた位置で止めて撮影を行って得た4枚の画像による位相シフト法を用いた。なお、格子の投影は、全て同一の放射状格子格子を用いて投影を行い、試料物体の形状計測を行った。
【0045】
[形状計測結果]
図17は第2実施形態の形状計測において試料物体17に投影された放射状格子を示す図面代用写真である。図18は第2実施形態の形状計測において位相シフト法により得られた試料物体17に投影された放射状格子の位相分布を示す図面代用写真である。図19は第2実施形態の試料物体17の形状計測の計測結果のz座標の分布を示す図面代用写真である。図20(a)〜(c)はそれぞれ、図17〜図19の形状計測結果から1ラインを抜き出して示した、格子の輝度分布、位相分布および高さ分布を示すグラフである。図20(a)〜(c)から分かるように、投影する格子が完全な余弦波でなくても計測することができることが確認できた。特に、図20(c)におけるラインCの場合では、格子の輝度分布は台形状になっているにも拘わらず高さ分布では計測できていることが分かる。
【0046】
図21は第2実施形態の試料物体17の形状計測の計測結果から得た中央1ラインにおける高さを示すグラフである。図21では、試料物体17の中央部(台形の上段部)の上段の点群と試料物体17の周辺部(左右下段部)の近似直線との「点と直線との距離」を求めて、z座標に関する精度を算出した。その結果、当該試料物体の段差が10mmであるのに対し、本実施形態の形状計測では、平均との誤差が0.2mmとなり、標準偏差が0.13mmとなった。この結果より、本発明の第2実施形態の形状計測手法によって十分良い精度で形状計測が行うことができていることが確認できた。
【産業上の利用可能性】
【0047】
本発明の多数の基準面を用いた形状計測方法および多数の基準面を用いた形状計測装置は、物体の形状計測(例えば製造業における形状検査)や、人体の形状計測(医療福祉分野、服飾分野)に、好適に用いることができる。
【図面の簡単な説明】
【0048】
【図1】本発明における多数の基準面を用いた校正手法の原理を示す図である。
【図2】本発明における1画素の撮影ラインLと基準面上のx,y,z座標との関係を示す図である。
【図3】(a),(b)はそれぞれ、液晶ディスプレイを用いた基準平板および基準平板が取り付けられるステージを用いる本発明の形状計測装置の構成を示す図である。
【図4】(a),(b)はそれぞれ、本発明の形状計測装置の基準平板の基準面へ格子画像を表示する様子を説明するための図である。
【図5】(a)〜(c)はそれぞれ、本発明の形状計測方法に用いる多数の基準面を用いた校正手法により得られる、位相接続を行わない場合の位相θと空間座標(x,y,z)の各座標との関係を示すグラフである。
【図6】本発明の形状計測装置において基準面と他の基準面との間に試料物体を設置した状態を示す図である。
【図7】本発明の形状計測装置において位相接続を行う場合の基準面の位置と位相接続された位相φとの関係を示す図である。
【図8】(a)〜(c)はそれぞれ、本発明の形状計測方法に用いる多数の基準面を用いた校正手法により得られる、位相接続を行う場合の位相θと空間座標(x,y,z)の各座標との関係を示すグラフである。
【図9】本発明の形状計測装置において基準面と他の基準面との間に試料物体を設置した状態を示す図である。
【図10】本発明の第1実施形態の形状計測方法の実施に用いる形状計測装置の構成を示す図である。
【図11】第1実施形態の形状計測装置の解析装置の構成を示す機能ブロック図である。
【図12】第1実施形態のリアルタイム形状計測において試料物体に投影された格子を示す図面代用写真である。
【図13】第1実施形態のリアルタイム形状計測において試料物体に投影された格子の位相分布を示す図面代用写真である。
【図14】第1実施形態の試料物体のリアルタイム形状計測の計測結果のz座標の分布を示す図面代用写真である。
【図15】第1実施形態のリアルタイム形状計測により得た試料物体の中央部の断面形状を示す図である。
【図16】第2実施形態の形状計測に用いる放射状格子を示す図面代用写真である。
【図17】第2実施形態の形状計測において試料物体に投影された放射状格子を示す図面代用写真である。
【図18】第2実施形態の形状計測において位相シフト法により得られた試料物体に投影された放射状格子の位相分布を示す図面代用写真である。
【図19】第2実施形態の試料物体の形状計測の計測結果のz座標の分布を示す図面代用写真である。
【図20】(a)〜(c)はそれぞれ、図17〜図19の形状計測結果から1ラインを抜き出して示した、格子の輝度分布、位相分布および高さ分布を示すグラフである。
【図21】第2実施形態の試料物体の形状計測の計測結果から得た中央1ラインにおける高さを示すグラフである。
【図22】(a)は従来技術の非接触式3次元形状計測方法における余弦波状格子およびゆがんだ格子の輝度分布を例示する図であり、(b)は(a)のそれぞれの輝度分布から位相シフト法によって得られた位相値の分布を例示する図である。
【符号の説明】
【0049】
1 液晶ディスプレイ(基準平板)
1a 液晶パネル
2 光拡散板(基準面)
3 バックライト光源
4 照明光
5 移動ステージ
6 コンピュータ(分析装置)
7 プロジェクタ(投影装置)
8 カメラ(撮影装置)
9 試料物体
11 基準平板(液晶ディスプレイ)
12 基準面(光拡散板)
13 ステージ(直動ステージ)
14 投影装置(プロジェクタ;液晶プロジェクタ)
15 撮影装置(カメラ;CCDカメラ)
16 解析装置(パーソナルコンピュータ;PC)
17 試料物体
21 校正処理部
22 連続撮影部
23 実時間解析部
24 精密解析部
【技術分野】
【0001】
本発明は、物体や人体等の試料物体の形状計測を非接触かつ高精度で行い得る多数の基準面を用いた形状計測方法および多数の基準面を用いた形状計測装置に関するものである。
【背景技術】
【0002】
非接触式3次元形状計測方法の従来技術としては、例えば以下に説明する従来技術1および従来技術2がある。
【0003】
従来技術1(特許文献1参照)は、カメラを用いた形状計測装置において、カメラまたはプロジェクタのレンズ収差の影響を受けない高精度な形状計測を行うことを目的としており、格子模様が描かれた基準平板の画像からカメラまたはプロジェクタのレンズ中心座標を算出するのではなく、基準面に固定された2次元格子から、カメラの画素毎の視線が通る光路と、プロジェクタから投影される光の光路とをそれぞれ全て求めて、それら光路の交点として空間座標を算出する形状計測方法およびその方法に用いる形状計測装置である。
【0004】
従来技術2(特許文献2参照)は、従来時間を掛けて解析していた形状計測やレーザの干渉縞を利用した微小変形計測をリアルタイムで計測結果が得られるようにして、振動している物体や動いている物体の動的な変化をその場で観察できるようにすることを目的としており、格子模様が4/30秒で1周期分移動するように連続的に位相シフト行いながらCCDカメラで1/30秒毎に1枚の画像を撮影して合計4枚撮影し、それらの画像から位置分布を求める方法である。
【0005】
【特許文献1】特許第2913021号公報
【特許文献2】特許第3265476号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
上記従来技術1の非接触式3次元形状計測方法は、プロジェクタからx方向の格子およびy方向の格子の両方を別々に投影する必要があるため、格子の投影に時間が掛かってしまうとともに、座標計算が複雑であるため、座標計算に多大な時間が掛かってしまう。
【0007】
上記従来技術2の非接触式3次元形状計測方法に用いている位相シフト法では、撮影された格子が余弦波状の輝度分布を持っていると仮定して位相値を求めている。しかし、実際の格子画像においては、プロジェクタによって投影された格子の輝度分布は余弦波状からずれている場合が多く、液晶プロジェクタによる格子投影の場合は、液晶の入力値と表示される濃度(透過率)との関係が非線形であるため、輝度分布が余弦波からずれてしまう。フィルムに格子を焼き付けたものを使う場合も精度良い余弦波状の輝度分布を作成することは実際には困難である。また、ガラス基板上に余弦波状の格子を作成することも困難である。ガラス基板上に矩形波状の格子を作成して、それを焦点をずらせて投影することによって余弦波状の格子に近いパターンを投影する方法もあるが、精度良い余弦波状にはならず、また、プロジェクタからの距離によっても輝度分布が変化する。
この従来技術2の非接触式3次元形状計測方法は、計測すべき試料物体に対して余弦波状の格子を投影して計測を行う格子投影方法であり、この方法では試料物体の高さを算出する際に、投影された格子のピッチを縦方向もしくは横方向に等間隔かつ余弦波分布に変化させなければならないため、焦点ずれなどで投影した格子の輝度分布が理想的な分布からずれた場合には格子が等間隔かつ余弦波分布に変化せず、計測の誤差が大きくなってしまうため、算出式を投影された格子に合うように複雑にしなければならず、座標計算が複雑化するため座標計算に多大な時間が掛かってしまう。
図22(a)は従来技術2の非接触式3次元形状計測方法における余弦波状格子およびゆがんだ格子の輝度分布を例示する図であり、図22(b)は図22(a)のそれぞれの輝度分布から位相シフト法によって得られた位相値の分布を例示する図である。図22(a),(b)から、余弦波状の格子の場合は横軸の位相と算出された縦軸の位相とはほぼ同一の値が得られるが、余弦波からずれた輝度分布を持つ格子の場合は、算出された位相分布に誤差が発生することがわかる。
【0008】
本発明は、基準面を含む基準平板をその放線方向に微小量ずつ平行移動させたときの多数の基準面を2次元パターンの形成や空間を分割して数値化できるパターンの投影に利用することにより、投影するパターンの輝度分布が余弦波状でなくても、投影するパターンのピッチが不等間隔であっても、精度良く形状計測を行い得る、多数の基準面を用いた形状計測方法および形状計測装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の多数の基準面を用いた形状計測方法は、2次元パターンが形成される基準面を含む基準平板を該基準平板の法線方向に微小量ずつ平行移動させる第1工程と、前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影して第1撮影画像を得る第2工程と、前記平行移動の各位置において、前記基準面に投影した、空間を分割して数値化できるパターンを撮影して第2撮影画像を得る第3工程と、前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成する第4工程と、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る第5工程と、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める第6工程と、を行うことを特徴とする。
【0010】
本発明の多数の基準面を用いた形状計測方法の好適例としては、前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出すること、前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくこと、前記空間を分割して数値化できるパターンは、等間隔格子であること、および、前記空間を分割して数値化できるパターンは、放射状格子を含む不等間隔格子であること、がある。
【0011】
上記目的を達成するため、本発明の多数の基準面を用いた形状計測装置は、2次元パターンが形成される基準面を含む基準平板と、前記基準平板を該基準平板の法線方向に微小量ずつ平行移動させるステージと、前記平行移動の各位置において、前記基準面に空間を分割して数値化できるパターンを投影する投影装置と、前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影した第1撮影画像と、前記基準面に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像とを得るとともに、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る撮影装置と、前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成するとともに、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める解析装置と、を備えることを特徴とする。
【0012】
本発明の多数の基準面を用いた形状計測装置の好適例としては、前記解析装置は、前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出すること、前記解析装置は、前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくこと、前記投影装置は、投影される前記空間を分割して数値化できるパターンが等間隔のパターンであること、前記投影装置は、投影される前記空間を分割して数値化できるパターンが放射状格子を含む不等間隔のパターンであること、前記投影装置は、前記空間を分割して数値化できるパターンを焦点ずれさせて投影する投影装置であること、前記投影装置は、液晶プロジェクタまたはDMDプロジェクタであること、および、前記投影装置は、前記空間を分割して数値化できるパターンを投影する際に所定シフト量ずつ位相シフトを行い得る投影装置であり、前記撮影装置は、前記位相シフトに同期して前記第2撮影画像を撮影し得る撮影装置であること、がある。
[発明の効果]
【0013】
本発明の多数の基準面を用いた形状計測方法によれば、上記第1工程〜第6工程を行うことにより、基準面を含む基準平板をその放線方向に微小量ずつ平行移動させたときの多数の基準面を2次元パターンの形成や空間を分割して数値化できるパターンの投影に利用するので、投影するパターンの輝度分布が余弦波状でなくても、投影するパターンのピッチが不等間隔であっても、精度良く形状計測を行い得る、多数の基準面を用いた形状計測方法を提供することができる。
【0014】
本発明の多数の基準面を用いた形状計測装置によれば、2次元パターンが形成される基準面を含む基準平板と、前記基準平板を該基準平板の法線方向に微小量ずつ平行移動させるステージと、前記平行移動の各位置において、前記基準面に空間を分割して数値化できるパターンを投影する投影装置と、前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影した第1撮影画像と、前記基準面に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像とを得るとともに、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る撮影装置と、前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成するとともに、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める解析装置とを備えるように構成したので、投影するパターンの輝度分布が余弦波状でなくても、投影するパターンのピッチが不等間隔であっても、精度良く形状計測を行い得る、多数の基準面を用いた形状計測方法を提供することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
まず、本発明の形状計測方法に用いる「多数の基準面を用いた校正(キャリブレーション)手法」について説明する。
格子投影方法による3次元形状計測における校正方法の従来手法は、ワールド座標系とカメラ座標系およびプロジェクタ座標系とを関連付けるための行列の各要素を求めることであったが、この従来手法は基本的にレンズの歪曲収差が無いピンホールモデルを用いているため、実際にはレンズ収差による誤差が含まれる結果となり、高精度な形状計測は期待できない。また、座標計算も複雑であり、多大な計測時間が必要になる。
本願の発明者らは、格子投影方法による形状計測方法の1つとして、撮像素子の画素毎にキャリブレーションを行うことで、レンズ収差によるゆがみや光学系の幾何学的パラメータの実測誤差などの種々の誤差要因を排除して計測精度を向上させる形状計測方法を提案しており、その考え方を格子投影による形状計測や位相シフトデジタルホログラフィによる微小変形・ひずみ計測に適用してきた。画素毎にキャリブレーションを行う方法は、最近の画像計測で用いられ始めており、デジタル画像相関法による変形計測にも適用されている。
本発明の形状計測方法に用いる「格子投影形状計測における多数の基準面を用いた校正手法」では、空間座標のz方向(基準平板の法線方向)に基準平板を微小量ずつ平行移動させながら、各位置において基準面上の投影格子の位相分布を求め、それからカメラの撮影画像の1画素毎に位相とz座標とを1対1で対応付けたテーブルを作成する。その際、基準面に格子が表示できる特殊な液晶パネルを用いることで、z座標と同様に空間座標のx座標およびy座標についても位相と1対1で対応付けるテーブル化を行う。このキャリブレーション手法により、レンズの歪曲収差の影響や投影格子の輝度むらによる位相誤差の影響の無い精度の良い形状計測が容易に実現できる。また、空間座標の計算時間もほとんど掛からないため、リアルタイム形状計測も実現できるようになる。
【0016】
[多数の基準面を用いた校正手法の原理]
形状計測における校正の考え方を従来手法とは大きく変えて、本発明では、投影された格子の位相と3次元座標との対応関係をカメラ(撮影装置)の画素毎に求めておくことを校正と呼ぶ。校正を行うことができれば、試料物体に投影された格子の位相が得ることにより、即座に3次元座標を得ることができる。
図1は本発明における多数の基準面を用いた校正手法の原理を示す図である。z軸に垂直に設置された基準面をz軸方向に少しずつ平行移動させる。カメラ(撮影装置)およびプロジェクタ(投影装置)は基準面の上方に固定しておく。プロジェクタからは2次元パターンである格子が基準面に投影される。このとき、投影される格子は等間隔である必要は特にない。投影される格子の位相は位相シフト法によって容易に算出することができる。カメラのある1画素は図1に示す直線L上の点を撮影しているものとする。その画素は、基準面R0,R1,R2,・・,RNに応じて、それぞれ点P0,P1,P2,・・,PNを撮影することになる。それぞれの点における位相θ0,θ1,θ2,・・,θNは、位相シフト法によって求めることができる。
【0017】
図2は本発明における1画素の撮影ラインLと基準面上のx,y,z座標との関係を示す図である。カメラのある1画素が撮影している各基準面上の点P0,P1,P2,・・,PNについては、基準面に形成された2次元状のパターンからx座標およびy座標を得て、基準面の位置からz座標を得る。基準面に形成される2次元状のパターンとしては、そのパターンからx座標およびy座標が得られるようなパターンが必要である。
2次元状のパターンとして2次元格子を用いる場合には、その2次元格子のx方向およびy方向の位相値をそれぞれ求め、さらに位相接続を行うことによって、各点におけるx座標およびy座標をそれぞれ得ることができる。なお、「位相接続」の詳細については、特許第3281918号公報を参照のこと。
【0018】
2次元格子パターンからx方向およびy方向の位相値を得る手法の1つにフーリエ変換格子法がある。また、基準面として表面に光拡散板を貼り付けた液晶パネルを用いることで、格子パターンを基準面上に表示することができ、格子パターンを撮影した画像から位相シフト法によって位相分布を求める手法もある。なお、位相シフト法以外の格子の位相を求める方法としては、フーリエ変換縞パターン解析法(「Takeda, M. and Mutoh, K., Fourier transform profilometry for the automatic measurement of 3-D object shapes, Applied Optics, Vol. 22, No. 24, 3977-3982(1983) 」を参照のこと)がある。
このようにすることで、各基準面の位置毎に、投影格子の位相θに対する3次元座標(x,y,z座標)がそれぞれ画素毎に得られることになる。投影格子の位相θは、基準面の位置でしか得られないが、必要に応じて基準面の間隔を小さくして、その間を補間することで、全ての位相に対する3次元座標を精度良く求めることができる。
【0019】
[液晶ディスプレイを用いた基準平板]
上述した校正手法では、基準面に形成された2次元状のパターンが必要になる。平板に2次元格子パターンを描くことにより基準面に2次元状のパターンを形成する手法も有効ではあるが、フーリエ変換格子法を用いる場合は周囲で誤差が大きくなる問題がある。さらに、基準面上に濃淡のパターンが描かれることによって、格子投影をする場合に、基準面内の位置によって投影格子の位相の精度にばらつきが生じる欠点がある。そこで、本発明では、液晶ディスプレイを用いることで、精度良くx方向およびy方向の位相値をそれぞれ求めることができ、さらに投影格子の位相も精度良く得ることができる基準平板を用いている。この基準平板は、位相シフト法によって位相解析を行うことで、各画素のx座標およびy座標を精度良く求めることができる。さらに投影格子に対して、基準面内の位置によって投影格子の位相の精度にばらつきが生じないようになる。
なお、「位相解析」の詳細については、「藤垣元治、光学的全視野計測における位相解析技術、システム/制御/情報, Vol.48, No. 12, 495-503(2004)」を参照のこと。
【0020】
図3(a),(b)はそれぞれ、液晶ディスプレイを用いた基準平板および基準平板が取り付けられるステージを用いる本発明の形状計測装置の構成を示す図である。液晶ディスプレイ1の表面には光拡散板2が貼り付けられており、液晶パネル1aに表示された画像をバックライト光源3からの照明光4によって光拡散板2に背面から投影する構造になっている。液晶ディスプレイ1は、z方向に移動する移動ステージ5上に、ディスプレイ表面がz軸に対して垂直になるように取り付けられている。移動ステージ5は、コンピュータ(解析装置)6からの移動ステージ制御信号によってz方向の位置を制御されている。
図3(b)にはプロジェクタ(投影装置)7から格子(投影格子ともいう)を投影している様子を示している。プロジェクタ7から投影する格子を撮影する場合には、液晶パネル1aには黒パターンを基準面表示画像として表示することによって、バックライト光源3からの照明光4を遮断する。プロジェクタ7からは投影画像として格子画像を投影し、カメラ(撮影装置)8で撮影する。プロジェクタ7から投影された投影格子は、光拡散板2の表面に投影される。したがって、光拡散板2の表面が基準面となる。移動ステージ5を用いて基準面2の位置をz0,z1,z2,・・,zNに移動し、それぞれの位置において投影格子の位相解析を行うことで、カメラ8で撮影される画像の画素毎にそれぞれの位置に対する位相θ0,θ1,θ2,・・,θNを得ることができる。
【0021】
図4(a),(b)はそれぞれ、本発明の形状計測装置の基準平板の基準面へ格子画像を表示する様子を説明するための図である。プロジェクタ7には投影画像として黒パターンを入力することで、プロジェクタ7からの光が基準面2に到達しないようにする。液晶パネル1aには基準面2への表示画像として、図4(a)の場合はx方向の格子画像を表示し、図4(b)の場合はy方向の格子画像を表示する。バックライト光源3から出た照明光によって、液晶パネル1aに表示された格子画像が液晶パネルに貼り付けられた光拡散板2に背面から投影される。投影された画像は、光拡散板2に内部を散乱しながら透過し、光拡散板2の表面、すなわち基準面に表示される。したがって、カメラ8によって基準面2に表示された格子画像を撮影することができる。
移動ステージ5を用いて基準面2の位置をz0,z1,z2,・・,zNに移動し、それぞれの位置においてx方向およびy方向の格子の位相解析を行い、その位相に対して位相接続を行い、さらに、位相接続された位相からx座標またはy座標への換算を行うことで、カメラ8により撮影される画像の画素毎にそれぞれの位置に対するx座標x0,x1,x2,・・,xNおよびy座標y0,y1,y2,・・,yNを得ることができる。
【0022】
以上の手順を整理すると、次のようになる。
1 基準面を所定の位置に移動させる。
1-1 基準面の表示画像を黒パターンにする。
1-2 プロジェクタから格子画像を投影する。
2 位相シフトしながら複数毎撮影し、位相シフト法によって画素毎に位相を求める。
2-1 プロジェクタへの投影画像を黒パターンにする。
2-2 基準面の表示画像をx方向の格子にして液晶パネルに表示する。
2-3 位相シフトしながら複数毎撮影し、位相シフト法によって画素毎に位相を求める。
3 位相接続を行う。
4 位相とx座標との換算を行う。
4-1 基準面の表示画像をy方向の格子にして液晶パネルに表示する。
4-2 位相シフトしながら複数毎撮影し、位相シフト法によって画素毎に位相を求める。
5 位相接続を行う.
6 位相とy座標との換算を行う。
7 基準面を微小量移動させて、上記1以降を繰り返す。
【0023】
[試料物体の空間座標を得る方法]
上述した校正手法によって、位相θ0,θ1,θ2,・・,θNと、x座標x0,x1,x2,・・,xN、y座標y0,y1,y2,・・,yNおよびz座標z0,z1,z2,・・,zNとの関係が画素毎にそれぞれ得られる。それらの関係は、図5(a)〜(c)に示すようになる。
図6は本発明の形状計測装置において基準面R0と基準面RNとの間に試料物体9を設置した状態を示す図である。この状態では、試料物体9には校正のときと同一の格子が投影されるため、直線L上を撮影する画素の場合は、物体上の点Pを撮影することになり、点Pに投影されている格子の位相θP がその画素の位相として得られることになる。
まず、図6に示すように、位相θP に対応するx座標xPは、位相θP を間に持つ前後の位相θi およびθi+1と、それに対応するx座標xiおよびxi+1を用いて、式(1)で求めることができる。同様に、y座標については、y座標yiおよびyi+1 を用いて、式(2)で求めることができ、z座標については、z座標ziおよびzi+1 を用いて、式(3)で求めることができる。ここで、θ=θP とする。また、θi+1qi+1<θi となる場合(例えば、図5(a)〜(c)でi=3のような場合)には、θi+1に2πを加えて、式(1)、式(2)および式(3)を用いる。
【0024】
【数1】
【0025】
また、式(1),(2),(3)を用いて、予め等間隔の位相θに対応するx座標、y座標、z座標のテーブルをそれぞれ作成しておくこともできる。そうすることによって、試料物体を撮影して得られた位相から即座にその点の空間座標(x座標,y座標,z座標)を得ることが可能になる。
なお、図5(a),(b),(c)のそれぞれにおいて、Kとして示す区間の位相に対しては、その位相を間に持つ前後の位相θN およびθN+1 のうち、θN+1は存在しない。そこで、i=N−1として式(1)、式(2)および式(3)を用いて、位相と空間座標との関係を求める。すなわち、1つ手前の基準面における位相および座標の値を用いて計算する。こうすることによって、0から2πの全ての位相に対して、空間座標を得ることができる。
【0026】
[投影格子の位相接続ができる場合の多数の基準面を用いた校正手法の原理]
投影格子に対して位相接続ができる場合には、基準面の設置範囲を広くすることができる。位相接続を行わない場合には、基準面の設置範囲は位相が2π以上変化しない範囲に限定されていたが、位相接続ができる場合には、位相接続ができる範囲まで広げることができ、それによって大きな凹凸を持つ物体の形状計測が可能になる。
図7は本発明の形状計測装置において位相接続を行う場合の基準面の位置と位相接続された位相φとの関係を示す図である。上述した校正方法と同様に、各基準面の位置毎に、投影格子の位相接続された位相φに対する3次元座標(x,y,z座標)がそれぞれ画素毎に得られることになる。
【0027】
[投影格子の位相接続ができる場合の試料物体の座標を得る方法]
上述した校正手法によって、位相θ0,θ1,θ2,・・,θNと、x座標x0,x1,x2,・・,xN、y座標y0,y1,y2,・・,yNおよびz座標z0,z1,z2,・・,zNとの関係が画素毎にそれぞれ得られる。それらの関係は、図8(a)〜(c)に示すようになる。
図9は本発明の形状計測装置において基準面R0と基準面RNとの間に試料物体9を設置した状態を示す図である。この状態では、試料物体9には校正のときと同一の格子が投影されるため、直線L上を撮影する画素の場合は、物体上の点Pを撮影することになり、点Pに投影されている格子の位相θP がその画素の位相として得られることになる。
まず、図9に示すように、位相θP に対応するx座標xPは、位相θP を間に持つ前後の位相θi およびθi+1と、それに対応するx座標xiおよびxi+1を用いて、式(4)で求めることができる。同様に、y座標については、y座標yiおよびyi+1 を用いて、式(5)で求めることができ、z座標については、z座標ziおよびzi+1 を用いて、式(6)で求めることができる。ここで、φ=φP とする。
【0028】
【数2】
【0029】
また、式(4),(5),(6)を用いて、予め等間隔の位相φに対応するx座標、y座標、z座標のテーブルをそれぞれ作成しておくこともできる。そうすることによって、試料物体を撮影して得られた位相から即座にその点の空間座標(x座標,y座標,z座標)を得ることが可能になる。
なお、図8(a),(b),(c)のそれぞれにおいて、Kとして示す区間の位相に対しては、その位相を間に持つ前後のどちらかの位相が存在しない。そこで、i=0もしくはi=N−1として式(4)、式(5)および式(6)を用いて、位相と空間座標との関係を求める。すなわち、φ0 より小さいφに対しては0番目および1番目の基準面における位相および座標の値を用いて計算し、φ0 より大きいφに対しては(N−1)番目およびN番目の基準面における位相および座標の値を用いて計算する。こうすることによって、0から2πの全ての位相に対して、空間座標を得ることができる。
【0030】
本発明の形状計測方法に用いる「多数の基準面を用いた校正手法」の利点を以下に列挙する。
(1)レンズの歪曲収差によるゆがみの影響を受けずに、精度良く座標値が得られる。
(1a)異なる方向から複数台のカメラで撮影するように構成した場合、得られた座標データを容易に合成することができる。
(1b)全周囲計測を容易に実現することができる。
(1c)異なる方向から複数のプロジェクタで投影された格子を用いて1台のカメラで撮影するように構成した場合、容易に合成が行えるため、影になる部分を少なくすることができる。
(2)格子のピッチが不等間隔であっても計測が可能である。
(2a)放射状の格子や渦巻状の格子を回転させながら投影することで形状計測ができるようになる。
(2b)レーザ干渉縞のように等間隔にならない格子(以下、不等間隔格子という)を用いた形状計測が可能になる。
(2c)投影像がゆがむレンズ系(魚眼レンズなど)を用いた投影手法を用いても精度良く形状計測が可能である。
(3)格子の輝度分布が余弦波状でなくても計測が可能である。
(3a)矩形波状の格子を焦点ずれさせて余弦波に近い輝度分布を持つ格子にして投影しても、精度良く形状計測が行える。
(3b)液晶パネルのように入力値と表示濃度との間が非線形の関係となるようなものを用いて格子投影を行っても、精度良く形状計測が行える。
【0031】
[第1実施形態]
図10は本発明の第1実施形態の形状計測方法の実施に用いる形状計測装置の構成を示す図である。本実施形態の形状計測装置は、リアルタイム形状計測装置として構成されており、基準平板11と、基準面12と、ステージ13と、投影装置14と、撮影装置15と、解析装置(例えばパーソナルコンピュータ、以下、PCという)16とを具備して成る。
【0032】
上記基準平板11としては、本実施形態では液晶ディスプレイを用いている。液晶ディスプレイ11の表面には、基準面12となる光拡散板が貼り付けられている。液晶ディスプレイ11は、ステージ13上に設置されている。
上記基準面(光拡散板)12は、基準平板の法線方向(図10のz方向)に垂直になるように、したがって図10のx,y平面と平行な平面上に取り付けられている。上記基準面(光拡散板)12には、後述するようにして、所定の2次元パターン(本実施形態では等間隔格子を用いる)が形成されるとともに、空間を分割して数値化できるパターン(本実施形態では等間隔格子を用いる)が投影される。
なお、本実施形態では、基準平板11として液晶ディスプレイを用いて、校正に用いる画像を撮影する際に基準面(光拡散板)12上に所定の2次元パターン(本実施形態では等間隔格子を用いる)を表示するようにしているが、基準平板11として基準面(光拡散板)12上に所定の2次元パターン(等間隔格子)が固定的に描かれた平板を用いることも可能である。
また、本実施形態では、「空間を分割して数値化できるパターン」として等間隔格子を用いて格子パターンによる位相解析を行うようにしているが、「空間を分割して数値化できるパターン」として「濃淡のパターン」を用いたり(特願2003−328230号公報を参照のこと)、「空間コード」を用いる「空間コード化法」を用いたりすることも可能である。その場合、「空間を分割して数値化した値」は、格子を用いる場合はその位相となり、濃淡のパターンの場合は輝度比となり、空間コード化法の場合は,コード化された値となる。
【0033】
上記ステージ13は、基準平板11を該基準平板の法線方向(図10のz方向)に微小量ずつ平行移動させるものであり、本実施形態では直動ステージを用いている。
上記投影装置(プロジェクタ)14としては、本実施形態では液晶プロジェクタを用いているが、代わりにDMDプロジェクタを用いてもよい。液晶プロジェクタ14は、液晶パネルと、光源と、レンズとから成り、ステージ13のz方向の平行移動の各位置(R0,R1,・・,RN)において、液晶プロジェクタの液晶パネルに表示されたパターン(例えば格子状の濃淡パターン)を基準面12に投影するとともに、液晶プロジェクタに対して所定位置関係に設置した試料物体17に、「空間を分割して数値化できるパターン」として、液晶プロジェクタの液晶パネルに表示されたパターン(例えば格子状の濃淡パターン)を投影する。なお、プロジェクタ14は、「空間を分割して数値化できるパターン」を投影する際に所定シフト量ずつ位相シフトを行い得るプロジェクタであっても、「空間を分割して数値化できるパターン」を焦点ずれさせて投影する投影装置であってもよい。
【0034】
上記撮影装置15としては、本実施形態ではカメラ(例えばCCDカメラ)を用いている。上記撮影装置15は、図10に示すように基準面12の正面に設置されており、ステージ13のz方向の平行移動の各位置において、基準面12にそれぞれ形成される2次元パターンを撮影した第1撮影画像に対応する第1撮影画像信号と、基準面12に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像に対応する第2撮影画像信号とをPC16に入力するとともに、試料物体17に投影した、前記空間を分割して数値化できるパターンを撮影した第3撮影画像に対応する第3撮影画像信号をPC16に入力する。なお、位相シフトを行いながら、空間を分割して数値化できるパターンを撮影して第2撮影画像を得る際には、カメラ15は、前記位相シフトに同期して第2撮影画像を撮影するものとする。また、試料物体17を撮影する際には、基準面12をカメラ15に対して遠ざかるように後方に移動させるものとする。
【0035】
上記解析装置16としては、本実施形態ではパーソナルコンピュータ(以下、PCという)を用いている。PC16は、画像投影のために投影画像信号(例えば投影格子画像信号)をプロジェクタ14に入力し、ステージ13のz方向位置制御のためにステージ制御信号をステージ13に入力し、所定の2次元パターン(本実施形態では等間隔格子を用いる)の表示のために生成した表示画像信号(等間隔格子画像信号)を液晶ディスプレイ11に入力し、カメラ15から撮影画像信号(第1撮影画像信号、第2撮影画像信号、第3撮影画像信号)を入力される。
【0036】
図11は第1実施形態の形状計測装置の解析装置16の構成を示す機能ブロック図である。解析装置16は、校正処理部21と、連続撮影部22と、実時間解析部23と、精密解析部24とから成る。
【0037】
上記校正処理部21では、校正の作業を行う。基準平板として液晶ディスプレイ11を用いた基準面12に表示する表示画像や、プロジェクタ14から投影する投影画像(例えば格子画像)を生成したり、ステージ13へのステージ制御信号を生成したりする。これらを所定のタイミングに合わせて出力して、カメラ15によって基準面12の画像を撮影する。カメラ15によって撮影された撮影画像から画素毎に位相解析を行って投影格子の位相θを得たり、基準面12に表示された格子の位相からx座標およびy座標をそれぞれ得たりする。z座標に関しては、基準面12が移動する位置(基準平板11の移動量)がz座標に対応するため、その値を用いる。これらから、等間隔に位相を分割したときのx座標,y座標,z座標をそれぞれ補間により算出することで、位相と空間座標とを1対1で対応付けたテーブル(位相−座標テーブル)を作成し、作成した位相−座標テーブルを記憶装置(例えばハードディスク)へ保存する。
【0038】
上記連続撮影部22では、試料物体17の形状計測をリアルタイムに行うために、DMA転送を用いてカメラ15で撮影された全ての撮影画像をリングメモリに記録する。このとき、プロジェクタ14には、撮影のタイミングに合わせて空間を分割して数値化できるパターン画像(例えば格子画像)を位相シフトさせながら投影画像として入力する。リングメモリに保存された時系列の撮影画像は、計測終了後に精密解析を行うために記憶装置(例えばハードディスク)へも保存される。
【0039】
上記実時間解析部23では、連続撮影部22のリングメモリから最新の連続する4フレームの画像I0,I1,I2,I3を取り出してバッファメモリに格納する。それぞれの画像から1画素ずつI2−I0およびI3−I1を求め、それぞれの結果から位相解析テーブルを用いて位相θを求める。得られた位相θから、校正処理部21で作成した位相−座標テーブルを用いて、x座標またはy座標と、z座標とを求め、表示画像処理を行って、z座標の分布をモニタに表示する、もしくは、x座標,y座標,z座標を用いて立体画像(3D画像)をモニタに表示する。この一連の処理が終了すると、再度実時間解析部23の処理の始めに戻り、再度同一内容の処理を繰り返す。
【0040】
上記精密解析部24では、連続撮影部22で保存された時系列の撮影画像に対して順に連続する4フレームの画像I0,I1,I2,I3を取り出してバッファメモリに格納する。それぞれの画像から1画素ずつI2−I0およびI3−I1を求め、それぞれの結果から位相解析テーブルを用いて位相θを求める。得られた位相θから、校正処理部21で作成した位相−座標テーブルを用いて、x座標と、y座標と、z座標とをそれぞれ求め、記憶装置(例えばハードディスク)に形状計測結果として保存する。精密解析部24では、実時間解析部23とは異なり、全フレームに対して時系列の形状計測結果が得られる。
【0041】
[校正および形状計測結果]
まず、基準面をz=0mmから19.8mmまでの範囲において、0.2mm間隔で100個所の位置に移動して、それぞれに位置において投影格子の位相と空間座標との対応関係を画素毎に求めた。このようにして得られた投影格子の位相と空間座標との対応関係を基にして、位相2π/100毎に、投影格子の位相とx,y,z座標との対応関係を示す位相−座標テーブルを画素毎に作成した。
次に、試料物体17として中央部が断面台形状に盛り上がった試料物体を用意して、上述したようにして、試料物体17のリアルタイム形状計測を行った。そして、試料物体17の撮影画像と位相−座標テーブルとに基づいて試料物体17の空間座標(x,y,z)を求めた。
【0042】
図12は第1実施形態のリアルタイム形状計測において試料物体17に投影された格子を示す図面代用写真である。図13は第1実施形態のリアルタイム形状計測において試料物体17に投影された格子の位相分布を示す図面代用写真である。図14は第1実施形態の試料物体17のリアルタイム形状計測の計測結果のz座標の分布を示す図面代用写真である。図15は第1実施形態のリアルタイム形状計測により得た試料物体17の中央部の断面形状を示す図である。
以上の計測結果から、試料物体17の中央部(台形の上段部)のz座標分布平均と、試料物体17の周辺部(台形の左右下段部)のz座標分布平均との差を求め、z座標分布平均差分値と実際の高さとを比較してz座標計測の平均誤差を求めた結果、0.015mmとなった。また、試料物体17の中央部のz座標分布の標準偏差を求めた結果、0.086mmとなった。この結果より、本発明の第1実施形態の形状計測手法によって十分良い精度で形状計測が行うことができていることが確認できた。
【0043】
[第2実施形態]
本発明の第2実施形態の形状計測方法の実施に用いる形状計測装置としては、第1実施形態と同一構成の形状計測装置を用いる。本実施形態の形状計測装置は、プロジェクタ14から基準面12や試料物体17に投影する「空間を分割して数値化できるパターン」として、本実施形態では不等間隔格子である放射状格子を用いて、試料物体17の形状を計測する形状計測装置として構成されている。
【0044】
図16は第2実施形態の形状計測に用いる放射状格子を示す図面代用写真である。この放射状格子は、円板に1ピッチ3°の矩形格子を多数描いて構成されており、本実施形態の形状計測図16に示す放射状格子の一部分だけを使って投影を行った。この放射状格子が描かれた円板を図示しない放射状格子回転投影装置に取り付けて、ステッピングモータを駆動することにより、位相シフトを行った。
上記放射状格子を計測面でぼかして投影して、完全な余弦波ではない格子で計測を行った。試料物体17としては第1実施形態と同一形状の「中央部が断面台形状に盛り上がった試料物体」を用いて、試料物体の中央部の段差(高さ10.00mm)を計測した。基準面としては、z=0mmから19mmまでの範囲において、1mm間隔で20個所に移動してそれぞれの位置で計測を行い、合計20枚の基準面について計測を行った。位相シフトは、π/2ずつ位相を変えた位置で止めて撮影を行って得た4枚の画像による位相シフト法を用いた。なお、格子の投影は、全て同一の放射状格子格子を用いて投影を行い、試料物体の形状計測を行った。
【0045】
[形状計測結果]
図17は第2実施形態の形状計測において試料物体17に投影された放射状格子を示す図面代用写真である。図18は第2実施形態の形状計測において位相シフト法により得られた試料物体17に投影された放射状格子の位相分布を示す図面代用写真である。図19は第2実施形態の試料物体17の形状計測の計測結果のz座標の分布を示す図面代用写真である。図20(a)〜(c)はそれぞれ、図17〜図19の形状計測結果から1ラインを抜き出して示した、格子の輝度分布、位相分布および高さ分布を示すグラフである。図20(a)〜(c)から分かるように、投影する格子が完全な余弦波でなくても計測することができることが確認できた。特に、図20(c)におけるラインCの場合では、格子の輝度分布は台形状になっているにも拘わらず高さ分布では計測できていることが分かる。
【0046】
図21は第2実施形態の試料物体17の形状計測の計測結果から得た中央1ラインにおける高さを示すグラフである。図21では、試料物体17の中央部(台形の上段部)の上段の点群と試料物体17の周辺部(左右下段部)の近似直線との「点と直線との距離」を求めて、z座標に関する精度を算出した。その結果、当該試料物体の段差が10mmであるのに対し、本実施形態の形状計測では、平均との誤差が0.2mmとなり、標準偏差が0.13mmとなった。この結果より、本発明の第2実施形態の形状計測手法によって十分良い精度で形状計測が行うことができていることが確認できた。
【産業上の利用可能性】
【0047】
本発明の多数の基準面を用いた形状計測方法および多数の基準面を用いた形状計測装置は、物体の形状計測(例えば製造業における形状検査)や、人体の形状計測(医療福祉分野、服飾分野)に、好適に用いることができる。
【図面の簡単な説明】
【0048】
【図1】本発明における多数の基準面を用いた校正手法の原理を示す図である。
【図2】本発明における1画素の撮影ラインLと基準面上のx,y,z座標との関係を示す図である。
【図3】(a),(b)はそれぞれ、液晶ディスプレイを用いた基準平板および基準平板が取り付けられるステージを用いる本発明の形状計測装置の構成を示す図である。
【図4】(a),(b)はそれぞれ、本発明の形状計測装置の基準平板の基準面へ格子画像を表示する様子を説明するための図である。
【図5】(a)〜(c)はそれぞれ、本発明の形状計測方法に用いる多数の基準面を用いた校正手法により得られる、位相接続を行わない場合の位相θと空間座標(x,y,z)の各座標との関係を示すグラフである。
【図6】本発明の形状計測装置において基準面と他の基準面との間に試料物体を設置した状態を示す図である。
【図7】本発明の形状計測装置において位相接続を行う場合の基準面の位置と位相接続された位相φとの関係を示す図である。
【図8】(a)〜(c)はそれぞれ、本発明の形状計測方法に用いる多数の基準面を用いた校正手法により得られる、位相接続を行う場合の位相θと空間座標(x,y,z)の各座標との関係を示すグラフである。
【図9】本発明の形状計測装置において基準面と他の基準面との間に試料物体を設置した状態を示す図である。
【図10】本発明の第1実施形態の形状計測方法の実施に用いる形状計測装置の構成を示す図である。
【図11】第1実施形態の形状計測装置の解析装置の構成を示す機能ブロック図である。
【図12】第1実施形態のリアルタイム形状計測において試料物体に投影された格子を示す図面代用写真である。
【図13】第1実施形態のリアルタイム形状計測において試料物体に投影された格子の位相分布を示す図面代用写真である。
【図14】第1実施形態の試料物体のリアルタイム形状計測の計測結果のz座標の分布を示す図面代用写真である。
【図15】第1実施形態のリアルタイム形状計測により得た試料物体の中央部の断面形状を示す図である。
【図16】第2実施形態の形状計測に用いる放射状格子を示す図面代用写真である。
【図17】第2実施形態の形状計測において試料物体に投影された放射状格子を示す図面代用写真である。
【図18】第2実施形態の形状計測において位相シフト法により得られた試料物体に投影された放射状格子の位相分布を示す図面代用写真である。
【図19】第2実施形態の試料物体の形状計測の計測結果のz座標の分布を示す図面代用写真である。
【図20】(a)〜(c)はそれぞれ、図17〜図19の形状計測結果から1ラインを抜き出して示した、格子の輝度分布、位相分布および高さ分布を示すグラフである。
【図21】第2実施形態の試料物体の形状計測の計測結果から得た中央1ラインにおける高さを示すグラフである。
【図22】(a)は従来技術の非接触式3次元形状計測方法における余弦波状格子およびゆがんだ格子の輝度分布を例示する図であり、(b)は(a)のそれぞれの輝度分布から位相シフト法によって得られた位相値の分布を例示する図である。
【符号の説明】
【0049】
1 液晶ディスプレイ(基準平板)
1a 液晶パネル
2 光拡散板(基準面)
3 バックライト光源
4 照明光
5 移動ステージ
6 コンピュータ(分析装置)
7 プロジェクタ(投影装置)
8 カメラ(撮影装置)
9 試料物体
11 基準平板(液晶ディスプレイ)
12 基準面(光拡散板)
13 ステージ(直動ステージ)
14 投影装置(プロジェクタ;液晶プロジェクタ)
15 撮影装置(カメラ;CCDカメラ)
16 解析装置(パーソナルコンピュータ;PC)
17 試料物体
21 校正処理部
22 連続撮影部
23 実時間解析部
24 精密解析部
【特許請求の範囲】
【請求項1】
2次元パターンが形成される基準面を含む基準平板を該基準平板の法線方向に微小量ずつ平行移動させる第1工程と、
前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影して第1撮影画像を得る第2工程と、
前記平行移動の各位置において、前記基準面に投影した、空間を分割して数値化できるパターンを撮影して第2撮影画像を得る第3工程と、
前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成する第4工程と、
試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る第5工程と、
前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める第6工程と、を行うことを特徴とする多数の基準面を用いた形状計測方法。
【請求項2】
前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出することを特徴とする請求項1記載の多数の基準面を用いた形状計測方法。
【請求項3】
前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくことを特徴とする請求項1記載の多数の基準面を用いた形状計測方法。
【請求項4】
前記空間を分割して数値化できるパターンは、等間隔格子であることを特徴とする請求項1〜3の何れか1項記載の多数の基準面を用いた形状計測方法。
【請求項5】
前記空間を分割して数値化できるパターンは、放射状格子を含む不等間隔格子であることを特徴とする請求項1〜3の何れか1項記載の多数の基準面を用いた形状計測方法。
【請求項6】
2次元パターンが形成される基準面を含む基準平板と、
前記基準平板を該基準平板の法線方向に微小量ずつ平行移動させるステージと、
前記平行移動の各位置において、前記基準面に空間を分割して数値化できるパターンを投影する投影装置と、
前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影した第1撮影画像と、前記基準面に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像とを得るとともに、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る撮影装置と、
前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成するとともに、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める解析装置と、を備えることを特徴とする多数の基準面を用いた形状計測装置。
【請求項7】
前記解析装置は、前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出することを特徴とする請求項6記載の多数の基準面を用いた形状計測装置。
【請求項8】
前記解析装置は、前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくことを特徴とする請求項6記載の多数の基準面を用いた形状計測装置。
【請求項9】
前記投影装置は、投影される前記空間を分割して数値化できるパターンが等間隔のパターンであることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項10】
前記投影装置は、投影される前記空間を分割して数値化できるパターンが放射状格子を含む不等間隔のパターンであることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項11】
前記投影装置は、前記空間を分割して数値化できるパターンを焦点ずれさせて投影する投影装置であることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項12】
前記投影装置は、液晶プロジェクタまたはDMDプロジェクタであることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項13】
前記投影装置は、前記空間を分割して数値化できるパターンを投影する際に所定シフト量ずつ位相シフトを行い得る投影装置であり、前記撮影装置は、前記位相シフトに同期して前記第2撮影画像を撮影し得る撮影装置であることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項1】
2次元パターンが形成される基準面を含む基準平板を該基準平板の法線方向に微小量ずつ平行移動させる第1工程と、
前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影して第1撮影画像を得る第2工程と、
前記平行移動の各位置において、前記基準面に投影した、空間を分割して数値化できるパターンを撮影して第2撮影画像を得る第3工程と、
前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成する第4工程と、
試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る第5工程と、
前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める第6工程と、を行うことを特徴とする多数の基準面を用いた形状計測方法。
【請求項2】
前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出することを特徴とする請求項1記載の多数の基準面を用いた形状計測方法。
【請求項3】
前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくことを特徴とする請求項1記載の多数の基準面を用いた形状計測方法。
【請求項4】
前記空間を分割して数値化できるパターンは、等間隔格子であることを特徴とする請求項1〜3の何れか1項記載の多数の基準面を用いた形状計測方法。
【請求項5】
前記空間を分割して数値化できるパターンは、放射状格子を含む不等間隔格子であることを特徴とする請求項1〜3の何れか1項記載の多数の基準面を用いた形状計測方法。
【請求項6】
2次元パターンが形成される基準面を含む基準平板と、
前記基準平板を該基準平板の法線方向に微小量ずつ平行移動させるステージと、
前記平行移動の各位置において、前記基準面に空間を分割して数値化できるパターンを投影する投影装置と、
前記平行移動の各位置において、前記基準面にそれぞれ形成される2次元パターンを撮影した第1撮影画像と、前記基準面に投影した、空間を分割して数値化できるパターンを撮影した第2撮影画像とを得るとともに、試料物体に投影した、前記空間を分割して数値化できるパターンを撮影して第3撮影画像を得る撮影装置と、
前記第1撮影画像の前記2次元パターンおよび前記第2撮影画像の前記空間を分割して数値化できるパターンの解析をそれぞれ画素毎に行うことにより、前記基準平板の移動量と前記2次元パターンの2次元座標とから成る空間座標と前記空間を分割して数値化できるパターンの位相とを1対1で対応付けたテーブルを形成するとともに、前記テーブルと前記第3撮影画像とに基づいて当該試料物体の空間座標を求める解析装置と、を備えることを特徴とする多数の基準面を用いた形状計測装置。
【請求項7】
前記解析装置は、前記テーブルの要素を基準面毎に作成しておき、基準面の間の位相に対する空間座標を求める際には、当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標を算出することを特徴とする請求項6記載の多数の基準面を用いた形状計測装置。
【請求項8】
前記解析装置は、前記テーブルの要素を基準面の間隔よりさらに細かく設定しておき、該細かく設定した要素毎に、位相に対する空間座標を当該位相に近い値を持つテーブルの要素を用いて所定の数式により補間した空間座標として予め算出しておき、算出結果を各要素の値とするテーブルを作成しておくことを特徴とする請求項6記載の多数の基準面を用いた形状計測装置。
【請求項9】
前記投影装置は、投影される前記空間を分割して数値化できるパターンが等間隔のパターンであることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項10】
前記投影装置は、投影される前記空間を分割して数値化できるパターンが放射状格子を含む不等間隔のパターンであることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項11】
前記投影装置は、前記空間を分割して数値化できるパターンを焦点ずれさせて投影する投影装置であることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項12】
前記投影装置は、液晶プロジェクタまたはDMDプロジェクタであることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【請求項13】
前記投影装置は、前記空間を分割して数値化できるパターンを投影する際に所定シフト量ずつ位相シフトを行い得る投影装置であり、前記撮影装置は、前記位相シフトに同期して前記第2撮影画像を撮影し得る撮影装置であることを特徴とする請求項6〜8の何れか1項記載の多数の基準面を用いた形状計測装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図15】
【図20】
【図21】
【図22】
【図12】
【図13】
【図14】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図15】
【図20】
【図21】
【図22】
【図12】
【図13】
【図14】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2008−281491(P2008−281491A)
【公開日】平成20年11月20日(2008.11.20)
【国際特許分類】
【出願番号】特願2007−127229(P2007−127229)
【出願日】平成19年5月11日(2007.5.11)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 社団法人日本機械学会関西支部が平成19年3月15日発行「関西学生会 学生員卒業研究発表講演会 講演前刷集」において文書をもって発表〔刊行物等〕 社団法人精密工学会が平成19年3月1日発行「2007年度精密工学会春季大会 プログラム&アブストラクト集」において文書をもって発表〔刊行物等〕 社団法人精密工学会が平成19年3月1日発行「2007年度精密工学会春季大会 学術講演会講演論文集」において文書をもって発表
【出願人】(504145283)国立大学法人 和歌山大学 (62)
【Fターム(参考)】
【公開日】平成20年11月20日(2008.11.20)
【国際特許分類】
【出願日】平成19年5月11日(2007.5.11)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 社団法人日本機械学会関西支部が平成19年3月15日発行「関西学生会 学生員卒業研究発表講演会 講演前刷集」において文書をもって発表〔刊行物等〕 社団法人精密工学会が平成19年3月1日発行「2007年度精密工学会春季大会 プログラム&アブストラクト集」において文書をもって発表〔刊行物等〕 社団法人精密工学会が平成19年3月1日発行「2007年度精密工学会春季大会 学術講演会講演論文集」において文書をもって発表
【出願人】(504145283)国立大学法人 和歌山大学 (62)
【Fターム(参考)】
[ Back to top ]