説明

三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム

【課題】計測時間を短縮化でき、装置構成が複雑化することを防ぐ。
【解決手段】三次元形状測定装置1は、測定対象物11上に投影パターンを照射する投影部13と、測定対象物11を撮像する撮像部14と、投影部13に縞パターンを照射させ、照射させる縞パターンの位相を変化させながら、撮像部14に測定対象物11を繰り返し撮像させるとともに、測定対象物11上に照射させた縞パターンの画像を複数取得する第1の制御部と、第1の領域のみに所定の光を照射させて撮像した第1の画像と、第2の領域のみに所定の光を照射させて撮像した第2の画像とを取得する第2の制御部と、第1の画像と第2の画像との差分に基づいて、縞パターンに含まれる縞の夫々を識別する基準線を検出する基準線検出部と、基準線に基づいて、測定対象物11の三次元形状を測定する形状測定部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の三次元形状を測定するための三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システムに関する。
【背景技術】
【0002】
測定対象物の面形状(三次元形状)を非接触で測定する手法として、位相シフト法によるパターン投影型の三次元形状測定装置が知られている(例えば、特許文献1参照)。この三次元形状測定装置では、正弦波状の強度分布を持つ縞パターンを測定対象物上に投影し、その縞パターンの位相を一定ピッチで変化させながら測定対象物を繰り返し撮像し、それによって得られた複数枚の画像(輝度変化データ)を所定の演算式に当てはめることで、測定対象物の面形状に応じて変形した縞の位相分布(位相画像)を求め、その位相画像をアンラップ(位相接続)してから、測定対象物の高さ分布(高さ画像)に換算する。
【0003】
このとき、従来の三次元形状測定装置では、測定対象物に投影された縞パターンの各縞を特定するために、縞パターンの縞の周期を徐々に変化させて測定対象物に投影しつつ測定を行うようにしていた(空間コード化法)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第6075605号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、空間コード化法では、縞の周期の異なる縞パターンを投射した測定対象物を複数回撮像する必要があり、計測時間が長くなる、という問題がある。また、装置構成も複雑化する、という問題がある。
【0006】
本発明は上記の点に鑑みてなされたものであり、その目的は、計測時間を短縮化でき、装置構成が複雑化することを防ぐことができる三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システムを提供することにある。
【課題を解決するための手段】
【0007】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、測定対象物上に投影パターンを照射する投影部と、前記測定対象物を撮像する撮像部と、前記投影部に縞パターンを照射させ、当該照射させる縞パターンの位相を変化させながら、前記撮像部に前記測定対象物を繰り返し撮像させるとともに、前記測定対象物上に照射させた前記縞パターンの画像を複数取得する第1の制御部と、前記測定対象物上の互いに隣接する第1の領域と第2の領域であって、互いの境界線が前記縞パターンの縞と平行となる第1の領域と第2の領域のうち、前記第1の領域のみに所定の光を前記投影部により照射させるとともに前記撮像部により前記測定対象物を撮像させた第1の画像と、前記第2の領域のみに前記所定の光を前記投影部により照射させるとともに前記撮像部により前記測定対象物を撮像させた第2の画像とを取得する第2の制御部と、前記第2の制御部が取得した前記第1の画像と前記第2の画像との差分に基づいて、前記測定対象物に照射された縞パターンの縞のうちから、縞パターンに含まれる縞の夫々を識別する基準線を検出する基準線検出部と、前記基準線検出部が検出した基準線に基づいて、前記第1の制御部が取得した複数の縞パターンの画像から算出された位相分布に対して位相接続し、当該位相接続した位相分布に基づいて、前記測定対象物の三次元形状を測定する形状測定部と、を備えることを特徴とする三次元形状測定装置である。
【0008】
また、本発明の一態様は、測定対象物上に投影パターンを照射する投影部と、前記測定対象物を撮像する撮像部と、前記縞パターンを投影した場合に、当該縞パターンの基準となるとともに、前記撮像部による撮像性能を判定するための基準線を前記投影部により前記測定対象物上に照射させ、当該基準線が照射された前記測定対象物を前記撮像部に撮像させて画像を取得する第1の制御部と、前記投影部に縞パターンを照射させ、当該照射させる縞パターンの位相を変化させながら、前記撮像部に前記測定対象物を繰り返し撮像させるとともに、前記測定対象物上に照射させた前記縞パターンの画像を複数取得する第2の制御部と、前記第1の制御部が取得した画像から前記基準線を検出する基準線検出部と、前記基準線検出部が検出した基準線に基づいて、前記第1の制御部が取得した複数の縞パターンの画像から算出された位相分布に対して位相接続し、当該位相接続した画像に基づいて、前記測定対象物の三次元形状を測定する形状測定部と、を備えることを特徴とする三次元形状測定装置である。
【発明の効果】
【0009】
本発明によれば、計測時間を短縮化でき、装置構成が複雑化することを防ぐことができる。
【図面の簡単な説明】
【0010】
【図1】第1の実施形態による三次元形状測定装置の外観構成を示す斜視図である。
【図2】第1の実施形態による三次元形状測定装置の機能構成を示すブロック図である。
【図3】第1の実施形態による縞パターンの一例を示すイメージ図である。
【図4】第1の実施形態による第1の領域a及び第2の領域bを説明するためのイメージ図である。
【図5】第1の実施形態によるCPU及び制御部の機能構成を示すブロック図である。
【図6】第1の実施形態による三次元形状測定処理の手順を示すフローチャートである。
【図7】第1の実施形態による基準線検出処理を説明するための実測値を示すグラフである。
【図8】第2の実施形態による基準線検出処理の手順を示すフローチャートである。
【図9】第2の実施形態による左照射画像、右照射画像、及び論理和画像の一例を示すイメージ図である。
【図10】第2の実施形態による左差分画像の境界線、右差分画像の境界線、及び基準線の一例を示すイメージ図である。
【図11】第3の実施形態による三次元形状測定処理の手順を示すフローチャートである。
【図12】第3の実施形態による基準線画像の一例を示すイメージ図である。
【図13】構造物製造システムのブロック構成図である。
【図14】構造物製造システムによる処理の流れを示したフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら本発明の一実施形態について詳しく説明する。
[第1の実施形態]
図1は、本実施形態による三次元形状測定装置1の外観構成を示す斜視図である。図1に示すとおり三次元形状測定装置1は、工業製品又は部品などの測定対象物11を載置するステージ12と、互いに固定された投影部13及び撮像部14とを備える。投影部13の光軸と撮像部14の光軸との間には角度がつけられており、両者の光軸は、ステージ12の基準面上で交差している。このうち撮像部14の光軸はステージ12の基準面に対して垂直である。なお、撮像部14の光軸を垂直にする代わりに投影部13の光軸を垂直してもよい。投影部13及び撮像部14は、高さ(ステージ12の基準面に対して垂直方向)を調整することができる。
【0012】
ステージ12は、撮像部14の光軸と平行な軸の周りに測定対象物11を回転させるθステージ12θと、撮像部14の光軸と垂直な所定方向に向けて測定対象物11をシフトさせるXステージ12Xと、θステージ12θの回転軸とX軸方向との双方に対して垂直な所定方向に向けて測定対象物11をシフトさせるYステージ12Yとを備える。
【0013】
投影部13は、測定対象物11が配置されるステージ12上の一部の領域(照射領域)に斜め方向から投影パターンを照射する光学系であって、パターン形成部23を照射する照射素子22と、パターン形成部23と、パターン形成部23を通過した光を照射領域に集光させる投影光学系24とをこの順で配置している。なお、ここでは、本実施形態による測定対象物11のサイズを、投影部13の照射領域内に測定対象物11の全体が収まる程度に小さいものとして説明する。
【0014】
投影部13のパターン形成部23は、透過率分布が可変のパネル(透過型液晶素子、反射型液晶素子、DMD(Digital Mirror Device、デジタルミラーデバイス)など)であり、そのパネルへ縞パターン(正弦格子パターン)を表示することにより、投影部13から照射領域へ向かう照明光束の断面強度分布を正弦波状とする。パターン形成部23に表示される縞パターンの縞(格子)方向は、投影部13の光軸と撮像部14の光軸との双方が存在している面に対して垂直である。また、パターン形成部23の表示面上の中央近傍に位置する基準点は、ステージ12の基準面上の基準点(撮像部14の光軸と投影部13の光軸との交差点)に対して光学的に共役であり、これによって縞パターンの投影先は、ステージ12の照射領域内に配置された測定対象物11の表面(以下、「被検面」と称す。)に設定されている。なお、被検面上に縞パターンを投影できるのであれば、パターン形成部23の基準点とステージ12の基準点とが完全な共役関係になっていなくとも構わない。
【0015】
撮像部14は、ステージ12上の照射領域の像(輝度分布)を検出する光学系であって、その照射領域で発生した反射光を結像する結像光学系25と、結像光学系25が結像した像を撮像して画像を取得する撮像素子26とが順に配置される。撮像素子26の撮像面上の中央近傍に位置する基準点は、ステージ12の前述した基準点と光学的に共役であり、撮像素子26は、ステージ12の照射領域内に配置された測定対象物11の画像(被検面の画像)を取得することができる。つまり、撮像部14は、測定対象物11を撮像する。なお、被検面の画像を十分なコントラストで取得することができるのであれば、撮像素子26の基準点とステージ12の基準点とが完全な共役関係になっていなくとも構わない。
【0016】
ここで、投影部13の光源をオン(光源に電力を供給)し、この状態で撮像素子26を駆動すると、縞パターンの投影された被検面の画像(=被検面の面形状情報を含んだ画像)を取得することができる。以下、この画像を「縞画像(縞パターンの画像)」と称す。さらに、縞パターンの位相をシフトさせながら縞画像の取得を繰り返せば、被検面の面形状データDを既知とするための情報が揃う。また、ステージ12と、投影部13及び撮像部14の高さとを調整することにより、三次元形状測定装置1は、様々な角度から測定対象物11を撮像することができる。
【0017】
図2は、本実施形態による三次元形状測定装置1の機能構成を示すブロック図である。
図2において図1に示した要素と同じものには同じ符号を付した。図2に示すとおり投影部13には、投影部13の光源であるメイン光源21が連結されている。このメイン光源21は、パターン投影型の面形状測定に使用されるものなので、例えば、LED、ハロゲンランプ、メタルハライドランプなどの一般的な光源を適用することができる。メイン光源21から射出した光は、光ファイバ21’を介して照射素子22に導入される。なお、ここでは光ファイバ21’を使用した例を示すが、光ファイバを使用せずにLEDなどの小型光源を図1の符号22で示した位置へ配置してもよい。
また、照明素子22は、一つの素子として図示しているが複数の光学素子からなる照明光学系で構成されても構わない。その場合、例えば、均一照明を行うためのフライアイレンズやロッドインテグレータ等を用いた照明光学系を有する。
【0018】
このメイン光源21と、投影部13のパターン形成部23と、撮像部14の撮像素子26とは、それぞれコンピュータ100の制御部101に接続されている。
【0019】
コンピュータ100は、制御部101の他に、CPU(中央処理装置)15と、記憶部16と、三次元形状測定装置1が測定対象物11を測定した結果等を表示するモニタ17と、測定対象物11の測定指示等を入力する入力部18とを含んで構成される。CPU15は、コンピュータ100の全体を統括して制御し、記憶部16に記憶された所定の動作プログラムに基づいて動作する。例えば、CPU15は、制御部101に対して各種の指示を与えることにより三次元形状測定装置1の各部を駆動制御する。記憶部16は、上述したCPU15の動作プログラムと、CPU15の動作に必要な各種の情報とを予め記憶している。
【0020】
制御部101は、メイン光源21をオン/オフするタイミング、メイン光源21の発光強度、パターン形成部23に表示される縞パターンの位相、撮像素子26による画像の取得タイミング、撮像素子26による画像取得時の電荷蓄積時間(シャッター速度)、ステージ12の座標などを制御する。なお、制御部101は、パターン形成部23に表示されるパターンを、一様なパターンに設定することもできる。
【0021】
図3は、本実施形態による縞パターン55の一例を示すイメージ図である。
本図は、投影部13が投影する縞パターン55の正弦波を、説明の便宜を図るため、白と黒とに2値化したものである。
図示する例では、縞パターン55は、7本の縞56(白と黒の組)を含む。以下、説明の便宜を図るため、7本の縞56のそれぞれに対しaからgの符号を割り当て、縞56a、縞56b、縞56c、縞56d、縞56e、縞56f、縞56gと記す。なお、各縞56a〜56gに共通する事項については、a〜gの符号を省略し、単に「縞56」又は「各縞56」と記す。
ここで、縞56に対して平行方向をY軸方向とし、Y軸方向に対し垂直方向をX軸方向としてXY座標系を定める。また、X軸正方向を右とし、X軸負方向を左として定義する。また、縞56の中心線を2値化した白と黒の境界線と定義する。例えば、縞56dの中心線は図3に示すα1とα2とを端点とする線αである。
【0022】
位相シフト法では、縞パターンの位相の異なる複数枚の縞画像から算出した位相分布をアンラップ(位相接続)するが、表面形状を算出する際に用いる基準を定める必要がある。本実施の形態では投影するパターンの中央位置がどの縞に対応するかを識別している。このため、本実施形態における三次元形状測定装置1は、縞パターンの中央に位置する縞56d(以下、基準縞と称する)を検出し、中央の縞が基準となる位相の範囲に入るように位相つなぎ面全体にオフセットをのせる必要がある。一般に、位相つなぎ面とは、2π毎に離散的に得られた位相情報を繋ぎ合わせた曲線であり、位相の基準は任意となる。従って、本実施の形態では基準の縞である中央の縞の位相が所定の位相幅(プラスマイナスπの範囲)に入るようにオフセットΔを載せている。オフセットは2nπ(nは整数)の位相となる。
【0023】
図に示す例では、三次元形状測定装置1は、基準縞から右方向に1番目の縞を縞56cとし、基準縞から右方向に2番目の縞を縞56bとし、基準縞から右方向に3番目の縞を縞56cとする。また、三次元形状測定装置1は、基準縞から左方向に1番目の縞を56eとし、基準縞から左方向に2番目の縞を縞56fとし、基準縞から左方向に3番目の縞を56gとする。
なお、本実施形態では、縞56dを基準縞としたが、縞パターン55の各縞56を識別できる縞56であれば、縞56a、縞56b、縞56c、縞56d、縞56e、縞56f、縞56gのうち、いずれの縞56を基準縞としてもよい。
本実施形態においては、三次元形状測定装置1は、まず、基準縞に対応する基準線を検出し、検出した基準線に対応する縞56を基準縞として検出する。
【0024】
図4は、本実施形態による第1の領域a及び第2の領域bを説明するためのイメージ図である。
第1の領域aと第2の領域bは、測定対象物11上の互いに隣接する領域であって、互いの境界線が基準縞と平行となる領域である。ここでは、第1の領域aと第2の領域bとの境界線が、基準縞の中心線αと一致する場合について説明する。また、第1の領域aは、境界線から左側にある照射領域である。また、第2の領域bは、境界線から右側にある照射領域である。
【0025】
本実施形態による三次元形状測定装置1は、第1の領域aのみに所定の光を照射して撮像した第1の画像(図4(a)参照)と、第2の領域bのみに所定の光を照射して撮像した第2の画像(図4(b)参照)とに基づいて、第1の領域aと第2の領域bとの境界線を基準線として検出する。ここで、第1の画像は、第1の領域aに所定の光を照射するとともに第2の領域bに所定の光を照射せずに撮像した画像である。また、第2の画像は、第2の領域に所定の光を照射するとともに第1の領域aに所定の光を照射せずに撮像した画像である。
【0026】
図5は、本実施形態によるCPU15及び制御部101の機能構成を示すブロック図である。
制御部101は、第1の制御部181と、第2の制御部182とを含んで構成される。第1の制御部181は、投影部13に縞パターン55を照射させ、照射させる縞パターン55の位相を変化させながら、撮像部14に測定対象物11を繰り返し撮像させるとともに、測定対象物11上に照射させた縞パターン55の画像(縞画像)を複数取得する。そして、第1の制御部181は、取得した複数の縞画像をCPU15へ出力する。
【0027】
第2の制御部182は、第1の領域aのみに所定の光を投影部13により照射させるとともに撮像部14により測定対象物11を撮像させた第1の画像と、第2の領域bのみに前記所定の光を投影部13により照射させるとともに撮像部14により測定対象物11を撮像させた第2の画像とを取得する。そして、第2の制御部182は、取得した第1の画像と第2の画像とをCPU15に出力する。
【0028】
CPU15は、形状測定部151と、基準線検出部152とを含んで構成される。基準線検出部152は、第2の制御部182が取得した第1の画像と第2の画像との差分に基づいて、測定対象物に照射された縞パターンの縞のうちから、縞パターンに含まれる縞の夫々を識別する基準線を検出する。形状測定部151は、基準線検出部152が検出した基準線に基づいて、第1の制御部181が取得した複数の縞パターンの画像から算出された位相分布に対して位相接続し、位相接続した位相分布に基づいて、測定対象物の三次元形状を測定する。
【0029】
次に、図6を参照して、三次元形状測定装置1による三次元形状測定処理について説明する。図6は、本実施形態による三次元形状測定処理の手順を示すフローチャートである。
なお、この三次元形状測定処理の開始時点では、ステージ12の座標は、適切な座標に調整済みであるものとして説明する。
【0030】
はじめに、ステップS101において、CPU15が、画像番号mを初期値1に設定する。
次に、ステップS102において、CPU15は、縞パターン55の位相シフト量を、現在の画像番号mに対応したシフト量(m−1)π/2に設定する。
【0031】
次に、ステップS103において、制御部101の第1の制御部181が、メイン光源21をオンし、パターン形成部23を駆動することより、位相シフト量が(m−1)π/2である縞パターン55を測定対象物11へ投影し、撮像素子26を駆動して縞画像IMを取得する。制御部101の第1の制御部181は、取得した縞画像IMをCPU15に出力する。CPU15は、入力された縞画像IMを記憶部16へ書き込む。
【0032】
次に、ステップS104において、CPU15は、現在の画像番号mが最終値mmaxに達したか否かを判定する。そして、画像番号mが最終値mmaxに達していなければステップS105へ移行し、画像番号mが最終値mmaxに達していればステップS106へ移行する。なお、本実施形態では画像番号mの最終値mmaxが「4」に設定された場合を説明する。
【0033】
ステップS105において、CPU15は、画像番号mに1加算し、ステップS102へ戻る。よって、ステップS102〜S103のループは繰り返され、制御部101は、合計4枚の縞画像IM〜IMを取得する。
【0034】
一方、ステップS106において、制御部101の第2の制御部182が、第1の領域aのみを照射して測定対象物11を撮像した左側照射画像(第1の画像)と、第2の領域bのみを照射して測定対象物11を撮像した右側照射画像(第2の画像)とを取得する。制御部101の第2の制御部182は、取得した左側照射画像と右側照射画像とをCPU15に出力する。CPU15は、入力された左側照射画像と右側照射画像とを記憶部16へ書き込む。
【0035】
次に、ステップS107において、CPU15は、縞画像IM〜IMを記憶部16から読み出し、読み出した縞画像IM〜IMに基づいて位相分布を算出する。具体的には、CPU15は、まず、縞画像の全ての画素iについて、初期位相φを4バケット法の次の式(1)により算出する。
【0036】
【数1】

【0037】
ただし、Imiは、縞画像IMの画素iの輝度値である。
そして、CPU15は、算出した初期位相φの値を、位相画像(位相分布)φにおける画素iの値として記憶部16へ書き込む。
【0038】
次に、ステップS108において、CPU15の基準線検出部152が、左側照射画像と右側照射画像とに基づいて、基準線を検出する。基準線の検出方法の詳細については後述する。
【0039】
そして、ステップS109において、CPU15の形状測定部151が、検出した基準線に基づいて各縞56を識別し、識別した各縞56に基づいて、位相画像φに前述のオフセットΔを加算するアンラップ処理(位相接続)を行い、アンラップ後の位相画像ψを取得する。ここで、オフセットΔは、上述の方法により別途測定され記憶部16へ予め格納されたものである。尚、別途測定せずに、アンラップ処理の都度オフセットΔを求めてもよい。
【0040】
次に、ステップS110において、CPU15の形状測定部151は、測定対象物11の三次元形状を測定する。具体的には、CPU15は、アンラップ後の位相画像ψを、被検面の高さ分布Z(X,Y)(三次元形状)に換算してからモニタ17上に表示する。また、CPU15は、必要に応じて高さ分布Z(X,Y)を記憶部16へ保存し、フローを終了する。
【0041】
次に、図7を参照して、三次元形状測定装置1の基準線検出部152による基準線検出処理について説明する。図7は、本実施形態による基準線検出処理を説明するための実測値を示すグラフである。
本図に示すグラフにおいて、横軸はX座標値であり、縦軸は輝度値である。図7(a)は、所定のY座標値βにおける左照射画像の輝度値を示すグラフである。図7(b)は、Y座標値βにおける右照射画像の輝度値を示すグラフである。図7(c)は、図7(a)に示す左照射画像の輝度値から図7(b)に示す右照射画像の輝度値を減算した値を示すグラフである。
基準線検出部152は、各画素について、左照射画像の輝度値から右照射画像の輝度値を減算し、減算した値を1と−1とに2値化した2値化画像を生成する。具体的には、基準線検出部152は、減算した値が0以上であれば1、減算した値が0未満であれば−1に2値化する。そして、基準線検出部152は、2値化画像を左端から右へ探索し、画素値が1から−1へ切り替わる位置を、基準線として検出する。基準線検出部152は、左照射画像の輝度値と右照射画像の輝度値をとの差をとることにより、第1の領域aと第2の領域bとの境界位置を精度良く検出することができる。
【0042】
このように、本実施形態によれば、基準線検出部152が、左照射画像と右照射画像とに基づいて、縞パターンの基準線を検出する。これにより、縞の周期の異なる縞パターンを投影した測定対象物11を複数回撮像することなく、縞パターン55の各縞56を識別することができる。このため、計測時間を短縮し、三次元形状測定装置1の構成を複雑化することを防ぐことができる。
【0043】
なお、本実施形態による三次元形状測定装置1は、第1の領域a又は第2の領域bのうち、一方の領域のみに光を照射しているが、例えば、第1の領域aに赤色の光を照射し、第2の領域bに青色の光を照射する等、第1の領域aと第2の領域bとに異なる波長の光を照射してもよい。
また、本実施形態による三次元形状測定装置1は、縞画像を取得した後に左照射画像及び右照射画像を取得しているが、左照射画像及び右照射画像を取得した後に縞画像を取得してもよい。
【0044】
また、本実施形態による三次元形状測定装置1は、第1の画像と第2の画像に基づいて基準線を検出し、検出した基準線に基づいて基準縞を検出しているが、縞パターン55が含む縞56夫々に対して、各縞56の中心線を基準線として撮像した第1の画像と第2の画像とを取得し、取得した第1の画像と第2の画像とに基づいて各縞56を検出してもよい。例えば、三次元形状測定装置1は、縞56aの中心線を基準線として撮像した第1の画像と第2の画像とに基づいて縞56aを検出する。続いて、三次元形状測定装置1は、縞56bの中心線を基準線として撮像した第1の画像と第2の画像とに基づいて縞56bを検出する。三次元形状測定装置1は、同様の処理を縞56cから縞56gについても行うことにより、縞パターン55の各縞56を順に検出する。
また、この場合、縞56aを検出する際には白色の光を照射し、縞56bを検出する際には赤色と青色の光を照射する等、各縞56を検出する際に照射する光の波長の組合せを異なるものにしてもよい。また、この場合には、各縞56を検出する第1の画像と第2の画像を順に取得することなく、各縞56に対応する位置に異なる波長の光を同時に照射して各縞56を検出してもよい。
また、本実施形態では、測定対象物11が投影部13の照射領域より小さい場合について説明したが、測定対象物が投影部13の照射領域より大きい場合であっても、三次元形状測定装置1は、三次元形状を測定することができる。
【0045】
[第2の実施形態]
次に、この発明の第2の実施形態による三次元形状測定装置1について説明する。
本実施形態による基準線検出部152は、第1の画像と第2の画像との論理和画像を生成し、生成した論理和画像と第1の画像との差分画像である第1の差分画像、及び、論理和画像と第2の画像との差分画像である第2の差分画像を生成する。そして、基準線検出部152は、生成した第1の差分画像及び第2の差分画像夫々から境界線を検出し、第1の差分画像から検出した境界線と、第2の差分画像から検出した境界線との中心を基準線として検出する。他の構成は、第1の実施形態と同様であるため説明を省略する。
【0046】
図8を参照して三次元形状測定装置1による基準線検出処理について説明する。図8は、本実施形態による基準線検出処理の手順を示すフローチャートである。
まず、ステップS201において、基準線検出部152は、上述したステップS106で取得した左照射画像(図9(a)参照)と右照射画像(図9(b)参照)との論理和画像(図9(c)参照)を生成する。具体的には、基準線検出部152は、左照射画像及び右照射画像の各画素について、左照射画像の画素値と右照射画像の画素値との最大値を算出し、算出した最大値を論理和画像の画素値とする。すなわち、基準線検出部152は、照射画像の画素値と右照射画像の画素値との大きい方の値を論理和画像の画素値とする。
【0047】
次に、ステップS202において、基準線検出部152は、論理和画像と左照射画像との差分画像である左差分画像(第1の差分画像)を生成する。そして、次のステップS203からS206における処理を行うことにより、基準線検出部152は、左差分画像から第1の領域と第2の領域との境界線を検出する。
【0048】
ステップS203において、基準線検出部152は、左差分画像を白色と黒色とに二値化する。
次に、ステップS204において、基準線検出部152は、二値化した左差分画像をラベリングし、ラベリングした領域のうち、最大面積を持つ領域以外の領域を左差分画像から削除する。これにより、左差分画像には最大面積を持つ領域のみが残る。
【0049】
続いて、ステップS205において、基準線検出部152は、ラベリングした領域のうち最大面積を持つ領域を残した左差分画像に対してモルフォロジ処理を行う。具体的には、CPU15は、左差分画像に対して、収縮処理を2回行い、次に膨張処理を4回行い、最後に収縮処理を2回行う。この例において、モルフォロジ処理における収縮処理及び膨張処理のフィルタサイズは3×3である。モルフォロジ処理を行うことにより、左差分画像から雑音が除去される。
【0050】
そして、ステップS206において、基準線検出部152は、モルフォロジ処理した左差分画像から境界線を検出する。具体的には、まず、基準線検出部152は、モルフォロジ処理した左差分画像を左端から右方向(X軸正方向)へ探索し、ラベリングした領域のうち最大面積を持つ領域の輪郭を検出する。そして、基準線検出部152は、検出した輪郭を境界線として検出する(図10(a)参照)。
【0051】
続いて、ステップS207において、基準線検出部152は、論理和画像と右照射画像との差分画像である右差分画像(第2の差分画像)を生成する。そして、次のステップS208からS211における処理を行うことにより、基準線検出部152は、右差分画像から第1の領域と第2の領域との境界線を検出する。
【0052】
ステップS208において、基準線検出部152は、右差分画像を白色と黒色とに二値化する。
次に、ステップS209において、基準線検出部152は、二値化した右差分画像をラベリングし、ラベリングした領域のうち、最大面積を持つ領域以外の領域を右差分画像から削除する。これにより、右差分画像には最大面積を持つ領域のみが残る。
続いて、ステップS210において、基準線検出部152は、ラベリングした領域のうち最大面積を持つ領域を残した右差分画像に対してモルフォロジ処理を行う。これにより、右差分画像から雑音が除去される。
【0053】
そして、ステップS211において、基準線検出部152は、モルフォロジ処理した右差分画像から境界線を検出する。具体的には、まず、基準線検出部152は、モルフォロジ処理した右差分画像を右端から左方向(X軸負方向)へ探索し、ラベリングした領域のうち最大面積を持つ領域の輪郭を検出する。そして、基準線検出部152は、検出した輪郭を境界線として検出する(図10(b)参照)。
【0054】
最後に、ステップS212において、基準線検出部152は、左差分画像の境界線と右差分画像の境界線との中心線(図10(c)参照)を基準線として検出する。そして、基準線検出部152は、位相画像φにおいて、検出した基準線の位置にある縞56を基準縞として検出する。
なお、上述したステップS202からS206の処理と、S207からS211の処理とを、並列処理してもよい。
【0055】
図9は、本実施形態による左照射画像、右照射画像、及び論理和画像の一例を示すイメージ図である。
図9(a)は、境界線から左側の領域のみに照射して撮像した左照射画像を示す。また、図9(b)は、境界線から右側の領域のみに照射して撮像した右照射画像を示す。図9(c)は、左照射画像と右照射画像との論理和画像を示す。
【0056】
図10は、本実施形態による左差分画像の境界線、右差分画像の境界線、及び左差分画像の境界線と右差分画像の境界線との中心線の一例を示すイメージ図である。
図10(a)は、左差分画像から検出した境界線を示す。図10(b)は、右差分画像から検出した境界線を示す。図10(c)は、左差分画像の境界線と右差分画像の境界線との中心線を示す。
【0057】
このように、本実施形態によれば、基準線検出部152が、左照射画像と右照射画像とに基づいて、縞パターンの基準線を検出する。これにより、縞の周期の異なる縞パターンを投影した測定対象物11を複数回撮像することなく、縞パターン55の各縞56を識別することができる。このため、計測時間を短縮し、三次元形状測定装置1の構成を複雑化することを防ぐことができる。また、本実施形態では、左差分画像及び右差分画像から境界線を検出しているため、第1の実施形態に比べてより精度良く基準線を検出することができる。
【0058】
[第3の実施形態]
次に、この発明の第3の実施形態による三次元形状測定装置1について説明する。
本実施形態による第1の制御部181は、縞パターンを投影した場合に、縞パターンの基準となるとともに、撮像部14による撮像性能を判定するための基準線を投影部13により測定対象物11上に照射させ、基準線が照射された測定対象物11を撮像部14に撮像させて画像を取得する。また、第2の制御部182は、投影部13に縞パターン55を照射させ、照射させる縞パターン55の位相を変化させながら、撮像部14に測定対象物11を繰り返し撮像させるとともに、測定対象物11上に照射させた縞パターン55の画像(縞画像)を複数取得する。基準線検出部152は、第1の制御部181が取得した画像から前記基準線を検出する。他の構成は、第1の実施形態と同様であるため説明を省略する。
【0059】
次に、図11を参照して、本実施形態による三次元形状測定装置1における三次元形状測定処理について説明する。図11は、本実施形態による三次元形状測定処理の手順を示すフローチャートである。
【0060】
はじめに、ステップS301において、制御部101は、メイン光源21をオンし、パターン形成部23を駆動することより、縞パターン55の基準線を測定対象物11へ投影し、撮像素子26により基準線画像(図12参照)を取得する。この基準線は、一例として、縞パターン55の基準縞の中心線の位置と対応付けられている。基準線の位置は合焦がずれると横方向にその位置が移動するため、三次元形状測定装置1を操作する操作者は、この基準線の横ズレに基づいて、基準線が中央に位置するように投影部13及び撮像部14の高さを調整する。尚、合焦状態が悪くなると基準線の幅も変化するため、基準線の幅変化を用いてもよい。制御部101は、取得した基準線画像をCPU15に出力する。CPU15は、入力された基準線画像を記憶部16へ書き込む。
【0061】
次に、ステップS302からS306において、図6に示すステップS101からS105と同様の処理を行う。
【0062】
そして、ステップS307において、CPU15は、記憶部16から縞画像IM〜IMを読み出し、読み出した縞画像IM〜IMに基づいて位相分布を算出する。位相分布の算出方法は第1の実施形態のステップS107と同様である。
次に、ステップS308において、CPU15の基準線検出部152は、基準線画像を記憶部16から読み出し、読み出した基準線画像から基準線を検出する。具体的には、基準線検出部152は、基準縞画像において、Y軸方向に伸びている黒い線に対応する領域を基準線として検出する。そして、CPU15は、位相画像φにおいて、検出した基準線の位置にある縞56を基準縞とする。
【0063】
次に、ステップS309において、CPU15は、検出した基準縞に基づいて各縞56を識別し、識別した各縞56に基づいて、位相画像φにオフセット分布Δを加算するアンラップ処理(位相接続)を行い、アンラップ後の位相画像ψを取得する。
次に、ステップS310において、CPU15は、測定対象物11の三次元形状を測定する。三次元形状の測定方法は第1の実施形態のS110と同様である。
【0064】
図12は、本実施形態による基準線画像の一例を示すイメージ図である。
図示するように、基準線画像は、縞パターン55の各縞56を識別する基準線を測定対象物11に照射して撮像した画像である。
【0065】
このように、本実施形態によれば、CPU15が、基準線画像に基づいて、縞パターンの基準縞を検出する。縞の周期の異なる縞パターンを投影した測定対象物11を複数回撮像することなく、縞パターン55の各縞56を識別することができる。このため、計測時間を短縮し、三次元形状測定装置1の構成を複雑化することを防ぐことができる。また、基準線画像を取得する際に投影した基準線は、撮像部14のピント調整等に用いることも可能である。
【0066】
なお、本実施形態では、操作者が、基準線の位置に基づいて、投影部13及び撮像部14の高さを調整するが、制御部101が、基準線の位置に基づいて、投影部13及び撮像部14の高さ調整をしてもよい。
【0067】
次に、第1の実施形態、第2の実施形態又は第3の実施形態による三次元形状測定装置1を備える構造物製造システムについて説明する。
図13は、構造物製造システム200のブロック構成図である。構造物製造システム200は、三次元形状測定装置1と、設計装置210と、成形装置220と、制御装置230と、リペア装置240と含んで構成される。
【0068】
設計装置210は、構造物の形状に関する設計情報を作製し、作製した設計情報を成形装置220に送信する。また、設計装置210は、作成した設計情報を制御装置230の後述する座標記憶部231に記憶させる。ここで、設計情報とは例えば、構造物の各位置の座標を示す情報である。
成形装置220は、設計装置210から入力された設計情報に基づいて上記構造物を作製する。成形装置220の成形工程には、鋳造、鍛造、または切削等が含まれる。
三次元形状測定装置1は、第1の実施形態において説明したように、作製された前記構造物(測定対象物11)の座標(三次元形状)を測定し、測定した座標を示す情報(形状情報)を制御装置230へ送信する。
【0069】
制御装置230は、座標記憶部231と、検査部232とを備える。座標記憶部231には、前述の通り、設計装置210から受信した設計情報が記憶される。検査部232は、座標記憶部231から設計情報を読み出し、三次元形状測定装置1から受信した座標を示す情報(形状情報)と座標記憶部231から読み出した設計情報とを比較する。
【0070】
そして、検査部232は、比較結果に基づき、構造物が設計情報通りに成形されたか否かを判定する。換言すれば、検査部232は、作成された構造物が良品であるか否かを判定する。また、検査部232は、構造物が設計情報通りに成形されていない場合、修復可能であるか否か判定する。修復できる場合、検査部232は、比較結果に基づき、不良部位と修復量を算出し、リペア装置240に不良部位を示す情報と修復量を示す情報とを送信する。
【0071】
リペア装置240は、制御装置230から受信した不良部位を示す情報と修復量を示す情報とに基づき、構造物の不良部位を加工する。
【0072】
図14は、構造物製造システム200による処理の流れを示したフローチャートである。
まず、ステップS401において、設計装置210が、構造物の形状に関する設計情報を作製する。次に、ステップS402において、成形装置220は、設計情報に基づいて上記構造物を作製する。次に、ステップS403において、三次元形状測定装置1は、作製された上記構造物の形状を測定する。次に、ステップS404において、制御装置230の検査部232は、三次元形状測定装置1で得られた形状情報と、上記設計情報とを比較することにより、構造物が設計情報通りに作成されたか否か検査する。
【0073】
次に、ステップS405において、制御装置230の検査部232は、作成された構造物が良品であるか否かを判定する。そして、作成された構造物が良品である場合には、構造物製造システム200はその処理を終了する。一方、作成された構造物が良品でない場合には、ステップS406へ移行する。
【0074】
ステップS406において、制御装置230の検査部232は、作成された構造物が修復できるか否か判定する。作成された構造物が修復できる場合にはステップS407へ移行し、作成された構造物が修復できない場合には構造物製造システム200はその処理を終了する。ステップS407において、リペア装置240は、構造物の再加工を実施し、ステップS403の処理に戻る。
【0075】
以上により、構造物製造システム200は作成された構造物が良品であるか否か判定することができる。また、構造物製造システム200は、構造物が良品でない場合、構造物の再加工を実施し、修復することができる。
【0076】
なお、本実施形態におけるリペア装置240が実行するリペア工程は、成形装置220が成形工程を再実行する工程に置き換えられてもよい。その際には、制御装置230の検査部232が修復できると判定した場合、成形装置220は、成形工程(鍛造、切削等)を再実行する。具体的には、例えば、成形装置220は、構造物において本来切削されるべき箇所であって切削されていない箇所を切削する。これにより、構造物製造システム200は、構造物を正確に作成することができる。
【0077】
また、図6,8,又は11に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、三次元形状測定処理又は基準線検出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0078】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0079】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0080】
1…三次元形状測定装置 13…投影部 14…撮像部 15…CPU 16…記憶部 101…制御部

【特許請求の範囲】
【請求項1】
測定対象物上に投影パターンを照射する投影部と、
前記測定対象物を撮像する撮像部と、
前記投影部に縞パターンを照射させ、当該照射させる縞パターンの位相を変化させながら、前記撮像部に前記測定対象物を繰り返し撮像させるとともに、前記測定対象物上に照射させた前記縞パターンの画像を複数取得する第1の制御部と、
前記測定対象物上の互いに隣接する第1の領域と第2の領域であって、互いの境界線が前記縞パターンの縞と平行となる第1の領域と第2の領域のうち、前記第1の領域のみに所定の光を前記投影部により照射させるとともに前記撮像部により前記測定対象物を撮像させた第1の画像と、前記第2の領域のみに前記所定の光を前記投影部により照射させるとともに前記撮像部により前記測定対象物を撮像させた第2の画像とを取得する第2の制御部と、
前記第2の制御部が取得した前記第1の画像と前記第2の画像との差分に基づいて、前記測定対象物に照射された縞パターンの縞のうちから、縞パターンに含まれる縞の夫々を識別する基準線を検出する基準線検出部と、
前記基準線検出部が検出した基準線に基づいて、前記第1の制御部が取得した複数の縞パターンの画像から算出された位相分布に対して位相接続し、当該位相接続した位相分布に基づいて、前記測定対象物の三次元形状を測定する形状測定部と、
を備えることを特徴とする三次元形状測定装置。
【請求項2】
請求項1に記載の三次元形状測定装置において、
前記基準線検出部は、
前記第1の画像と前記第2の画像との論理和画像を生成する論理和画像生成部と、
前記論理和画像生成部が生成した前記論理和画像と前記第1の画像との差分画像である第1の差分画像、及び、前記論理和画像と前記第2の画像との差分画像である第2の差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した前記第1の差分画像及び前記第2の差分画像夫々から前記境界線を検出する境界線検出部と、
前記境界線検出部が前記第1の差分画像から検出した境界線と、前記境界線検出部が前記第2の差分画像から検出した境界線との中心を前記基準線として検出する検出部と、
を有することを特徴とする三次元形状測定装置。
【請求項3】
請求項2に記載の三次元形状測定装置において、
前記基準線検出部は、
前記差分画像生成部が生成した前記第1の差分画像及び前記第2の差分画像を二値化してラベリングし、ラベリングした領域のうち最大面積を持つ領域以外を前記二値化した前記第1の差分画像及び前記第2の差分画像から夫々削除した画像に対してモルフォロジ処理する画像処理部を備え、
前記境界線検出部は、前記画像処理部がモルフォロジ処理した前記第1の差分画像及び前記第2の差分画像夫々から境界線を検出する
ことを特徴とする三次元形状測定装置。
【請求項4】
測定対象物上に投影パターンを照射する投影部と、
前記測定対象物を撮像する撮像部と、
前記縞パターンを投影した場合に、当該縞パターンの基準となるとともに、前記撮像部による撮像性能を判定するための基準線を前記投影部により前記測定対象物上に照射させ、当該基準線が照射された前記測定対象物を前記撮像部に撮像させて画像を取得する第1の制御部と、
前記投影部に縞パターンを照射させ、当該照射させる縞パターンの位相を変化させながら、前記撮像部に前記測定対象物を繰り返し撮像させるとともに、前記測定対象物上に照射させた前記縞パターンの画像を複数取得する第2の制御部と、
前記第1の制御部が取得した画像から前記基準線を検出する基準線検出部と、
前記基準線検出部が検出した基準線に基づいて、前記第1の制御部が取得した複数の縞パターンの画像から算出された位相分布に対して位相接続し、当該位相接続した画像に基づいて、前記測定対象物の三次元形状を測定する形状測定部と、
を備えることを特徴とする三次元形状測定装置。
【請求項5】
測定対象物上に縞パターンを投影して前記測定対象物を撮像する三次元形状測定装置における三次元形状測定方法であって、
前記三次元形状測定装置の第1の制御部が、前記測定対象物上に照射される縞パターンの位相を変化させながら、前記測定対象物を繰り返し撮像するとともに、前記測定対象物上に照射させた前記縞パターンの画像を複数取得するステップと、
前記三次元形状測定装置の第2の制御部が、前記測定対象物上の互いに隣接する第1の領域と第2の領域であって、互いの境界線が前記縞パターンの縞と平行となる第1の領域と第2の領域のうち、前記第1の領域のみに所定の光を照射させるとともに前記測定対象物を撮像させた第1の画像と、前記第2の領域のみに前記所定の光を照射させるとともに前記測定対象物を撮像させた第2の画像とを取得するステップと、
前記三次元形状測定装置の基準線検出部が、前記第2の制御部が取得した前記第1の画像と前記第2の画像との差分に基づいて、前記測定対象物に照射された縞パターンの縞のうちから、縞パターンに含まれる縞の夫々を識別する基準線を検出するステップと、
前記三次元形状測定装置の形状測定部が、前記基準線検出部が検出した基準線に基づいて、前記第1の制御部が取得した複数の縞パターンの画像から算出された位相分布に対して位相接続し、当該位相接続した位相分布に基づいて、前記測定対象物の三次元形状を測定するステップと、
を有することを特徴とする三次元形状測定方法。
【請求項6】
測定対象物上に縞パターンを投影して前記測定対象物を撮像する三次元形状測定装置における三次元形状測定方法であって、
前記三次元形状測定装置の第1の制御部が、前記縞パターンを投影した場合に、当該縞パターンの基準となるとともに、撮像性能を判定するための基準線を前記測定対象物上に照射させ、当該基準線が照射された前記測定対象物を撮像して画像を取得するステップと、
前記三次元形状測定装置の第2の制御部が、前記測定対象物上に照射される縞パターンの位相を変化させながら、前記測定対象物を繰り返し撮像するとともに、前記測定対象物上に照射させた前記縞パターンの画像を複数取得するステップと、
前記三次元形状測定装置の基準線検出部が、前記第1の制御部が取得した画像から前記基準線を検出するステップと、
前記三次元形状測定装置の形状測定部が、前記基準線検出部が検出した基準線に基づいて、前記第1の制御部が取得した複数の縞パターンの画像から算出された位相分布に対して位相接続し、当該位相接続した画像に基づいて、前記測定対象物の三次元形状を測定するステップと、
を有することを特徴とする三次元形状測定方法。
【請求項7】
構造物の形状に関する設計情報を作製する設計工程と、
前記設計情報に基づいて前記構造物を作製する成形工程と、
作製された前記構造物の形状を請求項5又は6に記載の三次元形状測定方法を用いて測定する測定工程と、
前記測定工程で得られた形状情報と、前記設計情報とを比較する検査工程と、
を有することを特徴とする構造物の製造方法。
【請求項8】
前記検査工程の比較結果に基づいて実行され、前記構造物の再加工を実施するリペア工程を有することを特徴とする請求項7に記載の構造物の製造方法。
【請求項9】
前記リペア工程は、前記成形工程を再実行する工程であることを特徴とする請求項8に記載の構造物の製造方法。
【請求項10】
前記リペア工程は、前記検査工程の比較結果に基づいて、前記構造物の不良部位を加工する工程であることを特徴とする請求項8に記載の構造物の製造方法。
【請求項11】
構造物の形状に関する設計情報を作製する設計装置と、
前記設計情報に基づいて前記構造物を作製する成形装置と、
請求項1から4いずれか1項に記載の三次元形状測定装置と、
前記三次元形状測定装置が測定した前記構造物の形状情報と、前記設計情報とを比較する検査装置と、
を有することを特徴とする構造物製造システム。
【請求項12】
前記検査装置における比較結果に基づいて、前記構造物の再加工を実施するリペア装置を有することを特徴とする請求項11に記載の構造物製造システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図7】
image rotate


【公開番号】特開2012−93234(P2012−93234A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2010−240961(P2010−240961)
【出願日】平成22年10月27日(2010.10.27)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】