三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
【課題】迅速かつ高精度に三次元形状情報を計測できる三次形状元計測装置を実現する。
【解決手段】位置に応じて周期的に輝度が変化する光パタンを、計測対象１２が計測される搬送ステージ５２上の一部の領域へ投影する投光部２０と、光パタン照射領域１４を撮像する第１のラインセンサ３６と、光パタン非照射領域１６を撮像する第２のラインセンサ３８と、第１のラインセンサ３６が撮像した画像８２および第２のラインセンサ３８が撮像した画像８４から、背景情報を除去した画像８６に含まれるある画素における光パタンの位相を、画像８６における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象１２の高さ情報を算出する画像解析・駆動制御部４０とを備え、第１のラインセンサ３６および第２のラインセンサ３８は、それぞれ、光パタン照射領域１４および光パタン非照射領域１６を、同時に撮像できるように配置されている。
【解決手段】位置に応じて周期的に輝度が変化する光パタンを、計測対象１２が計測される搬送ステージ５２上の一部の領域へ投影する投光部２０と、光パタン照射領域１４を撮像する第１のラインセンサ３６と、光パタン非照射領域１６を撮像する第２のラインセンサ３８と、第１のラインセンサ３６が撮像した画像８２および第２のラインセンサ３８が撮像した画像８４から、背景情報を除去した画像８６に含まれるある画素における光パタンの位相を、画像８６における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象１２の高さ情報を算出する画像解析・駆動制御部４０とを備え、第１のラインセンサ３６および第２のラインセンサ３８は、それぞれ、光パタン照射領域１４および光パタン非照射領域１６を、同時に撮像できるように配置されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体に関するものである。
【背景技術】
【０００２】
画像解析によって対象物の三次元形状情報を得る手段として、所定の撮像視野内に存在する計測対象に光パタンを投影し、計測対象の三次元形状に応じて変形した光パタンの変形量を解析する方法がある。代表的な方法としては、光切断法や空間コード法、縞解析法などが挙げられる。これらは全て三角測量の原理に基づいているが、中でも、縞解析法に関しては空間縞解析や時間縞解析など多くの手法が提案されており、高い計測精度を得る手法として知られている。
【０００３】
ところで、通常これらの手法では、光パタンが投影された計測対象の読み取りにエリアセンサを用いているが、エリアセンサを用いると、計測対象が１撮像視野内に収まらないために、エリアセンサを縦及び横の双方に移動させながら１撮像視野ずつ複数回に分けて撮像する必要が度々生じ、撮像時間が長くなってしまうという問題が起こっている。
【０００４】
このような問題に対する解決策として、例えば特許文献１、２では、エリアセンサの代わりにラインセンサを用いた三次元形状計測方法が提案されている。特許文献１の計測方法では、光パタンを投影した計測対象をラインカメラで撮像し、続いて、計測対象を搬送することによって投影される光パタンの位相をずらし、位相のずれた光パタンが投影された計測対象をまた別のラインカメラで撮像し、といったことを複数回繰り返し、撮像した複数枚の画像に含まれる光パタンを時間縞解析法（位相シフト法）に基づいて解析することによって三次元形状を測定している。
【０００５】
また、特許文献２の三次元形状測定装置では、光パタンが投影された計測対象を、異なる位置に設置された２つのラインカメラによって別々に撮像し、撮像した２つの画像からステレオ法に基づいて三次元形状を測定している。
【０００６】
このような問題に対する解決策として、例えば特許文献１では、エリアセンサの代わりにラインセンサを用いた三次元形状計測方法が提案されている。特許文献１の計測方法では、光パタンを投影した計測対象をラインカメラで撮像し、続いて、計測対象を搬送することによって投影される光パタンの位相をずらし、位相のずれた光パタンが投影された計測対象をまた別のラインカメラで撮像し、といったことを複数回繰り返し、撮像した複数枚の画像に含まれる光パタンを時間縞解析法（位相シフト法）に基づいて解析することによって三次元形状を測定している。
【０００７】
また、特許文献２の三次元形状測定装置では、光パタンが投影された計測対象を、異なる位置に設置された２つのラインカメラによって別々に撮像し、撮像した２つの画像からステレオ法に基づいて三次元形状を測定している。
【特許文献１】特開２００２−２８６４３３号公報（２００２年１０月３日公開）
【特許文献２】特開２００４−１１７１８６号公報（２００４年４月１５日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の技術は、ラインセンサの配置に困難を要したり、撮像に長時間を要したりするという問題を抱えている。
【０００９】
例えば、特許文献１に記載の技術では、縞解析法として、計測対象に投影する光パタンの位相を変えながら、計測対象の同一の部分を同一の角度から複数回撮像する時間縞解析法を用いている。ここで、複数のラインセンサを用いて、直線方向に搬送される計測対象の同一部分を撮像するためには、全てのラインセンサを厳密に平行に配置しなければならない。その上、全てのラインセンサを、計測対象を載置する基準面から同一の距離になるように配置する必要もある。さらに、同じ角度から撮像するためには、全てのラインセンサを同じ姿勢で配置しなければならない。例えば特許文献１では４本のラインセンサを用いているが、これら４本のラインセンサを上記のように配置することは、実際には困難を要する。
【００１０】
以上のように、特許文献１に記載の技術は、ラインセンサの配置が困難になってしまうという問題を有している。さらに、複数のラインセンサが必要なことから、計測装置の大型化、高価格化、又はトラブル頻度の上昇などを招くおそれもある。
【００１１】
また、時間縞解析法を用いる際に、複数のラインセンサを用いる代わりに、１つのラインセンサで複数回計測対象を撮像する方法もあるが、この場合、並行処理ができないために、解析に必要な枚数分の画像を撮像するのに複数のラインセンサを用いる場合の数倍（例えば４枚の画像を撮像する場合は４倍など）の時間を要してしまう。よって、計測に要する時間が長くなってしまうという問題が生じる。
【００１２】
一方、特許文献２に記載の技術では、２つのラインセンサによって得られた２つの画像からステレオ法によって三次元形状を計測しているが、ステレオ法によって三次元形状を計測するためには、２つのラインセンサの精確な幾何学的配置を知っておく必要がある。それゆえ、この場合もまた２つのラインセンサの配置を精確に行う必要があり、ラインセンサの配置が困難になってしまうという問題が生じる。さらに、特許文献２の方法は、ステレオ法を用いることから、三次元形状の測定精度をラインセンサの画素以下の分解能にするのが困難であり、それゆえ測定精度が悪くなってしまうという問題も有している。
【００１３】
本発明は、上記課題に鑑みてなされたものであり、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測できる三次元形状計測装置及び三次元形状計測方法を実現することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る三次元形状計測装置は、上記課題を解決するために、ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、画像における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象の高さ情報を算出する空間縞解析法を用いている。
【００１５】
すなわち、本発明の三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサと、上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する処理手段とを備え、上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を、同時に撮像できるように配置されていることを特徴としている。
【００１６】
上記の構成によれば、三次元形状計測装置は、計測対象に投影された光パタンを画像として読み取るための第１のラインセンサと、光パタンが投影されていない計測対象の画像を読み取るための第２のラインセンサとを備えている。このように、エリアセンサでなくラインセンサを用いることによって、撮像領域をラインセンサの長手方向（副走査方向）に延長することができる。このため、ラインセンサに対して計測対象を副走査方向に相対的に移動させる回数を減らし（好ましくはゼロにし）つつ、高解像度で計測対象を撮像することができる。これにより、迅速かつ高精度に三次元形状情報を計測することができる。
【００１７】
ここで、三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の形状情報を算出する。この光パタンは、位置に応じて周期的に輝度が変化するものであり、計測対象の或る位置に投影された光パタンの位相が基準となる位相からどの程度ずれているかに基づいて、計測対象のその位置における高さを算出することができる。
【００１８】
ここで、計測対象の各部分に投影された光パタンの位相は、ラインセンサによって撮像された画像の輝度値から算出される。すなわち、光パタンの投影された計測対象の或る位置に対応する画素（以下「注目画素」という）の輝度値から、その輝度値に対応する位相を算出する。しかしながら、光パタンの位置（すなわち位相）と輝度値（すなわち変位）とが周期性を有する連続関数によって表される場合、ある１点の輝度値（変位）を与える位相は、同一周期内に最低でも２つ存在する。例えば、ｙ＝ｓｉｎθによって表される関数において、変位ｙ＝０を与える位相θは０及びπの２つ存在する。従って、注目画素の輝度値（変位）のみから、その輝度値に対応する位相を１つに決定することはできない。
【００１９】
この際、従来の技術では、時間縞解析法を用いることによって注目画素における位相を決定していた。つまり、注目画素の輝度値によってその輝度値に対応する位相を２つに絞り込んでおき、さらに、光パタンの位相をずらして撮像した別の画像における対応する画素の輝度値に基づいて、注目画素における光パタンの位相を１つの値に決定していた。このためには、計測対象の反射特性が厳密に一様であったとしても、計測対象の同一部分を撮像した画像が最低でも２つ必要となり、計測対象の同一部分に対して２回以上の延べ走査回数を必要とする。
【００２０】
これに対して、本発明に係る三次元形状計測装置は、ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、その画素とその周辺の画素との輝度値に基づいて算出する画像解析部を備えている。すなわち、注目画素における光パタンの位相を、その画素の輝度値に基づいて絞り込むとともに、注目画素の周辺における画素の輝度値に基づいて画素における光パタンの位相を１つの値に特定する。
【００２１】
この原理について説明すると、周期性を有する連続関数において、或る１つの変位を与える位相は同一周期内に少なくとも２つ存在するが、その２つの位相の周辺における変位は、その２つの位相の間で異なっている。例えば、上記の例において変位ｙ＝０を与える位相θは０及びπの２つあるが、ここで、注目画素における位相が０の場合とπの場合とでは、周辺の画素の輝度値（変位）が異なることになる。もし、注目画素における位相が０の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍における画素の輝度値に基づいて、光パタンの位相を１つに決定することができるのである。
【００２２】
さらに、本発明の三次元形状計測装置では、光パタン投影手段が計測対象を設置する計側面の一部の領域に対して光パタンを投影している。第１のラインセンサは、上記光パタンが投影された光パタン照射領域を撮像する位置に配置され、第２のラインセンサは、上記光パタンが照射されていない光パタン非照射領域を撮像する位置に配置されている。
【００２３】
計測精度を向上させるために、光パタンが投影された画像と、光パタンが投影されていない画像とを撮像し、各画像を比較することによって背景情報を除去する方法が考えられる。この場合、単独のラインセンサで画像を撮像する構成では、光パタンが投影された画像および光パタンが投影されていない画像を撮像するため、複数回の撮像が必要となる。
【００２４】
また、複数回の撮像において撮像位置を正確に合わせるためにリニアスケーラなどを用いて精密な位置合わせを行う必要がある。また、複数回の撮像において、各回で撮像した画像を一時的に記憶し、計算に必要な画像が揃うまで記憶して置くための画像メモリが必要となる。また、光パタンの投影および非投影を切り替えるための可動式ミラーやハーフミラーなどの構造が必要となる（図１６）。
【００２５】
しかしながら、本発明の三次元形状計測装置では、上記光パタン照射領域および光パタン非照射領域は互いに重畳しないように配置され、第１のラインセンサおよび第２のラインセンサは同時に上記各領域を撮像することができるように配置されている。上記の構成によれば、上記第１および第２のラインセンサが撮像した画像から背景情報を除去した画像を算出する際に、計測対象を複数回移動させて全計測領域を撮像する必要がなくなり、１回の撮像で必要な画像を撮像することができるという効果を奏する。
【００２６】
これによって、撮像に要する時間が短縮され、光パタンの照射および非照射を切り替えるためのハーフミラーなど機構が不要となり、複数回の撮像において正確に位置合わせを行うために必要なリニアスケーラが不要となり、コスト削減および撮像速度の高速化が可能となる。
【００２７】
上記の三次元形状計測装置では、複数のラインセンサを含む撮像手段を備え、上記第１のラインセンサおよび第２のラインセンサとして、上記撮像手段のラインセンサのうち２つを用いることが好ましい。
【００２８】
また、上記の三次元形状計測装置では、赤、緑、および青の３つのラインセンサからの検出結果を変換して光パタンなしの画像として用い、Ｗ／Ｂのラインセンサの検出結果を光パタンありの画像として用いてもよい。
【００２９】
また、上記の三次元形状計測装置では、赤、緑、青、および白黒の色の輝度を検出するラインセンサを含むカラー撮像手段を備え、上記第１のラインセンサとして、白黒のラインセンサと、赤、緑、または青のいずれか１つの色のフィルタとを含むセンサを用い、上記第２のラインセンサとして、赤、緑、または青のうち上記フィルタと同じ色のラインセンサ用いてもよい。
【００３０】
上記の構成によれば、複数のラインセンサ含むカメラや、Ｒ，Ｇ，Ｂ、Ｗ／Ｂの各色の輝度値を検出するラインセンサを含むカラーカメラなどを用いて、本発明の三次元形状計測装置を構成することができる。
【００３１】
また、赤、緑、または青のいずれかの色、例えば緑のフィルタを白黒の色を検出するラインセンサに付与し、そのラインセンサと元の緑のラインセンサからの検出結果を用いてもよい。上記の様に構成すれば、同感度の２本のラインセンサを用いる場合と同様に検出を行うことができる。
【００３２】
さらに、カラー画像を同時に取得することができるので、二次元検査を同時に行うことができる。
【００３３】
また、上記の三次元形状計測装置では、第１のラインセンサを備えた第１の撮像手段と、第２のラインセンサを備えた第２の撮像手段と、上記第１のラインセンサの撮像視線を上記光パタン照射領域に対向させるように配置された第１のミラーと、上記第２のラインセンサの撮像視線を上記光パタン非照射領域に対向させるように配置された第２のミラーとを備えてもよい。
【００３４】
上記の構成によれば、単独のラインセンサを備えた複数のカメラと、複数のミラーを組み合わせることによって、上記ラインセンサの撮影視線を容易に制御し、複数のカメラを用いて本発明の三次元形状計測装置を構成することができる。
【００３５】
なお、上記第１のラインセンサおよび第２のラインセンサは、同一のレンズを通して上記光パタン照射領域および光パタン非照射領域を撮像する構成としてもよい。
【００３６】
上記の構成によれば、同一のレンズを通して撮像するので、第１の撮像手段および第２の撮像手段の配置を決定する際に、撮像手段を含む部材をコンパクトに形成することができ、ミラーを用いて撮像視線を設定できる効果が特に有効である。
【００３７】
上記の三次元形状計測装置では、上記光パタン照射領域に対して光パタンを形成し、上記光パタン非照射領域に対して均一照明を照射するための透過部および遮光部を含むパタン形成素子を備えてもよい。
【００３８】
また、上記の三次元形状計測装置では、光パタン投影手段によって投影される光パタンと同等の光量の均一照明を上記光パタン非照射領域に対して照射する均一照明投射手段をさらに備えてもよい。
【００３９】
上記の構成によれば、光パタンを計測面上に形成するためのパタン形成素子を用いて上記光パタン照射領域および光パタン非照射領域を形成したり、光パタンと同等の光量の均一照明を照射したりすることによって、光パタン照射領域および光パタン非照射領域の光量を同等に保つことができるので、背景情報を除去した画像を算出する精度を向上させることができる。
【００４０】
本発明の三次元形状計測方法は、上記の問題を解決するために、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置における三次元形状計測方法であって、上記三次元形状計測装置は、光パタン投影手段と、第１のラインセンサと、第２のラインセンサとを備え、上記第１および第２のラインセンサは、それぞれ、上記計測対象の光パタンが投影された光パタン照射領域および上記計測対象の光パタンが投影されていない光パタン非照射領域を同時に撮像できるように配置されており、上記光パタン投影手段が位置に応じて周期的に輝度が変化する光パタンを上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影ステップと、上記第１のラインセンサが上記光パタン照射領域を撮像すると共に、上記第２のラインセンサが上記光パタン非照射領域を撮像する撮像ステップと、上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する算出ステップとを備えることを特徴としている。
【００４１】
上記の構成によれば、上述の三次元形状計測装置と同様の効果を奏する三次元形状計測方法を実現することができる。
【００４２】
なお、上記三次元形状計測方法における算出ステップを、コンピュータ上で実行させることができる。
【発明の効果】
【００４３】
本発明に係る三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサと、上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する処理手段とを備え、上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を、同時に撮像できるように配置されている。
【００４４】
これによって、ラインセンサに対して計測対象を主走査方向に相対的に移動させる回数を減らしつつ、高解像度で計測対象を撮像することができる。さらに、背景情報を除去した画像を算出する際に、１回の撮像で必要な光パタン照射領域および光パタン非照射領域の画像を撮像することができるので、コスト削減および撮像速度の高速化が可能な三次元形状計測装置を構成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４５】
〔実施の形態１〕
本発明の一実施形態について図１から図１１に基づいて説明すると以下の通りである。
【００４６】
図１は、本実施形態における三次元形状計測装置１０の概略構成を示す図で、図１（ａ）は断面図、図１（ｂ）は上面図である。図２は、三次元形状計測装置１０の物理的構成を示す概念図である。図３は、三次元形状計測装置１０の要部構成を示す機能ブロック図である。図１から図３に示すように、三次元形状計測装置１０は、投光部（投影手段）２０、撮像部３０、画像解析・駆動制御部（処理部）４０、および、搬送部５０を備えている。
【００４７】
投光部２０は、計測対象１２の表面に光パタンを投影するためのものである。また、投光部２０は、図１に示すように、ハロゲンランプやキセノンランプなどの光源２２、マクロレンズなどの投光レンズ２４、光源２２から照射された光にパタンを持たせるためのパタン生成素子２６、および、光線を透過または遮光することで光パタンを照射する光パタン照射領域１４および光パタン非照射領域１６の境界を明確にするための光線分離部２８を備えている。
【００４８】
投影する光パタンとしては、正弦波、三角波、又は矩形波などの、位置に応じて周期性を有し、かつ位相を特定できるパタンであれば何れのものでもよいが、本実施形態では、計測分解能の向上に寄与する正弦波状の光パタンを用いるものとする。また、パタン生成素子２６としては、ガラス又はフィルムを加工したものなどを用いることができる。なお、パタン生成素子２６は、液晶などを用いて動的にパタンを生成してもよい。
【００４９】
撮像部３０は、上述のように、光パタンが投影された計測対象１２を読み取り、その画像を取得するものである。また、撮像部３０は、図１に示すように、第１のラインセンサ３６と、第２のラインセンサ３８と、マクロレンズなどの撮像レンズ３２とを備えている。
【００５０】
第１のラインセンサ３６は光パタン照射領域１４を撮像できるように、第２のラインセンサ３８は光パタン非照射領域１６を撮像できる位置に配置されている。また、光パタン照射領域１４および光パタン非照射領域１６は、第１のラインセンサ３６および第２のラインセンサ３８の撮像範囲を考慮して、各領域を重畳しないよう並べて配置している。
【００５１】
搬送部５０は、図２の矢印の方向（以下、主走査方向）、および該主走査方向と垂直な方向（以下「副走査方向」という）に計測対象１２を水平移動させるためのものである。また、搬送部５０は、図３に示すように、計測対象１２を載置するための搬送ステージ５２、搬送ステージ５２を駆動するサーボモータ５４などを備えている。
【００５２】
搬送部５０により計測対象１２を主走査方向に移動させつつ撮像部３０により逐次撮像することによって、計測対象１２全体の三次元形状を計測することが可能になる。また、計測対象１２が撮像部３０の撮像範囲よりも副走査方向に広い場合には、搬送部５０により計測対象１２を副走査方向に移動させて撮像部３０により逐次撮像すればよい。
【００５３】
画像解析・駆動制御部４０は、撮像部３０によって撮像された画像に含まれる光パタンを縞解析法によって解析し、計測対象１２の三次元形状を算出すると共に、コントローラ４４に各種指示を行うものである。また、画像解析・駆動制御部４０は、図３に示すように、撮像部３０からの画像をデジタルデータで取り込むキャプチャボード４２、各種の制御を行うＣＰＵ４６、および各種の情報を記憶するＲＡＭ４８を備えている。
【００５４】
なお、本実施形態では、搬送部５０は、計測対象１２を移動させる構成としたが、計測対象１２を移動させる代わりに、投光部２０および撮像部３０を主走査方向に、さらには副走査方向に移動させる構成としてもよい。すなわち、搬送部５０は、計測対象１２を投光部２０および撮像部３０に対して相対的に移動させるものであればよい。
【００５５】
このような三次元形状計測装置１０に備わる各部の構成について概略を説明する。本実施形態の三次元形状計測装置１０では、撮像部３０は、その副走査方向の軸が搬送ステージ５２の計測面と平行になるように設置されている。
【００５６】
撮像部３０の光軸と搬送ステージ５２の計測面とを平行にすることにより、計測対象１２の上面を均一な倍率で撮像することができる。また、撮像部３０の光軸（副走査方向の軸）と主走査方向とを垂直にしているので、搬送しながら撮影した複数のライン画像からなる２次元画像には、直角部分が直角部分として撮像される。
【００５７】
また、投光部２０は、その光軸が撮像部３０の光軸に対して所定の角度を有するように設置されている。これにより、計測対象１２に投影した光パタンのずれに基づいて、計測対象１２の高さを算出することができる。なお、撮像部３０および投光部２０の幾何学的配置は設置時にあらかじめ計測しておいてもよいし、校正により算出してもよい。
【００５８】
このような三次元形状計測装置１０の動作について説明すると以下の通りである。まず、画像解析・駆動制御部４０からコントローラ４４を介しての命令によって、搬送部５０のサーボモータ５４が搬送ステージ５２を初期設定位置にセットする。この初期設定位置は、撮像部３０が計測対象１２を撮像する際の主走査方向の撮像開始位置を決定するものであり、撮像部３０の撮像領域が、搬送部５０の搬送ステージ５２に載せられた計測対象１２の主走査方向における端部に来るような位置であることが好ましい。
【００５９】
そして、投光部２０が計測対象１２に光パタンを投影する。撮像部３０は、光パタンが投影された計測対象１２を走査し、この計測対象１２の画像を取得する。撮像部３０によって取得された画像は、画像解析・駆動制御部４０に送信され、画像解析・駆動制御部４０のキャプチャボード４２によってデジタルデータに変換される。そして、画像解析・駆動制御部４０のＣＰＵ４６が光パタンを解析することによって、計測対象１２の高さ情報が算出される。
【００６０】
ここで、本実施形態の三次元形状計測装置１０では、画像中の光パタンを解析する際に、空間縞解析法を用いる構成となっている。これにより、撮像部３０に備わった１本のラインセンサが１回走査して取得した画像から、計測対象１２の、撮像部３０の走査領域（撮像領域）内での各位置における高さを求めることができる。
【００６１】
そして、搬送部５０は、画像解析・駆動制御部４０の制御によって、計測対象１２を主走査方向に所定の距離だけ移動させる。これにより、計測対象１２における撮像部３０の撮像領域と投光部２０によって投影される光パタンとが、所定の距離だけ主走査方向にずれることになる。この後、再び撮像部３０が計測対象１２を走査し、画像を取得する。ここで得られた画像には、計測対象１２の、先ほどの走査領域よりも所定の距離だけ主走査方向にずれた領域が含まれることになる。得られた画像は、同様に画像解析・駆動制御部４０に送信され、新しい走査領域内での各位置における三次元情報が求められる。
【００６２】
このように、搬送部５０が再び計測対象１２を所定の距離だけ移動させ、撮像部３０が計測対象１２を撮像し、画像解析・駆動制御部４０がライン画像を解析する処理を繰り返すことによって、計測対象１２の全体の三次元形状が計測される。
【００６３】
なお、計測対象１２の三次元形状情報のうち、撮像部３０の副走査方向の長さおよび主走査方向の長さ情報については、公知の方法によって計測する。具体的に説明すると、計測対象１２の副走査方向の長さ情報は、ライン画像に撮像された計測対象の副走査方向の長さに基づいて算出する。一方、計測対象１２の主走査方向の長さ情報は、搬送部５０による移動速度に基づいて算出する。このように、計測対象１２の副走査方向および主走査方向の長さ情報と、高さ情報とを求めることによって、計測対象１２の三次元形状情報を得ることができる。また、副走査方向の長さは、キャリブレーション時に既知間隔のワークを撮像し、上記箇所から所望の解像度になるように撮像部の高さおよびピントを調節してもよい。上記調節によって、撮像視野より小さい未知のサイズのワークが搬送された場合でも、サイズを算出することが可能となる。
【００６４】
なお、上記の所定の距離とは、撮像部３０の撮像領域を撮像する解像度と同じであることが好ましい。これにより、上記の工程によって計測対象１２の全領域を漏らすことなく迅速に計測することができる。
【００６５】
また、所定の距離ごとの撮像は、搬送ステージ５２を一定速度で移動させつつ、撮像部３０に一定時間ごとに撮像させることによって実現することができる。この場合、コントローラ４４が、キャプチャボード４２を介して、例えば数ＫＨｚオーダーの一定時間ごとに撮像駆動信号を撮像部３０に送信する。撮像部３０は、この駆動信号をトリガとして光パタンの投影された計測対象１２の画像を取得する。一方、コントローラ４４は、同様の一定時間ごとの搬送駆動信号を搬送部５０にも送信する。搬送部５０のサーボモータ５４は、この搬送駆動信号をトリガとして搬送ステージ５２を一定速度で駆動する。これにより、所定の領域ずつ計測対象１２を撮像することができる。
【００６６】
なお、従来は、図１６に示すように、光源からの光を集光レンズで集光した光線を、可動式ミラーが折りたたまれて除かれた状態で、ミラー、パタン投影チャート（パタン生成素子）、ハーフミラーを介して、計測対象に光パタンを投影するための光線投射経路と、可動式ミラー、ミラー、ハーフミラーを介して光パタンの存在しない均一照明を計測対象に投影するための光線投射経路とを切り替えていた。
【００６７】
本実施形態では、図１のように、光源２２から照射された光線を、パタン生成素子２６に照射することで光パタンを形成する光線を生成し、光線分離部２８を介することで、光パタン照射領域１４および光パタン非照射領域１６に光線を分離して計測対象１２および計測面に照射している。第１のラインセンサ３６および第２のラインセンサ３８は、光パタン照射領域１４および光パタン非照射領域１６を、それぞれ同時に撮像できる位置に配置されているので、１回の撮像で光パタンを照射した画像および光パタンを照射しない画像を撮影することができる。
【００６８】
これによって、複数回の撮像において撮像位置を正確に合わせるためにリニアスケーラなどを用いて精密な位置合わせを行う必要がなくなる。また、複数回の撮像において各回で撮像した画像を一時的に記憶して計算に必要な画像が揃うまで記憶して置くための画像メモリが不要となる。さらに、光パタンの投影および非投影を切り替えるための可動式ミラーやハーフミラーなどの構造が不要となる。これによって、従来の光パタン生成素子を用いたまま、計測時間を短縮し、各構造を構成するためのコスト削減を実現することができる。
【００６９】
なお、光線分離部２８を用いて光パタン照射領域１４および光パタン非照射領域１６に投射する光線を分離する代わりに、パタン生成素子２６上に形成されるチャートの構成を変更することで、上記光パタン照射領域に対して光パタンを形成し、上記光パタン非照射領域に対して均一照明を照射するための透過部および遮光部を含む構成としてもよい。または、投光部２０によって投影される光パタンと同等の光量の均一照明を、上記光パタン非照射領域に対して照射する均一照明投射部を備えてもよい。
【００７０】
上記の構成によれば、光線分離部２８を用いて光パタン照射領域１４および光パタン非照射領域１６に投射する光線を分離する場合と同様に、計測時間の短縮や各構造を構成するためのコスト削減を実現することができる。
【００７１】
次に、画像解析・駆動制御部４０における画像解析の詳細について説明する。まず、本実施形態の画像解析手法の原理について説明する。
【００７２】
画像解析・駆動制御部４０は、光パタンの投影された計測対象１２のライン画像を空間縞解析法に基づいて解析する。空間縞解析法とは、三角測量の原理に基づくものである。以下では、三角測量の原理、縞解析法、空間縞解析法について順番に説明する。
【００７３】
まず、三角測量の原理について説明する。説明を簡単にするため、基準面と垂直な光軸を有する撮像ユニットＣｃによって基準面Ｐ０からの高さがｈの平面Ｐｈを観測する場合を考える。また、投光部Ｃｐは、基準面Ｐ０から見て撮像ユニットＣｃと同じ高さに配置され、光パタンを基準面Ｐ０上の点Ｏの位置に向けて投影するものとする。
【００７４】
基準面Ｐ０と平行で、高さｈだけ離れた平面Ｐｈを観測する場合、点Ｏに向かう光パタンは点Ｐと交わる。このとき、撮像ユニットＣｃから見ると、基準面Ｐ０へ向けて投影された光パタンは、本来観測されるべき位置Ｏ（すなわち位置Ｑ）から距離ＰＱだけずれた位置Ｐに観測される。この位置ずれＰＱを位相差という。
【００７５】
位相差を算出することができれば、次の式（１）
【００７６】
【数１】
【００７７】
によって高さｈを算出することができる。
【００７８】
次に、縞解析法について説明する。本実施形態では、計測対象１２に投影する光パタンとして、正弦波状の光パタンを用いる。正弦波状の光パタンとは、輝度が正弦関数によって表されるグラデーションを有するパタンのことをいう。言い換えれば、位置と輝度との関係が正弦関数によって表される光パタンのことを正弦波状の光パタンという。
【００７９】
ここで、計測対象１２に照射する光パタンについて、図４および図５を参照して説明する。図４は、計測対象１２の形状を示す図で、同図（ａ）は上面図であり、同図（ｂ）は側面図である。図５は、計測対象１２に光パタンを投影した場合に、計測対象１２に投影された光パタンの歪みを示す図で、同図（ａ）は上面図であり、同図（ｂ）は基準面での輝度変動と凸部での輝度変動を示す波形図である。
【００８０】
光パタンを、図４（ａ）、図４（ｂ）に示すような計測対象１２に投影した場合、投影される光パタンを上面から観測すると図５（ａ）のようになる。すなわち、斜め方向から投影された光パタンは、高さを有する凸部において歪みを生じることになる。このように光パタンが投影された計測対象１２を撮像部３０によって走査すると、走査位置と輝度との関係は図５（ｂ）のようになる。
【００８１】
図５（ｂ）に示すように、凸部のない基準面に投影された光パタンは、常に一定の周期で輝度が変化する。これに対して、凸部に投影された光パタンは凸部の傾斜によって輝度の周期が変化し、その結果、基準面に投影された光パタンに対して位相のずれを生じることになる。よって、実際に計測対象１２に光パタンを投影して撮像した画像に含まれる或る位置の画素における光パタンの位相と、基準面に光パタンを投影した場合の同画素の位相（基準位相）との差を求めれば、その画素に対応する位置における計測対象１２の高さを三角測量の原理に基づいて求めることができる。
【００８２】
上記の位相差を算出するにあたって、基準位相は、基準面に光パタンを投影して撮像することなどによって予め求めておくことができる。一方、実際に計測対象に光パタンを投影して撮像した画像に含まれる各位置の画素における光パタンの位相の求め方には、大別して２通りある。空間縞解析法と時間縞解析法との相違点は、この位相の求め方にある。
【００８３】
図５（ｂ）に示すように、正弦関数では、ある一つの変位を与える位相が一周期内に２つ存在する。例えば、ｙ＝ｓｉｎθによって表される関数において、変位ｙ＝０を与える位相θは０及びπの２つ存在する。また、変位ｙ＝１／２を与える位相θはπ／６及び５π／６の２つ存在する。このような理由から、撮像した画像において、単一の画素の輝度値（正弦関数の変位に相当）のみから、その画素における光パタンの位相を求めることはできない。
【００８４】
ここで、従来用いられてきた手法である時間縞解析法では、所定の量だけ位相をずらした光パタンを計測対象に投影して再び計測対象を撮像し、２つの画像を解析することによって位相を１つに決定する。つまり、初めに撮像した画像における或る画素の輝度を基に、その画素における光パタンの位相を２つに絞り込み、次に撮像した画像におけるその画素の輝度を基に、光パタンの位相を１つに特定する。従って、時間縞解析法を用いる場合は、計測対象の反射特性が厳密に一様であったとしても、計測対象を最低でも２回撮像しなければならないことが分かる。
【００８５】
一方、空間縞解析法では、位相を求める画素（以下「注目画素」という）及びその周辺の画素の輝度に基づいて、注目画素における位相を算出する。例えば、上記の例において変位ｙ＝０を与える位相θは０及びπの２つあるが、ここで、注目画素における位相が０の場合とπの場合とでは、周辺の画素の輝度が異なることになる。もし、注目画素における位相が０の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍の画素に基づいて、光パタンの位相を１つに決定することができる。このように、注目画素の近傍に存在する画素の輝度値に基づいて、注目画素における位相を決定するのが空間縞解析法の特徴である。
【００８６】
本実施形態の三次元形状計測装置１０に用いられる空間縞解析法の具体的な処理工程について以下に詳述するが、本発明はこれに限定されず、上述した縞解析法の原理に基づいたものであればどのようなものであってもよい。
【００８７】
本実施形態では、撮像したライン画像から、光パタンを９０°移相した移相光パタンを仮想的に作成する。ここで、投影する光パタンを、次の式（２）
【００８８】
【数２】
【００８９】
とすると、この光パタンを９０°移相した移相光パタンは、次の式（３）
【００９０】
【数３】
【００９１】
と表される。従って、位置ｘにおける画素の位相φ（ｘ）は、次の式（４）
【００９２】
【数４】
【００９３】
で求めることができる。
【００９４】
ここで、Ｉ（ｘ）の値は、副走査方向の位置ｘにおける画素の輝度値である。一方、Ｉ^（ｘ）（以下、ハットのついたＩ（ｘ）を便宜的にこのように記述する）の値の算出には、Ｈｉｌｂｅｒｔ変換を用いる。すなわち、移相光パタンによる位置ｘにおける輝度値Ｉ^（ｘ）は、次の式（５）
【００９５】
【数５】
【００９６】
で表される。ここで、取得できる輝度データは画素ごとのデータ、つまり離散的なものであるため、上記の式（５）を次の式（６）
【００９７】
【数６】
【００９８】
のように近似する。この式（６）によって、Ｉ^（ｘ）の値を求めることができる。
【００９９】
以上より、輝度値Ｉ（ｘ）を取得すれば、上記の式（６）からＩ^（ｘ）の値を求め、上記の式（４）から位相φ（ｘ）を求めることができる。そして、求めた位相φ（ｘ）と基準面における位相φ０（ｘ）との位相差Δφ（ｘ）により、上述した三角測量の原理に基づいて、位置ｘにおける高さｚを算出することができる。
【０１００】
高さｚは、具体的には、基準面からの距離として算出され、次の式（７）
【０１０１】
【数７】
【０１０２】
によって求めることができる。なお、上記の式（７）において、Ａ（ｘ，ｚ）及びＢ（ｘ，ｚ）は、パタン周期やカメラから基準面までの距離、パタンの投影角度などの幾何学的配置に依存して画素ごとに決まる関数である。
【０１０３】
次に、図６を用いて、投光部２０の構成について詳細を説明する。図６は、投影される光パタンおよび投光部２０を説明する図で、図６（ａ）は投光される光パタンの上面図であり、図６（ｂ）は投光部２０の投光器部分の構成を示す断面図である。投光部２０は光源（ランプユニット）２２、投影レンズ２４ａ、パタン生成素子（チャート）２６、コリメータレンズ、インテグレータレンズ、およびコンデンサレンズなどで構成された集光レンズ群２４ｂを備えている。
【０１０４】
光源２２から投影された光線は、各レンズを経由することで光線量や波長を調整された後にパタン生成素子２６に照射される。照射された光線によって、パタン生成素子２６上に形成された縞模様が投影レンズ２４ａによって拡大され、像が反転されて計測面に縞状の光パタンが形成される。
【０１０５】
なお、ここでは、パタン生成素子２６として、右半分に光パタンを生成するためのチャートが、左半分に均一照明を透過するための透過領域が形成されている例を示したが、これに限るものではない。光線分離部２８を用いて光線を光パタン照射領域１４に照射するための光線および光パタン非照射領域１６に照射するための光線に分離する構成であってもよいし、投影される光パタンと同等の光量の均一照明を上記光パタン非照射領域に対して照射する別の均一照明投射部を備えてもよい。
【０１０６】
図７（ａ）は、光パタンを投影した状態の光パタン照射領域１４の一例を示しており、図７（ｂ）は、光パタンを投影せずに均一照明を投光した光パタン非照射領域１６の一例を示している。同図（ｂ）に示すように、計測対象１２に一様な輝度の光を照射しても、撮像した画像にはムラ（斑）が生じていることが理解できる。これは、計測対象１２の各部位における反射特性の相違に起因する。上記ムラは、同図（ａ）に示すように、光パタンを投影した状態の光パタン照射領域１４の画像にも生じることになり、上記光パタン照射領域１４の画像を用いて算出される位相に誤差が生じることになる。
【０１０７】
図８は、高さ一定の計測対象１２に関して、背景成分が除去されたライン画像の輝度値と、光パタン照射領域１４の画像を用いて算出される位相とを示している。図示において、左側の縦軸は、背景除去後の信号量であり、右側の縦軸は、位相（rad）であり、かつ、横軸は、光パタン照射領域１４の画像に含まれる画素の副走査方向の位置ｘである。
【０１０８】
図８を参照すると、背景成分が除去された光パタン照射領域１４の画像の輝度値は、光パタンと同様の正弦関数となり、光パタン照射領域１４の画像を用いて算出される位相は、増加率が一定となっており、上記ムラが除去されていることが理解できる。したがって、計測対象１２の各部位における反射特性の相違に起因する誤差を軽減できるようになる。
【０１０９】
図９は、計測対象１２に光パタンを投影した画像と、光パタンを投影していない計測対象１２を撮影した画像とから、背景成分を除去した画像を作成した具体例を示す図である。画像８２は計測対象１２に光パタンを投影した画像、画像８４は光パタンを投影していない計測対象１２を撮影した画像、画像８６は画像８２および画像８４から背景成分を除去して正規化した画像である。
【０１１０】
画像８６からも分かるように、画像８２および画像８４を用いて背景成分を除去することで、光パタンがより明確に読み取ることができる。これによって、画像解析・駆動制御部４０において、さらに正確な高さ計測を行うことができる。
【０１１１】
図１０は、投影された光パタンの縞およびラインセンサの間隔の関係について説明する概念図である。図１０（ａ）では、第１のラインセンサ３６および第２のラインセンサ３８が、撮像レンズ３２を通して計測面に対向するように配置されている。領域３７ａおよび領域３９ｂは、ラインセンサ３６およびラインセンサ３８の撮像領域である。このとき、ラインセンサ３６およびラインセンサ３８の間隔をＮ［μｍ］、領域３７ａおよび領域３９ｂの間隔をＬ［μｍ］としている。
【０１１２】
また、図１０（ｂ）では、光パタンの縞と縞との間の距離が２００［μｍ］となっている。しかしながら、この２００［μｍ］の距離は光パタンが理想的に投影された場合に計測される距離であり、実際には縞模様が滲み、ボケによって領域Ｒに染み出している。このため、光パタン非照射領域１６を第２のラインセンサ３８で撮像する場合には、ボケによって染み出す範囲ＲよりもＬだけ離れた領域に撮像場所を設定する必要がある。
【０１１３】
この場合、ライン間隔Ｌは、撮像部の副走査方向の解像度／セルピッチ×ラインセンサ間隔Ｎによって求めることができる（単位はμｍ）。
【０１１４】
次に、図１１を用いて、本実施形態の三次元形状計測装置１０で実際に三次元形状の計測を行う際の処理の手順について説明する。図１１は、三次元形状計測装置１０で三次元形状の計測処理の手順を示すフロー図である。
【０１１５】
計測処理が開始されると、まず、Ｓ１において、均一照明が照射された光パタン非照射領域１６を第２のラインセンサ３８が撮像するとともに、Ｓ２において、正弦波照明によって光パタンが投影された光パタン照射領域１４の撮像が第１のラインセンサ３６によって行われる。上記Ｓ１およびＳ２の処理は同時に行われ、上記各ラインセンサによる撮像画像が、画像解析・駆動制御部４０のキャプチャボード４２に送信される。
【０１１６】
次に、Ｓ３において、上記各ラインセンサによる撮像画像から、背景情報の除去を行う。具体例をあげると、例えば、図９における画像８２から画像８４を除算することによって画像８６を求める。なお、その他の正規化方法を用いて背景情報を除去してもよい。上記のＳ１からＳ３の処理が、画像から縞解析を行うために前処理に当たる。
【０１１７】
なお、キャプチャボード４２では、上記各ラインセンサによる撮影画像をリアルタイムで処理し、計測対象１２の高さの計算を行う。具体的には、以下のＳ４からＳ７の処理を行うことで計測対象１２の高さを求める。
【０１１８】
次に、Ｓ４において、縞解析を行って光パタンの位相がどれだけずれているかを計算する。具体例には、式５から式７で示したように、Ｈｉｌｂｅｒｔ変換法を用いて縞解析を行う。さらに、Ｓ５において、ＰＬＬ（Phase Locked Loop）などを用いて位相ノイズの除去および位相接続を行う。上記のＳ４およびＳ５の処理が、画像から位相を算出する処理に当たる。
【０１１９】
その後、Ｓ６において、照射した光パタンの位相と、計測する前の校正（キャリブレーション）で前もって取得したパラメータや位相から三次元座標との対応付けを行い、Ｓ７において、計測対象と三次元座標との交点座標、すなわち、計測する三次元形状の高さを求めて（測距）、三次元形状の計測処理を終了する。
【０１２０】
以上のように、本実施形態の三次元形状計測装置１０は、計測対象１２に投影された光パタンを解析することによって、計測対象１２の三次元形状を計測する三次元形状計測装置１０であって、位置に応じて周期的に輝度が変化する光パタンを、計測対象１２が計測される搬送ステージ５２上の一部の領域へ投影する投光部２０と、計測対象１２の光パタンが投影された光パタン照射領域１４を撮像する第１のラインセンサ３６と、計測対象１２の光パタンが投影されていない光パタン非照射領域１６を撮像する第２のラインセンサ３８と、第１のラインセンサ３６が撮像した画像８２および第２のラインセンサ３８が撮像した画像８４から、背景情報を除去した画像８６に含まれるある画素における光パタンの位相を、画像８６における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象１２の高さ情報を算出する画像解析・駆動制御部４０とを備え、第１のラインセンサ３６および第２のラインセンサ３８は、それぞれ、光パタン照射領域１４および光パタン非照射領域１６を、同時に撮像できるように配置されている。
【０１２１】
上記の構成によれば、三次元形状計測装置１０は、計測対象１２投影された光パタンを画像８２として読み取るための第１のラインセンサ３６と、光パタンが投影されていない計測対象１２の画像８４を読み取るための第２のラインセンサ３８とをそなえている。このように、エリアセンサでなくラインセンサを用いることによって、撮像領域をラインセンサの長手方向に延長している。このため、ラインセンサに対して計測対象１２を副走査方向に相対的に移動させる回数を減らしつつ、高解像度で計測対象１２を撮像している。これにより、迅速かつ高精度に三次元形状情報を計測している。
【０１２２】
さらに、本実施形態の三次元形状計測装置１０では、投光部２０が計測対象１２を設置する搬送ステージ５２の一部の領域に対して光パタンを投影している。第１のラインセンサ３６は、光パタンが投影された光パタン照射領域１４を撮像する位置に配置され、第２のラインセンサ３８は、光パタンが照射されていない光パタン非照射領域１６を撮像する位置に配置されている。
【０１２３】
これによって、撮像に要する時間が短縮され、光パタンの照射および非照射を切り替えるためのハーフミラーなど機構が不要となり、複数回の撮像において正確に位置合わせを行うために必要なリニアスケーラが不要となり、コスト削減および撮像速度の高速化が可能となっている。
【０１２４】
また、本実施形態の三次元形状計測装置１０では、複数のラインセンサを含む撮像部３０を備え、第１のラインセンサ３６および第２のラインセンサ３８として、撮像部３０のラインセンサのうち２つを用いている。上記の構成では、複数のラインセンサを含むカメラを用いて、本実施形態の三次元形状計測装置１０を構成している。
【０１２５】
また、本実施形態の三次元形状計測装置１０では、光パタン照射領域１４に対して光パタンを形成するための光線を透過し、光パタン非照射領域１６に対して均一照明を透過する光線分離部２８を備えている。
【０１２６】
上記の構成によれば、パタン生成素子２６に投射されるものと同一の光源を用いて、光パタン照射領域１４用の光線および光パタン非照射領域１６用の光線を透過または遮光することによって光線を分離することによって、光パタン照射領域１４および光パタン非照射領域１６の光量を同等に保ち、背景情報を除去した画像を算出する精度を向上させている。
【０１２７】
なお、本実施形態では、光線分離部２８を用いて光パタン照射領域１４および光パタン非照射領域１６の光量を同等に保っているが、光パタンを計測面上に形成するためのチャートなどのパタン形成素子を用いて上記光パタン照射領域および光パタン非照射領域を形成することによって、光パタン照射領域および光パタン非照射領域の光量を同等に保つ構成としてもよい。
【０１２８】
本実施形態の三次元形状計測方法では、計測対象１２に投影された光パタンを解析することによって、計測対象１２の三次元形状を計測する三次元形状計測装置１０における三次元形状計測方法であって、三次元形状計測装置１０は、投光部２０と、第１のラインセンサ３６と、第２のラインセンサ３８とを備え、第１のラインセンサ３６および第２のラインセンサ３８は、それぞれ、計測対象１２の光パタンが投影された光パタン照射領域１４および計測対象１２の光パタンが投影されていない光パタン非照射領域１６を同時に撮像できるように配置されており、位置に応じて周期的に輝度が変化する光パタンを、計測対象１２が設置される搬送ステージ５２の一部の領域へ投影する光パタン投影ステップと、光パタン照射領域１４を撮像すると共に、光パタン非照射領域１６を撮像する撮像ステップと、第１のラインセンサ３６が撮像した画像８２および第２のラインセンサ３８が撮像した画像８４から、背景情報を除去した画像８６に含まれる或る画素における光パタンの位相を、画像８６における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象１２の高さ情報を算出する算出ステップとを備えている。
【０１２９】
なお、上記三次元形状計測方法を、コンピュータの制御によりコンピュータ上で実行させることができる。
【０１３０】
〔実施の形態２〕
次に、本発明の別の実施形態について図１２および図１３に基づいて説明すると以下の通りである。本実施形態の三次元形状計測装置１０は、図１に示す三次元形状計測装置１０に比べて、撮像部３０内のラインカメラの構成が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１３１】
図１２は、本実施形態に係る三次元形状計測装置１０で用いられるカラー撮像カメラ（カラー撮像手段）が備える、赤、緑、青、および白黒の色の輝度を検出する各ラインセンサの配置について説明する図である。なお、図１２では、ラインセンサとして複数のＣＣＤ（Charge Coupled Device）を備えたカラーセンサとして、Ｋｏｄａｋ社のＫＬＩ−４１０４（ＣＳＬ８０００ＣＬ）を例示している。
【０１３２】
図１２のＧｒｅｅｎＬｉｎｅは緑色、ＲｅｄＬｉｎｅは赤色、ＢｌｕｅＬｉｎｅは青色、およびＢ／ＷＬｉｎｅは黒および白の輝度をそれぞれ検出するＣＣＤである。図１２の上側はカラー撮像カメラの主走査方向を示し、左端の点線が最初の有効画素を示している。右端の点線が最後の有効画素を示し、最初の有効画素の光学中心に白および黒の輝度を検出する撮像素子が割り当てられている。
【０１３３】
緑、赤、および青の各ラインとして示された四角形は、それぞれ、１番目、２番目、……４０８０番目の撮像素子を示しており、１つの四角形が１０μｍの撮像素子の面積を表している。白および黒のラインとして示された四角形は、それぞれ、１番目、２番目、……８０６０番目の撮像素子を示しており、１つの四角形が５μｍの撮像素子の面積を表している。このように、白および黒の撮像素子は、緑、赤、および青の撮像素子と比較して倍の精細度を持っている。
【０１３４】
緑および赤のラインの間隔、ならびに、赤および青のラインの間隔は８０μｍであり、それぞれのラインの光学中心からの間隔は９０μｍとなっている。青および黒／白のラインの間隔は、１１５μｍであり、それぞれのラインの光学中心からの間隔は１２２．５μｍになっている。
【０１３５】
本実施形態では、白黒の検出を行うラインセンサの検出結果を第１のラインセンサの輝度情報として、赤、青、および緑のラインセンサの検出結果を輝度に変換して、第２のラインセンサの輝度情報としている。
【０１３６】
図１３は、上記のような赤、青、緑、および白黒のＣＣＤを持つラインセンサを用いて各色の輝度を計測した結果のグラフを示す図である。図１３のグラフの横軸は波長［μｍ］を、縦軸は各色に対する感度特性［Ｖ／μＪ／ｃｍ２］を示している。本実施形態では、ＲＧＢをＹ（輝度）に変換することによって、赤、緑、および青の感度特性を、白／黒の感度特性に合わせている。
【０１３７】
図１３のグラフで、線６２は青の感度特性を、線６４は緑の感度特性を、線６６は赤の感度特性を、線６８は、赤、青、緑のフィルタを取り付ける前の感度特性を示している。線７０は、白および黒の感度特性を示している。
【０１３８】
このように、青の感度特性６２、緑の感度特性６４、および赤の感度特性６６に係数を掛けて加算することで白および黒の感度特性７０に近い特性を作り出し、赤、青、緑、および白黒のいずれのセンサを用いても、第１のラインセンサ３６または第２のラインセンサ３８として用いることができる。
【０１３９】
以上のように、赤、緑、および青の３つのラインセンサからの検出結果を変換して光パタンなしの画像として用い、Ｗ／Ｂのラインセンサの検出結果を光パタンありの画像として用いることで、同感度の２本のラインセンサを用いる場合と同様に検出を行うことができる。
【０１４０】
なお、上記の例では、Ｒ、Ｇ、Ｂの輝度の検出をＷ／Ｂの輝度に変換する場合について示したが、Ｒ、Ｇ、またはＢのいずれかの色、例えばＧのフィルタをＷ／Ｂの色を検出するラインセンサに付与し、そのラインセンサと元のＧのラインセンサからの検出結果を用いてもよい。
【０１４１】
〔実施の形態３〕
次に、本発明の別の実施形態について図１４に基づいて説明すると以下の通りである。図１４は、本実施形態に係る三次元形状計測装置１０の概略構成を示す図である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１４２】
図１４の三次元形状計測装置１０では、第１のラインセンサ３６および第２のラインセンサ３８が、それぞれ、単独のラインセンサを備えたカメラに備えられ、各カメラのラインセンサに対応して、撮像視線を計測面に対向させるミラー３４を備える点が上述の実施形態と異なり、その他の構成は同様である。
【０１４３】
図１４では、第１のラインセンサ３６を備える第１のカメラと、第２のラインセンサ３８を備える第２のカメラを、計測対象面と水平方向に向かい合わせ、両カメラの間に傾けたミラー３４を配置することで、第１のラインセンサ３６および第２のラインセンサ３８の撮像視線を計測対象面上の光パタン照射領域１４および光パタン非照射領域１６へ対向させている。
【０１４４】
上述のように、第１のカメラおよび第２のカメラの間にミラーを配置することによって、第１のラインセンサ３６および第２のラインセンサ３８の撮影視線を容易に制御することができるので、第１のカメラおよび第２のカメラのサイズや形状といった物理的制約に縛られることなく、各ラインセンサを容易に配置することができる。
【０１４５】
以上のように、本実施形態の三次元形状計測装置１０では、第１のラインセンサ３６を備えた第１のカメラと、第２のラインセンサ３８を備えた第２のカメラと、上記第１のラインセンサ３６の撮像視線を光パタン照射領域１４に対向させるように配置された第１のミラーと、第２のラインセンサ３８の撮像視線を光パタン非照射領域１６に対向させるように配置された第２のミラーとを備えている。
【０１４６】
また、第１のラインセンサ３６および第２のラインセンサ３８は、同一の撮像レンズ３２を通して光パタン照射領域１４および光パタン非照射領域１６を撮像している。
【０１４７】
上記の構成によれば、単独のラインセンサを備えた複数のカメラと、複数のミラー３４を組み合わせることによって、ラインセンサ３６・３８の撮影視線を容易に制御し、複数のカメラを用いて三次元形状計測装置１０を構成することができる。
【０１４８】
また、同一の撮像レンズ３２を通して撮像するので、第１のカメラおよび第２のカメラの配置を決定する際に、カメラを含む部材をコンパクトに形成することができ、ミラー３４を用いて撮像視線を設定できる効果が特に有効である。
【０１４９】
〔実施の形態４〕
上述の実施形態では、投光部２０および撮像部３０をそれぞれ１つずつ備えた三次元形状計測装置１０について説明したが、投光部２０および撮像部３０の組み合わせは、上述の例に限らない。例えば、図１５の（ａ）から（ｅ）のように、複数の組み合わせであってもよい。
【０１５０】
図１５は、視野を広くするために複数の投光部２０および撮像部３０を組み合わせた三次元形状計測装置１０の構成を示す概略図である。
【０１５１】
図１５（ａ）は、２つのラインセンサ３６および３８と、２つの投光部２０ａおよび２０ｂを用いて三次元形状計測装置１０を構成した例である。図１５（ｂ）は、図１５（ａ）の構成から１つのラインセンサ、１つの投光部を省略して三次元形状計測装置１０を構成した例である。この場合、副走査方向へ搬送ステージ５２を移動させるためのＸステージを追加する必要があるが、装置の構成は簡略化されるためコストを低減することができる。
【０１５２】
図１５（ｃ）は、２つのラインセンサおよび１つの投光部２０を用いて三次元形状計測装置１０を構成した例である。この場合、投光部２０の投光レンズ２４を広角化する必要があるため収差を補正する難易度が上昇し、輻輳でなくなるため精度がだしにくく精度を再検討する必要がある。
【０１５３】
図１５（ｄ）は１つの撮像部３０および１つの投光部２０を用いて三次元形状計測装置１０を構成した例である。この場合、計測を想定している基板の大きさが２５０ｍｍ×３３０ｍｍの、いわゆるＭサイズの基盤の走査を想定しており、解像度を大きくすることで、１カメラ、１プロジェクタの構成をとることができる。撮像部３０の撮像素子を高画素化、具体的には、例えばＸＹの縦横の長さを２０［μｍ］で１２５００［ピクセル］備えるような、２０μｍ×１２５００＝２５０ｍｍ程度の精細度が必要となり、撮像および投光する範囲が広くなるため、投光レンズ２４および撮像レンズ３２を広角化する必要がある。なお、両レンズを広角化することで計測面までの距離が大きくなり、三次元形状計測装置１０の剛性が低下するなどの問題が生じる可能性がある。
【０１５４】
図１５（ｅ）は、１つの撮像部３０および２つの投光部２０ａおよび２０ｂを用いて三次元形状計測装置１０を構成した例である。この場合には、投光部２０ａおよび２０ｂが投光する光パタンの接合部（点線の円の部分）で整合がとれなくなるという問題が生じる可能性がある。
【０１５５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１５６】
なお、本実施形態では、光源３１および投光レンズを用いて光パタンを投影する例について説明したが、これに限るものではない。プロジェクターのようなもので干渉縞を投影してもよいし、回折格子に応用してもよい。
【０１５７】
最後に、三次元形状計測装置１０の各ブロック、特に画像解析・駆動制御部４０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５８】
すなわち、三次元形状計測装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである三次元形状計測装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記三次元形状計測装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１５９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６０】
また、三次元形状計測装置１０を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１６１】
本発明の三次元形状計測装置１０は、第１および第２のラインセンサは、それぞれ、照射領域および非照射領域を、同時に撮像できるように配置されており、光パタンの位相を、画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出するため、背景情報を除去した画像を算出する際に、１回の撮像で必要な画像を撮像することができるので、コスト削減および撮像速度の高速化が可能な三次元形状計測装置を構成することができる。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施形態を示すものであり、三次元形状計測装置の要部構成を示す断面図および上面図図である。
【図２】上記三次元形状計測装置の物理的構成を示す概念図である。
【図３】上記三次元形状計測装置の要部構成を示す機能ブロック図である。
【図４】上記三次元形状計測装置で計測する計測対象の形状を示す図であって、（ａ）は上面図であり、同図（ｂ）は側面図である。
【図５】上記計測対象に光パタンを投影した場合に、上記計測対象に投影された光パタンの歪みを示す図であって、（ａ）は上面図であり、（ｂ）は基準面での輝度変動と凸部での輝度変動を示す波形図である。
【図６】投影される光パタンおよび投光部２０を説明する図で、（ａ）は投光される光パタンの上面図であり、（ｂ）は投光部２０の投光器部分の構成を示す断面図である。
【図７】計測対象に光パタンまたは均一照明を投光した様子を示す図であり、（ａ）は、光パタンを投影した状態の光パタン照射領域の一例を示しており、（ｂ）は、光パタンを投影せずに均一照明を投光した光パタン非照射領域の一例を示している。
【図８】上記三次元形状計測装置において、高さ一定の計測対象に関して、背景成分が除去されたライン画像の輝度値と、光パタン照射領域の画像を用いて算出される位相とのグラフを表す図である。
【図９】計測対象に光パタンを投影した画像と、光パタンを投影していない計測対象を撮影した画像とから、背景成分を除去した画像を作成した具体例を示す図である。
【図１０】（ａ）および（ｂ）は、投影された光パタンの縞およびラインセンサの間隔の関係について説明する概念図である。
【図１１】上記三次元形状計測装置において、三次元形状計測装置１０で三次元形状の計測処理の手順を示すフロー図である。
【図１２】別の実施形態を示す図であり、三次元形状計測装置で用いられるカラー撮像カメラが備える、赤、緑、青、および白黒の色の輝度を検出する各ラインセンサの配置について説明する図である。
【図１３】上記の三次元形状計測装置を用いて各色の輝度を計測した結果のグラフを示す図である。
【図１４】さらに別の実施形態を示す図であり、三次元形状計測装置の要部構成を示す断面図および上面図である。
【図１５】さらに別の実施形態を示す図であり、三次元形状計測装置の様々な構成を示す側面図である。
【図１６】従来技術を示すものであり、光パタンを投影する状態および投影しない状態を切り替える構成を示す側面図である。
【符号の説明】
【０１６３】
１０ 三次元形状計測装置
１２ 計測対象
１４ 光パタン照射領域
１６ 光パタン非照射領域
２０ 投光部（投影手段）
２２ 光源
２４ 投光レンズ
２６ パタン生成素子（光パタン投影手段）
２８ 光線分離部
３０ 撮像部
３１ 光源
３２ 撮像レンズ
３４ ミラー
３６ 第１のラインセンサ
３７ 第１の領域
３８ 第２のラインセンサ
３９ 第２の領域
４０ 画像解析・駆動制御部（処理手段）
４２ キャプチャボード
４４ コントローラ
４６ ＣＰＵ
４８ ＲＡＭ
５０ 搬送部
５２ 搬送ステージ
５４ サーボモータ
【技術分野】
【０００１】
本発明は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体に関するものである。
【背景技術】
【０００２】
画像解析によって対象物の三次元形状情報を得る手段として、所定の撮像視野内に存在する計測対象に光パタンを投影し、計測対象の三次元形状に応じて変形した光パタンの変形量を解析する方法がある。代表的な方法としては、光切断法や空間コード法、縞解析法などが挙げられる。これらは全て三角測量の原理に基づいているが、中でも、縞解析法に関しては空間縞解析や時間縞解析など多くの手法が提案されており、高い計測精度を得る手法として知られている。
【０００３】
ところで、通常これらの手法では、光パタンが投影された計測対象の読み取りにエリアセンサを用いているが、エリアセンサを用いると、計測対象が１撮像視野内に収まらないために、エリアセンサを縦及び横の双方に移動させながら１撮像視野ずつ複数回に分けて撮像する必要が度々生じ、撮像時間が長くなってしまうという問題が起こっている。
【０００４】
このような問題に対する解決策として、例えば特許文献１、２では、エリアセンサの代わりにラインセンサを用いた三次元形状計測方法が提案されている。特許文献１の計測方法では、光パタンを投影した計測対象をラインカメラで撮像し、続いて、計測対象を搬送することによって投影される光パタンの位相をずらし、位相のずれた光パタンが投影された計測対象をまた別のラインカメラで撮像し、といったことを複数回繰り返し、撮像した複数枚の画像に含まれる光パタンを時間縞解析法（位相シフト法）に基づいて解析することによって三次元形状を測定している。
【０００５】
また、特許文献２の三次元形状測定装置では、光パタンが投影された計測対象を、異なる位置に設置された２つのラインカメラによって別々に撮像し、撮像した２つの画像からステレオ法に基づいて三次元形状を測定している。
【０００６】
このような問題に対する解決策として、例えば特許文献１では、エリアセンサの代わりにラインセンサを用いた三次元形状計測方法が提案されている。特許文献１の計測方法では、光パタンを投影した計測対象をラインカメラで撮像し、続いて、計測対象を搬送することによって投影される光パタンの位相をずらし、位相のずれた光パタンが投影された計測対象をまた別のラインカメラで撮像し、といったことを複数回繰り返し、撮像した複数枚の画像に含まれる光パタンを時間縞解析法（位相シフト法）に基づいて解析することによって三次元形状を測定している。
【０００７】
また、特許文献２の三次元形状測定装置では、光パタンが投影された計測対象を、異なる位置に設置された２つのラインカメラによって別々に撮像し、撮像した２つの画像からステレオ法に基づいて三次元形状を測定している。
【特許文献１】特開２００２−２８６４３３号公報（２００２年１０月３日公開）
【特許文献２】特開２００４−１１７１８６号公報（２００４年４月１５日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の技術は、ラインセンサの配置に困難を要したり、撮像に長時間を要したりするという問題を抱えている。
【０００９】
例えば、特許文献１に記載の技術では、縞解析法として、計測対象に投影する光パタンの位相を変えながら、計測対象の同一の部分を同一の角度から複数回撮像する時間縞解析法を用いている。ここで、複数のラインセンサを用いて、直線方向に搬送される計測対象の同一部分を撮像するためには、全てのラインセンサを厳密に平行に配置しなければならない。その上、全てのラインセンサを、計測対象を載置する基準面から同一の距離になるように配置する必要もある。さらに、同じ角度から撮像するためには、全てのラインセンサを同じ姿勢で配置しなければならない。例えば特許文献１では４本のラインセンサを用いているが、これら４本のラインセンサを上記のように配置することは、実際には困難を要する。
【００１０】
以上のように、特許文献１に記載の技術は、ラインセンサの配置が困難になってしまうという問題を有している。さらに、複数のラインセンサが必要なことから、計測装置の大型化、高価格化、又はトラブル頻度の上昇などを招くおそれもある。
【００１１】
また、時間縞解析法を用いる際に、複数のラインセンサを用いる代わりに、１つのラインセンサで複数回計測対象を撮像する方法もあるが、この場合、並行処理ができないために、解析に必要な枚数分の画像を撮像するのに複数のラインセンサを用いる場合の数倍（例えば４枚の画像を撮像する場合は４倍など）の時間を要してしまう。よって、計測に要する時間が長くなってしまうという問題が生じる。
【００１２】
一方、特許文献２に記載の技術では、２つのラインセンサによって得られた２つの画像からステレオ法によって三次元形状を計測しているが、ステレオ法によって三次元形状を計測するためには、２つのラインセンサの精確な幾何学的配置を知っておく必要がある。それゆえ、この場合もまた２つのラインセンサの配置を精確に行う必要があり、ラインセンサの配置が困難になってしまうという問題が生じる。さらに、特許文献２の方法は、ステレオ法を用いることから、三次元形状の測定精度をラインセンサの画素以下の分解能にするのが困難であり、それゆえ測定精度が悪くなってしまうという問題も有している。
【００１３】
本発明は、上記課題に鑑みてなされたものであり、広い視野に渡る計測対象の三次元形状情報を迅速かつ容易に計測できる三次元形状計測装置及び三次元形状計測方法を実現することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る三次元形状計測装置は、上記課題を解決するために、ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、画像における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象の高さ情報を算出する空間縞解析法を用いている。
【００１５】
すなわち、本発明の三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサと、上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する処理手段とを備え、上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を、同時に撮像できるように配置されていることを特徴としている。
【００１６】
上記の構成によれば、三次元形状計測装置は、計測対象に投影された光パタンを画像として読み取るための第１のラインセンサと、光パタンが投影されていない計測対象の画像を読み取るための第２のラインセンサとを備えている。このように、エリアセンサでなくラインセンサを用いることによって、撮像領域をラインセンサの長手方向（副走査方向）に延長することができる。このため、ラインセンサに対して計測対象を副走査方向に相対的に移動させる回数を減らし（好ましくはゼロにし）つつ、高解像度で計測対象を撮像することができる。これにより、迅速かつ高精度に三次元形状情報を計測することができる。
【００１７】
ここで、三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の形状情報を算出する。この光パタンは、位置に応じて周期的に輝度が変化するものであり、計測対象の或る位置に投影された光パタンの位相が基準となる位相からどの程度ずれているかに基づいて、計測対象のその位置における高さを算出することができる。
【００１８】
ここで、計測対象の各部分に投影された光パタンの位相は、ラインセンサによって撮像された画像の輝度値から算出される。すなわち、光パタンの投影された計測対象の或る位置に対応する画素（以下「注目画素」という）の輝度値から、その輝度値に対応する位相を算出する。しかしながら、光パタンの位置（すなわち位相）と輝度値（すなわち変位）とが周期性を有する連続関数によって表される場合、ある１点の輝度値（変位）を与える位相は、同一周期内に最低でも２つ存在する。例えば、ｙ＝ｓｉｎθによって表される関数において、変位ｙ＝０を与える位相θは０及びπの２つ存在する。従って、注目画素の輝度値（変位）のみから、その輝度値に対応する位相を１つに決定することはできない。
【００１９】
この際、従来の技術では、時間縞解析法を用いることによって注目画素における位相を決定していた。つまり、注目画素の輝度値によってその輝度値に対応する位相を２つに絞り込んでおき、さらに、光パタンの位相をずらして撮像した別の画像における対応する画素の輝度値に基づいて、注目画素における光パタンの位相を１つの値に決定していた。このためには、計測対象の反射特性が厳密に一様であったとしても、計測対象の同一部分を撮像した画像が最低でも２つ必要となり、計測対象の同一部分に対して２回以上の延べ走査回数を必要とする。
【００２０】
これに対して、本発明に係る三次元形状計測装置は、ラインセンサにより読み取られた画像に含まれる或る画素における光パタンの位相を、その画素とその周辺の画素との輝度値に基づいて算出する画像解析部を備えている。すなわち、注目画素における光パタンの位相を、その画素の輝度値に基づいて絞り込むとともに、注目画素の周辺における画素の輝度値に基づいて画素における光パタンの位相を１つの値に特定する。
【００２１】
この原理について説明すると、周期性を有する連続関数において、或る１つの変位を与える位相は同一周期内に少なくとも２つ存在するが、その２つの位相の周辺における変位は、その２つの位相の間で異なっている。例えば、上記の例において変位ｙ＝０を与える位相θは０及びπの２つあるが、ここで、注目画素における位相が０の場合とπの場合とでは、周辺の画素の輝度値（変位）が異なることになる。もし、注目画素における位相が０の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍における画素の輝度値に基づいて、光パタンの位相を１つに決定することができるのである。
【００２２】
さらに、本発明の三次元形状計測装置では、光パタン投影手段が計測対象を設置する計側面の一部の領域に対して光パタンを投影している。第１のラインセンサは、上記光パタンが投影された光パタン照射領域を撮像する位置に配置され、第２のラインセンサは、上記光パタンが照射されていない光パタン非照射領域を撮像する位置に配置されている。
【００２３】
計測精度を向上させるために、光パタンが投影された画像と、光パタンが投影されていない画像とを撮像し、各画像を比較することによって背景情報を除去する方法が考えられる。この場合、単独のラインセンサで画像を撮像する構成では、光パタンが投影された画像および光パタンが投影されていない画像を撮像するため、複数回の撮像が必要となる。
【００２４】
また、複数回の撮像において撮像位置を正確に合わせるためにリニアスケーラなどを用いて精密な位置合わせを行う必要がある。また、複数回の撮像において、各回で撮像した画像を一時的に記憶し、計算に必要な画像が揃うまで記憶して置くための画像メモリが必要となる。また、光パタンの投影および非投影を切り替えるための可動式ミラーやハーフミラーなどの構造が必要となる（図１６）。
【００２５】
しかしながら、本発明の三次元形状計測装置では、上記光パタン照射領域および光パタン非照射領域は互いに重畳しないように配置され、第１のラインセンサおよび第２のラインセンサは同時に上記各領域を撮像することができるように配置されている。上記の構成によれば、上記第１および第２のラインセンサが撮像した画像から背景情報を除去した画像を算出する際に、計測対象を複数回移動させて全計測領域を撮像する必要がなくなり、１回の撮像で必要な画像を撮像することができるという効果を奏する。
【００２６】
これによって、撮像に要する時間が短縮され、光パタンの照射および非照射を切り替えるためのハーフミラーなど機構が不要となり、複数回の撮像において正確に位置合わせを行うために必要なリニアスケーラが不要となり、コスト削減および撮像速度の高速化が可能となる。
【００２７】
上記の三次元形状計測装置では、複数のラインセンサを含む撮像手段を備え、上記第１のラインセンサおよび第２のラインセンサとして、上記撮像手段のラインセンサのうち２つを用いることが好ましい。
【００２８】
また、上記の三次元形状計測装置では、赤、緑、および青の３つのラインセンサからの検出結果を変換して光パタンなしの画像として用い、Ｗ／Ｂのラインセンサの検出結果を光パタンありの画像として用いてもよい。
【００２９】
また、上記の三次元形状計測装置では、赤、緑、青、および白黒の色の輝度を検出するラインセンサを含むカラー撮像手段を備え、上記第１のラインセンサとして、白黒のラインセンサと、赤、緑、または青のいずれか１つの色のフィルタとを含むセンサを用い、上記第２のラインセンサとして、赤、緑、または青のうち上記フィルタと同じ色のラインセンサ用いてもよい。
【００３０】
上記の構成によれば、複数のラインセンサ含むカメラや、Ｒ，Ｇ，Ｂ、Ｗ／Ｂの各色の輝度値を検出するラインセンサを含むカラーカメラなどを用いて、本発明の三次元形状計測装置を構成することができる。
【００３１】
また、赤、緑、または青のいずれかの色、例えば緑のフィルタを白黒の色を検出するラインセンサに付与し、そのラインセンサと元の緑のラインセンサからの検出結果を用いてもよい。上記の様に構成すれば、同感度の２本のラインセンサを用いる場合と同様に検出を行うことができる。
【００３２】
さらに、カラー画像を同時に取得することができるので、二次元検査を同時に行うことができる。
【００３３】
また、上記の三次元形状計測装置では、第１のラインセンサを備えた第１の撮像手段と、第２のラインセンサを備えた第２の撮像手段と、上記第１のラインセンサの撮像視線を上記光パタン照射領域に対向させるように配置された第１のミラーと、上記第２のラインセンサの撮像視線を上記光パタン非照射領域に対向させるように配置された第２のミラーとを備えてもよい。
【００３４】
上記の構成によれば、単独のラインセンサを備えた複数のカメラと、複数のミラーを組み合わせることによって、上記ラインセンサの撮影視線を容易に制御し、複数のカメラを用いて本発明の三次元形状計測装置を構成することができる。
【００３５】
なお、上記第１のラインセンサおよび第２のラインセンサは、同一のレンズを通して上記光パタン照射領域および光パタン非照射領域を撮像する構成としてもよい。
【００３６】
上記の構成によれば、同一のレンズを通して撮像するので、第１の撮像手段および第２の撮像手段の配置を決定する際に、撮像手段を含む部材をコンパクトに形成することができ、ミラーを用いて撮像視線を設定できる効果が特に有効である。
【００３７】
上記の三次元形状計測装置では、上記光パタン照射領域に対して光パタンを形成し、上記光パタン非照射領域に対して均一照明を照射するための透過部および遮光部を含むパタン形成素子を備えてもよい。
【００３８】
また、上記の三次元形状計測装置では、光パタン投影手段によって投影される光パタンと同等の光量の均一照明を上記光パタン非照射領域に対して照射する均一照明投射手段をさらに備えてもよい。
【００３９】
上記の構成によれば、光パタンを計測面上に形成するためのパタン形成素子を用いて上記光パタン照射領域および光パタン非照射領域を形成したり、光パタンと同等の光量の均一照明を照射したりすることによって、光パタン照射領域および光パタン非照射領域の光量を同等に保つことができるので、背景情報を除去した画像を算出する精度を向上させることができる。
【００４０】
本発明の三次元形状計測方法は、上記の問題を解決するために、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置における三次元形状計測方法であって、上記三次元形状計測装置は、光パタン投影手段と、第１のラインセンサと、第２のラインセンサとを備え、上記第１および第２のラインセンサは、それぞれ、上記計測対象の光パタンが投影された光パタン照射領域および上記計測対象の光パタンが投影されていない光パタン非照射領域を同時に撮像できるように配置されており、上記光パタン投影手段が位置に応じて周期的に輝度が変化する光パタンを上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影ステップと、上記第１のラインセンサが上記光パタン照射領域を撮像すると共に、上記第２のラインセンサが上記光パタン非照射領域を撮像する撮像ステップと、上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する算出ステップとを備えることを特徴としている。
【００４１】
上記の構成によれば、上述の三次元形状計測装置と同様の効果を奏する三次元形状計測方法を実現することができる。
【００４２】
なお、上記三次元形状計測方法における算出ステップを、コンピュータ上で実行させることができる。
【発明の効果】
【００４３】
本発明に係る三次元形状計測装置は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサと、上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する処理手段とを備え、上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を、同時に撮像できるように配置されている。
【００４４】
これによって、ラインセンサに対して計測対象を主走査方向に相対的に移動させる回数を減らしつつ、高解像度で計測対象を撮像することができる。さらに、背景情報を除去した画像を算出する際に、１回の撮像で必要な光パタン照射領域および光パタン非照射領域の画像を撮像することができるので、コスト削減および撮像速度の高速化が可能な三次元形状計測装置を構成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４５】
〔実施の形態１〕
本発明の一実施形態について図１から図１１に基づいて説明すると以下の通りである。
【００４６】
図１は、本実施形態における三次元形状計測装置１０の概略構成を示す図で、図１（ａ）は断面図、図１（ｂ）は上面図である。図２は、三次元形状計測装置１０の物理的構成を示す概念図である。図３は、三次元形状計測装置１０の要部構成を示す機能ブロック図である。図１から図３に示すように、三次元形状計測装置１０は、投光部（投影手段）２０、撮像部３０、画像解析・駆動制御部（処理部）４０、および、搬送部５０を備えている。
【００４７】
投光部２０は、計測対象１２の表面に光パタンを投影するためのものである。また、投光部２０は、図１に示すように、ハロゲンランプやキセノンランプなどの光源２２、マクロレンズなどの投光レンズ２４、光源２２から照射された光にパタンを持たせるためのパタン生成素子２６、および、光線を透過または遮光することで光パタンを照射する光パタン照射領域１４および光パタン非照射領域１６の境界を明確にするための光線分離部２８を備えている。
【００４８】
投影する光パタンとしては、正弦波、三角波、又は矩形波などの、位置に応じて周期性を有し、かつ位相を特定できるパタンであれば何れのものでもよいが、本実施形態では、計測分解能の向上に寄与する正弦波状の光パタンを用いるものとする。また、パタン生成素子２６としては、ガラス又はフィルムを加工したものなどを用いることができる。なお、パタン生成素子２６は、液晶などを用いて動的にパタンを生成してもよい。
【００４９】
撮像部３０は、上述のように、光パタンが投影された計測対象１２を読み取り、その画像を取得するものである。また、撮像部３０は、図１に示すように、第１のラインセンサ３６と、第２のラインセンサ３８と、マクロレンズなどの撮像レンズ３２とを備えている。
【００５０】
第１のラインセンサ３６は光パタン照射領域１４を撮像できるように、第２のラインセンサ３８は光パタン非照射領域１６を撮像できる位置に配置されている。また、光パタン照射領域１４および光パタン非照射領域１６は、第１のラインセンサ３６および第２のラインセンサ３８の撮像範囲を考慮して、各領域を重畳しないよう並べて配置している。
【００５１】
搬送部５０は、図２の矢印の方向（以下、主走査方向）、および該主走査方向と垂直な方向（以下「副走査方向」という）に計測対象１２を水平移動させるためのものである。また、搬送部５０は、図３に示すように、計測対象１２を載置するための搬送ステージ５２、搬送ステージ５２を駆動するサーボモータ５４などを備えている。
【００５２】
搬送部５０により計測対象１２を主走査方向に移動させつつ撮像部３０により逐次撮像することによって、計測対象１２全体の三次元形状を計測することが可能になる。また、計測対象１２が撮像部３０の撮像範囲よりも副走査方向に広い場合には、搬送部５０により計測対象１２を副走査方向に移動させて撮像部３０により逐次撮像すればよい。
【００５３】
画像解析・駆動制御部４０は、撮像部３０によって撮像された画像に含まれる光パタンを縞解析法によって解析し、計測対象１２の三次元形状を算出すると共に、コントローラ４４に各種指示を行うものである。また、画像解析・駆動制御部４０は、図３に示すように、撮像部３０からの画像をデジタルデータで取り込むキャプチャボード４２、各種の制御を行うＣＰＵ４６、および各種の情報を記憶するＲＡＭ４８を備えている。
【００５４】
なお、本実施形態では、搬送部５０は、計測対象１２を移動させる構成としたが、計測対象１２を移動させる代わりに、投光部２０および撮像部３０を主走査方向に、さらには副走査方向に移動させる構成としてもよい。すなわち、搬送部５０は、計測対象１２を投光部２０および撮像部３０に対して相対的に移動させるものであればよい。
【００５５】
このような三次元形状計測装置１０に備わる各部の構成について概略を説明する。本実施形態の三次元形状計測装置１０では、撮像部３０は、その副走査方向の軸が搬送ステージ５２の計測面と平行になるように設置されている。
【００５６】
撮像部３０の光軸と搬送ステージ５２の計測面とを平行にすることにより、計測対象１２の上面を均一な倍率で撮像することができる。また、撮像部３０の光軸（副走査方向の軸）と主走査方向とを垂直にしているので、搬送しながら撮影した複数のライン画像からなる２次元画像には、直角部分が直角部分として撮像される。
【００５７】
また、投光部２０は、その光軸が撮像部３０の光軸に対して所定の角度を有するように設置されている。これにより、計測対象１２に投影した光パタンのずれに基づいて、計測対象１２の高さを算出することができる。なお、撮像部３０および投光部２０の幾何学的配置は設置時にあらかじめ計測しておいてもよいし、校正により算出してもよい。
【００５８】
このような三次元形状計測装置１０の動作について説明すると以下の通りである。まず、画像解析・駆動制御部４０からコントローラ４４を介しての命令によって、搬送部５０のサーボモータ５４が搬送ステージ５２を初期設定位置にセットする。この初期設定位置は、撮像部３０が計測対象１２を撮像する際の主走査方向の撮像開始位置を決定するものであり、撮像部３０の撮像領域が、搬送部５０の搬送ステージ５２に載せられた計測対象１２の主走査方向における端部に来るような位置であることが好ましい。
【００５９】
そして、投光部２０が計測対象１２に光パタンを投影する。撮像部３０は、光パタンが投影された計測対象１２を走査し、この計測対象１２の画像を取得する。撮像部３０によって取得された画像は、画像解析・駆動制御部４０に送信され、画像解析・駆動制御部４０のキャプチャボード４２によってデジタルデータに変換される。そして、画像解析・駆動制御部４０のＣＰＵ４６が光パタンを解析することによって、計測対象１２の高さ情報が算出される。
【００６０】
ここで、本実施形態の三次元形状計測装置１０では、画像中の光パタンを解析する際に、空間縞解析法を用いる構成となっている。これにより、撮像部３０に備わった１本のラインセンサが１回走査して取得した画像から、計測対象１２の、撮像部３０の走査領域（撮像領域）内での各位置における高さを求めることができる。
【００６１】
そして、搬送部５０は、画像解析・駆動制御部４０の制御によって、計測対象１２を主走査方向に所定の距離だけ移動させる。これにより、計測対象１２における撮像部３０の撮像領域と投光部２０によって投影される光パタンとが、所定の距離だけ主走査方向にずれることになる。この後、再び撮像部３０が計測対象１２を走査し、画像を取得する。ここで得られた画像には、計測対象１２の、先ほどの走査領域よりも所定の距離だけ主走査方向にずれた領域が含まれることになる。得られた画像は、同様に画像解析・駆動制御部４０に送信され、新しい走査領域内での各位置における三次元情報が求められる。
【００６２】
このように、搬送部５０が再び計測対象１２を所定の距離だけ移動させ、撮像部３０が計測対象１２を撮像し、画像解析・駆動制御部４０がライン画像を解析する処理を繰り返すことによって、計測対象１２の全体の三次元形状が計測される。
【００６３】
なお、計測対象１２の三次元形状情報のうち、撮像部３０の副走査方向の長さおよび主走査方向の長さ情報については、公知の方法によって計測する。具体的に説明すると、計測対象１２の副走査方向の長さ情報は、ライン画像に撮像された計測対象の副走査方向の長さに基づいて算出する。一方、計測対象１２の主走査方向の長さ情報は、搬送部５０による移動速度に基づいて算出する。このように、計測対象１２の副走査方向および主走査方向の長さ情報と、高さ情報とを求めることによって、計測対象１２の三次元形状情報を得ることができる。また、副走査方向の長さは、キャリブレーション時に既知間隔のワークを撮像し、上記箇所から所望の解像度になるように撮像部の高さおよびピントを調節してもよい。上記調節によって、撮像視野より小さい未知のサイズのワークが搬送された場合でも、サイズを算出することが可能となる。
【００６４】
なお、上記の所定の距離とは、撮像部３０の撮像領域を撮像する解像度と同じであることが好ましい。これにより、上記の工程によって計測対象１２の全領域を漏らすことなく迅速に計測することができる。
【００６５】
また、所定の距離ごとの撮像は、搬送ステージ５２を一定速度で移動させつつ、撮像部３０に一定時間ごとに撮像させることによって実現することができる。この場合、コントローラ４４が、キャプチャボード４２を介して、例えば数ＫＨｚオーダーの一定時間ごとに撮像駆動信号を撮像部３０に送信する。撮像部３０は、この駆動信号をトリガとして光パタンの投影された計測対象１２の画像を取得する。一方、コントローラ４４は、同様の一定時間ごとの搬送駆動信号を搬送部５０にも送信する。搬送部５０のサーボモータ５４は、この搬送駆動信号をトリガとして搬送ステージ５２を一定速度で駆動する。これにより、所定の領域ずつ計測対象１２を撮像することができる。
【００６６】
なお、従来は、図１６に示すように、光源からの光を集光レンズで集光した光線を、可動式ミラーが折りたたまれて除かれた状態で、ミラー、パタン投影チャート（パタン生成素子）、ハーフミラーを介して、計測対象に光パタンを投影するための光線投射経路と、可動式ミラー、ミラー、ハーフミラーを介して光パタンの存在しない均一照明を計測対象に投影するための光線投射経路とを切り替えていた。
【００６７】
本実施形態では、図１のように、光源２２から照射された光線を、パタン生成素子２６に照射することで光パタンを形成する光線を生成し、光線分離部２８を介することで、光パタン照射領域１４および光パタン非照射領域１６に光線を分離して計測対象１２および計測面に照射している。第１のラインセンサ３６および第２のラインセンサ３８は、光パタン照射領域１４および光パタン非照射領域１６を、それぞれ同時に撮像できる位置に配置されているので、１回の撮像で光パタンを照射した画像および光パタンを照射しない画像を撮影することができる。
【００６８】
これによって、複数回の撮像において撮像位置を正確に合わせるためにリニアスケーラなどを用いて精密な位置合わせを行う必要がなくなる。また、複数回の撮像において各回で撮像した画像を一時的に記憶して計算に必要な画像が揃うまで記憶して置くための画像メモリが不要となる。さらに、光パタンの投影および非投影を切り替えるための可動式ミラーやハーフミラーなどの構造が不要となる。これによって、従来の光パタン生成素子を用いたまま、計測時間を短縮し、各構造を構成するためのコスト削減を実現することができる。
【００６９】
なお、光線分離部２８を用いて光パタン照射領域１４および光パタン非照射領域１６に投射する光線を分離する代わりに、パタン生成素子２６上に形成されるチャートの構成を変更することで、上記光パタン照射領域に対して光パタンを形成し、上記光パタン非照射領域に対して均一照明を照射するための透過部および遮光部を含む構成としてもよい。または、投光部２０によって投影される光パタンと同等の光量の均一照明を、上記光パタン非照射領域に対して照射する均一照明投射部を備えてもよい。
【００７０】
上記の構成によれば、光線分離部２８を用いて光パタン照射領域１４および光パタン非照射領域１６に投射する光線を分離する場合と同様に、計測時間の短縮や各構造を構成するためのコスト削減を実現することができる。
【００７１】
次に、画像解析・駆動制御部４０における画像解析の詳細について説明する。まず、本実施形態の画像解析手法の原理について説明する。
【００７２】
画像解析・駆動制御部４０は、光パタンの投影された計測対象１２のライン画像を空間縞解析法に基づいて解析する。空間縞解析法とは、三角測量の原理に基づくものである。以下では、三角測量の原理、縞解析法、空間縞解析法について順番に説明する。
【００７３】
まず、三角測量の原理について説明する。説明を簡単にするため、基準面と垂直な光軸を有する撮像ユニットＣｃによって基準面Ｐ０からの高さがｈの平面Ｐｈを観測する場合を考える。また、投光部Ｃｐは、基準面Ｐ０から見て撮像ユニットＣｃと同じ高さに配置され、光パタンを基準面Ｐ０上の点Ｏの位置に向けて投影するものとする。
【００７４】
基準面Ｐ０と平行で、高さｈだけ離れた平面Ｐｈを観測する場合、点Ｏに向かう光パタンは点Ｐと交わる。このとき、撮像ユニットＣｃから見ると、基準面Ｐ０へ向けて投影された光パタンは、本来観測されるべき位置Ｏ（すなわち位置Ｑ）から距離ＰＱだけずれた位置Ｐに観測される。この位置ずれＰＱを位相差という。
【００７５】
位相差を算出することができれば、次の式（１）
【００７６】
【数１】
【００７７】
によって高さｈを算出することができる。
【００７８】
次に、縞解析法について説明する。本実施形態では、計測対象１２に投影する光パタンとして、正弦波状の光パタンを用いる。正弦波状の光パタンとは、輝度が正弦関数によって表されるグラデーションを有するパタンのことをいう。言い換えれば、位置と輝度との関係が正弦関数によって表される光パタンのことを正弦波状の光パタンという。
【００７９】
ここで、計測対象１２に照射する光パタンについて、図４および図５を参照して説明する。図４は、計測対象１２の形状を示す図で、同図（ａ）は上面図であり、同図（ｂ）は側面図である。図５は、計測対象１２に光パタンを投影した場合に、計測対象１２に投影された光パタンの歪みを示す図で、同図（ａ）は上面図であり、同図（ｂ）は基準面での輝度変動と凸部での輝度変動を示す波形図である。
【００８０】
光パタンを、図４（ａ）、図４（ｂ）に示すような計測対象１２に投影した場合、投影される光パタンを上面から観測すると図５（ａ）のようになる。すなわち、斜め方向から投影された光パタンは、高さを有する凸部において歪みを生じることになる。このように光パタンが投影された計測対象１２を撮像部３０によって走査すると、走査位置と輝度との関係は図５（ｂ）のようになる。
【００８１】
図５（ｂ）に示すように、凸部のない基準面に投影された光パタンは、常に一定の周期で輝度が変化する。これに対して、凸部に投影された光パタンは凸部の傾斜によって輝度の周期が変化し、その結果、基準面に投影された光パタンに対して位相のずれを生じることになる。よって、実際に計測対象１２に光パタンを投影して撮像した画像に含まれる或る位置の画素における光パタンの位相と、基準面に光パタンを投影した場合の同画素の位相（基準位相）との差を求めれば、その画素に対応する位置における計測対象１２の高さを三角測量の原理に基づいて求めることができる。
【００８２】
上記の位相差を算出するにあたって、基準位相は、基準面に光パタンを投影して撮像することなどによって予め求めておくことができる。一方、実際に計測対象に光パタンを投影して撮像した画像に含まれる各位置の画素における光パタンの位相の求め方には、大別して２通りある。空間縞解析法と時間縞解析法との相違点は、この位相の求め方にある。
【００８３】
図５（ｂ）に示すように、正弦関数では、ある一つの変位を与える位相が一周期内に２つ存在する。例えば、ｙ＝ｓｉｎθによって表される関数において、変位ｙ＝０を与える位相θは０及びπの２つ存在する。また、変位ｙ＝１／２を与える位相θはπ／６及び５π／６の２つ存在する。このような理由から、撮像した画像において、単一の画素の輝度値（正弦関数の変位に相当）のみから、その画素における光パタンの位相を求めることはできない。
【００８４】
ここで、従来用いられてきた手法である時間縞解析法では、所定の量だけ位相をずらした光パタンを計測対象に投影して再び計測対象を撮像し、２つの画像を解析することによって位相を１つに決定する。つまり、初めに撮像した画像における或る画素の輝度を基に、その画素における光パタンの位相を２つに絞り込み、次に撮像した画像におけるその画素の輝度を基に、光パタンの位相を１つに特定する。従って、時間縞解析法を用いる場合は、計測対象の反射特性が厳密に一様であったとしても、計測対象を最低でも２回撮像しなければならないことが分かる。
【００８５】
一方、空間縞解析法では、位相を求める画素（以下「注目画素」という）及びその周辺の画素の輝度に基づいて、注目画素における位相を算出する。例えば、上記の例において変位ｙ＝０を与える位相θは０及びπの２つあるが、ここで、注目画素における位相が０の場合とπの場合とでは、周辺の画素の輝度が異なることになる。もし、注目画素における位相が０の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍の画素に基づいて、光パタンの位相を１つに決定することができる。このように、注目画素の近傍に存在する画素の輝度値に基づいて、注目画素における位相を決定するのが空間縞解析法の特徴である。
【００８６】
本実施形態の三次元形状計測装置１０に用いられる空間縞解析法の具体的な処理工程について以下に詳述するが、本発明はこれに限定されず、上述した縞解析法の原理に基づいたものであればどのようなものであってもよい。
【００８７】
本実施形態では、撮像したライン画像から、光パタンを９０°移相した移相光パタンを仮想的に作成する。ここで、投影する光パタンを、次の式（２）
【００８８】
【数２】
【００８９】
とすると、この光パタンを９０°移相した移相光パタンは、次の式（３）
【００９０】
【数３】
【００９１】
と表される。従って、位置ｘにおける画素の位相φ（ｘ）は、次の式（４）
【００９２】
【数４】
【００９３】
で求めることができる。
【００９４】
ここで、Ｉ（ｘ）の値は、副走査方向の位置ｘにおける画素の輝度値である。一方、Ｉ^（ｘ）（以下、ハットのついたＩ（ｘ）を便宜的にこのように記述する）の値の算出には、Ｈｉｌｂｅｒｔ変換を用いる。すなわち、移相光パタンによる位置ｘにおける輝度値Ｉ^（ｘ）は、次の式（５）
【００９５】
【数５】
【００９６】
で表される。ここで、取得できる輝度データは画素ごとのデータ、つまり離散的なものであるため、上記の式（５）を次の式（６）
【００９７】
【数６】
【００９８】
のように近似する。この式（６）によって、Ｉ^（ｘ）の値を求めることができる。
【００９９】
以上より、輝度値Ｉ（ｘ）を取得すれば、上記の式（６）からＩ^（ｘ）の値を求め、上記の式（４）から位相φ（ｘ）を求めることができる。そして、求めた位相φ（ｘ）と基準面における位相φ０（ｘ）との位相差Δφ（ｘ）により、上述した三角測量の原理に基づいて、位置ｘにおける高さｚを算出することができる。
【０１００】
高さｚは、具体的には、基準面からの距離として算出され、次の式（７）
【０１０１】
【数７】
【０１０２】
によって求めることができる。なお、上記の式（７）において、Ａ（ｘ，ｚ）及びＢ（ｘ，ｚ）は、パタン周期やカメラから基準面までの距離、パタンの投影角度などの幾何学的配置に依存して画素ごとに決まる関数である。
【０１０３】
次に、図６を用いて、投光部２０の構成について詳細を説明する。図６は、投影される光パタンおよび投光部２０を説明する図で、図６（ａ）は投光される光パタンの上面図であり、図６（ｂ）は投光部２０の投光器部分の構成を示す断面図である。投光部２０は光源（ランプユニット）２２、投影レンズ２４ａ、パタン生成素子（チャート）２６、コリメータレンズ、インテグレータレンズ、およびコンデンサレンズなどで構成された集光レンズ群２４ｂを備えている。
【０１０４】
光源２２から投影された光線は、各レンズを経由することで光線量や波長を調整された後にパタン生成素子２６に照射される。照射された光線によって、パタン生成素子２６上に形成された縞模様が投影レンズ２４ａによって拡大され、像が反転されて計測面に縞状の光パタンが形成される。
【０１０５】
なお、ここでは、パタン生成素子２６として、右半分に光パタンを生成するためのチャートが、左半分に均一照明を透過するための透過領域が形成されている例を示したが、これに限るものではない。光線分離部２８を用いて光線を光パタン照射領域１４に照射するための光線および光パタン非照射領域１６に照射するための光線に分離する構成であってもよいし、投影される光パタンと同等の光量の均一照明を上記光パタン非照射領域に対して照射する別の均一照明投射部を備えてもよい。
【０１０６】
図７（ａ）は、光パタンを投影した状態の光パタン照射領域１４の一例を示しており、図７（ｂ）は、光パタンを投影せずに均一照明を投光した光パタン非照射領域１６の一例を示している。同図（ｂ）に示すように、計測対象１２に一様な輝度の光を照射しても、撮像した画像にはムラ（斑）が生じていることが理解できる。これは、計測対象１２の各部位における反射特性の相違に起因する。上記ムラは、同図（ａ）に示すように、光パタンを投影した状態の光パタン照射領域１４の画像にも生じることになり、上記光パタン照射領域１４の画像を用いて算出される位相に誤差が生じることになる。
【０１０７】
図８は、高さ一定の計測対象１２に関して、背景成分が除去されたライン画像の輝度値と、光パタン照射領域１４の画像を用いて算出される位相とを示している。図示において、左側の縦軸は、背景除去後の信号量であり、右側の縦軸は、位相（rad）であり、かつ、横軸は、光パタン照射領域１４の画像に含まれる画素の副走査方向の位置ｘである。
【０１０８】
図８を参照すると、背景成分が除去された光パタン照射領域１４の画像の輝度値は、光パタンと同様の正弦関数となり、光パタン照射領域１４の画像を用いて算出される位相は、増加率が一定となっており、上記ムラが除去されていることが理解できる。したがって、計測対象１２の各部位における反射特性の相違に起因する誤差を軽減できるようになる。
【０１０９】
図９は、計測対象１２に光パタンを投影した画像と、光パタンを投影していない計測対象１２を撮影した画像とから、背景成分を除去した画像を作成した具体例を示す図である。画像８２は計測対象１２に光パタンを投影した画像、画像８４は光パタンを投影していない計測対象１２を撮影した画像、画像８６は画像８２および画像８４から背景成分を除去して正規化した画像である。
【０１１０】
画像８６からも分かるように、画像８２および画像８４を用いて背景成分を除去することで、光パタンがより明確に読み取ることができる。これによって、画像解析・駆動制御部４０において、さらに正確な高さ計測を行うことができる。
【０１１１】
図１０は、投影された光パタンの縞およびラインセンサの間隔の関係について説明する概念図である。図１０（ａ）では、第１のラインセンサ３６および第２のラインセンサ３８が、撮像レンズ３２を通して計測面に対向するように配置されている。領域３７ａおよび領域３９ｂは、ラインセンサ３６およびラインセンサ３８の撮像領域である。このとき、ラインセンサ３６およびラインセンサ３８の間隔をＮ［μｍ］、領域３７ａおよび領域３９ｂの間隔をＬ［μｍ］としている。
【０１１２】
また、図１０（ｂ）では、光パタンの縞と縞との間の距離が２００［μｍ］となっている。しかしながら、この２００［μｍ］の距離は光パタンが理想的に投影された場合に計測される距離であり、実際には縞模様が滲み、ボケによって領域Ｒに染み出している。このため、光パタン非照射領域１６を第２のラインセンサ３８で撮像する場合には、ボケによって染み出す範囲ＲよりもＬだけ離れた領域に撮像場所を設定する必要がある。
【０１１３】
この場合、ライン間隔Ｌは、撮像部の副走査方向の解像度／セルピッチ×ラインセンサ間隔Ｎによって求めることができる（単位はμｍ）。
【０１１４】
次に、図１１を用いて、本実施形態の三次元形状計測装置１０で実際に三次元形状の計測を行う際の処理の手順について説明する。図１１は、三次元形状計測装置１０で三次元形状の計測処理の手順を示すフロー図である。
【０１１５】
計測処理が開始されると、まず、Ｓ１において、均一照明が照射された光パタン非照射領域１６を第２のラインセンサ３８が撮像するとともに、Ｓ２において、正弦波照明によって光パタンが投影された光パタン照射領域１４の撮像が第１のラインセンサ３６によって行われる。上記Ｓ１およびＳ２の処理は同時に行われ、上記各ラインセンサによる撮像画像が、画像解析・駆動制御部４０のキャプチャボード４２に送信される。
【０１１６】
次に、Ｓ３において、上記各ラインセンサによる撮像画像から、背景情報の除去を行う。具体例をあげると、例えば、図９における画像８２から画像８４を除算することによって画像８６を求める。なお、その他の正規化方法を用いて背景情報を除去してもよい。上記のＳ１からＳ３の処理が、画像から縞解析を行うために前処理に当たる。
【０１１７】
なお、キャプチャボード４２では、上記各ラインセンサによる撮影画像をリアルタイムで処理し、計測対象１２の高さの計算を行う。具体的には、以下のＳ４からＳ７の処理を行うことで計測対象１２の高さを求める。
【０１１８】
次に、Ｓ４において、縞解析を行って光パタンの位相がどれだけずれているかを計算する。具体例には、式５から式７で示したように、Ｈｉｌｂｅｒｔ変換法を用いて縞解析を行う。さらに、Ｓ５において、ＰＬＬ（Phase Locked Loop）などを用いて位相ノイズの除去および位相接続を行う。上記のＳ４およびＳ５の処理が、画像から位相を算出する処理に当たる。
【０１１９】
その後、Ｓ６において、照射した光パタンの位相と、計測する前の校正（キャリブレーション）で前もって取得したパラメータや位相から三次元座標との対応付けを行い、Ｓ７において、計測対象と三次元座標との交点座標、すなわち、計測する三次元形状の高さを求めて（測距）、三次元形状の計測処理を終了する。
【０１２０】
以上のように、本実施形態の三次元形状計測装置１０は、計測対象１２に投影された光パタンを解析することによって、計測対象１２の三次元形状を計測する三次元形状計測装置１０であって、位置に応じて周期的に輝度が変化する光パタンを、計測対象１２が計測される搬送ステージ５２上の一部の領域へ投影する投光部２０と、計測対象１２の光パタンが投影された光パタン照射領域１４を撮像する第１のラインセンサ３６と、計測対象１２の光パタンが投影されていない光パタン非照射領域１６を撮像する第２のラインセンサ３８と、第１のラインセンサ３６が撮像した画像８２および第２のラインセンサ３８が撮像した画像８４から、背景情報を除去した画像８６に含まれるある画素における光パタンの位相を、画像８６における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象１２の高さ情報を算出する画像解析・駆動制御部４０とを備え、第１のラインセンサ３６および第２のラインセンサ３８は、それぞれ、光パタン照射領域１４および光パタン非照射領域１６を、同時に撮像できるように配置されている。
【０１２１】
上記の構成によれば、三次元形状計測装置１０は、計測対象１２投影された光パタンを画像８２として読み取るための第１のラインセンサ３６と、光パタンが投影されていない計測対象１２の画像８４を読み取るための第２のラインセンサ３８とをそなえている。このように、エリアセンサでなくラインセンサを用いることによって、撮像領域をラインセンサの長手方向に延長している。このため、ラインセンサに対して計測対象１２を副走査方向に相対的に移動させる回数を減らしつつ、高解像度で計測対象１２を撮像している。これにより、迅速かつ高精度に三次元形状情報を計測している。
【０１２２】
さらに、本実施形態の三次元形状計測装置１０では、投光部２０が計測対象１２を設置する搬送ステージ５２の一部の領域に対して光パタンを投影している。第１のラインセンサ３６は、光パタンが投影された光パタン照射領域１４を撮像する位置に配置され、第２のラインセンサ３８は、光パタンが照射されていない光パタン非照射領域１６を撮像する位置に配置されている。
【０１２３】
これによって、撮像に要する時間が短縮され、光パタンの照射および非照射を切り替えるためのハーフミラーなど機構が不要となり、複数回の撮像において正確に位置合わせを行うために必要なリニアスケーラが不要となり、コスト削減および撮像速度の高速化が可能となっている。
【０１２４】
また、本実施形態の三次元形状計測装置１０では、複数のラインセンサを含む撮像部３０を備え、第１のラインセンサ３６および第２のラインセンサ３８として、撮像部３０のラインセンサのうち２つを用いている。上記の構成では、複数のラインセンサを含むカメラを用いて、本実施形態の三次元形状計測装置１０を構成している。
【０１２５】
また、本実施形態の三次元形状計測装置１０では、光パタン照射領域１４に対して光パタンを形成するための光線を透過し、光パタン非照射領域１６に対して均一照明を透過する光線分離部２８を備えている。
【０１２６】
上記の構成によれば、パタン生成素子２６に投射されるものと同一の光源を用いて、光パタン照射領域１４用の光線および光パタン非照射領域１６用の光線を透過または遮光することによって光線を分離することによって、光パタン照射領域１４および光パタン非照射領域１６の光量を同等に保ち、背景情報を除去した画像を算出する精度を向上させている。
【０１２７】
なお、本実施形態では、光線分離部２８を用いて光パタン照射領域１４および光パタン非照射領域１６の光量を同等に保っているが、光パタンを計測面上に形成するためのチャートなどのパタン形成素子を用いて上記光パタン照射領域および光パタン非照射領域を形成することによって、光パタン照射領域および光パタン非照射領域の光量を同等に保つ構成としてもよい。
【０１２８】
本実施形態の三次元形状計測方法では、計測対象１２に投影された光パタンを解析することによって、計測対象１２の三次元形状を計測する三次元形状計測装置１０における三次元形状計測方法であって、三次元形状計測装置１０は、投光部２０と、第１のラインセンサ３６と、第２のラインセンサ３８とを備え、第１のラインセンサ３６および第２のラインセンサ３８は、それぞれ、計測対象１２の光パタンが投影された光パタン照射領域１４および計測対象１２の光パタンが投影されていない光パタン非照射領域１６を同時に撮像できるように配置されており、位置に応じて周期的に輝度が変化する光パタンを、計測対象１２が設置される搬送ステージ５２の一部の領域へ投影する光パタン投影ステップと、光パタン照射領域１４を撮像すると共に、光パタン非照射領域１６を撮像する撮像ステップと、第１のラインセンサ３６が撮像した画像８２および第２のラインセンサ３８が撮像した画像８４から、背景情報を除去した画像８６に含まれる或る画素における光パタンの位相を、画像８６における画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて計測対象１２の高さ情報を算出する算出ステップとを備えている。
【０１２９】
なお、上記三次元形状計測方法を、コンピュータの制御によりコンピュータ上で実行させることができる。
【０１３０】
〔実施の形態２〕
次に、本発明の別の実施形態について図１２および図１３に基づいて説明すると以下の通りである。本実施形態の三次元形状計測装置１０は、図１に示す三次元形状計測装置１０に比べて、撮像部３０内のラインカメラの構成が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１３１】
図１２は、本実施形態に係る三次元形状計測装置１０で用いられるカラー撮像カメラ（カラー撮像手段）が備える、赤、緑、青、および白黒の色の輝度を検出する各ラインセンサの配置について説明する図である。なお、図１２では、ラインセンサとして複数のＣＣＤ（Charge Coupled Device）を備えたカラーセンサとして、Ｋｏｄａｋ社のＫＬＩ−４１０４（ＣＳＬ８０００ＣＬ）を例示している。
【０１３２】
図１２のＧｒｅｅｎＬｉｎｅは緑色、ＲｅｄＬｉｎｅは赤色、ＢｌｕｅＬｉｎｅは青色、およびＢ／ＷＬｉｎｅは黒および白の輝度をそれぞれ検出するＣＣＤである。図１２の上側はカラー撮像カメラの主走査方向を示し、左端の点線が最初の有効画素を示している。右端の点線が最後の有効画素を示し、最初の有効画素の光学中心に白および黒の輝度を検出する撮像素子が割り当てられている。
【０１３３】
緑、赤、および青の各ラインとして示された四角形は、それぞれ、１番目、２番目、……４０８０番目の撮像素子を示しており、１つの四角形が１０μｍの撮像素子の面積を表している。白および黒のラインとして示された四角形は、それぞれ、１番目、２番目、……８０６０番目の撮像素子を示しており、１つの四角形が５μｍの撮像素子の面積を表している。このように、白および黒の撮像素子は、緑、赤、および青の撮像素子と比較して倍の精細度を持っている。
【０１３４】
緑および赤のラインの間隔、ならびに、赤および青のラインの間隔は８０μｍであり、それぞれのラインの光学中心からの間隔は９０μｍとなっている。青および黒／白のラインの間隔は、１１５μｍであり、それぞれのラインの光学中心からの間隔は１２２．５μｍになっている。
【０１３５】
本実施形態では、白黒の検出を行うラインセンサの検出結果を第１のラインセンサの輝度情報として、赤、青、および緑のラインセンサの検出結果を輝度に変換して、第２のラインセンサの輝度情報としている。
【０１３６】
図１３は、上記のような赤、青、緑、および白黒のＣＣＤを持つラインセンサを用いて各色の輝度を計測した結果のグラフを示す図である。図１３のグラフの横軸は波長［μｍ］を、縦軸は各色に対する感度特性［Ｖ／μＪ／ｃｍ２］を示している。本実施形態では、ＲＧＢをＹ（輝度）に変換することによって、赤、緑、および青の感度特性を、白／黒の感度特性に合わせている。
【０１３７】
図１３のグラフで、線６２は青の感度特性を、線６４は緑の感度特性を、線６６は赤の感度特性を、線６８は、赤、青、緑のフィルタを取り付ける前の感度特性を示している。線７０は、白および黒の感度特性を示している。
【０１３８】
このように、青の感度特性６２、緑の感度特性６４、および赤の感度特性６６に係数を掛けて加算することで白および黒の感度特性７０に近い特性を作り出し、赤、青、緑、および白黒のいずれのセンサを用いても、第１のラインセンサ３６または第２のラインセンサ３８として用いることができる。
【０１３９】
以上のように、赤、緑、および青の３つのラインセンサからの検出結果を変換して光パタンなしの画像として用い、Ｗ／Ｂのラインセンサの検出結果を光パタンありの画像として用いることで、同感度の２本のラインセンサを用いる場合と同様に検出を行うことができる。
【０１４０】
なお、上記の例では、Ｒ、Ｇ、Ｂの輝度の検出をＷ／Ｂの輝度に変換する場合について示したが、Ｒ、Ｇ、またはＢのいずれかの色、例えばＧのフィルタをＷ／Ｂの色を検出するラインセンサに付与し、そのラインセンサと元のＧのラインセンサからの検出結果を用いてもよい。
【０１４１】
〔実施の形態３〕
次に、本発明の別の実施形態について図１４に基づいて説明すると以下の通りである。図１４は、本実施形態に係る三次元形状計測装置１０の概略構成を示す図である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１４２】
図１４の三次元形状計測装置１０では、第１のラインセンサ３６および第２のラインセンサ３８が、それぞれ、単独のラインセンサを備えたカメラに備えられ、各カメラのラインセンサに対応して、撮像視線を計測面に対向させるミラー３４を備える点が上述の実施形態と異なり、その他の構成は同様である。
【０１４３】
図１４では、第１のラインセンサ３６を備える第１のカメラと、第２のラインセンサ３８を備える第２のカメラを、計測対象面と水平方向に向かい合わせ、両カメラの間に傾けたミラー３４を配置することで、第１のラインセンサ３６および第２のラインセンサ３８の撮像視線を計測対象面上の光パタン照射領域１４および光パタン非照射領域１６へ対向させている。
【０１４４】
上述のように、第１のカメラおよび第２のカメラの間にミラーを配置することによって、第１のラインセンサ３６および第２のラインセンサ３８の撮影視線を容易に制御することができるので、第１のカメラおよび第２のカメラのサイズや形状といった物理的制約に縛られることなく、各ラインセンサを容易に配置することができる。
【０１４５】
以上のように、本実施形態の三次元形状計測装置１０では、第１のラインセンサ３６を備えた第１のカメラと、第２のラインセンサ３８を備えた第２のカメラと、上記第１のラインセンサ３６の撮像視線を光パタン照射領域１４に対向させるように配置された第１のミラーと、第２のラインセンサ３８の撮像視線を光パタン非照射領域１６に対向させるように配置された第２のミラーとを備えている。
【０１４６】
また、第１のラインセンサ３６および第２のラインセンサ３８は、同一の撮像レンズ３２を通して光パタン照射領域１４および光パタン非照射領域１６を撮像している。
【０１４７】
上記の構成によれば、単独のラインセンサを備えた複数のカメラと、複数のミラー３４を組み合わせることによって、ラインセンサ３６・３８の撮影視線を容易に制御し、複数のカメラを用いて三次元形状計測装置１０を構成することができる。
【０１４８】
また、同一の撮像レンズ３２を通して撮像するので、第１のカメラおよび第２のカメラの配置を決定する際に、カメラを含む部材をコンパクトに形成することができ、ミラー３４を用いて撮像視線を設定できる効果が特に有効である。
【０１４９】
〔実施の形態４〕
上述の実施形態では、投光部２０および撮像部３０をそれぞれ１つずつ備えた三次元形状計測装置１０について説明したが、投光部２０および撮像部３０の組み合わせは、上述の例に限らない。例えば、図１５の（ａ）から（ｅ）のように、複数の組み合わせであってもよい。
【０１５０】
図１５は、視野を広くするために複数の投光部２０および撮像部３０を組み合わせた三次元形状計測装置１０の構成を示す概略図である。
【０１５１】
図１５（ａ）は、２つのラインセンサ３６および３８と、２つの投光部２０ａおよび２０ｂを用いて三次元形状計測装置１０を構成した例である。図１５（ｂ）は、図１５（ａ）の構成から１つのラインセンサ、１つの投光部を省略して三次元形状計測装置１０を構成した例である。この場合、副走査方向へ搬送ステージ５２を移動させるためのＸステージを追加する必要があるが、装置の構成は簡略化されるためコストを低減することができる。
【０１５２】
図１５（ｃ）は、２つのラインセンサおよび１つの投光部２０を用いて三次元形状計測装置１０を構成した例である。この場合、投光部２０の投光レンズ２４を広角化する必要があるため収差を補正する難易度が上昇し、輻輳でなくなるため精度がだしにくく精度を再検討する必要がある。
【０１５３】
図１５（ｄ）は１つの撮像部３０および１つの投光部２０を用いて三次元形状計測装置１０を構成した例である。この場合、計測を想定している基板の大きさが２５０ｍｍ×３３０ｍｍの、いわゆるＭサイズの基盤の走査を想定しており、解像度を大きくすることで、１カメラ、１プロジェクタの構成をとることができる。撮像部３０の撮像素子を高画素化、具体的には、例えばＸＹの縦横の長さを２０［μｍ］で１２５００［ピクセル］備えるような、２０μｍ×１２５００＝２５０ｍｍ程度の精細度が必要となり、撮像および投光する範囲が広くなるため、投光レンズ２４および撮像レンズ３２を広角化する必要がある。なお、両レンズを広角化することで計測面までの距離が大きくなり、三次元形状計測装置１０の剛性が低下するなどの問題が生じる可能性がある。
【０１５４】
図１５（ｅ）は、１つの撮像部３０および２つの投光部２０ａおよび２０ｂを用いて三次元形状計測装置１０を構成した例である。この場合には、投光部２０ａおよび２０ｂが投光する光パタンの接合部（点線の円の部分）で整合がとれなくなるという問題が生じる可能性がある。
【０１５５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１５６】
なお、本実施形態では、光源３１および投光レンズを用いて光パタンを投影する例について説明したが、これに限るものではない。プロジェクターのようなもので干渉縞を投影してもよいし、回折格子に応用してもよい。
【０１５７】
最後に、三次元形状計測装置１０の各ブロック、特に画像解析・駆動制御部４０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５８】
すなわち、三次元形状計測装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである三次元形状計測装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記三次元形状計測装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１５９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６０】
また、三次元形状計測装置１０を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１６１】
本発明の三次元形状計測装置１０は、第１および第２のラインセンサは、それぞれ、照射領域および非照射領域を、同時に撮像できるように配置されており、光パタンの位相を、画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出するため、背景情報を除去した画像を算出する際に、１回の撮像で必要な画像を撮像することができるので、コスト削減および撮像速度の高速化が可能な三次元形状計測装置を構成することができる。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施形態を示すものであり、三次元形状計測装置の要部構成を示す断面図および上面図図である。
【図２】上記三次元形状計測装置の物理的構成を示す概念図である。
【図３】上記三次元形状計測装置の要部構成を示す機能ブロック図である。
【図４】上記三次元形状計測装置で計測する計測対象の形状を示す図であって、（ａ）は上面図であり、同図（ｂ）は側面図である。
【図５】上記計測対象に光パタンを投影した場合に、上記計測対象に投影された光パタンの歪みを示す図であって、（ａ）は上面図であり、（ｂ）は基準面での輝度変動と凸部での輝度変動を示す波形図である。
【図６】投影される光パタンおよび投光部２０を説明する図で、（ａ）は投光される光パタンの上面図であり、（ｂ）は投光部２０の投光器部分の構成を示す断面図である。
【図７】計測対象に光パタンまたは均一照明を投光した様子を示す図であり、（ａ）は、光パタンを投影した状態の光パタン照射領域の一例を示しており、（ｂ）は、光パタンを投影せずに均一照明を投光した光パタン非照射領域の一例を示している。
【図８】上記三次元形状計測装置において、高さ一定の計測対象に関して、背景成分が除去されたライン画像の輝度値と、光パタン照射領域の画像を用いて算出される位相とのグラフを表す図である。
【図９】計測対象に光パタンを投影した画像と、光パタンを投影していない計測対象を撮影した画像とから、背景成分を除去した画像を作成した具体例を示す図である。
【図１０】（ａ）および（ｂ）は、投影された光パタンの縞およびラインセンサの間隔の関係について説明する概念図である。
【図１１】上記三次元形状計測装置において、三次元形状計測装置１０で三次元形状の計測処理の手順を示すフロー図である。
【図１２】別の実施形態を示す図であり、三次元形状計測装置で用いられるカラー撮像カメラが備える、赤、緑、青、および白黒の色の輝度を検出する各ラインセンサの配置について説明する図である。
【図１３】上記の三次元形状計測装置を用いて各色の輝度を計測した結果のグラフを示す図である。
【図１４】さらに別の実施形態を示す図であり、三次元形状計測装置の要部構成を示す断面図および上面図である。
【図１５】さらに別の実施形態を示す図であり、三次元形状計測装置の様々な構成を示す側面図である。
【図１６】従来技術を示すものであり、光パタンを投影する状態および投影しない状態を切り替える構成を示す側面図である。
【符号の説明】
【０１６３】
１０ 三次元形状計測装置
１２ 計測対象
１４ 光パタン照射領域
１６ 光パタン非照射領域
２０ 投光部（投影手段）
２２ 光源
２４ 投光レンズ
２６ パタン生成素子（光パタン投影手段）
２８ 光線分離部
３０ 撮像部
３１ 光源
３２ 撮像レンズ
３４ ミラー
３６ 第１のラインセンサ
３７ 第１の領域
３８ 第２のラインセンサ
３９ 第２の領域
４０ 画像解析・駆動制御部（処理手段）
４２ キャプチャボード
４４ コントローラ
４６ ＣＰＵ
４８ ＲＡＭ
５０ 搬送部
５２ 搬送ステージ
５４ サーボモータ
【特許請求の範囲】
【請求項１】
計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、
位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、
上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、
上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサと、
上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する処理手段とを備え、
上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を同時に撮像できるように配置されていることを特徴とする三次元形状計測装置。
【請求項２】
複数のラインセンサを含む撮像手段を備え、
上記第１のラインセンサおよび第２のラインセンサとして、上記撮像手段のラインセンサのうち２つを用いることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項３】
赤、緑、青、および白黒の色の輝度を検出するラインセンサを含むカラー撮像手段を備え、
上記第１のラインセンサとして、白黒のラインセンサを用い、
上記第２のラインセンサとして、赤、緑、ならびに青のラインセンサを用いることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項４】
赤、緑、青、および白黒の色の輝度を検出するラインセンサを含むカラー撮像手段を備え、
上記第１のラインセンサとして、白黒のラインセンサと、赤、緑、または青のいずれか１つの色のフィルタとを含むセンサを用い、
上記第２のラインセンサとして、赤、緑、または青のうち上記フィルタと同じ色のラインセンサ用いることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項５】
第１のラインセンサを備えた第１の撮像手段と、
第２のラインセンサを備えた第２の撮像手段と、
上記第１のラインセンサの撮像視線を上記光パタン照射領域に対向させるように配置された第１のミラーと、
上記第２のラインセンサの撮像視線を上記光パタン非照射領域に対向させるように配置された第２のミラーとを備えることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項６】
上記第１のラインセンサおよび第２のラインセンサは、同一のレンズを通して上記光パタン照射領域および光パタン非照射領域を撮像することを特徴とする請求項４に記載の三次元形状計測装置。
【請求項７】
上記光パタン照射領域に対して光パタンを形成し、上記光パタン非照射領域に対して均一照明を照射するための透過部および遮光部を含むパタン形成素子を備えることを特徴とする請求項１から５のいずれか１項に記載の三次元形状計測装置。
【請求項８】
光パタン投影手段によって投影される光パタンと同等の光量の均一照明を上記光パタン非照射領域に対して照射する均一照明投射手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の三次元形状計測装置。
【請求項９】
計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置における三次元形状計測方法であって、
上記三次元形状計測装置は、光パタン投影手段と、第１のラインセンサと、第２のラインセンサとを備え、
上記第１および第２のラインセンサは、それぞれ、上記計測対象の光パタンが投影された光パタン照射領域および上記計測対象の光パタンが投影されていない光パタン非照射領域を同時に撮像できるように配置されており、
上記光パタン投影手段が位置に応じて周期的に輝度が変化する光パタンを上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影ステップと、
上記第１のラインセンサが上記光パタン照射領域を撮像すると共に、上記第２のラインセンサが上記光パタン非照射領域を撮像する撮像ステップと、
上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する算出ステップとを備えることを特徴とする三次元形状計測方法。
【請求項１０】
計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置における三次元形状計測方法を実行するプログラムであって、
上記三次元形状計測装置は、
位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、
上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、
上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサとを備え、
上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を同時に撮像できるように配置されており、
上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する算出ステップをコンピュータに実行させる三次元形状計測プログラム。
【請求項１】
計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置であって、
位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、
上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、
上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサと、
上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する処理手段とを備え、
上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を同時に撮像できるように配置されていることを特徴とする三次元形状計測装置。
【請求項２】
複数のラインセンサを含む撮像手段を備え、
上記第１のラインセンサおよび第２のラインセンサとして、上記撮像手段のラインセンサのうち２つを用いることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項３】
赤、緑、青、および白黒の色の輝度を検出するラインセンサを含むカラー撮像手段を備え、
上記第１のラインセンサとして、白黒のラインセンサを用い、
上記第２のラインセンサとして、赤、緑、ならびに青のラインセンサを用いることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項４】
赤、緑、青、および白黒の色の輝度を検出するラインセンサを含むカラー撮像手段を備え、
上記第１のラインセンサとして、白黒のラインセンサと、赤、緑、または青のいずれか１つの色のフィルタとを含むセンサを用い、
上記第２のラインセンサとして、赤、緑、または青のうち上記フィルタと同じ色のラインセンサ用いることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項５】
第１のラインセンサを備えた第１の撮像手段と、
第２のラインセンサを備えた第２の撮像手段と、
上記第１のラインセンサの撮像視線を上記光パタン照射領域に対向させるように配置された第１のミラーと、
上記第２のラインセンサの撮像視線を上記光パタン非照射領域に対向させるように配置された第２のミラーとを備えることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項６】
上記第１のラインセンサおよび第２のラインセンサは、同一のレンズを通して上記光パタン照射領域および光パタン非照射領域を撮像することを特徴とする請求項４に記載の三次元形状計測装置。
【請求項７】
上記光パタン照射領域に対して光パタンを形成し、上記光パタン非照射領域に対して均一照明を照射するための透過部および遮光部を含むパタン形成素子を備えることを特徴とする請求項１から５のいずれか１項に記載の三次元形状計測装置。
【請求項８】
光パタン投影手段によって投影される光パタンと同等の光量の均一照明を上記光パタン非照射領域に対して照射する均一照明投射手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の三次元形状計測装置。
【請求項９】
計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置における三次元形状計測方法であって、
上記三次元形状計測装置は、光パタン投影手段と、第１のラインセンサと、第２のラインセンサとを備え、
上記第１および第２のラインセンサは、それぞれ、上記計測対象の光パタンが投影された光パタン照射領域および上記計測対象の光パタンが投影されていない光パタン非照射領域を同時に撮像できるように配置されており、
上記光パタン投影手段が位置に応じて周期的に輝度が変化する光パタンを上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影ステップと、
上記第１のラインセンサが上記光パタン照射領域を撮像すると共に、上記第２のラインセンサが上記光パタン非照射領域を撮像する撮像ステップと、
上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する算出ステップとを備えることを特徴とする三次元形状計測方法。
【請求項１０】
計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置における三次元形状計測方法を実行するプログラムであって、
上記三次元形状計測装置は、
位置に応じて周期的に輝度が変化する光パタンを、上記計測対象が設置される計測面の一部の領域へ投影する光パタン投影手段と、
上記計測対象の光パタンが投影された光パタン照射領域を撮像する第１のラインセンサと、
上記計測対象の光パタンが投影されていない光パタン非照射領域を撮像する第２のラインセンサとを備え、
上記第１および第２のラインセンサは、それぞれ、上記光パタン照射領域および光パタン非照射領域を同時に撮像できるように配置されており、
上記第１および第２のラインセンサが撮像した画像から、背景情報を除去した画像に含まれる或る画素における光パタンの位相を、上記画像における上記画素とその周辺の画素との輝度値に基づいて算出し、算出した位相に基づいて上記計測対象の高さ情報を算出する算出ステップをコンピュータに実行させる三次元形状計測プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図７】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図７】
【図９】
【図１０】
【公開番号】特開２００９−３１１５０（Ｐ２００９−３１１５０Ａ）
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願番号】特願２００７−１９６１９２（Ｐ２００７−１９６１９２）
【出願日】平成１９年７月２７日（２００７．７．２７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願日】平成１９年７月２７日（２００７．７．２７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]