３次元計測装置
【課題】手振れによる影響を低減する手持ち可能な３次元計測装置を提供する。
【解決手段】この３次元計測装置１は、測定すべき対象物体２に所定角度ずつ位相をずらした１組の縞パターンを投影する投影部４と、物体２上の１組の縞パターンの画像を撮影して各々の画素について１組の輝度値を得る撮影部５と、各々の画素について１組の輝度値から復元位相値を算出する位相復元手段６１、及び復元位相値から絶対位相値を求める位相接続手段６２、を有する画像処理部６と、を備えることによって物体２の表面形状を計測するものにおいて、投影部４は、１個の画像の撮影のために撮影部５が必要とする露光時間を複数回分割して得られるスライス時間ごとに１組の縞パターンの各々を順次切り換えて繰り返し投影し、撮影部５は、スライス時間ごとに１組の縞パターンの各々の画像を１組の受光素子５１、５２、５３に順次取り込んでそれを繰り返す。
【解決手段】この３次元計測装置１は、測定すべき対象物体２に所定角度ずつ位相をずらした１組の縞パターンを投影する投影部４と、物体２上の１組の縞パターンの画像を撮影して各々の画素について１組の輝度値を得る撮影部５と、各々の画素について１組の輝度値から復元位相値を算出する位相復元手段６１、及び復元位相値から絶対位相値を求める位相接続手段６２、を有する画像処理部６と、を備えることによって物体２の表面形状を計測するものにおいて、投影部４は、１個の画像の撮影のために撮影部５が必要とする露光時間を複数回分割して得られるスライス時間ごとに１組の縞パターンの各々を順次切り換えて繰り返し投影し、撮影部５は、スライス時間ごとに１組の縞パターンの各々の画像を１組の受光素子５１、５２、５３に順次取り込んでそれを繰り返す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位相シフト法を用いて物体表面の３次元形状を計測する３次元計測装置に関する。
【背景技術】
【０００２】
物体の３次元形状を非接触で計測する方法として、位相シフト法が知られている。この位相シフト法は、次のようなものである。まず、測定すべき対象物体の表面に輝度が正弦波状に変化する縞パターンを投影し、その画像を別の方向から撮影する。次に、同様の投影・撮影を縞パターンの位相をπ／２ずつ、或いは２π／３ずつずらして１周期分だけ行う。これにより、１組の、すなわち４枚或いは３枚の撮影画像を得る。次に、画像処理により、それらの撮影画像間の輝度差から、物体の表面形状に応じて変化した縞パターン画像の位相値（復元位相値）を算出する。次に、０〜２πの復元位相値に適切なｎの２π×ｎを加算する。ここで、ｎは整数であり、縞パターンの端からの本数に対応している。これにより、復元位相値の画像の不連続部分を接続し（位相接続し）、縞パターンの端部から略単調増加する絶対的な位相値（絶対位相値）の画像が得られる。以上の一連の手順で、対象物体上の縞パターンの位相が再現され、それを基に対象物体の表面形状の３次元座標値が求められる。
【０００３】
なお、位相接続のためには、補助的な撮影を行うもの（例えば特許文献１）とそれを行わないもの（例えば特許文献２）が知られている。特許文献１には、波長が長い縞パターンで補助的な撮影を行って別の復元位相値を求め、その別の復元位相値を基に位相接続を行うことが記載されている。また、特許文献２には、補助的な撮影を行わず、１個の復元位相値の画像を特別なフィルタにより処理することで位相接続を行うことが記載されている。
【０００４】
【特許文献１】特開平６−６６５２７号公報
【特許文献２】特開平１１−１４３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、３次元計測装置は様々な分野で用いられている。その１つに、工場施設における部品を３次元計測することで、その耐用残年数の検査を行うものがある。すなわち、パイプなどの部品の表面形状は腐食によって変化するが、その表面形状の変化から耐用残年数を知ることができるのである。しかし、３次元計測装置を部品（対象物体）に合わせて設置するのは一般に大掛かりな作業を要し、一方、部品をはずして３次元計測装置が設置されている場所まで移動させることは更に困難である。
【０００６】
そこで、本願発明者は、現場で簡便に計測できるように手持ち可能な３次元計測装置について鋭意研究を継続してきたところ、手持ち可能な３次元計測装置の最大の課題は手振れによる影響であり、それを低減することが最も重要であると思料するに至り、以下に詳述する３次元計測装置を案出するに至った。
【０００７】
本発明は、上記事由に鑑みてなしたもので、その目的とするところは、手振れによる影響を低減し、測定すべき対象物体上の縞パターンの位相を正確に再現することができる手持ち可能な３次元計測装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に係る３次元計測装置は、測定すべき対象物体に所定角度ずつ位相をずらした１組の縞パターンを投影する投影部と、少なくとも１個よりなる１組の受光素子を有し、物体上の１組の縞パターンの画像を撮影して各々の画素について１組の輝度値を得る撮影部と、各々の画素について１組の輝度値から復元位相値を算出する位相復元手段、及び復元位相値に２π×ｎを（但し、ｎは整数）加算して絶対位相値を求める位相接続手段、を有する画像処理部と、を備えて対象物体の表面形状を計測する３次元計測装置において、前記投影部、前記撮影部、前記画像処理部を収容する手持ち可能な筐体を有し、前記投影部は、１個の画像の撮影のために前記撮影部が必要とする露光時間を複数回分割して得られるスライス時間ごとに１組の縞パターンの各々を順次切り換えて繰り返し投影し、前記撮影部は、スライス時間ごとに１組の縞パターンの各々の画像を前記受光素子に順次取り込んでそれを繰り返すことを特徴とする。
【０００９】
請求項２に係る３次元計測装置は、請求項１に記載された３次元計測装置において、前記撮影部は、スライス時間ごとに反射面の角度を変えて１組の縞パターンの各々の画像を反射する反射鏡を更に有し、１組の前記受光素子に該反射鏡からの像が入力されることを特徴とする。
【００１０】
請求項３に係る３次元計測装置は、請求項１に記載された３次元計測装置において、前記撮影部は、前記受光素子を１個とし、その受光素子に１組の縞パターンの画像が全て入力され、前記画像処理部は、スライス時間ごとに各々の画素について輝度値を読み込んでそれを繰り返し、１組の輝度値の各々についての合算を行うことを特徴とする。
【００１１】
請求項４に係る３次元計測装置は、請求項１乃至３のいずれかに記載された３次元計測装置において、前記投影部と前記撮影部は、波長ｋの縞パターンを投影して撮影する主撮影、及び略１画面の大きさに相当する波長ｍの縞パターンを投影して撮影する補助撮影、を行い、前記位相復元手段は、画素ｉについて主撮影の復元位相値Φｉ，ｋと補助撮影の復元位相値Φｉ，ｍとを算出し、前記位相接続手段は、最もΦｉ，ｍ×ｍ／ｋに近くなるｎのΦｉ，ｋ＋２π×ｎを絶対位相値とすることを特徴とする。
【００１２】
請求項５に係る３次元計測装置は、請求項４に記載された３次元計測装置において、前記位相接続手段は、主撮影の復元位相値Φｉ，ｋの復元画像から抽出されたエッジ成分と、補助撮影の復元位相値Φｉ，ｍの復元画像から抽出されたエッジ成分と、により位置合わせを行うことを特徴とする。
【発明の効果】
【００１３】
本発明の３次元計測装置は、１個の画像の撮影に要する露光時間を複数回分割して得られるスライス時間ごとに、１組の縞パターンの各々を順次切り換えて繰り返し投影し、１組の縞パターンの各々の画像を受光素子に順次取り込んでそれを繰り返すので、手振れによる影響が低減され、物体上の縞パターンの位相を正確に再現することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の最良の実施形態を図面を参照しながら説明する。図１は本発明の望ましい実施形態に係る３次元計測装置１の外観を示す斜視図である。この３次元計測装置１は、位相シフト法によって測定すべき対象物体２の表面形状を計測するものである。
【００１５】
３次元計測装置１は、手持ち可能なようにコンパクトな筐体３を有し、筐体３の内部には、投影部と撮影部の機構や、それら回路を構築する電子部品を搭載したプリント基板３ａを収容している。筐体３には、投影する縞パターンを通過させる投光部３ｂと、対象物体２から反射してきた縞パターンの画像が通過する受光部３ｃとが同一の側面に設けてある。投光部３ｂと受光部３ｃとの距離は例えば約２０ｃｍである。また、筐体３には、対象物体２を３次元表示する表示パネル（例えば液晶表示パネル）３ｄが取り付けられ、画像データを保存するメモリカード３ｅの差し込み口３ｆが設けられている。なお、筐体３の形状や部品（投光部３ｂなど）の配置は、図１に示したものに限らず任意に変更可能である。
【００１６】
図２は、３次元計測装置１の構成を示す模式図である。３次元計測装置１は、投影部４と、撮影部５と、画像処理部６と、スライス時間生成部７と、投影パターン生成部８と、を有する。以下、これらの各部を説明する。
【００１７】
投影部４は、対象物体２に２π／３（所定角度）ずつ位相をずらした１組を構成する３個の縞パターン（第１、第２及び第３の縞パターン）Ｐ１〜Ｐ３を投影する。これらの縞パターンＰ１〜Ｐ３は、輝度が正弦波状に変化するものであり、投影パターン生成部８で生成される。なお、縞パターンは横方向に輝度が正弦波状に変化する横波と縦方向に変化する縦波が可能であるが、以下の説明では横波としたものについて説明する。
【００１８】
投影部４は、所定のスライス時間ＴＳごとに１組の縞パターンＰ１〜Ｐ３を順次切り換えて繰り返し投影する。スライス時間ＴＳは、１個の画像の撮影のために撮影部５が必要とする露光時間ＴＥを均等に複数回分割したものである。以下の表１に示す例ではＴＥは１０ミリ秒であり、ＴＥを１０等分してＴＳを１ミリ秒としている。表１は投影する１組の縞パターンＰ１〜Ｐ３の切り換えを示すものである。先ず、第１の縞パターンＰ１を投影し、１ミリ秒経過すると第２の縞パターンＰ２を投影する。次に１ミリ秒経過すると第３の縞パターンＰ３を投影し、更に１ミリ秒経過すると第１の縞パターンＰ１を投影する。このようにして、１ミリ秒ごとに１組の縞パターンＰ１〜Ｐ３を順次切り換えて繰り返し投影する。
【００１９】
【表１】
【００２０】
投影部４は、例えば、ＤＬＰ（Digital Light Processing）プロジェクタを用いることができる。ＤＬＰプロジェクタは、角度（２値が可能）を毎秒数千回の高速で切り換えられる画素ごとの微小な鏡（ＤＭＤ（Digital Micromirror Device））を敷き詰めたものであり、２値の時間の割合で輝度が設定される。この実施形態においては、２値の時間の割合をスライス時間ＴＳ毎に変えて１組の縞パターンＰ１〜Ｐ３の各々を投影する。このようなＤＬＰプロジェクタは、例えば、単枚式のものにおいて、フレームメモリのＲＧＢの３個の領域に１組の縞パターンＰ１〜Ｐ３を対応させ、光源からの光を３色のカラーフィルタを介さずにＤＭＤに入射させることによって実現できる。
【００２１】
撮影部５は、反射面の角度が可変である反射鏡５０と、その前段の反射面の角度が一定の固定反射鏡５４と、１組を構成する３個の受光素子５１〜５３と、を有する。反射鏡５０は、スライス時間ＴＳごとに反射面の角度を変え（例えば２０度ずつ）、固定反射鏡５４からの１組の縞パターンＰ１〜Ｐ３の各々の画像を反射し、１組の受光素子５１、５２、５３に、反射鏡５０からの像をそれぞれ入力する。すなわち、第１の縞パターンＰ１の画像は第１の受光素子５１に入力され、第２の縞パターンＰ２の画像は第２の受光素子５２に入力され、第３の縞パターンＰ３の画像は第３の受光素子５３に入力される。これらの受光素子５１〜５３は、モノクロのものでもＲＧＢ対応のものでもよい。また、受光素子５１〜５３は、例えばＣＣＤである。
【００２２】
撮影部５は、対象物体２上の１組の縞パターンＰ１〜Ｐ３の画像を撮影し、それらの撮影画像をスライス時間ＴＳごとに１組の受光素子５１、５２、５３に順次取り込み、それを繰り返す。そうすることで、画像の各々の画素について１組の輝度値を得る。
【００２３】
以下の表２は、投影する１組の縞パターンＰ１〜Ｐ３の切り換え（前述の表１と同じ）と１組の受光素子５１、５２、５３の切り換えを示したものである。第１の縞パターンＰ１の投影と同期してその撮影を第１の受光素子５１で行い、第２の縞パターンＰ２の投影と同期してその撮影を第２の受光素子５２で行い、第３の縞パターンＰ３の投影と同期してその撮影を第３の受光素子５３で行っている。
【００２４】
【表２】
【００２５】
撮影時間３０ミリ秒の撮影が終了したときの第１の受光素子５１には、時間０、３、・・・、２４、２７に入射された光量が足されたもの、すなわち１０ミリ秒（露光時間ＴＥ）に入射された光量に対応する電荷が蓄積され、それに応じた１組の輝度値を得る。第２、第３の受光素子５２、５３についても同様である。
【００２６】
なお、１個の画像撮影のために撮影部５が必要とする露光時間ＴＥは、受光素子５１〜５３の種類、ランダムノイズ、暗電流等の一定ノイズなどによって変わるものである。一方、スライス時間ＴＳは、投影部４における１組の縞パターンＰ１〜Ｐ３の切り換えの能力、反射鏡５０の角度切り換えの能力、などによって変わるものである。
【００２７】
画像処理部６は、位相復元手段６１と、位相接続手段６２と、３次元演算手段６３と、表示パネル制御手段６４と、メモリカード制御手段６５と、を有する。
【００２８】
位相復元手段６１は、撮影部５から読み出された各々の画素について１組の輝度値から０〜２πの復元位相値を算出する。具体的には、以下の計算により、各々の画素について１組の輝度値から０〜２πの復元位相値を算出する。第１、第２及び第３の縞パターンＰ１〜Ｐ３の画像の画素ｉの輝度値をそれぞれＰ１，ｉ、Ｐ２，ｉ、Ｐ３，ｉとすると、それらは次の式で表される。
Ｐ１，ｉ＝Ｋｉ×（ＩＢＡＳＥ＋ＩＳ×ｃｏｓ（Φｉ））
Ｐ２，ｉ＝Ｋｉ×（ＩＢＡＳＥ＋ＩＳ×ｃｏｓ（Φｉ＋２π／３））
Ｐ３，ｉ＝Ｋｉ×（ＩＢＡＳＥ＋ＩＳ×ｃｏｓ（Φｉ＋４π／３））
ここで、Ｋｉは画素ｉに対応した被写体（物体）の反射率、ＩＢＡＳＥは縞パターンの光量の中心値、ＩＳは縞パターンの光量の振幅値、Φｉは画素ｉの位相値（復元位相値）である。よって、次の式（数１）が導き出される。
【００２９】
【数１】
【００３０】
復元位相値Φｉは、数１により算出される。すなわち、復元位相値Φｉは、縞パターンＰ１〜Ｐ３の画像の画素ｉの輝度値であるＰ１，ｉ、Ｐ２，ｉ、Ｐ３，ｉの相対的な差のみに基づいているのである。
【００３１】
ここで、復元位相値Φｉは、横方向に沿った輝度の勾配の大きい程、復元精度が高い。従って、例えば、１組の受光素子５１、５２、５３としてＲＧＢ対応のものを用いた場合、Ｒの画像、Ｇの画像、Ｂの画像の内で最も輝度の勾配の大きいものを選択して復元位相値Φｉを算出することもできる。
【００３２】
図３は撮影（後で説明する主撮影）及びその位相値の復元を説明するためのものであり、縞パターンの波長ｋを６４画素としている。（ａ）は１組の縞パターンＰ１〜Ｐ３のイメージ図、（ｂ）は復元位相値Φｉ，ｋの横方向の変化を示す特性図である。図３（ｂ）に示すように、画素ｉの復元位相値Φｉ，ｋは０〜２πの値であり、復元位相値Φｉ，ｋの画像は波長ｋと同じ周期で不連続になっている。なお、値が０から２πに増加するところの線の形は対象物体２の表面形状に応じて変わる。また、波長ｋの縞パターンについての画素ｉの復元位相値ΦｉをΦｉ，ｋ、後述の波長ｍの縞パターンについての画素ｉの復元位相値ΦｉをΦｉ，ｍと記す。
【００３３】
位相接続手段６２は、復元位相値Φｉ，ｋに２π×ｎを（但し、ｎは整数）加算する。画素ｉの復元位相値Φｉ，ｋの画像は不連続であるため、その次の画像処理として、復元位相値Φｉ，ｋに適切なｎの２π×ｎを加算し、復元位相値Φｉ，ｋの画像の不連続部分を接続（位相接続）する。そうすることで、縞パターンの端部からの絶対的な位相値（絶対位相値）が求まる。ここで、ｎは縞パターンの端からの本数に対応している。なお、背景技術の項で述べたように、位相接続のためには補助的な撮影を行うものとそれを行わないものとがあるが、本実施形態の３次元計測装置１は補助的な撮影を行って位相接続するものである。以下、この３次元計測装置１が用いる補助的な撮影を補助撮影、本来の高精度で復元位相値Φｉ，ｋを算出するための撮影を主撮影、とする。
【００３４】
主撮影と補助撮影の撮影の方法は、用いる１組の縞パターンＰ１〜Ｐ３の波長の他は実質的に同じである。主撮影の波長ｋは６４画素と短いが、補助撮影の波長ｍは略１画面の画像の大きさに相当する長さの１０２４画素である。画像処理部６の位相復元手段６１は、本来の高精度な復元位相値Φｉである主撮影の復元位相値Φｉ，ｋを算出すると共に、補助撮影の復元位相値Φｉ，ｍを算出する。
【００３５】
図４は補助撮影及びその位相値の復元を説明するためのものであり、（ａ）は１組の縞パターンＰ１〜Ｐ３のイメージ図、（ｂ）は復元位相値Φｉ，ｍの横方向の変化を示す特性図である。図４（ｂ）に示すように、復元位相値Φｉ，ｍは略１画面の端部から端部までが１波長になっている。なお、破線の直線は物体２の表面に凹凸がない場合の理想値を示している。
【００３６】
位相接続手段６２は、補助撮影の復元位相値Φｉ，ｍに補助撮影の波長ｍと主撮影の波長ｋの比を乗じる。すなわち、Φｉ，ｍ×ｍ／ｋを計算する。図５（ａ）は、この結果を特性図に表したものである。一方、主撮影の復元位相値Φｉ，ｋに２π×ｎを加算する。すなわち、Φｉ，ｋ＋２π×ｎを計算する。そして、Φｉ，ｋ＋２π×ｎが最もΦｉ，ｍ×ｍ／ｋに近くなるｎを適切なｎの値とする。図５（ｂ）は、この結果を特性図に表したものである。
【００３７】
ここで、補助撮影の波長ｍは非常に長く、受光素子における輝度値の分解能の影響やノイズの影響を受け易いため、復元位相値Φｉ，ｍの復元精度は低い。しかし、この復元の誤差は±（π×ｋ／ｍ）以内にする必要がある。このため、撮影（主撮影又は補助撮影）の前に、復元の誤差を考慮して、投影部４における投影の光量、撮影部５における露光時間や絞りの設定を行う。
【００３８】
また、主撮影の復元位相値Φｉ，ｋの画像と補助撮影の復元位相値Φｉ，ｍの画像とは位置合わせを行ったうえで位相接続を行う。すなわち、手振れにより、画素ｉにおける復元位相値Φｉ，ｋと復元位相値Φｉ，ｍとが対象物体２の同じ位置に対応するものでないならば、そうなるように位置合わせをする。このためには、主撮影の復元位相値Φｉ，ｋの画像からエッジ成分を抽出し、更に、補助撮影の復元位相値Φｉ，ｍの画像からエッジ成分を抽出し、それらのエッジ成分の画像をマッチングさせて位置合わせを行う。
【００３９】
このようにして、復元位相値Φｉ，ｋの画像の不連続部分を接続し（位相接続し）、縞パターンの端から略単調増加する絶対位相値の画像が得られる。
【００４０】
３次元演算手段６３は、縞パターンの端部から連続している絶対位相値を基に、物体の表面形状の３次元座標値を求める。そして、それを基に、表示パネル制御手段６４は表示パネル３ｄに物体を３次元表示し、メモリカード制御手段６５はメモリカード３ｅに記憶する画像データを制御する。
【００４１】
次に、３次元計測装置１の全体の動作を説明する。図６は、３次元計測装置１の全体の動作を示すフロー図である。撮影の前に、先ず、基準距離の設定（ステップＳ１０１）を行う。ここでは、対象物体２までの距離を計測し、投影と撮影のフォーカスを設定する。次に、光量（投影の光量、露光時間、絞り）の設定（ステップＳ１０２）を行う。次に、縞パターンの波長の設定（ステップＳ１０３）を行う。最初は主撮影なので、その波長をｋに設定する。次に、撮影を行う（ステップＳ１０４）。
【００４２】
図７は、撮影の詳細フロー図である。先ず、１組の縞パターンＰ１〜Ｐ３を生成する（ステップＳ２０１）。反射鏡５０が、第１の受光素子５１に対象物体２からの画像が当たるよう反射面の角度を変えるべく回転し、投影部４は第１の縞バターンＰ１を対象物体２に投影する（ステップＳ２０２Ａ）。その投影と同期して第１の受光素子５１用のシャッタがオンする（ステップＳ２０２Ｂ）。それにより、第１の受光素子５１には第１の縞バターンＰ１の画像が入力され、この状態をスライス時間ＴＳの間だけ続ける。その後、第１の受光素子５１用のシャッタがオフし（ステップＳ２０３Ｂ）、投影部４は第１の縞バターンＰ１の投影を止める（ステップＳ２０３Ａ）。
【００４３】
次に、反射鏡５０が、第２の受光素子５２に対象物体２からの画像が当たるよう反射面の角度を変えるべく回転し、投影部４は第２の縞バターンＰ２を対象物体２に投影する（ステップＳ２０４Ａ）。その投影と同期して第２の受光素子５２用のシャッタがオンする（ステップＳ２０４Ｂ）。それにより、第２の受光素子５２には第２の縞バターンＰ２の画像が入力され、この状態をスライス時間ＴＳの間だけ続ける。その後、第２の受光素子５２用のシャッタがオフし（ステップＳ２０５Ｂ）、投影部４は第２の縞バターンＰ２の投影を止める（ステップＳ２０５Ａ）。
【００４４】
次に、反射鏡５０が、第３の受光素子５３に対象物体２からの画像が当たるよう反射面の角度を変えるべく回転し、投影部４は第３の縞バターンＰ３を対象物体２に投影する（ステップＳ２０６Ａ）。その投影と同期して第３の受光素子５３用のシャッタがオンする（ステップＳ２０６Ｂ）。それにより、第３の受光素子５３には第３の縞バターンＰ３の画像が入力され、この状態をスライス時間ＴＳの間だけ続ける。その後、第３の受光素子５３用のシャッタがオフし（ステップＳ２０７Ｂ）、投影部４は第３の縞バターンＰ３の投影を止める（ステップＳ２０７Ａ）。
【００４５】
次に、ステップＳ２０２Ａ〜２０７Ａ（又はＳ２０２Ｂ〜２０７Ｂ）の繰り返しがＮ回（＝ＴＥ／ＴＳ）に達すると次（ステップＳ２０９）に進み、達していなければ再度繰り返す（ステップＳ２０８）。ステップＳ２０９では、第１、第２及び第３の受光素子５１、５２、５３の輝度値が画像処理部６に読み出される。
【００４６】
このようにして主撮影が終わると、図６に示すように、補助撮影用に縞パターンの波長をｍに設定し（ステップＳ１０６）、補助撮影を行う（ステップＳ１０４）。
【００４７】
補助撮影が終わる（ステップＳ１０５）と、画像処理部６は、主撮影と補助撮影のそれぞれの復元位相値Φｉ，ｋ、Φｉ，ｍを算出する（ステップＳ１０７）。次に、位相接続を行い（ステップＳ１０８）、３次元座標値を算出し（ステップＳ１０９）、表示パネル３ｄに３次元表示する（ステップＳ１１０）。こうして、以上の一連のフローにより、対象物体２上の縞パターンの位相が再現され、物体の３次元形状が計測されることになる。
【００４８】
次に、この３次元計測装置１により、手振れによる影響が低減されることについて説明する。撮影のステップ（前述のステップＳ１０４）における手振れによる影響の低減は、投影部４がスライス時間ＴＳごとに第１、第２及び第３の縞パターンＰ１〜Ｐ３を順次切り換えて繰り返し投影し、１組の受光素子５１、５２、５３がスライス時間ＴＳごとに１組の縞パターンの画像を順次切り換えて取り込むことにより、実現される。
【００４９】
図８は、手振れがあった場合の復元位相値Φｉ，ｋのシミュレーション結果を示している。同図において、破線の曲線Ａは手振れがない場合の理想的な復元位相値Φｉ，ｋ、実線の曲線Ｂは３次元計測装置１において手振れがあった場合の復元位相値Φｉ，ｋである。３０ミリ秒の間に１５画素のずれが生じた場合、３次元計測装置１は１ミリ秒（スライス時間ＴＳ）ごとに順次切り換えて繰り返し投影・撮影しているので、１組の縞パターンＰ１〜Ｐ３はそれぞれほぼ同じだけずれたことになる。すなわち、物体上の１組の縞パターンＰ１〜Ｐ３の画像は３０ミリ秒間の積分画像であるから、全体としてのずれ量は平均した値の７．５画素となるが、相対的なずれ量は１ミリ秒（スライス時間ＴＳ）当たりのずれの０．５画素となる。位相値に換算すると、６４画素の波長の場合、相対的なずれ量は０．５／６４×２πとなる。この相対的なずれ量は非常に小さいので、図８に示すように、前述の式（数１）により算出された復元位相値Φｉ，ｋの線形性への影響は極めて少ない。なお、全体のずれ量が７．５画素であるため、復元位相値Φｉ，ｋは、図８に示すように、全体として７．５画素シフトしているが、これは種々の方法により補正可能である。
【００５０】
図８における一点鎖線の曲線Ｃは、１ミリ秒（スライス時間ＴＳ）ごとに順次切り換えて繰り返し投影することはせず、１組の縞パターンＰ１〜Ｐ３の画像の撮影を順番にそれぞれ１０ミリ秒（露光時間ＴＥ）をかけて行ったものにおいて、手振れがあった場合の復元位相値Φｉ，ｋのシミュレーション結果である。第１の縞パターンＰ１の撮影開始から１０ミリ秒後の第２の縞パターンＰ２の撮影開始時には、５画素のずれが生じ、第３の縞パターンＰ３の撮影開始時には、１０画素のずれが生じている。前述のように平均し、ずれた量は、第１の縞パターンＰ１の画像は２．５画素、第２の縞パターンＰ２の画像は７．５画素、第１の縞パターンＰ１の画像は１２．５画素のずれとなる。従って、全体としてのずれ量は、第１の縞パターンＰ１の画像のずれと等しく２．５画素となり、相対的なずれ量は５画素となる。位相値に換算すると、６４画素の波長の場合、相対的なずれ量は５／６４×２πとなる。この相対的なずれ量は大きいので、図８に示すように、復元位相値Φｉ，ｋの線形性がなくなり、非線形が大きく補正不可能の状態になっている。
【００５１】
このように、３次元計測装置１は、１個の画像の撮影に要する露光時間ＴＥを複数回分割して得られるスライス時間ＴＳごとに、１組の縞パターンＰ１〜Ｐ３の各々を順次切り換えて繰り返し投影し、１組の縞パターンＰ１〜Ｐ３の各々の画像を１組の受光素子５１、５２、５３に順次取り込んでそれを繰り返すので、手振れによる影響が低減され、対象物体２上の縞パターンＰ１〜Ｐ３の位相を正確に再現することができる。
【００５２】
なお、主撮影が終わって補助撮影を始めるまでの手振れによる位相接続への影響は、前述のように、主撮影の復元位相値Φｉ，ｋの画像からのエッジ成分の画像と、補助撮影の復元位相値Φｉ，ｍの画像からのエッジ成分の画像をマッチングさせて位置合わせを行うことで低減させる。
【００５３】
次に、本発明の望ましい別の実施形態に係る３次元計測装置９を説明する。この３次元計測装置９は、図９に示すように、主に、３次元計測装置１の撮影部５を撮影部１０に変形したものである。それに伴って、画像処理部６は、輝度値合算手段６０を新たに有することになる。
【００５４】
この撮影部１０は、受光素子を１個とし、その受光素子１１に順次切り換えて繰り返し投影される１組の縞パターンＰ１〜Ｐ３の画像が全て入力される。画像処理部６は、スライス時間ＴＳごとに各々の画素について輝度値を読み込んでそれを繰り返す。画像処理部６は、全ての輝度値を読み込んだ後或いは並行して、１組の縞パターンＰ１〜Ｐ３に対応する１組の輝度値の各々についての合算を行う。前述の表１の例では、時間０、３、・・・、２４、２７の輝度値の合算、時間１、４、・・・、２５、２８の輝度値の合算、時間２、５、・・・、２６、２９の輝度値の合算、を行う。
【００５５】
この３次元計測装置９の撮影部１０は、高速に輝度値を画像処理部６に転送できるものでなければならない。つまり、表１の例では、１ミリ秒について１画像以上を転送できなければならない。このようなものは、高価ではあるが、高速カメラとして市販されているものを使用できる。従って、この３次元計測装置９は、撮影部１０に市販の高速カメラを使用できる利点がある。
【００５６】
以上、本発明の望ましい実施形態に係る３次元計測装置について説明したが、本発明は、実施形態に記載したものに限られることなく、特許請求の範囲に記載した事項の範囲内でのさまざまな設計変更が可能である。例えば、投影する縞パターンをπ／４ずつ位相をずらして４個を１組とすることも可能である。また、波長ｋの長さは状況に合わせて任意に変えることが可能である。また、補助的な撮影を行わない３次元計測装置にも適用でき、その場合は、補助撮影に関する機能は省くことになる。
【図面の簡単な説明】
【００５７】
【図１】本発明の望ましい実施形態に係る３次元計測装置の外観を示す斜視図である。
【図２】同上の３次元計測装置の構成を示す模式図である。
【図３】同上の３次元計測装置における主撮影及びその位相値の復元を説明するものであり、（ａ）は１組の縞パターンのイメージ図、（ｂ）は復元位相値の特性図である。
【図４】同上の３次元計測装置における補助撮影及びその位相値の復元を説明するものであり、（ａ）は１組の縞パターンのイメージ図、（ｂ）は復元位相値の特性図である。
【図５】同上の３次元計測装置における位相接続を説明する特性図である。
【図６】同上の３次元計測装置の全体の動作を示すフロー図である。
【図７】同上の３次元計測装置における撮影の詳細フロー図である。
【図８】同上の３次元計測装置において手振れがあった場合の復元位相値のシミュレーション図である。
【図９】本発明の望ましい別の実施形態に係る３次元計測装置の構成を示す模式図である。
【符号の説明】
【００５８】
１、９ ３次元計測装置
２ 対象物体
４ 投影部
５、１０ 撮影部
５０ 反射鏡
５１、５２、５３、１１ 受光素子
６ 画像処理部
６１ 位相復元手段
６２ 位相接続手段
【技術分野】
【０００１】
本発明は、位相シフト法を用いて物体表面の３次元形状を計測する３次元計測装置に関する。
【背景技術】
【０００２】
物体の３次元形状を非接触で計測する方法として、位相シフト法が知られている。この位相シフト法は、次のようなものである。まず、測定すべき対象物体の表面に輝度が正弦波状に変化する縞パターンを投影し、その画像を別の方向から撮影する。次に、同様の投影・撮影を縞パターンの位相をπ／２ずつ、或いは２π／３ずつずらして１周期分だけ行う。これにより、１組の、すなわち４枚或いは３枚の撮影画像を得る。次に、画像処理により、それらの撮影画像間の輝度差から、物体の表面形状に応じて変化した縞パターン画像の位相値（復元位相値）を算出する。次に、０〜２πの復元位相値に適切なｎの２π×ｎを加算する。ここで、ｎは整数であり、縞パターンの端からの本数に対応している。これにより、復元位相値の画像の不連続部分を接続し（位相接続し）、縞パターンの端部から略単調増加する絶対的な位相値（絶対位相値）の画像が得られる。以上の一連の手順で、対象物体上の縞パターンの位相が再現され、それを基に対象物体の表面形状の３次元座標値が求められる。
【０００３】
なお、位相接続のためには、補助的な撮影を行うもの（例えば特許文献１）とそれを行わないもの（例えば特許文献２）が知られている。特許文献１には、波長が長い縞パターンで補助的な撮影を行って別の復元位相値を求め、その別の復元位相値を基に位相接続を行うことが記載されている。また、特許文献２には、補助的な撮影を行わず、１個の復元位相値の画像を特別なフィルタにより処理することで位相接続を行うことが記載されている。
【０００４】
【特許文献１】特開平６−６６５２７号公報
【特許文献２】特開平１１−１４３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、３次元計測装置は様々な分野で用いられている。その１つに、工場施設における部品を３次元計測することで、その耐用残年数の検査を行うものがある。すなわち、パイプなどの部品の表面形状は腐食によって変化するが、その表面形状の変化から耐用残年数を知ることができるのである。しかし、３次元計測装置を部品（対象物体）に合わせて設置するのは一般に大掛かりな作業を要し、一方、部品をはずして３次元計測装置が設置されている場所まで移動させることは更に困難である。
【０００６】
そこで、本願発明者は、現場で簡便に計測できるように手持ち可能な３次元計測装置について鋭意研究を継続してきたところ、手持ち可能な３次元計測装置の最大の課題は手振れによる影響であり、それを低減することが最も重要であると思料するに至り、以下に詳述する３次元計測装置を案出するに至った。
【０００７】
本発明は、上記事由に鑑みてなしたもので、その目的とするところは、手振れによる影響を低減し、測定すべき対象物体上の縞パターンの位相を正確に再現することができる手持ち可能な３次元計測装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に係る３次元計測装置は、測定すべき対象物体に所定角度ずつ位相をずらした１組の縞パターンを投影する投影部と、少なくとも１個よりなる１組の受光素子を有し、物体上の１組の縞パターンの画像を撮影して各々の画素について１組の輝度値を得る撮影部と、各々の画素について１組の輝度値から復元位相値を算出する位相復元手段、及び復元位相値に２π×ｎを（但し、ｎは整数）加算して絶対位相値を求める位相接続手段、を有する画像処理部と、を備えて対象物体の表面形状を計測する３次元計測装置において、前記投影部、前記撮影部、前記画像処理部を収容する手持ち可能な筐体を有し、前記投影部は、１個の画像の撮影のために前記撮影部が必要とする露光時間を複数回分割して得られるスライス時間ごとに１組の縞パターンの各々を順次切り換えて繰り返し投影し、前記撮影部は、スライス時間ごとに１組の縞パターンの各々の画像を前記受光素子に順次取り込んでそれを繰り返すことを特徴とする。
【０００９】
請求項２に係る３次元計測装置は、請求項１に記載された３次元計測装置において、前記撮影部は、スライス時間ごとに反射面の角度を変えて１組の縞パターンの各々の画像を反射する反射鏡を更に有し、１組の前記受光素子に該反射鏡からの像が入力されることを特徴とする。
【００１０】
請求項３に係る３次元計測装置は、請求項１に記載された３次元計測装置において、前記撮影部は、前記受光素子を１個とし、その受光素子に１組の縞パターンの画像が全て入力され、前記画像処理部は、スライス時間ごとに各々の画素について輝度値を読み込んでそれを繰り返し、１組の輝度値の各々についての合算を行うことを特徴とする。
【００１１】
請求項４に係る３次元計測装置は、請求項１乃至３のいずれかに記載された３次元計測装置において、前記投影部と前記撮影部は、波長ｋの縞パターンを投影して撮影する主撮影、及び略１画面の大きさに相当する波長ｍの縞パターンを投影して撮影する補助撮影、を行い、前記位相復元手段は、画素ｉについて主撮影の復元位相値Φｉ，ｋと補助撮影の復元位相値Φｉ，ｍとを算出し、前記位相接続手段は、最もΦｉ，ｍ×ｍ／ｋに近くなるｎのΦｉ，ｋ＋２π×ｎを絶対位相値とすることを特徴とする。
【００１２】
請求項５に係る３次元計測装置は、請求項４に記載された３次元計測装置において、前記位相接続手段は、主撮影の復元位相値Φｉ，ｋの復元画像から抽出されたエッジ成分と、補助撮影の復元位相値Φｉ，ｍの復元画像から抽出されたエッジ成分と、により位置合わせを行うことを特徴とする。
【発明の効果】
【００１３】
本発明の３次元計測装置は、１個の画像の撮影に要する露光時間を複数回分割して得られるスライス時間ごとに、１組の縞パターンの各々を順次切り換えて繰り返し投影し、１組の縞パターンの各々の画像を受光素子に順次取り込んでそれを繰り返すので、手振れによる影響が低減され、物体上の縞パターンの位相を正確に再現することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の最良の実施形態を図面を参照しながら説明する。図１は本発明の望ましい実施形態に係る３次元計測装置１の外観を示す斜視図である。この３次元計測装置１は、位相シフト法によって測定すべき対象物体２の表面形状を計測するものである。
【００１５】
３次元計測装置１は、手持ち可能なようにコンパクトな筐体３を有し、筐体３の内部には、投影部と撮影部の機構や、それら回路を構築する電子部品を搭載したプリント基板３ａを収容している。筐体３には、投影する縞パターンを通過させる投光部３ｂと、対象物体２から反射してきた縞パターンの画像が通過する受光部３ｃとが同一の側面に設けてある。投光部３ｂと受光部３ｃとの距離は例えば約２０ｃｍである。また、筐体３には、対象物体２を３次元表示する表示パネル（例えば液晶表示パネル）３ｄが取り付けられ、画像データを保存するメモリカード３ｅの差し込み口３ｆが設けられている。なお、筐体３の形状や部品（投光部３ｂなど）の配置は、図１に示したものに限らず任意に変更可能である。
【００１６】
図２は、３次元計測装置１の構成を示す模式図である。３次元計測装置１は、投影部４と、撮影部５と、画像処理部６と、スライス時間生成部７と、投影パターン生成部８と、を有する。以下、これらの各部を説明する。
【００１７】
投影部４は、対象物体２に２π／３（所定角度）ずつ位相をずらした１組を構成する３個の縞パターン（第１、第２及び第３の縞パターン）Ｐ１〜Ｐ３を投影する。これらの縞パターンＰ１〜Ｐ３は、輝度が正弦波状に変化するものであり、投影パターン生成部８で生成される。なお、縞パターンは横方向に輝度が正弦波状に変化する横波と縦方向に変化する縦波が可能であるが、以下の説明では横波としたものについて説明する。
【００１８】
投影部４は、所定のスライス時間ＴＳごとに１組の縞パターンＰ１〜Ｐ３を順次切り換えて繰り返し投影する。スライス時間ＴＳは、１個の画像の撮影のために撮影部５が必要とする露光時間ＴＥを均等に複数回分割したものである。以下の表１に示す例ではＴＥは１０ミリ秒であり、ＴＥを１０等分してＴＳを１ミリ秒としている。表１は投影する１組の縞パターンＰ１〜Ｐ３の切り換えを示すものである。先ず、第１の縞パターンＰ１を投影し、１ミリ秒経過すると第２の縞パターンＰ２を投影する。次に１ミリ秒経過すると第３の縞パターンＰ３を投影し、更に１ミリ秒経過すると第１の縞パターンＰ１を投影する。このようにして、１ミリ秒ごとに１組の縞パターンＰ１〜Ｐ３を順次切り換えて繰り返し投影する。
【００１９】
【表１】
【００２０】
投影部４は、例えば、ＤＬＰ（Digital Light Processing）プロジェクタを用いることができる。ＤＬＰプロジェクタは、角度（２値が可能）を毎秒数千回の高速で切り換えられる画素ごとの微小な鏡（ＤＭＤ（Digital Micromirror Device））を敷き詰めたものであり、２値の時間の割合で輝度が設定される。この実施形態においては、２値の時間の割合をスライス時間ＴＳ毎に変えて１組の縞パターンＰ１〜Ｐ３の各々を投影する。このようなＤＬＰプロジェクタは、例えば、単枚式のものにおいて、フレームメモリのＲＧＢの３個の領域に１組の縞パターンＰ１〜Ｐ３を対応させ、光源からの光を３色のカラーフィルタを介さずにＤＭＤに入射させることによって実現できる。
【００２１】
撮影部５は、反射面の角度が可変である反射鏡５０と、その前段の反射面の角度が一定の固定反射鏡５４と、１組を構成する３個の受光素子５１〜５３と、を有する。反射鏡５０は、スライス時間ＴＳごとに反射面の角度を変え（例えば２０度ずつ）、固定反射鏡５４からの１組の縞パターンＰ１〜Ｐ３の各々の画像を反射し、１組の受光素子５１、５２、５３に、反射鏡５０からの像をそれぞれ入力する。すなわち、第１の縞パターンＰ１の画像は第１の受光素子５１に入力され、第２の縞パターンＰ２の画像は第２の受光素子５２に入力され、第３の縞パターンＰ３の画像は第３の受光素子５３に入力される。これらの受光素子５１〜５３は、モノクロのものでもＲＧＢ対応のものでもよい。また、受光素子５１〜５３は、例えばＣＣＤである。
【００２２】
撮影部５は、対象物体２上の１組の縞パターンＰ１〜Ｐ３の画像を撮影し、それらの撮影画像をスライス時間ＴＳごとに１組の受光素子５１、５２、５３に順次取り込み、それを繰り返す。そうすることで、画像の各々の画素について１組の輝度値を得る。
【００２３】
以下の表２は、投影する１組の縞パターンＰ１〜Ｐ３の切り換え（前述の表１と同じ）と１組の受光素子５１、５２、５３の切り換えを示したものである。第１の縞パターンＰ１の投影と同期してその撮影を第１の受光素子５１で行い、第２の縞パターンＰ２の投影と同期してその撮影を第２の受光素子５２で行い、第３の縞パターンＰ３の投影と同期してその撮影を第３の受光素子５３で行っている。
【００２４】
【表２】
【００２５】
撮影時間３０ミリ秒の撮影が終了したときの第１の受光素子５１には、時間０、３、・・・、２４、２７に入射された光量が足されたもの、すなわち１０ミリ秒（露光時間ＴＥ）に入射された光量に対応する電荷が蓄積され、それに応じた１組の輝度値を得る。第２、第３の受光素子５２、５３についても同様である。
【００２６】
なお、１個の画像撮影のために撮影部５が必要とする露光時間ＴＥは、受光素子５１〜５３の種類、ランダムノイズ、暗電流等の一定ノイズなどによって変わるものである。一方、スライス時間ＴＳは、投影部４における１組の縞パターンＰ１〜Ｐ３の切り換えの能力、反射鏡５０の角度切り換えの能力、などによって変わるものである。
【００２７】
画像処理部６は、位相復元手段６１と、位相接続手段６２と、３次元演算手段６３と、表示パネル制御手段６４と、メモリカード制御手段６５と、を有する。
【００２８】
位相復元手段６１は、撮影部５から読み出された各々の画素について１組の輝度値から０〜２πの復元位相値を算出する。具体的には、以下の計算により、各々の画素について１組の輝度値から０〜２πの復元位相値を算出する。第１、第２及び第３の縞パターンＰ１〜Ｐ３の画像の画素ｉの輝度値をそれぞれＰ１，ｉ、Ｐ２，ｉ、Ｐ３，ｉとすると、それらは次の式で表される。
Ｐ１，ｉ＝Ｋｉ×（ＩＢＡＳＥ＋ＩＳ×ｃｏｓ（Φｉ））
Ｐ２，ｉ＝Ｋｉ×（ＩＢＡＳＥ＋ＩＳ×ｃｏｓ（Φｉ＋２π／３））
Ｐ３，ｉ＝Ｋｉ×（ＩＢＡＳＥ＋ＩＳ×ｃｏｓ（Φｉ＋４π／３））
ここで、Ｋｉは画素ｉに対応した被写体（物体）の反射率、ＩＢＡＳＥは縞パターンの光量の中心値、ＩＳは縞パターンの光量の振幅値、Φｉは画素ｉの位相値（復元位相値）である。よって、次の式（数１）が導き出される。
【００２９】
【数１】
【００３０】
復元位相値Φｉは、数１により算出される。すなわち、復元位相値Φｉは、縞パターンＰ１〜Ｐ３の画像の画素ｉの輝度値であるＰ１，ｉ、Ｐ２，ｉ、Ｐ３，ｉの相対的な差のみに基づいているのである。
【００３１】
ここで、復元位相値Φｉは、横方向に沿った輝度の勾配の大きい程、復元精度が高い。従って、例えば、１組の受光素子５１、５２、５３としてＲＧＢ対応のものを用いた場合、Ｒの画像、Ｇの画像、Ｂの画像の内で最も輝度の勾配の大きいものを選択して復元位相値Φｉを算出することもできる。
【００３２】
図３は撮影（後で説明する主撮影）及びその位相値の復元を説明するためのものであり、縞パターンの波長ｋを６４画素としている。（ａ）は１組の縞パターンＰ１〜Ｐ３のイメージ図、（ｂ）は復元位相値Φｉ，ｋの横方向の変化を示す特性図である。図３（ｂ）に示すように、画素ｉの復元位相値Φｉ，ｋは０〜２πの値であり、復元位相値Φｉ，ｋの画像は波長ｋと同じ周期で不連続になっている。なお、値が０から２πに増加するところの線の形は対象物体２の表面形状に応じて変わる。また、波長ｋの縞パターンについての画素ｉの復元位相値ΦｉをΦｉ，ｋ、後述の波長ｍの縞パターンについての画素ｉの復元位相値ΦｉをΦｉ，ｍと記す。
【００３３】
位相接続手段６２は、復元位相値Φｉ，ｋに２π×ｎを（但し、ｎは整数）加算する。画素ｉの復元位相値Φｉ，ｋの画像は不連続であるため、その次の画像処理として、復元位相値Φｉ，ｋに適切なｎの２π×ｎを加算し、復元位相値Φｉ，ｋの画像の不連続部分を接続（位相接続）する。そうすることで、縞パターンの端部からの絶対的な位相値（絶対位相値）が求まる。ここで、ｎは縞パターンの端からの本数に対応している。なお、背景技術の項で述べたように、位相接続のためには補助的な撮影を行うものとそれを行わないものとがあるが、本実施形態の３次元計測装置１は補助的な撮影を行って位相接続するものである。以下、この３次元計測装置１が用いる補助的な撮影を補助撮影、本来の高精度で復元位相値Φｉ，ｋを算出するための撮影を主撮影、とする。
【００３４】
主撮影と補助撮影の撮影の方法は、用いる１組の縞パターンＰ１〜Ｐ３の波長の他は実質的に同じである。主撮影の波長ｋは６４画素と短いが、補助撮影の波長ｍは略１画面の画像の大きさに相当する長さの１０２４画素である。画像処理部６の位相復元手段６１は、本来の高精度な復元位相値Φｉである主撮影の復元位相値Φｉ，ｋを算出すると共に、補助撮影の復元位相値Φｉ，ｍを算出する。
【００３５】
図４は補助撮影及びその位相値の復元を説明するためのものであり、（ａ）は１組の縞パターンＰ１〜Ｐ３のイメージ図、（ｂ）は復元位相値Φｉ，ｍの横方向の変化を示す特性図である。図４（ｂ）に示すように、復元位相値Φｉ，ｍは略１画面の端部から端部までが１波長になっている。なお、破線の直線は物体２の表面に凹凸がない場合の理想値を示している。
【００３６】
位相接続手段６２は、補助撮影の復元位相値Φｉ，ｍに補助撮影の波長ｍと主撮影の波長ｋの比を乗じる。すなわち、Φｉ，ｍ×ｍ／ｋを計算する。図５（ａ）は、この結果を特性図に表したものである。一方、主撮影の復元位相値Φｉ，ｋに２π×ｎを加算する。すなわち、Φｉ，ｋ＋２π×ｎを計算する。そして、Φｉ，ｋ＋２π×ｎが最もΦｉ，ｍ×ｍ／ｋに近くなるｎを適切なｎの値とする。図５（ｂ）は、この結果を特性図に表したものである。
【００３７】
ここで、補助撮影の波長ｍは非常に長く、受光素子における輝度値の分解能の影響やノイズの影響を受け易いため、復元位相値Φｉ，ｍの復元精度は低い。しかし、この復元の誤差は±（π×ｋ／ｍ）以内にする必要がある。このため、撮影（主撮影又は補助撮影）の前に、復元の誤差を考慮して、投影部４における投影の光量、撮影部５における露光時間や絞りの設定を行う。
【００３８】
また、主撮影の復元位相値Φｉ，ｋの画像と補助撮影の復元位相値Φｉ，ｍの画像とは位置合わせを行ったうえで位相接続を行う。すなわち、手振れにより、画素ｉにおける復元位相値Φｉ，ｋと復元位相値Φｉ，ｍとが対象物体２の同じ位置に対応するものでないならば、そうなるように位置合わせをする。このためには、主撮影の復元位相値Φｉ，ｋの画像からエッジ成分を抽出し、更に、補助撮影の復元位相値Φｉ，ｍの画像からエッジ成分を抽出し、それらのエッジ成分の画像をマッチングさせて位置合わせを行う。
【００３９】
このようにして、復元位相値Φｉ，ｋの画像の不連続部分を接続し（位相接続し）、縞パターンの端から略単調増加する絶対位相値の画像が得られる。
【００４０】
３次元演算手段６３は、縞パターンの端部から連続している絶対位相値を基に、物体の表面形状の３次元座標値を求める。そして、それを基に、表示パネル制御手段６４は表示パネル３ｄに物体を３次元表示し、メモリカード制御手段６５はメモリカード３ｅに記憶する画像データを制御する。
【００４１】
次に、３次元計測装置１の全体の動作を説明する。図６は、３次元計測装置１の全体の動作を示すフロー図である。撮影の前に、先ず、基準距離の設定（ステップＳ１０１）を行う。ここでは、対象物体２までの距離を計測し、投影と撮影のフォーカスを設定する。次に、光量（投影の光量、露光時間、絞り）の設定（ステップＳ１０２）を行う。次に、縞パターンの波長の設定（ステップＳ１０３）を行う。最初は主撮影なので、その波長をｋに設定する。次に、撮影を行う（ステップＳ１０４）。
【００４２】
図７は、撮影の詳細フロー図である。先ず、１組の縞パターンＰ１〜Ｐ３を生成する（ステップＳ２０１）。反射鏡５０が、第１の受光素子５１に対象物体２からの画像が当たるよう反射面の角度を変えるべく回転し、投影部４は第１の縞バターンＰ１を対象物体２に投影する（ステップＳ２０２Ａ）。その投影と同期して第１の受光素子５１用のシャッタがオンする（ステップＳ２０２Ｂ）。それにより、第１の受光素子５１には第１の縞バターンＰ１の画像が入力され、この状態をスライス時間ＴＳの間だけ続ける。その後、第１の受光素子５１用のシャッタがオフし（ステップＳ２０３Ｂ）、投影部４は第１の縞バターンＰ１の投影を止める（ステップＳ２０３Ａ）。
【００４３】
次に、反射鏡５０が、第２の受光素子５２に対象物体２からの画像が当たるよう反射面の角度を変えるべく回転し、投影部４は第２の縞バターンＰ２を対象物体２に投影する（ステップＳ２０４Ａ）。その投影と同期して第２の受光素子５２用のシャッタがオンする（ステップＳ２０４Ｂ）。それにより、第２の受光素子５２には第２の縞バターンＰ２の画像が入力され、この状態をスライス時間ＴＳの間だけ続ける。その後、第２の受光素子５２用のシャッタがオフし（ステップＳ２０５Ｂ）、投影部４は第２の縞バターンＰ２の投影を止める（ステップＳ２０５Ａ）。
【００４４】
次に、反射鏡５０が、第３の受光素子５３に対象物体２からの画像が当たるよう反射面の角度を変えるべく回転し、投影部４は第３の縞バターンＰ３を対象物体２に投影する（ステップＳ２０６Ａ）。その投影と同期して第３の受光素子５３用のシャッタがオンする（ステップＳ２０６Ｂ）。それにより、第３の受光素子５３には第３の縞バターンＰ３の画像が入力され、この状態をスライス時間ＴＳの間だけ続ける。その後、第３の受光素子５３用のシャッタがオフし（ステップＳ２０７Ｂ）、投影部４は第３の縞バターンＰ３の投影を止める（ステップＳ２０７Ａ）。
【００４５】
次に、ステップＳ２０２Ａ〜２０７Ａ（又はＳ２０２Ｂ〜２０７Ｂ）の繰り返しがＮ回（＝ＴＥ／ＴＳ）に達すると次（ステップＳ２０９）に進み、達していなければ再度繰り返す（ステップＳ２０８）。ステップＳ２０９では、第１、第２及び第３の受光素子５１、５２、５３の輝度値が画像処理部６に読み出される。
【００４６】
このようにして主撮影が終わると、図６に示すように、補助撮影用に縞パターンの波長をｍに設定し（ステップＳ１０６）、補助撮影を行う（ステップＳ１０４）。
【００４７】
補助撮影が終わる（ステップＳ１０５）と、画像処理部６は、主撮影と補助撮影のそれぞれの復元位相値Φｉ，ｋ、Φｉ，ｍを算出する（ステップＳ１０７）。次に、位相接続を行い（ステップＳ１０８）、３次元座標値を算出し（ステップＳ１０９）、表示パネル３ｄに３次元表示する（ステップＳ１１０）。こうして、以上の一連のフローにより、対象物体２上の縞パターンの位相が再現され、物体の３次元形状が計測されることになる。
【００４８】
次に、この３次元計測装置１により、手振れによる影響が低減されることについて説明する。撮影のステップ（前述のステップＳ１０４）における手振れによる影響の低減は、投影部４がスライス時間ＴＳごとに第１、第２及び第３の縞パターンＰ１〜Ｐ３を順次切り換えて繰り返し投影し、１組の受光素子５１、５２、５３がスライス時間ＴＳごとに１組の縞パターンの画像を順次切り換えて取り込むことにより、実現される。
【００４９】
図８は、手振れがあった場合の復元位相値Φｉ，ｋのシミュレーション結果を示している。同図において、破線の曲線Ａは手振れがない場合の理想的な復元位相値Φｉ，ｋ、実線の曲線Ｂは３次元計測装置１において手振れがあった場合の復元位相値Φｉ，ｋである。３０ミリ秒の間に１５画素のずれが生じた場合、３次元計測装置１は１ミリ秒（スライス時間ＴＳ）ごとに順次切り換えて繰り返し投影・撮影しているので、１組の縞パターンＰ１〜Ｐ３はそれぞれほぼ同じだけずれたことになる。すなわち、物体上の１組の縞パターンＰ１〜Ｐ３の画像は３０ミリ秒間の積分画像であるから、全体としてのずれ量は平均した値の７．５画素となるが、相対的なずれ量は１ミリ秒（スライス時間ＴＳ）当たりのずれの０．５画素となる。位相値に換算すると、６４画素の波長の場合、相対的なずれ量は０．５／６４×２πとなる。この相対的なずれ量は非常に小さいので、図８に示すように、前述の式（数１）により算出された復元位相値Φｉ，ｋの線形性への影響は極めて少ない。なお、全体のずれ量が７．５画素であるため、復元位相値Φｉ，ｋは、図８に示すように、全体として７．５画素シフトしているが、これは種々の方法により補正可能である。
【００５０】
図８における一点鎖線の曲線Ｃは、１ミリ秒（スライス時間ＴＳ）ごとに順次切り換えて繰り返し投影することはせず、１組の縞パターンＰ１〜Ｐ３の画像の撮影を順番にそれぞれ１０ミリ秒（露光時間ＴＥ）をかけて行ったものにおいて、手振れがあった場合の復元位相値Φｉ，ｋのシミュレーション結果である。第１の縞パターンＰ１の撮影開始から１０ミリ秒後の第２の縞パターンＰ２の撮影開始時には、５画素のずれが生じ、第３の縞パターンＰ３の撮影開始時には、１０画素のずれが生じている。前述のように平均し、ずれた量は、第１の縞パターンＰ１の画像は２．５画素、第２の縞パターンＰ２の画像は７．５画素、第１の縞パターンＰ１の画像は１２．５画素のずれとなる。従って、全体としてのずれ量は、第１の縞パターンＰ１の画像のずれと等しく２．５画素となり、相対的なずれ量は５画素となる。位相値に換算すると、６４画素の波長の場合、相対的なずれ量は５／６４×２πとなる。この相対的なずれ量は大きいので、図８に示すように、復元位相値Φｉ，ｋの線形性がなくなり、非線形が大きく補正不可能の状態になっている。
【００５１】
このように、３次元計測装置１は、１個の画像の撮影に要する露光時間ＴＥを複数回分割して得られるスライス時間ＴＳごとに、１組の縞パターンＰ１〜Ｐ３の各々を順次切り換えて繰り返し投影し、１組の縞パターンＰ１〜Ｐ３の各々の画像を１組の受光素子５１、５２、５３に順次取り込んでそれを繰り返すので、手振れによる影響が低減され、対象物体２上の縞パターンＰ１〜Ｐ３の位相を正確に再現することができる。
【００５２】
なお、主撮影が終わって補助撮影を始めるまでの手振れによる位相接続への影響は、前述のように、主撮影の復元位相値Φｉ，ｋの画像からのエッジ成分の画像と、補助撮影の復元位相値Φｉ，ｍの画像からのエッジ成分の画像をマッチングさせて位置合わせを行うことで低減させる。
【００５３】
次に、本発明の望ましい別の実施形態に係る３次元計測装置９を説明する。この３次元計測装置９は、図９に示すように、主に、３次元計測装置１の撮影部５を撮影部１０に変形したものである。それに伴って、画像処理部６は、輝度値合算手段６０を新たに有することになる。
【００５４】
この撮影部１０は、受光素子を１個とし、その受光素子１１に順次切り換えて繰り返し投影される１組の縞パターンＰ１〜Ｐ３の画像が全て入力される。画像処理部６は、スライス時間ＴＳごとに各々の画素について輝度値を読み込んでそれを繰り返す。画像処理部６は、全ての輝度値を読み込んだ後或いは並行して、１組の縞パターンＰ１〜Ｐ３に対応する１組の輝度値の各々についての合算を行う。前述の表１の例では、時間０、３、・・・、２４、２７の輝度値の合算、時間１、４、・・・、２５、２８の輝度値の合算、時間２、５、・・・、２６、２９の輝度値の合算、を行う。
【００５５】
この３次元計測装置９の撮影部１０は、高速に輝度値を画像処理部６に転送できるものでなければならない。つまり、表１の例では、１ミリ秒について１画像以上を転送できなければならない。このようなものは、高価ではあるが、高速カメラとして市販されているものを使用できる。従って、この３次元計測装置９は、撮影部１０に市販の高速カメラを使用できる利点がある。
【００５６】
以上、本発明の望ましい実施形態に係る３次元計測装置について説明したが、本発明は、実施形態に記載したものに限られることなく、特許請求の範囲に記載した事項の範囲内でのさまざまな設計変更が可能である。例えば、投影する縞パターンをπ／４ずつ位相をずらして４個を１組とすることも可能である。また、波長ｋの長さは状況に合わせて任意に変えることが可能である。また、補助的な撮影を行わない３次元計測装置にも適用でき、その場合は、補助撮影に関する機能は省くことになる。
【図面の簡単な説明】
【００５７】
【図１】本発明の望ましい実施形態に係る３次元計測装置の外観を示す斜視図である。
【図２】同上の３次元計測装置の構成を示す模式図である。
【図３】同上の３次元計測装置における主撮影及びその位相値の復元を説明するものであり、（ａ）は１組の縞パターンのイメージ図、（ｂ）は復元位相値の特性図である。
【図４】同上の３次元計測装置における補助撮影及びその位相値の復元を説明するものであり、（ａ）は１組の縞パターンのイメージ図、（ｂ）は復元位相値の特性図である。
【図５】同上の３次元計測装置における位相接続を説明する特性図である。
【図６】同上の３次元計測装置の全体の動作を示すフロー図である。
【図７】同上の３次元計測装置における撮影の詳細フロー図である。
【図８】同上の３次元計測装置において手振れがあった場合の復元位相値のシミュレーション図である。
【図９】本発明の望ましい別の実施形態に係る３次元計測装置の構成を示す模式図である。
【符号の説明】
【００５８】
１、９ ３次元計測装置
２ 対象物体
４ 投影部
５、１０ 撮影部
５０ 反射鏡
５１、５２、５３、１１ 受光素子
６ 画像処理部
６１ 位相復元手段
６２ 位相接続手段
【特許請求の範囲】
【請求項１】
測定すべき対象物体に所定角度ずつ位相をずらした１組の縞パターンを投影する投影部と、
少なくとも１個よりなる１組の受光素子を有し、物体上の１組の縞パターンの画像を撮影して各々の画素について１組の輝度値を得る撮影部と、
各々の画素について１組の輝度値から復元位相値を算出する位相復元手段、及び復元位相値に２π×ｎを（但し、ｎは整数）加算して絶対位相値を求める位相接続手段、を有する画像処理部と、
を備えて対象物体の表面形状を計測する３次元計測装置において、
前記投影部、前記撮影部、前記画像処理部を収容する手持ち可能な筐体を有し、
前記投影部は、１個の画像の撮影のために前記撮影部が必要とする露光時間を複数回分割して得られるスライス時間ごとに１組の縞パターンの各々を順次切り換えて繰り返し投影し、
前記撮影部は、スライス時間ごとに１組の縞パターンの各々の画像を前記受光素子に順次取り込んでそれを繰り返すことを特徴とする３次元計測装置。
【請求項２】
請求項１に記載された３次元計測装置において、
前記撮影部は、スライス時間ごとに反射面の角度を変えて１組の縞パターンの各々の画像を反射する反射鏡を更に有し、１組の前記受光素子に該反射鏡からの像が入力されることを特徴とする３次元計測装置。
【請求項３】
請求項１に記載された３次元計測装置において、
前記撮影部は、前記受光素子を１個とし、その受光素子に１組の縞パターンの画像が全て入力され、
前記画像処理部は、スライス時間ごとに各々の画素について輝度値を読み込んでそれを繰り返し、１組の輝度値の各々についての合算を行うことを特徴とする３次元計測装置。
【請求項４】
請求項１乃至３のいずれかに記載された３次元計測装置において、
前記投影部と前記撮影部は、波長ｋの縞パターンを投影して撮影する主撮影、及び略１画面の大きさに相当する波長ｍの縞パターンを投影して撮影する補助撮影、を行い、
前記位相復元手段は、画素ｉについて主撮影の復元位相値Φｉ，ｋと補助撮影の復元位相値Φｉ，ｍとを算出し、
前記位相接続手段は、最もΦｉ，ｍ×ｍ／ｋに近くなるｎのΦｉ，ｋ＋２π×ｎを絶対位相値とすることを特徴とする３次元計測装置。
【請求項５】
請求項４に記載された３次元計測装置において、
前記位相接続手段は、主撮影の復元位相値Φｉ，ｋの復元画像から抽出されたエッジ成分と、補助撮影の復元位相値Φｉ，ｍの復元画像から抽出されたエッジ成分と、により位置合わせを行うことを特徴とする３次元計測装置。
【請求項１】
測定すべき対象物体に所定角度ずつ位相をずらした１組の縞パターンを投影する投影部と、
少なくとも１個よりなる１組の受光素子を有し、物体上の１組の縞パターンの画像を撮影して各々の画素について１組の輝度値を得る撮影部と、
各々の画素について１組の輝度値から復元位相値を算出する位相復元手段、及び復元位相値に２π×ｎを（但し、ｎは整数）加算して絶対位相値を求める位相接続手段、を有する画像処理部と、
を備えて対象物体の表面形状を計測する３次元計測装置において、
前記投影部、前記撮影部、前記画像処理部を収容する手持ち可能な筐体を有し、
前記投影部は、１個の画像の撮影のために前記撮影部が必要とする露光時間を複数回分割して得られるスライス時間ごとに１組の縞パターンの各々を順次切り換えて繰り返し投影し、
前記撮影部は、スライス時間ごとに１組の縞パターンの各々の画像を前記受光素子に順次取り込んでそれを繰り返すことを特徴とする３次元計測装置。
【請求項２】
請求項１に記載された３次元計測装置において、
前記撮影部は、スライス時間ごとに反射面の角度を変えて１組の縞パターンの各々の画像を反射する反射鏡を更に有し、１組の前記受光素子に該反射鏡からの像が入力されることを特徴とする３次元計測装置。
【請求項３】
請求項１に記載された３次元計測装置において、
前記撮影部は、前記受光素子を１個とし、その受光素子に１組の縞パターンの画像が全て入力され、
前記画像処理部は、スライス時間ごとに各々の画素について輝度値を読み込んでそれを繰り返し、１組の輝度値の各々についての合算を行うことを特徴とする３次元計測装置。
【請求項４】
請求項１乃至３のいずれかに記載された３次元計測装置において、
前記投影部と前記撮影部は、波長ｋの縞パターンを投影して撮影する主撮影、及び略１画面の大きさに相当する波長ｍの縞パターンを投影して撮影する補助撮影、を行い、
前記位相復元手段は、画素ｉについて主撮影の復元位相値Φｉ，ｋと補助撮影の復元位相値Φｉ，ｍとを算出し、
前記位相接続手段は、最もΦｉ，ｍ×ｍ／ｋに近くなるｎのΦｉ，ｋ＋２π×ｎを絶対位相値とすることを特徴とする３次元計測装置。
【請求項５】
請求項４に記載された３次元計測装置において、
前記位相接続手段は、主撮影の復元位相値Φｉ，ｋの復元画像から抽出されたエッジ成分と、補助撮影の復元位相値Φｉ，ｍの復元画像から抽出されたエッジ成分と、により位置合わせを行うことを特徴とする３次元計測装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図４】
【公開番号】特開２００７−１３９４２８（Ｐ２００７−１３９４２８Ａ）
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願番号】特願２００５−３２９４４８（Ｐ２００５−３２９４４８）
【出願日】平成１７年１１月１４日（２００５．１１．１４）
【出願人】（５０５３９９００７）アイディンシステム株式会社 (3)
【Ｆターム（参考）】
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願日】平成１７年１１月１４日（２００５．１１．１４）
【出願人】（５０５３９９００７）アイディンシステム株式会社 (3)
【Ｆターム（参考）】
[ Back to top ]