３次元形状計測装置、３次元形状計測方法
【課題】同一の対象物についてパターン光の投影方向を変えて計測した３次元形状の計測結果を合成する処理の処理負荷を軽減する。
【解決手段】対象物１を撮像する撮像装置３の左右にパターン光を投影する投影装置２をそれぞれ配置する。各投影装置２はそれぞれ縞状のパターン光を対象物１に投影し、対象物１に投影されたパターンを撮像装置３で撮像することにより、位相シフト法で対象物１の３次元形状を計測する。基本演算部１３ａはパターン光を投影した投影装置２ごとに対象物１の３次元形状を計算する。回転補正部１３ｂは各計測結果の３次元点群データからそれぞれ基準平面を規定し、基準平面の法線ベクトルを用いて回転補正を行う。平行移動部１３ｃは回転補正後の基準平面を平行移動させて重ね合わせる。合成処理部１３ｄは、重ね合わせ後の３次元点群データを用いて３次元形状の計測結果を合成する。
【解決手段】対象物１を撮像する撮像装置３の左右にパターン光を投影する投影装置２をそれぞれ配置する。各投影装置２はそれぞれ縞状のパターン光を対象物１に投影し、対象物１に投影されたパターンを撮像装置３で撮像することにより、位相シフト法で対象物１の３次元形状を計測する。基本演算部１３ａはパターン光を投影した投影装置２ごとに対象物１の３次元形状を計算する。回転補正部１３ｂは各計測結果の３次元点群データからそれぞれ基準平面を規定し、基準平面の法線ベクトルを用いて回転補正を行う。平行移動部１３ｃは回転補正後の基準平面を平行移動させて重ね合わせる。合成処理部１３ｄは、重ね合わせ後の３次元点群データを用いて３次元形状の計測結果を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物に適宜のパターン光を投影し、対象物の表面に形成される投影パターンを検出することにより、三角測量法の原理を用いて対象物の３次元形状を計測するアクティブ型の３次元形状計測装置、３次元形状計測方法に関するものである。
【背景技術】
【０００２】
一般に、三角測量法の原理を用いて対象物の３次元形状を計測するアクティブ型の３次元形状計測装置としては、点状のパターン光であるスポット光を投影する構成、線状のパターン光であるスリット光を投影する構成（光切断法）、縞状のパターン光を投影する構成（空間コード化法、位相シフト法）が提案されている。
【０００３】
たとえば、位相シフト法を用いる場合は、明度が正弦波状や三角波状のように周期的に変化する縞状のパターン光を対象物に投影する投影装置と、対象物の表面に形成された投影パターンを撮像する撮像装置とを用いる。対象物の表面の３次元形状を計測するには、投影装置からのパターン光の投影位置を変化させるとともに、投影位置の異なる複数枚の画像を撮像装置により撮像し、各画像の画素毎の濃淡値の組み合わせから各画素に対応した距離値を算出する。
【０００４】
ここに、三角測量法の原理を採用した３次元形状計測装置では、投影装置からパターン光を投影する方向と、撮像装置の光軸とは異なる方向とを異ならせる必要があるから、対象物の表面に凹凸が存在すると、パターン光を投影することができないか、あるいは撮像装置の死角になる領域が生じることになる。すなわち、対象物の表面であっても３次元形状を計測することができない領域が生じるという原理的な問題がある。
【０００５】
この問題を解決するために、撮像装置を対象物の正面に配置し、投影装置から対象物に対して複数の方向からパターン光を順次投影する技術と、投影装置を対象物の正面に配置し、撮像装置を用いて対象物に対して複数の方向から投影パターンを撮像する技術とが提案されている。たとえば、特許文献１には、対象物の正面に配置した投影装置（ディスプレイ）の両側にそれぞれ撮像装置（ＣＣＤカメラ）を配置し、対象物の表面に形成される投影パターンを２台の撮像装置によって異なる方向から撮像する技術が記載されている。
【０００６】
特許文献１に記載された技術では、２台の撮像装置の画素の対応付けを行っており、この技術を用いると、各撮像装置で撮像した画像から求められる３次元計測の結果を統合することによって、各撮像装置で撮像した画像から得られた対象物の形状を補完することができ、結果的に、対象物の表面の全域に亘って３次元形状を死角なく計測することが可能になる。特許文献１に記載の技術では、２台の撮像装置を用いているが、投影装置と撮像装置との配置を入れ替えることによっても同様である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３２２１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、投影装置と撮像装置との一方を複数台設けることにより、対象物の３次元形状の計測結果を補完することができるが、投影装置と撮像装置との校正を正しく行ったとしても、各装置の組み合わせごとに独立して計測した３次元座標は一致しない場合がある。たとえば、１台の撮像装置と２台の投影装置とを用いることにより、３次元形状の計測結果が２組得られたときに、対象物の同一位置について両計測結果で得られた３次元座標が不一致になる場合がある。すなわち、複数の計測結果を統合する場合には、各計測結果の誤差を補正した後に各計測結果を統合する必要がある。
【０００９】
しかしながら、計測結果の誤差を算出するために各画素毎に計測結果を対応付ける処理は、画素数が多くなるほど負荷が大きくなり、たとえば１００万画素を超えるような撮像装置を用いる場合には、処理負荷がきわめて大きくなり、計測結果の統合に多大な時間を要するという問題がある。
【００１０】
本発明は上記事由に鑑みて為されたものであり、その目的は、パターン光を対象物に投影して三角測量法の原理により対象物の３次元形状を計測するにあたり、対象物について複数の方向から計測した結果を統合する処理の処理負荷を軽減して処理時間を短縮することを可能にする３次元形状計測装置、３次元形状計測方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明構成は、上記目的を達成するために、対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置と、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測処理部とを備え、３次元計測処理部は、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出する基本演算部と、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行う回転補正部と、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させる平行移動部と、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出する合成演算部とを備える構成を採用する。
【００１２】
また、投影装置は、明度が周期的に変化する縞状のパターン光を縞に直交する方向に偏移させるパターン生成部を有し、撮像装置は、投影装置が対象物にパターン光を投影した状態で撮像することにより濃淡画像を出力し、基本演算部は、縞の位置が異なる３種類以上のパターン光の投影時に撮像装置が撮像した３種類以上の濃淡画像を用いることにより位相シフト法によって３次元点群データを算出するのが望ましい。
【００１３】
回転補正部は、基準平面を規定する点群を３次元点群データから対話的に選択する対話装置が付加されている構成と、撮像装置で撮像した画像からパターン光による濃淡値の変化を除去した後に微分値が閾値以下になる領域において、３次元点群データから基準平面を規定する点群を自動的に選択する構成とのいずれかを採用することができる。
【００１４】
本発明方法は、上記目的を達成するために、対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置とを用い、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測方法であって、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出した後、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行い、次に、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させ、さらに、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出する技術を採用する。
【発明の効果】
【００１５】
本発明の技術を採用すれば、投影装置を用いてパターン光を対象物に投影するとともに対象物を撮像し、撮像装置で撮像した画像を用いて三角測量法の原理により対象物の３次元形状を計測する技術において、複数方向から異なるタイミングでパターン光を投影することによって、死角のない３次元形状の計測が可能になる。
【００１６】
しかも、パターン光を投光する方向ごとに得られる３次元形状の計測結果を合成するにあたって、回転補正と平行移動とに分けて位置合わせを行うようにし、回転補正については各計測結果から得られる基準平面の法線ベクトルを平行にするように回転させるだけであるから、回転角および回転軸を、それぞれ内積と外積とによって簡単に求めることができる。すなわち、３次元点群データをそのまま用いる場合に比較して、回転補正に要する処理負荷が大幅に軽減される。
【００１７】
また、平行移動については、回転補正が終了した後に重ね合わせのみを行うから、平行移動の処理負荷も少なくなり、結果的に、３次元点群データをそのまま用いて位置合わせを行う処理に比較すると、全体としての処理負荷が大幅に低減されることになる。すなわし、複数種類の計測結果を合成するにあたって、回転補正と平行移動とに分けることにより、それぞれの計算が簡単になり、多くのハードウェア資源を必要とせずに短時間で位置合わせの処理を行うことが可能になる。
【００１８】
３次元形状を計測する技術として縞状のパターン光を投影する位相シフト法を採用すると、点状のスポット光や線状のスリット光を用いる場合のように対象物の表面でパターン光を走査する必要がないから、計測に要する時間を短縮することができる。
【００１９】
基準平面を規定するための点群は、操作者が対話的に選択すれば、対象物の形状に応じて経験的に適正な点群を選択することが可能になり、微分値を用いて自動的に選択すれば、操作者の熟練度によらず再現性のよい結果が得られる。
【図面の簡単な説明】
【００２０】
【図１】実施形態を示す概略構成図である。
【図２】同上に用いる投影装置の構成図である。
【図３】同上に用いる撮像装置の構成図である。
【図４】同上に用いる位相シフト法の原理説明図である。
【図５】同上に用いる位相シフト法の原理説明図である。
【図６】同上の動作説明図である。
【発明を実施するための形態】
【００２１】
以下に説明する実施形態では、位相シフト法により３次元形状を計測する技術を例として説明する。また、本実施形態では、図１に示すように、対象物１の表面にパターン光を投影する投影装置２を２台設け、対象物１の表面に投影されたパターンを撮像するＴＶカメラのような撮像装置３を両投影装置２の間に配置している。
【００２２】
図２に示すように、投影装置２は、発光源を備える照明部２１と、照明部２１から放射された光にパターンを付与するパターン生成部２２と、対象物１の表面にパターン光を投影する投影光学系２３とを備える。
【００２３】
照明部２１は、パターン生成部２２の全面に均一に光束を照射できるように構成することが望ましい。すなわち、パターン生成部２２にむらなく光束を照射できるように、適宜の発光源に反射鏡やレンズを組み合わせて照明部２１を構成している。たとえば、照明部２１は、発光源とコンデンサレンズとを組み合わせて平行光線束を放射するように構成される。
【００２４】
パターン生成部２２は、透過率に２次元のパターンを付与することが可能であり、かつ透過率のパターンを変更可能である構成であれば、どのようなものを用いてもよい。本実施形態では、パターン生成部２２として透過型液晶パネルと偏光板との組み合わせを想定しているが、十数μｍ角の微小鏡面の角度を変化させるデジタルミラーデバイス（＝ＤＭＤ（商標））、濃淡パターンを付与したフィルムをアクチュエータにより変位させる構成などを採用することも可能である。
【００２５】
投影光学系２３は、レンズを用いることを想定しているが、対象物１の表面にパターン光を投影できれば構成を問わない。ただし、ビームの広がりが少なく平行光線束に近い光線束でパターンを投影するように、パターン生成部２２との位置関係を含めて設計することが望ましい。
【００２６】
また、撮像装置３は、図３のように、エリアイメージセンサである撮像素子３１と、撮像素子３１の受光面に像を結ぶための撮像光学系３２とを備える。撮像素子３１には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。
【００２７】
２台の投影装置２は撮像装置３の正面方向とは異なる方向からパターン光を投影する。パターン光としては、図４に示すように、明度が正弦波状に変化する縞状のパターンを用いる（図４（ａ）は縞状のパターンを示し、図４（ｂ）は明度の変化を表している））。投影装置２と撮像装置３とは、パターン光の明度が変化する方向（縞に直交する方向）を撮像装置３により得られる濃淡画像の水平方向または垂直方向に一致させるように、相対位置を定めておくのが望ましい。以下では、濃淡画像の水平方向をパターン光の明度が変化する方向に一致させているものとする。
【００２８】
上述のように、撮像装置３を挟んで２台の投影装置２を配置し、かつ２台の投影装置２が撮像装置３の正面方向とは異なる方向からパターン光を投影する位置関係としているから、対象物１の表面に凹凸があり、一方の投影装置２からのパターン光を投影できない影の領域があっても、当該領域には他方の投影装置２からのパターン光を投影することが可能になる。
【００２９】
次に、上述のように配置した投影装置２と撮像装置３とを用いて位相シフト法により対象物１の３次元形状を計測する原理について説明する。以下に説明する技術では、各１台の投影装置２からパターン光を対象物１に投光する間に撮像装置３で撮像した対象物１の濃淡画像を用いて対象物１の表面の３次元形状をそれぞれ計測した後、各投影装置２を用いて得られた対象物１の３次元形状を統合することによって、対象物１の表面全体の３次元形状を計測する。
【００３０】
したがって、まず１台の投影装置２を用いて３次元形状を計測する技術について説明する。ここでは、図１に示すように、撮像装置３の正面方向（光軸の方向）をＺ方向と規定し、濃淡画像の水平方向をＸ方向、濃淡画像の垂直方向をＹ方向と規定する。ここに、対象物１から撮像装置３に向かう向きをＺ方向の正の向きとする。したがって、左手系の直交座標系を規定していることになる。Ｚ軸の原点位置は対象物１について規定した基準面に応じて適宜に設定することができる。
【００３１】
また、撮像装置３の画素の座標系は、濃淡画像の左上隅を原点として、水平方向をｘ方向、垂直方向をｙ方向とし、濃淡画像の右向きをｘ方向の正の向きとし、濃淡画像の下向きをｙ方向の正の向きとする。つまり、画素位置は（ｘ，ｙ）で表される。
【００３２】
上述した座標系の規定は、以下の説明に用いるための便宜的なものであって、本発明を限定する趣旨ではない。
【００３３】
また、説明を容易にするために、１台の投影装置２から４種類のパターン光を投影する場合について説明するが、パターン光の種類は３種類以上であれば、対象物１の３次元形状を計測することが可能である。また、正弦波状に明度が変化するパターン光を用いる例を説明するが、明度の変化が三角波や鋸歯状波になるパターン光を用いることも可能である。さらに、撮像装置３の１画面内に複数本の縞が撮像されるようにパターン光を形成するが、縞の本数については撮像素子３１の画素数などの条件に応じて適宜に設定する。
【００３４】
本実施形態で用いる４種類のパターン光は、明度の変化パターンにより表される正弦波の位相をπ／４ずつずらしたパターン光であって、各パターン光の明度の変化周期は等しくなっている。上述した投影装置２の構成から明らかなように、パターン光は、パターン生成部２２の透過率を決めるパターンデータにより決定される。したがって、本実施形態では、コンピュータを主構成とする３次元計測処理部１０に設けたパターンデータ生成部１１において４種類のパターンデータを生成し、各パターンデータを順にパターン生成部２２に与えることにより、４種類のパターン光を対象物１に投影する。
【００３５】
パターン生成部２２により付与される透過率のパターン（つまり、パターン光の各部位の明度）を数式を用いて表すと数１のようになる。数１では、パターン生成部２２に規定した２次元平面における座標位置を（ｕ，ｖ）とし、各座標位置（ｕ，ｖ）の明度Ｌ（ｕ，ｖ）を表している。座標位置（ｕ，ｖ）は液晶パネルの画素の位置に相当する。
【００３６】
【数１】
【００３７】
なお、数１において、ａ（ｕ，ｖ）は明度の振幅（最大値と最小値との差の２分の１）を表し、φ（ｕ）は明度変化の位相、ｉπ／２は位相のシフト量であって、ｉ＝０，１，２，３とすることにより、４種類のパターン光を表す。また、ｂ（ｕ，ｖ）はバイアスであり、明度の最大値と最小値との平均値に相当する。
【００３８】
数１ではパターン光の明度の変化をｕ方向について付与してあり、ｖ方向については明度は一定としている。したがって、位相φ（ｕ）は座標値ｕの関数になり、座標値ｕを位相φの関数ｕ（φ）と表すことが可能である。ただし、複数本の縞を形成する場合は、位相φを独立変数とした場合に、関数ｕ（φ）は一意に決定されない。
【００３９】
３次元計測処理部１０は画像記憶部１２を有しており、投影装置２からのパターン光が投影された対象物１を撮像装置３により撮像して得られる濃淡画像は、画像記憶部１２に格納される。濃淡画像は、パターン光の種類毎に撮像される。すなわち、画像記憶部１２には、位相φ（ｕ）がπ／２ずつずれたパターン光に対応した４枚の濃淡画像が格納される。
【００４０】
画像記憶部１２に格納された４枚の濃淡画像について、同じ画素位置（ｘ，ｙ）の画素の濃淡値をＩｉ（ｉ＝０，１，２，３）とすると、明度変化が正弦波状であり、かつ各濃淡画像を撮像したときのパターン光の位相差がπ／２ずつ異なることから、三角関数の関係により、各画素位置（ｘ，ｙ）に対応するパターン光の位相φ（ｘ，ｙ）を数２で表すことができる。
【００４１】
【数２】
【００４２】
ここに、数２における濃淡値Ｉ０，Ｉ１，Ｉ２，Ｉ３は、それぞれ数１における位相のシフト量を０，π／２，π，３π／２としたときの値を示している。すなわち、図５に示すように、画素位置（ｘ，ｙ）において、○印で示す濃淡値Ｉ０，Ｉ１，Ｉ２，Ｉ３が得られたとすると、パターン光の明度変化が正弦波状であるときに、数２の演算によって、×印の濃淡値Ｉ０，Ｉ１，Ｉ２，Ｉ３を持つ破線のような正弦波のパターン光が対象物１に投影されていると推定され、画素位置（ｘ，ｙ）に対応したパターン光の位相φ（ｘ，ｙ）が求められるのである。
【００４３】
対象物１に投影したパターン光は、対象物１の３次元形状により変調されているが、投影時の位相φ（ｕ）と濃淡画像から得られた位相φ（ｘ，ｙ）とを一対一に対応付けることにより数２の関係が得られるから、パターン生成部２２の座標（ｕ，ｖ）と、撮像素子３１の画素の画素位置（ｘ，ｙ）との対応関係が得られる。投影装置２と撮像装置３との位置関係は既知であるから、パターン生成部２２の座標（ｕ，ｖ）と撮像素子３１の画素の画素位置（ｘ，ｙ）とが対応付けられることにより、対象物１の表面において画素位置（ｘ，ｙ）に対応する位置までの距離を三角測量法の原理によって求めることができる。
【００４４】
なお、上述したように、濃淡画像の水平方向をパターン光の明度が変化する方向に一致させているから、ｖ方向とｙ方向とは平行であり、ｖ座標とｙ座標とは、投影光学系２３と撮像光学系３２と上述の距離との関係を用いて対応付けられる。
【００４５】
すなわち、対象物１の表面の３次元座標（Ｘ，Ｙ，Ｚ）は、直交座標系の原点を適宜に設定することによって数３の形で表される。
【００４６】
【数３】
【００４７】
ただし、数３において、ｕ（φ′）は位相φをパターン生成部２２のｕ方向の座標に対応付けるための関数であり、ｐｃ，ｐｐは、それぞれ、撮像装置３と投影装置２とのキャリブレーションによって求められるパラメータであり、数４、数５の関係を満足する。
【００４８】
【数４】
【００４９】
【数５】
【００５０】
上述のようにして対象物１の３次元座標（Ｘ，Ｙ，Ｚ）を求める処理は、３次元計測処理部１０に設けた演算部１３の基本演算部１３ａにおいて行う。要するに、基本演算部１３ａは、パターン光の投影時に撮像した濃淡画像を用いて対象物１の表面の３次元形状を表す３次元点群データ（３次元座標（Ｘ，Ｙ，Ｚ）を有する点の集合）を算出する。
【００５１】
また、投影装置２から４種類のパターン光を対象物１に投影することと、パターン光の投影に同期して撮像装置３により対象物１を撮像することとは、３次元計測処理部１０に設けた投影・撮像制御部１４が行う。また、演算部１３で求めた３次元座標（Ｘ，Ｙ，Ｚ）は、画像記憶部１２に格納される。
【００５２】
ところで、１台の投影装置２から対象物１に対してパターン光を投影している場合に、対象物１の表面に凹凸が存在していると、パターン光が凹凸の裏面側に到達せず、影になる領域が生じる。また、対象物１の表面の状態によっては、十分な強度の反射光が撮像装置３に入射しない領域が生じる場合もある。このような領域については、撮像装置３で撮像された濃淡画像を用いても対象物１の３次元形状を正しく求めることができない。
【００５３】
そこで、撮像装置３に入射する反射光の強度Ａ（ｘ，ｙ）を数６のように定義し、強度Ａ（ｘ，ｙ）が規定した閾値以下である場合には、画素位置（ｘ，ｙ）の画素を計測不能点とする。計測不能点については対象物１の３次元座標（Ｘ，Ｙ，Ｚ）が不明であるから、画像記憶部１２には３次元座標（Ｘ，Ｙ，Ｚ）に代えて規定値を登録する。
【００５４】
【数６】
【００５５】
上述の手順で対象物１の表面の３次元座標（Ｘ，Ｙ，Ｚ）を求める処理を他方の投影装置２でも行うと、画像記憶部１２には対象物１について求めた２種類の３次元座標（Ｘ，Ｙ，Ｚ）のデータが格納される。３次元座標（Ｘ，Ｙ，Ｚ）のデータは離散値であるから、以下では対象物１を含む空間領域について得られた３次元座標（Ｘ，Ｙ，Ｚ）の集合を３次元点群データと呼ぶ。
【００５６】
画像記憶部１２に格納された２種類の３次元点群データは、対象物１について同一の領域を含んでいるが、異なる投影装置２を用いて２種類の３次元座標（Ｘ，Ｙ，Ｚ）を求めているから、対象物１の同一点の３次元座標（Ｘ，Ｙ，Ｚ）は両者で必ずしも一致しない。
【００５７】
ところで、３次元点群データは撮像素子３１の各画素の画素位置（ｘ，ｙ）に一対一に対応するから、各投影装置２を用いて得た各３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）は、３次元座標（Ｘ，Ｙ，Ｚ）を値に持つ離散関数で表現することができる。
【００５８】
たとえば、ＰＡ（ｘ１，ｙ１）＝（Ｘ１，Ｙ１，Ｚ１）、ＰＢ（ｘ１，ｙ１）＝（Ｘ２，Ｙ２，Ｚ２）になる。このように、画素位置（ｘ，ｙ）に対して異なる３次元座標（Ｘ，Ｙ，Ｚ）になるのは、数３で用いるキャリブレーションのパラメータｐｃ，ｐｐを完全に正確には求めることができないからである。
【００５９】
以下では、パラメータｐｃ，ｐｐの誤差による３次元座標（Ｘ，Ｙ，Ｚ）の相違を解消して、対象物の同一点の３次元座標（Ｘ，Ｙ，Ｚ）を一致させるために、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の位置合わせを行う手順について説明する。以下の手順では、まず両３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の一方について座標軸を回転させ、その後、座標軸を平行移動させることにより位置合わせを行う。
【００６０】
以下に説明する位置合わせの原理は、次の知見に基づいている。すなわち、複数の３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の各点について、撮像装置３での画素位置（ｘ，ｙ）が共通であれば、３次元空間における同じ位置を計測した点であるということである。したがって、計測時に取得した濃淡画像から任意の領域を抽出し、抽出した領域における点群を投影装置２の台数分だけ取得すると、取得した点群は、３次元空間において物理的に同じ場所を計測した結果であることが保証される。
【００６１】
この点を考慮すると、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）を対応付けるための探索は不要であり、撮像装置３の画素位置（ｘ，ｙ）に対してすでに対応付けされている各点同士で、どのように回転補正と平行移動とを行えば、位置誤差を最小にすることができるかという、比較的単純化された問題を解けばよいことがわかる。以下では、回転補正と平行移動とを行う技術について説明する。
【００６２】
３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の位置合わせを行うには、まず各３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）を代表する基準平面を規定できるように、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）から少なくとも３点を抽出する。以下では、抽出した複数個の点を点群＜ＰＡ＞，＜ＰＢ＞と記述する。点群＜ＰＡ＞，＜ＰＢ＞の抽出から座標軸を回転させるまでの処理は演算部１３における回転補正部１３ｂで行う。
【００６３】
抽出する点は、モニタ装置１５に表示される対象物１の画像を見ながら図示しない入力装置（キーボードやマウス）を用いて操作者が対話的に指定することができる。つまり、モニタ装置１５と入力装置とにより点群を対話的に選択する対話装置が構成される。抽出する点の個数や点間の位置関係については特別な規定はない。ただし、両３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）について同じ画素位置（ｘ，ｙ）に対応する点を指定する必要がある。
【００６４】
たとえば、３次元点群データＰＡ（ｘ，ｙ）から次のように点群＜ＰＡ＞を抽出する場合を想定する。
＜ＰＡ＞：ＰＡ（ｘ１，ｙ１），ＰＡ（ｘ２，ｙ２），…，ＰＡ（ｘｎ，ｙｎ）
この場合、３次元点群データＰＢ（ｘ，ｙ）については、次のように点群＜ＰＢ＞を抽出することが必要である。
＜ＰＢ＞：ＰＢ（ｘ１，ｙ１），ＰＢ（ｘ２，ｙ２），…，ＰＢ（ｘｎ，ｙｎ）
また、位相シフト法を採用する場合には、投影光学系２３や撮像光学系２２の収差のために、濃淡値の変化が大きい部位（段差のような濃度勾配が大きくなる部位）で誤差が大きくなるから、抽出する点を指定する部位としては、濃淡値の変化が大きい部位を避けることが望ましい。
【００６５】
ここに、対象物１の表面形状による濃淡値の変化の程度を知る必要があるから、パターン光による濃淡値の変化を除去する必要がある。したがって、パターン光ではなく光束が一様である平行光線束を別に投影して撮像した濃淡画像を用いるか、４種類の濃淡画像の濃淡値を同画素ごとに加算して得られる濃淡画像を用いて点群＜ＰＡ＞，＜ＰＢ＞の抽出を行う。
【００６６】
図６（ａ）にパターン光によるパターンを除去した濃淡画像の例を示す。この濃淡画像は撮像装置３の左側に配置した投影装置２からパターン光を投影する場合を示しており、対象物１の中央に形成された凸部の右側に影が生じている。この場合、凸部付近の濃淡値の変化が大きい領域を避けて、破線で囲む領域Ｄ１，Ｄ２から点群＜ＰＡ＞，＜ＰＢ＞を抽出するのが望ましい。
【００６７】
したがって、各投影装置２でパターン光を投影したときの濃淡画像に基づいて、図６（ｂ）（ｃ）のように、それぞれ３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）が得られているとすれば、図６（ｂ）（ｃ）のように領域Ｄ１，Ｄ２に対応する画素位置（ｘ，ｙ）から点群＜ＰＡ＞，＜ＰＢ＞が抽出される。
【００６８】
上述の例では、３次元点群データ操作者がＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）から点群＜ＰＡ＞，＜ＰＢ＞を抽出しているが、点を自動的に抽出するようにしてもよい。この場合も、濃淡値の変化が少ない部位から点を抽出する必要がある。つまり、パターン光によるパターンを除去した画像について微分演算を行い、微分値が閾値以下になる領域から点を抽出する。
【００６９】
なお、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の一部ではなく全部を用いることも可能であり、この場合には抽出する点の指定は不要である。
【００７０】
上述のようにして３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）から点群＜ＰＡ＞，＜ＰＢ＞を抽出した後、図６（ｄ）（ｅ）のように、抽出した点群＜ＰＡ＞，＜ＰＢ＞により規定される基準平面ＳＡ，ＳＢを求め、求めた基準平面ＳＡ，ＳＢの法線ベクトルｎＡ，ｎＢを求める。３点を抽出する場合には基準平面ＳＡ，ＳＢを一意に規定することができるが、４点以上を抽出する場合には最小二乗法を適用して基準平面ＳＡ，ＳＢを規定する。
【００７１】
本実施形態では、投影装置２の光軸方向をＺ方向としているから、点群＜ＰＡ＞，＜ＰＢ＞を用いて規定した法線ベクトルのＺ方向成分が０になることはない。そこで、点群＜ＰＡ＞により規定される基準平面ＳＡの法線ベクトルをｎＡ＝（ａＡ，ｂＡ，１）、＜点群ＰＢ＞により規定される基準平面ＳＢの法線ベクトルをｎＢ＝（ａＢ，ｂＢ，１）、平面方程式の定数項を、それぞれｄＡ，ｄＢとおくと、数７の関係が得られる。
【００７２】
【数７】
【００７３】
なお、Ａｊ＋は、Ａの疑似逆行列を意味する。
【００７４】
一方、両基準平面ＳＡ，ＳＢの法線ベクトルｎＡ，ｎＢがなす角度θは、数８により表される。
【００７５】
【数８】
【００７６】
両基準平面ＳＡ，ＳＢを平行にするための回転軸は、両法線ベクトルｎＡ，ｎＢを含む平面に直交する。そこで、両法線ベクトルｎＡ，ｎＢを含む平面に直交する単位ベクトルｎＡＢを数９で求める。
【００７７】
【数９】
【００７８】
角度θと単位ベクトルｎＡＢとを用い、数１０を適用して３次元点群データＰＢ（ｘ，ｙ）の回転補正を行うと、３次元点群データＰＢ（ｘ，ｙ）を代表する基準平面を３次元点群データＰＡ（ｘ，ｙ）を代表する基準平面に平行にするように回転補正した３次元点群データＰＢ′（ｘ，ｙ）が得られる。点群＜ＰＡ＞，＜ＰＢ＞の抽出から回転補正までは回転補正部１３ｂが行う。
【００７９】
【数１０】
【００８０】
回転補正部１３ｂが３次元点群データＰＢ（ｘ，ｙ）の回転補正を行うことによって、３次元点群データＰＡ（ｘ，ｙ）を代表する基準平面と３次元点群データＰＢ′（ｘ，ｙ）を代表する基準平面とが平行になるが、２種類の３次元点群データを重ね合わせるには、さらに平行移動を行う。平行移動は、演算部１３に設けた平行移動部１３ｃにより、Ｘ方向、Ｙ方向、Ｚ方向の各方向について独立に行われる。
【００８１】
すなわち、平行移動部１３ｃは、回転補正後の３次元点群データＰＢ′（ｘ，ｙ）と３次元点群データＰＡ（ｘ，ｙ）とについて、同じ画素位置（ｘ，ｙ）の点間の距離を求め、すべての点間の距離の平方和が最小になるように最小二乗法によって、平行移動のための移動ベクトルＴ＝（ｔｘ，ｔｙ，ｔｚ）を求める。ただし、３次元点群データＰＡ（ｘ，ｙ）と３次元点群データＰＢ′（ｘ，ｙ）との一方に計測不能点があれば、計測不能点は距離の計算に含めないようにする。移動ベクトルＴの各成分は、数１１により求められる。数１１からわかるように、移動ベクトルＴの各成分は、３次元点群データＰＡ（ｘ，ｙ）と３次元点群データＰＢ′（ｘ，ｙ）との各座標成分の差の平均値になる。
【００８２】
【数１１】
【００８３】
ここに、数１１においてＮは距離を求めた点の総数である。
【００８４】
平行移動部１３ｃは、上述のようにして移動ベクトルＴが求められると、数１２のように、３次元点群データＰＢ′（ｘ，ｙ）の各成分を移動ベクトルＴで平行移動させ、回転補正と平行移動とを行った３次元点群データＰＢ″（ｘ，ｙ）を求める。
【００８５】
【数１２】
【００８６】
以上のようにして得られた３次元点群データＰＡ（ｘ，ｙ）と３次元点群データＰＢ″（ｘ，ｙ）とは、演算部１３に設けた合成処理部１３ｄで合成する。すなわち、合成処理部１３ｄでは、両者の同じ画素位置（ｘ，ｙ）の成分の平均値を求め、求めた平均値を当該画素位置（ｘ，ｙ）に対応する座標値（Ｘ，Ｙ，Ｚ）とすることにより３次元点群データＰＡ（ｘ，ｙ），ＰＢ″（ｘ，ｙ）を合成し、当該画素位置（ｘ，ｙ）に対応する１つの座標値（Ｘ，Ｙ，Ｚ）を決定する。ここで、合成処理部１３ｄでは、いずれか一方の３次元点群データＰＡ（ｘ，ｙ），ＰＢ″（ｘ，ｙ）に計測不能点があれば、当該画素位置（ｘ，ｙ）について、他方の座標値（Ｘ，Ｙ，Ｚ）を用いる。
【００８７】
上述した手順により、２種類の３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）について回転補正および平行移動を行った後に合成し、画素位置（ｘ，ｙ）に対応した１つの座標値（Ｘ，Ｙ、Ｚ）を求めることができる。
【００８８】
また、上述の説明から明らかなように、回転補正と平行移動とを個別に行い、回転補正の際には、点群を用いて規定した基準平面の法線によって回転軸および回転角を決めているから、コンピュータ画像処理において広く採用されている四元数を用いた回転の技術を適用することができ、結果的に回転補正の処理負荷を軽減することができる。しかも、平行移動の際には最小二乗法を適用しているから、平行移動の演算に際しては数１１、数１２のように線形演算を行うだけの簡単な演算になり、平行移動に際しての処理も処理負荷が小さくなる。言い換えると、処理負荷の小さい処理を順に行うことによって、全体としての処理負荷も小さくなり、多くのハードウェア資源を必要とすることなく死角のない３次元形状の計測を行うことが可能になる。
【００８９】
なお、上述の例では、２台の投影装置２を設けているが、投影装置２の台数を３台以上とする場合でも上述した技術を適用することが可能である。また、各方向からパターン光を対象物１に投影するのは異なるタイミングであり、複数のパターン光を同時に投影することはないから、１台の投影装置２の位置を変化させることにより複数箇所からパターン光を投影することも可能である。
【００９０】
さらに、上述の構成例では、対象物１の３次元点群データを求めるために位相シフト法を採用しているが、投影装置からパターン光を投影し三角測量法の原理を用いて３次元形状を計測する技術の範囲であれば、３次元点群データを求める技術はどのようなものでもよく、たとえば、パターン光をスポット光やスリット光とする光切断法や、２値の縞状のパターン光を用い縞の幅を変えてパターン光を３回以上投影する空間コード化法を採用してもよい。
【符号の説明】
【００９１】
１ 対象物
２ 投影装置
３ 撮像装置
１０ ３次元計測処理部
１３ 演算部
１３ａ 基本演算部
１３ｂ 回転補正部
１３ｃ 平行移動部
１３ｄ 合成処理部
１５ モニタ装置（対話装置）
【技術分野】
【０００１】
本発明は、対象物に適宜のパターン光を投影し、対象物の表面に形成される投影パターンを検出することにより、三角測量法の原理を用いて対象物の３次元形状を計測するアクティブ型の３次元形状計測装置、３次元形状計測方法に関するものである。
【背景技術】
【０００２】
一般に、三角測量法の原理を用いて対象物の３次元形状を計測するアクティブ型の３次元形状計測装置としては、点状のパターン光であるスポット光を投影する構成、線状のパターン光であるスリット光を投影する構成（光切断法）、縞状のパターン光を投影する構成（空間コード化法、位相シフト法）が提案されている。
【０００３】
たとえば、位相シフト法を用いる場合は、明度が正弦波状や三角波状のように周期的に変化する縞状のパターン光を対象物に投影する投影装置と、対象物の表面に形成された投影パターンを撮像する撮像装置とを用いる。対象物の表面の３次元形状を計測するには、投影装置からのパターン光の投影位置を変化させるとともに、投影位置の異なる複数枚の画像を撮像装置により撮像し、各画像の画素毎の濃淡値の組み合わせから各画素に対応した距離値を算出する。
【０００４】
ここに、三角測量法の原理を採用した３次元形状計測装置では、投影装置からパターン光を投影する方向と、撮像装置の光軸とは異なる方向とを異ならせる必要があるから、対象物の表面に凹凸が存在すると、パターン光を投影することができないか、あるいは撮像装置の死角になる領域が生じることになる。すなわち、対象物の表面であっても３次元形状を計測することができない領域が生じるという原理的な問題がある。
【０００５】
この問題を解決するために、撮像装置を対象物の正面に配置し、投影装置から対象物に対して複数の方向からパターン光を順次投影する技術と、投影装置を対象物の正面に配置し、撮像装置を用いて対象物に対して複数の方向から投影パターンを撮像する技術とが提案されている。たとえば、特許文献１には、対象物の正面に配置した投影装置（ディスプレイ）の両側にそれぞれ撮像装置（ＣＣＤカメラ）を配置し、対象物の表面に形成される投影パターンを２台の撮像装置によって異なる方向から撮像する技術が記載されている。
【０００６】
特許文献１に記載された技術では、２台の撮像装置の画素の対応付けを行っており、この技術を用いると、各撮像装置で撮像した画像から求められる３次元計測の結果を統合することによって、各撮像装置で撮像した画像から得られた対象物の形状を補完することができ、結果的に、対象物の表面の全域に亘って３次元形状を死角なく計測することが可能になる。特許文献１に記載の技術では、２台の撮像装置を用いているが、投影装置と撮像装置との配置を入れ替えることによっても同様である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３２２１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、投影装置と撮像装置との一方を複数台設けることにより、対象物の３次元形状の計測結果を補完することができるが、投影装置と撮像装置との校正を正しく行ったとしても、各装置の組み合わせごとに独立して計測した３次元座標は一致しない場合がある。たとえば、１台の撮像装置と２台の投影装置とを用いることにより、３次元形状の計測結果が２組得られたときに、対象物の同一位置について両計測結果で得られた３次元座標が不一致になる場合がある。すなわち、複数の計測結果を統合する場合には、各計測結果の誤差を補正した後に各計測結果を統合する必要がある。
【０００９】
しかしながら、計測結果の誤差を算出するために各画素毎に計測結果を対応付ける処理は、画素数が多くなるほど負荷が大きくなり、たとえば１００万画素を超えるような撮像装置を用いる場合には、処理負荷がきわめて大きくなり、計測結果の統合に多大な時間を要するという問題がある。
【００１０】
本発明は上記事由に鑑みて為されたものであり、その目的は、パターン光を対象物に投影して三角測量法の原理により対象物の３次元形状を計測するにあたり、対象物について複数の方向から計測した結果を統合する処理の処理負荷を軽減して処理時間を短縮することを可能にする３次元形状計測装置、３次元形状計測方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明構成は、上記目的を達成するために、対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置と、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測処理部とを備え、３次元計測処理部は、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出する基本演算部と、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行う回転補正部と、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させる平行移動部と、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出する合成演算部とを備える構成を採用する。
【００１２】
また、投影装置は、明度が周期的に変化する縞状のパターン光を縞に直交する方向に偏移させるパターン生成部を有し、撮像装置は、投影装置が対象物にパターン光を投影した状態で撮像することにより濃淡画像を出力し、基本演算部は、縞の位置が異なる３種類以上のパターン光の投影時に撮像装置が撮像した３種類以上の濃淡画像を用いることにより位相シフト法によって３次元点群データを算出するのが望ましい。
【００１３】
回転補正部は、基準平面を規定する点群を３次元点群データから対話的に選択する対話装置が付加されている構成と、撮像装置で撮像した画像からパターン光による濃淡値の変化を除去した後に微分値が閾値以下になる領域において、３次元点群データから基準平面を規定する点群を自動的に選択する構成とのいずれかを採用することができる。
【００１４】
本発明方法は、上記目的を達成するために、対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置とを用い、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測方法であって、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出した後、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行い、次に、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させ、さらに、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出する技術を採用する。
【発明の効果】
【００１５】
本発明の技術を採用すれば、投影装置を用いてパターン光を対象物に投影するとともに対象物を撮像し、撮像装置で撮像した画像を用いて三角測量法の原理により対象物の３次元形状を計測する技術において、複数方向から異なるタイミングでパターン光を投影することによって、死角のない３次元形状の計測が可能になる。
【００１６】
しかも、パターン光を投光する方向ごとに得られる３次元形状の計測結果を合成するにあたって、回転補正と平行移動とに分けて位置合わせを行うようにし、回転補正については各計測結果から得られる基準平面の法線ベクトルを平行にするように回転させるだけであるから、回転角および回転軸を、それぞれ内積と外積とによって簡単に求めることができる。すなわち、３次元点群データをそのまま用いる場合に比較して、回転補正に要する処理負荷が大幅に軽減される。
【００１７】
また、平行移動については、回転補正が終了した後に重ね合わせのみを行うから、平行移動の処理負荷も少なくなり、結果的に、３次元点群データをそのまま用いて位置合わせを行う処理に比較すると、全体としての処理負荷が大幅に低減されることになる。すなわし、複数種類の計測結果を合成するにあたって、回転補正と平行移動とに分けることにより、それぞれの計算が簡単になり、多くのハードウェア資源を必要とせずに短時間で位置合わせの処理を行うことが可能になる。
【００１８】
３次元形状を計測する技術として縞状のパターン光を投影する位相シフト法を採用すると、点状のスポット光や線状のスリット光を用いる場合のように対象物の表面でパターン光を走査する必要がないから、計測に要する時間を短縮することができる。
【００１９】
基準平面を規定するための点群は、操作者が対話的に選択すれば、対象物の形状に応じて経験的に適正な点群を選択することが可能になり、微分値を用いて自動的に選択すれば、操作者の熟練度によらず再現性のよい結果が得られる。
【図面の簡単な説明】
【００２０】
【図１】実施形態を示す概略構成図である。
【図２】同上に用いる投影装置の構成図である。
【図３】同上に用いる撮像装置の構成図である。
【図４】同上に用いる位相シフト法の原理説明図である。
【図５】同上に用いる位相シフト法の原理説明図である。
【図６】同上の動作説明図である。
【発明を実施するための形態】
【００２１】
以下に説明する実施形態では、位相シフト法により３次元形状を計測する技術を例として説明する。また、本実施形態では、図１に示すように、対象物１の表面にパターン光を投影する投影装置２を２台設け、対象物１の表面に投影されたパターンを撮像するＴＶカメラのような撮像装置３を両投影装置２の間に配置している。
【００２２】
図２に示すように、投影装置２は、発光源を備える照明部２１と、照明部２１から放射された光にパターンを付与するパターン生成部２２と、対象物１の表面にパターン光を投影する投影光学系２３とを備える。
【００２３】
照明部２１は、パターン生成部２２の全面に均一に光束を照射できるように構成することが望ましい。すなわち、パターン生成部２２にむらなく光束を照射できるように、適宜の発光源に反射鏡やレンズを組み合わせて照明部２１を構成している。たとえば、照明部２１は、発光源とコンデンサレンズとを組み合わせて平行光線束を放射するように構成される。
【００２４】
パターン生成部２２は、透過率に２次元のパターンを付与することが可能であり、かつ透過率のパターンを変更可能である構成であれば、どのようなものを用いてもよい。本実施形態では、パターン生成部２２として透過型液晶パネルと偏光板との組み合わせを想定しているが、十数μｍ角の微小鏡面の角度を変化させるデジタルミラーデバイス（＝ＤＭＤ（商標））、濃淡パターンを付与したフィルムをアクチュエータにより変位させる構成などを採用することも可能である。
【００２５】
投影光学系２３は、レンズを用いることを想定しているが、対象物１の表面にパターン光を投影できれば構成を問わない。ただし、ビームの広がりが少なく平行光線束に近い光線束でパターンを投影するように、パターン生成部２２との位置関係を含めて設計することが望ましい。
【００２６】
また、撮像装置３は、図３のように、エリアイメージセンサである撮像素子３１と、撮像素子３１の受光面に像を結ぶための撮像光学系３２とを備える。撮像素子３１には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。
【００２７】
２台の投影装置２は撮像装置３の正面方向とは異なる方向からパターン光を投影する。パターン光としては、図４に示すように、明度が正弦波状に変化する縞状のパターンを用いる（図４（ａ）は縞状のパターンを示し、図４（ｂ）は明度の変化を表している））。投影装置２と撮像装置３とは、パターン光の明度が変化する方向（縞に直交する方向）を撮像装置３により得られる濃淡画像の水平方向または垂直方向に一致させるように、相対位置を定めておくのが望ましい。以下では、濃淡画像の水平方向をパターン光の明度が変化する方向に一致させているものとする。
【００２８】
上述のように、撮像装置３を挟んで２台の投影装置２を配置し、かつ２台の投影装置２が撮像装置３の正面方向とは異なる方向からパターン光を投影する位置関係としているから、対象物１の表面に凹凸があり、一方の投影装置２からのパターン光を投影できない影の領域があっても、当該領域には他方の投影装置２からのパターン光を投影することが可能になる。
【００２９】
次に、上述のように配置した投影装置２と撮像装置３とを用いて位相シフト法により対象物１の３次元形状を計測する原理について説明する。以下に説明する技術では、各１台の投影装置２からパターン光を対象物１に投光する間に撮像装置３で撮像した対象物１の濃淡画像を用いて対象物１の表面の３次元形状をそれぞれ計測した後、各投影装置２を用いて得られた対象物１の３次元形状を統合することによって、対象物１の表面全体の３次元形状を計測する。
【００３０】
したがって、まず１台の投影装置２を用いて３次元形状を計測する技術について説明する。ここでは、図１に示すように、撮像装置３の正面方向（光軸の方向）をＺ方向と規定し、濃淡画像の水平方向をＸ方向、濃淡画像の垂直方向をＹ方向と規定する。ここに、対象物１から撮像装置３に向かう向きをＺ方向の正の向きとする。したがって、左手系の直交座標系を規定していることになる。Ｚ軸の原点位置は対象物１について規定した基準面に応じて適宜に設定することができる。
【００３１】
また、撮像装置３の画素の座標系は、濃淡画像の左上隅を原点として、水平方向をｘ方向、垂直方向をｙ方向とし、濃淡画像の右向きをｘ方向の正の向きとし、濃淡画像の下向きをｙ方向の正の向きとする。つまり、画素位置は（ｘ，ｙ）で表される。
【００３２】
上述した座標系の規定は、以下の説明に用いるための便宜的なものであって、本発明を限定する趣旨ではない。
【００３３】
また、説明を容易にするために、１台の投影装置２から４種類のパターン光を投影する場合について説明するが、パターン光の種類は３種類以上であれば、対象物１の３次元形状を計測することが可能である。また、正弦波状に明度が変化するパターン光を用いる例を説明するが、明度の変化が三角波や鋸歯状波になるパターン光を用いることも可能である。さらに、撮像装置３の１画面内に複数本の縞が撮像されるようにパターン光を形成するが、縞の本数については撮像素子３１の画素数などの条件に応じて適宜に設定する。
【００３４】
本実施形態で用いる４種類のパターン光は、明度の変化パターンにより表される正弦波の位相をπ／４ずつずらしたパターン光であって、各パターン光の明度の変化周期は等しくなっている。上述した投影装置２の構成から明らかなように、パターン光は、パターン生成部２２の透過率を決めるパターンデータにより決定される。したがって、本実施形態では、コンピュータを主構成とする３次元計測処理部１０に設けたパターンデータ生成部１１において４種類のパターンデータを生成し、各パターンデータを順にパターン生成部２２に与えることにより、４種類のパターン光を対象物１に投影する。
【００３５】
パターン生成部２２により付与される透過率のパターン（つまり、パターン光の各部位の明度）を数式を用いて表すと数１のようになる。数１では、パターン生成部２２に規定した２次元平面における座標位置を（ｕ，ｖ）とし、各座標位置（ｕ，ｖ）の明度Ｌ（ｕ，ｖ）を表している。座標位置（ｕ，ｖ）は液晶パネルの画素の位置に相当する。
【００３６】
【数１】
【００３７】
なお、数１において、ａ（ｕ，ｖ）は明度の振幅（最大値と最小値との差の２分の１）を表し、φ（ｕ）は明度変化の位相、ｉπ／２は位相のシフト量であって、ｉ＝０，１，２，３とすることにより、４種類のパターン光を表す。また、ｂ（ｕ，ｖ）はバイアスであり、明度の最大値と最小値との平均値に相当する。
【００３８】
数１ではパターン光の明度の変化をｕ方向について付与してあり、ｖ方向については明度は一定としている。したがって、位相φ（ｕ）は座標値ｕの関数になり、座標値ｕを位相φの関数ｕ（φ）と表すことが可能である。ただし、複数本の縞を形成する場合は、位相φを独立変数とした場合に、関数ｕ（φ）は一意に決定されない。
【００３９】
３次元計測処理部１０は画像記憶部１２を有しており、投影装置２からのパターン光が投影された対象物１を撮像装置３により撮像して得られる濃淡画像は、画像記憶部１２に格納される。濃淡画像は、パターン光の種類毎に撮像される。すなわち、画像記憶部１２には、位相φ（ｕ）がπ／２ずつずれたパターン光に対応した４枚の濃淡画像が格納される。
【００４０】
画像記憶部１２に格納された４枚の濃淡画像について、同じ画素位置（ｘ，ｙ）の画素の濃淡値をＩｉ（ｉ＝０，１，２，３）とすると、明度変化が正弦波状であり、かつ各濃淡画像を撮像したときのパターン光の位相差がπ／２ずつ異なることから、三角関数の関係により、各画素位置（ｘ，ｙ）に対応するパターン光の位相φ（ｘ，ｙ）を数２で表すことができる。
【００４１】
【数２】
【００４２】
ここに、数２における濃淡値Ｉ０，Ｉ１，Ｉ２，Ｉ３は、それぞれ数１における位相のシフト量を０，π／２，π，３π／２としたときの値を示している。すなわち、図５に示すように、画素位置（ｘ，ｙ）において、○印で示す濃淡値Ｉ０，Ｉ１，Ｉ２，Ｉ３が得られたとすると、パターン光の明度変化が正弦波状であるときに、数２の演算によって、×印の濃淡値Ｉ０，Ｉ１，Ｉ２，Ｉ３を持つ破線のような正弦波のパターン光が対象物１に投影されていると推定され、画素位置（ｘ，ｙ）に対応したパターン光の位相φ（ｘ，ｙ）が求められるのである。
【００４３】
対象物１に投影したパターン光は、対象物１の３次元形状により変調されているが、投影時の位相φ（ｕ）と濃淡画像から得られた位相φ（ｘ，ｙ）とを一対一に対応付けることにより数２の関係が得られるから、パターン生成部２２の座標（ｕ，ｖ）と、撮像素子３１の画素の画素位置（ｘ，ｙ）との対応関係が得られる。投影装置２と撮像装置３との位置関係は既知であるから、パターン生成部２２の座標（ｕ，ｖ）と撮像素子３１の画素の画素位置（ｘ，ｙ）とが対応付けられることにより、対象物１の表面において画素位置（ｘ，ｙ）に対応する位置までの距離を三角測量法の原理によって求めることができる。
【００４４】
なお、上述したように、濃淡画像の水平方向をパターン光の明度が変化する方向に一致させているから、ｖ方向とｙ方向とは平行であり、ｖ座標とｙ座標とは、投影光学系２３と撮像光学系３２と上述の距離との関係を用いて対応付けられる。
【００４５】
すなわち、対象物１の表面の３次元座標（Ｘ，Ｙ，Ｚ）は、直交座標系の原点を適宜に設定することによって数３の形で表される。
【００４６】
【数３】
【００４７】
ただし、数３において、ｕ（φ′）は位相φをパターン生成部２２のｕ方向の座標に対応付けるための関数であり、ｐｃ，ｐｐは、それぞれ、撮像装置３と投影装置２とのキャリブレーションによって求められるパラメータであり、数４、数５の関係を満足する。
【００４８】
【数４】
【００４９】
【数５】
【００５０】
上述のようにして対象物１の３次元座標（Ｘ，Ｙ，Ｚ）を求める処理は、３次元計測処理部１０に設けた演算部１３の基本演算部１３ａにおいて行う。要するに、基本演算部１３ａは、パターン光の投影時に撮像した濃淡画像を用いて対象物１の表面の３次元形状を表す３次元点群データ（３次元座標（Ｘ，Ｙ，Ｚ）を有する点の集合）を算出する。
【００５１】
また、投影装置２から４種類のパターン光を対象物１に投影することと、パターン光の投影に同期して撮像装置３により対象物１を撮像することとは、３次元計測処理部１０に設けた投影・撮像制御部１４が行う。また、演算部１３で求めた３次元座標（Ｘ，Ｙ，Ｚ）は、画像記憶部１２に格納される。
【００５２】
ところで、１台の投影装置２から対象物１に対してパターン光を投影している場合に、対象物１の表面に凹凸が存在していると、パターン光が凹凸の裏面側に到達せず、影になる領域が生じる。また、対象物１の表面の状態によっては、十分な強度の反射光が撮像装置３に入射しない領域が生じる場合もある。このような領域については、撮像装置３で撮像された濃淡画像を用いても対象物１の３次元形状を正しく求めることができない。
【００５３】
そこで、撮像装置３に入射する反射光の強度Ａ（ｘ，ｙ）を数６のように定義し、強度Ａ（ｘ，ｙ）が規定した閾値以下である場合には、画素位置（ｘ，ｙ）の画素を計測不能点とする。計測不能点については対象物１の３次元座標（Ｘ，Ｙ，Ｚ）が不明であるから、画像記憶部１２には３次元座標（Ｘ，Ｙ，Ｚ）に代えて規定値を登録する。
【００５４】
【数６】
【００５５】
上述の手順で対象物１の表面の３次元座標（Ｘ，Ｙ，Ｚ）を求める処理を他方の投影装置２でも行うと、画像記憶部１２には対象物１について求めた２種類の３次元座標（Ｘ，Ｙ，Ｚ）のデータが格納される。３次元座標（Ｘ，Ｙ，Ｚ）のデータは離散値であるから、以下では対象物１を含む空間領域について得られた３次元座標（Ｘ，Ｙ，Ｚ）の集合を３次元点群データと呼ぶ。
【００５６】
画像記憶部１２に格納された２種類の３次元点群データは、対象物１について同一の領域を含んでいるが、異なる投影装置２を用いて２種類の３次元座標（Ｘ，Ｙ，Ｚ）を求めているから、対象物１の同一点の３次元座標（Ｘ，Ｙ，Ｚ）は両者で必ずしも一致しない。
【００５７】
ところで、３次元点群データは撮像素子３１の各画素の画素位置（ｘ，ｙ）に一対一に対応するから、各投影装置２を用いて得た各３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）は、３次元座標（Ｘ，Ｙ，Ｚ）を値に持つ離散関数で表現することができる。
【００５８】
たとえば、ＰＡ（ｘ１，ｙ１）＝（Ｘ１，Ｙ１，Ｚ１）、ＰＢ（ｘ１，ｙ１）＝（Ｘ２，Ｙ２，Ｚ２）になる。このように、画素位置（ｘ，ｙ）に対して異なる３次元座標（Ｘ，Ｙ，Ｚ）になるのは、数３で用いるキャリブレーションのパラメータｐｃ，ｐｐを完全に正確には求めることができないからである。
【００５９】
以下では、パラメータｐｃ，ｐｐの誤差による３次元座標（Ｘ，Ｙ，Ｚ）の相違を解消して、対象物の同一点の３次元座標（Ｘ，Ｙ，Ｚ）を一致させるために、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の位置合わせを行う手順について説明する。以下の手順では、まず両３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の一方について座標軸を回転させ、その後、座標軸を平行移動させることにより位置合わせを行う。
【００６０】
以下に説明する位置合わせの原理は、次の知見に基づいている。すなわち、複数の３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の各点について、撮像装置３での画素位置（ｘ，ｙ）が共通であれば、３次元空間における同じ位置を計測した点であるということである。したがって、計測時に取得した濃淡画像から任意の領域を抽出し、抽出した領域における点群を投影装置２の台数分だけ取得すると、取得した点群は、３次元空間において物理的に同じ場所を計測した結果であることが保証される。
【００６１】
この点を考慮すると、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）を対応付けるための探索は不要であり、撮像装置３の画素位置（ｘ，ｙ）に対してすでに対応付けされている各点同士で、どのように回転補正と平行移動とを行えば、位置誤差を最小にすることができるかという、比較的単純化された問題を解けばよいことがわかる。以下では、回転補正と平行移動とを行う技術について説明する。
【００６２】
３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の位置合わせを行うには、まず各３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）を代表する基準平面を規定できるように、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）から少なくとも３点を抽出する。以下では、抽出した複数個の点を点群＜ＰＡ＞，＜ＰＢ＞と記述する。点群＜ＰＡ＞，＜ＰＢ＞の抽出から座標軸を回転させるまでの処理は演算部１３における回転補正部１３ｂで行う。
【００６３】
抽出する点は、モニタ装置１５に表示される対象物１の画像を見ながら図示しない入力装置（キーボードやマウス）を用いて操作者が対話的に指定することができる。つまり、モニタ装置１５と入力装置とにより点群を対話的に選択する対話装置が構成される。抽出する点の個数や点間の位置関係については特別な規定はない。ただし、両３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）について同じ画素位置（ｘ，ｙ）に対応する点を指定する必要がある。
【００６４】
たとえば、３次元点群データＰＡ（ｘ，ｙ）から次のように点群＜ＰＡ＞を抽出する場合を想定する。
＜ＰＡ＞：ＰＡ（ｘ１，ｙ１），ＰＡ（ｘ２，ｙ２），…，ＰＡ（ｘｎ，ｙｎ）
この場合、３次元点群データＰＢ（ｘ，ｙ）については、次のように点群＜ＰＢ＞を抽出することが必要である。
＜ＰＢ＞：ＰＢ（ｘ１，ｙ１），ＰＢ（ｘ２，ｙ２），…，ＰＢ（ｘｎ，ｙｎ）
また、位相シフト法を採用する場合には、投影光学系２３や撮像光学系２２の収差のために、濃淡値の変化が大きい部位（段差のような濃度勾配が大きくなる部位）で誤差が大きくなるから、抽出する点を指定する部位としては、濃淡値の変化が大きい部位を避けることが望ましい。
【００６５】
ここに、対象物１の表面形状による濃淡値の変化の程度を知る必要があるから、パターン光による濃淡値の変化を除去する必要がある。したがって、パターン光ではなく光束が一様である平行光線束を別に投影して撮像した濃淡画像を用いるか、４種類の濃淡画像の濃淡値を同画素ごとに加算して得られる濃淡画像を用いて点群＜ＰＡ＞，＜ＰＢ＞の抽出を行う。
【００６６】
図６（ａ）にパターン光によるパターンを除去した濃淡画像の例を示す。この濃淡画像は撮像装置３の左側に配置した投影装置２からパターン光を投影する場合を示しており、対象物１の中央に形成された凸部の右側に影が生じている。この場合、凸部付近の濃淡値の変化が大きい領域を避けて、破線で囲む領域Ｄ１，Ｄ２から点群＜ＰＡ＞，＜ＰＢ＞を抽出するのが望ましい。
【００６７】
したがって、各投影装置２でパターン光を投影したときの濃淡画像に基づいて、図６（ｂ）（ｃ）のように、それぞれ３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）が得られているとすれば、図６（ｂ）（ｃ）のように領域Ｄ１，Ｄ２に対応する画素位置（ｘ，ｙ）から点群＜ＰＡ＞，＜ＰＢ＞が抽出される。
【００６８】
上述の例では、３次元点群データ操作者がＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）から点群＜ＰＡ＞，＜ＰＢ＞を抽出しているが、点を自動的に抽出するようにしてもよい。この場合も、濃淡値の変化が少ない部位から点を抽出する必要がある。つまり、パターン光によるパターンを除去した画像について微分演算を行い、微分値が閾値以下になる領域から点を抽出する。
【００６９】
なお、３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）の一部ではなく全部を用いることも可能であり、この場合には抽出する点の指定は不要である。
【００７０】
上述のようにして３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）から点群＜ＰＡ＞，＜ＰＢ＞を抽出した後、図６（ｄ）（ｅ）のように、抽出した点群＜ＰＡ＞，＜ＰＢ＞により規定される基準平面ＳＡ，ＳＢを求め、求めた基準平面ＳＡ，ＳＢの法線ベクトルｎＡ，ｎＢを求める。３点を抽出する場合には基準平面ＳＡ，ＳＢを一意に規定することができるが、４点以上を抽出する場合には最小二乗法を適用して基準平面ＳＡ，ＳＢを規定する。
【００７１】
本実施形態では、投影装置２の光軸方向をＺ方向としているから、点群＜ＰＡ＞，＜ＰＢ＞を用いて規定した法線ベクトルのＺ方向成分が０になることはない。そこで、点群＜ＰＡ＞により規定される基準平面ＳＡの法線ベクトルをｎＡ＝（ａＡ，ｂＡ，１）、＜点群ＰＢ＞により規定される基準平面ＳＢの法線ベクトルをｎＢ＝（ａＢ，ｂＢ，１）、平面方程式の定数項を、それぞれｄＡ，ｄＢとおくと、数７の関係が得られる。
【００７２】
【数７】
【００７３】
なお、Ａｊ＋は、Ａの疑似逆行列を意味する。
【００７４】
一方、両基準平面ＳＡ，ＳＢの法線ベクトルｎＡ，ｎＢがなす角度θは、数８により表される。
【００７５】
【数８】
【００７６】
両基準平面ＳＡ，ＳＢを平行にするための回転軸は、両法線ベクトルｎＡ，ｎＢを含む平面に直交する。そこで、両法線ベクトルｎＡ，ｎＢを含む平面に直交する単位ベクトルｎＡＢを数９で求める。
【００７７】
【数９】
【００７８】
角度θと単位ベクトルｎＡＢとを用い、数１０を適用して３次元点群データＰＢ（ｘ，ｙ）の回転補正を行うと、３次元点群データＰＢ（ｘ，ｙ）を代表する基準平面を３次元点群データＰＡ（ｘ，ｙ）を代表する基準平面に平行にするように回転補正した３次元点群データＰＢ′（ｘ，ｙ）が得られる。点群＜ＰＡ＞，＜ＰＢ＞の抽出から回転補正までは回転補正部１３ｂが行う。
【００７９】
【数１０】
【００８０】
回転補正部１３ｂが３次元点群データＰＢ（ｘ，ｙ）の回転補正を行うことによって、３次元点群データＰＡ（ｘ，ｙ）を代表する基準平面と３次元点群データＰＢ′（ｘ，ｙ）を代表する基準平面とが平行になるが、２種類の３次元点群データを重ね合わせるには、さらに平行移動を行う。平行移動は、演算部１３に設けた平行移動部１３ｃにより、Ｘ方向、Ｙ方向、Ｚ方向の各方向について独立に行われる。
【００８１】
すなわち、平行移動部１３ｃは、回転補正後の３次元点群データＰＢ′（ｘ，ｙ）と３次元点群データＰＡ（ｘ，ｙ）とについて、同じ画素位置（ｘ，ｙ）の点間の距離を求め、すべての点間の距離の平方和が最小になるように最小二乗法によって、平行移動のための移動ベクトルＴ＝（ｔｘ，ｔｙ，ｔｚ）を求める。ただし、３次元点群データＰＡ（ｘ，ｙ）と３次元点群データＰＢ′（ｘ，ｙ）との一方に計測不能点があれば、計測不能点は距離の計算に含めないようにする。移動ベクトルＴの各成分は、数１１により求められる。数１１からわかるように、移動ベクトルＴの各成分は、３次元点群データＰＡ（ｘ，ｙ）と３次元点群データＰＢ′（ｘ，ｙ）との各座標成分の差の平均値になる。
【００８２】
【数１１】
【００８３】
ここに、数１１においてＮは距離を求めた点の総数である。
【００８４】
平行移動部１３ｃは、上述のようにして移動ベクトルＴが求められると、数１２のように、３次元点群データＰＢ′（ｘ，ｙ）の各成分を移動ベクトルＴで平行移動させ、回転補正と平行移動とを行った３次元点群データＰＢ″（ｘ，ｙ）を求める。
【００８５】
【数１２】
【００８６】
以上のようにして得られた３次元点群データＰＡ（ｘ，ｙ）と３次元点群データＰＢ″（ｘ，ｙ）とは、演算部１３に設けた合成処理部１３ｄで合成する。すなわち、合成処理部１３ｄでは、両者の同じ画素位置（ｘ，ｙ）の成分の平均値を求め、求めた平均値を当該画素位置（ｘ，ｙ）に対応する座標値（Ｘ，Ｙ，Ｚ）とすることにより３次元点群データＰＡ（ｘ，ｙ），ＰＢ″（ｘ，ｙ）を合成し、当該画素位置（ｘ，ｙ）に対応する１つの座標値（Ｘ，Ｙ，Ｚ）を決定する。ここで、合成処理部１３ｄでは、いずれか一方の３次元点群データＰＡ（ｘ，ｙ），ＰＢ″（ｘ，ｙ）に計測不能点があれば、当該画素位置（ｘ，ｙ）について、他方の座標値（Ｘ，Ｙ，Ｚ）を用いる。
【００８７】
上述した手順により、２種類の３次元点群データＰＡ（ｘ，ｙ），ＰＢ（ｘ，ｙ）について回転補正および平行移動を行った後に合成し、画素位置（ｘ，ｙ）に対応した１つの座標値（Ｘ，Ｙ、Ｚ）を求めることができる。
【００８８】
また、上述の説明から明らかなように、回転補正と平行移動とを個別に行い、回転補正の際には、点群を用いて規定した基準平面の法線によって回転軸および回転角を決めているから、コンピュータ画像処理において広く採用されている四元数を用いた回転の技術を適用することができ、結果的に回転補正の処理負荷を軽減することができる。しかも、平行移動の際には最小二乗法を適用しているから、平行移動の演算に際しては数１１、数１２のように線形演算を行うだけの簡単な演算になり、平行移動に際しての処理も処理負荷が小さくなる。言い換えると、処理負荷の小さい処理を順に行うことによって、全体としての処理負荷も小さくなり、多くのハードウェア資源を必要とすることなく死角のない３次元形状の計測を行うことが可能になる。
【００８９】
なお、上述の例では、２台の投影装置２を設けているが、投影装置２の台数を３台以上とする場合でも上述した技術を適用することが可能である。また、各方向からパターン光を対象物１に投影するのは異なるタイミングであり、複数のパターン光を同時に投影することはないから、１台の投影装置２の位置を変化させることにより複数箇所からパターン光を投影することも可能である。
【００９０】
さらに、上述の構成例では、対象物１の３次元点群データを求めるために位相シフト法を採用しているが、投影装置からパターン光を投影し三角測量法の原理を用いて３次元形状を計測する技術の範囲であれば、３次元点群データを求める技術はどのようなものでもよく、たとえば、パターン光をスポット光やスリット光とする光切断法や、２値の縞状のパターン光を用い縞の幅を変えてパターン光を３回以上投影する空間コード化法を採用してもよい。
【符号の説明】
【００９１】
１ 対象物
２ 投影装置
３ 撮像装置
１０ ３次元計測処理部
１３ 演算部
１３ａ 基本演算部
１３ｂ 回転補正部
１３ｃ 平行移動部
１３ｄ 合成処理部
１５ モニタ装置（対話装置）
【特許請求の範囲】
【請求項１】
対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置と、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測処理部とを備え、３次元計測処理部は、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出する基本演算部と、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行う回転補正部と、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させる平行移動部と、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出する合成演算部とを備えることを特徴とする３次元形状計測装置。
【請求項２】
前記投影装置は、明度が周期的に変化する縞状のパターン光を縞に直交する方向に偏移させるパターン生成部を有し、前記撮像装置は、投影装置が前記対象物にパターン光を投影した状態で撮像することにより濃淡画像を出力し、前記基本演算部は、縞の位置が異なる３種類以上のパターン光の投影時に撮像装置が撮像した３種類以上の濃淡画像を用いることにより位相シフト法によって３次元点群データを算出することを特徴とする請求項１記載の３次元形状計測装置。
【請求項３】
前記回転補正部は、前記基準平面を規定する点群を３次元点群データから対話的に選択する対話装置が付加されていることを特徴とする請求項１又は２記載の３次元形状計測装置。
【請求項４】
前記回転補正部は、前記撮像装置で撮像した画像からパターン光による濃淡値の変化を除去した後に微分値が閾値以下になる領域において、３次元点群データから前記基準平面を規定する点群を自動的に選択することを特徴とする請求項１又は２記載の３次元形状計測装置。
【請求項５】
対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置とを用い、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測方法であって、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出した後、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行い、次に、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させ、さらに、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出することを特徴とする３次元形状計測方法。
【請求項１】
対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置と、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測処理部とを備え、３次元計測処理部は、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出する基本演算部と、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行う回転補正部と、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させる平行移動部と、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出する合成演算部とを備えることを特徴とする３次元形状計測装置。
【請求項２】
前記投影装置は、明度が周期的に変化する縞状のパターン光を縞に直交する方向に偏移させるパターン生成部を有し、前記撮像装置は、投影装置が前記対象物にパターン光を投影した状態で撮像することにより濃淡画像を出力し、前記基本演算部は、縞の位置が異なる３種類以上のパターン光の投影時に撮像装置が撮像した３種類以上の濃淡画像を用いることにより位相シフト法によって３次元点群データを算出することを特徴とする請求項１記載の３次元形状計測装置。
【請求項３】
前記回転補正部は、前記基準平面を規定する点群を３次元点群データから対話的に選択する対話装置が付加されていることを特徴とする請求項１又は２記載の３次元形状計測装置。
【請求項４】
前記回転補正部は、前記撮像装置で撮像した画像からパターン光による濃淡値の変化を除去した後に微分値が閾値以下になる領域において、３次元点群データから前記基準平面を規定する点群を自動的に選択することを特徴とする請求項１又は２記載の３次元形状計測装置。
【請求項５】
対象物を撮像する撮像装置と、撮像装置による撮像方向とは異なる複数方向からそれぞれ異なるタイミングで対象物の表面にパターン光を投影する投影装置とを用い、パターン光の投影により対象物の表面に形成されたパターンを撮像した画像におけるパターンの位置と撮像装置および投影装置の位置関係とを用いることにより対象物の表面の３次元形状を三角測量法の原理を用いて計測する３次元計測方法であって、投影装置がパターン光を投影する方向別に対象物の表面の３次元形状を表す複数種類の３次元点群データを算出した後、各３次元点群データをそれぞれ代表する複数の基準平面を規定して各基準平面の法線ベクトルを求め、一対の法線ベクトルを含む平面に直交する回転軸の周りで基準平面を相対的に回転させることにより基準平面を平行にするように３次元点群データの回転補正を行い、次に、回転補正後の一対の３次元点群データを重ね合わせるように回転補正後の３次元点群データを平行移動させ、さらに、平行移動後の複数種類の３次元点群データを補完するように合成して対象物の３次元形状を表す３次元点群データを算出することを特徴とする３次元形状計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−７５３３６（Ｐ２０１１−７５３３６Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２５３９５（Ｐ２００９−２２５３９５）
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]