三次元計測装置、三次元計測方法およびプログラム
【課題】 計測誤差の校正が可能な三次元計測装置を提供する。
【解決手段】
所定のパターンを投影する投影部と、パターンが投影された被写体を撮像する撮像部とを有する三次元計測装置は、撮像部によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影されたパターンの撮像画素面上の位置情報を検出する検出部と、位置情報を用いて、計測時前に予め検出した投影部の投影画素面上のパターンと計測時における投影部の投影画素面上のパターンとの対応関係を算出する対応関係算出部と、を有する。
【解決手段】
所定のパターンを投影する投影部と、パターンが投影された被写体を撮像する撮像部とを有する三次元計測装置は、撮像部によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影されたパターンの撮像画素面上の位置情報を検出する検出部と、位置情報を用いて、計測時前に予め検出した投影部の投影画素面上のパターンと計測時における投影部の投影画素面上のパターンとの対応関係を算出する対応関係算出部と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の表面形状を測定する三次元計測装置において発生する装置誤差を校正することが可能な三次元計測装置、三次元計測方法およびプログラムに関する。
【背景技術】
【０００２】
従来、被写体の表面形状を非接触で計測する装置の１つとして、投影部と撮像部を使用して三角測量の原理で表面形状を求める装置がある。その計測方法を説明すると、まず投影部から被写体に向けてパターンを投影する。次にパターンが投影された被写体を撮像部で撮像する。撮像した画像データから、撮像手段の撮像画素面上でのパターンの位置を算出する。そして、投影部の投影画素面のどの位置のパターンが撮像画素面上のどのパターンの位置であるのか対応付けを行う。
【０００３】
ここで、投影部と撮像部の位置関係をキャリブレーションで求めておく。例えば、投影部と撮像部の基線長や撮像部と投影部の回転・並進情報などと、投影部と撮像部の装置固有のパラメータ、焦点距離、光軸主点位置やレンズ収差値など（総称してキャリブレーション値と呼ぶ）を事前に求める。
【０００４】
最終的に、キャリブレーション値と投影画素面および撮像画素面におけるパターンの位置関係から三角測量の原理を使って、装置から被写体までの距離を測定する。投影部と撮像部とを用いて被写体の表面形状を計測する装置では、一般的に使用するデバイスの形状や配置が温度変化にともなう熱膨張収縮効果などにより経時的に微小変化する。そのため計測環境が温度変化しやすい場合や計測が長期にわたる場合では投影されるパターンの投影位置が微小に異なり、同じ被写体を同じ条件で計測しても表面形状の結果に誤差が生じる問題があった。
【０００５】
この問題に対して、特許文献１では、三次元計測装置から正確に距離が既知であるターゲットを複数個配置することで、基線長、投影部の投影角度、撮像部の撮像角度の３つパラメータを校正する方法を示している。また特許文献２では、三次元計測装置内部に投影部から投影された計測用ビームを分光し、予め記憶したビーム投影位置と分光されたビーム投影位置との差分を求めることで校正する方法を示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−０５４２３４号公報
【特許文献２】特開平５−２４８８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１では、ターゲットと装置との距離を正確に知る必要があるため、実際に運用する際のセットアップが面倒であった。またターゲットと装置との距離自体が経時的に変化する可能性もあるので、校正値に対する信頼性も低かった。特許文献２では、装置内に新規デバイスを追加するため、装置の小型化とコストにおいて問題があった。
【課題を解決するための手段】
【０００８】
本発明は上記課題を鑑みてなされたものであり、計測誤差の校正が可能な三次元計測装置を提供することを目的とする。
【０００９】
本発明の一つの側面にかかる三次元計測装置は、所定のパターンを投影する投影手段と、前記パターンが投影された被写体を撮像する撮像手段とを有する三次元計測装置であって、
前記撮像手段によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影された前記パターンの撮像画素面上の位置情報を検出する検出手段と、
前記位置情報を用いて、計測時前に予め検出した前記投影手段の投影画素面上の前記パターンと計測時における前記投影手段の投影画素面上の前記パターンとの対応関係を算出する対応関係算出手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、計測誤差の校正が可能な三次元計測装置を提供することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態にかかる３次元計測装置の基本構成を示す図。
【図２】投影パターンの例を示す図。
【図３】３次元計測装置におけるキャリブレーションおよび三次元計測処理の概略的な処理の流れを説明する図。
【図４】第１の実施形態にかかる３次元計測装置におけるキャリブレーションおよび三次元計測処理の流れを説明する図。
【図５】第２の実施形態の投影パターンを例示的に示す図。
【図６】第２の実施形態の線形補間を説明する図。
【図７】第３の実施形態のエピポーラ拘束を説明する図。
【発明を実施するための形態】
【００１２】
＜第１の実施形態＞
図１は実施形態にかかる３次元計測装置の基本構成を示す図である。計測装置の基本構成は、パターンを被写体２に投影するプロジェクタ３、パターンが投影された被写体２を撮像するカメラ４、パターンの投影や撮像を指示し、撮像された画像データを計算処理して三次元計測を行う計測計算部１である。
【００１３】
計測計算部１は、中央制御部５、パターンメモリ６、画像メモリ７、パラメータ記憶部８、計測処理部９および領域検出部１０、第１算出部１１、第２算出部１２、基準情報処理部１３からなる。それぞれは互いがバスによってつながれ、命令およびデータを送受信可能になっている。
【００１４】
パターンメモリ６はＲＯＭ等の記憶手段で構成されている。パターンメモリ６には、プロジェクタ３から投影するパターンを設定するパターン形状プログラム、投影時間を設定するタイムアカウントプログラムなどが格納されている。
【００１５】
中央制御部５は計測計算部１に属する各部の指示を行う機能を持つ。中央制御部５から投影指示を受信したパターンメモリ６はパターンをプロジェクタ３に送信する。パターンメモリ６には、三次元計測を行うための計測パターンと、計測誤差を校正するための校正パターンと、三次元計測と校正を同時に行うための校正計測パターンなど複数のパターンが用意されている。校正計測パターンは校正パターンと計測パターンが組み合わされたものである。計測パターンと校正パターンについては図２を用いて後ほど説明する。中央制御部５からの指示に従い、いずれかのパターンを送信する。
【００１６】
中央制御部５は、プロジェクタ３を投影手段として機能させる投影制御手段の機能を有する。また、タイムアカウント信号がプロジェクタ３およびカメラ４に送信され、パターンの投影および撮像のタイミングが管理される。カメラ４は撮像画像を取得するための撮像手段として機能する。
【００１７】
カメラ４で撮像された画像データ（撮像画像）は、画像メモリ７に一時的に格納される。画像メモリ７は中央制御部５からの指示に従い、計測処理部９に送信するか、領域検出部１０に送信する。計測処理部９に送信するフローは計測誤差を校正しないフローであり、領域検出部１０に送信するフローは計測誤差を校正するフローである。
【００１８】
実際の処理では、三次元計測処理をするために画像データに２値化処理や先鋭化処理などを行うが、それらの処理は本実施形態とは無関係のため、説明を省略し、本実施形態では画像メモリ７から送信される画像データには必要な処理が施されているものとする。
【００１９】
領域検出部１０は、画像データに所定の同一平面上の複数領域を設定し、その領域内に投影される校正パターンを検出し、校正パターンの幾何特徴からパターンの位置情報として位置座標を検出する。検出結果である位置座標はカメラ４の撮像画素面の画素を座標系にとった座標で表される。本目的の誤差の補正をするには、予め計測前にパターンの位置情報を検出し、基準位置を設定する必要がある。本実施形態では、プロジェクタ３とカメラ４の回転・並進情報や投影部と撮像部の装置固有のパラメータであるキャリブレーション値を求めるキャリブレーション時に、パターン位置座標の基準位置も検出する。検出した撮像画素面上のパターンの位置座標は基準情報処理部１３に送信され、計測時に検出した撮像画素面上のパターンの位置座標は第１算出部１１に送信される。
【００２０】
基準情報処理部１３はパターンの位置座標の基準位置を用いてキャリブレーション時のカメラ４の撮像画素面とプロジェクタ３の投影画素面の対応関係を算出する。パターンメモリ６が有するパターンによる対応関係については図３を用いて後に説明する。パラメータ記憶部８はＲＯＭやＲＡＭ等の記憶手段で構成されている。パラメータ記憶部８には、上記に述べたキャリブレーション値が格納されている。また上記に述べたパターンの位置座標の基準位置や基準情報処理部１３で得たキャリブレーション時のカメラ４の撮像画素面とプロジェクタ３の投影画素面の対応関係も格納する。これらのパラメータは必要に応じて各部へ送信される。
【００２１】
対応関係算出部は第１算出部１１と第２算出部１２に分かれ、以下の処理を行う。第１算出部１１は、パラメータ記憶部８からキャリブレーション時の撮像画素面上のパターンの位置座標と、領域検出部１０から計測時の撮像画素面上のパターンの位置座標と、を取得する。そして、第１算出部１１は取得したキャリブレーション時の撮像画素面上のパターンの位置座標と計測時の撮像画素面上のパターンの位置座標とからキャリブレーション時と計測時との撮像画素面上でのパターンの対応関係を求める。そして、第１算出部１１は求めた対応関係を第２算出部１２へ送信する。
【００２２】
第２算出部１２はキャリブレーション時と計測時との投影画素面上でのパターンの対応関係を求める。パラメータ記憶部８からキャリブレーション時のカメラ４の撮像画素面とプロジェクタ３の投影画素面との対応関係を取得する。また第１算出部１１からキャリブレーション時と計測時との撮像画素面上でのパターンの対応関係を取得する。これら２つの対応関係を用いて、キャリブレーション時と計測時との投影画素面上でのパターンの対応関係を求める。算出した対応関係を計測処理部９へ送信する。
【００２３】
計測処理部９はパラメータ記憶部８からキャリブレーション値を取得し、画像データを用いて三角測量の原理で三次元計測を行う。本実施形態による計測誤差を校正する場合は、第２算出部１２から取得した射影変換行列Ｃを用いて、撮像画素面と投影画素面におけるパターンの対応関係を変更する。計測結果は三次元計測データとして生成される。三次元計測データは画像化され、モニタなどの表示部１４で距離画像として観察することができる。
【００２４】
尚、計測計算部１の機能の一部は、コンピュータプログラムが格納された記憶手段および中央制御部を有する外部装置により代替可能である。たとえば、基準情報処理部１３およびパラメータ記憶部の一部を外部装置として、キャリブレーション時に求める値は外部装置が行うことにしてもかまわない。その場合、本実施形態の三次元計測装置は基準情報処理部１３およびパラメータ記憶部の一部を除いた構成となる。
【００２５】
図２は投影するパターンの例を示す図である。図２（ａ）は三次元計測に使用する計測パターン２４を示す図である。本実施形態においては、三次元計測方法の一例として空間符号化法を用いて説明する。しかし投影するパターンは空間符号化法に用いるグレイコードパターンでも、位相シフト法に用いる輝度変化を有するパターンでも、光切断法に用いるラインパターンでもかまわない。計測パターン２４は明部と暗部が所定の幅で交互に配置されたパターンである。明部と暗部の幅が異なるパターンが複数枚あり、それらのパターンをそれぞれ投影する。図２（ａ）では、それらのパターンから代表する一枚を示している。
【００２６】
被写体２は一様な平面性を有する計測台２０に乗せて計測するものとする。計測する全体の領域に向けて計測パターン２４が投影される。図２（ｂ）は計測台２０に被写体２を載せて計測パターン２４を投影して計測を行う概念図を示している。
【００２７】
図２（ｃ）は計測誤差を校正する校正パターン２２を示す図である。校正パターン２２は計測する全体の領域の外周部に複数個投影される。校正パターン２２は計測空間内の同一平面上にあり、最低３個は必要である。本実施形態では、校正パターン２２の個数は４つとし、計測台２０に投影することで同一平面性を保っている。同一平面性をもち、個数を４つにする理由は、後述するアルゴリズムにて説明する。
【００２８】
校正パターン２２は幾何特徴が検出しやすく、かつ、二次元座標のずれを検出できる形状を採用し、図２（ｃ）では十字パターンを例として示した。所定の４隅の検出領域２１（パターン検出領域）について、予め計測者が検出領域２１の位置を設定し、設定後、その位置は変えないこととする。校正パターン２２も、プロジェクタ３の投影画素面の決められた画素から常に投影されるものとする。三次元計測装置は検出領域２１内の校正パターン２２を自動検出するため、校正パターン２２が検出領域２１から外れないように、検出領域２１は想定されるずれの対応関係よりも大きい範囲で設定する。たとえば市販プロジェクタでは経時的に十字パターンが数百ミクロンメートルから数ミリメートルの範囲で動く可能性があるので、検出領域２１はそれ以上の大きさで設定するのが望ましい。
【００２９】
図２（ｄ）は三次元計測に使用する計測パターン２４と計測誤差を校正する校正パターン２２とを組み合わせた校正計測パターン２５を投影した図である。本アルゴリズムでは、計測パターン２４と校正パターン２２とを順に投影しても計測誤差の校正は可能であるが、校正計測パターン２５を投影することで、三次元計測と校正を同時に行うことも可能である。本実施形態では、校正計測パターン２５を投影することを前提に説明を進める。
【００３０】
次に校正パターン２２の幾何特徴の検出について説明する。目的は校正パターン２２の幾何特徴を検出し、幾何特徴から校正パターンの位置座標を決定することである。そのためには校正パターン２２の幾何特徴から一意に座標を決めることが必要である。そこで、図２（ｄ）では、十字パターンの交点を検出し、校正パターン２２の位置座標とする。カメラ４の撮像画素面上で決定された位置座標は（ｘｃ、ｙｃ）として以下表現する。また、プロジェクタ３の投影画素面上で決定された位置座標は（ｘｐ、ｙｐ）として以下表現する。
【００３１】
図２（ｅ）は校正パターン２２の別例として円形パターン２３を示す。円形パターン２３の幾何特徴から求まる位置座標は円中心とする。画像データから円形パターン２３に円フィッティングして円中心を検出し、それを円形パターン２３（校正パターン）の位置座表とする。
【００３２】
図２（ｆ）は校正パターン２２の別例として複数の十字パターン２６を示す。この場合、それぞれの十字パターンの幾何特徴は交点となり、それらの交点の平均したものを代表して位置座標とするか、それぞれの交点をそのまま位置座標とする。この例のように、位置座標は一つの検出領域２１内に一つでも複数でもよい。
【００３３】
重要なことは校正パターンから二次元方向の位置座標が一意にきまり、それを経時的に追跡できることである。そのような校正パターンであれば、上記に示す以外のパターンでも本実施形態に採用することが可能である。
【００３４】
また本実施形態では、計測パターン２４を一次元方向のパターンとして記載しているが、三次元計測を行う際には、残りの一次元方向（図２（ａ）の場合では垂直方向）のパターンを投影することも考えられる。その場合は、計測パターン２４とは異なる校正パターンを投影せずとも検出領域において二次元方向の位置座標が決まる。すなわち計測パターンそのものを利用して検出領域におけるパターンの位置座標を求めることも可能である。
【００３５】
図３は本実施形態にかかる３次元計測装置におけるキャリブレーションおよび三次元計測処理の概略的な処理の流れを説明する図である。図３（ａ）の右下図（３０１）はキャリブレーション時に投影する校正計測パターンのうち計測パターンのみを図示したプロジェクタの投影画素面３１上の計測パターン３５（プロジェクタ側の基準パターン）である。図３（ａ）の左下図（３０２）はキャリブレーション時に計測パターン３５を投影し、被写体面上からの反射光を撮像したカメラの撮像画素面３０上の計測パターン３３（カメラ側の基準パターン）である。
【００３６】
図３（ａ）の左上図（３０３）は計測時に計測パターン３５を投影し、撮像した撮像画素面３０上の計測パターン３２である。計測時はプロジェクタ内部の熱などの原因でプロジェクタ内部デバイスが微小変形し、計測時前のキャリブレーション時とはパターンの位置が微小に異なる。そのため、同じパターンを投影しても左上図（３０３）のようキャリブレーション時のパターンに比べ角度のついたパターンが撮影される。そして、図３（ａ）の右上図（３０４）は本アルゴリズムで最終的に求める仮想的な投影画素面３１上の計測パターン３４である。実際に投影されている投影画素面３１上のパターンは右下図（３０１）であるが、左上図（３０３）の撮影されたパターンに合わせて、投影面上のパターンを仮想的に変更する。これが本アルゴリズムで行うことである。求めるべき右上図（３０４）の投影画素面３１上の計測パターン３４とキャリブレーション時の計測パターン３５（右下図（３０１））とのずれの対応関係は、カメラ側の計測パターン３２と計測パターン３３とのずれの対応関係から求めることが可能である。
【００３７】
計測時の撮像画素面３０上の計測パターン３２がキャリブレーション時の計測パターン３３からずれた分を、計測時の投影画素面３１上の計測パターン３４もキャリブレーション時の計測パターン３５からずらすことで校正を行う。そのために計測領域内の全体のずれの対応関係を図２で示した検出領域２１で検出される校正パターンの位置座標のずれの対応関係で代表させる。以下、校正パターンの位置座標のずれの対応関係の算出方法を説明する。計測処理部９は、撮像画素面上の計測時の計測パターン３２とキャリブレーション時の計測パターン３３のずれの対応関係に基づき、投影画素面のパターンの明部と暗部のエッジに番号付けをしたテーブルを変更する。投影画素面のパターンの明部と暗部のエッジに番号付けしたテーブルについては図３（ｂ）〜（ｄ）で説明する。
【００３８】
図中にある矢印は本実施形態アルゴリズムの算出関係を示す。まず、キャリブレーション時にカメラ４の撮像画素面とプロジェクタ３の投影画素面の対応関係として、プロジェクタ３の投影画素面３１の計測パターン３５とカメラ４の撮像画素面３０の計測パターン３３との射影関係を求める。本処理は、基準情報処理部１３により実行される。キャリブレーション時の投影画素面３１における検出領域２１内の校正パターンの位置座標（ｘｐ１、ｙｐ１）と撮像画素面３０における検出領域２１の校正パターンの位置座標（ｘｃ１、ｙｃ１）を用いて射影変換行列Ａを算出する。
【００３９】
【数１】
【００４０】
ここで射影変換行列Ａは以下の２行２列で表わされる。
【００４１】
【数２】
【００４２】
射影変換を行うには、射影変換する領域を指定する最低４つの同一平面上の点が必要となる。そのため本実施形態では検出領域２１を計測台２０の４隅に配置した。
【００４３】
次に、キャリブレーション時と計測時との撮像画素面上での校正パターンの対応関係を求める。第１算出部１１はキャリブレーション時の撮像画素面３０の計測パターン３３と計測時の撮像画素面３０の計測パターン３２との射影関係を求める。計測時の撮像画素面３０の検出領域２１における校正パターンの位置座標（ｘｃ２、ｙｃ２）とキャリブレーション時の撮像画素面３０の検出領域２１における校正パターンの位置座標（ｘｃ１、ｙｃ１）を用いて射影変換行列Ｂを算出する。
【００４４】
【数３】
【００４５】
ここで射影変換行列Ｂは以下の２行２列で表わされる。
【００４６】
【数４】
【００４７】
また、計測時の撮像画素面３０上での計測パターン３２と投影画素面３１上での計測パターン３４との関係は、射影変換行列Ａを用いて（３）式として表すことができる。
【００４８】
【数５】
【００４９】
次に、キャリブレーション時と計測時との投影画素面上での校正パターンの対応関係を求める。計測時の投影画素面３１上の計測パターン３４とキャリブレーション時の計測パターン３５との射影関係は、以下の（４）式になる。
【００５０】
【数６】
【００５１】
ここで射影変換行列Ｃは以下の２行２列で表わされる。
【００５２】
【数７】
【００５３】
（４）式の関係から、（５）式が得られる。
【００５４】
【数８】
【００５５】
（５）式を用いて、キャリブレーション時の投影画素面３１上の計測パターン３５に射影変換行列Ｃをかけることで、計測時の計測パターン３４が求まる。この処理は、第２算出部１２により実行される。
【００５６】
図３（ｂ）は撮像画素面上の計測パターンの明部と暗部のエッジ位置を示すテーブルである。また図３（ｃ）、（ｄ）は投影画素面上のパターンの明部と暗部のエッジ位置を示すテーブルである。図３（ｂ）は以下、撮像エッジ位置テーブルと呼び、図３（ｃ）、（ｄ）は以下、投影エッジ位置テーブルと呼ぶ。
【００５７】
空間符号化法などプロジェクタのライン位置から距離を求める方式においては、計測パターンの縞の明部と暗部のエッジ位置が計測値になる。そのため、撮像画素面上のエッジ位置を算出し、エッジ位置をテーブル化する必要があり、それが撮像エッジ位置テーブルである。図３（ｂ）はキャリブレーション時の計測パターン３３の撮像エッジ位置テーブル４０である。テーブル内の値は、ｘ、ｙ座標値に対応した、計測パターン３３の撮像画素面画素であり、サブピクセル推定するため、小数点以下の値を有している。図３（ｂ）では、一例として、撮影画素面ｙ方向の６０画素から８２画素の間にエッジ位置が存在し、それがサブピクセル値でテーブル化されている。
【００５８】
また、プロジェクタを用いた三角測量で距離を求める方式においては、投影部の投影画素面のどの位置のパターンが撮像画素面上のどのパターンの位置であるのか対応付けする必要がある。それが投影エッジ位置テーブルである。このことは、空間符号化法に限らずプロジェクタを用いた三角測量で距離を求める場合に共通である。図３（ｄ）は、計測パターン３４の投影エッジ位置テーブル３６を示し、図３（ｃ）はキャリブレーション時の投影エッジ位置テーブル３８を示す。例えば、プロジェクタ３の垂直方向（ｙ方向）の画素数が７６８である場合、明部と暗部の大きさをそれぞれ１画素とすると、最大で７６７本のエッジ位置が得られる。そのため、投影エッジ位置テーブルのｘ、ｙ座標値はそのエッジ位置の番号を示している。図３（ｃ）では、一例として、投影画素面ｙ方向の１０番目から１５番目のエッジをテーブル化されている。すなわち投影エッジ位置テーブルで１０とあれば、１０本目のエッジ位置を意味する。図３（ｃ）の投影エッジ位置テーブルと図３（ｂ）の撮像エッジ位置テーブルは対になっているので、投影エッジ位置テーブルの１０は撮像エッジ位置テーブルの６０の小数点の行に対応する。
【００５９】
従来では、計測時の投影エッジ位置テーブル３６（図３（ｄ））もキャリブレーション時の投影エッジ位置テーブル３８（図３（ｃ））と同じ値が付けられていた。しかし、それでは投影エッジ位置テーブルがパターン位置変動に対応していないため計測誤差となる。そのため、図３（ａ）で算出した射影変換行列Ｃを使って、投影エッジ位置テーブルを変更したものが投影エッジ位置テーブル３６である。
【００６０】
こうして検出領域２１の校正パターンの位置座標のずれの対応関係から、投影画素面上の計測領域全体のずれの対応関係を推定し、領域全体のパターンの位置座標を変更できる。以上が計測処理部９で行われている校正である。尚、上記に述べた計算式は一例であり、別手段による計算方法もある。例えば、（３）式を使わず、以下の（６）、（７）式を使用することも可能である。
【００６１】
【数９】
【００６２】
（６）式と（７）式から（８）式を求めることができる。
【００６３】
【数１０】
【００６４】
このように（３）式で求める行列の値が安定しない場合は、（８）式で置き換えることも可能である。本アルゴリズムの目的はキャリブレーション時の投影画素面上の位置情報（Ｘｐ１、Ｙｐ１）と計測時の投影画素面上の位置情報（Ｘｐ２、Ｙｐ２）の関係性を求めることである。そのため、その関係性を求めるための計算手段はすべて本実施形態に含まれるものとする。
【００６５】
図４は計測誤差を校正し、三次元距離を算出するフローを説明する。本処理は計測計算部１の全体的な制御の下に実行される。まずは校正パターンの基準位置情報を取得する。作業者は本計測装置を使用して校正計測パターン２５を投影、撮像する（Ｓ４０）。次に予め設定された検出領域２１内に投影された校正パターンの幾何特徴を検出し、位置座標を求める（Ｓ４１）。カメラ４の撮像画素面上の位置座標とプロジェクタ３の投影画素面上の位置座標を用いて、キャリブレーション時の撮像画素面と投影画素面上の射影変換行列Ａを算出する（Ｓ４２）。
【００６６】
以上がキャリブレーション時に行われる手順であり、ここで検出された撮像画素面上の位置座標および射影変換行列Ａは三次元計測装置のパラメータ記憶部８に記憶される。
【００６７】
次に、三次元計測を開始する（Ｓ４３）。プロジェクタ３はキャリブレーション時と同様の校正計測パターン２５を投影し、カメラ４は校正計測パターン２５が投影された被写体２を撮像する。ステップＳ４１と同様に検出領域２１内に投影された校正パターンから位置座標を検出する（Ｓ４４）。パラメータ記憶部８からキャリブレーション時のカメラ４の撮像画素面上の位置座標を取得する。そして、取得した位置座標と計測時の撮像画素面上の位置座標とから、計測時の撮像画素面とキャリブレーション時の撮像画素面との射影関係を定める射影変換行列Ｂを算出する（Ｓ４５）。
【００６８】
ステップＳ４２で算出された射影変換行列Ａをパラメータ記憶部８から取得する。そして取得した射影変換行列ＡとステップＳ４５で算出された射影変換行列Ｂとを用いて、計測時の投影画素面とキャリブレーション時の投影画素面との間の射影関係を定める射影変換行列Ｃを求める（Ｓ４６）。算出された射影変換行列Ｃを計測時の投影エッジ位置テーブルの値にかけることで、投影エッジ位置テーブルを変更する（Ｓ４７）。ステップＳ４７で変更された新たな投影エッジ位置テーブルを用いて三次元計測を行う（Ｓ４８）。
【００６９】
以上の方法によれば、三次元計測装置から検出領域までの距離値が不明であっても、検出領域を同一平面上に複数個設定し校正パターンを投影することで、使用するデバイスの経時的な変化による計測誤差を校正することが可能となる。
【００７０】
＜第２の実施形態＞
第２の実施形態では校正計測パターン２５ではなく、計測領域の面内における一次元方向の計測パターンのみを用いて校正する方法を説明する。図５は一次元方向の計測パターンとして投影するパターンを例示的に示す図であり、三次元計測に使用する計測パターン２４を投影する。所定の検出領域２１を複数設定し、検出領域２１内の計測パターン２４のずれを検出する。図５では計測パターンが水平方向のパターンであるため、計測領域の面内において、一次元方向の計測パターンに対して垂直方向のずれのみが検出できる。一次元方向の計測パターンのみを用いる場合、検出できない方向の座標（本図では水平方向）の設定が課題となる。そのため、線形補間によって検出できない座標を推定する。
【００７１】
図６は、線形補間により座標を推定する方法を説明する図である。図６はカメラ４の撮像素子（撮像画素面）上での座標である。実際には検出領域２１内でパターンの幾何特徴を複数の検出点からとり位置座標を求める場合もあるが、わかりやすくするため４点の位置座標で説明する。４隅の位置座標は、予め決めたｘ座標のｘ１およびｘ２で検出し、そのときのｙ座標をそれぞれ求める。まずキャリブレーション時の４点の位置座標を左上から時計回りに（ｘ１、ｙｃ１１）、（ｘ２、ｙｃ１２）、（ｘ２、ｙｃ１４）、（ｘ１、ｙｃ１３）とする。４点をつないだ形状をパターン形状６０とする。同様に計測時のパターンから検出した４点の位置座標を左上から時計回りに（ｘ１、ｙｃ２１）、（ｘ２、ｙｃ２２）、（ｘ２、ｙｃ２４）、（ｘ１、ｙｃ２３）とする。４点をつないだ形状をパターン形状６１とする。
【００７２】
第１算出部１１はキャリブレーション時および計測時における撮像画素面上におけるパターンの位置情報を用いた線形補間の結果を用いて、パターン形状６０、６１から４隅の検出領域２１内のパターンの各縞のずれの対応関係を推定する。ずれの対応関係の推定方法として、線形補間を行い、計測パターン２４の縞（パターン）ごとにずれの対応関係を内挿する。パターン形状６０およびパターン形状６１から上辺と下辺の直線式をそれぞれ求める。内挿を行うには、たとえばｘ座標のｘ３でパターン形状６０の上辺の点を点６２、下辺の点を点６３とし、パターン形状６１の上辺の点を点６４、下辺の点を点６５とする。ｘ座標ｘ３の位置で点６２−点６３間と点６４−点６５間とが対応関係になる。そこで、点６２−点６３間の縞のｙ座標が点６４−点６５間でどの座標になるかを線形補間で一次元探索することで、点６２−点６３間および点６４−点６５間をそれぞれ内挿することが出来る。このようにすると、パターン形状６０とパターン形状６１から各縞（パターン）のずれの対応関係を推定出来る。
【００７３】
図６の例では、カメラ４の撮像画素面上での線形補間の例を示したが、線形補間の例はこの他、基準情報処理部１３における対応関係を算出する場合にも適用することは可能である。基準情報処理部１３は、投影画素面のパターンの位置情報と、撮像画素面のパターンの位置情報とを用いた線形補間の結果とを用いて、一次元方向のパターンに沿った方向について、撮像画素面と投影画素面との対応関係を算出する。
【００７４】
計測処理部９は、第１算出部１１、基準情報処理部１３における線形補間の結果により求められるずれの対応関係に基づき、計測時の投影エッジ位置テーブルを変更することで校正を行うことが可能である。
【００７５】
以上の方法によれば、検出領域に特殊な校正パターンを投影せずとも計測誤差の校正が可能である。すなわち、一般的に行う三次元計測の手法を変えることなく、検出領域を設定し、領域内の計測パターンを検出するのみで計測誤差を校正できるため、従来の三次元計測装置にも対応が容易である。
【００７６】
＜第３の実施形態＞
第３の実施形態では、一次元方向の計測パターンのみを用いて校正する方法で、計測パターンと水平方向のずれの対応関係も推定するエピポーラ拘束を用いるアルゴリズムを説明する。基準情報処理部１３はエピポーラ拘束を用いてカメラ４の撮像画素面とプロジェクタ３の投影画素面との対応関係を求めることが可能である。まず、エピポーラ拘束について図７で説明する。図７のカメラ４とプロジェクタ３の配置関係から、カメラ４の光軸中心Ｌｃとプロジェクタ３の光軸中心Ｌｐおよび、カメラ４の撮像画素面上とプロジェクタ３の投影画素面上における対応点Ｍｃ、Ｍｐは同一平面上に存在することがわかる。すなわち、Ｍｐはカメラ４とプロジェクタ３の光軸中心Ｌｃ、Ｌｐとカメラ４の撮像画素面上の点Ｍｃで決まる平面とプロジェクタ３の投影画素面が交わる直線上に存在する。この直線はエピポーラ線と呼ばれ、カメラ４とプロジェクタ３の対応点探索がエピポーラ線上に拘束されることをエピポーラ拘束と呼ぶ。
【００７７】
カメラ４とプロジェクタ３の幾何学的な配置が既知であれば、カメラ４の各観測点におけるプロジェクタ３の投影画素面上のエピポーラ線を求める。そして、そのエピポーラ線上で対応点探索を行なうことにより，カメラ４の各観測点における投影画素面上の対応点を求めることができる。一般的には、カメラ４とプロジェクタ３の回転行列Ｒと並進行列Ｔから基本行列Ｅ＝Ｔ×Ｒを求め、Ｍｃ＝（ｘｃ、ｙｃ、１）、Ｍｐ＝（ｘｐ、ｙｐ、１）とすると、下記の式（９）が成り立つ。
【００７８】
【数１１】
【００７９】
次に図６を用いて、エピポーラ拘束を用いたアルゴリズムを説明する。一次元方向の計測パターンから、キャリブレーション時の４点の位置座標（ｘ１、ｙｃ１１）、（ｘ２、ｙｃ１２）、（ｘ２、ｙｃ１４）、（ｘ１、ｙｃ１３）が検出される。また、計測時のパターンから４点の位置座標（ｘ１、ｙｃ２１）、（ｘ２、ｙｃ２２）、（ｘ２、ｙｃ２４）、（ｘ１、ｙｃ２３）が検出される。投影エッジ位置テーブルから、キャリブレーション時および計測時に関するプロジェクタ３の投影画素面上の位置座標ｙｐがそれぞれ求まり、カメラ４とプロジェクタ３のキャリブレーション値から基本行列Ｅを求める。以上から（６）式を用いてプロジェクタ３の投影画素面上の位置座標ｘｐを求めることが出来る。最終的に、（ｘｃ、ｙｃ）と（ｘｐ、ｙｐ）が求まるため、第１の実施形態と同様に校正を行うことが可能になる。
【００８０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、被写体の表面形状を測定する三次元計測装置において発生する装置誤差を校正することが可能な三次元計測装置、三次元計測方法およびプログラムに関する。
【背景技術】
【０００２】
従来、被写体の表面形状を非接触で計測する装置の１つとして、投影部と撮像部を使用して三角測量の原理で表面形状を求める装置がある。その計測方法を説明すると、まず投影部から被写体に向けてパターンを投影する。次にパターンが投影された被写体を撮像部で撮像する。撮像した画像データから、撮像手段の撮像画素面上でのパターンの位置を算出する。そして、投影部の投影画素面のどの位置のパターンが撮像画素面上のどのパターンの位置であるのか対応付けを行う。
【０００３】
ここで、投影部と撮像部の位置関係をキャリブレーションで求めておく。例えば、投影部と撮像部の基線長や撮像部と投影部の回転・並進情報などと、投影部と撮像部の装置固有のパラメータ、焦点距離、光軸主点位置やレンズ収差値など（総称してキャリブレーション値と呼ぶ）を事前に求める。
【０００４】
最終的に、キャリブレーション値と投影画素面および撮像画素面におけるパターンの位置関係から三角測量の原理を使って、装置から被写体までの距離を測定する。投影部と撮像部とを用いて被写体の表面形状を計測する装置では、一般的に使用するデバイスの形状や配置が温度変化にともなう熱膨張収縮効果などにより経時的に微小変化する。そのため計測環境が温度変化しやすい場合や計測が長期にわたる場合では投影されるパターンの投影位置が微小に異なり、同じ被写体を同じ条件で計測しても表面形状の結果に誤差が生じる問題があった。
【０００５】
この問題に対して、特許文献１では、三次元計測装置から正確に距離が既知であるターゲットを複数個配置することで、基線長、投影部の投影角度、撮像部の撮像角度の３つパラメータを校正する方法を示している。また特許文献２では、三次元計測装置内部に投影部から投影された計測用ビームを分光し、予め記憶したビーム投影位置と分光されたビーム投影位置との差分を求めることで校正する方法を示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−０５４２３４号公報
【特許文献２】特開平５−２４８８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１では、ターゲットと装置との距離を正確に知る必要があるため、実際に運用する際のセットアップが面倒であった。またターゲットと装置との距離自体が経時的に変化する可能性もあるので、校正値に対する信頼性も低かった。特許文献２では、装置内に新規デバイスを追加するため、装置の小型化とコストにおいて問題があった。
【課題を解決するための手段】
【０００８】
本発明は上記課題を鑑みてなされたものであり、計測誤差の校正が可能な三次元計測装置を提供することを目的とする。
【０００９】
本発明の一つの側面にかかる三次元計測装置は、所定のパターンを投影する投影手段と、前記パターンが投影された被写体を撮像する撮像手段とを有する三次元計測装置であって、
前記撮像手段によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影された前記パターンの撮像画素面上の位置情報を検出する検出手段と、
前記位置情報を用いて、計測時前に予め検出した前記投影手段の投影画素面上の前記パターンと計測時における前記投影手段の投影画素面上の前記パターンとの対応関係を算出する対応関係算出手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、計測誤差の校正が可能な三次元計測装置を提供することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態にかかる３次元計測装置の基本構成を示す図。
【図２】投影パターンの例を示す図。
【図３】３次元計測装置におけるキャリブレーションおよび三次元計測処理の概略的な処理の流れを説明する図。
【図４】第１の実施形態にかかる３次元計測装置におけるキャリブレーションおよび三次元計測処理の流れを説明する図。
【図５】第２の実施形態の投影パターンを例示的に示す図。
【図６】第２の実施形態の線形補間を説明する図。
【図７】第３の実施形態のエピポーラ拘束を説明する図。
【発明を実施するための形態】
【００１２】
＜第１の実施形態＞
図１は実施形態にかかる３次元計測装置の基本構成を示す図である。計測装置の基本構成は、パターンを被写体２に投影するプロジェクタ３、パターンが投影された被写体２を撮像するカメラ４、パターンの投影や撮像を指示し、撮像された画像データを計算処理して三次元計測を行う計測計算部１である。
【００１３】
計測計算部１は、中央制御部５、パターンメモリ６、画像メモリ７、パラメータ記憶部８、計測処理部９および領域検出部１０、第１算出部１１、第２算出部１２、基準情報処理部１３からなる。それぞれは互いがバスによってつながれ、命令およびデータを送受信可能になっている。
【００１４】
パターンメモリ６はＲＯＭ等の記憶手段で構成されている。パターンメモリ６には、プロジェクタ３から投影するパターンを設定するパターン形状プログラム、投影時間を設定するタイムアカウントプログラムなどが格納されている。
【００１５】
中央制御部５は計測計算部１に属する各部の指示を行う機能を持つ。中央制御部５から投影指示を受信したパターンメモリ６はパターンをプロジェクタ３に送信する。パターンメモリ６には、三次元計測を行うための計測パターンと、計測誤差を校正するための校正パターンと、三次元計測と校正を同時に行うための校正計測パターンなど複数のパターンが用意されている。校正計測パターンは校正パターンと計測パターンが組み合わされたものである。計測パターンと校正パターンについては図２を用いて後ほど説明する。中央制御部５からの指示に従い、いずれかのパターンを送信する。
【００１６】
中央制御部５は、プロジェクタ３を投影手段として機能させる投影制御手段の機能を有する。また、タイムアカウント信号がプロジェクタ３およびカメラ４に送信され、パターンの投影および撮像のタイミングが管理される。カメラ４は撮像画像を取得するための撮像手段として機能する。
【００１７】
カメラ４で撮像された画像データ（撮像画像）は、画像メモリ７に一時的に格納される。画像メモリ７は中央制御部５からの指示に従い、計測処理部９に送信するか、領域検出部１０に送信する。計測処理部９に送信するフローは計測誤差を校正しないフローであり、領域検出部１０に送信するフローは計測誤差を校正するフローである。
【００１８】
実際の処理では、三次元計測処理をするために画像データに２値化処理や先鋭化処理などを行うが、それらの処理は本実施形態とは無関係のため、説明を省略し、本実施形態では画像メモリ７から送信される画像データには必要な処理が施されているものとする。
【００１９】
領域検出部１０は、画像データに所定の同一平面上の複数領域を設定し、その領域内に投影される校正パターンを検出し、校正パターンの幾何特徴からパターンの位置情報として位置座標を検出する。検出結果である位置座標はカメラ４の撮像画素面の画素を座標系にとった座標で表される。本目的の誤差の補正をするには、予め計測前にパターンの位置情報を検出し、基準位置を設定する必要がある。本実施形態では、プロジェクタ３とカメラ４の回転・並進情報や投影部と撮像部の装置固有のパラメータであるキャリブレーション値を求めるキャリブレーション時に、パターン位置座標の基準位置も検出する。検出した撮像画素面上のパターンの位置座標は基準情報処理部１３に送信され、計測時に検出した撮像画素面上のパターンの位置座標は第１算出部１１に送信される。
【００２０】
基準情報処理部１３はパターンの位置座標の基準位置を用いてキャリブレーション時のカメラ４の撮像画素面とプロジェクタ３の投影画素面の対応関係を算出する。パターンメモリ６が有するパターンによる対応関係については図３を用いて後に説明する。パラメータ記憶部８はＲＯＭやＲＡＭ等の記憶手段で構成されている。パラメータ記憶部８には、上記に述べたキャリブレーション値が格納されている。また上記に述べたパターンの位置座標の基準位置や基準情報処理部１３で得たキャリブレーション時のカメラ４の撮像画素面とプロジェクタ３の投影画素面の対応関係も格納する。これらのパラメータは必要に応じて各部へ送信される。
【００２１】
対応関係算出部は第１算出部１１と第２算出部１２に分かれ、以下の処理を行う。第１算出部１１は、パラメータ記憶部８からキャリブレーション時の撮像画素面上のパターンの位置座標と、領域検出部１０から計測時の撮像画素面上のパターンの位置座標と、を取得する。そして、第１算出部１１は取得したキャリブレーション時の撮像画素面上のパターンの位置座標と計測時の撮像画素面上のパターンの位置座標とからキャリブレーション時と計測時との撮像画素面上でのパターンの対応関係を求める。そして、第１算出部１１は求めた対応関係を第２算出部１２へ送信する。
【００２２】
第２算出部１２はキャリブレーション時と計測時との投影画素面上でのパターンの対応関係を求める。パラメータ記憶部８からキャリブレーション時のカメラ４の撮像画素面とプロジェクタ３の投影画素面との対応関係を取得する。また第１算出部１１からキャリブレーション時と計測時との撮像画素面上でのパターンの対応関係を取得する。これら２つの対応関係を用いて、キャリブレーション時と計測時との投影画素面上でのパターンの対応関係を求める。算出した対応関係を計測処理部９へ送信する。
【００２３】
計測処理部９はパラメータ記憶部８からキャリブレーション値を取得し、画像データを用いて三角測量の原理で三次元計測を行う。本実施形態による計測誤差を校正する場合は、第２算出部１２から取得した射影変換行列Ｃを用いて、撮像画素面と投影画素面におけるパターンの対応関係を変更する。計測結果は三次元計測データとして生成される。三次元計測データは画像化され、モニタなどの表示部１４で距離画像として観察することができる。
【００２４】
尚、計測計算部１の機能の一部は、コンピュータプログラムが格納された記憶手段および中央制御部を有する外部装置により代替可能である。たとえば、基準情報処理部１３およびパラメータ記憶部の一部を外部装置として、キャリブレーション時に求める値は外部装置が行うことにしてもかまわない。その場合、本実施形態の三次元計測装置は基準情報処理部１３およびパラメータ記憶部の一部を除いた構成となる。
【００２５】
図２は投影するパターンの例を示す図である。図２（ａ）は三次元計測に使用する計測パターン２４を示す図である。本実施形態においては、三次元計測方法の一例として空間符号化法を用いて説明する。しかし投影するパターンは空間符号化法に用いるグレイコードパターンでも、位相シフト法に用いる輝度変化を有するパターンでも、光切断法に用いるラインパターンでもかまわない。計測パターン２４は明部と暗部が所定の幅で交互に配置されたパターンである。明部と暗部の幅が異なるパターンが複数枚あり、それらのパターンをそれぞれ投影する。図２（ａ）では、それらのパターンから代表する一枚を示している。
【００２６】
被写体２は一様な平面性を有する計測台２０に乗せて計測するものとする。計測する全体の領域に向けて計測パターン２４が投影される。図２（ｂ）は計測台２０に被写体２を載せて計測パターン２４を投影して計測を行う概念図を示している。
【００２７】
図２（ｃ）は計測誤差を校正する校正パターン２２を示す図である。校正パターン２２は計測する全体の領域の外周部に複数個投影される。校正パターン２２は計測空間内の同一平面上にあり、最低３個は必要である。本実施形態では、校正パターン２２の個数は４つとし、計測台２０に投影することで同一平面性を保っている。同一平面性をもち、個数を４つにする理由は、後述するアルゴリズムにて説明する。
【００２８】
校正パターン２２は幾何特徴が検出しやすく、かつ、二次元座標のずれを検出できる形状を採用し、図２（ｃ）では十字パターンを例として示した。所定の４隅の検出領域２１（パターン検出領域）について、予め計測者が検出領域２１の位置を設定し、設定後、その位置は変えないこととする。校正パターン２２も、プロジェクタ３の投影画素面の決められた画素から常に投影されるものとする。三次元計測装置は検出領域２１内の校正パターン２２を自動検出するため、校正パターン２２が検出領域２１から外れないように、検出領域２１は想定されるずれの対応関係よりも大きい範囲で設定する。たとえば市販プロジェクタでは経時的に十字パターンが数百ミクロンメートルから数ミリメートルの範囲で動く可能性があるので、検出領域２１はそれ以上の大きさで設定するのが望ましい。
【００２９】
図２（ｄ）は三次元計測に使用する計測パターン２４と計測誤差を校正する校正パターン２２とを組み合わせた校正計測パターン２５を投影した図である。本アルゴリズムでは、計測パターン２４と校正パターン２２とを順に投影しても計測誤差の校正は可能であるが、校正計測パターン２５を投影することで、三次元計測と校正を同時に行うことも可能である。本実施形態では、校正計測パターン２５を投影することを前提に説明を進める。
【００３０】
次に校正パターン２２の幾何特徴の検出について説明する。目的は校正パターン２２の幾何特徴を検出し、幾何特徴から校正パターンの位置座標を決定することである。そのためには校正パターン２２の幾何特徴から一意に座標を決めることが必要である。そこで、図２（ｄ）では、十字パターンの交点を検出し、校正パターン２２の位置座標とする。カメラ４の撮像画素面上で決定された位置座標は（ｘｃ、ｙｃ）として以下表現する。また、プロジェクタ３の投影画素面上で決定された位置座標は（ｘｐ、ｙｐ）として以下表現する。
【００３１】
図２（ｅ）は校正パターン２２の別例として円形パターン２３を示す。円形パターン２３の幾何特徴から求まる位置座標は円中心とする。画像データから円形パターン２３に円フィッティングして円中心を検出し、それを円形パターン２３（校正パターン）の位置座表とする。
【００３２】
図２（ｆ）は校正パターン２２の別例として複数の十字パターン２６を示す。この場合、それぞれの十字パターンの幾何特徴は交点となり、それらの交点の平均したものを代表して位置座標とするか、それぞれの交点をそのまま位置座標とする。この例のように、位置座標は一つの検出領域２１内に一つでも複数でもよい。
【００３３】
重要なことは校正パターンから二次元方向の位置座標が一意にきまり、それを経時的に追跡できることである。そのような校正パターンであれば、上記に示す以外のパターンでも本実施形態に採用することが可能である。
【００３４】
また本実施形態では、計測パターン２４を一次元方向のパターンとして記載しているが、三次元計測を行う際には、残りの一次元方向（図２（ａ）の場合では垂直方向）のパターンを投影することも考えられる。その場合は、計測パターン２４とは異なる校正パターンを投影せずとも検出領域において二次元方向の位置座標が決まる。すなわち計測パターンそのものを利用して検出領域におけるパターンの位置座標を求めることも可能である。
【００３５】
図３は本実施形態にかかる３次元計測装置におけるキャリブレーションおよび三次元計測処理の概略的な処理の流れを説明する図である。図３（ａ）の右下図（３０１）はキャリブレーション時に投影する校正計測パターンのうち計測パターンのみを図示したプロジェクタの投影画素面３１上の計測パターン３５（プロジェクタ側の基準パターン）である。図３（ａ）の左下図（３０２）はキャリブレーション時に計測パターン３５を投影し、被写体面上からの反射光を撮像したカメラの撮像画素面３０上の計測パターン３３（カメラ側の基準パターン）である。
【００３６】
図３（ａ）の左上図（３０３）は計測時に計測パターン３５を投影し、撮像した撮像画素面３０上の計測パターン３２である。計測時はプロジェクタ内部の熱などの原因でプロジェクタ内部デバイスが微小変形し、計測時前のキャリブレーション時とはパターンの位置が微小に異なる。そのため、同じパターンを投影しても左上図（３０３）のようキャリブレーション時のパターンに比べ角度のついたパターンが撮影される。そして、図３（ａ）の右上図（３０４）は本アルゴリズムで最終的に求める仮想的な投影画素面３１上の計測パターン３４である。実際に投影されている投影画素面３１上のパターンは右下図（３０１）であるが、左上図（３０３）の撮影されたパターンに合わせて、投影面上のパターンを仮想的に変更する。これが本アルゴリズムで行うことである。求めるべき右上図（３０４）の投影画素面３１上の計測パターン３４とキャリブレーション時の計測パターン３５（右下図（３０１））とのずれの対応関係は、カメラ側の計測パターン３２と計測パターン３３とのずれの対応関係から求めることが可能である。
【００３７】
計測時の撮像画素面３０上の計測パターン３２がキャリブレーション時の計測パターン３３からずれた分を、計測時の投影画素面３１上の計測パターン３４もキャリブレーション時の計測パターン３５からずらすことで校正を行う。そのために計測領域内の全体のずれの対応関係を図２で示した検出領域２１で検出される校正パターンの位置座標のずれの対応関係で代表させる。以下、校正パターンの位置座標のずれの対応関係の算出方法を説明する。計測処理部９は、撮像画素面上の計測時の計測パターン３２とキャリブレーション時の計測パターン３３のずれの対応関係に基づき、投影画素面のパターンの明部と暗部のエッジに番号付けをしたテーブルを変更する。投影画素面のパターンの明部と暗部のエッジに番号付けしたテーブルについては図３（ｂ）〜（ｄ）で説明する。
【００３８】
図中にある矢印は本実施形態アルゴリズムの算出関係を示す。まず、キャリブレーション時にカメラ４の撮像画素面とプロジェクタ３の投影画素面の対応関係として、プロジェクタ３の投影画素面３１の計測パターン３５とカメラ４の撮像画素面３０の計測パターン３３との射影関係を求める。本処理は、基準情報処理部１３により実行される。キャリブレーション時の投影画素面３１における検出領域２１内の校正パターンの位置座標（ｘｐ１、ｙｐ１）と撮像画素面３０における検出領域２１の校正パターンの位置座標（ｘｃ１、ｙｃ１）を用いて射影変換行列Ａを算出する。
【００３９】
【数１】
【００４０】
ここで射影変換行列Ａは以下の２行２列で表わされる。
【００４１】
【数２】
【００４２】
射影変換を行うには、射影変換する領域を指定する最低４つの同一平面上の点が必要となる。そのため本実施形態では検出領域２１を計測台２０の４隅に配置した。
【００４３】
次に、キャリブレーション時と計測時との撮像画素面上での校正パターンの対応関係を求める。第１算出部１１はキャリブレーション時の撮像画素面３０の計測パターン３３と計測時の撮像画素面３０の計測パターン３２との射影関係を求める。計測時の撮像画素面３０の検出領域２１における校正パターンの位置座標（ｘｃ２、ｙｃ２）とキャリブレーション時の撮像画素面３０の検出領域２１における校正パターンの位置座標（ｘｃ１、ｙｃ１）を用いて射影変換行列Ｂを算出する。
【００４４】
【数３】
【００４５】
ここで射影変換行列Ｂは以下の２行２列で表わされる。
【００４６】
【数４】
【００４７】
また、計測時の撮像画素面３０上での計測パターン３２と投影画素面３１上での計測パターン３４との関係は、射影変換行列Ａを用いて（３）式として表すことができる。
【００４８】
【数５】
【００４９】
次に、キャリブレーション時と計測時との投影画素面上での校正パターンの対応関係を求める。計測時の投影画素面３１上の計測パターン３４とキャリブレーション時の計測パターン３５との射影関係は、以下の（４）式になる。
【００５０】
【数６】
【００５１】
ここで射影変換行列Ｃは以下の２行２列で表わされる。
【００５２】
【数７】
【００５３】
（４）式の関係から、（５）式が得られる。
【００５４】
【数８】
【００５５】
（５）式を用いて、キャリブレーション時の投影画素面３１上の計測パターン３５に射影変換行列Ｃをかけることで、計測時の計測パターン３４が求まる。この処理は、第２算出部１２により実行される。
【００５６】
図３（ｂ）は撮像画素面上の計測パターンの明部と暗部のエッジ位置を示すテーブルである。また図３（ｃ）、（ｄ）は投影画素面上のパターンの明部と暗部のエッジ位置を示すテーブルである。図３（ｂ）は以下、撮像エッジ位置テーブルと呼び、図３（ｃ）、（ｄ）は以下、投影エッジ位置テーブルと呼ぶ。
【００５７】
空間符号化法などプロジェクタのライン位置から距離を求める方式においては、計測パターンの縞の明部と暗部のエッジ位置が計測値になる。そのため、撮像画素面上のエッジ位置を算出し、エッジ位置をテーブル化する必要があり、それが撮像エッジ位置テーブルである。図３（ｂ）はキャリブレーション時の計測パターン３３の撮像エッジ位置テーブル４０である。テーブル内の値は、ｘ、ｙ座標値に対応した、計測パターン３３の撮像画素面画素であり、サブピクセル推定するため、小数点以下の値を有している。図３（ｂ）では、一例として、撮影画素面ｙ方向の６０画素から８２画素の間にエッジ位置が存在し、それがサブピクセル値でテーブル化されている。
【００５８】
また、プロジェクタを用いた三角測量で距離を求める方式においては、投影部の投影画素面のどの位置のパターンが撮像画素面上のどのパターンの位置であるのか対応付けする必要がある。それが投影エッジ位置テーブルである。このことは、空間符号化法に限らずプロジェクタを用いた三角測量で距離を求める場合に共通である。図３（ｄ）は、計測パターン３４の投影エッジ位置テーブル３６を示し、図３（ｃ）はキャリブレーション時の投影エッジ位置テーブル３８を示す。例えば、プロジェクタ３の垂直方向（ｙ方向）の画素数が７６８である場合、明部と暗部の大きさをそれぞれ１画素とすると、最大で７６７本のエッジ位置が得られる。そのため、投影エッジ位置テーブルのｘ、ｙ座標値はそのエッジ位置の番号を示している。図３（ｃ）では、一例として、投影画素面ｙ方向の１０番目から１５番目のエッジをテーブル化されている。すなわち投影エッジ位置テーブルで１０とあれば、１０本目のエッジ位置を意味する。図３（ｃ）の投影エッジ位置テーブルと図３（ｂ）の撮像エッジ位置テーブルは対になっているので、投影エッジ位置テーブルの１０は撮像エッジ位置テーブルの６０の小数点の行に対応する。
【００５９】
従来では、計測時の投影エッジ位置テーブル３６（図３（ｄ））もキャリブレーション時の投影エッジ位置テーブル３８（図３（ｃ））と同じ値が付けられていた。しかし、それでは投影エッジ位置テーブルがパターン位置変動に対応していないため計測誤差となる。そのため、図３（ａ）で算出した射影変換行列Ｃを使って、投影エッジ位置テーブルを変更したものが投影エッジ位置テーブル３６である。
【００６０】
こうして検出領域２１の校正パターンの位置座標のずれの対応関係から、投影画素面上の計測領域全体のずれの対応関係を推定し、領域全体のパターンの位置座標を変更できる。以上が計測処理部９で行われている校正である。尚、上記に述べた計算式は一例であり、別手段による計算方法もある。例えば、（３）式を使わず、以下の（６）、（７）式を使用することも可能である。
【００６１】
【数９】
【００６２】
（６）式と（７）式から（８）式を求めることができる。
【００６３】
【数１０】
【００６４】
このように（３）式で求める行列の値が安定しない場合は、（８）式で置き換えることも可能である。本アルゴリズムの目的はキャリブレーション時の投影画素面上の位置情報（Ｘｐ１、Ｙｐ１）と計測時の投影画素面上の位置情報（Ｘｐ２、Ｙｐ２）の関係性を求めることである。そのため、その関係性を求めるための計算手段はすべて本実施形態に含まれるものとする。
【００６５】
図４は計測誤差を校正し、三次元距離を算出するフローを説明する。本処理は計測計算部１の全体的な制御の下に実行される。まずは校正パターンの基準位置情報を取得する。作業者は本計測装置を使用して校正計測パターン２５を投影、撮像する（Ｓ４０）。次に予め設定された検出領域２１内に投影された校正パターンの幾何特徴を検出し、位置座標を求める（Ｓ４１）。カメラ４の撮像画素面上の位置座標とプロジェクタ３の投影画素面上の位置座標を用いて、キャリブレーション時の撮像画素面と投影画素面上の射影変換行列Ａを算出する（Ｓ４２）。
【００６６】
以上がキャリブレーション時に行われる手順であり、ここで検出された撮像画素面上の位置座標および射影変換行列Ａは三次元計測装置のパラメータ記憶部８に記憶される。
【００６７】
次に、三次元計測を開始する（Ｓ４３）。プロジェクタ３はキャリブレーション時と同様の校正計測パターン２５を投影し、カメラ４は校正計測パターン２５が投影された被写体２を撮像する。ステップＳ４１と同様に検出領域２１内に投影された校正パターンから位置座標を検出する（Ｓ４４）。パラメータ記憶部８からキャリブレーション時のカメラ４の撮像画素面上の位置座標を取得する。そして、取得した位置座標と計測時の撮像画素面上の位置座標とから、計測時の撮像画素面とキャリブレーション時の撮像画素面との射影関係を定める射影変換行列Ｂを算出する（Ｓ４５）。
【００６８】
ステップＳ４２で算出された射影変換行列Ａをパラメータ記憶部８から取得する。そして取得した射影変換行列ＡとステップＳ４５で算出された射影変換行列Ｂとを用いて、計測時の投影画素面とキャリブレーション時の投影画素面との間の射影関係を定める射影変換行列Ｃを求める（Ｓ４６）。算出された射影変換行列Ｃを計測時の投影エッジ位置テーブルの値にかけることで、投影エッジ位置テーブルを変更する（Ｓ４７）。ステップＳ４７で変更された新たな投影エッジ位置テーブルを用いて三次元計測を行う（Ｓ４８）。
【００６９】
以上の方法によれば、三次元計測装置から検出領域までの距離値が不明であっても、検出領域を同一平面上に複数個設定し校正パターンを投影することで、使用するデバイスの経時的な変化による計測誤差を校正することが可能となる。
【００７０】
＜第２の実施形態＞
第２の実施形態では校正計測パターン２５ではなく、計測領域の面内における一次元方向の計測パターンのみを用いて校正する方法を説明する。図５は一次元方向の計測パターンとして投影するパターンを例示的に示す図であり、三次元計測に使用する計測パターン２４を投影する。所定の検出領域２１を複数設定し、検出領域２１内の計測パターン２４のずれを検出する。図５では計測パターンが水平方向のパターンであるため、計測領域の面内において、一次元方向の計測パターンに対して垂直方向のずれのみが検出できる。一次元方向の計測パターンのみを用いる場合、検出できない方向の座標（本図では水平方向）の設定が課題となる。そのため、線形補間によって検出できない座標を推定する。
【００７１】
図６は、線形補間により座標を推定する方法を説明する図である。図６はカメラ４の撮像素子（撮像画素面）上での座標である。実際には検出領域２１内でパターンの幾何特徴を複数の検出点からとり位置座標を求める場合もあるが、わかりやすくするため４点の位置座標で説明する。４隅の位置座標は、予め決めたｘ座標のｘ１およびｘ２で検出し、そのときのｙ座標をそれぞれ求める。まずキャリブレーション時の４点の位置座標を左上から時計回りに（ｘ１、ｙｃ１１）、（ｘ２、ｙｃ１２）、（ｘ２、ｙｃ１４）、（ｘ１、ｙｃ１３）とする。４点をつないだ形状をパターン形状６０とする。同様に計測時のパターンから検出した４点の位置座標を左上から時計回りに（ｘ１、ｙｃ２１）、（ｘ２、ｙｃ２２）、（ｘ２、ｙｃ２４）、（ｘ１、ｙｃ２３）とする。４点をつないだ形状をパターン形状６１とする。
【００７２】
第１算出部１１はキャリブレーション時および計測時における撮像画素面上におけるパターンの位置情報を用いた線形補間の結果を用いて、パターン形状６０、６１から４隅の検出領域２１内のパターンの各縞のずれの対応関係を推定する。ずれの対応関係の推定方法として、線形補間を行い、計測パターン２４の縞（パターン）ごとにずれの対応関係を内挿する。パターン形状６０およびパターン形状６１から上辺と下辺の直線式をそれぞれ求める。内挿を行うには、たとえばｘ座標のｘ３でパターン形状６０の上辺の点を点６２、下辺の点を点６３とし、パターン形状６１の上辺の点を点６４、下辺の点を点６５とする。ｘ座標ｘ３の位置で点６２−点６３間と点６４−点６５間とが対応関係になる。そこで、点６２−点６３間の縞のｙ座標が点６４−点６５間でどの座標になるかを線形補間で一次元探索することで、点６２−点６３間および点６４−点６５間をそれぞれ内挿することが出来る。このようにすると、パターン形状６０とパターン形状６１から各縞（パターン）のずれの対応関係を推定出来る。
【００７３】
図６の例では、カメラ４の撮像画素面上での線形補間の例を示したが、線形補間の例はこの他、基準情報処理部１３における対応関係を算出する場合にも適用することは可能である。基準情報処理部１３は、投影画素面のパターンの位置情報と、撮像画素面のパターンの位置情報とを用いた線形補間の結果とを用いて、一次元方向のパターンに沿った方向について、撮像画素面と投影画素面との対応関係を算出する。
【００７４】
計測処理部９は、第１算出部１１、基準情報処理部１３における線形補間の結果により求められるずれの対応関係に基づき、計測時の投影エッジ位置テーブルを変更することで校正を行うことが可能である。
【００７５】
以上の方法によれば、検出領域に特殊な校正パターンを投影せずとも計測誤差の校正が可能である。すなわち、一般的に行う三次元計測の手法を変えることなく、検出領域を設定し、領域内の計測パターンを検出するのみで計測誤差を校正できるため、従来の三次元計測装置にも対応が容易である。
【００７６】
＜第３の実施形態＞
第３の実施形態では、一次元方向の計測パターンのみを用いて校正する方法で、計測パターンと水平方向のずれの対応関係も推定するエピポーラ拘束を用いるアルゴリズムを説明する。基準情報処理部１３はエピポーラ拘束を用いてカメラ４の撮像画素面とプロジェクタ３の投影画素面との対応関係を求めることが可能である。まず、エピポーラ拘束について図７で説明する。図７のカメラ４とプロジェクタ３の配置関係から、カメラ４の光軸中心Ｌｃとプロジェクタ３の光軸中心Ｌｐおよび、カメラ４の撮像画素面上とプロジェクタ３の投影画素面上における対応点Ｍｃ、Ｍｐは同一平面上に存在することがわかる。すなわち、Ｍｐはカメラ４とプロジェクタ３の光軸中心Ｌｃ、Ｌｐとカメラ４の撮像画素面上の点Ｍｃで決まる平面とプロジェクタ３の投影画素面が交わる直線上に存在する。この直線はエピポーラ線と呼ばれ、カメラ４とプロジェクタ３の対応点探索がエピポーラ線上に拘束されることをエピポーラ拘束と呼ぶ。
【００７７】
カメラ４とプロジェクタ３の幾何学的な配置が既知であれば、カメラ４の各観測点におけるプロジェクタ３の投影画素面上のエピポーラ線を求める。そして、そのエピポーラ線上で対応点探索を行なうことにより，カメラ４の各観測点における投影画素面上の対応点を求めることができる。一般的には、カメラ４とプロジェクタ３の回転行列Ｒと並進行列Ｔから基本行列Ｅ＝Ｔ×Ｒを求め、Ｍｃ＝（ｘｃ、ｙｃ、１）、Ｍｐ＝（ｘｐ、ｙｐ、１）とすると、下記の式（９）が成り立つ。
【００７８】
【数１１】
【００７９】
次に図６を用いて、エピポーラ拘束を用いたアルゴリズムを説明する。一次元方向の計測パターンから、キャリブレーション時の４点の位置座標（ｘ１、ｙｃ１１）、（ｘ２、ｙｃ１２）、（ｘ２、ｙｃ１４）、（ｘ１、ｙｃ１３）が検出される。また、計測時のパターンから４点の位置座標（ｘ１、ｙｃ２１）、（ｘ２、ｙｃ２２）、（ｘ２、ｙｃ２４）、（ｘ１、ｙｃ２３）が検出される。投影エッジ位置テーブルから、キャリブレーション時および計測時に関するプロジェクタ３の投影画素面上の位置座標ｙｐがそれぞれ求まり、カメラ４とプロジェクタ３のキャリブレーション値から基本行列Ｅを求める。以上から（６）式を用いてプロジェクタ３の投影画素面上の位置座標ｘｐを求めることが出来る。最終的に、（ｘｃ、ｙｃ）と（ｘｐ、ｙｐ）が求まるため、第１の実施形態と同様に校正を行うことが可能になる。
【００８０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
所定のパターンを投影する投影手段と、前記パターンが投影された被写体を撮像する撮像手段とを有する三次元計測装置であって、
前記撮像手段によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影された前記パターンの撮像画素面上の位置情報を検出する検出手段と、
前記位置情報を用いて、計測時前に予め検出した前記投影手段の投影画素面上の前記パターンと計測時における前記投影手段の投影画素面上の前記パターンとの対応関係を算出する対応関係算出手段と、
を有することを特徴とする三次元計測装置。
【請求項２】
前記対応関係算出手段により算出された前記対応関係を用いて、計測時における前記撮像手段の撮像画素面上の前記パターンと前記投影手段の投影画素面上の前記パターンとの対応関係を変更する計測処理手段を更に有することを特徴とする請求項１に記載の三次元計測装置。
【請求項３】
前記対応関係算出手段により算出される前記対応関係は射影変換であることを特徴とする請求項１または２に記載の三次元計測装置。
【請求項４】
前記パターン検出領域に投影される前記パターンは前記計測空間内における一次元方向のパターンであることを特徴とする請求項１乃至３のいずれか１項に記載の三次元計測装置。
【請求項５】
前記対応関係算出手段はエピポーラ拘束を用いて前記対応関係を算出することを特徴とする請求項１乃至４のいずれか１項に記載の三次元計測装置。
【請求項６】
前記対応関係算出手段は計測時前における前記パターンの前記撮像画素面上の位置情報と計測時における前記パターンの前記撮像画素面上の位置情報とを用いた線形補間によって前記対応関係を算出することを特徴とする請求項１乃至５のいずれか１項に記載の三次元計測装置。
【請求項７】
所定のパターンを投影する投影手段と、前記パターンが投影された被写体を撮像する撮像手段とを有する三次元計測装置における三次元計測方法であって、
前記三次元計測装置の検出手段が、前記撮像手段によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影された前記パターンの撮像画素面上の位置情報を検出する検出工程と、
前記三次元計測装置の対応関係算出手段が、前記位置情報を用いて、計測時前に予め検出した前記投影手段の投影画素面上の前記パターンと計測時における前記投影手段の投影画素面上の前記パターンとの対応関係を算出する対応関係算出工程と、
を有することを特徴とする三次元計測方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の三次元計測装置の各手段として機能させるためのプログラム。
【請求項１】
所定のパターンを投影する投影手段と、前記パターンが投影された被写体を撮像する撮像手段とを有する三次元計測装置であって、
前記撮像手段によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影された前記パターンの撮像画素面上の位置情報を検出する検出手段と、
前記位置情報を用いて、計測時前に予め検出した前記投影手段の投影画素面上の前記パターンと計測時における前記投影手段の投影画素面上の前記パターンとの対応関係を算出する対応関係算出手段と、
を有することを特徴とする三次元計測装置。
【請求項２】
前記対応関係算出手段により算出された前記対応関係を用いて、計測時における前記撮像手段の撮像画素面上の前記パターンと前記投影手段の投影画素面上の前記パターンとの対応関係を変更する計測処理手段を更に有することを特徴とする請求項１に記載の三次元計測装置。
【請求項３】
前記対応関係算出手段により算出される前記対応関係は射影変換であることを特徴とする請求項１または２に記載の三次元計測装置。
【請求項４】
前記パターン検出領域に投影される前記パターンは前記計測空間内における一次元方向のパターンであることを特徴とする請求項１乃至３のいずれか１項に記載の三次元計測装置。
【請求項５】
前記対応関係算出手段はエピポーラ拘束を用いて前記対応関係を算出することを特徴とする請求項１乃至４のいずれか１項に記載の三次元計測装置。
【請求項６】
前記対応関係算出手段は計測時前における前記パターンの前記撮像画素面上の位置情報と計測時における前記パターンの前記撮像画素面上の位置情報とを用いた線形補間によって前記対応関係を算出することを特徴とする請求項１乃至５のいずれか１項に記載の三次元計測装置。
【請求項７】
所定のパターンを投影する投影手段と、前記パターンが投影された被写体を撮像する撮像手段とを有する三次元計測装置における三次元計測方法であって、
前記三次元計測装置の検出手段が、前記撮像手段によって撮像された画像において、計測空間内の同一平面上に予め設定された複数のパターン検出領域に投影された前記パターンの撮像画素面上の位置情報を検出する検出工程と、
前記三次元計測装置の対応関係算出手段が、前記位置情報を用いて、計測時前に予め検出した前記投影手段の投影画素面上の前記パターンと計測時における前記投影手段の投影画素面上の前記パターンとの対応関係を算出する対応関係算出工程と、
を有することを特徴とする三次元計測方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の三次元計測装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−４０８４８（Ｐ２０１３−４０８４８Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７７７４４（Ｐ２０１１−１７７７４４）
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]