形状測定装置およびプログラム
【課題】重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する。
【解決手段】
形状測定装置１は、重複撮影領域で測定対象物１８を撮影する撮影部２〜９と、撮影部２〜９によって撮影された重複画像における測定対象物１８の特徴点の位置を対応付ける特徴点対応付部２１と、特徴点対応付部で対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成部２３と、三角形網形成部２３で形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定部２４と、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点の位置等に基づき、測定対象物１８のの三次元形状を求める三次元形状測定部２５とを備える。
【解決手段】
形状測定装置１は、重複撮影領域で測定対象物１８を撮影する撮影部２〜９と、撮影部２〜９によって撮影された重複画像における測定対象物１８の特徴点の位置を対応付ける特徴点対応付部２１と、特徴点対応付部で対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成部２３と、三角形網形成部２３で形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定部２４と、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点の位置等に基づき、測定対象物１８のの三次元形状を求める三次元形状測定部２５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影位置から測定対象物を撮影した重複画像に基づいて、測定対象物の三次元形状を測定する形状測定技術に係り、特に三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術に関する。
【背景技術】
【０００２】
従来から写真測量の理論が研究されている。近年では、写真測量の理論を用いて、複数の撮影位置から撮影した重複画像に基づき、測定対象物の三次元形状を測定する技術が開示されている。測定対象物の三次元位置を測定するためには、左右画像で６点以上の点を対応付ける必要があるが、この処理は手動で行うか、測定対象物にマークを貼り付けて自動で行う必要があった。
【０００３】
また、測定対象物の三次元形状を測定するために、測定対象物の画素についてステレオマッチングを行う。ステレオマッチングには、テンプレート画像を変形させながら探索する最小二乗マッチング（Ｌｅａｓｔ−Ｓｑｕａｒｅ Ｍａｔｃｈｉｎｇ：ＬＳＭ）や正規化相関法などが用いられる。この処理には、左右画像で対応付けた多くの点や線が必要であるが、これらの点や線などの初期値を手動で設定するのは煩雑でスキルを伴う。
【０００４】
このような課題を解決する技術が、例えば、特許文献１や２に開示されている。特許文献１に記載の発明では、基準となる特徴パターンが設けられた測定対象物を異なる方向から撮影した一対の第１撮影画像と、基準となる特徴パターンが設けられていない測定対象物を第１撮影画像の撮影方向と同じ方向から撮影した一対の第２撮影画像とに基づいて、各方向で得られた第１撮影画像と第２撮影画像との差をとり特徴パターンを抽出する。
【０００５】
この態様によれば、特徴パターンのみの画像が作成できることから、特徴パターンの位置検出を自動で精度よく行うことができる。また、特徴パターンの点の数を増やすことにより、左右画像で対応する面の検出を自動で行うことできる。
【０００６】
また、特許文献２に記載の発明では、測定対象の撮影位置と設計データによって決定されている測定対象の基準位置との位置補正を行い、測定対象の三次元形状と設計データを比較することによって、誤って対応付けられた誤対応点を削除する。この態様によれば、三次元形状の測定処理を自動化することができる。
【特許文献１】特開平１０−３１８７３２号公報
【特許文献２】特開２００７−２１２４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような背景を鑑み、本発明は、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、前記特徴点対応付部で対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成部と、前記三角形網形成部で形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定部と、前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置である。
【０００９】
請求項１に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１１】
請求項２に記載の発明によれば、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第１方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１２】
請求項３に記載の発明は、請求項１に記載の発明において、前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする。
【００１３】
請求項３に記載の発明によれば、校正用被写体を撮影した画像に基づいて撮影部の撮影位置および姿勢を求める必要がない。
【００１４】
請求項４に記載の発明は、請求項１に記載の発明において、所定の位置関係で基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１５】
請求項４に記載の発明によれば、測定対象物と一緒に校正用被写体を撮影し、撮影部の位置と測定対象物の三次元位置を並列的に求める第２方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１６】
請求項５に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、前記三角形網形成部が三角形網を形成する際に、前記三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定することを特徴とする。
【００１７】
請求項５に記載の発明によれば、三角形網を形成する際に誤対応点を判定するため、三次元形状の測定に必要な初期値を始めとする測定値を取得するまでの処理効率が向上する。
【００１８】
請求項６に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、三角形網の辺長に基づいて辺を削除した後、孤立した点の連結数が所定値以下ならば、前記孤立した点を誤対応点と判定することを特徴とする。
【００１９】
請求項６に記載の発明によれば、誤対応点を除いた特徴点群を、三次元形状の測定に必要な初期値を始めとする測定値とすることができる。
【００２０】
請求項７に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、三角形網における三角形の面積が所定値以上であり、前記三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする。
【００２１】
請求項７に記載の発明によれば、測定対象物の輪郭部分の誤対応点を検出することができる。
【００２２】
請求項８に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、三角形網における三角形の角度が所定値以下であり、前記角度を構成する三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする。
【００２３】
請求項８に記載の発明によれば、測定対象物の輪郭部分の誤対応点を検出することができる。
【００２４】
請求項９に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする。
【００２５】
請求項９に記載の発明によれば、測定対象物の輪郭部分に不要な三次元形状が形成されない。
【００２６】
請求項１０に記載の発明は、請求項９に記載の発明において、前記三次元形状測定部は、誤対応点を除いた特徴点群の凸包線を作成し、凸包線から内側に削ることで、前記処理領域を決定することを特徴とする。
【００２７】
請求項１０に記載の発明によれば、測定対象物の凹形状の輪郭部分に不要な三次元形状が形成されない。
【００２８】
請求項１１に記載の発明は、請求項５に記載の発明において、前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする。
【００２９】
請求項１１に記載の発明によれば、誤対応点を除いた特徴点を、三次元形状の測定に必要な初期値を始めとする測定値とすることができる。
【００３０】
請求項１２に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部が、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする。
【００３１】
請求項１２に記載の発明によれば、三次元形状測定部で測定値を求める際の測定の信頼性が向上する。
【００３２】
請求項１３に記載の発明は、複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、前記特徴点対応付ステップで対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成ステップと、前記三角形網形成ステップで形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定ステップと、前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラムである。
【００３３】
請求項１３に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【発明の効果】
【００３４】
本発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で与えることができる。
【発明を実施するための最良の形態】
【００３５】
本発明は、撮影部の位置を、測定対象物の撮影前に校正用被写体を撮影し、事前に求める第１方式と、撮影部の位置を、測定対象物と一緒に校正用被写体を撮影し、並列的に求める第２方式とに適用が可能である。その両者のそれぞれに適用した例について以下に説明する。
１．第１の実施形態
以下、本発明を、第１方式に適用した形状測定装置およびプログラムの一例について、図面を参照して説明する。この第１方式は、最初に校正用被写体により撮影部の位置と姿勢を算出するので、２台以上の撮影部を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物をとらえて計測ができることである。また、一度撮影部の位置姿勢を校正用被写体で求めておけば、測定対象物をその空間内に置くことで、三次元計測がいつでも可能である。
【００３６】
（形状測定装置の構成）
図１は、第１方式を採用した形状測定装置の上面図である。形状測定装置１は、撮影部２〜９、特徴投影部１０〜１３、中継部１４、計算処理部１５、表示部１７、操作部１６を備える。形状測定装置１は、撮影部２〜９の中央に配置された測定対象物１８の形状を測定する。
【００３７】
撮影部２〜９には、例えば、ビデオカメラ、工業計測用のＣＣＤカメラ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｃａｍｅｒａ）、ＣＭＯＳカメラ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｃａｍｅｒａ）等を用いる。撮影部２〜９は、測定対象物１８の周囲に配置される。撮影部２〜９は、複数の撮影位置から重複した撮影領域で測定対象物１８を撮影する。
【００３８】
撮影部２〜９は、所定の基線長だけ離して横方向または縦方向に並べられる。なお、撮影部を追加して、横方向および縦方向の両方に並べてもよい。形状測定装置１は、少なくとも一対の重複画像に基づき、測定対象物１８の三次元形状を測定する。したがって、撮影部２〜９は、撮影被写体の大きさや形状により、一つもしくは複数に適宜することができる。
【００３９】
特徴投影部１０〜１３には、例えば、プロジェクター、レーザー装置などが用いられる。特徴投影部１０〜１３は、測定対象物１８に対してランダムドットパターン、点状のスポット光、線状のスリット光などのパターンを投影する。これにより、測定対象物１８の特徴が乏しい部分に特徴が入る。特徴投影部１０〜１３は、撮影部２と３の間、撮影部４と５の間、撮影部６と７の間、および撮影部８と９の間に配置される。なお、測定対象物１８に特徴がある場合、あるいは模様を塗布で来る場合には、特徴投影部１０〜１３を省略することもできる。
【００４０】
撮影部２〜９は、イーサネット（登録商標）、または、カメラリンクもしくはＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ １３９４）などのインターフェースを介して中継部１４に接続する。中継部１４には、スイッチングハブ、または、画像キャプチャボード等を用いる。撮影部２〜９が撮影した画像は、中継部１４を介して、計算処理部１５に入力される。
【００４１】
計算処理部１５には、パーソナルコンピューター（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）もしくはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）で構成したハードウェアを用いる。計算処理部１５は、操作部１６によって操作され、計算処理部１５の処理内容および計算結果は、表示部１７に表示される。操作部１６には、キーボードやマウスが用いられ、表示部１７には、液晶モニタが用いられる。また、操作部１６および表示部１７は、タッチパネル式液晶モニタで一体として構成してもよい。
【００４２】
図２は、形状測定装置のブロック図である。計算処理部１５は、撮影位置姿勢測定部２０、特徴点対応付部２１、三次元座標演算部２２、三角形網形成部２３、誤対応点判定部２４、三次元形状測定部２５を備える。これらは、ＰＣで実行可能なプログラムのモジュールとして実装してもよいし、ＦＰＧＡなどのＰＬＤとして実装してもよい。
【００４３】
撮影位置姿勢測定部２０は、図１の校正用被写体１９を撮影した画像に基づき、撮影部２〜９の外部標定要素（撮影位置および姿勢）を測定する。なお、撮影位置姿勢測定部２０は、撮影部２〜９の内部標定要素（主点、焦点距離、レンズ歪み）が既知でない場合は、これも同時に求める。校正用被写体１９は、複数の基準点を配置した立方体形状のキャリブレーションボックスである。
【００４４】
基準点には、カラーコードターゲットを用いる（特開２００７−６４６２７号公報参照）。カラーコードターゲットは、３つのレトロターゲット（再帰反射性ターゲット）を有する。まず、撮影位置姿勢測定部２０は、校正用被写体１９を撮影した画像を二値化することで、レトロターゲットを検出し、その重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲットの配色（カラーコード）に基づき、各基準点にラベルをつける。これにより、重複画像内で対応する基準点の位置が分かる。
【００４５】
そして、撮影位置姿勢測定部２０は、相互標定法、または、単写真標定法もしくはＤＬＴ法、あるいはバンドル調整法を使うことによって、撮影部２〜９の外部標定要素を算出する。これらは単独で使っても、組み合わせて使ってもよい。なお、第１方式については、本実施形態で、第２方式については、第３の実施形態で詳述する。
【００４６】
この第１方式は、最初に校正用被写体１９により撮影部２〜９の位置と姿勢を算出するので、２台以上の撮影部２〜９を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物１８をとらえて計測ができることである。また、一度撮影部２〜９の位置姿勢を校正用被写体１９で求めておけば、測定対象物１８をその空間内に置くことで、三次元計測がいつでも可能である。
【００４７】
特徴点対応付部２１は、少なくとも一対のステレオ画像から測定対象物１８の特徴点を抽出し、ステレオ画像中の特徴点の位置を対応付ける。なお、撮影部２〜９を横方向に並べた場合には、特徴点対応付部２１は、横方向に特徴点の位置を探索し、撮影部２〜９を縦方向に並べた場合には、縦方向に特徴点の位置を探索し、撮影部２〜９を横方向および縦方向に並べた場合には、横方向および縦方向に特徴点の位置を探索する。
【００４８】
特徴点対応付部２１は、背景除去部２６、特徴点抽出部２７、対応点探索部２８を備える。背景除去部２６は、測定対象物１８が写された処理画像から背景画像を差分することで、測定対象物１８のみが写された背景除去画像を生成する。
【００４９】
特徴点抽出部２７は、背景除去画像から特徴点を抽出する。この際、対応点の探索範囲を制限するため、左右のステレオ画像から特徴点を抽出する。特徴点の抽出方法としては、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
【００５０】
対応点探索部２８は、一方の画像で抽出された特徴点に対応する対応点を他方の画像内で探索する。対応点の探索方法としては、残差逐次検定法（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｍｅｔｈｏｄ：ＳＳＤＡ）、正規化相関法、方向符号照合法（Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ：ＯＣＭ）などのテンプレートマッチングが用いられる。
【００５１】
三次元座標演算部２２は、撮影位置姿勢測定部２０で測定された外部標定要素、および、特徴点対応付部２１で対応付けた特徴点の画像座標に基づき、測定対象物１８の特徴点の三次元座標を演算する。
【００５２】
三角形網形成部２３は、特徴点対応付部２１で対応付けた特徴点同士を線分で結んだ不整三角形網（ＴＩＮ：Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）を形成する。三角形網の形成には、ドロネー（Ｄｅｌａｕｎａｙ）法が用いられる。また、三角形網は、特徴点対応付部２１で対応付けた特徴点の画像座標、または三次元座標演算部２２で求めた三次元座標に基づいて形成される。
【００５３】
誤対応点判定部２４は、辺長判定部２９、面積判定部３０、および角度判定部３１の少なくとも一つを備える。誤対応点判定部２４は、三角形網形成部２３で形成する際に、または、形成した後に、三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する。特徴点が誤対応点であると判定された場合には、その特徴点の指定が解除される。
【００５４】
辺長判定部２９は、三角形網形成部２３が形成する、または、形成した三角形網の辺長が所定値以下である場合に、その辺を削除し、孤立した点の連結数が所定値以下ならば、その孤立点を誤対応点と判定する。
【００５５】
面積判定部３０は、三角形網形成部２３が形成する、または、形成した三角形の面積が所定値以上であり、その三角形の頂点が測定対象物の輪郭部分である場合に、その頂点を誤対応点として判定する。
【００５６】
角度判定部３１は、三角形網形成部２３が形成する、または、形成した三角形の角度が所定値以下の場合に、その角度を構成する三角形の頂点が測定対象物の輪郭部分であるならば、その頂点を誤対応点として判定する。
【００５７】
三次元形状測定部２５は、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点群を初期値として、所定領域内の画素についてステレオマッチングを行い、測定対象物１８の三次元形状を求める。ステレオマッチングには、テンプレート画像を変形させながら探索するＬＳＭ、または正規化相関法などが用いられる。三次元形状は、点群またはＴＩＮとして、表示部１７に表示される。
【００５８】
さらに、誤対応点判定部２４で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００５９】
（形状測定装置の処理）
以下、形状測定装置の詳細な処理について図３を参照して説明する。図３は、形状測定装置のプログラムのフローチャートである。このフローチャートを実行するプログラムは、ＣＤＲＯＭなどの記録媒体に格納して提供が可能である。
【００６０】
まず、処理画像と背景画像を入力する（ステップＳ１０）。次に、背景除去部２６によって、被計測対象物１８の背景が除去される（ステップＳ１１）。図４は、処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。背景除去画像は、処理画像から背景画像を差分することで生成される。背景除去は、左右画像に対して行われる。なお、背景画像が得られない場合には、この処理を行わなくてもよい。
【００６１】
次に、特徴点抽出部２７によって、左右画像から特徴点が抽出される（ステップＳ１２）。左右の両画像から特徴点を抽出することによって、対応点の探索範囲を小さくすることができる。
【００６２】
特徴点抽出部２７は、必要に応じて縮小処理、明度補正、コントラスト補正などの前処理を行う（ステップＳ１２−１）。次に、ソーベルフィルタによって、前処理された左右画像からエッジ強度が算出される（ステップＳ１２−２）。図５は、ｘ方向およびｙ方向のソーベルフィルタである。ソーベルフィルタのマトリクスに対応する９つの画素の輝度値を、左上から右下へ向かってＩ１〜Ｉ９とし、ｘ方向の強度をｄｘ、ｙ方向の強度をｄｙとすると、注目画素（中央の画素）のエッジ強度Ｍａｇは、以下の数１で算出される。
【００６３】
【数１】
【００６４】
図６は、１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。特徴点抽出部２７は、図６（Ｂ）のエッジ強度画像に対して細線化などの後処理を行う（ステップＳ１２−３）。細線化することで、エッジは１画素幅になる。この結果、最終的に抽出される特徴点の位置が間引かれるため、画像中で偏りのなく特徴点が抽出される。
【００６５】
次に、特徴点抽出部２７は、二値化処理を行う（ステップＳ１２−４）。二値化の閾値を自動で決定するため、エッジ強度のヒストグラムが作成される。図７は、エッジ強度のヒストグラムである。特徴点抽出部２７は、作成したヒストグラムにおいて、エッジ強度の強い方から数えた累積度数が全エッジ画素数の５０％の位置に相当するエッジ強度を二値化の閾値とする。
【００６６】
図７の場合、エッジの画素数は５６９８６画素であり、強度の強い方から数えた累積度数が全エッジ画素数の５０％となる２８４９３画素目のエッジ強度は、５２である。したがって、二値化の閾値は５２となる。図８は、閾値５２で二値化した結果を示す図面代用写真であり、図９は、左右画像で抽出された特徴点を示す図面代用写真である。
【００６７】
次に、対応点探索部２８によって、左右画像中の特徴点が対応付けられる（ステップＳ１３）。対応点探索部２８は、左画像中の各特徴点を中心としたテンプレート画像を作成し、右画像中の所定の領域でテンプレート画像に最も相関の強い対応点を探索する。
【００６８】
図１０は、テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。図１０（Ａ）に示すように、テンプレート画像は、注目特徴点を中心とした２１画素×２１画素で構成される。ステレオ画像は縦視差が除去されているため、図１０（Ｂ）に示すように、ｘ軸に平行に探索ラインが設けられる。また、図１０（Ｃ）に示すように、対応点探索部２８は、右画像の探索ライン上で最も左側の特徴点と、最も右側の特徴点を検出し、最も左側の特徴点と最も右側の特徴点までを探索幅として対応点を探索する。
【００６９】
この結果、テンプレート画像と最も相関の強い点が対応点となる。なお、撮影部２〜９を縦方向に並べた場合、探索ラインはｙ軸に平行となる。また、撮影部２〜９を縦方向および横方向に並べた場合、探索ラインはｘ軸およびｙ軸となる。
【００７０】
次に、誤対応点判定部２４によって、誤って対応付けた特徴点（誤対応点）が判定される（ステップＳ１４）。誤対応点の判定処理には、ＴＩＮの辺長による判定（ステップＳ１４−１）と、ＴＩＮの面積による判定（ステップＳ１４−２）と、ＴＩＮの角度による判定（ステップＳ１４−３）とがある。これらの判定処理は、段階的に行われるが、少なくとも一つの処理を行う態様でもよい。
【００７１】
以下、ＴＩＮの辺長による判定方法について説明する（ステップＳ１４−１）。まず、三角形網形成部２３が、特徴点対応付部２１によって対応付けられた特徴点の位置に基づき、二次元上または三次元上でＴＩＮを形成する。図１１は、ＴＩＮの形成手順を説明する説明図である。ＴＩＮの形成には、ドロネー（Ｄｅｌａｕｎａｙ）法が用いられる。
【００７２】
図１１（Ａ）に示すように、６つの特徴点Ｐ１〜Ｐ６があるとする。Ｐ１を注目点（母点）とすると、まず、Ｐ１から最も近い特徴点（Ｐ２）を探索する。この際、Ｐ１とＰ２を結ぶ線分の垂直二等分線Ｂ１が引かれる。このＰ１とＰ２の境界線は、ボロノイ境界と呼ばれる。
【００７３】
次に、Ｐ２の次に近い特徴点（Ｐ３）を探索する。この際、Ｐ１とＰ３を結ぶ線分の垂直二等分線（図示省略）は、既に作成したボロノイ境界Ｂ１よりも母点Ｐ１から遠い位置にあるため、ボロノイ境界は作成されない。
【００７４】
次に、Ｐ３の次に近い特徴点（Ｐ４）が探索される。この際、Ｐ１とＰ４を結ぶ線分の垂直二等分線Ｂ２が引かれる。ボロノイ境界Ｂ２は、ボロノイ境界Ｂ１よりも母点Ｐ１から近い位置にあるため、作成される。以上のように、Ｐ１に近い特徴点を探索し、ボロノイ境界Ｂ１〜Ｂ３が作成される。ボロノイ境界Ｂ１〜Ｂ３で母点Ｐ１を囲んだ領域は、ボロノイ領域と呼ばれる。
【００７５】
この処理を特徴点Ｐ１〜Ｐ６の全点に対して行うと、図１１（Ｂ）に示すボロノイ領域が生成される。そして、隣接するボロノイ領域の母点どうしを結ぶと、ＴＩＮが形成される。ＴＩＮの辺はドロネー辺と呼ばれ、ドロネー辺によって形成される多角形はドロネー多角形と呼ばれる。ドロネー多角形は、通常三角形となる。
【００７６】
辺長判定部２９は、三角形網形成部２３がＴＩＮを形成する際、または、ＴＩＮを形成した後に、ＴＩＮの辺長に基づき誤対応点を判定する。図１２は、メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真であり、図１３は、辺の長いＴＩＮを除去した結果を示す図面代用写真である。図１２に示すように、メッシュ間隔を１０ｍｍとした場合、その４倍の４０ｍｍ以上の辺を持つＴＩＮを除去する。メッシュ間隔の４倍という辺長の閾値は、実験的に決めた値であり、予め変更可能である。
【００７７】
図１３に示すように、辺の長いＴＩＮが除去された結果、主要な部分と分離したＴＩＮの塊が発生する。分離したＴＩＮの塊は、辺の長さが短くても、特徴が少ない背景や頭髪の部分であること多いため、測定対象物１８の面であるという信頼性が低い。したがって、辺長判定部２９は、ＴＩＮの塊ごとにラベリングを行い、その連結数に基づいて、ＴＩＮの塊を除去する。
【００７８】
図１４は、ＴＩＮのラベリング結果を示す図面代用写真である。辺長判定部２９は、ラベリングの連結数が１０以下のＴＩＮの塊を誤対応点と判定する。ＴＩＮの塊を構成する特徴点は、その指定が解除される。なお、ラベリングの連結数の閾値は、予め変更可能である。
【００７９】
次に、ＴＩＮの面積による判定方法について説明する（ステップＳ１４−２）。図１５は、ＴＩＮの面積による誤対応点の判定手順を説明する説明図である。図１５（Ａ）に示すように、面積判定部３０は、まず各三角形の面積Ｓが所定値以上の三角形Ｐ１Ｐ２Ｐ４を探索する。次に、その三角形の頂点が、測定対象物１８の輪郭部分であるか否かを判断する。
【００８０】
図１５（Ｂ）に示すように、三角形Ｐ１Ｐ２Ｐ４の外部であって、Ｐ１を中心とする所定角度および辺Ｐ１Ｐ４方向または辺Ｐ１Ｐ２方向の円弧領域Ｔ１に、Ｐ１に連結する特徴点があるか否かを判断する。円弧領域Ｔ１に連結する特徴点がない場合、Ｐ１は測定対象物１８の輪郭部分であると判断される。なお、円弧領域Ｔ１の角度および方向は、予め変更可能である。
【００８１】
この処理を三角形の各頂点Ｐ１Ｐ２Ｐ４について行う。図１５（Ｂ）の場合、Ｐ１の円弧領域Ｔ１と、Ｐ２の円弧領域Ｔ２に特徴点がないため、Ｐ１とＰ２は、測定対象物１８の輪郭部分であると判断され、誤対応点と判定される。図１５（Ｃ）に示すように、誤対応点と判定されたＰ１とＰ２は、特徴点の指定が解除される。
【００８２】
図１６は、面積の大きいＴＩＮを除去した結果を示す図面代用写真である。図１６は、面積による誤対応点の判定のみを行った結果であり、辺長による誤対応点の判定を行っていない。なお、面積判定部３０は、三角形網形成部２３がＴＩＮを形成する際、または、ＴＩＮを形成した後に、誤対応点の判定を行う。
【００８３】
次に、ＴＩＮの角度による判定方法について説明する（ステップＳ１４−３）。図１７は、ＴＩＮの角度による誤対応点の判定手順を説明する説明図である。図１７（Ａ）に示すように、角度判定部３１は、まず各三角形の角度θが所定値以下の三角形Ｐ３Ｐ４Ｐ６を探索する。次に、その角度θを構成する三角形の頂点Ｐ３が測定対象物の輪郭部分であるならば、その頂点を誤対応点と判定する。
【００８４】
図１７（Ｂ）に示すように、三角形Ｐ３Ｐ４Ｐ６の外部であって、Ｐ３を中心とする所定角度および辺Ｐ３Ｐ４方向または辺Ｐ３Ｐ６方向の円弧領域Ｔ３に、Ｐ３に連結する特徴点があるか否かを判断する。円弧領域Ｔ３に連結する特徴点がない場合、Ｐ３は測定対象物１８の輪郭部分であると判断され、誤対応点と判定される。なお、円弧領域Ｔ３の角度および方向は、予め変更可能である。
【００８５】
図１７（Ｃ）に示すように、誤対応点と判定されたＰ３は、特徴点の指定が解除される。この処理を角度θが所定値以下の三角形の頂点について行う。図１８は、角度の小さいＴＩＮを除去した結果を示す図面代用写真である。図１８は、角度による誤対応点の判定のみを行った結果であり、辺長や面積による誤対応点の判定を行っていない。なお、角度判定部３０は、三角形網形成部２３がＴＩＮを形成する際、または、ＴＩＮを形成した後に、誤対応点の判定を行う。
【００８６】
図１９は、ＴＩＮの辺長、面積、および角度によるＴＩＮの除去結果を示す図面代用写真である。ＴＩＮの辺長、面積、および角度による誤対応点の判定を全て行うことで、精度のよい特徴点のみで構成されたＴＩＮが形成される。
【００８７】
初期値に関する誤対応点の判定が終了すると、三次元形状測定部２５によって、測定対象物の三次元形状が測定される（ステップＳ１５）。三次元形状測定部２５は、誤対応点と判定された点を除いた特徴点群をＬＳＭの初期値としてステレオマッチングを行い、三次元形状（密面）を測定する。図２０は、密面計測の結果を示す図面代用写真である。図２０では、ＬＳＭの処理領域は、誤対応点を除去した後の特徴点群を凸包線で囲んだ凸領域としている。このため、頭から肩にかけて不要なＴＩＮが生成されているが、特徴投影部１０〜１３によって投影されたランダムドットパターンの部分は、指定されたメッシュ間隔のＴＩＮが生成されている。
【００８８】
図２１は、複数モデルにおける三次元形状の計測結果を示す図面代用写真である。図２１に示す複数のモデルを合成した場合、正面のモデルに形成された頭から肩をつなぐ不要なＴＩＮが、側面のモデルに形成された本来の面を隠してしまう。したがって、この頭から肩にかけて形成された不要なＴＩＮを生成しないように、ＬＳＭの処理領域を制限する。
【００８９】
図２２は、ＬＳＭの処理領域の制限を示す図である。図２２に示すように、特徴点群の囲み線を作成する。囲み線は、凸包線を作成し、その構成する点の点間距離と角度をみながら内側に処理領域を削っていく処理を繰り返すことで作成される。
【００９０】
誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００９１】
図２３は、ＬＳＭの処理領域を調整した計測結果を示す図面代用写真であり、図２４は、図２３の複数モデルの合成結果を示す図面代用写真である。図２３および図２４に示すように、頭から肩にかけて不要なＴＩＮが除去されているのが分かる。
【００９２】
以下、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第1方式において、撮影位置姿勢測定部２０が、相互標定法を採用した場合の具体的処理の例について、以下に説明する。
【００９３】
相互標定法によれば、重複画像に写された６点以上の対応する基準点に基づき、外部標定要素を求めることができる。また、基準点の三次元上の位置が既知であれば、絶対標定によって撮影部２〜９の絶対座標が求められる。
【００９４】
図２５は、相互標定を説明する説明図である。相互標定は、左右２枚の画像における６点以上の対応点（パスポイント）によって外部標定要素を求める。相互標定では、投影中心Ｏ１とＯ２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。以下の数２に、共面条件式を示す。
【００９５】
【数２】
【００９６】
図２５に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数２の共面条件式は数３のようになり、この式を解けば各パラメータが求められる。
【数３】
【００９７】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【００９８】
【数４】
【００９９】
これらの式を用いて、次の手順により、未知パラメータ（外部標定要素）を求める。
（１）未知パラメータ（κ１，φ１，κ２，φ２，ω２）の初期近似値は通常０とする。
（２）数３の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数４により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。
【０１００】
相互標定が収束した場合、さらに接続標定が行われる。接続標定とは、複数のモデル間の傾き、縮尺を統一して同一座標系とする処理である。この処理を行った場合、以下の数５で表される接続較差を算出する。算出した結果、ΔＺｊおよびΔＤｊが、所定値（例えば、０．０００５（１／２０００））以下であれば、接続標定が正常に行われたと判定する。
【０１０１】
【数５】
【０１０２】
（第１の実施形態の優位性）
第１の実施形態によれば、左右の重複画像における誤対応点を自動判定することで、ステレオマッチングに用いられるＬＳＭまたは正規化相関法の初期値を始めとする測定値を自動で取得することができる。
【０１０３】
また、ステレオマッチングの処理領域を制限することで、測定対象物１８の本来の形状のみを形成でき、複数のモデルを合成することができる。
【０１０４】
さらに、撮影部２〜９の撮影位置および姿勢を校正用被写体１９により測定することができる。撮影位置および姿勢を求めた後には、三次元計測は、測定対象物１８をその空間内に置くことでいつでもできる。また動きをもった動的な測定対象物１８でも、撮影部２〜９により同時撮影すれば計測が可能である。
【０１０５】
２．第２の実施形態
以下、第１の実施形態の変形例について説明する。第２の実施形態は、測定対象物の輪郭を抽出する輪郭抽出部をさらに備えるものである。
【０１０６】
図２８は、第２の実施形態に係る形状測定装置のブロック図である。形状測定装置の計算処理部１５は、背景除去部２６と特徴点抽出部２７との間に輪郭抽出部３７を備える。まず、輪郭抽出部３７は、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタを用いて、測定対象物１８のエッジ強度画像を作成する。
【０１０７】
次に、輪郭抽出部３７は、エッジ強度画像を細線化した画像に対してラベリング処理を行い、連結する画素数からエッジの長さを求める。そして、エッジ強度とエッジの長さを掛け合わせた値を２値化処理することで、輪郭エッジが抽出される。図２９（Ａ）は、輪郭エッジを示す図面代用写真である。輪郭エッジ３８は、測定対象物１８の内部の特徴と比べてエッジ強度が強く、直線成分が多い。
【０１０８】
特徴点抽出部２７は、輪郭抽出部３７によって抽出された輪郭エッジ３８より内側の領域内で特徴点を抽出する。図２９（Ｂ）は、特徴点の抽出領域を示す図面代用写真（Ｂ）である。抽出領域３９は、輪郭エッジの横幅の所定割合（例えば、８０％）の領域である。この８０％という値は、予め変更可能である。
【０１０９】
（第２の実施形態の優位性）
図３０は、ステレオ画像の撮影範囲の違いを示す図面代用写真である。図３０に示すように、ステレオ画像では、右画像に写らない左画像の撮影範囲４０と、左画像に写らない右画像の撮影範囲４１が存在する。この撮影領域４０，４１で抽出される特徴点は、特徴点の対応付けができないため、全て誤対応点となる。しかしながら、第２の実施形態によれば、特徴点の抽出領域が制限されるため、誤対応点が抽出されない。
【０１１０】
３．第３の実施形態
第３の実施形態は、撮影部の位置を、測定対象物と一緒に基準尺（校正用被写体）を撮影し、並列的に求める第２方式に基づくものであり、第１の実施形態における撮影位置姿勢測定部２０の処理方法の一変形例である。
【０１１１】
第２方式は、計測対象である被写体と校正用被写体を同時に写し込み、撮影部の位置姿勢を求めて三次元計測する方法である。この場合は、撮影部を固定する必要がなく、撮影部は１台から複数台でもよく、撮影枚数が２枚以上あれば、計測可能である。この方法の利点は、撮影部の位置は自由でかつ１台からでも計測できるため、構成が簡単にできるという点である。また、測定対象物を撮影するのと同時に撮影部の位置姿勢を求めるので、事前に撮影部の位置姿勢を求めておく必要はない。一緒に写し込む校正用被写体は、基準尺のような長さの決まったものや、あるいは、座標が決まったものなどを使用する。
【０１１２】
撮影部は基本的に固定する必要がなく、どこに置くのも自由である。図３１は、第３の実施形態に係る形状測定装置の上面図であり、図３２は、第３の実施形態に係る形状測定装置の変形例の上面図である。図３１は、撮影部１台で場所を移動しながら撮影する態様における、基準尺１９、撮影部２と測定対象物１８、計測処理部１５、操作部１６、および表示部１７との関係を示している。図３２は、２台でステレオカメラ構成にしたり、複数台でマルチカメラ構成とした態様における変形例を示している。
【０１１３】
この場合、計測処理部１５と、操作部１６と、表示部１７の三者は、ＰＣを利用すれば、撮影部とＰＣだけで構成できる。また対象物に模様がない場合は、プロジェクターでパターンを投影するか、もしくは対象に模様を塗布する。撮影部の撮影位置、姿勢を求める方法は、相互標定法、または、単写真標定法もしくはＤＬＴ法、バンドル調整法を使い、これらは単独でも組み合わせて使ってもよい。
【０１１４】
撮影部の撮影位置および姿勢（外部標定要素）を、単写真標定またはＤＬＴ法により求めれば、１枚の写真に写された基準点の相対的な位置関係に基づき、外部標定要素を求めることができる。
【０１１５】
図３３は、基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。図３３に示すように、測定対象物１８は、カラーコードターゲット３６ａ〜３６ｄを相対的な位置関係で配置した基準尺３５（校正用被写体）とともに撮影される。
【０１１６】
図２に示す撮影位置姿勢測定部２０は、図３３に示す重複画像を取得する。撮影位置姿勢測定部２０は、重複画像を２値化することで、カラーコードターゲット３６ａ〜３６ｄの重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲット３６ａ〜３６ｄの配色からカラーコードを読み取り、各カラーコードターゲット３６ａ〜３６ｄにラベルを付ける。
【０１１７】
このラベルによって、重複画像における基準点の対応が分かる。撮影位置姿勢測定部２０は、基準点の画像座標、および基準点の三次元上の相対的な位置関係に基づき、相互標定法、単写真標定またはＤＬＴ法、あるいはバンドル調整法によって、撮影部２〜９の撮影位置と姿勢を求める。これらを組み合わせることでも高精度な位置姿勢が求められる。
【０１１８】
本実施形態において採用した撮影位置姿勢測定部２０の処理方式である第２方式は、第１の実施形態で採用した第１方式の変形例であり、それ以外の構成や処理については、第１〜第５の実施形態で示した構成や処理を採用できる。
【０１１９】
（第３の実施形態の優位性）
第３の実施形態によれば、第２方式を採用しており、測定対象物１８と校正用被写体１９を同時に撮影することにより、撮影部の位置姿勢を求め、三次元測定することが可能なので、撮影部は１台から何台でも構成でき、また撮影部を固定する必要がないので簡単な構成にできる。
【０１２０】
４．第４の実施形態
第１方式を採用した第１の実施形態において、撮影位置姿勢測定部２０が、相互標定法を用いて撮影部の撮影位置や姿勢を求める例を説明したが、第４の実施形態では、相互標定法の変わりに、採用しうる具体的処理の例として、単写真標定、およびＤＬＴ法について説明する。
【０１２１】
４−１．単写真標定
図２７は、単写真標定を説明する説明図である。単写真標定は、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）およびカメラの姿勢（ω，φ，κ）を求める。共線条件とは、投影中心、写真像および地上の対象点（Ｏｐ１Ｐ１，Ｏｐ２Ｐ２，Ｏｐ３Ｐ３）が、一直線上にあるという条件である。また、カメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）とカメラの姿勢（ω，φ，κ）は外部標定要素である。
【０１２２】
まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、地上座標系をＸ，Ｙ，Ｚとする。カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、４点の画像座標（少なくとも３点）と対応する基準点の三次元座標を数６に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。
【０１２３】
【数６】
【０１２４】
数６のパラメータｂ１〜ｂ８を用いて、以下の数７から外部標定要素を求める。
【数７】
【０１２５】
４−２．ＤＬＴ法
ＤＬＴ法は、写真座標と対象空間の三次元座標との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数８となる。なお、ＤＬＴ法の詳細については、「村井俊治：解析写真測量、ｐ４６−５１、ｐ１４９−１５５」等を参照する。
【０１２６】
【数８】
【０１２７】
数８の式の分母を消去すると、数９の線形式を導き出せる。
【０１２８】
【数９】
【０１２９】
さらに、数９を変形すると、以下の数１０となる。
【０１３０】
【数１０】
【０１３１】
数１０に６点以上の基準点の三次元座標を代入し、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ１〜Ｌ１１の１１個の未知変量を取得できる。なお、Ｌ１〜Ｌ１１には、外部標定要素が含まれる。
【０１３２】
（第４の実施形態の優位性）
第４の実施形態によれば、単写真標定を採用した場合には、少ない画像からの測定に有利であり、ＤＬＴを採用した場合には、単写真標定よりも演算処理が簡易となる優位がある。
【０１３３】
５．第５の実施形態
以下、第５の実施形態は、第１の実施形態において、撮影部の位置と姿勢を求める方法として、水平測角部および鉛直測角部の少なくとも一つにより、撮影部の撮影位置を測定する手段を採用したものである。
【０１３４】
図２６は、水平測角部を備えた形状測定装置の上面図である。水平測角部３２は、ロータリーエンコーダであり、水平角スケール３３、エンコーダ３４を備える。撮影部２〜９は、水平角スケール３３の任意の位置に固定可能であり、撮影部２〜９と水平角スケール３３は、一体となって時計回りおよび反時計回りに回転可能に支持される。一方、エンコーダ３４は、水平角スケール３３円周上の任意の位置に固定される。
【０１３５】
水平角スケール３３は、撮影部検出用パターン３３ａ〜３３ｄ、水平角検出用スリット３３ｅを有する。撮影部検出用パターン３３ａ〜３３ｄは、水平角スケール３３円周上の任意の位置に着脱可能であり、撮影部２〜９が固定される位置に装着される。例えば、撮影部検出用パターン３３ａ〜３３ｄは、撮影部２と３の中間、撮影部４と５の中間、撮影部６と７の中間、撮影部８と９の中間や、撮影部２，４，６，８の直下に装着される。
【０１３６】
エンコーダ３４は、撮影部２〜９および水平角スケール３３が回転すると、撮影部検出用パターン３３ａ〜３３ｄを検出する。この際、エンコーダ３４は、撮影部検出用パターン３３ａ〜３３ｄのうち最初に検出したパターンの位置の水平角をゼロに設定する。そして、エンコーダ３４は、そこから他の撮影部検出用パターン３３ａ〜３３ｄまでの水平角を水平角検出用スリット３３ｅによって検出する。
【０１３７】
撮影部２〜９が、同一の水平面を回転するように高さを調整した場合、撮影部２〜９の撮影位置は、エンコーダ３４によって検出された水平角のみに基づいて求められる。エンコーダ３４は、撮影部２〜９の水平角を計算処理部１５に出力する。計算処理部１５は、入力した撮影部２〜９の水平角に基づいて、撮影部２〜９の相対的な三次元上の撮影位置を求める。また、実スケールの撮影部２〜９の撮影位置を求める場合、計算処理部１５は、水平角スケール３３の径を入力する。
【０１３８】
また、形状測定装置１は、水平測角部３２の代わりに、撮影部２〜９と一体となって鉛直方向に回転する鉛直測角部を備える構成でもよい。この場合、計算処理部１５は、鉛直測角部で検出された鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１３９】
さらに、形状測定装置１は、撮影部２〜９および水平測角部３２と一体となって鉛直方向に回転する鉛直角測部を備える構成でもよい。この場合、計算処理部１５は、撮影部２〜９の水平角および鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１４０】
（第５の実施形態の優位性）
第５の実施形態によれば、校正用被写体１９を撮影した画像に基づいて撮影部２〜９の撮影位置および姿勢を求める必要がない。すなわち、形状測定装置１は、撮影位置姿勢測定部２０を備える必要がない。
【産業上の利用可能性】
【０１４１】
本発明は、測定対象物の三次元形状を測定する形状測定装置およびそのプログラムに利用することができる。
【図面の簡単な説明】
【０１４２】
【図１】第１方式を適用した形状測定装置の上面図である。
【図２】第１の実施形態に係る形状測定装置のブロック図である。
【図３】形状測定装置のフローチャートである。
【図４】処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。
【図５】ｘ方向およびｙ方向のソーベルフィルタである。
【図６】１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。
【図７】エッジ強度のヒストグラムである。
【図８】閾値５２で二値化した結果を示す図面代用写真である。
【図９】左右画像で抽出された特徴点を示す図面代用写真である。
【図１０】テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。
【図１１】ＴＩＮの形成手順を説明する説明図（Ａ）〜（Ｃ）である。
【図１２】メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真である。
【図１３】辺の長いＴＩＮを除去した結果を示す図面代用写真である。
【図１４】ＴＩＮのラベリング結果を示す図面代用写真である。
【図１５】ＴＩＮの面積による誤対応点の判定手順を説明する説明図（Ａ）〜（Ｃ）である。
【図１６】面積の大きいＴＩＮを除去した結果を示す図面代用写真である。
【図１７】ＴＩＮの角度による誤対応点の判定手順を説明する説明図（Ａ）〜（Ｃ）である。
【図１８】角度の小さいＴＩＮを除去した結果を示す図面代用写真である。
【図１９】ＴＩＮの辺長、面積、および角度によるＴＩＮの除去結果を示す図面代用写真である。
【図２０】密面計測の結果を示す図面代用写真である。
【図２１】複数モデルにおける三次元形状の計測結果を示す図面代用写真である。
【図２２】ＬＳＭの処理領域の制限を示す図である。
【図２３】ＬＳＭの処理領域を調整した計測結果を示す図面代用写真である。
【図２４】図２３の複数モデルの合成結果を示す図面代用写真である。
【図２５】相互標定を説明する説明図である。
【図２６】第５の実施形態に係る形状測定装置の上面図である。
【図２７】単写真標定を説明する説明図である。
【図２８】第２の実施形態に係る形状測定装置のブロック図である。
【図２９】輪郭エッジを示す図面代用写真（Ａ）と、特徴点の抽出領域を示す図面代用写真（Ｂ）である。
【図３０】ステレオ画像の撮影範囲の違いを示す図面代用写真である。
【図３１】第３の実施形態に係る形状測定装置の上面図である。
【図３２】第３の実施形態に係る形状測定装置の変形例の上面図である。
【図３３】基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。
【符号の説明】
【０１４３】
１…形状測定装置、２〜９…撮影部、１０〜１３…特徴投影部、１４…中継部、１５…計算処理部、１６…操作部、１７…表示部、１８…測定対象物、１９…校正用被写体、２０…撮影位置姿勢測定部、２１…特徴点対応付部、２２…三次元座標演算部、２３…三角形網形成部、２４…誤対応点判定部、２５…三次元形状測定部、２６…背景除去部、２７…特徴点抽出部、２８…対応点探索部、２９…辺長判定部、３０…面積判定部、３１…角度判定部。
【技術分野】
【０００１】
本発明は、複数の撮影位置から測定対象物を撮影した重複画像に基づいて、測定対象物の三次元形状を測定する形状測定技術に係り、特に三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術に関する。
【背景技術】
【０００２】
従来から写真測量の理論が研究されている。近年では、写真測量の理論を用いて、複数の撮影位置から撮影した重複画像に基づき、測定対象物の三次元形状を測定する技術が開示されている。測定対象物の三次元位置を測定するためには、左右画像で６点以上の点を対応付ける必要があるが、この処理は手動で行うか、測定対象物にマークを貼り付けて自動で行う必要があった。
【０００３】
また、測定対象物の三次元形状を測定するために、測定対象物の画素についてステレオマッチングを行う。ステレオマッチングには、テンプレート画像を変形させながら探索する最小二乗マッチング（Ｌｅａｓｔ−Ｓｑｕａｒｅ Ｍａｔｃｈｉｎｇ：ＬＳＭ）や正規化相関法などが用いられる。この処理には、左右画像で対応付けた多くの点や線が必要であるが、これらの点や線などの初期値を手動で設定するのは煩雑でスキルを伴う。
【０００４】
このような課題を解決する技術が、例えば、特許文献１や２に開示されている。特許文献１に記載の発明では、基準となる特徴パターンが設けられた測定対象物を異なる方向から撮影した一対の第１撮影画像と、基準となる特徴パターンが設けられていない測定対象物を第１撮影画像の撮影方向と同じ方向から撮影した一対の第２撮影画像とに基づいて、各方向で得られた第１撮影画像と第２撮影画像との差をとり特徴パターンを抽出する。
【０００５】
この態様によれば、特徴パターンのみの画像が作成できることから、特徴パターンの位置検出を自動で精度よく行うことができる。また、特徴パターンの点の数を増やすことにより、左右画像で対応する面の検出を自動で行うことできる。
【０００６】
また、特許文献２に記載の発明では、測定対象の撮影位置と設計データによって決定されている測定対象の基準位置との位置補正を行い、測定対象の三次元形状と設計データを比較することによって、誤って対応付けられた誤対応点を削除する。この態様によれば、三次元形状の測定処理を自動化することができる。
【特許文献１】特開平１０−３１８７３２号公報
【特許文献２】特開２００７−２１２４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような背景を鑑み、本発明は、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、前記特徴点対応付部で対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成部と、前記三角形網形成部で形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定部と、前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置である。
【０００９】
請求項１に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１１】
請求項２に記載の発明によれば、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第１方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１２】
請求項３に記載の発明は、請求項１に記載の発明において、前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする。
【００１３】
請求項３に記載の発明によれば、校正用被写体を撮影した画像に基づいて撮影部の撮影位置および姿勢を求める必要がない。
【００１４】
請求項４に記載の発明は、請求項１に記載の発明において、所定の位置関係で基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１５】
請求項４に記載の発明によれば、測定対象物と一緒に校正用被写体を撮影し、撮影部の位置と測定対象物の三次元位置を並列的に求める第２方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１６】
請求項５に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、前記三角形網形成部が三角形網を形成する際に、前記三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定することを特徴とする。
【００１７】
請求項５に記載の発明によれば、三角形網を形成する際に誤対応点を判定するため、三次元形状の測定に必要な初期値を始めとする測定値を取得するまでの処理効率が向上する。
【００１８】
請求項６に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、三角形網の辺長に基づいて辺を削除した後、孤立した点の連結数が所定値以下ならば、前記孤立した点を誤対応点と判定することを特徴とする。
【００１９】
請求項６に記載の発明によれば、誤対応点を除いた特徴点群を、三次元形状の測定に必要な初期値を始めとする測定値とすることができる。
【００２０】
請求項７に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、三角形網における三角形の面積が所定値以上であり、前記三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする。
【００２１】
請求項７に記載の発明によれば、測定対象物の輪郭部分の誤対応点を検出することができる。
【００２２】
請求項８に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、三角形網における三角形の角度が所定値以下であり、前記角度を構成する三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする。
【００２３】
請求項８に記載の発明によれば、測定対象物の輪郭部分の誤対応点を検出することができる。
【００２４】
請求項９に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする。
【００２５】
請求項９に記載の発明によれば、測定対象物の輪郭部分に不要な三次元形状が形成されない。
【００２６】
請求項１０に記載の発明は、請求項９に記載の発明において、前記三次元形状測定部は、誤対応点を除いた特徴点群の凸包線を作成し、凸包線から内側に削ることで、前記処理領域を決定することを特徴とする。
【００２７】
請求項１０に記載の発明によれば、測定対象物の凹形状の輪郭部分に不要な三次元形状が形成されない。
【００２８】
請求項１１に記載の発明は、請求項５に記載の発明において、前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする。
【００２９】
請求項１１に記載の発明によれば、誤対応点を除いた特徴点を、三次元形状の測定に必要な初期値を始めとする測定値とすることができる。
【００３０】
請求項１２に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部が、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする。
【００３１】
請求項１２に記載の発明によれば、三次元形状測定部で測定値を求める際の測定の信頼性が向上する。
【００３２】
請求項１３に記載の発明は、複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、前記特徴点対応付ステップで対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成ステップと、前記三角形網形成ステップで形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定ステップと、前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラムである。
【００３３】
請求項１３に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【発明の効果】
【００３４】
本発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で与えることができる。
【発明を実施するための最良の形態】
【００３５】
本発明は、撮影部の位置を、測定対象物の撮影前に校正用被写体を撮影し、事前に求める第１方式と、撮影部の位置を、測定対象物と一緒に校正用被写体を撮影し、並列的に求める第２方式とに適用が可能である。その両者のそれぞれに適用した例について以下に説明する。
１．第１の実施形態
以下、本発明を、第１方式に適用した形状測定装置およびプログラムの一例について、図面を参照して説明する。この第１方式は、最初に校正用被写体により撮影部の位置と姿勢を算出するので、２台以上の撮影部を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物をとらえて計測ができることである。また、一度撮影部の位置姿勢を校正用被写体で求めておけば、測定対象物をその空間内に置くことで、三次元計測がいつでも可能である。
【００３６】
（形状測定装置の構成）
図１は、第１方式を採用した形状測定装置の上面図である。形状測定装置１は、撮影部２〜９、特徴投影部１０〜１３、中継部１４、計算処理部１５、表示部１７、操作部１６を備える。形状測定装置１は、撮影部２〜９の中央に配置された測定対象物１８の形状を測定する。
【００３７】
撮影部２〜９には、例えば、ビデオカメラ、工業計測用のＣＣＤカメラ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｃａｍｅｒａ）、ＣＭＯＳカメラ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｃａｍｅｒａ）等を用いる。撮影部２〜９は、測定対象物１８の周囲に配置される。撮影部２〜９は、複数の撮影位置から重複した撮影領域で測定対象物１８を撮影する。
【００３８】
撮影部２〜９は、所定の基線長だけ離して横方向または縦方向に並べられる。なお、撮影部を追加して、横方向および縦方向の両方に並べてもよい。形状測定装置１は、少なくとも一対の重複画像に基づき、測定対象物１８の三次元形状を測定する。したがって、撮影部２〜９は、撮影被写体の大きさや形状により、一つもしくは複数に適宜することができる。
【００３９】
特徴投影部１０〜１３には、例えば、プロジェクター、レーザー装置などが用いられる。特徴投影部１０〜１３は、測定対象物１８に対してランダムドットパターン、点状のスポット光、線状のスリット光などのパターンを投影する。これにより、測定対象物１８の特徴が乏しい部分に特徴が入る。特徴投影部１０〜１３は、撮影部２と３の間、撮影部４と５の間、撮影部６と７の間、および撮影部８と９の間に配置される。なお、測定対象物１８に特徴がある場合、あるいは模様を塗布で来る場合には、特徴投影部１０〜１３を省略することもできる。
【００４０】
撮影部２〜９は、イーサネット（登録商標）、または、カメラリンクもしくはＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ １３９４）などのインターフェースを介して中継部１４に接続する。中継部１４には、スイッチングハブ、または、画像キャプチャボード等を用いる。撮影部２〜９が撮影した画像は、中継部１４を介して、計算処理部１５に入力される。
【００４１】
計算処理部１５には、パーソナルコンピューター（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）もしくはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）で構成したハードウェアを用いる。計算処理部１５は、操作部１６によって操作され、計算処理部１５の処理内容および計算結果は、表示部１７に表示される。操作部１６には、キーボードやマウスが用いられ、表示部１７には、液晶モニタが用いられる。また、操作部１６および表示部１７は、タッチパネル式液晶モニタで一体として構成してもよい。
【００４２】
図２は、形状測定装置のブロック図である。計算処理部１５は、撮影位置姿勢測定部２０、特徴点対応付部２１、三次元座標演算部２２、三角形網形成部２３、誤対応点判定部２４、三次元形状測定部２５を備える。これらは、ＰＣで実行可能なプログラムのモジュールとして実装してもよいし、ＦＰＧＡなどのＰＬＤとして実装してもよい。
【００４３】
撮影位置姿勢測定部２０は、図１の校正用被写体１９を撮影した画像に基づき、撮影部２〜９の外部標定要素（撮影位置および姿勢）を測定する。なお、撮影位置姿勢測定部２０は、撮影部２〜９の内部標定要素（主点、焦点距離、レンズ歪み）が既知でない場合は、これも同時に求める。校正用被写体１９は、複数の基準点を配置した立方体形状のキャリブレーションボックスである。
【００４４】
基準点には、カラーコードターゲットを用いる（特開２００７−６４６２７号公報参照）。カラーコードターゲットは、３つのレトロターゲット（再帰反射性ターゲット）を有する。まず、撮影位置姿勢測定部２０は、校正用被写体１９を撮影した画像を二値化することで、レトロターゲットを検出し、その重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲットの配色（カラーコード）に基づき、各基準点にラベルをつける。これにより、重複画像内で対応する基準点の位置が分かる。
【００４５】
そして、撮影位置姿勢測定部２０は、相互標定法、または、単写真標定法もしくはＤＬＴ法、あるいはバンドル調整法を使うことによって、撮影部２〜９の外部標定要素を算出する。これらは単独で使っても、組み合わせて使ってもよい。なお、第１方式については、本実施形態で、第２方式については、第３の実施形態で詳述する。
【００４６】
この第１方式は、最初に校正用被写体１９により撮影部２〜９の位置と姿勢を算出するので、２台以上の撮影部２〜９を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物１８をとらえて計測ができることである。また、一度撮影部２〜９の位置姿勢を校正用被写体１９で求めておけば、測定対象物１８をその空間内に置くことで、三次元計測がいつでも可能である。
【００４７】
特徴点対応付部２１は、少なくとも一対のステレオ画像から測定対象物１８の特徴点を抽出し、ステレオ画像中の特徴点の位置を対応付ける。なお、撮影部２〜９を横方向に並べた場合には、特徴点対応付部２１は、横方向に特徴点の位置を探索し、撮影部２〜９を縦方向に並べた場合には、縦方向に特徴点の位置を探索し、撮影部２〜９を横方向および縦方向に並べた場合には、横方向および縦方向に特徴点の位置を探索する。
【００４８】
特徴点対応付部２１は、背景除去部２６、特徴点抽出部２７、対応点探索部２８を備える。背景除去部２６は、測定対象物１８が写された処理画像から背景画像を差分することで、測定対象物１８のみが写された背景除去画像を生成する。
【００４９】
特徴点抽出部２７は、背景除去画像から特徴点を抽出する。この際、対応点の探索範囲を制限するため、左右のステレオ画像から特徴点を抽出する。特徴点の抽出方法としては、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
【００５０】
対応点探索部２８は、一方の画像で抽出された特徴点に対応する対応点を他方の画像内で探索する。対応点の探索方法としては、残差逐次検定法（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｍｅｔｈｏｄ：ＳＳＤＡ）、正規化相関法、方向符号照合法（Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ：ＯＣＭ）などのテンプレートマッチングが用いられる。
【００５１】
三次元座標演算部２２は、撮影位置姿勢測定部２０で測定された外部標定要素、および、特徴点対応付部２１で対応付けた特徴点の画像座標に基づき、測定対象物１８の特徴点の三次元座標を演算する。
【００５２】
三角形網形成部２３は、特徴点対応付部２１で対応付けた特徴点同士を線分で結んだ不整三角形網（ＴＩＮ：Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）を形成する。三角形網の形成には、ドロネー（Ｄｅｌａｕｎａｙ）法が用いられる。また、三角形網は、特徴点対応付部２１で対応付けた特徴点の画像座標、または三次元座標演算部２２で求めた三次元座標に基づいて形成される。
【００５３】
誤対応点判定部２４は、辺長判定部２９、面積判定部３０、および角度判定部３１の少なくとも一つを備える。誤対応点判定部２４は、三角形網形成部２３で形成する際に、または、形成した後に、三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する。特徴点が誤対応点であると判定された場合には、その特徴点の指定が解除される。
【００５４】
辺長判定部２９は、三角形網形成部２３が形成する、または、形成した三角形網の辺長が所定値以下である場合に、その辺を削除し、孤立した点の連結数が所定値以下ならば、その孤立点を誤対応点と判定する。
【００５５】
面積判定部３０は、三角形網形成部２３が形成する、または、形成した三角形の面積が所定値以上であり、その三角形の頂点が測定対象物の輪郭部分である場合に、その頂点を誤対応点として判定する。
【００５６】
角度判定部３１は、三角形網形成部２３が形成する、または、形成した三角形の角度が所定値以下の場合に、その角度を構成する三角形の頂点が測定対象物の輪郭部分であるならば、その頂点を誤対応点として判定する。
【００５７】
三次元形状測定部２５は、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点群を初期値として、所定領域内の画素についてステレオマッチングを行い、測定対象物１８の三次元形状を求める。ステレオマッチングには、テンプレート画像を変形させながら探索するＬＳＭ、または正規化相関法などが用いられる。三次元形状は、点群またはＴＩＮとして、表示部１７に表示される。
【００５８】
さらに、誤対応点判定部２４で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００５９】
（形状測定装置の処理）
以下、形状測定装置の詳細な処理について図３を参照して説明する。図３は、形状測定装置のプログラムのフローチャートである。このフローチャートを実行するプログラムは、ＣＤＲＯＭなどの記録媒体に格納して提供が可能である。
【００６０】
まず、処理画像と背景画像を入力する（ステップＳ１０）。次に、背景除去部２６によって、被計測対象物１８の背景が除去される（ステップＳ１１）。図４は、処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。背景除去画像は、処理画像から背景画像を差分することで生成される。背景除去は、左右画像に対して行われる。なお、背景画像が得られない場合には、この処理を行わなくてもよい。
【００６１】
次に、特徴点抽出部２７によって、左右画像から特徴点が抽出される（ステップＳ１２）。左右の両画像から特徴点を抽出することによって、対応点の探索範囲を小さくすることができる。
【００６２】
特徴点抽出部２７は、必要に応じて縮小処理、明度補正、コントラスト補正などの前処理を行う（ステップＳ１２−１）。次に、ソーベルフィルタによって、前処理された左右画像からエッジ強度が算出される（ステップＳ１２−２）。図５は、ｘ方向およびｙ方向のソーベルフィルタである。ソーベルフィルタのマトリクスに対応する９つの画素の輝度値を、左上から右下へ向かってＩ１〜Ｉ９とし、ｘ方向の強度をｄｘ、ｙ方向の強度をｄｙとすると、注目画素（中央の画素）のエッジ強度Ｍａｇは、以下の数１で算出される。
【００６３】
【数１】
【００６４】
図６は、１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。特徴点抽出部２７は、図６（Ｂ）のエッジ強度画像に対して細線化などの後処理を行う（ステップＳ１２−３）。細線化することで、エッジは１画素幅になる。この結果、最終的に抽出される特徴点の位置が間引かれるため、画像中で偏りのなく特徴点が抽出される。
【００６５】
次に、特徴点抽出部２７は、二値化処理を行う（ステップＳ１２−４）。二値化の閾値を自動で決定するため、エッジ強度のヒストグラムが作成される。図７は、エッジ強度のヒストグラムである。特徴点抽出部２７は、作成したヒストグラムにおいて、エッジ強度の強い方から数えた累積度数が全エッジ画素数の５０％の位置に相当するエッジ強度を二値化の閾値とする。
【００６６】
図７の場合、エッジの画素数は５６９８６画素であり、強度の強い方から数えた累積度数が全エッジ画素数の５０％となる２８４９３画素目のエッジ強度は、５２である。したがって、二値化の閾値は５２となる。図８は、閾値５２で二値化した結果を示す図面代用写真であり、図９は、左右画像で抽出された特徴点を示す図面代用写真である。
【００６７】
次に、対応点探索部２８によって、左右画像中の特徴点が対応付けられる（ステップＳ１３）。対応点探索部２８は、左画像中の各特徴点を中心としたテンプレート画像を作成し、右画像中の所定の領域でテンプレート画像に最も相関の強い対応点を探索する。
【００６８】
図１０は、テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。図１０（Ａ）に示すように、テンプレート画像は、注目特徴点を中心とした２１画素×２１画素で構成される。ステレオ画像は縦視差が除去されているため、図１０（Ｂ）に示すように、ｘ軸に平行に探索ラインが設けられる。また、図１０（Ｃ）に示すように、対応点探索部２８は、右画像の探索ライン上で最も左側の特徴点と、最も右側の特徴点を検出し、最も左側の特徴点と最も右側の特徴点までを探索幅として対応点を探索する。
【００６９】
この結果、テンプレート画像と最も相関の強い点が対応点となる。なお、撮影部２〜９を縦方向に並べた場合、探索ラインはｙ軸に平行となる。また、撮影部２〜９を縦方向および横方向に並べた場合、探索ラインはｘ軸およびｙ軸となる。
【００７０】
次に、誤対応点判定部２４によって、誤って対応付けた特徴点（誤対応点）が判定される（ステップＳ１４）。誤対応点の判定処理には、ＴＩＮの辺長による判定（ステップＳ１４−１）と、ＴＩＮの面積による判定（ステップＳ１４−２）と、ＴＩＮの角度による判定（ステップＳ１４−３）とがある。これらの判定処理は、段階的に行われるが、少なくとも一つの処理を行う態様でもよい。
【００７１】
以下、ＴＩＮの辺長による判定方法について説明する（ステップＳ１４−１）。まず、三角形網形成部２３が、特徴点対応付部２１によって対応付けられた特徴点の位置に基づき、二次元上または三次元上でＴＩＮを形成する。図１１は、ＴＩＮの形成手順を説明する説明図である。ＴＩＮの形成には、ドロネー（Ｄｅｌａｕｎａｙ）法が用いられる。
【００７２】
図１１（Ａ）に示すように、６つの特徴点Ｐ１〜Ｐ６があるとする。Ｐ１を注目点（母点）とすると、まず、Ｐ１から最も近い特徴点（Ｐ２）を探索する。この際、Ｐ１とＰ２を結ぶ線分の垂直二等分線Ｂ１が引かれる。このＰ１とＰ２の境界線は、ボロノイ境界と呼ばれる。
【００７３】
次に、Ｐ２の次に近い特徴点（Ｐ３）を探索する。この際、Ｐ１とＰ３を結ぶ線分の垂直二等分線（図示省略）は、既に作成したボロノイ境界Ｂ１よりも母点Ｐ１から遠い位置にあるため、ボロノイ境界は作成されない。
【００７４】
次に、Ｐ３の次に近い特徴点（Ｐ４）が探索される。この際、Ｐ１とＰ４を結ぶ線分の垂直二等分線Ｂ２が引かれる。ボロノイ境界Ｂ２は、ボロノイ境界Ｂ１よりも母点Ｐ１から近い位置にあるため、作成される。以上のように、Ｐ１に近い特徴点を探索し、ボロノイ境界Ｂ１〜Ｂ３が作成される。ボロノイ境界Ｂ１〜Ｂ３で母点Ｐ１を囲んだ領域は、ボロノイ領域と呼ばれる。
【００７５】
この処理を特徴点Ｐ１〜Ｐ６の全点に対して行うと、図１１（Ｂ）に示すボロノイ領域が生成される。そして、隣接するボロノイ領域の母点どうしを結ぶと、ＴＩＮが形成される。ＴＩＮの辺はドロネー辺と呼ばれ、ドロネー辺によって形成される多角形はドロネー多角形と呼ばれる。ドロネー多角形は、通常三角形となる。
【００７６】
辺長判定部２９は、三角形網形成部２３がＴＩＮを形成する際、または、ＴＩＮを形成した後に、ＴＩＮの辺長に基づき誤対応点を判定する。図１２は、メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真であり、図１３は、辺の長いＴＩＮを除去した結果を示す図面代用写真である。図１２に示すように、メッシュ間隔を１０ｍｍとした場合、その４倍の４０ｍｍ以上の辺を持つＴＩＮを除去する。メッシュ間隔の４倍という辺長の閾値は、実験的に決めた値であり、予め変更可能である。
【００７７】
図１３に示すように、辺の長いＴＩＮが除去された結果、主要な部分と分離したＴＩＮの塊が発生する。分離したＴＩＮの塊は、辺の長さが短くても、特徴が少ない背景や頭髪の部分であること多いため、測定対象物１８の面であるという信頼性が低い。したがって、辺長判定部２９は、ＴＩＮの塊ごとにラベリングを行い、その連結数に基づいて、ＴＩＮの塊を除去する。
【００７８】
図１４は、ＴＩＮのラベリング結果を示す図面代用写真である。辺長判定部２９は、ラベリングの連結数が１０以下のＴＩＮの塊を誤対応点と判定する。ＴＩＮの塊を構成する特徴点は、その指定が解除される。なお、ラベリングの連結数の閾値は、予め変更可能である。
【００７９】
次に、ＴＩＮの面積による判定方法について説明する（ステップＳ１４−２）。図１５は、ＴＩＮの面積による誤対応点の判定手順を説明する説明図である。図１５（Ａ）に示すように、面積判定部３０は、まず各三角形の面積Ｓが所定値以上の三角形Ｐ１Ｐ２Ｐ４を探索する。次に、その三角形の頂点が、測定対象物１８の輪郭部分であるか否かを判断する。
【００８０】
図１５（Ｂ）に示すように、三角形Ｐ１Ｐ２Ｐ４の外部であって、Ｐ１を中心とする所定角度および辺Ｐ１Ｐ４方向または辺Ｐ１Ｐ２方向の円弧領域Ｔ１に、Ｐ１に連結する特徴点があるか否かを判断する。円弧領域Ｔ１に連結する特徴点がない場合、Ｐ１は測定対象物１８の輪郭部分であると判断される。なお、円弧領域Ｔ１の角度および方向は、予め変更可能である。
【００８１】
この処理を三角形の各頂点Ｐ１Ｐ２Ｐ４について行う。図１５（Ｂ）の場合、Ｐ１の円弧領域Ｔ１と、Ｐ２の円弧領域Ｔ２に特徴点がないため、Ｐ１とＰ２は、測定対象物１８の輪郭部分であると判断され、誤対応点と判定される。図１５（Ｃ）に示すように、誤対応点と判定されたＰ１とＰ２は、特徴点の指定が解除される。
【００８２】
図１６は、面積の大きいＴＩＮを除去した結果を示す図面代用写真である。図１６は、面積による誤対応点の判定のみを行った結果であり、辺長による誤対応点の判定を行っていない。なお、面積判定部３０は、三角形網形成部２３がＴＩＮを形成する際、または、ＴＩＮを形成した後に、誤対応点の判定を行う。
【００８３】
次に、ＴＩＮの角度による判定方法について説明する（ステップＳ１４−３）。図１７は、ＴＩＮの角度による誤対応点の判定手順を説明する説明図である。図１７（Ａ）に示すように、角度判定部３１は、まず各三角形の角度θが所定値以下の三角形Ｐ３Ｐ４Ｐ６を探索する。次に、その角度θを構成する三角形の頂点Ｐ３が測定対象物の輪郭部分であるならば、その頂点を誤対応点と判定する。
【００８４】
図１７（Ｂ）に示すように、三角形Ｐ３Ｐ４Ｐ６の外部であって、Ｐ３を中心とする所定角度および辺Ｐ３Ｐ４方向または辺Ｐ３Ｐ６方向の円弧領域Ｔ３に、Ｐ３に連結する特徴点があるか否かを判断する。円弧領域Ｔ３に連結する特徴点がない場合、Ｐ３は測定対象物１８の輪郭部分であると判断され、誤対応点と判定される。なお、円弧領域Ｔ３の角度および方向は、予め変更可能である。
【００８５】
図１７（Ｃ）に示すように、誤対応点と判定されたＰ３は、特徴点の指定が解除される。この処理を角度θが所定値以下の三角形の頂点について行う。図１８は、角度の小さいＴＩＮを除去した結果を示す図面代用写真である。図１８は、角度による誤対応点の判定のみを行った結果であり、辺長や面積による誤対応点の判定を行っていない。なお、角度判定部３０は、三角形網形成部２３がＴＩＮを形成する際、または、ＴＩＮを形成した後に、誤対応点の判定を行う。
【００８６】
図１９は、ＴＩＮの辺長、面積、および角度によるＴＩＮの除去結果を示す図面代用写真である。ＴＩＮの辺長、面積、および角度による誤対応点の判定を全て行うことで、精度のよい特徴点のみで構成されたＴＩＮが形成される。
【００８７】
初期値に関する誤対応点の判定が終了すると、三次元形状測定部２５によって、測定対象物の三次元形状が測定される（ステップＳ１５）。三次元形状測定部２５は、誤対応点と判定された点を除いた特徴点群をＬＳＭの初期値としてステレオマッチングを行い、三次元形状（密面）を測定する。図２０は、密面計測の結果を示す図面代用写真である。図２０では、ＬＳＭの処理領域は、誤対応点を除去した後の特徴点群を凸包線で囲んだ凸領域としている。このため、頭から肩にかけて不要なＴＩＮが生成されているが、特徴投影部１０〜１３によって投影されたランダムドットパターンの部分は、指定されたメッシュ間隔のＴＩＮが生成されている。
【００８８】
図２１は、複数モデルにおける三次元形状の計測結果を示す図面代用写真である。図２１に示す複数のモデルを合成した場合、正面のモデルに形成された頭から肩をつなぐ不要なＴＩＮが、側面のモデルに形成された本来の面を隠してしまう。したがって、この頭から肩にかけて形成された不要なＴＩＮを生成しないように、ＬＳＭの処理領域を制限する。
【００８９】
図２２は、ＬＳＭの処理領域の制限を示す図である。図２２に示すように、特徴点群の囲み線を作成する。囲み線は、凸包線を作成し、その構成する点の点間距離と角度をみながら内側に処理領域を削っていく処理を繰り返すことで作成される。
【００９０】
誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００９１】
図２３は、ＬＳＭの処理領域を調整した計測結果を示す図面代用写真であり、図２４は、図２３の複数モデルの合成結果を示す図面代用写真である。図２３および図２４に示すように、頭から肩にかけて不要なＴＩＮが除去されているのが分かる。
【００９２】
以下、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第1方式において、撮影位置姿勢測定部２０が、相互標定法を採用した場合の具体的処理の例について、以下に説明する。
【００９３】
相互標定法によれば、重複画像に写された６点以上の対応する基準点に基づき、外部標定要素を求めることができる。また、基準点の三次元上の位置が既知であれば、絶対標定によって撮影部２〜９の絶対座標が求められる。
【００９４】
図２５は、相互標定を説明する説明図である。相互標定は、左右２枚の画像における６点以上の対応点（パスポイント）によって外部標定要素を求める。相互標定では、投影中心Ｏ１とＯ２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。以下の数２に、共面条件式を示す。
【００９５】
【数２】
【００９６】
図２５に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数２の共面条件式は数３のようになり、この式を解けば各パラメータが求められる。
【数３】
【００９７】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【００９８】
【数４】
【００９９】
これらの式を用いて、次の手順により、未知パラメータ（外部標定要素）を求める。
（１）未知パラメータ（κ１，φ１，κ２，φ２，ω２）の初期近似値は通常０とする。
（２）数３の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数４により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。
【０１００】
相互標定が収束した場合、さらに接続標定が行われる。接続標定とは、複数のモデル間の傾き、縮尺を統一して同一座標系とする処理である。この処理を行った場合、以下の数５で表される接続較差を算出する。算出した結果、ΔＺｊおよびΔＤｊが、所定値（例えば、０．０００５（１／２０００））以下であれば、接続標定が正常に行われたと判定する。
【０１０１】
【数５】
【０１０２】
（第１の実施形態の優位性）
第１の実施形態によれば、左右の重複画像における誤対応点を自動判定することで、ステレオマッチングに用いられるＬＳＭまたは正規化相関法の初期値を始めとする測定値を自動で取得することができる。
【０１０３】
また、ステレオマッチングの処理領域を制限することで、測定対象物１８の本来の形状のみを形成でき、複数のモデルを合成することができる。
【０１０４】
さらに、撮影部２〜９の撮影位置および姿勢を校正用被写体１９により測定することができる。撮影位置および姿勢を求めた後には、三次元計測は、測定対象物１８をその空間内に置くことでいつでもできる。また動きをもった動的な測定対象物１８でも、撮影部２〜９により同時撮影すれば計測が可能である。
【０１０５】
２．第２の実施形態
以下、第１の実施形態の変形例について説明する。第２の実施形態は、測定対象物の輪郭を抽出する輪郭抽出部をさらに備えるものである。
【０１０６】
図２８は、第２の実施形態に係る形状測定装置のブロック図である。形状測定装置の計算処理部１５は、背景除去部２６と特徴点抽出部２７との間に輪郭抽出部３７を備える。まず、輪郭抽出部３７は、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタを用いて、測定対象物１８のエッジ強度画像を作成する。
【０１０７】
次に、輪郭抽出部３７は、エッジ強度画像を細線化した画像に対してラベリング処理を行い、連結する画素数からエッジの長さを求める。そして、エッジ強度とエッジの長さを掛け合わせた値を２値化処理することで、輪郭エッジが抽出される。図２９（Ａ）は、輪郭エッジを示す図面代用写真である。輪郭エッジ３８は、測定対象物１８の内部の特徴と比べてエッジ強度が強く、直線成分が多い。
【０１０８】
特徴点抽出部２７は、輪郭抽出部３７によって抽出された輪郭エッジ３８より内側の領域内で特徴点を抽出する。図２９（Ｂ）は、特徴点の抽出領域を示す図面代用写真（Ｂ）である。抽出領域３９は、輪郭エッジの横幅の所定割合（例えば、８０％）の領域である。この８０％という値は、予め変更可能である。
【０１０９】
（第２の実施形態の優位性）
図３０は、ステレオ画像の撮影範囲の違いを示す図面代用写真である。図３０に示すように、ステレオ画像では、右画像に写らない左画像の撮影範囲４０と、左画像に写らない右画像の撮影範囲４１が存在する。この撮影領域４０，４１で抽出される特徴点は、特徴点の対応付けができないため、全て誤対応点となる。しかしながら、第２の実施形態によれば、特徴点の抽出領域が制限されるため、誤対応点が抽出されない。
【０１１０】
３．第３の実施形態
第３の実施形態は、撮影部の位置を、測定対象物と一緒に基準尺（校正用被写体）を撮影し、並列的に求める第２方式に基づくものであり、第１の実施形態における撮影位置姿勢測定部２０の処理方法の一変形例である。
【０１１１】
第２方式は、計測対象である被写体と校正用被写体を同時に写し込み、撮影部の位置姿勢を求めて三次元計測する方法である。この場合は、撮影部を固定する必要がなく、撮影部は１台から複数台でもよく、撮影枚数が２枚以上あれば、計測可能である。この方法の利点は、撮影部の位置は自由でかつ１台からでも計測できるため、構成が簡単にできるという点である。また、測定対象物を撮影するのと同時に撮影部の位置姿勢を求めるので、事前に撮影部の位置姿勢を求めておく必要はない。一緒に写し込む校正用被写体は、基準尺のような長さの決まったものや、あるいは、座標が決まったものなどを使用する。
【０１１２】
撮影部は基本的に固定する必要がなく、どこに置くのも自由である。図３１は、第３の実施形態に係る形状測定装置の上面図であり、図３２は、第３の実施形態に係る形状測定装置の変形例の上面図である。図３１は、撮影部１台で場所を移動しながら撮影する態様における、基準尺１９、撮影部２と測定対象物１８、計測処理部１５、操作部１６、および表示部１７との関係を示している。図３２は、２台でステレオカメラ構成にしたり、複数台でマルチカメラ構成とした態様における変形例を示している。
【０１１３】
この場合、計測処理部１５と、操作部１６と、表示部１７の三者は、ＰＣを利用すれば、撮影部とＰＣだけで構成できる。また対象物に模様がない場合は、プロジェクターでパターンを投影するか、もしくは対象に模様を塗布する。撮影部の撮影位置、姿勢を求める方法は、相互標定法、または、単写真標定法もしくはＤＬＴ法、バンドル調整法を使い、これらは単独でも組み合わせて使ってもよい。
【０１１４】
撮影部の撮影位置および姿勢（外部標定要素）を、単写真標定またはＤＬＴ法により求めれば、１枚の写真に写された基準点の相対的な位置関係に基づき、外部標定要素を求めることができる。
【０１１５】
図３３は、基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。図３３に示すように、測定対象物１８は、カラーコードターゲット３６ａ〜３６ｄを相対的な位置関係で配置した基準尺３５（校正用被写体）とともに撮影される。
【０１１６】
図２に示す撮影位置姿勢測定部２０は、図３３に示す重複画像を取得する。撮影位置姿勢測定部２０は、重複画像を２値化することで、カラーコードターゲット３６ａ〜３６ｄの重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲット３６ａ〜３６ｄの配色からカラーコードを読み取り、各カラーコードターゲット３６ａ〜３６ｄにラベルを付ける。
【０１１７】
このラベルによって、重複画像における基準点の対応が分かる。撮影位置姿勢測定部２０は、基準点の画像座標、および基準点の三次元上の相対的な位置関係に基づき、相互標定法、単写真標定またはＤＬＴ法、あるいはバンドル調整法によって、撮影部２〜９の撮影位置と姿勢を求める。これらを組み合わせることでも高精度な位置姿勢が求められる。
【０１１８】
本実施形態において採用した撮影位置姿勢測定部２０の処理方式である第２方式は、第１の実施形態で採用した第１方式の変形例であり、それ以外の構成や処理については、第１〜第５の実施形態で示した構成や処理を採用できる。
【０１１９】
（第３の実施形態の優位性）
第３の実施形態によれば、第２方式を採用しており、測定対象物１８と校正用被写体１９を同時に撮影することにより、撮影部の位置姿勢を求め、三次元測定することが可能なので、撮影部は１台から何台でも構成でき、また撮影部を固定する必要がないので簡単な構成にできる。
【０１２０】
４．第４の実施形態
第１方式を採用した第１の実施形態において、撮影位置姿勢測定部２０が、相互標定法を用いて撮影部の撮影位置や姿勢を求める例を説明したが、第４の実施形態では、相互標定法の変わりに、採用しうる具体的処理の例として、単写真標定、およびＤＬＴ法について説明する。
【０１２１】
４−１．単写真標定
図２７は、単写真標定を説明する説明図である。単写真標定は、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）およびカメラの姿勢（ω，φ，κ）を求める。共線条件とは、投影中心、写真像および地上の対象点（Ｏｐ１Ｐ１，Ｏｐ２Ｐ２，Ｏｐ３Ｐ３）が、一直線上にあるという条件である。また、カメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）とカメラの姿勢（ω，φ，κ）は外部標定要素である。
【０１２２】
まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、地上座標系をＸ，Ｙ，Ｚとする。カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、４点の画像座標（少なくとも３点）と対応する基準点の三次元座標を数６に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。
【０１２３】
【数６】
【０１２４】
数６のパラメータｂ１〜ｂ８を用いて、以下の数７から外部標定要素を求める。
【数７】
【０１２５】
４−２．ＤＬＴ法
ＤＬＴ法は、写真座標と対象空間の三次元座標との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数８となる。なお、ＤＬＴ法の詳細については、「村井俊治：解析写真測量、ｐ４６−５１、ｐ１４９−１５５」等を参照する。
【０１２６】
【数８】
【０１２７】
数８の式の分母を消去すると、数９の線形式を導き出せる。
【０１２８】
【数９】
【０１２９】
さらに、数９を変形すると、以下の数１０となる。
【０１３０】
【数１０】
【０１３１】
数１０に６点以上の基準点の三次元座標を代入し、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ１〜Ｌ１１の１１個の未知変量を取得できる。なお、Ｌ１〜Ｌ１１には、外部標定要素が含まれる。
【０１３２】
（第４の実施形態の優位性）
第４の実施形態によれば、単写真標定を採用した場合には、少ない画像からの測定に有利であり、ＤＬＴを採用した場合には、単写真標定よりも演算処理が簡易となる優位がある。
【０１３３】
５．第５の実施形態
以下、第５の実施形態は、第１の実施形態において、撮影部の位置と姿勢を求める方法として、水平測角部および鉛直測角部の少なくとも一つにより、撮影部の撮影位置を測定する手段を採用したものである。
【０１３４】
図２６は、水平測角部を備えた形状測定装置の上面図である。水平測角部３２は、ロータリーエンコーダであり、水平角スケール３３、エンコーダ３４を備える。撮影部２〜９は、水平角スケール３３の任意の位置に固定可能であり、撮影部２〜９と水平角スケール３３は、一体となって時計回りおよび反時計回りに回転可能に支持される。一方、エンコーダ３４は、水平角スケール３３円周上の任意の位置に固定される。
【０１３５】
水平角スケール３３は、撮影部検出用パターン３３ａ〜３３ｄ、水平角検出用スリット３３ｅを有する。撮影部検出用パターン３３ａ〜３３ｄは、水平角スケール３３円周上の任意の位置に着脱可能であり、撮影部２〜９が固定される位置に装着される。例えば、撮影部検出用パターン３３ａ〜３３ｄは、撮影部２と３の中間、撮影部４と５の中間、撮影部６と７の中間、撮影部８と９の中間や、撮影部２，４，６，８の直下に装着される。
【０１３６】
エンコーダ３４は、撮影部２〜９および水平角スケール３３が回転すると、撮影部検出用パターン３３ａ〜３３ｄを検出する。この際、エンコーダ３４は、撮影部検出用パターン３３ａ〜３３ｄのうち最初に検出したパターンの位置の水平角をゼロに設定する。そして、エンコーダ３４は、そこから他の撮影部検出用パターン３３ａ〜３３ｄまでの水平角を水平角検出用スリット３３ｅによって検出する。
【０１３７】
撮影部２〜９が、同一の水平面を回転するように高さを調整した場合、撮影部２〜９の撮影位置は、エンコーダ３４によって検出された水平角のみに基づいて求められる。エンコーダ３４は、撮影部２〜９の水平角を計算処理部１５に出力する。計算処理部１５は、入力した撮影部２〜９の水平角に基づいて、撮影部２〜９の相対的な三次元上の撮影位置を求める。また、実スケールの撮影部２〜９の撮影位置を求める場合、計算処理部１５は、水平角スケール３３の径を入力する。
【０１３８】
また、形状測定装置１は、水平測角部３２の代わりに、撮影部２〜９と一体となって鉛直方向に回転する鉛直測角部を備える構成でもよい。この場合、計算処理部１５は、鉛直測角部で検出された鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１３９】
さらに、形状測定装置１は、撮影部２〜９および水平測角部３２と一体となって鉛直方向に回転する鉛直角測部を備える構成でもよい。この場合、計算処理部１５は、撮影部２〜９の水平角および鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１４０】
（第５の実施形態の優位性）
第５の実施形態によれば、校正用被写体１９を撮影した画像に基づいて撮影部２〜９の撮影位置および姿勢を求める必要がない。すなわち、形状測定装置１は、撮影位置姿勢測定部２０を備える必要がない。
【産業上の利用可能性】
【０１４１】
本発明は、測定対象物の三次元形状を測定する形状測定装置およびそのプログラムに利用することができる。
【図面の簡単な説明】
【０１４２】
【図１】第１方式を適用した形状測定装置の上面図である。
【図２】第１の実施形態に係る形状測定装置のブロック図である。
【図３】形状測定装置のフローチャートである。
【図４】処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。
【図５】ｘ方向およびｙ方向のソーベルフィルタである。
【図６】１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。
【図７】エッジ強度のヒストグラムである。
【図８】閾値５２で二値化した結果を示す図面代用写真である。
【図９】左右画像で抽出された特徴点を示す図面代用写真である。
【図１０】テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。
【図１１】ＴＩＮの形成手順を説明する説明図（Ａ）〜（Ｃ）である。
【図１２】メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真である。
【図１３】辺の長いＴＩＮを除去した結果を示す図面代用写真である。
【図１４】ＴＩＮのラベリング結果を示す図面代用写真である。
【図１５】ＴＩＮの面積による誤対応点の判定手順を説明する説明図（Ａ）〜（Ｃ）である。
【図１６】面積の大きいＴＩＮを除去した結果を示す図面代用写真である。
【図１７】ＴＩＮの角度による誤対応点の判定手順を説明する説明図（Ａ）〜（Ｃ）である。
【図１８】角度の小さいＴＩＮを除去した結果を示す図面代用写真である。
【図１９】ＴＩＮの辺長、面積、および角度によるＴＩＮの除去結果を示す図面代用写真である。
【図２０】密面計測の結果を示す図面代用写真である。
【図２１】複数モデルにおける三次元形状の計測結果を示す図面代用写真である。
【図２２】ＬＳＭの処理領域の制限を示す図である。
【図２３】ＬＳＭの処理領域を調整した計測結果を示す図面代用写真である。
【図２４】図２３の複数モデルの合成結果を示す図面代用写真である。
【図２５】相互標定を説明する説明図である。
【図２６】第５の実施形態に係る形状測定装置の上面図である。
【図２７】単写真標定を説明する説明図である。
【図２８】第２の実施形態に係る形状測定装置のブロック図である。
【図２９】輪郭エッジを示す図面代用写真（Ａ）と、特徴点の抽出領域を示す図面代用写真（Ｂ）である。
【図３０】ステレオ画像の撮影範囲の違いを示す図面代用写真である。
【図３１】第３の実施形態に係る形状測定装置の上面図である。
【図３２】第３の実施形態に係る形状測定装置の変形例の上面図である。
【図３３】基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。
【符号の説明】
【０１４３】
１…形状測定装置、２〜９…撮影部、１０〜１３…特徴投影部、１４…中継部、１５…計算処理部、１６…操作部、１７…表示部、１８…測定対象物、１９…校正用被写体、２０…撮影位置姿勢測定部、２１…特徴点対応付部、２２…三次元座標演算部、２３…三角形網形成部、２４…誤対応点判定部、２５…三次元形状測定部、２６…背景除去部、２７…特徴点抽出部、２８…対応点探索部、２９…辺長判定部、３０…面積判定部、３１…角度判定部。
【特許請求の範囲】
【請求項１】
複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、
前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、
前記特徴点対応付部で対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成部と、
前記三角形網形成部で形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定部と、
前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置。
【請求項２】
基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項３】
前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項４】
所定の位置関係で基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項５】
前記誤対応点判定部は、前記三角形網形成部が三角形網を形成する際に、前記三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定することを特徴とする請求項１に記載の形状測定装置。
【請求項６】
前記誤対応点判定部は、三角形網の辺長に基づいて辺を削除した後、孤立した点の連結数が所定値以下ならば、前記孤立した点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項７】
前記誤対応点判定部は、三角形網における三角形の面積が所定値以上であり、前記三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項８】
前記誤対応点判定部は、三角形網における三角形の角度が所定値以下であり、前記角度を構成する三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項９】
前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする請求項１に記載の形状測定装置。
【請求項１０】
前記三次元形状測定部は、前記測定対象物の輪郭を含む凸包線を作成し、凸包線から内側に削ることで、前記処理領域を決定することを特徴とする請求項９に記載の形状測定装置。
【請求項１１】
前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする請求項５に記載の形状測定装置。
【請求項１２】
前記三次元形状測定部は、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする請求項１に記載の形状測定装置。
【請求項１３】
複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、
前記特徴点対応付ステップで対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成ステップと、
前記三角形網形成ステップで形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定ステップと、
前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラム。
【請求項１】
複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、
前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、
前記特徴点対応付部で対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成部と、
前記三角形網形成部で形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定部と、
前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置。
【請求項２】
基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項３】
前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項４】
所定の位置関係で基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項５】
前記誤対応点判定部は、前記三角形網形成部が三角形網を形成する際に、前記三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定することを特徴とする請求項１に記載の形状測定装置。
【請求項６】
前記誤対応点判定部は、三角形網の辺長に基づいて辺を削除した後、孤立した点の連結数が所定値以下ならば、前記孤立した点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項７】
前記誤対応点判定部は、三角形網における三角形の面積が所定値以上であり、前記三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項８】
前記誤対応点判定部は、三角形網における三角形の角度が所定値以下であり、前記角度を構成する三角形の頂点が前記測定対象物の輪郭部分である場合に、前記頂点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項９】
前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする請求項１に記載の形状測定装置。
【請求項１０】
前記三次元形状測定部は、前記測定対象物の輪郭を含む凸包線を作成し、凸包線から内側に削ることで、前記処理領域を決定することを特徴とする請求項９に記載の形状測定装置。
【請求項１１】
前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする請求項５に記載の形状測定装置。
【請求項１２】
前記三次元形状測定部は、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする請求項１に記載の形状測定装置。
【請求項１３】
複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、
前記特徴点対応付ステップで対応付けた特徴点同士を線分で結び三角形網を形成する三角形網形成ステップと、
前記三角形網形成ステップで形成した三角形網の辺長、面積、角度の少なくとも一つに基づき、誤対応点を判定する誤対応点判定ステップと、
前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１０−１３３７５２（Ｐ２０１０−１３３７５２Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０８０４９（Ｐ２００８−３０８０４９）
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]