形状測定装置およびプログラム
【課題】重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する。
【解決手段】
形状測定装置１は、重複撮影領域で測定対象物１８を撮影する撮影部２〜９と、撮影部２〜９によって撮影された測定対象物１８の特徴点の位置を対応付ける特徴点対応付部２１と、特徴点対応付部２１で対応付けた特徴点の重複画像における視差を求める視差測定部２２と、視差測定部２２で求めた視差に基づき、測定対象物１８の特徴点の三次元座標を求める三次元座標演算部２３と、視差測定部２２で求めた視差、および、三次元座標演算部２３で求めた三次元座標または三次元座標系における測定対象物１８の形態に基づいて、誤対応点を判定する誤対応点判定部２４と、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点の位置等に基づき、測定対象物１８の三次元形状を求める三次元形状測定部２５とを備える。
【解決手段】
形状測定装置１は、重複撮影領域で測定対象物１８を撮影する撮影部２〜９と、撮影部２〜９によって撮影された測定対象物１８の特徴点の位置を対応付ける特徴点対応付部２１と、特徴点対応付部２１で対応付けた特徴点の重複画像における視差を求める視差測定部２２と、視差測定部２２で求めた視差に基づき、測定対象物１８の特徴点の三次元座標を求める三次元座標演算部２３と、視差測定部２２で求めた視差、および、三次元座標演算部２３で求めた三次元座標または三次元座標系における測定対象物１８の形態に基づいて、誤対応点を判定する誤対応点判定部２４と、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点の位置等に基づき、測定対象物１８の三次元形状を求める三次元形状測定部２５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影位置から測定対象物を撮影した重複画像に基づいて、測定対象物の三次元形状を測定する形状測定技術に係り、特に三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術に関する。
【背景技術】
【０００２】
従来から写真測量の理論が研究されている。近年では、写真測量の理論を用いて、複数の撮影位置から撮影した重複画像から測定対象物の三次元形状を測定する技術が開示されている。測定対象物の三次元位置を測定するためには、左右画像で６点以上の点を対応付ける必要があるが、この処理は手動で行うか、測定対象物にマークを貼り付けて自動で行う必要があった。
【０００３】
また、測定対象物の三次元形状を測定するために、測定対象物の画素についてステレオマッチングを行う。ステレオマッチングには、テンプレート画像を変形させながら探索する最小二乗マッチング（Ｌｅａｓｔ−Ｓｑｕａｒｅ Ｍａｔｃｈｉｎｇ：ＬＳＭ）や正規化相関法などが用いられる。この処理には、左右画像で対応付けられた多くの点や線が必要であるが、これらの点や線などの初期値を手動で設定するのは煩雑でスキルを伴う。
【０００４】
このような課題を解決する技術が、例えば、特許文献１や２に開示されている。特許文献１に記載の発明では、基準となる特徴パターンが設けられた測定対象物を異なる方向から撮影した一対の第１撮影画像と、基準となる特徴パターンが設けられていない測定対象物を第１撮影画像の撮影方向と同じ方向から撮影した一対の第２撮影画像とに基づいて、各方向で得られた第１撮影画像と第２撮影画像との差をとり特徴パターンを抽出する。
【０００５】
この態様によれば、特徴パターンのみの画像が作成できることから、特徴パターンの位置検出を自動で精度よく行うことができる。また、特徴パターンの点の数を増やすことにより、左右画像で対応する面の検出を自動で行うことできる。
【０００６】
また、特許文献２に記載の発明では、測定対象の撮影位置と設計データによって決定されている測定対象の基準位置との位置補正を行い、測定対象の三次元形状と設計データを比較することによって、誤って対応付けられた誤対応点を削除する。この態様によれば、三次元形状の測定処理を自動化することができる。
【特許文献１】特開平１０−３１８７３２号公報
【特許文献２】特開２００７−２１２４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような背景を鑑み、本発明は、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、前記特徴点対応付部で対応付けた特徴点の重複画像における視差を求める視差測定部と、前記視差測定部で求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算部と、前記視差測定部で求めた視差、および、前記三次元座標演算部で求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定部と、前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置である。
【０００９】
請求項１に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１１】
請求項２に記載の発明によれば、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第１方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１２】
請求項３に記載の発明は、請求項１に記載の発明において、前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする。
【００１３】
請求項３に記載の発明によれば、校正用被写体を撮影した画像に基づいて撮影部の撮影位置および姿勢を求める必要がない。
【００１４】
請求項４に記載の発明は、請求項１に記載の発明において、所定の位置関係で基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１５】
請求項４に記載の発明によれば、測定対象物と一緒に校正用被写体を撮影し、撮影部の位置と測定対象物の三次元位置を並列的に求める第２方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１６】
請求項５に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記特徴点対応付部は、撮影部を所定の基線長だけ離して撮影した少なくとも一対のステレオ画像における特徴点の位置を対応付けることを特徴とする。
【００１７】
請求項５に記載の発明によれば、少なくとも一対のステレオ画像に基づき、測定対象物の三次元形状を測定することができる。
【００１８】
請求項６に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記誤対応点判定部は、視差のヒストグラムを作成し、視差の平均から所定範囲内にない視差に相当する特徴点を誤対応点として判定することを特徴とする。
【００１９】
請求項６に記載の発明によれば、測定対象物から離れた位置の誤対応点を判定することができる。
【００２０】
請求項７に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記測定対象物に対して特徴を投影する特徴投影部をさらに備えることを特徴とする。
【００２１】
請求項７に記載の発明によれば、測定対象物の特徴が乏しい部分に特徴が入るため、多くの特徴点を検出することができる。
【００２２】
請求項８に記載の発明は、請求項４に記載の発明において、前記視差測定部は、前記特徴点対応付部で対応付けた特徴点の視差を求める際に、前記特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点の視差を推定することを特徴とする。
【００２３】
請求項８に記載の発明によれば、重複画像における特徴点の位置を対応付ける際に、特徴点の推定視差に相当する位置から横方向または縦方向に対応点を探索することができる。
【００２４】
請求項９に記載の発明は、請求項４に記載の発明において、前記誤対応点判定部は、特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点が誤対応点か否かを判定することを特徴とする。
【００２５】
請求項９に記載の発明によれば、特徴点近傍の基準点の視差に基づき、誤対応点を判定することができる。
【００２６】
請求項１０に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、横視差および縦視差の少なくとも一つに基づき、誤対応点を判定することを特徴とする。
【００２７】
請求項１０に記載の発明によれば、縦視差を除去した撮影、横視差を除去した撮影、または縦視差および横視差の両方を除去した撮影を行うことができる。
【００２８】
請求項１１に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする。
【００２９】
請求項１１に記載の発明によれば、測定対象物の輪郭部分に不要な三次元形状が形成されない。
【００３０】
請求項１２に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする。
【００３１】
請求項１２に記載の発明によれば、誤対応点を除いた特徴点の三次元座標を求めることができる。
【００３２】
請求項１３に記載の発明は、請求項１に記載の発明において、前記特徴点対応付部は、既知の奥行量に基づいて特徴点の視差を求め、前記視差に基づいて誤対応点を判定することを特徴とする。
【００３３】
請求項１３に記載の発明によれば、奥行量が既知の場合に、誤対応点を判定することができる。
【００３４】
請求項１４に記載の発明は、請求項１に記載の発明において、重複画像における測定対象物の輪郭を抽出する輪郭抽出部をさらに備え、前記特徴点対応付部は、前記輪郭抽出部によって抽出された輪郭より内側の領域内で特徴点の位置を対応付けることを特徴とする。
【００３５】
請求項１４に記載の発明によれば、重複画像内で重複しない領域から特徴点を抽出しないため、輪郭近傍の誤対応点が抽出されない。
【００３６】
請求項１５に記載の発明は、請求項２または４に記載の発明において、前記誤対応点判定部は、前記校正用被写体に設けた基準点の重心から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする。
【００３７】
請求項１５に記載の発明によれば、測定対象物から離れた位置の誤対応点を判定することができる。
【００３８】
請求項１６に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、前記測定対象物の基準形態から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする。
【００３９】
請求項１６に記載の発明によれば、測定対象物の輪郭部分の誤対応点を判定することができる。
【００４０】
請求項１７に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部は、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする。
【００４１】
請求項１７に記載の発明によれば、三次元形状測定部で測定値を求める際の測定の信頼性が向上する。
【００４２】
請求項１８に記載の発明は、複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、前記特徴点対応付ステップで対応付けた特徴点における視差を求める視差測定ステップと、前記視差測定ステップで求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算ステップと、前記視差測定ステップで求めた視差、および、前記三次元座標演算ステップで求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定ステップと、前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラムである。
【００４３】
請求項１８に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【発明の効果】
【００４４】
本発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で与えることができる。
【発明を実施するための最良の形態】
【００４５】
本発明は、撮影部の位置を、測定対象物の撮影前に校正用被写体を撮影し、事前に求める第１方式と、撮影部の位置を、測定対象物と一緒に校正用被写体を撮影し、並列的に求める第２方式とに適用が可能である。その両者のそれぞれに適用した例について以下に説明する。
【００４６】
１．第１の実施形態
以下、本発明を、第１方式に適用した形状測定装置およびプログラムの一例について、図面を参照して説明する。この第１方式は、最初に校正用被写体により撮影部の位置と姿勢を算出するので、２台以上の撮影部を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物をとらえて計測ができることである。また、一度撮影部の位置姿勢を校正用被写体で求めておけば、測定対象物をその空間内に置くことで、三次元計測がいつでも可能である。
【００４７】
（形状測定装置の構成）
図１は、第１方式を採用した形状測定装置の上面図である。形状測定装置１は、撮影部２〜９、特徴投影部１０〜１３、中継部１４、計算処理部１５、表示部１７、操作部１６を備える。形状測定装置１は、撮影部２〜９の中央に配置された測定対象物１８の形状を測定する。
【００４８】
撮影部２〜９には、例えば、ビデオカメラ、工業計測用のＣＣＤカメラ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｃａｍｅｒａ）、ＣＭＯＳカメラ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｃａｍｅｒａ）等を用いる。撮影部２〜９は、測定対象物１８の周囲に配置される。撮影部２〜９は、複数の撮影位置から重複した撮影領域で測定対象物１８を撮影する。
【００４９】
撮影部２〜９は、所定の基線長だけ離して横方向または縦方向に並べられる。なお、撮影部を追加して、横方向および縦方向の両方に並べてもよい。形状測定装置１は、少なくとも一対の重複画像に基づき、測定対象物１８の三次元形状を測定する。したがって、撮影部２〜９は、撮影被写体の大きさや形状により、一つもしくは複数に適宜することができる。
【００５０】
特徴投影部１０〜１３には、例えば、プロジェクター、レーザー装置などが用いられる。特徴投影部１０〜１３は、測定対象物１８に対してランダムドットパターン、点状のスポット光、線状のスリット光などのパターンを投影する。これにより、測定対象物１８の特徴が乏しい部分に特徴が入る。特徴投影部１０〜１３は、撮影部２と３の間、撮影部４と５の間、撮影部６と７の間、および撮影部８と９の間に配置される。なお、測定対象物１８に特徴がある場合、あるいは模様を塗布できる場合には、特徴投影部１０〜１３を省略することもできる。
【００５１】
撮影部２〜９は、イーサネット（登録商標）、または、カメラリンクもしくはＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ １３９４）などのインターフェースを介して中継部１４に接続する。中継部１４には、スイッチングハブ、または、画像キャプチャボード等を用いる。撮影部２〜９が撮影した画像は、中継部１４を介して、計算処理部１５に入力される。
【００５２】
計算処理部１５には、パーソナルコンピューター（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）もしくはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）で構成したハードウェアを用いる。計算処理部１５は、操作部１６によって操作され、計算処理部１５の処理内容および計算結果は、表示部１７に表示される。操作部１６には、キーボードやマウスが用いられ、表示部１７には、液晶モニタが用いられる。また、操作部１６および表示部１７は、タッチパネル式液晶モニタで一体として構成してもよい。
【００５３】
図２は、形状測定装置のブロック図である。計算処理部１５は、撮影位置姿勢測定部２０、特徴点対応付部２１、視差測定部２２、三次元座標演算部２３、誤対応点判定部２４、三次元形状測定部２５を備える。これらは、ＰＣで実行可能なプログラムのモジュールとして実装してもよいし、ＦＰＧＡなどのＰＬＤとして実装してもよい。
【００５４】
撮影位置姿勢測定部２０は、図１の校正用被写体１９を撮影した画像に基づき、撮影部２〜９の外部標定要素（撮影位置および姿勢）を測定する。なお、撮影位置姿勢測定部２０は、撮影部２〜９の内部標定要素（主点、焦点距離、レンズ歪み）が既知でない場合は、これも同時に求める。校正用被写体１９は、複数の基準点を配置した立方体形状のキャリブレーションボックスである。
【００５５】
基準点には、カラーコードターゲットを用いる（特開２００７−６４６２７号公報参照）。カラーコードターゲットは、３つのレトロターゲット（再帰反射性ターゲット）を有する。まず、撮影位置姿勢測定部２０は、校正用被写体１９を撮影した画像を二値化することで、レトロターゲットを検出し、その重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲットの配色（カラーコード）に基づき、各基準点にラベルをつける。これにより、重複画像内で対応する基準点の位置が分かる。
【００５６】
そして、撮影位置姿勢測定部２０は、相互標定法、または、単写真標定法もしくはＤＬＴ法、あるいはバンドル調整法を使うことによって、撮影部２〜９の外部標定要素を算出する。これらは単独で使っても、組み合わせて使ってもよい。なお、第１方式については、本実施形態で、第２方式については、第７の実施形態で詳述する。
【００５７】
この第１方式は、最初に校正用被写体１９により撮影部２〜９の位置と姿勢を算出するので、２台以上の撮影部２〜９を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物１８をとらえて計測ができることである。また、一度撮影部２〜９の位置姿勢を校正用被写体１９で求めておけば、測定対象物１８をその空間内に置くことで、三次元計測がいつでも可能である。
【００５８】
特徴点対応付部２１は、少なくとも一対のステレオ画像から測定対象物１８の特徴点を抽出し、ステレオ画像中の特徴点の位置を対応付ける。なお、撮影部２〜９を横方向に並べた場合には、特徴点対応付部２１は、横方向に特徴点の位置を探索し、撮影部２〜９を縦方向に並べた場合には、縦方向に特徴点の位置を探索し、撮影部２〜９を横方向および縦方向に並べた場合には、横方向および縦方向に特徴点の位置を探索する。
【００５９】
特徴点対応付部２１は、背景除去部２６、特徴点抽出部２７、対応点探索部２８を備える。背景除去部２６は、測定対象物１８が写された処理画像から背景画像を差分することで、測定対象物１８のみが写された背景除去画像を生成する。
【００６０】
特徴点抽出部２７は、背景除去画像から特徴点を抽出する。この際、対応点の探索範囲を制限するため、左右のステレオ画像から特徴点を抽出する。特徴点の抽出方法としては、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
【００６１】
対応点探索部２８は、一方の画像で抽出された特徴点に対応する対応点を他方の画像内で探索する。対応点の探索方法としては、残差逐次検定法（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｍｅｔｈｏｄ：ＳＳＤＡ）、正規化相関法、方向符号照合法（Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ：ＯＣＭ）などのテンプレートマッチングが用いられる。
【００６２】
視差測定部２２は、特徴点対応付部２１で対応付けた特徴点の視差を求める。なお、視差測定部２２は、撮影部２〜９を横方向に並べた場合には、横視差を求め、撮影部２〜９を縦方向に並べた場合には、縦視差を求め、撮影部２〜９を横方向および縦方向に並べた場合には、横視差および縦視差を求める。
【００６３】
三次元座標演算部２３は、撮影位置姿勢測定部２０で測定された外部標定要素、および、特徴点対応付部２１で対応付けた特徴点の画像座標に基づき、測定対象物１８の特徴点の三次元座標を演算する。
【００６４】
誤対応点判定部２４は、視差測定部２２で求めた視差（横視差および縦視差の少なくとも一つ）、および、三次元座標演算部２３で求めた三次元座標または三次元座標系における測定対象物１８の形態に基づいて、誤対応点を判定する。誤対応点判定部２４は、視差判定部２９、空間判定部３０、形態判定部３１を備える。誤対応点判定部２４が誤対応点であると判定した場合には、誤対応点に相当する特徴点の指定が解除される。
【００６５】
視差判定部２９は、視差測定部２２で求めた視差のヒストグラムを作成し、視差の平均値から所定範囲内にない視差に相当する特徴点を誤対応点として判定する。特徴点の三次元座標は、視差に基づいて算出されるため、視差の平均値から大きく外れた視差は、誤対応点の可能性が高い。
【００６６】
空間判定部３０は、校正用被写体１９の基準点の重心から所定距離の空間を計測空間として定義し、三次元座標演算部２３で演算された特徴点の三次元座標がその計測空間からはみ出していた場合に、その特徴点を誤対応点として判定する。
【００６７】
形態判定部３１は、三次元座標演算部２３で演算された特徴点の三次元座標から、測定対象物１８の基準形態を作成し、基準形態と特徴点の三次元座標との距離に基づき、誤対応点を判定する。
【００６８】
三次元形状測定部２５は、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点群を初期値として、所定領域内の画素についてステレオマッチングを行い、測定対象物１８の三次元形状を求める。ステレオマッチングには、テンプレート画像を変形させながら探索するＬＳＭ、または正規化相関法などが用いられる。三次元形状は、特徴点の点群または不整三角形網（ＴＩＮ：Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）として、表示部１７に表示される。
【００６９】
さらに、誤対応点判定部２４で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００７０】
（形状測定装置の処理）
以下、形状測定装置の詳細な処理について図３を参照して説明する。図３は、形状測定装置のプログラムのフローチャートである。このフローチャートを実行するプログラムは、ＣＤＲＯＭなどの記録媒体に格納して提供が可能である。
【００７１】
まず、処理画像と背景画像を入力する（ステップＳ１０）。次に、背景除去部２６によって、被計測対象物１８の背景が除去される（ステップＳ１１）。図４は、処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。背景除去画像は、処理画像から背景画像を差分することで生成される。背景除去は、左右画像に対して行われる。なお、背景画像が得られない場合には、この処理を行わなくてもよい。
【００７２】
次に、特徴点抽出部２７によって、左右画像から特徴点が抽出される（ステップＳ１２）。左右の両画像から特徴点を抽出することによって、対応点の探索範囲を小さくすることができる。
【００７３】
特徴点抽出部２７は、必要に応じて縮小処理、明度補正、コントラスト補正などの前処理を行う（ステップＳ１２−１）。次に、ソーベルフィルタによって、前処理された左右画像からエッジ強度が算出される（ステップＳ１２−２）。図５は、ｘ方向およびｙ方向のソーベルフィルタである。ソーベルフィルタのマトリクスに対応する９つの画素の輝度値を、左上から右下へ向かってＩ１〜Ｉ９とし、ｘ方向の強度をｄｘ、ｙ方向の強度をｄｙとすると、注目画素（中央の画素）のエッジ強度Ｍａｇは、以下の数１で算出される。
【００７４】
【数１】
【００７５】
図６は、１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。特徴点抽出部２７は、図６（Ｂ）のエッジ強度画像に対して細線化などの後処理を行う（ステップＳ１２−３）。細線化することで、エッジは１画素幅になる。この結果、最終的に抽出される特徴点の位置が間引かれるため、画像中で偏りのなく特徴点が抽出される。
【００７６】
次に、特徴点抽出部２７は、二値化処理を行う（ステップＳ１２−４）。二値化の閾値を自動で決定するため、エッジ強度のヒストグラムが作成される。図７は、エッジ強度のヒストグラムである。特徴点抽出部２７は、作成したヒストグラムにおいて、エッジ強度の強い方から数えた累積度数が全エッジ画素数の５０％の位置に相当するエッジ強度を二値化の閾値とする。
【００７７】
図７の場合、エッジの画素数は５６９８６画素であり、強度の強い方から数えた累積度数が全エッジ画素数の５０％となる２８４９３画素目のエッジ強度は、５２である。したがって、二値化の閾値は５２となる。図８は、閾値５２で二値化した結果を示す図面代用写真であり、図９は、左右画像で抽出された特徴点を示す図面代用写真である。
【００７８】
次に、対応点探索部２８によって、左右画像中の特徴点が対応付けられる（ステップＳ１３）。対応点探索部２８は、左画像中の各特徴点を中心としたテンプレート画像を作成し、右画像中の所定の領域でテンプレート画像に最も相関の強い対応点を探索する。
【００７９】
図１０は、テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。図１０（Ａ）に示すように、テンプレート画像は、注目特徴点を中心とした２１画素×２１画素で構成される。ステレオ画像は縦視差が除去されているため、図１０（Ｂ）に示すように、ｘ軸に平行に探索ラインが設けられる。また、図１０（Ｃ）に示すように、対応点探索部２８は、右画像の探索ライン上で最も左側の特徴点と、最も右側の特徴点を検出し、最も左側の特徴点と最も右側の特徴点までを探索幅として対応点を探索する。
【００８０】
この結果、テンプレート画像と最も相関の強い点が対応点となる。なお、撮影部２〜９を縦方向に並べた場合、探索ラインはｙ軸に平行となる。また、撮影部２〜９を縦方向および横方向に並べた場合、探索ラインはｘ軸およびｙ軸となる。
【００８１】
次に、誤対応点判定部２４によって、誤って対応付けた特徴点（誤対応点）が判定される（ステップＳ１４）。誤対応点の判定処理には、視差による判定（ステップＳ１４−１）と、計測空間の制限による判定（ステップＳ１４−２）と、測定対象物１８の形態による判定（ステップＳ１４−３）とがある。これらの判定処理は、段階的に行われるが、少なくとも一つの処理を行う態様でもよい。
【００８２】
以下、視差による判定方法について説明する（ステップＳ１４−１）。ステレオ法では、特徴点の三次元座標は、視差に基づいて算出される。したがって、背景における特徴点の視差は、測定対象物１８の特徴点の視差とは異なる傾向を持つ。図１１は、誤対応点の視差を説明する説明図である。図１１に示すように、誤対応点における視差（−１０）は、その他の視差（−５０、−５０、−４０、−６０）と比べて大きく異なる。このため、視差判定部２９は、視差測定部２２によって測定された視差のヒストグラムを作成し、視差の平均値から大きく外れた視差を持つ特徴点を誤対応点として判定する。
【００８３】
図１２は、視差のヒストグラムである。視差の平均をμとし、標準偏差をσとした場合、視差が平均μから標準偏差σの１．５倍の区間［μ−１．５σ，μ＋１．５σ］になければ、その視差に相当する特徴点は誤対応点と判定される。なお、１．５という値は、複数のサンプルの実験により得られた初期値であり、予め変更可能である。
【００８４】
図１３は、視差判定前の特徴点の点群を示す図面代用写真（Ａ）と、視差判定後の特徴点の点群を示す図面代用写真（Ｂ）である。図１３に示すように、視差判定を行うことで、測定対象物１８から大きく離れた背景の特徴点が誤対応点として除去される。
【００８５】
次に、計測空間の制限による判定方法について説明する（ステップＳ１４−２）。計測空間は、校正用被写体１９の基準点の重心を中心とした空間として定義される。図１４は、校正用被写体の基準点とその重心を示す図面代用写真である。校正用被写体１９は、測定対象物１８の重心位置に置かれているものとする。
【００８６】
まず、空間判定部３０は、全ての基準点座標の平均をとることで重心座標を算出する。そして、重心から５０ｃｍの空間を計測空間として定義する。基準点の重心から三次元座標演算部２３で求めた特徴点の三次元座標までの距離が、５０ｃｍを超えている場合には、空間判定部３０は、その特徴点を誤対応点と判定する。５０ｃｍという閾値は、測定対象物１８の大きさに基づいて予め変更可能である。図１５は、空間判定によって除去される特徴点を示す図面代用写真である。
【００８７】
次に、測定対象物１８の形態による判定方法について説明する（ステップＳ１４−３）。上述した視差判定および空間判定は、大きな誤差をもつ場合に有効であり、測定対象物１８の輪郭部分に位置する誤対応点は除去されない。そこで、形態判定部３１は、測定対象物１８の基準形態を作成し、基準形態と特徴点の三次元座標との距離に基づき、誤対応点を判定する。
【００８８】
図１６は、メッシュ間隔４ｍｍで作成したＴＩＮを示す図面代用写真（Ａ）と、メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真（Ｂ）である。まず、形態判定部３１は、空間判定（ステップＳ１４−２）までに残存した特徴点をＬＳＭの初期値とし、基準形態の元になるＴＩＮを作成する。図１６（Ａ）に示すように、ＴＩＮのメッシュ間隔が小さいと、残存する誤対応点によって凹凸面ができてしまう。したがって、形態判定部３１は、図１６（Ｂ）に示すように、ＴＩＮのメッシュ間隔を大きくして、測定対象物１８の大まかな形状（粗面）を作成する。
【００８９】
次に、形態判定部３１は、辺の長さが長いＴＩＮを除去する。辺の長さの閾値は、作成するメッシュ間隔が１０ｍｍの場合には、その４倍の４０ｍｍとする。作成するメッシュ間隔の４倍という閾値は、複数のサンプルの実験により得られた値であり、この閾値は、予め変更可能である。
【００９０】
図１７は、辺の長いＴＩＮを除去した結果を示す図面代用写真である。図１７に示すように、辺の長いＴＩＮが除去された結果、主要な部分と分離したＴＩＮの塊が発生する。分離したＴＩＮの塊は、辺の長さが短くても、特徴が少ない背景や頭髪の部分であること多いため、測定対象物１８の面であるという信頼性が低い。したがって、形態判定部３１は、ＴＩＮの塊ごとにラベリングを行い、その連結数に基づいて、ＴＩＮの塊を除去する。図１８は、ＴＩＮのラベリング結果を示す図面代用写真である。形態判定部３１は、ラベリングの連結数が１０以下のＴＩＮの塊を除去することで、最終的な粗面（基準形態）を作成する。なお、ラベリングの連結数の閾値は、予め変更可能である。
【００９１】
次に、形態判定部３１は、作成した基準形態から残存する特徴点の三次元座標までの距離が所定の閾値を越えている場合に、その特徴点を誤対応点と判定する。図１９は、基準形態と特徴点の点群を示す図面代用写真（Ａ）と、形態判定後の特徴点の点群を示す図面代用写真（Ｂ）である。まず、形態判定部３１は、残っている特徴点群の各点から粗面を形成しているＴＩＮの頂点のうちで最も近い点を探索する。最も近いＴＩＮの頂点から特徴点までの距離が、所定の閾値を越えている場合、形態判定部３１は、その特徴点を誤対応点と判定する。閾値は、作成するメッシュ間隔１０ｍｍの２倍である２０ｍｍとする。作成するメッシュ間隔の２倍という閾値は、複数のサンプルの実験により得られた値であり、この閾値は、予め変更可能である。
【００９２】
初期値に関する誤対応点の判定が終了すると、三次元形状測定部２５によって、測定対象物の三次元形状が測定される（ステップＳ１５）。三次元形状測定部２５は、図１９（Ｂ）に示す特徴点群をＬＳＭの初期値として、ステレオマッチングを行い、三次元形状（密面）を測定する。図２０は、密面計測の結果を示す図面代用写真である。図２０では、ＬＳＭの処理領域は、誤対応点を除去した後の特徴点群を凸包線で囲んだ凸領域としている。このため、頭から肩にかけて不要なＴＩＮが生成されているが、特徴投影部１０〜１３によって投影されたランダムドットパターンの部分は、指定されたメッシュ間隔のＴＩＮが生成されている。
【００９３】
図２１は、複数モデルにおける三次元形状の計測結果を示す図面代用写真である。図２１に示す複数のモデルを合成した場合、正面のモデルに形成された頭から肩をつなぐ不要なＴＩＮが、側面のモデルに形成された本来の面を隠してしまう。したがって、この頭から肩にかけて形成された不要なＴＩＮを生成しないように、ＬＳＭの処理領域を制限する。
【００９４】
図２２は、ＬＳＭの処理領域の制限を示す図である。図２２に示すように、特徴点群の囲み線を作成する。囲み線は、凸包線を作成し、その構成する点の点間距離と角度をみながら内側に処理領域を削っていく処理を繰り返すことで作成される。
【００９５】
なお、誤対応点判定部２４で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００９６】
図２３は、ＬＳＭの処理領域を調整した計測結果を示す図面代用写真であり、図２４は、図２３の複数モデルの合成結果を示す図面代用写真である。図２３および図２４に示すように、頭から肩にかけて不要なＴＩＮが除去されているのが分かる。
【００９７】
以下、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第１方式において、撮影位置姿勢測定部２０が、相互標定法を採用した場合の具体的処理について説明する。
【００９８】
相互標定法によれば、重複画像に写された６点以上の対応する基準点に基づき、外部標定要素を求めることができる。また、基準点の三次元上の位置が既知であれば、絶対標定によって撮影部２〜９の絶対座標が求められる。
【００９９】
図２５は、相互標定を説明する説明図である。相互標定は、左右２枚の画像における６点以上の対応点（パスポイント）によって外部標定要素を求める。相互標定では、投影中心Ｏ１とＯ２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。以下の数２に、共面条件式を示す。
【０１００】
【数２】
【０１０１】
図２５に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数２の共面条件式は数３のようになり、この式を解けば各パラメータが求められる。
【数３】
【０１０２】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【０１０３】
【数４】
【０１０４】
これらの式を用いて、次の手順により、未知パラメータ（外部標定要素）を求める。
（１）未知パラメータ（κ１，φ１，κ２，φ２，ω２）の初期近似値は通常０とする。
（２）数３の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数４により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。
【０１０５】
相互標定が収束した場合、さらに接続標定が行われる。接続標定とは、複数のモデル間の傾き、縮尺を統一して同一座標系とする処理である。この処理を行った場合、以下の数５で表される接続較差を算出する。算出した結果、ΔＺｊおよびΔＤｊが、所定値（例えば、０．０００５（１／２０００））以下であれば、接続標定が正常に行われたと判定する。
【０１０６】
【数５】
【０１０７】
（第１の実施形態の優位性）
第１の実施形態によれば、左右の重複画像における誤対応点を自動判定することで、ステレオマッチングに用いられるＬＳＭまたは正規化相関法の初期値を自動で取得することができる。
【０１０８】
また、ステレオマッチングの処理領域を制限することで、測定対象物１８の本来の形状のみを形成でき、複数のモデルを合成することができる。
【０１０９】
さらに、撮影部２〜９の撮影位置および姿勢を校正用被写体１９により測定することができる。撮影位置および姿勢を求めた後には、三次元計測は、測定対象物１８をその空間内に置くことでいつでもできる。また、動きをもった動的な測定対象物１８でも、撮影部２〜９により同時撮影すれば、計測が可能である。
【０１１０】
２．第２の実施形態
第２の実施形態は、特徴点近傍の基準点の視差に基づき、特徴点の視差を推定または誤対応点を判定するものであり、上述した第１方式を採用した第１実施形態における誤差対応点判定部が行う視差による判定方法の一変形例である。
【０１１１】
図２８は、特徴点の視差推定方法を説明する説明図である。図２８に示すように、左ステレオ画像と右ステレオ画像には、測定対象物の特徴点Ｆと基準点Ｐ１〜Ｐ３が写される。このとき、左画像の特徴点Ｆと右画像上の特徴点Ｆ’の視差Ｄは、以下の数６に示すように、基準点Ｐ１〜Ｐ３の視差をＤ１〜Ｄ３とすると、基準点Ｐ１〜Ｐ３の平均視差によって推定される。
【０１１２】
【数６】
【０１１３】
特徴点対応付部２１は、特徴点Ｆ’の位置を探索する場合に、推定視差Ｄに相当する位置から横方向に探索する。なお、撮影部２〜９を縦方向に並べた場合には、特徴点対応付部２１は、推定視差Ｄに相当する位置から縦方向に探索する。
【０１１４】
さらに、以上のような視差推定法を用いて、誤対応点を判定してもよい。すなわち、視差判定部２９は、特徴点近傍の基準点の平均視差に基づき、その特徴点の誤対応点を判定する。なお、特徴点から基準点までの距離を重み付け、その特徴点の誤対応点を判定することもできる。
【０１１５】
（第２の実施形態の優位性）
第２の実施形態によれば、左右画像における特徴点の位置を対応付ける際に、特徴点の推定視差に相当する位置から横方向または縦方向に対応点を探索することができる。また、特徴点近傍の基準点の視差に基づき、誤対応点を判定することができる。
【０１１６】
３．第３の実施形態
以下、第１の実施形態の変形例について説明する。第３の実施形態は、既知の奥行量に基づいて特徴点の視差を求め、誤対応点を判定するものである。上述した第１方式を採用した第１の実施形態における視差による判定方法の変形例の一つである。
【０１１７】
ステレオ撮影の場合、２つのカメラの光軸は平行であり、主点からＣＣＤ面までの距離ａ（焦点距離）が等しく、ＣＣＤは光軸に直角に配置される。このため、カメラの光軸間の距離（基線長）をｌとすると、画像上の特徴点Ｆ１（ｘ１，ｙ１）、Ｆ２（ｘ２，ｙ２）の座標間には、以下の数７の関係が成り立つ。ただし、全体の座標系（ｘ，ｙ，ｚ）の原点を片方のカメラレンズの主点にとる。
【０１１８】
【数７】
【０１１９】
数７によれば、奥行量ｚは、視差ｘ２−ｘ１に反比例する。したがって、誤対応点判定部２４は、既知の奥行量に基づいて、誤対応点を判定することができる。
【０１２０】
図２９は、奥行量に基づく誤対応点の判定方法を説明する説明図である。特徴点Ｆ１とＦ２の間の奥行量Ｚが既知であるとする。この際、特徴点Ｆ１の視差Ｄ１と特徴点Ｆ２の視差Ｄ２との差Ｄ１−Ｄ２は、焦点距離をａ、基線長をｌとすれば、以下の数８によって求められる。
【０１２１】
【数８】
【０１２２】
特徴点Ｆ１およびＦ２のいずれかが誤対応点でない場合には、特徴点Ｆ１の視差と特徴点Ｆ２の視差の差を、既知の奥行量Ｚに基づいて数８から求めたＤ１−Ｄ２と比較することで、特徴点Ｆ１もしくはＦ２を誤対応点と判定することができる。
【０１２３】
（第３の実施形態の優位性）
第３の実施形態によれば、奥行量が既知の場合に、誤対応点を判定することができる。
【０１２４】
４．第４の実施形態
以下、第１の実施形態の変形例について説明する。第４の実施形態は、測定対象物の輪郭を抽出する輪郭抽出部をさらに備えるものである。
【０１２５】
図３０は、第４の実施形態に係る形状測定装置のブロック図である。形状測定装置１は、輪郭抽出部３７を背景除去部２６と特徴点抽出部２７との間に備える。まず、輪郭抽出部３７は、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタを用いて、測定対象物１８のエッジ強度画像を作成する。
【０１２６】
次に、輪郭抽出部３７は、エッジ強度画像を細線化した画像に対してラベリング処理を行い、連結する画素数からエッジの長さを求める。そして、エッジ強度とエッジの長さを掛け合わせた値を２値化処理することで、輪郭エッジが抽出される。図３１（Ａ）は、輪郭エッジを示す図面代用写真である。輪郭エッジ３８は、測定対象物１８の内部の特徴と比べてエッジ強度が強く、直線成分が多い。
【０１２７】
特徴点抽出部２７は、輪郭抽出部３７によって抽出された輪郭エッジ３８より内側の領域内で特徴点を抽出する。図３１（Ｂ）は、特徴点の抽出領域を示す図面代用写真（Ｂ）である。抽出領域３９は、輪郭エッジの横幅の所定割合（例えば、８０％）の領域である。この８０％という値は、予め変更可能である。
【０１２８】
（第４の実施形態の優位性）
図３２は、ステレオ画像の撮影範囲の違いを示す図面代用写真である。図３２に示すように、ステレオ画像では、右画像に写らない左画像の撮影範囲４０と、左画像に写らない右画像の撮影範囲４１が存在する。この撮影領域４０，４１で抽出される特徴点は、特徴点の対応付けができないため、全て誤対応点となる。しかしながら、第４の実施形態によれば、特徴点の抽出領域が制限されるため、誤対応点が抽出されない。
【０１２９】
５．第５の実施形態
第５の実施形態は、第１の実施形態において、撮影部の位置と姿勢を求める方法として、水平測角部および鉛直測角部の少なくとも一つにより、撮影部の撮影位置を測定する手段を採用したものである。
【０１３０】
図２６は、水平測角部を備えた形状測定装置の上面図である。水平測角部３２は、ロータリーエンコーダであり、水平角スケール３３、エンコーダ３４を備える。撮影部２〜９は、水平角スケール３３の任意の位置に固定可能であり、撮影部２〜９と水平角スケール３３は、一体となって時計回りおよび反時計回りに回転可能に支持される。一方、エンコーダ３４は、水平角スケール３３円周上の任意の位置に固定される。
【０１３１】
水平角スケール３３は、撮影部検出用パターン３３ａ〜３３ｄ、水平角検出用スリット３３ｅを有する。撮影部検出用パターン３３ａ〜３３ｄは、水平角スケール３３円周上の任意の位置に着脱可能であり、撮影部２〜９が固定される位置に装着される。例えば、撮影部検出用パターン３３ａ〜３３ｄは、撮影部２と３の中間、撮影部４と５の中間、撮影部６と７の中間、撮影部８と９の中間や、撮影部２，４，６，８の直下に装着される。
【０１３２】
エンコーダ３４は、撮影部２〜９および水平角スケール３３が回転すると、撮影部検出用パターン３３ａ〜３３ｄを検出する。この際、エンコーダ３４は、撮影部検出用パターン３３ａ〜３３ｄのうち最初に検出したパターンの位置の水平角をゼロに設定する。そして、エンコーダ３４は、そこから他の撮影部検出用パターン３３ａ〜３３ｄまでの水平角を水平角検出用スリット３３ｅによって検出する。
【０１３３】
撮影部２〜９が、同一の水平面を回転するように高さを調整した場合、撮影部２〜９の撮影位置は、エンコーダ３４によって検出された水平角のみに基づいて求められる。エンコーダ３４は、撮影部２〜９の水平角を計算処理部１５に出力する。計算処理部１５は、入力した撮影部２〜９の水平角に基づいて、撮影部２〜９の相対的な三次元上の撮影位置を求める。また、実スケールの撮影部２〜９の撮影位置を求める場合、計算処理部１５は、水平角スケール３３の径を入力する。
【０１３４】
また、形状測定装置１は、水平測角部３２の代わりに、撮影部２〜９と一体となって鉛直方向に回転する鉛直測角部を備える構成でもよい。この場合、計算処理部１５は、鉛直測角部で検出された鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１３５】
さらに、形状測定装置１は、撮影部２〜９および水平測角部３２と一体となって鉛直方向に回転する鉛直角測部を備える構成でもよい。この場合、計算処理部１５は、撮影部２〜９の水平角および鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１３６】
（第５の実施形態の優位性）
第５の実施形態によれば、校正用被写体１９を撮影した画像に基づいて撮影部２〜９の撮影位置および姿勢を求める必要がない。すなわち、形状測定装置１は、撮影位置姿勢測定部２０を備える必要がない。
【０１３７】
６．第６の実施形態
第１方式を採用した第１の実施形態において、撮影位置姿勢測定部２０が、相互標定法を用いて撮影部の撮影位置や姿勢を求める例を説明した。第６の実施形態では、相互標定法の変わりに、採用しうる具体的処理の例として、単写真標定、およびＤＬＴ法について説明する。
【０１３８】
６−１．単写真標定
図２７は、単写真標定を説明する説明図である。単写真標定は、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）およびカメラの姿勢（ω，φ，κ）を求める。共線条件とは、投影中心、写真像および地上の対象点（Ｏｐ１Ｐ１，Ｏｐ２Ｐ２，Ｏｐ３Ｐ３）が、一直線上にあるという条件である。また、カメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）とカメラの姿勢（ω，φ，κ）は外部標定要素である。
【０１３９】
まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、地上座標系をＸ，Ｙ，Ｚとする。カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、４点の画像座標（少なくとも３点）と対応する基準点の三次元座標を数９に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。
【０１４０】
【数９】
【０１４１】
数９のパラメータｂ１〜ｂ８を用いて、以下の数１０から外部標定要素を求める。
【数１０】
【０１４２】
６−２．ＤＬＴ法
ＤＬＴ法は、写真座標と対象空間の三次元座標との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数１１となる。なお、ＤＬＴ法の詳細については、「村井俊治：解析写真測量、ｐ４６−５１、ｐ１４９−１５５」等を参照する。
【０１４３】
【数１１】
【０１４４】
数１１の式の分母を消去すると、数１２の線形式を導き出せる。
【０１４５】
【数１２】
【０１４６】
さらに、数１２を変形すると、以下の数１３となる。
【０１４７】
【数１３】
【０１４８】
数１３に６点以上の基準点の三次元座標を代入し、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ１〜Ｌ１１の１１個の未知変量を取得できる。なお、Ｌ１〜Ｌ１１には、外部標定要素が含まれる。
【０１４９】
（第６の実施形態の優位性）
第６の実施形態によれば、単写真標定を採用した場合には、少ない画像からの測定に有利であり、ＤＬＴを採用した場合には、単写真標定よりも演算処理が簡易となる優位がある。
【０１５０】
７．第７の実施形態
第７の実施形態は、撮影部の位置を、測定対象物と一緒に基準尺（校正用被写体）を撮影し、並列的に求める第２方式に基づくものであり、第１の実施形態における撮影位置姿勢測定部２０の処理方法の一変形例である。
【０１５１】
第２方式は、計測対象である測定対象物と校正用被写体を同時に写し込み、撮影部の位置姿勢を求めて三次元計測する方法である。この場合は、撮影部を固定する必要がなく、撮影部は１台から複数台でもよく、撮影枚数が２枚以上あれば、計測可能である。この方法の利点は、撮影部の位置は自由でかつ１台からでも計測できるため、構成が簡単にできるという点である。また、測定対象物を撮影するのと同時に撮影部の位置姿勢を求めるので、事前に撮影部の位置姿勢を求めておく必要はない。一緒に写し込む校正用被写体は、基準尺のような長さの決まったものや、あるいは、座標が決まったものなどを使用する。
【０１５２】
撮影部は基本的に固定する必要がなく、どこに置くのも自由である。図３３は、第７の実施形態に係る形状測定装置の上面図であり、図３４は、第７の実施形態に係る形状測定装置の変形例の上面図である。図３３は、撮影部１台で場所を移動しながら撮影する態様における、基準尺１９、撮影部２と測定対象物１８、計測処理部１５、操作部１６、および表示部１７の関係を示している。一方、図３４は、２台でステレオカメラ構成にしたり、複数台でマルチカメラ構成とした態様における変形例を示している。
【０１５３】
この場合、計測処理部１５と、操作部１６と、表示部１７の三者は、ＰＣを利用すれば、撮影部とＰＣだけで構成できる。また対象物に模様がない場合は、プロジェクターでパターンを投影するか、もしくは対象に模様を塗布する。撮影部の撮影位置、姿勢を求める方法は、相互標定法、または、単写真標定法もしくはＤＬＴ法、バンドル調整法を使い、これらは単独でも組み合わせて使ってもよい。
【０１５４】
撮影部の撮影位置および姿勢（外部標定要素）を、単写真標定またはＤＬＴ法により求めれば、１枚の写真に写された基準点の相対的な位置関係に基づき、外部標定要素を求めることができる。
【０１５５】
図３５は、基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。図３５に示すように、測定対象物１８は、カラーコードターゲット３６ａ〜３６ｄを相対的な位置関係で配置した基準尺３５（校正用被写体）とともに撮影される。
【０１５６】
図２に示す撮影位置姿勢測定部２０は、図３５に示す重複画像を取得する。撮影位置姿勢測定部２０は、重複画像を２値化することで、カラーコードターゲット３６ａ〜３６ｄの重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲット３６ａ〜３６ｄの配色からカラーコードを読み取り、各カラーコードターゲット３６ａ〜３６ｄにラベルを付ける。
【０１５７】
このラベルによって、重複画像における基準点の対応が分かる。撮影位置姿勢測定部２０は、基準点の画像座標、および基準点の三次元上の相対的な位置関係に基づき、相互標定法、単写真標定またはＤＬＴ法、あるいはバンドル調整法によって、撮影部２〜９の撮影位置と姿勢を求める。これらを組み合わせることでも高精度な位置姿勢が求められる。
【０１５８】
本実施形態において採用した撮影位置姿勢測定部２０の処理方式である第２方式は、第１の実施形態で採用した第１方式の変形例であり、それ以外の構成や処理については、第１〜第６の実施形態で示した構成や処理を採用できる。
【０１５９】
（第７の実施形態の優位性）
第７の実施形態によれば、第２方式を採用しており、測定対象物１８と校正用被写体を同時に撮影することにより、撮影部の位置姿勢を求め、三次元測定することが可能なので、撮影部は１台から何台でも構成でき、また撮影部を固定する必要がないので簡単な構成にできる。
【産業上の利用可能性】
【０１６０】
本発明は、測定対象物の三次元形状を測定する形状測定装置およびそのプログラムに利用することができる。
【図面の簡単な説明】
【０１６１】
【図１】第１方式を採用した形状測定装置の上面図である。
【図２】第１の実施形態に係る形状測定装置のブロック図である。
【図３】形状測定装置のフローチャートである。
【図４】処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。
【図５】ｘ方向およびｙ方向のソーベルフィルタである。
【図６】１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。
【図７】エッジ強度のヒストグラムである。
【図８】閾値５２で二値化した結果を示す図面代用写真である。
【図９】左右画像で抽出された特徴点を示す図面代用写真である。
【図１０】テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。
【図１１】誤対応点の視差を説明する説明図である。
【図１２】視差のヒストグラムである。
【図１３】視差判定前の特徴点の点群を示す図面代用写真（Ａ）と、視差判定後の特徴点の点群を示す図面代用写真（Ｂ）である。
【図１４】校正用被写体の基準点とその重心を示す図面代用写真である。
【図１５】空間判定によって除去される特徴点を示す図面代用写真である。
【図１６】メッシュ間隔４ｍｍで作成したＴＩＮを示す図面代用写真（Ａ）と、メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真（Ｂ）である。
【図１７】辺の長いＴＩＮを除去した結果を示す図面代用写真である。
【図１８】ＴＩＮのラベリング結果を示す図面代用写真である。
【図１９】基準形態と特徴点の点群を示す図面代用写真（Ａ）と、形態判定後の特徴点の点群を示す図面代用写真（Ｂ）である。
【図２０】密面計測の結果を示す図面代用写真である。
【図２１】複数モデルにおける三次元形状の計測結果を示す図面代用写真である。
【図２２】ＬＳＭの処理領域の制限を示す図である。
【図２３】ＬＳＭの処理領域を調整した計測結果を示す図面代用写真である。
【図２４】図２３の複数モデルの合成結果を示す図面代用写真である。
【図２５】相互標定を説明する説明図である。
【図２６】第５の実施形態に係る形状測定装置の上面図である。
【図２７】単写真標定を説明する説明図である。
【図２８】特徴点の視差推定方法を説明する説明図である。
【図２９】奥行量に基づく誤対応点の判定方法を説明する説明図である。
【図３０】第４の実施形態に係る形状測定装置のブロック図である。
【図３１】輪郭エッジを示す図面代用写真（Ａ）と、特徴点の抽出領域を示す図面代用写真（Ｂ）である。
【図３２】ステレオ画像の撮影範囲の違いを示す図面代用写真である。
【図３３】第７の実施形態に係る形状測定装置の上面図である。
【図３４】第７の実施形態に係る形状測定装置の変形例の上面図である。
【図３５】基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。
【符号の説明】
【０１６２】
１…形状測定装置、２〜９…撮影部、１０〜１３…特徴投影部、１４…中継部、１５…計算処理部、１６…操作部、１７…表示部、１８…測定対象物、１９…校正用被写体、２０…撮影位置姿勢測定部、２１…特徴点対応付部、２２…視差測定部、２３…三次元座標演算部、２４…誤対応点判定部、２５…三次元形状測定部、２６…背景除去部、２７…特徴点抽出部、２８…対応点探索部、２９…視差測定部、３０…空間判定部、３１…形態判定部。
【技術分野】
【０００１】
本発明は、複数の撮影位置から測定対象物を撮影した重複画像に基づいて、測定対象物の三次元形状を測定する形状測定技術に係り、特に三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術に関する。
【背景技術】
【０００２】
従来から写真測量の理論が研究されている。近年では、写真測量の理論を用いて、複数の撮影位置から撮影した重複画像から測定対象物の三次元形状を測定する技術が開示されている。測定対象物の三次元位置を測定するためには、左右画像で６点以上の点を対応付ける必要があるが、この処理は手動で行うか、測定対象物にマークを貼り付けて自動で行う必要があった。
【０００３】
また、測定対象物の三次元形状を測定するために、測定対象物の画素についてステレオマッチングを行う。ステレオマッチングには、テンプレート画像を変形させながら探索する最小二乗マッチング（Ｌｅａｓｔ−Ｓｑｕａｒｅ Ｍａｔｃｈｉｎｇ：ＬＳＭ）や正規化相関法などが用いられる。この処理には、左右画像で対応付けられた多くの点や線が必要であるが、これらの点や線などの初期値を手動で設定するのは煩雑でスキルを伴う。
【０００４】
このような課題を解決する技術が、例えば、特許文献１や２に開示されている。特許文献１に記載の発明では、基準となる特徴パターンが設けられた測定対象物を異なる方向から撮影した一対の第１撮影画像と、基準となる特徴パターンが設けられていない測定対象物を第１撮影画像の撮影方向と同じ方向から撮影した一対の第２撮影画像とに基づいて、各方向で得られた第１撮影画像と第２撮影画像との差をとり特徴パターンを抽出する。
【０００５】
この態様によれば、特徴パターンのみの画像が作成できることから、特徴パターンの位置検出を自動で精度よく行うことができる。また、特徴パターンの点の数を増やすことにより、左右画像で対応する面の検出を自動で行うことできる。
【０００６】
また、特許文献２に記載の発明では、測定対象の撮影位置と設計データによって決定されている測定対象の基準位置との位置補正を行い、測定対象の三次元形状と設計データを比較することによって、誤って対応付けられた誤対応点を削除する。この態様によれば、三次元形状の測定処理を自動化することができる。
【特許文献１】特開平１０−３１８７３２号公報
【特許文献２】特開２００７−２１２４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような背景を鑑み、本発明は、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、前記特徴点対応付部で対応付けた特徴点の重複画像における視差を求める視差測定部と、前記視差測定部で求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算部と、前記視差測定部で求めた視差、および、前記三次元座標演算部で求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定部と、前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置である。
【０００９】
請求項１に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１１】
請求項２に記載の発明によれば、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第１方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１２】
請求項３に記載の発明は、請求項１に記載の発明において、前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする。
【００１３】
請求項３に記載の発明によれば、校正用被写体を撮影した画像に基づいて撮影部の撮影位置および姿勢を求める必要がない。
【００１４】
請求項４に記載の発明は、請求項１に記載の発明において、所定の位置関係で基準点を設けた校正用被写体と、前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする。
【００１５】
請求項４に記載の発明によれば、測定対象物と一緒に校正用被写体を撮影し、撮影部の位置と測定対象物の三次元位置を並列的に求める第２方式のやり方を用いて、撮影部の撮影位置および姿勢を求めることができる。
【００１６】
請求項５に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記特徴点対応付部は、撮影部を所定の基線長だけ離して撮影した少なくとも一対のステレオ画像における特徴点の位置を対応付けることを特徴とする。
【００１７】
請求項５に記載の発明によれば、少なくとも一対のステレオ画像に基づき、測定対象物の三次元形状を測定することができる。
【００１８】
請求項６に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記誤対応点判定部は、視差のヒストグラムを作成し、視差の平均から所定範囲内にない視差に相当する特徴点を誤対応点として判定することを特徴とする。
【００１９】
請求項６に記載の発明によれば、測定対象物から離れた位置の誤対応点を判定することができる。
【００２０】
請求項７に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記測定対象物に対して特徴を投影する特徴投影部をさらに備えることを特徴とする。
【００２１】
請求項７に記載の発明によれば、測定対象物の特徴が乏しい部分に特徴が入るため、多くの特徴点を検出することができる。
【００２２】
請求項８に記載の発明は、請求項４に記載の発明において、前記視差測定部は、前記特徴点対応付部で対応付けた特徴点の視差を求める際に、前記特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点の視差を推定することを特徴とする。
【００２３】
請求項８に記載の発明によれば、重複画像における特徴点の位置を対応付ける際に、特徴点の推定視差に相当する位置から横方向または縦方向に対応点を探索することができる。
【００２４】
請求項９に記載の発明は、請求項４に記載の発明において、前記誤対応点判定部は、特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点が誤対応点か否かを判定することを特徴とする。
【００２５】
請求項９に記載の発明によれば、特徴点近傍の基準点の視差に基づき、誤対応点を判定することができる。
【００２６】
請求項１０に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、横視差および縦視差の少なくとも一つに基づき、誤対応点を判定することを特徴とする。
【００２７】
請求項１０に記載の発明によれば、縦視差を除去した撮影、横視差を除去した撮影、または縦視差および横視差の両方を除去した撮影を行うことができる。
【００２８】
請求項１１に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする。
【００２９】
請求項１１に記載の発明によれば、測定対象物の輪郭部分に不要な三次元形状が形成されない。
【００３０】
請求項１２に記載の発明は、請求項２〜４のいずれかに記載の発明において、前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする。
【００３１】
請求項１２に記載の発明によれば、誤対応点を除いた特徴点の三次元座標を求めることができる。
【００３２】
請求項１３に記載の発明は、請求項１に記載の発明において、前記特徴点対応付部は、既知の奥行量に基づいて特徴点の視差を求め、前記視差に基づいて誤対応点を判定することを特徴とする。
【００３３】
請求項１３に記載の発明によれば、奥行量が既知の場合に、誤対応点を判定することができる。
【００３４】
請求項１４に記載の発明は、請求項１に記載の発明において、重複画像における測定対象物の輪郭を抽出する輪郭抽出部をさらに備え、前記特徴点対応付部は、前記輪郭抽出部によって抽出された輪郭より内側の領域内で特徴点の位置を対応付けることを特徴とする。
【００３５】
請求項１４に記載の発明によれば、重複画像内で重複しない領域から特徴点を抽出しないため、輪郭近傍の誤対応点が抽出されない。
【００３６】
請求項１５に記載の発明は、請求項２または４に記載の発明において、前記誤対応点判定部は、前記校正用被写体に設けた基準点の重心から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする。
【００３７】
請求項１５に記載の発明によれば、測定対象物から離れた位置の誤対応点を判定することができる。
【００３８】
請求項１６に記載の発明は、請求項１に記載の発明において、前記誤対応点判定部は、前記測定対象物の基準形態から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする。
【００３９】
請求項１６に記載の発明によれば、測定対象物の輪郭部分の誤対応点を判定することができる。
【００４０】
請求項１７に記載の発明は、請求項１に記載の発明において、前記三次元形状測定部は、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする。
【００４１】
請求項１７に記載の発明によれば、三次元形状測定部で測定値を求める際の測定の信頼性が向上する。
【００４２】
請求項１８に記載の発明は、複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、前記特徴点対応付ステップで対応付けた特徴点における視差を求める視差測定ステップと、前記視差測定ステップで求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算ステップと、前記視差測定ステップで求めた視差、および、前記三次元座標演算ステップで求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定ステップと、前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラムである。
【００４３】
請求項１８に記載の発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で取得することができる。
【発明の効果】
【００４４】
本発明によれば、重複画像における誤対応点を自動判定することで、三次元形状の測定に必要な初期値を始めとする測定値を自動で与えることができる。
【発明を実施するための最良の形態】
【００４５】
本発明は、撮影部の位置を、測定対象物の撮影前に校正用被写体を撮影し、事前に求める第１方式と、撮影部の位置を、測定対象物と一緒に校正用被写体を撮影し、並列的に求める第２方式とに適用が可能である。その両者のそれぞれに適用した例について以下に説明する。
【００４６】
１．第１の実施形態
以下、本発明を、第１方式に適用した形状測定装置およびプログラムの一例について、図面を参照して説明する。この第１方式は、最初に校正用被写体により撮影部の位置と姿勢を算出するので、２台以上の撮影部を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物をとらえて計測ができることである。また、一度撮影部の位置姿勢を校正用被写体で求めておけば、測定対象物をその空間内に置くことで、三次元計測がいつでも可能である。
【００４７】
（形状測定装置の構成）
図１は、第１方式を採用した形状測定装置の上面図である。形状測定装置１は、撮影部２〜９、特徴投影部１０〜１３、中継部１４、計算処理部１５、表示部１７、操作部１６を備える。形状測定装置１は、撮影部２〜９の中央に配置された測定対象物１８の形状を測定する。
【００４８】
撮影部２〜９には、例えば、ビデオカメラ、工業計測用のＣＣＤカメラ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｃａｍｅｒａ）、ＣＭＯＳカメラ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｃａｍｅｒａ）等を用いる。撮影部２〜９は、測定対象物１８の周囲に配置される。撮影部２〜９は、複数の撮影位置から重複した撮影領域で測定対象物１８を撮影する。
【００４９】
撮影部２〜９は、所定の基線長だけ離して横方向または縦方向に並べられる。なお、撮影部を追加して、横方向および縦方向の両方に並べてもよい。形状測定装置１は、少なくとも一対の重複画像に基づき、測定対象物１８の三次元形状を測定する。したがって、撮影部２〜９は、撮影被写体の大きさや形状により、一つもしくは複数に適宜することができる。
【００５０】
特徴投影部１０〜１３には、例えば、プロジェクター、レーザー装置などが用いられる。特徴投影部１０〜１３は、測定対象物１８に対してランダムドットパターン、点状のスポット光、線状のスリット光などのパターンを投影する。これにより、測定対象物１８の特徴が乏しい部分に特徴が入る。特徴投影部１０〜１３は、撮影部２と３の間、撮影部４と５の間、撮影部６と７の間、および撮影部８と９の間に配置される。なお、測定対象物１８に特徴がある場合、あるいは模様を塗布できる場合には、特徴投影部１０〜１３を省略することもできる。
【００５１】
撮影部２〜９は、イーサネット（登録商標）、または、カメラリンクもしくはＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ １３９４）などのインターフェースを介して中継部１４に接続する。中継部１４には、スイッチングハブ、または、画像キャプチャボード等を用いる。撮影部２〜９が撮影した画像は、中継部１４を介して、計算処理部１５に入力される。
【００５２】
計算処理部１５には、パーソナルコンピューター（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）もしくはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）で構成したハードウェアを用いる。計算処理部１５は、操作部１６によって操作され、計算処理部１５の処理内容および計算結果は、表示部１７に表示される。操作部１６には、キーボードやマウスが用いられ、表示部１７には、液晶モニタが用いられる。また、操作部１６および表示部１７は、タッチパネル式液晶モニタで一体として構成してもよい。
【００５３】
図２は、形状測定装置のブロック図である。計算処理部１５は、撮影位置姿勢測定部２０、特徴点対応付部２１、視差測定部２２、三次元座標演算部２３、誤対応点判定部２４、三次元形状測定部２５を備える。これらは、ＰＣで実行可能なプログラムのモジュールとして実装してもよいし、ＦＰＧＡなどのＰＬＤとして実装してもよい。
【００５４】
撮影位置姿勢測定部２０は、図１の校正用被写体１９を撮影した画像に基づき、撮影部２〜９の外部標定要素（撮影位置および姿勢）を測定する。なお、撮影位置姿勢測定部２０は、撮影部２〜９の内部標定要素（主点、焦点距離、レンズ歪み）が既知でない場合は、これも同時に求める。校正用被写体１９は、複数の基準点を配置した立方体形状のキャリブレーションボックスである。
【００５５】
基準点には、カラーコードターゲットを用いる（特開２００７−６４６２７号公報参照）。カラーコードターゲットは、３つのレトロターゲット（再帰反射性ターゲット）を有する。まず、撮影位置姿勢測定部２０は、校正用被写体１９を撮影した画像を二値化することで、レトロターゲットを検出し、その重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲットの配色（カラーコード）に基づき、各基準点にラベルをつける。これにより、重複画像内で対応する基準点の位置が分かる。
【００５６】
そして、撮影位置姿勢測定部２０は、相互標定法、または、単写真標定法もしくはＤＬＴ法、あるいはバンドル調整法を使うことによって、撮影部２〜９の外部標定要素を算出する。これらは単独で使っても、組み合わせて使ってもよい。なお、第１方式については、本実施形態で、第２方式については、第７の実施形態で詳述する。
【００５７】
この第１方式は、最初に校正用被写体１９により撮影部２〜９の位置と姿勢を算出するので、２台以上の撮影部２〜９を固定した構成とする。この方法の利点は、動きのあるようなもの（たとえば生体）を計測するときでも、一瞬にして測定対象物１８をとらえて計測ができることである。また、一度撮影部２〜９の位置姿勢を校正用被写体１９で求めておけば、測定対象物１８をその空間内に置くことで、三次元計測がいつでも可能である。
【００５８】
特徴点対応付部２１は、少なくとも一対のステレオ画像から測定対象物１８の特徴点を抽出し、ステレオ画像中の特徴点の位置を対応付ける。なお、撮影部２〜９を横方向に並べた場合には、特徴点対応付部２１は、横方向に特徴点の位置を探索し、撮影部２〜９を縦方向に並べた場合には、縦方向に特徴点の位置を探索し、撮影部２〜９を横方向および縦方向に並べた場合には、横方向および縦方向に特徴点の位置を探索する。
【００５９】
特徴点対応付部２１は、背景除去部２６、特徴点抽出部２７、対応点探索部２８を備える。背景除去部２６は、測定対象物１８が写された処理画像から背景画像を差分することで、測定対象物１８のみが写された背景除去画像を生成する。
【００６０】
特徴点抽出部２７は、背景除去画像から特徴点を抽出する。この際、対応点の探索範囲を制限するため、左右のステレオ画像から特徴点を抽出する。特徴点の抽出方法としては、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
【００６１】
対応点探索部２８は、一方の画像で抽出された特徴点に対応する対応点を他方の画像内で探索する。対応点の探索方法としては、残差逐次検定法（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｍｅｔｈｏｄ：ＳＳＤＡ）、正規化相関法、方向符号照合法（Ｏｒｉｅｎｔａｔｉｏｎ Ｃｏｄｅ Ｍａｔｃｈｉｎｇ：ＯＣＭ）などのテンプレートマッチングが用いられる。
【００６２】
視差測定部２２は、特徴点対応付部２１で対応付けた特徴点の視差を求める。なお、視差測定部２２は、撮影部２〜９を横方向に並べた場合には、横視差を求め、撮影部２〜９を縦方向に並べた場合には、縦視差を求め、撮影部２〜９を横方向および縦方向に並べた場合には、横視差および縦視差を求める。
【００６３】
三次元座標演算部２３は、撮影位置姿勢測定部２０で測定された外部標定要素、および、特徴点対応付部２１で対応付けた特徴点の画像座標に基づき、測定対象物１８の特徴点の三次元座標を演算する。
【００６４】
誤対応点判定部２４は、視差測定部２２で求めた視差（横視差および縦視差の少なくとも一つ）、および、三次元座標演算部２３で求めた三次元座標または三次元座標系における測定対象物１８の形態に基づいて、誤対応点を判定する。誤対応点判定部２４は、視差判定部２９、空間判定部３０、形態判定部３１を備える。誤対応点判定部２４が誤対応点であると判定した場合には、誤対応点に相当する特徴点の指定が解除される。
【００６５】
視差判定部２９は、視差測定部２２で求めた視差のヒストグラムを作成し、視差の平均値から所定範囲内にない視差に相当する特徴点を誤対応点として判定する。特徴点の三次元座標は、視差に基づいて算出されるため、視差の平均値から大きく外れた視差は、誤対応点の可能性が高い。
【００６６】
空間判定部３０は、校正用被写体１９の基準点の重心から所定距離の空間を計測空間として定義し、三次元座標演算部２３で演算された特徴点の三次元座標がその計測空間からはみ出していた場合に、その特徴点を誤対応点として判定する。
【００６７】
形態判定部３１は、三次元座標演算部２３で演算された特徴点の三次元座標から、測定対象物１８の基準形態を作成し、基準形態と特徴点の三次元座標との距離に基づき、誤対応点を判定する。
【００６８】
三次元形状測定部２５は、誤対応点判定部２４で誤対応点と判定された点を除いた特徴点群を初期値として、所定領域内の画素についてステレオマッチングを行い、測定対象物１８の三次元形状を求める。ステレオマッチングには、テンプレート画像を変形させながら探索するＬＳＭ、または正規化相関法などが用いられる。三次元形状は、特徴点の点群または不整三角形網（ＴＩＮ：Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）として、表示部１７に表示される。
【００６９】
さらに、誤対応点判定部２４で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００７０】
（形状測定装置の処理）
以下、形状測定装置の詳細な処理について図３を参照して説明する。図３は、形状測定装置のプログラムのフローチャートである。このフローチャートを実行するプログラムは、ＣＤＲＯＭなどの記録媒体に格納して提供が可能である。
【００７１】
まず、処理画像と背景画像を入力する（ステップＳ１０）。次に、背景除去部２６によって、被計測対象物１８の背景が除去される（ステップＳ１１）。図４は、処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。背景除去画像は、処理画像から背景画像を差分することで生成される。背景除去は、左右画像に対して行われる。なお、背景画像が得られない場合には、この処理を行わなくてもよい。
【００７２】
次に、特徴点抽出部２７によって、左右画像から特徴点が抽出される（ステップＳ１２）。左右の両画像から特徴点を抽出することによって、対応点の探索範囲を小さくすることができる。
【００７３】
特徴点抽出部２７は、必要に応じて縮小処理、明度補正、コントラスト補正などの前処理を行う（ステップＳ１２−１）。次に、ソーベルフィルタによって、前処理された左右画像からエッジ強度が算出される（ステップＳ１２−２）。図５は、ｘ方向およびｙ方向のソーベルフィルタである。ソーベルフィルタのマトリクスに対応する９つの画素の輝度値を、左上から右下へ向かってＩ１〜Ｉ９とし、ｘ方向の強度をｄｘ、ｙ方向の強度をｄｙとすると、注目画素（中央の画素）のエッジ強度Ｍａｇは、以下の数１で算出される。
【００７４】
【数１】
【００７５】
図６は、１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。特徴点抽出部２７は、図６（Ｂ）のエッジ強度画像に対して細線化などの後処理を行う（ステップＳ１２−３）。細線化することで、エッジは１画素幅になる。この結果、最終的に抽出される特徴点の位置が間引かれるため、画像中で偏りのなく特徴点が抽出される。
【００７６】
次に、特徴点抽出部２７は、二値化処理を行う（ステップＳ１２−４）。二値化の閾値を自動で決定するため、エッジ強度のヒストグラムが作成される。図７は、エッジ強度のヒストグラムである。特徴点抽出部２７は、作成したヒストグラムにおいて、エッジ強度の強い方から数えた累積度数が全エッジ画素数の５０％の位置に相当するエッジ強度を二値化の閾値とする。
【００７７】
図７の場合、エッジの画素数は５６９８６画素であり、強度の強い方から数えた累積度数が全エッジ画素数の５０％となる２８４９３画素目のエッジ強度は、５２である。したがって、二値化の閾値は５２となる。図８は、閾値５２で二値化した結果を示す図面代用写真であり、図９は、左右画像で抽出された特徴点を示す図面代用写真である。
【００７８】
次に、対応点探索部２８によって、左右画像中の特徴点が対応付けられる（ステップＳ１３）。対応点探索部２８は、左画像中の各特徴点を中心としたテンプレート画像を作成し、右画像中の所定の領域でテンプレート画像に最も相関の強い対応点を探索する。
【００７９】
図１０は、テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。図１０（Ａ）に示すように、テンプレート画像は、注目特徴点を中心とした２１画素×２１画素で構成される。ステレオ画像は縦視差が除去されているため、図１０（Ｂ）に示すように、ｘ軸に平行に探索ラインが設けられる。また、図１０（Ｃ）に示すように、対応点探索部２８は、右画像の探索ライン上で最も左側の特徴点と、最も右側の特徴点を検出し、最も左側の特徴点と最も右側の特徴点までを探索幅として対応点を探索する。
【００８０】
この結果、テンプレート画像と最も相関の強い点が対応点となる。なお、撮影部２〜９を縦方向に並べた場合、探索ラインはｙ軸に平行となる。また、撮影部２〜９を縦方向および横方向に並べた場合、探索ラインはｘ軸およびｙ軸となる。
【００８１】
次に、誤対応点判定部２４によって、誤って対応付けた特徴点（誤対応点）が判定される（ステップＳ１４）。誤対応点の判定処理には、視差による判定（ステップＳ１４−１）と、計測空間の制限による判定（ステップＳ１４−２）と、測定対象物１８の形態による判定（ステップＳ１４−３）とがある。これらの判定処理は、段階的に行われるが、少なくとも一つの処理を行う態様でもよい。
【００８２】
以下、視差による判定方法について説明する（ステップＳ１４−１）。ステレオ法では、特徴点の三次元座標は、視差に基づいて算出される。したがって、背景における特徴点の視差は、測定対象物１８の特徴点の視差とは異なる傾向を持つ。図１１は、誤対応点の視差を説明する説明図である。図１１に示すように、誤対応点における視差（−１０）は、その他の視差（−５０、−５０、−４０、−６０）と比べて大きく異なる。このため、視差判定部２９は、視差測定部２２によって測定された視差のヒストグラムを作成し、視差の平均値から大きく外れた視差を持つ特徴点を誤対応点として判定する。
【００８３】
図１２は、視差のヒストグラムである。視差の平均をμとし、標準偏差をσとした場合、視差が平均μから標準偏差σの１．５倍の区間［μ−１．５σ，μ＋１．５σ］になければ、その視差に相当する特徴点は誤対応点と判定される。なお、１．５という値は、複数のサンプルの実験により得られた初期値であり、予め変更可能である。
【００８４】
図１３は、視差判定前の特徴点の点群を示す図面代用写真（Ａ）と、視差判定後の特徴点の点群を示す図面代用写真（Ｂ）である。図１３に示すように、視差判定を行うことで、測定対象物１８から大きく離れた背景の特徴点が誤対応点として除去される。
【００８５】
次に、計測空間の制限による判定方法について説明する（ステップＳ１４−２）。計測空間は、校正用被写体１９の基準点の重心を中心とした空間として定義される。図１４は、校正用被写体の基準点とその重心を示す図面代用写真である。校正用被写体１９は、測定対象物１８の重心位置に置かれているものとする。
【００８６】
まず、空間判定部３０は、全ての基準点座標の平均をとることで重心座標を算出する。そして、重心から５０ｃｍの空間を計測空間として定義する。基準点の重心から三次元座標演算部２３で求めた特徴点の三次元座標までの距離が、５０ｃｍを超えている場合には、空間判定部３０は、その特徴点を誤対応点と判定する。５０ｃｍという閾値は、測定対象物１８の大きさに基づいて予め変更可能である。図１５は、空間判定によって除去される特徴点を示す図面代用写真である。
【００８７】
次に、測定対象物１８の形態による判定方法について説明する（ステップＳ１４−３）。上述した視差判定および空間判定は、大きな誤差をもつ場合に有効であり、測定対象物１８の輪郭部分に位置する誤対応点は除去されない。そこで、形態判定部３１は、測定対象物１８の基準形態を作成し、基準形態と特徴点の三次元座標との距離に基づき、誤対応点を判定する。
【００８８】
図１６は、メッシュ間隔４ｍｍで作成したＴＩＮを示す図面代用写真（Ａ）と、メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真（Ｂ）である。まず、形態判定部３１は、空間判定（ステップＳ１４−２）までに残存した特徴点をＬＳＭの初期値とし、基準形態の元になるＴＩＮを作成する。図１６（Ａ）に示すように、ＴＩＮのメッシュ間隔が小さいと、残存する誤対応点によって凹凸面ができてしまう。したがって、形態判定部３１は、図１６（Ｂ）に示すように、ＴＩＮのメッシュ間隔を大きくして、測定対象物１８の大まかな形状（粗面）を作成する。
【００８９】
次に、形態判定部３１は、辺の長さが長いＴＩＮを除去する。辺の長さの閾値は、作成するメッシュ間隔が１０ｍｍの場合には、その４倍の４０ｍｍとする。作成するメッシュ間隔の４倍という閾値は、複数のサンプルの実験により得られた値であり、この閾値は、予め変更可能である。
【００９０】
図１７は、辺の長いＴＩＮを除去した結果を示す図面代用写真である。図１７に示すように、辺の長いＴＩＮが除去された結果、主要な部分と分離したＴＩＮの塊が発生する。分離したＴＩＮの塊は、辺の長さが短くても、特徴が少ない背景や頭髪の部分であること多いため、測定対象物１８の面であるという信頼性が低い。したがって、形態判定部３１は、ＴＩＮの塊ごとにラベリングを行い、その連結数に基づいて、ＴＩＮの塊を除去する。図１８は、ＴＩＮのラベリング結果を示す図面代用写真である。形態判定部３１は、ラベリングの連結数が１０以下のＴＩＮの塊を除去することで、最終的な粗面（基準形態）を作成する。なお、ラベリングの連結数の閾値は、予め変更可能である。
【００９１】
次に、形態判定部３１は、作成した基準形態から残存する特徴点の三次元座標までの距離が所定の閾値を越えている場合に、その特徴点を誤対応点と判定する。図１９は、基準形態と特徴点の点群を示す図面代用写真（Ａ）と、形態判定後の特徴点の点群を示す図面代用写真（Ｂ）である。まず、形態判定部３１は、残っている特徴点群の各点から粗面を形成しているＴＩＮの頂点のうちで最も近い点を探索する。最も近いＴＩＮの頂点から特徴点までの距離が、所定の閾値を越えている場合、形態判定部３１は、その特徴点を誤対応点と判定する。閾値は、作成するメッシュ間隔１０ｍｍの２倍である２０ｍｍとする。作成するメッシュ間隔の２倍という閾値は、複数のサンプルの実験により得られた値であり、この閾値は、予め変更可能である。
【００９２】
初期値に関する誤対応点の判定が終了すると、三次元形状測定部２５によって、測定対象物の三次元形状が測定される（ステップＳ１５）。三次元形状測定部２５は、図１９（Ｂ）に示す特徴点群をＬＳＭの初期値として、ステレオマッチングを行い、三次元形状（密面）を測定する。図２０は、密面計測の結果を示す図面代用写真である。図２０では、ＬＳＭの処理領域は、誤対応点を除去した後の特徴点群を凸包線で囲んだ凸領域としている。このため、頭から肩にかけて不要なＴＩＮが生成されているが、特徴投影部１０〜１３によって投影されたランダムドットパターンの部分は、指定されたメッシュ間隔のＴＩＮが生成されている。
【００９３】
図２１は、複数モデルにおける三次元形状の計測結果を示す図面代用写真である。図２１に示す複数のモデルを合成した場合、正面のモデルに形成された頭から肩をつなぐ不要なＴＩＮが、側面のモデルに形成された本来の面を隠してしまう。したがって、この頭から肩にかけて形成された不要なＴＩＮを生成しないように、ＬＳＭの処理領域を制限する。
【００９４】
図２２は、ＬＳＭの処理領域の制限を示す図である。図２２に示すように、特徴点群の囲み線を作成する。囲み線は、凸包線を作成し、その構成する点の点間距離と角度をみながら内側に処理領域を削っていく処理を繰り返すことで作成される。
【００９５】
なお、誤対応点判定部２４で初期値を求める際に行った誤対応点の除去の処理を、三次元形状測定部２５が、その後に測定値を求める際にも、同様に行うことができる。
【００９６】
図２３は、ＬＳＭの処理領域を調整した計測結果を示す図面代用写真であり、図２４は、図２３の複数モデルの合成結果を示す図面代用写真である。図２３および図２４に示すように、頭から肩にかけて不要なＴＩＮが除去されているのが分かる。
【００９７】
以下、測定対象物の撮影前に校正用被写体を撮影し、撮影部の位置を事前に求める第１方式において、撮影位置姿勢測定部２０が、相互標定法を採用した場合の具体的処理について説明する。
【００９８】
相互標定法によれば、重複画像に写された６点以上の対応する基準点に基づき、外部標定要素を求めることができる。また、基準点の三次元上の位置が既知であれば、絶対標定によって撮影部２〜９の絶対座標が求められる。
【００９９】
図２５は、相互標定を説明する説明図である。相互標定は、左右２枚の画像における６点以上の対応点（パスポイント）によって外部標定要素を求める。相互標定では、投影中心Ｏ１とＯ２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。以下の数２に、共面条件式を示す。
【０１００】
【数２】
【０１０１】
図２５に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数２の共面条件式は数３のようになり、この式を解けば各パラメータが求められる。
【数３】
【０１０２】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【０１０３】
【数４】
【０１０４】
これらの式を用いて、次の手順により、未知パラメータ（外部標定要素）を求める。
（１）未知パラメータ（κ１，φ１，κ２，φ２，ω２）の初期近似値は通常０とする。
（２）数３の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数４により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。
【０１０５】
相互標定が収束した場合、さらに接続標定が行われる。接続標定とは、複数のモデル間の傾き、縮尺を統一して同一座標系とする処理である。この処理を行った場合、以下の数５で表される接続較差を算出する。算出した結果、ΔＺｊおよびΔＤｊが、所定値（例えば、０．０００５（１／２０００））以下であれば、接続標定が正常に行われたと判定する。
【０１０６】
【数５】
【０１０７】
（第１の実施形態の優位性）
第１の実施形態によれば、左右の重複画像における誤対応点を自動判定することで、ステレオマッチングに用いられるＬＳＭまたは正規化相関法の初期値を自動で取得することができる。
【０１０８】
また、ステレオマッチングの処理領域を制限することで、測定対象物１８の本来の形状のみを形成でき、複数のモデルを合成することができる。
【０１０９】
さらに、撮影部２〜９の撮影位置および姿勢を校正用被写体１９により測定することができる。撮影位置および姿勢を求めた後には、三次元計測は、測定対象物１８をその空間内に置くことでいつでもできる。また、動きをもった動的な測定対象物１８でも、撮影部２〜９により同時撮影すれば、計測が可能である。
【０１１０】
２．第２の実施形態
第２の実施形態は、特徴点近傍の基準点の視差に基づき、特徴点の視差を推定または誤対応点を判定するものであり、上述した第１方式を採用した第１実施形態における誤差対応点判定部が行う視差による判定方法の一変形例である。
【０１１１】
図２８は、特徴点の視差推定方法を説明する説明図である。図２８に示すように、左ステレオ画像と右ステレオ画像には、測定対象物の特徴点Ｆと基準点Ｐ１〜Ｐ３が写される。このとき、左画像の特徴点Ｆと右画像上の特徴点Ｆ’の視差Ｄは、以下の数６に示すように、基準点Ｐ１〜Ｐ３の視差をＤ１〜Ｄ３とすると、基準点Ｐ１〜Ｐ３の平均視差によって推定される。
【０１１２】
【数６】
【０１１３】
特徴点対応付部２１は、特徴点Ｆ’の位置を探索する場合に、推定視差Ｄに相当する位置から横方向に探索する。なお、撮影部２〜９を縦方向に並べた場合には、特徴点対応付部２１は、推定視差Ｄに相当する位置から縦方向に探索する。
【０１１４】
さらに、以上のような視差推定法を用いて、誤対応点を判定してもよい。すなわち、視差判定部２９は、特徴点近傍の基準点の平均視差に基づき、その特徴点の誤対応点を判定する。なお、特徴点から基準点までの距離を重み付け、その特徴点の誤対応点を判定することもできる。
【０１１５】
（第２の実施形態の優位性）
第２の実施形態によれば、左右画像における特徴点の位置を対応付ける際に、特徴点の推定視差に相当する位置から横方向または縦方向に対応点を探索することができる。また、特徴点近傍の基準点の視差に基づき、誤対応点を判定することができる。
【０１１６】
３．第３の実施形態
以下、第１の実施形態の変形例について説明する。第３の実施形態は、既知の奥行量に基づいて特徴点の視差を求め、誤対応点を判定するものである。上述した第１方式を採用した第１の実施形態における視差による判定方法の変形例の一つである。
【０１１７】
ステレオ撮影の場合、２つのカメラの光軸は平行であり、主点からＣＣＤ面までの距離ａ（焦点距離）が等しく、ＣＣＤは光軸に直角に配置される。このため、カメラの光軸間の距離（基線長）をｌとすると、画像上の特徴点Ｆ１（ｘ１，ｙ１）、Ｆ２（ｘ２，ｙ２）の座標間には、以下の数７の関係が成り立つ。ただし、全体の座標系（ｘ，ｙ，ｚ）の原点を片方のカメラレンズの主点にとる。
【０１１８】
【数７】
【０１１９】
数７によれば、奥行量ｚは、視差ｘ２−ｘ１に反比例する。したがって、誤対応点判定部２４は、既知の奥行量に基づいて、誤対応点を判定することができる。
【０１２０】
図２９は、奥行量に基づく誤対応点の判定方法を説明する説明図である。特徴点Ｆ１とＦ２の間の奥行量Ｚが既知であるとする。この際、特徴点Ｆ１の視差Ｄ１と特徴点Ｆ２の視差Ｄ２との差Ｄ１−Ｄ２は、焦点距離をａ、基線長をｌとすれば、以下の数８によって求められる。
【０１２１】
【数８】
【０１２２】
特徴点Ｆ１およびＦ２のいずれかが誤対応点でない場合には、特徴点Ｆ１の視差と特徴点Ｆ２の視差の差を、既知の奥行量Ｚに基づいて数８から求めたＤ１−Ｄ２と比較することで、特徴点Ｆ１もしくはＦ２を誤対応点と判定することができる。
【０１２３】
（第３の実施形態の優位性）
第３の実施形態によれば、奥行量が既知の場合に、誤対応点を判定することができる。
【０１２４】
４．第４の実施形態
以下、第１の実施形態の変形例について説明する。第４の実施形態は、測定対象物の輪郭を抽出する輪郭抽出部をさらに備えるものである。
【０１２５】
図３０は、第４の実施形態に係る形状測定装置のブロック図である。形状測定装置１は、輪郭抽出部３７を背景除去部２６と特徴点抽出部２７との間に備える。まず、輪郭抽出部３７は、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタを用いて、測定対象物１８のエッジ強度画像を作成する。
【０１２６】
次に、輪郭抽出部３７は、エッジ強度画像を細線化した画像に対してラベリング処理を行い、連結する画素数からエッジの長さを求める。そして、エッジ強度とエッジの長さを掛け合わせた値を２値化処理することで、輪郭エッジが抽出される。図３１（Ａ）は、輪郭エッジを示す図面代用写真である。輪郭エッジ３８は、測定対象物１８の内部の特徴と比べてエッジ強度が強く、直線成分が多い。
【０１２７】
特徴点抽出部２７は、輪郭抽出部３７によって抽出された輪郭エッジ３８より内側の領域内で特徴点を抽出する。図３１（Ｂ）は、特徴点の抽出領域を示す図面代用写真（Ｂ）である。抽出領域３９は、輪郭エッジの横幅の所定割合（例えば、８０％）の領域である。この８０％という値は、予め変更可能である。
【０１２８】
（第４の実施形態の優位性）
図３２は、ステレオ画像の撮影範囲の違いを示す図面代用写真である。図３２に示すように、ステレオ画像では、右画像に写らない左画像の撮影範囲４０と、左画像に写らない右画像の撮影範囲４１が存在する。この撮影領域４０，４１で抽出される特徴点は、特徴点の対応付けができないため、全て誤対応点となる。しかしながら、第４の実施形態によれば、特徴点の抽出領域が制限されるため、誤対応点が抽出されない。
【０１２９】
５．第５の実施形態
第５の実施形態は、第１の実施形態において、撮影部の位置と姿勢を求める方法として、水平測角部および鉛直測角部の少なくとも一つにより、撮影部の撮影位置を測定する手段を採用したものである。
【０１３０】
図２６は、水平測角部を備えた形状測定装置の上面図である。水平測角部３２は、ロータリーエンコーダであり、水平角スケール３３、エンコーダ３４を備える。撮影部２〜９は、水平角スケール３３の任意の位置に固定可能であり、撮影部２〜９と水平角スケール３３は、一体となって時計回りおよび反時計回りに回転可能に支持される。一方、エンコーダ３４は、水平角スケール３３円周上の任意の位置に固定される。
【０１３１】
水平角スケール３３は、撮影部検出用パターン３３ａ〜３３ｄ、水平角検出用スリット３３ｅを有する。撮影部検出用パターン３３ａ〜３３ｄは、水平角スケール３３円周上の任意の位置に着脱可能であり、撮影部２〜９が固定される位置に装着される。例えば、撮影部検出用パターン３３ａ〜３３ｄは、撮影部２と３の中間、撮影部４と５の中間、撮影部６と７の中間、撮影部８と９の中間や、撮影部２，４，６，８の直下に装着される。
【０１３２】
エンコーダ３４は、撮影部２〜９および水平角スケール３３が回転すると、撮影部検出用パターン３３ａ〜３３ｄを検出する。この際、エンコーダ３４は、撮影部検出用パターン３３ａ〜３３ｄのうち最初に検出したパターンの位置の水平角をゼロに設定する。そして、エンコーダ３４は、そこから他の撮影部検出用パターン３３ａ〜３３ｄまでの水平角を水平角検出用スリット３３ｅによって検出する。
【０１３３】
撮影部２〜９が、同一の水平面を回転するように高さを調整した場合、撮影部２〜９の撮影位置は、エンコーダ３４によって検出された水平角のみに基づいて求められる。エンコーダ３４は、撮影部２〜９の水平角を計算処理部１５に出力する。計算処理部１５は、入力した撮影部２〜９の水平角に基づいて、撮影部２〜９の相対的な三次元上の撮影位置を求める。また、実スケールの撮影部２〜９の撮影位置を求める場合、計算処理部１５は、水平角スケール３３の径を入力する。
【０１３４】
また、形状測定装置１は、水平測角部３２の代わりに、撮影部２〜９と一体となって鉛直方向に回転する鉛直測角部を備える構成でもよい。この場合、計算処理部１５は、鉛直測角部で検出された鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１３５】
さらに、形状測定装置１は、撮影部２〜９および水平測角部３２と一体となって鉛直方向に回転する鉛直角測部を備える構成でもよい。この場合、計算処理部１５は、撮影部２〜９の水平角および鉛直角に基づいて撮影部２〜９の撮影位置を求める。
【０１３６】
（第５の実施形態の優位性）
第５の実施形態によれば、校正用被写体１９を撮影した画像に基づいて撮影部２〜９の撮影位置および姿勢を求める必要がない。すなわち、形状測定装置１は、撮影位置姿勢測定部２０を備える必要がない。
【０１３７】
６．第６の実施形態
第１方式を採用した第１の実施形態において、撮影位置姿勢測定部２０が、相互標定法を用いて撮影部の撮影位置や姿勢を求める例を説明した。第６の実施形態では、相互標定法の変わりに、採用しうる具体的処理の例として、単写真標定、およびＤＬＴ法について説明する。
【０１３８】
６−１．単写真標定
図２７は、単写真標定を説明する説明図である。単写真標定は、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）およびカメラの姿勢（ω，φ，κ）を求める。共線条件とは、投影中心、写真像および地上の対象点（Ｏｐ１Ｐ１，Ｏｐ２Ｐ２，Ｏｐ３Ｐ３）が、一直線上にあるという条件である。また、カメラの位置Ｏ（Ｘ０，Ｙ０，Ｚ０）とカメラの姿勢（ω，φ，κ）は外部標定要素である。
【０１３９】
まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、地上座標系をＸ，Ｙ，Ｚとする。カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、４点の画像座標（少なくとも３点）と対応する基準点の三次元座標を数９に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。
【０１４０】
【数９】
【０１４１】
数９のパラメータｂ１〜ｂ８を用いて、以下の数１０から外部標定要素を求める。
【数１０】
【０１４２】
６−２．ＤＬＴ法
ＤＬＴ法は、写真座標と対象空間の三次元座標との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数１１となる。なお、ＤＬＴ法の詳細については、「村井俊治：解析写真測量、ｐ４６−５１、ｐ１４９−１５５」等を参照する。
【０１４３】
【数１１】
【０１４４】
数１１の式の分母を消去すると、数１２の線形式を導き出せる。
【０１４５】
【数１２】
【０１４６】
さらに、数１２を変形すると、以下の数１３となる。
【０１４７】
【数１３】
【０１４８】
数１３に６点以上の基準点の三次元座標を代入し、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ１〜Ｌ１１の１１個の未知変量を取得できる。なお、Ｌ１〜Ｌ１１には、外部標定要素が含まれる。
【０１４９】
（第６の実施形態の優位性）
第６の実施形態によれば、単写真標定を採用した場合には、少ない画像からの測定に有利であり、ＤＬＴを採用した場合には、単写真標定よりも演算処理が簡易となる優位がある。
【０１５０】
７．第７の実施形態
第７の実施形態は、撮影部の位置を、測定対象物と一緒に基準尺（校正用被写体）を撮影し、並列的に求める第２方式に基づくものであり、第１の実施形態における撮影位置姿勢測定部２０の処理方法の一変形例である。
【０１５１】
第２方式は、計測対象である測定対象物と校正用被写体を同時に写し込み、撮影部の位置姿勢を求めて三次元計測する方法である。この場合は、撮影部を固定する必要がなく、撮影部は１台から複数台でもよく、撮影枚数が２枚以上あれば、計測可能である。この方法の利点は、撮影部の位置は自由でかつ１台からでも計測できるため、構成が簡単にできるという点である。また、測定対象物を撮影するのと同時に撮影部の位置姿勢を求めるので、事前に撮影部の位置姿勢を求めておく必要はない。一緒に写し込む校正用被写体は、基準尺のような長さの決まったものや、あるいは、座標が決まったものなどを使用する。
【０１５２】
撮影部は基本的に固定する必要がなく、どこに置くのも自由である。図３３は、第７の実施形態に係る形状測定装置の上面図であり、図３４は、第７の実施形態に係る形状測定装置の変形例の上面図である。図３３は、撮影部１台で場所を移動しながら撮影する態様における、基準尺１９、撮影部２と測定対象物１８、計測処理部１５、操作部１６、および表示部１７の関係を示している。一方、図３４は、２台でステレオカメラ構成にしたり、複数台でマルチカメラ構成とした態様における変形例を示している。
【０１５３】
この場合、計測処理部１５と、操作部１６と、表示部１７の三者は、ＰＣを利用すれば、撮影部とＰＣだけで構成できる。また対象物に模様がない場合は、プロジェクターでパターンを投影するか、もしくは対象に模様を塗布する。撮影部の撮影位置、姿勢を求める方法は、相互標定法、または、単写真標定法もしくはＤＬＴ法、バンドル調整法を使い、これらは単独でも組み合わせて使ってもよい。
【０１５４】
撮影部の撮影位置および姿勢（外部標定要素）を、単写真標定またはＤＬＴ法により求めれば、１枚の写真に写された基準点の相対的な位置関係に基づき、外部標定要素を求めることができる。
【０１５５】
図３５は、基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。図３５に示すように、測定対象物１８は、カラーコードターゲット３６ａ〜３６ｄを相対的な位置関係で配置した基準尺３５（校正用被写体）とともに撮影される。
【０１５６】
図２に示す撮影位置姿勢測定部２０は、図３５に示す重複画像を取得する。撮影位置姿勢測定部２０は、重複画像を２値化することで、カラーコードターゲット３６ａ〜３６ｄの重心位置（基準点の画像座標）を求める。また、撮影位置姿勢測定部２０は、カラーコードターゲット３６ａ〜３６ｄの配色からカラーコードを読み取り、各カラーコードターゲット３６ａ〜３６ｄにラベルを付ける。
【０１５７】
このラベルによって、重複画像における基準点の対応が分かる。撮影位置姿勢測定部２０は、基準点の画像座標、および基準点の三次元上の相対的な位置関係に基づき、相互標定法、単写真標定またはＤＬＴ法、あるいはバンドル調整法によって、撮影部２〜９の撮影位置と姿勢を求める。これらを組み合わせることでも高精度な位置姿勢が求められる。
【０１５８】
本実施形態において採用した撮影位置姿勢測定部２０の処理方式である第２方式は、第１の実施形態で採用した第１方式の変形例であり、それ以外の構成や処理については、第１〜第６の実施形態で示した構成や処理を採用できる。
【０１５９】
（第７の実施形態の優位性）
第７の実施形態によれば、第２方式を採用しており、測定対象物１８と校正用被写体を同時に撮影することにより、撮影部の位置姿勢を求め、三次元測定することが可能なので、撮影部は１台から何台でも構成でき、また撮影部を固定する必要がないので簡単な構成にできる。
【産業上の利用可能性】
【０１６０】
本発明は、測定対象物の三次元形状を測定する形状測定装置およびそのプログラムに利用することができる。
【図面の簡単な説明】
【０１６１】
【図１】第１方式を採用した形状測定装置の上面図である。
【図２】第１の実施形態に係る形状測定装置のブロック図である。
【図３】形状測定装置のフローチャートである。
【図４】処理画像を示す図面代用写真（Ａ）と、背景画像を示す図面代用写真（Ｂ）と、背景除去画像を示す図面代用写真（Ｃ）である。
【図５】ｘ方向およびｙ方向のソーベルフィルタである。
【図６】１／４圧縮した入力画像を示す図面代用写真（Ａ）と、ソーベルフィルタによるエッジ強度画像を示す図面代用写真（Ｂ）である。
【図７】エッジ強度のヒストグラムである。
【図８】閾値５２で二値化した結果を示す図面代用写真である。
【図９】左右画像で抽出された特徴点を示す図面代用写真である。
【図１０】テンプレート作成法を説明する説明図（Ａ）と、探索ラインの決定方法を説明する説明図（Ｂ）と、探索幅の決定方法を説明する説明図（Ｃ）である。
【図１１】誤対応点の視差を説明する説明図である。
【図１２】視差のヒストグラムである。
【図１３】視差判定前の特徴点の点群を示す図面代用写真（Ａ）と、視差判定後の特徴点の点群を示す図面代用写真（Ｂ）である。
【図１４】校正用被写体の基準点とその重心を示す図面代用写真である。
【図１５】空間判定によって除去される特徴点を示す図面代用写真である。
【図１６】メッシュ間隔４ｍｍで作成したＴＩＮを示す図面代用写真（Ａ）と、メッシュ間隔１０ｍｍで作成したＴＩＮを示す図面代用写真（Ｂ）である。
【図１７】辺の長いＴＩＮを除去した結果を示す図面代用写真である。
【図１８】ＴＩＮのラベリング結果を示す図面代用写真である。
【図１９】基準形態と特徴点の点群を示す図面代用写真（Ａ）と、形態判定後の特徴点の点群を示す図面代用写真（Ｂ）である。
【図２０】密面計測の結果を示す図面代用写真である。
【図２１】複数モデルにおける三次元形状の計測結果を示す図面代用写真である。
【図２２】ＬＳＭの処理領域の制限を示す図である。
【図２３】ＬＳＭの処理領域を調整した計測結果を示す図面代用写真である。
【図２４】図２３の複数モデルの合成結果を示す図面代用写真である。
【図２５】相互標定を説明する説明図である。
【図２６】第５の実施形態に係る形状測定装置の上面図である。
【図２７】単写真標定を説明する説明図である。
【図２８】特徴点の視差推定方法を説明する説明図である。
【図２９】奥行量に基づく誤対応点の判定方法を説明する説明図である。
【図３０】第４の実施形態に係る形状測定装置のブロック図である。
【図３１】輪郭エッジを示す図面代用写真（Ａ）と、特徴点の抽出領域を示す図面代用写真（Ｂ）である。
【図３２】ステレオ画像の撮影範囲の違いを示す図面代用写真である。
【図３３】第７の実施形態に係る形状測定装置の上面図である。
【図３４】第７の実施形態に係る形状測定装置の変形例の上面図である。
【図３５】基準尺と測定対象物を撮影した左画像を示す図面代用写真（Ａ）と、右画像を示す図面代用写真（Ｂ）である。
【符号の説明】
【０１６２】
１…形状測定装置、２〜９…撮影部、１０〜１３…特徴投影部、１４…中継部、１５…計算処理部、１６…操作部、１７…表示部、１８…測定対象物、１９…校正用被写体、２０…撮影位置姿勢測定部、２１…特徴点対応付部、２２…視差測定部、２３…三次元座標演算部、２４…誤対応点判定部、２５…三次元形状測定部、２６…背景除去部、２７…特徴点抽出部、２８…対応点探索部、２９…視差測定部、３０…空間判定部、３１…形態判定部。
【特許請求の範囲】
【請求項１】
複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、
前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、
前記特徴点対応付部で対応付けた特徴点の重複画像における視差を求める視差測定部と、
前記視差測定部で求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算部と、
前記視差測定部で求めた視差、および、前記三次元座標演算部で求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定部と、
前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置。
【請求項２】
基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項３】
前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項４】
所定の位置関係で基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項５】
前記特徴点対応付部は、撮影部を所定の基線長だけ離して撮影した少なくとも一対のステレオ画像における特徴点の位置を対応付けることを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項６】
前記誤対応点判定部は、視差のヒストグラムを作成し、視差の平均から所定範囲内にない視差に相当する特徴点を誤対応点として判定することを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項７】
前記測定対象物に対して特徴を投影する特徴投影部をさらに備えることを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項８】
前記視差測定部は、前記特徴点対応付部で対応付けた特徴点の視差を求める際に、前記特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点の視差を推定することを特徴とする請求項４に記載の形状測定装置。
【請求項９】
前記誤対応点判定部は、特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点が誤対応点か否かを判定することを特徴とする請求項４に記載の形状測定装置。
【請求項１０】
前記誤対応点判定部は、横視差および縦視差の少なくとも一つに基づき、誤対応点を判定することを特徴とする請求項１に記載の形状測定装置。
【請求項１１】
前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする請求項１に記載の形状測定装置。
【請求項１２】
前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項１３】
前記特徴点対応付部は、既知の奥行量に基づいて特徴点の視差を推定し、前記視差に基づいて誤対応点を判定することを特徴とする請求項１に記載の形状測定装置。
【請求項１４】
重複画像における測定対象物の輪郭を抽出する輪郭抽出部をさらに備え、前記特徴点対応付部は、前記輪郭抽出部によって抽出された輪郭より内側の領域内で特徴点の位置を対応付けることを特徴とする請求項１に記載の形状測定装置。
【請求項１５】
前記誤対応点判定部は、前記校正用被写体に設けた基準点の重心から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする請求項２または４に記載の形状測定装置。
【請求項１６】
前記誤対応点判定部は、前記測定対象物の基準形態から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項１７】
前記三次元形状測定部は、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする請求項１に記載の形状測定装置。
【請求項１８】
複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、
前記特徴点対応付ステップで対応付けた特徴点における視差を求める視差測定ステップと、
前記視差測定ステップで求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算ステップと、
前記視差測定ステップで求めた視差、および、前記三次元座標演算ステップで求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定ステップと、
前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラム。
【請求項１】
複数の撮影位置から重複した撮影領域で、測定対象物を撮影する撮影部と、
前記撮影部によって撮影された重複画像における前記測定対象物の特徴点の位置を対応付ける特徴点対応付部と、
前記特徴点対応付部で対応付けた特徴点の重複画像における視差を求める視差測定部と、
前記視差測定部で求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算部と、
前記視差測定部で求めた視差、および、前記三次元座標演算部で求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定部と、
前記誤対応点判定部で誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定部と、を備えることを特徴とする形状測定装置。
【請求項２】
基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項３】
前記撮影部の撮影位置を測定する水平角測部および鉛直角測部の少なくとも一つをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項４】
所定の位置関係で基準点を設けた校正用被写体と、
前記校正用被写体を撮影した重複画像内の対応する基準点の位置に基づき、前記撮影部の撮影位置および姿勢を求める撮影位置姿勢測定部とをさらに備えることを特徴とする請求項１に記載の形状測定装置。
【請求項５】
前記特徴点対応付部は、撮影部を所定の基線長だけ離して撮影した少なくとも一対のステレオ画像における特徴点の位置を対応付けることを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項６】
前記誤対応点判定部は、視差のヒストグラムを作成し、視差の平均から所定範囲内にない視差に相当する特徴点を誤対応点として判定することを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項７】
前記測定対象物に対して特徴を投影する特徴投影部をさらに備えることを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項８】
前記視差測定部は、前記特徴点対応付部で対応付けた特徴点の視差を求める際に、前記特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点の視差を推定することを特徴とする請求項４に記載の形状測定装置。
【請求項９】
前記誤対応点判定部は、特徴点近傍の位置が分かっている基準点の視差に基づき、前記特徴点が誤対応点か否かを判定することを特徴とする請求項４に記載の形状測定装置。
【請求項１０】
前記誤対応点判定部は、横視差および縦視差の少なくとも一つに基づき、誤対応点を判定することを特徴とする請求項１に記載の形状測定装置。
【請求項１１】
前記三次元形状測定部は、前記測定対象物の輪郭の内側を処理領域として三次元形状を測定することを特徴とする請求項１に記載の形状測定装置。
【請求項１２】
前記誤対応点判定部が誤対応点であると判定した場合には、前記誤対応点に相当する特徴点の指定が解除されることを特徴とする請求項２〜４のいずれかに記載の形状測定装置。
【請求項１３】
前記特徴点対応付部は、既知の奥行量に基づいて特徴点の視差を推定し、前記視差に基づいて誤対応点を判定することを特徴とする請求項１に記載の形状測定装置。
【請求項１４】
重複画像における測定対象物の輪郭を抽出する輪郭抽出部をさらに備え、前記特徴点対応付部は、前記輪郭抽出部によって抽出された輪郭より内側の領域内で特徴点の位置を対応付けることを特徴とする請求項１に記載の形状測定装置。
【請求項１５】
前記誤対応点判定部は、前記校正用被写体に設けた基準点の重心から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする請求項２または４に記載の形状測定装置。
【請求項１６】
前記誤対応点判定部は、前記測定対象物の基準形態から前記三次元座標演算部で求めた特徴点の三次元座標までの距離に基づき、前記特徴点を誤対応点と判定することを特徴とする請求項１に記載の形状測定装置。
【請求項１７】
前記三次元形状測定部は、前記誤対応点判定部で初期値を求める際に行った誤対応点の除去の処理を、その後に測定値を求める際に行うように構成されていることを特徴とする請求項１に記載の形状測定装置。
【請求項１８】
複数の撮影位置から撮影した重複画像における測定対象物の特徴点の位置を対応付ける特徴点対応付ステップと、
前記特徴点対応付ステップで対応付けた特徴点における視差を求める視差測定ステップと、
前記視差測定ステップで求めた視差に基づき、前記測定対象物の特徴点の三次元座標を求める三次元座標演算ステップと、
前記視差測定ステップで求めた視差、および、前記三次元座標演算ステップで求めた三次元座標または三次元座標系における測定対象物の形態に基づいて、誤対応点を判定する誤対応点判定ステップと、
前記誤対応点判定ステップで誤対応点と判定された点を除いた特徴点の位置および前記複数の撮影位置に基づき、前記測定対象物の特徴点の三次元座標または前記測定対象物の三次元形状を求める三次元形状測定ステップと、を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１０−１３３７５１（Ｐ２０１０−１３３７５１Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０８０４８（Ｐ２００８−３０８０４８）
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]