位置姿勢計測装置、位置姿勢計測方法、およびプログラム
【課題】照明部と撮像部の校正時からの変化を異常として検知する。
【解決手段】対象物体の三次元形状モデルの情報を保持する保持部と、撮像部により撮像された対象物体の距離情報を取得する距離情報取得部と、撮像部により撮像された対象物体の濃淡画像を取得する濃淡画像取得部と、保持部に保持された三次元形状モデルの情報と、距離情報とに基づいて対象物体の位置および姿勢を推定する第１位置姿勢推定部と、保持部に保持された三次元形状モデルの情報を濃淡画像上に投影した投影情報と、濃淡画像の幾何特徴とに基づいて対象物体の位置および姿勢を推定する第２位置姿勢推定部と、第１位置姿勢推定部により推定された第１推定値と第２位置姿勢推定部により推定された第２推定値との差分値が閾値より大きいか判定する判定部と、判定部により差分値が閾値より大きいと判定された場合に、撮像部による撮像条件の校正が必要な状態であることを報知する報知部と、を備える。
【解決手段】対象物体の三次元形状モデルの情報を保持する保持部と、撮像部により撮像された対象物体の距離情報を取得する距離情報取得部と、撮像部により撮像された対象物体の濃淡画像を取得する濃淡画像取得部と、保持部に保持された三次元形状モデルの情報と、距離情報とに基づいて対象物体の位置および姿勢を推定する第１位置姿勢推定部と、保持部に保持された三次元形状モデルの情報を濃淡画像上に投影した投影情報と、濃淡画像の幾何特徴とに基づいて対象物体の位置および姿勢を推定する第２位置姿勢推定部と、第１位置姿勢推定部により推定された第１推定値と第２位置姿勢推定部により推定された第２推定値との差分値が閾値より大きいか判定する判定部と、判定部により差分値が閾値より大きいと判定された場合に、撮像部による撮像条件の校正が必要な状態であることを報知する報知部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元形状が既知である物体の位置姿勢を計測する位置姿勢計測装置、位置姿勢計測方法、およびプログラムに関する。
【背景技術】
【０００２】
物体表面にパターン光を照射し、カメラでその画像を取得し、物体表面に反射したパターン光の識別から幾何特徴の対応関係を求め、三角測量の原理で各画素の撮像面からの奥行き値を計測する距離画像計測装置が知られている。
【０００３】
計測対象物体の三次元形状モデルが既知であれば、そのモデル表面と観測された画像の幾何特徴の画面位置や距離値との差を小さくするように、形状モデルの位置姿勢の６自由度パラメータを推定することができる。
【０００４】
距離画像計測装置ではパターン光を照射する照明部と、パターンを撮像する撮像部で利用するレンズの光学中心、光軸の位置や姿勢、焦点距離などに基づき距離が計算される。そのため、これらのパラメータが計測精度に大きな影響を与えることになる。そこで、校正用の治具を複数撮影してパラメータの校正を行う必要がある。
【０００５】
照明部と撮像部は支持部に固定され校正が行われる。固定された状態が維持できている間は、計測の値は正しいと考えられる。しかし、実際の利用の際には、装置の振動や取り付け部のゆるみにより校正時から照明部と撮像部の位置が移動してしまう場合がある。一度移動してしまうと校正時のパラメータを用いても距離画像の算出を精度良く行うことは不可能となる。そのため、再度の校正作業が必要となる。
【０００６】
校正作業は校正用の治具を複数回撮影するなど煩雑な作業である。そのため、再度校正が必要である状態を異常として検知し、その時に校正作業を行うことが望まれる。このような状況は、距離画像計測装置が生産システムの一部の機能として連続的に利用される場面においては特に重要である。
【０００７】
計測用の撮像装置のズレを検出する方法として、特許文献１では、確認用の定点を設置し、その定点の基準点からの推定値と校正時の値との差を確認して異常を検出する方法が開示されている。
【０００８】
また、特許文献２では、複数装置の認識結果の差に基づいて装置の異常を検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特登２８０６６０４号公報
【特許文献２】特開２００９−５４７５９号公報
【非特許文献】
【００１０】
【非特許文献１】A Method for Registration of 3-D Shapes,IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 14, No. 2, pp. 239-256, 1992.
【非特許文献２】"Fitting parameterized three-dimensional models to images," IEEE Transactions on Pattern Analysis and Machine Intelligence, 13, 5 (May 1991), pp. 441-450.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
距離画像計測の際には、計測対象物体の画面に占める割合を大きくして撮影する必要があるなど、撮影範囲が制限される場合が多い。そのような場合、カメラパラメータのズレを検知するための確認用定点がその撮影範囲に設置できない場合があるという問題がある。計測装置の撮影範囲を動的に変更できるとしても、確認用定点の撮影シーケンスが別途必要となる。さらに、指標を撮影している部分の精度と、計測対象物体の撮影している部分の精度が異なる場合もある。その場合、間接的な情報から異常を検出することとなり、信頼性が低下する。
【００１２】
また、異常を検出するために他の装置の結果を利用することは、同時に複数の装置が同じ対象を計測している場合に限定される。そのため、計測装置単体の異常検知のために、多くの装置との連携が必要となり、システムが大きくなってしまう傾向がある。さらに、それぞれの校正された情報を維持管理するための別の仕組みが必要となる点で、運用時の煩わしさの問題がある。
【００１３】
このように、距離画像計測装置とは別の指標や装置を用いることで異常を検知する従来の技術では、それらを計測対象物体と合わせて計測する必要があり、利便性において上述のような課題がある。
【００１４】
上記の課題に鑑み、本発明は、距離画像と濃淡画像の２つの画像情報から、対象物体のモデルを用いて、２つの位置姿勢推定による推定値の差を用いて異常を検知することにより、他の確認用指標や装置を必要としないで撮像装置による撮像条件の校正時からの変化を異常として検知することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的を達成する、本発明に係る本発明に係る位置姿勢計測装置は、
対象物体の三次元形状モデルの情報を保持する保持手段と、
撮像手段により撮像された前記対象物体の距離情報を取得する距離情報取得手段と、
前記撮像手段により撮像された前記対象物体の濃淡画像を取得する濃淡画像取得手段と、
前記保持手段に保持された前記三次元形状モデルの情報と、前記距離情報とに基づいて前記対象物体の位置および姿勢を推定する第１位置姿勢推定手段と、
前記保持手段に保持された前記三次元形状モデルの情報を前記濃淡画像上に投影した投影情報と、前記濃淡画像の幾何特徴とに基づいて前記対象物体の位置および姿勢を推定する第２位置姿勢推定手段と、
前記第１位置姿勢推定手段により推定された第１推定値と、前記第２位置姿勢推定手段により推定された第２推定値との差分値が閾値より大きいか否か判定する判定手段と、
前記判定手段により前記差分値が閾値より大きいと判定された場合に、前記撮像手段による撮像条件の校正が必要な状態であることを報知する報知手段と、
を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、距離情報と濃淡画像との２つの情報のそれぞれから、対象物体のモデルを用いて、２つの位置姿勢推定手法による推定値を求め、その差を用いて異常を検知することにより、他の確認用指標や装置を必要としないで撮像装置による撮像条件の校正時からの変化を異常として検知することができる。
【図面の簡単な説明】
【００１７】
【図１】（ａ）位置姿勢計測装置のハードウェア構成を示す図、（ｂ）位置姿勢計測装置の概略図。
【図２】位置姿勢計測装置に係る各処理部の説明図。
【図３】処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１８】
（第１実施形態）
まず、図１（ａ）を参照して、本実施形態に係る位置姿勢計測装置のハードウェア構成について説明する。
【００１９】
ＣＰＵ１０１は、後述の各処理部を制御する。記憶装置１０２は、ＲＡＭ、ＲＯＭ等により構成され、各種データを記憶する。表示部１０３は、ディスプレイ等であり、各種データを表示する。Ｉ／Ｆ１０４は、インタフェースである。ユーザはこのインタフェースを介して位置姿勢計測装置に操作を指示する。バス１０５は、上記のＣＰＵ１０１、記憶装置１０２、表示部１０３、およびＩ／Ｆ１０４を相互に接続する。
【００２０】
次に、図１（ｂ）を参照して、本実施形態に係る位置姿勢計測装置の構成について説明する。パターン光照明部１５１は、計測対象物体１５０に対して制御されたパターン光を照明する。撮像部１５２は、計測対象物体１５０からの反射光を撮像する。パターン光照明部１５１は照明支持部１５４により、撮像部１５２は撮像支持部１５５により、互いの配置関係が固定されるように固定されている。距離算出部１５３は、パターン光照明部１５１から照射され撮像部１５２により撮像されたパターン光の画像から、パターンの識別を行い画像ごとに距離値を算出する。
【００２１】
異常検出部１５６は、パターン光照明部１５１と撮像部１５２に関するパラメータが、撮像装置の撮像条件の校正時から変化したことを異常として検出する。
【００２２】
ここで、距離算出に必要なパターン光照明部１５１と撮像部１５２におけるパラメータについて説明する。パラメータは、内部パラメータと外部パラメータとに分けることができる。内部パラメータとは、光学系の設計値に関するパラメータであり、焦点距離、レンズ歪み、または主点位置などがある。外部パラメータとは、パターン光照明部１５１と撮像部１５２との相対的な配置関係を示すものであり、回転移動成分の６つのパラメータで表現することができる。
【００２３】
これらのパラメータは、形状が既知のキャリブレーションパターンを複数回撮影することにより推定することができる（カメラキャリブレーション技術）。本実施形態では、校正された値と装置の状態とを比較するため、校正方法に関してはいかなる方法を用いても構わない。何れかの校正方法を用いて、パラメータが校正されているものとする。
【００２４】
パラメータの校正時は、パターン光照明部１５１と撮像部１５２とが固定されているものとして校正をする。そのため、その固定された状態から装置の位置やレンズの設定が変化した場合には再度校正が必要となる。固定治具の剛性や他の装置による振動、経年劣化による固定部の摩耗など、装置の位置やレンズの設定を変化させる要因は様々なものがある。校正した状態と配置関係が僅かに変化するだけで距離撮像の計測値に影響を与えるため、再度校正が必要となる。
【００２５】
パターン光照明部１５１と撮像部１５２とに関するパラメータが変化する要因の発生時期は不確定である。一般には、装置を利用する直前に校正作業を行ってもよいが、校正用の指標の撮影は煩雑であるため、異常検出された時にだけ校正を行ってもよい。
【００２６】
図２を参照して、本実施形態に係る各処理部の構成について説明する。パターン光照明部１５１は、計測対象物体にパターン光を照明する。撮像部１５２は、その反射像を撮像する。実際の照明工程は、液晶プロジェクタとパターンを生成する装置とを使用して実装することができる。撮像部１５２としては、光を電荷容量として変換するＣＭＯＳやＣＣＤ素子による電子カメラを用いることができる。この距離画像計測においては、距離撮像用のパターン光の他、環境光下における物体表面の反射による濃淡画像も撮像できる場合を想定している。一般に、距離情報を表す距離画像に、距離情報では表せない物体表面のテクスチャを付与する目的で、距離情報取得と同時に濃淡画像を取得できる装置が多い。ここでは、撮像部１５２での距離画像用のパターン撮像と濃淡画像撮像とには、同じ撮像素子を利用しているものとする。
【００２７】
距離画像計測で計測された距離画像は距離画像保持部２００に格納される。また、濃淡画像は濃淡画像保持部２０１に格納される。これらは、格子状に離散化された単位空間ごとに計測値を保持している情報である。距離画像は、撮像部１５２の光学中心からの距離値を保持する。一方、濃淡画像は、反射輝度の値を保持する。これらの情報は、ＲＡＭなどの記憶素子やファイルなどで構成される記憶装置１０２に記録することにより、容易に保持することができる。なお、光学中心からの距離値を保持できれば、距離画像の形式で保持しなくてもよい。
【００２８】
計測対象物体形状記憶部２０２は、撮像画像中に含まれる物体に対する幾何情報を保持する。具体的には、物体形状を表現するポリゴンメッシュ、ＣＡＤで使われるＢＲｅｐ形式による表現手法、さらに点群と距離場などの様々な表現手法のいずれかを用いることができる。さらに、設計の図面やＣＡＤモデルから製造された部品が対象の場合は、その設計情報を利用できる。また、計測対象物体１５０の設計情報の代用として、距離画像計測で得られる計測対象物体１５０の計測点群をマージして、一つの三次元形状モデルとして用いてもよい。ここでは、計測対象物体１５０と対応する三次元形状モデルの位置姿勢のパラメータを、計測情報と合わせることができればよい。
【００２９】
距離画像保持部２００の情報または濃淡画像保持部２０１の情報と、計測対象物体形状記憶部２０２の情報とを用いて、形状モデルに関して２つの位置姿勢推定処理を行う。
【００３０】
第１位置姿勢推定部２０３は、計測により得られた計測対象物体１５０に関する表面の奥行き方向の距離値に基づいて変換される点群と、計測対象物体形状記憶部２０２から得られる物体表面との差が小さくなるようにモデルの位置姿勢を推定するものである。具体的な方法としては、Ｂｅｓｌ，Ｐ． Ｊ．らが提案した手法であるＩＣＰ（Ｉｔｅｒａｔｉｖｅ．Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを用いて位置姿勢を推定することができる（非特許文献１参照）。これは、モデル表面と、距離画像による点群との最近傍の対応を利用して、それらの対応付けされた空間中の距離が小さくなるモデルの剛体変換を逐次求める方法である。第１位置姿勢推定部２０３では、距離画像と計測対象物体１５０のモデルとを利用し、濃淡画像は用いない。
【００３１】
第２位置姿勢推定部２０４は、濃淡画像中に含まれる幾何特徴と、計測対象物体形状記憶部２０２から得られるモデルの見え方に関する幾何特徴との対応を求める。それらの対応における濃淡画像面上の座標値を用いて計測対象物体１５０の位置姿勢を推定するものである。具体的には、三次元形状モデルの情報を濃淡画像上に投影した投影情報に含まれる幾何特徴と、濃淡画像の幾何特徴とに基づいて対象物体の位置および姿勢を推定することができる。３次元空間中の対象物体の幾何特徴が撮像画面（濃淡画像面）に投影される位置は、光学系のパラメータを用いて正確に計算することができる。具体的には、Ｄａｖｉｄ Ｇ． Ｌｏｗｅによる手法で開示されているような濃淡画像からモデルを利用して行う位置姿勢推定方法を利用することができる（非特許文献２参照）。
【００３２】
第２位置姿勢推定部２０４は、計測対象物体１５０の表面に特徴的なテクスチャが無い場合でも検出が可能な幾何特徴として、濃度勾配の変化によるエッジを利用する。このエッジは、照明変動に対してロバストであるが、対応関係が不定である。そこで、モデル形状を推定している位置姿勢のパラメータを用いて射影変換した撮像画面上の座標値と、実際に観測されるエッジとの最近傍の対応関係を用いて、その画面上の誤差を小さくするように位置姿勢を更新すればよい。第２位置姿勢推定部２０４では、濃淡画像と計測対象物体１５０のモデルとを利用しており、距離画像は用いていない。
【００３３】
特に異常がない場合には、第１位置姿勢推定部２０３と第２位置姿勢推定部２０４とで位置姿勢推定の推定値は同じ値を示すはずである。異常検出部１５６は、これら２つの値を比較して両者に差がある場合に異常を検出する。第１位置姿勢推定部２０３では、パターン光照明部１５１と撮像部１５２とに関するパラメータを用いて距離値を算出した情報を用いている。一方、第２位置姿勢推定部２０４では、撮像部１５２に関するパラメータを用いてモデルの投影位置計算をした情報を用いている。このように、第１位置姿勢推定部２０３と第２位置姿勢推定部２０４とでは、距離画像計測における情報の使い方が異なっている。従って、第１位置姿勢推定部２０３の位置姿勢の推定結果と、第２位置姿勢推定部２０４の位置姿勢の推定結果とが異なっていれば、それぞれのパラメータのどれかが異なっている状態であると判断できることになる。
【００３４】
位置姿勢のパラメータは、まず位置に関するパラメータとして、ある座標系のＸ軸、Ｙ軸、Ｚ軸を基準とした位置情報を用いることができる。そして回転に関するパラメータとして、姿勢を回転に関する３成分で表現することができる。異常検出部１５６では、それらのパラメータ同士の内積を計算し、完全に一致しているときは内積がノルムの２乗となることを利用できる。要求される計測精度は一般には計測対象物体や計測環境などに左右されるため、それらに適した精度範囲が事前に与えられるものとする。精度範囲からパラメータの内積値の許容範囲を決定する。許容範囲外である場合に、第１位置姿勢推定部２０３の位置姿勢の推定値と、第２位置姿勢推定部２０４の位置姿勢の推定値との間に閾値より大きい差が生じたものとして異常状態を検出すればよい。
【００３５】
なお、本実施形態ではパラメータの比較方法に内積を用いているが、パラメータの成分ごとの差の絶対値や２乗値の和、もしくは重み付きの和などを用いてもよい。これらの場合、和が閾値より大きければ異常状態と検出できる。実際には計測対象物体１５０が平面の移動に限定されている場合や、計測対象物体１５０が軸回転の移動に限定されている場合など、比較するパラメータが制限できる場合もある。そのため、比較の方法は計測環境に適した方法で行えばよい。
【００３６】
異常検出の結果は、異常判定結果記憶部２０６に保持される。実際には、異常検出部１５６において、閾値以下であるか否かを示すフラグを設定すればよい。また、その比較した値も同時に格納されてもよい。それらの情報は、その後の処理に用いる情報データとして有用である。
【００３７】
異常判定結果記憶部２０６は、校正時の状態からパターン光照明部１５１および撮像部１５２が異なる状態にあることを示す情報を格納する。もちろん、異常でない状態として正常であることを記憶してもよい。異常として判定された結果を使用者に表示部１０３を介して報知することで、使用者がその結果から対策を開始できる。報知する方法としては、警告灯を点滅させる方法や警告音を鳴らす方法などであってもよい。さらに、ネットワークを利用して、通信端末機器の使用者に対して報知してもよい。
【００３８】
図３を参照して、上記の各処理部を用いた具体的な処理の流れを示すフローチャートについて説明する。
【００３９】
ステップＳ３０１において、パターン光照明部１５１は計測対象物体１５０に対してパターン光を照射する。ステップＳ３０２において、撮像部１５２は計測対象物体１５０からの反射光を撮像する。ステップＳ３０３において、距離画像保持部２００は、計測対象物体１５０に対する距離画像取得処理を実行する。
【００４０】
ステップＳ３０４において、撮像部１５２は、計測対象物体１５０の濃淡画像を撮像する。ステップＳ３０５において、濃淡画像保持部２０１は、計測対象物体１５０の濃淡画像取得処理を実行する。ステップＳ３０６において、第１位置姿勢推定部２０３は、計測対象物体形状記憶部２０２に格納される計測対象物体１５０の形状情報と、ステップＳ３０３で取得された距離画像とに基づいて、第１の位置姿勢を推定する（第１推定値）。次に、ステップＳ３０７において、第２位置姿勢推定部２０４は、計測対象物体形状記憶部２０２に格納される計測対象物体１５０の形状情報と、ステップＳ３０４で取得された濃淡画像とに基づいて、第２の位置姿勢を推定する（第２推定値）。そして、ステップＳ３０８において、異常検出部１５６は、第１の位置姿勢値と、第２の位置姿勢値とを比較して異常があるか否かを検出する。具体的には、上述のように両者の値の差分値を算出してそれが閾値以下であるか否かを判定する。その差が閾値より大きい場合（ステップＳ３０８；ＮＯ）、異常があると判定され、異常をユーザに報知する。一方、その差が閾値以下である場合（ステップＳ３０８；ＹＥＳ）、異常はないと判定され、処理を終了する。なお、正常である旨をユーザに提示してもよい。以上で処理は終了する。
【００４１】
本実施形態によれば、距離画像と濃淡画像の２つの画像情報から、対象物体のモデルを用いて、２つの位置姿勢推定による推定値の差を用いて異常を検知することにより、他の確認用指標や装置を必要としないで校正時からの変化を異常として検知できる。
【００４２】
（第２実施形態）
上記実施形態に係る異常検出方法を距離画像計測装置などで利用し、その装置を駆動部への制御情報として異常検出結果を利用できるようにすることにより、計測不良に起因する障害を回避することができる。本発明の他の実施形態としては、駆動部としてロボットハンドを利用し、上記実施形態に係る異常検出方法を実装した装置を有する対象物体位置姿勢計測装置を具備するシステムでも有用である。ロボットハンド部に取り付けられた対象物体位置姿勢計測装置は、モータによる振動や他の部品との接触などによって、照明部および撮像部にズレが生じることがある。本発明に係る異常検出方法を用いれば、他の確認用の指標や別の装置を用いることなく、照明部および撮像部の校正時からの変化を検出することができる。異常を検出した処理としては、図２の異常検出部１５６において検出された各状態を計測タイミングごとに確認し、異常となっている場合に装置を停止する。装置を停止ことにより、それ以降の計測不良に起因する障害を回避することができる。さらに、校正処理がシーケンスとして登録されている場合には、そのシーケンスを呼び出して校正処理を行うことも可能である。これにより校正のための作業を低減することが可能となり、システムの利便性を向上することができる。
【００４３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、三次元形状が既知である物体の位置姿勢を計測する位置姿勢計測装置、位置姿勢計測方法、およびプログラムに関する。
【背景技術】
【０００２】
物体表面にパターン光を照射し、カメラでその画像を取得し、物体表面に反射したパターン光の識別から幾何特徴の対応関係を求め、三角測量の原理で各画素の撮像面からの奥行き値を計測する距離画像計測装置が知られている。
【０００３】
計測対象物体の三次元形状モデルが既知であれば、そのモデル表面と観測された画像の幾何特徴の画面位置や距離値との差を小さくするように、形状モデルの位置姿勢の６自由度パラメータを推定することができる。
【０００４】
距離画像計測装置ではパターン光を照射する照明部と、パターンを撮像する撮像部で利用するレンズの光学中心、光軸の位置や姿勢、焦点距離などに基づき距離が計算される。そのため、これらのパラメータが計測精度に大きな影響を与えることになる。そこで、校正用の治具を複数撮影してパラメータの校正を行う必要がある。
【０００５】
照明部と撮像部は支持部に固定され校正が行われる。固定された状態が維持できている間は、計測の値は正しいと考えられる。しかし、実際の利用の際には、装置の振動や取り付け部のゆるみにより校正時から照明部と撮像部の位置が移動してしまう場合がある。一度移動してしまうと校正時のパラメータを用いても距離画像の算出を精度良く行うことは不可能となる。そのため、再度の校正作業が必要となる。
【０００６】
校正作業は校正用の治具を複数回撮影するなど煩雑な作業である。そのため、再度校正が必要である状態を異常として検知し、その時に校正作業を行うことが望まれる。このような状況は、距離画像計測装置が生産システムの一部の機能として連続的に利用される場面においては特に重要である。
【０００７】
計測用の撮像装置のズレを検出する方法として、特許文献１では、確認用の定点を設置し、その定点の基準点からの推定値と校正時の値との差を確認して異常を検出する方法が開示されている。
【０００８】
また、特許文献２では、複数装置の認識結果の差に基づいて装置の異常を検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特登２８０６６０４号公報
【特許文献２】特開２００９−５４７５９号公報
【非特許文献】
【００１０】
【非特許文献１】A Method for Registration of 3-D Shapes,IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 14, No. 2, pp. 239-256, 1992.
【非特許文献２】"Fitting parameterized three-dimensional models to images," IEEE Transactions on Pattern Analysis and Machine Intelligence, 13, 5 (May 1991), pp. 441-450.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
距離画像計測の際には、計測対象物体の画面に占める割合を大きくして撮影する必要があるなど、撮影範囲が制限される場合が多い。そのような場合、カメラパラメータのズレを検知するための確認用定点がその撮影範囲に設置できない場合があるという問題がある。計測装置の撮影範囲を動的に変更できるとしても、確認用定点の撮影シーケンスが別途必要となる。さらに、指標を撮影している部分の精度と、計測対象物体の撮影している部分の精度が異なる場合もある。その場合、間接的な情報から異常を検出することとなり、信頼性が低下する。
【００１２】
また、異常を検出するために他の装置の結果を利用することは、同時に複数の装置が同じ対象を計測している場合に限定される。そのため、計測装置単体の異常検知のために、多くの装置との連携が必要となり、システムが大きくなってしまう傾向がある。さらに、それぞれの校正された情報を維持管理するための別の仕組みが必要となる点で、運用時の煩わしさの問題がある。
【００１３】
このように、距離画像計測装置とは別の指標や装置を用いることで異常を検知する従来の技術では、それらを計測対象物体と合わせて計測する必要があり、利便性において上述のような課題がある。
【００１４】
上記の課題に鑑み、本発明は、距離画像と濃淡画像の２つの画像情報から、対象物体のモデルを用いて、２つの位置姿勢推定による推定値の差を用いて異常を検知することにより、他の確認用指標や装置を必要としないで撮像装置による撮像条件の校正時からの変化を異常として検知することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的を達成する、本発明に係る本発明に係る位置姿勢計測装置は、
対象物体の三次元形状モデルの情報を保持する保持手段と、
撮像手段により撮像された前記対象物体の距離情報を取得する距離情報取得手段と、
前記撮像手段により撮像された前記対象物体の濃淡画像を取得する濃淡画像取得手段と、
前記保持手段に保持された前記三次元形状モデルの情報と、前記距離情報とに基づいて前記対象物体の位置および姿勢を推定する第１位置姿勢推定手段と、
前記保持手段に保持された前記三次元形状モデルの情報を前記濃淡画像上に投影した投影情報と、前記濃淡画像の幾何特徴とに基づいて前記対象物体の位置および姿勢を推定する第２位置姿勢推定手段と、
前記第１位置姿勢推定手段により推定された第１推定値と、前記第２位置姿勢推定手段により推定された第２推定値との差分値が閾値より大きいか否か判定する判定手段と、
前記判定手段により前記差分値が閾値より大きいと判定された場合に、前記撮像手段による撮像条件の校正が必要な状態であることを報知する報知手段と、
を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、距離情報と濃淡画像との２つの情報のそれぞれから、対象物体のモデルを用いて、２つの位置姿勢推定手法による推定値を求め、その差を用いて異常を検知することにより、他の確認用指標や装置を必要としないで撮像装置による撮像条件の校正時からの変化を異常として検知することができる。
【図面の簡単な説明】
【００１７】
【図１】（ａ）位置姿勢計測装置のハードウェア構成を示す図、（ｂ）位置姿勢計測装置の概略図。
【図２】位置姿勢計測装置に係る各処理部の説明図。
【図３】処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１８】
（第１実施形態）
まず、図１（ａ）を参照して、本実施形態に係る位置姿勢計測装置のハードウェア構成について説明する。
【００１９】
ＣＰＵ１０１は、後述の各処理部を制御する。記憶装置１０２は、ＲＡＭ、ＲＯＭ等により構成され、各種データを記憶する。表示部１０３は、ディスプレイ等であり、各種データを表示する。Ｉ／Ｆ１０４は、インタフェースである。ユーザはこのインタフェースを介して位置姿勢計測装置に操作を指示する。バス１０５は、上記のＣＰＵ１０１、記憶装置１０２、表示部１０３、およびＩ／Ｆ１０４を相互に接続する。
【００２０】
次に、図１（ｂ）を参照して、本実施形態に係る位置姿勢計測装置の構成について説明する。パターン光照明部１５１は、計測対象物体１５０に対して制御されたパターン光を照明する。撮像部１５２は、計測対象物体１５０からの反射光を撮像する。パターン光照明部１５１は照明支持部１５４により、撮像部１５２は撮像支持部１５５により、互いの配置関係が固定されるように固定されている。距離算出部１５３は、パターン光照明部１５１から照射され撮像部１５２により撮像されたパターン光の画像から、パターンの識別を行い画像ごとに距離値を算出する。
【００２１】
異常検出部１５６は、パターン光照明部１５１と撮像部１５２に関するパラメータが、撮像装置の撮像条件の校正時から変化したことを異常として検出する。
【００２２】
ここで、距離算出に必要なパターン光照明部１５１と撮像部１５２におけるパラメータについて説明する。パラメータは、内部パラメータと外部パラメータとに分けることができる。内部パラメータとは、光学系の設計値に関するパラメータであり、焦点距離、レンズ歪み、または主点位置などがある。外部パラメータとは、パターン光照明部１５１と撮像部１５２との相対的な配置関係を示すものであり、回転移動成分の６つのパラメータで表現することができる。
【００２３】
これらのパラメータは、形状が既知のキャリブレーションパターンを複数回撮影することにより推定することができる（カメラキャリブレーション技術）。本実施形態では、校正された値と装置の状態とを比較するため、校正方法に関してはいかなる方法を用いても構わない。何れかの校正方法を用いて、パラメータが校正されているものとする。
【００２４】
パラメータの校正時は、パターン光照明部１５１と撮像部１５２とが固定されているものとして校正をする。そのため、その固定された状態から装置の位置やレンズの設定が変化した場合には再度校正が必要となる。固定治具の剛性や他の装置による振動、経年劣化による固定部の摩耗など、装置の位置やレンズの設定を変化させる要因は様々なものがある。校正した状態と配置関係が僅かに変化するだけで距離撮像の計測値に影響を与えるため、再度校正が必要となる。
【００２５】
パターン光照明部１５１と撮像部１５２とに関するパラメータが変化する要因の発生時期は不確定である。一般には、装置を利用する直前に校正作業を行ってもよいが、校正用の指標の撮影は煩雑であるため、異常検出された時にだけ校正を行ってもよい。
【００２６】
図２を参照して、本実施形態に係る各処理部の構成について説明する。パターン光照明部１５１は、計測対象物体にパターン光を照明する。撮像部１５２は、その反射像を撮像する。実際の照明工程は、液晶プロジェクタとパターンを生成する装置とを使用して実装することができる。撮像部１５２としては、光を電荷容量として変換するＣＭＯＳやＣＣＤ素子による電子カメラを用いることができる。この距離画像計測においては、距離撮像用のパターン光の他、環境光下における物体表面の反射による濃淡画像も撮像できる場合を想定している。一般に、距離情報を表す距離画像に、距離情報では表せない物体表面のテクスチャを付与する目的で、距離情報取得と同時に濃淡画像を取得できる装置が多い。ここでは、撮像部１５２での距離画像用のパターン撮像と濃淡画像撮像とには、同じ撮像素子を利用しているものとする。
【００２７】
距離画像計測で計測された距離画像は距離画像保持部２００に格納される。また、濃淡画像は濃淡画像保持部２０１に格納される。これらは、格子状に離散化された単位空間ごとに計測値を保持している情報である。距離画像は、撮像部１５２の光学中心からの距離値を保持する。一方、濃淡画像は、反射輝度の値を保持する。これらの情報は、ＲＡＭなどの記憶素子やファイルなどで構成される記憶装置１０２に記録することにより、容易に保持することができる。なお、光学中心からの距離値を保持できれば、距離画像の形式で保持しなくてもよい。
【００２８】
計測対象物体形状記憶部２０２は、撮像画像中に含まれる物体に対する幾何情報を保持する。具体的には、物体形状を表現するポリゴンメッシュ、ＣＡＤで使われるＢＲｅｐ形式による表現手法、さらに点群と距離場などの様々な表現手法のいずれかを用いることができる。さらに、設計の図面やＣＡＤモデルから製造された部品が対象の場合は、その設計情報を利用できる。また、計測対象物体１５０の設計情報の代用として、距離画像計測で得られる計測対象物体１５０の計測点群をマージして、一つの三次元形状モデルとして用いてもよい。ここでは、計測対象物体１５０と対応する三次元形状モデルの位置姿勢のパラメータを、計測情報と合わせることができればよい。
【００２９】
距離画像保持部２００の情報または濃淡画像保持部２０１の情報と、計測対象物体形状記憶部２０２の情報とを用いて、形状モデルに関して２つの位置姿勢推定処理を行う。
【００３０】
第１位置姿勢推定部２０３は、計測により得られた計測対象物体１５０に関する表面の奥行き方向の距離値に基づいて変換される点群と、計測対象物体形状記憶部２０２から得られる物体表面との差が小さくなるようにモデルの位置姿勢を推定するものである。具体的な方法としては、Ｂｅｓｌ，Ｐ． Ｊ．らが提案した手法であるＩＣＰ（Ｉｔｅｒａｔｉｖｅ．Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを用いて位置姿勢を推定することができる（非特許文献１参照）。これは、モデル表面と、距離画像による点群との最近傍の対応を利用して、それらの対応付けされた空間中の距離が小さくなるモデルの剛体変換を逐次求める方法である。第１位置姿勢推定部２０３では、距離画像と計測対象物体１５０のモデルとを利用し、濃淡画像は用いない。
【００３１】
第２位置姿勢推定部２０４は、濃淡画像中に含まれる幾何特徴と、計測対象物体形状記憶部２０２から得られるモデルの見え方に関する幾何特徴との対応を求める。それらの対応における濃淡画像面上の座標値を用いて計測対象物体１５０の位置姿勢を推定するものである。具体的には、三次元形状モデルの情報を濃淡画像上に投影した投影情報に含まれる幾何特徴と、濃淡画像の幾何特徴とに基づいて対象物体の位置および姿勢を推定することができる。３次元空間中の対象物体の幾何特徴が撮像画面（濃淡画像面）に投影される位置は、光学系のパラメータを用いて正確に計算することができる。具体的には、Ｄａｖｉｄ Ｇ． Ｌｏｗｅによる手法で開示されているような濃淡画像からモデルを利用して行う位置姿勢推定方法を利用することができる（非特許文献２参照）。
【００３２】
第２位置姿勢推定部２０４は、計測対象物体１５０の表面に特徴的なテクスチャが無い場合でも検出が可能な幾何特徴として、濃度勾配の変化によるエッジを利用する。このエッジは、照明変動に対してロバストであるが、対応関係が不定である。そこで、モデル形状を推定している位置姿勢のパラメータを用いて射影変換した撮像画面上の座標値と、実際に観測されるエッジとの最近傍の対応関係を用いて、その画面上の誤差を小さくするように位置姿勢を更新すればよい。第２位置姿勢推定部２０４では、濃淡画像と計測対象物体１５０のモデルとを利用しており、距離画像は用いていない。
【００３３】
特に異常がない場合には、第１位置姿勢推定部２０３と第２位置姿勢推定部２０４とで位置姿勢推定の推定値は同じ値を示すはずである。異常検出部１５６は、これら２つの値を比較して両者に差がある場合に異常を検出する。第１位置姿勢推定部２０３では、パターン光照明部１５１と撮像部１５２とに関するパラメータを用いて距離値を算出した情報を用いている。一方、第２位置姿勢推定部２０４では、撮像部１５２に関するパラメータを用いてモデルの投影位置計算をした情報を用いている。このように、第１位置姿勢推定部２０３と第２位置姿勢推定部２０４とでは、距離画像計測における情報の使い方が異なっている。従って、第１位置姿勢推定部２０３の位置姿勢の推定結果と、第２位置姿勢推定部２０４の位置姿勢の推定結果とが異なっていれば、それぞれのパラメータのどれかが異なっている状態であると判断できることになる。
【００３４】
位置姿勢のパラメータは、まず位置に関するパラメータとして、ある座標系のＸ軸、Ｙ軸、Ｚ軸を基準とした位置情報を用いることができる。そして回転に関するパラメータとして、姿勢を回転に関する３成分で表現することができる。異常検出部１５６では、それらのパラメータ同士の内積を計算し、完全に一致しているときは内積がノルムの２乗となることを利用できる。要求される計測精度は一般には計測対象物体や計測環境などに左右されるため、それらに適した精度範囲が事前に与えられるものとする。精度範囲からパラメータの内積値の許容範囲を決定する。許容範囲外である場合に、第１位置姿勢推定部２０３の位置姿勢の推定値と、第２位置姿勢推定部２０４の位置姿勢の推定値との間に閾値より大きい差が生じたものとして異常状態を検出すればよい。
【００３５】
なお、本実施形態ではパラメータの比較方法に内積を用いているが、パラメータの成分ごとの差の絶対値や２乗値の和、もしくは重み付きの和などを用いてもよい。これらの場合、和が閾値より大きければ異常状態と検出できる。実際には計測対象物体１５０が平面の移動に限定されている場合や、計測対象物体１５０が軸回転の移動に限定されている場合など、比較するパラメータが制限できる場合もある。そのため、比較の方法は計測環境に適した方法で行えばよい。
【００３６】
異常検出の結果は、異常判定結果記憶部２０６に保持される。実際には、異常検出部１５６において、閾値以下であるか否かを示すフラグを設定すればよい。また、その比較した値も同時に格納されてもよい。それらの情報は、その後の処理に用いる情報データとして有用である。
【００３７】
異常判定結果記憶部２０６は、校正時の状態からパターン光照明部１５１および撮像部１５２が異なる状態にあることを示す情報を格納する。もちろん、異常でない状態として正常であることを記憶してもよい。異常として判定された結果を使用者に表示部１０３を介して報知することで、使用者がその結果から対策を開始できる。報知する方法としては、警告灯を点滅させる方法や警告音を鳴らす方法などであってもよい。さらに、ネットワークを利用して、通信端末機器の使用者に対して報知してもよい。
【００３８】
図３を参照して、上記の各処理部を用いた具体的な処理の流れを示すフローチャートについて説明する。
【００３９】
ステップＳ３０１において、パターン光照明部１５１は計測対象物体１５０に対してパターン光を照射する。ステップＳ３０２において、撮像部１５２は計測対象物体１５０からの反射光を撮像する。ステップＳ３０３において、距離画像保持部２００は、計測対象物体１５０に対する距離画像取得処理を実行する。
【００４０】
ステップＳ３０４において、撮像部１５２は、計測対象物体１５０の濃淡画像を撮像する。ステップＳ３０５において、濃淡画像保持部２０１は、計測対象物体１５０の濃淡画像取得処理を実行する。ステップＳ３０６において、第１位置姿勢推定部２０３は、計測対象物体形状記憶部２０２に格納される計測対象物体１５０の形状情報と、ステップＳ３０３で取得された距離画像とに基づいて、第１の位置姿勢を推定する（第１推定値）。次に、ステップＳ３０７において、第２位置姿勢推定部２０４は、計測対象物体形状記憶部２０２に格納される計測対象物体１５０の形状情報と、ステップＳ３０４で取得された濃淡画像とに基づいて、第２の位置姿勢を推定する（第２推定値）。そして、ステップＳ３０８において、異常検出部１５６は、第１の位置姿勢値と、第２の位置姿勢値とを比較して異常があるか否かを検出する。具体的には、上述のように両者の値の差分値を算出してそれが閾値以下であるか否かを判定する。その差が閾値より大きい場合（ステップＳ３０８；ＮＯ）、異常があると判定され、異常をユーザに報知する。一方、その差が閾値以下である場合（ステップＳ３０８；ＹＥＳ）、異常はないと判定され、処理を終了する。なお、正常である旨をユーザに提示してもよい。以上で処理は終了する。
【００４１】
本実施形態によれば、距離画像と濃淡画像の２つの画像情報から、対象物体のモデルを用いて、２つの位置姿勢推定による推定値の差を用いて異常を検知することにより、他の確認用指標や装置を必要としないで校正時からの変化を異常として検知できる。
【００４２】
（第２実施形態）
上記実施形態に係る異常検出方法を距離画像計測装置などで利用し、その装置を駆動部への制御情報として異常検出結果を利用できるようにすることにより、計測不良に起因する障害を回避することができる。本発明の他の実施形態としては、駆動部としてロボットハンドを利用し、上記実施形態に係る異常検出方法を実装した装置を有する対象物体位置姿勢計測装置を具備するシステムでも有用である。ロボットハンド部に取り付けられた対象物体位置姿勢計測装置は、モータによる振動や他の部品との接触などによって、照明部および撮像部にズレが生じることがある。本発明に係る異常検出方法を用いれば、他の確認用の指標や別の装置を用いることなく、照明部および撮像部の校正時からの変化を検出することができる。異常を検出した処理としては、図２の異常検出部１５６において検出された各状態を計測タイミングごとに確認し、異常となっている場合に装置を停止する。装置を停止ことにより、それ以降の計測不良に起因する障害を回避することができる。さらに、校正処理がシーケンスとして登録されている場合には、そのシーケンスを呼び出して校正処理を行うことも可能である。これにより校正のための作業を低減することが可能となり、システムの利便性を向上することができる。
【００４３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
対象物体の三次元形状モデルの情報を保持する保持手段と、
撮像手段により撮像された前記対象物体の距離情報を取得する距離情報取得手段と、
前記撮像手段により撮像された前記対象物体の濃淡画像を取得する濃淡画像取得手段と、
前記保持手段に保持された前記三次元形状モデルの情報と、前記距離情報とに基づいて前記対象物体の位置および姿勢を推定する第１位置姿勢推定手段と、
前記保持手段に保持された前記三次元形状モデルの情報を前記濃淡画像上に投影した投影情報と、前記濃淡画像の幾何特徴とに基づいて前記対象物体の位置および姿勢を推定する第２位置姿勢推定手段と、
前記第１位置姿勢推定手段により推定された第１推定値と、前記第２位置姿勢推定手段により推定された第２推定値との差分値が閾値より大きいか否か判定する判定手段と、
前記判定手段により前記差分値が閾値より大きいと判定された場合に、前記撮像手段による撮像条件の校正が必要な状態であることを報知する報知手段と、
を備えることを特徴とする位置姿勢計測装置。
【請求項２】
前記報知手段は、前記判定手段により前記差分値が閾値以下であると判定された場合に、前記撮像手段による撮像条件の校正の必要がない状態であることを報知することを特徴とする請求項１に記載の位置姿勢計測装置。
【請求項３】
保持手段が、対象物体の三次元形状モデルの情報を保持する保持工程と、
距離情報取得手段が、撮像工程で撮像された前記対象物体の距離情報を取得する距離情報取得工程と、
濃淡画像取得手段が、前記撮像工程で撮像された前記対象物体の濃淡画像を取得する濃淡画像取得工程と、
第１位置姿勢推定手段が、前記保持工程で保持された前記三次元形状モデルの情報と、前記距離情報とに基づいて前記対象物体の位置および姿勢を推定する第１位置姿勢推定工程と、
第２位置姿勢推定手段が前記保持工程で保持された前記三次元形状モデルの情報を前記濃淡画像上に投影した投影情報と、前記濃淡画像の幾何特徴とに基づいて前記対象物体の位置および姿勢を推定する第２位置姿勢推定工程と、
判定手段が、前記第１位置姿勢推定工程で推定された第１推定値と、前記第２位置姿勢推定工程で推定された第２推定値との差分値が閾値より大きいか否か判定する判定工程と、
表示手段が、前記判定工程で前記差分値が閾値より大きいと判定された場合に、前記撮像工程による撮像条件の校正が必要な状態であることを表示する表示工程と、
を有することを特徴とする位置姿勢計測方法。
【請求項４】
請求項３に記載の位置姿勢計測方法をコンピュータに実行させるためのプログラム。
【請求項１】
対象物体の三次元形状モデルの情報を保持する保持手段と、
撮像手段により撮像された前記対象物体の距離情報を取得する距離情報取得手段と、
前記撮像手段により撮像された前記対象物体の濃淡画像を取得する濃淡画像取得手段と、
前記保持手段に保持された前記三次元形状モデルの情報と、前記距離情報とに基づいて前記対象物体の位置および姿勢を推定する第１位置姿勢推定手段と、
前記保持手段に保持された前記三次元形状モデルの情報を前記濃淡画像上に投影した投影情報と、前記濃淡画像の幾何特徴とに基づいて前記対象物体の位置および姿勢を推定する第２位置姿勢推定手段と、
前記第１位置姿勢推定手段により推定された第１推定値と、前記第２位置姿勢推定手段により推定された第２推定値との差分値が閾値より大きいか否か判定する判定手段と、
前記判定手段により前記差分値が閾値より大きいと判定された場合に、前記撮像手段による撮像条件の校正が必要な状態であることを報知する報知手段と、
を備えることを特徴とする位置姿勢計測装置。
【請求項２】
前記報知手段は、前記判定手段により前記差分値が閾値以下であると判定された場合に、前記撮像手段による撮像条件の校正の必要がない状態であることを報知することを特徴とする請求項１に記載の位置姿勢計測装置。
【請求項３】
保持手段が、対象物体の三次元形状モデルの情報を保持する保持工程と、
距離情報取得手段が、撮像工程で撮像された前記対象物体の距離情報を取得する距離情報取得工程と、
濃淡画像取得手段が、前記撮像工程で撮像された前記対象物体の濃淡画像を取得する濃淡画像取得工程と、
第１位置姿勢推定手段が、前記保持工程で保持された前記三次元形状モデルの情報と、前記距離情報とに基づいて前記対象物体の位置および姿勢を推定する第１位置姿勢推定工程と、
第２位置姿勢推定手段が前記保持工程で保持された前記三次元形状モデルの情報を前記濃淡画像上に投影した投影情報と、前記濃淡画像の幾何特徴とに基づいて前記対象物体の位置および姿勢を推定する第２位置姿勢推定工程と、
判定手段が、前記第１位置姿勢推定工程で推定された第１推定値と、前記第２位置姿勢推定工程で推定された第２推定値との差分値が閾値より大きいか否か判定する判定工程と、
表示手段が、前記判定工程で前記差分値が閾値より大きいと判定された場合に、前記撮像工程による撮像条件の校正が必要な状態であることを表示する表示工程と、
を有することを特徴とする位置姿勢計測方法。
【請求項４】
請求項３に記載の位置姿勢計測方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−３７３９１（Ｐ２０１２−３７３９１Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７８０７１（Ｐ２０１０−１７８０７１）
【出願日】平成２２年８月６日（２０１０．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月６日（２０１０．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]