位置姿勢計測装置及びその制御方法
【課題】複雑な形状を有する計測対象物体の位置姿勢推定のために必要な手続きを簡便化することを可能にする。
【解決手段】計測対象物体を撮像する撮像装置と前記計測対象物体との間の相対的な位置姿勢を計測する位置姿勢計測装置は、計測対象物体の３次元モデルデータに基づいて計測対象物体の構成面を抽出するとともに、構成面を形成する線分から、撮像画像のエッジの検出に用いるべき計測用線分を抽出する。位置姿勢計測装置は、抽出された計測用線分を撮像装置の推定された位置姿勢に基づいて撮像画像に投影し、抽出された構成面によって隠蔽されない計測用線分を選択し、選択された計測用線分と撮像画像の対応するエッジとに基づいて撮像装置と計測対象物体との相対的な位置姿勢を算出する。
【解決手段】計測対象物体を撮像する撮像装置と前記計測対象物体との間の相対的な位置姿勢を計測する位置姿勢計測装置は、計測対象物体の３次元モデルデータに基づいて計測対象物体の構成面を抽出するとともに、構成面を形成する線分から、撮像画像のエッジの検出に用いるべき計測用線分を抽出する。位置姿勢計測装置は、抽出された計測用線分を撮像装置の推定された位置姿勢に基づいて撮像画像に投影し、抽出された構成面によって隠蔽されない計測用線分を選択し、選択された計測用線分と撮像画像の対応するエッジとに基づいて撮像装置と計測対象物体との相対的な位置姿勢を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象物体のモデルを撮像画像上に投影した位置と撮像画像から観察される計測対象物体の位置との距離に基づいて撮像装置の位置姿勢を計測する位置姿勢計測技術に関するものである。
【背景技術】
【０００２】
現実空間を撮像するカメラなどの撮像装置（以下適宜「カメラ」と言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。
【０００３】
一般に、撮像装置の位置姿勢を計測する方法として、計測対象物体に３次元位置が既知の指標を貼付する方法が開示されている。この種の位置姿勢計測方法では、指標の３次元位置を推定している位置姿勢に従って撮像画面へ投影した投影位置と、撮像画像から検出された指標の画像位置との差を小さくするように位置姿勢が推定される。その際、対象となる指標は、画像処理により検出することが容易なことが望まれ、幾何学的な特徴を有するものや、特定の色や輝度を有するものが使われる。
【０００４】
しかし、広い範囲での利用を想定すると、必ずしも計測対象物体に位置姿勢検出用の指標が貼付できるとは限らない。例えば計測対象をビルなどの建築物としたときに、その壁面に巨大な指標を貼付することは困難である。
【０００５】
このような課題を解決する方法として、物体を構成する面と面の稜線を用いて、現実のカメラの位置姿勢を推定する方法が多く提案されている。それらの方法では、撮像画像から計測対象物体のエッジを抽出し、抽出したエッジと、ＣＡＤモデルをＣＧにより描画した輪郭線画像との相関を基にして、撮像装置の位置姿勢が算出される。
【０００６】
ここで、計測対象物体がＣＡＤによりデザインされたものならば、ＣＧによる参照画像を作成することは容易である。しかし、その場合であっても、想定される位置姿勢を網羅的に求めておく必要があるため、準備のための工数は必要である。
【０００７】
そのような方法の一つとして、特許文献１には、ＣＡＤモデルを用いた方法が開示されている。特許文献１によれば、まず、複数の視点から観測したときの３次元モデル投影画像からエッジを検出し、エッジの線分をパラメータ近似して保持し、実際に観測した撮像画像と再構成したパラメータによる線分との相関を計算する。そして、最も高い相関を有する３次元モデル投影画像の仮想カメラの位置姿勢を、撮像装置の位置姿勢として求める。
【０００８】
この方法では、予め複数の視点から観測した参照画像群を生成しておき、撮像画像で観察されたエッジとの画像相関の計算を行うこととなる。そのため、参照画像群の枚数の増加に伴い膨大な処理時間を必要とする。精度良く位置姿勢を求めるためには、十分な参照画像群を用意しなければならないため、一般に、特許文献１のような手法は、撮影後に長い時間をかけて処理を行っても良い場合にしか適用できない。
【０００９】
一方、複合現実感やロボットの物体認識においては、撮像装置の位置姿勢推定処理は、撮像画像の更新間隔で推定を実行することが求められる。ここでいう撮像画像の更新間隔とは、ＮＴＳＣ信号のビデオの場合は、３３ミリ秒である。そのため、特許文献１のような多量の参照画像群のエッジと撮像画像のエッジの画像相関を計算する手法を適用することは難しい。
【００１０】
また、別の問題として計測対象物体が複数の構造物から構成され、その一部が自由に動かせるような場合では、移動する物体の運動が未知であるため、参照画像を事前に取得することが出来ない。これを解決する別の方法として、非特許文献１にて、計測対象物体の３次元モデルを用いて、撮像装置で撮像した撮像画像中のエッジから、オンラインで撮像装置の位置姿勢を推定する方法が開示されている。特許文献１と異なるのは、事前に参照画像群を取得する必要が無い点にあり、リアルタイムでの撮像装置位置姿勢推定に適用可能な点にある。また、参照画像群と撮像画像との相関計算を行わないため、処理時間も短い。
【００１１】
非特許文献１に開示された方法では、位置姿勢の更新時に３次元モデルを撮像画像上に投影し、探索対象点周辺の画像に対してのみエッジを探索することを基にカメラの位置姿勢を推定している。さらには、後述するように、画像処理に係る処理時間を少なくする工夫もなされている。また、計測対象物体の移動に対しても、個別に位置姿勢を推定すれば良いので、動きに制限がない。
【００１２】
この手法の概略の処理手順は以下のとおりである。
[1] おおよその推定中の位置姿勢を用いて、計測対象物体の計測用線分を撮像画面上に投影する。
[2] 投影した計測用線分周辺の画素を探索して濃度が局所的に変化するエッジ領域の位置を求める。
[3] エッジ領域の位置と投影した計測用線分との距離を小さくするように位置姿勢を最適化する。
[4] 推定中の位置姿勢の値を最適化した位置姿勢で更新する。
【００１３】
なお、投影する計測用の線分の３次元モデルは、予めエッジが検出されやすい線分のみを用いることにより、精度良く、さらに高速に撮像装置の位置姿勢を求めることが可能となる。実際には、投影した計測用線分周辺の画素を全て探索するのは時間がかかるので、投影した計測用線分をさらに適当な間隔でサンプリングした点が、探索対象点とされる。
【００１４】
この手法では、探索対象点において、投影した計測用線分の方向に対して垂直な有限な一次元方向の探索が行われる。なお、探索するエッジは、撮像画像中の局所的な濃度変化を有する領域とし、ラプラシアンフィルタなどのエッジ検出画像フィルタを用いることで濃度勾配が局所的に大きい領域が求められる。
【００１５】
推定している位置姿勢が実際の位置姿勢に近ければ近いほど、探索した撮像画像のエッジ位置と、画像上の投影した計測用線分との距離は小さくなる。しかし、実際の撮像画像には多くのノイズが含まれる。推定精度に影響を与える要因としては、エッジの誤検出や未検出が挙げられる。そのため、計測用の線分は、撮像画像上で観測されているエッジとの対応を考慮したほうが良い。
【００１６】
この手法においても、他の物体により隠蔽される領域にある線分や、視線とは反対側の位置にある線分などを、エッジの探索対象点としないようにする処理が行われている。これにより、複数の計測対象物体が視線方向に対して重なっている場合や、凹凸のある複雑な形状に対しても位置姿勢推定が適用できる。
【００１７】
一方、コンピュータグラフィックスの技術において、面によって隠蔽される線と可視である線とを描き分ける隠線消去の技術がある。この技術を応用することで、面により隠れている線を除去し、計測用線分撮像画像上では観測されないとする線分をエッジの探索対象としないようにすることができる。ここでの３次元モデルの撮像画像上への変換には、推定中の撮像装置の位置姿勢が用いられる。３次元モデルの構成面および線分の位置が、推定中の位置姿勢に対応した視線方向から観察される位置に座標変換され、そのときの奥行き方向の距離が求められる。奥行き方向の距離は撮像画像に対応した距離画像として保持される。求めた奥行き方向の距離と、距離画像の値を比較し、より小さい値であるとき、距離画像の値を更新する。
【００１８】
そこで、非特許文献１では、計測対象物体を構成する複数の面から距離画像を生成する。次に、計測用線分を撮像装置のおおよその位置姿勢を視点としたときの座標変換を行う。計測用線分のエッジ探索対象点候補のうち、奥行き方向の値と、構成面による距離画像の値を比較する。エッジ探索対象点候補の値が距離画像の値と同じか、もしくは小さい場合は、エッジ探索対象点として以降エッジ探索処理を実行する。
【００１９】
さらに、この手法においては、処理を効率化するために、計測対象物体の構成面の描画をグラフィックス描画用ハードウェアの描画機能を用いて高速化している。計測対象物体の構成面の情報は、画像上から計測する線分が他の計測対象物体により隠蔽されていないかを判定する上で重要な情報となる。他の面により隠蔽されているかどうかの判定をしないと、本来撮像画像に観測されない線分が計測対象となり、位置姿勢の推定精度を向上することができない。例えば、計測対象物体の裏側にある計測用線分を用いると、実際には撮像画像上には観測されない場合もあるが、他のエッジを間違って対応するエッジとして検出するので、大きな誤差を有する点として扱われてしまう。
【特許文献１】特開２００４−３２６３１４号公報
【非特許文献１】Tom Drummond and Roberto Cipolla. “Real-time visual tracking of complex structures.” IEEE Transaction of Pattern Analysis and Machine Intelligence. Vol.24, No.7, pp.932-946, 2002
【発明の開示】
【発明が解決しようとする課題】
【００２０】
上述した方法を適用するにあたり、計測用の線分のデータ、およびそれが実際に観測されるかどうかの見えのテストをするための計測対象物体の構成面のデータを、それぞれ用意する必要がある。計測対象物体が、ＣＡＤ等を用いて設計されたものであれば、構成面および線分は、その設計図を利用することができる。
【００２１】
単純な平面の組み合わせで構成されているような３次元モデルの場合、構成面と観測されるエッジの構成が類似しているため、構成面データと、位置合わせに用いる計測用線分のデータを同じにできる。ただし、この場合、計測対象物体は単純な直方体や矩形のような３次元モデルである必要があり、実際のシーンへの適用範囲が狭い。一般に、複雑な形状を有する計測対象物体を取り扱う場合、構成面の情報と計測用の線分の情報を同じにすることは難しい。
【００２２】
ここで、複雑な形状を有している計測対象物体であっても、単純な三角形および四角形などのポリゴンを元に複雑な曲面や物体の形状記述をすることは可能である。ただし、これをそのまま計測用の線分として利用することには問題がある。
【００２３】
撮像画像上でエッジとして観測される条件としては、構成面の境界が隣接する構成面と不連続であることや、構成面の光に対する物性が隣接する構成面と不連続であることが挙げられる。そのため、複雑な平面は、同一の法線を有する複数の三角形または四角形のポリゴンにより構成されている場合が多い。このような複雑な平面を構成する各ポリゴンの線分は、実際の撮像画像上ではエッジとして全て観測されるものではない。また、曲面を構成する平面の場合は、構成面が連続していても観測する位置によっては、照明位置の関係から大局的な反射角度が異なり、結果として遠方から観測したときにエッジとして観測される場合もある。
【００２４】
このように、構成面を計測用線分として用いる場合、視線方向の手前側にある線分であっても、複数のポリゴンで１つの面を構成している場合は、３次元モデルの面によって挟まれる線分と撮像画面で観測されるエッジとは一般に対応していない。したがって、３次元モデルの構成面を位置合わせのための計測用線分の情報として、そのまま利用することはできないことが考えられる。
【００２５】
従って、計測用線分と３次元モデルの構成面を形成するための線分を別々のデータとして保持することも考えられるが、そのような構成には以下の課題がある。例えば、計測対象物体の構成面の情報と実際の計測用線分との整合性を維持することは難しく、計測対象物体の柔軟な変更に対応することができない。言い換えると、計測対象物体が複雑な場合にも適用できるような、形状を表現する膨大な頂点や線分リストと、その部分的な集合である計測用線分のデータセットとを、整合性を維持しながら利用する手段は提案されていない。例えば、非特許文献１などの研究においては、検証のための計測対象物体は既定されており、予め調整された構成面の情報、および計測用線分の情報を別々に保持することで、既定された計測対象物体の位置姿勢合わせを実現している。
【００２６】
計測対象物体の３次元モデルを撮像画像上へ投影した線分と、対応する撮像画像上のエッジ位置の差が小さくなるように位置姿勢を推定する技術がある。この技術において、複雑な計測対象物体を扱うために、計測対象となるモデルの線分を実際に観測されるエッジと対応させることで、精度を向上することが可能となる。しかし、そこで利用する物体の構成面のデータセットと、計測に用いるデータセットとの整合性を維持しながら、位置姿勢推定の上記手法を利用する手続きが無いため、そのような位置姿勢推定装置の利便性は低かった。
【００２７】
本発明は、上記の課題に鑑みてなされたものであり、計測対象物体の３次元モデルの幾何的な変更が行われた場合でもデータセットの整合性を維持可能とすることを目的とする。また、複雑な形状を有する計測対象物体の位置姿勢推定のために必要な手続きを簡便化することを可能にすることを目的とする。
【課題を解決するための手段】
【００２８】
上記の目的を達成するための本発明の一態様による位置姿勢計測装置は以下の構成を備える。すなわち、
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
保持されている前記計測対象物体の３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータの前記構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置と前記計測対象物体との相対的な位置姿勢を算出する算出手段とを備える。
【００２９】
また、上記の目的を達成するための本発明の他の態様による位置姿勢計測装置は以下の構成を備える。すなわち、
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
計測対象物体の３次元モデルデータを保持する保持手段と、前記３次元モデルデータは、各線分について撮像画像のエッジの検出に用いる線分であるか否かを示す属性が付与されており、
前記３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータから、撮像画像のエッジの検出に用いる線分であることを示す属性が付与されている線分を計測用線分として抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出手段とを備える。
【発明の効果】
【００３０】
本発明によれば、計測対象物体の３次元モデルの幾何的な変更が行われた場合でもデータセットの整合性を維持することが可能となる。また、複雑な形状を有する計測対象物体の位置姿勢推定のために必要な手続きを簡便化することができる。
【発明を実施するための最良の形態】
【００３１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００３２】
図１は、本発明の一実施形態である位置姿勢計測装置１００を撮像装置１０１に適用した場合の構成を示すブロック図である。なお、位置姿勢計測装置１００は、各処理を行う処理部と情報を保持する保持部で構成されているものとする。位置姿勢計測装置１００は、専用の装置であっても良いが、一般的な汎用コンピュータにおいて、後述する位置姿勢計測の制御を実施するためのアプリケーションプログラムを実行させることでも実現され得る。その場合、図１に示される情報保持部３００は、ハードディスクやＲＡＭ等により構成され、その他の各部はコンピュータがアプリケーションプログラムを実行することにより実現されることになるが、そのような構成は、当業者には明らかである。位置姿勢計測装置１００の目的は、撮像装置１０１が３次元モデルデータ１０２（以下、３次元モデル１０２）に記述された計測対象物体を撮像しているときの撮像装置１０１の当該計測対象物体に対する相対的な位置姿勢を求めることである。
【００３３】
また、計測対象物体は世界座標系にて既定されているとする。さらに、計測対象物体は世界座標系における相対位置姿勢が既知であれば、計測対象物体の３次元モデルは既知の相対位置姿勢を乗算すれば世界座標系として扱うことができる。
【００３４】
撮像装置１０１としては、ＣＣＤやＣＭＯＳで構成される光電子変換素子を用いた２次元の撮像装置（所謂デジタルカメラ）を使用できる。撮像装置１０１の映像信号は、撮像装置入力部２００を経由して位置姿勢計測装置１００に取り込まれる。
【００３５】
情報保持部３００は、位置姿勢計測装置１００の各処理部で必要とされる入力、出力の状態を保持するための機能を有している。情報保持部３００はＲＡＭ（Random Access Memory）用いて構成される。
【００３６】
画像取得部２０１は、撮像装置入力部２００から入力された映像信号を水平同期信号、垂直同期信号を参照して、２次元画像に再構成し、情報保持部３００に撮像画像データ３０１として書き込む。
【００３７】
計測対象物体の３次元モデル１０２は、事前に外部記憶媒体に保存されたデータであっても良いし、ネットワークによりリモートサーバから取得されたデータであっても構わない。すなわち、本位置姿勢計測装置１００が取り扱える形式に整えられた３次元モデルデータであれば、その形式、取得方法はいかなるものであっても良い。３次元モデル１０２は、計測対象物体の３次元の幾何的な情報を有するモデルであり、３次元ＣＡＤ等により作成されたものを用いることができる。また、事前に設計時の図面が無い場合は、計測器で実測した値を３次元モデルとして入力して作成することもできる。３次元モデルの編集には、市販のＣＡＤやＣＧ製作用のモデラーを用いればよい。
【００３８】
モデル読出部４００は、３次元モデル１０２から、モデルの頂点座標、点と点を結ぶ線分情報、複数の線分から構成される平面情報、さらに平面のアピアランスなどの情報を読み出す。さらに、読み出されたこれらの情報は、構成面抽出部４０１と計測用線分抽出部５００に渡される。構成面抽出部４０１は、３次元モデル１０２から、計測対象物体の面を構成する情報を抽出し、情報保持部３００に構成面データ３０２として書き込む。計測用線分抽出部５００は、位置合わせに用いる計測用線分のデータセット（計測用線分データという）を計測対象物体の３次元モデル１０２から抽出する。なお、計測用線分抽出部５００は、図４Ａ、図４Ｂで後述するように、３次元モデル１０２の構成面を形成する線分から、撮像画像のエッジの検出に適した線分を計測用線分のデータとして抽出する。抽出された計測用線分データは、情報保持部３００に計測用線分データ３０４として保持される。なお、計測用線分は、２つの頂点座標とその連結情報で構成されているものとする。以上のように、モデル読出部４００が読み出した３次元モデル１０２から、構成面データ３０２および計測用線分データ３０４が情報保持部３００に保持されることになる。なお、構成面データ３０２および計測用線分データ３０４が情報保持部３００に保持されるまでの処理は、計測対象物体の３次元モデル１０２が位置姿勢計測装置１００に設定もしくは内容が更新された時に行われるものとする。
【００３９】
概略位置姿勢入力装置１０３は、位置姿勢計測装置１００が位置姿勢推定をするのに有効な概略の位置姿勢を与えることができる装置を用いれば良い。例えば、磁気センサを用いた３次元位置計測装置の出力や、超音波センサを用いた３次元位置姿勢装置の出力を用いることができる。ここでは、画像から精度良く位置姿勢を求めるために必要な初期値として利用することができる概略の位置姿勢が推定されれば良い。概略位置姿勢入力装置１０３により検出された位置姿勢は、概略位置姿勢入力部２０２を介して、情報保持部３００に撮像装置の位置姿勢データ３０５として保持される。
【００４０】
次に、位置姿勢計測装置１００の撮像装置の位置姿勢を推定する処理について説明する。
【００４１】
まず、位置姿勢を推定するタイミングとしては、例えば、撮像装置１０１で撮像された画像が更新される度に、処理が行われることが挙げられる。
【００４２】
構成面描画部４０２は、構成面データ３０２をクリアする。そして、計測対象物体の３次元モデル１０２から抽出された構成面データ３０２を、撮像装置のおおよその推定位置姿勢を表す位置姿勢データ３０５を用いて、撮像装置１０１から観測した３次元ＣＧモデルとして描画する。撮像装置１０１の位置姿勢を視点としたときの、各構成面に対する奥行き情報は、視線方向に対する手前の奥行き位置が構成面描画画像データ３０３として情報保持部３００に保持される。
【００４３】
具体的には、構成面描画部４０２は、構成面の各頂点について、撮像装置１０１の位置姿勢を視点としたときのモデルビュー変換を行う。そして、構成面をラスタライズしたときの各点について、構成面描画画像データ３０３の値と比較し、視点方向手前の値である場合に情報を更新する。
【００４４】
計測用線分投影部５０１は、情報保持部３００に保持されている撮像装置の位置姿勢データ３０５が表す位置姿勢を視点として、計測用線分データ３０４の各頂点をモデルビュー変換する。モデルビュー変換された各計測用線分は、計測用線分分割部５０２により、投影画面上での長さを考慮して分割される。エッジ探索部６０１は、この分割によって得られた分割点のうち他の構成面により隠蔽されていない点について探索を実行する。これは、計測用線分に含まれる全ての撮影画像上の点を基に探索を行う場合に比べて処理時間を低減する。すなわち、本実施形態によれば、計測用線分の投影線分上から代表的な点（分割点）を選択し、その代表的な点から探索したエッジ位置と投影線分との距離を利用するので、処理の効率化を図ることができるという効果が得られる。以下では、分割点のことを代表点とも称する。なお、分割点の数は、投影画面上の投影線分の長さが既定の分割最小長さより短ければ撮像画像上でも観察できないので０としても構わない。さらに、投影画面上の投影線分の長さが既定の分割最小長さより長ければ複数あるものとする。
【００４５】
可視検出部６００は、計測用線分分割部５０２により選択された各計測用線分上の代表点が、構成面描画画像データ３０３の奥行き情報を用いて他の構成面により隠蔽されているかどうかを検出する。隠蔽されていないと判定された代表点（以下、可視判定された代表点という）の情報は、撮像画像データ３０１が表す撮像画像上で観測できるエッジ探索対象点としてエッジ探索部６０１に渡す。これにより、観測できるエッジ探索対象点とそれに対応するエッジが位置合わせ推定に用いられることになるので、推定の誤差要因を少なくすることができる。
【００４６】
エッジ探索部６０１は、エッジ探索対象点の画像上の位置から、計測用線分の線分方向に対して垂直方向に撮像画像データ３０１が表す撮像画像の画素の濃度を読み取る。ここで読み取る範囲は、計測対象物体と撮像装置１０１の位置姿勢との位置関係を配慮して設定されるのが好ましい。読み取った濃度が隣接する画素に対して濃度勾配が大きい点は観測エッジとして、その位置を抽出する。ここで、エッジ探索部６０１が抽出する観測エッジの数は、複数であっても構わない。
【００４７】
エッジ距離算出部６０２は、撮像画像データ３０１が表す撮像画像の観測エッジの座標位置と、各計測用線分が撮像画像上に投影されたときの線分との距離を計算する。さらに、エッジ距離算出部６０２は、算出された距離情報を、観測エッジと投影された計測用線分との距離データ３０６として情報保持部３００に格納する。
【００４８】
位置姿勢更新部７００は、情報保持部３００に保持された距離データ３０６を用いて、撮像装置１０１の推定している位置姿勢を更新する。さらに、その更新の結果は、位置姿勢出力部７０１により位置姿勢計測装置１００の外部へ、撮像装置１０１の位置姿勢データ９００として送出される。
【００４９】
次に、位置姿勢更新部７００による撮像装置１０１の位置姿勢の更新手続きについて説明する。
【００５０】
計測対象物体の計測用線分の位置は、ある基準座標系において定義されているとする。基準座標系の点の座標[xw yw zw]Tと撮像画像上の座標[ux uy]Tとは、透視投影変換の行列Ｐにより以下のような関係がある。
【００５１】
【数１】
ここで、ｈは同次座標変換の表現として、求めたｈを用いて[ux uy]Tを計算する。また、R11, R12, R13, R21, R22, R23, R31, R32, R33を要素とする行列Ｒ（３×３行列）を基準座標系における姿勢の回転行列、ｔ＝[tx ty tz]を平行移動ベクトルとすると上式のＰは以下のように表せる。
【００５２】
【数２】
ここで、fx, fyは水平・垂直方向の焦点距離であり、px, pyは撮像画像面における水平・垂直方向の主点座標とする。
【００５３】
推定する撮像装置の位置姿勢の誤差が小さいかどうかを、推定している位置姿勢から観測されるであろうモデルの投影位置と、実際の撮像画像面上の観測位置との差が小さくなるように最適化計算を行うことで求めることができる。
【００５４】
ここでは、観測位置と投影位置とのずれを表す誤差関数Ｅを用いる。Ｅは、カメラの位置ｔ＝[tx ty tz]T、姿勢ω＝[ωx ωy ωz]T、観測対象点の基準座標系での位置ｘw＝[xw yw zw]Tを入力とする関数とする。投影位置をｕ’＝[u’x u’y u’z]T、観測位置をｕ＝[ux uy]Tとすると、撮像画像上での誤差は、それらの差として表現できる。
【００５５】
【数３】
【００５６】
一般に、位置姿勢および観測対象点の位置の関係は、非線形なので上式のＥも入力に対して非線形関数となる。
【００５７】
本実施形態では、観測位置ｕ＝[ux uy]Tとの画面上の誤差は、計測用線分の撮像画像上への投影された線分となる。そこで、投影した計測用線分と直交して、なおかつ観測位置ｕ＝[ux uy]Tを通る直線が、投影した計測用線分と交差する点をｕ’’＝[u’’x u’’y]Tとし、
【数４】
を誤差関数として用いる。
【００５８】
撮像装置の位置姿勢が僅かに変化する範囲において、上式を１次のテイラー展開を用いて線形近似すると以下のように表せる。
【００５９】
【数５】
【００６０】
Ｅ’0は、カメラの位置ｔ0＝[tx0 ty0 tz0]T、姿勢ω0＝[ωx0 ωy0 ωz0]T、対象点座標ｘw0＝[xw0 yw0 zw0]T、観測位置ｕ0＝[ux0 uy0]Tを代入したときの投影位置と観測位置の差、つまり誤差を示す。
【００６１】
これにより、ｔ0、ω0、ｘ0の近傍において、線形化された式を用いてΔｔx，Δｔy，Δｔz，Δωx，Δωy，Δωz，Δｘw，Δｙw，Δｚwを求め、ｔ0、ω0、ｘ0に補正値として加えることによって、誤差を少なくすることができる。
【００６２】
通常、方程式の数と変数の数は一致しないため、多数の参照点の情報を用いて最小二乗法によって補正値Δを求める。
【００６３】
そこで、補正式デルタについてまとめる。まず、各変数の偏微分をまとめた行列をＪとし、補正ベクトルΔと誤差ベクトルＥ’は上式より、
【数６】
と書くことができる。Ｊの転置行列ＪTを左右に掛け合わせて、補正ベクトルΔの式としてまとめる以下のように表せる。
【００６４】
【数７】
【００６５】
補正ベクトルΔの値が小さくなるまで更新することで、精度の良い位置姿勢を求めることが可能となる。
【００６６】
上述した方法は、Ｎｅｗｔｏｎ法による求解法を示しているが他の方法により最適化計算を行っても構わない。本実施形態においては、観測される線分と推定する位置姿勢に従って投影されたモデルの線分との観測画面上での差が小さくすることができれば良いので、公知の非線形最適化手法を適用することで本発明の効果は得られる。例えば、おおよその推定中の位置姿勢に対して、その各変数値の周辺に僅かな差を有するランダムな組み合わせを多数生成して、それぞれの組み合わせに対して誤差を求めて、誤差の値が小さい組み合わせを利用する方法でも同様な効果は得られる。
【００６７】
次に、本実施形態の位置姿勢計測装置１００を複合現実感に適用した例を示す。
【００６８】
図２は、本実施形態の位置姿勢計測装置１００を用いて、計測対象物体への仮想物体ＣＧの重合表示を行う複合現実感技術を実現した場合の模式図である。
【００６９】
計測対象物体１０は、その形状が既知の３次元の物体であるとする。曲面を有する構成面は、複数の面で構成されているものとする。また、計測対象物体の観察角度は特に既定されていない。
【００７０】
撮像装置１０１で撮像した画像は、位置姿勢計測装置１００の撮像装置入力部２００より入力される。また、撮像装置１０１は、画像を合成するためにクロマキー合成装置９２０の画像入力部９２１にも接続されている。また、位置姿勢計測装置１００では、計測対象物体１０の３次元モデル１０２が既に登録されているものとする。
【００７１】
撮像画像中に計測対象物体１０が存在する場合、位置姿勢計測装置１００は、上述した処理により、撮像装置１０１の位置姿勢測定結果を位置姿勢出力部７０１より出力する。
【００７２】
ＣＧ描画装置９１０は、位置姿勢入力部９１１より撮像装置１０１の位置姿勢を入力し、入力した位置姿勢をＣＧの視点位置として仮想物体をＣＧ描画する。そして、ＣＧ描画装置９１０は、ＣＧ描画された仮想物体の画像をＣＧ画像出力部９１２より出力する。
【００７３】
図示の例では、ＣＧ描画装置９１０は計測対象物体１０の上に仮想物体である２つの円柱９４１が描画され、仮想物体ＣＧ画像９４０のような画像がＣＧ画像出力部９１２より出力される。また、背景色はクロマキー合成装置９２０で設定したクロマキー対応色とする。
【００７４】
クロマキー合成装置９２０では、画像入力部９２１から入力された撮像装置１０１による撮像画像上に、クロマキー対象画像入力部９２２からの仮想物体ＣＧ画像９４０を取り込む。そして、クロマキー合成装置９２０は、クロマキー対応色とした領域を透明にして撮像画像上に合成して、得られた合成画像９３０をクロマキー合成画像出力部９２３より出力する。こうして出力された合成画像９３０は、撮像した計測対象物体の上に仮想物体ＣＧである円柱が２つ描画されたものとなる。
【００７５】
例えば、本実施形態において、実際の部品とＣＡＤで設計中の仮想部品を画面で観察することが可能となり、部品同士の干渉などをチェックすることができる。また、合成画像９３０をＨＭＤ（Head Mount Display）を用いて観測するようにすれば、作業者の確認も容易になって好ましい。また、その際、撮像装置１０１と視線方向を同じ向きに設定しておけば、頭部の位置姿勢と観察している現実空間を一致することができるため複合現実感による作業性の向上が期待できる。さらに、位置姿勢計測装置１００とＣＧ描画装置９１０とクロマキー合成装置９２０を同一の計算機上のプログラムで実現することも可能である。
【００７６】
図３に、撮像画像と計測対象物体の計測用線分の関係を示す。図３の（ａ）は、撮像装置１０１で撮像された画像である。図３の（ｂ）中の線分は、位置姿勢計測装置１００の計測用線分抽出部５００から計測用線分投影部５０１により撮像画像上に投影された線分である。さらに、図３の（ｂ）中の白丸は、投影された計測用線分を計測用線分分割部５０２により分割して得られた分割点のうちの、可視検出部６００により可視判定されたエッジ探索対象点である。
【００７７】
図３の（ｂ）中のエッジ探索対象点から、図３の（ａ）の撮像画像上の計測対象物体のエッジを、投影した計測用線分に対して垂直方向に探索する様子を図３の（ｃ）に示す。各白丸で示したエッジ探索対象点の位置から伸びている短い線分は、図３の（ａ）に示した撮像画像中の計測対象物体１０の観測されるエッジまでの距離を示す。図３の（ｃ）の線分とエッジまでの距離が短くなればなるほど、推定している撮像装置１０１の位置姿勢の精度は良くなる。
【００７８】
次に、本実施形態によるモデル読出部４００と構成面抽出部４０１および計測用線分抽出部５００について、より詳細に説明する。
【００７９】
図４Ａに示したように、計測対象物体の３次元モデルとして四角形ＡＢＣＤが１つある場合について説明する。図４Ｂは、図４Ａの四角形ＡＢＣＤの３次元モデルと、その３次元モデルから構成面及び計測用線分を抽出する処理を説明した図である。
【００８０】
計測対象物体の３次元モデル１０２は、各頂点の座標である点リスト、各点を結ぶ線分リスト、そして面を構成する面リストから構成される。一般に、ＣＡＤやＣＧのデータの多くは、このようなモデル記述に類似している。
【００８１】
本実施形態においては、計測用線分抽出部５００で計測用線分であるかどうかを指定する属性が３次元モデル１０２の線分リストの属性として追加される。
【００８２】
まず、構成面抽出部４０１は、計測対象物体の構成面の描画に使われる面を３次元モデル１０２から抽出する。ここでは、抽出された構成面データ３０２として、ア（１，２，３）、イ（−３，４，５）の三角形ＡＢＣおよび三角形ＡＣＤの２つの三角形が抽出される。面リスト中の数値は線分リストの番号を意味し、線分リストの括弧内の記号は点リストの座標を示す。また、面リストにマイナスが付いているものは、線分リストに登録されている線分の始点・終点が逆になったものである。この構成面データ３０２は、構成面描画部４０２により利用される。
【００８３】
次に、計測用線分データ３０４が計測用線分抽出部５００により抽出される処理について説明する。計測用線分抽出部５００では、３次元モデル１０２の線分リストのデータを抽出対象とする。ここで、線分（Ａ，Ｃ）は、計測対象物体の表面加工や色によって撮像画像上では観測されにくいエッジとする(読み出し部が判断して、属性を付加するのか？)。そのため、位置合わせ用の計測用線分としては用いない。そこで、線分リストには、計測用線分であるか否かを示す属性が付与される。図４Ｂの例では、線分リスト中の各線分に、計測用線分として用いる場合は属性値“Ｔ”が、そうでない場合は属性値“Ｆ”が付与されている。
【００８４】
計測用線分抽出部５００は、線分リストから属性値が“Ｔ”であるのものを抽出することで、計測用線分データ３０４に書き出す。
【００８５】
図４Ｂの例では、線分リスト中の（Ｃ，Ａ）の線分に属性値にＦが設定されている。計測用線分抽出部５００は、線分リスト中の属性値Ｆが付与されている線分以外の線分、すなわち属性値Ｔが設定されている４つの線分（Ａ，Ｂ）、（Ｂ，Ｃ）、（Ｃ，Ｄ）、（Ｄ，Ａ）を抽出することになる。
【００８６】
なお、属性値が登録できないＣＡＤやＣＧモデラーを使用する場合は、線分の色を指定する部分に、計測用線分であるかどうか判別できるような属性値の指定を記述するようにしても良い。例えば、色の属性値の数値をビットで表現したときの最下位ビットを０もしくは１として、１のときは計測用線分として０のときはそうでないというように設定することも可能である。いずれにしても、属性の抽出方法が計測用線分抽出部５００と３次元モデル１０２の属性と対応していれば良い。
【００８７】
なお、上記では、計測対象物体の３次元モデル１０２の線分リストに属性を追加、付与する方法を説明した。しかしながら、本発明の構成においては、計測対象物体の３次元モデル１０２から構成面のデータと計測用線分のデータが抽出できる仕組みがあれば良いので、上記記載の方法に限定されるものではない。例えば、３次元モデルデータの構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出することも可能である。
【００８８】
より具体的には、３次元モデルの幾何学的な特徴を用いて計測用線分を抽出することも可能であり、以下、その方法を説明する。まず、計測対象物体の３次元モデルに複数の平面が設定されているものとする。平面と平面の成す角度は、平面の法線ベクトル同士の角度から求められる。そこで、隣接する平面との角度がある程度大きい場合は、照明による光の反射光量の違いで撮像画像上においてエッジとして観察されやすい。よって、この条件を計測用線分抽出部５００において抽出することとする。すなわち、隣接する平面との角度を求め、既定した値よりも法線同士のなす角度が大きい場合に隣接するエッジを計測用線分として抽出する。これにより、撮像画像上の計測対象物体のエッジに対応した計測用線分のデータセットとして利用できる情報を抽出することができる。
【００８９】
また、３次元モデルの構成面の色が、現実空間にある計測対象物体を構成する面の色と対応が取れている場合は、その情報を利用して計測用線分の抽出ができる。この場合、計測用線分抽出部５００において隣接する面と色相・濃度が異なる隣接平面の一部の線分を計測用線分として抽出する。例えば、計測対象物体に社名や製品名のロゴが大きく記載されている場合などは、ロゴを構成する文字の平面の色と文字外側の平面の色が指定されていれば良い。その色の違いから、撮像画像上のロゴの輪郭部分に相当する線分付近では濃度勾配が大きくなっており、観測エッジとして観測されやすい。これにより、実際の撮像画像の観測エッジと対応した計測用線分データ３０４を抽出することが可能となる。
【００９０】
以上説明した、本実施形態の位置姿勢計測装置１００の処理手順について、図５のフローチャートを参照して更に説明する。
【００９１】
ステップＳ５０１において、モデル読出部４００は３次元モデル１０２を例えばハードディスク（不図示）から読み出す。ステップＳ５０２において、構成面抽出部４０１は、ステップＳ５０１で読み出した３次元モデル１０２から構成面データ３０２を抽出し、例えばＲＡＭで構成された情報保持部３００に格納する。ステップＳ５０３において、計測用線分抽出部５００は、ステップＳ５０１で読み出した３次元モデル１０２から、計測用線分を抽出し、計測用線分データ３０４として登録する。
【００９２】
より詳しくは、３次元モデル１０２の構成面を形成する線分の中から、撮像画像におけるエッジの検出に用いるべき計測用線分を抽出する。なお、図４Ｂで上述したように、計測用線分の抽出方法としては、
・３次元モデル１０２の各線分に計測用線分としての利用の適否を示す属性を付与しておき、計測用線分抽出部５００がその属性に従って計測用線分を抽出する、
・計測用線分抽出部５００が、３次元モデル１０２に登録されている線分のうち、隣接する構成面の法線方向の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出する、
・計測用線分抽出部５００が、３次元モデル１０２に登録されている線分のうち、隣接する構成面の色の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出する、
等が挙げられる。
【００９３】
次に、ステップＳ５０４において、構成面描画部４０２は、ステップＳ５０２で取得された構成面データ３０２に基づいて撮像画像上における構成面を描画する。ステップＳ５０５において、計測用線分投影部５０１は、ステップＳ５０３で取得された計測用線分データ３０４を撮像画像上に投影する。
【００９４】
ステップＳ５０６において、可視検出部６００は、構成面によって隠されない計測用線分を検出し、選択する。例えば、位置姿勢データ３０５によって示される位置姿勢に基づいて、投影された計測用線分のうち、構成面の奥行き情報と比較して、視点側に位置する計測用線分を可視である計測用線分として検出、選択する。ステップＳ５０７において、エッジ距離算出部６０２は、ステップＳ５０６で検出された計測用線分について、撮像画像上におけるエッジ距離の算出を行う。上述したように、本実施形態では、計測用線分分割部５０２によって得られた分割点（代表点）からエッジが探索され、計測用線分とエッジとの距離が算出される。算出された距離は、距離データ３０６として情報保持部３００に保持される。ステップＳ５０８において、位置姿勢更新部７００は、距離データ３０６に基づいて撮像装置１０１と計測対象物体との相対的な位置姿勢を算出し、算出結果により位置姿勢データを更新する。
【００９５】
＜他の実施形態＞
以上、実施形態とその変形例について説明したが、本願発明は、カメラと本発明の処理手段を実施する装置があれば良い。従って、例えば、本発明の処理構成を携帯電話や携帯型のコンピュータで実施するプログラムという形で処理を実行させても同じ効果が得られる。さらに、位置姿勢の計測結果を利用して、近隣の施設や場所に関する情報を呈示するような２次的なサービスを実施することも可能である。
【００９６】
すなわち、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９７】
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。
【００９８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１００】
プログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【０１０１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【０１０３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【０１０４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。
【図面の簡単な説明】
【０１０５】
【図１】実施形態に係る位置姿勢計測装置の機能構成を示すブロック図である。
【図２】実施形態に係る位置姿勢計測装置を、複合現実感技術を用いて仮想物体ＣＧを撮像装置の位置姿勢に合わせて描画する構成を説明した図である。
【図３】実施形態に係る位置姿勢計測装置において、撮像画像と計測用線分の代表点と撮像画像のエッジを探索する様子を説明するための図である。
【図４Ａ】実施形態に係る位置姿勢計測装置で用いられる計測対象の３次元モデルを示す図である。
【図４Ｂ】図４Ａに示される３次元モデルからモデル読出部によって読み出される抽出されるデータを説明した図である。
【図５】実施形態に係る位置姿勢計測装置の処理を示すフローチャートである。
【技術分野】
【０００１】
本発明は、計測対象物体のモデルを撮像画像上に投影した位置と撮像画像から観察される計測対象物体の位置との距離に基づいて撮像装置の位置姿勢を計測する位置姿勢計測技術に関するものである。
【背景技術】
【０００２】
現実空間を撮像するカメラなどの撮像装置（以下適宜「カメラ」と言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。
【０００３】
一般に、撮像装置の位置姿勢を計測する方法として、計測対象物体に３次元位置が既知の指標を貼付する方法が開示されている。この種の位置姿勢計測方法では、指標の３次元位置を推定している位置姿勢に従って撮像画面へ投影した投影位置と、撮像画像から検出された指標の画像位置との差を小さくするように位置姿勢が推定される。その際、対象となる指標は、画像処理により検出することが容易なことが望まれ、幾何学的な特徴を有するものや、特定の色や輝度を有するものが使われる。
【０００４】
しかし、広い範囲での利用を想定すると、必ずしも計測対象物体に位置姿勢検出用の指標が貼付できるとは限らない。例えば計測対象をビルなどの建築物としたときに、その壁面に巨大な指標を貼付することは困難である。
【０００５】
このような課題を解決する方法として、物体を構成する面と面の稜線を用いて、現実のカメラの位置姿勢を推定する方法が多く提案されている。それらの方法では、撮像画像から計測対象物体のエッジを抽出し、抽出したエッジと、ＣＡＤモデルをＣＧにより描画した輪郭線画像との相関を基にして、撮像装置の位置姿勢が算出される。
【０００６】
ここで、計測対象物体がＣＡＤによりデザインされたものならば、ＣＧによる参照画像を作成することは容易である。しかし、その場合であっても、想定される位置姿勢を網羅的に求めておく必要があるため、準備のための工数は必要である。
【０００７】
そのような方法の一つとして、特許文献１には、ＣＡＤモデルを用いた方法が開示されている。特許文献１によれば、まず、複数の視点から観測したときの３次元モデル投影画像からエッジを検出し、エッジの線分をパラメータ近似して保持し、実際に観測した撮像画像と再構成したパラメータによる線分との相関を計算する。そして、最も高い相関を有する３次元モデル投影画像の仮想カメラの位置姿勢を、撮像装置の位置姿勢として求める。
【０００８】
この方法では、予め複数の視点から観測した参照画像群を生成しておき、撮像画像で観察されたエッジとの画像相関の計算を行うこととなる。そのため、参照画像群の枚数の増加に伴い膨大な処理時間を必要とする。精度良く位置姿勢を求めるためには、十分な参照画像群を用意しなければならないため、一般に、特許文献１のような手法は、撮影後に長い時間をかけて処理を行っても良い場合にしか適用できない。
【０００９】
一方、複合現実感やロボットの物体認識においては、撮像装置の位置姿勢推定処理は、撮像画像の更新間隔で推定を実行することが求められる。ここでいう撮像画像の更新間隔とは、ＮＴＳＣ信号のビデオの場合は、３３ミリ秒である。そのため、特許文献１のような多量の参照画像群のエッジと撮像画像のエッジの画像相関を計算する手法を適用することは難しい。
【００１０】
また、別の問題として計測対象物体が複数の構造物から構成され、その一部が自由に動かせるような場合では、移動する物体の運動が未知であるため、参照画像を事前に取得することが出来ない。これを解決する別の方法として、非特許文献１にて、計測対象物体の３次元モデルを用いて、撮像装置で撮像した撮像画像中のエッジから、オンラインで撮像装置の位置姿勢を推定する方法が開示されている。特許文献１と異なるのは、事前に参照画像群を取得する必要が無い点にあり、リアルタイムでの撮像装置位置姿勢推定に適用可能な点にある。また、参照画像群と撮像画像との相関計算を行わないため、処理時間も短い。
【００１１】
非特許文献１に開示された方法では、位置姿勢の更新時に３次元モデルを撮像画像上に投影し、探索対象点周辺の画像に対してのみエッジを探索することを基にカメラの位置姿勢を推定している。さらには、後述するように、画像処理に係る処理時間を少なくする工夫もなされている。また、計測対象物体の移動に対しても、個別に位置姿勢を推定すれば良いので、動きに制限がない。
【００１２】
この手法の概略の処理手順は以下のとおりである。
[1] おおよその推定中の位置姿勢を用いて、計測対象物体の計測用線分を撮像画面上に投影する。
[2] 投影した計測用線分周辺の画素を探索して濃度が局所的に変化するエッジ領域の位置を求める。
[3] エッジ領域の位置と投影した計測用線分との距離を小さくするように位置姿勢を最適化する。
[4] 推定中の位置姿勢の値を最適化した位置姿勢で更新する。
【００１３】
なお、投影する計測用の線分の３次元モデルは、予めエッジが検出されやすい線分のみを用いることにより、精度良く、さらに高速に撮像装置の位置姿勢を求めることが可能となる。実際には、投影した計測用線分周辺の画素を全て探索するのは時間がかかるので、投影した計測用線分をさらに適当な間隔でサンプリングした点が、探索対象点とされる。
【００１４】
この手法では、探索対象点において、投影した計測用線分の方向に対して垂直な有限な一次元方向の探索が行われる。なお、探索するエッジは、撮像画像中の局所的な濃度変化を有する領域とし、ラプラシアンフィルタなどのエッジ検出画像フィルタを用いることで濃度勾配が局所的に大きい領域が求められる。
【００１５】
推定している位置姿勢が実際の位置姿勢に近ければ近いほど、探索した撮像画像のエッジ位置と、画像上の投影した計測用線分との距離は小さくなる。しかし、実際の撮像画像には多くのノイズが含まれる。推定精度に影響を与える要因としては、エッジの誤検出や未検出が挙げられる。そのため、計測用の線分は、撮像画像上で観測されているエッジとの対応を考慮したほうが良い。
【００１６】
この手法においても、他の物体により隠蔽される領域にある線分や、視線とは反対側の位置にある線分などを、エッジの探索対象点としないようにする処理が行われている。これにより、複数の計測対象物体が視線方向に対して重なっている場合や、凹凸のある複雑な形状に対しても位置姿勢推定が適用できる。
【００１７】
一方、コンピュータグラフィックスの技術において、面によって隠蔽される線と可視である線とを描き分ける隠線消去の技術がある。この技術を応用することで、面により隠れている線を除去し、計測用線分撮像画像上では観測されないとする線分をエッジの探索対象としないようにすることができる。ここでの３次元モデルの撮像画像上への変換には、推定中の撮像装置の位置姿勢が用いられる。３次元モデルの構成面および線分の位置が、推定中の位置姿勢に対応した視線方向から観察される位置に座標変換され、そのときの奥行き方向の距離が求められる。奥行き方向の距離は撮像画像に対応した距離画像として保持される。求めた奥行き方向の距離と、距離画像の値を比較し、より小さい値であるとき、距離画像の値を更新する。
【００１８】
そこで、非特許文献１では、計測対象物体を構成する複数の面から距離画像を生成する。次に、計測用線分を撮像装置のおおよその位置姿勢を視点としたときの座標変換を行う。計測用線分のエッジ探索対象点候補のうち、奥行き方向の値と、構成面による距離画像の値を比較する。エッジ探索対象点候補の値が距離画像の値と同じか、もしくは小さい場合は、エッジ探索対象点として以降エッジ探索処理を実行する。
【００１９】
さらに、この手法においては、処理を効率化するために、計測対象物体の構成面の描画をグラフィックス描画用ハードウェアの描画機能を用いて高速化している。計測対象物体の構成面の情報は、画像上から計測する線分が他の計測対象物体により隠蔽されていないかを判定する上で重要な情報となる。他の面により隠蔽されているかどうかの判定をしないと、本来撮像画像に観測されない線分が計測対象となり、位置姿勢の推定精度を向上することができない。例えば、計測対象物体の裏側にある計測用線分を用いると、実際には撮像画像上には観測されない場合もあるが、他のエッジを間違って対応するエッジとして検出するので、大きな誤差を有する点として扱われてしまう。
【特許文献１】特開２００４−３２６３１４号公報
【非特許文献１】Tom Drummond and Roberto Cipolla. “Real-time visual tracking of complex structures.” IEEE Transaction of Pattern Analysis and Machine Intelligence. Vol.24, No.7, pp.932-946, 2002
【発明の開示】
【発明が解決しようとする課題】
【００２０】
上述した方法を適用するにあたり、計測用の線分のデータ、およびそれが実際に観測されるかどうかの見えのテストをするための計測対象物体の構成面のデータを、それぞれ用意する必要がある。計測対象物体が、ＣＡＤ等を用いて設計されたものであれば、構成面および線分は、その設計図を利用することができる。
【００２１】
単純な平面の組み合わせで構成されているような３次元モデルの場合、構成面と観測されるエッジの構成が類似しているため、構成面データと、位置合わせに用いる計測用線分のデータを同じにできる。ただし、この場合、計測対象物体は単純な直方体や矩形のような３次元モデルである必要があり、実際のシーンへの適用範囲が狭い。一般に、複雑な形状を有する計測対象物体を取り扱う場合、構成面の情報と計測用の線分の情報を同じにすることは難しい。
【００２２】
ここで、複雑な形状を有している計測対象物体であっても、単純な三角形および四角形などのポリゴンを元に複雑な曲面や物体の形状記述をすることは可能である。ただし、これをそのまま計測用の線分として利用することには問題がある。
【００２３】
撮像画像上でエッジとして観測される条件としては、構成面の境界が隣接する構成面と不連続であることや、構成面の光に対する物性が隣接する構成面と不連続であることが挙げられる。そのため、複雑な平面は、同一の法線を有する複数の三角形または四角形のポリゴンにより構成されている場合が多い。このような複雑な平面を構成する各ポリゴンの線分は、実際の撮像画像上ではエッジとして全て観測されるものではない。また、曲面を構成する平面の場合は、構成面が連続していても観測する位置によっては、照明位置の関係から大局的な反射角度が異なり、結果として遠方から観測したときにエッジとして観測される場合もある。
【００２４】
このように、構成面を計測用線分として用いる場合、視線方向の手前側にある線分であっても、複数のポリゴンで１つの面を構成している場合は、３次元モデルの面によって挟まれる線分と撮像画面で観測されるエッジとは一般に対応していない。したがって、３次元モデルの構成面を位置合わせのための計測用線分の情報として、そのまま利用することはできないことが考えられる。
【００２５】
従って、計測用線分と３次元モデルの構成面を形成するための線分を別々のデータとして保持することも考えられるが、そのような構成には以下の課題がある。例えば、計測対象物体の構成面の情報と実際の計測用線分との整合性を維持することは難しく、計測対象物体の柔軟な変更に対応することができない。言い換えると、計測対象物体が複雑な場合にも適用できるような、形状を表現する膨大な頂点や線分リストと、その部分的な集合である計測用線分のデータセットとを、整合性を維持しながら利用する手段は提案されていない。例えば、非特許文献１などの研究においては、検証のための計測対象物体は既定されており、予め調整された構成面の情報、および計測用線分の情報を別々に保持することで、既定された計測対象物体の位置姿勢合わせを実現している。
【００２６】
計測対象物体の３次元モデルを撮像画像上へ投影した線分と、対応する撮像画像上のエッジ位置の差が小さくなるように位置姿勢を推定する技術がある。この技術において、複雑な計測対象物体を扱うために、計測対象となるモデルの線分を実際に観測されるエッジと対応させることで、精度を向上することが可能となる。しかし、そこで利用する物体の構成面のデータセットと、計測に用いるデータセットとの整合性を維持しながら、位置姿勢推定の上記手法を利用する手続きが無いため、そのような位置姿勢推定装置の利便性は低かった。
【００２７】
本発明は、上記の課題に鑑みてなされたものであり、計測対象物体の３次元モデルの幾何的な変更が行われた場合でもデータセットの整合性を維持可能とすることを目的とする。また、複雑な形状を有する計測対象物体の位置姿勢推定のために必要な手続きを簡便化することを可能にすることを目的とする。
【課題を解決するための手段】
【００２８】
上記の目的を達成するための本発明の一態様による位置姿勢計測装置は以下の構成を備える。すなわち、
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
保持されている前記計測対象物体の３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータの前記構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置と前記計測対象物体との相対的な位置姿勢を算出する算出手段とを備える。
【００２９】
また、上記の目的を達成するための本発明の他の態様による位置姿勢計測装置は以下の構成を備える。すなわち、
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
計測対象物体の３次元モデルデータを保持する保持手段と、前記３次元モデルデータは、各線分について撮像画像のエッジの検出に用いる線分であるか否かを示す属性が付与されており、
前記３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータから、撮像画像のエッジの検出に用いる線分であることを示す属性が付与されている線分を計測用線分として抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出手段とを備える。
【発明の効果】
【００３０】
本発明によれば、計測対象物体の３次元モデルの幾何的な変更が行われた場合でもデータセットの整合性を維持することが可能となる。また、複雑な形状を有する計測対象物体の位置姿勢推定のために必要な手続きを簡便化することができる。
【発明を実施するための最良の形態】
【００３１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００３２】
図１は、本発明の一実施形態である位置姿勢計測装置１００を撮像装置１０１に適用した場合の構成を示すブロック図である。なお、位置姿勢計測装置１００は、各処理を行う処理部と情報を保持する保持部で構成されているものとする。位置姿勢計測装置１００は、専用の装置であっても良いが、一般的な汎用コンピュータにおいて、後述する位置姿勢計測の制御を実施するためのアプリケーションプログラムを実行させることでも実現され得る。その場合、図１に示される情報保持部３００は、ハードディスクやＲＡＭ等により構成され、その他の各部はコンピュータがアプリケーションプログラムを実行することにより実現されることになるが、そのような構成は、当業者には明らかである。位置姿勢計測装置１００の目的は、撮像装置１０１が３次元モデルデータ１０２（以下、３次元モデル１０２）に記述された計測対象物体を撮像しているときの撮像装置１０１の当該計測対象物体に対する相対的な位置姿勢を求めることである。
【００３３】
また、計測対象物体は世界座標系にて既定されているとする。さらに、計測対象物体は世界座標系における相対位置姿勢が既知であれば、計測対象物体の３次元モデルは既知の相対位置姿勢を乗算すれば世界座標系として扱うことができる。
【００３４】
撮像装置１０１としては、ＣＣＤやＣＭＯＳで構成される光電子変換素子を用いた２次元の撮像装置（所謂デジタルカメラ）を使用できる。撮像装置１０１の映像信号は、撮像装置入力部２００を経由して位置姿勢計測装置１００に取り込まれる。
【００３５】
情報保持部３００は、位置姿勢計測装置１００の各処理部で必要とされる入力、出力の状態を保持するための機能を有している。情報保持部３００はＲＡＭ（Random Access Memory）用いて構成される。
【００３６】
画像取得部２０１は、撮像装置入力部２００から入力された映像信号を水平同期信号、垂直同期信号を参照して、２次元画像に再構成し、情報保持部３００に撮像画像データ３０１として書き込む。
【００３７】
計測対象物体の３次元モデル１０２は、事前に外部記憶媒体に保存されたデータであっても良いし、ネットワークによりリモートサーバから取得されたデータであっても構わない。すなわち、本位置姿勢計測装置１００が取り扱える形式に整えられた３次元モデルデータであれば、その形式、取得方法はいかなるものであっても良い。３次元モデル１０２は、計測対象物体の３次元の幾何的な情報を有するモデルであり、３次元ＣＡＤ等により作成されたものを用いることができる。また、事前に設計時の図面が無い場合は、計測器で実測した値を３次元モデルとして入力して作成することもできる。３次元モデルの編集には、市販のＣＡＤやＣＧ製作用のモデラーを用いればよい。
【００３８】
モデル読出部４００は、３次元モデル１０２から、モデルの頂点座標、点と点を結ぶ線分情報、複数の線分から構成される平面情報、さらに平面のアピアランスなどの情報を読み出す。さらに、読み出されたこれらの情報は、構成面抽出部４０１と計測用線分抽出部５００に渡される。構成面抽出部４０１は、３次元モデル１０２から、計測対象物体の面を構成する情報を抽出し、情報保持部３００に構成面データ３０２として書き込む。計測用線分抽出部５００は、位置合わせに用いる計測用線分のデータセット（計測用線分データという）を計測対象物体の３次元モデル１０２から抽出する。なお、計測用線分抽出部５００は、図４Ａ、図４Ｂで後述するように、３次元モデル１０２の構成面を形成する線分から、撮像画像のエッジの検出に適した線分を計測用線分のデータとして抽出する。抽出された計測用線分データは、情報保持部３００に計測用線分データ３０４として保持される。なお、計測用線分は、２つの頂点座標とその連結情報で構成されているものとする。以上のように、モデル読出部４００が読み出した３次元モデル１０２から、構成面データ３０２および計測用線分データ３０４が情報保持部３００に保持されることになる。なお、構成面データ３０２および計測用線分データ３０４が情報保持部３００に保持されるまでの処理は、計測対象物体の３次元モデル１０２が位置姿勢計測装置１００に設定もしくは内容が更新された時に行われるものとする。
【００３９】
概略位置姿勢入力装置１０３は、位置姿勢計測装置１００が位置姿勢推定をするのに有効な概略の位置姿勢を与えることができる装置を用いれば良い。例えば、磁気センサを用いた３次元位置計測装置の出力や、超音波センサを用いた３次元位置姿勢装置の出力を用いることができる。ここでは、画像から精度良く位置姿勢を求めるために必要な初期値として利用することができる概略の位置姿勢が推定されれば良い。概略位置姿勢入力装置１０３により検出された位置姿勢は、概略位置姿勢入力部２０２を介して、情報保持部３００に撮像装置の位置姿勢データ３０５として保持される。
【００４０】
次に、位置姿勢計測装置１００の撮像装置の位置姿勢を推定する処理について説明する。
【００４１】
まず、位置姿勢を推定するタイミングとしては、例えば、撮像装置１０１で撮像された画像が更新される度に、処理が行われることが挙げられる。
【００４２】
構成面描画部４０２は、構成面データ３０２をクリアする。そして、計測対象物体の３次元モデル１０２から抽出された構成面データ３０２を、撮像装置のおおよその推定位置姿勢を表す位置姿勢データ３０５を用いて、撮像装置１０１から観測した３次元ＣＧモデルとして描画する。撮像装置１０１の位置姿勢を視点としたときの、各構成面に対する奥行き情報は、視線方向に対する手前の奥行き位置が構成面描画画像データ３０３として情報保持部３００に保持される。
【００４３】
具体的には、構成面描画部４０２は、構成面の各頂点について、撮像装置１０１の位置姿勢を視点としたときのモデルビュー変換を行う。そして、構成面をラスタライズしたときの各点について、構成面描画画像データ３０３の値と比較し、視点方向手前の値である場合に情報を更新する。
【００４４】
計測用線分投影部５０１は、情報保持部３００に保持されている撮像装置の位置姿勢データ３０５が表す位置姿勢を視点として、計測用線分データ３０４の各頂点をモデルビュー変換する。モデルビュー変換された各計測用線分は、計測用線分分割部５０２により、投影画面上での長さを考慮して分割される。エッジ探索部６０１は、この分割によって得られた分割点のうち他の構成面により隠蔽されていない点について探索を実行する。これは、計測用線分に含まれる全ての撮影画像上の点を基に探索を行う場合に比べて処理時間を低減する。すなわち、本実施形態によれば、計測用線分の投影線分上から代表的な点（分割点）を選択し、その代表的な点から探索したエッジ位置と投影線分との距離を利用するので、処理の効率化を図ることができるという効果が得られる。以下では、分割点のことを代表点とも称する。なお、分割点の数は、投影画面上の投影線分の長さが既定の分割最小長さより短ければ撮像画像上でも観察できないので０としても構わない。さらに、投影画面上の投影線分の長さが既定の分割最小長さより長ければ複数あるものとする。
【００４５】
可視検出部６００は、計測用線分分割部５０２により選択された各計測用線分上の代表点が、構成面描画画像データ３０３の奥行き情報を用いて他の構成面により隠蔽されているかどうかを検出する。隠蔽されていないと判定された代表点（以下、可視判定された代表点という）の情報は、撮像画像データ３０１が表す撮像画像上で観測できるエッジ探索対象点としてエッジ探索部６０１に渡す。これにより、観測できるエッジ探索対象点とそれに対応するエッジが位置合わせ推定に用いられることになるので、推定の誤差要因を少なくすることができる。
【００４６】
エッジ探索部６０１は、エッジ探索対象点の画像上の位置から、計測用線分の線分方向に対して垂直方向に撮像画像データ３０１が表す撮像画像の画素の濃度を読み取る。ここで読み取る範囲は、計測対象物体と撮像装置１０１の位置姿勢との位置関係を配慮して設定されるのが好ましい。読み取った濃度が隣接する画素に対して濃度勾配が大きい点は観測エッジとして、その位置を抽出する。ここで、エッジ探索部６０１が抽出する観測エッジの数は、複数であっても構わない。
【００４７】
エッジ距離算出部６０２は、撮像画像データ３０１が表す撮像画像の観測エッジの座標位置と、各計測用線分が撮像画像上に投影されたときの線分との距離を計算する。さらに、エッジ距離算出部６０２は、算出された距離情報を、観測エッジと投影された計測用線分との距離データ３０６として情報保持部３００に格納する。
【００４８】
位置姿勢更新部７００は、情報保持部３００に保持された距離データ３０６を用いて、撮像装置１０１の推定している位置姿勢を更新する。さらに、その更新の結果は、位置姿勢出力部７０１により位置姿勢計測装置１００の外部へ、撮像装置１０１の位置姿勢データ９００として送出される。
【００４９】
次に、位置姿勢更新部７００による撮像装置１０１の位置姿勢の更新手続きについて説明する。
【００５０】
計測対象物体の計測用線分の位置は、ある基準座標系において定義されているとする。基準座標系の点の座標[xw yw zw]Tと撮像画像上の座標[ux uy]Tとは、透視投影変換の行列Ｐにより以下のような関係がある。
【００５１】
【数１】
ここで、ｈは同次座標変換の表現として、求めたｈを用いて[ux uy]Tを計算する。また、R11, R12, R13, R21, R22, R23, R31, R32, R33を要素とする行列Ｒ（３×３行列）を基準座標系における姿勢の回転行列、ｔ＝[tx ty tz]を平行移動ベクトルとすると上式のＰは以下のように表せる。
【００５２】
【数２】
ここで、fx, fyは水平・垂直方向の焦点距離であり、px, pyは撮像画像面における水平・垂直方向の主点座標とする。
【００５３】
推定する撮像装置の位置姿勢の誤差が小さいかどうかを、推定している位置姿勢から観測されるであろうモデルの投影位置と、実際の撮像画像面上の観測位置との差が小さくなるように最適化計算を行うことで求めることができる。
【００５４】
ここでは、観測位置と投影位置とのずれを表す誤差関数Ｅを用いる。Ｅは、カメラの位置ｔ＝[tx ty tz]T、姿勢ω＝[ωx ωy ωz]T、観測対象点の基準座標系での位置ｘw＝[xw yw zw]Tを入力とする関数とする。投影位置をｕ’＝[u’x u’y u’z]T、観測位置をｕ＝[ux uy]Tとすると、撮像画像上での誤差は、それらの差として表現できる。
【００５５】
【数３】
【００５６】
一般に、位置姿勢および観測対象点の位置の関係は、非線形なので上式のＥも入力に対して非線形関数となる。
【００５７】
本実施形態では、観測位置ｕ＝[ux uy]Tとの画面上の誤差は、計測用線分の撮像画像上への投影された線分となる。そこで、投影した計測用線分と直交して、なおかつ観測位置ｕ＝[ux uy]Tを通る直線が、投影した計測用線分と交差する点をｕ’’＝[u’’x u’’y]Tとし、
【数４】
を誤差関数として用いる。
【００５８】
撮像装置の位置姿勢が僅かに変化する範囲において、上式を１次のテイラー展開を用いて線形近似すると以下のように表せる。
【００５９】
【数５】
【００６０】
Ｅ’0は、カメラの位置ｔ0＝[tx0 ty0 tz0]T、姿勢ω0＝[ωx0 ωy0 ωz0]T、対象点座標ｘw0＝[xw0 yw0 zw0]T、観測位置ｕ0＝[ux0 uy0]Tを代入したときの投影位置と観測位置の差、つまり誤差を示す。
【００６１】
これにより、ｔ0、ω0、ｘ0の近傍において、線形化された式を用いてΔｔx，Δｔy，Δｔz，Δωx，Δωy，Δωz，Δｘw，Δｙw，Δｚwを求め、ｔ0、ω0、ｘ0に補正値として加えることによって、誤差を少なくすることができる。
【００６２】
通常、方程式の数と変数の数は一致しないため、多数の参照点の情報を用いて最小二乗法によって補正値Δを求める。
【００６３】
そこで、補正式デルタについてまとめる。まず、各変数の偏微分をまとめた行列をＪとし、補正ベクトルΔと誤差ベクトルＥ’は上式より、
【数６】
と書くことができる。Ｊの転置行列ＪTを左右に掛け合わせて、補正ベクトルΔの式としてまとめる以下のように表せる。
【００６４】
【数７】
【００６５】
補正ベクトルΔの値が小さくなるまで更新することで、精度の良い位置姿勢を求めることが可能となる。
【００６６】
上述した方法は、Ｎｅｗｔｏｎ法による求解法を示しているが他の方法により最適化計算を行っても構わない。本実施形態においては、観測される線分と推定する位置姿勢に従って投影されたモデルの線分との観測画面上での差が小さくすることができれば良いので、公知の非線形最適化手法を適用することで本発明の効果は得られる。例えば、おおよその推定中の位置姿勢に対して、その各変数値の周辺に僅かな差を有するランダムな組み合わせを多数生成して、それぞれの組み合わせに対して誤差を求めて、誤差の値が小さい組み合わせを利用する方法でも同様な効果は得られる。
【００６７】
次に、本実施形態の位置姿勢計測装置１００を複合現実感に適用した例を示す。
【００６８】
図２は、本実施形態の位置姿勢計測装置１００を用いて、計測対象物体への仮想物体ＣＧの重合表示を行う複合現実感技術を実現した場合の模式図である。
【００６９】
計測対象物体１０は、その形状が既知の３次元の物体であるとする。曲面を有する構成面は、複数の面で構成されているものとする。また、計測対象物体の観察角度は特に既定されていない。
【００７０】
撮像装置１０１で撮像した画像は、位置姿勢計測装置１００の撮像装置入力部２００より入力される。また、撮像装置１０１は、画像を合成するためにクロマキー合成装置９２０の画像入力部９２１にも接続されている。また、位置姿勢計測装置１００では、計測対象物体１０の３次元モデル１０２が既に登録されているものとする。
【００７１】
撮像画像中に計測対象物体１０が存在する場合、位置姿勢計測装置１００は、上述した処理により、撮像装置１０１の位置姿勢測定結果を位置姿勢出力部７０１より出力する。
【００７２】
ＣＧ描画装置９１０は、位置姿勢入力部９１１より撮像装置１０１の位置姿勢を入力し、入力した位置姿勢をＣＧの視点位置として仮想物体をＣＧ描画する。そして、ＣＧ描画装置９１０は、ＣＧ描画された仮想物体の画像をＣＧ画像出力部９１２より出力する。
【００７３】
図示の例では、ＣＧ描画装置９１０は計測対象物体１０の上に仮想物体である２つの円柱９４１が描画され、仮想物体ＣＧ画像９４０のような画像がＣＧ画像出力部９１２より出力される。また、背景色はクロマキー合成装置９２０で設定したクロマキー対応色とする。
【００７４】
クロマキー合成装置９２０では、画像入力部９２１から入力された撮像装置１０１による撮像画像上に、クロマキー対象画像入力部９２２からの仮想物体ＣＧ画像９４０を取り込む。そして、クロマキー合成装置９２０は、クロマキー対応色とした領域を透明にして撮像画像上に合成して、得られた合成画像９３０をクロマキー合成画像出力部９２３より出力する。こうして出力された合成画像９３０は、撮像した計測対象物体の上に仮想物体ＣＧである円柱が２つ描画されたものとなる。
【００７５】
例えば、本実施形態において、実際の部品とＣＡＤで設計中の仮想部品を画面で観察することが可能となり、部品同士の干渉などをチェックすることができる。また、合成画像９３０をＨＭＤ（Head Mount Display）を用いて観測するようにすれば、作業者の確認も容易になって好ましい。また、その際、撮像装置１０１と視線方向を同じ向きに設定しておけば、頭部の位置姿勢と観察している現実空間を一致することができるため複合現実感による作業性の向上が期待できる。さらに、位置姿勢計測装置１００とＣＧ描画装置９１０とクロマキー合成装置９２０を同一の計算機上のプログラムで実現することも可能である。
【００７６】
図３に、撮像画像と計測対象物体の計測用線分の関係を示す。図３の（ａ）は、撮像装置１０１で撮像された画像である。図３の（ｂ）中の線分は、位置姿勢計測装置１００の計測用線分抽出部５００から計測用線分投影部５０１により撮像画像上に投影された線分である。さらに、図３の（ｂ）中の白丸は、投影された計測用線分を計測用線分分割部５０２により分割して得られた分割点のうちの、可視検出部６００により可視判定されたエッジ探索対象点である。
【００７７】
図３の（ｂ）中のエッジ探索対象点から、図３の（ａ）の撮像画像上の計測対象物体のエッジを、投影した計測用線分に対して垂直方向に探索する様子を図３の（ｃ）に示す。各白丸で示したエッジ探索対象点の位置から伸びている短い線分は、図３の（ａ）に示した撮像画像中の計測対象物体１０の観測されるエッジまでの距離を示す。図３の（ｃ）の線分とエッジまでの距離が短くなればなるほど、推定している撮像装置１０１の位置姿勢の精度は良くなる。
【００７８】
次に、本実施形態によるモデル読出部４００と構成面抽出部４０１および計測用線分抽出部５００について、より詳細に説明する。
【００７９】
図４Ａに示したように、計測対象物体の３次元モデルとして四角形ＡＢＣＤが１つある場合について説明する。図４Ｂは、図４Ａの四角形ＡＢＣＤの３次元モデルと、その３次元モデルから構成面及び計測用線分を抽出する処理を説明した図である。
【００８０】
計測対象物体の３次元モデル１０２は、各頂点の座標である点リスト、各点を結ぶ線分リスト、そして面を構成する面リストから構成される。一般に、ＣＡＤやＣＧのデータの多くは、このようなモデル記述に類似している。
【００８１】
本実施形態においては、計測用線分抽出部５００で計測用線分であるかどうかを指定する属性が３次元モデル１０２の線分リストの属性として追加される。
【００８２】
まず、構成面抽出部４０１は、計測対象物体の構成面の描画に使われる面を３次元モデル１０２から抽出する。ここでは、抽出された構成面データ３０２として、ア（１，２，３）、イ（−３，４，５）の三角形ＡＢＣおよび三角形ＡＣＤの２つの三角形が抽出される。面リスト中の数値は線分リストの番号を意味し、線分リストの括弧内の記号は点リストの座標を示す。また、面リストにマイナスが付いているものは、線分リストに登録されている線分の始点・終点が逆になったものである。この構成面データ３０２は、構成面描画部４０２により利用される。
【００８３】
次に、計測用線分データ３０４が計測用線分抽出部５００により抽出される処理について説明する。計測用線分抽出部５００では、３次元モデル１０２の線分リストのデータを抽出対象とする。ここで、線分（Ａ，Ｃ）は、計測対象物体の表面加工や色によって撮像画像上では観測されにくいエッジとする(読み出し部が判断して、属性を付加するのか？)。そのため、位置合わせ用の計測用線分としては用いない。そこで、線分リストには、計測用線分であるか否かを示す属性が付与される。図４Ｂの例では、線分リスト中の各線分に、計測用線分として用いる場合は属性値“Ｔ”が、そうでない場合は属性値“Ｆ”が付与されている。
【００８４】
計測用線分抽出部５００は、線分リストから属性値が“Ｔ”であるのものを抽出することで、計測用線分データ３０４に書き出す。
【００８５】
図４Ｂの例では、線分リスト中の（Ｃ，Ａ）の線分に属性値にＦが設定されている。計測用線分抽出部５００は、線分リスト中の属性値Ｆが付与されている線分以外の線分、すなわち属性値Ｔが設定されている４つの線分（Ａ，Ｂ）、（Ｂ，Ｃ）、（Ｃ，Ｄ）、（Ｄ，Ａ）を抽出することになる。
【００８６】
なお、属性値が登録できないＣＡＤやＣＧモデラーを使用する場合は、線分の色を指定する部分に、計測用線分であるかどうか判別できるような属性値の指定を記述するようにしても良い。例えば、色の属性値の数値をビットで表現したときの最下位ビットを０もしくは１として、１のときは計測用線分として０のときはそうでないというように設定することも可能である。いずれにしても、属性の抽出方法が計測用線分抽出部５００と３次元モデル１０２の属性と対応していれば良い。
【００８７】
なお、上記では、計測対象物体の３次元モデル１０２の線分リストに属性を追加、付与する方法を説明した。しかしながら、本発明の構成においては、計測対象物体の３次元モデル１０２から構成面のデータと計測用線分のデータが抽出できる仕組みがあれば良いので、上記記載の方法に限定されるものではない。例えば、３次元モデルデータの構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出することも可能である。
【００８８】
より具体的には、３次元モデルの幾何学的な特徴を用いて計測用線分を抽出することも可能であり、以下、その方法を説明する。まず、計測対象物体の３次元モデルに複数の平面が設定されているものとする。平面と平面の成す角度は、平面の法線ベクトル同士の角度から求められる。そこで、隣接する平面との角度がある程度大きい場合は、照明による光の反射光量の違いで撮像画像上においてエッジとして観察されやすい。よって、この条件を計測用線分抽出部５００において抽出することとする。すなわち、隣接する平面との角度を求め、既定した値よりも法線同士のなす角度が大きい場合に隣接するエッジを計測用線分として抽出する。これにより、撮像画像上の計測対象物体のエッジに対応した計測用線分のデータセットとして利用できる情報を抽出することができる。
【００８９】
また、３次元モデルの構成面の色が、現実空間にある計測対象物体を構成する面の色と対応が取れている場合は、その情報を利用して計測用線分の抽出ができる。この場合、計測用線分抽出部５００において隣接する面と色相・濃度が異なる隣接平面の一部の線分を計測用線分として抽出する。例えば、計測対象物体に社名や製品名のロゴが大きく記載されている場合などは、ロゴを構成する文字の平面の色と文字外側の平面の色が指定されていれば良い。その色の違いから、撮像画像上のロゴの輪郭部分に相当する線分付近では濃度勾配が大きくなっており、観測エッジとして観測されやすい。これにより、実際の撮像画像の観測エッジと対応した計測用線分データ３０４を抽出することが可能となる。
【００９０】
以上説明した、本実施形態の位置姿勢計測装置１００の処理手順について、図５のフローチャートを参照して更に説明する。
【００９１】
ステップＳ５０１において、モデル読出部４００は３次元モデル１０２を例えばハードディスク（不図示）から読み出す。ステップＳ５０２において、構成面抽出部４０１は、ステップＳ５０１で読み出した３次元モデル１０２から構成面データ３０２を抽出し、例えばＲＡＭで構成された情報保持部３００に格納する。ステップＳ５０３において、計測用線分抽出部５００は、ステップＳ５０１で読み出した３次元モデル１０２から、計測用線分を抽出し、計測用線分データ３０４として登録する。
【００９２】
より詳しくは、３次元モデル１０２の構成面を形成する線分の中から、撮像画像におけるエッジの検出に用いるべき計測用線分を抽出する。なお、図４Ｂで上述したように、計測用線分の抽出方法としては、
・３次元モデル１０２の各線分に計測用線分としての利用の適否を示す属性を付与しておき、計測用線分抽出部５００がその属性に従って計測用線分を抽出する、
・計測用線分抽出部５００が、３次元モデル１０２に登録されている線分のうち、隣接する構成面の法線方向の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出する、
・計測用線分抽出部５００が、３次元モデル１０２に登録されている線分のうち、隣接する構成面の色の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出する、
等が挙げられる。
【００９３】
次に、ステップＳ５０４において、構成面描画部４０２は、ステップＳ５０２で取得された構成面データ３０２に基づいて撮像画像上における構成面を描画する。ステップＳ５０５において、計測用線分投影部５０１は、ステップＳ５０３で取得された計測用線分データ３０４を撮像画像上に投影する。
【００９４】
ステップＳ５０６において、可視検出部６００は、構成面によって隠されない計測用線分を検出し、選択する。例えば、位置姿勢データ３０５によって示される位置姿勢に基づいて、投影された計測用線分のうち、構成面の奥行き情報と比較して、視点側に位置する計測用線分を可視である計測用線分として検出、選択する。ステップＳ５０７において、エッジ距離算出部６０２は、ステップＳ５０６で検出された計測用線分について、撮像画像上におけるエッジ距離の算出を行う。上述したように、本実施形態では、計測用線分分割部５０２によって得られた分割点（代表点）からエッジが探索され、計測用線分とエッジとの距離が算出される。算出された距離は、距離データ３０６として情報保持部３００に保持される。ステップＳ５０８において、位置姿勢更新部７００は、距離データ３０６に基づいて撮像装置１０１と計測対象物体との相対的な位置姿勢を算出し、算出結果により位置姿勢データを更新する。
【００９５】
＜他の実施形態＞
以上、実施形態とその変形例について説明したが、本願発明は、カメラと本発明の処理手段を実施する装置があれば良い。従って、例えば、本発明の処理構成を携帯電話や携帯型のコンピュータで実施するプログラムという形で処理を実行させても同じ効果が得られる。さらに、位置姿勢の計測結果を利用して、近隣の施設や場所に関する情報を呈示するような２次的なサービスを実施することも可能である。
【００９６】
すなわち、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９７】
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。
【００９８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１００】
プログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【０１０１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【０１０３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【０１０４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。
【図面の簡単な説明】
【０１０５】
【図１】実施形態に係る位置姿勢計測装置の機能構成を示すブロック図である。
【図２】実施形態に係る位置姿勢計測装置を、複合現実感技術を用いて仮想物体ＣＧを撮像装置の位置姿勢に合わせて描画する構成を説明した図である。
【図３】実施形態に係る位置姿勢計測装置において、撮像画像と計測用線分の代表点と撮像画像のエッジを探索する様子を説明するための図である。
【図４Ａ】実施形態に係る位置姿勢計測装置で用いられる計測対象の３次元モデルを示す図である。
【図４Ｂ】図４Ａに示される３次元モデルからモデル読出部によって読み出される抽出されるデータを説明した図である。
【図５】実施形態に係る位置姿勢計測装置の処理を示すフローチャートである。
【特許請求の範囲】
【請求項１】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
保持されている前記計測対象物体の３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータの前記構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を、前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出手段とを備えることを特徴とする位置姿勢計測装置。
【請求項２】
前記選択手段は、
前記推定された位置姿勢を視点として前記計測対象物体の構成面を描画することにより前記推定された位置姿勢から観測したときの構成面の奥行き情報を保持し、
前記投影された計測用線分のうち、前記奥行き情報と比較して、視点側にある計測用線分を可視である計測用線分として選択することを特徴とする請求項１に記載の位置姿勢計測装置。
【請求項３】
前記算出手段は、
前記撮像画像に投影された計測用線分に分割点を設定することにより、前記投影された計測用線分を分割する分割手段と、
前記分割点から前記撮像画像上の画素を探索して、濃度勾配の変化が閾値を越える位置をエッジ位置として検出するエッジ探索手段と、
前記エッジ探索手段で検出されたエッジ位置と、前記分割点が設定された計測用線分との距離を算出するエッジ距離算出手段と、
前記エッジ距離算出手段において算出された距離を小さくするように前記撮像装置の位置姿勢を更新する位置姿勢更新手段とを備えることを特徴とする請求項１または２に記載の位置姿勢計測装置。
【請求項４】
前記線分抽出手段は、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の法線方向の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項１乃至３の何れか１項に記載の位置姿勢計測装置。
【請求項５】
前記線分抽出手段は、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の色の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項１乃至３の何れか１項に記載の位置姿勢計測装置。
【請求項６】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
計測対象物体の３次元モデルデータを保持する保持手段と、前記３次元モデルデータは、各線分について撮像画像のエッジの検出に用いる線分であるか否かを示す属性が付与されており、
前記３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータから、撮像画像のエッジの検出に用いる線分であることを示す属性が付与されている線分を計測用線分として抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出手段とを備えることを特徴とする位置姿勢計測装置。
【請求項７】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置の制御方法であって、
構成面抽出手段が、保持されている前記計測対象物体の３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出工程と、
線分抽出手段が、前記３次元モデルデータの前記構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出する線分抽出工程と、
線分投影手段が、前記線分抽出工程で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影工程と、
選択手段が、前記構成面抽出工程で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択工程と、
算出手段が、前記選択工程により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出工程とを備えることを特徴とする位置姿勢計測装置の制御方法。
【請求項８】
前記選択工程では、
前記推定された位置姿勢を視点として前記計測対象物体の構成面を描画することにより前記推定された位置姿勢から観測したときの構成面の奥行き情報を保持し、
前記投影された計測用線分のうち、前記奥行き情報と比較して、視点側にある計測用線分を可視である計測用線分として選択することを特徴とする請求項７に記載の位置姿勢計測装置の制御方法。
【請求項９】
前記算出工程は、
前記撮像画像に投影された計測用線分に分割点を設定することにより、前記投影された計測用線分を分割する分割工程と、
前記分割点から前記撮像画像上の画素を探索して、濃度勾配の変化が閾値を越える位置をエッジ位置として検出するエッジ探索工程と、
前記エッジ探索工程で検出されたエッジ位置と、前記分割点が設定された計測用線分との距離を算出するエッジ距離算出工程と、
前記エッジ距離算出工程において算出された距離を小さくするように前記撮像装置の位置姿勢を更新する位置姿勢更新工程とを備えることを特徴とする請求項７または８に記載の位置姿勢計測装置の制御方法。
【請求項１０】
前記線分抽出工程では、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の法線方向の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項７乃至９の何れか１項に記載の位置姿勢計測装置の制御方法。
【請求項１１】
前記線分抽出工程では、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の色の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項７乃至９の何れか１項に記載の位置姿勢計測装置の制御方法。
【請求項１２】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置の制御方法であって、
保持手段が、計測対象物体の３次元モデルデータを保持する保持工程と、前記３次元モデルデータは、各線分について撮像画像のエッジの検出に用いる線分であるか否かを示す属性が付与されており、
構成面抽出手段が、前記３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出工程と、
線分抽出手段が、前記３次元モデルデータから、撮像画像のエッジの検出に用いる線分であることを示す属性が付与されている線分を計測用線分として抽出する線分抽出工程と、
線分投影手段が、前記線分抽出工程で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影工程と、
選択手段が、前記構成面抽出工程で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択工程と、
算出手段が、前記選択工程により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置と前記計測対象物体との相対的な位置姿勢を算出する算出工程とを備えることを特徴とする位置姿勢計測装置の制御方法。
【請求項１３】
請求項７乃至請求項１２のいずれか１項に記載の位置姿勢計測装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項１４】
請求項７乃至請求項１２のいずれか１項に記載の位置姿勢計測装置の制御方法をコンピュータに実行させるためのコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項１】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
保持されている前記計測対象物体の３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータの前記構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を、前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出手段とを備えることを特徴とする位置姿勢計測装置。
【請求項２】
前記選択手段は、
前記推定された位置姿勢を視点として前記計測対象物体の構成面を描画することにより前記推定された位置姿勢から観測したときの構成面の奥行き情報を保持し、
前記投影された計測用線分のうち、前記奥行き情報と比較して、視点側にある計測用線分を可視である計測用線分として選択することを特徴とする請求項１に記載の位置姿勢計測装置。
【請求項３】
前記算出手段は、
前記撮像画像に投影された計測用線分に分割点を設定することにより、前記投影された計測用線分を分割する分割手段と、
前記分割点から前記撮像画像上の画素を探索して、濃度勾配の変化が閾値を越える位置をエッジ位置として検出するエッジ探索手段と、
前記エッジ探索手段で検出されたエッジ位置と、前記分割点が設定された計測用線分との距離を算出するエッジ距離算出手段と、
前記エッジ距離算出手段において算出された距離を小さくするように前記撮像装置の位置姿勢を更新する位置姿勢更新手段とを備えることを特徴とする請求項１または２に記載の位置姿勢計測装置。
【請求項４】
前記線分抽出手段は、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の法線方向の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項１乃至３の何れか１項に記載の位置姿勢計測装置。
【請求項５】
前記線分抽出手段は、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の色の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項１乃至３の何れか１項に記載の位置姿勢計測装置。
【請求項６】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置であって、
計測対象物体の３次元モデルデータを保持する保持手段と、前記３次元モデルデータは、各線分について撮像画像のエッジの検出に用いる線分であるか否かを示す属性が付与されており、
前記３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出手段と、
前記３次元モデルデータから、撮像画像のエッジの検出に用いる線分であることを示す属性が付与されている線分を計測用線分として抽出する線分抽出手段と、
前記線分抽出手段で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影手段と、
前記構成面抽出手段で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択手段と、
前記選択手段により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出手段とを備えることを特徴とする位置姿勢計測装置。
【請求項７】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置の制御方法であって、
構成面抽出手段が、保持されている前記計測対象物体の３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出工程と、
線分抽出手段が、前記３次元モデルデータの前記構成面を形成する線分から、撮像画像のエッジの検出に用いる計測用線分を、隣接する構成面の特性に基づいて抽出する線分抽出工程と、
線分投影手段が、前記線分抽出工程で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影工程と、
選択手段が、前記構成面抽出工程で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択工程と、
算出手段が、前記選択工程により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置の前記計測対象物体に対する相対的な位置姿勢を算出する算出工程とを備えることを特徴とする位置姿勢計測装置の制御方法。
【請求項８】
前記選択工程では、
前記推定された位置姿勢を視点として前記計測対象物体の構成面を描画することにより前記推定された位置姿勢から観測したときの構成面の奥行き情報を保持し、
前記投影された計測用線分のうち、前記奥行き情報と比較して、視点側にある計測用線分を可視である計測用線分として選択することを特徴とする請求項７に記載の位置姿勢計測装置の制御方法。
【請求項９】
前記算出工程は、
前記撮像画像に投影された計測用線分に分割点を設定することにより、前記投影された計測用線分を分割する分割工程と、
前記分割点から前記撮像画像上の画素を探索して、濃度勾配の変化が閾値を越える位置をエッジ位置として検出するエッジ探索工程と、
前記エッジ探索工程で検出されたエッジ位置と、前記分割点が設定された計測用線分との距離を算出するエッジ距離算出工程と、
前記エッジ距離算出工程において算出された距離を小さくするように前記撮像装置の位置姿勢を更新する位置姿勢更新工程とを備えることを特徴とする請求項７または８に記載の位置姿勢計測装置の制御方法。
【請求項１０】
前記線分抽出工程では、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の法線方向の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項７乃至９の何れか１項に記載の位置姿勢計測装置の制御方法。
【請求項１１】
前記線分抽出工程では、前記３次元モデルデータに登録されている線分のうち、隣接する構成面の色の差が閾値を越える場合に、当該隣接する構成面に挟まれた線分を計測用線分として抽出することを特徴とする請求項７乃至９の何れか１項に記載の位置姿勢計測装置の制御方法。
【請求項１２】
計測対象物体を撮像する撮像装置の前記計測対象物体に対する相対的な位置姿勢を計測する位置姿勢計測装置の制御方法であって、
保持手段が、計測対象物体の３次元モデルデータを保持する保持工程と、前記３次元モデルデータは、各線分について撮像画像のエッジの検出に用いる線分であるか否かを示す属性が付与されており、
構成面抽出手段が、前記３次元モデルデータに基づいて前記計測対象物体の構成面を抽出する構成面抽出工程と、
線分抽出手段が、前記３次元モデルデータから、撮像画像のエッジの検出に用いる線分であることを示す属性が付与されている線分を計測用線分として抽出する線分抽出工程と、
線分投影手段が、前記線分抽出工程で抽出された計測用線分を前記撮像装置の推定された位置姿勢に基づいて前記撮像画像に投影する線分投影工程と、
選択手段が、前記構成面抽出工程で抽出された構成面に基づいて、前記撮像画像に投影された計測用線分のうち前記推定された位置姿勢において可視である計測用線分を選択する選択工程と、
算出手段が、前記選択工程により選択された計測用線分と、前記撮像画像の対応するエッジとに基づいて、前記撮像装置と前記計測対象物体との相対的な位置姿勢を算出する算出工程とを備えることを特徴とする位置姿勢計測装置の制御方法。
【請求項１３】
請求項７乃至請求項１２のいずれか１項に記載の位置姿勢計測装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項１４】
請求項７乃至請求項１２のいずれか１項に記載の位置姿勢計測装置の制御方法をコンピュータに実行させるためのコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【公開番号】特開２００８−２８６７５６（Ｐ２００８−２８６７５６Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３４５８３（Ｐ２００７−１３４５８３）
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]