マーカ自動登録方法及びシステム
【課題】近両用マーカの３次元位置と方向の計測と計測結果の記憶の手間を省くと共に計測ミスの発生を低減する。
【解決手段】作業環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に遠近両用マーカ１を貼り付け、作業環境に貼り付けた遠近両用マーカ１を見渡せる位置にビデオカメラ２とレーザ距離計測器３を備えたマーカ自動登録システムを設置して作業環境に貼り付けられた総ての遠近両用マーカ１の３次元位置と方向を計測し、これを世界座標系Ｗで表された３次元位置と方向に変換して記憶する。
【解決手段】作業環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に遠近両用マーカ１を貼り付け、作業環境に貼り付けた遠近両用マーカ１を見渡せる位置にビデオカメラ２とレーザ距離計測器３を備えたマーカ自動登録システムを設置して作業環境に貼り付けられた総ての遠近両用マーカ１の３次元位置と方向を計測し、これを世界座標系Ｗで表された３次元位置と方向に変換して記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感の運用等に用いるのに好適なマーカの自動登録方法及びシステムに関する。
【背景技術】
【０００２】
拡張現実感(Augmented Reality)が原子力発電プラント内で使用することができるようになれば、プラントで働く作業者に対して様々な支援を行なうことが可能となる。
【０００３】
拡張現実感を使用するためには、作業者の位置と方向をリアルタイム計測するトラッキング技術が必要であるが、ＧＰＳ(Global Positioning System)・磁気センサ・超音波センサ・慣性センサ等の既存のトラッキング技術は、単独では、原子力発電プラント内部で使用することができない。
【０００４】
そこで、発明者らは、原子力発電プラント内部でも使用可能なトラッキング手法として、カメラと遠近両用マーカを用いたトラッキング手法を開発してきた。
【０００５】
カメラと遠近両用マーカを用いたトラッキング手法は、作業環境内に複数のマーカを貼り付け、それらをカメラで撮影し、画像処理と幾何計算によりカメラとマーカの間の相対的な位置関係を求める手法である。
【０００６】
この手法は、屋内でも使用可能、金属や騒音の影響を受けない、時間経過による精度低下や安定性低下がない等の利点があるが、事前に複数のマーカを作業環境内に貼り付け、その３次元位置と方向を計測して記憶しておくことが必要である。
【０００７】
【特許文献１】再公表Ｗ２００５−０１７６４４号公報
【特許文献２】特開２００４−２８７８８号公報
【非特許文献１】Ｌ．Ｑｕａｎ ｅｔ ａｌ ：Ｌｉｎｅａｒ Ｎ−Ｐｏｉｎｔ Ｃａｍｅｒａ Ｐｏｓｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２１，Ｎｏ．７，ｐｐ．７７４−７８０，１９９９．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述したカメラと遠近両用マーカを用いたトラッキング手法において、貼り付けたマーカの３次元位置と方向を予め計測して記憶させる作業は、手作業で行なってきたが、作業環境が原子力発電プラントであるような場合には、マーカの貼り付け方が複雑になり、非常に手間がかかると共に計測ミスも発生する問題があった。
【０００９】
従って、本発明の１つの目的は、遠近両用マーカの３次元位置と方向の計測と計測結果の記憶を自動化することにより手間を省くと共に計測ミスの発生を低減しようとすることにある。
【００１０】
本発明の他の目的は、更に、前記マーカの位置と方向を世界座標系の形態で記憶することにある。
【課題を解決するための手段】
【００１１】
本発明のマーカ自動登録方法及びシステムは、小型コンピュータで制御可能なビデオカメラ、レーザ距離計測器、電動雲台等を使用して作業環境に貼り付けられている遠近両用マーカの３次元位置と方向を自動的に計測し、計測結果を登録（記憶）する構成であり、
具体的には、
環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置にマーカを貼り付け、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶する方法において、
ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対してレーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うことを特徴とするマーカ自動登録方法。
【００１２】
また、前記マーカとして、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものを使用することを特徴とする。
【００１３】
また、環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶するシステムにおいて、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
前記ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うプログラムを備えたことを特徴とする。
【００１４】
また、前記マーカは、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものであることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、遠近両用マーカの３次元位置と方向の計測と計測結果を世界座標系の形態で記憶する処理を自動化することにより手間を省くと共に計測ミスの発生を低減することができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶するシステムにおいて、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
前記ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うプログラムを備え、
前記マーカは、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものとする。
【実施例１】
【００１７】
図１は、この実施例１において使用する遠近両用マーカの平面図である。この遠近両用マーカ１は、四角形の白色の台紙１１の中心に配置した１つの大円１２と、台紙１１の４隅に配置した４つの小円１３０〜１３３によって構成し、大円１２と小円１３０〜１３３の中心を特徴点（画像処理により認識可能であり、トラッキングの基準となる点）とする。
【００１８】
大円１２の中には、１０個の同型の扇形１２ａ〜１２ｊを円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカ１のＩＤ番号を表現するようにする。
【００１９】
そして、この遠近両用マーカ１は、以下のようにしてトラッキングに使用する。
【００２０】
１）作業環境内に複数の遠近両用マーカ１を予め貼り付けて各遠近両用マーカのＩＤ番号と作業環境内での３次元位置を計測して記憶しておく。
【００２１】
２）遠近両用マーカ１が貼り付けられた作業環境を作業者が装着したカメラで撮影する。
【００２２】
３）撮影して得られたカメラ画像データを処理して各遠近両用マーカ１のＩＤ番号と特徴点のカメラ撮影画像上での位置を認識する。
【００２３】
４）カメラ撮影画像上での特徴点の位置と、作業環境内での各遠近両用マーカ１の３次元位置情報を用いて、ＰｎＰ問題（Perspective N-Point Problem）（非特許文献１参照）を解いてカメラと遠近両用マーカ１とカメラの間の相対的な位置と方向を求める。
【００２４】
このようにして行なうトラッキングにおいて、カメラと遠近両用マーカ１の間の相対的な位置と方向を一意に求めるためには、最低４個の特徴点が同時に認識されることが必要である。遠近両用マーカでは、カメラとマーカの間の距離が長いときには複数のマーカの大円の中心の特徴点を利用し、距離が短いときには、１つの遠近両用マーカの４つの小円の中心の特徴点を利用する。
【００２５】
したがって、この手法では、作業環境内に貼り付けた遠近両用マーカの総ての特徴点の３次元位置（もしくは、マーカ上の１点の３次元位置とマーカの方向）を事前に計測して記憶しておくことが必要である。
【００２６】
図２は、このような作業環境に貼り付けられた遠近両用マーカを自動的に計測して計測結果を登録するマーカ自動登録システムのハードウエア構成を示す斜視図である。
【００２７】
２は小型コンピュータで制御可能な電動雲台を内蔵するビデオカメラ、３はレーザ距離計測器、４はレーザ距離計測器３を載置する電動雲台、５は前記ビデオカメラ２とレーザ距離計測器３と電動雲台４と通信ケーブル６を介して接続されてこれらを制御する小型コンピュータ（携帯用パーソナルコンピュータ）、７は前記ビデオカメラ２と電動雲台４を取り付けて作業環境内に貼り付けられた遠近両用マーカを見渡せる位置に設置する三脚である。
【００２８】
ビデオカメラ２は、小型コンピュータ５からの制御信号により、方向，ズーム値，シャッタースピード等が制御される。そして、ビデオカメラ２の撮影画像データは、ビデオキャプチャデバイス（図示省略）を用いて小型コンピュータ５に入力する。
【００２９】
レーザ距離計測器３は、小型コンピュータ５からの制御信号により、電動雲台４が制御されることによりレーザ光照射方向を目標である遠近両用マーカ１に向け、この目標の遠近両用マーカ１に向けてレーザ光を照射し、その反射光と照射光の位相差をもとにレーザ距離計測器３と目標の遠近両用マーカ１との間の距離を計測し、計測結果を小型コンピュータ５に伝送する。
【００３０】
具体的には、例えば、次のような各機器を使用することにより実現することができる。
【００３１】
ビデオカメラ２
メーカ・型：SonyＥＶＩ−Ｄ３０
映像出力 ：ＮＴＳＣ
焦点距離 ：５．４ｍｍ〜６４．８ｍｍ
回転範囲 ：水平±１００度、垂直±２５度
制御端子 ：ＲＳ−２３２Ｃ
レーザ距離計測器３
メーカ・型：Leica Geosystems ＤＩＳＴＯ Pro 4a
測定範囲 ：０．３ｍ〜４０ｍ
測定精度 ：標準±１．５ｍｍ 最大±２ｍｍ
制御端子 ：ＲＳ−２３２Ｃ
電動雲台４
メーカ・型：Directed Perception ＰＴＵ−Ｄ４６−７０
分解能 ：０．０１２８５７度
最高速度 ：６０度／秒
回転範囲 ：水平±１５９度、垂直−３１度＋４８度
制御端子 ：ＲＳ−２３２Ｃ
ビデオキャプチャ
メーカ・型：ＩＯ・ＤＡＴＡ機器 ＵＳＢ−ＣＡＰ２
画像入力 ：ＮＴＳＣ
解像度 ：最大３５２×２８８
画像出力 ：ＵＳＢ１．１・ＲＧＢ２４ｂｉｔ
取得速度 ：３０ｆｐｓ
小型コンピュータ５
メーカ・型：ＡＳＵＳ Ｍ５Ｎ
ＣＰＵ ：Pentium Ｍ１．４ＧＨｚ (Pentiumは登録商標)
メモリ ：ＤＤＲ３３３ ７６８ＭＢ
ＯＳ ：Microsoft Windows ＸＰ Home Edition （Microsoft Windowsは登録商標）
このようにして構成したマーカ自動登録システムは、作業環境に貼り付けられている遠近両用マーカ１の３次元位置と方向を自動的に計測し、計測結果を記憶する構成である。
【００３２】
このマーカ自動登録システムを用いて遠近両用マーカを計測して記憶（登録）するための具体的な方法は、次のようになる。
【００３３】
ステップＳ１
作業環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に遠近両用マーカ１を貼り付ける。
【００３４】
ステップＳ２
作業環境に貼り付けた遠近両用マーカ１を見渡せる位置にマーカ自動登録システムを設置する。
【００３５】
ステップＳ３
マーカ自動登録システムを用いて作業環境に貼り付けられた総ての遠近両用マーカ１の３次元位置と方向を計測する。
【００３６】
ステップＳ４
計測結果をファイルに保存し、拡張現実感を使用するシステムに転送する。
【００３７】
前記ステップＳ３における遠近両用マーカ１の計測は、次のようにして自動的に実行する。
【００３８】
ステップＳ３１
ビデオカメラ２を稼動範囲全体で等間隔に回転させながら撮影し、ビデオカメラ２に写った遠近両用マーカ１のＩＤ番号，大きさ，方向から、どの遠近両用マーカ１がどの位置に貼り付けられているかを画像処理により求める。ここで得られる位置情報には、比較的大きな誤差が含まれる。
【００３９】
ステップＳ３２
前記ステップＳ３１において求めた総ての遠近両用マーカ１に対して、より正確な３次元位置と方向を、次のようにして計測する。
【００４０】
ステップＳ３２１
前記ステップＳ３１において得られた遠近両用マーカ１の位置情報をもとに、ビデオカメラ２の撮影画像の中心に目標の遠近両用マーカ１の映像が写るようにビデオカメラ２の方向とズームを調整制御する。
【００４１】
ステップＳ３２２
前記ステップＳ３１において得られた遠近両用マーカ１の位置情報をもとに、レーザ距離計測器３のレーザ照射方向を目標の遠近両用マーカ１の方向に向けるように電動雲台４を制御する。
【００４２】
ステップＳ３２３
レーザ照射前のビデオカメラ２の撮影画像と、レーザ照射後のビデオカメラ２の撮影画像を比較することによりレーザ照射位置（レーザ照射スポットの位置）を認識する。
【００４３】
ステップＳ３２４
レーザ照射位置が目標の遠近両用マーカ１の中心（大円１２の中心と同じ）になるように電動雲台４を制御してレーザ距離計測器３の向きを微調整する。
【００４４】
ステップＳ３２５
目標の遠近両用マーカ１とレーザ距離計測器３の間の距離を計測する。
【００４５】
ステップＳ３２６
前記ステップＳ３２４で調整したレーザ距離計測器３の向きとステップＳ３２５で計測した距離に基づいて、目標の遠近両用マーカ１の３次元位置を求める。
【００４６】
ステップＳ３２７
前述したステップＳ３２２〜ステップＳ３２６と同様な方法により、目標の遠近両用マーカ１の４隅の小円近傍の３次元位置を求める。
【００４７】
ステップＳ３３
作業環境の基準となる位置に貼り付けた遠近両用マーカ１の３次元位置の情報を用いて、世界座標系を基準とした各遠近両用マーカ１の３次元位置と方向を計算により求める。
【００４８】
以上のように、このマーカ自動登録システムは、遠近両用マーカ１を貼り付けた作業環境に設置された後は、全自動で各遠近両用マーカ１の３次元位置と方向を計測するために、計測中に作業員がシステムを操作する必要がなく、多数の遠近両用マーカ１の３次元位置と方向を計測するのに要する労力を大幅に低減することができる。
【００４９】
また、各遠近両用マーカ１の計測結果は、最終的には、世界座標系を基準とした値に変換されるために、マーカ自動登録システムを作業環境の何処に置いて使用しても、計測誤差を除いて、常に同じ結果を得ることができる。
【００５０】
一方、前記方法では、このマーカ自動登録システムから見えない位置に貼り付けられている遠近両用マーカ１は計測することができないため、入り組んだ環境に貼り付けられた遠近両用マーカ１の総てを一度に計測することはできない。このような場合には、最低４個の遠近両用マーカ１を重複して計測することができることを条件にして、マーカ自動登録システムの設置位置を複数回移動させて遠近両用マーカ１を計測し、重複して計測した遠近両用マーカの位置情報を用いて、それらの計測結果を統合することが可能である。
【００５１】
ここで、前述した遠近両用マーカの自動計測を実現するアルゴリズムを説明する。このアルゴリズムは、小型コンピュータ５に組み込んだ制御及び情報処理プログラムを実行することにより実現する。
【００５２】
図３は、このマーカ自動登録システムで取り扱う座標系を示している。座標系は、総て右手系とする。
【００５３】
世界座標系Ｗは、拡張現実感を利用する作業環境内に固定され、１番の遠近両用マーカの中心を原点、この１番の遠近両用マーカの中心から２番の遠近両用マーカの中心へ向う方向をＸ軸とし、１番、２番、３番の遠近両用マーカの中心を含む平面をＸＹ平面とする。
【００５４】
レーザ雲台座標系Ａは、レーザ距離計測器３を搭載する電動雲台４のチルト（上下）方向の回転軸と、パン（左右）方向の回転軸の交点を原点とし、電動雲台４が初期化されたときの上下方向をＺ軸、正面方向をＸ軸の負の方向とする。レーザ距離計測器座標系Ｌは、レーザ雲台座標系Ａの原点を通る電動雲台４の回転台面に垂直な直線と回転台面の交点を原点とし、電動雲台４が初期化されたときの上下方向をＺ軸、正面方向をＸ軸の負の方向とする。
【００５５】
撮影画像（スクリーン）座標系Ｓは、ビデオカメラ２のＣＣＤ素子平面上に設定され、ビデオカメラ２の撮影方向を見て左上隅を原点、右向きをＸ軸、下向きをＹ軸とする。
【００５６】
カメラ雲台座標系Ｂは、ビデオカメラ２に内蔵の電動雲台のチルト方向の回転軸と、パン方向の回転軸の交点を原点とし、電動雲台が初期化されたときの上方向をＺ軸、正面方向をＸ軸の負の方向とする。
【００５７】
カメラ座標系Ｃは、ビデオカメラ２の焦点を原点、画像平面の中央を通り、該画像平面に垂直な方向をＸ軸負の方向、撮影画像座標系ＳのＸ軸に平行な方向をＹ軸とする。
【００５８】
ＩＤ番号がｉの遠近両用マーカ１のマーカｉ座標系Ｍｉは、遠近両用マーカ１の種類の数だけ設定され、遠近両用マーカ１の中心を原点、マーカ面の法線方向をＺ軸とし、遠近両用マーカ１の番号を表す扇形１２ａ（〜１２ｊ）の最上位ビットと最下位ビットの境界をＸ軸とする。
【００５９】
この説明では、スカラー変数を小文字で表し、ベクトルや行列を大文字で表す。また、各変数の基準座標系（観測座標系）をＷＲ１２のように左上添え字で表す。
【００６０】
この実施例では、カメラ雲台座標系Ｂとカメラ座標系Ｃの原点は同じであると近似し、レーザ雲台座標系Ａとカメラ雲台座標系Ｂは、各軸が平行になるように予め固定されているものとする。また、レーザ距離計測器３をチルト方向に回転させる際、レーザ距離計測器座標系Ｌの原点は、回転軸から距離ｄＡＬ離れた円周上を回転するものとする。
【００６１】
マーカ認識アルゴリズムについて説明する。このアルゴリズムは、ビデオカメラ２に写った遠近両用マーカ１のＩＤ番号、大円１２の特徴点の位置（ｘｌ，ｙｌ）、小円１３０〜１３３の特徴点の位置（ｘｓｉ，ｙｓｉ）（ｉ＝０，１，２，３）、大円１２の大きさｒｉｍａｇｅ（楕円の長軸半径）を認識するアルゴリズムである。このアルゴリズムは、遠近両用マーカ１を用いてトラッキングするときに用いるアルゴリズムと同じである。
【００６２】
ビデオカメラ２から取得したカラー撮影画像データをグレー画像データに変換し、各画素の輝度値を対数変換することにより、高輝度領域と低輝度領域の輝度の変化を強調する。
【００６３】
その後、３×３のＳｏｂｅｌフィルタを適用し、予め定めた閾値で２値化することにより、画像のエッジ（輝度の変化の大きい部分）を認識する。
【００６４】
その後、エッジとして認識された画素間の連結性（隣り合っているかどうか）を調べ、連結していると認識された個々のエッジ群が、楕円にフィッティングできるかどうかを判定する。楕円にフィッティングできると判定されたエッジ群の中の領域を解析し、その領域が遠近両用マーカ１であるかどうかを判定する。遠近両用マーカ１である場合は、このマーカのＩＤ番号と大円の長軸を認識すると共に大円と小円の中心を特徴点として認識する。
【００６５】
次に、ビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを説明する。このアルゴリズムは、遠近両用マーカ１の大円１２の半径ｒｒｅａｌ、カメラ撮影画像上のマーカの中心座標（ｘｌ，ｙｌ）、カメラ撮影画像上の大円の長軸半径ｒｉｍａｇｅ、ビデオカメラ２の内部パラメータ（焦点距離ｆ、ＣＣＤ素子の幅ｗＣＣＤ、画像の解像度ｗｒｅｓｏ、ｈｒｅｓｏ）から、ビデオカメラ２に写った遠近両用マーカ１とビデオカメラ２の間の距離ｄＣＭと、カメラ雲台座標系Ｂで表された遠近両用マーカ１のパン方向ＢθＭとチルト方向ＢφＭを求めるアルゴリズムである。
【００６６】
ビデオカメラ２のＣＣＤ素子の幅と解像度は、ビデオカメラ２とビデオキャプチャデバイスの仕様書から得ることができ、遠近両用マーカ１の大円１２の半径は、事前に遠近両用マーカ１を調べておくことにより得ることができる。
【００６７】
ステップＳ４１
マーカ認識アルゴリズムを用いてカメラ撮影画像上の遠近両用マーカの中心座標（ｘｌ，ｙｌ）と大円の長軸半径ｒｉｍａｇｅを求める。
【００６８】
ステップＳ４２
ビデオカメラ２と通信して前記カメラ撮影画像を撮影したときの該ビデオカメラ２のパン方向ＢθＣ、チルト方向ＢφＣ、焦点距離ｆを得る。
【００６９】
ステップＳ４３
ビデオカメラ２と遠近両用マーカ１の間の距離ｄＣＭを式（数１）により求める。
【００７０】
【数１】
ただし、ｄは、カメラ撮影画像上における撮影画像の中心と遠近両用マーカ１の中心の間の距離である。
【００７１】
ステップＳ４４
カメラ雲台座標系Ｂで表された遠近両用マーカ１のパン方向ＢθＭ、チルト方向ＢφＭを式（数２）、（数３）により求める。
【００７２】
【数２】
【数３】
ただし、ｖｈ＝２arctan（ｗＣＣＤ／２ｆ）は、ビデオカメラ２の水平方向の画角である。
【００７３】
次に、レーザ距離計測器３を用いて遠近両用マーカ１上の１点の位置を計測するアルゴリズムを説明する。このアルゴリズムは、レーザ距離計測器３を搭載する電動雲台４のパン方向ＡθＬ、チルト方向ＡφＬと、レーザ距離計測器３と遠近両用マーカ１上の１点の間の距離ｄから遠近両用マーカ１上の１点の高精度な３次元位置ＡＴＡＰを求めるアルゴリズムである。
【００７４】
ステップＳ５１
後述する自動化方法により、レーザの照射位置を計測対象となる遠近両用マーカ１上の１点に合わせる。
【００７５】
ステップＳ５２
レーザ距離計測器３を制御して該レーザ距離計測器１と計測対象の点の間の距離ｄｌｐを得る。
【００７６】
ステップＳ５３
レーザ距離計測器１を搭載する電動雲台４から、前記距離を得たときのパン方向ＡθＬとチルト方向ＡφＬを得る。
【００７７】
ステップＳ５４
計測対象となる遠近両用マーカ１上の１点のレーザ雲台座標系Ａで表した３次元位置ＡＴＡＰを式（数４）により求める。
【００７８】
【数４】
ただし、ＬＤＰ＝（−ｄｌｐ，０，ｄＡＬ）Ｔとし、Ｒｚ（ＡθＬ）およびＲｙ（ＡφＬ）は、それぞれ、Ｚ軸を中心にＡθＬ、Ｙ軸を中心にＡφＬ回転させる回転行列である。
【００７９】
次に、１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムについて説明する。このアルゴリズムは、ビデオカメラ２に遠近両用マーカ１が写っている状態から、その遠近両用マーカ１の中心の正確な３次元位置ＡＴＡＭと方向ＡＲＡＭを自動的に計測するアルゴリズムである。
【００８０】
ステップＳ６０１
ビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを用いて、カメラ雲台座標系Ｂで表された遠近両用マーカ１のパン方向ＢθＭ、チルト方向ＢφＭを求める。
【００８１】
ステップＳ６０２
前記ステップＳ６０１で求めた情報に基づいて、遠近両用マーカ１がビデオカメラ２の撮影画像の中心に写るようにビデオカメラ２の撮影方向を調整する。
【００８２】
ステップＳ６０３
遠近両用マーカ１の大円１２のカメラ撮影画像上での長軸半径ｒｉｍａｇｅが、ビデオカメラ２の縦方向の解像度の３０％になるように、ビデオカメラ２の焦点距離を調整する。その際、焦点距離を調整する前の長軸半径ｒｉｍａｇｅが、ビデオカメラ２の縦方向の解像度の２０％よりも小さい場合には、一旦、長軸半径ｒｉｍａｇｅがビデオカメラ２の解像度の２０％になるように焦点距離を調整した後にステップＳ６０１とステップＳ６０２を繰り返して、遠近両用マーカ１の中心が再度ビデオカメラ２の撮影画像の中心に来るようにビデオカメラ２の撮影方向を調整し、その後、長軸半径ｒｉｍａｇｅがビデオカメラ２の縦方向の解像度の３０％となるように焦点距離を調整する。長軸半径ｒｉｍａｇｅがビデオカメラ２の縦方向の解像度のａ％になる焦点距離ｆａ％は、式（数５）により求める。
【００８３】
【数５】
ただし、ｆは、ステップＳ６０１において遠近両用マーカ１を認識したときのビデオカメラ２の焦点距離、ｒは、そのときの遠近両用マーカ１の大円１２のカメラ撮影画像上における長軸半径とする。
【００８４】
ステップＳ６０４
ステップＳ６０１とステップＳ６０２を繰り返し、遠近両用マーカ１の中心がカメラ撮影画像の中心に来るように再度ビデオカメラ２の撮影方向を調整する。
【００８５】
ステップＳ６０５
ステップＳ６０１を実行し、カメラ雲台座標系Ｂで表された遠近両用マーカ１の中心へのパン方向ＢθＭ、チルト方向ＢφＭ、遠近両用マーカ１とビデオカメラ２の間の距離ｄＣＭを求める。このとき、カメラ撮影画像上での遠近両用マーカ１の中心座標（ｘｌ，ｙｌ）、４つの小円１３の中心座標（ｘｓｉ，ｙｓｉ）（ｉ＝０，１，２，３）、大円１２の短軸半径ｄを記憶しておく。
【００８６】
ステップＳ６０６
遠近両用マーカ１の中心の３次元位置ベクトルＡＴＡＭを式（数６）により求める。
【００８７】
【数６】
ただし、ＣＤＭ＝（−ｄＣＭ，０，０）Ｔとし、ＡＴＡＭは、レーザ雲台座標系Ａからカメラ雲台座標系Ｂへ向かうベクトルであり、事前に計測しておくことが可能である。
【００８８】
ステップＳ６０７
ステップＳ６０６で求めた遠近両用マーカ１の中心の３次元位置ベクトルＡＴＡＭ＝（ＡｘＭ，ＡｙＭ，ＡｚＭ）から、式（数７）および（数８）を用いて、レーザ雲台座標系Ａで表された遠近両用マーカ１の中心のパン方向ＡθＭとチルト方向ＡφＭを求め、レーザ距離計測器３の向きを遠近両用マーカ１の中心の方向に向ける。
【００８９】
【数７】
【００９０】
【数８】
【００９１】
ステップＳ６０８
ビデオカメラ２のシャッタースピードを短くすることによってカメラ撮影画像の全体的な明るさを下げる。これは、後の処理において、レーザの照射位置の認識を容易にするためである。
【００９２】
ステップＳ６０９
リーザ距離計測器３によるレーザ照射を止める。
【００９３】
ステップＳ６１０
カメラ撮影画像データをＩｏｆｆとして保存する。
【００９４】
ステップＳ６１１
レーザ距離計測器３によるレーザ照射を再開する。
【００９５】
ステップＳ６１２
レーザ照射再開後のカメラ撮影画像データをＩｏｎとして保存する。
【００９６】
ステップＳ６１３
カメラ撮影画像データＩｏｆｆとＩｏｎの差分を取り、予め定めた閾値よりも差が大きい画素の面積Ｓｄｉｆｆを求める。
【００９７】
ステップＳ６１４
面積Ｓｄｉｆｆが予め定めた閾値（レーザ照射スポットの面積）よりも小さい場合はビデオカメラ２にレーザの照射スポットが写っていないと判断してステップＳ６１５へ進み、大きい場合はステップＳ６１６へ進む。
【００９８】
ステップＳ６１５
レーザ照射方向をステップＳ６０７で求めた遠近両用マーカ１の３次元位置方向を中心にして螺旋状に等間隔で回転させながら、ステップＳ６０９〜ステップＳ６１４を繰り返す。ただし、この繰り返し回数が規定の回数を超えた場合は、自動計測が失敗したと判断する。
【００９９】
ステップＳ６１６
ステップＳ６１３の差分計算で得た画素の重心座標Ｇ＝（ｘＧ，ｙＧ）を求める。
【０１００】
ステップＳ６１７
重心座標ＧとステップＳ６０５で認識した遠近両用マーカ１の中心座標（ｘｌ，ｙｌ）の差のベクトルを計算し、その長さがステップＳ６０５で認識した遠近両用マーカ１の大円１２の短軸半径ｂの１．５倍よりも小さい場合はステップＳ６１８へ進み、大きい場合はステップＳ６１５へ戻る。
【０１０１】
ステップＳ６１８
ステップＳ６１７で求めたベクトルが予め定めた閾値よりも小さい場合は、レーザが遠近両用マーカ１の中心に照射されていると判断してステップＳ６２０へ進み、大きい場合はステップＳ６１９に進む。
【０１０２】
ステップＳ６１９
ステップＳ６１７で求めたベクトルを用いて、レーザの照射位置を遠近両用マーカ１の中心に近づけた後、ステップＳ６０９へ戻る。レーザ距離計測器３を向けるべき方向は、式（数９）および（数１０）により求める。
【０１０３】
【数９】
【数１０】
ただし、ｖｈは、ステップＳ６１２の時点でのビデオカメラ２の水平方向の画角、Ａθ’ＭとＡφ’Ｍは、ステップＳ６１１の時点でのレーザ距離計測器３の向きである。
【０１０４】
ステップＳ６２０
レーザ距離計測器を用いて遠近両用マーカ上の１点の位置を計測するアルゴリズムを用いて遠近両用マーカ１の中心の正確な３次元位置ＡＴＡＭを求める。
【０１０５】
ステップＳ６２１
遠近両用マーカ１の大円１２と小円１３の間の領域（台紙の白色の領域）の中間点の座標（ｘｌｓｉ，ｙｌｓｉ）（ｉ＝０，１，２，３）を式（数１１）および（数１２）により求める。
【０１０６】
【数１１】
【数１２】
ただし、ｒｓｒｅａｌは小円１３の半径、ｄは小円１３の中心と遠近両用マーカ１の中心の間の距離である。
【０１０７】
ステップＳ６２２
ステップＳ６０９〜ステップＳ６２０と同様の処理をステップＳ６２１で求めた４点に対して行い、これらの正確な３次元位置ＡＴＡＭｉ（ｉ＝０，１，２，３）を計測する。
【０１０８】
ステップＳ６２３
遠近両用マーカ１のＸ軸、Ｙ軸、Ｚ軸方向のベクトルＡＸＭ、ＡＹＭ、ＡＺＭを式（数１３）〜（数１５）により求める。
【０１０９】
【数１３】
【数１４】
【数１５】
ただし、ｉ＝０となる小円１３０がマーカ座標系上でｘ＞０，ｙ＞０の位置にあり、遠近両用マーカ１を正面からみて時計回りに小円の番号が付けられているものとする。
【０１１０】
ステップＳ６２４
ＡＸＭ、ＡＹＭ、ＡＺＭの単位ベクトルＡＸＭｕ、ＡＹＭｕ、ＡＺＭｕから式（数１６）により遠近両用マーカ１の方向ＡＲＡＭを求める。
【０１１１】
【数１６】
【０１１２】
この１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムにおける前記ステップＳ６１７において、レーザの照射位置と遠近両用マーカ１の中心位置の距離がカメラ撮影画像上での遠近両用マーカ１の大円１２の短軸半径の１．５倍よりも小さいときにのみステップＳ６１８を実行するようにしたのは、原子力発電プラント内部のような複雑な環境では、レーザが遠近両用マーカ１の背面を通過する場合があり、カメラ撮影画像上に写し出されたレーザと遠近両用マーカ１の位置関係だけでは、レーザの照射方向をどの方向に変更するべきかが判断できないためである。一方、レーザの照射位置と遠近両用マーカ１の中心位置の間の距離が遠近両用マーカ１の大円１２のカメラ撮影画像上での短軸半径の１．５倍よりも小さい場合は、レーザは既に遠近両用マーカ１上に照射していると判断することができ、遠近両用マーカ１は必ず平面であるため、ステップＳ６１９により、必ずレーザの照射位置を遠近両用マーカ１の中心に近い方に調整することができる。ここで、短軸半径の１．５倍としたのは、遠近両用マーカ１の周辺には空白の領域があり、その領域も平面であるからである。
【０１１３】
また、ステップＳ６２１以降において、小円１３の中心位置を計測するのではなく、小円１３と大円１２の間の白色の領域を計測するのは、小円１３の中心のように黒色の中心は、レーザの反射が弱く、遠近両用マーカ１を斜めから計測した場合に、レーザ距離計測器３では距離を計測することができない場合があるためである。
【０１１４】
なお、このアルゴリズムを実行する際には、電動雲台を駆動制御した後は、次の処理に移る前に０．５秒〜１秒程度の猶予（動作休止）期間を設けることが必要である（この猶予期間は、電動雲台の動作の大きさに依存する。）。これは、電動雲台を駆動制御すると、システム全体が振動するためで、ビデオカメラ２で取得するカメラ撮影画像データやレーザの照射先（レーザ照射スポット）が静止するのを待つ必要があるためである。
【０１１５】
次に、マーカの位置と方向を世界座標系に変換するアルゴリズムについて説明する。
【０１１６】
このアルゴリズムは、前述した１つの遠近両用マーカ１の位置と方向を自動的に計測するアルゴリズムにより得られたレーザ雲台座標系Ａで表された遠近両用マーカ１の３次元位置と方向を、世界座標系Ｗで表された３次元位置と方向に変換するアルゴリズムである。このアルゴリズムを実行するにあたっては、計測対象となる遠近両用マーカ１に加え、１番と２番の遠近両用マーカが世界座標系Ｗの原点とＸ軸上の点にそれぞれ貼り付けられており、３番の遠近両用マーカがＸＹ平面上に貼り付けられているものとする。
【０１１７】
ステップＳ７０１
前述した１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムを用いて、変換対象の遠近両用マーカ１の３次元位置ＡＴＡＭｉと方向ＡＲＡＭｉおよび１番から３番の遠近両用マーカの３次元位置ＡＴＡＭｊ（ｊ＝１，２，３）を求める。
【０１１８】
ステップＳ７０２
レーザ雲台座標系Ａで表された世界座標系ＷのＸ，Ｙ，Ｚ軸方向の単位ベクトルＡＸＷｕ，ＡＹＷｕ，ＡＺＷｕを式（数１７）〜（数１９）を用いて求める。
【０１１９】
【数１７】
【０１２０】
【数１８】
【０１２１】
【数１９】
【０１２２】
ステップＳ７０３
世界座標系Ｗからレーザ雲台座標系Ａへの回転行列ＷＲＷＡを式（数２０）により求める。
【０１２３】
【数２０】
【０１２４】
ステップＳ７０４
世界座標系Ｗからレーザ雲台座標系Ａへの平行移動ベクトルＷＴＷＡを式（数２１）により求める。
【０１２５】
【数２１】
【０１２６】
ステップＳ７０５
レーザ雲台座標系Ａから世界座標系Ｗへの同次変換行列ＡＴ４４ＡＷを式（数２２）により求める。
【０１２７】
【数２２】
【０１２８】
ステップＳ７０６
式（数２３）により、レーザ雲台座標系Ａで表された遠近両用マーカの３次元位置ＡＴＡＭｉを世界座標系Ｗで表された３次元位置ＷＴＷＭｉに変換する。
【０１２９】
【数２３】
【０１３０】
ステップＳ７０７
前述した１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムにおけるステップＳ６２３の処理の前に、ＡＴＡＭｉ（ｉ＝０，１，２，３）を式（数２３）で変換することにより、世界座標系Ｗで表された遠近両用マーカ１の方向ＷＲＷＭｉを得る。
【０１３１】
次に、総ての遠近両用マーカの位置と方向を自動的に計測して登録するアルゴリズムを説明する。このアルゴリズムは、ビデオカメラ２で撮影可能かつレーザ距離計測器３で距離を計測可能な範囲にある総ての遠近両用マーカ１の世界座標系Ｗで表された３次元位置と方向を全自動で計測して記憶（登録）するアルゴリズムである。
【０１３２】
ステップＳ８０１
ビデオカメラ２の焦点距離を設定可能な最も短い値に設定する（ビデオカメラ２を最も広角にする）。
【０１３３】
ステップＳ８０２
ビデオカメラ２の稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラ２の撮影方向を回転させ、各撮影方向において、前述したビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、作業環境に貼り付けられた遠近両用マーカ１との距離と存在する方向を認識して記憶する。
【０１３４】
ステップＳ８０３
ビデオカメラ２の焦点距離を最も短い値の２倍の値および３倍の値に設定してステップＳ８０２を繰り返す。
【０１３５】
ステップＳ８０４
ステップＳ８０３までに認識して記憶した個々の遠近両用マーカ１に対して前述したレーザ距離計測器を用いて遠近両用マーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総ての遠近両用マーカ１の３次元位置と方向を計測して記憶する。
【０１３６】
ステップＳ８０５
ステップＳ８０４で記憶した総ての遠近両用マーカ１の３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系Ｗで表された３次元位置と方向を求めて記憶（登録）する。
【０１３７】
以上の方法で計測した遠近両用マーカ１の３次元位置と方向は、以下の方法で利用することができる。
【０１３８】
作業環境である原子力発電プラント内で使用するときには、壁や作業対象機器の周辺に貼り付けられた複数の遠近両用マーカ１について、事前に、前述したようにしてその３次元位置と方向を計測して得た世界座標系Ｗで表された３次元位置と方向の情報として拡張現実感に取得（記憶）しておく。
【０１３９】
拡張現実感を使用するときの機器としてＨＭＤ(Head Mounted Display)を用いる場合には、ビデオカメラをＭＨＤの前面か作業員のヘルメットの前部に取り付け、ＰＤＡ(Personal Digital Assistant)等の小型ディスプレイを用いる場合には、ビデオカメラを機器画面の裏側に取り付ける。
【０１４０】
遠近両用マーカ１と作業員（ビデオカメラ）の間の距離が長いときは、ビデオカメラには多数の遠近両用マーカ１が小さく写ることになり、遠近両用マーカの大円の中心は認識することができるが、４つの小円の中心は認識することが困難である。従って、１つの遠近両用マーカ１からは１つの特徴点しか得ることができないが、複数の遠近両用マーカの特徴点を同時に得ることができるので、遠近両用マーカ１についての記憶情報を参照してトラッキングするのに必要な数の特徴点の認識が可能になる。
【０１４１】
遠近両用マーカ１と作業員（ビデオカメラ）の間の距離が短いときは、ビデオカメラには少数の遠近両用マーカ１が大きく写ることになり、小円の特徴も認識することができることから、遠近両用マーカ１上の総ての特徴点を認識することが可能となり、１つの遠近両用マーカ１が写るだけでトラッキングするのに必要な数の特徴点の認識が可能になる。
【０１４２】
このように、この実施例で使用する遠近両用マーカ１は、１つの遠近両用マーカ１が近距離と遠距離の両方で効果的にトラッキングに利用することが可能となり、作業環境に貼り付ける遠近両用マーカ１の数を減らすことができる利点がある。
【０１４３】
この実施例で例示したマーカ自動登録システムによる計測精度と計測に要する時間に関する実験結果について説明する。
【０１４４】
この実験は、大型プリンタを用いて図４に示すように９個の遠近両用マーカ１を印刷した紙を壁に貼り付け、前記９個の遠近両用マーカ１の３次元位置と方向を自動登録システムを用いて自動計測して登録する処理における登録結果とそれに要した時間を記録するように行った。
【０１４５】
遠近両用マーカ１は、大円１２の半径を５０ｍｍ、小円１３０〜１３３の半径を６ｍｍ、大円１２の中心と小円１３０〜１３３の中心の間の距離を７１ｍｍとした。マーカ自動登録システムの設置位置は、図５に示すように、中央の１番の遠近両用マーカ１から２ｍの位置と４ｍの位置、中央の１番の遠近両用マーカ１の法線方向から０°の位置、２０°の位置、４０°の位置に変化させ（計６箇所）、総ての位置で５回繰り返して総ての遠近両用マーカ１を自動計測して登録した。
【０１４６】
その結果、総ての場合において、失敗することなく、遠近両用マーカ１を計測することができた。
【０１４７】
計測に要した時間は、可動範囲全体でビデオカメラ２を回転させて遠近両用マーカ１の位置と方向を認識して記憶する処理（ステップＳ８０１〜ステップＳ８０３の処理）で平均１９５秒、レーザ距離計測器３を用いて遠近両用マーカ１の正確な３次元位置と方向を認識して記憶する処理（ステップＳ８０４〜ステップＳ８０５）では遠近両用マーカ１の１個当たり平均５０秒であった。
【０１４８】
電動雲台を駆動制御した後に振動が収まるまでの猶予期間は、ビデオカメラ２とレーザ距離計測器３を異なる三脚を用いて設置したり、防振部材を用いてシステムの振動を低減する対策を行えば、猶予期間を短縮して所要時間を短縮することが可能となる。
【０１４９】
表１は、遠近両用マーカ１の計測結果と真値（大型プリンタにより遠近両用マーカ１を印刷する際に設定した遠近両用マーカ１の位置と方向から計算）を比較した結果（座標の規準となる１番〜３番の遠近両用マーカを除く）を示している。
【０１５０】
マーカ自動登録システムを設置した総ての位置での計測結果の二乗平均誤差（Root Mean Square Error）を求めた結果、位置に関してＸ，Ｙ，Ｚの各軸方向に２ｍｍ程度の誤差があり、方向に関しては、各軸を中心に１°未満の回転誤差があることが分かった（総ての軸を纏めた場合、位置は３．４ｍｍ、方向は１．１°の誤差）。
【０１５１】
【表１】
【０１５２】
図６は、遠近両用マーカ１の計測結果（登録情報）を用いて実際にトラッキングを行った際の精度を示している。
【０１５３】
解像度ＸＶＧＡ、水平画角約３３°のトラッキング用ビデオカメラを１番の遠近両用マーカ１の正面約０．５ｍの位置から約０．５ｍ間隔で約５．０ｍ移動させ、各位置で１０回ずつトラッキングを行う処理を、前述した方法で登録した３０セットのマーカ配置情報の総てを用いて繰り返し行い、それらの総ての結果に対する平均二乗誤差を求めた。その結果、トラッキング範囲全体で平均二乗誤差が２００ｍｍ未満であり、危険箇所表示機能等を備えた拡張現実感環境を実現することが可能であることが分かった。
【図面の簡単な説明】
【０１５４】
【図１】本発明の実施例１において使用する遠近両用マーカの平面図である。
【図２】作業環境に貼り付けられた遠近両用マーカを自動的に計測して計測結果を登録する本発明の実施例１におけるマーカ自動登録システムのハードウエア構成を示す斜視図である。
【図３】このマーカ自動登録システムで取り扱う座標系を示すものである。
【図４】本発明の実施例１において９個の遠近両用マーカを印刷した紙を壁に貼り付けた状態を示す正面図である。
【図５】本発明の実施例１において壁に貼り付けた遠近両用マーカとシステムの設置位置関係を示す平面図である。
【図６】本発明の実施例１により記憶した遠近両用マーカの計測結果（登録情報）を用いて実際にトラッキングを行った際の精度を示す特性図である。
【符号の説明】
【０１５５】
１…遠近両用マーカ、１１…台紙、１２…大円、１３０〜１３３…小円、２…ビデオカメラ、３…レーザ距離計測器、４…電動雲台、５…小型コンピュータ、７…三脚。
【技術分野】
【０００１】
本発明は、拡張現実感の運用等に用いるのに好適なマーカの自動登録方法及びシステムに関する。
【背景技術】
【０００２】
拡張現実感(Augmented Reality)が原子力発電プラント内で使用することができるようになれば、プラントで働く作業者に対して様々な支援を行なうことが可能となる。
【０００３】
拡張現実感を使用するためには、作業者の位置と方向をリアルタイム計測するトラッキング技術が必要であるが、ＧＰＳ(Global Positioning System)・磁気センサ・超音波センサ・慣性センサ等の既存のトラッキング技術は、単独では、原子力発電プラント内部で使用することができない。
【０００４】
そこで、発明者らは、原子力発電プラント内部でも使用可能なトラッキング手法として、カメラと遠近両用マーカを用いたトラッキング手法を開発してきた。
【０００５】
カメラと遠近両用マーカを用いたトラッキング手法は、作業環境内に複数のマーカを貼り付け、それらをカメラで撮影し、画像処理と幾何計算によりカメラとマーカの間の相対的な位置関係を求める手法である。
【０００６】
この手法は、屋内でも使用可能、金属や騒音の影響を受けない、時間経過による精度低下や安定性低下がない等の利点があるが、事前に複数のマーカを作業環境内に貼り付け、その３次元位置と方向を計測して記憶しておくことが必要である。
【０００７】
【特許文献１】再公表Ｗ２００５−０１７６４４号公報
【特許文献２】特開２００４−２８７８８号公報
【非特許文献１】Ｌ．Ｑｕａｎ ｅｔ ａｌ ：Ｌｉｎｅａｒ Ｎ−Ｐｏｉｎｔ Ｃａｍｅｒａ Ｐｏｓｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２１，Ｎｏ．７，ｐｐ．７７４−７８０，１９９９．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述したカメラと遠近両用マーカを用いたトラッキング手法において、貼り付けたマーカの３次元位置と方向を予め計測して記憶させる作業は、手作業で行なってきたが、作業環境が原子力発電プラントであるような場合には、マーカの貼り付け方が複雑になり、非常に手間がかかると共に計測ミスも発生する問題があった。
【０００９】
従って、本発明の１つの目的は、遠近両用マーカの３次元位置と方向の計測と計測結果の記憶を自動化することにより手間を省くと共に計測ミスの発生を低減しようとすることにある。
【００１０】
本発明の他の目的は、更に、前記マーカの位置と方向を世界座標系の形態で記憶することにある。
【課題を解決するための手段】
【００１１】
本発明のマーカ自動登録方法及びシステムは、小型コンピュータで制御可能なビデオカメラ、レーザ距離計測器、電動雲台等を使用して作業環境に貼り付けられている遠近両用マーカの３次元位置と方向を自動的に計測し、計測結果を登録（記憶）する構成であり、
具体的には、
環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置にマーカを貼り付け、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶する方法において、
ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対してレーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うことを特徴とするマーカ自動登録方法。
【００１２】
また、前記マーカとして、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものを使用することを特徴とする。
【００１３】
また、環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶するシステムにおいて、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
前記ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うプログラムを備えたことを特徴とする。
【００１４】
また、前記マーカは、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものであることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、遠近両用マーカの３次元位置と方向の計測と計測結果を世界座標系の形態で記憶する処理を自動化することにより手間を省くと共に計測ミスの発生を低減することができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶するシステムにおいて、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
前記ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うプログラムを備え、
前記マーカは、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものとする。
【実施例１】
【００１７】
図１は、この実施例１において使用する遠近両用マーカの平面図である。この遠近両用マーカ１は、四角形の白色の台紙１１の中心に配置した１つの大円１２と、台紙１１の４隅に配置した４つの小円１３０〜１３３によって構成し、大円１２と小円１３０〜１３３の中心を特徴点（画像処理により認識可能であり、トラッキングの基準となる点）とする。
【００１８】
大円１２の中には、１０個の同型の扇形１２ａ〜１２ｊを円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカ１のＩＤ番号を表現するようにする。
【００１９】
そして、この遠近両用マーカ１は、以下のようにしてトラッキングに使用する。
【００２０】
１）作業環境内に複数の遠近両用マーカ１を予め貼り付けて各遠近両用マーカのＩＤ番号と作業環境内での３次元位置を計測して記憶しておく。
【００２１】
２）遠近両用マーカ１が貼り付けられた作業環境を作業者が装着したカメラで撮影する。
【００２２】
３）撮影して得られたカメラ画像データを処理して各遠近両用マーカ１のＩＤ番号と特徴点のカメラ撮影画像上での位置を認識する。
【００２３】
４）カメラ撮影画像上での特徴点の位置と、作業環境内での各遠近両用マーカ１の３次元位置情報を用いて、ＰｎＰ問題（Perspective N-Point Problem）（非特許文献１参照）を解いてカメラと遠近両用マーカ１とカメラの間の相対的な位置と方向を求める。
【００２４】
このようにして行なうトラッキングにおいて、カメラと遠近両用マーカ１の間の相対的な位置と方向を一意に求めるためには、最低４個の特徴点が同時に認識されることが必要である。遠近両用マーカでは、カメラとマーカの間の距離が長いときには複数のマーカの大円の中心の特徴点を利用し、距離が短いときには、１つの遠近両用マーカの４つの小円の中心の特徴点を利用する。
【００２５】
したがって、この手法では、作業環境内に貼り付けた遠近両用マーカの総ての特徴点の３次元位置（もしくは、マーカ上の１点の３次元位置とマーカの方向）を事前に計測して記憶しておくことが必要である。
【００２６】
図２は、このような作業環境に貼り付けられた遠近両用マーカを自動的に計測して計測結果を登録するマーカ自動登録システムのハードウエア構成を示す斜視図である。
【００２７】
２は小型コンピュータで制御可能な電動雲台を内蔵するビデオカメラ、３はレーザ距離計測器、４はレーザ距離計測器３を載置する電動雲台、５は前記ビデオカメラ２とレーザ距離計測器３と電動雲台４と通信ケーブル６を介して接続されてこれらを制御する小型コンピュータ（携帯用パーソナルコンピュータ）、７は前記ビデオカメラ２と電動雲台４を取り付けて作業環境内に貼り付けられた遠近両用マーカを見渡せる位置に設置する三脚である。
【００２８】
ビデオカメラ２は、小型コンピュータ５からの制御信号により、方向，ズーム値，シャッタースピード等が制御される。そして、ビデオカメラ２の撮影画像データは、ビデオキャプチャデバイス（図示省略）を用いて小型コンピュータ５に入力する。
【００２９】
レーザ距離計測器３は、小型コンピュータ５からの制御信号により、電動雲台４が制御されることによりレーザ光照射方向を目標である遠近両用マーカ１に向け、この目標の遠近両用マーカ１に向けてレーザ光を照射し、その反射光と照射光の位相差をもとにレーザ距離計測器３と目標の遠近両用マーカ１との間の距離を計測し、計測結果を小型コンピュータ５に伝送する。
【００３０】
具体的には、例えば、次のような各機器を使用することにより実現することができる。
【００３１】
ビデオカメラ２
メーカ・型：SonyＥＶＩ−Ｄ３０
映像出力 ：ＮＴＳＣ
焦点距離 ：５．４ｍｍ〜６４．８ｍｍ
回転範囲 ：水平±１００度、垂直±２５度
制御端子 ：ＲＳ−２３２Ｃ
レーザ距離計測器３
メーカ・型：Leica Geosystems ＤＩＳＴＯ Pro 4a
測定範囲 ：０．３ｍ〜４０ｍ
測定精度 ：標準±１．５ｍｍ 最大±２ｍｍ
制御端子 ：ＲＳ−２３２Ｃ
電動雲台４
メーカ・型：Directed Perception ＰＴＵ−Ｄ４６−７０
分解能 ：０．０１２８５７度
最高速度 ：６０度／秒
回転範囲 ：水平±１５９度、垂直−３１度＋４８度
制御端子 ：ＲＳ−２３２Ｃ
ビデオキャプチャ
メーカ・型：ＩＯ・ＤＡＴＡ機器 ＵＳＢ−ＣＡＰ２
画像入力 ：ＮＴＳＣ
解像度 ：最大３５２×２８８
画像出力 ：ＵＳＢ１．１・ＲＧＢ２４ｂｉｔ
取得速度 ：３０ｆｐｓ
小型コンピュータ５
メーカ・型：ＡＳＵＳ Ｍ５Ｎ
ＣＰＵ ：Pentium Ｍ１．４ＧＨｚ (Pentiumは登録商標)
メモリ ：ＤＤＲ３３３ ７６８ＭＢ
ＯＳ ：Microsoft Windows ＸＰ Home Edition （Microsoft Windowsは登録商標）
このようにして構成したマーカ自動登録システムは、作業環境に貼り付けられている遠近両用マーカ１の３次元位置と方向を自動的に計測し、計測結果を記憶する構成である。
【００３２】
このマーカ自動登録システムを用いて遠近両用マーカを計測して記憶（登録）するための具体的な方法は、次のようになる。
【００３３】
ステップＳ１
作業環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に遠近両用マーカ１を貼り付ける。
【００３４】
ステップＳ２
作業環境に貼り付けた遠近両用マーカ１を見渡せる位置にマーカ自動登録システムを設置する。
【００３５】
ステップＳ３
マーカ自動登録システムを用いて作業環境に貼り付けられた総ての遠近両用マーカ１の３次元位置と方向を計測する。
【００３６】
ステップＳ４
計測結果をファイルに保存し、拡張現実感を使用するシステムに転送する。
【００３７】
前記ステップＳ３における遠近両用マーカ１の計測は、次のようにして自動的に実行する。
【００３８】
ステップＳ３１
ビデオカメラ２を稼動範囲全体で等間隔に回転させながら撮影し、ビデオカメラ２に写った遠近両用マーカ１のＩＤ番号，大きさ，方向から、どの遠近両用マーカ１がどの位置に貼り付けられているかを画像処理により求める。ここで得られる位置情報には、比較的大きな誤差が含まれる。
【００３９】
ステップＳ３２
前記ステップＳ３１において求めた総ての遠近両用マーカ１に対して、より正確な３次元位置と方向を、次のようにして計測する。
【００４０】
ステップＳ３２１
前記ステップＳ３１において得られた遠近両用マーカ１の位置情報をもとに、ビデオカメラ２の撮影画像の中心に目標の遠近両用マーカ１の映像が写るようにビデオカメラ２の方向とズームを調整制御する。
【００４１】
ステップＳ３２２
前記ステップＳ３１において得られた遠近両用マーカ１の位置情報をもとに、レーザ距離計測器３のレーザ照射方向を目標の遠近両用マーカ１の方向に向けるように電動雲台４を制御する。
【００４２】
ステップＳ３２３
レーザ照射前のビデオカメラ２の撮影画像と、レーザ照射後のビデオカメラ２の撮影画像を比較することによりレーザ照射位置（レーザ照射スポットの位置）を認識する。
【００４３】
ステップＳ３２４
レーザ照射位置が目標の遠近両用マーカ１の中心（大円１２の中心と同じ）になるように電動雲台４を制御してレーザ距離計測器３の向きを微調整する。
【００４４】
ステップＳ３２５
目標の遠近両用マーカ１とレーザ距離計測器３の間の距離を計測する。
【００４５】
ステップＳ３２６
前記ステップＳ３２４で調整したレーザ距離計測器３の向きとステップＳ３２５で計測した距離に基づいて、目標の遠近両用マーカ１の３次元位置を求める。
【００４６】
ステップＳ３２７
前述したステップＳ３２２〜ステップＳ３２６と同様な方法により、目標の遠近両用マーカ１の４隅の小円近傍の３次元位置を求める。
【００４７】
ステップＳ３３
作業環境の基準となる位置に貼り付けた遠近両用マーカ１の３次元位置の情報を用いて、世界座標系を基準とした各遠近両用マーカ１の３次元位置と方向を計算により求める。
【００４８】
以上のように、このマーカ自動登録システムは、遠近両用マーカ１を貼り付けた作業環境に設置された後は、全自動で各遠近両用マーカ１の３次元位置と方向を計測するために、計測中に作業員がシステムを操作する必要がなく、多数の遠近両用マーカ１の３次元位置と方向を計測するのに要する労力を大幅に低減することができる。
【００４９】
また、各遠近両用マーカ１の計測結果は、最終的には、世界座標系を基準とした値に変換されるために、マーカ自動登録システムを作業環境の何処に置いて使用しても、計測誤差を除いて、常に同じ結果を得ることができる。
【００５０】
一方、前記方法では、このマーカ自動登録システムから見えない位置に貼り付けられている遠近両用マーカ１は計測することができないため、入り組んだ環境に貼り付けられた遠近両用マーカ１の総てを一度に計測することはできない。このような場合には、最低４個の遠近両用マーカ１を重複して計測することができることを条件にして、マーカ自動登録システムの設置位置を複数回移動させて遠近両用マーカ１を計測し、重複して計測した遠近両用マーカの位置情報を用いて、それらの計測結果を統合することが可能である。
【００５１】
ここで、前述した遠近両用マーカの自動計測を実現するアルゴリズムを説明する。このアルゴリズムは、小型コンピュータ５に組み込んだ制御及び情報処理プログラムを実行することにより実現する。
【００５２】
図３は、このマーカ自動登録システムで取り扱う座標系を示している。座標系は、総て右手系とする。
【００５３】
世界座標系Ｗは、拡張現実感を利用する作業環境内に固定され、１番の遠近両用マーカの中心を原点、この１番の遠近両用マーカの中心から２番の遠近両用マーカの中心へ向う方向をＸ軸とし、１番、２番、３番の遠近両用マーカの中心を含む平面をＸＹ平面とする。
【００５４】
レーザ雲台座標系Ａは、レーザ距離計測器３を搭載する電動雲台４のチルト（上下）方向の回転軸と、パン（左右）方向の回転軸の交点を原点とし、電動雲台４が初期化されたときの上下方向をＺ軸、正面方向をＸ軸の負の方向とする。レーザ距離計測器座標系Ｌは、レーザ雲台座標系Ａの原点を通る電動雲台４の回転台面に垂直な直線と回転台面の交点を原点とし、電動雲台４が初期化されたときの上下方向をＺ軸、正面方向をＸ軸の負の方向とする。
【００５５】
撮影画像（スクリーン）座標系Ｓは、ビデオカメラ２のＣＣＤ素子平面上に設定され、ビデオカメラ２の撮影方向を見て左上隅を原点、右向きをＸ軸、下向きをＹ軸とする。
【００５６】
カメラ雲台座標系Ｂは、ビデオカメラ２に内蔵の電動雲台のチルト方向の回転軸と、パン方向の回転軸の交点を原点とし、電動雲台が初期化されたときの上方向をＺ軸、正面方向をＸ軸の負の方向とする。
【００５７】
カメラ座標系Ｃは、ビデオカメラ２の焦点を原点、画像平面の中央を通り、該画像平面に垂直な方向をＸ軸負の方向、撮影画像座標系ＳのＸ軸に平行な方向をＹ軸とする。
【００５８】
ＩＤ番号がｉの遠近両用マーカ１のマーカｉ座標系Ｍｉは、遠近両用マーカ１の種類の数だけ設定され、遠近両用マーカ１の中心を原点、マーカ面の法線方向をＺ軸とし、遠近両用マーカ１の番号を表す扇形１２ａ（〜１２ｊ）の最上位ビットと最下位ビットの境界をＸ軸とする。
【００５９】
この説明では、スカラー変数を小文字で表し、ベクトルや行列を大文字で表す。また、各変数の基準座標系（観測座標系）をＷＲ１２のように左上添え字で表す。
【００６０】
この実施例では、カメラ雲台座標系Ｂとカメラ座標系Ｃの原点は同じであると近似し、レーザ雲台座標系Ａとカメラ雲台座標系Ｂは、各軸が平行になるように予め固定されているものとする。また、レーザ距離計測器３をチルト方向に回転させる際、レーザ距離計測器座標系Ｌの原点は、回転軸から距離ｄＡＬ離れた円周上を回転するものとする。
【００６１】
マーカ認識アルゴリズムについて説明する。このアルゴリズムは、ビデオカメラ２に写った遠近両用マーカ１のＩＤ番号、大円１２の特徴点の位置（ｘｌ，ｙｌ）、小円１３０〜１３３の特徴点の位置（ｘｓｉ，ｙｓｉ）（ｉ＝０，１，２，３）、大円１２の大きさｒｉｍａｇｅ（楕円の長軸半径）を認識するアルゴリズムである。このアルゴリズムは、遠近両用マーカ１を用いてトラッキングするときに用いるアルゴリズムと同じである。
【００６２】
ビデオカメラ２から取得したカラー撮影画像データをグレー画像データに変換し、各画素の輝度値を対数変換することにより、高輝度領域と低輝度領域の輝度の変化を強調する。
【００６３】
その後、３×３のＳｏｂｅｌフィルタを適用し、予め定めた閾値で２値化することにより、画像のエッジ（輝度の変化の大きい部分）を認識する。
【００６４】
その後、エッジとして認識された画素間の連結性（隣り合っているかどうか）を調べ、連結していると認識された個々のエッジ群が、楕円にフィッティングできるかどうかを判定する。楕円にフィッティングできると判定されたエッジ群の中の領域を解析し、その領域が遠近両用マーカ１であるかどうかを判定する。遠近両用マーカ１である場合は、このマーカのＩＤ番号と大円の長軸を認識すると共に大円と小円の中心を特徴点として認識する。
【００６５】
次に、ビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを説明する。このアルゴリズムは、遠近両用マーカ１の大円１２の半径ｒｒｅａｌ、カメラ撮影画像上のマーカの中心座標（ｘｌ，ｙｌ）、カメラ撮影画像上の大円の長軸半径ｒｉｍａｇｅ、ビデオカメラ２の内部パラメータ（焦点距離ｆ、ＣＣＤ素子の幅ｗＣＣＤ、画像の解像度ｗｒｅｓｏ、ｈｒｅｓｏ）から、ビデオカメラ２に写った遠近両用マーカ１とビデオカメラ２の間の距離ｄＣＭと、カメラ雲台座標系Ｂで表された遠近両用マーカ１のパン方向ＢθＭとチルト方向ＢφＭを求めるアルゴリズムである。
【００６６】
ビデオカメラ２のＣＣＤ素子の幅と解像度は、ビデオカメラ２とビデオキャプチャデバイスの仕様書から得ることができ、遠近両用マーカ１の大円１２の半径は、事前に遠近両用マーカ１を調べておくことにより得ることができる。
【００６７】
ステップＳ４１
マーカ認識アルゴリズムを用いてカメラ撮影画像上の遠近両用マーカの中心座標（ｘｌ，ｙｌ）と大円の長軸半径ｒｉｍａｇｅを求める。
【００６８】
ステップＳ４２
ビデオカメラ２と通信して前記カメラ撮影画像を撮影したときの該ビデオカメラ２のパン方向ＢθＣ、チルト方向ＢφＣ、焦点距離ｆを得る。
【００６９】
ステップＳ４３
ビデオカメラ２と遠近両用マーカ１の間の距離ｄＣＭを式（数１）により求める。
【００７０】
【数１】
ただし、ｄは、カメラ撮影画像上における撮影画像の中心と遠近両用マーカ１の中心の間の距離である。
【００７１】
ステップＳ４４
カメラ雲台座標系Ｂで表された遠近両用マーカ１のパン方向ＢθＭ、チルト方向ＢφＭを式（数２）、（数３）により求める。
【００７２】
【数２】
【数３】
ただし、ｖｈ＝２arctan（ｗＣＣＤ／２ｆ）は、ビデオカメラ２の水平方向の画角である。
【００７３】
次に、レーザ距離計測器３を用いて遠近両用マーカ１上の１点の位置を計測するアルゴリズムを説明する。このアルゴリズムは、レーザ距離計測器３を搭載する電動雲台４のパン方向ＡθＬ、チルト方向ＡφＬと、レーザ距離計測器３と遠近両用マーカ１上の１点の間の距離ｄから遠近両用マーカ１上の１点の高精度な３次元位置ＡＴＡＰを求めるアルゴリズムである。
【００７４】
ステップＳ５１
後述する自動化方法により、レーザの照射位置を計測対象となる遠近両用マーカ１上の１点に合わせる。
【００７５】
ステップＳ５２
レーザ距離計測器３を制御して該レーザ距離計測器１と計測対象の点の間の距離ｄｌｐを得る。
【００７６】
ステップＳ５３
レーザ距離計測器１を搭載する電動雲台４から、前記距離を得たときのパン方向ＡθＬとチルト方向ＡφＬを得る。
【００７７】
ステップＳ５４
計測対象となる遠近両用マーカ１上の１点のレーザ雲台座標系Ａで表した３次元位置ＡＴＡＰを式（数４）により求める。
【００７８】
【数４】
ただし、ＬＤＰ＝（−ｄｌｐ，０，ｄＡＬ）Ｔとし、Ｒｚ（ＡθＬ）およびＲｙ（ＡφＬ）は、それぞれ、Ｚ軸を中心にＡθＬ、Ｙ軸を中心にＡφＬ回転させる回転行列である。
【００７９】
次に、１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムについて説明する。このアルゴリズムは、ビデオカメラ２に遠近両用マーカ１が写っている状態から、その遠近両用マーカ１の中心の正確な３次元位置ＡＴＡＭと方向ＡＲＡＭを自動的に計測するアルゴリズムである。
【００８０】
ステップＳ６０１
ビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを用いて、カメラ雲台座標系Ｂで表された遠近両用マーカ１のパン方向ＢθＭ、チルト方向ＢφＭを求める。
【００８１】
ステップＳ６０２
前記ステップＳ６０１で求めた情報に基づいて、遠近両用マーカ１がビデオカメラ２の撮影画像の中心に写るようにビデオカメラ２の撮影方向を調整する。
【００８２】
ステップＳ６０３
遠近両用マーカ１の大円１２のカメラ撮影画像上での長軸半径ｒｉｍａｇｅが、ビデオカメラ２の縦方向の解像度の３０％になるように、ビデオカメラ２の焦点距離を調整する。その際、焦点距離を調整する前の長軸半径ｒｉｍａｇｅが、ビデオカメラ２の縦方向の解像度の２０％よりも小さい場合には、一旦、長軸半径ｒｉｍａｇｅがビデオカメラ２の解像度の２０％になるように焦点距離を調整した後にステップＳ６０１とステップＳ６０２を繰り返して、遠近両用マーカ１の中心が再度ビデオカメラ２の撮影画像の中心に来るようにビデオカメラ２の撮影方向を調整し、その後、長軸半径ｒｉｍａｇｅがビデオカメラ２の縦方向の解像度の３０％となるように焦点距離を調整する。長軸半径ｒｉｍａｇｅがビデオカメラ２の縦方向の解像度のａ％になる焦点距離ｆａ％は、式（数５）により求める。
【００８３】
【数５】
ただし、ｆは、ステップＳ６０１において遠近両用マーカ１を認識したときのビデオカメラ２の焦点距離、ｒは、そのときの遠近両用マーカ１の大円１２のカメラ撮影画像上における長軸半径とする。
【００８４】
ステップＳ６０４
ステップＳ６０１とステップＳ６０２を繰り返し、遠近両用マーカ１の中心がカメラ撮影画像の中心に来るように再度ビデオカメラ２の撮影方向を調整する。
【００８５】
ステップＳ６０５
ステップＳ６０１を実行し、カメラ雲台座標系Ｂで表された遠近両用マーカ１の中心へのパン方向ＢθＭ、チルト方向ＢφＭ、遠近両用マーカ１とビデオカメラ２の間の距離ｄＣＭを求める。このとき、カメラ撮影画像上での遠近両用マーカ１の中心座標（ｘｌ，ｙｌ）、４つの小円１３の中心座標（ｘｓｉ，ｙｓｉ）（ｉ＝０，１，２，３）、大円１２の短軸半径ｄを記憶しておく。
【００８６】
ステップＳ６０６
遠近両用マーカ１の中心の３次元位置ベクトルＡＴＡＭを式（数６）により求める。
【００８７】
【数６】
ただし、ＣＤＭ＝（−ｄＣＭ，０，０）Ｔとし、ＡＴＡＭは、レーザ雲台座標系Ａからカメラ雲台座標系Ｂへ向かうベクトルであり、事前に計測しておくことが可能である。
【００８８】
ステップＳ６０７
ステップＳ６０６で求めた遠近両用マーカ１の中心の３次元位置ベクトルＡＴＡＭ＝（ＡｘＭ，ＡｙＭ，ＡｚＭ）から、式（数７）および（数８）を用いて、レーザ雲台座標系Ａで表された遠近両用マーカ１の中心のパン方向ＡθＭとチルト方向ＡφＭを求め、レーザ距離計測器３の向きを遠近両用マーカ１の中心の方向に向ける。
【００８９】
【数７】
【００９０】
【数８】
【００９１】
ステップＳ６０８
ビデオカメラ２のシャッタースピードを短くすることによってカメラ撮影画像の全体的な明るさを下げる。これは、後の処理において、レーザの照射位置の認識を容易にするためである。
【００９２】
ステップＳ６０９
リーザ距離計測器３によるレーザ照射を止める。
【００９３】
ステップＳ６１０
カメラ撮影画像データをＩｏｆｆとして保存する。
【００９４】
ステップＳ６１１
レーザ距離計測器３によるレーザ照射を再開する。
【００９５】
ステップＳ６１２
レーザ照射再開後のカメラ撮影画像データをＩｏｎとして保存する。
【００９６】
ステップＳ６１３
カメラ撮影画像データＩｏｆｆとＩｏｎの差分を取り、予め定めた閾値よりも差が大きい画素の面積Ｓｄｉｆｆを求める。
【００９７】
ステップＳ６１４
面積Ｓｄｉｆｆが予め定めた閾値（レーザ照射スポットの面積）よりも小さい場合はビデオカメラ２にレーザの照射スポットが写っていないと判断してステップＳ６１５へ進み、大きい場合はステップＳ６１６へ進む。
【００９８】
ステップＳ６１５
レーザ照射方向をステップＳ６０７で求めた遠近両用マーカ１の３次元位置方向を中心にして螺旋状に等間隔で回転させながら、ステップＳ６０９〜ステップＳ６１４を繰り返す。ただし、この繰り返し回数が規定の回数を超えた場合は、自動計測が失敗したと判断する。
【００９９】
ステップＳ６１６
ステップＳ６１３の差分計算で得た画素の重心座標Ｇ＝（ｘＧ，ｙＧ）を求める。
【０１００】
ステップＳ６１７
重心座標ＧとステップＳ６０５で認識した遠近両用マーカ１の中心座標（ｘｌ，ｙｌ）の差のベクトルを計算し、その長さがステップＳ６０５で認識した遠近両用マーカ１の大円１２の短軸半径ｂの１．５倍よりも小さい場合はステップＳ６１８へ進み、大きい場合はステップＳ６１５へ戻る。
【０１０１】
ステップＳ６１８
ステップＳ６１７で求めたベクトルが予め定めた閾値よりも小さい場合は、レーザが遠近両用マーカ１の中心に照射されていると判断してステップＳ６２０へ進み、大きい場合はステップＳ６１９に進む。
【０１０２】
ステップＳ６１９
ステップＳ６１７で求めたベクトルを用いて、レーザの照射位置を遠近両用マーカ１の中心に近づけた後、ステップＳ６０９へ戻る。レーザ距離計測器３を向けるべき方向は、式（数９）および（数１０）により求める。
【０１０３】
【数９】
【数１０】
ただし、ｖｈは、ステップＳ６１２の時点でのビデオカメラ２の水平方向の画角、Ａθ’ＭとＡφ’Ｍは、ステップＳ６１１の時点でのレーザ距離計測器３の向きである。
【０１０４】
ステップＳ６２０
レーザ距離計測器を用いて遠近両用マーカ上の１点の位置を計測するアルゴリズムを用いて遠近両用マーカ１の中心の正確な３次元位置ＡＴＡＭを求める。
【０１０５】
ステップＳ６２１
遠近両用マーカ１の大円１２と小円１３の間の領域（台紙の白色の領域）の中間点の座標（ｘｌｓｉ，ｙｌｓｉ）（ｉ＝０，１，２，３）を式（数１１）および（数１２）により求める。
【０１０６】
【数１１】
【数１２】
ただし、ｒｓｒｅａｌは小円１３の半径、ｄは小円１３の中心と遠近両用マーカ１の中心の間の距離である。
【０１０７】
ステップＳ６２２
ステップＳ６０９〜ステップＳ６２０と同様の処理をステップＳ６２１で求めた４点に対して行い、これらの正確な３次元位置ＡＴＡＭｉ（ｉ＝０，１，２，３）を計測する。
【０１０８】
ステップＳ６２３
遠近両用マーカ１のＸ軸、Ｙ軸、Ｚ軸方向のベクトルＡＸＭ、ＡＹＭ、ＡＺＭを式（数１３）〜（数１５）により求める。
【０１０９】
【数１３】
【数１４】
【数１５】
ただし、ｉ＝０となる小円１３０がマーカ座標系上でｘ＞０，ｙ＞０の位置にあり、遠近両用マーカ１を正面からみて時計回りに小円の番号が付けられているものとする。
【０１１０】
ステップＳ６２４
ＡＸＭ、ＡＹＭ、ＡＺＭの単位ベクトルＡＸＭｕ、ＡＹＭｕ、ＡＺＭｕから式（数１６）により遠近両用マーカ１の方向ＡＲＡＭを求める。
【０１１１】
【数１６】
【０１１２】
この１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムにおける前記ステップＳ６１７において、レーザの照射位置と遠近両用マーカ１の中心位置の距離がカメラ撮影画像上での遠近両用マーカ１の大円１２の短軸半径の１．５倍よりも小さいときにのみステップＳ６１８を実行するようにしたのは、原子力発電プラント内部のような複雑な環境では、レーザが遠近両用マーカ１の背面を通過する場合があり、カメラ撮影画像上に写し出されたレーザと遠近両用マーカ１の位置関係だけでは、レーザの照射方向をどの方向に変更するべきかが判断できないためである。一方、レーザの照射位置と遠近両用マーカ１の中心位置の間の距離が遠近両用マーカ１の大円１２のカメラ撮影画像上での短軸半径の１．５倍よりも小さい場合は、レーザは既に遠近両用マーカ１上に照射していると判断することができ、遠近両用マーカ１は必ず平面であるため、ステップＳ６１９により、必ずレーザの照射位置を遠近両用マーカ１の中心に近い方に調整することができる。ここで、短軸半径の１．５倍としたのは、遠近両用マーカ１の周辺には空白の領域があり、その領域も平面であるからである。
【０１１３】
また、ステップＳ６２１以降において、小円１３の中心位置を計測するのではなく、小円１３と大円１２の間の白色の領域を計測するのは、小円１３の中心のように黒色の中心は、レーザの反射が弱く、遠近両用マーカ１を斜めから計測した場合に、レーザ距離計測器３では距離を計測することができない場合があるためである。
【０１１４】
なお、このアルゴリズムを実行する際には、電動雲台を駆動制御した後は、次の処理に移る前に０．５秒〜１秒程度の猶予（動作休止）期間を設けることが必要である（この猶予期間は、電動雲台の動作の大きさに依存する。）。これは、電動雲台を駆動制御すると、システム全体が振動するためで、ビデオカメラ２で取得するカメラ撮影画像データやレーザの照射先（レーザ照射スポット）が静止するのを待つ必要があるためである。
【０１１５】
次に、マーカの位置と方向を世界座標系に変換するアルゴリズムについて説明する。
【０１１６】
このアルゴリズムは、前述した１つの遠近両用マーカ１の位置と方向を自動的に計測するアルゴリズムにより得られたレーザ雲台座標系Ａで表された遠近両用マーカ１の３次元位置と方向を、世界座標系Ｗで表された３次元位置と方向に変換するアルゴリズムである。このアルゴリズムを実行するにあたっては、計測対象となる遠近両用マーカ１に加え、１番と２番の遠近両用マーカが世界座標系Ｗの原点とＸ軸上の点にそれぞれ貼り付けられており、３番の遠近両用マーカがＸＹ平面上に貼り付けられているものとする。
【０１１７】
ステップＳ７０１
前述した１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムを用いて、変換対象の遠近両用マーカ１の３次元位置ＡＴＡＭｉと方向ＡＲＡＭｉおよび１番から３番の遠近両用マーカの３次元位置ＡＴＡＭｊ（ｊ＝１，２，３）を求める。
【０１１８】
ステップＳ７０２
レーザ雲台座標系Ａで表された世界座標系ＷのＸ，Ｙ，Ｚ軸方向の単位ベクトルＡＸＷｕ，ＡＹＷｕ，ＡＺＷｕを式（数１７）〜（数１９）を用いて求める。
【０１１９】
【数１７】
【０１２０】
【数１８】
【０１２１】
【数１９】
【０１２２】
ステップＳ７０３
世界座標系Ｗからレーザ雲台座標系Ａへの回転行列ＷＲＷＡを式（数２０）により求める。
【０１２３】
【数２０】
【０１２４】
ステップＳ７０４
世界座標系Ｗからレーザ雲台座標系Ａへの平行移動ベクトルＷＴＷＡを式（数２１）により求める。
【０１２５】
【数２１】
【０１２６】
ステップＳ７０５
レーザ雲台座標系Ａから世界座標系Ｗへの同次変換行列ＡＴ４４ＡＷを式（数２２）により求める。
【０１２７】
【数２２】
【０１２８】
ステップＳ７０６
式（数２３）により、レーザ雲台座標系Ａで表された遠近両用マーカの３次元位置ＡＴＡＭｉを世界座標系Ｗで表された３次元位置ＷＴＷＭｉに変換する。
【０１２９】
【数２３】
【０１３０】
ステップＳ７０７
前述した１つの遠近両用マーカの位置と方向を自動的に計測するアルゴリズムにおけるステップＳ６２３の処理の前に、ＡＴＡＭｉ（ｉ＝０，１，２，３）を式（数２３）で変換することにより、世界座標系Ｗで表された遠近両用マーカ１の方向ＷＲＷＭｉを得る。
【０１３１】
次に、総ての遠近両用マーカの位置と方向を自動的に計測して登録するアルゴリズムを説明する。このアルゴリズムは、ビデオカメラ２で撮影可能かつレーザ距離計測器３で距離を計測可能な範囲にある総ての遠近両用マーカ１の世界座標系Ｗで表された３次元位置と方向を全自動で計測して記憶（登録）するアルゴリズムである。
【０１３２】
ステップＳ８０１
ビデオカメラ２の焦点距離を設定可能な最も短い値に設定する（ビデオカメラ２を最も広角にする）。
【０１３３】
ステップＳ８０２
ビデオカメラ２の稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラ２の撮影方向を回転させ、各撮影方向において、前述したビデオカメラを用いて遠近両用マーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、作業環境に貼り付けられた遠近両用マーカ１との距離と存在する方向を認識して記憶する。
【０１３４】
ステップＳ８０３
ビデオカメラ２の焦点距離を最も短い値の２倍の値および３倍の値に設定してステップＳ８０２を繰り返す。
【０１３５】
ステップＳ８０４
ステップＳ８０３までに認識して記憶した個々の遠近両用マーカ１に対して前述したレーザ距離計測器を用いて遠近両用マーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総ての遠近両用マーカ１の３次元位置と方向を計測して記憶する。
【０１３６】
ステップＳ８０５
ステップＳ８０４で記憶した総ての遠近両用マーカ１の３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系Ｗで表された３次元位置と方向を求めて記憶（登録）する。
【０１３７】
以上の方法で計測した遠近両用マーカ１の３次元位置と方向は、以下の方法で利用することができる。
【０１３８】
作業環境である原子力発電プラント内で使用するときには、壁や作業対象機器の周辺に貼り付けられた複数の遠近両用マーカ１について、事前に、前述したようにしてその３次元位置と方向を計測して得た世界座標系Ｗで表された３次元位置と方向の情報として拡張現実感に取得（記憶）しておく。
【０１３９】
拡張現実感を使用するときの機器としてＨＭＤ(Head Mounted Display)を用いる場合には、ビデオカメラをＭＨＤの前面か作業員のヘルメットの前部に取り付け、ＰＤＡ(Personal Digital Assistant)等の小型ディスプレイを用いる場合には、ビデオカメラを機器画面の裏側に取り付ける。
【０１４０】
遠近両用マーカ１と作業員（ビデオカメラ）の間の距離が長いときは、ビデオカメラには多数の遠近両用マーカ１が小さく写ることになり、遠近両用マーカの大円の中心は認識することができるが、４つの小円の中心は認識することが困難である。従って、１つの遠近両用マーカ１からは１つの特徴点しか得ることができないが、複数の遠近両用マーカの特徴点を同時に得ることができるので、遠近両用マーカ１についての記憶情報を参照してトラッキングするのに必要な数の特徴点の認識が可能になる。
【０１４１】
遠近両用マーカ１と作業員（ビデオカメラ）の間の距離が短いときは、ビデオカメラには少数の遠近両用マーカ１が大きく写ることになり、小円の特徴も認識することができることから、遠近両用マーカ１上の総ての特徴点を認識することが可能となり、１つの遠近両用マーカ１が写るだけでトラッキングするのに必要な数の特徴点の認識が可能になる。
【０１４２】
このように、この実施例で使用する遠近両用マーカ１は、１つの遠近両用マーカ１が近距離と遠距離の両方で効果的にトラッキングに利用することが可能となり、作業環境に貼り付ける遠近両用マーカ１の数を減らすことができる利点がある。
【０１４３】
この実施例で例示したマーカ自動登録システムによる計測精度と計測に要する時間に関する実験結果について説明する。
【０１４４】
この実験は、大型プリンタを用いて図４に示すように９個の遠近両用マーカ１を印刷した紙を壁に貼り付け、前記９個の遠近両用マーカ１の３次元位置と方向を自動登録システムを用いて自動計測して登録する処理における登録結果とそれに要した時間を記録するように行った。
【０１４５】
遠近両用マーカ１は、大円１２の半径を５０ｍｍ、小円１３０〜１３３の半径を６ｍｍ、大円１２の中心と小円１３０〜１３３の中心の間の距離を７１ｍｍとした。マーカ自動登録システムの設置位置は、図５に示すように、中央の１番の遠近両用マーカ１から２ｍの位置と４ｍの位置、中央の１番の遠近両用マーカ１の法線方向から０°の位置、２０°の位置、４０°の位置に変化させ（計６箇所）、総ての位置で５回繰り返して総ての遠近両用マーカ１を自動計測して登録した。
【０１４６】
その結果、総ての場合において、失敗することなく、遠近両用マーカ１を計測することができた。
【０１４７】
計測に要した時間は、可動範囲全体でビデオカメラ２を回転させて遠近両用マーカ１の位置と方向を認識して記憶する処理（ステップＳ８０１〜ステップＳ８０３の処理）で平均１９５秒、レーザ距離計測器３を用いて遠近両用マーカ１の正確な３次元位置と方向を認識して記憶する処理（ステップＳ８０４〜ステップＳ８０５）では遠近両用マーカ１の１個当たり平均５０秒であった。
【０１４８】
電動雲台を駆動制御した後に振動が収まるまでの猶予期間は、ビデオカメラ２とレーザ距離計測器３を異なる三脚を用いて設置したり、防振部材を用いてシステムの振動を低減する対策を行えば、猶予期間を短縮して所要時間を短縮することが可能となる。
【０１４９】
表１は、遠近両用マーカ１の計測結果と真値（大型プリンタにより遠近両用マーカ１を印刷する際に設定した遠近両用マーカ１の位置と方向から計算）を比較した結果（座標の規準となる１番〜３番の遠近両用マーカを除く）を示している。
【０１５０】
マーカ自動登録システムを設置した総ての位置での計測結果の二乗平均誤差（Root Mean Square Error）を求めた結果、位置に関してＸ，Ｙ，Ｚの各軸方向に２ｍｍ程度の誤差があり、方向に関しては、各軸を中心に１°未満の回転誤差があることが分かった（総ての軸を纏めた場合、位置は３．４ｍｍ、方向は１．１°の誤差）。
【０１５１】
【表１】
【０１５２】
図６は、遠近両用マーカ１の計測結果（登録情報）を用いて実際にトラッキングを行った際の精度を示している。
【０１５３】
解像度ＸＶＧＡ、水平画角約３３°のトラッキング用ビデオカメラを１番の遠近両用マーカ１の正面約０．５ｍの位置から約０．５ｍ間隔で約５．０ｍ移動させ、各位置で１０回ずつトラッキングを行う処理を、前述した方法で登録した３０セットのマーカ配置情報の総てを用いて繰り返し行い、それらの総ての結果に対する平均二乗誤差を求めた。その結果、トラッキング範囲全体で平均二乗誤差が２００ｍｍ未満であり、危険箇所表示機能等を備えた拡張現実感環境を実現することが可能であることが分かった。
【図面の簡単な説明】
【０１５４】
【図１】本発明の実施例１において使用する遠近両用マーカの平面図である。
【図２】作業環境に貼り付けられた遠近両用マーカを自動的に計測して計測結果を登録する本発明の実施例１におけるマーカ自動登録システムのハードウエア構成を示す斜視図である。
【図３】このマーカ自動登録システムで取り扱う座標系を示すものである。
【図４】本発明の実施例１において９個の遠近両用マーカを印刷した紙を壁に貼り付けた状態を示す正面図である。
【図５】本発明の実施例１において壁に貼り付けた遠近両用マーカとシステムの設置位置関係を示す平面図である。
【図６】本発明の実施例１により記憶した遠近両用マーカの計測結果（登録情報）を用いて実際にトラッキングを行った際の精度を示す特性図である。
【符号の説明】
【０１５５】
１…遠近両用マーカ、１１…台紙、１２…大円、１３０〜１３３…小円、２…ビデオカメラ、３…レーザ距離計測器、４…電動雲台、５…小型コンピュータ、７…三脚。
【特許請求の範囲】
【請求項１】
環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置にマーカを貼り付け、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶する方法であって、
ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対してレーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うことを特徴とするマーカ自動登録方法。
【請求項２】
請求項１において、前記マーカとして、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものを使用することを特徴とするマーカ自動登録方法。
【請求項３】
環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶するシステムであって、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
前記ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うプログラムを備えたことを特徴とするマーカ自動登録システム。
【請求項４】
請求項３において、前記マーカは、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものであることを特徴とするマーカ自動登録システム。
【請求項１】
環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置にマーカを貼り付け、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶する方法であって、
ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対してレーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うことを特徴とするマーカ自動登録方法。
【請求項２】
請求項１において、前記マーカとして、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものを使用することを特徴とするマーカ自動登録方法。
【請求項３】
環境の基準となる位置（世界座標系の原点や座標軸上の点）及び適宜な位置に貼り付けられたマーカのうち、ビデオカメラで撮影可能かつレーザ距離計測器で距離を計測可能な範囲にある総てのマーカの世界座標系で表された３次元位置と方向を全自動で計測して記憶するシステムであって、
電動雲台によって向きを変えることができるようにしたビデオカメラと、電動雲台によって向きを変えることができるようにしたレーザ距離計測器と、前記ビデオカメラとレーザ距離計測器電動雲台と接続されてこれらを制御する小型コンピュータとを備え、
前記小型コンピュータは、
前記ビデオカメラの焦点距離を設定可能な最も短い値に設定する第１のステップと、
前記ビデオカメラの稼動範囲の総ての領域を最低１回は撮影するように等間隔でビデオカメラの撮影方向を回転させ、各撮影方向において、前記ビデオカメラを用いてマーカとの間の距離と存在する方向を求めるアルゴリズムを実行することにより、環境に貼り付けられたマーカとの距離と存在する方向を認識して記憶する第２のステップと、
前記ビデオカメラの焦点距離を最も短い値の２倍の値および３倍の値に設定して前記第２のステップを繰り返す第３のステップと、
第３のステップまでに認識して記憶した個々のマーカに対して前記レーザ距離計測器を用いてマーカ上の１点の位置を計測するアルゴリズムを実行することにより、認識した総てのマーカの３次元位置と方向を計測して記憶する第４のステップと、
第４のステップで記憶した総てのマーカの３次元位置と方向に対して、マーカの位置と方向を世界座標系に変換するアルゴリズムを適用して世界座標系で表された３次元位置と方向を求めて記憶する第５のステップを行うプログラムを備えたことを特徴とするマーカ自動登録システム。
【請求項４】
請求項３において、前記マーカは、四角形の台紙の中心に配置した１つの大円と、台紙の４隅に配置した４つの小円を備え、前記大円は、１０個の同型の扇形を円環状に配置し、白色の扇形を０、黒色の扇形を１とすることにより、各マーカのＩＤ番号を表現するように構成したものであることを特徴とするマーカ自動登録システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−７８４６６（Ｐ２０１０−７８４６６Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２４７３４８（Ｐ２００８−２４７３４８）
【出願日】平成２０年９月２６日（２００８．９．２６）
【出願人】（５０５３７４７８３）独立行政法人 日本原子力研究開発機構 (727)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２６日（２００８．９．２６）
【出願人】（５０５３７４７８３）独立行政法人 日本原子力研究開発機構 (727)
【Ｆターム（参考）】
[ Back to top ]