情報処理装置及び情報処理方法
【課題】現実空間に存在する表示装置の表示画面に表示されている指標を、現実空間に存在する指標として誤検出することを精度良く防止できるようにする。
【解決手段】指標検出部１０４０は、撮像装置１０１０から出力される撮像画像データから指標及びその画像座標を取得し、位置姿勢算出部１０５０は、その取得した画像座標と、ｕQknと、既知な情報として予め保持されている世界座標ｘWQknとから撮像装置１０１０の位置及び姿勢を算出する。さらに、誤検出防止処理部１０６０は、前記算出した撮像装置１０１０の位置及び姿勢と、予め保持されている世界座標ｘWQknとから指標候補領域を探索し、指標検出部１０４０において検出されなかった指標を検出して、その部分に図形又は小画像を重畳する。
【解決手段】指標検出部１０４０は、撮像装置１０１０から出力される撮像画像データから指標及びその画像座標を取得し、位置姿勢算出部１０５０は、その取得した画像座標と、ｕQknと、既知な情報として予め保持されている世界座標ｘWQknとから撮像装置１０１０の位置及び姿勢を算出する。さらに、誤検出防止処理部１０６０は、前記算出した撮像装置１０１０の位置及び姿勢と、予め保持されている世界座標ｘWQknとから指標候補領域を探索し、指標検出部１０４０において検出されなかった指標を検出して、その部分に図形又は小画像を重畳する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法、プログラム及び記憶媒体に関し、特に、画像中の指標の誤検出を防止するために用いて好適な技術に関する。
【背景技術】
【０００２】
現実空間を撮像するカメラなどの撮像部（以下、カメラと称す）の位置及び姿勢（位置姿勢）を計測する技術は、例えば、現実空間と仮想空間とを融合して表示する複合現実感システムにおいて必要となる。このような従来技術としては、例えば、特許文献１、特許文献２及び非特許文献１において開示されている。具体的には、現実空間に配置した位置である既知のマーカを用いたり、または現実空間中の位置である既知の特徴点を用いたりして、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正している。以下、マーカ及び特徴点を合わせて指標と称す。
【０００３】
これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。
【０００４】
また、指標は同時に複数利用されることが多く、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める必要がある。その手段の１つとして、画像から検出した指標の座標と、指標の絶対位置として位置姿勢センサの計測値を基にして投影して得られる画像面上での指標の座標との間の関係を利用することが知られている。
【０００５】
このようなカメラの位置姿勢を推定する方法においては、ある特定の色の小さな円形のシート状の物体を指標とすることができる。この場合、指標が有する情報は、３次元位置（座標）及び色である。位置姿勢センサの計測値を利用して、指標の３次元位置をカメラの画像面へ投影し、一方で、その指標の色を画像から検出する色領域検出処理を行い、画像中における重心位置を計算する。そして、画像面上へ投影した３次元位置と、画像から計算した重心位置とを比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。
【０００６】
一方、例えば、非特許文献２及び３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢を推定する方法も知られている。そして、これらの非特許文献２及び３においては、正方形の指標を利用して、正方形の４頂点の座標を基に、カメラの位置姿勢を推定している。
【０００７】
但し、正方形はその中心点（対角線の交点）を面に垂直に通る軸を回転軸として９０°毎の回転対称形であることから、頂点の座標のみからは上下左右の判定を行うことができない。そのため、正方形の指標の内部に、上下左右の判定を行うための更なる画像特徴が設けられている。さらに、指標を複数利用する場合には、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要がある。このため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。
【０００８】
正方形マーカのように図形的な拡がりのある指標を利用する方法では、完全に画像のみから個々のマーカを識別する必要が生じる。このため、符号情報やテンプレートとなりうる記号情報などを指標に埋め込んでいる。図８は、記号情報などが埋め込まれた指標である具体的な正方形マーカの例を示す図である。
【０００９】
また、前述したような複合現実感の提示を行う画像表示装置は、カメラによって撮影された現実空間の画像に、カメラの位置及び姿勢に応じて生成した仮想空間の画像を重畳描画する。そして、観察者の頭部に装着されたディスプレイにその重畳描画した画像を表示するビデオシースルー方式が用いられる。なお、仮想空間としては、例えば、コンピュータ・グラフィックスにより描画された仮想物体や文字情報などがある。
【００１０】
さらに、観察者が観察している情景を第三者に提示するために、カメラによって撮影された現実空間の画像、またはその現実空間の画像に仮想空間の画像を重畳描画した画像を、情景中に配した表示装置に表示する場合もある。
【００１１】
以上説明したいずれの従来技術においても、原理上、カメラが撮影する現実空間の中に、指標以外のものであって指標と同じ色や図形のものが存在すると、それらを誤って指標と同定してしまうことがある。例えば、カメラによって撮影された現実空間の画像、またはその画像に仮想空間の画像を重畳描画した画像を表示する表示装置が情景中に配されている場合には、その表示画面がカメラによって撮影されてしまう状況が発生することがあった。したがって、情景中に配されている表示画面に表示されている指標を、誤って情景中の指標として検出してしまうという問題があった。
【００１２】
そこで、現実空間に存在する表示装置の表示画面に表示されている指標を現実空間に存在する指標として誤検出することを防止するために、様々な提案がなされている。例えば、検出された指標の画像領域に対して図形又は小画像を重畳表示する方法、または指標の世界座標の組とカメラの位置姿勢の情報とから推定される指標の位置に図形又は小画像を重畳表示する方法が特許文献３に開示されている。
【００１３】
【特許文献１】特開平１１−８４３０７号公報
【特許文献２】特開２０００−４１１７３号公報
【特許文献３】特開２００７−１８４２６号公報
【非特許文献１】A.State, G.Hirota, D.T.Chen, B.Garrett, and M.Livingston: Superior augmented reality registration by integrating landmark tracking and magnetic tracking, Proc. SIGGRAPH'96, pp. 429-438, July 1996.
【非特許文献２】加藤，Billinghurst，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，vol.4, no.4, pp.607-616, Dec.1999.
【非特許文献３】X.Zhang, S.Fronz, N.Navab: Visual marker detection and decoding in AR systems: A comparative study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.
【非特許文献４】R.M.Haralick, C.Lee, K.Ottenberg, and M.Nolle: Review and analysis of solutions of the three point perspective pose estimation problem, International Journal of Computer Vision, vol.13, no.3, pp.331-356, 1994.
【非特許文献５】D.G.Lowe: Fitting parameterized three-dimensional models to images, IEEE Transactions on PAMI, vol.13, no.5, pp.441-450, 1991.
【非特許文献６】藤井博文，神原誠之，岩佐英彦，竹村治雄，横矢直和，拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ，電子情報通信学会技術研究報告ＰＲＭＵ９９−１９２（信学技報vol.99, no.574, pp.1-8）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献３に記載されている方法では、必ずしも有効ではない状況が発生する。
【００１５】
例えば、検出された指標の画像領域に対して図形又は小画像を重畳表示する方法では、指標が検出できる場合は、表示装置に指標の誤認識防止のための重畳表示が行われる。ところが、カメラによって撮影された指標が照明環境など何らかの原因によって検出されなかった場合は、図形または小画像が重畳表示されない。このため、再度指標が検出できる環境下になった時に、表示装置に表示されている指標を誤って指標と検出してしまう問題がある。また、情景が薄暗いなどの理由によって撮像画像では指標として検出されなかった指標が、表示装置に表示された時に指標として検出してしまう問題がある。
【００１６】
さらに、指標の世界座標の組とカメラの位置姿勢の情報とから推定される指標の位置に図形又は小画像を重畳表示する方法では、現実物によって指標の一部又は全部が隠され、カメラに撮影されない状態になっても、指標の誤認識防止のための重畳表示が行われる。つまり、不要な重畳表示を行ってしまうことがある。また、何らかの原因によってカメラの位置姿勢が本来の値とずれてしまった時には、指標の存在する位置と異なる場所に指標の誤認識防止のための重畳表示が行われ、表示装置に表示されている指標を誤って指標と検出してしまう問題がある。
【００１７】
本発明は前述の問題点に鑑み、現実空間に存在する表示装置の表示画面に表示されている指標を、現実空間に存在する指標として誤検出することを精度良く防止できるようにすることを目的としている。
【課題を解決するための手段】
【００１８】
本発明の情報処理装置は、情景を撮影する撮像手段によって取得された画像データを入力する画像入力手段と、前記画像入力手段によって入力された画像データから前記情景に含まれる指標を検出する第１の検出手段と、前記情景に含まれる指標の世界座標の情報を記憶する記憶手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出手段と、前記画像入力手段によって入力された画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像を生成する画像生成手段と、前記画像生成手段により生成された画像を表示手段に表示する表示制御手段とを備えることを特徴とする。
また、本発明の情報処理装置の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力手段と、前記画像入力手段によって入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出手段と、前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報とを記憶する記憶手段と、前記記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出手段と、前記画像入力手段によって入力された各画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像をそれぞれ生成する画像生成手段と、前記画像生成手段によって生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御手段とを備えることを特徴とする。
【００１９】
本発明の情報処理方法は、情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とを備えることを特徴とする。
また、本発明の情報処理方法の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とを備えることを特徴とする。
【００２０】
本発明のプログラムは、情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とする。
本発明のプログラムの他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とする。
【００２１】
本発明の記憶媒体は、前記の何れかに記載のプログラムを記憶したことを特徴とする。
【発明の効果】
【００２２】
本発明によれば、指標を直接検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
【発明を実施するための最良の形態】
【００２３】
（第１の実施形態）
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
本実施形態に係る情報処理装置は、画像から検出された指標領域及び指標候補領域に図形又は小画像を局所的に重畳表示することによって指標の誤検出を防止する。なお、指標候補領域とは、撮像装置の位置及び姿勢を算出するために用いる指標としては扱わないものであるが、指標に特徴が近い領域のものを指す。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
【００２４】
図１は、本実施形態における情報処理装置１０００の構成例を示すブロック図である。
図１に示すように、本実施形態における情報処理装置１０００は、画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０を有している。また、情報処理装置１０００は、撮像装置１０１０及び表示装置１０９０に接続されている。
【００２５】
現実空間中の複数の位置には、撮像装置１０１０によって撮影するための指標として、複数個の指標Ｑk（ｋ＝１，２，，，ＫQ）が配置されている。なお、複数個の指標Ｑkは位置情報が既知のものである。位置情報では、現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系（世界座標系）によって位置ｘWQkが定義されている。
【００２６】
本実施形態においては、指標Ｑkは、撮像装置１０１０によって取得される撮像画像上において、少なくとも３個以上の指標が常に観測されるように設定されていることが望ましい。図１に示す例では、４個の指標Ｑ1，Ｑ2，Ｑ3，Ｑ4が設定されており、そのうちの３個の指標Ｑ1，Ｑ3，Ｑ4が撮像装置１０１０の視野内に含まれている状況を示している。
【００２７】
なお、指標Ｑkは、例えば、それぞれが異なる色を有する円形状のマーカによって構成されてもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成されてもよい。また、ある程度の面積を有する四角形の単色領域によって形成されるような、四角形指標を用いてもよい。撮像画像上に投影された像の座標が検出可能であって、かついずれの指標であるかが何らかの方法で識別可能であるような指標であれば、何れの形態であってもよい。さらに、指標は、故意に設定されたものであってもよいし、故意に設定されたものではない、情景に元来存在する特徴であってもよい。
【００２８】
以下、本実施形態における情報処理装置１０００の各構成について説明する。
撮像装置１０１０から出力される画像データ（以下、撮像画像データと呼ぶ）が、画像入力部１０２０に入力されると、画像入力部１０２０は、撮像画像データをデジタルデータに変換し、データ記憶部１０３０に保存する。
【００２９】
指標検出部１０４０は第１の検出手段として機能し、データ記憶部１０３０より撮像画像データを読み出し、画像の中に含まれている主観視点による指標の画像座標を検出する。例えば、各々の指標が互いに異なる色のマーカによって構成されている場合には、画像上から各々のマーカ色に対応する領域を検出し、その重心位置を指標の画像座標とする。また、各々の指標が互いに異なるテクスチャを有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像を用いて画像上でテンプレートマッチングを行う。これにより、指標の位置を検出する。
【００３０】
また、四角形指標を用いる場合は、画像データに２値化処理を施した後にラベリングを行い、４つの直線によって形成されている領域を指標候補領域として検出する。さらに、指標候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を防止して、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本実施形態では、４つの頂点の個々によって形成される４つの指標であるものとする。
【００３１】
指標検出部１０４０は、さらに、検出された指標の画像座標とその指標の識別子との情報をデータ記憶部１０３０へ出力する。以下、撮像画像上で検出された指標を、検出された各々の指標に付けられた識別子ｎ（ｎ＝１，２，，，Ｎ）を用いて、Ｑknと表記する。ここで、Ｎは撮像画像上で検出された指標の数を表している。また、検出された指標Ｑknの画像座標をｕQknと表記する。例えば、図１に示す例の場合には、Ｎ＝３であり、指標の識別子ｋ1＝１，ｋ2＝３，ｋ3＝４と、これらに対応する画像座標ｕQk1，ｕQk2，ｕQk3との情報が指標検出部１０４０から出力される。
【００３２】
位置姿勢算出部１０５０は、指標検出部１０４０によって検出された各々の指標の画像座標ｕQknと、既知な情報として予め保持されている世界座標ｘWQknとの情報をデータ記憶部１０３０から読み出す。そして、これらの情報に基づいて、撮像装置１０１０の位置及び姿勢を算出する。算出した位置及び姿勢の情報は、例えば、位置を表す３次元ベクトルｘWCと、姿勢を表す３×３行列ＲWCとの組合せの情報としてデータ記憶部１０３０に出力される。
【００３３】
なお、指標の世界座標と画像座標との組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において提案されている（例えば、非特許文献４及び非特許文献５参照）。したがって、その詳細な説明は省略する。
【００３４】
誤検出防止処理部１０６０は、表示装置１０９０が撮像装置１０１０によって撮影されるときに、指標検出部１０４０によって検出された撮影画像の指標の位置に、図形又は小画像を局所的に重畳する。これは、表示装置１０９０に表示された指標（例えば、図１に示すＱ1'，Ｑ3'，Ｑ4'）が指標検出部１０４０で検出されることを防止するために行うものである。
【００３５】
さらに、誤検出防止処理部１０６０は第２の検出手段として機能し、指標検出部１０４０によって検出されなかった指標に関して、指標候補領域が存在するか否か領域探索を行う。そして、指標候補領域が存在する場合は、指標候補領域に図形または小画像を局所的に重畳する。ここで、小画像とは、撮影画像よりも小さなサイズの画像のことを指すものとする。また、重畳する画像は３次元仮想物体などのほかの図形でも構わない。
【００３６】
画像生成部１０７０は、表示装置１０９０に表示するための表示画像データを生成する。画像出力部１０８０は表示制御手段として機能し、画像生成部１０７０で生成された表示画像データを表示装置１０９０に出力するためのデータに変換して、表示装置１０９０へ出力する。
【００３７】
データ記憶部１０３０は、画像入力部１０２０から出力される撮影画像データ、指標検出部１０４０から出力される各々の指標の画像座標及び識別子の情報を記憶する。また、既知の情報としての指標Ｑkの世界座標ｘWQkの情報、及び撮像装置１０１０のカメラパラメータ等のデータも記憶する。そして、必要に応じてこれらのデータを出力する。
【００３８】
なお、図１に示した画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０の夫々の構成については、独立した装置として扱ってもよい。また、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することにより、その機能を実現するようにしてもよい。本実施形態では、画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０の各部を１台のコンピュータ内で実行対象となるソフトウェアとして扱う。
【００３９】
図２は、図１における画像入力部１０２０〜画像出力部１０８０の夫々をソフトウェアとして実行する情報処理装置１０００の基本構成例を示す図である。
図２において、２００１はＣＰＵであり、ＲＡＭ２００２やＲＯＭ２００３に格納されたプログラムやデータを用いて情報処理装置１０００全体の制御を行う。さらに、画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０の夫々のソフトウェアの実行を制御して、各部の機能を実現する。
【００４０】
２００２はＲＡＭであり、外部記憶装置２００７や記憶媒体ドライブ２００８から読み出されたプログラムやデータを一時的に記憶するエリアを備えるとともに、ＣＰＵ２００１が各種の処理を行うために必要とするワークエリアを備える。本実施形態では、データ記憶部１０３０の機能は、ＲＡＭ２００２によって実現される。
【００４１】
２００３はＲＯＭであり、情報処理装置１０００の記憶プログラムや設定データなどが格納されている。２００４はキーボードであり、２００５はマウスである。操作者は、キーボード２００４及びマウス２００５を用いて、各種の指示をＣＰＵ２００１に入力することができる。
【００４２】
２００６は表示部であり、ＣＲＴや液晶画面などにより構成されている。例えば、撮像装置１０１０の位置姿勢計測のために表示すべきメッセージ等を表示することができる。
【００４３】
２００７は外部記憶装置であり、ハードディスクなどの大容量情報記憶装置として機能する装置である。外部記憶装置２００７は、ＯＳ（オペレーティングシステム）やソフトウェアのプログラム等を保存している。また、本実施形態において、その他の必要な情報が外部記憶装置２００７に保存されており、必要に応じてＲＡＭ２００２に読み出される。
【００４４】
２００８は記憶媒体ドライブであり、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ２００１からの指示に従って読み出して、ＲＡＭ２００２や外部記憶装置２００７に出力する。
【００４５】
２００９はＩ／Ｆであり、撮像装置１０１０を接続するためのアナログビデオポート、ＩＥＥＥ１３９４等のデジタル入出力ポート、識別した指標に関わる情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成されている。入力したデータはＩ／Ｆ２００９を介してＲＡＭ２００２に取り込まれる。なお、画像入力部１０２０の機能の一部は、Ｉ／Ｆ２００９によって実現される。２０１０は図２に示した各構成を繋ぐバスである。
【００４６】
図３は、本実施形態において、表示装置１０９０に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。なお、図３に示す各処理は、ＣＰＵ２００１が誤検出防止処理部１０６０のソフトウェアのプログラムを実行することにより行われる。なお、以下の処理を行う前段として、図３のフローチャートに従ったプログラムコードは、ＲＡＭ２００２に既にロードされているものとする。図３では、誤検出防止処理部１０６０により、表示装置１０９０に表示する表示画像における指標部分及び指標候補領域に対して図形または小画像を重畳する処理手順について説明する。
【００４７】
まず、ステップＳ３０１０において、誤検出防止処理部１０６０は、位置姿勢算出部１０５０により算出した撮像装置１０１０の位置及び姿勢の情報をデータ記憶部１０３０から読み出す。さらに、既知な情報として予め保持されている指標Ｑk及びその世界座標ｘWQkの情報と、指標検出部１０４０において検出された指標Ｑkn及びその画像座標ｕQknの情報とをデータ記憶部１０３０から読み出す。
【００４８】
次に、ステップＳ３０２０において、誤検出防止処理部１０６０は、初期設定としてｋ＝１と定める。そして、ステップＳ３０３０において、誤検出防止処理部１０６０は、指標Ｑknの中に指標Ｑkが存在するか、つまり指標Ｑkが検出されているか否かを判定する。この判定の結果、指標Ｑkが検出されている場合は、ステップＳ３０４０へ進み、指標Ｑkが検出されていない場合は、ステップＳ３０５０へ進む。
【００４９】
ステップＳ３０４０においては、誤検出防止処理部１０６０は、指標検出部１０４０により指標検出処理を行った撮像画像上の画像座標ｕQknの位置に、図形又は小画像を局所的に重畳する。そして、ステップＳ３０９０へ進む。
【００５０】
例えば、各々の指標が異なる色を有するマーカによって構成されている場合には、マーカ色として登録されていない色の図形（例えば、円）を画像座標ｕQknの位置に重畳してマーカを覆い隠す。また、各々の指標が異なるテクスチャを有する特徴点によって構成されている場合には、テクスチャの一部を覆い隠すように、図形又は小画像を重畳する。また、四角形指標を用いるような場合は、四角形指標として認識されなくなるように、図形又は小画像を重畳する。
【００５１】
図４は、四角形指標の指標領域４００中の特定パターンの一部を覆い隠すように四角形４１０を重畳表示した場合の一例を示す図である。図４に示す例では、四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠している。
【００５２】
一方、ステップＳ３０５０においては、誤検出防止処理部１０６０は、撮像装置１０１０の位置及び姿勢に基づいて、指標Ｑkの世界座標ｘWQkを透視投影変換して指標の探索領域を定める。なお、探索領域としては、例えば指標の推定位置を中心として予め定めておいた領域の大きさや形状（矩形・円形等）を探索領域としてもよい。また、探索領域の大きさを、指標Ｑkの世界座標ｘWQkを透視投影変換した結果から推定される撮像装置１０１０から撮影される指標の大きさにある一定量を増加した大きさとして、指標の推定位置情報に基づいて探索領域を定めてもよい。さらに、その他の何れの手法を用いて指標の探索領域を求めてもよい。
【００５３】
次に、ステップＳ３０６０において、誤検出防止処理部１０６０は、ステップＳ３０５０の処理において定めた探索領域内において指標候補領域を探索する。指標候補領域の探索については、例えば、四角形指標の場合、探索領域内のエッジを抽出して三方以上がエッジに囲まれている領域を指標候補領域とする等の方法によって探索を行う。
【００５４】
そして、ステップＳ３０７０において、誤検出防止処理部１０６０は、ステップＳ３０６０の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップＳ３０８０へ進み、指標候補領域が存在しなかった場合は、ステップＳ３０９０へ進む。
【００５５】
次に、ステップＳ３０８０において、誤検出防止処理部１０６０は、ステップＳ３０６０において探索された指標候補領域に、図形又は小画像を局所的に重畳する。
【００５６】
図５は、四角形指標の指標候補領域の特定パターンを覆い隠すように図形を重畳表示した場合の一例を示す図である。
図５（ａ）において、四角形指標の指標候補領域５００は、現実物５１０によって指標の一部が隠されているため指標候補領域として扱う。そして、四角形５２０を重畳することにより四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠して修正する。また、図５（ｂ）において、四角形指標の指標候補領域５３０は、撮影画像に四角形指標の一部しか映っていないため、指標候補領域として扱う。そして、四角形５４０を重畳することにより四角形指標の内部に設けられた上下左右の判別を行う為の画像特徴を覆い隠して修正する。
【００５７】
次に、ステップＳ３０９０において、誤検出防止処理部１０６０は、ｋの数値を１増加する。そして、ステップＳ３１００において、誤検出防止処理部１０６０は、ｋがＫQ以下であるか否か判定する。この判定の結果、ｋがＫQ以下である場合は、ステップＳ３０３０に戻り、ｋがＫQよりも大きい場合は、ステップＳ３１１０に進む。
【００５８】
そして、ステップＳ３１１０において、誤検出防止処理部１０６０は、撮像画像に図形又は小画像を重畳した画像のデータをデータ記憶部１０３０に出力する。図形又は小画像が局所的に重畳された画像は、データとして画像生成部１０７０及び画像出力部１０８０を介して、表示装置１０９０において表示される。
【００５９】
以上の処理により、指標領域及び指標候補領域に対して図形又は小画像を局所的に重畳した画像が表示装置１０９０に表示されるため、表示画像が撮像装置１０１０により撮影されたとしても、表示画像上に表示された指標が指標として検出されない。なお、本実施形態において、撮像装置１０１０に位置姿勢センサを装着することにより撮像装置１０１０の位置及び姿勢を計測してもよい。この場合には、画像情報を用いる場合と比較して、撮像装置１０１０の位置及び姿勢を安定的に推定することができる。
【００６０】
また、本実施形態において、撮像装置１０１０に慣性センサを装着して、例えば非特許文献６に開示されている手法によって、撮像装置１０１０の位置及び姿勢を算出してもよい。この場合、撮像装置１０１０によって取得される撮像画像上において、少なくとも２個以上の指標が常に観測されるように設定されていればよい。そして、この場合においても、画像情報のみを用いる場合と比較して、撮像装置１０１０の位置及び姿勢を安定的に推定することができる。
【００６１】
以上のように本実施形態によれば、指標の世界座標と、検出された指標の画像上における画像座標とに基づいて、撮像装置の位置及び姿勢を算出する。また、このように算出した撮像装置の位置及び姿勢に基づいて、検出できなかった指標を指標候補領域として検出し、図形又は小画像を重畳表示するようにした。これにより、指標を直接検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
【００６２】
（第２の実施形態）
第１の実施形態では、撮像装置及び表示装置が１台であったが、撮像装置同士の相対位置及び姿勢の関係が既知である場合には、撮像装置が複数台であっても、表示装置が複数台の構成であってもよい。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
【００６３】
図６は、本実施形態に係る情報処理装置６０００の構成例を示すブロック図である。なお、図１と同じ構成については同じ番号、記号を付しているため、その説明は省略する。
図６に示すように、本実施形態における情報処理装置６０００は、画像入力部６０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部６０３０、誤検出防止処理部６０４０、画像生成部６０５０、及び画像出力部６０６０を有している。また、情報処理装置６０００は、第１の撮像装置６０１０、第２の撮像装置６０１１、第１の表示装置６０７０、第２の表示装置６０７１に接続されている。なお、第１の撮像装置６０１０は図１の撮像装置１０１０と同一であり、第１の表示装置６０７０は図１の表示装置１０９０と同一であるため、説明は省略する。
【００６４】
現実空間中の複数の位置には、第１の撮像装置６０１０によって撮影するための指標として、複数個の指標Ｑk（ｋ＝１，２，，，ＫQ）が配置されている。なお、複数個の指標Ｑkは位置情報が既知のものであり、世界座標系によって位置ｘWQkが定義されている。
【００６５】
本実施形態においては、指標Ｑkは、第１の撮像装置６０１０によって取得される撮像画像上において、少なくとも３個以上の指標が常に観測されるように設定されていることが望ましい。図６に示す例では、４個の指標Ｑ1，Ｑ2，Ｑ3，Ｑ4が設定されており、そのうちの３個の指標Ｑ1，Ｑ3，Ｑ4が撮像装置１０１０の視野内に含まれている状況を示している。
【００６６】
以下、本実施形態における情報処理装置６０００の各構成について説明する。
第１の撮像装置６０１０及び第２の撮像装置６０１１から出力される撮影画像データが、画像入力部６０２０に入力されると、画像入力部６０２０は、撮像画像データをデジタルデータに変換し、データ記憶部１０３０に保存する。
【００６７】
位置姿勢算出部６０３０は、指標検出部１０４０によって検出された各々の指標の画像座標ｕQknと、既知な情報として予め保持されている世界座標ｘWQknとの情報をデータ記憶部１０３０から読み出す。そして、これらの情報に基づいて、第１の撮像装置６０１０の位置及び姿勢を算出する。
【００６８】
さらに、第１の撮像装置６０１０と第２の撮像装置６０１１との相対的な位置及び姿勢の情報をデータ記憶部１０３０から読み出し、これらの情報に基づいて、第２の撮像装置６０１１の相対的な位置及び姿勢を算出する。算出した位置及び姿勢の情報は、例えば、位置を表す３次元ベクトルｘWCと姿勢を表す３×３行列ＲWCとの組合せの情報としてデータ記憶部１０３０に出力される。
【００６９】
誤検出防止処理部６０４０は、第１の表示装置６０７０及び第２の表示装置６０７１が第１の撮像装置６０１０及び第２の撮像装置６０１１によって撮影されるときに、指標検出部１０４０によって検出された指標の位置に図形又は小画像を局所的に重畳する。これは、第１の表示装置６０７０に表示された指標（例えば、図６のＱ1'，Ｑ3'，Ｑ4'）及び第２の表示装置６０７１に表示される指標（例えば、図６のＱ1"，Ｑ3"，Ｑ4"）が指標検出部１０４０で検出されることを防止するために行うものである。
【００７０】
さらに、誤検出防止処理部６０４０は、さらに、第１の撮像装置６０１０から出力された撮影画像に対しては、指標検出部１０４０によって検出されなかった指標に関して、指標候補領域が存在するか否か領域探索を行う。また、第２の撮像装置６０１１から出力された撮影画像に対しては、全ての指標に関して、指標候補領域が存在するか否か領域探索を行う。そして、指標候補領域が存在する場合は、指標候補領域に図形または小画像を局所的に重畳する。ここで、小画像とは、撮影画像よりも小さなサイズの画像のことを指すものとする。また、重畳する画像は３次元仮想物体などのほかの図形でも構わない。
【００７１】
画像生成部６０５０は、第１の表示装置６０７０及び第２の表示装置６０７１に表示するための表示画像データを生成する。画像出力部６０６０は、画像生成部６０５０で生成された表示画像データを第１の表示装置６０７０または第２の表示装置６０７１に出力するためのデータに変換し、第１の表示装置６０７０または第２の表示装置６０７１へ出力する。
【００７２】
なお、図６に示した画像入力部６０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部６０３０、誤検出防止処理部６０４０、画像生成部６０５０、及び画像出力部６０６０の夫々の構成については、独立した装置として扱ってもよい。また、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することにより、その機能を実現するようにしてもよい。本実施形態では、画像入力部６０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部６０３０、誤検出防止処理部６０４０、画像生成部６０５０、及び画像出力部６０６０の各部を１台のコンピュータ内で実行対象となるソフトウェアとして扱う。また、このコンピュータのハード構成は図２に示した構成と同様であるため、説明は省略する。
【００７３】
図７は、本実施形態において、第１の表示装置６０７０及び第２の表示装置６０７１に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。なお、図７に示す各処理は、ＣＰＵ２００１が誤検出防止処理部６０４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、図７のフローチャートに従ったプログラムコードは、ＲＡＭ２００２に既にロードされているものとする。
【００７４】
まず、ステップＳ７０１０において、誤検出防止処理部６０４０は、位置姿勢算出部６０３０により算出した第１の撮像装置６０１０の位置及び姿勢と第２の撮像装置６０１１の位置及び姿勢との情報をデータ記憶部１０３０から読み出す。さらに、既知な情報として予め保持されている指標Ｑk及びその世界座標ｘWQkの情報と、指標検出部１０４０において検出された指標Ｑkn及びその画像座標ｕQknの情報とをデータ記憶部１０３０から読み出す。
【００７５】
次に、ステップＳ７０２０において、誤検出防止処理部６０４０は、初期設定としてｋ＝１と定める。そして、ステップＳ７０３０において、誤検出防止処理部６０４０は、指標Ｑknの中に指標Ｑkが存在するか、つまり指標Ｑkが検出されているか否かを判定する。この判定の結果、指標Ｑkが検出されている場合は、ステップＳ７０４０へ進み、指標Ｑkが検出されていない場合は、ステップＳ７０５０へ進む。
【００７６】
ステップＳ７０４０においては、誤検出防止処理部６０４０は、指標検出部１０４０により指標検出処理を行った第１の撮像装置６０１０の撮像画像上の画像座標ｕQknの位置に、図形又は小画像を局所的に重畳する。そして、ステップＳ７０９０へ進む。
【００７７】
一方、ステップＳ７０５０においては、誤検出防止処理部６０４０は、第１の撮像装置６０１０の位置及び姿勢に基づいて、指標Ｑkの世界座標ｘWQkを透視投影変換して第１の撮像装置６０１０の撮影画像における指標の探索領域を定める。そして、ステップＳ７０６０において、誤検出防止処理部６０４０は、ステップＳ７０５０の処理において定めた探索領域内において指標候補領域を探索する。
【００７８】
次に、ステップＳ７０７０において、誤検出防止処理部６０４０は、ステップＳ７０６０の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップＳ７０８０へ進み、指標候補領域が存在しなかった場合は、ステップＳ７０９０へ進む。
【００７９】
次に、ステップＳ７０８０において、誤検出防止処理部６０４０は、ステップＳ７０６０において探索された指標候補領域に、図形又は小画像を局所的に重畳する。そして、ステップＳ７０９０において、誤検出防止処理部６０４０は、ｋの数値を１増加する。
【００８０】
そして、ステップＳ７１００において、誤検出防止処理部６０４０は、ｋがＫQ以下であるか否かを判定する。この判定の結果、ｋがＫQ以下である場合は、ステップＳ７０３０に戻り、ｋがＫQよりも大きい場合は、ステップＳ７１１０へ進む。そして、ステップＳ７１１０において、誤検出防止処理部６０４０は、初期設定として再度ｋ＝１と定める。
【００８１】
次に、ステップＳ７１２０において、誤検出防止処理部６０４０は、第２の撮像装置６０１１の位置及び姿勢に基づいて、指標Ｑkの世界座標ｘWQkを透視投影変換して第２の撮像装置６０１１の撮影画像における指標の探索領域を定める。そして、ステップＳ７１３０において、誤検出防止処理部６０４０は、ステップＳ７１２０の処理において定めた探索領域内において指標候補領域を探索する。
【００８２】
次に、ステップＳ７１４０において、誤検出防止処理部６０４０は、ステップＳ７１３０の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップＳ７１５０へ進み、指標候補領域が存在しなかった場合は、ステップＳ７１６０へ進む。
【００８３】
次に、ステップＳ７１５０において、誤検出防止処理部６０４０は、ステップＳ７１３０の処理において探索された指標候補領域に、図形又は小画像を局所的に重畳する。そして、ステップＳ７１６０において、誤検出防止処理部６０４０は、ｋの数値を１増加する。
【００８４】
次に、ステップＳ７１７０において、誤検出防止処理部６０４０は、ｋがＫQ以下であるか否かを判定する。この判定の結果、ｋがＫQ以下である場合は、ステップＳ７１２０に戻り、ｋがＫQよりも大きい場合は、ステップＳ７１８０へ進む。
【００８５】
そして、ステップＳ７１８０において、誤検出防止処理部６０４０は、第１の撮像装置６０１０から出力された撮像画像及び第２の撮像装置６０１１から出力された撮像画像に図形又は小画像を重畳した画像のデータをデータ記憶部１０３０に出力する。図形又は小画像が局所的に重畳された画像は、画像生成部１０７０及び画像出力部１０８０を介して、それぞれ第１の表示装置６０７０及び第２の表示装置６０７１において表示される。このとき、第１の撮像装置６０１０において撮影された撮像画像に対応する画像データは、第１の表示装置６０７０に表示され、第２の撮像装置６０１１において撮影された撮像画像に対応する画像データは、第２の表示装置６０７１に表示される。
【００８６】
以上の処理により、指標領域及び指標候補領域に対して図形又は小画像を局所的に重畳した画像が表示されるため、表示画像が第１の撮像装置６０１０により撮影されたとしても、表示画像上の指標及び指標候補領域が現実空間上の指標として検出されない。
【００８７】
以上のように本実施形態によれば、撮像装置や表示装置が複数台接続されている場合であっても、第１の実施形態と同様に、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。つまり、指標を検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
【００８８】
（本発明に係る他の実施形態）
前述した第１及び第２の実施形態は、ビデオシースルー方式ヘッドマウントディスプレイを用いた複合現実感を提示するシステムにも適用することもできる。この場合、例えば、ヘッドマウントディスプレイの撮影部が、例えば、図１に示す撮像装置１０１０に相当する。そして、指標を用いてヘッドマウントディスプレイの位置及び姿勢を求め、求められた位置及び姿勢に応じた仮想画像を生成し、仮想画像を撮影部で撮影された撮影画像に合成する。これにより、ユーザに複合現実感を提示することができる。
【００８９】
さらに、ヘッドマウントディスプレイに表示されている画像に相当する画像を、例えば図１に示すような表示装置１０９０に表示することにより、複合現実感を体験しているユーザ以外の観客に対しても、ユーザが体験している状況を提示することができる。さらには、このようなシステムにおいて、表示画像に表示されている指標を現実空間に存在する指標として誤検出することにより複合現実感の精度が低下することを防ぐことができる。
【００９０】
前述した本発明の実施形態における情報処理装置を構成する各手段、並びに情報処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００９１】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００９３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００９５】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００９６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００９７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００９８】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１００】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施形態における情報処理装置の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態における情報処理装置のハード構成例を示すブロック図である。
【図３】本発明の第１の実施形態において、表示装置に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。
【図４】本発明の第１の実施形態において、四角形指標の指標領域中の特定パターンの一部を覆い隠すように四角形を重畳表示した場合の一例を示す図である。
【図５】本発明の第１の実施形態において、四角形指標の指標候補領域の特定パターンを覆い隠すように図形を重畳表示した場合の一例を示す図である。
【図６】本発明の第２の実施形態における情報処理装置の機能構成例を示すブロック図である。
【図７】本発明の第２の実施形態において、第１の表示装置及び第２の表示装置に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。
【図８】記号情報などが埋め込まれた指標である具体的な正方形マーカの例を示す図である。
【符号の説明】
【０１０２】
１０００ 情報処理装置
１０１０ 撮像装置
１０２０ 画像入力部
１０３０ データ記憶部
１０４０ 指標検出部
１０５０ 位置姿勢算出部
１０６０ 誤検出防止処理部
１０７０ 画像生成部
１０８０ 画像出力部
１０９０ 表示装置
２００１ ＣＰＵ
２００２ ＲＡＭ
２００３ ＲＯＭ
２００４ キーボード
２００５ マウス
２００６ 表示部
２００７ 外部記憶装置
２００８ 記憶媒体ドライブ
２００９ Ｉ／Ｆ
２０１０ バス
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法、プログラム及び記憶媒体に関し、特に、画像中の指標の誤検出を防止するために用いて好適な技術に関する。
【背景技術】
【０００２】
現実空間を撮像するカメラなどの撮像部（以下、カメラと称す）の位置及び姿勢（位置姿勢）を計測する技術は、例えば、現実空間と仮想空間とを融合して表示する複合現実感システムにおいて必要となる。このような従来技術としては、例えば、特許文献１、特許文献２及び非特許文献１において開示されている。具体的には、現実空間に配置した位置である既知のマーカを用いたり、または現実空間中の位置である既知の特徴点を用いたりして、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正している。以下、マーカ及び特徴点を合わせて指標と称す。
【０００３】
これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。
【０００４】
また、指標は同時に複数利用されることが多く、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める必要がある。その手段の１つとして、画像から検出した指標の座標と、指標の絶対位置として位置姿勢センサの計測値を基にして投影して得られる画像面上での指標の座標との間の関係を利用することが知られている。
【０００５】
このようなカメラの位置姿勢を推定する方法においては、ある特定の色の小さな円形のシート状の物体を指標とすることができる。この場合、指標が有する情報は、３次元位置（座標）及び色である。位置姿勢センサの計測値を利用して、指標の３次元位置をカメラの画像面へ投影し、一方で、その指標の色を画像から検出する色領域検出処理を行い、画像中における重心位置を計算する。そして、画像面上へ投影した３次元位置と、画像から計算した重心位置とを比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。
【０００６】
一方、例えば、非特許文献２及び３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢を推定する方法も知られている。そして、これらの非特許文献２及び３においては、正方形の指標を利用して、正方形の４頂点の座標を基に、カメラの位置姿勢を推定している。
【０００７】
但し、正方形はその中心点（対角線の交点）を面に垂直に通る軸を回転軸として９０°毎の回転対称形であることから、頂点の座標のみからは上下左右の判定を行うことができない。そのため、正方形の指標の内部に、上下左右の判定を行うための更なる画像特徴が設けられている。さらに、指標を複数利用する場合には、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要がある。このため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。
【０００８】
正方形マーカのように図形的な拡がりのある指標を利用する方法では、完全に画像のみから個々のマーカを識別する必要が生じる。このため、符号情報やテンプレートとなりうる記号情報などを指標に埋め込んでいる。図８は、記号情報などが埋め込まれた指標である具体的な正方形マーカの例を示す図である。
【０００９】
また、前述したような複合現実感の提示を行う画像表示装置は、カメラによって撮影された現実空間の画像に、カメラの位置及び姿勢に応じて生成した仮想空間の画像を重畳描画する。そして、観察者の頭部に装着されたディスプレイにその重畳描画した画像を表示するビデオシースルー方式が用いられる。なお、仮想空間としては、例えば、コンピュータ・グラフィックスにより描画された仮想物体や文字情報などがある。
【００１０】
さらに、観察者が観察している情景を第三者に提示するために、カメラによって撮影された現実空間の画像、またはその現実空間の画像に仮想空間の画像を重畳描画した画像を、情景中に配した表示装置に表示する場合もある。
【００１１】
以上説明したいずれの従来技術においても、原理上、カメラが撮影する現実空間の中に、指標以外のものであって指標と同じ色や図形のものが存在すると、それらを誤って指標と同定してしまうことがある。例えば、カメラによって撮影された現実空間の画像、またはその画像に仮想空間の画像を重畳描画した画像を表示する表示装置が情景中に配されている場合には、その表示画面がカメラによって撮影されてしまう状況が発生することがあった。したがって、情景中に配されている表示画面に表示されている指標を、誤って情景中の指標として検出してしまうという問題があった。
【００１２】
そこで、現実空間に存在する表示装置の表示画面に表示されている指標を現実空間に存在する指標として誤検出することを防止するために、様々な提案がなされている。例えば、検出された指標の画像領域に対して図形又は小画像を重畳表示する方法、または指標の世界座標の組とカメラの位置姿勢の情報とから推定される指標の位置に図形又は小画像を重畳表示する方法が特許文献３に開示されている。
【００１３】
【特許文献１】特開平１１−８４３０７号公報
【特許文献２】特開２０００−４１１７３号公報
【特許文献３】特開２００７−１８４２６号公報
【非特許文献１】A.State, G.Hirota, D.T.Chen, B.Garrett, and M.Livingston: Superior augmented reality registration by integrating landmark tracking and magnetic tracking, Proc. SIGGRAPH'96, pp. 429-438, July 1996.
【非特許文献２】加藤，Billinghurst，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，vol.4, no.4, pp.607-616, Dec.1999.
【非特許文献３】X.Zhang, S.Fronz, N.Navab: Visual marker detection and decoding in AR systems: A comparative study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.
【非特許文献４】R.M.Haralick, C.Lee, K.Ottenberg, and M.Nolle: Review and analysis of solutions of the three point perspective pose estimation problem, International Journal of Computer Vision, vol.13, no.3, pp.331-356, 1994.
【非特許文献５】D.G.Lowe: Fitting parameterized three-dimensional models to images, IEEE Transactions on PAMI, vol.13, no.5, pp.441-450, 1991.
【非特許文献６】藤井博文，神原誠之，岩佐英彦，竹村治雄，横矢直和，拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ，電子情報通信学会技術研究報告ＰＲＭＵ９９−１９２（信学技報vol.99, no.574, pp.1-8）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献３に記載されている方法では、必ずしも有効ではない状況が発生する。
【００１５】
例えば、検出された指標の画像領域に対して図形又は小画像を重畳表示する方法では、指標が検出できる場合は、表示装置に指標の誤認識防止のための重畳表示が行われる。ところが、カメラによって撮影された指標が照明環境など何らかの原因によって検出されなかった場合は、図形または小画像が重畳表示されない。このため、再度指標が検出できる環境下になった時に、表示装置に表示されている指標を誤って指標と検出してしまう問題がある。また、情景が薄暗いなどの理由によって撮像画像では指標として検出されなかった指標が、表示装置に表示された時に指標として検出してしまう問題がある。
【００１６】
さらに、指標の世界座標の組とカメラの位置姿勢の情報とから推定される指標の位置に図形又は小画像を重畳表示する方法では、現実物によって指標の一部又は全部が隠され、カメラに撮影されない状態になっても、指標の誤認識防止のための重畳表示が行われる。つまり、不要な重畳表示を行ってしまうことがある。また、何らかの原因によってカメラの位置姿勢が本来の値とずれてしまった時には、指標の存在する位置と異なる場所に指標の誤認識防止のための重畳表示が行われ、表示装置に表示されている指標を誤って指標と検出してしまう問題がある。
【００１７】
本発明は前述の問題点に鑑み、現実空間に存在する表示装置の表示画面に表示されている指標を、現実空間に存在する指標として誤検出することを精度良く防止できるようにすることを目的としている。
【課題を解決するための手段】
【００１８】
本発明の情報処理装置は、情景を撮影する撮像手段によって取得された画像データを入力する画像入力手段と、前記画像入力手段によって入力された画像データから前記情景に含まれる指標を検出する第１の検出手段と、前記情景に含まれる指標の世界座標の情報を記憶する記憶手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出手段と、前記画像入力手段によって入力された画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像を生成する画像生成手段と、前記画像生成手段により生成された画像を表示手段に表示する表示制御手段とを備えることを特徴とする。
また、本発明の情報処理装置の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力手段と、前記画像入力手段によって入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出手段と、前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報とを記憶する記憶手段と、前記記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出手段と、前記画像入力手段によって入力された各画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像をそれぞれ生成する画像生成手段と、前記画像生成手段によって生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御手段とを備えることを特徴とする。
【００１９】
本発明の情報処理方法は、情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とを備えることを特徴とする。
また、本発明の情報処理方法の他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とを備えることを特徴とする。
【００２０】
本発明のプログラムは、情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とする。
本発明のプログラムの他の特徴とするところは、情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とする。
【００２１】
本発明の記憶媒体は、前記の何れかに記載のプログラムを記憶したことを特徴とする。
【発明の効果】
【００２２】
本発明によれば、指標を直接検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
【発明を実施するための最良の形態】
【００２３】
（第１の実施形態）
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
本実施形態に係る情報処理装置は、画像から検出された指標領域及び指標候補領域に図形又は小画像を局所的に重畳表示することによって指標の誤検出を防止する。なお、指標候補領域とは、撮像装置の位置及び姿勢を算出するために用いる指標としては扱わないものであるが、指標に特徴が近い領域のものを指す。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
【００２４】
図１は、本実施形態における情報処理装置１０００の構成例を示すブロック図である。
図１に示すように、本実施形態における情報処理装置１０００は、画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０を有している。また、情報処理装置１０００は、撮像装置１０１０及び表示装置１０９０に接続されている。
【００２５】
現実空間中の複数の位置には、撮像装置１０１０によって撮影するための指標として、複数個の指標Ｑk（ｋ＝１，２，，，ＫQ）が配置されている。なお、複数個の指標Ｑkは位置情報が既知のものである。位置情報では、現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系（世界座標系）によって位置ｘWQkが定義されている。
【００２６】
本実施形態においては、指標Ｑkは、撮像装置１０１０によって取得される撮像画像上において、少なくとも３個以上の指標が常に観測されるように設定されていることが望ましい。図１に示す例では、４個の指標Ｑ1，Ｑ2，Ｑ3，Ｑ4が設定されており、そのうちの３個の指標Ｑ1，Ｑ3，Ｑ4が撮像装置１０１０の視野内に含まれている状況を示している。
【００２７】
なお、指標Ｑkは、例えば、それぞれが異なる色を有する円形状のマーカによって構成されてもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成されてもよい。また、ある程度の面積を有する四角形の単色領域によって形成されるような、四角形指標を用いてもよい。撮像画像上に投影された像の座標が検出可能であって、かついずれの指標であるかが何らかの方法で識別可能であるような指標であれば、何れの形態であってもよい。さらに、指標は、故意に設定されたものであってもよいし、故意に設定されたものではない、情景に元来存在する特徴であってもよい。
【００２８】
以下、本実施形態における情報処理装置１０００の各構成について説明する。
撮像装置１０１０から出力される画像データ（以下、撮像画像データと呼ぶ）が、画像入力部１０２０に入力されると、画像入力部１０２０は、撮像画像データをデジタルデータに変換し、データ記憶部１０３０に保存する。
【００２９】
指標検出部１０４０は第１の検出手段として機能し、データ記憶部１０３０より撮像画像データを読み出し、画像の中に含まれている主観視点による指標の画像座標を検出する。例えば、各々の指標が互いに異なる色のマーカによって構成されている場合には、画像上から各々のマーカ色に対応する領域を検出し、その重心位置を指標の画像座標とする。また、各々の指標が互いに異なるテクスチャを有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像を用いて画像上でテンプレートマッチングを行う。これにより、指標の位置を検出する。
【００３０】
また、四角形指標を用いる場合は、画像データに２値化処理を施した後にラベリングを行い、４つの直線によって形成されている領域を指標候補領域として検出する。さらに、指標候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を防止して、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本実施形態では、４つの頂点の個々によって形成される４つの指標であるものとする。
【００３１】
指標検出部１０４０は、さらに、検出された指標の画像座標とその指標の識別子との情報をデータ記憶部１０３０へ出力する。以下、撮像画像上で検出された指標を、検出された各々の指標に付けられた識別子ｎ（ｎ＝１，２，，，Ｎ）を用いて、Ｑknと表記する。ここで、Ｎは撮像画像上で検出された指標の数を表している。また、検出された指標Ｑknの画像座標をｕQknと表記する。例えば、図１に示す例の場合には、Ｎ＝３であり、指標の識別子ｋ1＝１，ｋ2＝３，ｋ3＝４と、これらに対応する画像座標ｕQk1，ｕQk2，ｕQk3との情報が指標検出部１０４０から出力される。
【００３２】
位置姿勢算出部１０５０は、指標検出部１０４０によって検出された各々の指標の画像座標ｕQknと、既知な情報として予め保持されている世界座標ｘWQknとの情報をデータ記憶部１０３０から読み出す。そして、これらの情報に基づいて、撮像装置１０１０の位置及び姿勢を算出する。算出した位置及び姿勢の情報は、例えば、位置を表す３次元ベクトルｘWCと、姿勢を表す３×３行列ＲWCとの組合せの情報としてデータ記憶部１０３０に出力される。
【００３３】
なお、指標の世界座標と画像座標との組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において提案されている（例えば、非特許文献４及び非特許文献５参照）。したがって、その詳細な説明は省略する。
【００３４】
誤検出防止処理部１０６０は、表示装置１０９０が撮像装置１０１０によって撮影されるときに、指標検出部１０４０によって検出された撮影画像の指標の位置に、図形又は小画像を局所的に重畳する。これは、表示装置１０９０に表示された指標（例えば、図１に示すＱ1'，Ｑ3'，Ｑ4'）が指標検出部１０４０で検出されることを防止するために行うものである。
【００３５】
さらに、誤検出防止処理部１０６０は第２の検出手段として機能し、指標検出部１０４０によって検出されなかった指標に関して、指標候補領域が存在するか否か領域探索を行う。そして、指標候補領域が存在する場合は、指標候補領域に図形または小画像を局所的に重畳する。ここで、小画像とは、撮影画像よりも小さなサイズの画像のことを指すものとする。また、重畳する画像は３次元仮想物体などのほかの図形でも構わない。
【００３６】
画像生成部１０７０は、表示装置１０９０に表示するための表示画像データを生成する。画像出力部１０８０は表示制御手段として機能し、画像生成部１０７０で生成された表示画像データを表示装置１０９０に出力するためのデータに変換して、表示装置１０９０へ出力する。
【００３７】
データ記憶部１０３０は、画像入力部１０２０から出力される撮影画像データ、指標検出部１０４０から出力される各々の指標の画像座標及び識別子の情報を記憶する。また、既知の情報としての指標Ｑkの世界座標ｘWQkの情報、及び撮像装置１０１０のカメラパラメータ等のデータも記憶する。そして、必要に応じてこれらのデータを出力する。
【００３８】
なお、図１に示した画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０の夫々の構成については、独立した装置として扱ってもよい。また、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することにより、その機能を実現するようにしてもよい。本実施形態では、画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０の各部を１台のコンピュータ内で実行対象となるソフトウェアとして扱う。
【００３９】
図２は、図１における画像入力部１０２０〜画像出力部１０８０の夫々をソフトウェアとして実行する情報処理装置１０００の基本構成例を示す図である。
図２において、２００１はＣＰＵであり、ＲＡＭ２００２やＲＯＭ２００３に格納されたプログラムやデータを用いて情報処理装置１０００全体の制御を行う。さらに、画像入力部１０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部１０５０、誤検出防止処理部１０６０、画像生成部１０７０、及び画像出力部１０８０の夫々のソフトウェアの実行を制御して、各部の機能を実現する。
【００４０】
２００２はＲＡＭであり、外部記憶装置２００７や記憶媒体ドライブ２００８から読み出されたプログラムやデータを一時的に記憶するエリアを備えるとともに、ＣＰＵ２００１が各種の処理を行うために必要とするワークエリアを備える。本実施形態では、データ記憶部１０３０の機能は、ＲＡＭ２００２によって実現される。
【００４１】
２００３はＲＯＭであり、情報処理装置１０００の記憶プログラムや設定データなどが格納されている。２００４はキーボードであり、２００５はマウスである。操作者は、キーボード２００４及びマウス２００５を用いて、各種の指示をＣＰＵ２００１に入力することができる。
【００４２】
２００６は表示部であり、ＣＲＴや液晶画面などにより構成されている。例えば、撮像装置１０１０の位置姿勢計測のために表示すべきメッセージ等を表示することができる。
【００４３】
２００７は外部記憶装置であり、ハードディスクなどの大容量情報記憶装置として機能する装置である。外部記憶装置２００７は、ＯＳ（オペレーティングシステム）やソフトウェアのプログラム等を保存している。また、本実施形態において、その他の必要な情報が外部記憶装置２００７に保存されており、必要に応じてＲＡＭ２００２に読み出される。
【００４４】
２００８は記憶媒体ドライブであり、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ２００１からの指示に従って読み出して、ＲＡＭ２００２や外部記憶装置２００７に出力する。
【００４５】
２００９はＩ／Ｆであり、撮像装置１０１０を接続するためのアナログビデオポート、ＩＥＥＥ１３９４等のデジタル入出力ポート、識別した指標に関わる情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成されている。入力したデータはＩ／Ｆ２００９を介してＲＡＭ２００２に取り込まれる。なお、画像入力部１０２０の機能の一部は、Ｉ／Ｆ２００９によって実現される。２０１０は図２に示した各構成を繋ぐバスである。
【００４６】
図３は、本実施形態において、表示装置１０９０に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。なお、図３に示す各処理は、ＣＰＵ２００１が誤検出防止処理部１０６０のソフトウェアのプログラムを実行することにより行われる。なお、以下の処理を行う前段として、図３のフローチャートに従ったプログラムコードは、ＲＡＭ２００２に既にロードされているものとする。図３では、誤検出防止処理部１０６０により、表示装置１０９０に表示する表示画像における指標部分及び指標候補領域に対して図形または小画像を重畳する処理手順について説明する。
【００４７】
まず、ステップＳ３０１０において、誤検出防止処理部１０６０は、位置姿勢算出部１０５０により算出した撮像装置１０１０の位置及び姿勢の情報をデータ記憶部１０３０から読み出す。さらに、既知な情報として予め保持されている指標Ｑk及びその世界座標ｘWQkの情報と、指標検出部１０４０において検出された指標Ｑkn及びその画像座標ｕQknの情報とをデータ記憶部１０３０から読み出す。
【００４８】
次に、ステップＳ３０２０において、誤検出防止処理部１０６０は、初期設定としてｋ＝１と定める。そして、ステップＳ３０３０において、誤検出防止処理部１０６０は、指標Ｑknの中に指標Ｑkが存在するか、つまり指標Ｑkが検出されているか否かを判定する。この判定の結果、指標Ｑkが検出されている場合は、ステップＳ３０４０へ進み、指標Ｑkが検出されていない場合は、ステップＳ３０５０へ進む。
【００４９】
ステップＳ３０４０においては、誤検出防止処理部１０６０は、指標検出部１０４０により指標検出処理を行った撮像画像上の画像座標ｕQknの位置に、図形又は小画像を局所的に重畳する。そして、ステップＳ３０９０へ進む。
【００５０】
例えば、各々の指標が異なる色を有するマーカによって構成されている場合には、マーカ色として登録されていない色の図形（例えば、円）を画像座標ｕQknの位置に重畳してマーカを覆い隠す。また、各々の指標が異なるテクスチャを有する特徴点によって構成されている場合には、テクスチャの一部を覆い隠すように、図形又は小画像を重畳する。また、四角形指標を用いるような場合は、四角形指標として認識されなくなるように、図形又は小画像を重畳する。
【００５１】
図４は、四角形指標の指標領域４００中の特定パターンの一部を覆い隠すように四角形４１０を重畳表示した場合の一例を示す図である。図４に示す例では、四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠している。
【００５２】
一方、ステップＳ３０５０においては、誤検出防止処理部１０６０は、撮像装置１０１０の位置及び姿勢に基づいて、指標Ｑkの世界座標ｘWQkを透視投影変換して指標の探索領域を定める。なお、探索領域としては、例えば指標の推定位置を中心として予め定めておいた領域の大きさや形状（矩形・円形等）を探索領域としてもよい。また、探索領域の大きさを、指標Ｑkの世界座標ｘWQkを透視投影変換した結果から推定される撮像装置１０１０から撮影される指標の大きさにある一定量を増加した大きさとして、指標の推定位置情報に基づいて探索領域を定めてもよい。さらに、その他の何れの手法を用いて指標の探索領域を求めてもよい。
【００５３】
次に、ステップＳ３０６０において、誤検出防止処理部１０６０は、ステップＳ３０５０の処理において定めた探索領域内において指標候補領域を探索する。指標候補領域の探索については、例えば、四角形指標の場合、探索領域内のエッジを抽出して三方以上がエッジに囲まれている領域を指標候補領域とする等の方法によって探索を行う。
【００５４】
そして、ステップＳ３０７０において、誤検出防止処理部１０６０は、ステップＳ３０６０の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップＳ３０８０へ進み、指標候補領域が存在しなかった場合は、ステップＳ３０９０へ進む。
【００５５】
次に、ステップＳ３０８０において、誤検出防止処理部１０６０は、ステップＳ３０６０において探索された指標候補領域に、図形又は小画像を局所的に重畳する。
【００５６】
図５は、四角形指標の指標候補領域の特定パターンを覆い隠すように図形を重畳表示した場合の一例を示す図である。
図５（ａ）において、四角形指標の指標候補領域５００は、現実物５１０によって指標の一部が隠されているため指標候補領域として扱う。そして、四角形５２０を重畳することにより四角形指標の内部に設けられた上下左右の判別を行うための画像特徴を覆い隠して修正する。また、図５（ｂ）において、四角形指標の指標候補領域５３０は、撮影画像に四角形指標の一部しか映っていないため、指標候補領域として扱う。そして、四角形５４０を重畳することにより四角形指標の内部に設けられた上下左右の判別を行う為の画像特徴を覆い隠して修正する。
【００５７】
次に、ステップＳ３０９０において、誤検出防止処理部１０６０は、ｋの数値を１増加する。そして、ステップＳ３１００において、誤検出防止処理部１０６０は、ｋがＫQ以下であるか否か判定する。この判定の結果、ｋがＫQ以下である場合は、ステップＳ３０３０に戻り、ｋがＫQよりも大きい場合は、ステップＳ３１１０に進む。
【００５８】
そして、ステップＳ３１１０において、誤検出防止処理部１０６０は、撮像画像に図形又は小画像を重畳した画像のデータをデータ記憶部１０３０に出力する。図形又は小画像が局所的に重畳された画像は、データとして画像生成部１０７０及び画像出力部１０８０を介して、表示装置１０９０において表示される。
【００５９】
以上の処理により、指標領域及び指標候補領域に対して図形又は小画像を局所的に重畳した画像が表示装置１０９０に表示されるため、表示画像が撮像装置１０１０により撮影されたとしても、表示画像上に表示された指標が指標として検出されない。なお、本実施形態において、撮像装置１０１０に位置姿勢センサを装着することにより撮像装置１０１０の位置及び姿勢を計測してもよい。この場合には、画像情報を用いる場合と比較して、撮像装置１０１０の位置及び姿勢を安定的に推定することができる。
【００６０】
また、本実施形態において、撮像装置１０１０に慣性センサを装着して、例えば非特許文献６に開示されている手法によって、撮像装置１０１０の位置及び姿勢を算出してもよい。この場合、撮像装置１０１０によって取得される撮像画像上において、少なくとも２個以上の指標が常に観測されるように設定されていればよい。そして、この場合においても、画像情報のみを用いる場合と比較して、撮像装置１０１０の位置及び姿勢を安定的に推定することができる。
【００６１】
以上のように本実施形態によれば、指標の世界座標と、検出された指標の画像上における画像座標とに基づいて、撮像装置の位置及び姿勢を算出する。また、このように算出した撮像装置の位置及び姿勢に基づいて、検出できなかった指標を指標候補領域として検出し、図形又は小画像を重畳表示するようにした。これにより、指標を直接検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
【００６２】
（第２の実施形態）
第１の実施形態では、撮像装置及び表示装置が１台であったが、撮像装置同士の相対位置及び姿勢の関係が既知である場合には、撮像装置が複数台であっても、表示装置が複数台の構成であってもよい。以下、本実施形態に係る情報処理装置及び情報処理方法について説明する。
【００６３】
図６は、本実施形態に係る情報処理装置６０００の構成例を示すブロック図である。なお、図１と同じ構成については同じ番号、記号を付しているため、その説明は省略する。
図６に示すように、本実施形態における情報処理装置６０００は、画像入力部６０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部６０３０、誤検出防止処理部６０４０、画像生成部６０５０、及び画像出力部６０６０を有している。また、情報処理装置６０００は、第１の撮像装置６０１０、第２の撮像装置６０１１、第１の表示装置６０７０、第２の表示装置６０７１に接続されている。なお、第１の撮像装置６０１０は図１の撮像装置１０１０と同一であり、第１の表示装置６０７０は図１の表示装置１０９０と同一であるため、説明は省略する。
【００６４】
現実空間中の複数の位置には、第１の撮像装置６０１０によって撮影するための指標として、複数個の指標Ｑk（ｋ＝１，２，，，ＫQ）が配置されている。なお、複数個の指標Ｑkは位置情報が既知のものであり、世界座標系によって位置ｘWQkが定義されている。
【００６５】
本実施形態においては、指標Ｑkは、第１の撮像装置６０１０によって取得される撮像画像上において、少なくとも３個以上の指標が常に観測されるように設定されていることが望ましい。図６に示す例では、４個の指標Ｑ1，Ｑ2，Ｑ3，Ｑ4が設定されており、そのうちの３個の指標Ｑ1，Ｑ3，Ｑ4が撮像装置１０１０の視野内に含まれている状況を示している。
【００６６】
以下、本実施形態における情報処理装置６０００の各構成について説明する。
第１の撮像装置６０１０及び第２の撮像装置６０１１から出力される撮影画像データが、画像入力部６０２０に入力されると、画像入力部６０２０は、撮像画像データをデジタルデータに変換し、データ記憶部１０３０に保存する。
【００６７】
位置姿勢算出部６０３０は、指標検出部１０４０によって検出された各々の指標の画像座標ｕQknと、既知な情報として予め保持されている世界座標ｘWQknとの情報をデータ記憶部１０３０から読み出す。そして、これらの情報に基づいて、第１の撮像装置６０１０の位置及び姿勢を算出する。
【００６８】
さらに、第１の撮像装置６０１０と第２の撮像装置６０１１との相対的な位置及び姿勢の情報をデータ記憶部１０３０から読み出し、これらの情報に基づいて、第２の撮像装置６０１１の相対的な位置及び姿勢を算出する。算出した位置及び姿勢の情報は、例えば、位置を表す３次元ベクトルｘWCと姿勢を表す３×３行列ＲWCとの組合せの情報としてデータ記憶部１０３０に出力される。
【００６９】
誤検出防止処理部６０４０は、第１の表示装置６０７０及び第２の表示装置６０７１が第１の撮像装置６０１０及び第２の撮像装置６０１１によって撮影されるときに、指標検出部１０４０によって検出された指標の位置に図形又は小画像を局所的に重畳する。これは、第１の表示装置６０７０に表示された指標（例えば、図６のＱ1'，Ｑ3'，Ｑ4'）及び第２の表示装置６０７１に表示される指標（例えば、図６のＱ1"，Ｑ3"，Ｑ4"）が指標検出部１０４０で検出されることを防止するために行うものである。
【００７０】
さらに、誤検出防止処理部６０４０は、さらに、第１の撮像装置６０１０から出力された撮影画像に対しては、指標検出部１０４０によって検出されなかった指標に関して、指標候補領域が存在するか否か領域探索を行う。また、第２の撮像装置６０１１から出力された撮影画像に対しては、全ての指標に関して、指標候補領域が存在するか否か領域探索を行う。そして、指標候補領域が存在する場合は、指標候補領域に図形または小画像を局所的に重畳する。ここで、小画像とは、撮影画像よりも小さなサイズの画像のことを指すものとする。また、重畳する画像は３次元仮想物体などのほかの図形でも構わない。
【００７１】
画像生成部６０５０は、第１の表示装置６０７０及び第２の表示装置６０７１に表示するための表示画像データを生成する。画像出力部６０６０は、画像生成部６０５０で生成された表示画像データを第１の表示装置６０７０または第２の表示装置６０７１に出力するためのデータに変換し、第１の表示装置６０７０または第２の表示装置６０７１へ出力する。
【００７２】
なお、図６に示した画像入力部６０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部６０３０、誤検出防止処理部６０４０、画像生成部６０５０、及び画像出力部６０６０の夫々の構成については、独立した装置として扱ってもよい。また、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することにより、その機能を実現するようにしてもよい。本実施形態では、画像入力部６０２０、データ記憶部１０３０、指標検出部１０４０、位置姿勢算出部６０３０、誤検出防止処理部６０４０、画像生成部６０５０、及び画像出力部６０６０の各部を１台のコンピュータ内で実行対象となるソフトウェアとして扱う。また、このコンピュータのハード構成は図２に示した構成と同様であるため、説明は省略する。
【００７３】
図７は、本実施形態において、第１の表示装置６０７０及び第２の表示装置６０７１に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。なお、図７に示す各処理は、ＣＰＵ２００１が誤検出防止処理部６０４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、図７のフローチャートに従ったプログラムコードは、ＲＡＭ２００２に既にロードされているものとする。
【００７４】
まず、ステップＳ７０１０において、誤検出防止処理部６０４０は、位置姿勢算出部６０３０により算出した第１の撮像装置６０１０の位置及び姿勢と第２の撮像装置６０１１の位置及び姿勢との情報をデータ記憶部１０３０から読み出す。さらに、既知な情報として予め保持されている指標Ｑk及びその世界座標ｘWQkの情報と、指標検出部１０４０において検出された指標Ｑkn及びその画像座標ｕQknの情報とをデータ記憶部１０３０から読み出す。
【００７５】
次に、ステップＳ７０２０において、誤検出防止処理部６０４０は、初期設定としてｋ＝１と定める。そして、ステップＳ７０３０において、誤検出防止処理部６０４０は、指標Ｑknの中に指標Ｑkが存在するか、つまり指標Ｑkが検出されているか否かを判定する。この判定の結果、指標Ｑkが検出されている場合は、ステップＳ７０４０へ進み、指標Ｑkが検出されていない場合は、ステップＳ７０５０へ進む。
【００７６】
ステップＳ７０４０においては、誤検出防止処理部６０４０は、指標検出部１０４０により指標検出処理を行った第１の撮像装置６０１０の撮像画像上の画像座標ｕQknの位置に、図形又は小画像を局所的に重畳する。そして、ステップＳ７０９０へ進む。
【００７７】
一方、ステップＳ７０５０においては、誤検出防止処理部６０４０は、第１の撮像装置６０１０の位置及び姿勢に基づいて、指標Ｑkの世界座標ｘWQkを透視投影変換して第１の撮像装置６０１０の撮影画像における指標の探索領域を定める。そして、ステップＳ７０６０において、誤検出防止処理部６０４０は、ステップＳ７０５０の処理において定めた探索領域内において指標候補領域を探索する。
【００７８】
次に、ステップＳ７０７０において、誤検出防止処理部６０４０は、ステップＳ７０６０の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップＳ７０８０へ進み、指標候補領域が存在しなかった場合は、ステップＳ７０９０へ進む。
【００７９】
次に、ステップＳ７０８０において、誤検出防止処理部６０４０は、ステップＳ７０６０において探索された指標候補領域に、図形又は小画像を局所的に重畳する。そして、ステップＳ７０９０において、誤検出防止処理部６０４０は、ｋの数値を１増加する。
【００８０】
そして、ステップＳ７１００において、誤検出防止処理部６０４０は、ｋがＫQ以下であるか否かを判定する。この判定の結果、ｋがＫQ以下である場合は、ステップＳ７０３０に戻り、ｋがＫQよりも大きい場合は、ステップＳ７１１０へ進む。そして、ステップＳ７１１０において、誤検出防止処理部６０４０は、初期設定として再度ｋ＝１と定める。
【００８１】
次に、ステップＳ７１２０において、誤検出防止処理部６０４０は、第２の撮像装置６０１１の位置及び姿勢に基づいて、指標Ｑkの世界座標ｘWQkを透視投影変換して第２の撮像装置６０１１の撮影画像における指標の探索領域を定める。そして、ステップＳ７１３０において、誤検出防止処理部６０４０は、ステップＳ７１２０の処理において定めた探索領域内において指標候補領域を探索する。
【００８２】
次に、ステップＳ７１４０において、誤検出防止処理部６０４０は、ステップＳ７１３０の処理により指標候補領域が存在したか否かを判定する。この判定の結果、指標候補領域が存在した場合は、ステップＳ７１５０へ進み、指標候補領域が存在しなかった場合は、ステップＳ７１６０へ進む。
【００８３】
次に、ステップＳ７１５０において、誤検出防止処理部６０４０は、ステップＳ７１３０の処理において探索された指標候補領域に、図形又は小画像を局所的に重畳する。そして、ステップＳ７１６０において、誤検出防止処理部６０４０は、ｋの数値を１増加する。
【００８４】
次に、ステップＳ７１７０において、誤検出防止処理部６０４０は、ｋがＫQ以下であるか否かを判定する。この判定の結果、ｋがＫQ以下である場合は、ステップＳ７１２０に戻り、ｋがＫQよりも大きい場合は、ステップＳ７１８０へ進む。
【００８５】
そして、ステップＳ７１８０において、誤検出防止処理部６０４０は、第１の撮像装置６０１０から出力された撮像画像及び第２の撮像装置６０１１から出力された撮像画像に図形又は小画像を重畳した画像のデータをデータ記憶部１０３０に出力する。図形又は小画像が局所的に重畳された画像は、画像生成部１０７０及び画像出力部１０８０を介して、それぞれ第１の表示装置６０７０及び第２の表示装置６０７１において表示される。このとき、第１の撮像装置６０１０において撮影された撮像画像に対応する画像データは、第１の表示装置６０７０に表示され、第２の撮像装置６０１１において撮影された撮像画像に対応する画像データは、第２の表示装置６０７１に表示される。
【００８６】
以上の処理により、指標領域及び指標候補領域に対して図形又は小画像を局所的に重畳した画像が表示されるため、表示画像が第１の撮像装置６０１０により撮影されたとしても、表示画像上の指標及び指標候補領域が現実空間上の指標として検出されない。
【００８７】
以上のように本実施形態によれば、撮像装置や表示装置が複数台接続されている場合であっても、第１の実施形態と同様に、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。つまり、指標を検出できなかった場合や撮像装置の位置及び姿勢がずれている場合でも、表示装置に表示される指標を現実空間に存在する指標として検出されることを精度良く防止することができる。
【００８８】
（本発明に係る他の実施形態）
前述した第１及び第２の実施形態は、ビデオシースルー方式ヘッドマウントディスプレイを用いた複合現実感を提示するシステムにも適用することもできる。この場合、例えば、ヘッドマウントディスプレイの撮影部が、例えば、図１に示す撮像装置１０１０に相当する。そして、指標を用いてヘッドマウントディスプレイの位置及び姿勢を求め、求められた位置及び姿勢に応じた仮想画像を生成し、仮想画像を撮影部で撮影された撮影画像に合成する。これにより、ユーザに複合現実感を提示することができる。
【００８９】
さらに、ヘッドマウントディスプレイに表示されている画像に相当する画像を、例えば図１に示すような表示装置１０９０に表示することにより、複合現実感を体験しているユーザ以外の観客に対しても、ユーザが体験している状況を提示することができる。さらには、このようなシステムにおいて、表示画像に表示されている指標を現実空間に存在する指標として誤検出することにより複合現実感の精度が低下することを防ぐことができる。
【００９０】
前述した本発明の実施形態における情報処理装置を構成する各手段、並びに情報処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００９１】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００９３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００９５】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００９６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００９７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００９８】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１００】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施形態における情報処理装置の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態における情報処理装置のハード構成例を示すブロック図である。
【図３】本発明の第１の実施形態において、表示装置に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。
【図４】本発明の第１の実施形態において、四角形指標の指標領域中の特定パターンの一部を覆い隠すように四角形を重畳表示した場合の一例を示す図である。
【図５】本発明の第１の実施形態において、四角形指標の指標候補領域の特定パターンを覆い隠すように図形を重畳表示した場合の一例を示す図である。
【図６】本発明の第２の実施形態における情報処理装置の機能構成例を示すブロック図である。
【図７】本発明の第２の実施形態において、第１の表示装置及び第２の表示装置に表示された指標の誤検出を防止するための処理手順の一例を示すフローチャートである。
【図８】記号情報などが埋め込まれた指標である具体的な正方形マーカの例を示す図である。
【符号の説明】
【０１０２】
１０００ 情報処理装置
１０１０ 撮像装置
１０２０ 画像入力部
１０３０ データ記憶部
１０４０ 指標検出部
１０５０ 位置姿勢算出部
１０６０ 誤検出防止処理部
１０７０ 画像生成部
１０８０ 画像出力部
１０９０ 表示装置
２００１ ＣＰＵ
２００２ ＲＡＭ
２００３ ＲＯＭ
２００４ キーボード
２００５ マウス
２００６ 表示部
２００７ 外部記憶装置
２００８ 記憶媒体ドライブ
２００９ Ｉ／Ｆ
２０１０ バス
【特許請求の範囲】
【請求項１】
情景を撮影する撮像手段によって取得された画像データを入力する画像入力手段と、
前記画像入力手段によって入力された画像データから前記情景に含まれる指標を検出する第１の検出手段と、
前記情景に含まれる指標の世界座標の情報を記憶する記憶手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出手段と、
前記画像入力手段によって入力された画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を表示手段に表示する表示制御手段とを備えることを特徴とする情報処理装置。
【請求項２】
情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力手段と、
前記画像入力手段によって入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出手段と、
前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報とを記憶する記憶手段と、
前記記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出手段と、
前記画像入力手段によって入力された各画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像をそれぞれ生成する画像生成手段と、
前記画像生成手段によって生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御手段とを備えることを特徴とする情報処理装置。
【請求項３】
前記第２の検出手段は、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢に基づいて指標の探索領域を設定し、前記設定した探索領域において前記情景に含まれる指標を検出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記画像生成手段は、前記指標が四角形指標である場合は、前記四角形指標の内部の特徴を修正した画像を生成することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、
前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、
前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とを備えることを特徴とする情報処理方法。
【請求項６】
情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、
前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、
前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、
前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とを備えることを特徴とする情報処理方法。
【請求項７】
前記第２の検出工程においては、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢に基づいて指標の探索領域を設定し、前記設定した探索領域において前記情景に含まれる指標を検出することを特徴とする請求項５又は６に記載の情報処理方法。
【請求項８】
前記画像生成工程においては、前記指標が四角形指標である場合は、前記四角形指標の内部の特徴を修正した画像を生成することを特徴とする請求項５〜７の何れか１項に記載の情報処理方法。
【請求項９】
情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、
前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、
前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、
前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、
前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、
前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
請求項９又は１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
情景を撮影する撮像手段によって取得された画像データを入力する画像入力手段と、
前記画像入力手段によって入力された画像データから前記情景に含まれる指標を検出する第１の検出手段と、
前記情景に含まれる指標の世界座標の情報を記憶する記憶手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出手段と、
前記画像入力手段によって入力された画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を表示手段に表示する表示制御手段とを備えることを特徴とする情報処理装置。
【請求項２】
情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力手段と、
前記画像入力手段によって入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出手段と、
前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報とを記憶する記憶手段と、
前記記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出手段によって検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出手段と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出手段によって算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出手段によって検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出手段と、
前記画像入力手段によって入力された各画像データに含まれる前記第１の検出手段及び第２の検出手段によって検出された指標を修正した画像をそれぞれ生成する画像生成手段と、
前記画像生成手段によって生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御手段とを備えることを特徴とする情報処理装置。
【請求項３】
前記第２の検出手段は、前記位置姿勢算出手段によって算出された前記撮像手段の位置及び姿勢に基づいて指標の探索領域を設定し、前記設定した探索領域において前記情景に含まれる指標を検出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記画像生成手段は、前記指標が四角形指標である場合は、前記四角形指標の内部の特徴を修正した画像を生成することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、
前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、
前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とを備えることを特徴とする情報処理方法。
【請求項６】
情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、
前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、
前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、
前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とを備えることを特徴とする情報処理方法。
【請求項７】
前記第２の検出工程においては、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢に基づいて指標の探索領域を設定し、前記設定した探索領域において前記情景に含まれる指標を検出することを特徴とする請求項５又は６に記載の情報処理方法。
【請求項８】
前記画像生成工程においては、前記指標が四角形指標である場合は、前記四角形指標の内部の特徴を修正した画像を生成することを特徴とする請求項５〜７の何れか１項に記載の情報処理方法。
【請求項９】
情景を撮影する撮像手段によって取得された画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された指標の世界座標の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記画像データから検出する第２の検出工程と、
前記画像入力工程において入力された画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像を生成する画像生成工程と、
前記画像生成工程において生成された画像を表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
情景を撮影する複数の撮像手段によって取得されたそれぞれの画像データを入力する画像入力工程と、
前記画像入力工程において入力された複数の画像データの中の１つから前記情景に含まれる指標を検出する第１の検出工程と、
記憶手段に記憶された前記情景に含まれる指標の世界座標の情報と、前記複数の撮像手段の間の位置及び姿勢の関係の情報と、前記第１の検出工程において検出された指標の画像上における画像座標の情報とに基づいて、前記複数の撮像手段の位置及び姿勢を算出する位置姿勢算出工程と、
前記記憶手段に記憶された指標の世界座標の情報と、前記位置姿勢算出工程において算出された前記複数の撮像手段の位置及び姿勢の情報とに基づいて、前記第１の検出工程において検出された指標とは異なる前記情景に含まれる指標を前記複数の画像データから検出する第２の検出工程と、
前記画像入力工程において入力された各画像データに含まれる前記第１の検出工程及び第２の検出工程において検出された指標を修正した画像をそれぞれ生成する画像生成工程と、
前記画像生成工程において生成された各画像を前記各画像に対応する複数の表示手段に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
請求項９又は１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１１８００２（Ｐ２０１０−１１８００２Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９２５８５（Ｐ２００８−２９２５８５）
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]