情報処理装置、情報処理装置の制御方法、およびプログラム
【課題】センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断できるようにする。
【解決手段】撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置であって、撮像装置により撮像された画像を取得する画像取得部と、画像から指標情報を検出する指標検出部と、位置姿勢センサにより計測された位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得部と、指標情報と計測値とを含む校正用入力データの推奨レベルを、指標情報と計測値とに基づいて算出する算出部と、推奨レベルを提示する提示部と、を備える。
【解決手段】撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置であって、撮像装置により撮像された画像を取得する画像取得部と、画像から指標情報を検出する指標検出部と、位置姿勢センサにより計測された位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得部と、指標情報と計測値とを含む校正用入力データの推奨レベルを、指標情報と計測値とに基づいて算出する算出部と、推奨レベルを提示する提示部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術の研究が盛んである。ＭＲ技術とは、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。ＭＲ技術は、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待される。
【０００３】
仮想物体が現実空間に実在するように利用者が感じるためには、仮想物体と現実空間との間の幾何学的な整合性が重要である。複合現実感（ＭＲ）における幾何学的な整合性には、現実空間の座標系と仮想空間の座標系とを一致させるための整合性と、現実物体と仮想物体との前後関係を正しく表現するための整合性とがある。前者の整合性を扱う問題は、複合現実感（ＭＲ）における位置合わせ問題とも呼ばれ、種々の研究報告が行われている（非特許文献１参照）。位置合わせ問題は、観察者視点映像を撮像するための撮像装置と、仮想の情報を重畳表示させようとする対象である現実物体との間で、位置姿勢を合わせる際の問題である。本発明では、この位置合わせ問題を扱う。
【０００４】
撮像装置の位置姿勢を計測する方法として、
（１）位置および姿勢の両方を同時に計測可能なセンサの計測値を利用する方法。
【０００５】
（２）姿勢を計測するセンサの計測値と、撮像装置で撮像された画像から検出した指標の画像情報とを利用する方法。
【０００６】
（３）撮像装置で撮像された画像から検出した指標の画像情報を利用して、位置および姿勢の両方を同時に計測できるセンサから得たセンサ計測値を補正する方法。
【０００７】
などがある（非特許文献１、非特許文献２参照）。一般的に、位置および姿勢を計測する位置姿勢センサとして、磁気式や光学式のセンサが用いられ、一方、姿勢を計測する姿勢センサとして、ジャイロによる慣性センサが用いられている。
【０００８】
撮像装置に姿勢センサまたは位置姿勢センサを装着し、センサ計測値を利用して物体や撮像装置の位置または姿勢を求めるためには、姿勢センサまたは位置姿勢センサの、計測対象である撮像装置に対する相対位置または姿勢を予め計測する必要がある。計測対象に対するセンサの配置情報である相対位置または姿勢を求めることを、以下ではセンサの校正と称する。
【０００９】
特許文献１では、物体に、指標と、位置姿勢センサまたは姿勢センサとを装着し、物体に装着した位置姿勢センサまたは姿勢センサの物体に対する配置情報を校正情報として求めるセンサ校正方法が開示されている。物体を撮像した画像を取得し、センサの計測値を入力し、画像から指標の画像座標に関する情報を検出し、センサ計測値と指標の画像座標に関する情報とを用いて、校正情報を求めている。以下では、画像を利用してセンサの校正を行う場合において、校正に必要となる位置姿勢センサまたは姿勢センサの計測値と、画像上で検出した指標の画像情報とを、校正用入力データと称する。
【００１０】
センサの校正を行うためには、様々な位置および姿勢における校正用入力データを取得する必要がある。また、校正用入力データの精度がセンサの校正結果に大きく影響を与えるため、精度の高いセンサの計測値を入力するとともに、撮像した画像から高精度に指標を検出する必要がある。画像上で小さく指標が撮像される場合や、撮像装置が高速に回転または移動して撮像画像にブラーが起こる場合には、指標の検出精度が低下する。そのため、このような場合に取得したセンサ校正用入力データを入力して計算を行うと、校正結果の精度が低下する。
【００１１】
また、特許文献２では、センサの校正を行う際に、校正の精度低下を引き起こす校正用入力データを減らし、校正精度の向上を図ることを目的として、校正用入力データ取得時に、目標撮像位置姿勢を指示する仮想的な３次元オブジェクトを提示している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００６−１５３８４８号公報
【特許文献２】特開２００８−０４６６８７号公報
【非特許文献】
【００１３】
【非特許文献１】佐藤, 内山, 田村, "複合現実感における位置合わせ手法", 日本ＶＲ学会論文誌，Ｖｏｌ．８，ｎｏ．２，ｐｐ．１７１−１８０，２００３．
【非特許文献２】Ｋ． Ｓａｔｏｈ， Ｓ． Ｕｃｈｉｙａｍａ， ａｎｄ Ｈ． Ｙａｍａｍｏｔｏ： "Ａ ｈｅａｄ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｂｉｒｄ'ｓ−ｅｙｅ ｖｉｅｗ ｃａｍｅｒａ ａｎｄ ｇｙｒｏｓｃｏｐｅ，" Ｐｒｏｃ． 3ｒｄ ＩＥＥＥ／ＡＣＭ Ｉｎｔ'ｌ Ｓｙｍｐ． ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ （ＩＳＭＡＲ ２００４）， ｐｐ．２０２−２１１， ２００４．
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献１のようにセンサ計測値と指標の画像情報とに基づいてセンサの校正を行う場合、センサの校正に関する知識やノウハウを持たない作業者が、校正に適する入力データか否かを判断することは難しいという課題がある。
【００１５】
なぜなら、位置姿勢センサの計測範囲内であっても、一様な計測精度で分布しているわけではなく、周辺の環境や、計測場所によってセンサの計測精度に偏りがあるためである。具体的には、磁気式の位置姿勢センサであれば、周辺の磁場の影響を受けやすく、磁場の歪みに依存して正しい計測値が得られないことが知られている。また、光学式の位置姿勢センサの場合、位置または姿勢の計測精度は、光学センサのレンズ歪み補正パラメータやカメラパラメータの精度に依存して計測精度に偏りが生じる。そのため、光学式の位置姿勢センサのレンズ中心付近、すなわち計測範囲の中心では計測精度がよいが、計測範囲の境界付近などでは、計測精度が低いことがある。したがって、作業者は、精度のよいセンサ校正を行うために、センサの特性や周辺環境を鑑みて校正用入力データを取得する必要がある。
【００１６】
また、センサの計測範囲内において、様々な位置姿勢から指標を画像上で十分大きく写るように撮像し、かつ撮像画像でブラーが起こらないように撮像しなければならない。特にセンサ計測範囲が広い場合に、校正に適するデータか否かを判断しつつ、様々な位置および姿勢でのセンサ計測値を取得することは、ノウハウを持たない作業者にとって難しいという課題がある。
【００１７】
特許文献２では、校正用入力データを取得するための撮像装置の目標位置姿勢を提示することが可能である。しかしながら、校正用入力データを取得する場所において、センサの特性や周辺環境を鑑みて、その校正用入力データが適するか否かを判断する技術は開示されていない。加えて、正しい目標位置姿勢を提示するためには、正確な撮像装置の位置姿勢を求める必要がある。しかしながら、センサの校正は、正確な撮像装置の位置姿勢を求めるために行っているのであって、センサの校正を行う前に正確な撮像装置の位置姿勢を求めることはできない。
【００１８】
したがって、おおまかな校正結果に基づいて目標位置姿勢を提示することはできるものの、実際に校正用入力データを取得する場所において、校正に適する入力データか否かを判断することは難しい。
【００１９】
上記の課題に鑑み、本発明は、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断する技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記の目的を達成する本発明に係る情報処理装置は、
撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置であって、
前記撮像装置により撮像された画像を取得する画像取得手段と、
前記画像から指標情報を検出する指標検出手段と、
前記位置姿勢センサにより計測された前記位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得手段と、
前記指標情報と前記計測値とを含む前記校正用入力データの推奨レベルを、前記指標情報と前記計測値とに基づいて算出する算出手段と、
前記推奨レベルを提示する提示手段と、
を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態における情報処理装置１０００の概略構成を示すブロック図。
【図２】第１実施形態における校正用入力データの取得推奨レベルを表示する処理の手順を示すフローチャート。
【図３】第１実施形態における校正用入力データの取得推奨レベルを算出する処理の手順を示すフローチャート。
【図４】第１実施形態におけるセンサの校正情報を算出する処理の手順を示すフローチャート。
【図５】第１実施形態における校正用入力データの取得推奨レベルの表示方法を示す図。
【図６】第３実施形態における校正用入力データの取得推奨レベルを、入力データの状態と作業者の行動を指示するテキスト情報とに割り当てる説明図。
【図７】第１実施形態における情報処理装置１０００のハードウェア構成を示すブロック図。
【図８】第２実施形態における情報処理装置８０００の概略構成を示すブロック図。
【図９】第２実施形態における校正用入力データの取得推奨レベルを表示する処理の手順を示すフローチャート。
【図１０】第２実施形態における校正用入力データの取得推奨レベルの算出処理の手順を示すフローチャート。
【図１１】第２実施形態におけるセンサの校正情報を算出する処理の手順を示すフローチャート。
【図１２】第５実施形態における、校正用入力データの取得推奨レベルに対応する色を、再投影誤差を表示する領域６００に割り当てた様子を表す図。
【図１３】第５実施形態における、校正用入力データの取得推奨レベルに対応する色を、撮像装置が撮像した画像の領域７００に割り当てた様子を表す図。
【図１４】第５実施形態における、校正用入力データの取得推奨レベルに対応する色を、撮像装置が撮像した画像の枠８００に割り当てた様子を表す図。
【図１５】第６実施形態における、位置姿勢センサを装着した撮像装置に取り付けられた、取得推奨レベル表示部を表す図。
【図１６】第７実施形態における、情報処理装置１６０００の概略構成を示す図。
【図１７】第７実施形態における、校正用入力データの取得推奨レベルを表示する処理の手順を示すフローチャート。
【図１８】第７実施形態における、校正用入力データの取得推奨レベルを算出する処理の手順を示すフローチャート。
【発明を実施するための形態】
【００２３】
（第１実施形態）
本実施形態に係る情報処理装置は、撮像装置に装着した位置姿勢センサの撮像装置に対する配置情報を算出するための入力データを取得する際に、推奨レベルを算出して表示する。以下、本実施形態に係る情報処理装置について説明する。
【００２４】
図１は、本実施形態に係る情報処理装置１０００の概略構成を示す。情報処理装置１０００は、画像入力部１０１０と、センサ計測値入力部１０２０と、指標検出部１０３０と、データ管理部１０４０と、取得推奨レベル算出部１０５０と、取得推奨レベル表示部１０６０と、校正情報算出部１０７０とを備える。また情報処理装置１０００は、撮像装置１００と、位置姿勢センサ２００とに接続されている。
【００２５】
なお、校正される対象である位置姿勢センサ２００は、撮像装置１００上に装着されているものとする。撮像装置座標系は、撮像装置１００上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系である。撮像装置座標系における、位置姿勢センサ２００の位置姿勢は未知である。この未知である撮像装置座標系における位置姿勢センサ２００の位置姿勢が、校正する情報である。
【００２６】
現実空間中には、撮像装置１００によって撮像するための１つまたは複数の指標Ｐが配置される。ここで現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義する座標系を世界座標系と称する。この世界座標系における位置が既知である指標Ｐｋ（ｋ＝１，，，Ｋ）が配置されている。指標Ｐｋは、撮像装置１００によって、少なくとも３個以上の点の情報が観測されるように設置されているとよい。
【００２７】
指標Ｐｋは、例えば、それぞれが異なる色を有する円形状のマーカーによって構成してもよいし、それぞれが異なる特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形領域によって形成されるような四角形指標を用いることも可能である。撮像画像上における画像座標が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。
【００２８】
画像入力部１０１０は、撮像装置１００が出力する画像取得を行い、当該画像を指標検出部１０３０へ出力する。
【００２９】
センサ計測値入力部１０２０は、位置姿勢センサ２００から位置姿勢の計測値取得処理を行い、当該計測値をデータ管理部１０４０へ出力する。位置姿勢センサ２００が出力する計測値は一般的にはセンサが独自に定義するセンサ座標系における位置姿勢センサ自身の位置姿勢である。ここでは、センサ計測値入力部１０２０は、既知の値であるセンサ座標系から世界座標系への変換行列を乗算することにより、センサ座標系における位置姿勢センサ自身の位置姿勢を世界座標系における位置姿勢センサ自身の位置姿勢に変換する。センサ計測値入力部１０２０は、変換後の姿勢を示す回転行列（以下、「ＲＷＳ」と称する）をデータ管理部１０４０へと出力する。
【００３０】
指標検出部１０３０は、画像入力部１０１０により取得された画像における指標Ｐｋの座標を検出する。例えば、指標Ｐｋの各々が異なる色を有するマーカーによって構成されている場合には、画像上から各々のマーカー色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、指標Ｐｋの各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを施すことにより、指標の位置を検出する。指標として四角形指標を用いる場合は、画像に２値化処理を施した後にラベリングを行い、一定面積以上の領域の中から４つの直線によって形成されているものを指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除し、また、指標の方向と識別子を取得する。なお、このようにして検出される四角形指標は、本実施形態では、４つの頂点の個々によって形成される４つの指標であると考え、指標Ｐｋｎと表す。ここで、ｎ（ｎ＝１，２，３，４）は検出された指標夫々に対するインデックスである。
【００３１】
指標検出部１０３０は、検出された各々の指標Ｐｋｎの画像座標ｕＰｋｎとその識別子ｋｎを指標の検出情報（指標情報）として、また指標を検出できない場合には、指標が検出できないことを指標の検出情報（指標情報）として、データ管理部１０４０へと出力する。
【００３２】
取得推奨レベル算出部１０５０は、データ管理部１０４０から、指標の検出情報とセンサ計測値とを、校正用入力データ候補として取得する。校正用入力データ候補に基づいて、校正情報算出に利用すべきかどうかのレベルを示す取得推奨レベルを算出する。取得推奨レベル算出部１０５０は、取得推奨レベル表示部１０６０とデータ管理部１０４０とに、取得推奨レベルを出力する。
【００３３】
取得推奨レベル表示部１０６０は、取得推奨レベル算出部１０５０から取得した取得推奨レベルを、不図示の作業者に表示する。不図示の作業者は、取得推奨レベルが高くなる場所に、位置姿勢センサ２００を装着した撮像装置１００を移動させる。
【００３４】
データ管理部１０４０は、取得推奨レベル算出部１０５０から取得推奨レベルを取得し、校正用入力データを校正情報算出部１０７０に出力する。
【００３５】
校正情報算出部１０７０は、データ管理部１０４０から校正用入力データを取得し、校正情報を算出し、当該校正情報を出力する。
【００３６】
図２のフローチャートを参照して、本実施形態に係る情報処理装置１０００が、校正用入力データの取得推奨レベルを表示する処理の手順を示す。なお、同フローチャートに従ったプログラムコードは、情報処理装置１０００内の不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００３７】
Ｓ２０１０において、画像入力部１０１０は、撮像装置１００から画像を取得する。Ｓ２０２０において、指標検出部１０３０は、画像から指標Ｐｋｎを検出する。指標検出部１０３０は、検出した指標Ｐｋｎの画像座標ｕＰｋｎとその識別子ｋｎとを検出情報としてデータ管理部１０４０へ出力する。指標を検出できない場合には、指標を検出できなかったことを示すフラグを検出情報としてデータ管理部１０４０へ出力する。
【００３８】
Ｓ２０３０において、センサ計測値入力部１０２０は、位置姿勢センサ２００から計測値である姿勢ＲＷＳと位置ＴＷＳとを取得し、データ管理部１０４０へ出力する。
【００３９】
以上のＳ２０１０、Ｓ２０２０、Ｓ２０３０の各処理により、データ管理部１０４０は、センサ計測値および、指標の検出情報を取得することができる。Ｓ２０４０において、取得推奨レベル算出部１０５０は、取得推奨レベルを算出する。
【００４０】
ここで、校正用入力データの取得推奨レベルについて説明する。取得推奨レベルは、指標の検出状況と、センサの計測値とに基づいて、入力データが、校正情報を算出するために利用する校正用入力データとして適当であるか否かの度合いを数値化したものである。情報量が不足しているために、校正情報を算出できない入力データであると判断できる場合には、取得推奨レベルＬは、Ｌ＝１とする。校正情報を算出できるが、精度のよい校正を行うためには、適当でないと判断できる場合には、Ｌ＝２とする。精度のよい校正を行うために、積極的に入力データを用いるべきであると判断できる場合には、Ｌ＝３とする。すでに校正済みであると判断される場合や、同じ地点からの入力データを取得済みであるなど、センサ校正を行うために必要のない入力データである場合には、Ｌ＝０とする。取得推奨レベルの算出処理の詳細は図３のフローチャートを参照して後述する。
【００４１】
Ｓ２０５０において、取得推奨レベル表示部１０６０は、Ｓ２０４０で算出された取得推奨レベルを作業者に対して表示する。
【００４２】
図５を参照して、取得推奨レベルの表示例について説明する。取得推奨レベル表示部１０６０として、校正計算に用いるＰＣに付属する不図示の液晶ディスプレイを用いることができる。取得推奨レベルをレベルごとに、例えばＬ＝０のとき水色、Ｌ＝１のとき赤色、Ｌ＝２のとき黄色、Ｌ＝３のとき青色として色分けして、レベルに応じた色を図５の領域４００に表示する。なお、レベル別に区別することができれば、何れの色を各レベルに割り当ててもよい。また、レベルごとにテクスチャの模様や、異なる輝度を割り当ててもよい。レベル別に区別することができれば、何れの方法を用いてもよい。作業者は、液晶ディスプレイに表示される取得推奨レベルが、Ｌ＝３に対応する色となるように、位置姿勢センサ２００を装着した撮像装置１００を移動させる。これにより、校正に適する入力データを取得することができる。
【００４３】
また、センサの校正には、位置姿勢センサ２００を装着した撮像装置１００のさまざまな位置姿勢での入力データが必要となる。そのため、計測範囲が広い場合や、入力データを取得する位置や姿勢によっては、作業者は液晶ディスプレイから離れてしまうため、センサの計測値を液晶ディスプレイから読み取ることが難しくなる。しかし、本実施形態のように、取得推奨レベルを色別で表示することによって、センサの計測値を読み難い場所に移動していても、入力データが校正に適するか否かを容易に判断できる。したがって、校正用入力データを取得する場所に関わらずに、入力データが校正に適するか否かを簡単に判断することができる。
【００４４】
以上の処理によって、情報処理装置１０００は、撮像装置１００に装着した位置姿勢センサ２００の配置情報を算出するための入力データを取得する際に、推奨レベルを算出して表示する。これにより、センサの校正に関する知識やノウハウを持たない作業者であっても、センサの校正に適する校正用入力データを簡単に取得することができる。以上で図２のフローチャートの各処理が終了する。
【００４５】
次に図３のフローチャートを参照して、Ｓ２０４０の取得推奨レベルの算出処理の詳細について説明する。
【００４６】
Ｓ３０１０において、取得推奨レベル算出部１０５０は、位置姿勢センサ２００の計測値が、センサの計測範囲内であるか否かを判定する。すなわち精度が保証される範囲内であるか否かを判定する。磁気式の位置姿勢センサは、一般的にセンサの計測範囲が連続的であって、精度が保証される範囲は、センサのトランスミッターから受信側のセンサまでの距離によって決められていることが多い。このような磁気式の位置姿勢センサの場合、センサのトランスミッターからの受信側のセンサまでの距離内であれば、センサの計測範囲内とし、その距離以上離れていれば計測範囲外とする。また、一般的な光学式センサの場合、光学式センサである複数のカメラの視野から、計測対象が外れると位置姿勢を計測できなくなる。そのため、位置姿勢を計測可能な最小数のカメラの視野外に計測対象が出た場合を、センサの計測範囲外とする。位置姿勢センサ２００の計測値がセンサの計測範囲内であると判定された場合（Ｓ３０１０；ＹＥＳ）、Ｓ３０２０へ進む。一方、位置姿勢センサ２００の計測値がセンサの計測範囲外であると判定された場合（Ｓ３０１０；ＮＯ）、Ｓ３０３０へ進む。
【００４７】
Ｓ３０２０において、取得推奨レベル算出部１０５０は、画像から指標を検出できたか否かを判定する。指標を検出できたと判定された場合（Ｓ３０３０；ＹＥＳ）、Ｓ３０４０へ進む。一方、指標を検出できなかったと判定された場合（Ｓ３０３０；ＮＯ）、Ｓ３０３０へ進む。
【００４８】
Ｓ３０３０において、取得推奨レベル算出部１０５０は、入力データの情報量が不足していることを示すために、取得推奨レベルをＬ＝１として設定する。その後、処理を終了する。
【００４９】
Ｓ３０４０において、取得推奨レベル算出部１０５０は、検出された指標の画像上における面積を算出し、当該面積が閾値以上であるか否かを判定する。例えば指標の形状が四角形であれば、当該指標の画像上における四角形の面積が閾値以上であるか否かを判定する。指標の面積が閾値以上であると判定された場合（Ｓ３０４０；ＹＥＳ）、Ｓ３０５０へ進む。一方、指標の面積が閾値より小さいと判定された場合（Ｓ３０４０；ＮＯ）、Ｓ３０７０へ進む。
【００５０】
Ｓ３０５０において、取得推奨レベル算出部１０５０は、検出された指標に基づいて撮像装置１００の位置姿勢を算出する。撮像装置１００の位置姿勢の算出方法は、公知の手法を利用すればよい。例えば、平面上に配置された四角形指標が検出されている場合には、平面ホモグラフィーを求めることで撮像装置の位置姿勢を算出してもよい。また、６点以上の点が検出されていれば、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｅｔｈｏｄ）を用いてもよい。さらに、算出された撮像装置１００の位置姿勢を初期値として非線形最適化計算を行うことにより、より正確な撮像装置１００の位置姿勢を求めてもよい。他のいかなる公知の方法を用いて、検出された指標に基づいて撮像装置１００の位置姿勢を求めてもよい。
【００５１】
Ｓ３０６０において、取得推奨レベル算出部１０５０は、データ管理部１０４０に保持されている校正用入力データの撮像装置１００の位置姿勢と、Ｓ３０６０で算出された撮像装置１００の位置姿勢とを比較する。そして、Ｓ３０６０で算出された撮像装置１００の位置姿勢が未取得の位置姿勢であるか否かを判定する。具体的には、撮像装置の位置の差分が閾値よりも小さく、かつ姿勢の差分が閾値よりも小さい場合には、既にほぼ同じ位置姿勢で撮像しているものと判定できる。一方で、そうでない場合には、未取得の位置姿勢であると判定できる。撮像装置１００の位置姿勢が未取得の位置姿勢であると判定された場合（Ｓ３０６０；ＹＥＳ）、Ｓ３０８０へ進む。一方、撮像装置１００の位置姿勢が既取得の位置姿勢であると判定された場合（Ｓ３０６０；ＮＯ）、Ｓ３０７０へ進む。
【００５２】
Ｓ３０７０において、取得推奨レベル算出部１０５０は、入力データが校正情報算出に必要な情報量を満たすものの、誤差が大きい可能性のある入力データであることを示すために、取得推奨レベルをＬ＝２として設定する。その後、処理を終了する。
【００５３】
Ｓ３０８０において、取得推奨レベル算出部１０５０は、すでに概略校正計算済みであるか否かを判定する。すでに概略校正計算済みであると判定された場合（Ｓ３０８０；ＹＥＳ）、Ｓ３０９０へ進む。一方、概略校正計算済みではないと判定された場合（Ｓ３０８０；ＮＯ）、Ｓ３１２０へ進む。
【００５４】
Ｓ３０９０において、取得推奨レベル算出部１０５０は、概略校正計算結果とセンサの計測値と予め求めておいた指標の３次元位置とに基づいて推定された指標の推定座標ｕ'Ｐｋｎと、指標の検出座標ｕＰｋｎとの差である、再投影誤差ΔｕＰｋｎを算出する。
【００５５】
ここで、ある位置姿勢で撮像装置１００が撮像した画像のひとつの指標における再投影誤差ΔｕＰｋｎの算出方法について述べる。再投影誤差ΔｕＰｋｎは、次式によって求められる。
【００５６】
【数１】
【００５７】
撮像装置座標系における指標Ｐｋｎの位置をｘＣＰｋｎ＝[ｘＣＰｋｎ、ｙＣＰｋｎ、ｚＣＰｋｎ]とし、ｆを焦点距離とする。すると、指標の推定座標ｕ'Ｐｋｎ＝[ｕ'ｘＰｋｎ、ｕ'ｙＰｋｎ]は次のように表せる。
【００５８】
【数２】
【００５９】
ここで、ある三次元の座標系Ｂに対する三次元の座標系Ａの位置を表す三次元ベクトルをｔ、姿勢を表す３×３回転行列をＲとすると、座標系Ａ上での位置がｘＡ（三次元ベクトル）で表される点の座標系Ｂ上での座標ｘＢ（三次元ベクトル）は、式（３）に示す４×４行列ＭＢＡを用いて、同次座標表現によって式（４）のように表される。
【００６０】
【数３】
【００６１】
【数４】
【００６２】
本実施形態では、ＭＢＡを座標系Ｂに対する座標系Ａの位置姿勢を表す手法として用いる。
【００６３】
撮像装置１００に装着された位置姿勢センサ２００の計測値より得られる、世界座標系における位置姿勢センサ２００の位置姿勢をＭＷＳとする。また本実施形態では、位置および姿勢を、次に述べるように６次元ベクトルによって表現する。位置および姿勢はそれぞれ、３値ベクトルｘ＝［ｘ ｙ ｚ］Ｔおよびω＝［ξ ψ ζ］Ｔによって表現される。姿勢を３値によって表現する方法には様々なものが存在するが、ここでは、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって表現されているものとする。これらの、位置ｘおよび姿勢ωをまとめて、６次元ベクトルａ=［ｘ ｙ ｚ ξ ψ ζ］Ｔとして表現する。
【００６４】
撮像装置座標系における、撮像装置１００に装着した位置姿勢センサ２００の位置姿勢を表す４×４行列ＭＣＳは、６次元ベクトルａＣＳ＝［ｘＣＳ ｙＣＳ ｚＣＳ ξＣＳ ψＣＳ ζＣＳ］Ｔにより表される。ＭＣＳからａＣＳへの変換は公知の方法を使って行うことができる。
【００６５】
予め求めておいた指標Ｐｋｎの世界座標系での位置をｘＷＰｋｎとし、ＭＣＳが未知パラメータであるａＣＳの関数であるとすると、指標Ｐｋｎの撮像座標系における位置ｘＣＰｋｎは、次式で表せる。
【００６６】
【数５】
【００６７】
概略校正計算結果であるａＣＳを初期値として与えて、式（５）および式（２）を式（１）へ代入することによって、再投影誤差を求めることができる。
【００６８】
Ｓ３１００において、取得推奨レベル算出部１０５０は、Ｓ３０９０で算出された再投影誤差が閾値よりも小さいか否かを判定する。再投影誤差が閾値よりも小さいと判定された場合（Ｓ３１００；ＹＥＳ）、Ｓ３１１０へ進む。一方、再投影誤差が閾値以上であると判定された場合（Ｓ３１００；ＮＯ）、Ｓ３１２０へ進む。
【００６９】
Ｓ３１１０において、取得推奨レベル算出部１０５０は、センサ校正を行うためにその位置や姿勢で入力する必要がないことを示すために、取得推奨レベルをＬ＝０として設定する。その後、処理を終了する。
【００７０】
Ｓ３１２０において、取得推奨レベル算出部１０５０は、センサの校正を行うために、入力データが校正情報算出に積極的に用いられるべきであると判断できることを示すために、取得推奨レベルをＬ＝３として設定する。その後、処理を終了する。以上で図３のフローチャートの各処理が終了する。
【００７１】
次に、図４のフローチャートを参照して、取得推奨レベルに基づいてセンサの校正情報を算出する処理について説明する。
【００７２】
Ｓ４０１０乃至Ｓ４０４０の各処理は、図２のＳ２０１０乃至Ｓ２０４０の各処理と同様であるため、説明を省略する。Ｓ４０４０の処理の詳細についても同様にＳ２０４０の処理の詳細について説明した図３のフローチャートの各処理と同様である。
【００７３】
Ｓ４０５０において、データ管理部１０４０は、Ｓ４０４０で算出された取得推奨レベルに基づいて、入力データを校正に利用するか否かを判定する。例えば取得推奨レベルＬ＝２、またはＬ＝３の入力データであれば校正に利用すると判定してもよい。また、取得推奨レベルＬ＝３の入力データであれば校正に利用すると判定してもよい。入力データを校正に利用すると判定された場合（Ｓ４０５０；ＹＥＳ）、Ｓ４０６０へ進む。一方、入力データを校正に利用しないと判定された場合（Ｓ４０５０；ＮＯ）、Ｓ４０１０へ戻る。
【００７４】
Ｓ４０６０において、データ管理部１０４０は、Ｓ３０５０で求められた撮像装置１００の位置姿勢、位置姿勢センサ２００の計測値、予め求めておいた指標の３次元位置、および指標の検出座標を、校正用入力データとして保持する。
【００７５】
Ｓ４０７０において、校正情報算出部１０７０は、校正計算を行うか否かを判定する。本実施形態では、不図示の指示部から校正計算を行うように不図示の作業者から指示があった場合に校正計算を行うと判定する。そして、例えば作業者から所定時間指示がない場合には、校正計算を行わないと判定する。校正計算を行うと判定された場合（Ｓ４０７０；ＹＥＳ）、Ｓ４０８０へ進む。一方、校正計算を行わないと判定された場合（Ｓ４０７０；ＮＯ）、Ｓ４０１０へ戻る。
【００７６】
Ｓ４０８０において、校正情報算出部１０７０は、データ管理部１０４０に保持されている校正用入力データを用いて校正計算を行う。撮像装置１００に装着した位置姿勢センサ２００の配置情報、すなわち撮像装置座標系における位置姿勢センサ２００の位置姿勢を校正情報として算出する。校正の計算方法は、公知の何れの方法で行ってもよい。
【００７７】
Ｓ４０９０において、校正情報算出部１０７０は、不図示の作業者からセンサ校正の終了コマンドが入力されたか否かを判定する。センサ校正の終了コマンドが入力された場合（Ｓ４０９０；ＹＥＳ）、処理を終了する。一方、センサ校正の終了コマンドが処理時間入力されていない場合（Ｓ４０９０；ＮＯ）、Ｓ４０１０へ戻る。
【００７８】
以上の処理によって、求めるべき校正情報である、撮像装置１００に装着した位置姿勢センサ２００の撮像装置１００に対する配置情報を算出することができる。以上で図４のフローチャートの各処理が終了する。
【００７９】
次に、図７を参照して、本実施形態における情報処理装置１０００のハードウェア構成を説明する。図７に示したハードウェア構成は通常のパーソナルコンピュータの構成と同様である。情報処理装置１０００は、ＣＰＵ７０１と、画像取り込み器７０２と、位置姿勢入力器７０３と、記憶媒体７０４と、ＲＯＭ７０５と、ＲＡＭ７０６と、マウス７０７と、キーボード７０８とを備える。
【００８０】
ＣＰＵ７０１は、記憶媒体７０４、ＲＯＭ７０５、ＲＡＭ７０６、不図示の外部記憶装置等に保存されているプログラムを実行することにより、図１で説明した画像入力部１０１０乃至校正情報算出部１０７０の各処理部の動作を制御する。なお、データ管理部１０４０は、記憶媒体７０４に情報を保存したり、記憶媒体７０４から情報を読み出したりすることができる。
【００８１】
画像取り込み器７０２は、画像入力部１０１０に対応しており、撮像装置１００により撮像された画像をコンピュータ内に取り込む。画像取り込み器５０２は、例えばビデオキャプチャボードであるが、撮像装置１００により撮像された画像をコンピュータ内に取り込むものであれば何であってもよい。
【００８２】
位置姿勢入力器７０３は、センサ計測値入力部１０２０に対応しており、位置姿勢センサ２００により計測された計測値をコンピュータ内に取り込む。
【００８３】
マウス７０７およびキーボード７０８は、作業者からの指示を受け付けることができる。
【００８４】
なお、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８５】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
本実施形態によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【００８８】
（第２実施形態）
第１実施形態に係る情報処理装置１０００では、撮像装置１００に装着した位置姿勢センサ２００の取得推奨レベルを表示した。本実施形態に係る情報処理装置は、撮像対象となる物体に装着した位置姿勢センサの校正用入力データを取得する際に、取得推奨レベルを表示する。以下、本実施形態に係る情報処理装置について説明する。
【００８９】
図８は、本実施形態に係る情報処理装置８０００の概略構成を示す。情報処理装置８０００は、画像入力部８０１０と、センサ計測値入力部８０２０と、指標検出部８０３０と、データ管理部８０４０と、取得推奨レベル算出部８０５０と、取得推奨レベル表示部８０６０と、校正情報算出部８０７０とを備える。物体３００には、校正される対象である位置姿勢センサ２００が装着されているものとする。
【００９０】
情報処理装置８０００は、撮像装置１００と、後述する位置姿勢センサ２００とに接続されている。撮像装置１００は、物体３００を撮像可能な位置に固定されており、世界座標系における撮像装置１００の位置姿勢を公知の方法により予め求めておく。また物体座標系を、物体３００上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義する。この物体座標系における位置姿勢センサ２００の位置姿勢は未知である。この未知である物体座標系における位置姿勢センサ２００の位置姿勢が、校正する対象となる情報である。物体３００上には、撮像装置１００によって撮像される指標が配置される。ここでは、物体座標系における位置が既知である指標Ｐｋ（ｋ＝１，，，Ｋ）が物体３００上に配置されている。指標Ｐｋは、撮像装置１００によって、少なくとも３個以上の点の情報が観測されるように設置されているとよい。
【００９１】
画像入力部８０１０、センサ計測値入力部８０２０、指標検出部８０３０、データ管理部８０４０、および取得推奨レベル表示部８０６０の各処理部の機能、及び指標は、それぞれ第１実施形態で説明した対応する各処理部の機能、及び指標と同様であるため説明を省略する。
【００９２】
取得推奨レベル算出部８０５０は、第１実施形態と同様に、データ管理部８０４０から、指標の検出情報とセンサ計測値とを、校正用入力データ候補として取得する。取得推奨レベル算出部８０５０は、取得された校正用入力データ候補に基づいて、当該候補を校正情報算出に利用すべきかどうかのレベルを示す取得推奨レベルを算出する。取得推奨レベル算出部８０５０は、取得推奨レベル表示部８０６０と、データ管理部８０４０とへ、算出された取得推奨レベルを出力する。
【００９３】
校正情報算出部８０７０は、データ管理部８０４０から校正用入力データを入力し、校正情報として、物体座標系における位置姿勢センサ２００の配置情報を算出し、当該校正情報を出力する。
【００９４】
次に図９のフローチャートを参照して、本実施形態に係る情報処理装置８０００が、校正用入力データの取得推奨レベルを表示する処理の手順を示す。
【００９５】
Ｓ９０１０、Ｓ９０２０、Ｓ９０３０、およびＳ９０５０の各処理は、第１の実施形態のＳ２０１０、Ｓ２０２０、Ｓ２０３０、およびＳ２０５０の各処理と同様であるため説明を省略する。Ｓ９０４０において、取得推奨レベル算出部８０５０は、後述する図１０のフローチャートの処理に従って取得推奨レベルを算出する。
【００９６】
図１０は、取得推奨レベルの算出方法についてのフローチャートを示す。Ｓ１００１０乃至Ｓ１００４０、Ｓ１００７０、Ｓ１００８０、およびＳ１０１００乃至Ｓ１０１２０の各処理は、第１の実施形態で説明した対応する各処理と同様であるため、説明を省略する。
【００９７】
Ｓ１００５０において、取得推奨レベル算出部８０５０は、検出された指標から物体３００の位置姿勢を算出する。物体３００の位置姿勢は、撮像装置１００に対する相対的な位置姿勢である。物体３００の位置姿勢の算出方法は、第１実施形態と同様に公知の手法を用いればよい。
【００９８】
Ｓ１００６０において、取得推奨レベル算出部８０５０は、データ管理部８０４０に保持されている校正用入力データの物体３００の位置姿勢と、Ｓ１００５０で算出された物体３００の位置姿勢とを比較する。そして、Ｓ１００５０で算出された物体３００の位置姿勢が未取得の位置姿勢であるか否かを判定する。具体的には、物体３００の位置の差分が閾値よりも小さく、かつ姿勢の差分が閾値よりも小さい場合には、既にほぼ同じ位置姿勢で撮像しているものと判定できる。一方で、そうでない場合には、未取得の位置姿勢であると判定できる。物体３００の位置姿勢が未取得の位置姿勢であると判定された場合（Ｓ１００６０；ＹＥＳ）、Ｓ１００８０へ進む。一方、物体３００の位置姿勢が既取得の位置姿勢であると判定された場合（１００６０；ＮＯ）、Ｓ１００７０へ進む。
【００９９】
Ｓ１００９０において、取得推奨レベル算出部８０５０は、概略校正計算結果とセンサの計測値と、指標の物体座標系における３次元位置とに基づいて推定した指標の推定座標ｕ'Ｐｋｎと、指標の検出座標ｕＰｋｎとの差である、再投影誤差ΔｕＰｋｎを算出する。
【０１００】
ここで、撮像装置がある位置姿勢の物体を撮像した画像のひとつの指標における再投影誤差ΔｕＰｋｎの算出方法について述べる。再投影誤差ΔｕＰｋｎは、式（６）によって求められる。
【０１０１】
【数６】
【０１０２】
撮像装置座標系における指標Ｐｋｎの位置をｘＣＰｋｎ＝[ｘＣＰｋｎ、ｙＣＰｋｎ、ｚＣＰｋｎ]とし、ｆを焦点距離とすると、指標の推定座標ｕ'Ｐｋｎ＝[ｕ'ｘＰｋｎ、ｕ'ｙＰｋｎ]は次のように表せる。
【０１０３】
【数７】
【０１０４】
物体３００に装着された位置姿勢センサ２００の計測値より得られる世界座標系における位置姿勢センサ２００の位置姿勢をＭＷＳとする。公知の方法で求めておいた撮像装置１００の世界座標系における位置姿勢をＭＷＣとする。
【０１０５】
物体座標系における、物体３００に装着した位置姿勢センサ２００の位置姿勢を表す４×４行列ＭＯＳは、６次元ベクトルａＯＳ＝［ｘＯＳ ｙＯＳ ｚＯＳ ξＯＳ ψＯＳ ζＯＳ］Ｔによって表される。ＭＯＳからａＯＳへの変換は公知の方法を用いて行うことができる。
【０１０６】
予め求めておいた指標Ｐｋｎの物体座標系での位置をｘＯＰｋｎとし、ＭＯＳが未知パラメータであるａＯＳの関数であるとすると、指標Ｐｋｎの撮像座標系における位置ｘＣＰｋｎは、式（８）で表すことができる。
【０１０７】
【数８】
【０１０８】
概略校正計算結果であるａＣＳを初期値として与え、式（８）および（７）を式（６）に代入することによって、再投影誤差を求めることができる。
【０１０９】
以上の処理によって、情報処理装置８０００は、物体３００に装着した位置姿勢センサ２００の配置情報を算出するための入力データを取得する際に、推奨レベルを算出して表示する。これにより、センサの校正に関する知識やノウハウを持たない作業者であっても、センサの校正に適する校正用入力データを簡単に取得することができる。
【０１１０】
次に、図１１のフローチャートを参照して、取得推奨レベルに基づいてセンサの校正情報を算出する処理について説明する。
【０１１１】
Ｓ１１０１０乃至Ｓ１１０４０の各処理は、図９のＳ９０１０乃至Ｓ９０４０の各処理と同様であるため、説明を省略する。Ｓ１１０４０の処理の詳細についても同様にＳ９０４０の処理の詳細を説明した図１０のフローチャートの各処理と同様である。
【０１１２】
また、Ｓ１１０５０、Ｓ１１０７０、およびＳ１１０９０の各処理は、それぞれ図４を参照して説明したＳ４０５０、Ｓ４０７０、およびＳ４０９０の各処理と同様である。
【０１１３】
Ｓ１１０６０において、データ管理部８０４０は、既知の撮像装置の位置姿勢、位置姿勢センサ２００の計測値、既知の指標の３次元位置、および指標の検出座標を、校正用入力データとして保持する。
【０１１４】
Ｓ１１０８０において、校正情報算出部８０７０は、データ管理部８０４０に保持されている校正用入力データを用いて校正計算を行う。物体３００に装着した位置姿勢センサ２００の配置情報、すなわち、物体座標系における位置姿勢センサ２００の位置姿勢を校正情報として算出する。校正の計算方法は、公知の何れの方法で行ってよい。
【０１１５】
以上の処理によって、物体３００に装着した位置姿勢センサ２００の物体３００に対する配置情報を、簡便かつ正確に算出することができる。
【０１１６】
本実施形態によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【０１１７】
（第３実施形態）
第１実施形態および第２実施形態では、算出された取得推奨レベルに色を割り当てて表示した。しかし、取得推奨レベルごとに、作業者への指示をテキスト情報として液晶ディスプレイに表示してもよい。図６は、取得推奨レベルと、入力データの状態情報と、作業者の行動を指示する指示情報とをテキスト情報として表示した例を示す。例えば、入力データの状態情報およびテキスト情報は、図６の領域５００に表示する。以下、取得推奨レベルごとに表示する内容を具体的に説明する。
【０１１８】
取得推奨レベルＬ＝０のときは、すでに校正済みと判断される場合や、同じ地点からの入力データを取得済みである場合であるので、液晶ディスプレイは、「現在の位置と姿勢において、校正用のデータを入力する必要はありません。位置姿勢センサ２００の計測範囲内で、位置姿勢センサ２００の位置または姿勢をかえてください。」と表示する。
【０１１９】
取得推奨レベルＬ＝１のときは、情報量が不足しているために校正情報の算出ができない入力データの場合であるので、液晶ディスプレイは、「計算に必要な情報量が不足しています。位置姿勢センサ２００の計測範囲内かつ、指標が撮像できるように位置姿勢センサ２００の位置または姿勢をかえてください。」と表示する。
【０１２０】
取得推奨レベルＬ＝２のときは、校正情報算出に必要な情報量を満たすものの、誤差が大きい可能性のある入力データであると判断されているので、液晶ディスプレイは、「入力データの誤差が大きい可能性があります。位置姿勢センサ２００の計測範囲内で、位置姿勢センサ２００の位置または姿勢をかえてください。」と表示する。
【０１２１】
取得推奨レベルＬ＝３のときは、位置姿勢センサ２００の校正を行うために、積極的にデータ入力を行うべきであると判断できることを示すため、液晶ディスプレイは、「センサ校正に適する入力データです。撮像する画像にブラーがでないように撮像装置または物体を静止させて、校正用入力データを取得してください。」と表示する。
【０１２２】
なお、各表示内容の前半部分が入力データの状態情報であり、後半部分が作業者への指示情報である。
【０１２３】
取得推奨レベルに応じた内容で、入力データの状態情報または作業者への指示情報が割り当てられていれば、文言はこれらに限るものではないことはいうまでもない。また、取得推奨レベルに応じたテキスト情報をディスプレイに表示したが、取得推奨レベルを作業者へ提示できればこれに限らない。音声情報によって、作業者に提示してもよい。音声情報であれば、位置姿勢センサ２００の計測範囲が広い場合など、ＰＣに付属する液晶ディスプレイから作業者が離れていても、取得推奨レベルを容易に確認することができる。また、色と音声とを組み合わせて提示してもよい。
【０１２４】
以上のように、取得推奨レベルを作業者の行動指示として表示することで、作業者はセンサの校正に適する入力データを簡単に取得することができる。
【０１２５】
（第４実施形態）
第１実施形態および第２実施形態では、取得推奨レベルに基づいて、入力データを校正に利用するか否かを判定した。しかし、取得推奨レベル表示部に表示された、取得推奨レベルに基づいて、不図示の作業者が校正用入力データの取得コマンドを入力してもよい。
【０１２６】
不図示の作業者からデータ取得コマンドが入力された時には「データ取得」の指示をデータ管理部１０４０に送信する。作業者からのコマンド入力は、例えばマウス７０７の操作や、キーボード７０８を用いて特定のコマンドを割り当てたキーを押下することによって行うことができる。また、コマンドの入力は、液晶ディスプレイ上に表示されたＧＵＩで行ってもよく、いずれの方法で行ってもよい。
【０１２７】
（第５実施形態）
第１実施形態および第２実施形態にでは、算出された取得推奨レベルに色を割り当てて表示した。しかし、算出された取得推奨レベルに色を割り当てて表示できれば、図５および図６で示した例に限らない。
【０１２８】
例えば、図１２に示すように、再投影誤差を表示する領域６００に、取得推奨レベルの色を割り当てて表示してもよい。このように表示することで、作業者は、取得推奨レベルと再投影誤差とを関連付けて理解できる。これにより、センサ校正に必要となる入力データであるかどうかを判断し易くなる。
【０１２９】
また図１３に示すように、撮像装置１００が撮像した画像を表示する領域７００に対して、取得推奨レベルに対応する色を割り当ててもよい。
【０１３０】
また図１４に示すように、撮像装置１００が撮像した画像の枠８００に対して、取得推奨レベルに対応する色を割り当ててもよい。
【０１３１】
作業者が、校正データを入力する際に、取得推奨レベルを確認できるように色を割り当てていれば、取得推奨レベル表示部は、いずれの手法を用いてもよい。
【０１３２】
（第６実施形態）
第１実施形態および第２実施形態において、取得推奨レベル表示部は、ＰＣに付属する液晶ディスプレイとして説明を行った。しかし、取得推奨レベル表示部は、液晶ディスプレイに限るものではない。取得推奨レベルが区別できれば、ＬＥＤやプラズマディスプレイなど、何れのディスプレイを用いてもよい。また、図１５に示すように、取得推奨レベル表示部９００は、位置姿勢センサ２００を装着した撮像装置１００に取り付けられていてもよい。ここで、取得推奨レベル表示部９００は、例えば小型のディスプレイや、ＬＥＤである。
【０１３３】
また撮像装置１００が撮像した画像に表示するために、ＨＭＤ（ヘッドマウントディスプレイ）に内蔵した撮像装置１００で撮像した画像に対して、取得推奨レベルの色を割り当て、ＨＭＤに表示してもよい。
【０１３４】
位置姿勢センサ２００を装着した撮像装置１００に、表示装置が取り付けられていれば、センサの計測範囲が広い場合であっても、作業者は、離れた位置から取得推奨レベルを確認することができる。
【０１３５】
（第７実施形態）
第１実施形態に係る情報処理装置１０００は、撮像装置１００に装着した位置姿勢センサ２００の取得推奨レベルを表示した。また、第２実施形態に係る情報処理装置８０００は、物体３００に装着した位置姿勢センサ２００の取得推奨レベルを表示した。
【０１３６】
しかしながら、情報処理装置は、撮像装置に装着した姿勢センサの撮像装置に対する姿勢情報を算出するための入力データを取得する際に、推奨レベルを算出して表示してもよい。以下、本実施形態に係る情報処理装置について説明する。
【０１３７】
図１６は、本実施形態に係る情報処理装置１６０００の概略構成を示す。情報処理装置１６０００は、画像入力部１６０１０と、センサ計測値入力部１６０２０と、指標検出部１６０３０と、データ管理部１６０４０と、取得推奨レベル算出部１６０５０と、取得推奨レベル表示部１６０６０と、校正情報算出部１６０７０とを備える。情報処理装置８０００は、撮像装置１００と、姿勢センサ２５０とに接続されている。
【０１３８】
撮像装置１００上には、校正される対象である姿勢センサ２５０が装着されているものとする。撮像装置座標系は、撮像装置１００上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系である。撮像装置座標系における、姿勢センサ２５０の姿勢は未知である。この撮像装置座標系における姿勢センサ２５０の姿勢が、校正する情報である。
【０１３９】
画像入力部１６０１０、指標検出部１６０３０、および取得推奨レベル表示部１６０６０の各処理部の機能、及び指標Ｐは、それぞれ第１実施形態で説明した対応する各処理部の機能、及び指標Ｐと同様であるため説明を省略する。
【０１４０】
センサ計測値入力部１６０２０は、姿勢センサ２５０から姿勢の計測値を取得し、データ管理部１６０４０へと出力する。姿勢センサ２５０が出力する値は一般的にはセンサが独自に定義するセンサ座標系におけるセンサ自身の姿勢である。ここでは、センサ座標系の重力軸と、世界座標系の重力軸とは一致しているものとする。姿勢センサ２５０の回転行列（以下、「ＲＷＳ」と称する）をデータ管理部１６０４０へと出力する。取得推奨レベル算出部１６０５０は、データ管理部１６０４０から、指標の検出情報とセンサ計測値とを、校正用入力データ候補として取得する。取得推奨レベル算出部１６０５０は、校正用入力データ候補に基づいて、校正情報算出に利用すべきかどうかの程度を示す取得推奨レベルを算出する。取得推奨レベル算出部１６０５０は、取得推奨レベル表示部１０６０とデータ管理部１０４０とへ、取得推奨レベルを出力する。
【０１４１】
校正情報算出部１６０７０は、データ管理部１６０４０から校正用入力データを取得し、撮像装置座標系における姿勢センサ２５０の姿勢情報を校正情報として算出し、当該校正情報を出力する。校正情報の算出方法は、何れの公知技術を用いてもよい。
【０１４２】
次に図１７のフローチャートを参照して、本実施形態に係る情報処理装置１６０００が、校正用入力データの取得推奨レベルを表示する処理の手順を示す。
【０１４３】
Ｓ１７０１０、Ｓ１７０２０、Ｓ１７０３０、およびＳ１７０５０の各処理は、第１の実施形態のＳ２０１０、Ｓ２０２０、Ｓ２０３０、およびＳ２０５０の各処理と同様であるため説明を省略する。Ｓ１７０４０において、取得推奨レベル算出部１６０５０は、後述する図１８のフローチャートの処理に従って取得推奨レベルを算出する。
【０１４４】
図１８は、Ｓ１７０４０における取得推奨レベルの算出方法についてのフローチャートを示す。Ｓ１８０１０乃至Ｓ１８０８０、およびＳ１８１００乃至Ｓ１８１２０の各処理は、第１の実施形態で説明した対応する各処理と同様であるため、説明を省略する。
【０１４５】
Ｓ１８０９０において、取得推奨レベル算出部１６０５０は、概略校正計算結果と、姿勢センサ２５０の計測値と、指標の検出座標と、予め求めておいた指標の３次元位置とに基づいて、指標の推定座標ｕ'Ｐｋｎを求める。次に指標の推定座標ｕ'Ｐｋｎと、指標の検出座標ｕＰｋｎとの差である、再投影誤差ΔｕＰｋｎを求め、第１実施形態で説明したように、当該再投影誤差を利用して、取得推奨レベルを求めればよい。取得推奨レベルを求めることができれば、第１実施形態と同様に取得推奨レベル表示部１６０６０は、取得推奨レベルを表示することができる。
【０１４６】
以上説明したように、姿勢センサの撮像装置座標系に対する姿勢情報を求めて、姿勢センサの校正を行う場合であっても、取得推奨レベルを求め、それを表示することができる。このように表示することで、センサ校正を行う作業者は、校正用入力データの取得推奨レベルを簡単に理解でき、姿勢センサのセンサ校正に適する入力データを取得することができる。
【０１４７】
本発明によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【０１４８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術の研究が盛んである。ＭＲ技術とは、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。ＭＲ技術は、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待される。
【０００３】
仮想物体が現実空間に実在するように利用者が感じるためには、仮想物体と現実空間との間の幾何学的な整合性が重要である。複合現実感（ＭＲ）における幾何学的な整合性には、現実空間の座標系と仮想空間の座標系とを一致させるための整合性と、現実物体と仮想物体との前後関係を正しく表現するための整合性とがある。前者の整合性を扱う問題は、複合現実感（ＭＲ）における位置合わせ問題とも呼ばれ、種々の研究報告が行われている（非特許文献１参照）。位置合わせ問題は、観察者視点映像を撮像するための撮像装置と、仮想の情報を重畳表示させようとする対象である現実物体との間で、位置姿勢を合わせる際の問題である。本発明では、この位置合わせ問題を扱う。
【０００４】
撮像装置の位置姿勢を計測する方法として、
（１）位置および姿勢の両方を同時に計測可能なセンサの計測値を利用する方法。
【０００５】
（２）姿勢を計測するセンサの計測値と、撮像装置で撮像された画像から検出した指標の画像情報とを利用する方法。
【０００６】
（３）撮像装置で撮像された画像から検出した指標の画像情報を利用して、位置および姿勢の両方を同時に計測できるセンサから得たセンサ計測値を補正する方法。
【０００７】
などがある（非特許文献１、非特許文献２参照）。一般的に、位置および姿勢を計測する位置姿勢センサとして、磁気式や光学式のセンサが用いられ、一方、姿勢を計測する姿勢センサとして、ジャイロによる慣性センサが用いられている。
【０００８】
撮像装置に姿勢センサまたは位置姿勢センサを装着し、センサ計測値を利用して物体や撮像装置の位置または姿勢を求めるためには、姿勢センサまたは位置姿勢センサの、計測対象である撮像装置に対する相対位置または姿勢を予め計測する必要がある。計測対象に対するセンサの配置情報である相対位置または姿勢を求めることを、以下ではセンサの校正と称する。
【０００９】
特許文献１では、物体に、指標と、位置姿勢センサまたは姿勢センサとを装着し、物体に装着した位置姿勢センサまたは姿勢センサの物体に対する配置情報を校正情報として求めるセンサ校正方法が開示されている。物体を撮像した画像を取得し、センサの計測値を入力し、画像から指標の画像座標に関する情報を検出し、センサ計測値と指標の画像座標に関する情報とを用いて、校正情報を求めている。以下では、画像を利用してセンサの校正を行う場合において、校正に必要となる位置姿勢センサまたは姿勢センサの計測値と、画像上で検出した指標の画像情報とを、校正用入力データと称する。
【００１０】
センサの校正を行うためには、様々な位置および姿勢における校正用入力データを取得する必要がある。また、校正用入力データの精度がセンサの校正結果に大きく影響を与えるため、精度の高いセンサの計測値を入力するとともに、撮像した画像から高精度に指標を検出する必要がある。画像上で小さく指標が撮像される場合や、撮像装置が高速に回転または移動して撮像画像にブラーが起こる場合には、指標の検出精度が低下する。そのため、このような場合に取得したセンサ校正用入力データを入力して計算を行うと、校正結果の精度が低下する。
【００１１】
また、特許文献２では、センサの校正を行う際に、校正の精度低下を引き起こす校正用入力データを減らし、校正精度の向上を図ることを目的として、校正用入力データ取得時に、目標撮像位置姿勢を指示する仮想的な３次元オブジェクトを提示している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００６−１５３８４８号公報
【特許文献２】特開２００８−０４６６８７号公報
【非特許文献】
【００１３】
【非特許文献１】佐藤, 内山, 田村, "複合現実感における位置合わせ手法", 日本ＶＲ学会論文誌，Ｖｏｌ．８，ｎｏ．２，ｐｐ．１７１−１８０，２００３．
【非特許文献２】Ｋ． Ｓａｔｏｈ， Ｓ． Ｕｃｈｉｙａｍａ， ａｎｄ Ｈ． Ｙａｍａｍｏｔｏ： "Ａ ｈｅａｄ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｂｉｒｄ'ｓ−ｅｙｅ ｖｉｅｗ ｃａｍｅｒａ ａｎｄ ｇｙｒｏｓｃｏｐｅ，" Ｐｒｏｃ． 3ｒｄ ＩＥＥＥ／ＡＣＭ Ｉｎｔ'ｌ Ｓｙｍｐ． ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ （ＩＳＭＡＲ ２００４）， ｐｐ．２０２−２１１， ２００４．
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献１のようにセンサ計測値と指標の画像情報とに基づいてセンサの校正を行う場合、センサの校正に関する知識やノウハウを持たない作業者が、校正に適する入力データか否かを判断することは難しいという課題がある。
【００１５】
なぜなら、位置姿勢センサの計測範囲内であっても、一様な計測精度で分布しているわけではなく、周辺の環境や、計測場所によってセンサの計測精度に偏りがあるためである。具体的には、磁気式の位置姿勢センサであれば、周辺の磁場の影響を受けやすく、磁場の歪みに依存して正しい計測値が得られないことが知られている。また、光学式の位置姿勢センサの場合、位置または姿勢の計測精度は、光学センサのレンズ歪み補正パラメータやカメラパラメータの精度に依存して計測精度に偏りが生じる。そのため、光学式の位置姿勢センサのレンズ中心付近、すなわち計測範囲の中心では計測精度がよいが、計測範囲の境界付近などでは、計測精度が低いことがある。したがって、作業者は、精度のよいセンサ校正を行うために、センサの特性や周辺環境を鑑みて校正用入力データを取得する必要がある。
【００１６】
また、センサの計測範囲内において、様々な位置姿勢から指標を画像上で十分大きく写るように撮像し、かつ撮像画像でブラーが起こらないように撮像しなければならない。特にセンサ計測範囲が広い場合に、校正に適するデータか否かを判断しつつ、様々な位置および姿勢でのセンサ計測値を取得することは、ノウハウを持たない作業者にとって難しいという課題がある。
【００１７】
特許文献２では、校正用入力データを取得するための撮像装置の目標位置姿勢を提示することが可能である。しかしながら、校正用入力データを取得する場所において、センサの特性や周辺環境を鑑みて、その校正用入力データが適するか否かを判断する技術は開示されていない。加えて、正しい目標位置姿勢を提示するためには、正確な撮像装置の位置姿勢を求める必要がある。しかしながら、センサの校正は、正確な撮像装置の位置姿勢を求めるために行っているのであって、センサの校正を行う前に正確な撮像装置の位置姿勢を求めることはできない。
【００１８】
したがって、おおまかな校正結果に基づいて目標位置姿勢を提示することはできるものの、実際に校正用入力データを取得する場所において、校正に適する入力データか否かを判断することは難しい。
【００１９】
上記の課題に鑑み、本発明は、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断する技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記の目的を達成する本発明に係る情報処理装置は、
撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置であって、
前記撮像装置により撮像された画像を取得する画像取得手段と、
前記画像から指標情報を検出する指標検出手段と、
前記位置姿勢センサにより計測された前記位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得手段と、
前記指標情報と前記計測値とを含む前記校正用入力データの推奨レベルを、前記指標情報と前記計測値とに基づいて算出する算出手段と、
前記推奨レベルを提示する提示手段と、
を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態における情報処理装置１０００の概略構成を示すブロック図。
【図２】第１実施形態における校正用入力データの取得推奨レベルを表示する処理の手順を示すフローチャート。
【図３】第１実施形態における校正用入力データの取得推奨レベルを算出する処理の手順を示すフローチャート。
【図４】第１実施形態におけるセンサの校正情報を算出する処理の手順を示すフローチャート。
【図５】第１実施形態における校正用入力データの取得推奨レベルの表示方法を示す図。
【図６】第３実施形態における校正用入力データの取得推奨レベルを、入力データの状態と作業者の行動を指示するテキスト情報とに割り当てる説明図。
【図７】第１実施形態における情報処理装置１０００のハードウェア構成を示すブロック図。
【図８】第２実施形態における情報処理装置８０００の概略構成を示すブロック図。
【図９】第２実施形態における校正用入力データの取得推奨レベルを表示する処理の手順を示すフローチャート。
【図１０】第２実施形態における校正用入力データの取得推奨レベルの算出処理の手順を示すフローチャート。
【図１１】第２実施形態におけるセンサの校正情報を算出する処理の手順を示すフローチャート。
【図１２】第５実施形態における、校正用入力データの取得推奨レベルに対応する色を、再投影誤差を表示する領域６００に割り当てた様子を表す図。
【図１３】第５実施形態における、校正用入力データの取得推奨レベルに対応する色を、撮像装置が撮像した画像の領域７００に割り当てた様子を表す図。
【図１４】第５実施形態における、校正用入力データの取得推奨レベルに対応する色を、撮像装置が撮像した画像の枠８００に割り当てた様子を表す図。
【図１５】第６実施形態における、位置姿勢センサを装着した撮像装置に取り付けられた、取得推奨レベル表示部を表す図。
【図１６】第７実施形態における、情報処理装置１６０００の概略構成を示す図。
【図１７】第７実施形態における、校正用入力データの取得推奨レベルを表示する処理の手順を示すフローチャート。
【図１８】第７実施形態における、校正用入力データの取得推奨レベルを算出する処理の手順を示すフローチャート。
【発明を実施するための形態】
【００２３】
（第１実施形態）
本実施形態に係る情報処理装置は、撮像装置に装着した位置姿勢センサの撮像装置に対する配置情報を算出するための入力データを取得する際に、推奨レベルを算出して表示する。以下、本実施形態に係る情報処理装置について説明する。
【００２４】
図１は、本実施形態に係る情報処理装置１０００の概略構成を示す。情報処理装置１０００は、画像入力部１０１０と、センサ計測値入力部１０２０と、指標検出部１０３０と、データ管理部１０４０と、取得推奨レベル算出部１０５０と、取得推奨レベル表示部１０６０と、校正情報算出部１０７０とを備える。また情報処理装置１０００は、撮像装置１００と、位置姿勢センサ２００とに接続されている。
【００２５】
なお、校正される対象である位置姿勢センサ２００は、撮像装置１００上に装着されているものとする。撮像装置座標系は、撮像装置１００上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系である。撮像装置座標系における、位置姿勢センサ２００の位置姿勢は未知である。この未知である撮像装置座標系における位置姿勢センサ２００の位置姿勢が、校正する情報である。
【００２６】
現実空間中には、撮像装置１００によって撮像するための１つまたは複数の指標Ｐが配置される。ここで現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義する座標系を世界座標系と称する。この世界座標系における位置が既知である指標Ｐｋ（ｋ＝１，，，Ｋ）が配置されている。指標Ｐｋは、撮像装置１００によって、少なくとも３個以上の点の情報が観測されるように設置されているとよい。
【００２７】
指標Ｐｋは、例えば、それぞれが異なる色を有する円形状のマーカーによって構成してもよいし、それぞれが異なる特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形領域によって形成されるような四角形指標を用いることも可能である。撮像画像上における画像座標が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。
【００２８】
画像入力部１０１０は、撮像装置１００が出力する画像取得を行い、当該画像を指標検出部１０３０へ出力する。
【００２９】
センサ計測値入力部１０２０は、位置姿勢センサ２００から位置姿勢の計測値取得処理を行い、当該計測値をデータ管理部１０４０へ出力する。位置姿勢センサ２００が出力する計測値は一般的にはセンサが独自に定義するセンサ座標系における位置姿勢センサ自身の位置姿勢である。ここでは、センサ計測値入力部１０２０は、既知の値であるセンサ座標系から世界座標系への変換行列を乗算することにより、センサ座標系における位置姿勢センサ自身の位置姿勢を世界座標系における位置姿勢センサ自身の位置姿勢に変換する。センサ計測値入力部１０２０は、変換後の姿勢を示す回転行列（以下、「ＲＷＳ」と称する）をデータ管理部１０４０へと出力する。
【００３０】
指標検出部１０３０は、画像入力部１０１０により取得された画像における指標Ｐｋの座標を検出する。例えば、指標Ｐｋの各々が異なる色を有するマーカーによって構成されている場合には、画像上から各々のマーカー色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、指標Ｐｋの各々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを施すことにより、指標の位置を検出する。指標として四角形指標を用いる場合は、画像に２値化処理を施した後にラベリングを行い、一定面積以上の領域の中から４つの直線によって形成されているものを指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除し、また、指標の方向と識別子を取得する。なお、このようにして検出される四角形指標は、本実施形態では、４つの頂点の個々によって形成される４つの指標であると考え、指標Ｐｋｎと表す。ここで、ｎ（ｎ＝１，２，３，４）は検出された指標夫々に対するインデックスである。
【００３１】
指標検出部１０３０は、検出された各々の指標Ｐｋｎの画像座標ｕＰｋｎとその識別子ｋｎを指標の検出情報（指標情報）として、また指標を検出できない場合には、指標が検出できないことを指標の検出情報（指標情報）として、データ管理部１０４０へと出力する。
【００３２】
取得推奨レベル算出部１０５０は、データ管理部１０４０から、指標の検出情報とセンサ計測値とを、校正用入力データ候補として取得する。校正用入力データ候補に基づいて、校正情報算出に利用すべきかどうかのレベルを示す取得推奨レベルを算出する。取得推奨レベル算出部１０５０は、取得推奨レベル表示部１０６０とデータ管理部１０４０とに、取得推奨レベルを出力する。
【００３３】
取得推奨レベル表示部１０６０は、取得推奨レベル算出部１０５０から取得した取得推奨レベルを、不図示の作業者に表示する。不図示の作業者は、取得推奨レベルが高くなる場所に、位置姿勢センサ２００を装着した撮像装置１００を移動させる。
【００３４】
データ管理部１０４０は、取得推奨レベル算出部１０５０から取得推奨レベルを取得し、校正用入力データを校正情報算出部１０７０に出力する。
【００３５】
校正情報算出部１０７０は、データ管理部１０４０から校正用入力データを取得し、校正情報を算出し、当該校正情報を出力する。
【００３６】
図２のフローチャートを参照して、本実施形態に係る情報処理装置１０００が、校正用入力データの取得推奨レベルを表示する処理の手順を示す。なお、同フローチャートに従ったプログラムコードは、情報処理装置１０００内の不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００３７】
Ｓ２０１０において、画像入力部１０１０は、撮像装置１００から画像を取得する。Ｓ２０２０において、指標検出部１０３０は、画像から指標Ｐｋｎを検出する。指標検出部１０３０は、検出した指標Ｐｋｎの画像座標ｕＰｋｎとその識別子ｋｎとを検出情報としてデータ管理部１０４０へ出力する。指標を検出できない場合には、指標を検出できなかったことを示すフラグを検出情報としてデータ管理部１０４０へ出力する。
【００３８】
Ｓ２０３０において、センサ計測値入力部１０２０は、位置姿勢センサ２００から計測値である姿勢ＲＷＳと位置ＴＷＳとを取得し、データ管理部１０４０へ出力する。
【００３９】
以上のＳ２０１０、Ｓ２０２０、Ｓ２０３０の各処理により、データ管理部１０４０は、センサ計測値および、指標の検出情報を取得することができる。Ｓ２０４０において、取得推奨レベル算出部１０５０は、取得推奨レベルを算出する。
【００４０】
ここで、校正用入力データの取得推奨レベルについて説明する。取得推奨レベルは、指標の検出状況と、センサの計測値とに基づいて、入力データが、校正情報を算出するために利用する校正用入力データとして適当であるか否かの度合いを数値化したものである。情報量が不足しているために、校正情報を算出できない入力データであると判断できる場合には、取得推奨レベルＬは、Ｌ＝１とする。校正情報を算出できるが、精度のよい校正を行うためには、適当でないと判断できる場合には、Ｌ＝２とする。精度のよい校正を行うために、積極的に入力データを用いるべきであると判断できる場合には、Ｌ＝３とする。すでに校正済みであると判断される場合や、同じ地点からの入力データを取得済みであるなど、センサ校正を行うために必要のない入力データである場合には、Ｌ＝０とする。取得推奨レベルの算出処理の詳細は図３のフローチャートを参照して後述する。
【００４１】
Ｓ２０５０において、取得推奨レベル表示部１０６０は、Ｓ２０４０で算出された取得推奨レベルを作業者に対して表示する。
【００４２】
図５を参照して、取得推奨レベルの表示例について説明する。取得推奨レベル表示部１０６０として、校正計算に用いるＰＣに付属する不図示の液晶ディスプレイを用いることができる。取得推奨レベルをレベルごとに、例えばＬ＝０のとき水色、Ｌ＝１のとき赤色、Ｌ＝２のとき黄色、Ｌ＝３のとき青色として色分けして、レベルに応じた色を図５の領域４００に表示する。なお、レベル別に区別することができれば、何れの色を各レベルに割り当ててもよい。また、レベルごとにテクスチャの模様や、異なる輝度を割り当ててもよい。レベル別に区別することができれば、何れの方法を用いてもよい。作業者は、液晶ディスプレイに表示される取得推奨レベルが、Ｌ＝３に対応する色となるように、位置姿勢センサ２００を装着した撮像装置１００を移動させる。これにより、校正に適する入力データを取得することができる。
【００４３】
また、センサの校正には、位置姿勢センサ２００を装着した撮像装置１００のさまざまな位置姿勢での入力データが必要となる。そのため、計測範囲が広い場合や、入力データを取得する位置や姿勢によっては、作業者は液晶ディスプレイから離れてしまうため、センサの計測値を液晶ディスプレイから読み取ることが難しくなる。しかし、本実施形態のように、取得推奨レベルを色別で表示することによって、センサの計測値を読み難い場所に移動していても、入力データが校正に適するか否かを容易に判断できる。したがって、校正用入力データを取得する場所に関わらずに、入力データが校正に適するか否かを簡単に判断することができる。
【００４４】
以上の処理によって、情報処理装置１０００は、撮像装置１００に装着した位置姿勢センサ２００の配置情報を算出するための入力データを取得する際に、推奨レベルを算出して表示する。これにより、センサの校正に関する知識やノウハウを持たない作業者であっても、センサの校正に適する校正用入力データを簡単に取得することができる。以上で図２のフローチャートの各処理が終了する。
【００４５】
次に図３のフローチャートを参照して、Ｓ２０４０の取得推奨レベルの算出処理の詳細について説明する。
【００４６】
Ｓ３０１０において、取得推奨レベル算出部１０５０は、位置姿勢センサ２００の計測値が、センサの計測範囲内であるか否かを判定する。すなわち精度が保証される範囲内であるか否かを判定する。磁気式の位置姿勢センサは、一般的にセンサの計測範囲が連続的であって、精度が保証される範囲は、センサのトランスミッターから受信側のセンサまでの距離によって決められていることが多い。このような磁気式の位置姿勢センサの場合、センサのトランスミッターからの受信側のセンサまでの距離内であれば、センサの計測範囲内とし、その距離以上離れていれば計測範囲外とする。また、一般的な光学式センサの場合、光学式センサである複数のカメラの視野から、計測対象が外れると位置姿勢を計測できなくなる。そのため、位置姿勢を計測可能な最小数のカメラの視野外に計測対象が出た場合を、センサの計測範囲外とする。位置姿勢センサ２００の計測値がセンサの計測範囲内であると判定された場合（Ｓ３０１０；ＹＥＳ）、Ｓ３０２０へ進む。一方、位置姿勢センサ２００の計測値がセンサの計測範囲外であると判定された場合（Ｓ３０１０；ＮＯ）、Ｓ３０３０へ進む。
【００４７】
Ｓ３０２０において、取得推奨レベル算出部１０５０は、画像から指標を検出できたか否かを判定する。指標を検出できたと判定された場合（Ｓ３０３０；ＹＥＳ）、Ｓ３０４０へ進む。一方、指標を検出できなかったと判定された場合（Ｓ３０３０；ＮＯ）、Ｓ３０３０へ進む。
【００４８】
Ｓ３０３０において、取得推奨レベル算出部１０５０は、入力データの情報量が不足していることを示すために、取得推奨レベルをＬ＝１として設定する。その後、処理を終了する。
【００４９】
Ｓ３０４０において、取得推奨レベル算出部１０５０は、検出された指標の画像上における面積を算出し、当該面積が閾値以上であるか否かを判定する。例えば指標の形状が四角形であれば、当該指標の画像上における四角形の面積が閾値以上であるか否かを判定する。指標の面積が閾値以上であると判定された場合（Ｓ３０４０；ＹＥＳ）、Ｓ３０５０へ進む。一方、指標の面積が閾値より小さいと判定された場合（Ｓ３０４０；ＮＯ）、Ｓ３０７０へ進む。
【００５０】
Ｓ３０５０において、取得推奨レベル算出部１０５０は、検出された指標に基づいて撮像装置１００の位置姿勢を算出する。撮像装置１００の位置姿勢の算出方法は、公知の手法を利用すればよい。例えば、平面上に配置された四角形指標が検出されている場合には、平面ホモグラフィーを求めることで撮像装置の位置姿勢を算出してもよい。また、６点以上の点が検出されていれば、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｅｔｈｏｄ）を用いてもよい。さらに、算出された撮像装置１００の位置姿勢を初期値として非線形最適化計算を行うことにより、より正確な撮像装置１００の位置姿勢を求めてもよい。他のいかなる公知の方法を用いて、検出された指標に基づいて撮像装置１００の位置姿勢を求めてもよい。
【００５１】
Ｓ３０６０において、取得推奨レベル算出部１０５０は、データ管理部１０４０に保持されている校正用入力データの撮像装置１００の位置姿勢と、Ｓ３０６０で算出された撮像装置１００の位置姿勢とを比較する。そして、Ｓ３０６０で算出された撮像装置１００の位置姿勢が未取得の位置姿勢であるか否かを判定する。具体的には、撮像装置の位置の差分が閾値よりも小さく、かつ姿勢の差分が閾値よりも小さい場合には、既にほぼ同じ位置姿勢で撮像しているものと判定できる。一方で、そうでない場合には、未取得の位置姿勢であると判定できる。撮像装置１００の位置姿勢が未取得の位置姿勢であると判定された場合（Ｓ３０６０；ＹＥＳ）、Ｓ３０８０へ進む。一方、撮像装置１００の位置姿勢が既取得の位置姿勢であると判定された場合（Ｓ３０６０；ＮＯ）、Ｓ３０７０へ進む。
【００５２】
Ｓ３０７０において、取得推奨レベル算出部１０５０は、入力データが校正情報算出に必要な情報量を満たすものの、誤差が大きい可能性のある入力データであることを示すために、取得推奨レベルをＬ＝２として設定する。その後、処理を終了する。
【００５３】
Ｓ３０８０において、取得推奨レベル算出部１０５０は、すでに概略校正計算済みであるか否かを判定する。すでに概略校正計算済みであると判定された場合（Ｓ３０８０；ＹＥＳ）、Ｓ３０９０へ進む。一方、概略校正計算済みではないと判定された場合（Ｓ３０８０；ＮＯ）、Ｓ３１２０へ進む。
【００５４】
Ｓ３０９０において、取得推奨レベル算出部１０５０は、概略校正計算結果とセンサの計測値と予め求めておいた指標の３次元位置とに基づいて推定された指標の推定座標ｕ'Ｐｋｎと、指標の検出座標ｕＰｋｎとの差である、再投影誤差ΔｕＰｋｎを算出する。
【００５５】
ここで、ある位置姿勢で撮像装置１００が撮像した画像のひとつの指標における再投影誤差ΔｕＰｋｎの算出方法について述べる。再投影誤差ΔｕＰｋｎは、次式によって求められる。
【００５６】
【数１】
【００５７】
撮像装置座標系における指標Ｐｋｎの位置をｘＣＰｋｎ＝[ｘＣＰｋｎ、ｙＣＰｋｎ、ｚＣＰｋｎ]とし、ｆを焦点距離とする。すると、指標の推定座標ｕ'Ｐｋｎ＝[ｕ'ｘＰｋｎ、ｕ'ｙＰｋｎ]は次のように表せる。
【００５８】
【数２】
【００５９】
ここで、ある三次元の座標系Ｂに対する三次元の座標系Ａの位置を表す三次元ベクトルをｔ、姿勢を表す３×３回転行列をＲとすると、座標系Ａ上での位置がｘＡ（三次元ベクトル）で表される点の座標系Ｂ上での座標ｘＢ（三次元ベクトル）は、式（３）に示す４×４行列ＭＢＡを用いて、同次座標表現によって式（４）のように表される。
【００６０】
【数３】
【００６１】
【数４】
【００６２】
本実施形態では、ＭＢＡを座標系Ｂに対する座標系Ａの位置姿勢を表す手法として用いる。
【００６３】
撮像装置１００に装着された位置姿勢センサ２００の計測値より得られる、世界座標系における位置姿勢センサ２００の位置姿勢をＭＷＳとする。また本実施形態では、位置および姿勢を、次に述べるように６次元ベクトルによって表現する。位置および姿勢はそれぞれ、３値ベクトルｘ＝［ｘ ｙ ｚ］Ｔおよびω＝［ξ ψ ζ］Ｔによって表現される。姿勢を３値によって表現する方法には様々なものが存在するが、ここでは、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって表現されているものとする。これらの、位置ｘおよび姿勢ωをまとめて、６次元ベクトルａ=［ｘ ｙ ｚ ξ ψ ζ］Ｔとして表現する。
【００６４】
撮像装置座標系における、撮像装置１００に装着した位置姿勢センサ２００の位置姿勢を表す４×４行列ＭＣＳは、６次元ベクトルａＣＳ＝［ｘＣＳ ｙＣＳ ｚＣＳ ξＣＳ ψＣＳ ζＣＳ］Ｔにより表される。ＭＣＳからａＣＳへの変換は公知の方法を使って行うことができる。
【００６５】
予め求めておいた指標Ｐｋｎの世界座標系での位置をｘＷＰｋｎとし、ＭＣＳが未知パラメータであるａＣＳの関数であるとすると、指標Ｐｋｎの撮像座標系における位置ｘＣＰｋｎは、次式で表せる。
【００６６】
【数５】
【００６７】
概略校正計算結果であるａＣＳを初期値として与えて、式（５）および式（２）を式（１）へ代入することによって、再投影誤差を求めることができる。
【００６８】
Ｓ３１００において、取得推奨レベル算出部１０５０は、Ｓ３０９０で算出された再投影誤差が閾値よりも小さいか否かを判定する。再投影誤差が閾値よりも小さいと判定された場合（Ｓ３１００；ＹＥＳ）、Ｓ３１１０へ進む。一方、再投影誤差が閾値以上であると判定された場合（Ｓ３１００；ＮＯ）、Ｓ３１２０へ進む。
【００６９】
Ｓ３１１０において、取得推奨レベル算出部１０５０は、センサ校正を行うためにその位置や姿勢で入力する必要がないことを示すために、取得推奨レベルをＬ＝０として設定する。その後、処理を終了する。
【００７０】
Ｓ３１２０において、取得推奨レベル算出部１０５０は、センサの校正を行うために、入力データが校正情報算出に積極的に用いられるべきであると判断できることを示すために、取得推奨レベルをＬ＝３として設定する。その後、処理を終了する。以上で図３のフローチャートの各処理が終了する。
【００７１】
次に、図４のフローチャートを参照して、取得推奨レベルに基づいてセンサの校正情報を算出する処理について説明する。
【００７２】
Ｓ４０１０乃至Ｓ４０４０の各処理は、図２のＳ２０１０乃至Ｓ２０４０の各処理と同様であるため、説明を省略する。Ｓ４０４０の処理の詳細についても同様にＳ２０４０の処理の詳細について説明した図３のフローチャートの各処理と同様である。
【００７３】
Ｓ４０５０において、データ管理部１０４０は、Ｓ４０４０で算出された取得推奨レベルに基づいて、入力データを校正に利用するか否かを判定する。例えば取得推奨レベルＬ＝２、またはＬ＝３の入力データであれば校正に利用すると判定してもよい。また、取得推奨レベルＬ＝３の入力データであれば校正に利用すると判定してもよい。入力データを校正に利用すると判定された場合（Ｓ４０５０；ＹＥＳ）、Ｓ４０６０へ進む。一方、入力データを校正に利用しないと判定された場合（Ｓ４０５０；ＮＯ）、Ｓ４０１０へ戻る。
【００７４】
Ｓ４０６０において、データ管理部１０４０は、Ｓ３０５０で求められた撮像装置１００の位置姿勢、位置姿勢センサ２００の計測値、予め求めておいた指標の３次元位置、および指標の検出座標を、校正用入力データとして保持する。
【００７５】
Ｓ４０７０において、校正情報算出部１０７０は、校正計算を行うか否かを判定する。本実施形態では、不図示の指示部から校正計算を行うように不図示の作業者から指示があった場合に校正計算を行うと判定する。そして、例えば作業者から所定時間指示がない場合には、校正計算を行わないと判定する。校正計算を行うと判定された場合（Ｓ４０７０；ＹＥＳ）、Ｓ４０８０へ進む。一方、校正計算を行わないと判定された場合（Ｓ４０７０；ＮＯ）、Ｓ４０１０へ戻る。
【００７６】
Ｓ４０８０において、校正情報算出部１０７０は、データ管理部１０４０に保持されている校正用入力データを用いて校正計算を行う。撮像装置１００に装着した位置姿勢センサ２００の配置情報、すなわち撮像装置座標系における位置姿勢センサ２００の位置姿勢を校正情報として算出する。校正の計算方法は、公知の何れの方法で行ってもよい。
【００７７】
Ｓ４０９０において、校正情報算出部１０７０は、不図示の作業者からセンサ校正の終了コマンドが入力されたか否かを判定する。センサ校正の終了コマンドが入力された場合（Ｓ４０９０；ＹＥＳ）、処理を終了する。一方、センサ校正の終了コマンドが処理時間入力されていない場合（Ｓ４０９０；ＮＯ）、Ｓ４０１０へ戻る。
【００７８】
以上の処理によって、求めるべき校正情報である、撮像装置１００に装着した位置姿勢センサ２００の撮像装置１００に対する配置情報を算出することができる。以上で図４のフローチャートの各処理が終了する。
【００７９】
次に、図７を参照して、本実施形態における情報処理装置１０００のハードウェア構成を説明する。図７に示したハードウェア構成は通常のパーソナルコンピュータの構成と同様である。情報処理装置１０００は、ＣＰＵ７０１と、画像取り込み器７０２と、位置姿勢入力器７０３と、記憶媒体７０４と、ＲＯＭ７０５と、ＲＡＭ７０６と、マウス７０７と、キーボード７０８とを備える。
【００８０】
ＣＰＵ７０１は、記憶媒体７０４、ＲＯＭ７０５、ＲＡＭ７０６、不図示の外部記憶装置等に保存されているプログラムを実行することにより、図１で説明した画像入力部１０１０乃至校正情報算出部１０７０の各処理部の動作を制御する。なお、データ管理部１０４０は、記憶媒体７０４に情報を保存したり、記憶媒体７０４から情報を読み出したりすることができる。
【００８１】
画像取り込み器７０２は、画像入力部１０１０に対応しており、撮像装置１００により撮像された画像をコンピュータ内に取り込む。画像取り込み器５０２は、例えばビデオキャプチャボードであるが、撮像装置１００により撮像された画像をコンピュータ内に取り込むものであれば何であってもよい。
【００８２】
位置姿勢入力器７０３は、センサ計測値入力部１０２０に対応しており、位置姿勢センサ２００により計測された計測値をコンピュータ内に取り込む。
【００８３】
マウス７０７およびキーボード７０８は、作業者からの指示を受け付けることができる。
【００８４】
なお、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８５】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
本実施形態によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【００８８】
（第２実施形態）
第１実施形態に係る情報処理装置１０００では、撮像装置１００に装着した位置姿勢センサ２００の取得推奨レベルを表示した。本実施形態に係る情報処理装置は、撮像対象となる物体に装着した位置姿勢センサの校正用入力データを取得する際に、取得推奨レベルを表示する。以下、本実施形態に係る情報処理装置について説明する。
【００８９】
図８は、本実施形態に係る情報処理装置８０００の概略構成を示す。情報処理装置８０００は、画像入力部８０１０と、センサ計測値入力部８０２０と、指標検出部８０３０と、データ管理部８０４０と、取得推奨レベル算出部８０５０と、取得推奨レベル表示部８０６０と、校正情報算出部８０７０とを備える。物体３００には、校正される対象である位置姿勢センサ２００が装着されているものとする。
【００９０】
情報処理装置８０００は、撮像装置１００と、後述する位置姿勢センサ２００とに接続されている。撮像装置１００は、物体３００を撮像可能な位置に固定されており、世界座標系における撮像装置１００の位置姿勢を公知の方法により予め求めておく。また物体座標系を、物体３００上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義する。この物体座標系における位置姿勢センサ２００の位置姿勢は未知である。この未知である物体座標系における位置姿勢センサ２００の位置姿勢が、校正する対象となる情報である。物体３００上には、撮像装置１００によって撮像される指標が配置される。ここでは、物体座標系における位置が既知である指標Ｐｋ（ｋ＝１，，，Ｋ）が物体３００上に配置されている。指標Ｐｋは、撮像装置１００によって、少なくとも３個以上の点の情報が観測されるように設置されているとよい。
【００９１】
画像入力部８０１０、センサ計測値入力部８０２０、指標検出部８０３０、データ管理部８０４０、および取得推奨レベル表示部８０６０の各処理部の機能、及び指標は、それぞれ第１実施形態で説明した対応する各処理部の機能、及び指標と同様であるため説明を省略する。
【００９２】
取得推奨レベル算出部８０５０は、第１実施形態と同様に、データ管理部８０４０から、指標の検出情報とセンサ計測値とを、校正用入力データ候補として取得する。取得推奨レベル算出部８０５０は、取得された校正用入力データ候補に基づいて、当該候補を校正情報算出に利用すべきかどうかのレベルを示す取得推奨レベルを算出する。取得推奨レベル算出部８０５０は、取得推奨レベル表示部８０６０と、データ管理部８０４０とへ、算出された取得推奨レベルを出力する。
【００９３】
校正情報算出部８０７０は、データ管理部８０４０から校正用入力データを入力し、校正情報として、物体座標系における位置姿勢センサ２００の配置情報を算出し、当該校正情報を出力する。
【００９４】
次に図９のフローチャートを参照して、本実施形態に係る情報処理装置８０００が、校正用入力データの取得推奨レベルを表示する処理の手順を示す。
【００９５】
Ｓ９０１０、Ｓ９０２０、Ｓ９０３０、およびＳ９０５０の各処理は、第１の実施形態のＳ２０１０、Ｓ２０２０、Ｓ２０３０、およびＳ２０５０の各処理と同様であるため説明を省略する。Ｓ９０４０において、取得推奨レベル算出部８０５０は、後述する図１０のフローチャートの処理に従って取得推奨レベルを算出する。
【００９６】
図１０は、取得推奨レベルの算出方法についてのフローチャートを示す。Ｓ１００１０乃至Ｓ１００４０、Ｓ１００７０、Ｓ１００８０、およびＳ１０１００乃至Ｓ１０１２０の各処理は、第１の実施形態で説明した対応する各処理と同様であるため、説明を省略する。
【００９７】
Ｓ１００５０において、取得推奨レベル算出部８０５０は、検出された指標から物体３００の位置姿勢を算出する。物体３００の位置姿勢は、撮像装置１００に対する相対的な位置姿勢である。物体３００の位置姿勢の算出方法は、第１実施形態と同様に公知の手法を用いればよい。
【００９８】
Ｓ１００６０において、取得推奨レベル算出部８０５０は、データ管理部８０４０に保持されている校正用入力データの物体３００の位置姿勢と、Ｓ１００５０で算出された物体３００の位置姿勢とを比較する。そして、Ｓ１００５０で算出された物体３００の位置姿勢が未取得の位置姿勢であるか否かを判定する。具体的には、物体３００の位置の差分が閾値よりも小さく、かつ姿勢の差分が閾値よりも小さい場合には、既にほぼ同じ位置姿勢で撮像しているものと判定できる。一方で、そうでない場合には、未取得の位置姿勢であると判定できる。物体３００の位置姿勢が未取得の位置姿勢であると判定された場合（Ｓ１００６０；ＹＥＳ）、Ｓ１００８０へ進む。一方、物体３００の位置姿勢が既取得の位置姿勢であると判定された場合（１００６０；ＮＯ）、Ｓ１００７０へ進む。
【００９９】
Ｓ１００９０において、取得推奨レベル算出部８０５０は、概略校正計算結果とセンサの計測値と、指標の物体座標系における３次元位置とに基づいて推定した指標の推定座標ｕ'Ｐｋｎと、指標の検出座標ｕＰｋｎとの差である、再投影誤差ΔｕＰｋｎを算出する。
【０１００】
ここで、撮像装置がある位置姿勢の物体を撮像した画像のひとつの指標における再投影誤差ΔｕＰｋｎの算出方法について述べる。再投影誤差ΔｕＰｋｎは、式（６）によって求められる。
【０１０１】
【数６】
【０１０２】
撮像装置座標系における指標Ｐｋｎの位置をｘＣＰｋｎ＝[ｘＣＰｋｎ、ｙＣＰｋｎ、ｚＣＰｋｎ]とし、ｆを焦点距離とすると、指標の推定座標ｕ'Ｐｋｎ＝[ｕ'ｘＰｋｎ、ｕ'ｙＰｋｎ]は次のように表せる。
【０１０３】
【数７】
【０１０４】
物体３００に装着された位置姿勢センサ２００の計測値より得られる世界座標系における位置姿勢センサ２００の位置姿勢をＭＷＳとする。公知の方法で求めておいた撮像装置１００の世界座標系における位置姿勢をＭＷＣとする。
【０１０５】
物体座標系における、物体３００に装着した位置姿勢センサ２００の位置姿勢を表す４×４行列ＭＯＳは、６次元ベクトルａＯＳ＝［ｘＯＳ ｙＯＳ ｚＯＳ ξＯＳ ψＯＳ ζＯＳ］Ｔによって表される。ＭＯＳからａＯＳへの変換は公知の方法を用いて行うことができる。
【０１０６】
予め求めておいた指標Ｐｋｎの物体座標系での位置をｘＯＰｋｎとし、ＭＯＳが未知パラメータであるａＯＳの関数であるとすると、指標Ｐｋｎの撮像座標系における位置ｘＣＰｋｎは、式（８）で表すことができる。
【０１０７】
【数８】
【０１０８】
概略校正計算結果であるａＣＳを初期値として与え、式（８）および（７）を式（６）に代入することによって、再投影誤差を求めることができる。
【０１０９】
以上の処理によって、情報処理装置８０００は、物体３００に装着した位置姿勢センサ２００の配置情報を算出するための入力データを取得する際に、推奨レベルを算出して表示する。これにより、センサの校正に関する知識やノウハウを持たない作業者であっても、センサの校正に適する校正用入力データを簡単に取得することができる。
【０１１０】
次に、図１１のフローチャートを参照して、取得推奨レベルに基づいてセンサの校正情報を算出する処理について説明する。
【０１１１】
Ｓ１１０１０乃至Ｓ１１０４０の各処理は、図９のＳ９０１０乃至Ｓ９０４０の各処理と同様であるため、説明を省略する。Ｓ１１０４０の処理の詳細についても同様にＳ９０４０の処理の詳細を説明した図１０のフローチャートの各処理と同様である。
【０１１２】
また、Ｓ１１０５０、Ｓ１１０７０、およびＳ１１０９０の各処理は、それぞれ図４を参照して説明したＳ４０５０、Ｓ４０７０、およびＳ４０９０の各処理と同様である。
【０１１３】
Ｓ１１０６０において、データ管理部８０４０は、既知の撮像装置の位置姿勢、位置姿勢センサ２００の計測値、既知の指標の３次元位置、および指標の検出座標を、校正用入力データとして保持する。
【０１１４】
Ｓ１１０８０において、校正情報算出部８０７０は、データ管理部８０４０に保持されている校正用入力データを用いて校正計算を行う。物体３００に装着した位置姿勢センサ２００の配置情報、すなわち、物体座標系における位置姿勢センサ２００の位置姿勢を校正情報として算出する。校正の計算方法は、公知の何れの方法で行ってよい。
【０１１５】
以上の処理によって、物体３００に装着した位置姿勢センサ２００の物体３００に対する配置情報を、簡便かつ正確に算出することができる。
【０１１６】
本実施形態によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【０１１７】
（第３実施形態）
第１実施形態および第２実施形態では、算出された取得推奨レベルに色を割り当てて表示した。しかし、取得推奨レベルごとに、作業者への指示をテキスト情報として液晶ディスプレイに表示してもよい。図６は、取得推奨レベルと、入力データの状態情報と、作業者の行動を指示する指示情報とをテキスト情報として表示した例を示す。例えば、入力データの状態情報およびテキスト情報は、図６の領域５００に表示する。以下、取得推奨レベルごとに表示する内容を具体的に説明する。
【０１１８】
取得推奨レベルＬ＝０のときは、すでに校正済みと判断される場合や、同じ地点からの入力データを取得済みである場合であるので、液晶ディスプレイは、「現在の位置と姿勢において、校正用のデータを入力する必要はありません。位置姿勢センサ２００の計測範囲内で、位置姿勢センサ２００の位置または姿勢をかえてください。」と表示する。
【０１１９】
取得推奨レベルＬ＝１のときは、情報量が不足しているために校正情報の算出ができない入力データの場合であるので、液晶ディスプレイは、「計算に必要な情報量が不足しています。位置姿勢センサ２００の計測範囲内かつ、指標が撮像できるように位置姿勢センサ２００の位置または姿勢をかえてください。」と表示する。
【０１２０】
取得推奨レベルＬ＝２のときは、校正情報算出に必要な情報量を満たすものの、誤差が大きい可能性のある入力データであると判断されているので、液晶ディスプレイは、「入力データの誤差が大きい可能性があります。位置姿勢センサ２００の計測範囲内で、位置姿勢センサ２００の位置または姿勢をかえてください。」と表示する。
【０１２１】
取得推奨レベルＬ＝３のときは、位置姿勢センサ２００の校正を行うために、積極的にデータ入力を行うべきであると判断できることを示すため、液晶ディスプレイは、「センサ校正に適する入力データです。撮像する画像にブラーがでないように撮像装置または物体を静止させて、校正用入力データを取得してください。」と表示する。
【０１２２】
なお、各表示内容の前半部分が入力データの状態情報であり、後半部分が作業者への指示情報である。
【０１２３】
取得推奨レベルに応じた内容で、入力データの状態情報または作業者への指示情報が割り当てられていれば、文言はこれらに限るものではないことはいうまでもない。また、取得推奨レベルに応じたテキスト情報をディスプレイに表示したが、取得推奨レベルを作業者へ提示できればこれに限らない。音声情報によって、作業者に提示してもよい。音声情報であれば、位置姿勢センサ２００の計測範囲が広い場合など、ＰＣに付属する液晶ディスプレイから作業者が離れていても、取得推奨レベルを容易に確認することができる。また、色と音声とを組み合わせて提示してもよい。
【０１２４】
以上のように、取得推奨レベルを作業者の行動指示として表示することで、作業者はセンサの校正に適する入力データを簡単に取得することができる。
【０１２５】
（第４実施形態）
第１実施形態および第２実施形態では、取得推奨レベルに基づいて、入力データを校正に利用するか否かを判定した。しかし、取得推奨レベル表示部に表示された、取得推奨レベルに基づいて、不図示の作業者が校正用入力データの取得コマンドを入力してもよい。
【０１２６】
不図示の作業者からデータ取得コマンドが入力された時には「データ取得」の指示をデータ管理部１０４０に送信する。作業者からのコマンド入力は、例えばマウス７０７の操作や、キーボード７０８を用いて特定のコマンドを割り当てたキーを押下することによって行うことができる。また、コマンドの入力は、液晶ディスプレイ上に表示されたＧＵＩで行ってもよく、いずれの方法で行ってもよい。
【０１２７】
（第５実施形態）
第１実施形態および第２実施形態にでは、算出された取得推奨レベルに色を割り当てて表示した。しかし、算出された取得推奨レベルに色を割り当てて表示できれば、図５および図６で示した例に限らない。
【０１２８】
例えば、図１２に示すように、再投影誤差を表示する領域６００に、取得推奨レベルの色を割り当てて表示してもよい。このように表示することで、作業者は、取得推奨レベルと再投影誤差とを関連付けて理解できる。これにより、センサ校正に必要となる入力データであるかどうかを判断し易くなる。
【０１２９】
また図１３に示すように、撮像装置１００が撮像した画像を表示する領域７００に対して、取得推奨レベルに対応する色を割り当ててもよい。
【０１３０】
また図１４に示すように、撮像装置１００が撮像した画像の枠８００に対して、取得推奨レベルに対応する色を割り当ててもよい。
【０１３１】
作業者が、校正データを入力する際に、取得推奨レベルを確認できるように色を割り当てていれば、取得推奨レベル表示部は、いずれの手法を用いてもよい。
【０１３２】
（第６実施形態）
第１実施形態および第２実施形態において、取得推奨レベル表示部は、ＰＣに付属する液晶ディスプレイとして説明を行った。しかし、取得推奨レベル表示部は、液晶ディスプレイに限るものではない。取得推奨レベルが区別できれば、ＬＥＤやプラズマディスプレイなど、何れのディスプレイを用いてもよい。また、図１５に示すように、取得推奨レベル表示部９００は、位置姿勢センサ２００を装着した撮像装置１００に取り付けられていてもよい。ここで、取得推奨レベル表示部９００は、例えば小型のディスプレイや、ＬＥＤである。
【０１３３】
また撮像装置１００が撮像した画像に表示するために、ＨＭＤ（ヘッドマウントディスプレイ）に内蔵した撮像装置１００で撮像した画像に対して、取得推奨レベルの色を割り当て、ＨＭＤに表示してもよい。
【０１３４】
位置姿勢センサ２００を装着した撮像装置１００に、表示装置が取り付けられていれば、センサの計測範囲が広い場合であっても、作業者は、離れた位置から取得推奨レベルを確認することができる。
【０１３５】
（第７実施形態）
第１実施形態に係る情報処理装置１０００は、撮像装置１００に装着した位置姿勢センサ２００の取得推奨レベルを表示した。また、第２実施形態に係る情報処理装置８０００は、物体３００に装着した位置姿勢センサ２００の取得推奨レベルを表示した。
【０１３６】
しかしながら、情報処理装置は、撮像装置に装着した姿勢センサの撮像装置に対する姿勢情報を算出するための入力データを取得する際に、推奨レベルを算出して表示してもよい。以下、本実施形態に係る情報処理装置について説明する。
【０１３７】
図１６は、本実施形態に係る情報処理装置１６０００の概略構成を示す。情報処理装置１６０００は、画像入力部１６０１０と、センサ計測値入力部１６０２０と、指標検出部１６０３０と、データ管理部１６０４０と、取得推奨レベル算出部１６０５０と、取得推奨レベル表示部１６０６０と、校正情報算出部１６０７０とを備える。情報処理装置８０００は、撮像装置１００と、姿勢センサ２５０とに接続されている。
【０１３８】
撮像装置１００上には、校正される対象である姿勢センサ２５０が装着されているものとする。撮像装置座標系は、撮像装置１００上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系である。撮像装置座標系における、姿勢センサ２５０の姿勢は未知である。この撮像装置座標系における姿勢センサ２５０の姿勢が、校正する情報である。
【０１３９】
画像入力部１６０１０、指標検出部１６０３０、および取得推奨レベル表示部１６０６０の各処理部の機能、及び指標Ｐは、それぞれ第１実施形態で説明した対応する各処理部の機能、及び指標Ｐと同様であるため説明を省略する。
【０１４０】
センサ計測値入力部１６０２０は、姿勢センサ２５０から姿勢の計測値を取得し、データ管理部１６０４０へと出力する。姿勢センサ２５０が出力する値は一般的にはセンサが独自に定義するセンサ座標系におけるセンサ自身の姿勢である。ここでは、センサ座標系の重力軸と、世界座標系の重力軸とは一致しているものとする。姿勢センサ２５０の回転行列（以下、「ＲＷＳ」と称する）をデータ管理部１６０４０へと出力する。取得推奨レベル算出部１６０５０は、データ管理部１６０４０から、指標の検出情報とセンサ計測値とを、校正用入力データ候補として取得する。取得推奨レベル算出部１６０５０は、校正用入力データ候補に基づいて、校正情報算出に利用すべきかどうかの程度を示す取得推奨レベルを算出する。取得推奨レベル算出部１６０５０は、取得推奨レベル表示部１０６０とデータ管理部１０４０とへ、取得推奨レベルを出力する。
【０１４１】
校正情報算出部１６０７０は、データ管理部１６０４０から校正用入力データを取得し、撮像装置座標系における姿勢センサ２５０の姿勢情報を校正情報として算出し、当該校正情報を出力する。校正情報の算出方法は、何れの公知技術を用いてもよい。
【０１４２】
次に図１７のフローチャートを参照して、本実施形態に係る情報処理装置１６０００が、校正用入力データの取得推奨レベルを表示する処理の手順を示す。
【０１４３】
Ｓ１７０１０、Ｓ１７０２０、Ｓ１７０３０、およびＳ１７０５０の各処理は、第１の実施形態のＳ２０１０、Ｓ２０２０、Ｓ２０３０、およびＳ２０５０の各処理と同様であるため説明を省略する。Ｓ１７０４０において、取得推奨レベル算出部１６０５０は、後述する図１８のフローチャートの処理に従って取得推奨レベルを算出する。
【０１４４】
図１８は、Ｓ１７０４０における取得推奨レベルの算出方法についてのフローチャートを示す。Ｓ１８０１０乃至Ｓ１８０８０、およびＳ１８１００乃至Ｓ１８１２０の各処理は、第１の実施形態で説明した対応する各処理と同様であるため、説明を省略する。
【０１４５】
Ｓ１８０９０において、取得推奨レベル算出部１６０５０は、概略校正計算結果と、姿勢センサ２５０の計測値と、指標の検出座標と、予め求めておいた指標の３次元位置とに基づいて、指標の推定座標ｕ'Ｐｋｎを求める。次に指標の推定座標ｕ'Ｐｋｎと、指標の検出座標ｕＰｋｎとの差である、再投影誤差ΔｕＰｋｎを求め、第１実施形態で説明したように、当該再投影誤差を利用して、取得推奨レベルを求めればよい。取得推奨レベルを求めることができれば、第１実施形態と同様に取得推奨レベル表示部１６０６０は、取得推奨レベルを表示することができる。
【０１４６】
以上説明したように、姿勢センサの撮像装置座標系に対する姿勢情報を求めて、姿勢センサの校正を行う場合であっても、取得推奨レベルを求め、それを表示することができる。このように表示することで、センサ校正を行う作業者は、校正用入力データの取得推奨レベルを簡単に理解でき、姿勢センサのセンサ校正に適する入力データを取得することができる。
【０１４７】
本発明によれば、センサ校正に関する知識やノウハウのない作業者であっても、センサ校正用入力データを容易に取得し、精度よく校正を行うための校正用入力データであるか否かを容易に判断することが可能となる。
【０１４８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置であって、
前記撮像装置により撮像された画像を取得する画像取得手段と、
前記画像から指標情報を検出する指標検出手段と、
前記位置姿勢センサにより計測された前記位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得手段と、
前記指標情報と前記計測値とを含む前記校正用入力データの推奨レベルを、前記指標情報と前記計測値とに基づいて算出する算出手段と、
前記推奨レベルを提示する提示手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記提示手段は、前記推奨レベルに対応する色またはテクスチャを前記推奨レベルごとにさらに提示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記提示手段は、前記推奨レベルに対応する作業者への指示をテキスト情報としてさらに提示することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記提示手段は、前記推奨レベルに対応する作業者への指示を音声情報としてさらに提示することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記位置姿勢センサは、前記撮像装置に装着されていることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
画像取得手段と、指標検出手段と、計測値取得手段と、算出手段と、提示手段とを備え、撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置の制御方法であって、
前記画像取得手段が、前記撮像装置により撮像された画像を取得する画像取得工程と、
前記指標検出手段が、前記画像から指標情報を検出する指標検出工程と、
前記計測値取得手段が、前記位置姿勢センサにより計測された前記位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得工程と、
前記算出手段が、前記指標情報と前記計測値とを含む前記校正用入力データの推奨レベルを、前記指標情報と前記計測値とに基づいて算出する算出工程と、
前記提示手段が、前記推奨レベルを提示する提示工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項７】
請求項６に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置であって、
前記撮像装置により撮像された画像を取得する画像取得手段と、
前記画像から指標情報を検出する指標検出手段と、
前記位置姿勢センサにより計測された前記位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得手段と、
前記指標情報と前記計測値とを含む前記校正用入力データの推奨レベルを、前記指標情報と前記計測値とに基づいて算出する算出手段と、
前記推奨レベルを提示する提示手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記提示手段は、前記推奨レベルに対応する色またはテクスチャを前記推奨レベルごとにさらに提示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記提示手段は、前記推奨レベルに対応する作業者への指示をテキスト情報としてさらに提示することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記提示手段は、前記推奨レベルに対応する作業者への指示を音声情報としてさらに提示することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記位置姿勢センサは、前記撮像装置に装着されていることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
画像取得手段と、指標検出手段と、計測値取得手段と、算出手段と、提示手段とを備え、撮像装置に対する位置姿勢センサの位置または姿勢を校正するための校正用入力データを処理する情報処理装置の制御方法であって、
前記画像取得手段が、前記撮像装置により撮像された画像を取得する画像取得工程と、
前記指標検出手段が、前記画像から指標情報を検出する指標検出工程と、
前記計測値取得手段が、前記位置姿勢センサにより計測された前記位置姿勢センサ自身の位置または姿勢の計測値を取得する計測値取得工程と、
前記算出手段が、前記指標情報と前記計測値とを含む前記校正用入力データの推奨レベルを、前記指標情報と前記計測値とに基づいて算出する算出工程と、
前記提示手段が、前記推奨レベルを提示する提示工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項７】
請求項６に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１６】
【図１７】
【図１８】
【図５】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１６】
【図１７】
【図１８】
【図５】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１１３８０５（Ｐ２０１３−１１３８０５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２６５３（Ｐ２０１１−２６２６５３）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]