情報処理方法および情報処理装置
【課題】 形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整する。
【解決手段】 現実物体に合成する仮想物体の位置姿勢を調整する情報処理方法であって、仮想物体に設定された仮想指標の位置情報を取得し、仮想指標の位置をユーザに報知し、ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得し、前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定する。
【解決手段】 現実物体に合成する仮想物体の位置姿勢を調整する情報処理方法であって、仮想物体に設定された仮想指標の位置情報を取得し、仮想指標の位置をユーザに報知し、ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得し、前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
現実物体に合成する仮想物体の位置姿勢を調整するものに関する。
【背景技術】
【０００２】
現実空間と仮想空間とを違和感なく自然に合成する複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用したシステムが盛んに提案されている。これらの複合現実感システムは、カメラなどの撮像装置によって撮影した現実空間の映像に対し、コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想空間の映像を合成し、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの表示装置に表示することで、複合現実感映像をシステムのユーザ（使用者）に提示するものである。
【０００３】
また近年、３次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）技術やラピッド・プロトタイピング技術の発達により、コンピュータ上の３次元ＣＡＤシステムで作成した形状モデルデータから、現実物体のモックアップを比較的短時間で、自動的に作成できるようになっている。
【０００４】
しかし、ラピッド・プロトタイピング造形装置で作成した現実のモックアップモデル（以下、現実モデルと表記する）は、形状こそ３次元ＣＡＤシステムで作成した形状モデル（以下、仮想モデルと表記する）と同一であるが、材質については、造形に用いる素材に制約される。そのため、この現実モデルでは、色や質感、模様などの特性については、仮想モデルの特性を反映していない。そこで、複合現実感システムを用いて、現実モデルの元となる仮想モデルをＣＧで描画し、現実モデルに重畳してユーザに合成表示することによって、従来のラピッド・プロトタイピング技術では実現できなかった、色や質感、模様などの特性に関するデザインの検証までも行えるようになってきた。
【０００５】
このようなシステムにおいては、仮想空間中の仮想モデルを、現実空間中に存在する現実モデルに正確に一致させた状態で表示することが要求される。この場合、３次元ＣＡＤシステムで作成した仮想モデルから現実モデルが作成されるため、形状・大きさについて、両モデルは同一であると言える。しかし、複合現実感技術において、両モデルの位置・姿勢を一致させるためには、現実空間と仮想空間との整合を正確に行うことに加え、現実モデルが存在する現実空間中での現実モデルの位置・姿勢と、仮想空間中での仮想モデルの位置・姿勢とを正確に一致させなければならない。すなわち、まず、現実空間の座標系と仮想空間の座標系を完全に一致させ、その後に、現実モデルと仮想モデルが存在する座標を一致させる必要がある。
【０００６】
前者については、従来から多くの取り組みが行われており、現実空間と仮想空間とを正確に整合させるための位置合わせを実現するための方法が提案されている。（特許文献１および２参照）
後者については、従来、現実モデルの位置・姿勢をあらかじめ何らかの方法で測定し、仮想モデルを配置する位置・姿勢にもその測定値を設定することが行われてきた。
【０００７】
現実モデルの位置・姿勢を測定する方法には、磁気を利用して３次元位置姿勢を計測する磁気センサなどの位置姿勢計測装置を用いる方法や、現実モデルに３次元位置が既知であるマーカを複数貼り、カメラなどの撮像装置で現実モデルを撮影した画像から、画像処理によりマーカを抽出して、マーカが抽出されたマーカの画像座標とマーカの３次元位置との対応から現実モデルの位置・姿勢を算出する方法が知られている。
【特許文献１】特開２００２−２２９７３０号公報
【特許文献２】特開２００３−２６９９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、センサは一般的に高価なデバイスであり、製作するシステムにかけることができる費用が制限されている場合は、必要以上の数のセンサを使用することが難しいことがあり、改善が求められていた。また、現実モデルのサイズによっては、現実モデルに磁気センサなどの３次元位置姿勢センサを取り付けることが難しいことがあり、改善が求められていた。
【０００９】
一方、デザインの検証を行う際は、現実空間の環境照明条件を様々に変えて検証を行うことがあり、環境照明条件によっては現実モデルに貼ったマーカの色を安定的に抽出することが難しい場合があり、改善が求められていた。また、システムをショールームに設置する場合は、ショールームの景観を損ねないために、現実モデルに特殊な色や形状のマーカを貼ることが難しいことがあり、改善が求められていた。
【００１０】
以上のように現実モデルの位置・姿勢を直接測定することが困難である場合には、逆に、仮想モデルの位置・姿勢をあらかじめ規定しておき、現実モデルの位置・姿勢を仮想モデルの位置・姿勢に一致するように設置する方法が採られる。しかし、この方法においても、配置した現実モデルの位置・姿勢に誤差が生じることが多い。そのため、現実モデルを大まかに配置した後で、仮想モデルの位置・姿勢を手作業で試行錯誤的に微調整することによって、最終的に現実モデルの位置・姿勢と、仮想モデルの位置・姿勢とを一致させる。
【００１１】
しかし、一般的な複合現実感システムでは、仮想空間の画像は、現実空間の画像の上に重畳して表示される。そのため、システムのユーザには、常に現実モデルの手前に仮想モデルが存在するように観測され、現実モデルと仮想モデルとの間の位置関係を把握することは困難である。とりわけ、仮想モデルの位置・姿勢を微調整するためには、両者の正確な位置・姿勢関係を把握する必要があるため、改善が求められていた。
【００１２】
本発明は、現実モデルと仮想モデルの位置・姿勢を正確に一致するように、仮想モデルの位置・姿勢を簡便に調整できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、現実物体に合成する仮想物体の位置姿勢を調整する情報処理方法であって、仮想物体に設定された仮想指標の位置情報を取得し、
仮想指標の位置をユーザに報知し、ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得し、
前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定することを特徴とする。
【発明の効果】
【００１４】
以上述べたように、本発明によれば、現実物体と仮想物体の位置・姿勢を簡単な調整により一致させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１６】
（第１の実施形態）
図１は第１の実施形態における概略システム構成を示すブロック図である。
【００１７】
図１において、演算処理部１００は、コンピュータなどの計算機から構成される。演算処理部１００はその内部にＣＰＵ１０１、ＲＡＭ１０２、画像出力装置１０３、システムバス１０４、ディスク装置１０５、入力装置１０６、画像入力装置１０７を備える。
【００１８】
ＣＰＵ１０１は、画像処理プログラムに基づき、画像処理方法を制御する。ＣＰＵ１０１はシステムバス１０４に接続され、ＲＡＭ１０２、画像出力装置１０３、ディスク装置１０５、入力装置１０６、画像入力装置１０７と相互に通信することが可能である。
【００１９】
ＲＡＭ１０２は、メモリ等の主記憶装置によって実現される。ＲＡＭ１０２は、システムバス１０４を介して、画像処理プログラムのプログラムコードやプログラムの制御情報、画像入力装置１０７から入力した実写画像データのほか、ＣＧモデルや配置情報などの仮想空間データ、センサ計測値、センサ較正データ等の各種データを一時的に保持する。（ＲＡＭ１０２は、図示しないビデオバッファを備え、画像データはビデオバッファに保持される。）仮想空間データには、仮想モデル４０２や仮想指標４０３のＣＧモデルと、仮想モデル４０２や仮想指標４０３が仮想空間内に配置される位置・姿勢情報と、などが含まれる。仮想モデル４０２、仮想指標４０３については、図４、図５の説明で詳しく述べる。なお、本明細書においては、仮想モデルのことを仮想物体とも呼ぶ。
【００２０】
画像出力装置１０３は、グラフィックスカードなどの機器によって実現される。一般的に、画像出力装置１０３は図示しないグラフィックスメモリを保持している。ＣＰＵ１０１上で実行されるプログラムによって生成された画像情報は、システムバス１０４を介して、画像出力装置１０３が保持するグラフィックスメモリに書き込まれる。画像出力装置１０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置２０１に送出する。グラフィックスメモリは必ずしも画像出力装置１０３が保持する必要はなく、ＲＡＭ１０２がグラフィックスメモリの機能を実現してもよい。
【００２１】
システムバス１０４は、演算処理部１００を構成する各機器が接続され、上記機器が相互に通信するための通信路である。
【００２２】
ディスク装置１０５は、ハードディスク等の補助記憶装置によって実現される。ディスク装置１０５は、画像処理プログラムのプログラムコードやプログラムの制御情報、仮想空間データ、センサ較正データなどを保持する。
【００２３】
入力装置１０６は、各種インタフェース機器によって実現される。演算処理部１００の外部に接続された機器からの信号をデータとして入力し、システムバス１０４を介して、ＲＡＭ１０２にデータを書き込む。また、入力装置１０６はキーボードやマウスなどの機器を備え、本装置のユーザ（使用者）からの操作入力を受け付ける。
【００２４】
画像入力装置１０７は、キャプチャカードなどの機器によって実現される。撮像装置２０２から送出される実写画像を入力し、システムバス１０４を介して、ＲＡＭ１０２に画像データを書き込む。なお、表示装置２０１に光学シースルー型の表示装置を用いる場合には、画像入力装置１０７は具備しなくてもよい。
【００２５】
頭部装着部２００は、本実施形態の画像処理装置を体験するために、本装置のユーザが頭部に装着するビデオシースルー型ＨＭＤなどによって実現される。頭部装着部２００は表示装置２０１、撮像装置２０２、センサ３０１から構成される。本実施形態では、頭部装着部２００を構成する装置をユーザが頭部に装着しているが、ユーザが複合現実感を体験できる形態であれば、頭部装着部２００は必ずしもユーザが装着する必要はない。
【００２６】
表示装置２０１は、ビデオシースルー型ＨＭＤに備えられるディスプレイによって実現される。表示装置２０１は画像出力装置１０３から送出される画像信号を表示し、本装置のユーザに複合現実感映像を提示するために用いられる。表示装置２０１は頭部装着部２００を構成する装置であるが、必ずしもユーザが装着する必要はない。ユーザが映像を確認することができる手段であれば、例えば表示装置２０１として据え置き型のディスプレイ装置を用いてもよいし、手持ち型のディスプレイを用いてもよい。
【００２７】
撮像装置２０２は、ＣＣＤカメラなどの１つ以上の撮像装置によって実現される。撮像装置２０２は本装置のユーザの視点から見た現実世界の実写画像を撮像するために用いられる。そのため、撮像装置２０２はユーザの頭部の中でも視点位置に近い場所に装着することが望ましいが、ユーザの視点から見た画像が取得できる手段であれば、これに限定されない。また、ハーフミラーやプリズムなどを用いて撮像装置２０２の光軸と、表示装置２０１の中心軸を一致させてもよい。
【００２８】
撮像装置２０２が撮像した実写画像は、（アナログ信号もしくはＩＥＥＥ１３９４規格のデジタル信号などからなる）画像信号として画像入力装置１０７に送出される。なお、表示装置２０１に光学シースルー型の表示装置を用いる場合には、本装置のユーザは表示装置２０１を通して現実世界を直接観察することになるため、撮像装置２０２は具備しなくてもよい。
【００２９】
センサ部３００は、例えば磁気センサなどの６自由度の位置姿勢計測装置によって実現され、本装置を利用するユーザの視点（センサ３０１）およびスタイラス３０２の位置・姿勢を計測し、演算処理部１００の入力装置１０６に送出する。センサ部３００は、センサ３０１、スタイラス３０２、センサ制御装置３０３から構成される。
【００３０】
センサ３０１は、センサ制御装置３０３の制御により、本装置のユーザの視点位置・姿勢を計測し、センサ制御装置３０３に送出する。（センサ３０１が存在する位置と、ユーザの視点位置とでは位置がずれている。しかし、ユーザは頭部装着部２００を頭部に装着しているため、センサ３０１の位置とユーザの視点位置との位置ずれ量（オフセット量）は一定である。
【００３１】
よって、あらかじめその位置ずれ量（オフセット量）を求めておけばよい。本明細書においては、説明のために位置ずれ量（オフセット量）の扱いを省略し、センサ３０１によって計測する位置姿勢と、ユーザの視点位置・姿勢とを同じものとして扱う。）また、センサ３０１は、ユーザが頭部に装着する頭部装着部２００、センサ部３００双方の構成要素である。
【００３２】
スタイラス３０２は、ペンに似た形状をしたデバイスであり、本装置のユーザが手に持って使用する。また、スタイラス３０２はセンサを備え、その位置・姿勢を計測することができる。図２はスタイラス３０２の形状および構成を示す図である。スタイラス３０２は、センサ制御装置３０３の制御により、先端部３０５の位置・姿勢を計測し、センサ制御装置３０３に送出する。
【００３３】
以後、本明細書では、スタイラスの先端部３０５の位置をスタイラス３０２の位置、スタイラスの軸が向いている方向をスタイラス３０２の姿勢と表記する。また、スタイラス３０２には押しボタンスイッチ３０４が１つ以上取り付けられている。押しボタンスイッチ３０４が押されたときには、その操作情報がセンサ制御装置３０３へ通知される。
【００３４】
センサ制御装置３０３は、センサ３０１、スタイラス３０２に制御命令を送出し、また、センサ３０１、スタイラス３０２から位置・姿勢計測値や、押しボタンスイッチ３０４の操作情報を取得する。センサ制御装置３０３は、取得したセンサ３０１、スタイラス３０２の位置・姿勢計測値を、センサ３０１、スタイラス３０２の位置姿勢情報として入力装置１０６に送出する。また、取得した押しボタンスイッチ３０４の操作情報を入力装置１０６に送出する。
【００３５】
現実モデル４０１は、ラピッド・プロトタイピング造形装置などを用いることによって３次元ＣＡＤデータから作成された現実物体である。なお本明細書においては、現実モデルのことを現実物体とも呼ぶ。
【００３６】
また、本実施形態の画像処理装置は、図示しないラピッド・プロトタイピング装置や３次元ＣＡＤシステムを含む。
【００３７】
以上のような構成を備えた本実施形態の制御について、以下説明する。図３は、本実施形態の画像処理装置の処理の流れを示す図である。なお、図３に従ったプログラムコードは、本実施形態の装置内のディスク装置１０５やＲＡＭ１０２などの記憶装置内に格納され、ＣＰＵ１０１により読み出され、実行される。
【００３８】
まず、３次元ＣＡＤのデータから現実モデル４０１と、仮想モデル／仮想指標描画データ１２２０とを作成する手順を図３（ａ）を用いて説明する。なお、図３（ａ）の処理は、図３（ｂ）の処理に備えてあらかじめ実行しておき、実行の際は、本実施形態の画像処理装置である図１の構成を利用してもよいし、それ以外の構成を利用してもよい。
【００３９】
通常、ユーザが３次元ＣＡＤシステム（１０１０）を使って形状やデザインなどの設計業務を行う場合、形状データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータ（１０２０）として保存されるのが一般的である。本実施形態においては、まず３次元ＣＡＤシステム１０１０を使って、３次元ＣＡＤソリッドデータ１０２０の表面に目印の形状データを付加し（１１１０）、その位置情報を記録する（１１２０）。（目印については、図４、図５の説明で詳しく述べる。）
目印は、３次元ＣＡＤシステム１０１０を利用して、３次元ＣＡＤソリッドデータ１０２０に形状データとして複数付加される。同時に、それぞれの形状データには、１から始まる個別の整数値のＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）を付加する。目印の形状データは、たとえばスタイラス３０２の先端部分をはめ込むことが可能な小さな穴形状（もしくはカギ形状や溝形状）で表すことができる。この目印形状は、現実モデル４０１の表面にその形状が反映されるのであれば、３次元ＣＡＤシステム１０１０のプラグイン機能によって付加することも可能であるし、３次元ＣＡＤシステム１０１０を利用して普通のＣＡＤオブジェクトデータとして付加することも可能である。
【００４０】
そして、目印を付加した３次元ＣＡＤソリッドデータ１０２０から、ラピッド・プロトタイピング装置を用いて現実モデル４０１を生成する（１１３０）。つまり、現実モデル４０１の表面には、（スタイラス３０２の先端をはめ込むことができる）小さな穴形状といった目印が複数付加されることになる。この穴形状の近くに、対応する形状データのＩＤ番号（１から始まる個別の整数値）を刻印してもよく、こうすることでユーザが穴形状の認識を容易に行うことができる。
【００４１】
一方、３次元ＣＡＤソリッドデータ１０２０は、各設計部品の幾何学的なパラメータの集合で表現されており、そのままでは一般的なＣＧ表示システムにおいて仮想モデル４０２として描画することはできない。そこで、３次元ＣＡＤソリッドデータ１０２０を一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１０）。同様に、１１１０で付加した目印形状についても、目印形状位置に対応した位置に仮想指標４０３として、一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１０）。
【００４２】
変換された仮想指標４０３それぞれは、対応する目印形状のＩＤ番号を含む。本実施形態では、このように変換された仮想モデル／仮想指標描画データ１２２０を利用して、仮想モデル４０２および仮想指標４０３を仮想空間中に描画する。
【００４３】
なお、この時点では、仮想空間中における仮想モデル４０２の位置・姿勢は適当に定めておき、仮想モデル／仮想指標描画データ１２２０に仮想モデルデータと共に保持しておく。（仮想指標４０３は、仮想モデル４０２の表面上にあるため、仮想モデル４０２の位置・姿勢が定められれば、仮想指標４０３の位置は一意に定まる。仮想指標４０３の位置についても仮想モデル／仮想指標描画データ１２２０に保持しておく。）
次に、複合現実感映像を出力する手順を図３（ｂ）を用いて説明する。
【００４４】
頭部装着部２００の構成要素であるセンサ３０１と、センサ制御装置３０３とを利用して、ユーザの視点位置・姿勢情報を計測する（２０１０）。この位置・姿勢情報は、入力装置１０６を通して演算処理部１００に取り込まれる。
【００４５】
ここで、対応点登録モード（２１１０）の処理について、図４の処理手順、および図５を用いて詳しく説明する。（対応点登録モードとは、仮想モデル上の位置に対応する現実モデル上の位置を測定し、測定結果と測定順番とを共に登録していくモードのことである。）
２１１０の処理は、ユーザが、キーボードやマウスやスタイラスボタンなどのデバイスを操作して、「対応点登録モード」を開始することで始まる。全ての仮想指標４０３それぞれには１から始まる個別の整数値でＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）が付けられており、対応点登録モードの開始と同時に仮想指標のＩＤ番号を指定する「ｋ」を１にリセットする（２１１１）。
【００４６】
対応点登録モードの開始と同時に、図５（ａ）に示すように、撮像装置２０２で撮影した現実映像と、仮想モデル４０２および仮想指標４０３とを表示装置２０１の画面に表示する（２１１２）。図５においては、現実映像の一部分にウィンドウを作り、適当な視点位置・視線方向を設定して描画した仮想モデル４０２および仮想指標４０３の映像をウィンドウの中に表示しているが、現実映像の一部分に仮想モデル４０２および仮想指標４０３とを直接表示してもよい。
【００４７】
このとき、仮想モデル４０２および仮想指標４０３を半透明表示したり、ワイアフレーム表示することで現実映像が完全に隠されることがないので容易に対応点登録モード処理を進めることができる。（なお、現実映像と仮想モデル表示の関係を逆にしてもよい。）また、図５では、現実映像中に現実モデル４０１が写るように撮像装置２０２（すなわち頭部装着部２００）を配置している。
【００４８】
２１１３ではまず仮想指標４０３のうちのＩＤ番号がｋ番目の仮想指標一つだけを、他の仮想指標と区別できるように点滅させるなど目立たせて表示する。図５（ｂ）には、仮想指標４０３のうちの一つを、他と区別できるように目立たせて表示している様子を示している。また、対応点登録モードにおいて仮想指標を目立たせて表示することは、その仮想指標位置に対応した現実モデル上の位置にスタイラス３０２の先端を合わせて、押しボタンスイッチ３０４を押すようユーザに指示していることを意味する。
【００４９】
このとき、ユーザに対して「点滅している仮想指標に対応する現実モデル位置にスタイラスの先端を合わせてスイッチを押してください。」という指示を、表示装置２０１の画面上に表示したり、音声で知らせてもよい。なお、２１１３では仮想指標一つを、他の仮想指標と区別できるように点滅させるなど目立たせて表示しているが、その仮想指標一つのみ表示してその他は表示させないようにしてもよい。
【００５０】
ユーザが押しボタンスイッチ３０４を押したことを検出すると（２１１４：Ｙ）、そのときのスタイラス先端部３０５の位置を測定し、測定結果と共に、仮想指標のＩＤ番号「ｋ」をＲＡＭ１０２もしくはディスク装置１０５に記録する（２１１５）。仮想指標のＩＤ番号は、１から始まる整数値であるので、「ｋ」は計測順番とも言うことができる。（このとき、先端部３０５に圧電素子などの圧力センサを設け、先端部３０５が現実モデル４０１の表面に接触したことを検知して、押しボタンスイッチ３０４が押されたこととしてもよい。）
ここで、仮想モデル４０２と現実モデル４０１とは同じデータから作成されており、同様に仮想指標４０３と現実モデル上の穴形状４０４とは同じデータから作成されているため、仮想指標４０３それぞれの位置に対応する現実モデル位置には穴形状４０４がそれぞれあることになる。よって、仮想指標４０３それぞれの位置に対応する現実モデル位置（穴形状）にスタイラスの先端部３０５をはめ込み固定することができるため、各対応点位置を正確に計測することができる。
【００５１】
２１１６では、押しボタンスイッチ３０４がｎ回押されたかどうか検出する。すなわちｎとｋが等しいかどうかを検出する。（ｎは、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数である。このｎについては、仮想指標が同一平面上に存在していなければ４点以上、もしくは計測順番を考慮すれば３点以上、もしくは視点位置から仮想指標位置までの距離を考慮すれば３点以上であれば、仮想モデルの位置・姿勢と現実モデルの位置・姿勢とを一致させることが一般的に知られている。）
もし、押しボタンスイッチ３０４がｎ回押された場合は、処理を図３の２２１０へ進ませる。しかし、もし押しボタンスイッチ３０４がｎ回押されていない場合は、２１１７でｋに１を加え、処理を２１１２に戻し、押しボタンスイッチがｎ回押されるまで繰り返し処理を行う。（図５（ｃ）・・・）
２２１０では、２０１０で計測した視点位置・姿勢情報と、２１１０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２０に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列を算出する。仮想モデルの変換行列は、２１１０で記録したスタイラス先端部３０５の位置それぞれと、対応する仮想指標の位置それぞれとが一致するように求めればよい。
【００５２】
仮想モデル４０２上の仮想指標をｐｋとし（ｋは仮想指標のＩＤ番号）、座標位置をｐｋ＝（ＸＫ，ＹＫ，ＺＫ，１）Ｔと表現する。また、ｐｋに対応して２１１０で計測した現実モデル４０１上の穴形状位置を、同様にｑｋ＝（ｘＫ，ｙＫ，ｚＫ，１）Ｔとする。また、ｐｋをｎ点分だけ並べた行列をＰ＝（ｐ１ｐ２・・・ｐｎ）とする。ここでｎは、
【００５３】
【数１】
（もしくは３）である。また同様に、Ｑ＝（ｑ１ｑ２・・・ｑｎ）とする。このとき、ＰとＱの関係をＱ＝ＭＰと記述できる。ここでＭは、点ｐｋをｑｋに変換する４行４列の仮想モデル変換行列である。すなわち、当初位置・姿勢を適当に設定した仮想モデル４０２に対してＭで表される仮想モデル変換行列を適用することで、仮想モデル４０２の位置・姿勢を、現実モデル４０１の位置・姿勢に一致させることができる。なお、このＭは、以下の式から求めることができる。
【００５４】
Ｍ＝Ｑ（ＰＴＰ）−１ＰＴ
（ここで（ＰＴＰ）−１ＰＴはＰの疑似逆行列を表す。）
一方、前記２０１０、２１１０、２２１０の処理と並行して、頭部装着部２００の構成要素である撮像装置２０２を用いて、現実空間の映像を、画像入力装置１０７を通して演算処理部１００に取り込む（３０１０）。さらに、３０１０で取り込んだ現実空間の映像データをビデオバッファなどのメモリに展開する（３０２０）。
【００５５】
２２２０では、２２１０で算出した仮想モデル変換行列Ｍと、仮想モデル／仮想指標描画データ１２２０に保持されている仮想モデルデータとをもとに、合成すべき仮想モデル映像をビデオバッファなどのメモリに展開する（２２２０）。
【００５６】
なお、この仮想モデル映像では、仮想モデル部分以外の画面領域は、背景を透過するようにしておくことが望ましい。また、３０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開し（３０２０）、２２２０で描画した仮想モデル映像を現実映像に重畳合成する（４０１０）。合成された映像は、画像出力装置１０３にてアナログなどのビデオ信号、もしくはデジタル信号などに変換され、頭部装着部２００の構成要素である表示装置２０１に表示される（４０２０）。
【００５７】
前記２０１０から４０２０までの処理（すなわち図３（ｂ）の処理）を、表示装置２０１における映像更新間隔、あるいは仮想モデル描画処理（２２２０）における生成更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。
【００５８】
なお、本実施例では、位置・姿勢を計測する手段として磁気を使った装置を例に説明したが、発明の本質としてはこれに限定されるものではなく、光学的な位置姿勢計測装置や、機械的な位置姿勢計測装置や、測量機など他の手段で実現できることはいうまでもない。
【００５９】
また、図１乃至図５に示されている各構成について、同じ符号を有する構成は同じ機能を実現するものであることは言うまでもない。
【００６０】
以上述べたように、本発明の第１の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。
【００６１】
（第２の実施形態）
画像処理装置の第２の実施形態におけるシステム構成は、図１乃至２に示す第１の実施形態におけるシステム構成と同じである。
【００６２】
以下では、本実施形態の制御について、図３乃至図５を用いて述べる。
【００６３】
図３の２２１０では、２０１０で計測した視点位置・姿勢情報と、２１１０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２０に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列Ｍを算出するが、仮想モデル変換行列Ｍを一意に求めることができない場合は、エラー状態として、表示装置２０１の画面上にエラー状態であることを表示したり、音声で知らせてもよい。
【００６４】
このエラーの原因としては、対応点登録モード２１１０において、仮想モデル４０２上の仮想指標４０３それぞれと、現実モデル４０１上の穴形状それぞれの対応がきちんと取れていないことが考えられる。すなわち、図４の２１１３〜２１１４の処理のときに、指示された仮想指標の対応位置とは異なる現実モデル位置でスタイラス先端部３０５の位置を計測したことが考えられる。
【００６５】
よって、２２１０の処理においてエラー状態であることが判明した場合は、処理を２１１０に戻し、対応点登録モード２１１０をやり直すなどの対処を行うことが望ましい。
【００６６】
また、図３乃至図５に示されている各構成について、その他の符号を有する構成は、第１実施形態と同じ機能を実現するものである。
【００６７】
以上述べたように、本発明の第２の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。さらに、仮想モデル変換行列を一意に求めることができない場合は、エラー状態として、対応点登録処理をやり直すことで容易に対処することが可能となる。
【００６８】
（第３の実施形態）
画像処理装置の第３の実施形態におけるシステム構成は、図１乃至２に示す第１の実施形態における概略システム構成と同じである。
【００６９】
以下では、本実施形態の制御について、図３乃至図５を用いて述べる。
【００７０】
図３の２２１０では、２０１０で計測した視点位置・姿勢情報と、２１１０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２０に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列Ｍを算出する。仮想モデル変換行列Ｍは、２１１０で記録したスタイラス先端部３０５の位置それぞれと、対応する仮想指標の位置それぞれとが一致するように求めればよい。
【００７１】
第１の実施形態の２１１０では、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数ｎとして、４点もしくは３点を指定していたが、これは仮想モデル上の仮想指標それぞれと、現実モデル上の穴形状それぞれとの対応位置が一致していることが前提である。しかし、実際には、現実モデルを作成する際のラピッド・プロトタイピング装置の精度誤差により、対応位置が多少ずれることがある。
【００７２】
そこで、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数ｎとして、５点以上を指定して、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムのような手法を利用して、繰り返し演算によって数値解析的に変換パラメータを求めてもよい。
【００７３】
なお、ＩＣＰアルゴリズムとは、事前の対応づけを与えることなしに変換パラメータを求める手法である。仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させる場合、まず、仮想モデル上の仮想指標それぞれについて、対応する現実モデル上の穴形状それぞれに「最も近い点」へ対応づけることで、仮の対応づけを行う。そして、その対応づけを利用して変換パラメータ推定を行う。
【００７４】
次に、その変換パラメータで仮想モデルを変換し、再度、最近点で対応づけをやり直す、というような処理を繰り返し、変換パラメータを推定する。ＩＣＰアルゴリズムのような繰り返し演算による数値解析的な手法は、仮想モデルと現実モデルとのそれぞれの対応点位置が、ラピッド・プロトタイピング装置の精度誤差などによって多少ずれている場合に有効である。
【００７５】
また、図３乃至図５に示されている各構成について、その他の符号を有する構成は、第１実施形態と同じ機能を実現するものである。
【００７６】
以上述べたように、本発明の第３の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。さらに、仮想モデルと現実モデルとのそれぞれの対応点位置が、ラピッド・プロトタイピング装置の精度誤差などによって多少ずれている場合に有効である。
【００７７】
（第４の実施形態）
第４の実施形態におけるシステム構成は、図１乃至２に示す第１の実施形態における概略システム構成と同じである。ただし、現実モデル４０１の代わりに現実モデル４０１’を用い、仮想モデル４０２の代わりに仮想モデル４０２’を用い、仮想指標４０３の代わりに仮想指標４０３’を用いる。
【００７８】
以下では、本実施形態の制御について、図６乃至図８を用いて述べる。図６は、本実施形態の画像処理装置の処理の流れを示す図である。なお、図６に従ったプログラムコードは、本実施形態の装置内のディスク装置１０５やＲＡＭ１０２などの記憶装置内に格納され、ＣＰＵ１０１により読み出され、実行される。
【００７９】
まず、３次元ＣＡＤのデータから現実モデル４０１’と、仮想モデル／仮想指標描画データ１２２１とを作成する手順を図６（ａ）を用いて説明する。なお、図６（ａ）の処理は、図６（ｂ）の処理に備えてあらかじめ実行しておき、実行の際は、本実施形態の画像処理装置である図１の構成を利用してもよいし、それ以外の構成を利用してもよい。
【００８０】
通常、ユーザが３次元ＣＡＤシステム（１０１１）を使って形状やデザインなどの設計業務を行う場合、形状データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータ（１０２１）として保存されるのが一般的である。本実施形態においては、まず３次元ＣＡＤシステム１０１１を使って、３次元ＣＡＤソリッドデータ１０２１の表面に目印の形状データを付加し（１１１１）、その位置情報を記録する（１１２１）。（目印については、図７、図８の説明で詳しく述べる。）目印の形状データは、３次元ＣＡＤシステム１０１１を利用して、３次元ＣＡＤソリッドデータ１０２１に形状データとして複数付加される。同時に、それぞれの形状データには、１から始まる個別の整数値のＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）を付加する。３次元ＣＡＤソリッドデータ１０２１に付加する目印の形状データは、３次元ＣＡＤソリッドデータ１０２１から現実モデル４０１’を生成したときに、スタイラス３０２の先端部分を一意に当てやすい特徴部分、例えば凸部分や凹部分といった角部分に付加するのが望ましい。（目印形状データの付加処理では、ユーザが手作業で任意の位置に付加してもよいし、３次元ＣＡＤソリッドデータ１０２１のうち、特徴部分を所定のアルゴリズムによって自動検出して付加してもよい。）この目印形状データは、３次元ＣＡＤシステム１０１１のプラグイン機能によって付加することも可能であるし、３次元ＣＡＤシステム１０１１を利用して普通のＣＡＤオブジェクトデータとして付加することも可能である。そして、３次元ＣＡＤソリッドデータ１０２１から、ラピッド・プロトタイピング装置を用いて現実モデル４０１’を生成する（１１３１）。ここで本実施形態においては、目印形状データを３次元ＣＡＤソリッドデータ１０２１とは別のデータとして管理しておき、現実モデル４０１’を生成する際には、表面に目印形状データを反映させない。すなわち第１〜３実施例とは異なり、小さな穴形状といった目印が付加されないため、３次元ＣＡＤソリッドデータ１０２１そのままの現実モデルが生成される。
【００８１】
一方、３次元ＣＡＤソリッドデータ１０２１は、各設計部品の幾何学的なパラメータの集合で表現されており、そのままでは一般的なＣＧ表示システムにおいて仮想モデル４０２’として描画することはできない。そこで、３次元ＣＡＤソリッドデータ１０２１を一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１１）。同様に、１１１１で付加した目印形状についても、目印形状位置に対応した位置に仮想指標４０３’として、一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１１）。変換された仮想指標４０３’それぞれは、対応する目印形状のＩＤ番号を含む。本実施形態では、このように変換された仮想モデル／仮想指標描画データ１２２１を利用して、仮想モデル４０２’および仮想指標４０３’を仮想空間中に描画する。なお、この時点では、仮想空間中における仮想モデル４０２’の位置・姿勢は適当に定めておき、仮想モデル／仮想指標描画データ１２２１に仮想モデルデータと共に保持しておく。（仮想指標４０３’は、仮想モデル４０２’の表面上にあるため、仮想モデル４０２’の位置・姿勢が定められれば、仮想指標４０３’の位置は一意に定まる。仮想指標４０３’の位置についても仮想モデル／仮想指標描画データ１２２１に保持しておく。）
次に、複合現実感映像を出力する手順を図６（ｂ）を用いて説明する。
【００８２】
頭部装着部２００の構成要素であるセンサ３０１と、センサ制御装置３０３とを利用して、ユーザの視点位置・姿勢情報を計測する（２０１１）。この位置・姿勢情報は、入力装置１０６を通して演算処理部１００に取り込まれる。
【００８３】
ここで、対応点登録モード（２１２０）の処理について、図７の処理手順、および図８を用いて詳しく説明する。（対応点登録モードとは、仮想モデル上の位置に対応する現実モデル上の位置を測定し、測定結果と測定順番とを共に登録していくモードのことである。）
２１２０の処理は、ユーザが、キーボードやマウスやスタイラスボタンなどのデバイスを操作して、「対応点登録モード」を開始することで始まる。全ての仮想指標４０３’それぞれには１から始まる個別の整数値でＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）が付けられており、対応点登録モードの開始と同時に仮想指標のＩＤ番号を指定する「ｋ」を１にリセットする（２１２１）。対応点登録モードの開始と同時に、図８（ａ）に示すように、撮像装置２０２で撮影した現実映像と、仮想モデル４０２’および仮想指標４０３’とを表示装置２０１の画面に表示する（２１２２）。図８においては、現実映像の一部分にウィンドウを作り、適当な視点位置・視線方向を設定して描画した仮想モデル４０２’および仮想指標４０３’の映像をウィンドウの中に表示しているが、現実映像の一部分に仮想モデル４０２’および仮想指標４０３’とを直接表示してもよい。このとき、仮想モデル４０２’および仮想指標４０３’を半透明表示したり、ワイアフレーム表示することで現実映像が完全に隠されることがないので容易に対応点登録モード処理を進めることができる。（なお、現実映像と仮想モデル表示の関係を逆にしてもよい。）また、図８では、現実映像中に現実モデル４０１’が写るように撮像装置２０２（すなわち頭部装着部２００）を配置している。
【００８４】
２１２３ではまず仮想指標４０３’のうちのＩＤ番号がｋ番目の仮想指標一つだけを、他の仮想指標と区別できるように点滅させるなど目立たせて表示する。図８（ｂ）には、仮想指標４０３’のうちの一つを、他と区別できるように目立たせて表示している様子を示している。また、対応点登録モードにおいて仮想指標を目立たせて表示することは、その仮想指標位置に対応した現実モデル上の位置にスタイラス３０２の先端を合わせて、押しボタンスイッチ３０４を押すようユーザに指示していることを意味する。このとき、ユーザに対して「点滅している仮想指標に対応する現実モデル位置にスタイラスの先端を合わせてスイッチを押してください。」という指示を、表示装置２０１の画面上に表示したり、音声で知らせてもよい。なお、２１２３では仮想指標一つを、他の仮想指標と区別できるように点滅させるなど目立たせて表示しているが、その仮想指標一つのみ表示してその他は表示させないようにしてもよい。ユーザが押しボタンスイッチ３０４を押したことを検出すると（２１２４：Ｙ）、そのときのスタイラス先端部３０５の位置を測定し、測定結果と共に、仮想指標のＩＤ番号「ｋ」をＲＡＭ１０２もしくはディスク装置１０５に記録する（２１２５）。仮想指標のＩＤ番号は、１から始まる整数値であるので、「ｋ」は計測順番とも言うことができる。（このとき、先端部３０５に圧電素子などの圧力センサを設け、先端部３０５が現実モデル４０１’の表面に接触したことを検知して、押しボタンスイッチ３０４が押されたこととしてもよい。）ここで、仮想モデル４０２’と現実モデル４０１’とは同じデータから作成されており、また、仮想モデル４０２’上における仮想指標４０３’は、対応する現実モデル上においてスタイラス３０２の先端部分を一意に当てやすい特徴部分、例えば凸部分や凹部分といった角部分に配置されている。よって、仮想指標４０３’それぞれの位置に対応する現実モデル位置にスタイラスの先端部３０５を当てやすく、各対応点位置を正確に計測することができる。
【００８５】
２１２６では、押しボタンスイッチ３０４がｎ回押されたかどうか検出する。すなわちｎとｋが等しいかどうかを検出する。（ｎは、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数である。このｎについては、仮想指標が同一平面上に存在していなければ４点以上、もしくは計測順番を考慮すれば３点以上、もしくは視点位置から仮想指標位置までの距離を考慮すれば３点以上であれば、仮想モデルの位置・姿勢と現実モデルの位置・姿勢とを一致させることが一般的に知られている。）もし、押しボタンスイッチ３０４がｎ回押された場合は、処理を図６の２２１１へ進ませる。しかし、もし押しボタンスイッチ３０４がｎ回押されていない場合は、２１２７でｋに１を加え、処理を２１２２に戻し、押しボタンスイッチがｎ回押されるまで繰り返し処理を行う。（図８（ｃ）・・・）
２２１１では、２０１１で計測した視点位置・姿勢情報と、２１２０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２１に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列を算出する。仮想モデルの変換行列は、２１２０で記録したスタイラス先端部３０５の位置それぞれと、対応する仮想指標の位置それぞれとが一致するように求めればよい。
【００８６】
仮想モデル４０２’上の仮想指標をｐｋとし（ｋは仮想指標のＩＤ番号）、座標位置をｐｋ＝（Ｘｋ，Ｙｋ，Ｚｋ，１）Ｔと表現する。また、ｐｋに対応して２１２０で計測した現実モデル４０１’上の位置を、同様にｑｋ＝（ｘｋ，ｙｋ，ｚｋ，１）Ｔとする。また、ｐｋをｎ点分だけ並べた行列をＰ＝（ｐ１ｐ２・・・ｐｎ）とする。ここでｎは、
【００８７】
【数２】
（もしくは３）である。また同様に、Ｑ＝（ｑ１ｑ２・・・ｑｎ）とする。このとき、ＰとＱの関係をＱ＝ＭＰと記述できる。ここでＭは、点ｐｋをｑｋに変換する４行４列の仮想モデル変換行列である。すなわち、当初位置・姿勢を適当に設定した仮想モデル４０２’に対してＭで表される仮想モデル変換行列を適用することで、仮想モデル４０２’の位置・姿勢を、現実モデル４０１’の位置・姿勢に一致させることができる。なお、このＭは、以下の式から求めることができる。
【００８８】
Ｍ＝Ｑ（ＰＴＰ）−１ＰＴ
（ここで（ＰＴＰ）−１ＰＴはＰの疑似逆行列を表す。）
一方、前記２０１１、２１２０、２２１１の処理と並行して、頭部装着部２００の構成要素である撮像装置２０２を用いて、現実空間の映像を、画像入力装置１０７を通して演算処理部１００に取り込む（３０１１）。さらに、３０１１で取り込んだ現実空間の映像データをビデオバッファなどのメモリに展開する（３０２１）。
【００８９】
２２２１では、２２１１で算出した仮想モデル変換行列Ｍと、仮想モデル／仮想指標描画データ１２２１に保持されている仮想モデルデータとをもとに、合成すべき仮想モデル映像をビデオバッファなどのメモリに展開する（２２２１）。なお、この仮想モデル映像では、仮想モデル部分以外の画面領域は、背景を透過するようにしておくことが望ましい。また、３０１１で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開し（３０２１）、２２２１で描画した仮想モデル映像を現実映像に重畳合成する（４０１１）。合成された映像は、画像出力装置１０３にてアナログなどのビデオ信号、もしくはデジタル信号などに変換され、頭部装着部２００の構成要素である表示装置２０１に表示される（４０２１）。
【００９０】
前記２０１１から４０２１までの処理（すなわち図６（ｂ）の処理）を、表示装置２０１における映像更新間隔、あるいは仮想モデル描画処理（２２２１）における生成更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。
【００９１】
なお、本実施例では、位置・姿勢を計測する手段として磁気を使った装置を例に説明したが、発明の本質としてはこれに限定されるものではなく、光学的な位置姿勢計測装置や、機械的な位置姿勢計測装置や、測量機など他の手段で実現できることはいうまでもない。
【００９２】
また、図６乃至図８に示されている各構成について、その他の符号を有する構成は、第１実施形態と同じ機能を実現するものである。
【００９３】
以上述べたように、第４の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。本実施形態においては、現実モデル上に目印形状データが反映されないので、３次元ＣＡＤソリッドデータそのままの現実モデルを利用することができる。
【００９４】
（その他の実施形態）
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００９７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９９】
【図１】画像処理装置の構成を示すブロック図である。
【図２】画像処理装置のスタイラスを説明するための図である。
【図３】画像処理装置の処理手順を説明するためのフローチャートである。
【図４】画像処理装置の処理手順２１１０を説明するためのフローチャートである。
【図５】対応点登録モードを説明するための図である。
【図６】第４実施形態における画像処理装置の処理手順を説明するためのフローチャートである。
【図７】第４実施形態における画像処理装置の処理手順２１２０を説明するためのフローチャートである。
【図８】第４実施形態における対応点登録モードを説明するための図である。
【技術分野】
【０００１】
現実物体に合成する仮想物体の位置姿勢を調整するものに関する。
【背景技術】
【０００２】
現実空間と仮想空間とを違和感なく自然に合成する複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用したシステムが盛んに提案されている。これらの複合現実感システムは、カメラなどの撮像装置によって撮影した現実空間の映像に対し、コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想空間の映像を合成し、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの表示装置に表示することで、複合現実感映像をシステムのユーザ（使用者）に提示するものである。
【０００３】
また近年、３次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）技術やラピッド・プロトタイピング技術の発達により、コンピュータ上の３次元ＣＡＤシステムで作成した形状モデルデータから、現実物体のモックアップを比較的短時間で、自動的に作成できるようになっている。
【０００４】
しかし、ラピッド・プロトタイピング造形装置で作成した現実のモックアップモデル（以下、現実モデルと表記する）は、形状こそ３次元ＣＡＤシステムで作成した形状モデル（以下、仮想モデルと表記する）と同一であるが、材質については、造形に用いる素材に制約される。そのため、この現実モデルでは、色や質感、模様などの特性については、仮想モデルの特性を反映していない。そこで、複合現実感システムを用いて、現実モデルの元となる仮想モデルをＣＧで描画し、現実モデルに重畳してユーザに合成表示することによって、従来のラピッド・プロトタイピング技術では実現できなかった、色や質感、模様などの特性に関するデザインの検証までも行えるようになってきた。
【０００５】
このようなシステムにおいては、仮想空間中の仮想モデルを、現実空間中に存在する現実モデルに正確に一致させた状態で表示することが要求される。この場合、３次元ＣＡＤシステムで作成した仮想モデルから現実モデルが作成されるため、形状・大きさについて、両モデルは同一であると言える。しかし、複合現実感技術において、両モデルの位置・姿勢を一致させるためには、現実空間と仮想空間との整合を正確に行うことに加え、現実モデルが存在する現実空間中での現実モデルの位置・姿勢と、仮想空間中での仮想モデルの位置・姿勢とを正確に一致させなければならない。すなわち、まず、現実空間の座標系と仮想空間の座標系を完全に一致させ、その後に、現実モデルと仮想モデルが存在する座標を一致させる必要がある。
【０００６】
前者については、従来から多くの取り組みが行われており、現実空間と仮想空間とを正確に整合させるための位置合わせを実現するための方法が提案されている。（特許文献１および２参照）
後者については、従来、現実モデルの位置・姿勢をあらかじめ何らかの方法で測定し、仮想モデルを配置する位置・姿勢にもその測定値を設定することが行われてきた。
【０００７】
現実モデルの位置・姿勢を測定する方法には、磁気を利用して３次元位置姿勢を計測する磁気センサなどの位置姿勢計測装置を用いる方法や、現実モデルに３次元位置が既知であるマーカを複数貼り、カメラなどの撮像装置で現実モデルを撮影した画像から、画像処理によりマーカを抽出して、マーカが抽出されたマーカの画像座標とマーカの３次元位置との対応から現実モデルの位置・姿勢を算出する方法が知られている。
【特許文献１】特開２００２−２２９７３０号公報
【特許文献２】特開２００３−２６９９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、センサは一般的に高価なデバイスであり、製作するシステムにかけることができる費用が制限されている場合は、必要以上の数のセンサを使用することが難しいことがあり、改善が求められていた。また、現実モデルのサイズによっては、現実モデルに磁気センサなどの３次元位置姿勢センサを取り付けることが難しいことがあり、改善が求められていた。
【０００９】
一方、デザインの検証を行う際は、現実空間の環境照明条件を様々に変えて検証を行うことがあり、環境照明条件によっては現実モデルに貼ったマーカの色を安定的に抽出することが難しい場合があり、改善が求められていた。また、システムをショールームに設置する場合は、ショールームの景観を損ねないために、現実モデルに特殊な色や形状のマーカを貼ることが難しいことがあり、改善が求められていた。
【００１０】
以上のように現実モデルの位置・姿勢を直接測定することが困難である場合には、逆に、仮想モデルの位置・姿勢をあらかじめ規定しておき、現実モデルの位置・姿勢を仮想モデルの位置・姿勢に一致するように設置する方法が採られる。しかし、この方法においても、配置した現実モデルの位置・姿勢に誤差が生じることが多い。そのため、現実モデルを大まかに配置した後で、仮想モデルの位置・姿勢を手作業で試行錯誤的に微調整することによって、最終的に現実モデルの位置・姿勢と、仮想モデルの位置・姿勢とを一致させる。
【００１１】
しかし、一般的な複合現実感システムでは、仮想空間の画像は、現実空間の画像の上に重畳して表示される。そのため、システムのユーザには、常に現実モデルの手前に仮想モデルが存在するように観測され、現実モデルと仮想モデルとの間の位置関係を把握することは困難である。とりわけ、仮想モデルの位置・姿勢を微調整するためには、両者の正確な位置・姿勢関係を把握する必要があるため、改善が求められていた。
【００１２】
本発明は、現実モデルと仮想モデルの位置・姿勢を正確に一致するように、仮想モデルの位置・姿勢を簡便に調整できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、現実物体に合成する仮想物体の位置姿勢を調整する情報処理方法であって、仮想物体に設定された仮想指標の位置情報を取得し、
仮想指標の位置をユーザに報知し、ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得し、
前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定することを特徴とする。
【発明の効果】
【００１４】
以上述べたように、本発明によれば、現実物体と仮想物体の位置・姿勢を簡単な調整により一致させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１６】
（第１の実施形態）
図１は第１の実施形態における概略システム構成を示すブロック図である。
【００１７】
図１において、演算処理部１００は、コンピュータなどの計算機から構成される。演算処理部１００はその内部にＣＰＵ１０１、ＲＡＭ１０２、画像出力装置１０３、システムバス１０４、ディスク装置１０５、入力装置１０６、画像入力装置１０７を備える。
【００１８】
ＣＰＵ１０１は、画像処理プログラムに基づき、画像処理方法を制御する。ＣＰＵ１０１はシステムバス１０４に接続され、ＲＡＭ１０２、画像出力装置１０３、ディスク装置１０５、入力装置１０６、画像入力装置１０７と相互に通信することが可能である。
【００１９】
ＲＡＭ１０２は、メモリ等の主記憶装置によって実現される。ＲＡＭ１０２は、システムバス１０４を介して、画像処理プログラムのプログラムコードやプログラムの制御情報、画像入力装置１０７から入力した実写画像データのほか、ＣＧモデルや配置情報などの仮想空間データ、センサ計測値、センサ較正データ等の各種データを一時的に保持する。（ＲＡＭ１０２は、図示しないビデオバッファを備え、画像データはビデオバッファに保持される。）仮想空間データには、仮想モデル４０２や仮想指標４０３のＣＧモデルと、仮想モデル４０２や仮想指標４０３が仮想空間内に配置される位置・姿勢情報と、などが含まれる。仮想モデル４０２、仮想指標４０３については、図４、図５の説明で詳しく述べる。なお、本明細書においては、仮想モデルのことを仮想物体とも呼ぶ。
【００２０】
画像出力装置１０３は、グラフィックスカードなどの機器によって実現される。一般的に、画像出力装置１０３は図示しないグラフィックスメモリを保持している。ＣＰＵ１０１上で実行されるプログラムによって生成された画像情報は、システムバス１０４を介して、画像出力装置１０３が保持するグラフィックスメモリに書き込まれる。画像出力装置１０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置２０１に送出する。グラフィックスメモリは必ずしも画像出力装置１０３が保持する必要はなく、ＲＡＭ１０２がグラフィックスメモリの機能を実現してもよい。
【００２１】
システムバス１０４は、演算処理部１００を構成する各機器が接続され、上記機器が相互に通信するための通信路である。
【００２２】
ディスク装置１０５は、ハードディスク等の補助記憶装置によって実現される。ディスク装置１０５は、画像処理プログラムのプログラムコードやプログラムの制御情報、仮想空間データ、センサ較正データなどを保持する。
【００２３】
入力装置１０６は、各種インタフェース機器によって実現される。演算処理部１００の外部に接続された機器からの信号をデータとして入力し、システムバス１０４を介して、ＲＡＭ１０２にデータを書き込む。また、入力装置１０６はキーボードやマウスなどの機器を備え、本装置のユーザ（使用者）からの操作入力を受け付ける。
【００２４】
画像入力装置１０７は、キャプチャカードなどの機器によって実現される。撮像装置２０２から送出される実写画像を入力し、システムバス１０４を介して、ＲＡＭ１０２に画像データを書き込む。なお、表示装置２０１に光学シースルー型の表示装置を用いる場合には、画像入力装置１０７は具備しなくてもよい。
【００２５】
頭部装着部２００は、本実施形態の画像処理装置を体験するために、本装置のユーザが頭部に装着するビデオシースルー型ＨＭＤなどによって実現される。頭部装着部２００は表示装置２０１、撮像装置２０２、センサ３０１から構成される。本実施形態では、頭部装着部２００を構成する装置をユーザが頭部に装着しているが、ユーザが複合現実感を体験できる形態であれば、頭部装着部２００は必ずしもユーザが装着する必要はない。
【００２６】
表示装置２０１は、ビデオシースルー型ＨＭＤに備えられるディスプレイによって実現される。表示装置２０１は画像出力装置１０３から送出される画像信号を表示し、本装置のユーザに複合現実感映像を提示するために用いられる。表示装置２０１は頭部装着部２００を構成する装置であるが、必ずしもユーザが装着する必要はない。ユーザが映像を確認することができる手段であれば、例えば表示装置２０１として据え置き型のディスプレイ装置を用いてもよいし、手持ち型のディスプレイを用いてもよい。
【００２７】
撮像装置２０２は、ＣＣＤカメラなどの１つ以上の撮像装置によって実現される。撮像装置２０２は本装置のユーザの視点から見た現実世界の実写画像を撮像するために用いられる。そのため、撮像装置２０２はユーザの頭部の中でも視点位置に近い場所に装着することが望ましいが、ユーザの視点から見た画像が取得できる手段であれば、これに限定されない。また、ハーフミラーやプリズムなどを用いて撮像装置２０２の光軸と、表示装置２０１の中心軸を一致させてもよい。
【００２８】
撮像装置２０２が撮像した実写画像は、（アナログ信号もしくはＩＥＥＥ１３９４規格のデジタル信号などからなる）画像信号として画像入力装置１０７に送出される。なお、表示装置２０１に光学シースルー型の表示装置を用いる場合には、本装置のユーザは表示装置２０１を通して現実世界を直接観察することになるため、撮像装置２０２は具備しなくてもよい。
【００２９】
センサ部３００は、例えば磁気センサなどの６自由度の位置姿勢計測装置によって実現され、本装置を利用するユーザの視点（センサ３０１）およびスタイラス３０２の位置・姿勢を計測し、演算処理部１００の入力装置１０６に送出する。センサ部３００は、センサ３０１、スタイラス３０２、センサ制御装置３０３から構成される。
【００３０】
センサ３０１は、センサ制御装置３０３の制御により、本装置のユーザの視点位置・姿勢を計測し、センサ制御装置３０３に送出する。（センサ３０１が存在する位置と、ユーザの視点位置とでは位置がずれている。しかし、ユーザは頭部装着部２００を頭部に装着しているため、センサ３０１の位置とユーザの視点位置との位置ずれ量（オフセット量）は一定である。
【００３１】
よって、あらかじめその位置ずれ量（オフセット量）を求めておけばよい。本明細書においては、説明のために位置ずれ量（オフセット量）の扱いを省略し、センサ３０１によって計測する位置姿勢と、ユーザの視点位置・姿勢とを同じものとして扱う。）また、センサ３０１は、ユーザが頭部に装着する頭部装着部２００、センサ部３００双方の構成要素である。
【００３２】
スタイラス３０２は、ペンに似た形状をしたデバイスであり、本装置のユーザが手に持って使用する。また、スタイラス３０２はセンサを備え、その位置・姿勢を計測することができる。図２はスタイラス３０２の形状および構成を示す図である。スタイラス３０２は、センサ制御装置３０３の制御により、先端部３０５の位置・姿勢を計測し、センサ制御装置３０３に送出する。
【００３３】
以後、本明細書では、スタイラスの先端部３０５の位置をスタイラス３０２の位置、スタイラスの軸が向いている方向をスタイラス３０２の姿勢と表記する。また、スタイラス３０２には押しボタンスイッチ３０４が１つ以上取り付けられている。押しボタンスイッチ３０４が押されたときには、その操作情報がセンサ制御装置３０３へ通知される。
【００３４】
センサ制御装置３０３は、センサ３０１、スタイラス３０２に制御命令を送出し、また、センサ３０１、スタイラス３０２から位置・姿勢計測値や、押しボタンスイッチ３０４の操作情報を取得する。センサ制御装置３０３は、取得したセンサ３０１、スタイラス３０２の位置・姿勢計測値を、センサ３０１、スタイラス３０２の位置姿勢情報として入力装置１０６に送出する。また、取得した押しボタンスイッチ３０４の操作情報を入力装置１０６に送出する。
【００３５】
現実モデル４０１は、ラピッド・プロトタイピング造形装置などを用いることによって３次元ＣＡＤデータから作成された現実物体である。なお本明細書においては、現実モデルのことを現実物体とも呼ぶ。
【００３６】
また、本実施形態の画像処理装置は、図示しないラピッド・プロトタイピング装置や３次元ＣＡＤシステムを含む。
【００３７】
以上のような構成を備えた本実施形態の制御について、以下説明する。図３は、本実施形態の画像処理装置の処理の流れを示す図である。なお、図３に従ったプログラムコードは、本実施形態の装置内のディスク装置１０５やＲＡＭ１０２などの記憶装置内に格納され、ＣＰＵ１０１により読み出され、実行される。
【００３８】
まず、３次元ＣＡＤのデータから現実モデル４０１と、仮想モデル／仮想指標描画データ１２２０とを作成する手順を図３（ａ）を用いて説明する。なお、図３（ａ）の処理は、図３（ｂ）の処理に備えてあらかじめ実行しておき、実行の際は、本実施形態の画像処理装置である図１の構成を利用してもよいし、それ以外の構成を利用してもよい。
【００３９】
通常、ユーザが３次元ＣＡＤシステム（１０１０）を使って形状やデザインなどの設計業務を行う場合、形状データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータ（１０２０）として保存されるのが一般的である。本実施形態においては、まず３次元ＣＡＤシステム１０１０を使って、３次元ＣＡＤソリッドデータ１０２０の表面に目印の形状データを付加し（１１１０）、その位置情報を記録する（１１２０）。（目印については、図４、図５の説明で詳しく述べる。）
目印は、３次元ＣＡＤシステム１０１０を利用して、３次元ＣＡＤソリッドデータ１０２０に形状データとして複数付加される。同時に、それぞれの形状データには、１から始まる個別の整数値のＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）を付加する。目印の形状データは、たとえばスタイラス３０２の先端部分をはめ込むことが可能な小さな穴形状（もしくはカギ形状や溝形状）で表すことができる。この目印形状は、現実モデル４０１の表面にその形状が反映されるのであれば、３次元ＣＡＤシステム１０１０のプラグイン機能によって付加することも可能であるし、３次元ＣＡＤシステム１０１０を利用して普通のＣＡＤオブジェクトデータとして付加することも可能である。
【００４０】
そして、目印を付加した３次元ＣＡＤソリッドデータ１０２０から、ラピッド・プロトタイピング装置を用いて現実モデル４０１を生成する（１１３０）。つまり、現実モデル４０１の表面には、（スタイラス３０２の先端をはめ込むことができる）小さな穴形状といった目印が複数付加されることになる。この穴形状の近くに、対応する形状データのＩＤ番号（１から始まる個別の整数値）を刻印してもよく、こうすることでユーザが穴形状の認識を容易に行うことができる。
【００４１】
一方、３次元ＣＡＤソリッドデータ１０２０は、各設計部品の幾何学的なパラメータの集合で表現されており、そのままでは一般的なＣＧ表示システムにおいて仮想モデル４０２として描画することはできない。そこで、３次元ＣＡＤソリッドデータ１０２０を一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１０）。同様に、１１１０で付加した目印形状についても、目印形状位置に対応した位置に仮想指標４０３として、一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１０）。
【００４２】
変換された仮想指標４０３それぞれは、対応する目印形状のＩＤ番号を含む。本実施形態では、このように変換された仮想モデル／仮想指標描画データ１２２０を利用して、仮想モデル４０２および仮想指標４０３を仮想空間中に描画する。
【００４３】
なお、この時点では、仮想空間中における仮想モデル４０２の位置・姿勢は適当に定めておき、仮想モデル／仮想指標描画データ１２２０に仮想モデルデータと共に保持しておく。（仮想指標４０３は、仮想モデル４０２の表面上にあるため、仮想モデル４０２の位置・姿勢が定められれば、仮想指標４０３の位置は一意に定まる。仮想指標４０３の位置についても仮想モデル／仮想指標描画データ１２２０に保持しておく。）
次に、複合現実感映像を出力する手順を図３（ｂ）を用いて説明する。
【００４４】
頭部装着部２００の構成要素であるセンサ３０１と、センサ制御装置３０３とを利用して、ユーザの視点位置・姿勢情報を計測する（２０１０）。この位置・姿勢情報は、入力装置１０６を通して演算処理部１００に取り込まれる。
【００４５】
ここで、対応点登録モード（２１１０）の処理について、図４の処理手順、および図５を用いて詳しく説明する。（対応点登録モードとは、仮想モデル上の位置に対応する現実モデル上の位置を測定し、測定結果と測定順番とを共に登録していくモードのことである。）
２１１０の処理は、ユーザが、キーボードやマウスやスタイラスボタンなどのデバイスを操作して、「対応点登録モード」を開始することで始まる。全ての仮想指標４０３それぞれには１から始まる個別の整数値でＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）が付けられており、対応点登録モードの開始と同時に仮想指標のＩＤ番号を指定する「ｋ」を１にリセットする（２１１１）。
【００４６】
対応点登録モードの開始と同時に、図５（ａ）に示すように、撮像装置２０２で撮影した現実映像と、仮想モデル４０２および仮想指標４０３とを表示装置２０１の画面に表示する（２１１２）。図５においては、現実映像の一部分にウィンドウを作り、適当な視点位置・視線方向を設定して描画した仮想モデル４０２および仮想指標４０３の映像をウィンドウの中に表示しているが、現実映像の一部分に仮想モデル４０２および仮想指標４０３とを直接表示してもよい。
【００４７】
このとき、仮想モデル４０２および仮想指標４０３を半透明表示したり、ワイアフレーム表示することで現実映像が完全に隠されることがないので容易に対応点登録モード処理を進めることができる。（なお、現実映像と仮想モデル表示の関係を逆にしてもよい。）また、図５では、現実映像中に現実モデル４０１が写るように撮像装置２０２（すなわち頭部装着部２００）を配置している。
【００４８】
２１１３ではまず仮想指標４０３のうちのＩＤ番号がｋ番目の仮想指標一つだけを、他の仮想指標と区別できるように点滅させるなど目立たせて表示する。図５（ｂ）には、仮想指標４０３のうちの一つを、他と区別できるように目立たせて表示している様子を示している。また、対応点登録モードにおいて仮想指標を目立たせて表示することは、その仮想指標位置に対応した現実モデル上の位置にスタイラス３０２の先端を合わせて、押しボタンスイッチ３０４を押すようユーザに指示していることを意味する。
【００４９】
このとき、ユーザに対して「点滅している仮想指標に対応する現実モデル位置にスタイラスの先端を合わせてスイッチを押してください。」という指示を、表示装置２０１の画面上に表示したり、音声で知らせてもよい。なお、２１１３では仮想指標一つを、他の仮想指標と区別できるように点滅させるなど目立たせて表示しているが、その仮想指標一つのみ表示してその他は表示させないようにしてもよい。
【００５０】
ユーザが押しボタンスイッチ３０４を押したことを検出すると（２１１４：Ｙ）、そのときのスタイラス先端部３０５の位置を測定し、測定結果と共に、仮想指標のＩＤ番号「ｋ」をＲＡＭ１０２もしくはディスク装置１０５に記録する（２１１５）。仮想指標のＩＤ番号は、１から始まる整数値であるので、「ｋ」は計測順番とも言うことができる。（このとき、先端部３０５に圧電素子などの圧力センサを設け、先端部３０５が現実モデル４０１の表面に接触したことを検知して、押しボタンスイッチ３０４が押されたこととしてもよい。）
ここで、仮想モデル４０２と現実モデル４０１とは同じデータから作成されており、同様に仮想指標４０３と現実モデル上の穴形状４０４とは同じデータから作成されているため、仮想指標４０３それぞれの位置に対応する現実モデル位置には穴形状４０４がそれぞれあることになる。よって、仮想指標４０３それぞれの位置に対応する現実モデル位置（穴形状）にスタイラスの先端部３０５をはめ込み固定することができるため、各対応点位置を正確に計測することができる。
【００５１】
２１１６では、押しボタンスイッチ３０４がｎ回押されたかどうか検出する。すなわちｎとｋが等しいかどうかを検出する。（ｎは、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数である。このｎについては、仮想指標が同一平面上に存在していなければ４点以上、もしくは計測順番を考慮すれば３点以上、もしくは視点位置から仮想指標位置までの距離を考慮すれば３点以上であれば、仮想モデルの位置・姿勢と現実モデルの位置・姿勢とを一致させることが一般的に知られている。）
もし、押しボタンスイッチ３０４がｎ回押された場合は、処理を図３の２２１０へ進ませる。しかし、もし押しボタンスイッチ３０４がｎ回押されていない場合は、２１１７でｋに１を加え、処理を２１１２に戻し、押しボタンスイッチがｎ回押されるまで繰り返し処理を行う。（図５（ｃ）・・・）
２２１０では、２０１０で計測した視点位置・姿勢情報と、２１１０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２０に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列を算出する。仮想モデルの変換行列は、２１１０で記録したスタイラス先端部３０５の位置それぞれと、対応する仮想指標の位置それぞれとが一致するように求めればよい。
【００５２】
仮想モデル４０２上の仮想指標をｐｋとし（ｋは仮想指標のＩＤ番号）、座標位置をｐｋ＝（ＸＫ，ＹＫ，ＺＫ，１）Ｔと表現する。また、ｐｋに対応して２１１０で計測した現実モデル４０１上の穴形状位置を、同様にｑｋ＝（ｘＫ，ｙＫ，ｚＫ，１）Ｔとする。また、ｐｋをｎ点分だけ並べた行列をＰ＝（ｐ１ｐ２・・・ｐｎ）とする。ここでｎは、
【００５３】
【数１】
（もしくは３）である。また同様に、Ｑ＝（ｑ１ｑ２・・・ｑｎ）とする。このとき、ＰとＱの関係をＱ＝ＭＰと記述できる。ここでＭは、点ｐｋをｑｋに変換する４行４列の仮想モデル変換行列である。すなわち、当初位置・姿勢を適当に設定した仮想モデル４０２に対してＭで表される仮想モデル変換行列を適用することで、仮想モデル４０２の位置・姿勢を、現実モデル４０１の位置・姿勢に一致させることができる。なお、このＭは、以下の式から求めることができる。
【００５４】
Ｍ＝Ｑ（ＰＴＰ）−１ＰＴ
（ここで（ＰＴＰ）−１ＰＴはＰの疑似逆行列を表す。）
一方、前記２０１０、２１１０、２２１０の処理と並行して、頭部装着部２００の構成要素である撮像装置２０２を用いて、現実空間の映像を、画像入力装置１０７を通して演算処理部１００に取り込む（３０１０）。さらに、３０１０で取り込んだ現実空間の映像データをビデオバッファなどのメモリに展開する（３０２０）。
【００５５】
２２２０では、２２１０で算出した仮想モデル変換行列Ｍと、仮想モデル／仮想指標描画データ１２２０に保持されている仮想モデルデータとをもとに、合成すべき仮想モデル映像をビデオバッファなどのメモリに展開する（２２２０）。
【００５６】
なお、この仮想モデル映像では、仮想モデル部分以外の画面領域は、背景を透過するようにしておくことが望ましい。また、３０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開し（３０２０）、２２２０で描画した仮想モデル映像を現実映像に重畳合成する（４０１０）。合成された映像は、画像出力装置１０３にてアナログなどのビデオ信号、もしくはデジタル信号などに変換され、頭部装着部２００の構成要素である表示装置２０１に表示される（４０２０）。
【００５７】
前記２０１０から４０２０までの処理（すなわち図３（ｂ）の処理）を、表示装置２０１における映像更新間隔、あるいは仮想モデル描画処理（２２２０）における生成更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。
【００５８】
なお、本実施例では、位置・姿勢を計測する手段として磁気を使った装置を例に説明したが、発明の本質としてはこれに限定されるものではなく、光学的な位置姿勢計測装置や、機械的な位置姿勢計測装置や、測量機など他の手段で実現できることはいうまでもない。
【００５９】
また、図１乃至図５に示されている各構成について、同じ符号を有する構成は同じ機能を実現するものであることは言うまでもない。
【００６０】
以上述べたように、本発明の第１の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。
【００６１】
（第２の実施形態）
画像処理装置の第２の実施形態におけるシステム構成は、図１乃至２に示す第１の実施形態におけるシステム構成と同じである。
【００６２】
以下では、本実施形態の制御について、図３乃至図５を用いて述べる。
【００６３】
図３の２２１０では、２０１０で計測した視点位置・姿勢情報と、２１１０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２０に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列Ｍを算出するが、仮想モデル変換行列Ｍを一意に求めることができない場合は、エラー状態として、表示装置２０１の画面上にエラー状態であることを表示したり、音声で知らせてもよい。
【００６４】
このエラーの原因としては、対応点登録モード２１１０において、仮想モデル４０２上の仮想指標４０３それぞれと、現実モデル４０１上の穴形状それぞれの対応がきちんと取れていないことが考えられる。すなわち、図４の２１１３〜２１１４の処理のときに、指示された仮想指標の対応位置とは異なる現実モデル位置でスタイラス先端部３０５の位置を計測したことが考えられる。
【００６５】
よって、２２１０の処理においてエラー状態であることが判明した場合は、処理を２１１０に戻し、対応点登録モード２１１０をやり直すなどの対処を行うことが望ましい。
【００６６】
また、図３乃至図５に示されている各構成について、その他の符号を有する構成は、第１実施形態と同じ機能を実現するものである。
【００６７】
以上述べたように、本発明の第２の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。さらに、仮想モデル変換行列を一意に求めることができない場合は、エラー状態として、対応点登録処理をやり直すことで容易に対処することが可能となる。
【００６８】
（第３の実施形態）
画像処理装置の第３の実施形態におけるシステム構成は、図１乃至２に示す第１の実施形態における概略システム構成と同じである。
【００６９】
以下では、本実施形態の制御について、図３乃至図５を用いて述べる。
【００７０】
図３の２２１０では、２０１０で計測した視点位置・姿勢情報と、２１１０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２０に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列Ｍを算出する。仮想モデル変換行列Ｍは、２１１０で記録したスタイラス先端部３０５の位置それぞれと、対応する仮想指標の位置それぞれとが一致するように求めればよい。
【００７１】
第１の実施形態の２１１０では、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数ｎとして、４点もしくは３点を指定していたが、これは仮想モデル上の仮想指標それぞれと、現実モデル上の穴形状それぞれとの対応位置が一致していることが前提である。しかし、実際には、現実モデルを作成する際のラピッド・プロトタイピング装置の精度誤差により、対応位置が多少ずれることがある。
【００７２】
そこで、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数ｎとして、５点以上を指定して、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムのような手法を利用して、繰り返し演算によって数値解析的に変換パラメータを求めてもよい。
【００７３】
なお、ＩＣＰアルゴリズムとは、事前の対応づけを与えることなしに変換パラメータを求める手法である。仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させる場合、まず、仮想モデル上の仮想指標それぞれについて、対応する現実モデル上の穴形状それぞれに「最も近い点」へ対応づけることで、仮の対応づけを行う。そして、その対応づけを利用して変換パラメータ推定を行う。
【００７４】
次に、その変換パラメータで仮想モデルを変換し、再度、最近点で対応づけをやり直す、というような処理を繰り返し、変換パラメータを推定する。ＩＣＰアルゴリズムのような繰り返し演算による数値解析的な手法は、仮想モデルと現実モデルとのそれぞれの対応点位置が、ラピッド・プロトタイピング装置の精度誤差などによって多少ずれている場合に有効である。
【００７５】
また、図３乃至図５に示されている各構成について、その他の符号を有する構成は、第１実施形態と同じ機能を実現するものである。
【００７６】
以上述べたように、本発明の第３の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。さらに、仮想モデルと現実モデルとのそれぞれの対応点位置が、ラピッド・プロトタイピング装置の精度誤差などによって多少ずれている場合に有効である。
【００７７】
（第４の実施形態）
第４の実施形態におけるシステム構成は、図１乃至２に示す第１の実施形態における概略システム構成と同じである。ただし、現実モデル４０１の代わりに現実モデル４０１’を用い、仮想モデル４０２の代わりに仮想モデル４０２’を用い、仮想指標４０３の代わりに仮想指標４０３’を用いる。
【００７８】
以下では、本実施形態の制御について、図６乃至図８を用いて述べる。図６は、本実施形態の画像処理装置の処理の流れを示す図である。なお、図６に従ったプログラムコードは、本実施形態の装置内のディスク装置１０５やＲＡＭ１０２などの記憶装置内に格納され、ＣＰＵ１０１により読み出され、実行される。
【００７９】
まず、３次元ＣＡＤのデータから現実モデル４０１’と、仮想モデル／仮想指標描画データ１２２１とを作成する手順を図６（ａ）を用いて説明する。なお、図６（ａ）の処理は、図６（ｂ）の処理に備えてあらかじめ実行しておき、実行の際は、本実施形態の画像処理装置である図１の構成を利用してもよいし、それ以外の構成を利用してもよい。
【００８０】
通常、ユーザが３次元ＣＡＤシステム（１０１１）を使って形状やデザインなどの設計業務を行う場合、形状データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータ（１０２１）として保存されるのが一般的である。本実施形態においては、まず３次元ＣＡＤシステム１０１１を使って、３次元ＣＡＤソリッドデータ１０２１の表面に目印の形状データを付加し（１１１１）、その位置情報を記録する（１１２１）。（目印については、図７、図８の説明で詳しく述べる。）目印の形状データは、３次元ＣＡＤシステム１０１１を利用して、３次元ＣＡＤソリッドデータ１０２１に形状データとして複数付加される。同時に、それぞれの形状データには、１から始まる個別の整数値のＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）を付加する。３次元ＣＡＤソリッドデータ１０２１に付加する目印の形状データは、３次元ＣＡＤソリッドデータ１０２１から現実モデル４０１’を生成したときに、スタイラス３０２の先端部分を一意に当てやすい特徴部分、例えば凸部分や凹部分といった角部分に付加するのが望ましい。（目印形状データの付加処理では、ユーザが手作業で任意の位置に付加してもよいし、３次元ＣＡＤソリッドデータ１０２１のうち、特徴部分を所定のアルゴリズムによって自動検出して付加してもよい。）この目印形状データは、３次元ＣＡＤシステム１０１１のプラグイン機能によって付加することも可能であるし、３次元ＣＡＤシステム１０１１を利用して普通のＣＡＤオブジェクトデータとして付加することも可能である。そして、３次元ＣＡＤソリッドデータ１０２１から、ラピッド・プロトタイピング装置を用いて現実モデル４０１’を生成する（１１３１）。ここで本実施形態においては、目印形状データを３次元ＣＡＤソリッドデータ１０２１とは別のデータとして管理しておき、現実モデル４０１’を生成する際には、表面に目印形状データを反映させない。すなわち第１〜３実施例とは異なり、小さな穴形状といった目印が付加されないため、３次元ＣＡＤソリッドデータ１０２１そのままの現実モデルが生成される。
【００８１】
一方、３次元ＣＡＤソリッドデータ１０２１は、各設計部品の幾何学的なパラメータの集合で表現されており、そのままでは一般的なＣＧ表示システムにおいて仮想モデル４０２’として描画することはできない。そこで、３次元ＣＡＤソリッドデータ１０２１を一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１１）。同様に、１１１１で付加した目印形状についても、目印形状位置に対応した位置に仮想指標４０３’として、一般的なＣＧ表示システムにおいて描画が可能なデータ形式（たとえばＶＲＭＬ形式）に変換する（１２１１）。変換された仮想指標４０３’それぞれは、対応する目印形状のＩＤ番号を含む。本実施形態では、このように変換された仮想モデル／仮想指標描画データ１２２１を利用して、仮想モデル４０２’および仮想指標４０３’を仮想空間中に描画する。なお、この時点では、仮想空間中における仮想モデル４０２’の位置・姿勢は適当に定めておき、仮想モデル／仮想指標描画データ１２２１に仮想モデルデータと共に保持しておく。（仮想指標４０３’は、仮想モデル４０２’の表面上にあるため、仮想モデル４０２’の位置・姿勢が定められれば、仮想指標４０３’の位置は一意に定まる。仮想指標４０３’の位置についても仮想モデル／仮想指標描画データ１２２１に保持しておく。）
次に、複合現実感映像を出力する手順を図６（ｂ）を用いて説明する。
【００８２】
頭部装着部２００の構成要素であるセンサ３０１と、センサ制御装置３０３とを利用して、ユーザの視点位置・姿勢情報を計測する（２０１１）。この位置・姿勢情報は、入力装置１０６を通して演算処理部１００に取り込まれる。
【００８３】
ここで、対応点登録モード（２１２０）の処理について、図７の処理手順、および図８を用いて詳しく説明する。（対応点登録モードとは、仮想モデル上の位置に対応する現実モデル上の位置を測定し、測定結果と測定順番とを共に登録していくモードのことである。）
２１２０の処理は、ユーザが、キーボードやマウスやスタイラスボタンなどのデバイスを操作して、「対応点登録モード」を開始することで始まる。全ての仮想指標４０３’それぞれには１から始まる個別の整数値でＩＤ番号（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ）が付けられており、対応点登録モードの開始と同時に仮想指標のＩＤ番号を指定する「ｋ」を１にリセットする（２１２１）。対応点登録モードの開始と同時に、図８（ａ）に示すように、撮像装置２０２で撮影した現実映像と、仮想モデル４０２’および仮想指標４０３’とを表示装置２０１の画面に表示する（２１２２）。図８においては、現実映像の一部分にウィンドウを作り、適当な視点位置・視線方向を設定して描画した仮想モデル４０２’および仮想指標４０３’の映像をウィンドウの中に表示しているが、現実映像の一部分に仮想モデル４０２’および仮想指標４０３’とを直接表示してもよい。このとき、仮想モデル４０２’および仮想指標４０３’を半透明表示したり、ワイアフレーム表示することで現実映像が完全に隠されることがないので容易に対応点登録モード処理を進めることができる。（なお、現実映像と仮想モデル表示の関係を逆にしてもよい。）また、図８では、現実映像中に現実モデル４０１’が写るように撮像装置２０２（すなわち頭部装着部２００）を配置している。
【００８４】
２１２３ではまず仮想指標４０３’のうちのＩＤ番号がｋ番目の仮想指標一つだけを、他の仮想指標と区別できるように点滅させるなど目立たせて表示する。図８（ｂ）には、仮想指標４０３’のうちの一つを、他と区別できるように目立たせて表示している様子を示している。また、対応点登録モードにおいて仮想指標を目立たせて表示することは、その仮想指標位置に対応した現実モデル上の位置にスタイラス３０２の先端を合わせて、押しボタンスイッチ３０４を押すようユーザに指示していることを意味する。このとき、ユーザに対して「点滅している仮想指標に対応する現実モデル位置にスタイラスの先端を合わせてスイッチを押してください。」という指示を、表示装置２０１の画面上に表示したり、音声で知らせてもよい。なお、２１２３では仮想指標一つを、他の仮想指標と区別できるように点滅させるなど目立たせて表示しているが、その仮想指標一つのみ表示してその他は表示させないようにしてもよい。ユーザが押しボタンスイッチ３０４を押したことを検出すると（２１２４：Ｙ）、そのときのスタイラス先端部３０５の位置を測定し、測定結果と共に、仮想指標のＩＤ番号「ｋ」をＲＡＭ１０２もしくはディスク装置１０５に記録する（２１２５）。仮想指標のＩＤ番号は、１から始まる整数値であるので、「ｋ」は計測順番とも言うことができる。（このとき、先端部３０５に圧電素子などの圧力センサを設け、先端部３０５が現実モデル４０１’の表面に接触したことを検知して、押しボタンスイッチ３０４が押されたこととしてもよい。）ここで、仮想モデル４０２’と現実モデル４０１’とは同じデータから作成されており、また、仮想モデル４０２’上における仮想指標４０３’は、対応する現実モデル上においてスタイラス３０２の先端部分を一意に当てやすい特徴部分、例えば凸部分や凹部分といった角部分に配置されている。よって、仮想指標４０３’それぞれの位置に対応する現実モデル位置にスタイラスの先端部３０５を当てやすく、各対応点位置を正確に計測することができる。
【００８５】
２１２６では、押しボタンスイッチ３０４がｎ回押されたかどうか検出する。すなわちｎとｋが等しいかどうかを検出する。（ｎは、仮想モデルの位置姿勢と、現実モデルの位置姿勢とを一致させるために必要な対応点数である。このｎについては、仮想指標が同一平面上に存在していなければ４点以上、もしくは計測順番を考慮すれば３点以上、もしくは視点位置から仮想指標位置までの距離を考慮すれば３点以上であれば、仮想モデルの位置・姿勢と現実モデルの位置・姿勢とを一致させることが一般的に知られている。）もし、押しボタンスイッチ３０４がｎ回押された場合は、処理を図６の２２１１へ進ませる。しかし、もし押しボタンスイッチ３０４がｎ回押されていない場合は、２１２７でｋに１を加え、処理を２１２２に戻し、押しボタンスイッチがｎ回押されるまで繰り返し処理を行う。（図８（ｃ）・・・）
２２１１では、２０１１で計測した視点位置・姿勢情報と、２１２０で記録したスタイラス位置情報（および仮想指標のＩＤ番号＝計測順番）と、１２２１に記録されている仮想指標位置情報をもとに、仮想モデルを現実モデルに合わせて描画するための仮想モデル変換行列を算出する。仮想モデルの変換行列は、２１２０で記録したスタイラス先端部３０５の位置それぞれと、対応する仮想指標の位置それぞれとが一致するように求めればよい。
【００８６】
仮想モデル４０２’上の仮想指標をｐｋとし（ｋは仮想指標のＩＤ番号）、座標位置をｐｋ＝（Ｘｋ，Ｙｋ，Ｚｋ，１）Ｔと表現する。また、ｐｋに対応して２１２０で計測した現実モデル４０１’上の位置を、同様にｑｋ＝（ｘｋ，ｙｋ，ｚｋ，１）Ｔとする。また、ｐｋをｎ点分だけ並べた行列をＰ＝（ｐ１ｐ２・・・ｐｎ）とする。ここでｎは、
【００８７】
【数２】
（もしくは３）である。また同様に、Ｑ＝（ｑ１ｑ２・・・ｑｎ）とする。このとき、ＰとＱの関係をＱ＝ＭＰと記述できる。ここでＭは、点ｐｋをｑｋに変換する４行４列の仮想モデル変換行列である。すなわち、当初位置・姿勢を適当に設定した仮想モデル４０２’に対してＭで表される仮想モデル変換行列を適用することで、仮想モデル４０２’の位置・姿勢を、現実モデル４０１’の位置・姿勢に一致させることができる。なお、このＭは、以下の式から求めることができる。
【００８８】
Ｍ＝Ｑ（ＰＴＰ）−１ＰＴ
（ここで（ＰＴＰ）−１ＰＴはＰの疑似逆行列を表す。）
一方、前記２０１１、２１２０、２２１１の処理と並行して、頭部装着部２００の構成要素である撮像装置２０２を用いて、現実空間の映像を、画像入力装置１０７を通して演算処理部１００に取り込む（３０１１）。さらに、３０１１で取り込んだ現実空間の映像データをビデオバッファなどのメモリに展開する（３０２１）。
【００８９】
２２２１では、２２１１で算出した仮想モデル変換行列Ｍと、仮想モデル／仮想指標描画データ１２２１に保持されている仮想モデルデータとをもとに、合成すべき仮想モデル映像をビデオバッファなどのメモリに展開する（２２２１）。なお、この仮想モデル映像では、仮想モデル部分以外の画面領域は、背景を透過するようにしておくことが望ましい。また、３０１１で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開し（３０２１）、２２２１で描画した仮想モデル映像を現実映像に重畳合成する（４０１１）。合成された映像は、画像出力装置１０３にてアナログなどのビデオ信号、もしくはデジタル信号などに変換され、頭部装着部２００の構成要素である表示装置２０１に表示される（４０２１）。
【００９０】
前記２０１１から４０２１までの処理（すなわち図６（ｂ）の処理）を、表示装置２０１における映像更新間隔、あるいは仮想モデル描画処理（２２２１）における生成更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。
【００９１】
なお、本実施例では、位置・姿勢を計測する手段として磁気を使った装置を例に説明したが、発明の本質としてはこれに限定されるものではなく、光学的な位置姿勢計測装置や、機械的な位置姿勢計測装置や、測量機など他の手段で実現できることはいうまでもない。
【００９２】
また、図６乃至図８に示されている各構成について、その他の符号を有する構成は、第１実施形態と同じ機能を実現するものである。
【００９３】
以上述べたように、第４の実施形態によれば、形状・大きさが同一である現実モデルと仮想モデルとについて、両者の位置・姿勢を正確に一致させるように、仮想モデルの位置・姿勢を簡便に調整することが可能となる。本実施形態においては、現実モデル上に目印形状データが反映されないので、３次元ＣＡＤソリッドデータそのままの現実モデルを利用することができる。
【００９４】
（その他の実施形態）
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００９７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９９】
【図１】画像処理装置の構成を示すブロック図である。
【図２】画像処理装置のスタイラスを説明するための図である。
【図３】画像処理装置の処理手順を説明するためのフローチャートである。
【図４】画像処理装置の処理手順２１１０を説明するためのフローチャートである。
【図５】対応点登録モードを説明するための図である。
【図６】第４実施形態における画像処理装置の処理手順を説明するためのフローチャートである。
【図７】第４実施形態における画像処理装置の処理手順２１２０を説明するためのフローチャートである。
【図８】第４実施形態における対応点登録モードを説明するための図である。
【特許請求の範囲】
【請求項１】
現実物体に合成する仮想物体の位置姿勢を調整する情報処理方法であって、
仮想物体に設定された仮想指標の位置情報を取得し、
仮想指標の位置をユーザに報知し、
ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得し、
前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定することを特徴とする情報処理方法。
【請求項２】
前記仮想物体の幾何情報を取得し、
視点位置姿勢情報を取得し、
前記視点位置情報および前記幾何情報を用いて、前記仮想物体の画像を生成し、
前記現実物体の画像と前記仮想物体の画像を合成することを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記現実物体および前記仮想物体の幾何情報は、同一のＣＡＤデータから作成されることを特徴とする請求項２記載の情報処理方法。
【請求項４】
前記現実物体は前記ＣＡＤデータをもとにラピッド・プロトタイミングにより作成されることを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記報知は、ユーザが次に指示すべき仮想指標の位置をガイダンスすることを特徴とする請求項１記載の情報処理方法。
【請求項６】
前記現実物体の前記現実指標の位置の形状が指標用に加工されていることを特徴とする請求項１記載の情報処理方法。
【請求項７】
前記仮想物体の位置情報は、ＩＣＰアルゴリズムを用いて求めることを特徴とする請求項１記載の情報処理方法。
【請求項８】
前記前記仮想指標の位置情報と前記現実指標の位置情報から前記仮想物体の位置姿勢情報を求めることができなかった場合は、エラー表示を行うことを特徴とする請求項１記載の情報処理方法。
【請求項９】
前記現実指標は、現実物体表面上に形成される穴形状であることを特徴とする請求項１に記載の情報処理方法。
【請求項１０】
請求項１記載の情報処理方法をコンピュータにて実現するためのプログラム。
【請求項１１】
現実物体に合成する仮想物体の位置姿勢を調整する情報処理装置であって、
仮想物体に設定された仮想指標の位置情報を取得する仮想指標位置情報取得部と、
仮想指標の位置をユーザに報知する報知部と
ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得する現実指標位置情報取得部と、
前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定する設定部とを有することを特徴とする情報処理装置。
【請求項１】
現実物体に合成する仮想物体の位置姿勢を調整する情報処理方法であって、
仮想物体に設定された仮想指標の位置情報を取得し、
仮想指標の位置をユーザに報知し、
ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得し、
前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定することを特徴とする情報処理方法。
【請求項２】
前記仮想物体の幾何情報を取得し、
視点位置姿勢情報を取得し、
前記視点位置情報および前記幾何情報を用いて、前記仮想物体の画像を生成し、
前記現実物体の画像と前記仮想物体の画像を合成することを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記現実物体および前記仮想物体の幾何情報は、同一のＣＡＤデータから作成されることを特徴とする請求項２記載の情報処理方法。
【請求項４】
前記現実物体は前記ＣＡＤデータをもとにラピッド・プロトタイミングにより作成されることを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記報知は、ユーザが次に指示すべき仮想指標の位置をガイダンスすることを特徴とする請求項１記載の情報処理方法。
【請求項６】
前記現実物体の前記現実指標の位置の形状が指標用に加工されていることを特徴とする請求項１記載の情報処理方法。
【請求項７】
前記仮想物体の位置情報は、ＩＣＰアルゴリズムを用いて求めることを特徴とする請求項１記載の情報処理方法。
【請求項８】
前記前記仮想指標の位置情報と前記現実指標の位置情報から前記仮想物体の位置姿勢情報を求めることができなかった場合は、エラー表示を行うことを特徴とする請求項１記載の情報処理方法。
【請求項９】
前記現実指標は、現実物体表面上に形成される穴形状であることを特徴とする請求項１に記載の情報処理方法。
【請求項１０】
請求項１記載の情報処理方法をコンピュータにて実現するためのプログラム。
【請求項１１】
現実物体に合成する仮想物体の位置姿勢を調整する情報処理装置であって、
仮想物体に設定された仮想指標の位置情報を取得する仮想指標位置情報取得部と、
仮想指標の位置をユーザに報知する報知部と
ユーザによって操作される指示部の位置情報に基づき、前記仮想指標に対応する現実物体上の現実指標の位置情報を取得する現実指標位置情報取得部と、
前記仮想指標の位置情報と前記現実指標の位置情報とに基づき、前記仮想物体の位置姿勢情報を設定する設定部とを有することを特徴とする情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−４８６３９（Ｐ２００６−４８６３９Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００５−１２０９１４（Ｐ２００５−１２０９１４）
【出願日】平成１７年４月１９日（２００５．４．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１７年４月１９日（２００５．４．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]