複合現実感提示装置及びその制御方法、コンピュータプログラム
【課題】 より観察者に違和感を感じさせない複合現実感画像を提示することができる複合現実感提示装置及びその制御方法、コンピュータプログラムを提供する。
【解決手段】 観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する。取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する。現実空間物体の現実空間画像を取得する。取得した現実空間画像を、仮想空間画像が描画されているメモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する。得られる合成画像を出力する。
【解決手段】 観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する。取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する。現実空間物体の現実空間画像を取得する。取得した現実空間画像を、仮想空間画像が描画されているメモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する。得られる合成画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置及びその制御方法、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
複合現実感システムでは、操作者の視点位置と視線方向及び空間中にある物体の位置を計測する必要がある。
【０００３】
位置姿勢の計測システムとしては、米国Ｐｏｌｈｅｍｕｓ社製のＦＡＳＴＲＡＫ（商品名）に代表されるような位置姿勢計測装置を使うのが一般的な手法の一つである。また、ジャイロ等の計測機器で姿勢のみを計測し、位置情報及び姿勢のドリフト誤差を画像から計測する方法も取られている。
【０００４】
ここで、例えば、特許文献１に示されるような、一般的な複合現実感提示装置のハードウェアの構成、及び一般的な複合現実感提示装置の処理のフローについて、図１及び図２を用いて説明する。
【０００５】
本例では、現実空間物体１１１の現実空間画像に仮想空間画像１１０（仮想空間物体の画像）を重畳表示することにより、現実空間物体１１１に仮想空間画像１１０で示される仮想物体があたかもそこに存在するかのように表示することができる。このような機能は、デザインの検証やエンターテイメントに応用することが可能である。
【０００６】
ステップＳ２０１で、ＨＭＤ（ヘッドマウントディスプレイ）１０１に内蔵された撮像部１０２から、ＰＣ（パーソナルコンピュータ）１０３が現実空間画像を取得する。
【０００７】
次に、ステップＳ２０２で、ＨＭＤ１０１に固定されたＨＭＤ計測センサ１０５の位置姿勢の計測値、及び現実空間物体１１１に固定された現実空間物体計測センサ１０６の位置姿勢を計測する。これらの計測した計測値は、位置姿勢計測部１０４で収集され、位置姿勢情報として、シリアル通信等の通信部でＰＣ１０３が取り込む。
【０００８】
ステップＳ２０３で、現実空間物体１１１の現実空間画像を、ＰＣ１０３は、ＰＣ１０３内のメモリ上に描画する。
【０００９】
ステップＳ２０４で、ステップＳ２０２で取得した撮像部１０２の位置姿勢の計測値及び現実空間物体１１１の位置姿勢の計測値に応じた仮想空間画像を、現実空間画像に重畳するように、ＰＣ１０３のメモリ上に描画する。これにより、メモリ上には、現実空間画像と仮想空間画像の合成画像である複合現実感画像が生成される。
【００１０】
ステップＳ２０５で、ＰＣ１０３のメモリ上に描画された合成画像（複合現実感画像）を、ＰＣ１０３がＨＭＤ１０１に送信することで、合成画像（複合現実感画像）をＨＭＤ１０１上で表示する。
【００１１】
以上、ステップＳ２０１からステップＳ２０５が１フレーム分の処理である。そして、ステップＳ２０６で、ＰＣ１０３はから観察者の操作に基づく処理の終了通知があるか否かを判定する。終了通知がない場合（ステップＳ２０６でＮＯ）、ステップＳ２０１に戻る。一方、終了通知がある場合（ステップＳ２０６でＹＥＳ）、処理を終了する。
【００１２】
次に、上記の処理によって得られる合成画像の一例について、図３を用いて説明する。
【００１３】
図３において、画像５０１から画像５０５は、撮像部１０２から得られる現実空間画像を時系列に並べたものである。画像５１１〜画像５１４は、現実空間画像と仮想空間画像の合成処理の様子を時系列に並べたものである。
【００１４】
この例では、ステップＳ２０１で取得した現実空間画像は、画像５０１であるとする。その後、ステップＳ２０２及びステップＳ２０３の処理を行う間にも、時間は経過し、現実空間画像は、画像５０１から画像５０２の状態になっている。
【００１５】
ステップＳ２０４で現実空間画像に２つの仮想空間画像を順次重畳して描画した例が、画像５１３及び画像５１４となる。
【００１６】
最終的に得られる画像（合成画像）５１４は、ステップＳ２０５で出力されるが、この時には、既に現実空間画像の状態は、画像５０４もしくは、画像５０５の状態となっている。
【特許文献１】特開２００５−１０７９６８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
上述のような一般的な複合現実感提示装置の構成では、ステップ２０１で取得した現実空間画像が、ＨＭＤ１０１で表示されるまでには多くのステップが存在する。特に、ステップＳ２０４の仮想空間画像の重畳描画では、高画質なＣＧ画像によってその描画を実現するために、時間がかかる場合が多い。
【００１８】
そのため、ＨＭＤ１０１で表示されるときには、図３で示したように、実際に観察者に提示される合成画像中の現実空間画像が、その時点の現実空間画像に対して時間的に遅れたものになっており、観察者に違和感を生じさせる原因となっていた。
【００１９】
本発明は上記の課題を解決するためになされたものであり、より観察者に違和感を感じさせない複合現実感画像を提示することができる複合現実感提示装置及びその制御方法、コンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記の目的を達成するための本発明による複合現実感提示装置は以下の構成を備える。即ち、
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段と
前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画手段と、
前記現実空間物体の現実空間画像を取得する取得手段と、
前記取得手段で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成手段と、
前記合成手段によって得られる合成画像を出力する出力手段と
を備える。
【００２１】
また、好ましくは、前記仮想空間画像の奥行き情報を記憶する奥行きバッファを更に備え、
前記合成手段は、前記奥行きバッファに記憶されている奥行き情報を利用して、前記メモリ上の前記仮想空間画像が描画されていない部分に前記現実空間画像を描画することで、該現実空間画像と該仮想空間画像とを合成する。
【００２２】
また、好ましくは、前記仮想空間画像への画像の上書きの可否を制御するための制御情報を記憶するステンシルバッファを更に備え、
前記合成手段は、前記ステンシルバッファに記憶されている制御情報を利用して、前記メモリ上の前記仮想空間画像が前記現実空間画像で上書きされないように該メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する。
【００２３】
また、好ましくは、前記合成手段は、前記現実空間画像と前記仮想空間画像とをアルファブレンド合成する。
【００２４】
また、好ましくは、前記描画手段による前記仮想空間画像の描画に利用する位置姿勢情報を、前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて予測する予測手段を更に備える。
【００２５】
上記の目的を達成するための本発明による複合現実感提示装置の制御方法は以下の構成を備える。即ち、
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御方法であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
を備える。
【００２６】
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
をコンピュータに実行させる。
【発明の効果】
【００２７】
本発明によれば、より観察者に違和感を感じさせない複合現実感画像を提示することができる複合現実感提示装置及びその制御方法、コンピュータプログラムを提供できる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２９】
＜実施形態１＞
実施形態１においては、予め前処理として、現実空間画像を取得した撮像部（カメラ）の内部パラメータを取得しておき、画像調整処理を一切を行わない場合に現実空間画像と仮想空間画像の幾何学的整合がとれていることを前提として説明する。
【００３０】
正確な現実空間画像と仮想空間画像の幾何学的整合のためには、アスペクト比や歪みパラメータも算出して、現実空間画像の調整の処理中で同時に処理する必要がある。しかしながら、本願発明には、この点については、本質的のものではないので、歪みやアスペクト比の誤差に関しては説明を省略する。
【００３１】
以下は、撮像部（カメラ）の内部パラメータの校正や、位置姿勢計測部の校正が完了していることを前提として、本発明に特徴的な画像合成部分に関して説明する。
【００３２】
本発明を実現するための複合現実感提示装置の基本的な構成は、図１に示す構成と同様であるが、その内部処理が異なるものである。
【００３３】
実施形態１の位置姿勢計測システムとしては、米国Ｐｏｌｈｅｍｕｓ社製のＦＡＳＴＲＡＫ（商品名）に代表されるような位置姿勢計測装置を使用することが可能である。但し、ジャイロ等の計測機器で、姿勢のみを計測し、位置情報及び、姿勢のドリフト誤差を撮影画像から計測する方法でも実施可能である。
【００３４】
次に、実施形態１の複合現実感提示装置による画像合成に関して、図１、図４及び図５を用いて説明する。ここで、図４は本発明の実施形態１の複合現実感提示装置として機能するＰＣのハードウェア構成を示す図である。また、図５は本発明の実施形態１の複合現実感提示装置が実行する処理を示すフローチャートである。
【００３５】
尚、図５に示すフローチャートは、例えば、図４の複合現実感提示装置のＣＰＵ３０１が、メインメモリに記憶されている制御プログラムを実行することで実現される。
【００３６】
まず、ステップＳ４０１で、ＣＰＵ３０１は、ＨＭＤ１０１に固定されたＨＭＤ計測センサ１０５の位置姿勢の計測値、及び現実空間物体１１１に固定された現実空間物体計測センサ１０６の位置姿勢の計測値から位置姿勢情報を取得する。即ち、各センサで計測された計測値（位置姿勢情報）は、位置姿勢計測部１０４で収集され、得られる２種類の位置姿勢情報から、観察者の視点と、現実空間中に配した現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を算出する。そして、位置姿勢計測部１０４は、シリアル通信等の通信部でＰＣ１０３に算出した結果を送信する。
【００３７】
これにより、ＰＣ１０３内部では、通信デバイス３０７を通じて、メインメモリ３０２に計測データが送られ、蓄積される。このように、ＰＣ１０３は、位置姿勢計測部１０４から、観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得部として機能する。
【００３８】
次に、ステップＳ４０２で、ＣＰＵ３０１は、既に取得している位置姿勢情報に基づいて、所定座標系に従う仮想空間画像をメインメモリ３０２に描画する。通常は、背景となる現実空間画像の上に、仮想空間画像を重畳することで画像合成を行うが、本発明では、仮想空間画像の描画を先に行う。
【００３９】
尚、アプリケーションの形態によっては、高精細で高画質な仮想空間画像を描画する必要がある。そして、その場合には、描画においては、ビデオレートにして数フレーム以上の時間を要する場合がある。また、所定座標系とは、現実空間画像と仮想空間画像とを共通の座標系で表示するための３次元座標系であり、その座標系を規定するための起点となる原点は適宜設定することが可能である。
【００４０】
本発明では、仮想空間画像を先に描画することにより、合成に利用する現実空間画像に関して、仮想空間画像を描画している間に、合成対象として意図する時点の現実空間画像が、その時点よりも後の現実空間画像に変わってしまうことを防ぐことができる。
【００４１】
この時、ＰＣ１０３内では、ＣＰＵ３０１がメインメモリ３０２に蓄積されている仮想空間画像を利用して、グラフィックスアクセラレータ３０３は、その仮想空間画像をフレームメモリ３０４に描画する。その際、グラフィックスアクセラレータ３０３は、奥行きバッファ３０８の仮想空間画像の奥行き情報も同時に更新する。
【００４２】
ここで、ステップＳ４０２の描画に２フレーム程度時間がかかる場合、図６の仮想空間画像６１３、６１４では、現実空間画像の状態が、画像６０１から画像６０４のような状態まで進んでしまっていることを示している。ここで、合成対象となる仮想空間画像の状態は、画像６１１〜６１４となっている。
【００４３】
ステップＳ４０３で、ＨＭＤ１０１に内蔵された撮像部１０２からＰＣ１０３に現実空間画像を取得する。このとき、ＰＣ１０３内部では、ＨＭＤ１０１から受信する現実空間画像が、画像入力デバイス３０６によって所定の形式に変換され、メインメモリ３０２に蓄積される。図６の場合では、画像６０５を取得することになる。
【００４４】
ステップＳ４０４で、ＣＰＵ３０１は、取得した現実空間画像をメインメモリ３０２に描画する。ＰＣ１０３内部では、メインメモリ３０２上の現実空間画像は、ＣＰＵ３０１によって、フレームメモリ３０４に描画する。この時、ＣＰＵ３０１は、グラフィックスアクセラレータ３０３を制御することで、奥行きバッファ３０８の奥行き情報を利用し、フレームメモリ３０４上で仮想空間画像が描画されていない部分のみに現実空間画像を重畳描画する。この場合、図６の画像６１５を得ることが可能である。これにより、仮想空間画像に現実空間画像が上書きされないようにすることができる。
【００４５】
尚、仮想空間画像に現実空間画像が上書きされないようにする方法としては、仮想空間画像への画像の上書きの可否を制御するための制御情報を記憶するステンシルバッファ３０９を利用して、上書き可能、禁止を制御することも可能である。
【００４６】
ステップＳ４０５で、ＣＰＵ３０１は、ステップＳ４０４で生成した合成画像を、画像出力デバイス３０５によってＨＭＤ１０１に出力する。
【００４７】
以上の処理によって、観察者は、ＨＭＤ１０１に表示される画像を見て、あたかも現実空間に仮想物体が存在しているかのような画像を観察することができる。また、本処理によって、観察者が意図する時点の現実空間画像と、表示される現実空間画像との時間的な遅れ（差）は非常に少ないものとなる。
【００４８】
以上、ステップＳ４０１からステップＳ４０５が１フレーム分の処理である。そして、ステップＳ４０６で、ＣＰＵ３０１は観察者の指示に基づく処理の終了通知があるか否かを判定する。終了通知がない場合（ステップＳ４０６でＮＯ）、ステップＳ４０１に戻る。一方、終了通知がある場合（ステップＳ４０６でＹＥＳ）、処理を終了する。
【００４９】
以上説明したように、実施形態１によれば、仮想空間画像を描画した後に、ユーザが意図する合成対象の現実空間画像を取得して、それを仮想空間画像に重畳描画して合成画像を生成する。これにより、画像処理に伴う画像出力時間の遅延に起因する、現実空間画像の内容の違いを極力軽減して、よりユーザが意図する時点の現実空間画像の内容を有する合成画像を提示することができる。
【００５０】
＜実施形態２＞
実施形態２は、実施形態１の応用例を説明する。複合現実感提示装置においては、出力画像を半透明表示にすることが、観察者の視認性を向上させるために有効である場合が多い。そこで、実施形態２では、この半透明表示を実現する場合の構成について説明する。
【００５１】
尚、実施形態２の複合現実感提示装置の構成は、実施形態１の複合現実感提示装置で実現可能なため、その詳細については省略する。
【００５２】
次に、実施形態２の複合現実感提示装置による画像合成に関して、図７を用いて説明する。
【００５３】
図７は本発明の実施形態２の複合現実感提示装置が実行する処理を示すフローチャートである。
【００５４】
尚、図７において、実施形態１の図５と同一の処理については、同一のステップ番号を付加し、その詳細については省略する。
【００５５】
図７では、ステップＳ４０３の処理後、ステップＳ７０４で、ＣＰＵ３０１は、グラフィックスアクセラレータ３０３を制御することで、現実空間画像をアルファブレンド合成する。
【００５６】
ここで、具体的な処理例を図８に示す。
【００５７】
図８は本発明の実施形態２の画像合成の具体例を説明するための図である。
【００５８】
尚、図８において、実施形態１の図６と共通の画像については、同一の参照番号を付加している。
【００５９】
図８では、仮想空間画像８１３及び仮想空間画像８１４は、黒を背景の描画を行っている。そして、仮想空間画像８１４に対して、現実空間画像である画像６０５を、加算等のアルファブレンディング処理を用いて合成することにより、半透明効果を出すことが可能になる。その結果、半透明処理された合成画像８１５を得ることができる。
【００６０】
尚、合成画像８１５は、模式的に白黒で表現しているが、実際には半透明の合成を行うことが可能になる。
【００６１】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、用途に応じて、出力画像を半透明表示することが可能となる。
【００６２】
＜実施形態３＞
実施形態３は、実施形態１の応用例である。実施形態１や２では、観察者が観察している現時点の現実空間画像の状態と、最終的にＨＭＤ１０１に出力される現実空間画像の状態の時間的な遅れを軽減する構成について説明した。ここで、この構成では、仮想空間画像を生成するためのステップＳ４０１で取得する位置姿勢情報は、現実空間画像の取得時の実際の現実空間物体１１１の位置姿勢に対して時間的な遅れが発生する可能性がある。そこで、実施形態３では、取得した位置姿勢姿勢情報の時間的な遅れを軽減するための画像合成について説明する。
【００６３】
まず、実施形態３の複合現実感提示装置による画像合成に関して、図９を用いて説明する。
【００６４】
図９は本発明の実施形態３の複合現実感提示装置が実行する処理を示すフローチャートである。
【００６５】
尚、図９において、実施形態１の図５と同一の処理については、同一のステップ番号を付加し、その詳細については省略する。
【００６６】
特に、図９では、実施形態１の図５のステップＳ４０１の処理の後に、ステップＳ９０３で、ＣＰＵ３０１は、現実空間画像の位置姿勢予測を実行する。そして、ステップＳ４０２ａで、ＣＰＵ３０１は、ステップＳ９０３で得られる予測値（位置姿勢情報）に基づいて、仮想空間画像をメインメモリ３０２に描画する。
【００６７】
この処理の詳細について、図１０を用いて説明する。
【００６８】
図１０は本発明の実施形態３の現実空間画像の位置姿勢予測の詳細を示すフローチャートである。
【００６９】
ステップＳ１００１で、ＣＰＵ３０１は、位置姿勢情報を取得する。ステップＳ１００２で、ＣＰＵ３０１は、位置姿勢情報中の位置姿勢成分をクオータニオンに変換する。ここで、位置姿勢情報の線形予測等の予測計算を行うには、クオータニオンに変換することが有効であることが一般的に知られているが、その予測計算方法は線形予測を用いるものに制限されるものではない。つまり、予測計算ができる方法であれば、どのようなものでも良い。
【００７０】
ステップＳ１００３で、ＣＰＵ３０１は、位置成分を示す値と、ステップＳ１００２にクオータニオンに変換された位置姿勢成分を示す値をメインメモリ３０２に蓄積する。このステップＳ１００３では、過去２フレーム分に対応する位置姿勢情報（位置成分及び位置姿勢成分を示す値）を蓄積するものとする。より正確でノイズの少ない予測が必要な場合には、３フレーム分以上のフレーム分に対応する位置姿勢情報（位置及び位置姿勢を示す値）を蓄積することも有効である。このフレーム数は、用途や目的に応じて設定すれば良く、その数が制限されるものではない。
【００７１】
ステップＳ１００４で、ＣＰＵ３０１は、２フレーム分の位置姿勢情報（位置及び位置姿勢を示す値）から、現実空間物体の速度を計算する。ここでの速度は、例えば、等速度移動、等速度回転を前提とすれば、２フレーム分の位置姿勢情報（位置及び位置姿勢を示す値）から線形予測で簡単に予測値を求めることが可能である。
【００７２】
ステップＳ１００５で、ＣＰＵ３０１は、計算した速度に基づいて、現実空間物体の位置姿勢の予測値を計算する予測計算を実行する。この予測計算方法は、特定の予測計算モデルに当てはめて予測値の推定を行う方法として、様々な方法が知られており、本発明はどのような予測計算方法を用いても構わない。
【００７３】
ステップＳ１００６で、計算した予測値を出力する。ステップＳ１００７で、ＰＣ１０３から処理の終了通知があるか否かを判定する。終了通知がない場合（ステップＳ１００７でＮＯ）、ステップＳ１００１０１に戻る。一方、終了通知がある場合（ステップＳ１００７でＹＥＳ）、処理を終了する。
【００７４】
以上の処理方式によって得られる予測値を用いて仮想空間画像を描画することで、現実空間画像と後に合成する場合でも、現実空間画像の取得時の状態から時間的に遅延が少ない仮想空間画像による画像合成を実現することができる。
【００７５】
以上説明したように、実施形態３によれば、実施形態１や２で説明した効果に加えて、仮想空間画像の描画を、後に取得する現実空間画像の取得時の予測値（位置を示す値及び位置姿勢を示す値）に基づいて行う。これにより、現実空間画像の取得時の状態（位置及び位置姿勢）に近い仮想空間画像と現実空間画像とを合成することが可能となる。
【００７６】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００７７】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００７８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００８０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００８１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００８５】
【図１】一般的な複合現実感提示装置のハードウェアの構成を示す図である。
【図２】一般的な複合現実感提示装置の処理を示すフローチャートである。
【図３】一般的な画像合成処理の具体例を示す図である。
【図４】本発明の実施形態１の複合現実感提示装置として機能するＰＣのハードウェア構成を示す図である。
【図５】本発明の実施形態１の複合現実感提示装置が実行する処理を示すフローチャートである。
【図６】本発明の実施形態１の画像合成処理の具体例を示す図である。
【図７】本発明の実施形態２の複合現実感提示装置が実行する処理を示すフローチャートである。
【図８】本発明の実施形態２の画像合成の具体例を説明するための図である。
【図９】本発明の実施形態３の複合現実感提示装置が実行する処理を示すフローチャートである。
【図１０】本発明の実施形態３の現実空間画像の位置姿勢予測の詳細を示すフローチャートである。
【符号の説明】
【００８６】
１０１ ＨＭＤ
１０２ 撮像部
１０３ ＰＣ
１０４ 位置姿勢計測部
１０５ ＨＭＤ計測センサ
１０６ 現実空間物体計測センサ
１１０ 仮想空間画像
１１１ 現実空間物体
【技術分野】
【０００１】
本発明は、現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置及びその制御方法、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
複合現実感システムでは、操作者の視点位置と視線方向及び空間中にある物体の位置を計測する必要がある。
【０００３】
位置姿勢の計測システムとしては、米国Ｐｏｌｈｅｍｕｓ社製のＦＡＳＴＲＡＫ（商品名）に代表されるような位置姿勢計測装置を使うのが一般的な手法の一つである。また、ジャイロ等の計測機器で姿勢のみを計測し、位置情報及び姿勢のドリフト誤差を画像から計測する方法も取られている。
【０００４】
ここで、例えば、特許文献１に示されるような、一般的な複合現実感提示装置のハードウェアの構成、及び一般的な複合現実感提示装置の処理のフローについて、図１及び図２を用いて説明する。
【０００５】
本例では、現実空間物体１１１の現実空間画像に仮想空間画像１１０（仮想空間物体の画像）を重畳表示することにより、現実空間物体１１１に仮想空間画像１１０で示される仮想物体があたかもそこに存在するかのように表示することができる。このような機能は、デザインの検証やエンターテイメントに応用することが可能である。
【０００６】
ステップＳ２０１で、ＨＭＤ（ヘッドマウントディスプレイ）１０１に内蔵された撮像部１０２から、ＰＣ（パーソナルコンピュータ）１０３が現実空間画像を取得する。
【０００７】
次に、ステップＳ２０２で、ＨＭＤ１０１に固定されたＨＭＤ計測センサ１０５の位置姿勢の計測値、及び現実空間物体１１１に固定された現実空間物体計測センサ１０６の位置姿勢を計測する。これらの計測した計測値は、位置姿勢計測部１０４で収集され、位置姿勢情報として、シリアル通信等の通信部でＰＣ１０３が取り込む。
【０００８】
ステップＳ２０３で、現実空間物体１１１の現実空間画像を、ＰＣ１０３は、ＰＣ１０３内のメモリ上に描画する。
【０００９】
ステップＳ２０４で、ステップＳ２０２で取得した撮像部１０２の位置姿勢の計測値及び現実空間物体１１１の位置姿勢の計測値に応じた仮想空間画像を、現実空間画像に重畳するように、ＰＣ１０３のメモリ上に描画する。これにより、メモリ上には、現実空間画像と仮想空間画像の合成画像である複合現実感画像が生成される。
【００１０】
ステップＳ２０５で、ＰＣ１０３のメモリ上に描画された合成画像（複合現実感画像）を、ＰＣ１０３がＨＭＤ１０１に送信することで、合成画像（複合現実感画像）をＨＭＤ１０１上で表示する。
【００１１】
以上、ステップＳ２０１からステップＳ２０５が１フレーム分の処理である。そして、ステップＳ２０６で、ＰＣ１０３はから観察者の操作に基づく処理の終了通知があるか否かを判定する。終了通知がない場合（ステップＳ２０６でＮＯ）、ステップＳ２０１に戻る。一方、終了通知がある場合（ステップＳ２０６でＹＥＳ）、処理を終了する。
【００１２】
次に、上記の処理によって得られる合成画像の一例について、図３を用いて説明する。
【００１３】
図３において、画像５０１から画像５０５は、撮像部１０２から得られる現実空間画像を時系列に並べたものである。画像５１１〜画像５１４は、現実空間画像と仮想空間画像の合成処理の様子を時系列に並べたものである。
【００１４】
この例では、ステップＳ２０１で取得した現実空間画像は、画像５０１であるとする。その後、ステップＳ２０２及びステップＳ２０３の処理を行う間にも、時間は経過し、現実空間画像は、画像５０１から画像５０２の状態になっている。
【００１５】
ステップＳ２０４で現実空間画像に２つの仮想空間画像を順次重畳して描画した例が、画像５１３及び画像５１４となる。
【００１６】
最終的に得られる画像（合成画像）５１４は、ステップＳ２０５で出力されるが、この時には、既に現実空間画像の状態は、画像５０４もしくは、画像５０５の状態となっている。
【特許文献１】特開２００５−１０７９６８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
上述のような一般的な複合現実感提示装置の構成では、ステップ２０１で取得した現実空間画像が、ＨＭＤ１０１で表示されるまでには多くのステップが存在する。特に、ステップＳ２０４の仮想空間画像の重畳描画では、高画質なＣＧ画像によってその描画を実現するために、時間がかかる場合が多い。
【００１８】
そのため、ＨＭＤ１０１で表示されるときには、図３で示したように、実際に観察者に提示される合成画像中の現実空間画像が、その時点の現実空間画像に対して時間的に遅れたものになっており、観察者に違和感を生じさせる原因となっていた。
【００１９】
本発明は上記の課題を解決するためになされたものであり、より観察者に違和感を感じさせない複合現実感画像を提示することができる複合現実感提示装置及びその制御方法、コンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記の目的を達成するための本発明による複合現実感提示装置は以下の構成を備える。即ち、
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段と
前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画手段と、
前記現実空間物体の現実空間画像を取得する取得手段と、
前記取得手段で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成手段と、
前記合成手段によって得られる合成画像を出力する出力手段と
を備える。
【００２１】
また、好ましくは、前記仮想空間画像の奥行き情報を記憶する奥行きバッファを更に備え、
前記合成手段は、前記奥行きバッファに記憶されている奥行き情報を利用して、前記メモリ上の前記仮想空間画像が描画されていない部分に前記現実空間画像を描画することで、該現実空間画像と該仮想空間画像とを合成する。
【００２２】
また、好ましくは、前記仮想空間画像への画像の上書きの可否を制御するための制御情報を記憶するステンシルバッファを更に備え、
前記合成手段は、前記ステンシルバッファに記憶されている制御情報を利用して、前記メモリ上の前記仮想空間画像が前記現実空間画像で上書きされないように該メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する。
【００２３】
また、好ましくは、前記合成手段は、前記現実空間画像と前記仮想空間画像とをアルファブレンド合成する。
【００２４】
また、好ましくは、前記描画手段による前記仮想空間画像の描画に利用する位置姿勢情報を、前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて予測する予測手段を更に備える。
【００２５】
上記の目的を達成するための本発明による複合現実感提示装置の制御方法は以下の構成を備える。即ち、
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御方法であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
を備える。
【００２６】
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
をコンピュータに実行させる。
【発明の効果】
【００２７】
本発明によれば、より観察者に違和感を感じさせない複合現実感画像を提示することができる複合現実感提示装置及びその制御方法、コンピュータプログラムを提供できる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２９】
＜実施形態１＞
実施形態１においては、予め前処理として、現実空間画像を取得した撮像部（カメラ）の内部パラメータを取得しておき、画像調整処理を一切を行わない場合に現実空間画像と仮想空間画像の幾何学的整合がとれていることを前提として説明する。
【００３０】
正確な現実空間画像と仮想空間画像の幾何学的整合のためには、アスペクト比や歪みパラメータも算出して、現実空間画像の調整の処理中で同時に処理する必要がある。しかしながら、本願発明には、この点については、本質的のものではないので、歪みやアスペクト比の誤差に関しては説明を省略する。
【００３１】
以下は、撮像部（カメラ）の内部パラメータの校正や、位置姿勢計測部の校正が完了していることを前提として、本発明に特徴的な画像合成部分に関して説明する。
【００３２】
本発明を実現するための複合現実感提示装置の基本的な構成は、図１に示す構成と同様であるが、その内部処理が異なるものである。
【００３３】
実施形態１の位置姿勢計測システムとしては、米国Ｐｏｌｈｅｍｕｓ社製のＦＡＳＴＲＡＫ（商品名）に代表されるような位置姿勢計測装置を使用することが可能である。但し、ジャイロ等の計測機器で、姿勢のみを計測し、位置情報及び、姿勢のドリフト誤差を撮影画像から計測する方法でも実施可能である。
【００３４】
次に、実施形態１の複合現実感提示装置による画像合成に関して、図１、図４及び図５を用いて説明する。ここで、図４は本発明の実施形態１の複合現実感提示装置として機能するＰＣのハードウェア構成を示す図である。また、図５は本発明の実施形態１の複合現実感提示装置が実行する処理を示すフローチャートである。
【００３５】
尚、図５に示すフローチャートは、例えば、図４の複合現実感提示装置のＣＰＵ３０１が、メインメモリに記憶されている制御プログラムを実行することで実現される。
【００３６】
まず、ステップＳ４０１で、ＣＰＵ３０１は、ＨＭＤ１０１に固定されたＨＭＤ計測センサ１０５の位置姿勢の計測値、及び現実空間物体１１１に固定された現実空間物体計測センサ１０６の位置姿勢の計測値から位置姿勢情報を取得する。即ち、各センサで計測された計測値（位置姿勢情報）は、位置姿勢計測部１０４で収集され、得られる２種類の位置姿勢情報から、観察者の視点と、現実空間中に配した現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を算出する。そして、位置姿勢計測部１０４は、シリアル通信等の通信部でＰＣ１０３に算出した結果を送信する。
【００３７】
これにより、ＰＣ１０３内部では、通信デバイス３０７を通じて、メインメモリ３０２に計測データが送られ、蓄積される。このように、ＰＣ１０３は、位置姿勢計測部１０４から、観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得部として機能する。
【００３８】
次に、ステップＳ４０２で、ＣＰＵ３０１は、既に取得している位置姿勢情報に基づいて、所定座標系に従う仮想空間画像をメインメモリ３０２に描画する。通常は、背景となる現実空間画像の上に、仮想空間画像を重畳することで画像合成を行うが、本発明では、仮想空間画像の描画を先に行う。
【００３９】
尚、アプリケーションの形態によっては、高精細で高画質な仮想空間画像を描画する必要がある。そして、その場合には、描画においては、ビデオレートにして数フレーム以上の時間を要する場合がある。また、所定座標系とは、現実空間画像と仮想空間画像とを共通の座標系で表示するための３次元座標系であり、その座標系を規定するための起点となる原点は適宜設定することが可能である。
【００４０】
本発明では、仮想空間画像を先に描画することにより、合成に利用する現実空間画像に関して、仮想空間画像を描画している間に、合成対象として意図する時点の現実空間画像が、その時点よりも後の現実空間画像に変わってしまうことを防ぐことができる。
【００４１】
この時、ＰＣ１０３内では、ＣＰＵ３０１がメインメモリ３０２に蓄積されている仮想空間画像を利用して、グラフィックスアクセラレータ３０３は、その仮想空間画像をフレームメモリ３０４に描画する。その際、グラフィックスアクセラレータ３０３は、奥行きバッファ３０８の仮想空間画像の奥行き情報も同時に更新する。
【００４２】
ここで、ステップＳ４０２の描画に２フレーム程度時間がかかる場合、図６の仮想空間画像６１３、６１４では、現実空間画像の状態が、画像６０１から画像６０４のような状態まで進んでしまっていることを示している。ここで、合成対象となる仮想空間画像の状態は、画像６１１〜６１４となっている。
【００４３】
ステップＳ４０３で、ＨＭＤ１０１に内蔵された撮像部１０２からＰＣ１０３に現実空間画像を取得する。このとき、ＰＣ１０３内部では、ＨＭＤ１０１から受信する現実空間画像が、画像入力デバイス３０６によって所定の形式に変換され、メインメモリ３０２に蓄積される。図６の場合では、画像６０５を取得することになる。
【００４４】
ステップＳ４０４で、ＣＰＵ３０１は、取得した現実空間画像をメインメモリ３０２に描画する。ＰＣ１０３内部では、メインメモリ３０２上の現実空間画像は、ＣＰＵ３０１によって、フレームメモリ３０４に描画する。この時、ＣＰＵ３０１は、グラフィックスアクセラレータ３０３を制御することで、奥行きバッファ３０８の奥行き情報を利用し、フレームメモリ３０４上で仮想空間画像が描画されていない部分のみに現実空間画像を重畳描画する。この場合、図６の画像６１５を得ることが可能である。これにより、仮想空間画像に現実空間画像が上書きされないようにすることができる。
【００４５】
尚、仮想空間画像に現実空間画像が上書きされないようにする方法としては、仮想空間画像への画像の上書きの可否を制御するための制御情報を記憶するステンシルバッファ３０９を利用して、上書き可能、禁止を制御することも可能である。
【００４６】
ステップＳ４０５で、ＣＰＵ３０１は、ステップＳ４０４で生成した合成画像を、画像出力デバイス３０５によってＨＭＤ１０１に出力する。
【００４７】
以上の処理によって、観察者は、ＨＭＤ１０１に表示される画像を見て、あたかも現実空間に仮想物体が存在しているかのような画像を観察することができる。また、本処理によって、観察者が意図する時点の現実空間画像と、表示される現実空間画像との時間的な遅れ（差）は非常に少ないものとなる。
【００４８】
以上、ステップＳ４０１からステップＳ４０５が１フレーム分の処理である。そして、ステップＳ４０６で、ＣＰＵ３０１は観察者の指示に基づく処理の終了通知があるか否かを判定する。終了通知がない場合（ステップＳ４０６でＮＯ）、ステップＳ４０１に戻る。一方、終了通知がある場合（ステップＳ４０６でＹＥＳ）、処理を終了する。
【００４９】
以上説明したように、実施形態１によれば、仮想空間画像を描画した後に、ユーザが意図する合成対象の現実空間画像を取得して、それを仮想空間画像に重畳描画して合成画像を生成する。これにより、画像処理に伴う画像出力時間の遅延に起因する、現実空間画像の内容の違いを極力軽減して、よりユーザが意図する時点の現実空間画像の内容を有する合成画像を提示することができる。
【００５０】
＜実施形態２＞
実施形態２は、実施形態１の応用例を説明する。複合現実感提示装置においては、出力画像を半透明表示にすることが、観察者の視認性を向上させるために有効である場合が多い。そこで、実施形態２では、この半透明表示を実現する場合の構成について説明する。
【００５１】
尚、実施形態２の複合現実感提示装置の構成は、実施形態１の複合現実感提示装置で実現可能なため、その詳細については省略する。
【００５２】
次に、実施形態２の複合現実感提示装置による画像合成に関して、図７を用いて説明する。
【００５３】
図７は本発明の実施形態２の複合現実感提示装置が実行する処理を示すフローチャートである。
【００５４】
尚、図７において、実施形態１の図５と同一の処理については、同一のステップ番号を付加し、その詳細については省略する。
【００５５】
図７では、ステップＳ４０３の処理後、ステップＳ７０４で、ＣＰＵ３０１は、グラフィックスアクセラレータ３０３を制御することで、現実空間画像をアルファブレンド合成する。
【００５６】
ここで、具体的な処理例を図８に示す。
【００５７】
図８は本発明の実施形態２の画像合成の具体例を説明するための図である。
【００５８】
尚、図８において、実施形態１の図６と共通の画像については、同一の参照番号を付加している。
【００５９】
図８では、仮想空間画像８１３及び仮想空間画像８１４は、黒を背景の描画を行っている。そして、仮想空間画像８１４に対して、現実空間画像である画像６０５を、加算等のアルファブレンディング処理を用いて合成することにより、半透明効果を出すことが可能になる。その結果、半透明処理された合成画像８１５を得ることができる。
【００６０】
尚、合成画像８１５は、模式的に白黒で表現しているが、実際には半透明の合成を行うことが可能になる。
【００６１】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、用途に応じて、出力画像を半透明表示することが可能となる。
【００６２】
＜実施形態３＞
実施形態３は、実施形態１の応用例である。実施形態１や２では、観察者が観察している現時点の現実空間画像の状態と、最終的にＨＭＤ１０１に出力される現実空間画像の状態の時間的な遅れを軽減する構成について説明した。ここで、この構成では、仮想空間画像を生成するためのステップＳ４０１で取得する位置姿勢情報は、現実空間画像の取得時の実際の現実空間物体１１１の位置姿勢に対して時間的な遅れが発生する可能性がある。そこで、実施形態３では、取得した位置姿勢姿勢情報の時間的な遅れを軽減するための画像合成について説明する。
【００６３】
まず、実施形態３の複合現実感提示装置による画像合成に関して、図９を用いて説明する。
【００６４】
図９は本発明の実施形態３の複合現実感提示装置が実行する処理を示すフローチャートである。
【００６５】
尚、図９において、実施形態１の図５と同一の処理については、同一のステップ番号を付加し、その詳細については省略する。
【００６６】
特に、図９では、実施形態１の図５のステップＳ４０１の処理の後に、ステップＳ９０３で、ＣＰＵ３０１は、現実空間画像の位置姿勢予測を実行する。そして、ステップＳ４０２ａで、ＣＰＵ３０１は、ステップＳ９０３で得られる予測値（位置姿勢情報）に基づいて、仮想空間画像をメインメモリ３０２に描画する。
【００６７】
この処理の詳細について、図１０を用いて説明する。
【００６８】
図１０は本発明の実施形態３の現実空間画像の位置姿勢予測の詳細を示すフローチャートである。
【００６９】
ステップＳ１００１で、ＣＰＵ３０１は、位置姿勢情報を取得する。ステップＳ１００２で、ＣＰＵ３０１は、位置姿勢情報中の位置姿勢成分をクオータニオンに変換する。ここで、位置姿勢情報の線形予測等の予測計算を行うには、クオータニオンに変換することが有効であることが一般的に知られているが、その予測計算方法は線形予測を用いるものに制限されるものではない。つまり、予測計算ができる方法であれば、どのようなものでも良い。
【００７０】
ステップＳ１００３で、ＣＰＵ３０１は、位置成分を示す値と、ステップＳ１００２にクオータニオンに変換された位置姿勢成分を示す値をメインメモリ３０２に蓄積する。このステップＳ１００３では、過去２フレーム分に対応する位置姿勢情報（位置成分及び位置姿勢成分を示す値）を蓄積するものとする。より正確でノイズの少ない予測が必要な場合には、３フレーム分以上のフレーム分に対応する位置姿勢情報（位置及び位置姿勢を示す値）を蓄積することも有効である。このフレーム数は、用途や目的に応じて設定すれば良く、その数が制限されるものではない。
【００７１】
ステップＳ１００４で、ＣＰＵ３０１は、２フレーム分の位置姿勢情報（位置及び位置姿勢を示す値）から、現実空間物体の速度を計算する。ここでの速度は、例えば、等速度移動、等速度回転を前提とすれば、２フレーム分の位置姿勢情報（位置及び位置姿勢を示す値）から線形予測で簡単に予測値を求めることが可能である。
【００７２】
ステップＳ１００５で、ＣＰＵ３０１は、計算した速度に基づいて、現実空間物体の位置姿勢の予測値を計算する予測計算を実行する。この予測計算方法は、特定の予測計算モデルに当てはめて予測値の推定を行う方法として、様々な方法が知られており、本発明はどのような予測計算方法を用いても構わない。
【００７３】
ステップＳ１００６で、計算した予測値を出力する。ステップＳ１００７で、ＰＣ１０３から処理の終了通知があるか否かを判定する。終了通知がない場合（ステップＳ１００７でＮＯ）、ステップＳ１００１０１に戻る。一方、終了通知がある場合（ステップＳ１００７でＹＥＳ）、処理を終了する。
【００７４】
以上の処理方式によって得られる予測値を用いて仮想空間画像を描画することで、現実空間画像と後に合成する場合でも、現実空間画像の取得時の状態から時間的に遅延が少ない仮想空間画像による画像合成を実現することができる。
【００７５】
以上説明したように、実施形態３によれば、実施形態１や２で説明した効果に加えて、仮想空間画像の描画を、後に取得する現実空間画像の取得時の予測値（位置を示す値及び位置姿勢を示す値）に基づいて行う。これにより、現実空間画像の取得時の状態（位置及び位置姿勢）に近い仮想空間画像と現実空間画像とを合成することが可能となる。
【００７６】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００７７】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００７８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００８０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００８１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００８５】
【図１】一般的な複合現実感提示装置のハードウェアの構成を示す図である。
【図２】一般的な複合現実感提示装置の処理を示すフローチャートである。
【図３】一般的な画像合成処理の具体例を示す図である。
【図４】本発明の実施形態１の複合現実感提示装置として機能するＰＣのハードウェア構成を示す図である。
【図５】本発明の実施形態１の複合現実感提示装置が実行する処理を示すフローチャートである。
【図６】本発明の実施形態１の画像合成処理の具体例を示す図である。
【図７】本発明の実施形態２の複合現実感提示装置が実行する処理を示すフローチャートである。
【図８】本発明の実施形態２の画像合成の具体例を説明するための図である。
【図９】本発明の実施形態３の複合現実感提示装置が実行する処理を示すフローチャートである。
【図１０】本発明の実施形態３の現実空間画像の位置姿勢予測の詳細を示すフローチャートである。
【符号の説明】
【００８６】
１０１ ＨＭＤ
１０２ 撮像部
１０３ ＰＣ
１０４ 位置姿勢計測部
１０５ ＨＭＤ計測センサ
１０６ 現実空間物体計測センサ
１１０ 仮想空間画像
１１１ 現実空間物体
【特許請求の範囲】
【請求項１】
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段と
前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画手段と、
前記現実空間物体の現実空間画像を取得する取得手段と、
前記取得手段で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成手段と、
前記合成手段によって得られる合成画像を出力する出力手段と
を備えることを特徴とする複合現実感提示装置。
【請求項２】
前記仮想空間画像の奥行き情報を記憶する奥行きバッファを更に備え、
前記合成手段は、前記奥行きバッファに記憶されている奥行き情報を利用して、前記メモリ上の前記仮想空間画像が描画されていない部分に前記現実空間画像を描画することで、該現実空間画像と該仮想空間画像とを合成する
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項３】
前記仮想空間画像への画像の上書きの可否を制御するための制御情報を記憶するステンシルバッファを更に備え、
前記合成手段は、前記ステンシルバッファに記憶されている制御情報を利用して、前記メモリ上の前記仮想空間画像が前記現実空間画像で上書きされないように該メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項４】
前記合成手段は、前記現実空間画像と前記仮想空間画像とをアルファブレンド合成する
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項５】
前記描画手段による前記仮想空間画像の描画に利用する位置姿勢情報を、前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて予測する予測手段を更に備える
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項６】
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御方法であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
を備えることを特徴とする複合現実感提示装置の制御方法。
【請求項７】
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段と
前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画手段と、
前記現実空間物体の現実空間画像を取得する取得手段と、
前記取得手段で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成手段と、
前記合成手段によって得られる合成画像を出力する出力手段と
を備えることを特徴とする複合現実感提示装置。
【請求項２】
前記仮想空間画像の奥行き情報を記憶する奥行きバッファを更に備え、
前記合成手段は、前記奥行きバッファに記憶されている奥行き情報を利用して、前記メモリ上の前記仮想空間画像が描画されていない部分に前記現実空間画像を描画することで、該現実空間画像と該仮想空間画像とを合成する
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項３】
前記仮想空間画像への画像の上書きの可否を制御するための制御情報を記憶するステンシルバッファを更に備え、
前記合成手段は、前記ステンシルバッファに記憶されている制御情報を利用して、前記メモリ上の前記仮想空間画像が前記現実空間画像で上書きされないように該メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項４】
前記合成手段は、前記現実空間画像と前記仮想空間画像とをアルファブレンド合成する
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項５】
前記描画手段による前記仮想空間画像の描画に利用する位置姿勢情報を、前記位置姿勢情報取得手段で取得した位置姿勢情報に基づいて予測する予測手段を更に備える
ことを特徴とする請求項１に記載の複合現実感提示装置。
【請求項６】
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御方法であって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
を備えることを特徴とする複合現実感提示装置の制御方法。
【請求項７】
現実空間画像と仮想空間画像とを合成して提示する複合現実感提示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
観察者の視点と、現実空間中の現実空間物体との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と
前記位置姿勢情報取得工程で取得した位置姿勢情報に基づいて、仮想空間画像を生成して、メモリ上に描画する描画工程と、
前記現実空間物体の現実空間画像を取得する取得工程と、
前記取得工程で取得した現実空間画像を、前記仮想空間画像が描画されている前記メモリ上に描画することで、該現実空間画像と該仮想空間画像とを合成する合成工程と、
前記合成工程によって得られる合成画像を出力する出力工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２９３２０９（Ｐ２００８−２９３２０９Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３７０１４（Ｐ２００７−１３７０１４）
【出願日】平成１９年５月２３日（２００７．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２３日（２００７．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]