画像生成装置及び方法
【課題】自然な操作感を保ちながら、視点位置にＣＧオブジェクトを接近させた状態の画像を安定して提供可能にする、及び／又は、大きなＣＧオブジェクトの全体を観察可能とすべくＣＧオブジェクトを視点位置から遠ざけた状態の画像を提供可能にする。
【解決手段】第１検出手段により現実画像を撮影するビデオカメラの位置、姿勢を検出し、第２検出手段によりコンピュータグラフィックス（ＣＧ）画像を生成すべき位置、姿勢を検出し、第１及び第２検出手段による位置、姿勢の検出結果に基づいて現実画像とＣＧが合成される。ここで、第１及び第２検出手段で検出された位置間の距離が所定範囲にあるか否かが判定され、所定範囲外にあると判定された場合は、第２検出手段で検出された位置よりＣＧの生成すべき位置を変更する（Ｓ２０５）。
【解決手段】第１検出手段により現実画像を撮影するビデオカメラの位置、姿勢を検出し、第２検出手段によりコンピュータグラフィックス（ＣＧ）画像を生成すべき位置、姿勢を検出し、第１及び第２検出手段による位置、姿勢の検出結果に基づいて現実画像とＣＧが合成される。ここで、第１及び第２検出手段で検出された位置間の距離が所定範囲にあるか否かが判定され、所定範囲外にあると判定された場合は、第２検出手段で検出された位置よりＣＧの生成すべき位置を変更する（Ｓ２０５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成技術に関し、より具体的には、現実世界の映像とコンピュータによって生成された映像を重畳し、かつ、両者の映像を位置合わせして表示することができる複合現実感画像の提示に関するものである。
【背景技術】
【０００２】
従来より、現実世界の映像と、３次元モデリングされたコンピュータ画像（ＣＧ）による映像を重畳して表示し、あたかも現実の世界中にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができるような複合現実感（ＭＲ:Mixed Reality）を提示する装置が存在する（特許文献１）。この種の装置は、現実の映像を撮影するための現実映像撮影部（たとえばビデオカメラ）と、現実の映像を撮影している位置から見たようにＣＧ映像を作り出すＣＧ映像生成部と、両者を合成して表示することのできる映像表示部（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）を備える。また、現実映像撮影部の視線の位置姿勢が変化してもＣＧと現実映像との位置関係を正しく表示するために、現実映像撮影部（ビデオカメラ）の視線位置と視線方向を検出するための、視線位置姿勢検出部（たとえば位置姿勢センサ）を備えている。
【０００３】
ＣＧ映像生成部は、３次元モデリングされたＣＧを、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出部によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影部がどの視線位置・視線方向から観察した場合でも、現実空間の中に正しくＣＧで生成された映像が置かれているような映像を表示ことができる。ＣＧの種類や配置の変更、アニメーションなどは、一般的なＣＧと同様に、自由に行える。ＣＧの位置を指定するためにもうひとつ位置姿勢センサを設けて、この位置姿勢センサの値に従った場所にＣＧを描画することも可能である。更に、そのような構成において、ＣＧの位置を決定するための位置姿勢センサを手に持ち、観察者が自在にＣＧの位置、姿勢を変化させながらＣＧを観察することが従来より行われている。
【０００４】
なお、現実空間の映像を撮影する現実映像撮影部は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、メモリ中にキャプチャする。現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用いて、さらに上記ビデオカメラをＨＭＤの視線方向に装着することにより、観察者が向いている方向の映像をＨＭＤに映し出すことができ、かつ、その方向を向いたときのＣＧの描画も行えるため、観察者の没入感を高めることができる。
【０００５】
なお、映像表示装置は、ビデオカメラを備えずにＨＭＤ前面の様子をそのままシースルーで観察できるような、光学シースルー式と呼ばれるＨＭＤであってもよい。この場合は先に説明した現実映像撮影部はビデオ撮影によるものではなく光学的にＨＭＤの前面の現実空間を表示装置にそのまま映し出すものとなる。このようなタイプのＨＭＤでは、観察者の前面の風景はデジタル処理なしでそのままシースルーで観察でき、さらにその画面にＣＧを重畳して表示することができる。
【０００６】
また、位置姿勢検出部としては、磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの視線の位置姿勢を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Polhemus）社の製品FASTRAK（商標）などがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ,Ｙ,Ｚ）と姿勢（Roll, Pitch, Yaw）をリアルタイムに検出する装置である。
【０００７】
上記の構成により、観察者はＨＭＤを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。例えば、ＨＭＤを装着した観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実の映像を撮影し、ＨＭＤに備え付けられた視線位置姿勢検出部（位置姿勢センサ）がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成部はその視線位置・姿勢から見たＣＧ映像を生成（レンダリング）し、これを現実映像に重畳して表示する。
【特許文献１】特開２０００−３５０８５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のシステムでは、手で保持した位置姿勢センサの場所にＣＧオブジェクトを描画する場合、次のような課題が存在した。即ち、
（１）ＣＧの内部を観察するためにセンサを目に近付けると、ＨＭＤの電気や金属などの影響でセンサが誤動作し、ＣＧの表示位置が不安定となっていた。
（２）大きなＣＧオブジェクトを表示した場合には、レシーバを持った手をいっぱいまで伸ばしても十分に遠ざけることができず、ＣＧオブジェクト全体を観察することができなかった。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、自然な操作感を保ちながら、視点位置にＣＧオブジェクトを接近させた状態の画像を安定して提供可能にすること、及び／又は、大きなＣＧオブジェクトの全体を観察可能とすべくＣＧオブジェクトを視点位置から遠ざけた状態の画像を提供可能にすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明による画像生成装置は以下の構成を備える。即ち、
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成装置であって、
前記撮影手段の位置、姿勢を検出する第１検出手段と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出手段と、
前記第１及び第２検出手段によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成手段と、
前記第１及び第２検出手段で検出された位置間の距離が所定範囲にあるか否かを判定する判定手段と、
前記判定手段により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更手段とを備える。
【００１１】
また、上記の目的を達成するための本発明による画像生成方法は、
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成方法であって、
前記撮影手段の位置、姿勢を検出する第１検出工程と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出工程と、
前記第１及び第２検出工程によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成工程と、
前記第１及び第２検出工程で検出された位置間の距離が所定範囲にあるか否かを判定する判定工程と、
前記判定工程により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更工程とを備える。
【発明の効果】
【００１２】
本発明によれば、自然な操作感を保ちながら、視点位置にＣＧオブジェクトを接近させた状態の画像を安定して提供することが可能となる、及び／又は、大きなＣＧオブジェクトの全体を観察可能とすべくＣＧオブジェクトを視点位置から遠ざけた状態の画像を提供することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、添付の図面を参照して、本発明の好適な実施形態について説明する。
【００１４】
＜第１実施形態＞
図１は、第１実施形態による複合現実感提示システムの構成を示すブロック図である。図１に示されるように、バス１０２を介して、位置姿勢センサコントローラ１０３、ＨＭＤコントローラ１３０、メモリ１０６，１０７がＣＰＵ１０１に接続されている。ＨＭＤコントローラ１３０にはＨＭＤ１０４及びビデオカメラ１０５が接続され、ビデオカメラ１０５からの映像の入力や、ＨＭＤへ表示すべき映像の出力を制御する。位置姿勢センサコントローラ１０３には位置姿勢センサ１０８，１０９が接続されている。位置姿勢センサ１０８はＨＭＤ１０４にとりつけられ、ＨＭＤ１０４にとりつけられたビデオカメラ１０６の視線位置姿勢を検出するために用いられる。一方、位置姿勢センサ１０９はＭＲ空間に表示するＣＧの位置姿勢を指定するためのものである。また、ここではセンサは２つとしたがこれに限られるものではなく、システムにおいて必要なだけ設けることが可能である。この場合、複数のＣＧを各位置姿勢センサに割り当てることも可能である。また、ＨＭＤを２つ以上用意して観察者を２人以上とするものであってもかまわない。
【００１５】
なお、ビデオカメラ１０５の視線位置姿勢によって表されるビデオカメラ１０５の位置（視線位置）は、観察者の位置、即ち視点位置となる。以下の実施形態では、このような視点位置を視線位置と称することにする。
【００１６】
メモリ１０６に含まれる、参照番号１１０〜１１６で示される各部は、対応する処理部の機能をＣＰＵ１０１によって実現するための制御プログラムである。また、メモリ１０７に格納される、参照番号１２０〜１２９で示される各データ、パラメータは、本実施形態の複合現実感提示処理の実行に際して用いるべく保持されているものである。なお、メモリ１０６と１０７は同じものであっても構わない。メモリ１０６，１０７の各部の機能や各領域については、以下に詳述する複合現実感提示動作により明らかとなろう。
【００１７】
メモリ１０６内の移動設定部１１６は、ＣＧオブジェクトが視線位置に所定距離よりも近づいた場合や、視線位置から所定距離よりも遠ざかった場合をどのように判定し、どのようにオブジェクト位置を移動させるかを設定するものである。具体的には、メモリ１０７の近限界距離１２５、遠限界距離１２６、近倍率１２７、遠倍率１２８の各値を設定する。
【００１８】
近限界距離１２５は、ＣＧオブジェクトが視線位置に対してどこまで近づいてきたら当該オブジェクトの移動処理を行うかを指定する値である。同様に、遠限界距離１２６は、ＣＧオブジェクトが視線位置からどこまで遠ざかったら移動処理を行うかを指定する値である。近倍率１２７は、ＣＧオブジェクトが近限界距離１２５よりも視線位置に近づいてきたときに、実際の距離よりもどれくらい視点に近づけて表示するかを指定する係数である。なお、この近倍率１２７を用いたＣＧオブジェクト位置の計算の詳細はＣＧオブジェクト移動部１１５の処理の説明の中で述べる。また、遠倍率１２８は、ＣＧオブジェクトが遠限界距離１２６よりも視線位置から遠ざかったときに、実際の距離よりもどれくらい視点から遠ざけて表示するかを指定するものである。この遠倍率１２８を用いたＣＧオブジェクト位置の計算の詳細についてもＣＧオブジェクト移動部１２５の処理の説明の中で述べる。以上の各値は、移動設定部１１６が不図示のユーザインターフェースを提供することにより、複合現実感画像の提示に先立ってシステムにセットしておくものとする。この場合のユーザインターフェースの形態等はいかようなものであってもかまわない。
【００１９】
次に、本実施形態による画像提示処理の全体の流れについて説明する。図２は、全体の処理の流れを説明するためのフローチャートである。
【００２０】
まずステップＳ２０１において、現実映像撮影部１１０は、ビデオカメラ１０５を用いて撮影した映像をキャプチャし、現実画像１２０としてメモリ１０７に書き込む。次にステップＳ２０２において、位置姿勢検出部１１２は、位置姿勢センサ１０８を用いてビデオカメラ１０５の位置姿勢を検出し、これを視線位置姿勢１２１としてメモリ１０７に記録する。続いて、ステップＳ２０３において、位置姿勢検出部１１２は更に、位置姿勢センサ１０９の位置姿勢を検出し、これをＣＧ位置姿勢１２２としてメモリ１０７に記録する。
【００２１】
次に、ステップＳ２０４において、ＣＧオブジェクト距離算出部１１４は、ビデオカメラ１０５の視線位置とＣＧの位置（それぞれ視線位置姿勢１２１、ＣＧ位置姿勢１２２として記録されている）との間の距離を求める。空間上の２点ｐ1(ｘ1,ｙ1,ｚ1)とｐ2(ｘ2,ｙ2,ｚ2)の間の距離Ｌは、
Ｌ = √{(ｘ2−ｘ1)2 ＋ (ｙ2−ｙ1)2 ＋ (ｚ2−ｚ1)2}
によって求まる。ＣＧオブジェクト距離算出部１１４は上記式により算出した値をオブジェクト距離１２９としてメモリ１０７に記録する。
【００２２】
次に、ステップＳ２０５で、ＣＧオブジェクト移動部１１５は、ＣＧオブジェクトの位置とビデオカメラの視線位置との位置関係が所定の条件を満たすかか否かを判断し、満たす場合にはＣＧオブジェクトを移動し、ＣＧ位置姿勢１２２を更新する。ＣＧオブジェクト移動部１１５の処理については図３乃至図５を参照して後述する。
【００２３】
次に、ステップＳ２０６において、ＣＧ映像生成部１１１は、ＣＧ映像をＣＧ画像１２４としてメモリ１０７に書き込む。なお、ＣＧは、従来の複合現実感提示装置と同様に、ＣＧ位置姿勢１２２で決定される位置及び姿勢で存在するＣＧモデルを、視線位置姿勢１２１で決定されるビデオカメラの位置姿勢から見たように、ＣＧモデルデータ１２３をレンダリングするものである。
【００２４】
ステップＳ２０７では、映像表示部１１３によって、メモリ１０７に記録された現実画像１２０とＣＧ画像１２４を合成して、複合現実感画像（ＭＲ画像）を生成し、これを表示装置（本例ではＨＭＤ１０６）に表示する。
【００２５】
以上で一画面分のＭＲ画像を表示できることになるが、この処理全体を次々とくり返し連続して行うことで、動画としてＭＲ画像を提示することが可能である。
【００２６】
次に、ＣＧオブジェクト移動部１１５の詳細を説明する。図３はＣＧオブジェクト移動手段部１１５による処理を説明するフローチャートである。なお、以下、Ｐe(Ｘe,Ｙe,Ｚe)は視線位置を示す位置ベクトル、Ｐs(Ｘs,Ｙs,Ｚs)は位置姿勢センサ１０９が示す位置を示す位置ベクトル、Ｐo(Ｘo,Ｙo,Ｚo)はＣＧオブジェクト移動部１１５によって移動する先のＣＧオブジェクト位置を示す位置ベクトルである。また、各位置間の距離は、Ｌ(Ｐn,Ｐm)と記述し、これにより２点ＰnとＰmの間の距離を示す。例えばＬ(Ｐe,Ｐs)はセンサ位置Ｐsと視線位置Ｐeの間の距離である。また図１におけるメモリ１０７の近限界距離１２５はＬn、遠限界距離１２６はＬf、近倍率１２７はＭn、遠倍率１２８はＭfと記載する。
【００２７】
ＣＧオブジェクト移動部１１５は、まず、ステップＳ３０１において、オブジェクト距離１２９が近限界距離１２５よりも視線位置に近いかどうかを判定する。近いと判定された場合はステップＳ３０３において図４の（Ａ）で後述する方法によりオブジェクト位置を計算し、ＣＧオブジェクト表示位置を変更する。近くない場合はステップＳ３０２に進む。
【００２８】
ステップＳ３０２では、オブジェクト距離１２９が遠限界距離１２６よりも遠いかどうかを判定する。遠いと判定された場合はステップＳ３０４において、図４の（Ｂ）で後述する方法によりオブジェクト位置を計算し、ＣＧオブジェクト表示位置を変更する。遠くない場合はそのまま本終了する。
【００２９】
まず、図４の（Ａ）を参照して、ステップＳ３０３におけるオブジェクト位置の計算方法について述べる。図４の（Ａ）では、位置姿勢センサ１０９の位置Ｐsが近限界距離１２５（Ｌn）よりも視線位置Ｐeに近い場合を示している。なお、図４の（Ａ）における、Ｐi(Ｘi,Ｙi,Ｚi)は、ＰeからＰsへ結んだ先の直線上にあり、Ｐeとの距離がＬn（あらかじめ設定された近限界距離１２６）であるような位置を示す位置ベクトルである。したがって、Ｐiは、
Ｐi ＝ Ｐe ＋ Ｕ(Ｐe,Ｐs)×Ｌn
のように表すことができる。上式中Ｕ(Ｐe,Ｐs)は、ＰeからＰsに向かう単位ベクトルを表すものとする。
【００３０】
このとき、移動させるべきオブジェクトの位置を示す位置ベクトルＰoは、次式、
Ｐo ＝ Ｐs ＋ (Ｐs − Ｐi)×Ｍn
によって求まる。なお、上式の(Ｐs − Ｐi)は点Ｐiから点Ｐsへのベクトルを示す。即ち、近限界距離１２５よりも視線位置に近い位置に位置姿勢センサ１０９が存在する場合は、ＣＧオブジェクトの位置が、より視線位置に近い位置Ｐoに変更される。なお、移動量は近倍率１２７（Ｍn）の値により調整することができる。
【００３１】
以上のようなオブジェクトの位置調整を行なうことにより、位置姿勢センサ１０９を極端に目（視線位置）に近づけなくてもＣＧオブジェクトを視点に近づけることが可能となる。このため、ＨＭＤ１０４の電気や金属などの影響でセンサが誤動作してＣＧの表示位置が不安定となるといったことなく、ＣＧオブジェクトを近距離で観察することができる。
【００３２】
次に、図４の（Ｂ）を参照して、ステップＳ３０４におけるオブジェクト位置の計算方法について述べる。図４の（Ｂ）では、位置姿勢センサ１０９の位置が遠限界距離１２６よりも位置姿勢センサ１０８によって検出された視線位置から遠い場合を示している。図４（Ｂ）中のＰi(Ｘi,Ｙi,Ｚi)は、ＰeからＰsを結んだ線分上にあり、Ｐeとの距離がＬf（あらかじめ設定された遠限界距離１２６）であるような位置を示す位置ベクトルである。この場合、Ｐiは
Ｐi ＝ Ｐe ＋ Ｕ(Ｐe,Ｐs)×Ｌf
のように表すことができる。上式中のＵ(Ｐe,Ｐs)は、ＰeからＰsに向かう単位ベクトルを表すものとする。
【００３３】
このとき、移動させるべきオブジェクトの位置を示す位置ベクトルＰoは、次式、
Ｐo ＝ Ｐs ＋ (Ｐs − Ｐi)×Ｍf
によって求まる。上式において、(Ｐi - Ｐs)は点Ｐiから点Ｐsへのベクトルを示す。このように、遠限界距離１２６よりも視線位置から遠い位置に位置姿勢センサ１０９が存在する場合は、ＣＧオブジェクトの位置が、より視線位置から遠い位置Ｐoに変更される。なお、移動量は遠倍率１２８（Ｍf）の値により調整することができる。
【００３４】
以上のようなオブジェクトの位置調整を行なうことにより、位置姿勢センサ１０９を持った手をいっぱいに遠ざけても全体が確認できないような大きなＣＧオブジェクトの全体像を、手を伸ばしてセンサ１０９を遠ざけるだけで観察することが可能になる。
【００３５】
以上説明したように、第１実施形態によれば、位置姿勢センサ１０９を目（ＨＭＤ）に近づけずにＣＧオブジェクトを視点に近づけることが可能となる。このため、ＨＭＤ１０４の電気や金属などの影響で位置姿勢センサ１０９が誤動作してＣＧの表示位置が不安定となることなく、近接した状態のＣＧオブジェクトを観察できる。また、位置姿勢検出船さ１０９を持った手をいっぱいに遠ざけても全体が確認できないような大きなＣＧオブジェクトの全体についても、手をいっぱいに伸ばすだけで観察することが可能になる。更に、視点から通常の距離にあるＣＧオブジェクトであれば位置姿勢センサ１０９を持った手の位置に表示することができるとともに、その範囲からＣＧオブジェクトが視点に近い、または遠い状態に移行したときもそれほどの違和感を生じずに位置移動を行う複合現実感を提示可能となる。
【００３６】
＜第２実施形態＞
遠倍率１２８に関して、第１実施形態では事前になんらかの値を設定しておくものとしている。第２実施形態では観察対象のオブジェクトの大きさに応じて遠倍率を設定可能とする。例えば、位置姿勢センサ１０９を手に持って最大限に腕を伸ばした位置でＣＧオブジェクトのおおよそ全体が映像表示装置（例えばＨＭＤ）の画面に表示できる位置まで遠ざけるような遠倍率を計算し、遠倍率１２８として決定することが可能である。第２実施形態ではこの処理について説明する。
【００３７】
図５、図６は、第２実施形態による遠倍率１２８の決定方法を説明するための図である。図５において、映像表示装置の画角θは既知であり、表示対象のＣＧオブジェクトの全体を包み込むバウンダリボックス５０１のサイズも既知であるものとする。映像表示装置の画角とＣＧオブジェクトのサイズがわかれば、ＣＧオブジェクトが視点からどれくらい離れていればＣＧ全体が画面に表示できるかどうかを計算することが可能である。ＣＧオブジェクト全体が画面に表示できるようなＣＧオブジェクトと視点との間の距離を、図５に示すようにＰfとする。
【００３８】
今、図６に示すように、ＣＧオブジェクトの位置を指定するための姿勢位置センサ１０９を持った観察者が、位置姿勢センサ１０９を持った腕を伸ばしきった状態での、位置姿勢センサ１０９の位置と視線位置（位置姿勢センサ１０８による検出位置）との間の距離をＳfとする。第１実施形態と同様に、遠限界距離１２６をＬfとする。手を伸ばした状態でＣＧオブジェクトの全体を観察できるようにするためには、この状態（距離がＳfの状態）でＣＧオブジェクトは視点からＰfの距離に表示されるようにすればよい。
【００３９】
図６の場合において、ＣＧオブジェクトと視線位置との間の距離Ｐfは、遠倍率をＭfとすると、
Ｐf ＝ Ｓf ＋ (Ｓf−Ｌf)×Ｍf
であるので、遠倍率Ｍfは、
Ｍf ＝ (Ｐf − Ｓf)／(Ｓf − Ｌf)
となる。
【００４０】
表示装置の画角と表示するＣＧオブジェクトのサイズと最大に腕を伸ばした状態での視線位置と位置姿勢センサ１０９から得られるセンサ位置との間の距離が既知であれば、遠倍率１２８を上述のように自動的に設定することが可能である。これによって位置センサを持った腕を伸ばした状態でＣＧ全体を観察できるような遠倍率の設定を自動的に行うことができる。
【００４１】
この場合、ユーザは、例えばＣＧオブジェクトのサイズと画像表示装置の画角θから当該ＣＧオブジェクトの全体が画面に収まる距離Ｐfを求め、メモリ１０７に記録しておく（ＣＰＵ１０１により自動的に算出するようにしてもよい）。そして、例えば位置姿勢センサ１０９を持った手をいっぱいに伸ばした状態で所定の指示入力を与えることで、その状態で検出される視線位置とオブジェクト位置の距離をＳfに決定する。上記ＰfとＳf、及び予め設定された遠限界距離Ｌfにより、上記式を用いてＭfが算出されるので、これを遠倍率１２８としてメモリ１０７に記録する。以降の処理は第１実施形態と同様であるので説明を省略する。
【００４２】
以上説明したように、上記各実施形態によれば、位置姿勢検出センサ１０９が視線位置から通常の距離（近限界距離１２５の位置と遠限界距離１２６の位置の間）にあるＣＧオブジェクトであれば、位置姿勢検出センサ１０９によって決定される位置にＣＧオブジェクトが表示され、その範囲からＣＧオブジェクトが視線位置に近い、または遠い状態に移行した場合には、それぞれ近倍率１２７、遠倍率１２８にしたがってＣＧオブジェクトの位置が変更される。上記実施形態では、近限界距離１２５の位置よりも視線位置側に位置姿勢検出センサ１０９が存在する場合には、ＣＧオブジェクトの位置をより視線位置側に近づけて描画され、遠限界距離１２６の位置よりも遠い位置に位置姿勢検出センサ１０９が存在する場合には、ＣＧオブジェクトの位置をより遠くに変更して描画される。
【００４３】
以上のように、第２実施形態によれば、ＣＧオブジェクトのサイズに応じて適切な遠倍率１２８が自動的に設定されるので、操作性が向上する。
【００４４】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００４５】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００４６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００４７】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００４８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００４９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００５０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５２】
【図１】実施形態による複合現実感提示システムの構成を示すブロック図である。
【図２】実施形態による複合現実感提示処理を説明するフローチャートである。
【図３】実施形態によるＣＧオブジェクト位置の変更処理を説明するフローチャートである。
【図４】ＣＧオブジェクトの移動処理を説明する図である。
【図５】第２実施形態による、ＣＧオブジェクトの全体を表示可能とするＣＧオブジェクトと視線位置の関係を説明する図である。
【図６】第２実施形態による遠倍率の計算方法を説明する図である。
【技術分野】
【０００１】
本発明は、画像生成技術に関し、より具体的には、現実世界の映像とコンピュータによって生成された映像を重畳し、かつ、両者の映像を位置合わせして表示することができる複合現実感画像の提示に関するものである。
【背景技術】
【０００２】
従来より、現実世界の映像と、３次元モデリングされたコンピュータ画像（ＣＧ）による映像を重畳して表示し、あたかも現実の世界中にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができるような複合現実感（ＭＲ:Mixed Reality）を提示する装置が存在する（特許文献１）。この種の装置は、現実の映像を撮影するための現実映像撮影部（たとえばビデオカメラ）と、現実の映像を撮影している位置から見たようにＣＧ映像を作り出すＣＧ映像生成部と、両者を合成して表示することのできる映像表示部（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）を備える。また、現実映像撮影部の視線の位置姿勢が変化してもＣＧと現実映像との位置関係を正しく表示するために、現実映像撮影部（ビデオカメラ）の視線位置と視線方向を検出するための、視線位置姿勢検出部（たとえば位置姿勢センサ）を備えている。
【０００３】
ＣＧ映像生成部は、３次元モデリングされたＣＧを、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出部によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影部がどの視線位置・視線方向から観察した場合でも、現実空間の中に正しくＣＧで生成された映像が置かれているような映像を表示ことができる。ＣＧの種類や配置の変更、アニメーションなどは、一般的なＣＧと同様に、自由に行える。ＣＧの位置を指定するためにもうひとつ位置姿勢センサを設けて、この位置姿勢センサの値に従った場所にＣＧを描画することも可能である。更に、そのような構成において、ＣＧの位置を決定するための位置姿勢センサを手に持ち、観察者が自在にＣＧの位置、姿勢を変化させながらＣＧを観察することが従来より行われている。
【０００４】
なお、現実空間の映像を撮影する現実映像撮影部は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、メモリ中にキャプチャする。現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用いて、さらに上記ビデオカメラをＨＭＤの視線方向に装着することにより、観察者が向いている方向の映像をＨＭＤに映し出すことができ、かつ、その方向を向いたときのＣＧの描画も行えるため、観察者の没入感を高めることができる。
【０００５】
なお、映像表示装置は、ビデオカメラを備えずにＨＭＤ前面の様子をそのままシースルーで観察できるような、光学シースルー式と呼ばれるＨＭＤであってもよい。この場合は先に説明した現実映像撮影部はビデオ撮影によるものではなく光学的にＨＭＤの前面の現実空間を表示装置にそのまま映し出すものとなる。このようなタイプのＨＭＤでは、観察者の前面の風景はデジタル処理なしでそのままシースルーで観察でき、さらにその画面にＣＧを重畳して表示することができる。
【０００６】
また、位置姿勢検出部としては、磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの視線の位置姿勢を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Polhemus）社の製品FASTRAK（商標）などがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ,Ｙ,Ｚ）と姿勢（Roll, Pitch, Yaw）をリアルタイムに検出する装置である。
【０００７】
上記の構成により、観察者はＨＭＤを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。例えば、ＨＭＤを装着した観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実の映像を撮影し、ＨＭＤに備え付けられた視線位置姿勢検出部（位置姿勢センサ）がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成部はその視線位置・姿勢から見たＣＧ映像を生成（レンダリング）し、これを現実映像に重畳して表示する。
【特許文献１】特開２０００−３５０８５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のシステムでは、手で保持した位置姿勢センサの場所にＣＧオブジェクトを描画する場合、次のような課題が存在した。即ち、
（１）ＣＧの内部を観察するためにセンサを目に近付けると、ＨＭＤの電気や金属などの影響でセンサが誤動作し、ＣＧの表示位置が不安定となっていた。
（２）大きなＣＧオブジェクトを表示した場合には、レシーバを持った手をいっぱいまで伸ばしても十分に遠ざけることができず、ＣＧオブジェクト全体を観察することができなかった。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、自然な操作感を保ちながら、視点位置にＣＧオブジェクトを接近させた状態の画像を安定して提供可能にすること、及び／又は、大きなＣＧオブジェクトの全体を観察可能とすべくＣＧオブジェクトを視点位置から遠ざけた状態の画像を提供可能にすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明による画像生成装置は以下の構成を備える。即ち、
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成装置であって、
前記撮影手段の位置、姿勢を検出する第１検出手段と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出手段と、
前記第１及び第２検出手段によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成手段と、
前記第１及び第２検出手段で検出された位置間の距離が所定範囲にあるか否かを判定する判定手段と、
前記判定手段により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更手段とを備える。
【００１１】
また、上記の目的を達成するための本発明による画像生成方法は、
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成方法であって、
前記撮影手段の位置、姿勢を検出する第１検出工程と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出工程と、
前記第１及び第２検出工程によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成工程と、
前記第１及び第２検出工程で検出された位置間の距離が所定範囲にあるか否かを判定する判定工程と、
前記判定工程により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更工程とを備える。
【発明の効果】
【００１２】
本発明によれば、自然な操作感を保ちながら、視点位置にＣＧオブジェクトを接近させた状態の画像を安定して提供することが可能となる、及び／又は、大きなＣＧオブジェクトの全体を観察可能とすべくＣＧオブジェクトを視点位置から遠ざけた状態の画像を提供することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、添付の図面を参照して、本発明の好適な実施形態について説明する。
【００１４】
＜第１実施形態＞
図１は、第１実施形態による複合現実感提示システムの構成を示すブロック図である。図１に示されるように、バス１０２を介して、位置姿勢センサコントローラ１０３、ＨＭＤコントローラ１３０、メモリ１０６，１０７がＣＰＵ１０１に接続されている。ＨＭＤコントローラ１３０にはＨＭＤ１０４及びビデオカメラ１０５が接続され、ビデオカメラ１０５からの映像の入力や、ＨＭＤへ表示すべき映像の出力を制御する。位置姿勢センサコントローラ１０３には位置姿勢センサ１０８，１０９が接続されている。位置姿勢センサ１０８はＨＭＤ１０４にとりつけられ、ＨＭＤ１０４にとりつけられたビデオカメラ１０６の視線位置姿勢を検出するために用いられる。一方、位置姿勢センサ１０９はＭＲ空間に表示するＣＧの位置姿勢を指定するためのものである。また、ここではセンサは２つとしたがこれに限られるものではなく、システムにおいて必要なだけ設けることが可能である。この場合、複数のＣＧを各位置姿勢センサに割り当てることも可能である。また、ＨＭＤを２つ以上用意して観察者を２人以上とするものであってもかまわない。
【００１５】
なお、ビデオカメラ１０５の視線位置姿勢によって表されるビデオカメラ１０５の位置（視線位置）は、観察者の位置、即ち視点位置となる。以下の実施形態では、このような視点位置を視線位置と称することにする。
【００１６】
メモリ１０６に含まれる、参照番号１１０〜１１６で示される各部は、対応する処理部の機能をＣＰＵ１０１によって実現するための制御プログラムである。また、メモリ１０７に格納される、参照番号１２０〜１２９で示される各データ、パラメータは、本実施形態の複合現実感提示処理の実行に際して用いるべく保持されているものである。なお、メモリ１０６と１０７は同じものであっても構わない。メモリ１０６，１０７の各部の機能や各領域については、以下に詳述する複合現実感提示動作により明らかとなろう。
【００１７】
メモリ１０６内の移動設定部１１６は、ＣＧオブジェクトが視線位置に所定距離よりも近づいた場合や、視線位置から所定距離よりも遠ざかった場合をどのように判定し、どのようにオブジェクト位置を移動させるかを設定するものである。具体的には、メモリ１０７の近限界距離１２５、遠限界距離１２６、近倍率１２７、遠倍率１２８の各値を設定する。
【００１８】
近限界距離１２５は、ＣＧオブジェクトが視線位置に対してどこまで近づいてきたら当該オブジェクトの移動処理を行うかを指定する値である。同様に、遠限界距離１２６は、ＣＧオブジェクトが視線位置からどこまで遠ざかったら移動処理を行うかを指定する値である。近倍率１２７は、ＣＧオブジェクトが近限界距離１２５よりも視線位置に近づいてきたときに、実際の距離よりもどれくらい視点に近づけて表示するかを指定する係数である。なお、この近倍率１２７を用いたＣＧオブジェクト位置の計算の詳細はＣＧオブジェクト移動部１１５の処理の説明の中で述べる。また、遠倍率１２８は、ＣＧオブジェクトが遠限界距離１２６よりも視線位置から遠ざかったときに、実際の距離よりもどれくらい視点から遠ざけて表示するかを指定するものである。この遠倍率１２８を用いたＣＧオブジェクト位置の計算の詳細についてもＣＧオブジェクト移動部１２５の処理の説明の中で述べる。以上の各値は、移動設定部１１６が不図示のユーザインターフェースを提供することにより、複合現実感画像の提示に先立ってシステムにセットしておくものとする。この場合のユーザインターフェースの形態等はいかようなものであってもかまわない。
【００１９】
次に、本実施形態による画像提示処理の全体の流れについて説明する。図２は、全体の処理の流れを説明するためのフローチャートである。
【００２０】
まずステップＳ２０１において、現実映像撮影部１１０は、ビデオカメラ１０５を用いて撮影した映像をキャプチャし、現実画像１２０としてメモリ１０７に書き込む。次にステップＳ２０２において、位置姿勢検出部１１２は、位置姿勢センサ１０８を用いてビデオカメラ１０５の位置姿勢を検出し、これを視線位置姿勢１２１としてメモリ１０７に記録する。続いて、ステップＳ２０３において、位置姿勢検出部１１２は更に、位置姿勢センサ１０９の位置姿勢を検出し、これをＣＧ位置姿勢１２２としてメモリ１０７に記録する。
【００２１】
次に、ステップＳ２０４において、ＣＧオブジェクト距離算出部１１４は、ビデオカメラ１０５の視線位置とＣＧの位置（それぞれ視線位置姿勢１２１、ＣＧ位置姿勢１２２として記録されている）との間の距離を求める。空間上の２点ｐ1(ｘ1,ｙ1,ｚ1)とｐ2(ｘ2,ｙ2,ｚ2)の間の距離Ｌは、
Ｌ = √{(ｘ2−ｘ1)2 ＋ (ｙ2−ｙ1)2 ＋ (ｚ2−ｚ1)2}
によって求まる。ＣＧオブジェクト距離算出部１１４は上記式により算出した値をオブジェクト距離１２９としてメモリ１０７に記録する。
【００２２】
次に、ステップＳ２０５で、ＣＧオブジェクト移動部１１５は、ＣＧオブジェクトの位置とビデオカメラの視線位置との位置関係が所定の条件を満たすかか否かを判断し、満たす場合にはＣＧオブジェクトを移動し、ＣＧ位置姿勢１２２を更新する。ＣＧオブジェクト移動部１１５の処理については図３乃至図５を参照して後述する。
【００２３】
次に、ステップＳ２０６において、ＣＧ映像生成部１１１は、ＣＧ映像をＣＧ画像１２４としてメモリ１０７に書き込む。なお、ＣＧは、従来の複合現実感提示装置と同様に、ＣＧ位置姿勢１２２で決定される位置及び姿勢で存在するＣＧモデルを、視線位置姿勢１２１で決定されるビデオカメラの位置姿勢から見たように、ＣＧモデルデータ１２３をレンダリングするものである。
【００２４】
ステップＳ２０７では、映像表示部１１３によって、メモリ１０７に記録された現実画像１２０とＣＧ画像１２４を合成して、複合現実感画像（ＭＲ画像）を生成し、これを表示装置（本例ではＨＭＤ１０６）に表示する。
【００２５】
以上で一画面分のＭＲ画像を表示できることになるが、この処理全体を次々とくり返し連続して行うことで、動画としてＭＲ画像を提示することが可能である。
【００２６】
次に、ＣＧオブジェクト移動部１１５の詳細を説明する。図３はＣＧオブジェクト移動手段部１１５による処理を説明するフローチャートである。なお、以下、Ｐe(Ｘe,Ｙe,Ｚe)は視線位置を示す位置ベクトル、Ｐs(Ｘs,Ｙs,Ｚs)は位置姿勢センサ１０９が示す位置を示す位置ベクトル、Ｐo(Ｘo,Ｙo,Ｚo)はＣＧオブジェクト移動部１１５によって移動する先のＣＧオブジェクト位置を示す位置ベクトルである。また、各位置間の距離は、Ｌ(Ｐn,Ｐm)と記述し、これにより２点ＰnとＰmの間の距離を示す。例えばＬ(Ｐe,Ｐs)はセンサ位置Ｐsと視線位置Ｐeの間の距離である。また図１におけるメモリ１０７の近限界距離１２５はＬn、遠限界距離１２６はＬf、近倍率１２７はＭn、遠倍率１２８はＭfと記載する。
【００２７】
ＣＧオブジェクト移動部１１５は、まず、ステップＳ３０１において、オブジェクト距離１２９が近限界距離１２５よりも視線位置に近いかどうかを判定する。近いと判定された場合はステップＳ３０３において図４の（Ａ）で後述する方法によりオブジェクト位置を計算し、ＣＧオブジェクト表示位置を変更する。近くない場合はステップＳ３０２に進む。
【００２８】
ステップＳ３０２では、オブジェクト距離１２９が遠限界距離１２６よりも遠いかどうかを判定する。遠いと判定された場合はステップＳ３０４において、図４の（Ｂ）で後述する方法によりオブジェクト位置を計算し、ＣＧオブジェクト表示位置を変更する。遠くない場合はそのまま本終了する。
【００２９】
まず、図４の（Ａ）を参照して、ステップＳ３０３におけるオブジェクト位置の計算方法について述べる。図４の（Ａ）では、位置姿勢センサ１０９の位置Ｐsが近限界距離１２５（Ｌn）よりも視線位置Ｐeに近い場合を示している。なお、図４の（Ａ）における、Ｐi(Ｘi,Ｙi,Ｚi)は、ＰeからＰsへ結んだ先の直線上にあり、Ｐeとの距離がＬn（あらかじめ設定された近限界距離１２６）であるような位置を示す位置ベクトルである。したがって、Ｐiは、
Ｐi ＝ Ｐe ＋ Ｕ(Ｐe,Ｐs)×Ｌn
のように表すことができる。上式中Ｕ(Ｐe,Ｐs)は、ＰeからＰsに向かう単位ベクトルを表すものとする。
【００３０】
このとき、移動させるべきオブジェクトの位置を示す位置ベクトルＰoは、次式、
Ｐo ＝ Ｐs ＋ (Ｐs − Ｐi)×Ｍn
によって求まる。なお、上式の(Ｐs − Ｐi)は点Ｐiから点Ｐsへのベクトルを示す。即ち、近限界距離１２５よりも視線位置に近い位置に位置姿勢センサ１０９が存在する場合は、ＣＧオブジェクトの位置が、より視線位置に近い位置Ｐoに変更される。なお、移動量は近倍率１２７（Ｍn）の値により調整することができる。
【００３１】
以上のようなオブジェクトの位置調整を行なうことにより、位置姿勢センサ１０９を極端に目（視線位置）に近づけなくてもＣＧオブジェクトを視点に近づけることが可能となる。このため、ＨＭＤ１０４の電気や金属などの影響でセンサが誤動作してＣＧの表示位置が不安定となるといったことなく、ＣＧオブジェクトを近距離で観察することができる。
【００３２】
次に、図４の（Ｂ）を参照して、ステップＳ３０４におけるオブジェクト位置の計算方法について述べる。図４の（Ｂ）では、位置姿勢センサ１０９の位置が遠限界距離１２６よりも位置姿勢センサ１０８によって検出された視線位置から遠い場合を示している。図４（Ｂ）中のＰi(Ｘi,Ｙi,Ｚi)は、ＰeからＰsを結んだ線分上にあり、Ｐeとの距離がＬf（あらかじめ設定された遠限界距離１２６）であるような位置を示す位置ベクトルである。この場合、Ｐiは
Ｐi ＝ Ｐe ＋ Ｕ(Ｐe,Ｐs)×Ｌf
のように表すことができる。上式中のＵ(Ｐe,Ｐs)は、ＰeからＰsに向かう単位ベクトルを表すものとする。
【００３３】
このとき、移動させるべきオブジェクトの位置を示す位置ベクトルＰoは、次式、
Ｐo ＝ Ｐs ＋ (Ｐs − Ｐi)×Ｍf
によって求まる。上式において、(Ｐi - Ｐs)は点Ｐiから点Ｐsへのベクトルを示す。このように、遠限界距離１２６よりも視線位置から遠い位置に位置姿勢センサ１０９が存在する場合は、ＣＧオブジェクトの位置が、より視線位置から遠い位置Ｐoに変更される。なお、移動量は遠倍率１２８（Ｍf）の値により調整することができる。
【００３４】
以上のようなオブジェクトの位置調整を行なうことにより、位置姿勢センサ１０９を持った手をいっぱいに遠ざけても全体が確認できないような大きなＣＧオブジェクトの全体像を、手を伸ばしてセンサ１０９を遠ざけるだけで観察することが可能になる。
【００３５】
以上説明したように、第１実施形態によれば、位置姿勢センサ１０９を目（ＨＭＤ）に近づけずにＣＧオブジェクトを視点に近づけることが可能となる。このため、ＨＭＤ１０４の電気や金属などの影響で位置姿勢センサ１０９が誤動作してＣＧの表示位置が不安定となることなく、近接した状態のＣＧオブジェクトを観察できる。また、位置姿勢検出船さ１０９を持った手をいっぱいに遠ざけても全体が確認できないような大きなＣＧオブジェクトの全体についても、手をいっぱいに伸ばすだけで観察することが可能になる。更に、視点から通常の距離にあるＣＧオブジェクトであれば位置姿勢センサ１０９を持った手の位置に表示することができるとともに、その範囲からＣＧオブジェクトが視点に近い、または遠い状態に移行したときもそれほどの違和感を生じずに位置移動を行う複合現実感を提示可能となる。
【００３６】
＜第２実施形態＞
遠倍率１２８に関して、第１実施形態では事前になんらかの値を設定しておくものとしている。第２実施形態では観察対象のオブジェクトの大きさに応じて遠倍率を設定可能とする。例えば、位置姿勢センサ１０９を手に持って最大限に腕を伸ばした位置でＣＧオブジェクトのおおよそ全体が映像表示装置（例えばＨＭＤ）の画面に表示できる位置まで遠ざけるような遠倍率を計算し、遠倍率１２８として決定することが可能である。第２実施形態ではこの処理について説明する。
【００３７】
図５、図６は、第２実施形態による遠倍率１２８の決定方法を説明するための図である。図５において、映像表示装置の画角θは既知であり、表示対象のＣＧオブジェクトの全体を包み込むバウンダリボックス５０１のサイズも既知であるものとする。映像表示装置の画角とＣＧオブジェクトのサイズがわかれば、ＣＧオブジェクトが視点からどれくらい離れていればＣＧ全体が画面に表示できるかどうかを計算することが可能である。ＣＧオブジェクト全体が画面に表示できるようなＣＧオブジェクトと視点との間の距離を、図５に示すようにＰfとする。
【００３８】
今、図６に示すように、ＣＧオブジェクトの位置を指定するための姿勢位置センサ１０９を持った観察者が、位置姿勢センサ１０９を持った腕を伸ばしきった状態での、位置姿勢センサ１０９の位置と視線位置（位置姿勢センサ１０８による検出位置）との間の距離をＳfとする。第１実施形態と同様に、遠限界距離１２６をＬfとする。手を伸ばした状態でＣＧオブジェクトの全体を観察できるようにするためには、この状態（距離がＳfの状態）でＣＧオブジェクトは視点からＰfの距離に表示されるようにすればよい。
【００３９】
図６の場合において、ＣＧオブジェクトと視線位置との間の距離Ｐfは、遠倍率をＭfとすると、
Ｐf ＝ Ｓf ＋ (Ｓf−Ｌf)×Ｍf
であるので、遠倍率Ｍfは、
Ｍf ＝ (Ｐf − Ｓf)／(Ｓf − Ｌf)
となる。
【００４０】
表示装置の画角と表示するＣＧオブジェクトのサイズと最大に腕を伸ばした状態での視線位置と位置姿勢センサ１０９から得られるセンサ位置との間の距離が既知であれば、遠倍率１２８を上述のように自動的に設定することが可能である。これによって位置センサを持った腕を伸ばした状態でＣＧ全体を観察できるような遠倍率の設定を自動的に行うことができる。
【００４１】
この場合、ユーザは、例えばＣＧオブジェクトのサイズと画像表示装置の画角θから当該ＣＧオブジェクトの全体が画面に収まる距離Ｐfを求め、メモリ１０７に記録しておく（ＣＰＵ１０１により自動的に算出するようにしてもよい）。そして、例えば位置姿勢センサ１０９を持った手をいっぱいに伸ばした状態で所定の指示入力を与えることで、その状態で検出される視線位置とオブジェクト位置の距離をＳfに決定する。上記ＰfとＳf、及び予め設定された遠限界距離Ｌfにより、上記式を用いてＭfが算出されるので、これを遠倍率１２８としてメモリ１０７に記録する。以降の処理は第１実施形態と同様であるので説明を省略する。
【００４２】
以上説明したように、上記各実施形態によれば、位置姿勢検出センサ１０９が視線位置から通常の距離（近限界距離１２５の位置と遠限界距離１２６の位置の間）にあるＣＧオブジェクトであれば、位置姿勢検出センサ１０９によって決定される位置にＣＧオブジェクトが表示され、その範囲からＣＧオブジェクトが視線位置に近い、または遠い状態に移行した場合には、それぞれ近倍率１２７、遠倍率１２８にしたがってＣＧオブジェクトの位置が変更される。上記実施形態では、近限界距離１２５の位置よりも視線位置側に位置姿勢検出センサ１０９が存在する場合には、ＣＧオブジェクトの位置をより視線位置側に近づけて描画され、遠限界距離１２６の位置よりも遠い位置に位置姿勢検出センサ１０９が存在する場合には、ＣＧオブジェクトの位置をより遠くに変更して描画される。
【００４３】
以上のように、第２実施形態によれば、ＣＧオブジェクトのサイズに応じて適切な遠倍率１２８が自動的に設定されるので、操作性が向上する。
【００４４】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００４５】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００４６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００４７】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００４８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００４９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００５０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５２】
【図１】実施形態による複合現実感提示システムの構成を示すブロック図である。
【図２】実施形態による複合現実感提示処理を説明するフローチャートである。
【図３】実施形態によるＣＧオブジェクト位置の変更処理を説明するフローチャートである。
【図４】ＣＧオブジェクトの移動処理を説明する図である。
【図５】第２実施形態による、ＣＧオブジェクトの全体を表示可能とするＣＧオブジェクトと視線位置の関係を説明する図である。
【図６】第２実施形態による遠倍率の計算方法を説明する図である。
【特許請求の範囲】
【請求項１】
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成装置であって、
前記撮影手段の位置、姿勢を検出する第１検出手段と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出手段と、
前記第１及び第２検出手段によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成手段と、
前記第１及び第２検出手段で検出された位置間の距離が所定範囲にあるか否かを判定する判定手段と、
前記判定手段により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更手段とを備えることを特徴とする画像生成装置。
【請求項２】
前記変更手段は、前記第１及び第２検出手段で検出された位置の距離が第１所定距離よりも長い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置からより遠くへ離れるように変更することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記変更手段は、前記第１及び第２検出手段で検出された位置の距離が第２所定距離よりも短い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置により近づくように変更することを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記変更手段は、前記第１及び第２検出手段によって検出された位置間の距離と前記第１所定距離との距離差を算出し、該距離差と所定の第１係数に基づいて移動距離を算出し、前記第２検出手段で検出された位置に対して、前記第１検出手段で検出された位置から遠ざかる方向に前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項２に記載の画像生成装置。
【請求項５】
前記変更手段は、前記第１及び第２検出手段によって検出された位置間の距離と前記第２所定距離との距離差を算出し、該距離差と所定の第２係数に基づいて移動距離を算出し、前記第２検出手段で検出された位置に対して、前記第１検出手段で検出された位置に近づくように前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項３に記載の画像生成装置。
【請求項６】
前記第１係数は、前記生成されるコンピュータ画像の大きさと画像表示装置の画角とに基づいて、前記第１及び第２検出手段で検出された位置間の距離がユーザによって指定された距離において、前記コンピュータ画像の全体が該画像表示装置の画面内に収まる大きさとなる距離に変換されるように設定されることを特徴とする請求項４に記載の画像生成装置。
【請求項７】
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成方法であって、
前記撮影手段の位置、姿勢を検出する第１検出工程と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出工程と、
前記第１及び第２検出工程によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成工程と、
前記第１及び第２検出工程で検出された位置間の距離が所定範囲にあるか否かを判定する判定工程と、
前記判定工程により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更工程とを備えることを特徴とする画像生成方法。
【請求項８】
前記変更工程は、前記第１及び第２検出工程で検出された位置の距離が第１所定距離よりも長い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置からより遠くへ離れるように変更することを特徴とする請求項７に記載の画像生成方法。
【請求項９】
前記変更工程は、前記第１及び第２検出工程で検出された位置の距離が第２所定距離よりも短い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置により近づくように変更することを特徴とする請求項７又は８に記載の画像生成方法。
【請求項１０】
前記変更工程は、前記第１及び第２検出工程によって検出された位置間の距離と前記第１所定距離との距離差を算出し、該距離差と所定の第１係数に基づいて移動距離を算出し、前記第２検出工程で検出された位置に対して、前記第１検出工程で検出された位置から遠ざかる方向に前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項８に記載の画像生成方法。
【請求項１１】
前記変更工程は、前記第１及び第２検出工程によって検出された位置間の距離と前記第２所定距離との距離差を算出し、該距離差と所定の第２係数に基づいて移動距離を算出し、前記第２検出工程で検出された位置に対して、前記第１検出工程で検出された位置に近づくように前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項９に記載の画像生成方法。
【請求項１２】
前記第１係数は、前記生成されるコンピュータ画像の大きさと画像表示装置の画角とに基づいて、前記第１及び第２検出工程で検出された位置間の距離がユーザによって指定された距離において、前記コンピュータ画像の全体が該画像表示装置の画面内に収まる大きさとなる距離に変換されるように設定されることを特徴とする請求項１０に記載の画像生成方法。
【請求項１】
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成装置であって、
前記撮影手段の位置、姿勢を検出する第１検出手段と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出手段と、
前記第１及び第２検出手段によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成手段と、
前記第１及び第２検出手段で検出された位置間の距離が所定範囲にあるか否かを判定する判定手段と、
前記判定手段により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更手段とを備えることを特徴とする画像生成装置。
【請求項２】
前記変更手段は、前記第１及び第２検出手段で検出された位置の距離が第１所定距離よりも長い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置からより遠くへ離れるように変更することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記変更手段は、前記第１及び第２検出手段で検出された位置の距離が第２所定距離よりも短い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置により近づくように変更することを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記変更手段は、前記第１及び第２検出手段によって検出された位置間の距離と前記第１所定距離との距離差を算出し、該距離差と所定の第１係数に基づいて移動距離を算出し、前記第２検出手段で検出された位置に対して、前記第１検出手段で検出された位置から遠ざかる方向に前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項２に記載の画像生成装置。
【請求項５】
前記変更手段は、前記第１及び第２検出手段によって検出された位置間の距離と前記第２所定距離との距離差を算出し、該距離差と所定の第２係数に基づいて移動距離を算出し、前記第２検出手段で検出された位置に対して、前記第１検出手段で検出された位置に近づくように前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項３に記載の画像生成装置。
【請求項６】
前記第１係数は、前記生成されるコンピュータ画像の大きさと画像表示装置の画角とに基づいて、前記第１及び第２検出手段で検出された位置間の距離がユーザによって指定された距離において、前記コンピュータ画像の全体が該画像表示装置の画面内に収まる大きさとなる距離に変換されるように設定されることを特徴とする請求項４に記載の画像生成装置。
【請求項７】
撮影手段によって撮影された現実画像にコンピュータ画像を重畳した画像を生成する画像生成方法であって、
前記撮影手段の位置、姿勢を検出する第１検出工程と、
前記コンピュータ画像を生成すべき位置、姿勢を検出する第２検出工程と、
前記第１及び第２検出工程によって検出された位置、姿勢に基づいて、前記撮像手段によって得られた現実画像に前記コンピュータ画像を合成する合成工程と、
前記第１及び第２検出工程で検出された位置間の距離が所定範囲にあるか否かを判定する判定工程と、
前記判定工程により前記関係が所定範囲外にあると判定された場合、前記コンピュータ画像の生成すべき位置を変更する変更工程とを備えることを特徴とする画像生成方法。
【請求項８】
前記変更工程は、前記第１及び第２検出工程で検出された位置の距離が第１所定距離よりも長い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置からより遠くへ離れるように変更することを特徴とする請求項７に記載の画像生成方法。
【請求項９】
前記変更工程は、前記第１及び第２検出工程で検出された位置の距離が第２所定距離よりも短い場合に、前記コンピュータ画像を生成すべき位置を前記撮影手段の位置により近づくように変更することを特徴とする請求項７又は８に記載の画像生成方法。
【請求項１０】
前記変更工程は、前記第１及び第２検出工程によって検出された位置間の距離と前記第１所定距離との距離差を算出し、該距離差と所定の第１係数に基づいて移動距離を算出し、前記第２検出工程で検出された位置に対して、前記第１検出工程で検出された位置から遠ざかる方向に前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項８に記載の画像生成方法。
【請求項１１】
前記変更工程は、前記第１及び第２検出工程によって検出された位置間の距離と前記第２所定距離との距離差を算出し、該距離差と所定の第２係数に基づいて移動距離を算出し、前記第２検出工程で検出された位置に対して、前記第１検出工程で検出された位置に近づくように前記移動距離を加えて得られた位置を前記コンピュータ画像の生成すべき位置とすることを特徴とする請求項９に記載の画像生成方法。
【請求項１２】
前記第１係数は、前記生成されるコンピュータ画像の大きさと画像表示装置の画角とに基づいて、前記第１及び第２検出工程で検出された位置間の距離がユーザによって指定された距離において、前記コンピュータ画像の全体が該画像表示装置の画面内に収まる大きさとなる距離に変換されるように設定されることを特徴とする請求項１０に記載の画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−２７７６１８（Ｐ２００６−２７７６１８Ａ）
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願番号】特願２００５−９９４１３（Ｐ２００５−９９４１３）
【出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]