複合現実感提示システムと仮想光源の輝度調整方法
【課題】現実世界の中では現実物体が現実の照明を遮れば現実物体に影が生じるが、仮想世界の照明に対して特別な処理をしなければ、仮想ＣＧにおいて現実物体に対する影は考慮されていないという課題があった。
【解決手段】現実世界で計測された観察者の位置と観察方向、および仮想世界における仮想光源と仮想物体の位置に基づき、仮想光源からの光を観察者が遮ることにより、観察者が観察する仮想物体の明るさが現実世界のように低減するように、仮想光源の輝度調整値を調整することで、現実感のある複合現実感提示システムを提供する。
【解決手段】現実世界で計測された観察者の位置と観察方向、および仮想世界における仮想光源と仮想物体の位置に基づき、仮想光源からの光を観察者が遮ることにより、観察者が観察する仮想物体の明るさが現実世界のように低減するように、仮想光源の輝度調整値を調整することで、現実感のある複合現実感提示システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感提示システムと仮想光源の輝度調整方法に関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Mixed Reality）の技術を応用したシステムが盛んに提案されている。これらの複合現実感システムは、カメラなどの撮像装置によって撮影した現実世界の被写体に対し、コンピュータグラフィックス（以下ＣＧ（Computer Graphics）と言う）で描画した仮想世界の画像を合成する。そして複合現実感システムは、ヘッドマウントディスプレイ（以下ＨＭＤ（Head-Mounted Display）と言う）などの表示装置に表示することにより、複合現実感をシステムの体験者に提示している。
【０００３】
これらの複合現実感提示システムは、現実世界の画像の変化に追従させて仮想世界の画像を生成し、複合現実感を高め必要がある。そのために、複合現実感提示システムは、システムの体験者の視点位置・姿勢をリアルタイムで取得し、かつ、体験者に対してＨＭＤのような表示装置にリアルタイムに表示する必要がある。
【０００４】
尚、複合現実感提示システムは、センサ装置によって計測した体験者の視点位置・姿勢を、仮想世界での仮想の視点位置・姿勢として設定する。そして、複合現実感提示システムは、この設定に基づいて仮想世界の画像をＣＧにより描画して、現実世界の画像と合成する。
【０００５】
また、ＨＭＤは複合現実感を提示するため、複合現実感システムは、体験者の視野内に、ＨＭＤの表示装置による表示を行い、かつ、ＨＭＤの表示装置の表示内にはＣＧを描画する領域を含める。そのため、複合現実感システムにおける体験者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像をＨＭＤの表示装置により観察することができる。さらに複合現実感の世界では、複合現実感システムは現実物体に仮想ＣＧを重畳表示することが可能である。この重畳表示によって、体験者は仮想ＣＧの見かけを持った現実物体を感じることが出来る。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、これまでは複合現実世界の中で現実世界の物体が、仮想世界で設定した照明に対して影響を与えることはなかった。現実世界の中では現実物体が現実の照明を遮れば現実物体に影が生じる。しかし、仮想世界の照明に対して特別な処理をしなければ、仮想ＣＧにおいて現実物体に対する影は表示されないし、表示しようとするととても重い処理となる。
【０００７】
本発明は、仮想世界の照明に対して現実物体の仮想世界に対する影などの影響を反映する高速で簡易な処理を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明における複合現実感提示システムは 現実世界の被写体を撮像する撮像手段と、撮像手段が撮像する位置と撮像方向を計測する位置方向計測手段と、仮想世界において仮想光源からの光に照らされた仮想物体と、仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、位置方向計測手段により計測された撮像手段の位置と撮像方向、仮想光源の位置および仮想物体の位置とを用いて、仮想光源の輝度の調整値を計算する光効果算出手段と、
光効果算出手段で計算された輝度の調整値を用いて仮想画像生成手段における仮想光源の輝度を調整する調整手段と、撮像された現実世界の被写体像と仮想画像生成手段で生成された仮想画像とを合成する画像合成手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明により、複合現実感提示システムの体験者が複合現実世界において、現実世界における光の感覚を仮想光に対しても持つことが出来る。
【発明を実施するための最良の形態】
【００１０】
＜実施形態１＞
実施形態１における構成において、複合現実感提示システムの中に一つの仮想照明と、二つの仮想物体と、一人の観察者とが存在する。ここで、観察者は仮想物体Ａと仮想物体Ｂを見ることが出来る。
【００１１】
まずシステム構成を説明する。
【００１２】
図１は、実施形態１のシステム構成例を示す図である。各構成部品の説明を簡単に述べていく。システム制御部１０１は、システム全体をコントロールするユニットである。システム制御部１０１は、画像入力部１０２、画像合成部１０３、画像出力部１０４、カメラ位置姿勢計測部１０５、仮想画像生成手段１０６、光効果算出手段１０７、ライト属性入力部１０８を備える。
【００１３】
また、ビデオシースルー型ヘッドマウンテッドディスプレイ（ＨＭＤ）１３２は、カメラ１３３と画像出力部１３４と画像入力部１３５と画像表示部１３６を備える。次に、図１の構成における各機能部の動作の流れについて説明する。
【００１４】
図２は、各機能部の動作を示すフローチャートである。
【００１５】
ステップ２０１：観察者が頭部に装着したＨＭＤ１３２のカメラ１３３は現実空間の被写体を撮像する。撮像された現実空間の画像は画像出力部１３４に送信される。画像出力部１３４は現実空間の被写体像をシステム制御部１０１の画像入力部１０２に送信する。システム制御部１０１では画像入力部１０２から取り込んだ現実空間の画像データを画像合成部１０３に送信する。
【００１６】
ステップ２０２：カメラ位置姿勢計測部１０５はカメラ１３３の位置と撮像方向（姿勢）を計測し、その位置と方向の情報を仮想画像生成手段１０６に送信する。カメラ１３３の位置姿勢に関する位置方向計測の方法は、例えばPOLHEMUS(ポヒマス)社の３次元位置姿勢計測システムFastrak等を用いることで計測できる。このシステムにおいてはどのような手段を使用しても構わない。
【００１７】
ステップ２０３：ライト属性入力部１０８はライト属性を光効果算出手段１０７へ入力する。
【００１８】
ステップ２０４：光効果算出手段１０７はライト属性入力とカメラ位置姿勢計測部１０５からの位置情報を元に必要があれば、仮想照明の属性を変更する。どのように属性を変更するかは、本発明の重要な部分であり、図７を用いて後述する。
【００１９】
ステップ２０５：仮想画像生成手段１０６は、光効果算出手段１０７において変更された仮想照明の属性とカメラ位置姿勢計測部１０５からの位置情報とに基づき仮想世界の像を描画し仮想画像を生成する。
【００２０】
ステップ２０６：画像合成部１０３は、画像入力部からの現実世界の画像と仮想画像生成手段１０６からの仮想世界の画像を合成し、合成画像を画像出力部１０４へ送る。
【００２１】
ステップ２０７：画像出力部１０４は、ＨＭＤ１３２の画像入力部１３５へ合成画像を送り、画像表示部１３６はその合成画像を表示する。
【００２２】
これにより、観察者は、仮想照明が存在したときの複合現実感世界における画像を観察できる。
【００２３】
図３は実施形態１の複合現実世界を説明する図である。この複合現実世界には、観察者３０１と仮想点光源３０２と仮想オブジェクトＡ３０３と仮想オブジェクトＢ３０４とが存在する。
【００２４】
それぞれの現実世界の座標は、次のとおりとする。
【００２５】
・観察者の視点（カメラの位置）３０１ （０，０，０）
・仮想点光源３０２ （−５００，５００，０）
・仮想オブジェクトＡ３０３ （５００，−５００，０）
・仮想オブジェクトＢ３０４ （−１０００，１０００，０）
また仮想点光源３０２の輝度は、０．８と仮定する。
【００２６】
図３からわかるように、観察者３０１は、仮想オブジェクトＡ３０３を観察している。また仮想点光源３０２は、仮想オブジェクトＡ３０３を照らしている。
【００２７】
また現実世界にいる観察者３０１自身は、仮想点光源３０２から仮想オブジェクトＡ３０３を照らしている光線を遮っている。そこでその状況を複合現実世界で再現するために仮想点光源３０２を調整する必要がある。
【００２８】
仮想点光源の調整方法として、実施形態１では点光源の輝度を調整する。その調整のためのパラメータを以下に示す。
【００２９】
仮想点光源の位置：Ｐ１１
観察者の視点の位置：Ｐ１２
仮想オブジェクトＡの位置：Ｐ１３
これらの位置からベクトルを算出する。
【００３０】
観察者の観察方向の方向ベクトル：Ｖ１２
仮想点光源から観察者への方向ベクトル：Ｖ１１
Ｖ１１＝Ｐ１２−Ｐ１１
Ｖ１２＝Ｐ１３−Ｐ１２
Ｖ１１の単位ベクトルをｅ１１、Ｖ１２の単位ベクトルをｅ１２とする。
【００３１】
いま係数をｋとし、仮想点光源の輝度に対する低減率をｔ１とすると、ｔ１は２つの単位ベクトルの内積とｋとを乗算することにより次のように表される。
【００３２】
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
ｋ＝０．５として、これを上記の数字に当てはめると
ｅ１１＝（１、−１、０）
ｅ１２＝（１、−１、０）
よって、
ｔ１＝０．５＊１＝０．５となる。
【００３３】
したがって、仮想点光源３０２の輝度が０．８なので、仮想点光源が観察者により遮られたときの低減された輝度の調整値は、低減率ｔ１を用いて、０．８＊０．５＝０．４となる。
【００３４】
図４は、低減率の計算の流れを示すフローチャートである。
【００３５】
ステップ７０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想点光源が存在するか否かを確認する。仮想点光源が存在すればステップ７０２に進む。存在していなければ終了する。
【００３６】
ステップ７０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ１１とする。
【００３７】
ステップ７０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ１２とする。
【００３８】
ステップ７０４：光効果算出手段１０７において、係数ｋ＝０．５とされ、仮想点光源の輝度の低減率ｔ１が算出される。
【００３９】
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
ステップ７０５：光効果算出手段１０７において、仮想点光源の元の輝度をｉ１１、新しい低減された輝度をｉ１２とする。
【００４０】
ｉ１２＝ｉ１１＊ｔ１
以上で、計算は終了する。
【００４１】
このように、実施形態１では、仮想光源が観察者により遮られている。この場合、観察者に複合現実感を与えるために、元の仮想点光源の輝度を暗くして合成する方法を提供する。このケースでは、元の仮想点光源の輝度に対して、観察者により遮られるときの輝度が半分となることがわかる。
＜実施形態２＞
システム構成は実施形態１と同様である。
【００４２】
図５は、実施形態２における複合現実世界における存在する物体およびその配置を示す図である。各物体の位置は実施例１と同じである。
【００４３】
しかし観察者３０１の観察する方向が異なる。実施形態２では、観察者３０１は、仮想オブジェクトＢ３０４を観察している。
【００４４】
それぞれの複合現実世界における座標は以下のとおりとする。
【００４５】
・観察者３０１（０，０，０）
・仮想点光源３０２（−５００，５００，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
また仮想点光源３０２の輝度は、０．８とする。
【００４６】
観察者３０１は仮想オブジェクトＢ３０４を観察している。また仮想点光源３０２は仮想オブジェクトＢ３０４を照らしている。
【００４７】
図５からわかるように、実施形態１と異なり、観察者３０１は仮想点光源３０２が仮想オブジェクトＢ３０４を照射するのを妨げてはいない。
【００４８】
しかし、実施形態１と実施形態２において、仮想点光源の位置と観察者の位置と仮想オブジェクトの位置とが同じである。しかしながら、観察者の観察の方向が異なる。この場合、やはり実施形態１で用いた次式により点光源の輝度の低減率を求める。
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
この式を実施形態２に当てはめてみよう。
【００４９】
ｋを実施形態１と同様に０．５とすると、
ｔ１＝０．５＊（−１）＝−０．５
となる。
【００５０】
算出されたｔ１の値がマイナスということは、数学的には単純に輝度を上げることを意味すると思われるが、それはこの実施形態２の状況から考えると正しくない。すなわち、この場合輝度を変更しないのが正しい。物理的な解釈として、内積（ｅ１１・ｅ１２）が正の値になる時だけ、仮想点光源の輝度の低減を行うようにする。この内積の値が０になるときは、観察者の観察方向のベクトルと点光源から観察者の方向へのベクトルが９０度になるときである。つまり、観察者の観察方向と点光源から観察者への方向が９０度以内のときにだけ、仮想点光源の輝度の低減を行うというルールを導入する。
【００５１】
図６は実施形態２の計算の流れをフローチャートにした図である。図４のフローチャートとの相違は、ステップ４０３とステップ４０４の処理の間にステップ６０１を挿入したものである。したがって、ステップ６０１以外のステップの説明は、省略する。
【００５２】
ステップ６０１：光効果算出手段１０７は、内積（ｅ１１・ｅ１２）を計算し、この内積が正のとき、ステップ７０４に進む。もし負のときステップ７０１に戻る。
【００５３】
以上のように、実施形態２では、観察者が仮想光源を遮らない場合、すなわち、観察者が仮想光源の方向を向いている場合、仮想現実世界において、仮想光源の輝度の低減は不要であることを示した。また、そのとき内積（ｅ１１・ｅ１２）が、負になることも示した。このように、内積の値に対して、所定の閾値（この場合は「正であること」）を設けその閾値内に入らないとき、仮想光源に対する低減をしないようにすることができる。
＜実施形態３＞
仮想平行光は、位置もなく全ての仮想物体を突き抜けるが、現実世界における平行光が必ずどこかから出ている。例えば、太陽が現実世界における平行光である。観察者が太陽と観察物体の間に入るときも当然、観察する物体は暗くなる。実施形態３では、仮想世界で太陽のような平行光線がある状態を複合現実世界で実現する。
【００５４】
システム構成は、実施形態１と同様である。
【００５５】
図７は、実施形態３における複合現実世界の物体の配置を示す図である。
【００５６】
実施形態３では、観察者３０１と仮想平行光７０１と仮想オブジェクトＡ３０３と仮想オブジェクトＢ３０４が存在する。
【００５７】
それぞれの復号現実世界の座標は、以下のとおりとする。
【００５８】
・観察者３０１（０，０，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
仮想平行光のベクトルは次の通りとする。
【００５９】
・仮想平行光７０１（１，−１，０）
また仮想平行光７０１の輝度は、０．８とする。
【００６０】
観察者３０１は仮想オブジェクトＡ３０３を観察しているので観察方向をあらわすベクトルは（１，−１，０）である。仮想平行光７０１は、観察者３０１の背後から光線を出している。したがって、観察者３０１と仮想オブジェクトＡ３０３の位置関係にあるときは、仮想平行光は遮られる。したがって、現実世界と同様な感覚を得るために、仮想平行光７０１の調整が必要である。
【００６１】
仮想平行光の調整方法として、実施形態３では仮想平行光の明るさを調整する。その調整のためのパラメータを以下に示す。
【００６２】
仮想平行光の方向ベクトル：Ｖ３１
観察者の視点の位置：Ｐ３２
仮想オブジェクトＡの位置：Ｐ３３
これらの位置からベクトルを算出する。
【００６３】
観察者の観察方向の方向ベクトル：Ｖ３２
Ｖ３２＝Ｐ３３−Ｐ３２
Ｖ３１の単位ベクトルをｅ３１、Ｖ３２の単位ベクトルをｅ３２とする。
【００６４】
係数をｋとし、仮想平行光の輝度の低減率をｔ３とすると、ｔ３は以下の式で表される。
【００６５】
Ｔ３＝ｋ＊（ｅ３１・ｅ３２）
いまｋ＝０．５としこれを上記の数値を代入すると、
ｅ３１＝（１、−１、０）
ｅ３２＝（１、−１、０）
よって、
ｔ３＝０．５＊１＝０．５
となる。
【００６６】
仮想平行光７０１の輝度は０．８なので、観察物体に対する新しい仮想平行光の輝度は、０．８＊０．５＝０．４となる。
【００６７】
図８は、実施形態３の計算の流れを示すフローチャートである。
【００６８】
ステップ８０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想平行光が存在するか否かを確認する。仮想点光源が存在すればステップ８０２に進む。存在していなければ終了する。
【００６９】
ステップ８０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ３１とする。
【００７０】
ステップ８０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ３２とする。
【００７１】
ステップ８０４：光効果算出手段１０７において、係数がｋ＝０．５とされ、仮想平行光の輝度の低減率ｔ３が次式により算出される。
【００７２】
ｔ３＝ｋ＊（ｅ３１・ｅ３２）
ステップ８０５：光効果算出手段１０７において、仮想平行光の元の輝度をｉ３１、新しい輝度をｉ３２とする。
【００７３】
ｉ３２＝ｉ３１＊ｔ１
ここで、計算は終了する。
【００７４】
以上により、実施形態３においては、実施形態１と同様、仮想平行光に対しても、複合現実世界において合成できる
このように、実施形態３においても実施形態１と同様、仮想平行光が観察者により遮られている場合、元の仮想平行光の輝度を暗くして合成する手法を提供する。このケースでは、元の仮想平行光の輝度に対して、観察者によりさえぎられたときの輝度が半分となることがわかる。
＜実施形態４＞
実施形態４のシステム構成は、実施形態１と同様である。
【００７５】
図９は、実施形態４における複合現実世界に存在する物体およびその位置を示す図である。観察者と仮想オブジェクトの位置は実施形態３と同じである。
【００７６】
しかし観察者３０１の観察する方向が異なる。実施形態４では、観察者３０１は、仮想オブジェクトＢ３０４を観察している。
【００７７】
それぞれの複合現実世界の座標は以下のとおりとする。
【００７８】
・観察者３０１（０，０，０）
・仮想点光源３０２（−５００，５００，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
【００７９】
仮想平行光のベクトルは以下のとおりである。
・仮想平行光７０１（１，−１，０）
また仮想平行光７０１の輝度は。実施形態３と同様、０．８である。
【００８０】
観察者３０１は、仮想オブジェクトＢ３０４を観察しているので、観察方向をあらわすベクトルは（−１，１，０）である。仮想平行光７０１は、観察者３０１の正面から光線を出しているので、観察者３０１と仮想オブジェクトＢ３０４が図９のような位置関係にあるときは、現実世界と同様な感覚では仮想平行光７０１の調整は必要ないと言える。すなわち、仮想平行光は、観察者により遮られていない。すたがって、実施形態４は、実施形態２のケースと同様の結果がえられると考えられる。
【００８１】
実施形態２で提示した仮想平行光の輝度の低減率を求める式は以下のとおりである。
【００８２】
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
この式を実施形態４に当てはめてみよう。
【００８３】
ｋを実施形態１と同様に０．５とすると、
ｔ１＝０．５＊（−１）＝−０．５
となる。
【００８４】
算出されたｔ１の値がマイナスということは、数学的には単純に輝度を上げることを意味すると思われるが、それはこの実施形態４の状況から考えると正しくない。すなわち、この場合輝度を変更しないのが正しい。物理的な解釈として、内積（ｅ１１・ｅ１２）が正の値になる時だけ、仮想点光源の輝度の低減を行うようにする。この内積の値が０になるときは、観察者の観察方向のベクトルと点光源から観察者の方向へのベクトルが９０度になるときである。つまり、実施形態１や実施形態３と同様に、観察者の観察方向と点光源から観察者への方向が９０度以内のときにだけ、仮想点光源の輝度の低減を行うというルールを導入する。
【００８５】
図１０は、実施形態４の計算のフローチャートである。
【００８６】
図８のフローチャートとの相違は、ステップ８０３とステップ８０４の処理の間にステップ１００１を挿入したものである。したがって、ステップ６０１以外のステップの説明は、省略する。
【００８７】
ステップ１００１：光効果算出手段１０７は、内積（ｅ３１・ｅ３２）を計算し、この内積が正のとき、ステップ８０４に進む。もし負のときステップ８０１に戻る。
【００８８】
以上のように、実施形態４では、観察者が仮想平行光を遮らない場合、すなわち、観察者が仮想平行光の方向を向いている場合、仮想現実世界において、仮想平行光の輝度の低減は不要であることを示した。また、そのとき内積（ｅ１１・ｅ１２）が、負になることも示した。
＜実施形態５＞
システム構成は実施形態１と同様である。
【００８９】
図１１は、実施形態５における物体の存在と、その配置を示す図である。
【００９０】
図１１からわかるように、実施形態１の構成に仮想照射光源１１０１を追加した以外は実施形態１と同じである。
【００９１】
仮想照射光源１１０１の属性、すなわち位置と方向は以下のようになっている。
【００９２】
・ 位置（−５００，５００，０）
・ 照射方向（１，−１、０）
仮想照射光源１１０１は、仮想点光源３０２の輝度を調整するためのものである。したがって、仮想点光源３０２と同位置に存在し、仮想点光源３０２の位置から観察者３０１の方向に向いて設定されている。
【００９３】
仮想照射光源１１０１を除いて考えると実施形態１と同じ構成となる。実施形態５では、仮想点光源３０２の属性を変更せずに、仮想照射光源１１０１を用いて仮想点光源の調整を行う。
【００９４】
仮想照射光源１１０１は、シーンの輝度を低減する働きをする。実施形態１の中で低減率が、ｔ１として算出されている。仮想点光源３０２の明るさをｉ１１とすると、仮想照射光源１１０１の低減された輝度の大きさは、ｉ４＝ｉ１１＊ｔ１で定義される。
【００９５】
この仮想照射光により観察者３０１が観察している仮想オブジェクトＡ３０３が暗くなり、複合現実世界でも現実世界のような光の感覚を味わうことが出来る。
【００９６】
図１２は、実施形態５における計算のフローチャートである。
【００９７】
図１２は、図６における実施形態１のフローチャートのステップ４０５をステップ１２０１に変更したものである。したがって、ステップ１２０１以外のステップの説明は、省略する。
【００９８】
ステップ１２０１：光効果算出手段１０７は、仮想点光源の輝度をｉ１１、仮想照射光による効果をｉ４としたとき、ｉ４＝ｉ１１＊ｔ１を計算し、輝度調整値を求める。
【００９９】
以上のように、実施形態５では、仮想点光源の位置に、仮想照射光を配置することで、複合現実空間において、輝度調整を行う手法を提供した。
【図面の簡単な説明】
【０１００】
【図１】本発明の複合現実感提示システムの構成例を示す図である。
【図２】実施形態１における動作のフローチャートである。
【図３】実施形態１における複合現実世界の仮想光源を含む構成を示した図である。
【図４】実施形態１における輝度の低減率計算のフローチャートである。
【図５】実施形態２における複合現実世界の仮想光源を含む構成を示した図である。
【図６】実施形態２における輝度の低減率計算のフローチャートである。
【図７】実施形態３における複合現実世界の仮想光源を含む構成を示した図である。
【図８】実施形態３における輝度の低減率計算のフローチャートである。
【図９】実施形態４における複合現実世界の仮想光源を含む構成を示した図である。
【図１０】実施形態４における輝度の低減率計算のフローチャートである。
【図１１】実施形態５における複合現実世界の仮想光源を含む構成を示した図である。
【図１２】実施形態５における輝度の低減率計算のフローチャートである。
【符号の説明】
【０１０１】
１０１．システム制御部
１０２．画像入力部
１０３．画像合成部
１０４．画像出力部
１０５．カメラ位置姿勢計測部
１０６．仮想世界生成部
１０７．ライト属性変更部
１０８．ライト属性入力部
１３２．ビデオシースルー型ＨＭＤ
１３３．カメラ
１３４．画像出力部
１３５．画像入力部
１３６．画像表示部
２０１．観察者
２０２．仮想点光源
２０３．仮想オブジェクトＡ
２０４．仮想オブジェクトＢ
４０１．仮想平行光
６０１．仮想照射光
【技術分野】
【０００１】
本発明は、複合現実感提示システムと仮想光源の輝度調整方法に関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Mixed Reality）の技術を応用したシステムが盛んに提案されている。これらの複合現実感システムは、カメラなどの撮像装置によって撮影した現実世界の被写体に対し、コンピュータグラフィックス（以下ＣＧ（Computer Graphics）と言う）で描画した仮想世界の画像を合成する。そして複合現実感システムは、ヘッドマウントディスプレイ（以下ＨＭＤ（Head-Mounted Display）と言う）などの表示装置に表示することにより、複合現実感をシステムの体験者に提示している。
【０００３】
これらの複合現実感提示システムは、現実世界の画像の変化に追従させて仮想世界の画像を生成し、複合現実感を高め必要がある。そのために、複合現実感提示システムは、システムの体験者の視点位置・姿勢をリアルタイムで取得し、かつ、体験者に対してＨＭＤのような表示装置にリアルタイムに表示する必要がある。
【０００４】
尚、複合現実感提示システムは、センサ装置によって計測した体験者の視点位置・姿勢を、仮想世界での仮想の視点位置・姿勢として設定する。そして、複合現実感提示システムは、この設定に基づいて仮想世界の画像をＣＧにより描画して、現実世界の画像と合成する。
【０００５】
また、ＨＭＤは複合現実感を提示するため、複合現実感システムは、体験者の視野内に、ＨＭＤの表示装置による表示を行い、かつ、ＨＭＤの表示装置の表示内にはＣＧを描画する領域を含める。そのため、複合現実感システムにおける体験者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像をＨＭＤの表示装置により観察することができる。さらに複合現実感の世界では、複合現実感システムは現実物体に仮想ＣＧを重畳表示することが可能である。この重畳表示によって、体験者は仮想ＣＧの見かけを持った現実物体を感じることが出来る。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、これまでは複合現実世界の中で現実世界の物体が、仮想世界で設定した照明に対して影響を与えることはなかった。現実世界の中では現実物体が現実の照明を遮れば現実物体に影が生じる。しかし、仮想世界の照明に対して特別な処理をしなければ、仮想ＣＧにおいて現実物体に対する影は表示されないし、表示しようとするととても重い処理となる。
【０００７】
本発明は、仮想世界の照明に対して現実物体の仮想世界に対する影などの影響を反映する高速で簡易な処理を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明における複合現実感提示システムは 現実世界の被写体を撮像する撮像手段と、撮像手段が撮像する位置と撮像方向を計測する位置方向計測手段と、仮想世界において仮想光源からの光に照らされた仮想物体と、仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、位置方向計測手段により計測された撮像手段の位置と撮像方向、仮想光源の位置および仮想物体の位置とを用いて、仮想光源の輝度の調整値を計算する光効果算出手段と、
光効果算出手段で計算された輝度の調整値を用いて仮想画像生成手段における仮想光源の輝度を調整する調整手段と、撮像された現実世界の被写体像と仮想画像生成手段で生成された仮想画像とを合成する画像合成手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明により、複合現実感提示システムの体験者が複合現実世界において、現実世界における光の感覚を仮想光に対しても持つことが出来る。
【発明を実施するための最良の形態】
【００１０】
＜実施形態１＞
実施形態１における構成において、複合現実感提示システムの中に一つの仮想照明と、二つの仮想物体と、一人の観察者とが存在する。ここで、観察者は仮想物体Ａと仮想物体Ｂを見ることが出来る。
【００１１】
まずシステム構成を説明する。
【００１２】
図１は、実施形態１のシステム構成例を示す図である。各構成部品の説明を簡単に述べていく。システム制御部１０１は、システム全体をコントロールするユニットである。システム制御部１０１は、画像入力部１０２、画像合成部１０３、画像出力部１０４、カメラ位置姿勢計測部１０５、仮想画像生成手段１０６、光効果算出手段１０７、ライト属性入力部１０８を備える。
【００１３】
また、ビデオシースルー型ヘッドマウンテッドディスプレイ（ＨＭＤ）１３２は、カメラ１３３と画像出力部１３４と画像入力部１３５と画像表示部１３６を備える。次に、図１の構成における各機能部の動作の流れについて説明する。
【００１４】
図２は、各機能部の動作を示すフローチャートである。
【００１５】
ステップ２０１：観察者が頭部に装着したＨＭＤ１３２のカメラ１３３は現実空間の被写体を撮像する。撮像された現実空間の画像は画像出力部１３４に送信される。画像出力部１３４は現実空間の被写体像をシステム制御部１０１の画像入力部１０２に送信する。システム制御部１０１では画像入力部１０２から取り込んだ現実空間の画像データを画像合成部１０３に送信する。
【００１６】
ステップ２０２：カメラ位置姿勢計測部１０５はカメラ１３３の位置と撮像方向（姿勢）を計測し、その位置と方向の情報を仮想画像生成手段１０６に送信する。カメラ１３３の位置姿勢に関する位置方向計測の方法は、例えばPOLHEMUS(ポヒマス)社の３次元位置姿勢計測システムFastrak等を用いることで計測できる。このシステムにおいてはどのような手段を使用しても構わない。
【００１７】
ステップ２０３：ライト属性入力部１０８はライト属性を光効果算出手段１０７へ入力する。
【００１８】
ステップ２０４：光効果算出手段１０７はライト属性入力とカメラ位置姿勢計測部１０５からの位置情報を元に必要があれば、仮想照明の属性を変更する。どのように属性を変更するかは、本発明の重要な部分であり、図７を用いて後述する。
【００１９】
ステップ２０５：仮想画像生成手段１０６は、光効果算出手段１０７において変更された仮想照明の属性とカメラ位置姿勢計測部１０５からの位置情報とに基づき仮想世界の像を描画し仮想画像を生成する。
【００２０】
ステップ２０６：画像合成部１０３は、画像入力部からの現実世界の画像と仮想画像生成手段１０６からの仮想世界の画像を合成し、合成画像を画像出力部１０４へ送る。
【００２１】
ステップ２０７：画像出力部１０４は、ＨＭＤ１３２の画像入力部１３５へ合成画像を送り、画像表示部１３６はその合成画像を表示する。
【００２２】
これにより、観察者は、仮想照明が存在したときの複合現実感世界における画像を観察できる。
【００２３】
図３は実施形態１の複合現実世界を説明する図である。この複合現実世界には、観察者３０１と仮想点光源３０２と仮想オブジェクトＡ３０３と仮想オブジェクトＢ３０４とが存在する。
【００２４】
それぞれの現実世界の座標は、次のとおりとする。
【００２５】
・観察者の視点（カメラの位置）３０１ （０，０，０）
・仮想点光源３０２ （−５００，５００，０）
・仮想オブジェクトＡ３０３ （５００，−５００，０）
・仮想オブジェクトＢ３０４ （−１０００，１０００，０）
また仮想点光源３０２の輝度は、０．８と仮定する。
【００２６】
図３からわかるように、観察者３０１は、仮想オブジェクトＡ３０３を観察している。また仮想点光源３０２は、仮想オブジェクトＡ３０３を照らしている。
【００２７】
また現実世界にいる観察者３０１自身は、仮想点光源３０２から仮想オブジェクトＡ３０３を照らしている光線を遮っている。そこでその状況を複合現実世界で再現するために仮想点光源３０２を調整する必要がある。
【００２８】
仮想点光源の調整方法として、実施形態１では点光源の輝度を調整する。その調整のためのパラメータを以下に示す。
【００２９】
仮想点光源の位置：Ｐ１１
観察者の視点の位置：Ｐ１２
仮想オブジェクトＡの位置：Ｐ１３
これらの位置からベクトルを算出する。
【００３０】
観察者の観察方向の方向ベクトル：Ｖ１２
仮想点光源から観察者への方向ベクトル：Ｖ１１
Ｖ１１＝Ｐ１２−Ｐ１１
Ｖ１２＝Ｐ１３−Ｐ１２
Ｖ１１の単位ベクトルをｅ１１、Ｖ１２の単位ベクトルをｅ１２とする。
【００３１】
いま係数をｋとし、仮想点光源の輝度に対する低減率をｔ１とすると、ｔ１は２つの単位ベクトルの内積とｋとを乗算することにより次のように表される。
【００３２】
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
ｋ＝０．５として、これを上記の数字に当てはめると
ｅ１１＝（１、−１、０）
ｅ１２＝（１、−１、０）
よって、
ｔ１＝０．５＊１＝０．５となる。
【００３３】
したがって、仮想点光源３０２の輝度が０．８なので、仮想点光源が観察者により遮られたときの低減された輝度の調整値は、低減率ｔ１を用いて、０．８＊０．５＝０．４となる。
【００３４】
図４は、低減率の計算の流れを示すフローチャートである。
【００３５】
ステップ７０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想点光源が存在するか否かを確認する。仮想点光源が存在すればステップ７０２に進む。存在していなければ終了する。
【００３６】
ステップ７０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ１１とする。
【００３７】
ステップ７０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ１２とする。
【００３８】
ステップ７０４：光効果算出手段１０７において、係数ｋ＝０．５とされ、仮想点光源の輝度の低減率ｔ１が算出される。
【００３９】
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
ステップ７０５：光効果算出手段１０７において、仮想点光源の元の輝度をｉ１１、新しい低減された輝度をｉ１２とする。
【００４０】
ｉ１２＝ｉ１１＊ｔ１
以上で、計算は終了する。
【００４１】
このように、実施形態１では、仮想光源が観察者により遮られている。この場合、観察者に複合現実感を与えるために、元の仮想点光源の輝度を暗くして合成する方法を提供する。このケースでは、元の仮想点光源の輝度に対して、観察者により遮られるときの輝度が半分となることがわかる。
＜実施形態２＞
システム構成は実施形態１と同様である。
【００４２】
図５は、実施形態２における複合現実世界における存在する物体およびその配置を示す図である。各物体の位置は実施例１と同じである。
【００４３】
しかし観察者３０１の観察する方向が異なる。実施形態２では、観察者３０１は、仮想オブジェクトＢ３０４を観察している。
【００４４】
それぞれの複合現実世界における座標は以下のとおりとする。
【００４５】
・観察者３０１（０，０，０）
・仮想点光源３０２（−５００，５００，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
また仮想点光源３０２の輝度は、０．８とする。
【００４６】
観察者３０１は仮想オブジェクトＢ３０４を観察している。また仮想点光源３０２は仮想オブジェクトＢ３０４を照らしている。
【００４７】
図５からわかるように、実施形態１と異なり、観察者３０１は仮想点光源３０２が仮想オブジェクトＢ３０４を照射するのを妨げてはいない。
【００４８】
しかし、実施形態１と実施形態２において、仮想点光源の位置と観察者の位置と仮想オブジェクトの位置とが同じである。しかしながら、観察者の観察の方向が異なる。この場合、やはり実施形態１で用いた次式により点光源の輝度の低減率を求める。
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
この式を実施形態２に当てはめてみよう。
【００４９】
ｋを実施形態１と同様に０．５とすると、
ｔ１＝０．５＊（−１）＝−０．５
となる。
【００５０】
算出されたｔ１の値がマイナスということは、数学的には単純に輝度を上げることを意味すると思われるが、それはこの実施形態２の状況から考えると正しくない。すなわち、この場合輝度を変更しないのが正しい。物理的な解釈として、内積（ｅ１１・ｅ１２）が正の値になる時だけ、仮想点光源の輝度の低減を行うようにする。この内積の値が０になるときは、観察者の観察方向のベクトルと点光源から観察者の方向へのベクトルが９０度になるときである。つまり、観察者の観察方向と点光源から観察者への方向が９０度以内のときにだけ、仮想点光源の輝度の低減を行うというルールを導入する。
【００５１】
図６は実施形態２の計算の流れをフローチャートにした図である。図４のフローチャートとの相違は、ステップ４０３とステップ４０４の処理の間にステップ６０１を挿入したものである。したがって、ステップ６０１以外のステップの説明は、省略する。
【００５２】
ステップ６０１：光効果算出手段１０７は、内積（ｅ１１・ｅ１２）を計算し、この内積が正のとき、ステップ７０４に進む。もし負のときステップ７０１に戻る。
【００５３】
以上のように、実施形態２では、観察者が仮想光源を遮らない場合、すなわち、観察者が仮想光源の方向を向いている場合、仮想現実世界において、仮想光源の輝度の低減は不要であることを示した。また、そのとき内積（ｅ１１・ｅ１２）が、負になることも示した。このように、内積の値に対して、所定の閾値（この場合は「正であること」）を設けその閾値内に入らないとき、仮想光源に対する低減をしないようにすることができる。
＜実施形態３＞
仮想平行光は、位置もなく全ての仮想物体を突き抜けるが、現実世界における平行光が必ずどこかから出ている。例えば、太陽が現実世界における平行光である。観察者が太陽と観察物体の間に入るときも当然、観察する物体は暗くなる。実施形態３では、仮想世界で太陽のような平行光線がある状態を複合現実世界で実現する。
【００５４】
システム構成は、実施形態１と同様である。
【００５５】
図７は、実施形態３における複合現実世界の物体の配置を示す図である。
【００５６】
実施形態３では、観察者３０１と仮想平行光７０１と仮想オブジェクトＡ３０３と仮想オブジェクトＢ３０４が存在する。
【００５７】
それぞれの復号現実世界の座標は、以下のとおりとする。
【００５８】
・観察者３０１（０，０，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
仮想平行光のベクトルは次の通りとする。
【００５９】
・仮想平行光７０１（１，−１，０）
また仮想平行光７０１の輝度は、０．８とする。
【００６０】
観察者３０１は仮想オブジェクトＡ３０３を観察しているので観察方向をあらわすベクトルは（１，−１，０）である。仮想平行光７０１は、観察者３０１の背後から光線を出している。したがって、観察者３０１と仮想オブジェクトＡ３０３の位置関係にあるときは、仮想平行光は遮られる。したがって、現実世界と同様な感覚を得るために、仮想平行光７０１の調整が必要である。
【００６１】
仮想平行光の調整方法として、実施形態３では仮想平行光の明るさを調整する。その調整のためのパラメータを以下に示す。
【００６２】
仮想平行光の方向ベクトル：Ｖ３１
観察者の視点の位置：Ｐ３２
仮想オブジェクトＡの位置：Ｐ３３
これらの位置からベクトルを算出する。
【００６３】
観察者の観察方向の方向ベクトル：Ｖ３２
Ｖ３２＝Ｐ３３−Ｐ３２
Ｖ３１の単位ベクトルをｅ３１、Ｖ３２の単位ベクトルをｅ３２とする。
【００６４】
係数をｋとし、仮想平行光の輝度の低減率をｔ３とすると、ｔ３は以下の式で表される。
【００６５】
Ｔ３＝ｋ＊（ｅ３１・ｅ３２）
いまｋ＝０．５としこれを上記の数値を代入すると、
ｅ３１＝（１、−１、０）
ｅ３２＝（１、−１、０）
よって、
ｔ３＝０．５＊１＝０．５
となる。
【００６６】
仮想平行光７０１の輝度は０．８なので、観察物体に対する新しい仮想平行光の輝度は、０．８＊０．５＝０．４となる。
【００６７】
図８は、実施形態３の計算の流れを示すフローチャートである。
【００６８】
ステップ８０１：システム制御部１０１の光効果算出手段１０７は、ライト属性入力部１０８で入力されている仮想平行光が存在するか否かを確認する。仮想点光源が存在すればステップ８０２に進む。存在していなければ終了する。
【００６９】
ステップ８０２：光効果算出手段１０７は、観察者の観察方向を算出し、その単位ベクトルをｅ３１とする。
【００７０】
ステップ８０３：光効果算出手段１０７は、仮想点光源から観察者への方向を算出し、その単位ベクトルをｅ３２とする。
【００７１】
ステップ８０４：光効果算出手段１０７において、係数がｋ＝０．５とされ、仮想平行光の輝度の低減率ｔ３が次式により算出される。
【００７２】
ｔ３＝ｋ＊（ｅ３１・ｅ３２）
ステップ８０５：光効果算出手段１０７において、仮想平行光の元の輝度をｉ３１、新しい輝度をｉ３２とする。
【００７３】
ｉ３２＝ｉ３１＊ｔ１
ここで、計算は終了する。
【００７４】
以上により、実施形態３においては、実施形態１と同様、仮想平行光に対しても、複合現実世界において合成できる
このように、実施形態３においても実施形態１と同様、仮想平行光が観察者により遮られている場合、元の仮想平行光の輝度を暗くして合成する手法を提供する。このケースでは、元の仮想平行光の輝度に対して、観察者によりさえぎられたときの輝度が半分となることがわかる。
＜実施形態４＞
実施形態４のシステム構成は、実施形態１と同様である。
【００７５】
図９は、実施形態４における複合現実世界に存在する物体およびその位置を示す図である。観察者と仮想オブジェクトの位置は実施形態３と同じである。
【００７６】
しかし観察者３０１の観察する方向が異なる。実施形態４では、観察者３０１は、仮想オブジェクトＢ３０４を観察している。
【００７７】
それぞれの複合現実世界の座標は以下のとおりとする。
【００７８】
・観察者３０１（０，０，０）
・仮想点光源３０２（−５００，５００，０）
・仮想オブジェクトＡ３０３（５００，−５００，０）
・仮想オブジェクトＢ３０４（−１０００，１０００，０）
【００７９】
仮想平行光のベクトルは以下のとおりである。
・仮想平行光７０１（１，−１，０）
また仮想平行光７０１の輝度は。実施形態３と同様、０．８である。
【００８０】
観察者３０１は、仮想オブジェクトＢ３０４を観察しているので、観察方向をあらわすベクトルは（−１，１，０）である。仮想平行光７０１は、観察者３０１の正面から光線を出しているので、観察者３０１と仮想オブジェクトＢ３０４が図９のような位置関係にあるときは、現実世界と同様な感覚では仮想平行光７０１の調整は必要ないと言える。すなわち、仮想平行光は、観察者により遮られていない。すたがって、実施形態４は、実施形態２のケースと同様の結果がえられると考えられる。
【００８１】
実施形態２で提示した仮想平行光の輝度の低減率を求める式は以下のとおりである。
【００８２】
ｔ１＝ｋ＊（ｅ１１・ｅ１２）
この式を実施形態４に当てはめてみよう。
【００８３】
ｋを実施形態１と同様に０．５とすると、
ｔ１＝０．５＊（−１）＝−０．５
となる。
【００８４】
算出されたｔ１の値がマイナスということは、数学的には単純に輝度を上げることを意味すると思われるが、それはこの実施形態４の状況から考えると正しくない。すなわち、この場合輝度を変更しないのが正しい。物理的な解釈として、内積（ｅ１１・ｅ１２）が正の値になる時だけ、仮想点光源の輝度の低減を行うようにする。この内積の値が０になるときは、観察者の観察方向のベクトルと点光源から観察者の方向へのベクトルが９０度になるときである。つまり、実施形態１や実施形態３と同様に、観察者の観察方向と点光源から観察者への方向が９０度以内のときにだけ、仮想点光源の輝度の低減を行うというルールを導入する。
【００８５】
図１０は、実施形態４の計算のフローチャートである。
【００８６】
図８のフローチャートとの相違は、ステップ８０３とステップ８０４の処理の間にステップ１００１を挿入したものである。したがって、ステップ６０１以外のステップの説明は、省略する。
【００８７】
ステップ１００１：光効果算出手段１０７は、内積（ｅ３１・ｅ３２）を計算し、この内積が正のとき、ステップ８０４に進む。もし負のときステップ８０１に戻る。
【００８８】
以上のように、実施形態４では、観察者が仮想平行光を遮らない場合、すなわち、観察者が仮想平行光の方向を向いている場合、仮想現実世界において、仮想平行光の輝度の低減は不要であることを示した。また、そのとき内積（ｅ１１・ｅ１２）が、負になることも示した。
＜実施形態５＞
システム構成は実施形態１と同様である。
【００８９】
図１１は、実施形態５における物体の存在と、その配置を示す図である。
【００９０】
図１１からわかるように、実施形態１の構成に仮想照射光源１１０１を追加した以外は実施形態１と同じである。
【００９１】
仮想照射光源１１０１の属性、すなわち位置と方向は以下のようになっている。
【００９２】
・ 位置（−５００，５００，０）
・ 照射方向（１，−１、０）
仮想照射光源１１０１は、仮想点光源３０２の輝度を調整するためのものである。したがって、仮想点光源３０２と同位置に存在し、仮想点光源３０２の位置から観察者３０１の方向に向いて設定されている。
【００９３】
仮想照射光源１１０１を除いて考えると実施形態１と同じ構成となる。実施形態５では、仮想点光源３０２の属性を変更せずに、仮想照射光源１１０１を用いて仮想点光源の調整を行う。
【００９４】
仮想照射光源１１０１は、シーンの輝度を低減する働きをする。実施形態１の中で低減率が、ｔ１として算出されている。仮想点光源３０２の明るさをｉ１１とすると、仮想照射光源１１０１の低減された輝度の大きさは、ｉ４＝ｉ１１＊ｔ１で定義される。
【００９５】
この仮想照射光により観察者３０１が観察している仮想オブジェクトＡ３０３が暗くなり、複合現実世界でも現実世界のような光の感覚を味わうことが出来る。
【００９６】
図１２は、実施形態５における計算のフローチャートである。
【００９７】
図１２は、図６における実施形態１のフローチャートのステップ４０５をステップ１２０１に変更したものである。したがって、ステップ１２０１以外のステップの説明は、省略する。
【００９８】
ステップ１２０１：光効果算出手段１０７は、仮想点光源の輝度をｉ１１、仮想照射光による効果をｉ４としたとき、ｉ４＝ｉ１１＊ｔ１を計算し、輝度調整値を求める。
【００９９】
以上のように、実施形態５では、仮想点光源の位置に、仮想照射光を配置することで、複合現実空間において、輝度調整を行う手法を提供した。
【図面の簡単な説明】
【０１００】
【図１】本発明の複合現実感提示システムの構成例を示す図である。
【図２】実施形態１における動作のフローチャートである。
【図３】実施形態１における複合現実世界の仮想光源を含む構成を示した図である。
【図４】実施形態１における輝度の低減率計算のフローチャートである。
【図５】実施形態２における複合現実世界の仮想光源を含む構成を示した図である。
【図６】実施形態２における輝度の低減率計算のフローチャートである。
【図７】実施形態３における複合現実世界の仮想光源を含む構成を示した図である。
【図８】実施形態３における輝度の低減率計算のフローチャートである。
【図９】実施形態４における複合現実世界の仮想光源を含む構成を示した図である。
【図１０】実施形態４における輝度の低減率計算のフローチャートである。
【図１１】実施形態５における複合現実世界の仮想光源を含む構成を示した図である。
【図１２】実施形態５における輝度の低減率計算のフローチャートである。
【符号の説明】
【０１０１】
１０１．システム制御部
１０２．画像入力部
１０３．画像合成部
１０４．画像出力部
１０５．カメラ位置姿勢計測部
１０６．仮想世界生成部
１０７．ライト属性変更部
１０８．ライト属性入力部
１３２．ビデオシースルー型ＨＭＤ
１３３．カメラ
１３４．画像出力部
１３５．画像入力部
１３６．画像表示部
２０１．観察者
２０２．仮想点光源
２０３．仮想オブジェクトＡ
２０４．仮想オブジェクトＢ
４０１．仮想平行光
６０１．仮想照射光
【特許請求の範囲】
【請求項１】
現実世界の被写体を撮像する撮像手段と、
前記撮像手段が撮像する位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向、前記仮想光源の位置および前記仮想物体の位置とを用いて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて仮想画像生成手段における仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを合成する画像合成手段と
を備える複合現実感提示システム。
【請求項２】
前記仮想光源が点光源である場合、
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記仮想光源から前記撮像手段の視点への方向ベクトルと前記撮像手段の視点から前記仮想物体への方向ベクトルとの内積をとり、当該内積の値と仮想光源の輝度とを乗算することにより仮想光源の輝度の調整値を算出することを特徴とする請求項１に記載の複合現実感提示システム。
【請求項３】
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記内積の値が所定の閾値内に入らないときは、前記仮想光源の輝度の調整を行わないことを特徴とする請求項２に記載の複合現実感提示システム。
【請求項４】
現実世界の被写体を撮像する撮像手段と、
前記撮像手段が撮像する位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの平行光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向、前記平行光の照射方向、および前記仮想物体の位置とを用いて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて仮想画像生成手段における仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを合成する画像合成手段と
を備える複合現実感提示システム。
【請求項５】
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記平行光の方向ベクトルと前記撮像手段の視点から前記仮想物体への方向ベクトルとの内積をとり、当該内積の値と仮想光源の輝度とを乗算することにより仮想光源の輝度の調整値を算出することを特徴とする請求項４に記載の複合現実感提示システム。
【請求項６】
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記内積の値が所定の閾値内に入らないとき、前記仮想光源の輝度の調整を行わないことを特徴とする請求項５に記載の複合現実感提示システム。
【請求項７】
前記仮想光源が点光源である場合に、
前記複合現実感提示システムは、
前記仮想光源と同位置に、光の方向が前記仮想光源から前記撮像手段の視点への方向となるように仮想照射光源を設定し、
前記仮想光源から前記撮像手段の視点への方向ベクトルと前記撮像手段の視点から前記仮想物体への方向ベクトルとの内積をとり、当該内積の値を仮想光源の輝度と乗算することにより前記仮想照射光源の輝度の調整値を算出することを特徴とする請求項１に記載の複合現実感提示システム。
【請求項８】
複合現実感提示システムにおける仮想光源の輝度調整の方法であって、
現実世界の被写体を撮像するステップと、
観察者の位置と観察方向を計測するステップと、
仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成するステップと、
前記計測された観察者の位置と観察方向、前記仮想光源の位置および前記仮想物体の位置とを用いて、前記仮想光源の輝度の調整値を計算するステップと、
前記計算された輝度の調整値を用いて前記仮想光源の輝度を調整するステップと、
前記撮像された現実世界の被写体像と前記生成された仮想画像とを合成するステップとを備える方法。
【請求項１】
現実世界の被写体を撮像する撮像手段と、
前記撮像手段が撮像する位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向、前記仮想光源の位置および前記仮想物体の位置とを用いて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて仮想画像生成手段における仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを合成する画像合成手段と
を備える複合現実感提示システム。
【請求項２】
前記仮想光源が点光源である場合、
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記仮想光源から前記撮像手段の視点への方向ベクトルと前記撮像手段の視点から前記仮想物体への方向ベクトルとの内積をとり、当該内積の値と仮想光源の輝度とを乗算することにより仮想光源の輝度の調整値を算出することを特徴とする請求項１に記載の複合現実感提示システム。
【請求項３】
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記内積の値が所定の閾値内に入らないときは、前記仮想光源の輝度の調整を行わないことを特徴とする請求項２に記載の複合現実感提示システム。
【請求項４】
現実世界の被写体を撮像する撮像手段と、
前記撮像手段が撮像する位置と撮像方向を計測する位置方向計測手段と、
仮想光源からの平行光により照らされた仮想物体を描画し仮想画像を生成する仮想画像生成手段と、
前記位置方向計測手段により計測された前記撮像手段の位置と撮像方向、前記平行光の照射方向、および前記仮想物体の位置とを用いて、前記仮想光源の輝度の調整値を計算する光効果算出手段と、
前記光効果算出手段で計算された輝度の調整値を用いて仮想画像生成手段における仮想光源の輝度を調整する調整手段と、
前記撮像された現実世界の被写体像と前記仮想画像生成手段で生成された仮想画像とを合成する画像合成手段と
を備える複合現実感提示システム。
【請求項５】
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記平行光の方向ベクトルと前記撮像手段の視点から前記仮想物体への方向ベクトルとの内積をとり、当該内積の値と仮想光源の輝度とを乗算することにより仮想光源の輝度の調整値を算出することを特徴とする請求項４に記載の複合現実感提示システム。
【請求項６】
前記仮想光源の輝度の調整値を計算する光効果算出手段は、
前記内積の値が所定の閾値内に入らないとき、前記仮想光源の輝度の調整を行わないことを特徴とする請求項５に記載の複合現実感提示システム。
【請求項７】
前記仮想光源が点光源である場合に、
前記複合現実感提示システムは、
前記仮想光源と同位置に、光の方向が前記仮想光源から前記撮像手段の視点への方向となるように仮想照射光源を設定し、
前記仮想光源から前記撮像手段の視点への方向ベクトルと前記撮像手段の視点から前記仮想物体への方向ベクトルとの内積をとり、当該内積の値を仮想光源の輝度と乗算することにより前記仮想照射光源の輝度の調整値を算出することを特徴とする請求項１に記載の複合現実感提示システム。
【請求項８】
複合現実感提示システムにおける仮想光源の輝度調整の方法であって、
現実世界の被写体を撮像するステップと、
観察者の位置と観察方向を計測するステップと、
仮想光源からの光により照らされた仮想物体を描画し仮想画像を生成するステップと、
前記計測された観察者の位置と観察方向、前記仮想光源の位置および前記仮想物体の位置とを用いて、前記仮想光源の輝度の調整値を計算するステップと、
前記計算された輝度の調整値を用いて前記仮想光源の輝度を調整するステップと、
前記撮像された現実世界の被写体像と前記生成された仮想画像とを合成するステップとを備える方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１２８９８６（Ｐ２０１０−１２８９８６Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０５６２３（Ｐ２００８−３０５６２３）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]