仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラム
【課題】仮想物体の影をより適正に作成する。
【解決手段】明るさパラメータS[k,i],S[q,i]を設定した複数の位置(取得位置kおよび補間位置q)のうち仮想物体の配置予定位置から所定範囲内の少なくとも一つの位置を処理用位置として設定し(S410)、設定した処理用位置における明るさパラメータS[i]を用いて仮想物体のシェーディングを行なうと共に仮想物体の影を表現するための影平面F[j]を作成する(S420〜S460)。
【解決手段】明るさパラメータS[k,i],S[q,i]を設定した複数の位置(取得位置kおよび補間位置q)のうち仮想物体の配置予定位置から所定範囲内の少なくとも一つの位置を処理用位置として設定し(S410)、設定した処理用位置における明るさパラメータS[i]を用いて仮想物体のシェーディングを行なうと共に仮想物体の影を表現するための影平面F[j]を作成する(S420〜S460)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムに関する。
【背景技術】
【0002】
従来、この種の仮想物体影作成装置としては、1台のカメラにより計測された実世界の光源環境を用いて仮想物体の影を作成するものが提案されている(例えば、非特許文献1参照)。この装置では、一つの光源環境を用いて作成した一つの仮想物体の影と一つの仮想物体と現実空間の画像とを合成することにより、現実空間とコンピュータグラフィックス(CG:Computer Graphics)によって表現された仮想空間との融合による複合現実感(MR:Mixed Reality)を表現している。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】角田哲也, 大石岳史, 池内克史, “影付け平面を用いた複合現実感における高速陰影表現手法”, 映像情報メディア学会誌, Vol. 62, No. 5, pp.788-795, 2008年5月
【発明の概要】
【発明が解決しようとする課題】
【0004】
こうした仮想物体影作成装置では、複合現実感をより適正に表現するために、仮想物体の影の作成において現実空間の光源環境をより適正に反映させることが重要な課題の一つとされている。上述の仮想物体影作成装置では、一つの光源環境を用いて仮想物体の影を作成するため、仮想物体の形状や位置,数によっては、仮想物体の影を作成する際に、現実空間の建造物や樹木,地形などが仮想物体に与える影響を適正に反映することができない場合が生じる。
【0005】
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、仮想物体の影をより適正に作成することを主目的とする。
【課題を解決するための手段】
【0006】
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、上述の主目的を達成するために以下の手段を採った。
【0007】
本発明の仮想物体影作成装置は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備えることを要旨とする。
【0008】
この本発明の仮想物体影作成装置では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境(明るさの環境)が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。
【0009】
こうした本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、ものとすることもできる。この態様の本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータを設定することができる。この場合、前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および/または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータをより適正に設定することができる。この場合、前記明るさパラメータ設定手段は、Nk(Nk≧2)個の前記取得位置k(kは1〜Nk)から選択したNksel個の選択取得位置ksel(kselは1〜Nksel、但し2≦Nksel≦Nk)の各々と前記未取得位置qとの距離a[q,ksel]と、前記選択取得位置kselにおける前記明るさパラメータS[ksel]と、前記未取得位置qと前記障害物との距離t[q](t[q]≧0)と、を用いて前記未取得位置qにおける前記明るさパラメータS[q]を次式(A)により計算する手段である、ものとすることもできる。
【数1】
【0010】
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、ものとすることもできる。
【0011】
さらに、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、現実空間の光源環境をより適正に反映して仮想物体の影を作成することができる。ここで、「部分の現実空間での配置予定位置から所定範囲内」は、その部分の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。
【0012】
あるいは、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、前者の場合には簡易に仮想物体の影を作成することができ、後者の場合には現実空間の光源環境をより適正に反映して仮想物体全体の影を作成することができる。
【0013】
加えて、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、ものとすることもできる。
【0014】
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、ものとすることもできる。こうすれば、明るさパラメータ設定手段が処理中であるか否かに拘わらず即ち明るさパラメータ設定手段とは独立して影作成手段の数を1以上の範囲で増減することができる。
【0015】
本発明の第1の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、を備えることを要旨とする。
【0016】
この本発明の第1の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて仮想合成画像を作成することにより、仮想合成画像をより適正に作成することができる。
【0017】
本発明の第2の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、現実空間の画像である現実画像を取得する現実画像取得手段と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、を備えることを要旨とする。
【0018】
この本発明の第2の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて現実仮想合成画像を作成することにより、現実仮想合成画像をより適正に作成することができる。
【0019】
本発明の仮想物体影作成方法は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
(a)現実空間の複数の位置における前記明るさパラメータを設定し、
(b)前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
ことを特徴とする。
【0020】
この本発明の仮想物体影作成方法では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境(明るさの環境)が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。
【0021】
本発明のプログラムは、上述のいずれかの態様の本発明の仮想物体影作成方法のステップを1以上のコンピューターに実現させるためのものである。このプログラムは、コンピューターが読み取り可能な記録媒体(例えばハードディスク、ROM、FD、CD、DVDなど)に記録されていてもよいし、伝送媒体(インターネットやLANなどの通信網)を介してあるコンピューターから別のコンピューターに配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピューターに実行させるか又は複数のコンピューターにステップを分担して実行させれば、上述の本発明の仮想物体影作成方法のステップが実行されるため、本発明の仮想物体影作成方法と同様の作用効果が得られる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。
【図2】本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。
【図3】本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。
【図4】半球状の面光源の一例を示す説明図である。
【図5】取得位置における全方位画像の一例を示す説明図である。
【図6】明るさ情報取得装置22の一例を示す説明図である。
【図7】頭部装着型映像表示装置(HMD)50の一例を示す説明図である。
【図8】ビデオシースルー方式の一例を示す説明図である。
【図9】図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。
【図10】影付け平面Pshadow[j]を作成する様子の一例を示す説明図である。
【図11】基礎光源L[i]の一例を示す説明図である。
【図12】基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する様子の一例を示す説明図である。
【図13】図10(a)の仮想物体に対して作成した基礎影画像Ibasis[j,i]の一部の一例を示す説明図である。
【図14】取得位置明るさパラメータ設定装置34により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。
【図15】取得位置kにおける明るさパラメータS[k,i]を設定する様子の一例を示す説明図である。
【図16】補間位置明るさパラメータ設定装置36により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。
【図17】補間位置qにおける明るさパラメータS[q,i]を設定する方法の考え方を示す説明図である。
【図18】補間位置qにおける明るさパラメータS[q,i]を設定する方法の考え方を示す説明図である。
【図19】明るさパラメータS[q,i]が設定される補間位置qの一例を示す説明図である。
【図20】現実仮想合成画像作成ルーチンの一例を示すフローチャートである。
【図21】Geodesic Domeに配置される仮想光源Lv[n]の一例を示す説明図である。
【図22】線形和画像Isum[j],Dsum[j]を演算する様子の一例を図21に示す説明図である。
【図23】明るさ比画像Ishadow[j]の一例を示す説明図である。
【図24】影平面F[j]の一例を示す説明図である。
【図25】表示装置56に表示される現実仮想合成画像の一例を示す説明図である。
【図26】仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。
【図27】変形例の明るさ情報取得装置122を示す説明図である。
【発明を実施するための形態】
【0023】
次に、本発明を実施するための形態を実施例を用いて説明する。
【実施例】
【0024】
図1〜図3は、本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。図1は、屋外で複合現実感表現システム20を用いる場合の一例を示し、図2は、屋内で複合現実感表現システム20を用いる場合の一例を示す。実施例の複合現実感表現システム20は、現実空間とコンピュータグラフィックス(CG:Computer Graphics)によって描かれた仮想空間との融合による複合現実感(MR:Mixed Reality)を表現するためのシステムとして構成されている。この複合現実感表現システム20は、図1〜図3に示すように、現実空間の複数の位置に配置されてそれぞれの配置位置(取得位置)における光の強度を含む情報(光源環境(明るさの環境)を反映する情報、以下、明るさ情報という)を取得する複数の明るさ情報取得装置22と、現実空間の画像である現実画像を撮影する撮影装置52(図3参照)と、ユーザの位置や姿勢を取得する位置姿勢取得装置54(図3参照)と、複数の明るさ情報,現実画像,ユーザの位置や姿勢などを用いて複合現実感(MR)を表現するための演算を行なう(具体的には、仮想的な物体である仮想物体の影を作成したり現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成したりする)複合現実感演算装置30と、複合現実感(MR)を表現する(具体的には、現実仮想合成画像を表示する)表示装置56(図3参照)と、を備える。
【0025】
複数の明るさ情報取得装置22は、それぞれ、取得位置における明るさ情報として、現実空間の光源環境(明るさの環境)を地表面よりも天頂側の半球状の面光源としてモデル化したときにその半球状の面光源の全ての領域の光の強度を反映した画像(以下、全方位画像という)を取得する装置として構成されている。半球状の面光源の一例を図4に示し、取得位置における全方位画像の一例を図5に示す。この明るさ情報取得装置22は、実施例では、図6に例示するように、魚眼レンズ22bを装着したカメラ22aを天頂方向に向けて配置する、ことにより構成するものとした。
【0026】
複合現実感演算装置30は、複数の明るさ情報取得装置22とネットワーク32とに接続され取得位置の各々における光の強度や方向を反映するパラメータ(以下、明るさパラメータという)を設定する取得位置明るさパラメータ設定装置34と、ネットワーク32に接続され取得位置とは異なる位置(以下、補間位置という)における明るさパラメータを設定する補間位置明るさパラメータ設定装置36と、ネットワーク32に接続され仮想物体のデータなどを記憶するデータベースサーバ38と、ネットワーク32に接続され現実仮想合成画像を作成する合成画像作成装置40と、を備える。ここで、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36,合成画像作成装置40は、それぞれ図示しないCPUやROM,RAM,ハードディスクなどを備える周知のコンピュータとして構成されている。また、データベースサーバ38には、仮想物体のデータの他に、仮想物体の影の作成に用いる基礎データ(後述の影付け平面や基礎影画像,基礎拡散画像など)なども記憶されている。なお、取得位置明るさパラメータ設定装置34や合成画像作成装置40は、それぞれ、一つであるものとしてもよいし、複数であるものとしてもよい(図1〜図3では複数の場合を図示した)。また、データベースサーバ38に記憶される基礎データは、実施例では、図示しないコンピュータによる後述の準備処理により作成されるものとした。
【0027】
撮影装置52,位置姿勢取得装置54,表示装置56は、実施例では、頭部装着型映像表示装置(HMD: Head Mounted Display)50として一体に形成されるものとした。HMD50の一例を図7に示す。また、位置姿勢取得装置54は、実施例では、磁気センサやGPS(Global Positioning System),ジャイロセンサ,加速度センサなどの一つまたはこれらの組み合わせにより構成されるものとした。
【0028】
こうして構成された実施例の複合現実感表現システム20では、図8に例示するように、撮影装置52により撮影された現実画像を用いて複合現実感演算装置30により現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成して表示装置56に表示するいわゆるビデオシースルー方式を用いるものとした。
【0029】
また、この複合現実感表現システム20では、複合現実感(MR)を表現するための準備処理として、基礎データを作成してデータベースサーバ38に記憶させる。そして、複合現実感を表現する逐次処理として、明るさ情報取得装置22により明るさ情報としての全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置40により現実仮想合成画像を作成して表示装置56に表示する。以下、準備処理,逐次処理の順に説明する。
【0030】
図9は、準備処理として、図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。この基礎画像作成処理ルーチンでは、まず、仮想物体の影の作成に用いる仮想的な平面上の物体(以下、影付け平面という)Pshadow[j](jは影付け平面の各々に対応する番号で1〜Nj、但しNjは影付け平面の数)を作成する(ステップS100)。ここで、影付け平面Pshadow[j]は、実施例では、仮想物体の幾何モデルから作成するものとした。影付け平面Pshadow[j]を作成する様子の一例を図10に示す。図10の例では、(a)に示す仮想物体の3次元(3D)モデルに対して、(b)仮想物体の3次元モデルを任意の部分に分割し、(c)分割後の各部分から凸包を作成し、(d)作成した凸包から主要な面を抽出する、ことによりNj枚の影付け平面Pshadow[j]を作成している。ここで、凸包とは、2次元空間では点集合の任意の2要素を結ぶ閉線分を内部に含む最小の凸多角形を意味し、3次元空間では任意の3次元形状を囲む最小の凸ポリゴン形状(凸図形)を意味する。このように影付け平面Pshadow[j]を作成することにより、仮想物体の3次元モデルの形状に沿った影付け平面Pshadow[j]を作成することができる。なお、この影付け平面Pshadow[j]の作成処理の一部(例えば、仮想物体の3次元モデルの作成や、作成した3次元モデルの分割)については、手作業によって行なうものとしてもよい。
【0031】
続いて、現実の光源環境(明るさの環境)を近似した基礎光源L[i](iは基礎光源の各々に対応する番号で1〜Ni、但しNiは基礎光源の数)を作成する(ステップS110)。基礎光源L[i]は、実施例では、現実空間の光源環境を地表面よりも天頂側の半球状の面光源としてモデル化したときに(図4参照)その半球状の面光源をGeodesic Domeを用いて分割して得られる離散的な複数の光源をそれぞれ設定するものとした。ここで、Geodesic Domeは、正多面体の各面を分割した辺を正多面体に外接する球の表面上に球の中心から投影したものであり、球面をほぼ等しい面積に分割する性質を有するものである(文献A,B参照)。このようにして作成した基礎光源L[i]の一例を図11に示す。実施例では、図示するように、半球状の面光源に内接する正多面体(例えば正20面体)をAlternative法(Class−I)(文献A参照)によって分割数f(例えば2)で分割し、分割した多面体の各辺を半球面に投影することによりGeodesic Domeを作成し、作成したGeodesic Domeの各面を基礎光源L[i]として設定するものとした。なお、Geodesic Domeの面数(基礎光源L[i]の数)nは、正20面体で分割数fが値2の場合、40になる。
文献A:A. Pugh, “Polyhedra: a visual approach”, University of California Press, September, 1976.
文献B:K. Ikeuchi, “Recognition of 3D object using the extended Gaussian image”, Proc. 7th International Joint Conference on Artificial Intelligence, pp. 595-600, August,
1981.
【0032】
次に、作成した基礎光源L[i](iは1〜Ni)と影付け平面Pshadow[j]とを用いて、仮想物体の影の作成に用いる基礎の影画像(以下、基礎影画像という)Ibasis[j,i](jは1〜Nj)および基礎の拡散反射の画像(以下、基礎拡散画像という)Dbasis[j,i]を設定し(ステップS120)、設定した基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]をデータベースサーバ38に記憶させて(ステップS130)、本ルーチンを終了する。基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する様子の一例を図12に示す。基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]は、実施例では、図示するように、Geodesic Dome内に配置した影付け平面Pshadow[j]上に仮想物体を配置した状態で基礎光源L[i]から影付け平面Pshadow[j]に照射したときの仮想物体の影画像を基礎影画像Ibasis[j,i]として設定し、影付け平面Pshadow[j]上の仮想物体を除いた状態で基礎光源L[i]から影付け平面Pshadow[j]に照射したときの画像を基礎拡散画像Dbasis[j,i]として設定するものとした。このようにしてNj×Ni枚の基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する。なお、影付け平面Pshadow[j]のうち法線方向が同じものについては、基礎光源L[i]に対して同じ拡散反射を行なうため、基礎拡散画像を共有するものとしてもよい。また、実施例では、影付け平面Pshadow[j]は、Lambert反射すると仮定した。図10(a)の仮想物体に対して作成した基礎影画像Ibasis[j,i]の一部の一例を図13に示す。
【0033】
以上、準備処理について説明した。次に、準備処理により設定した基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を用いて行なわれる逐次処理について説明する。逐次処理では、前述したように、複数の明るさ情報取得装置22の各々によりその明るさ情報取得装置22が配置された位置(取得位置)における明るさ情報として複数の取得位置の各々における全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置40により現実仮想合成画像を作成して表示装置56に表示する。以下、取得位置明るさパラメータ設定装置34による処理、補間位置明るさパラメータ設定装置36による処理、合成画像作成装置40による処理の順に説明する。なお、実施例では、取得位置k(kは取得位置の各々に対応する番号で1〜Nk、但しNkは取得位置の数即ち明るさ情報取得装置22の数)や補間位置q(qは補間位置の各々に対応する番号でNk+1〜Nq、但し、Nqは取得位置の数と補間位置の数との和)における明るさパラメータとして、基礎光源L[i]の各々に対応する領域iの明るさを反映するパラメータである明るさパラメータS[k,i],S[q,i]を用いるものとした。
【0034】
図14は、取得位置明るさパラメータ設定装置34により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。取得位置明るさパラメータ設定処理ルーチンでは、取得位置明るさパラメータ設定装置34は、明るさ情報取得装置22から取得位置kにおける全方位画像G[k](図5参照)を入力し(ステップS200)、入力した取得位置kにおける全方位画像G[k]を用いて取得位置kにおける明るさパラメータS[k,i]を設定し(ステップS210)、設定した取得位置kにおける明るさパラメータS[k,i]をネットワーク32に出力して(ステップS220)、本ルーチンを終了する。取得位置kにおける明るさパラメータS[k,i]を設定する様子の一例を図15に示す。取得位置kにおける明るさパラメータS[k,i]は、実施例では、全方位画像G[k]にGeodesic Domeを投影して全方位画像G[k]を各々の基礎光源L[i]に対応するNi個の三角形領域に分割し、分割した三角形領域i(iは基礎光源L[i]に対応する番号)のそれぞれについて、次式(1)により、各画素p(pは三角形領域i内の各画素に対応する番号で1〜Np、但し、Npは画素数)の画素値(暗いほど小さく明るいほど大きい値)V[k,i,p](例えば、0〜255)の和を各画素pの画素値V[k,i,p]の最大値Vmax[k,i,p](例えば、255)の和で除して0.0〜1.0の範囲内に正規化する、ことにより設定するものとした。このように複数の取得位置kにおける明るさパラメータS[k,i]を設定することにより、現実空間の建造物や樹木,地形などが仮想物体の一部の光源環境(明るさの環境)や複数の仮想物体のそれぞれの位置の光源環境に影響を与えると考えられるときでも、より現実の光源環境を反映して取得位置kにおける明るさパラメータS[k,i]を設定することができる。
【0035】
【数2】
【0036】
次に、補間位置明るさパラメータ設定装置36による処理について説明する。図16は、補間位置明るさパラメータ設定装置36により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。補間位置明るさパラメータ設定処理ルーチンでは、補間位置明るさパラメータ設定装置36は、取得位置kにおける明るさパラメータS[k,i](kは1〜Nk、iは1〜Ni)をネットワーク32から入力し(ステップS300)、入力した取得位置kにおける明るさパラメータS[k,i]を用いて補間位置q(qはNk+1〜Nq)における明るさパラメータS[q,i]を設定し(ステップS310)、設定した補間位置qにおける明るさパラメータS[q,i]をネットワーク32に出力して(ステップS320)、本ルーチンを終了する。ここで、補間位置qにおける明るさパラメータS[q,i]は、実施例では、Nk個(Nk≧2)の取得位置k(1〜Nk)からNksel個の取得位置(以下、選択取得位置という)ksel(1〜Nksel、但し2≦Nksel≦Nk)を任意に選択し、選択した選択取得位置kselにおける明るさパラメータS[ksel,i]と、選択取得位置kselと補間位置qとの距離a[q,ksel]と、距離t[q,i](t[q,i]≧0)と、を用いて次式(2)により計算するものとした。3つの選択取得位置1〜3における明るさパラメータS[ksel,i](kselは1〜3)を用いて補間位置qにおける明るさパラメータS[q,i]を設定する方法の考え方を図17および図18に示す。式(2)は、取得位置kと補間位置qとの距離a[q,k]に反比例する傾向で補間位置qにおける明るさパラメータS[q,i]が取得位置kにおける明るさパラメータS[k,i]から影響を受けると考えられるという理由と(図17参照)、補間位置qが山影や建物の陰,これらの近傍にある場合などに補間位置qから見て基礎光源L[i]に対応する方向の障害物(例えば、建物や樹木,地形など)と補間位置qとの距離t[q,i]に反比例する傾向で補間位置qにおける明るさパラメータS[q,i]が障害物から影響を受けると考えられるという理由と(図18参照)、から定めたものである。このようにして明るさパラメータS[q,i]が設定される補間位置qの一例を図19に示す。図中、実線丸印は取得位置kを示し、点線三角印は補間位置qを示す。仮想物体とその影とを合成した仮想合成画像を表示するためには、表示する位置における明るさパラメータを設定する必要がある。しかしながら、広い現実空間で複合現実感表現システム20を用いる場合にその現実空間全体に明るさ情報取得装置22を配置することや、仮想物体を移動させる場合に仮想物体の移動に応じて明るさ情報取得装置22を移動させることは困難である。これに対して、実施例では、この補間位置明るさパラメータ設定処理ルーチンを実行することにより、明るさ情報取得装置22の配置位置(取得位置)以外の位置(補間位置)における明るさパラメータS[q,i]を設定することができる。しかも、建物や樹木,地形などの障害物による影響を考慮して補間位置qにおける明るさパラメータS[q,i]を設定することにより、より現実の光源環境を反映して補間位置qにおける明るさパラメータS[q,i]を設定することができる。なお、補間位置qは、例えば、仮想物体の位置や大きさ,形状などに基づいて定めるものとしたり、現実空間の地形や建物の構造,配置などに基づいて定めるものとしたり、これらに拘わらず予め定められた補間位置q間の間隔や取得位置kに対する距離などに基づいて定めるものとしたりすることができる。実施例では、仮想物体の配置予定位置が取得位置k以外のときには、補間位置qに、その仮想物体の配置予定位置またはその近傍を含めるものとした。
【0037】
【数3】
【0038】
次に、合成画像作成装置40による処理について説明する。図20は、現実仮想合成画像作成ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。現実仮想合成画像作成ルーチンでは、合成画像作成装置40は、まず、ネットワーク32から取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]を入力すると共にデータベースサーバ38からネットワーク32を介して影付け平面Pshadow[j]や基礎影画像Ibasis[j,i](jは1〜Nj、iは1〜Ni),基礎拡散画像Dbasis[j,i]を入力する(ステップS400)。
【0039】
続いて、仮想物体のシェーディング(仮想物体表面の法線,反射特性,光源分布による仮想物体表面の明るさの濃淡を表現する処理)や影の作成に用いる位置を取得位置k(kは1〜Nk)や補間位置q(qはNk+1〜Nq)から選択して処理用位置として設定する(ステップS410)。この処理用位置は、実施例では、取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を設定するものとした。ここで、取得位置kや補間位置qのうち所定範囲内に複数の位置があるときには、例えば、取得位置kや補間位置qのうち仮想物体の配置予定位置のうちの基準点(例えば、仮想物体の中心)に最も近い位置を処理用位置として設定するものとすることができる。また、所定範囲は、例えば、仮想物体の配置予定位置に対して光源環境(明るさの環境)が略等しいと想定可能な範囲であるものとすることができる。なお、前述の図1や図2に例示したように、仮想物体が複数ある場合には、一つの仮想物体に対して一つの処理用位置を設定すればよい。以下、説明の都合上、取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]のうち処理用位置における明るさパラメータをSs[i]と表わす。
【0040】
こうして処理用位置を設定すると、その処理用位置における明るさパラメータSs[i]を用いて、処理用位置における仮想的な光源である仮想光源Lv[n](nは仮想光源の各々に対応する番号で1〜Nn、但しNnは仮想光源の数)の強度LI[n]を設定する(ステップS420)。ここで、処理用位置における仮想光源Lv[n]は、処理用位置におけるGeodesic Dome上の基礎光源L[i]を基礎光源L[i]の数Niより少ない数(例えば、8や16など)に集約したものである。Geodesic Domeに配置される仮想光源Lv[n]の一例を図21に示す。また、仮想光源Lv[n]の強度LI[n]は、処理用位置における明るさパラメータSs[i]を仮想光源Lv[n]に対して反映させることにより設定することができ、実施例では、仮想光源Lv[n]の数Nnが明るさパラメータSs[i]の数Niに比して少ないため、仮想光源Lv[n]近傍の明るさパラメータSs[i]の平均として仮想光源Lv[n]の強度LI[n]を設定するものとした。こうした処理により、現実空間の光源環境(明るさの環境、実施例では、処理用位置における明るさパラメータSs[i])を処理用位置における仮想光源Lv[n]によって近似的に表現することができる。
【0041】
続いて、設定した処理用位置における仮想光源Lv[n]の強度LI[n]を用いて仮想物体のシェーディングを行なう(ステップS430)。ここで、仮想物体のシェーディングは、例えば、仮想光源Lv[n]を平行光源(無限遠の光源)として、仮想物体を直接照射する直接光や他の物体(現実世界の物体である現実物体および仮想物体)表面から反射する間接光を計算して写実的な陰影を作成する、ことにより行なうことができる。なお、このシェーディングの方法としては、例えば、鏡面反射を表現する「フォンのモデル」や、金属の表現に適した「ブリンのモデル」,「クック・トランスのモデル」,磨いた金属や布を表面する「異方性反射モデル」などが考えられている(引用文献C参照)。
文献C:技術編CG標準テキストブック編集委員会, “技術編CG標準テキストブック”, 財団法人画像情報教育振興協会(CG-ARTS協会), 第一版六刷, March, 2003.
【0042】
次に、処理用位置における明るさパラメータSs[i]と影付け平面Pshadow[j]における基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]とを用いて、影付け平面Pshadow[j]についての線形和の画像(以下、線形和画像という)Isum[j],Dsum[j]を作成する(ステップS440)。ここで、線形和画像Isum[j],Dsum[j]の作成は、実施例では、処理用位置における明るさパラメータSs[i]と基礎影画像Ibasis[j,i]とを用いて次式(3)により影付け平面Pshadow[j]についての線形和画像Isum[j]を演算し、処理用位置における明るさパラメータSs[i]と基礎拡散画像Dbasis[j,i]とを用いて次式(4)により影付け平面Pshadow[j]についての線形和画像Dsum[j]を演算する、ことにより行なうものとした。線形和画像Isum[j],Dsum[j]を演算する様子の一例を図22に示す。
【0043】
【数4】
【0044】
こうして影付け平面Pshadow[j]についての線形和画像Isum[j],Dsum[j]を設定すると、設定した線形和画像Isum[j]と線形和画像Dsum[j]とを用いて、影付け平面Pshadow[j]についての仮想物体の影の強度である明るさ比画像Ishadow[j]を作成する(ステップS450)。ここで、現実物体および仮想物体の表面上のある点における放射照度Eとこのある点が影付け平面Pshadow[j]によって影付けされた後の放射照度E’との関係は、次式(5)により表わされることが解っている(文献D参照)。実施例では、このことを考慮して、線形和画像Isum[j]と線形和画像Dsum[j]とを用いて式(6)により明るさ比画像Ishadow[j]を作成するものとした。こうして計算される明るさ比画像Ishadow[j]のうち値1となる画素は本影(仮想物体により完全に遮られた影)となる部分を示し、値0となる画素は全く影の落ちない部分を示す。明るさ比画像Ishadow[j]の一例を図23に示す。
文献D:I. Sato, Y. Sato, and K. Ikeuchi:“Acquiring a radiance distribution to superimpose virtual objects onto a real scene”, IEEE Trans. on Visualization and Computer Graphics, 5, 1, pp.1-12, January-March, 1999.
【0045】
【数5】
【0046】
続いて、作成した明るさ比画像Ishadow[j]を対応する影付け平面Pshadow[j]にマッピングすることにより、現実物体および仮想物体の表面上における影を表現するための影平面F[j]を作成する(ステップS460)。影平面F[j]を作成する様子の一例を図24に示す。影平面F[j]の作成は、例えば、影付け平面Pshadow[j]を反射率が値0の物体として、画像の色情報RGB(赤緑青)と透過度(透明度)の情報(いわゆるアルファ値、透明(値0)〜不透明(値1)を示す情報)とを用いて明るさ比画像Ishadow[j]を対応する影付け平面Pshadow[j]にマッピングする、ことにより行なうことができる(文献E参照)。実施例では、この透過度の情報として明るさ比画像Ishadow[j]を用いて影平面F[j]を作成するものとした。これにより、影平面F[j]は、不透明に近い部分では濃くなり、透明に近い部分では薄くなる。
文献E:OpenGL Architecture Review Board, M. Woo, J. Neider, and T. Davis,
“OpenGLプログラミングガイド 第2版”, ピアソン・エデュケーション, July, 2003.
【0047】
次に、撮影装置52から現実画像を入力すると共に位置姿勢取得装置54からユーザの位置や姿勢を入力し(ステップS470)、入力した現実画像と仮想物体と影平面F[j]とを合成した現実仮想合成画像を作成し(ステップS480)、表示装置56に表示させて(ステップS490)、本ルーチンを終了する。ここで、現実仮想合成画像の作成は、現実画像を背景に設置した状態で、ユーザの位置や姿勢に応じた位置に仮想物体および影平面F[j]とを描画する、ことにより行なうものとした。仮想物体および影平面F[j]の描画は、具体的には、明るさ比画像Ishadow[j]によって透過度(透明度)が定められた影平面F[j]により現実画像を減衰させて現実空間の地面などに落ちる仮想物体の影(キャストシャドウ)を表現すると共に、影平面F[j]を用いて仮想物体自体の影(セルフシャドウ)を表現する、ことにより行なうことができる。このようにして表示装置56に表示される現実仮想合成画像の一例を図25に示す。
【0048】
以上説明した実施例の複合現実感表現システム20によれば、明るさパラメータS[k,i],S[q,i]を設定した複数の位置(取得位置kおよび補間位置q)のうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置としてその処理用位置における明るさパラメータS[i]を用いて仮想物体の影を作成するから、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。しかも、実施例の複合現実感表現システム20によれば、取得位置kにおける明るさパラメータS[k,i]に加えて、補間位置qにおける明るさパラメータS[q,i]も考慮して仮想物体の影を作成するから、仮想物体の影をより適正に設定することができる。さらに、こうして作成した仮想物体の影と仮想物体と現実画像とを合成して現実仮想合成画像を作成するから、現実仮想合成画像をより適正に作成することができる。
【0049】
また、実施例の複合現実感表現システム20によれば、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36が取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]をネットワーク32に出力すると共に合成画像作成装置40がネットワーク32から取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]を取得して現実仮想合成画像を作成する、即ち、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36から合成画像作成装置40に明るさパラメータS[k,i],S[q,i]をネットワーク配信するから、前述の逐次処理の段階でも、合成画像作成装置40やHMD50(撮影装置52,位置姿勢取得装置54,表示装置56)の増減を行なうことができる。
【0050】
実施例の複合現実感表現システム20では、取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定する、即ち、一つの仮想物体に対して一つの処理用位置を設定するものとしたが、一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。図26は、仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。図示するように、仮想物体の配置予定位置の周囲に建造物や樹木,山などの障害物(現実物体)が局所的に存在する場合には、仮想物体のうちその障害物に近い部分にだけ障害物の影が落ちることが想定される。このような場合、仮想物体の中心位置に最も近い位置など一つの位置における明るさパラメータだけを用いて仮想物体のシェーディングや影の作成を行なうと、障害物の局所的な影響を適正に反映することができない。したがって、このことを考慮して、建造物や樹木,地形などが仮想物体の一部にだけ影響を与える(仮想物体の各部分についての光源環境が一定でない)と想定される一部影響想定状態であるか否かを判定し、一部影響想定状態でないときには実施例と同様に取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定し、一部影響想定状態であるときには仮想物体を分割して得られる各部分についてそれぞれ取得位置kや補間位置qのうち各部分の配置予定位置を含む部分範囲内の一つの位置を処理用位置として設定するものとしてもよい。ここで、一部影響想定状態であるか否かの判定は、例えば、現実空間の状況(建物や樹木の位置,地形など)や仮想物体の状況(配置予定位置や大きさ,形状)などに基づいて判定することができる。また、部分範囲は、例えば、仮想物体のうち対応する部分の配置予定位置に対して光源環境(明るさの環境)が略等しいと想定可能な範囲であるものとすることができる。このように一部影響想定状態であるか否かに応じて処理用位置を設定することにより、仮想物体のシェーディングや影の作成を行なう際に、前者の場合即ち一部影響想定状態でないときには簡易に処理を行なうことができ、後者の場合即ち一部影響想定状態であるときには局所的な障害物の影響をより適正に反映して処理を行なうことができる。なお、仮想物体が複数あるときには、一部影響想定状態でない仮想物体についてはその仮想物体に対する処理用位置として取得位置kや補間位置qのうちの一つを設定し、一部影響想定状態である仮想物体についてはその仮想物体の各部分に対する処理用位置として取得位置kや補間位置qのうちの一つを設定すればよい。そして、こうして設定した処理用位置を用いて仮想物体のシェーディングや影の作成を行なう場合、一部影響想定状態でないとき(一つの仮想物体に対して一つの処理用位置を設定するとき)には実施例と同様に行ない、一部影響想定状態であるときには、仮想物体の各部分についてのそれぞれの処理用位置における仮想光源Lv[n]の強度LI[n]を用いたシェーディングによって仮想物体全体のシェーディングを行なうと共に仮想物体の各部分についてのそれぞれの処理用位置における明るさパラメータSs[i]を用いた線形和画像の作成によって仮想物体全体に対応する線形和画像Isum[j],Dsum[j]を作成して影平面F[j]を作成するものとしてもよい。この変形例では、任意の一つの仮想物体に対して、一部影響想定状態でないときにはその一つの仮想物体に対して一つの処理用位置を設定し、一部影響想定状態であるときにはその一つの仮想物体に対して複数の処理用位置を設定するものとして説明したが、一部想定状態であるか否かに拘わらず、その一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。
【0051】
実施例の複合現実感表現システム20では、補間位置qにおける明るさパラメータS[q,i]を設定する際に、補間位置qから基礎光源L[i]に対応する領域方向の障害物と補間位置qとの距離t[q,i]を考慮して前述の式(2)により補間位置qにおける明るさパラメータS[q,i]を設定するものとしたが、距離t[q,i]を考慮せずに、次式(7)により補間位置qにおける明るさパラメータS[q,i]を設定するものとしてもよい。
【0052】
【数6】
【0053】
実施例の複合現実感表現システム20では、補間位置qにおける明るさパラメータS[q,i]を設定する際に、Nk個の取得位置k(1〜Nk)から選択したNksel個の選択取得位置ksel(1〜Nksel、但し2≦Nksel≦Nk)における明るさパラメータS[ksel,i]を用いて設定するものとしたが、Nksel個の選択取得位置kselにおける全方位画像G[ksel]を用いて次式(8)により補間位置qにおける全方位画像G[q]を設定し、設定した補間位置qにおける全方位画像G[q]を用いて、実施例の取得位置kにおける明るさパラメータS[k,i]の設定と同様に、補間位置qにおける明るさパラメータS[q,i]を設定するものとしてもよい。なお、この場合、補間位置qにおける全方位画像G[q]の各位置の中心に対する座標に応じて、前述の式(2)と同様に補間位置qと障害物との距離を考慮して、補間位置qにおける全方位画像G[q]を設定するものとしてもよい。
【0054】
【数7】
【0055】
実施例の複合現実感表現システム20では、補間位置明るさパラメータ設定装置36によって補間位置qにおける明るさパラメータS[q,i]を設定するものとしたが、補間位置明るさパラメータ設定装置36を備えず、補間位置qにおける明るさパラメータS[q,i]を設定しないものとしてもよい。
【0056】
実施例の複合現実感表現システム20では、仮想物体と影平面F[j]とを合成した仮想合成画像を作成せずに、現実画像と仮想物体と影平面F[j]とを合成した現実仮想合成画像を作成するものとしたが、仮想物体と影平面F[j]とを合成した仮想合成画像を作成してからその仮想合成画像と現実画像とを合成した現実仮想合成画像を作成するものとしてもよいし、仮想物体と影平面F[j]とを合成した仮想合成画像を作成するだけで、現実仮想合成画像を作成しないものとしてもよい。
【0057】
実施例の複合現実感表現システム20では、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36から合成画像作成装置40に明るさパラメータS[k,i],S[q,i]をネットワーク配信するものとしたが、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36,合成画像作成装置40の間で明るさパラメータS[k,i],S[q,i]などのデータを双方向通信するものとしてもよい。
【0058】
実施例の複合現実感表現システム20では、明るさ情報取得装置22は、図6に例示したように、魚眼レンズ22bを装着したカメラ22aを天頂方向に向けて配置して構成するものとしたが、これに限られず、例えば、図27の変形例の明るさ情報取得装置122に例示するように、地表面よりも天頂側の半球上に設けられた複数の領域(例えば、半球をGeodesic Domeを用いて分割した複数の三角形領域など)のそれぞれの内部や頂点に光センサ(例えば、フォトダイオードやフォトトランジスタなど)122aを配置して構成するものとしてもよい。この場合、全方位画像G[k]を取得せず、光センサ122aにより検出された値を用いて取得位置kにおける明るさパラメータS[k,i]を設定するものとしてもよい。
【0059】
実施例の複合現実感表現システム20では、取得位置明るさパラメータ設定装置34と補間位置明るさパラメータ設定装置36とデータベースサーバ38と合成画像作成装置40とがそれぞれネットワーク32に接続されているものとしたが、これらの一部または全部が一体(一つのコンピュータ)に構成されるものとしてもよい。
【0060】
実施例の複合現実感表現システム20では、撮影装置52,位置姿勢取得装置54,表示装置56がHMD50として一体に形成されるものとしたが、撮影装置52,位置姿勢取得装置54,表示装置56の一部が一体に形成されるものとしてもよいし、それぞれが独立して形成されるものとしてもよい。
【0061】
実施例の複合現実感表現システム20では、HMD50を用いるものとしたが、HMD50に代えて、ハンドヘルド型や投影型のディスプレイなどを用いるものとしてもよい。ここで、ハンドヘルド型のディスプレイ(例えば、タブレットPCや液晶ディスプレイなど)を用いる場合、例えば、撮影装置52が装着されたハンドヘルド型ディスプレイをユーザが移動させたり回転させたりすることにより、ディスプレイに現実仮想合成画像を表示させることができる。また、投影型のディスプレイを用いる場合、例えば、現実空間の壁面などの投影可能な物体に、室内設置用や手持ち用,頭部装着用のプロジェクタによって仮想物体およびその影を投影することにより、現実仮想合成画像を表示させることができる。
【0062】
実施例の複合現実感表現システム20では、撮影装置52により撮影された現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成するいわゆるビデオシースルー方式を用いるものとしたが、透過型ディスプレイを用いて現実空間に仮想物体を重畳して表示する光学シースルー方式を用いるものとしてもよい。なお、光学シースルー方式の場合には、ユーザが見ている現実空間に仮想物体およびその影を合成するため、撮影装置52が必要なく、より簡易な構成にすることができる。
【0063】
実施例では、複合現実感表現システム20として説明したが、複合現実感を表現する方法の形態としたり、現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成する方法の形態としたり、仮想物体とその影とを合成した仮想合成画像を作成する方法の形態としたり、仮想物体の影を作成する方法の形態としたり、これらの方法を1以上のコンピュータに実行させるためのプログラムの形態としたりするものとしてもよい。
【0064】
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【産業上の利用可能性】
【0065】
本発明は、仮想物体影作成装置や合成画像作成装置の製造産業に利用可能である。
【符号の説明】
【0066】
20 複合現実感表現システム、22 明るさ情報取得装置、22a カメラ、22b 魚眼レンズ、30 複合現実感演算装置、32 ネットワーク、34 取得位置明るさパラメータ設定装置、36 補間位置明るさパラメータ設定装置、38 データベースサーバ、40 合成画像作成装置、50 頭部装着型映像装置(HMD)、52 撮影装置、54 位置姿勢取得装置、56 表示装置。
【技術分野】
【0001】
本発明は、仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムに関する。
【背景技術】
【0002】
従来、この種の仮想物体影作成装置としては、1台のカメラにより計測された実世界の光源環境を用いて仮想物体の影を作成するものが提案されている(例えば、非特許文献1参照)。この装置では、一つの光源環境を用いて作成した一つの仮想物体の影と一つの仮想物体と現実空間の画像とを合成することにより、現実空間とコンピュータグラフィックス(CG:Computer Graphics)によって表現された仮想空間との融合による複合現実感(MR:Mixed Reality)を表現している。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】角田哲也, 大石岳史, 池内克史, “影付け平面を用いた複合現実感における高速陰影表現手法”, 映像情報メディア学会誌, Vol. 62, No. 5, pp.788-795, 2008年5月
【発明の概要】
【発明が解決しようとする課題】
【0004】
こうした仮想物体影作成装置では、複合現実感をより適正に表現するために、仮想物体の影の作成において現実空間の光源環境をより適正に反映させることが重要な課題の一つとされている。上述の仮想物体影作成装置では、一つの光源環境を用いて仮想物体の影を作成するため、仮想物体の形状や位置,数によっては、仮想物体の影を作成する際に、現実空間の建造物や樹木,地形などが仮想物体に与える影響を適正に反映することができない場合が生じる。
【0005】
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、仮想物体の影をより適正に作成することを主目的とする。
【課題を解決するための手段】
【0006】
本発明の仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラムは、上述の主目的を達成するために以下の手段を採った。
【0007】
本発明の仮想物体影作成装置は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備えることを要旨とする。
【0008】
この本発明の仮想物体影作成装置では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境(明るさの環境)が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。
【0009】
こうした本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、ものとすることもできる。この態様の本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータを設定することができる。この場合、前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および/または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、ものとすることもできる。こうすれば、未取得位置における明るさパラメータをより適正に設定することができる。この場合、前記明るさパラメータ設定手段は、Nk(Nk≧2)個の前記取得位置k(kは1〜Nk)から選択したNksel個の選択取得位置ksel(kselは1〜Nksel、但し2≦Nksel≦Nk)の各々と前記未取得位置qとの距離a[q,ksel]と、前記選択取得位置kselにおける前記明るさパラメータS[ksel]と、前記未取得位置qと前記障害物との距離t[q](t[q]≧0)と、を用いて前記未取得位置qにおける前記明るさパラメータS[q]を次式(A)により計算する手段である、ものとすることもできる。
【数1】
【0010】
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、ものとすることもできる。
【0011】
さらに、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、現実空間の光源環境をより適正に反映して仮想物体の影を作成することができる。ここで、「部分の現実空間での配置予定位置から所定範囲内」は、その部分の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。
【0012】
あるいは、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、ものとすることもできる。こうすれば、前者の場合には簡易に仮想物体の影を作成することができ、後者の場合には現実空間の光源環境をより適正に反映して仮想物体全体の影を作成することができる。
【0013】
加えて、本発明の仮想物体影作成装置において、前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、ものとすることもできる。
【0014】
また、本発明の仮想物体影作成装置において、前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、ものとすることもできる。こうすれば、明るさパラメータ設定手段が処理中であるか否かに拘わらず即ち明るさパラメータ設定手段とは独立して影作成手段の数を1以上の範囲で増減することができる。
【0015】
本発明の第1の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、を備えることを要旨とする。
【0016】
この本発明の第1の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて仮想合成画像を作成することにより、仮想合成画像をより適正に作成することができる。
【0017】
本発明の第2の合成画像作成装置は、上述のいずれかの態様の本発明の仮想物体影作成装置、即ち、基本的には、現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、を備える仮想物体影作成装置と、現実空間の画像である現実画像を取得する現実画像取得手段と、前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、を備えることを要旨とする。
【0018】
この本発明の第2の合成画像作成装置では、上述のいずれかの態様の本発明の仮想物体影作成装置を備えるから、上述の仮想物体影作成装置が奏する効果、例えば、仮想物体の影をより適正に作成することができる効果などを奏することができる。そして、より適正な仮想物体の影を用いて現実仮想合成画像を作成することにより、現実仮想合成画像をより適正に作成することができる。
【0019】
本発明の仮想物体影作成方法は、
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
(a)現実空間の複数の位置における前記明るさパラメータを設定し、
(b)前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
ことを特徴とする。
【0020】
この本発明の仮想物体影作成方法では、複数の位置における現実空間の光の強度および方向を反映するパラメータである明るさパラメータを設定し、少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際には、明るさパラメータが設定される位置である複数のパラメータ設定位置のうち任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成する。即ち、仮想物体の影を作成する際に、任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における明るさパラメータを用いて任意の仮想物体の影を作成するのである。これにより、現実空間で位置によって光源環境(明るさの環境)が異なる可能性がある場合でも、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。ここで、「仮想物体の現実空間での配置予定位置から所定範囲内」は、任意の仮想物体の現実空間での配置予定位置に対して光源環境が略等しいと想定可能な範囲内である、ものとすることもできる。
【0021】
本発明のプログラムは、上述のいずれかの態様の本発明の仮想物体影作成方法のステップを1以上のコンピューターに実現させるためのものである。このプログラムは、コンピューターが読み取り可能な記録媒体(例えばハードディスク、ROM、FD、CD、DVDなど)に記録されていてもよいし、伝送媒体(インターネットやLANなどの通信網)を介してあるコンピューターから別のコンピューターに配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピューターに実行させるか又は複数のコンピューターにステップを分担して実行させれば、上述の本発明の仮想物体影作成方法のステップが実行されるため、本発明の仮想物体影作成方法と同様の作用効果が得られる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。
【図2】本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。
【図3】本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。
【図4】半球状の面光源の一例を示す説明図である。
【図5】取得位置における全方位画像の一例を示す説明図である。
【図6】明るさ情報取得装置22の一例を示す説明図である。
【図7】頭部装着型映像表示装置(HMD)50の一例を示す説明図である。
【図8】ビデオシースルー方式の一例を示す説明図である。
【図9】図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。
【図10】影付け平面Pshadow[j]を作成する様子の一例を示す説明図である。
【図11】基礎光源L[i]の一例を示す説明図である。
【図12】基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する様子の一例を示す説明図である。
【図13】図10(a)の仮想物体に対して作成した基礎影画像Ibasis[j,i]の一部の一例を示す説明図である。
【図14】取得位置明るさパラメータ設定装置34により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。
【図15】取得位置kにおける明るさパラメータS[k,i]を設定する様子の一例を示す説明図である。
【図16】補間位置明るさパラメータ設定装置36により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。
【図17】補間位置qにおける明るさパラメータS[q,i]を設定する方法の考え方を示す説明図である。
【図18】補間位置qにおける明るさパラメータS[q,i]を設定する方法の考え方を示す説明図である。
【図19】明るさパラメータS[q,i]が設定される補間位置qの一例を示す説明図である。
【図20】現実仮想合成画像作成ルーチンの一例を示すフローチャートである。
【図21】Geodesic Domeに配置される仮想光源Lv[n]の一例を示す説明図である。
【図22】線形和画像Isum[j],Dsum[j]を演算する様子の一例を図21に示す説明図である。
【図23】明るさ比画像Ishadow[j]の一例を示す説明図である。
【図24】影平面F[j]の一例を示す説明図である。
【図25】表示装置56に表示される現実仮想合成画像の一例を示す説明図である。
【図26】仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。
【図27】変形例の明るさ情報取得装置122を示す説明図である。
【発明を実施するための形態】
【0023】
次に、本発明を実施するための形態を実施例を用いて説明する。
【実施例】
【0024】
図1〜図3は、本発明の一実施例としての複合現実感表現システム20の構成の概略を示す構成図である。図1は、屋外で複合現実感表現システム20を用いる場合の一例を示し、図2は、屋内で複合現実感表現システム20を用いる場合の一例を示す。実施例の複合現実感表現システム20は、現実空間とコンピュータグラフィックス(CG:Computer Graphics)によって描かれた仮想空間との融合による複合現実感(MR:Mixed Reality)を表現するためのシステムとして構成されている。この複合現実感表現システム20は、図1〜図3に示すように、現実空間の複数の位置に配置されてそれぞれの配置位置(取得位置)における光の強度を含む情報(光源環境(明るさの環境)を反映する情報、以下、明るさ情報という)を取得する複数の明るさ情報取得装置22と、現実空間の画像である現実画像を撮影する撮影装置52(図3参照)と、ユーザの位置や姿勢を取得する位置姿勢取得装置54(図3参照)と、複数の明るさ情報,現実画像,ユーザの位置や姿勢などを用いて複合現実感(MR)を表現するための演算を行なう(具体的には、仮想的な物体である仮想物体の影を作成したり現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成したりする)複合現実感演算装置30と、複合現実感(MR)を表現する(具体的には、現実仮想合成画像を表示する)表示装置56(図3参照)と、を備える。
【0025】
複数の明るさ情報取得装置22は、それぞれ、取得位置における明るさ情報として、現実空間の光源環境(明るさの環境)を地表面よりも天頂側の半球状の面光源としてモデル化したときにその半球状の面光源の全ての領域の光の強度を反映した画像(以下、全方位画像という)を取得する装置として構成されている。半球状の面光源の一例を図4に示し、取得位置における全方位画像の一例を図5に示す。この明るさ情報取得装置22は、実施例では、図6に例示するように、魚眼レンズ22bを装着したカメラ22aを天頂方向に向けて配置する、ことにより構成するものとした。
【0026】
複合現実感演算装置30は、複数の明るさ情報取得装置22とネットワーク32とに接続され取得位置の各々における光の強度や方向を反映するパラメータ(以下、明るさパラメータという)を設定する取得位置明るさパラメータ設定装置34と、ネットワーク32に接続され取得位置とは異なる位置(以下、補間位置という)における明るさパラメータを設定する補間位置明るさパラメータ設定装置36と、ネットワーク32に接続され仮想物体のデータなどを記憶するデータベースサーバ38と、ネットワーク32に接続され現実仮想合成画像を作成する合成画像作成装置40と、を備える。ここで、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36,合成画像作成装置40は、それぞれ図示しないCPUやROM,RAM,ハードディスクなどを備える周知のコンピュータとして構成されている。また、データベースサーバ38には、仮想物体のデータの他に、仮想物体の影の作成に用いる基礎データ(後述の影付け平面や基礎影画像,基礎拡散画像など)なども記憶されている。なお、取得位置明るさパラメータ設定装置34や合成画像作成装置40は、それぞれ、一つであるものとしてもよいし、複数であるものとしてもよい(図1〜図3では複数の場合を図示した)。また、データベースサーバ38に記憶される基礎データは、実施例では、図示しないコンピュータによる後述の準備処理により作成されるものとした。
【0027】
撮影装置52,位置姿勢取得装置54,表示装置56は、実施例では、頭部装着型映像表示装置(HMD: Head Mounted Display)50として一体に形成されるものとした。HMD50の一例を図7に示す。また、位置姿勢取得装置54は、実施例では、磁気センサやGPS(Global Positioning System),ジャイロセンサ,加速度センサなどの一つまたはこれらの組み合わせにより構成されるものとした。
【0028】
こうして構成された実施例の複合現実感表現システム20では、図8に例示するように、撮影装置52により撮影された現実画像を用いて複合現実感演算装置30により現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成して表示装置56に表示するいわゆるビデオシースルー方式を用いるものとした。
【0029】
また、この複合現実感表現システム20では、複合現実感(MR)を表現するための準備処理として、基礎データを作成してデータベースサーバ38に記憶させる。そして、複合現実感を表現する逐次処理として、明るさ情報取得装置22により明るさ情報としての全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置40により現実仮想合成画像を作成して表示装置56に表示する。以下、準備処理,逐次処理の順に説明する。
【0030】
図9は、準備処理として、図示しないコンピュータにより実行される基礎画像作成処理ルーチンの一例を示すフローチャートである。この基礎画像作成処理ルーチンでは、まず、仮想物体の影の作成に用いる仮想的な平面上の物体(以下、影付け平面という)Pshadow[j](jは影付け平面の各々に対応する番号で1〜Nj、但しNjは影付け平面の数)を作成する(ステップS100)。ここで、影付け平面Pshadow[j]は、実施例では、仮想物体の幾何モデルから作成するものとした。影付け平面Pshadow[j]を作成する様子の一例を図10に示す。図10の例では、(a)に示す仮想物体の3次元(3D)モデルに対して、(b)仮想物体の3次元モデルを任意の部分に分割し、(c)分割後の各部分から凸包を作成し、(d)作成した凸包から主要な面を抽出する、ことによりNj枚の影付け平面Pshadow[j]を作成している。ここで、凸包とは、2次元空間では点集合の任意の2要素を結ぶ閉線分を内部に含む最小の凸多角形を意味し、3次元空間では任意の3次元形状を囲む最小の凸ポリゴン形状(凸図形)を意味する。このように影付け平面Pshadow[j]を作成することにより、仮想物体の3次元モデルの形状に沿った影付け平面Pshadow[j]を作成することができる。なお、この影付け平面Pshadow[j]の作成処理の一部(例えば、仮想物体の3次元モデルの作成や、作成した3次元モデルの分割)については、手作業によって行なうものとしてもよい。
【0031】
続いて、現実の光源環境(明るさの環境)を近似した基礎光源L[i](iは基礎光源の各々に対応する番号で1〜Ni、但しNiは基礎光源の数)を作成する(ステップS110)。基礎光源L[i]は、実施例では、現実空間の光源環境を地表面よりも天頂側の半球状の面光源としてモデル化したときに(図4参照)その半球状の面光源をGeodesic Domeを用いて分割して得られる離散的な複数の光源をそれぞれ設定するものとした。ここで、Geodesic Domeは、正多面体の各面を分割した辺を正多面体に外接する球の表面上に球の中心から投影したものであり、球面をほぼ等しい面積に分割する性質を有するものである(文献A,B参照)。このようにして作成した基礎光源L[i]の一例を図11に示す。実施例では、図示するように、半球状の面光源に内接する正多面体(例えば正20面体)をAlternative法(Class−I)(文献A参照)によって分割数f(例えば2)で分割し、分割した多面体の各辺を半球面に投影することによりGeodesic Domeを作成し、作成したGeodesic Domeの各面を基礎光源L[i]として設定するものとした。なお、Geodesic Domeの面数(基礎光源L[i]の数)nは、正20面体で分割数fが値2の場合、40になる。
文献A:A. Pugh, “Polyhedra: a visual approach”, University of California Press, September, 1976.
文献B:K. Ikeuchi, “Recognition of 3D object using the extended Gaussian image”, Proc. 7th International Joint Conference on Artificial Intelligence, pp. 595-600, August,
1981.
【0032】
次に、作成した基礎光源L[i](iは1〜Ni)と影付け平面Pshadow[j]とを用いて、仮想物体の影の作成に用いる基礎の影画像(以下、基礎影画像という)Ibasis[j,i](jは1〜Nj)および基礎の拡散反射の画像(以下、基礎拡散画像という)Dbasis[j,i]を設定し(ステップS120)、設定した基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]をデータベースサーバ38に記憶させて(ステップS130)、本ルーチンを終了する。基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する様子の一例を図12に示す。基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]は、実施例では、図示するように、Geodesic Dome内に配置した影付け平面Pshadow[j]上に仮想物体を配置した状態で基礎光源L[i]から影付け平面Pshadow[j]に照射したときの仮想物体の影画像を基礎影画像Ibasis[j,i]として設定し、影付け平面Pshadow[j]上の仮想物体を除いた状態で基礎光源L[i]から影付け平面Pshadow[j]に照射したときの画像を基礎拡散画像Dbasis[j,i]として設定するものとした。このようにしてNj×Ni枚の基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を設定する。なお、影付け平面Pshadow[j]のうち法線方向が同じものについては、基礎光源L[i]に対して同じ拡散反射を行なうため、基礎拡散画像を共有するものとしてもよい。また、実施例では、影付け平面Pshadow[j]は、Lambert反射すると仮定した。図10(a)の仮想物体に対して作成した基礎影画像Ibasis[j,i]の一部の一例を図13に示す。
【0033】
以上、準備処理について説明した。次に、準備処理により設定した基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]を用いて行なわれる逐次処理について説明する。逐次処理では、前述したように、複数の明るさ情報取得装置22の各々によりその明るさ情報取得装置22が配置された位置(取得位置)における明るさ情報として複数の取得位置の各々における全方位画像を取得し、取得した全方位画像を用いて取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36により取得位置や補間位置における明るさパラメータを設定し、設定した取得位置や補間位置における明るさパラメータを用いて合成画像作成装置40により現実仮想合成画像を作成して表示装置56に表示する。以下、取得位置明るさパラメータ設定装置34による処理、補間位置明るさパラメータ設定装置36による処理、合成画像作成装置40による処理の順に説明する。なお、実施例では、取得位置k(kは取得位置の各々に対応する番号で1〜Nk、但しNkは取得位置の数即ち明るさ情報取得装置22の数)や補間位置q(qは補間位置の各々に対応する番号でNk+1〜Nq、但し、Nqは取得位置の数と補間位置の数との和)における明るさパラメータとして、基礎光源L[i]の各々に対応する領域iの明るさを反映するパラメータである明るさパラメータS[k,i],S[q,i]を用いるものとした。
【0034】
図14は、取得位置明るさパラメータ設定装置34により実行される取得位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。取得位置明るさパラメータ設定処理ルーチンでは、取得位置明るさパラメータ設定装置34は、明るさ情報取得装置22から取得位置kにおける全方位画像G[k](図5参照)を入力し(ステップS200)、入力した取得位置kにおける全方位画像G[k]を用いて取得位置kにおける明るさパラメータS[k,i]を設定し(ステップS210)、設定した取得位置kにおける明るさパラメータS[k,i]をネットワーク32に出力して(ステップS220)、本ルーチンを終了する。取得位置kにおける明るさパラメータS[k,i]を設定する様子の一例を図15に示す。取得位置kにおける明るさパラメータS[k,i]は、実施例では、全方位画像G[k]にGeodesic Domeを投影して全方位画像G[k]を各々の基礎光源L[i]に対応するNi個の三角形領域に分割し、分割した三角形領域i(iは基礎光源L[i]に対応する番号)のそれぞれについて、次式(1)により、各画素p(pは三角形領域i内の各画素に対応する番号で1〜Np、但し、Npは画素数)の画素値(暗いほど小さく明るいほど大きい値)V[k,i,p](例えば、0〜255)の和を各画素pの画素値V[k,i,p]の最大値Vmax[k,i,p](例えば、255)の和で除して0.0〜1.0の範囲内に正規化する、ことにより設定するものとした。このように複数の取得位置kにおける明るさパラメータS[k,i]を設定することにより、現実空間の建造物や樹木,地形などが仮想物体の一部の光源環境(明るさの環境)や複数の仮想物体のそれぞれの位置の光源環境に影響を与えると考えられるときでも、より現実の光源環境を反映して取得位置kにおける明るさパラメータS[k,i]を設定することができる。
【0035】
【数2】
【0036】
次に、補間位置明るさパラメータ設定装置36による処理について説明する。図16は、補間位置明るさパラメータ設定装置36により実行される補間位置明るさパラメータ設定処理ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。補間位置明るさパラメータ設定処理ルーチンでは、補間位置明るさパラメータ設定装置36は、取得位置kにおける明るさパラメータS[k,i](kは1〜Nk、iは1〜Ni)をネットワーク32から入力し(ステップS300)、入力した取得位置kにおける明るさパラメータS[k,i]を用いて補間位置q(qはNk+1〜Nq)における明るさパラメータS[q,i]を設定し(ステップS310)、設定した補間位置qにおける明るさパラメータS[q,i]をネットワーク32に出力して(ステップS320)、本ルーチンを終了する。ここで、補間位置qにおける明るさパラメータS[q,i]は、実施例では、Nk個(Nk≧2)の取得位置k(1〜Nk)からNksel個の取得位置(以下、選択取得位置という)ksel(1〜Nksel、但し2≦Nksel≦Nk)を任意に選択し、選択した選択取得位置kselにおける明るさパラメータS[ksel,i]と、選択取得位置kselと補間位置qとの距離a[q,ksel]と、距離t[q,i](t[q,i]≧0)と、を用いて次式(2)により計算するものとした。3つの選択取得位置1〜3における明るさパラメータS[ksel,i](kselは1〜3)を用いて補間位置qにおける明るさパラメータS[q,i]を設定する方法の考え方を図17および図18に示す。式(2)は、取得位置kと補間位置qとの距離a[q,k]に反比例する傾向で補間位置qにおける明るさパラメータS[q,i]が取得位置kにおける明るさパラメータS[k,i]から影響を受けると考えられるという理由と(図17参照)、補間位置qが山影や建物の陰,これらの近傍にある場合などに補間位置qから見て基礎光源L[i]に対応する方向の障害物(例えば、建物や樹木,地形など)と補間位置qとの距離t[q,i]に反比例する傾向で補間位置qにおける明るさパラメータS[q,i]が障害物から影響を受けると考えられるという理由と(図18参照)、から定めたものである。このようにして明るさパラメータS[q,i]が設定される補間位置qの一例を図19に示す。図中、実線丸印は取得位置kを示し、点線三角印は補間位置qを示す。仮想物体とその影とを合成した仮想合成画像を表示するためには、表示する位置における明るさパラメータを設定する必要がある。しかしながら、広い現実空間で複合現実感表現システム20を用いる場合にその現実空間全体に明るさ情報取得装置22を配置することや、仮想物体を移動させる場合に仮想物体の移動に応じて明るさ情報取得装置22を移動させることは困難である。これに対して、実施例では、この補間位置明るさパラメータ設定処理ルーチンを実行することにより、明るさ情報取得装置22の配置位置(取得位置)以外の位置(補間位置)における明るさパラメータS[q,i]を設定することができる。しかも、建物や樹木,地形などの障害物による影響を考慮して補間位置qにおける明るさパラメータS[q,i]を設定することにより、より現実の光源環境を反映して補間位置qにおける明るさパラメータS[q,i]を設定することができる。なお、補間位置qは、例えば、仮想物体の位置や大きさ,形状などに基づいて定めるものとしたり、現実空間の地形や建物の構造,配置などに基づいて定めるものとしたり、これらに拘わらず予め定められた補間位置q間の間隔や取得位置kに対する距離などに基づいて定めるものとしたりすることができる。実施例では、仮想物体の配置予定位置が取得位置k以外のときには、補間位置qに、その仮想物体の配置予定位置またはその近傍を含めるものとした。
【0037】
【数3】
【0038】
次に、合成画像作成装置40による処理について説明する。図20は、現実仮想合成画像作成ルーチンの一例を示すフローチャートである。このルーチンは、所定時間(例えば、数msecや数十msecなど)毎に繰り返し実行される。現実仮想合成画像作成ルーチンでは、合成画像作成装置40は、まず、ネットワーク32から取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]を入力すると共にデータベースサーバ38からネットワーク32を介して影付け平面Pshadow[j]や基礎影画像Ibasis[j,i](jは1〜Nj、iは1〜Ni),基礎拡散画像Dbasis[j,i]を入力する(ステップS400)。
【0039】
続いて、仮想物体のシェーディング(仮想物体表面の法線,反射特性,光源分布による仮想物体表面の明るさの濃淡を表現する処理)や影の作成に用いる位置を取得位置k(kは1〜Nk)や補間位置q(qはNk+1〜Nq)から選択して処理用位置として設定する(ステップS410)。この処理用位置は、実施例では、取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を設定するものとした。ここで、取得位置kや補間位置qのうち所定範囲内に複数の位置があるときには、例えば、取得位置kや補間位置qのうち仮想物体の配置予定位置のうちの基準点(例えば、仮想物体の中心)に最も近い位置を処理用位置として設定するものとすることができる。また、所定範囲は、例えば、仮想物体の配置予定位置に対して光源環境(明るさの環境)が略等しいと想定可能な範囲であるものとすることができる。なお、前述の図1や図2に例示したように、仮想物体が複数ある場合には、一つの仮想物体に対して一つの処理用位置を設定すればよい。以下、説明の都合上、取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]のうち処理用位置における明るさパラメータをSs[i]と表わす。
【0040】
こうして処理用位置を設定すると、その処理用位置における明るさパラメータSs[i]を用いて、処理用位置における仮想的な光源である仮想光源Lv[n](nは仮想光源の各々に対応する番号で1〜Nn、但しNnは仮想光源の数)の強度LI[n]を設定する(ステップS420)。ここで、処理用位置における仮想光源Lv[n]は、処理用位置におけるGeodesic Dome上の基礎光源L[i]を基礎光源L[i]の数Niより少ない数(例えば、8や16など)に集約したものである。Geodesic Domeに配置される仮想光源Lv[n]の一例を図21に示す。また、仮想光源Lv[n]の強度LI[n]は、処理用位置における明るさパラメータSs[i]を仮想光源Lv[n]に対して反映させることにより設定することができ、実施例では、仮想光源Lv[n]の数Nnが明るさパラメータSs[i]の数Niに比して少ないため、仮想光源Lv[n]近傍の明るさパラメータSs[i]の平均として仮想光源Lv[n]の強度LI[n]を設定するものとした。こうした処理により、現実空間の光源環境(明るさの環境、実施例では、処理用位置における明るさパラメータSs[i])を処理用位置における仮想光源Lv[n]によって近似的に表現することができる。
【0041】
続いて、設定した処理用位置における仮想光源Lv[n]の強度LI[n]を用いて仮想物体のシェーディングを行なう(ステップS430)。ここで、仮想物体のシェーディングは、例えば、仮想光源Lv[n]を平行光源(無限遠の光源)として、仮想物体を直接照射する直接光や他の物体(現実世界の物体である現実物体および仮想物体)表面から反射する間接光を計算して写実的な陰影を作成する、ことにより行なうことができる。なお、このシェーディングの方法としては、例えば、鏡面反射を表現する「フォンのモデル」や、金属の表現に適した「ブリンのモデル」,「クック・トランスのモデル」,磨いた金属や布を表面する「異方性反射モデル」などが考えられている(引用文献C参照)。
文献C:技術編CG標準テキストブック編集委員会, “技術編CG標準テキストブック”, 財団法人画像情報教育振興協会(CG-ARTS協会), 第一版六刷, March, 2003.
【0042】
次に、処理用位置における明るさパラメータSs[i]と影付け平面Pshadow[j]における基礎影画像Ibasis[j,i]および基礎拡散画像Dbasis[j,i]とを用いて、影付け平面Pshadow[j]についての線形和の画像(以下、線形和画像という)Isum[j],Dsum[j]を作成する(ステップS440)。ここで、線形和画像Isum[j],Dsum[j]の作成は、実施例では、処理用位置における明るさパラメータSs[i]と基礎影画像Ibasis[j,i]とを用いて次式(3)により影付け平面Pshadow[j]についての線形和画像Isum[j]を演算し、処理用位置における明るさパラメータSs[i]と基礎拡散画像Dbasis[j,i]とを用いて次式(4)により影付け平面Pshadow[j]についての線形和画像Dsum[j]を演算する、ことにより行なうものとした。線形和画像Isum[j],Dsum[j]を演算する様子の一例を図22に示す。
【0043】
【数4】
【0044】
こうして影付け平面Pshadow[j]についての線形和画像Isum[j],Dsum[j]を設定すると、設定した線形和画像Isum[j]と線形和画像Dsum[j]とを用いて、影付け平面Pshadow[j]についての仮想物体の影の強度である明るさ比画像Ishadow[j]を作成する(ステップS450)。ここで、現実物体および仮想物体の表面上のある点における放射照度Eとこのある点が影付け平面Pshadow[j]によって影付けされた後の放射照度E’との関係は、次式(5)により表わされることが解っている(文献D参照)。実施例では、このことを考慮して、線形和画像Isum[j]と線形和画像Dsum[j]とを用いて式(6)により明るさ比画像Ishadow[j]を作成するものとした。こうして計算される明るさ比画像Ishadow[j]のうち値1となる画素は本影(仮想物体により完全に遮られた影)となる部分を示し、値0となる画素は全く影の落ちない部分を示す。明るさ比画像Ishadow[j]の一例を図23に示す。
文献D:I. Sato, Y. Sato, and K. Ikeuchi:“Acquiring a radiance distribution to superimpose virtual objects onto a real scene”, IEEE Trans. on Visualization and Computer Graphics, 5, 1, pp.1-12, January-March, 1999.
【0045】
【数5】
【0046】
続いて、作成した明るさ比画像Ishadow[j]を対応する影付け平面Pshadow[j]にマッピングすることにより、現実物体および仮想物体の表面上における影を表現するための影平面F[j]を作成する(ステップS460)。影平面F[j]を作成する様子の一例を図24に示す。影平面F[j]の作成は、例えば、影付け平面Pshadow[j]を反射率が値0の物体として、画像の色情報RGB(赤緑青)と透過度(透明度)の情報(いわゆるアルファ値、透明(値0)〜不透明(値1)を示す情報)とを用いて明るさ比画像Ishadow[j]を対応する影付け平面Pshadow[j]にマッピングする、ことにより行なうことができる(文献E参照)。実施例では、この透過度の情報として明るさ比画像Ishadow[j]を用いて影平面F[j]を作成するものとした。これにより、影平面F[j]は、不透明に近い部分では濃くなり、透明に近い部分では薄くなる。
文献E:OpenGL Architecture Review Board, M. Woo, J. Neider, and T. Davis,
“OpenGLプログラミングガイド 第2版”, ピアソン・エデュケーション, July, 2003.
【0047】
次に、撮影装置52から現実画像を入力すると共に位置姿勢取得装置54からユーザの位置や姿勢を入力し(ステップS470)、入力した現実画像と仮想物体と影平面F[j]とを合成した現実仮想合成画像を作成し(ステップS480)、表示装置56に表示させて(ステップS490)、本ルーチンを終了する。ここで、現実仮想合成画像の作成は、現実画像を背景に設置した状態で、ユーザの位置や姿勢に応じた位置に仮想物体および影平面F[j]とを描画する、ことにより行なうものとした。仮想物体および影平面F[j]の描画は、具体的には、明るさ比画像Ishadow[j]によって透過度(透明度)が定められた影平面F[j]により現実画像を減衰させて現実空間の地面などに落ちる仮想物体の影(キャストシャドウ)を表現すると共に、影平面F[j]を用いて仮想物体自体の影(セルフシャドウ)を表現する、ことにより行なうことができる。このようにして表示装置56に表示される現実仮想合成画像の一例を図25に示す。
【0048】
以上説明した実施例の複合現実感表現システム20によれば、明るさパラメータS[k,i],S[q,i]を設定した複数の位置(取得位置kおよび補間位置q)のうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置としてその処理用位置における明るさパラメータS[i]を用いて仮想物体の影を作成するから、現実空間の光源環境をより適正に反映した明るさパラメータを用いて仮想物体の影を作成することができるから、仮想物体の影をより適正に作成することができる。しかも、実施例の複合現実感表現システム20によれば、取得位置kにおける明るさパラメータS[k,i]に加えて、補間位置qにおける明るさパラメータS[q,i]も考慮して仮想物体の影を作成するから、仮想物体の影をより適正に設定することができる。さらに、こうして作成した仮想物体の影と仮想物体と現実画像とを合成して現実仮想合成画像を作成するから、現実仮想合成画像をより適正に作成することができる。
【0049】
また、実施例の複合現実感表現システム20によれば、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36が取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]をネットワーク32に出力すると共に合成画像作成装置40がネットワーク32から取得位置kや補間位置qにおける明るさパラメータS[k,i],S[q,i]を取得して現実仮想合成画像を作成する、即ち、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36から合成画像作成装置40に明るさパラメータS[k,i],S[q,i]をネットワーク配信するから、前述の逐次処理の段階でも、合成画像作成装置40やHMD50(撮影装置52,位置姿勢取得装置54,表示装置56)の増減を行なうことができる。
【0050】
実施例の複合現実感表現システム20では、取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定する、即ち、一つの仮想物体に対して一つの処理用位置を設定するものとしたが、一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。図26は、仮想物体の配置予定位置の光源環境の様子の一例を示す説明図である。図示するように、仮想物体の配置予定位置の周囲に建造物や樹木,山などの障害物(現実物体)が局所的に存在する場合には、仮想物体のうちその障害物に近い部分にだけ障害物の影が落ちることが想定される。このような場合、仮想物体の中心位置に最も近い位置など一つの位置における明るさパラメータだけを用いて仮想物体のシェーディングや影の作成を行なうと、障害物の局所的な影響を適正に反映することができない。したがって、このことを考慮して、建造物や樹木,地形などが仮想物体の一部にだけ影響を与える(仮想物体の各部分についての光源環境が一定でない)と想定される一部影響想定状態であるか否かを判定し、一部影響想定状態でないときには実施例と同様に取得位置kや補間位置qのうち仮想物体の配置予定位置から所定範囲内の一つの位置を処理用位置として設定し、一部影響想定状態であるときには仮想物体を分割して得られる各部分についてそれぞれ取得位置kや補間位置qのうち各部分の配置予定位置を含む部分範囲内の一つの位置を処理用位置として設定するものとしてもよい。ここで、一部影響想定状態であるか否かの判定は、例えば、現実空間の状況(建物や樹木の位置,地形など)や仮想物体の状況(配置予定位置や大きさ,形状)などに基づいて判定することができる。また、部分範囲は、例えば、仮想物体のうち対応する部分の配置予定位置に対して光源環境(明るさの環境)が略等しいと想定可能な範囲であるものとすることができる。このように一部影響想定状態であるか否かに応じて処理用位置を設定することにより、仮想物体のシェーディングや影の作成を行なう際に、前者の場合即ち一部影響想定状態でないときには簡易に処理を行なうことができ、後者の場合即ち一部影響想定状態であるときには局所的な障害物の影響をより適正に反映して処理を行なうことができる。なお、仮想物体が複数あるときには、一部影響想定状態でない仮想物体についてはその仮想物体に対する処理用位置として取得位置kや補間位置qのうちの一つを設定し、一部影響想定状態である仮想物体についてはその仮想物体の各部分に対する処理用位置として取得位置kや補間位置qのうちの一つを設定すればよい。そして、こうして設定した処理用位置を用いて仮想物体のシェーディングや影の作成を行なう場合、一部影響想定状態でないとき(一つの仮想物体に対して一つの処理用位置を設定するとき)には実施例と同様に行ない、一部影響想定状態であるときには、仮想物体の各部分についてのそれぞれの処理用位置における仮想光源Lv[n]の強度LI[n]を用いたシェーディングによって仮想物体全体のシェーディングを行なうと共に仮想物体の各部分についてのそれぞれの処理用位置における明るさパラメータSs[i]を用いた線形和画像の作成によって仮想物体全体に対応する線形和画像Isum[j],Dsum[j]を作成して影平面F[j]を作成するものとしてもよい。この変形例では、任意の一つの仮想物体に対して、一部影響想定状態でないときにはその一つの仮想物体に対して一つの処理用位置を設定し、一部影響想定状態であるときにはその一つの仮想物体に対して複数の処理用位置を設定するものとして説明したが、一部想定状態であるか否かに拘わらず、その一つの仮想物体に対して複数の処理用位置を設定するものとしてもよい。
【0051】
実施例の複合現実感表現システム20では、補間位置qにおける明るさパラメータS[q,i]を設定する際に、補間位置qから基礎光源L[i]に対応する領域方向の障害物と補間位置qとの距離t[q,i]を考慮して前述の式(2)により補間位置qにおける明るさパラメータS[q,i]を設定するものとしたが、距離t[q,i]を考慮せずに、次式(7)により補間位置qにおける明るさパラメータS[q,i]を設定するものとしてもよい。
【0052】
【数6】
【0053】
実施例の複合現実感表現システム20では、補間位置qにおける明るさパラメータS[q,i]を設定する際に、Nk個の取得位置k(1〜Nk)から選択したNksel個の選択取得位置ksel(1〜Nksel、但し2≦Nksel≦Nk)における明るさパラメータS[ksel,i]を用いて設定するものとしたが、Nksel個の選択取得位置kselにおける全方位画像G[ksel]を用いて次式(8)により補間位置qにおける全方位画像G[q]を設定し、設定した補間位置qにおける全方位画像G[q]を用いて、実施例の取得位置kにおける明るさパラメータS[k,i]の設定と同様に、補間位置qにおける明るさパラメータS[q,i]を設定するものとしてもよい。なお、この場合、補間位置qにおける全方位画像G[q]の各位置の中心に対する座標に応じて、前述の式(2)と同様に補間位置qと障害物との距離を考慮して、補間位置qにおける全方位画像G[q]を設定するものとしてもよい。
【0054】
【数7】
【0055】
実施例の複合現実感表現システム20では、補間位置明るさパラメータ設定装置36によって補間位置qにおける明るさパラメータS[q,i]を設定するものとしたが、補間位置明るさパラメータ設定装置36を備えず、補間位置qにおける明るさパラメータS[q,i]を設定しないものとしてもよい。
【0056】
実施例の複合現実感表現システム20では、仮想物体と影平面F[j]とを合成した仮想合成画像を作成せずに、現実画像と仮想物体と影平面F[j]とを合成した現実仮想合成画像を作成するものとしたが、仮想物体と影平面F[j]とを合成した仮想合成画像を作成してからその仮想合成画像と現実画像とを合成した現実仮想合成画像を作成するものとしてもよいし、仮想物体と影平面F[j]とを合成した仮想合成画像を作成するだけで、現実仮想合成画像を作成しないものとしてもよい。
【0057】
実施例の複合現実感表現システム20では、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36から合成画像作成装置40に明るさパラメータS[k,i],S[q,i]をネットワーク配信するものとしたが、取得位置明るさパラメータ設定装置34や補間位置明るさパラメータ設定装置36,合成画像作成装置40の間で明るさパラメータS[k,i],S[q,i]などのデータを双方向通信するものとしてもよい。
【0058】
実施例の複合現実感表現システム20では、明るさ情報取得装置22は、図6に例示したように、魚眼レンズ22bを装着したカメラ22aを天頂方向に向けて配置して構成するものとしたが、これに限られず、例えば、図27の変形例の明るさ情報取得装置122に例示するように、地表面よりも天頂側の半球上に設けられた複数の領域(例えば、半球をGeodesic Domeを用いて分割した複数の三角形領域など)のそれぞれの内部や頂点に光センサ(例えば、フォトダイオードやフォトトランジスタなど)122aを配置して構成するものとしてもよい。この場合、全方位画像G[k]を取得せず、光センサ122aにより検出された値を用いて取得位置kにおける明るさパラメータS[k,i]を設定するものとしてもよい。
【0059】
実施例の複合現実感表現システム20では、取得位置明るさパラメータ設定装置34と補間位置明るさパラメータ設定装置36とデータベースサーバ38と合成画像作成装置40とがそれぞれネットワーク32に接続されているものとしたが、これらの一部または全部が一体(一つのコンピュータ)に構成されるものとしてもよい。
【0060】
実施例の複合現実感表現システム20では、撮影装置52,位置姿勢取得装置54,表示装置56がHMD50として一体に形成されるものとしたが、撮影装置52,位置姿勢取得装置54,表示装置56の一部が一体に形成されるものとしてもよいし、それぞれが独立して形成されるものとしてもよい。
【0061】
実施例の複合現実感表現システム20では、HMD50を用いるものとしたが、HMD50に代えて、ハンドヘルド型や投影型のディスプレイなどを用いるものとしてもよい。ここで、ハンドヘルド型のディスプレイ(例えば、タブレットPCや液晶ディスプレイなど)を用いる場合、例えば、撮影装置52が装着されたハンドヘルド型ディスプレイをユーザが移動させたり回転させたりすることにより、ディスプレイに現実仮想合成画像を表示させることができる。また、投影型のディスプレイを用いる場合、例えば、現実空間の壁面などの投影可能な物体に、室内設置用や手持ち用,頭部装着用のプロジェクタによって仮想物体およびその影を投影することにより、現実仮想合成画像を表示させることができる。
【0062】
実施例の複合現実感表現システム20では、撮影装置52により撮影された現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成するいわゆるビデオシースルー方式を用いるものとしたが、透過型ディスプレイを用いて現実空間に仮想物体を重畳して表示する光学シースルー方式を用いるものとしてもよい。なお、光学シースルー方式の場合には、ユーザが見ている現実空間に仮想物体およびその影を合成するため、撮影装置52が必要なく、より簡易な構成にすることができる。
【0063】
実施例では、複合現実感表現システム20として説明したが、複合現実感を表現する方法の形態としたり、現実画像と仮想物体とその影とを合成した現実仮想合成画像を作成する方法の形態としたり、仮想物体とその影とを合成した仮想合成画像を作成する方法の形態としたり、仮想物体の影を作成する方法の形態としたり、これらの方法を1以上のコンピュータに実行させるためのプログラムの形態としたりするものとしてもよい。
【0064】
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【産業上の利用可能性】
【0065】
本発明は、仮想物体影作成装置や合成画像作成装置の製造産業に利用可能である。
【符号の説明】
【0066】
20 複合現実感表現システム、22 明るさ情報取得装置、22a カメラ、22b 魚眼レンズ、30 複合現実感演算装置、32 ネットワーク、34 取得位置明るさパラメータ設定装置、36 補間位置明るさパラメータ設定装置、38 データベースサーバ、40 合成画像作成装置、50 頭部装着型映像装置(HMD)、52 撮影装置、54 位置姿勢取得装置、56 表示装置。
【特許請求の範囲】
【請求項1】
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備える仮想物体影作成装置。
【請求項2】
請求項1記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項3】
請求項2記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項4】
請求項3記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および/または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項5】
請求項4記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、Nk(Nk≧2)個の前記取得位置k(kは1〜Nk)から選択したNksel個の選択取得位置ksel(kselは1〜Nksel、但し2≦Nksel≦Nk)の各々と前記未取得位置qとの距離a[q,ksel]と、前記選択取得位置kselにおける前記明るさパラメータS[ksel]と、前記未取得位置qと前記障害物との距離t[q](t[q]≧0)と、を用いて前記未取得位置qにおける前記明るさパラメータS[q]を次式(A)により計算する手段である、
仮想物体影作成装置。
【数1】
【請求項6】
請求項1ないし5のいずれか1つの請求項に記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項7】
請求項1ないし6のいずれか一つの請求項に記載の仮想物体影作成装置であって、
前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。
【請求項8】
請求項1ないし6のいずれか1つの請求項に記載の仮想物体影作成装置であって、
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。
【請求項9】
請求項1ないし8のいずれか一つの請求項に記載の仮想物体影作成装置であって、
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、
仮想物体影作成装置。
【請求項10】
請求項1ないし9のいずれか一つの請求項に記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、
前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、
仮想物体影作成装置。
【請求項11】
請求項1ないし10のいずれか一つの請求項に記載の仮想物体影作成装置と、
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、
を備える合成画像作成装置。
【請求項12】
請求項1ないし10のいずれか一つの請求項に記載の仮想物体影作成装置と、
現実空間の画像である現実画像を取得する現実画像取得手段と、
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、
を備える合成画像作成装置。
【請求項13】
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
(a)現実空間の複数の位置における前記明るさパラメータを設定し、
(b)前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
ことを特徴とする仮想物体影作成方法。
【請求項14】
請求項13記載の仮想物体影作成方法のステップを1以上のコンピューターに実現させるためのプログラム。
【請求項1】
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成装置であって、
現実空間の複数の位置における前記明るさパラメータを設定する明るさパラメータ設定手段と、
前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する影作成手段と、
を備える仮想物体影作成装置。
【請求項2】
請求項1記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、光の強度を含む明るさ情報を取得する位置である複数の取得位置を含む前記複数のパラメータ設定位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項3】
請求項2記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記複数のパラメータ設定位置のうち前記明るさ情報を取得しない未取得位置については、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータを用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項4】
請求項3記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記複数の取得位置の少なくとも一部の位置における前記明るさ情報または前記明るさパラメータに加えて、前記未取得位置における光の強度および/または方向に影響を与える障害物と前記未取得位置との距離を用いて前記未取得位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項5】
請求項4記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、Nk(Nk≧2)個の前記取得位置k(kは1〜Nk)から選択したNksel個の選択取得位置ksel(kselは1〜Nksel、但し2≦Nksel≦Nk)の各々と前記未取得位置qとの距離a[q,ksel]と、前記選択取得位置kselにおける前記明るさパラメータS[ksel]と、前記未取得位置qと前記障害物との距離t[q](t[q]≧0)と、を用いて前記未取得位置qにおける前記明るさパラメータS[q]を次式(A)により計算する手段である、
仮想物体影作成装置。
【数1】
【請求項6】
請求項1ないし5のいずれか1つの請求項に記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記少なくとも一つの仮想物体の全ての現実空間での配置予定位置を含む複数の位置における前記明るさパラメータを設定する手段である、
仮想物体影作成装置。
【請求項7】
請求項1ないし6のいずれか一つの請求項に記載の仮想物体影作成装置であって、
前記影作成手段は、前記任意の仮想物体の影を作成する際、各々が該任意の仮想物体の一部に相当する複数の部分の各々について、該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより、前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。
【請求項8】
請求項1ないし6のいずれか1つの請求項に記載の仮想物体影作成装置であって、
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体の各部分についての光源環境が一定でないと想定される一部影響想定状態でないときには前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の全体の影を作成し、前記一部影響想定状態であるときには各々が前記任意の仮想物体の一部に相当する複数の部分の各々について該部分の現実空間での配置予定位置から所定範囲内の一つの位置における前記明るさパラメータを用いて該部分の影を作成することにより前記任意の仮想物体の全体の影を作成する手段である、
仮想物体影作成装置。
【請求項9】
請求項1ないし8のいずれか一つの請求項に記載の仮想物体影作成装置であって、
前記影作成手段は、前記任意の仮想物体の影を作成する際、該任意の仮想物体について予め定められた複数の基礎影画像および基礎拡散画像と、前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータと、を用いて前記任意の仮想物体の影を作成する手段である、
仮想物体影作成装置。
【請求項10】
請求項1ないし9のいずれか一つの請求項に記載の仮想物体影作成装置であって、
前記明るさパラメータ設定手段は、前記設定した複数のパラメータ設定位置における明るさパラメータをネットワークに出力する手段であり、
前記影作成手段は、前記ネットワークから前記複数のパラメータ設定位置における前記明るさパラメータを取得する手段である、
仮想物体影作成装置。
【請求項11】
請求項1ないし10のいずれか一つの請求項に記載の仮想物体影作成装置と、
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影とを合成した仮想合成画像を作成する仮想合成画像作成手段と、
を備える合成画像作成装置。
【請求項12】
請求項1ないし10のいずれか一つの請求項に記載の仮想物体影作成装置と、
現実空間の画像である現実画像を取得する現実画像取得手段と、
前記少なくとも一つの仮想物体と前記作成された少なくとも一つの仮想物体の影と前記取得された現実画像とを合成した現実仮想合成画像を作成する現実仮想合成画像作成手段と、
を備える合成画像作成装置。
【請求項13】
現実空間の光の強度および方向を反映するパラメータである明るさパラメータを用いて少なくとも一つの仮想的な物体である仮想物体の影を作成する仮想物体影作成方法であって、
(a)現実空間の複数の位置における前記明るさパラメータを設定し、
(b)前記少なくとも一つの仮想物体のうちの任意の仮想物体の影を作成する際、前記明るさパラメータが設定される位置である複数のパラメータ設定位置のうち前記任意の仮想物体の現実空間での配置予定位置から所定範囲内の少なくとも一つの位置における前記明るさパラメータを用いて前記任意の仮想物体の影を作成する、
ことを特徴とする仮想物体影作成方法。
【請求項14】
請求項13記載の仮想物体影作成方法のステップを1以上のコンピューターに実現させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【公開番号】特開2011−60195(P2011−60195A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−211891(P2009−211891)
【出願日】平成21年9月14日(2009.9.14)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成20年度、文部科学省、科学技術試験研究委託事業、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(504137912)国立大学法人 東京大学 (1,942)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月14日(2009.9.14)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成20年度、文部科学省、科学技術試験研究委託事業、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(504137912)国立大学法人 東京大学 (1,942)
【Fターム(参考)】
[ Back to top ]