仮想物体表示装置
【課題】現実空間の画像に仮想物体を任意の位置に配置した仮想的な画像を生成する。
【解決手段】仮想物体表示装置は、現実空間に存在する物体を撮像して画像データを出力する撮像部と、物体までの距離を示すデプスマップ情報を出力する距離センサ部と、画像データとデプスマップ情報とに基づいて、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、仮想物体に届く光を示す情報とを算出する光情報推定部と、デプスマップ情報に基づいて観察者の顔の位置を検出する顔位置検出部と、現実空間に仮想物体を予め定めた位置に配置した仮想的な空間において、観察者の顔の位置を視点にして得られる画像を、画像データと、仮想物体を示す情報と、光源の位置、色、及び強度と、仮想物体に届く光を示す情報とに基づいて生成する画像生成部と、画像生成部が生成した画像を表示する表示部を備える。
【解決手段】仮想物体表示装置は、現実空間に存在する物体を撮像して画像データを出力する撮像部と、物体までの距離を示すデプスマップ情報を出力する距離センサ部と、画像データとデプスマップ情報とに基づいて、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、仮想物体に届く光を示す情報とを算出する光情報推定部と、デプスマップ情報に基づいて観察者の顔の位置を検出する顔位置検出部と、現実空間に仮想物体を予め定めた位置に配置した仮想的な空間において、観察者の顔の位置を視点にして得られる画像を、画像データと、仮想物体を示す情報と、光源の位置、色、及び強度と、仮想物体に届く光を示す情報とに基づいて生成する画像生成部と、画像生成部が生成した画像を表示する表示部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想物体表示装置に関する。
【背景技術】
【０００２】
これまでにも仮想物体を現実空間に存在するかのように表現する技術は研究されている。代表的なものは両眼視差や運動視差の視差情報を反映して表示するものであり、仮想物体を立体的に表示する手法が検討されている（例えば、非特許文献１）。
【０００３】
また、仮想物体を現実の空間に重畳して表示する技術は、拡張現実の分野において研究されている。全周囲カメラなどを用いてある点に到達する光の情報を測定し、その情報に基づき仮想物体に明暗や影をつける手法がある。これにより、現実空間の画像中に仮想物体がその場に存在し、現実の光源から光を当てられているように表示できる。観測者は現実の空間と仮想物体の重畳画像とをヘッドマウントディスプレイや携帯型ディスプレイなどを通して観察する手法が検討されている（例えば、非特許文献２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Y. Kunita, T. Kikukawa, et al, Image-based 3D Telecopier: A System for Sharing a 3D Object by Multiple Groups of People at Remote Locations, Proceedings of the 17th ACM Symposium on Virtual Reality Software and Technology, pp.51-54, 2010.
【非特許文献２】M. Knecht, C. Traxler, et al, Differential Instant Radiosity for Mixed Reality, IEEE International Symposium on Mixed and Augmented Reality 2010 Science and Technology Proceedings, pp.99-107, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の手法では、カメラなどの光源を検出する装置を仮想物体を表示する位置に配置して、光源の光の色や、光源の位置（方向）、現実空間に存在する物体を反射して仮想物体に届くべき光である物体反射光などを事前に検出する必要がある。そのため、現実空間を撮像した画像の任意の位置に仮想物体を自由に表示させることができないという問題がある。
【０００６】
本発明は、上記問題を解決すべくなされたもので、その目的は、現実空間を撮像した画像に対して、仮想物体を任意の位置に配置した仮想的な画像を生成できる仮想物体表示装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、現実空間の予め定められた位置に仮想的に配置する物体である仮想物体の形状、及び表面の反射特性を示す仮想物体情報を予め記憶している仮想物体情報記憶部と、現実空間に存在する実物体を撮像して画像データを出力する撮像部と、前記実物体までの距離を測定し、測定した距離を示すデプスマップ情報を出力する距離センサ部と、前記画像データと前記デプスマップ情報とに基づいて、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、前記実物体で反射して前記仮想物体に届く光である物体反射光を示す情報とを算出する光情報推定部と、前記デプスマップ情報に基づいて、前記仮想物体を観察する観察者の顔の位置を検出する顔位置検出部と、現実空間に前記仮想物体を予め定めた位置に配置した仮想的な空間において、前記顔位置検出部が検出した顔の位置を視点にして得られる画像を、前記画像データと、前記仮想物体情報と、前記光源の位置、色、及び強度と、前記仮想物体に届く光を示す情報とに基づいて生成する画像生成部と、前記画像生成部が生成した画像を表示する表示部とを具備することを特徴とする仮想物体表示装置である。
【０００８】
また、本発明は、上記に記載の発明において、前記光情報推定部は、前記画像データにおいて、最も輝度の高い画素に対応する位置を光源の位置とすることを特徴とする。
また、本発明は、上記に記載の発明において、前記光情報推定部は、前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とすることを特徴とする。
また、本発明は、上記に記載の発明において、前記光情報推定部は、前記画像データにおいて予め定められた輝度閾値以上の輝度を有する画素が存在するか否かを判定し、前記輝度閾値以上の画素が存在する場合、前記画像データにおける最も輝度の高い画素に対応する位置を光源の位置とし、前記輝度閾値以上の画素が存在しない場合、前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とすることを特徴とする。
【発明の効果】
【０００９】
この発明によれば、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、物体反射光とに基づいて、現実空間に仮想物体を配置した仮想的な画像を生成するので、物体反射光による効果、光源に対する影、周辺の物体への映り込みが反映され、画像の品質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における仮想物体表示装置１の外観の一例を示す図である。
【図２】同実施形態における仮想物体表示装置１の構成を示す概略ブロック図である。
【図３】同実施形態における光情報推定部１３の構成を示す概略ブロック図である。
【図４】同実施形態においる光源の位置を推定する方法を示す概略図である。
【発明を実施するための形態】
【００１１】
まず、本発明の概要について説明する。
例えば、遠隔に存在する物体や、製品プロトタイプのＣＧモデルについて議論をする場合などに、現実に存在する物体と同様に実在しているように仮想物体を表示することが重要である。これまで、そのような表示を行うには、仮想物体を立体的に表示することが重要であると考えられ、両眼視差や運動視差を取り入れた取り組みがなされてきた。発明者は、そのような両眼視差や運動視差だけでなく、現実世界における光源や物体を反射してきた光の影響を反映することが、仮想物体が現実世界に実在するように表示するために重要であるという知見に至った。
例えば、部屋の中にマグカップがあった場合には、マグカップはその部屋にある光源（蛍光灯など）からの光を受けることで見えるようになる。その際に、光源とマグカップの位置関係に応じてマグカップの影ができるし、マグカップの表面に光沢がある場合には観察者や周囲の物体がマグカップに映り込むこともある。このような現象は、物体が実空間に存在する場合には観察できる現象である。
【００１２】
本発明は、上述した、光源からの光や、周辺の物体を反射してきた光（以下、物体反射光という）による現象を考慮して仮想物体を表現するものである。本発明により、現実の光源から仮想物体に光が当たって影ができる、現実に存在する物体が仮想物体に影を落とす、観察者や、現実空間の周囲の物体が仮想物体に映り込むなどの、現実世界に仮想物体が実在する場合には起こるべき現象を画像に加えることができる。その結果、現実空間に仮想物体が存在している場合と同様な画像を作り出すことができる。
本発明によって表示された画像は、窓ガラスのように透明な板を挟んだ向こう側に仮想物体が実在している場合に見える画像を再現したものである。ディスプレイ面が透明な板であったと仮定した場合に光源からの光や、物体反射光などの透明な板を透過する光を推定し、仮想物体に適用することで、透明な板を介して現実に物体が存在したときに起こる現象（現実の光源から仮想物体に光が当たって影ができる、現実に存在する物体が仮想物体に影を落とす、観察者や現実空間の周囲の物体が仮想物体に映り込むなど）を画像に加えることができる。
【００１３】
以下、図面を参照して、本発明の実施形態における仮想物体表示装置を説明する。
【００１４】
（第１実施形態）
図１は、本実施形態における仮想物体表示装置１の外観の一例を示す図である。同図に示すように、仮想物体表示装置１は、表示部としてのディスプレイと、撮像部としてのカメラと、距離センサ部としての距離センサを具備している。
【００１５】
図２は、本実施形態における仮想物体表示装置１の構成を示す概略ブロック図である。同図に示すように、仮想物体表示装置１は、撮像部１１と、距離センサ部１２と、表示部１７と、演算部２０とを具備している。演算部２０は、光情報推定部１３と、顔位置検出部１４と、仮想物体情報記憶部１５と、画像生成部１６とを備えている。なお、演算部２０は、例えば、計算装置で構成され、計算装置が有する記憶領域に格納されたソフトウエアを用いて、光情報推定部１３と、顔位置検出部１４と、仮想物体情報記憶部１５と、画像生成部１６とを実現させるようにしてもよい。また、本実施形態では、撮像部１１と、距離センサ部１２との位置合わせが予め行われているものとする。
仮想物体表示装置１は、撮像部１１による画像データと、距離センサ部１２が測定する奥行きを示す情報とを用いて、光情報推定部１３が光源及び物体反射光の情報を推定する。また、顔位置検出部１４が算出する観察者の顔の位置を基に３次元オブジェクトをレンダリングし、最終的な出力画像を生成して表示部１７に表示させる。
【００１６】
撮像部１１は、現実空間を撮像し、撮像した画像を示す画像データを出力する。撮像部１１は、全方位レンズ光学系や、全方位ミラー光学系を含む画角が広い光学系を有しており、撮像部１１の周囲の現実空間に存在する物体（被写体）を撮像する。撮像部１１が出力する画像データは、撮像した物体を光の三原色（赤、緑、青）それぞれの明度を用いて示す情報である。
距離センサ部１２は、現実空間の奥行きを測定し、測定した奥行きを示すデプスマップ情報を出力する。換言すると、撮像部１１が撮像した現実空間に存在する物体までの距離を測定してデプスマップ情報を出力する。距離センサ部１２には、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社から販売されているＫＩＮＥＣＴ（登録商標）と同様に、赤外線パターン投影型の距離センサを用いてもよい。また、距離センサ部１２は、撮像部１１の撮像範囲内にある物体までの距離を測定できるように、複数のセンサを用いて構成してもよい。
【００１７】
光情報推定部１３は、撮像部１１が出力する画像データと、距離センサ部１２が出力するデプスマップ情報とに基づいて、画像データにおける光源の３次元座標、光源色、及び光の強度の推定を行う。また、光情報推定部１３は、推定結果として、光源の現実空間における位置を示す３次元座標（ｘ，ｙ，ｚ）、光源色を示す色情報（Ｒ，Ｇ，Ｂ）、及び光の強度を示す強度情報（Ｓ）を出力する。仮想物体表示装置１における座標系には、例えば、撮像部１１又は距離センサ部１２のいずれか一方を基準にした座標系を用いるようにしてもよい。
また、光情報推定部１３は、現実空間に仮想物体を配置した場合に、現実空間に存在する物体の仮想物体の表面等への映り込みを算出するための３次元オブジェクトデータを出力する。この３次元オブジェクトデータは、画像データとデプスマップ情報とに基づいて算出された、現実空間に存在する物体の位置及び形状を示す情報であり、例えば、物体の形状を示す多面体などの基本図形（ポリゴン）及びその大きさを示すポリゴン情報と、当該物体の３次元座標を示す情報などが含まれている。
【００１８】
図３は、本実施形態における光情報推定部１３の構成を示す概略ブロック図である。同図に示すように、光情報推定部１３は、光源位置推定部１３１と、光源色推定部１３２と、光源強度推定部１３３と、物体反射光推定部１３４とを備えている。本実施形態では、撮像部１１の撮像範囲内に光源があるとみなして処理を行う。
【００１９】
光源位置推定部１３１は、撮像部１１が出力する画像データにおいて最も輝度が高い画素に対応する位置に光源があると判定する。また、光源位置推定部１３１は、距離センサ部１２が出力するデプスマップ情報に基づいて、最も輝度が高い画素に対応する位置の３次元座標を算出する。
光源色推定部１３２は、光源自体が写り込んでいるので、光源位置推定部１３１が光源として判定した位置と、画像データとから光源から発せられる光源色を算出する。具体的には、光源色推定部１３２は、露光時間を光源によるサチュレーションが起きない程度十分に短くし、その際の映り込んだ光源の画素における色情報（Ｒ，Ｇ，Ｂ）の値により光源色を算出する。ここで、サチュレーションが起きない程度の露光時間とは、例えば、色情報の赤、緑、及び青それぞれの明度において取り得る値の最大値が存在しない画像データが得られる撮像部１１の露光時間である。
【００２０】
光源強度推定部１３３は、光源自体が写り込んでいるので、光源位置推定部１３１が光源として判定した位置と、画像データとから光源の強度を算出する。具体的には、光源強度推定部１３３は、光源色推定部１３２が算出した光源色と、露光時間と、映り込んだ光源の画素における輝度の値から光源の強度を算出する。
【００２１】
物体反射光推定部１３４は、現実空間の予め定められた位置に配置した仮想物体に対する現実空間に存在する物体の映り込みを算出する際に用いられる３次元オブジェクトデータを算出する。物体反射光推定部１３４は、画像データと、デプスマップ情報とから、画像データに撮像されている物体それぞれについて、物体の位置及び形状を算出し、算出結果を３次元オブジェクトデータとして出力する。すなわち、物体反射光推定部１３４は、現実空間の物体を３次元オブジェクトとしてモデル化し、モデル化により得られた情報を３次元オブジェクトデータとして出力する。
【００２２】
図２に戻って、仮想物体表示装置１を構成する各部の説明を続ける。
顔位置検出部１４は、距離センサ部１２が出力するデプスマップ情報から、観察者の顔の位置を検出する。顔位置検出部１４は、例えば、Ｏｐｅｎ ＮＩのスケルトン処理機能（あるいは、スケルトントラッキング）を用いて得られる観察者の頭、胴体、腕、及び脚の骨格情報に基づいて、観察者の頭の位置（３次元座標）を特定して、顔の位置を算出する。顔位置検出部１４は、顔の位置を示す３次元座標（ｅｘ，ｅｙ，ｅｘ）である顔位置情報を出力する。ここで、顔の位置は、仮想物体を現実空間に配置する際の視点を表す座標である。そこで、顔位置検出部１４は、顔の位置に替えて、目の位置を算出するようにしてもよい。
【００２３】
仮想物体情報記憶部１５には、仮想物体を画像上に表す際に用いる仮想物体情報が予め記憶されている。仮想物体情報には、仮想物体の形状を示すポリゴン情報、仮想物体の表面における模様や材質感を表現した画像を示すテクスチャ情報、仮想物体の表面における光の反射特性を示す情報が含まれている。
【００２４】
画像生成部１６は、光情報推定部１３が出力する、光源の位置、光源色、及び強度、並びに現実空間に存在する物体の３次元オブジェクトデータと、仮想物体情報記憶部１５に記憶されている仮想物体情報とに基づいて、現実空間において予め定められた位置に仮想物体が配置されたＣＧ空間（仮想的な３次元空間）を生成する。このとき、画像生成部１６は、生成したＣＧ空間において、光情報推定部１３が出力する色情報（Ｒ，Ｇ，Ｂ）及び強度情報（Ｓ）により示される光を発する光源を、光情報推定部１３が出力する３次元座標（ｘ，ｙ，ｚ）に配置し、顔位置検出部１４が出力する顔位置情報に基づいて仮想的なカメラを配置し、当該カメラにより撮像される画像をレンダリング（レイトレーシングなど）により生成する。仮想的なカメラは、顔位置情報に含まれる３次元座標（ｅｘ，ｅｙ，ｅｚ）に配置される。また、画像生成部１６は、仮想的なカメラの位置と、仮想物体情報と、３次元オブジェクトデータとに基づいて、仮想物体情報に含まれるテクスチャ情報を更新する。これにより、仮想物体の表面に映り込む物体が表現される。
表示部１７は、例えば、液晶パネルなどの表示画面を有し、画像生成部１６が生成した画像を表示する。
【００２５】
上述の構成を有することにより、仮想物体表示装置１は、現実空間における光源と、物体反射光の情報を推定し、推定した情報を適用したレンダリングを行い、仮想物体を含むＣＧ空間の画像を生成する。このとき、光情報推定部１３は、距離センサ部１２が測定した奥行きを示すデプスマップ情報と、撮像部１１が広い画角を有する光学系を用いた撮像により得られた画像データとを用いて、光源の位置、色、及び強度を推定するとともに、物体反射光の推定を行う。また、顔位置検出部１４は、撮像部１１が出力する画像データと、距離センサ部１２が測定した奥行きを示すデプスマップ情報とに基づいて、観察者の視点を推定している。
これにより、仮想物体表示装置１は、光源に関する情報を事前に得ることなしに、光源色や、光源の位置（方向）、物体反射光による効果光源に対する影、周辺の物体への映り込みを表現した画像を生成することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を向上させることができる。その結果、仮想物体表示装置１が表示する画像を見た観察者に、仮想物体が現実空間に存在しているように感じさせることができる。
【００２６】
（第２実施形態）
第２実施形態における仮想物体表示装置は、撮像部１１の撮像範囲内に光源が存在していない場合において、仮想物体が現実空間に存在している状況を示す仮想的な画像を表示するものである。本実施形態における仮想物体表示装置は、第１実施形態の仮想物体表示装置１と同じ機能ブロックを有しているので各機能ブロックの説明を省略し、第１実施形態と異なる処理について説明する。
【００２７】
本実施形態における仮想物体表示装置では、光情報推定部１３における光源の位置を推定する処理が、以下のように、第１実施形態と異なる。また、本実施形態では、第1実施形態と同様に、撮像部１１と、距離センサ部１２との位置合わせが予め行われているものとする。
光源位置推定部１３１は、撮像部１１が出力する画像データと、距離センサ部１２が出力するデプスマップ情報とに基づいて、現実空間に存在する物体の位置及び形状を検出する。また、光源位置推定部１３１は、画像データの輝度に基づいて、現実空間に存在する物体において光源からの光を強く反射している部分（スペキュラー反射をしている部分）を検出する。光源位置推定部１３１は、現実空間に存在する物体の位置及び形状から、物体においてスペキュラー反射をしている部分における物体面の法線を算出する。また光源位置推定部１３１は、算出した物体面の法線ごとに、当該物体面の法線に関して、撮像部１１の位置からスペキュラー反射をしている部分に向かうベクトルと、鏡映の関係にあるベクトルを算出し、算出した鏡映の関係にあるベクトルが交差する点を光源の位置とする。
【００２８】
図４は、本実施形態においる光源の位置を推定する方法を示す概略図である。同図に示すように、光源位置推定部１３１は、物体Ａ及び物体Ｂそれぞれにおいて、スペキュラー反射面を検出する。光源位置推定部１３１は、物体Ａのスペキュラー反射面の法線と、物体Ｂのスペキュラー反射面の法線とを算出する。また、光源位置推定部１３１は、物体Ａにおいてスペキュラー反射している物体面の法線に関して、撮像部１１（カメラ）の位置から物体Ａにおいてスペキュラー反射をしている部分に向かう直線と、鏡映の関係にある直線を算出する。同様に、光源位置推定部１３１は、物体Ｂにおいてスペキュラー反射している物体面の法線に関して、撮像部１１の位置から物体Ｂにおいてスペキュラー反射している部分に向かう直線と、鏡映の関係にある直線を算出する。そして、光源位置推定部１３１は、算出した鏡映の関係にある２つの直線の交点を光源位置とする。すなわち、光源位置推定部１３１は、物体Ａ及び物体Ｂのスペキュラー反射面に対して入射角と同じ角度で反射した光線が撮像部１１に到達しているとして、光源位置を算出している。
このとき、光源位置推定部１３１は、画像データにおいて輝度の高い２点を検出し、物体Ａ及び物体Ｂそれぞれにおけるスペキュラー反射面を検出するようにしてもよい。
【００２９】
光源色推定部１３２は、例えば、参考文献１（G. J. Klinker, S. A. Shafer, T. Kanade, Using a Color Reflection Model to Separate Highlights from Object Color, Proceedings of the First International Conference on Computer Vision, pp.145-150, 1987.）や、参考文献２（特開平８−０４６９９０号公報）などに記載されている公知の技術を用いて光源色を推定する。参考文献１には、光源情報を取得する際に光源位置、光源色、光源強度を取得する際に、画像をハイライト部分と光沢のない部分とに分解し、ハイライト部分の色から光源色を推定する技術が記載されている。また、参考文献２には、灰色仮説（シーンに存在する物体の色をすべて平均したらそのシーンの光源化における灰色になるという仮説）に基づいて、光源色を推定する技術が記載されている。
光源強度推定部１３３は、画像データにおいて、最も明るい画素が光源から発せられる光の強度を反映しているとみなし、最も明るい画素の輝度値に基づいて、光源の強度を算出する。
【００３０】
上述の構成を有する仮想物体表示装置は、撮像部１１の撮像範囲内に光源がない場合においても、光源の位置を推定して、光源の光の色や、光源の位置（方向）、物体反射光による効果光源に対する影、周辺の物体への映り込みを表現した画像を生成することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を向上させることができる。これにより、仮想物体表示装置１が表示する画像を見た観察者に、仮想物体が現実空間に存在しているように感じさせることができる。
その結果、光源の位置を検出するために、仮想物体を配置する場所の全周囲の光を測定するデバイス（例えば、魚眼レンズなど）を用いることなく、仮想物体の陰影や、光沢を、仮想物体を配置する場所に応じて、画像に反映することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を向上させることができる。
また、本実施形態における仮想物体表示装置では、撮像部１１が出力する画像データに光源が含まれていない場合であっても光源の位置などを算出することができるので、撮像部１１が有する光学系は、全方位レンズ光学系などの画角が広い光学系でなくてもよい。
【００３１】
なお、第１実施形態における光源の推定と、第２実施形態における光源の推定とを組み合わせて、光源の位置などの推定を行うようにしてもよい。具体的には、撮像部１１は、画像データにサチュレーションが生じない露光時間で撮像した画像データを光情報推定部１３に出力する。光源位置推定部１３１は、画像データにおいて、予め定められた輝度閾値以上の輝度を有する画素が存在するか否かを判定する。光情報推定部１３は、輝度閾値以上の輝度を有する画素が存在する場合、撮像部１１が撮像した画像内に光源があると判定し、第１実施形態における光源の推定を行う。一方、輝度閾値以上の輝度を有する画素が存在しない場合、光情報推定部１３は、撮像部１１が撮像した画像内に光源がないと判定し、第２実施形態における光源の推定を行う。ここで、輝度閾値は、複数の画像データに統計処理などを行って予め定めた輝度値である。
これにより、仮想物体表示装置１は、現実空間における光源の位置に応じた画像を表示することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を更に向上させることができる。
【００３２】
また、上記の第１及び第２実施形態において、表示部１７として両眼視差式３次元ディスプレイを用いるようにしてもよい。両眼視差式３次元ディスプレイを用いて、画像生成部１６が生成した画像に視差をつけて表示させることで、仮想物体を立体的に表示部１７の表示画面の手前や奥に存在するように表示させることができる。仮想物体を表示部１７の表示画面よりも奥に表示する際には上記の実施形態と同様の処理が行われる。仮想物体を表示画面よりも手前に浮き上がらせて視差をつけて表示する際には、光情報推定部１３が、仮想物体を浮き上がらせる位置における光源からの光と、物体反射光とを推定して、画像生成部１６が現実空間に仮想物体が存在している状態を示す仮想的な画像を生成する。これにより、仮想物体が表示画面よりも手前に実在した場合と同様の画像を作り出すことができる。
これにより、鑑賞が目的の場合、物体（彫刻や像など）を所有せずとも、仮想物体表示装置１を用いて物体を表示させることにより鑑賞を行うことができる。また、博物館でしか見られないようなものを遠隔地（遠隔博物館）で観察して楽しむことへの応用が可能となる。
【００３３】
また、上記の第１及び第２実施形態における仮想物体表示装置は、距離センサ部１２が出力するデプスマップ情報に基づいて観察者の顔の位置を検出する構成について説明したが、これに限らずともよい。例えば、仮想物体表示装置が加速度センサを有している携帯情報端末（例えば、携帯電話など）を用いて構成される場合、以下のようにして、観測者の顔の位置を検出するようにしてもよい。
加速度センサは、携帯情報端末が水平に対してどの程度傾いているかを示す情報を出力する。携帯情報端末の表示部１７（ディスプレイ）と、観察者の顔との距離が一定であるとみなし、顔位置検出部１４が、加速度センサが検出する携帯情報端末の傾きに基づいて、観察者の顔の位置を算出するようにしてもよい。ここで、観察者が携帯情報端末を利用する際の表示部１７と顔との平均的な距離を予め算出しておき、顔位置検出部１４に当該距離を記憶させておいてもよい。
【００３４】
また、上記の第１及び第２実施形態の仮想物体表示装置において、撮像部１１、距離センサ部１２、及び表示部１７は、１つの筐体に納められておらずともよい。例えば、撮像部１１及び距離センサ部１２と、表示部１７と、演算部２０とは、それぞれを異なる装置としてもよい。
【００３５】
また、上述の仮想物体表示装置は内部に、コンピュータシステムを有していてもよい。その場合、上述した顔位置検出部１４、光情報推定部１３、仮想物体情報記憶部１５、及び画像生成部１６が行う処理は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われることになる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【符号の説明】
【００３６】
１…仮想物体表示装置、１１…撮像部、１２…距離センサ部、１３…光情報推定部、１４…顔位置検出部、１５…仮想物体情報記憶部、１６…画像生成部、１７…表示部、２０…演算部、１３１…光源位置推定部、１３２…光源色推定部、１３３…光源強度推定部、１３４…物体反射光推定部
【技術分野】
【０００１】
本発明は、仮想物体表示装置に関する。
【背景技術】
【０００２】
これまでにも仮想物体を現実空間に存在するかのように表現する技術は研究されている。代表的なものは両眼視差や運動視差の視差情報を反映して表示するものであり、仮想物体を立体的に表示する手法が検討されている（例えば、非特許文献１）。
【０００３】
また、仮想物体を現実の空間に重畳して表示する技術は、拡張現実の分野において研究されている。全周囲カメラなどを用いてある点に到達する光の情報を測定し、その情報に基づき仮想物体に明暗や影をつける手法がある。これにより、現実空間の画像中に仮想物体がその場に存在し、現実の光源から光を当てられているように表示できる。観測者は現実の空間と仮想物体の重畳画像とをヘッドマウントディスプレイや携帯型ディスプレイなどを通して観察する手法が検討されている（例えば、非特許文献２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Y. Kunita, T. Kikukawa, et al, Image-based 3D Telecopier: A System for Sharing a 3D Object by Multiple Groups of People at Remote Locations, Proceedings of the 17th ACM Symposium on Virtual Reality Software and Technology, pp.51-54, 2010.
【非特許文献２】M. Knecht, C. Traxler, et al, Differential Instant Radiosity for Mixed Reality, IEEE International Symposium on Mixed and Augmented Reality 2010 Science and Technology Proceedings, pp.99-107, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の手法では、カメラなどの光源を検出する装置を仮想物体を表示する位置に配置して、光源の光の色や、光源の位置（方向）、現実空間に存在する物体を反射して仮想物体に届くべき光である物体反射光などを事前に検出する必要がある。そのため、現実空間を撮像した画像の任意の位置に仮想物体を自由に表示させることができないという問題がある。
【０００６】
本発明は、上記問題を解決すべくなされたもので、その目的は、現実空間を撮像した画像に対して、仮想物体を任意の位置に配置した仮想的な画像を生成できる仮想物体表示装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、現実空間の予め定められた位置に仮想的に配置する物体である仮想物体の形状、及び表面の反射特性を示す仮想物体情報を予め記憶している仮想物体情報記憶部と、現実空間に存在する実物体を撮像して画像データを出力する撮像部と、前記実物体までの距離を測定し、測定した距離を示すデプスマップ情報を出力する距離センサ部と、前記画像データと前記デプスマップ情報とに基づいて、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、前記実物体で反射して前記仮想物体に届く光である物体反射光を示す情報とを算出する光情報推定部と、前記デプスマップ情報に基づいて、前記仮想物体を観察する観察者の顔の位置を検出する顔位置検出部と、現実空間に前記仮想物体を予め定めた位置に配置した仮想的な空間において、前記顔位置検出部が検出した顔の位置を視点にして得られる画像を、前記画像データと、前記仮想物体情報と、前記光源の位置、色、及び強度と、前記仮想物体に届く光を示す情報とに基づいて生成する画像生成部と、前記画像生成部が生成した画像を表示する表示部とを具備することを特徴とする仮想物体表示装置である。
【０００８】
また、本発明は、上記に記載の発明において、前記光情報推定部は、前記画像データにおいて、最も輝度の高い画素に対応する位置を光源の位置とすることを特徴とする。
また、本発明は、上記に記載の発明において、前記光情報推定部は、前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とすることを特徴とする。
また、本発明は、上記に記載の発明において、前記光情報推定部は、前記画像データにおいて予め定められた輝度閾値以上の輝度を有する画素が存在するか否かを判定し、前記輝度閾値以上の画素が存在する場合、前記画像データにおける最も輝度の高い画素に対応する位置を光源の位置とし、前記輝度閾値以上の画素が存在しない場合、前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とすることを特徴とする。
【発明の効果】
【０００９】
この発明によれば、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、物体反射光とに基づいて、現実空間に仮想物体を配置した仮想的な画像を生成するので、物体反射光による効果、光源に対する影、周辺の物体への映り込みが反映され、画像の品質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における仮想物体表示装置１の外観の一例を示す図である。
【図２】同実施形態における仮想物体表示装置１の構成を示す概略ブロック図である。
【図３】同実施形態における光情報推定部１３の構成を示す概略ブロック図である。
【図４】同実施形態においる光源の位置を推定する方法を示す概略図である。
【発明を実施するための形態】
【００１１】
まず、本発明の概要について説明する。
例えば、遠隔に存在する物体や、製品プロトタイプのＣＧモデルについて議論をする場合などに、現実に存在する物体と同様に実在しているように仮想物体を表示することが重要である。これまで、そのような表示を行うには、仮想物体を立体的に表示することが重要であると考えられ、両眼視差や運動視差を取り入れた取り組みがなされてきた。発明者は、そのような両眼視差や運動視差だけでなく、現実世界における光源や物体を反射してきた光の影響を反映することが、仮想物体が現実世界に実在するように表示するために重要であるという知見に至った。
例えば、部屋の中にマグカップがあった場合には、マグカップはその部屋にある光源（蛍光灯など）からの光を受けることで見えるようになる。その際に、光源とマグカップの位置関係に応じてマグカップの影ができるし、マグカップの表面に光沢がある場合には観察者や周囲の物体がマグカップに映り込むこともある。このような現象は、物体が実空間に存在する場合には観察できる現象である。
【００１２】
本発明は、上述した、光源からの光や、周辺の物体を反射してきた光（以下、物体反射光という）による現象を考慮して仮想物体を表現するものである。本発明により、現実の光源から仮想物体に光が当たって影ができる、現実に存在する物体が仮想物体に影を落とす、観察者や、現実空間の周囲の物体が仮想物体に映り込むなどの、現実世界に仮想物体が実在する場合には起こるべき現象を画像に加えることができる。その結果、現実空間に仮想物体が存在している場合と同様な画像を作り出すことができる。
本発明によって表示された画像は、窓ガラスのように透明な板を挟んだ向こう側に仮想物体が実在している場合に見える画像を再現したものである。ディスプレイ面が透明な板であったと仮定した場合に光源からの光や、物体反射光などの透明な板を透過する光を推定し、仮想物体に適用することで、透明な板を介して現実に物体が存在したときに起こる現象（現実の光源から仮想物体に光が当たって影ができる、現実に存在する物体が仮想物体に影を落とす、観察者や現実空間の周囲の物体が仮想物体に映り込むなど）を画像に加えることができる。
【００１３】
以下、図面を参照して、本発明の実施形態における仮想物体表示装置を説明する。
【００１４】
（第１実施形態）
図１は、本実施形態における仮想物体表示装置１の外観の一例を示す図である。同図に示すように、仮想物体表示装置１は、表示部としてのディスプレイと、撮像部としてのカメラと、距離センサ部としての距離センサを具備している。
【００１５】
図２は、本実施形態における仮想物体表示装置１の構成を示す概略ブロック図である。同図に示すように、仮想物体表示装置１は、撮像部１１と、距離センサ部１２と、表示部１７と、演算部２０とを具備している。演算部２０は、光情報推定部１３と、顔位置検出部１４と、仮想物体情報記憶部１５と、画像生成部１６とを備えている。なお、演算部２０は、例えば、計算装置で構成され、計算装置が有する記憶領域に格納されたソフトウエアを用いて、光情報推定部１３と、顔位置検出部１４と、仮想物体情報記憶部１５と、画像生成部１６とを実現させるようにしてもよい。また、本実施形態では、撮像部１１と、距離センサ部１２との位置合わせが予め行われているものとする。
仮想物体表示装置１は、撮像部１１による画像データと、距離センサ部１２が測定する奥行きを示す情報とを用いて、光情報推定部１３が光源及び物体反射光の情報を推定する。また、顔位置検出部１４が算出する観察者の顔の位置を基に３次元オブジェクトをレンダリングし、最終的な出力画像を生成して表示部１７に表示させる。
【００１６】
撮像部１１は、現実空間を撮像し、撮像した画像を示す画像データを出力する。撮像部１１は、全方位レンズ光学系や、全方位ミラー光学系を含む画角が広い光学系を有しており、撮像部１１の周囲の現実空間に存在する物体（被写体）を撮像する。撮像部１１が出力する画像データは、撮像した物体を光の三原色（赤、緑、青）それぞれの明度を用いて示す情報である。
距離センサ部１２は、現実空間の奥行きを測定し、測定した奥行きを示すデプスマップ情報を出力する。換言すると、撮像部１１が撮像した現実空間に存在する物体までの距離を測定してデプスマップ情報を出力する。距離センサ部１２には、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社から販売されているＫＩＮＥＣＴ（登録商標）と同様に、赤外線パターン投影型の距離センサを用いてもよい。また、距離センサ部１２は、撮像部１１の撮像範囲内にある物体までの距離を測定できるように、複数のセンサを用いて構成してもよい。
【００１７】
光情報推定部１３は、撮像部１１が出力する画像データと、距離センサ部１２が出力するデプスマップ情報とに基づいて、画像データにおける光源の３次元座標、光源色、及び光の強度の推定を行う。また、光情報推定部１３は、推定結果として、光源の現実空間における位置を示す３次元座標（ｘ，ｙ，ｚ）、光源色を示す色情報（Ｒ，Ｇ，Ｂ）、及び光の強度を示す強度情報（Ｓ）を出力する。仮想物体表示装置１における座標系には、例えば、撮像部１１又は距離センサ部１２のいずれか一方を基準にした座標系を用いるようにしてもよい。
また、光情報推定部１３は、現実空間に仮想物体を配置した場合に、現実空間に存在する物体の仮想物体の表面等への映り込みを算出するための３次元オブジェクトデータを出力する。この３次元オブジェクトデータは、画像データとデプスマップ情報とに基づいて算出された、現実空間に存在する物体の位置及び形状を示す情報であり、例えば、物体の形状を示す多面体などの基本図形（ポリゴン）及びその大きさを示すポリゴン情報と、当該物体の３次元座標を示す情報などが含まれている。
【００１８】
図３は、本実施形態における光情報推定部１３の構成を示す概略ブロック図である。同図に示すように、光情報推定部１３は、光源位置推定部１３１と、光源色推定部１３２と、光源強度推定部１３３と、物体反射光推定部１３４とを備えている。本実施形態では、撮像部１１の撮像範囲内に光源があるとみなして処理を行う。
【００１９】
光源位置推定部１３１は、撮像部１１が出力する画像データにおいて最も輝度が高い画素に対応する位置に光源があると判定する。また、光源位置推定部１３１は、距離センサ部１２が出力するデプスマップ情報に基づいて、最も輝度が高い画素に対応する位置の３次元座標を算出する。
光源色推定部１３２は、光源自体が写り込んでいるので、光源位置推定部１３１が光源として判定した位置と、画像データとから光源から発せられる光源色を算出する。具体的には、光源色推定部１３２は、露光時間を光源によるサチュレーションが起きない程度十分に短くし、その際の映り込んだ光源の画素における色情報（Ｒ，Ｇ，Ｂ）の値により光源色を算出する。ここで、サチュレーションが起きない程度の露光時間とは、例えば、色情報の赤、緑、及び青それぞれの明度において取り得る値の最大値が存在しない画像データが得られる撮像部１１の露光時間である。
【００２０】
光源強度推定部１３３は、光源自体が写り込んでいるので、光源位置推定部１３１が光源として判定した位置と、画像データとから光源の強度を算出する。具体的には、光源強度推定部１３３は、光源色推定部１３２が算出した光源色と、露光時間と、映り込んだ光源の画素における輝度の値から光源の強度を算出する。
【００２１】
物体反射光推定部１３４は、現実空間の予め定められた位置に配置した仮想物体に対する現実空間に存在する物体の映り込みを算出する際に用いられる３次元オブジェクトデータを算出する。物体反射光推定部１３４は、画像データと、デプスマップ情報とから、画像データに撮像されている物体それぞれについて、物体の位置及び形状を算出し、算出結果を３次元オブジェクトデータとして出力する。すなわち、物体反射光推定部１３４は、現実空間の物体を３次元オブジェクトとしてモデル化し、モデル化により得られた情報を３次元オブジェクトデータとして出力する。
【００２２】
図２に戻って、仮想物体表示装置１を構成する各部の説明を続ける。
顔位置検出部１４は、距離センサ部１２が出力するデプスマップ情報から、観察者の顔の位置を検出する。顔位置検出部１４は、例えば、Ｏｐｅｎ ＮＩのスケルトン処理機能（あるいは、スケルトントラッキング）を用いて得られる観察者の頭、胴体、腕、及び脚の骨格情報に基づいて、観察者の頭の位置（３次元座標）を特定して、顔の位置を算出する。顔位置検出部１４は、顔の位置を示す３次元座標（ｅｘ，ｅｙ，ｅｘ）である顔位置情報を出力する。ここで、顔の位置は、仮想物体を現実空間に配置する際の視点を表す座標である。そこで、顔位置検出部１４は、顔の位置に替えて、目の位置を算出するようにしてもよい。
【００２３】
仮想物体情報記憶部１５には、仮想物体を画像上に表す際に用いる仮想物体情報が予め記憶されている。仮想物体情報には、仮想物体の形状を示すポリゴン情報、仮想物体の表面における模様や材質感を表現した画像を示すテクスチャ情報、仮想物体の表面における光の反射特性を示す情報が含まれている。
【００２４】
画像生成部１６は、光情報推定部１３が出力する、光源の位置、光源色、及び強度、並びに現実空間に存在する物体の３次元オブジェクトデータと、仮想物体情報記憶部１５に記憶されている仮想物体情報とに基づいて、現実空間において予め定められた位置に仮想物体が配置されたＣＧ空間（仮想的な３次元空間）を生成する。このとき、画像生成部１６は、生成したＣＧ空間において、光情報推定部１３が出力する色情報（Ｒ，Ｇ，Ｂ）及び強度情報（Ｓ）により示される光を発する光源を、光情報推定部１３が出力する３次元座標（ｘ，ｙ，ｚ）に配置し、顔位置検出部１４が出力する顔位置情報に基づいて仮想的なカメラを配置し、当該カメラにより撮像される画像をレンダリング（レイトレーシングなど）により生成する。仮想的なカメラは、顔位置情報に含まれる３次元座標（ｅｘ，ｅｙ，ｅｚ）に配置される。また、画像生成部１６は、仮想的なカメラの位置と、仮想物体情報と、３次元オブジェクトデータとに基づいて、仮想物体情報に含まれるテクスチャ情報を更新する。これにより、仮想物体の表面に映り込む物体が表現される。
表示部１７は、例えば、液晶パネルなどの表示画面を有し、画像生成部１６が生成した画像を表示する。
【００２５】
上述の構成を有することにより、仮想物体表示装置１は、現実空間における光源と、物体反射光の情報を推定し、推定した情報を適用したレンダリングを行い、仮想物体を含むＣＧ空間の画像を生成する。このとき、光情報推定部１３は、距離センサ部１２が測定した奥行きを示すデプスマップ情報と、撮像部１１が広い画角を有する光学系を用いた撮像により得られた画像データとを用いて、光源の位置、色、及び強度を推定するとともに、物体反射光の推定を行う。また、顔位置検出部１４は、撮像部１１が出力する画像データと、距離センサ部１２が測定した奥行きを示すデプスマップ情報とに基づいて、観察者の視点を推定している。
これにより、仮想物体表示装置１は、光源に関する情報を事前に得ることなしに、光源色や、光源の位置（方向）、物体反射光による効果光源に対する影、周辺の物体への映り込みを表現した画像を生成することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を向上させることができる。その結果、仮想物体表示装置１が表示する画像を見た観察者に、仮想物体が現実空間に存在しているように感じさせることができる。
【００２６】
（第２実施形態）
第２実施形態における仮想物体表示装置は、撮像部１１の撮像範囲内に光源が存在していない場合において、仮想物体が現実空間に存在している状況を示す仮想的な画像を表示するものである。本実施形態における仮想物体表示装置は、第１実施形態の仮想物体表示装置１と同じ機能ブロックを有しているので各機能ブロックの説明を省略し、第１実施形態と異なる処理について説明する。
【００２７】
本実施形態における仮想物体表示装置では、光情報推定部１３における光源の位置を推定する処理が、以下のように、第１実施形態と異なる。また、本実施形態では、第1実施形態と同様に、撮像部１１と、距離センサ部１２との位置合わせが予め行われているものとする。
光源位置推定部１３１は、撮像部１１が出力する画像データと、距離センサ部１２が出力するデプスマップ情報とに基づいて、現実空間に存在する物体の位置及び形状を検出する。また、光源位置推定部１３１は、画像データの輝度に基づいて、現実空間に存在する物体において光源からの光を強く反射している部分（スペキュラー反射をしている部分）を検出する。光源位置推定部１３１は、現実空間に存在する物体の位置及び形状から、物体においてスペキュラー反射をしている部分における物体面の法線を算出する。また光源位置推定部１３１は、算出した物体面の法線ごとに、当該物体面の法線に関して、撮像部１１の位置からスペキュラー反射をしている部分に向かうベクトルと、鏡映の関係にあるベクトルを算出し、算出した鏡映の関係にあるベクトルが交差する点を光源の位置とする。
【００２８】
図４は、本実施形態においる光源の位置を推定する方法を示す概略図である。同図に示すように、光源位置推定部１３１は、物体Ａ及び物体Ｂそれぞれにおいて、スペキュラー反射面を検出する。光源位置推定部１３１は、物体Ａのスペキュラー反射面の法線と、物体Ｂのスペキュラー反射面の法線とを算出する。また、光源位置推定部１３１は、物体Ａにおいてスペキュラー反射している物体面の法線に関して、撮像部１１（カメラ）の位置から物体Ａにおいてスペキュラー反射をしている部分に向かう直線と、鏡映の関係にある直線を算出する。同様に、光源位置推定部１３１は、物体Ｂにおいてスペキュラー反射している物体面の法線に関して、撮像部１１の位置から物体Ｂにおいてスペキュラー反射している部分に向かう直線と、鏡映の関係にある直線を算出する。そして、光源位置推定部１３１は、算出した鏡映の関係にある２つの直線の交点を光源位置とする。すなわち、光源位置推定部１３１は、物体Ａ及び物体Ｂのスペキュラー反射面に対して入射角と同じ角度で反射した光線が撮像部１１に到達しているとして、光源位置を算出している。
このとき、光源位置推定部１３１は、画像データにおいて輝度の高い２点を検出し、物体Ａ及び物体Ｂそれぞれにおけるスペキュラー反射面を検出するようにしてもよい。
【００２９】
光源色推定部１３２は、例えば、参考文献１（G. J. Klinker, S. A. Shafer, T. Kanade, Using a Color Reflection Model to Separate Highlights from Object Color, Proceedings of the First International Conference on Computer Vision, pp.145-150, 1987.）や、参考文献２（特開平８−０４６９９０号公報）などに記載されている公知の技術を用いて光源色を推定する。参考文献１には、光源情報を取得する際に光源位置、光源色、光源強度を取得する際に、画像をハイライト部分と光沢のない部分とに分解し、ハイライト部分の色から光源色を推定する技術が記載されている。また、参考文献２には、灰色仮説（シーンに存在する物体の色をすべて平均したらそのシーンの光源化における灰色になるという仮説）に基づいて、光源色を推定する技術が記載されている。
光源強度推定部１３３は、画像データにおいて、最も明るい画素が光源から発せられる光の強度を反映しているとみなし、最も明るい画素の輝度値に基づいて、光源の強度を算出する。
【００３０】
上述の構成を有する仮想物体表示装置は、撮像部１１の撮像範囲内に光源がない場合においても、光源の位置を推定して、光源の光の色や、光源の位置（方向）、物体反射光による効果光源に対する影、周辺の物体への映り込みを表現した画像を生成することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を向上させることができる。これにより、仮想物体表示装置１が表示する画像を見た観察者に、仮想物体が現実空間に存在しているように感じさせることができる。
その結果、光源の位置を検出するために、仮想物体を配置する場所の全周囲の光を測定するデバイス（例えば、魚眼レンズなど）を用いることなく、仮想物体の陰影や、光沢を、仮想物体を配置する場所に応じて、画像に反映することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を向上させることができる。
また、本実施形態における仮想物体表示装置では、撮像部１１が出力する画像データに光源が含まれていない場合であっても光源の位置などを算出することができるので、撮像部１１が有する光学系は、全方位レンズ光学系などの画角が広い光学系でなくてもよい。
【００３１】
なお、第１実施形態における光源の推定と、第２実施形態における光源の推定とを組み合わせて、光源の位置などの推定を行うようにしてもよい。具体的には、撮像部１１は、画像データにサチュレーションが生じない露光時間で撮像した画像データを光情報推定部１３に出力する。光源位置推定部１３１は、画像データにおいて、予め定められた輝度閾値以上の輝度を有する画素が存在するか否かを判定する。光情報推定部１３は、輝度閾値以上の輝度を有する画素が存在する場合、撮像部１１が撮像した画像内に光源があると判定し、第１実施形態における光源の推定を行う。一方、輝度閾値以上の輝度を有する画素が存在しない場合、光情報推定部１３は、撮像部１１が撮像した画像内に光源がないと判定し、第２実施形態における光源の推定を行う。ここで、輝度閾値は、複数の画像データに統計処理などを行って予め定めた輝度値である。
これにより、仮想物体表示装置１は、現実空間における光源の位置に応じた画像を表示することができ、現実空間に仮想物体が存在している状態を示す仮想的な画像の品質を更に向上させることができる。
【００３２】
また、上記の第１及び第２実施形態において、表示部１７として両眼視差式３次元ディスプレイを用いるようにしてもよい。両眼視差式３次元ディスプレイを用いて、画像生成部１６が生成した画像に視差をつけて表示させることで、仮想物体を立体的に表示部１７の表示画面の手前や奥に存在するように表示させることができる。仮想物体を表示部１７の表示画面よりも奥に表示する際には上記の実施形態と同様の処理が行われる。仮想物体を表示画面よりも手前に浮き上がらせて視差をつけて表示する際には、光情報推定部１３が、仮想物体を浮き上がらせる位置における光源からの光と、物体反射光とを推定して、画像生成部１６が現実空間に仮想物体が存在している状態を示す仮想的な画像を生成する。これにより、仮想物体が表示画面よりも手前に実在した場合と同様の画像を作り出すことができる。
これにより、鑑賞が目的の場合、物体（彫刻や像など）を所有せずとも、仮想物体表示装置１を用いて物体を表示させることにより鑑賞を行うことができる。また、博物館でしか見られないようなものを遠隔地（遠隔博物館）で観察して楽しむことへの応用が可能となる。
【００３３】
また、上記の第１及び第２実施形態における仮想物体表示装置は、距離センサ部１２が出力するデプスマップ情報に基づいて観察者の顔の位置を検出する構成について説明したが、これに限らずともよい。例えば、仮想物体表示装置が加速度センサを有している携帯情報端末（例えば、携帯電話など）を用いて構成される場合、以下のようにして、観測者の顔の位置を検出するようにしてもよい。
加速度センサは、携帯情報端末が水平に対してどの程度傾いているかを示す情報を出力する。携帯情報端末の表示部１７（ディスプレイ）と、観察者の顔との距離が一定であるとみなし、顔位置検出部１４が、加速度センサが検出する携帯情報端末の傾きに基づいて、観察者の顔の位置を算出するようにしてもよい。ここで、観察者が携帯情報端末を利用する際の表示部１７と顔との平均的な距離を予め算出しておき、顔位置検出部１４に当該距離を記憶させておいてもよい。
【００３４】
また、上記の第１及び第２実施形態の仮想物体表示装置において、撮像部１１、距離センサ部１２、及び表示部１７は、１つの筐体に納められておらずともよい。例えば、撮像部１１及び距離センサ部１２と、表示部１７と、演算部２０とは、それぞれを異なる装置としてもよい。
【００３５】
また、上述の仮想物体表示装置は内部に、コンピュータシステムを有していてもよい。その場合、上述した顔位置検出部１４、光情報推定部１３、仮想物体情報記憶部１５、及び画像生成部１６が行う処理は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われることになる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【符号の説明】
【００３６】
１…仮想物体表示装置、１１…撮像部、１２…距離センサ部、１３…光情報推定部、１４…顔位置検出部、１５…仮想物体情報記憶部、１６…画像生成部、１７…表示部、２０…演算部、１３１…光源位置推定部、１３２…光源色推定部、１３３…光源強度推定部、１３４…物体反射光推定部
【特許請求の範囲】
【請求項１】
現実空間の予め定められた位置に仮想的に配置する物体である仮想物体の形状、及び表面の反射特性を示す仮想物体情報を予め記憶している仮想物体情報記憶部と、
現実空間に存在する実物体を撮像して画像データを出力する撮像部と、
前記実物体までの距離を測定し、測定した距離を示すデプスマップ情報を出力する距離センサ部と、
前記画像データと前記デプスマップ情報とに基づいて、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、前記実物体で反射して前記仮想物体に届く光である物体反射光を示す情報とを算出する光情報推定部と、
前記デプスマップ情報に基づいて、前記仮想物体を観察する観察者の顔の位置を検出する顔位置検出部と、
現実空間に前記仮想物体を予め定めた位置に配置した仮想的な空間において、前記顔位置検出部が検出した顔の位置を視点にして得られる画像を、前記画像データと、前記仮想物体情報と、前記光源の位置、色、及び強度と、前記仮想物体に届く光を示す情報とに基づいて生成する画像生成部と、
前記画像生成部が生成した画像を表示する表示部と
を具備することを特徴とする仮想物体表示装置。
【請求項２】
前記光情報推定部は、
前記画像データにおいて、最も輝度の高い画素に対応する位置を光源の位置とする
ことを特徴とする請求項１に記載の仮想物体表示装置。
【請求項３】
前記光情報推定部は、
前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とする
ことを特徴とする請求項１に記載の仮想物体表示装置。
【請求項４】
前記光情報推定部は、
前記画像データにおいて予め定められた輝度閾値以上の輝度を有する画素が存在するか否かを判定し、前記輝度閾値以上の画素が存在する場合、前記画像データにおける最も輝度の高い画素に対応する位置を光源の位置とし、前記輝度閾値以上の画素が存在しない場合、前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とする
ことを特徴とする請求項１から請求項３のいずれか一項に記載の仮想物体表示装置。
【請求項１】
現実空間の予め定められた位置に仮想的に配置する物体である仮想物体の形状、及び表面の反射特性を示す仮想物体情報を予め記憶している仮想物体情報記憶部と、
現実空間に存在する実物体を撮像して画像データを出力する撮像部と、
前記実物体までの距離を測定し、測定した距離を示すデプスマップ情報を出力する距離センサ部と、
前記画像データと前記デプスマップ情報とに基づいて、現実空間における光源の位置と、該光源から発せられる光の色及び強度と、前記実物体で反射して前記仮想物体に届く光である物体反射光を示す情報とを算出する光情報推定部と、
前記デプスマップ情報に基づいて、前記仮想物体を観察する観察者の顔の位置を検出する顔位置検出部と、
現実空間に前記仮想物体を予め定めた位置に配置した仮想的な空間において、前記顔位置検出部が検出した顔の位置を視点にして得られる画像を、前記画像データと、前記仮想物体情報と、前記光源の位置、色、及び強度と、前記仮想物体に届く光を示す情報とに基づいて生成する画像生成部と、
前記画像生成部が生成した画像を表示する表示部と
を具備することを特徴とする仮想物体表示装置。
【請求項２】
前記光情報推定部は、
前記画像データにおいて、最も輝度の高い画素に対応する位置を光源の位置とする
ことを特徴とする請求項１に記載の仮想物体表示装置。
【請求項３】
前記光情報推定部は、
前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とする
ことを特徴とする請求項１に記載の仮想物体表示装置。
【請求項４】
前記光情報推定部は、
前記画像データにおいて予め定められた輝度閾値以上の輝度を有する画素が存在するか否かを判定し、前記輝度閾値以上の画素が存在する場合、前記画像データにおける最も輝度の高い画素に対応する位置を光源の位置とし、前記輝度閾値以上の画素が存在しない場合、前記画像データに基づいて、撮像された前記実物体のスペキュラー反射している部分を複数検出し、検出したスペキュラー反射している部分ごとに、スペキュラー反射している部分の法線に関して、前記撮像部の位置からスペキュラー反射している部分に向かう直線と、鏡像の関係にある直線を算出し、算出した各直線の交点を光源の位置とする
ことを特徴とする請求項１から請求項３のいずれか一項に記載の仮想物体表示装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−３８４８（Ｐ２０１３−３８４８Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３４３２８（Ｐ２０１１−１３４３２８）
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]