情報提示装置
【課題】使用者の眼球の位置や向きを直接に測定することが不要でありながら、外部環境に対して違和感の少ない画像をスクリーンに提示する。
【解決手段】視点カメラ１は、使用者１０の視点１０１と共役な位置に配置される。視点カメラ１は、視点１０１からスクリーン３の方向を見たときの画像を視点画像として取得する。背景カメラ２は、スクリーン３の後ろ側に存在する環境の画像を背景画像として取得する。プロジェクタ４は、視点１０１及び視点カメラ１と共役な位置に配置される。プロジェクタは、処理部５で生成された投影画像をスクリーン３に投影する。処理部５は、背景画像と視点画像とを対応させることにより、背景画像を、視点１０１からスクリーン３の後ろ側を見た場合の画像に変換する。これによって、投影画像を生成することができる。さらに、処理部５は、生成された投影画像をプロジェクタ４に送る。
【解決手段】視点カメラ１は、使用者１０の視点１０１と共役な位置に配置される。視点カメラ１は、視点１０１からスクリーン３の方向を見たときの画像を視点画像として取得する。背景カメラ２は、スクリーン３の後ろ側に存在する環境の画像を背景画像として取得する。プロジェクタ４は、視点１０１及び視点カメラ１と共役な位置に配置される。プロジェクタは、処理部５で生成された投影画像をスクリーン３に投影する。処理部５は、背景画像と視点画像とを対応させることにより、背景画像を、視点１０１からスクリーン３の後ろ側を見た場合の画像に変換する。これによって、投影画像を生成することができる。さらに、処理部５は、生成された投影画像をプロジェクタ４に送る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提示装置に関するものである。より詳しくは、本発明は、スクリーンによって視野から隠蔽されている環境についての情報を、スクリーンに提示することができる装置に関するものである。
【背景技術】
【０００２】
比較的に小型のスクリーンに画像を投影することにより、オーグメンティド・リアリティ（Augmented Reality: AR）あるいは複合現実感（Mixed Reality: MR）を提供しようとする技術が、下記特許文献１や下記非特許文献１に記載されている。
【０００３】
これらの文献に記載の技術においては、小型のスクリーンに様々な画像を投射することにより、ＡＲやＭＲを提供できるようになっている。また、これらの技術では、スクリーンの後ろ側にあると想像される環境の画像をスクリーンに投影することにより、スクリーンの存在を、使用者から認識されにくくすることもできる。つまり、この技術においては、スクリーンを構成する物体を、スクリーンとしてではなく、あたかも環境の一部であるかのように認識させることができる。
【０００４】
具体的には、これらの技術では、スクリーンの周囲における環境（外部環境）の画像に対して違和感が少ない画像をスクリーンに提示する。これにより、あたかもスクリーンを外部環境に埋没させることができ、その結果、スクリーンの存在感を希薄とすることができる。なお、前記したようにスクリーンの存在感が希薄となることを、ＡＲやＭＲの分野では、「透明化」と称することがある。
【０００５】
ところで、従来の技術では、外部環境に対して違和感のない画像をスクリーンに投射するために、使用者における眼球の位置や視線の向きを常に測定している。そして、測定された位置や向きから見えるはずの画像と矛盾しない画像を生成して、スクリーンに投射する。これにより、スクリーンの透明化を適切に行うことができる。
【０００６】
ここで、使用者の視線の向きを常に測定するためには、例えば使用者の頭部に、眼球位置や視線検出のための計測装置を取り付ける必要がある。この計測装置は、三次元な位置や向き（姿勢）を計測できるようになっている。このような計測装置は、例えば変位センサや加速度センサを用いて構成できる。
【特許文献１】特開２０００−１２２１７６号公報
【非特許文献１】INAMI, M., KAWAKAMI, N., AND TACHI, S. 2003. Optical camouflage using retro-reflective projection technology. In Proc. of the 2nd ISMAR '03.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、使用者の頭部に計測装置を取り付けると、その使用者の動きが、計測装置自体やそのための配線によって制約されてしまう。また、従来の計測装置では、使用者の眼球の位置や向きを精度良く計測することが難しいという不都合もあった。眼球の位置や向きの測定精度が劣化すると、投射された画像と外部環境と間の違和感が大きくなり、その結果、スクリーンの透明化が妨げられるおそれがある。
【０００８】
この問題を避けるため、環境中（例えば室内の天井など）に測定装置を取り付け、使用者の動きを観察することによって眼球の位置や向きを計測することも考えられる。しかしながら、このような技術では、使用者の移動可能な範囲が、計測可能な範囲（例えば室内）のみに制限されてしまう。また、この技術でも、眼球の位置や向きを精度良く計測することは依然として難しいという問題がある。しかも、外部に測定装置を設置すると、装置全体が大型化ないし複雑化し、装置コストや設置コストが増大するという問題もある。
【０００９】
本発明は、このような状況に鑑みてなされたものである。本発明の主な目的は、使用者の眼球の位置や向きを直接に測定することを不要としながら、外部環境に対して違和感の少ない画像をスクリーンに提示することを可能にする技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明は、下記のいずれかの項目に記載の構成を備えている。
【００１１】
（項目１）
視点カメラと、背景カメラと、スクリーンと、プロジェクタと、処理部とを備えており、
前記視点カメラは、使用者の視点と共役となる位置に配置されており、
かつ、前記視点カメラは、前記視点から前記スクリーンの方向を見たときの、前記スクリーン及びその周囲についての画像を視点画像として取得する構成となっており、
前記背景カメラは、前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得する構成となっており、
前記スクリーンは、前記使用者の視野内において、背景と共に使用者に視認される程度に小さいサイズとされており、
かつ、前記スクリーンは、前記プロジェクタから投影された画像の少なくとも一部を、前記使用者の視点に向けて反射することができる構成となっており、
前記プロジェクタは、前記視点及び前記視点カメラと共役となる位置に配置されており、
かつ、前記プロジェクタは、前記処理部で生成された投影画像を前記スクリーンに投影する構成となっており、
前記処理部は、
前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成する処理を行う
構成となっており、
さらに、前記処理部は、生成された前記投影画像を前記プロジェクタに送る構成となっている
ことを特徴とする情報提示装置。
【００１２】
視点カメラを使用者の視点と共役な位置に配置することにより、視点から見た画像を視点カメラで取得することができる。なお、この明細書では、視点カメラで得られた画像（この画像は、視点から見たときの画像に相当している）を視点画像と称している。
【００１３】
また、この発明では、プロジェクタを、使用者の視点及び視点カメラと共役な位置に配置している。すると、視点カメラで取得した視点画像と同じ画像を仮にプロジェクタからスクリーンに投影すると、使用者は、その画像を違和感なく観察することが可能になる。
【００１４】
本発明では、視点カメラで取得した視点画像を基準として、背景画像を変換し、これによって、投影画像を生成して、スクリーン上に提示することができる。生成された投影画像は、視点画像を基準として変換されているので、視点画像に対して違和感が少ないものとすることができる。一方、使用者は、スクリーンに提示された投影画像と、スクリーンの周囲の環境とを同時に観察することができる。このとき、使用者は、投影画像と周囲の環境との間における違和感をあまり感じないので、スクリーンが周囲環境に埋没しているかのように感じることができる。
【００１５】
しかも、本発明では、視点画像を基準として背景画像を変換しているので、使用者の眼球の位置や姿勢を測定する必要がない。このため、眼球の位置や姿勢を測定する装置の設置を省略することが可能になり、使用者の移動を容易にすることができる。
【００１６】
また、本発明では、視点画像を基準として背景画像を変換しているので、測定された眼球の位置や姿勢を基準にする場合に比較して、一層適切な投影画像を生成することが可能になる。
【００１７】
（項目２）
前記背景カメラは、前記スクリーンの背面側の位置に配置されている、項目１に記載の情報提示装置。
【００１８】
スクリーンの背面側に背景カメラを設置することにより、背景画像の取得が容易となる。
【００１９】
（項目３）
前記背景カメラは、前記視点カメラとほぼ同じ向きに配置されている、項目２に記載の情報提示装置。
【００２０】
背景カメラと視点カメラの向きが大きく異なると、遮蔽関係（いわゆるオクルージョン）において、背景画像と視点画像との間の矛盾を生じる可能性が高まる。これに対して、この項目の発明では、両カメラがの向きをほぼ同じとすることにより、このような問題の回避を容易とすることができる。
【００２１】
（項目４）
前記スクリーンは、再帰性反射スクリーンとされている、項目１〜３のいずれか１項に記載の情報提示装置。
【００２２】
スクリーンを拡散反射スクリーンとした場合には、スクリーンに投射された画像が、外乱光（例えば環境中に存在する光）の影響により、使用者からは見づらくなる可能性がある。これに対して、この項目の発明では、再帰性反射スクリーンを用いることにより、スクリーンに投射された画像の輝度は、外乱光に対して十分に強くなる。このため、スクリーンに提示される投射画像の視認性を向上させることができる。
【００２３】
（項目５）
前記スクリーンは、外側に凸となる円弧面を備えている、項目１〜４のいずれか１項に記載の情報提示装置。
【００２４】
外側に凸となる円弧面を備えたスクリーンとは、例えば、球状スクリーン、円筒状スクリーンであるが、これらには制限されない。
【００２５】
円弧面上に投影画像を提示することにより、使用者が移動しても、投影画像を観察することが可能になる。使用者が移動することにより、視点画像や背景画像も変化する場合は、適宜な周期で投影画像を再生成することにより、違和感の少ない投影画像を使用者に提示することができる。
【００２６】
（項目６）
前記背景カメラは、複数とされており、
かつ、前記背景カメラは、前記円弧面の後ろ側に存在する環境の画像を取得するように配置されており、
さらに、前記複数の背景カメラの向きは、互いに異なっている
項目５に記載の情報提示装置。
【００２７】
互いに向きの異なる複数のカメラを用いることにより、使用者が移動しても、移動位置に応じた適切な背景画像を取得することが容易になる。例えば円筒状スクリーンを用いた場合は、スクリーンの外周面から、その外側の方向（半径の延長方向）に向けてカメラを設置することが好ましい。
【００２８】
（項目７）
前記処理部において、前記投影画像を生成する処理は、以下の処理により行われる、項目１〜６のいずれか１項に記載の情報提示装置：
（１）前記背景画像と、前記視点画像との間における、対応点を取得する処理；
（２）前記対応点の情報に基づいて、前記背景画像を射影変換する処理。
【００２９】
対応点の情報に基づいて、背景画像を射影変換することにより、視点から見た環境画像に対して違和感の少ない投影画像を生成することができる。しかも、この項目の発明では、立体構造モデルを生成しなくても、いわゆるイメージベースド・レンダリング（Image-Based Rendering: IBR）の手法により、投影画像を生成することができる。
【００３０】
（項目８）
前記プロジェクタから投影される前記投影画像は、前記スクリーンと、前記スクリーンの外側とにわたって投影される構成となっている
項目１〜７のいずれか１項に記載の情報提示装置。
【００３１】
投影画像を、スクリーンとそのスクリーンの周囲との両者にわたるように投影することができる。この場合には、スクリーンを移動させたり、使用者が移動した場合であっても、スクリーンがプロジェクタの投影範囲内にあれば、違和感の少ない投影画像をスクリーン上に提示することができる。
【００３２】
また、この項目の発明では、プロジェクタの投影範囲（投影角）を予め広く設定することができる。プロジェクタの投影範囲をスクリーン上のみに制限しようとすると、そのための装置構成が必要になってしまう。これに対して、この項目の発明では、そのような装置構成が不要になり、装置コストや設置コストの低減を図ることができる。また、この発明では、視点画像に対して矛盾のない投影画像を生成して投影するので、広範囲に投影された画像が当該使用者に視認されても、支障は少ないと考えられる。
【００３３】
（項目９）
前記視点カメラ及び／又は前記プロジェクタは、使用者の頭部に装着される構成となっている
項目１〜８のいずれか１項に記載の情報提示装置。
【００３４】
カメラ及び／又はプロジェクタを使用者の頭部に設置することにより、使用者が移動しても、カメラ及びプロジェクタを使用者の視点と共役な位置に保つことが容易となる。また、視点カメラ及び／又はプロジェクタを、使用者の頭部に装着することにより、使用者の視点と、カメラやプロジェクタにおける共役点とを物理的に（例えば固定具により）接続することができる。このため、この項目の発明では、視点画像を精度良く生成することができる。さらには、使用者にとって、投影画像を正確に視認することが容易になる。
【００３５】
（項目１０）
以下のステップを備えることを特徴とする情報提示方法：
（ａ）使用者の視点からスクリーンの方向を見たときの、スクリーン及びその周囲についての画像を視点画像として取得するステップ；
（ｂ）前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得するステップ；
（ｃ）前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成するステップ；
（ｄ）前記処理部で生成された投影画像を、前記視点の位置から、前記スクリーンに投影するステップ。
【００３６】
（項目１１）
項目１０に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【００３７】
このコンピュータプログラムは、各種の記録媒体、例えば、磁気的記録媒体（ハードディスクなど）、電気的記録媒体（フラッシュメモリやＤＲＡＭなど）、光学的記録媒体（ＣＤやＤＶＤなど）、光磁気的記録媒体（ＭＯなど）に記録することができる。記録媒体の種類はこれらに制約されない。また、このプログラムは、各種の媒体（光ファイバや銅線など）を介して、信号として伝達されることができる。
【００３８】
このプログラムは、各種の言語（例えばＣ言語やアセンブリ言語）により記述されることができる。また、このプログラムは、実行前にコンパイルを要する言語で記述されてもよい。この場合において、このプログラムは、コンパイル前のものであっても、コンパイル後のものであってもよい。
【発明の効果】
【００３９】
本発明によれば、使用者の眼球の位置や向きを直接に測定することを不要としながら、外部環境に対して違和感の少ない画像をスクリーンに提示することが可能になる。
【発明を実施するための最良の形態】
【００４０】
（第１実施形態）
以下、本発明の第１実施形態に係る情報提示装置の構成を、図１及び図２に基づいて説明する。
【００４１】
（第１実施形態の構成）
本実施形態に係る情報提示装置は、視点カメラ１と、背景カメラ２と、スクリーン３と、プロジェクタ４と、処理部５と、第１ハーフミラー６と、第２ハーフミラー７と、ケーシング８とを主要な構成として備えている（図１参照）。
【００４２】
視点カメラ１は、使用者１０の視点１０１と共役となる位置に配置されている。具体的には、視点カメラ１と視点１０１との間には、第１ハーフミラー６と第２ハーフミラー７とが配置されており、これによって、視点カメラ１と視点１０１とが共役となっている。
【００４３】
視点カメラ１は、視点１０１からスクリーン３の方向を見たときの、スクリーン３及びその周囲についての画像を取得する構成となっている。このように取得された画像を、この明細書では視点画像と称している。
【００４４】
視点カメラ１は、プロジェクタ４及び第１ハーフミラー６と共に、ケーシング８の内部に収納されている（ケーシング８については後述する）。
【００４５】
この実施形態では、視点カメラ１の画角は、スクリーン３だけでなく、スクリーン３の周囲（外側）にわたる画像を撮影できるように設定されている。つまり、本実施形態における視点カメラ１は、スクリーン３の周囲における環境の画像も撮影できる構成となっている。
【００４６】
視点カメラ１は、画像データを取得して処理部５に送ることができるように構成されている。視点カメラ１は、静止画に限らず、動画を取得するものであってもよい。動画は静止画の連続として把握できるので、本明細書の説明においては、静止画を前提として説明する。視点カメラ１は、既定の周期で、視点画像を取得するようになっている。既定の周期は、適宜に設定できる。例えば、１秒当たり１０〜６０枚程度の画像を取得することが好ましいが、処理部５の能力などの制約条件によって上限が決まる。
【００４７】
背景カメラ２は、視点１０１からスクリーン３を見たときにスクリーン３の後ろ側に存在する環境についての画像を取得する構成となっている。このように取得された画像を、この明細書では背景画像と称している。
【００４８】
背景カメラ２は、この実施形態では、円筒状に形成されたスクリーン３（後述）に取り付けられており、スクリーン３の外側方向に向けて設置されている。また、背景カメラ２は、使用者１０から離間した位置（背面側の位置）に設置されている。
【００４９】
背景カメラ２は、背景についての画像データを取得して処理部５に送ることができるように構成されている。背景カメラ２は、視点カメラ１と同様に、動画を取得するものであってもよいが、ここでは静止画を前提として説明する。また、背景カメラ２は、視点カメラ１と同期して、既定の周期で、背景画像を取得するようになっている。
【００５０】
スクリーン３は、使用者１０の視野内において、背景と共に使用者に視認される程度に小さいサイズとされている。すなわち、スクリーン３の大きさは、「スクリーン３を見たときに、スクリーン３の周囲に、スクリーン３の外部に存在する環境の画像を観察できる程度」とされている。視野の全体がスクリーンで覆われて、外部環境が観察できないような条件下では、本実施形態の技術を適用することは難しいと考えられる。
【００５１】
スクリーン３は、プロジェクタ４から投影された画像の少なくとも一部を、使用者の視点に向けて反射することができる構成となっている。
【００５２】
具体的には、この実施形態においては、スクリーン３は、再帰性反射スクリーンとされている。再帰性反射スクリーンとしては、再帰性反射機能を備えた各種の構成のものを利用することができる。例えば、基材（図示せず）の表面に再帰性反射材料（例えばガラスビーズ）を塗布した構成のものを利用できる。もちろん、この構成に制約される必要はない。再帰性反射スクリーンの基本的な構成としては、前記した特許文献１や非特許文献１に記載されたものと同様でよいので、これ以上詳しい説明は省略する。
【００５３】
また、本実施形態におけるスクリーン３は、外側に凸となる円弧面を備えたものとなっている。具体的には、本実施形態のスクリーン３は、円筒状に形成されている。そして、その外周面が、外側に凸となる円弧面を備えたスクリーンとなっている。ただし、スクリーン３の形状としては、円筒状に限らず、例えば球状のものを用いることができる。なお、スクリーン３の形状は、プロジェクタ４の投影範囲内の大きさであれば、特に制約されない。スクリーン３の形状としては、平面，球体，円筒形のような単純な形状だけでなく、人の立体形状など、複雑な形状であってもよい。このような場合でも、プロジェクタ４によって、視点１０１と共役な点から画像を投影すれば、歪みの無い投影が可能になる。
【００５４】
プロジェクタ４は、視点１０１及び視点カメラ１と共役となる位置に配置されている。具体的には、プロジェクタ４は、第１ハーフミラー６の作用により、視点１０１と共役となっている。さらに、プロジェクタ４は、第２ハーフミラー７の作用により、視点カメラ１と共役となっている。
【００５５】
プロジェクタ４は、処理部５で生成された投影画像（後述）を、第１及び第２ハーフミラー６及び７を介して、スクリーン３に投影する構成となっている。
【００５６】
この実施形態では、プロジェクタ４から投影される投影画像は、スクリーン３だけでなく、スクリーン３の周囲（外側）にわたって投影される構成となっている。つまり、本実施形態におけるプロジェクタ４の投影角は、スクリーン３の周囲にまで画像を投影できる大きさに設定されている。
【００５７】
プロジェクタ４及び視点カメラ１は、前記したように、ケーシング８の内部に収納されている（図２参照）。ケーシング８は、図示しない固定具により、使用者の頭部（例えば側頭部）に固定されるようになっている。もちろん、固定を解除すれば、ケーシング８を頭部から除去することもできるようになっている。
【００５８】
したがって、本実施形態においては、視点カメラ１とプロジェクタ４とが、ケーシング８を介して、使用者１０の頭部に装着される構成となっている。
【００５９】
処理部５は、まず、背景カメラ２で取得した背景画像と、視点カメラ１で取得した視点画像とを対応させる。これにより、背景画像を、視点１０１からスクリーン３の後ろ側を見た場合の画像に変換できる。処理部５では、この処理によって、投影画像を生成するようになっている。さらに、処理部５は、生成された投影画像をプロジェクタ４に送る構成となっている。
【００６０】
より具体的には、本実施形態の処理部５においては、投影画像を生成する処理を、以下の処理により行っている：
（１）背景画像と視点画像との間における、対応点を取得する処理；
（２）対応点の情報に基づいて、背景画像を射影変換する処理。
【００６１】
処理部５は、例えば、パーソナルコンピュータやワークステーションなどの適宜のハードウエアと、このハードウエアを動作させる適宜なプログラムによって構成することができる。処理部５における具体的な動作は後述する。
【００６２】
（第１実施形態の動作）
次に、本実施形態に係る情報提示装置の動作を、図３に示すフローチャートを主に参照しながら説明する。また、使用者１０とスクリーン３と環境との配置関係の一例を、図４に概略的に示す。図４において符号９は、外部環境（正確にはその一部）を示す。さらに、使用者１０とスクリーン３との位置関係を、図５に概念的に示す。なお、処理部５と各カメラ及びプロジェクタとの間でデータ伝送を行うための通信路としては、無線あるいは有線を用いることができる。無線通信路を構成するためのプロトコルとしては、例えばBluetoothを用いることができるが、これには制約されない。
【００６３】
（ステップＳＡ−１及びＳＡ−２）
背景カメラ２により、背景画像を撮影する。撮影した画像の一例を図６（ａ）に示す。その後、取得した背景画像におけるレンズ歪みを補正する。その結果得られた背景画像を図６（ｂ）に示す。レンズ歪みを補正する技術については、既存技術を用いることができるので、詳細についての説明は省略する。
【００６４】
（ステップＳＡ−３及びＳＡ−４）
前記したステップと前後して、あるいはこれらのステップと並行して、視点カメラ１により、視点画像を撮影する。撮影した画像の一例を図６（ｃ）に示す。その後、前記したステップＳＡ−２の場合と同様に、取得した視点画像におけるレンズ歪みを補正する。その結果得られた視点画像を図６（ｄ）に示す。
【００６５】
（ステップＳＡ−５）
次に、補正後の背景画像と視点画像との間における対応点を探索する。対応点探索アルゴリズムの一例を、以下に詳しく説明する。
【００６６】
異なる位置にあるカメラによって撮影された画像間の対応を得るのは、一般に難しい問題である。本実施形態では、背景物体が平面であるか、あるいは各カメラから十分に離れていると仮定した。その上で、背景画像と視点画像の対応を求めるために、Scale-Invariant Feature Transform（SIFT）と呼ばれる手法を用いる。SIFTとは、特徴点の検出と特徴量の記述を行うアルゴリズムである。SIFTは画像の回転・スケール変化・照明変化等に頑健な特徴量を記述する。このため、SIFTは、異なる視点から得られた画像の間の対応を求めるのに適している。また、SIFTは、画像の線形変換が行われた場合でも、画像間の対応を検出できるため、背景物体が平面であるか、もしくはカメラから十分に離れているという条件を満たせば、非常に精度よく対応を得ることができる。また、仮に、背景物体が平面である等の条件を満たさない場合でも、画像間で特徴的な点を対応付けるため、人間が見た場合において最適に近い投影画像を生成しうる技術であると考えられる。
【００６７】
以下に、SIFTのアルゴリズムを概説する。SIFTの処理は、特徴点の検出と特徴量の記述の2段階から成る。
【００６８】
（特徴点の検出）
特徴点の検出では、まず、スケールの異なる平滑化画像の差分である、Difference-of-Gaussian（DOG）画像から極値を探索する。これにより、候補点の位置とスケールとを決定する。次に、検出された候補点に対して、主曲率とコントラストによる絞り込みを行う。さらに、サブピクセル推定により特徴点の位置とスケールを算出する。
【００６９】
（特徴量の記述）
次に、特徴量の記述を行う。まず、検出した特徴点近傍の輝度勾配から、オリエンテーションを求める。オリエンテーションの方向に回転して特徴量を記述することで、特徴量は、回転に不変となる。そして、特徴点を中心とした、その特徴点のスケールを半径とした円領域内の輝度勾配情報を、特徴ベクトルとして記述する。
【００７０】
SIFTのアルゴリズムとしては、文献（例えばD. G. Lowe. Object recognition from local scaleinvariant features. In Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150.1157, 1999.）に記載のものを用いることができるので、これ以上詳しい説明は省略する。
【００７１】
特徴点を検出した結果の例を図７に示す。この図において符号１１は視点画像、符号２１は背景画像を示す。また、両画像間を結ぶ多数の線は、特徴点の対応関係を表している。
【００７２】
（ステップＳＡ−６）
ついで、対応点の探索結果に基づいて、射影変換行列を算出する。この算出アルゴリズムを以下に詳しく説明する。
【００７３】
２台のカメラで１つの平面を撮影した場合、得られる２枚の画像間の対応は、平面射影変換によって関係づけられる。この対応関係を図８に概念的に示した。図８における符号Ｈが、射影変換行列である。
【００７４】
２次元平面上の点
x = [x, y]Ｔ
から同じく２次元平面上の点
x′= [x′, y′]Ｔ
への射影変換は、[x1, x2, x3]Ｔ 〜 [x, y, 1]Ｔなる同値関係が成り立つような斉次座標
xチルダ = [x1, x2, x3]Ｔ
を用いれば、
【数１】
と書ける。ここで、s は任意の実数であり、Hは次のような３×３行列である。
【数２】
【００７５】
Ｈを射影変換行列と呼ぶ。周期的に撮影した各画像（すなわち各フレーム）ごとに、行列Ｈを求める。背景カメラ２で撮影した画像を射影変換することによって、使用者１０の視点１０１から見たときの画像が得られる。上に例示した射影変換行列Ｈの要素数は９であるが、全ての要素を定数倍しても同じ変換を表すため、自由度は８である。よってh33 = 1 としてもよい。対応点を１組与えれば、式１から、
【数３】
【数４】
が得られる。整理すると、
【数５】
【数６】
の２つの式が得られる。この結果、４組以上の対応が判れば、最小二乗法により、射影変換行列Ｈを求めることができる。
【００７６】
しかし、SIFT特徴量を用いて検出した対応点には、誤対応が含まれている可能性がある。誤対応があると、外れ値の影響で射影変換後の画像が大きく歪んでしまう場合がある。そこで、RANSAC（RANdom SAmple Consensus）を用いて射影変換行列を求める。RANSACは、外れ値を含むデータの中から外れ値を排除してフィッティングを行う手法である。
【００７７】
RANSACのアルゴリズムを以下に示す。
1. 幾つかの対応点をランダムに選択する。
2. 最小二乗法によりパラメータを計算する。
3. 求めたパラメータを適用したとき、設定した誤差範囲にある点の個数を評価値とする。
4. 評価値が十分に大きければ求めたパラメータを採用し、終了する。
5. 1〜4 を有限回繰り返す。
6. 十分大きな評価値が得られなければ失敗とみなし、終了する。
【００７８】
こうして、正しいパラメータ（すなわち射影変換行列）を推定できる。RANSACのアルゴリズムについては、文献（例えばM. A. Fischler and R. C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. In Commun. ACM, Vol. 6, pp. 381.395, 1981.）に記載のものを用いることができるので、これ以上詳細についての説明は省略する。
【００７９】
本実施形態では、SIFT 特徴量に基づく対応点探索と、RANSAC による射影変換行列の算出を併用することによって、画像間の対応を非常に頑健とすることができる。
【００８０】
（ステップＳＡ−７）
ついで、算出された射影変換行列を用いて、背景画像に対して、射影変換を適用する。これにより、投影されるべき画像（投影画像）を生成することができる。変換の一例を図９に示す。図９（ａ）は背景画像の例を示す。図９（ｂ）における枠Ｌで示した部分が、射影変換により生成された投影画像を示している。
【００８１】
（ステップＳＡ−８）
ついで、生成された投影画像を、プロジェクタ４からスクリーン３の方向へ投影することができる。
【００８２】
スクリーン３に向けて投影された画像の例を図１０に示す。図１０（ａ）は、スクリーン（この例では円形の平面物体）に投影画像が照射され、それが、外部環境と共に視認される様子を示している。図１０（ｂ）は図１０（ａ）における要部の拡大図である。
【００８３】
図１０の例では、スクリーンの周囲の画像は、現実の環境についての画像であり、スクリーン上の画像が、投影された画像である。しかし、この図に示されるように、投影画像は、環境画像と整合しているので、スクリーンは、あたかも環境中に埋没しているかのように認識される。
【００８４】
視点を移動させ、それぞれの視点で得た投影画像を投影した例を図１１に示す。図１１（ａ）は、スクリーンから視点が離れた場合を示す。図１１（ｂ）は、視点がスクリーンに近付いた場合を示す。図１１（ｃ）は、斜め方向からスクリーンを見た場合を示す。図１１（ｄ）は、視点を回転させた場合を示す。
【００８５】
本実施形態の装置では、視点カメラ１を使用者１０の視点１０１と共役な位置に配置することにより、視点１０１から見た画像を視点カメラ１で取得することができる。
【００８６】
また、この実施形態では、プロジェクタ４を、使用者１０の視点１０１及び視点カメラ１と共役な位置に配置している。この場合、視点カメラ１で取得した視点画像と同じ画像をプロジェクタ４からスクリーンに投影すると、使用者１０は、その画像を違和感なく観察することが可能になる。
【００８７】
本実施形態では、視点カメラ１で取得した視点画像を基準として、背景画像を変換し、これによって、投影画像を生成して、スクリーン３に提示することができる。生成された投影画像は、視点画像を基準として変換されているので、視点画像に対して違和感が少ないものとすることができる。一方、使用者は、スクリーン３に提示された投影画像と、スクリーンの周囲の環境とを同時に観察することができる。このとき、使用者は、投影画像と周囲の環境との間における違和感をあまり感じないので、スクリーン３が周囲環境に埋没しているかのように感じることができる。つまり、この技術によれば、スクリーン３の透明化が可能になる。
【００８８】
しかも、本実施形態では、視点画像を基準として背景画像を変換しているので、使用者の眼球の位置や姿勢を測定する必要がない。このため、眼球の位置や姿勢を測定する装置の設置を省略することが可能になり、使用者の移動を容易にすることができる。さらには、眼球の位置や姿勢を測定する装置の設置を省略することにより、本実施形態では、情報提示装置の製造コストや設置コストを低減しうるという利点もある。
【００８９】
すなわち、本実施形態によれば、使用者の眼球の位置や向きを直接に測定することを不要としながら、外部環境に対して違和感の少ない画像をスクリーンに提示することが可能になる。
【００９０】
また、測定装置により測定される眼球の位置や姿勢の精度は、使用者がどこを注視しているかを正確に推定するためには十分ではなく、このため、投影画像の精度を向上させることが難しいという問題があった。これに対して、本実施形態では、視点画像を基準として背景画像を変換しているので、測定された眼球の位置や姿勢を基準にする場合に比較して、高精度で適切な投影画像を生成することが可能になる。このため、環境に対して違和感の少ない投影画像をスクリーンに投影できるという利点がある。
【００９１】
さらに、本実施形態では、スクリーン３の背面側に背景カメラ２を設置しているので、背景画像の取得が容易となるという利点もある。
【００９２】
さらに、本実施形態では、背景カメラ２を、視点カメラ１とほぼ同じ向きに配置することが好ましい。背景カメラ２と視点カメラ１の向きが大きく異なると、遮蔽関係（いわゆるオクルージョン）において、背景画像と視点画像との間の矛盾を生じる可能性が高まる。これに対して、両者の向きをほぼ一致させることにより、このような問題の回避を容易とすることができる。
【００９３】
また、スクリーン３を拡散反射スクリーンとした場合には、スクリーン３に投射された画像が、外乱光（例えば環境中に存在する光）の影響により、使用者１０からは見づらくなる可能性がある。これに対して、本実施形態では、再帰性反射スクリーンを用いることにより、スクリーン３に投射された画像の輝度は、外乱光に対して十分に強くなる。このため、スクリーンに提示される投射画像の視認性を向上させることができる。
【００９４】
スクリーン３を再帰性反射スクリーンとすることにより、さらに、以下の利点を発揮できる。
・視点位置から投影された光が視点に効率よく戻るので、投影光の光量を絞ることができる。したがって、プロジェクタを小型にし、さらに、その発熱量を低く抑えることができる。このため、プロジェクタを頭部に装着しやすくなる。
・投影光の光量を絞ることができるので、プロジェクタの焦点深度を深くすることができる。このため、プロジェクタの焦点位置の調整を厳密に行わなくとも、スクリーン上の画像を精度良く視認できる。
・スクリーンの形状がゆがんでいても、基本的に、投影された画像と同じ画像を使用者が視認できる。したがって、スクリーンの形状の自由度が高くなり、各種の形状を採用できる。
・別々の場所から投影された光は、それぞれ光源の方向に反射するため、１つのスクリーンでいくつもの映像を提示することができる。このため、同時に同じスクリーンを見ている複数の使用者に対して、それぞれの視点に対応した画像を提示できる。
【００９５】
さらに、本実施形態のスクリーン３は、外側に凸となる円弧面を備えている。スクリーン３における円弧面の部分に投影画像を提示することにより、使用者１０が移動しても、投影画像を観察することが可能になる。使用者１０が移動した場合でも、適宜な周期で投影画像を生成し続けることによって、違和感の少ない投影画像を使用者に提示することができる。
【００９６】
また、本実施形態では、投影画像を生成する処理を
（１）背景画像と、視点画像との間における、対応点を取得する処理；及び
（２）対応点の情報に基づいて、背景画像を射影変換する処理
により実施している。このように、対応点の情報に基づいて、背景画像を射影変換することにより、視点から見た環境画像に対して違和感の少ない投影画像を生成することができる。しかも、本実施形態では、立体構造モデルを生成しなくても、いわゆるイメージベースド・レンダリングの手法により、投影画像を生成することができる。したがって、処理部５への負担が軽くなり、背景画像を短い周期で生成することが可能になる。
【００９７】
また、本実施形態では、投影画像を、スクリーン３とそのスクリーンの周囲との両者にわたるように投影している。したがって、本実施形態では、スクリーン３を移動させたり、使用者１０が移動した場合であっても、スクリーン３がプロジェクタ４の投影範囲内にあれば、違和感の少ない投影画像をスクリーン上に提示することができる。
【００９８】
また、本実施形態の装置では、プロジェクタ４の投影角を広く設定することができる。スクリーン３の外側に存在する、再帰性反射材ではない物体に投影される画像については、ほとんどの光が視点の方向に反射しないため、実質的に使用者には視認されない。
【００９９】
また、プロジェクタ４の投影範囲をスクリーン上のみに制限しようとすると、そのための装置構成が必要になってしまう。これに対して、この実施形態では、そのような装置構成が不要になり、装置コストや設置コストの低減を図ることができる。また、この実施形態では、視点画像に対して矛盾のない投影画像を生成して投影するので、広範囲に投影された画像が当該使用者に視認されても、支障は少ないと考えられる。
【０１００】
さらに、本実施形態では、視点カメラ１及びプロジェクタ４を、使用者１０の頭部に装着している。これにより、使用者１０が移動しても、視点カメラ１びプロジェクタ４を使用者１０の視点と共役な位置に保つことが容易となる。また、視点カメラ１及びプロジェクタ４を、使用者１０の頭部に装着することにより、使用者１０の視点と、カメラ１及びプロジェクタ４における共役点とを物理的に（例えば固定具により）接続することができる。このため、この実施形態の装置では、視点画像を精度良く生成することができる。さらには、視点に共役となる位置にプロジェクタ４を精度良く取り付けることができるので、使用者１０にとっては、投影画像を正確に視認することが容易になる。
【０１０１】
本実施形態における各種の処理は、適宜のコンピュータプログラムにより、コンピュータ上で実行することができる。例えば、処理部５における処理は、コンピュータプログラムによる処理が適切である。
【０１０２】
（第２実施形態）
次に、本発明の第２実施形態に係る情報提示装置を、図１２に基づいて説明する。この第２実施形態の説明においては、前記した第１実施形態で説明した構成要素と基本的に共通する要素については、同一符号を付することにより、説明を簡略化する。
【０１０３】
第２実施形態においては、スクリーン３が、平板状に構成されている。そして、スクリーン３の前面（使用者側の面）が再帰性反射面とされている。また、背景カメラ２は、スクリーン３の背面側に取り付けられている。
【０１０４】
第２実施形態の装置では、スクリーン３を手で持ちながら、適宜の位置にスクリーン３を移動させることができる。その際、スクリーン３と使用者１０との位置関係に応じた適切な投影画像をスクリーン３に投影することができる。その投影画像を使用者１０が環境内で視認することにより、使用者１０は、スクリーン３があたかも環境に埋没しているかのような感覚を受けることができる。また、投影画像の縮尺を拡大または縮小することにより、スクリーン３を、あたかも凸または凹レンズのように認識させることも可能である。
【０１０５】
第２実施形態における他の構成及び利点は、第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。
【０１０６】
（第３実施形態）
次に、本発明の第３実施形態に係る情報提示装置を、図１３に基づいて説明する。この第３実施形態の説明においては、前記した第１実施形態で説明した構成要素と基本的に共通する要素については、同一符号を付することにより、説明を簡略化する。
【０１０７】
第３実施形態においては、スクリーン３が、球体状に構成されている。そして、スクリーン３の全面が再帰性反射面とされている。また、背景カメラ２は複数とされている。複数の背景カメラ２は、スクリーン３の周囲に、外側を向く状態で取り付けられている。
【０１０８】
第３実施形態の装置でも、スクリーン３を手で持ちながら、適宜の位置にスクリーン３を移動させることができる。その際、スクリーン３と使用者１０との位置関係に応じた適切な投影画像をスクリーン３に投影することができる。
【０１０９】
さらに、第３実施形態の装置では、複数の背景カメラ２によって、広い範囲における背景を取得しておくことができる。したがって、使用者１０がスクリーン３の側面や背面をのぞき込んだ場合でも、スクリーン３と使用者１０との位置関係に応じた適切な投影画像をスクリーン３に投影することができる。
【０１１０】
第３実施形態における他の構成及び利点は、第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。
【０１１１】
（第４実施形態）
次に、本発明の第４実施形態に係る情報提示装置を、図１４に基づいて説明する。この第４実施形態の説明においては、前記した第１実施形態で説明した構成要素と基本的に共通する要素については、同一符号を用いることにより、説明を簡略化する。
【０１１２】
第４実施形態においては、スクリーン３に投影された画像を再び取得することにより、投影画像に対してフィードバックをかける構成となっている。以下、図１４に従って、フィードバックをかける処理について説明する。
【０１１３】
（ステップＳＢ−１）
第１実施形態に従ってスクリーン３に投影された画像を、視点カメラ２によって再び取得する。
【０１１４】
（ステップＳＢ−２）
ついで、視点カメラ２で取得された画像（つまりスクリーン上で表示された画像）と、プロジェクタ４から投影された画像（投影画像）とを、処理部５において比較する。
【０１１５】
（ステップＳＢ−３）
表示された画像と投影された画像とが同じとなるように、投影画像を補正する。なお、このとき画像どうしを比較するための特徴量としては、色や輝度など、適宜のものを用いることができる。表示画像と投影画像とが十分に近い場合には、補正を省略することができる。
【０１１６】
（ステップＳＢ−４）
補正された投影画像をスクリーン３に投影する。その後、さらに、視点カメラ２により、スクリーン上の画像と初期の投影画像とを再び比較することにより、投影画像を再び補正することができる。
【０１１７】
第４実施形態における他の構成及び利点は、第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。
【０１１８】
なお、前記実施形態及び実施例の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
【０１１９】
例えば、前記した各機能要素（例えば処理部５）は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
【０１２０】
また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
【図面の簡単な説明】
【０１２１】
【図１】本発明の第１実施形態に係る情報提示装置の概略的な構成を説明するためのブロック図である。
【図２】図１の装置における要部の拡大図である。
【図３】図１に示される装置を用いた情報提示方法の一例を説明するためのフローチャートである。
【図４】使用者とスクリーンと外部環境との位置関係を説明するための説明図である。
【図５】使用者とスクリーンとの位置関係を説明するための説明図である。
【図６】カメラで取得したレンズの歪み補正の一例を説明するための図である。図（ａ）は、補正前の背景画像を示す。図（ｂ）は、補正後の背景画像を示す。図（ｃ）は、補正前の視点画像を示す。図（ｄ）は、補正後の視点画像を示す。
【図７】背景画像と視点画像との間における対応点を説明するための説明図である。
【図８】射影変換の原理を説明するための説明図である。
【図９】射影変換行列を用いた射影変換の一例を示す図である。図（ａ）は、変換前の背景画像を示す。図（ｂ）は、変換後の背景画像を示す。図（ｂ）では、参考のため、枠で囲まれた背景画像の周囲に、視点画像を表している。
【図１０】図（ａ）は、スクリーンに向けて投影画像を投影した状態を説明する図である。図（ｂ）は図（ａ）の一部拡大図である。
【図１１】視点を様々に変化させた状態で投影画像を生成し、投影した状態を説明する図である。図（ａ）は、スクリーンから視点が離れた場合を示す。図（ｂ）は、視点がスクリーンに近付いた場合を示す。図（ｃ）は、斜め方向からスクリーンを見た場合を示す。図（ｄ）は、視点を回転させた場合を示す。
【図１２】本発明の第２実施形態に係る情報提示装置を説明するための説明図である。
【図１３】本発明の第３実施形態に係る情報提示装置を説明するための説明図である。
【図１４】本発明の第４実施形態に係る情報提示装置を説明するためのフローチャートである。
【符号の説明】
【０１２２】
１ 視点カメラ
１１ 視点画像
２ 背景カメラ
２１ 背景画像
３ スクリーン
４ プロジェクタ
５ 処理部
６ 第１ハーフミラー
７ 第２ハーフミラー
８ ケーシング
９ 外部環境
１０ 使用者
１０１ 使用者の視点
【技術分野】
【０００１】
本発明は、情報提示装置に関するものである。より詳しくは、本発明は、スクリーンによって視野から隠蔽されている環境についての情報を、スクリーンに提示することができる装置に関するものである。
【背景技術】
【０００２】
比較的に小型のスクリーンに画像を投影することにより、オーグメンティド・リアリティ（Augmented Reality: AR）あるいは複合現実感（Mixed Reality: MR）を提供しようとする技術が、下記特許文献１や下記非特許文献１に記載されている。
【０００３】
これらの文献に記載の技術においては、小型のスクリーンに様々な画像を投射することにより、ＡＲやＭＲを提供できるようになっている。また、これらの技術では、スクリーンの後ろ側にあると想像される環境の画像をスクリーンに投影することにより、スクリーンの存在を、使用者から認識されにくくすることもできる。つまり、この技術においては、スクリーンを構成する物体を、スクリーンとしてではなく、あたかも環境の一部であるかのように認識させることができる。
【０００４】
具体的には、これらの技術では、スクリーンの周囲における環境（外部環境）の画像に対して違和感が少ない画像をスクリーンに提示する。これにより、あたかもスクリーンを外部環境に埋没させることができ、その結果、スクリーンの存在感を希薄とすることができる。なお、前記したようにスクリーンの存在感が希薄となることを、ＡＲやＭＲの分野では、「透明化」と称することがある。
【０００５】
ところで、従来の技術では、外部環境に対して違和感のない画像をスクリーンに投射するために、使用者における眼球の位置や視線の向きを常に測定している。そして、測定された位置や向きから見えるはずの画像と矛盾しない画像を生成して、スクリーンに投射する。これにより、スクリーンの透明化を適切に行うことができる。
【０００６】
ここで、使用者の視線の向きを常に測定するためには、例えば使用者の頭部に、眼球位置や視線検出のための計測装置を取り付ける必要がある。この計測装置は、三次元な位置や向き（姿勢）を計測できるようになっている。このような計測装置は、例えば変位センサや加速度センサを用いて構成できる。
【特許文献１】特開２０００−１２２１７６号公報
【非特許文献１】INAMI, M., KAWAKAMI, N., AND TACHI, S. 2003. Optical camouflage using retro-reflective projection technology. In Proc. of the 2nd ISMAR '03.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、使用者の頭部に計測装置を取り付けると、その使用者の動きが、計測装置自体やそのための配線によって制約されてしまう。また、従来の計測装置では、使用者の眼球の位置や向きを精度良く計測することが難しいという不都合もあった。眼球の位置や向きの測定精度が劣化すると、投射された画像と外部環境と間の違和感が大きくなり、その結果、スクリーンの透明化が妨げられるおそれがある。
【０００８】
この問題を避けるため、環境中（例えば室内の天井など）に測定装置を取り付け、使用者の動きを観察することによって眼球の位置や向きを計測することも考えられる。しかしながら、このような技術では、使用者の移動可能な範囲が、計測可能な範囲（例えば室内）のみに制限されてしまう。また、この技術でも、眼球の位置や向きを精度良く計測することは依然として難しいという問題がある。しかも、外部に測定装置を設置すると、装置全体が大型化ないし複雑化し、装置コストや設置コストが増大するという問題もある。
【０００９】
本発明は、このような状況に鑑みてなされたものである。本発明の主な目的は、使用者の眼球の位置や向きを直接に測定することを不要としながら、外部環境に対して違和感の少ない画像をスクリーンに提示することを可能にする技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明は、下記のいずれかの項目に記載の構成を備えている。
【００１１】
（項目１）
視点カメラと、背景カメラと、スクリーンと、プロジェクタと、処理部とを備えており、
前記視点カメラは、使用者の視点と共役となる位置に配置されており、
かつ、前記視点カメラは、前記視点から前記スクリーンの方向を見たときの、前記スクリーン及びその周囲についての画像を視点画像として取得する構成となっており、
前記背景カメラは、前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得する構成となっており、
前記スクリーンは、前記使用者の視野内において、背景と共に使用者に視認される程度に小さいサイズとされており、
かつ、前記スクリーンは、前記プロジェクタから投影された画像の少なくとも一部を、前記使用者の視点に向けて反射することができる構成となっており、
前記プロジェクタは、前記視点及び前記視点カメラと共役となる位置に配置されており、
かつ、前記プロジェクタは、前記処理部で生成された投影画像を前記スクリーンに投影する構成となっており、
前記処理部は、
前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成する処理を行う
構成となっており、
さらに、前記処理部は、生成された前記投影画像を前記プロジェクタに送る構成となっている
ことを特徴とする情報提示装置。
【００１２】
視点カメラを使用者の視点と共役な位置に配置することにより、視点から見た画像を視点カメラで取得することができる。なお、この明細書では、視点カメラで得られた画像（この画像は、視点から見たときの画像に相当している）を視点画像と称している。
【００１３】
また、この発明では、プロジェクタを、使用者の視点及び視点カメラと共役な位置に配置している。すると、視点カメラで取得した視点画像と同じ画像を仮にプロジェクタからスクリーンに投影すると、使用者は、その画像を違和感なく観察することが可能になる。
【００１４】
本発明では、視点カメラで取得した視点画像を基準として、背景画像を変換し、これによって、投影画像を生成して、スクリーン上に提示することができる。生成された投影画像は、視点画像を基準として変換されているので、視点画像に対して違和感が少ないものとすることができる。一方、使用者は、スクリーンに提示された投影画像と、スクリーンの周囲の環境とを同時に観察することができる。このとき、使用者は、投影画像と周囲の環境との間における違和感をあまり感じないので、スクリーンが周囲環境に埋没しているかのように感じることができる。
【００１５】
しかも、本発明では、視点画像を基準として背景画像を変換しているので、使用者の眼球の位置や姿勢を測定する必要がない。このため、眼球の位置や姿勢を測定する装置の設置を省略することが可能になり、使用者の移動を容易にすることができる。
【００１６】
また、本発明では、視点画像を基準として背景画像を変換しているので、測定された眼球の位置や姿勢を基準にする場合に比較して、一層適切な投影画像を生成することが可能になる。
【００１７】
（項目２）
前記背景カメラは、前記スクリーンの背面側の位置に配置されている、項目１に記載の情報提示装置。
【００１８】
スクリーンの背面側に背景カメラを設置することにより、背景画像の取得が容易となる。
【００１９】
（項目３）
前記背景カメラは、前記視点カメラとほぼ同じ向きに配置されている、項目２に記載の情報提示装置。
【００２０】
背景カメラと視点カメラの向きが大きく異なると、遮蔽関係（いわゆるオクルージョン）において、背景画像と視点画像との間の矛盾を生じる可能性が高まる。これに対して、この項目の発明では、両カメラがの向きをほぼ同じとすることにより、このような問題の回避を容易とすることができる。
【００２１】
（項目４）
前記スクリーンは、再帰性反射スクリーンとされている、項目１〜３のいずれか１項に記載の情報提示装置。
【００２２】
スクリーンを拡散反射スクリーンとした場合には、スクリーンに投射された画像が、外乱光（例えば環境中に存在する光）の影響により、使用者からは見づらくなる可能性がある。これに対して、この項目の発明では、再帰性反射スクリーンを用いることにより、スクリーンに投射された画像の輝度は、外乱光に対して十分に強くなる。このため、スクリーンに提示される投射画像の視認性を向上させることができる。
【００２３】
（項目５）
前記スクリーンは、外側に凸となる円弧面を備えている、項目１〜４のいずれか１項に記載の情報提示装置。
【００２４】
外側に凸となる円弧面を備えたスクリーンとは、例えば、球状スクリーン、円筒状スクリーンであるが、これらには制限されない。
【００２５】
円弧面上に投影画像を提示することにより、使用者が移動しても、投影画像を観察することが可能になる。使用者が移動することにより、視点画像や背景画像も変化する場合は、適宜な周期で投影画像を再生成することにより、違和感の少ない投影画像を使用者に提示することができる。
【００２６】
（項目６）
前記背景カメラは、複数とされており、
かつ、前記背景カメラは、前記円弧面の後ろ側に存在する環境の画像を取得するように配置されており、
さらに、前記複数の背景カメラの向きは、互いに異なっている
項目５に記載の情報提示装置。
【００２７】
互いに向きの異なる複数のカメラを用いることにより、使用者が移動しても、移動位置に応じた適切な背景画像を取得することが容易になる。例えば円筒状スクリーンを用いた場合は、スクリーンの外周面から、その外側の方向（半径の延長方向）に向けてカメラを設置することが好ましい。
【００２８】
（項目７）
前記処理部において、前記投影画像を生成する処理は、以下の処理により行われる、項目１〜６のいずれか１項に記載の情報提示装置：
（１）前記背景画像と、前記視点画像との間における、対応点を取得する処理；
（２）前記対応点の情報に基づいて、前記背景画像を射影変換する処理。
【００２９】
対応点の情報に基づいて、背景画像を射影変換することにより、視点から見た環境画像に対して違和感の少ない投影画像を生成することができる。しかも、この項目の発明では、立体構造モデルを生成しなくても、いわゆるイメージベースド・レンダリング（Image-Based Rendering: IBR）の手法により、投影画像を生成することができる。
【００３０】
（項目８）
前記プロジェクタから投影される前記投影画像は、前記スクリーンと、前記スクリーンの外側とにわたって投影される構成となっている
項目１〜７のいずれか１項に記載の情報提示装置。
【００３１】
投影画像を、スクリーンとそのスクリーンの周囲との両者にわたるように投影することができる。この場合には、スクリーンを移動させたり、使用者が移動した場合であっても、スクリーンがプロジェクタの投影範囲内にあれば、違和感の少ない投影画像をスクリーン上に提示することができる。
【００３２】
また、この項目の発明では、プロジェクタの投影範囲（投影角）を予め広く設定することができる。プロジェクタの投影範囲をスクリーン上のみに制限しようとすると、そのための装置構成が必要になってしまう。これに対して、この項目の発明では、そのような装置構成が不要になり、装置コストや設置コストの低減を図ることができる。また、この発明では、視点画像に対して矛盾のない投影画像を生成して投影するので、広範囲に投影された画像が当該使用者に視認されても、支障は少ないと考えられる。
【００３３】
（項目９）
前記視点カメラ及び／又は前記プロジェクタは、使用者の頭部に装着される構成となっている
項目１〜８のいずれか１項に記載の情報提示装置。
【００３４】
カメラ及び／又はプロジェクタを使用者の頭部に設置することにより、使用者が移動しても、カメラ及びプロジェクタを使用者の視点と共役な位置に保つことが容易となる。また、視点カメラ及び／又はプロジェクタを、使用者の頭部に装着することにより、使用者の視点と、カメラやプロジェクタにおける共役点とを物理的に（例えば固定具により）接続することができる。このため、この項目の発明では、視点画像を精度良く生成することができる。さらには、使用者にとって、投影画像を正確に視認することが容易になる。
【００３５】
（項目１０）
以下のステップを備えることを特徴とする情報提示方法：
（ａ）使用者の視点からスクリーンの方向を見たときの、スクリーン及びその周囲についての画像を視点画像として取得するステップ；
（ｂ）前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得するステップ；
（ｃ）前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成するステップ；
（ｄ）前記処理部で生成された投影画像を、前記視点の位置から、前記スクリーンに投影するステップ。
【００３６】
（項目１１）
項目１０に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【００３７】
このコンピュータプログラムは、各種の記録媒体、例えば、磁気的記録媒体（ハードディスクなど）、電気的記録媒体（フラッシュメモリやＤＲＡＭなど）、光学的記録媒体（ＣＤやＤＶＤなど）、光磁気的記録媒体（ＭＯなど）に記録することができる。記録媒体の種類はこれらに制約されない。また、このプログラムは、各種の媒体（光ファイバや銅線など）を介して、信号として伝達されることができる。
【００３８】
このプログラムは、各種の言語（例えばＣ言語やアセンブリ言語）により記述されることができる。また、このプログラムは、実行前にコンパイルを要する言語で記述されてもよい。この場合において、このプログラムは、コンパイル前のものであっても、コンパイル後のものであってもよい。
【発明の効果】
【００３９】
本発明によれば、使用者の眼球の位置や向きを直接に測定することを不要としながら、外部環境に対して違和感の少ない画像をスクリーンに提示することが可能になる。
【発明を実施するための最良の形態】
【００４０】
（第１実施形態）
以下、本発明の第１実施形態に係る情報提示装置の構成を、図１及び図２に基づいて説明する。
【００４１】
（第１実施形態の構成）
本実施形態に係る情報提示装置は、視点カメラ１と、背景カメラ２と、スクリーン３と、プロジェクタ４と、処理部５と、第１ハーフミラー６と、第２ハーフミラー７と、ケーシング８とを主要な構成として備えている（図１参照）。
【００４２】
視点カメラ１は、使用者１０の視点１０１と共役となる位置に配置されている。具体的には、視点カメラ１と視点１０１との間には、第１ハーフミラー６と第２ハーフミラー７とが配置されており、これによって、視点カメラ１と視点１０１とが共役となっている。
【００４３】
視点カメラ１は、視点１０１からスクリーン３の方向を見たときの、スクリーン３及びその周囲についての画像を取得する構成となっている。このように取得された画像を、この明細書では視点画像と称している。
【００４４】
視点カメラ１は、プロジェクタ４及び第１ハーフミラー６と共に、ケーシング８の内部に収納されている（ケーシング８については後述する）。
【００４５】
この実施形態では、視点カメラ１の画角は、スクリーン３だけでなく、スクリーン３の周囲（外側）にわたる画像を撮影できるように設定されている。つまり、本実施形態における視点カメラ１は、スクリーン３の周囲における環境の画像も撮影できる構成となっている。
【００４６】
視点カメラ１は、画像データを取得して処理部５に送ることができるように構成されている。視点カメラ１は、静止画に限らず、動画を取得するものであってもよい。動画は静止画の連続として把握できるので、本明細書の説明においては、静止画を前提として説明する。視点カメラ１は、既定の周期で、視点画像を取得するようになっている。既定の周期は、適宜に設定できる。例えば、１秒当たり１０〜６０枚程度の画像を取得することが好ましいが、処理部５の能力などの制約条件によって上限が決まる。
【００４７】
背景カメラ２は、視点１０１からスクリーン３を見たときにスクリーン３の後ろ側に存在する環境についての画像を取得する構成となっている。このように取得された画像を、この明細書では背景画像と称している。
【００４８】
背景カメラ２は、この実施形態では、円筒状に形成されたスクリーン３（後述）に取り付けられており、スクリーン３の外側方向に向けて設置されている。また、背景カメラ２は、使用者１０から離間した位置（背面側の位置）に設置されている。
【００４９】
背景カメラ２は、背景についての画像データを取得して処理部５に送ることができるように構成されている。背景カメラ２は、視点カメラ１と同様に、動画を取得するものであってもよいが、ここでは静止画を前提として説明する。また、背景カメラ２は、視点カメラ１と同期して、既定の周期で、背景画像を取得するようになっている。
【００５０】
スクリーン３は、使用者１０の視野内において、背景と共に使用者に視認される程度に小さいサイズとされている。すなわち、スクリーン３の大きさは、「スクリーン３を見たときに、スクリーン３の周囲に、スクリーン３の外部に存在する環境の画像を観察できる程度」とされている。視野の全体がスクリーンで覆われて、外部環境が観察できないような条件下では、本実施形態の技術を適用することは難しいと考えられる。
【００５１】
スクリーン３は、プロジェクタ４から投影された画像の少なくとも一部を、使用者の視点に向けて反射することができる構成となっている。
【００５２】
具体的には、この実施形態においては、スクリーン３は、再帰性反射スクリーンとされている。再帰性反射スクリーンとしては、再帰性反射機能を備えた各種の構成のものを利用することができる。例えば、基材（図示せず）の表面に再帰性反射材料（例えばガラスビーズ）を塗布した構成のものを利用できる。もちろん、この構成に制約される必要はない。再帰性反射スクリーンの基本的な構成としては、前記した特許文献１や非特許文献１に記載されたものと同様でよいので、これ以上詳しい説明は省略する。
【００５３】
また、本実施形態におけるスクリーン３は、外側に凸となる円弧面を備えたものとなっている。具体的には、本実施形態のスクリーン３は、円筒状に形成されている。そして、その外周面が、外側に凸となる円弧面を備えたスクリーンとなっている。ただし、スクリーン３の形状としては、円筒状に限らず、例えば球状のものを用いることができる。なお、スクリーン３の形状は、プロジェクタ４の投影範囲内の大きさであれば、特に制約されない。スクリーン３の形状としては、平面，球体，円筒形のような単純な形状だけでなく、人の立体形状など、複雑な形状であってもよい。このような場合でも、プロジェクタ４によって、視点１０１と共役な点から画像を投影すれば、歪みの無い投影が可能になる。
【００５４】
プロジェクタ４は、視点１０１及び視点カメラ１と共役となる位置に配置されている。具体的には、プロジェクタ４は、第１ハーフミラー６の作用により、視点１０１と共役となっている。さらに、プロジェクタ４は、第２ハーフミラー７の作用により、視点カメラ１と共役となっている。
【００５５】
プロジェクタ４は、処理部５で生成された投影画像（後述）を、第１及び第２ハーフミラー６及び７を介して、スクリーン３に投影する構成となっている。
【００５６】
この実施形態では、プロジェクタ４から投影される投影画像は、スクリーン３だけでなく、スクリーン３の周囲（外側）にわたって投影される構成となっている。つまり、本実施形態におけるプロジェクタ４の投影角は、スクリーン３の周囲にまで画像を投影できる大きさに設定されている。
【００５７】
プロジェクタ４及び視点カメラ１は、前記したように、ケーシング８の内部に収納されている（図２参照）。ケーシング８は、図示しない固定具により、使用者の頭部（例えば側頭部）に固定されるようになっている。もちろん、固定を解除すれば、ケーシング８を頭部から除去することもできるようになっている。
【００５８】
したがって、本実施形態においては、視点カメラ１とプロジェクタ４とが、ケーシング８を介して、使用者１０の頭部に装着される構成となっている。
【００５９】
処理部５は、まず、背景カメラ２で取得した背景画像と、視点カメラ１で取得した視点画像とを対応させる。これにより、背景画像を、視点１０１からスクリーン３の後ろ側を見た場合の画像に変換できる。処理部５では、この処理によって、投影画像を生成するようになっている。さらに、処理部５は、生成された投影画像をプロジェクタ４に送る構成となっている。
【００６０】
より具体的には、本実施形態の処理部５においては、投影画像を生成する処理を、以下の処理により行っている：
（１）背景画像と視点画像との間における、対応点を取得する処理；
（２）対応点の情報に基づいて、背景画像を射影変換する処理。
【００６１】
処理部５は、例えば、パーソナルコンピュータやワークステーションなどの適宜のハードウエアと、このハードウエアを動作させる適宜なプログラムによって構成することができる。処理部５における具体的な動作は後述する。
【００６２】
（第１実施形態の動作）
次に、本実施形態に係る情報提示装置の動作を、図３に示すフローチャートを主に参照しながら説明する。また、使用者１０とスクリーン３と環境との配置関係の一例を、図４に概略的に示す。図４において符号９は、外部環境（正確にはその一部）を示す。さらに、使用者１０とスクリーン３との位置関係を、図５に概念的に示す。なお、処理部５と各カメラ及びプロジェクタとの間でデータ伝送を行うための通信路としては、無線あるいは有線を用いることができる。無線通信路を構成するためのプロトコルとしては、例えばBluetoothを用いることができるが、これには制約されない。
【００６３】
（ステップＳＡ−１及びＳＡ−２）
背景カメラ２により、背景画像を撮影する。撮影した画像の一例を図６（ａ）に示す。その後、取得した背景画像におけるレンズ歪みを補正する。その結果得られた背景画像を図６（ｂ）に示す。レンズ歪みを補正する技術については、既存技術を用いることができるので、詳細についての説明は省略する。
【００６４】
（ステップＳＡ−３及びＳＡ−４）
前記したステップと前後して、あるいはこれらのステップと並行して、視点カメラ１により、視点画像を撮影する。撮影した画像の一例を図６（ｃ）に示す。その後、前記したステップＳＡ−２の場合と同様に、取得した視点画像におけるレンズ歪みを補正する。その結果得られた視点画像を図６（ｄ）に示す。
【００６５】
（ステップＳＡ−５）
次に、補正後の背景画像と視点画像との間における対応点を探索する。対応点探索アルゴリズムの一例を、以下に詳しく説明する。
【００６６】
異なる位置にあるカメラによって撮影された画像間の対応を得るのは、一般に難しい問題である。本実施形態では、背景物体が平面であるか、あるいは各カメラから十分に離れていると仮定した。その上で、背景画像と視点画像の対応を求めるために、Scale-Invariant Feature Transform（SIFT）と呼ばれる手法を用いる。SIFTとは、特徴点の検出と特徴量の記述を行うアルゴリズムである。SIFTは画像の回転・スケール変化・照明変化等に頑健な特徴量を記述する。このため、SIFTは、異なる視点から得られた画像の間の対応を求めるのに適している。また、SIFTは、画像の線形変換が行われた場合でも、画像間の対応を検出できるため、背景物体が平面であるか、もしくはカメラから十分に離れているという条件を満たせば、非常に精度よく対応を得ることができる。また、仮に、背景物体が平面である等の条件を満たさない場合でも、画像間で特徴的な点を対応付けるため、人間が見た場合において最適に近い投影画像を生成しうる技術であると考えられる。
【００６７】
以下に、SIFTのアルゴリズムを概説する。SIFTの処理は、特徴点の検出と特徴量の記述の2段階から成る。
【００６８】
（特徴点の検出）
特徴点の検出では、まず、スケールの異なる平滑化画像の差分である、Difference-of-Gaussian（DOG）画像から極値を探索する。これにより、候補点の位置とスケールとを決定する。次に、検出された候補点に対して、主曲率とコントラストによる絞り込みを行う。さらに、サブピクセル推定により特徴点の位置とスケールを算出する。
【００６９】
（特徴量の記述）
次に、特徴量の記述を行う。まず、検出した特徴点近傍の輝度勾配から、オリエンテーションを求める。オリエンテーションの方向に回転して特徴量を記述することで、特徴量は、回転に不変となる。そして、特徴点を中心とした、その特徴点のスケールを半径とした円領域内の輝度勾配情報を、特徴ベクトルとして記述する。
【００７０】
SIFTのアルゴリズムとしては、文献（例えばD. G. Lowe. Object recognition from local scaleinvariant features. In Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150.1157, 1999.）に記載のものを用いることができるので、これ以上詳しい説明は省略する。
【００７１】
特徴点を検出した結果の例を図７に示す。この図において符号１１は視点画像、符号２１は背景画像を示す。また、両画像間を結ぶ多数の線は、特徴点の対応関係を表している。
【００７２】
（ステップＳＡ−６）
ついで、対応点の探索結果に基づいて、射影変換行列を算出する。この算出アルゴリズムを以下に詳しく説明する。
【００７３】
２台のカメラで１つの平面を撮影した場合、得られる２枚の画像間の対応は、平面射影変換によって関係づけられる。この対応関係を図８に概念的に示した。図８における符号Ｈが、射影変換行列である。
【００７４】
２次元平面上の点
x = [x, y]Ｔ
から同じく２次元平面上の点
x′= [x′, y′]Ｔ
への射影変換は、[x1, x2, x3]Ｔ 〜 [x, y, 1]Ｔなる同値関係が成り立つような斉次座標
xチルダ = [x1, x2, x3]Ｔ
を用いれば、
【数１】
と書ける。ここで、s は任意の実数であり、Hは次のような３×３行列である。
【数２】
【００７５】
Ｈを射影変換行列と呼ぶ。周期的に撮影した各画像（すなわち各フレーム）ごとに、行列Ｈを求める。背景カメラ２で撮影した画像を射影変換することによって、使用者１０の視点１０１から見たときの画像が得られる。上に例示した射影変換行列Ｈの要素数は９であるが、全ての要素を定数倍しても同じ変換を表すため、自由度は８である。よってh33 = 1 としてもよい。対応点を１組与えれば、式１から、
【数３】
【数４】
が得られる。整理すると、
【数５】
【数６】
の２つの式が得られる。この結果、４組以上の対応が判れば、最小二乗法により、射影変換行列Ｈを求めることができる。
【００７６】
しかし、SIFT特徴量を用いて検出した対応点には、誤対応が含まれている可能性がある。誤対応があると、外れ値の影響で射影変換後の画像が大きく歪んでしまう場合がある。そこで、RANSAC（RANdom SAmple Consensus）を用いて射影変換行列を求める。RANSACは、外れ値を含むデータの中から外れ値を排除してフィッティングを行う手法である。
【００７７】
RANSACのアルゴリズムを以下に示す。
1. 幾つかの対応点をランダムに選択する。
2. 最小二乗法によりパラメータを計算する。
3. 求めたパラメータを適用したとき、設定した誤差範囲にある点の個数を評価値とする。
4. 評価値が十分に大きければ求めたパラメータを採用し、終了する。
5. 1〜4 を有限回繰り返す。
6. 十分大きな評価値が得られなければ失敗とみなし、終了する。
【００７８】
こうして、正しいパラメータ（すなわち射影変換行列）を推定できる。RANSACのアルゴリズムについては、文献（例えばM. A. Fischler and R. C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. In Commun. ACM, Vol. 6, pp. 381.395, 1981.）に記載のものを用いることができるので、これ以上詳細についての説明は省略する。
【００７９】
本実施形態では、SIFT 特徴量に基づく対応点探索と、RANSAC による射影変換行列の算出を併用することによって、画像間の対応を非常に頑健とすることができる。
【００８０】
（ステップＳＡ−７）
ついで、算出された射影変換行列を用いて、背景画像に対して、射影変換を適用する。これにより、投影されるべき画像（投影画像）を生成することができる。変換の一例を図９に示す。図９（ａ）は背景画像の例を示す。図９（ｂ）における枠Ｌで示した部分が、射影変換により生成された投影画像を示している。
【００８１】
（ステップＳＡ−８）
ついで、生成された投影画像を、プロジェクタ４からスクリーン３の方向へ投影することができる。
【００８２】
スクリーン３に向けて投影された画像の例を図１０に示す。図１０（ａ）は、スクリーン（この例では円形の平面物体）に投影画像が照射され、それが、外部環境と共に視認される様子を示している。図１０（ｂ）は図１０（ａ）における要部の拡大図である。
【００８３】
図１０の例では、スクリーンの周囲の画像は、現実の環境についての画像であり、スクリーン上の画像が、投影された画像である。しかし、この図に示されるように、投影画像は、環境画像と整合しているので、スクリーンは、あたかも環境中に埋没しているかのように認識される。
【００８４】
視点を移動させ、それぞれの視点で得た投影画像を投影した例を図１１に示す。図１１（ａ）は、スクリーンから視点が離れた場合を示す。図１１（ｂ）は、視点がスクリーンに近付いた場合を示す。図１１（ｃ）は、斜め方向からスクリーンを見た場合を示す。図１１（ｄ）は、視点を回転させた場合を示す。
【００８５】
本実施形態の装置では、視点カメラ１を使用者１０の視点１０１と共役な位置に配置することにより、視点１０１から見た画像を視点カメラ１で取得することができる。
【００８６】
また、この実施形態では、プロジェクタ４を、使用者１０の視点１０１及び視点カメラ１と共役な位置に配置している。この場合、視点カメラ１で取得した視点画像と同じ画像をプロジェクタ４からスクリーンに投影すると、使用者１０は、その画像を違和感なく観察することが可能になる。
【００８７】
本実施形態では、視点カメラ１で取得した視点画像を基準として、背景画像を変換し、これによって、投影画像を生成して、スクリーン３に提示することができる。生成された投影画像は、視点画像を基準として変換されているので、視点画像に対して違和感が少ないものとすることができる。一方、使用者は、スクリーン３に提示された投影画像と、スクリーンの周囲の環境とを同時に観察することができる。このとき、使用者は、投影画像と周囲の環境との間における違和感をあまり感じないので、スクリーン３が周囲環境に埋没しているかのように感じることができる。つまり、この技術によれば、スクリーン３の透明化が可能になる。
【００８８】
しかも、本実施形態では、視点画像を基準として背景画像を変換しているので、使用者の眼球の位置や姿勢を測定する必要がない。このため、眼球の位置や姿勢を測定する装置の設置を省略することが可能になり、使用者の移動を容易にすることができる。さらには、眼球の位置や姿勢を測定する装置の設置を省略することにより、本実施形態では、情報提示装置の製造コストや設置コストを低減しうるという利点もある。
【００８９】
すなわち、本実施形態によれば、使用者の眼球の位置や向きを直接に測定することを不要としながら、外部環境に対して違和感の少ない画像をスクリーンに提示することが可能になる。
【００９０】
また、測定装置により測定される眼球の位置や姿勢の精度は、使用者がどこを注視しているかを正確に推定するためには十分ではなく、このため、投影画像の精度を向上させることが難しいという問題があった。これに対して、本実施形態では、視点画像を基準として背景画像を変換しているので、測定された眼球の位置や姿勢を基準にする場合に比較して、高精度で適切な投影画像を生成することが可能になる。このため、環境に対して違和感の少ない投影画像をスクリーンに投影できるという利点がある。
【００９１】
さらに、本実施形態では、スクリーン３の背面側に背景カメラ２を設置しているので、背景画像の取得が容易となるという利点もある。
【００９２】
さらに、本実施形態では、背景カメラ２を、視点カメラ１とほぼ同じ向きに配置することが好ましい。背景カメラ２と視点カメラ１の向きが大きく異なると、遮蔽関係（いわゆるオクルージョン）において、背景画像と視点画像との間の矛盾を生じる可能性が高まる。これに対して、両者の向きをほぼ一致させることにより、このような問題の回避を容易とすることができる。
【００９３】
また、スクリーン３を拡散反射スクリーンとした場合には、スクリーン３に投射された画像が、外乱光（例えば環境中に存在する光）の影響により、使用者１０からは見づらくなる可能性がある。これに対して、本実施形態では、再帰性反射スクリーンを用いることにより、スクリーン３に投射された画像の輝度は、外乱光に対して十分に強くなる。このため、スクリーンに提示される投射画像の視認性を向上させることができる。
【００９４】
スクリーン３を再帰性反射スクリーンとすることにより、さらに、以下の利点を発揮できる。
・視点位置から投影された光が視点に効率よく戻るので、投影光の光量を絞ることができる。したがって、プロジェクタを小型にし、さらに、その発熱量を低く抑えることができる。このため、プロジェクタを頭部に装着しやすくなる。
・投影光の光量を絞ることができるので、プロジェクタの焦点深度を深くすることができる。このため、プロジェクタの焦点位置の調整を厳密に行わなくとも、スクリーン上の画像を精度良く視認できる。
・スクリーンの形状がゆがんでいても、基本的に、投影された画像と同じ画像を使用者が視認できる。したがって、スクリーンの形状の自由度が高くなり、各種の形状を採用できる。
・別々の場所から投影された光は、それぞれ光源の方向に反射するため、１つのスクリーンでいくつもの映像を提示することができる。このため、同時に同じスクリーンを見ている複数の使用者に対して、それぞれの視点に対応した画像を提示できる。
【００９５】
さらに、本実施形態のスクリーン３は、外側に凸となる円弧面を備えている。スクリーン３における円弧面の部分に投影画像を提示することにより、使用者１０が移動しても、投影画像を観察することが可能になる。使用者１０が移動した場合でも、適宜な周期で投影画像を生成し続けることによって、違和感の少ない投影画像を使用者に提示することができる。
【００９６】
また、本実施形態では、投影画像を生成する処理を
（１）背景画像と、視点画像との間における、対応点を取得する処理；及び
（２）対応点の情報に基づいて、背景画像を射影変換する処理
により実施している。このように、対応点の情報に基づいて、背景画像を射影変換することにより、視点から見た環境画像に対して違和感の少ない投影画像を生成することができる。しかも、本実施形態では、立体構造モデルを生成しなくても、いわゆるイメージベースド・レンダリングの手法により、投影画像を生成することができる。したがって、処理部５への負担が軽くなり、背景画像を短い周期で生成することが可能になる。
【００９７】
また、本実施形態では、投影画像を、スクリーン３とそのスクリーンの周囲との両者にわたるように投影している。したがって、本実施形態では、スクリーン３を移動させたり、使用者１０が移動した場合であっても、スクリーン３がプロジェクタ４の投影範囲内にあれば、違和感の少ない投影画像をスクリーン上に提示することができる。
【００９８】
また、本実施形態の装置では、プロジェクタ４の投影角を広く設定することができる。スクリーン３の外側に存在する、再帰性反射材ではない物体に投影される画像については、ほとんどの光が視点の方向に反射しないため、実質的に使用者には視認されない。
【００９９】
また、プロジェクタ４の投影範囲をスクリーン上のみに制限しようとすると、そのための装置構成が必要になってしまう。これに対して、この実施形態では、そのような装置構成が不要になり、装置コストや設置コストの低減を図ることができる。また、この実施形態では、視点画像に対して矛盾のない投影画像を生成して投影するので、広範囲に投影された画像が当該使用者に視認されても、支障は少ないと考えられる。
【０１００】
さらに、本実施形態では、視点カメラ１及びプロジェクタ４を、使用者１０の頭部に装着している。これにより、使用者１０が移動しても、視点カメラ１びプロジェクタ４を使用者１０の視点と共役な位置に保つことが容易となる。また、視点カメラ１及びプロジェクタ４を、使用者１０の頭部に装着することにより、使用者１０の視点と、カメラ１及びプロジェクタ４における共役点とを物理的に（例えば固定具により）接続することができる。このため、この実施形態の装置では、視点画像を精度良く生成することができる。さらには、視点に共役となる位置にプロジェクタ４を精度良く取り付けることができるので、使用者１０にとっては、投影画像を正確に視認することが容易になる。
【０１０１】
本実施形態における各種の処理は、適宜のコンピュータプログラムにより、コンピュータ上で実行することができる。例えば、処理部５における処理は、コンピュータプログラムによる処理が適切である。
【０１０２】
（第２実施形態）
次に、本発明の第２実施形態に係る情報提示装置を、図１２に基づいて説明する。この第２実施形態の説明においては、前記した第１実施形態で説明した構成要素と基本的に共通する要素については、同一符号を付することにより、説明を簡略化する。
【０１０３】
第２実施形態においては、スクリーン３が、平板状に構成されている。そして、スクリーン３の前面（使用者側の面）が再帰性反射面とされている。また、背景カメラ２は、スクリーン３の背面側に取り付けられている。
【０１０４】
第２実施形態の装置では、スクリーン３を手で持ちながら、適宜の位置にスクリーン３を移動させることができる。その際、スクリーン３と使用者１０との位置関係に応じた適切な投影画像をスクリーン３に投影することができる。その投影画像を使用者１０が環境内で視認することにより、使用者１０は、スクリーン３があたかも環境に埋没しているかのような感覚を受けることができる。また、投影画像の縮尺を拡大または縮小することにより、スクリーン３を、あたかも凸または凹レンズのように認識させることも可能である。
【０１０５】
第２実施形態における他の構成及び利点は、第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。
【０１０６】
（第３実施形態）
次に、本発明の第３実施形態に係る情報提示装置を、図１３に基づいて説明する。この第３実施形態の説明においては、前記した第１実施形態で説明した構成要素と基本的に共通する要素については、同一符号を付することにより、説明を簡略化する。
【０１０７】
第３実施形態においては、スクリーン３が、球体状に構成されている。そして、スクリーン３の全面が再帰性反射面とされている。また、背景カメラ２は複数とされている。複数の背景カメラ２は、スクリーン３の周囲に、外側を向く状態で取り付けられている。
【０１０８】
第３実施形態の装置でも、スクリーン３を手で持ちながら、適宜の位置にスクリーン３を移動させることができる。その際、スクリーン３と使用者１０との位置関係に応じた適切な投影画像をスクリーン３に投影することができる。
【０１０９】
さらに、第３実施形態の装置では、複数の背景カメラ２によって、広い範囲における背景を取得しておくことができる。したがって、使用者１０がスクリーン３の側面や背面をのぞき込んだ場合でも、スクリーン３と使用者１０との位置関係に応じた適切な投影画像をスクリーン３に投影することができる。
【０１１０】
第３実施形態における他の構成及び利点は、第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。
【０１１１】
（第４実施形態）
次に、本発明の第４実施形態に係る情報提示装置を、図１４に基づいて説明する。この第４実施形態の説明においては、前記した第１実施形態で説明した構成要素と基本的に共通する要素については、同一符号を用いることにより、説明を簡略化する。
【０１１２】
第４実施形態においては、スクリーン３に投影された画像を再び取得することにより、投影画像に対してフィードバックをかける構成となっている。以下、図１４に従って、フィードバックをかける処理について説明する。
【０１１３】
（ステップＳＢ−１）
第１実施形態に従ってスクリーン３に投影された画像を、視点カメラ２によって再び取得する。
【０１１４】
（ステップＳＢ−２）
ついで、視点カメラ２で取得された画像（つまりスクリーン上で表示された画像）と、プロジェクタ４から投影された画像（投影画像）とを、処理部５において比較する。
【０１１５】
（ステップＳＢ−３）
表示された画像と投影された画像とが同じとなるように、投影画像を補正する。なお、このとき画像どうしを比較するための特徴量としては、色や輝度など、適宜のものを用いることができる。表示画像と投影画像とが十分に近い場合には、補正を省略することができる。
【０１１６】
（ステップＳＢ−４）
補正された投影画像をスクリーン３に投影する。その後、さらに、視点カメラ２により、スクリーン上の画像と初期の投影画像とを再び比較することにより、投影画像を再び補正することができる。
【０１１７】
第４実施形態における他の構成及び利点は、第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。
【０１１８】
なお、前記実施形態及び実施例の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
【０１１９】
例えば、前記した各機能要素（例えば処理部５）は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
【０１２０】
また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
【図面の簡単な説明】
【０１２１】
【図１】本発明の第１実施形態に係る情報提示装置の概略的な構成を説明するためのブロック図である。
【図２】図１の装置における要部の拡大図である。
【図３】図１に示される装置を用いた情報提示方法の一例を説明するためのフローチャートである。
【図４】使用者とスクリーンと外部環境との位置関係を説明するための説明図である。
【図５】使用者とスクリーンとの位置関係を説明するための説明図である。
【図６】カメラで取得したレンズの歪み補正の一例を説明するための図である。図（ａ）は、補正前の背景画像を示す。図（ｂ）は、補正後の背景画像を示す。図（ｃ）は、補正前の視点画像を示す。図（ｄ）は、補正後の視点画像を示す。
【図７】背景画像と視点画像との間における対応点を説明するための説明図である。
【図８】射影変換の原理を説明するための説明図である。
【図９】射影変換行列を用いた射影変換の一例を示す図である。図（ａ）は、変換前の背景画像を示す。図（ｂ）は、変換後の背景画像を示す。図（ｂ）では、参考のため、枠で囲まれた背景画像の周囲に、視点画像を表している。
【図１０】図（ａ）は、スクリーンに向けて投影画像を投影した状態を説明する図である。図（ｂ）は図（ａ）の一部拡大図である。
【図１１】視点を様々に変化させた状態で投影画像を生成し、投影した状態を説明する図である。図（ａ）は、スクリーンから視点が離れた場合を示す。図（ｂ）は、視点がスクリーンに近付いた場合を示す。図（ｃ）は、斜め方向からスクリーンを見た場合を示す。図（ｄ）は、視点を回転させた場合を示す。
【図１２】本発明の第２実施形態に係る情報提示装置を説明するための説明図である。
【図１３】本発明の第３実施形態に係る情報提示装置を説明するための説明図である。
【図１４】本発明の第４実施形態に係る情報提示装置を説明するためのフローチャートである。
【符号の説明】
【０１２２】
１ 視点カメラ
１１ 視点画像
２ 背景カメラ
２１ 背景画像
３ スクリーン
４ プロジェクタ
５ 処理部
６ 第１ハーフミラー
７ 第２ハーフミラー
８ ケーシング
９ 外部環境
１０ 使用者
１０１ 使用者の視点
【特許請求の範囲】
【請求項１】
視点カメラと、背景カメラと、スクリーンと、プロジェクタと、処理部とを備えており、
前記視点カメラは、使用者の視点と共役となる位置に配置されており、
かつ、前記視点カメラは、前記視点から前記スクリーンの方向を見たときの、前記スクリーン及びその周囲についての画像を視点画像として取得する構成となっており、
前記背景カメラは、前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得する構成となっており、
前記スクリーンは、前記使用者の視野内において、背景と共に使用者に視認される程度に小さいサイズとされており、
かつ、前記スクリーンは、前記プロジェクタから投影された画像の少なくとも一部を、前記使用者の視点に向けて反射することができる構成となっており、
前記プロジェクタは、前記視点及び前記視点カメラと共役となる位置に配置されており、
かつ、前記プロジェクタは、前記処理部で生成された投影画像を前記スクリーンに投影する構成となっており、
前記処理部は、
前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像をとを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成する処理を行う
構成となっており、
さらに、前記処理部は、生成された前記投影画像を前記プロジェクタに送る構成となっている
ことを特徴とする情報提示装置。
【請求項２】
前記背景カメラは、前記スクリーンの背面側の位置に配置されている、請求項１に記載の情報提示装置。
【請求項３】
前記背景カメラは、前記視点カメラとほぼ同じ向きに配置されている、請求項２に記載の情報提示装置。
【請求項４】
前記スクリーンは、再帰性反射スクリーンとされている、請求項１〜３のいずれか１項に記載の情報提示装置。
【請求項５】
前記スクリーンは、外側に凸となる円弧面を備えている、請求項１〜４のいずれか１項に記載の情報提示装置。
【請求項６】
前記背景カメラは、複数とされており、
かつ、前記背景カメラは、前記円弧面の後ろ側に存在する環境の画像を取得するように配置されており、
さらに、前記複数の背景カメラの向きは、互いに異なっている
請求項５に記載の情報提示装置。
【請求項７】
前記処理部において、前記投影画像を生成する処理は、以下の処理により行われる、請求項１〜６のいずれか１項に記載の情報提示装置：
（１）前記背景画像と、前記視点画像との間における、対応点を取得する処理；
（２）前記対応点の情報に基づいて、前記背景画像を射影変換する処理。
【請求項８】
前記プロジェクタから投影される前記投影画像は、前記スクリーンと、前記スクリーンの外側とにわたって投影される構成となっている
請求項１〜７のいずれか１項に記載の情報提示装置。
【請求項９】
前記視点カメラ及び／又は前記プロジェクタは、前記使用者の頭部に装着される構成となっている
請求項１〜８のいずれか１項に記載の情報提示装置。
【請求項１０】
以下のステップを備えることを特徴とする情報提示方法：
（ａ）使用者の視点からスクリーンの方向を見たときの、スクリーン及びその周囲についての画像を視点画像として取得するステップ；
（ｂ）前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得するステップ；
（ｃ）前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成するステップ；
（ｄ）前記処理部で生成された投影画像を、前記視点の位置から、前記スクリーンに投影するステップ。
【請求項１１】
請求項１０に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【請求項１】
視点カメラと、背景カメラと、スクリーンと、プロジェクタと、処理部とを備えており、
前記視点カメラは、使用者の視点と共役となる位置に配置されており、
かつ、前記視点カメラは、前記視点から前記スクリーンの方向を見たときの、前記スクリーン及びその周囲についての画像を視点画像として取得する構成となっており、
前記背景カメラは、前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得する構成となっており、
前記スクリーンは、前記使用者の視野内において、背景と共に使用者に視認される程度に小さいサイズとされており、
かつ、前記スクリーンは、前記プロジェクタから投影された画像の少なくとも一部を、前記使用者の視点に向けて反射することができる構成となっており、
前記プロジェクタは、前記視点及び前記視点カメラと共役となる位置に配置されており、
かつ、前記プロジェクタは、前記処理部で生成された投影画像を前記スクリーンに投影する構成となっており、
前記処理部は、
前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像をとを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成する処理を行う
構成となっており、
さらに、前記処理部は、生成された前記投影画像を前記プロジェクタに送る構成となっている
ことを特徴とする情報提示装置。
【請求項２】
前記背景カメラは、前記スクリーンの背面側の位置に配置されている、請求項１に記載の情報提示装置。
【請求項３】
前記背景カメラは、前記視点カメラとほぼ同じ向きに配置されている、請求項２に記載の情報提示装置。
【請求項４】
前記スクリーンは、再帰性反射スクリーンとされている、請求項１〜３のいずれか１項に記載の情報提示装置。
【請求項５】
前記スクリーンは、外側に凸となる円弧面を備えている、請求項１〜４のいずれか１項に記載の情報提示装置。
【請求項６】
前記背景カメラは、複数とされており、
かつ、前記背景カメラは、前記円弧面の後ろ側に存在する環境の画像を取得するように配置されており、
さらに、前記複数の背景カメラの向きは、互いに異なっている
請求項５に記載の情報提示装置。
【請求項７】
前記処理部において、前記投影画像を生成する処理は、以下の処理により行われる、請求項１〜６のいずれか１項に記載の情報提示装置：
（１）前記背景画像と、前記視点画像との間における、対応点を取得する処理；
（２）前記対応点の情報に基づいて、前記背景画像を射影変換する処理。
【請求項８】
前記プロジェクタから投影される前記投影画像は、前記スクリーンと、前記スクリーンの外側とにわたって投影される構成となっている
請求項１〜７のいずれか１項に記載の情報提示装置。
【請求項９】
前記視点カメラ及び／又は前記プロジェクタは、前記使用者の頭部に装着される構成となっている
請求項１〜８のいずれか１項に記載の情報提示装置。
【請求項１０】
以下のステップを備えることを特徴とする情報提示方法：
（ａ）使用者の視点からスクリーンの方向を見たときの、スクリーン及びその周囲についての画像を視点画像として取得するステップ；
（ｂ）前記視点から前記スクリーンを見たときに前記スクリーンの後ろ側に存在する環境についての画像を背景画像として取得するステップ；
（ｃ）前記背景カメラで取得した前記背景画像と、前記視点カメラで取得した前記視点画像とを対応させることにより、前記背景画像を、前記視点から前記スクリーンの後ろ側を見た場合の画像に変換し、これによって、投影画像を生成するステップ；
（ｄ）前記処理部で生成された投影画像を、前記視点の位置から、前記スクリーンに投影するステップ。
【請求項１１】
請求項１０に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図５】
【図８】
【図１２】
【図１３】
【図１４】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図５】
【図８】
【図１２】
【図１３】
【図１４】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−２８８６１３（Ｐ２００９−２８８６１３Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１４２２９９（Ｐ２００８−１４２２９９）
【出願日】平成２０年５月３０日（２００８．５．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１９年度、科学技術振興機構戦略的創造推進事業「デジタルパブリックアートを創出する技術」、産業技術力強化法第１９条の適用を受けるもの）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１９年度、科学技術振興機構戦略的創造推進事業「デジタルパブリックアートを創出する技術」、産業技術力強化法第１９条の適用を受けるもの）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]