情報表示装置及びプログラム
【課題】利用者の視線方向を考慮した情報表示装置及びプログラムを提供する。
【解決手段】利用者の視線ベクトルＶを検出し、当該視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する。当該規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求め、外界座標系Ｗｐ内の対象物の位置を表す座標を、当該変換行列によって視野座標系Ｅｐ内の位置を表す座標に変換し、さらに視野座標系Ｅｐの座標を、透過型ディスプレイ１５に投影して、対象物に対する情報の表示位置を求める。
【解決手段】利用者の視線ベクトルＶを検出し、当該視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する。当該規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求め、外界座標系Ｗｐ内の対象物の位置を表す座標を、当該変換行列によって視野座標系Ｅｐ内の位置を表す座標に変換し、さらに視野座標系Ｅｐの座標を、透過型ディスプレイ１５に投影して、対象物に対する情報の表示位置を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透過型ディスプレイ上に情報を表示する情報表示装置及びプログラムに関する。
【背景技術】
【０００２】
近年、拡張現実（AR；Augmented Reality）技術が広く利用されるようになってきている。拡張現実の分野では、利用者はＨＭＤ（ヘッド・マウント・ディスプレイ）等、透過型のディスプレイを通して現実の空間を見る。現実空間内の物体等にコメントテキスト等を付加して表示する場合は、この透過型ディスプレイ内で、利用者が物体を見ているその位置に、コメントテキストを表示することになる。
【０００３】
この場合、少なくとも現実の空間の座標系と、透過型ディスプレイ内の仮想的空間の座標系とを一致させる必要がある。特許文献１には、ＨＭＤにおいて、現実空間と仮想空間との位置合わせを行う方法が多数列挙されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０４６７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上記従来のＨＭＤ等では、仮想空間の座標系は現実の空間を認識するカメラ等のセンサの座標系を基準に設定され、利用者の視線の方向が考慮されていない。このため、仮想空間と現実空間とが位置合わせされても、利用者にとっては、仮想空間内に表示された情報の表示位置が、現実空間内の対象物との関係でずれて表示されて見えることとなっていた。
【０００６】
本発明は上記実情に鑑みてなされたもので、利用者の視線方向を考慮した情報表示装置及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００７】
上記従来例の問題点を解決するための本発明は、情報表示装置であって、利用者の眼前に配される透過型ディスプレイと、利用者の視線ベクトルＶを検出する手段と、前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐ内の位置を表す座標に変換する手段と、前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、前記求めた表示位置に、前記対象物に対する情報を表示する手段と、を含むこととしたものである。
【０００８】
またここで、さらに、利用者の頭部に装着されたことを検出するセンサ、をさらに有し、前記位置合わせ手段は、前記センサにより、情報表示装置が装着されたと検出した時点で、前記変換行列を求めてもよいし、前記センサが、情報表示装置が利用者の頭部に装着されたことを検出してから、情報処理装置と、前記視点位置との相対的位置変動を検出する手段をさらに有し、前記位置合わせ手段が、当該検出した相対的位置変動に基づいて、前記変換行列を補正することとしてもよい。さらに、前記外界座標系Ｗｐと、前記透過型ディスプレイ上の座標系Ｄｐとの変換行列を求める手段を有してもよい。
【０００９】
また本発明の一態様に係るプログラムは、透過型ディスプレイを備えたコンピュータを、利用者の視線ベクトルＶを検出する手段と、前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐの内の位置を表す座標に変換する手段と、前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、前記求めた表示位置に、前記対象物に対する情報を表示する手段と、として機能させることとしたものである。
【発明の効果】
【００１０】
本発明によると、利用者の視線方向を考慮した情報表示を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る情報表示装置の構成例を表すブロック図である。
【図２】本発明の実施の形態に係る情報表示装置の実装例の一つを表す概要図である。
【図３】本発明の実施の形態に係る情報表示装置の例を表す機能ブロック図である。
【図４】本発明の実施の形態に係る情報表示装置のキャリブレーション処理の例を表すフローチャート図である。
【図５】本発明の実施の形態に係る情報表示装置が利用する利用者の視野座標系の例を表す説明図である。
【図６】本発明の実施の形態に係る情報表示装置が用いるデータベースの例を表す説明図である。
【図７】本発明の実施の形態に係る情報表示装置による情報表示の処理の例を表すフローチャート図である。
【図８】本発明の実施の形態に係る情報表示装置の別の実装例を表す概要図である。
【発明を実施するための形態】
【００１２】
本発明の実施の形態に係る情報表示装置１は、例えば透過型のディスプレイを備えて、利用者が眼鏡のように着用し、透過型のディスプレイを介して視線方向にある情報表示の対象物を視認するとともに、当該利用者と対象物とを結ぶ線分が透過型ディスプレイの面に交わる位置近傍に、当該対象物に関わる情報を表示するものである。これにより、利用者に対して対象物に関する情報を提示する。
【００１３】
本実施の形態に係る情報表示装置１の一例は、図１に例示するように、制御部１１、記憶部１２、撮像部１３、眼球検知部１４、及び透過型ディスプレイ１５を含んで構成される。また、後に述べるように、情報表示装置１は装着センサ１６を含んでもよい。さらにこの情報表示装置１は変位センサ１７を備えてもよい。
【００１４】
本実施の形態の一態様に係る情報表示装置１は、図２に例示するように略眼鏡の形状を備える。すなわちこの例の情報表示装置１は、一対のテンプル２１と、各テンプル２１の一端側に、それぞれヒンジを介して連結された一対のリム２２と、各リム２２の一部に設けられ、装着時に利用者の鼻に当たってリム２２を支持させる鼻当て部２３と、一対のリム２２の間を連結するブリッジ２４とを備えたフレーム２０に実装される。
【００１５】
この図２に例示した例では、少なくとも一方のリム２２に透過型ディスプレイ１５を支持させる。一方のリム２２に透過型ディスプレイ１５を支持させる場合は、他方のリム２２にはガラスやプラスチックのレンズ（矯正のための度は入っていても、いなくてもよい）としておく。
【００１６】
ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態において、この制御部１１は、利用者の視点位置を検出する処理と、検出した利用者の視点位置から利用者の視線ベクトルＶを推定する処理と、推定した利用者の視線ベクトルＶを、外界座標系Ｗｐ内のベクトルに変換する変換行列を求める位置合わせ処理と、外界座標系Ｗｐ内の対象物の座標と、変換行列によって変換される視線ベクトルの方向の線分が透過型ディスプレイ１５上で交差する位置の座標から、表示基準位置を求める処理と、当該求めた表示基準位置に基づいて、情報の表示位置を決定する処理と、を行う。この制御部１１に処理の詳しい説明は後に述べる。
【００１７】
記憶部１２は、制御部１１によって実行されるプログラムを格納している。このプログラムはＤＶＤ−ＲＯＭ等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。またこの記憶部１２は制御部１１のワークメモリとしても動作する。
【００１８】
撮像部１３は、例えばカメラであり、外界の対象物（現実の物体）の方向の映像を逐次的に撮影して、当該撮影した映像をディジタルの画像データとして制御部１１に出力する。図２に示した例の場合、利用者が装着すると、この撮像部１３の撮像範囲は、利用者の視線方向と略同じ方向を撮像することになるが、視線の角度が異なるため、撮像部１３が出力する画像データは、利用者が見ている像とは異なるものとなる。
【００１９】
本実施の形態では、この撮像部１３のカメラは、ブリッジ２４の一部に固定され、利用者が情報表示装置１を装着したときに、その視線の方向を撮像するように配される。
眼球検知部１４は、 例えば撮像部１３とは独立したカメラＣと、近赤外光投光器Ｐとを備える。この眼球検知部１４もまた、例えばブリッジ２４の一部に固定される。そしてカメラＣ及び近赤外光投光器Ｐは、情報表示装置１を装着した利用者の、顔面の方向を撮像し、また顔面の方向に投光するよう配される。この眼球検知部１４は、カメラＣによって撮像された画像データを制御部１１に出力する。すでに述べたように、眼球検知部１４のカメラＣと、撮像部１３であるカメラとは、いずれもブリッジ２４に固定され、互いの相対的な座標が変化しないよう固定されている。これにより眼球検知部１４のカメラＣの座標系Ｃc2と、撮像部１３であるカメラの座標系Ｃc1とは相互に変換行列［Ｔc1,2］により変換可能となる。すなわち、
Ｃc2＝［Ｔc1,2］Ｃc1、Ｃc1＝［Ｔc1,2］-1Ｃc1＝［Ｔc2,1］Ｃc1
である。
【００２０】
透過型ディスプレイ１５は、リム２２により支持される。この透過型ディスプレイ１５は、その表示面を通じて、その背面側にある対象物を見通すことのできる液晶表示パネルや有機ＥＬパネル等であり、ディスプレイとしての機能を有する透明、ないし半透明の表示面を備える。このような透過型のディスプレイについても、広く知られているので、ここでの説明は省略する。
【００２１】
この透過型ディスプレイ１５は、制御部１１から入力される指示に従って、当該表示面に情報を表示する。ここでの例では、この透過型ディスプレイ１５もまた、ブリッジ２４によって連結されたリム２２によって支持されるため、撮像部１３であるカメラの座標系（以下撮像部１３の座標系と呼ぶ）Ｃc1と、この透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］もまた既知のものとなる。
【００２２】
次に制御部１１における処理の具体的内容について説明する。この制御部１１は、機能的には、図３に示すように、キャリブレーション指示部３１と、キャリブレーション処理部３２と、情報表示部３３とを含む。キャリブレーション指示部３１は、予めキャリブレーションを行うべきタイミングとして定められた時点で、キャリブレーション処理部３２に対してキャリブレーション処理の実行を指示する。このタイミングは例えば、電源投入後の予め定めた時間ごとに定期的に到来するタイミングとしてもよい。
【００２３】
キャリブレーション処理部３２は、キャリブレーション指示部３１からキャリブレーション処理の実行指示が入力されると、次のキャリブレーション処理を実行する。なお、以下の説明において、制御部１１は、撮像部１３のカメラと、眼球検知部１４のカメラＣとのそれぞれについて、いわゆるThaiのカメラキャリブレーションアルゴリズムによって、それぞれの内外パラメータ、すなわち、光軸中心位置と、画素の縦横比と、撮像された対象物を基準とする世界座標系Ｃwに対するカメラ位置及び回転角（世界座標系とカメラ座標系との変換行列）とを含む情報を求めておく（R.Y.Tsai, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE Journal of Robotics and Automation, Vol. RA-3, No.4, pp. 323-344, 1987）。
【００２４】
ここで撮像部１３のカメラと眼球検知部１４のカメラＣとのそれぞれについて世界座標系Ｃwは一般に異なる。ここでは眼球検知部１４のカメラＣが撮像した画像データ（利用者の顔面方向の画像データ）から求められた世界座標系を利用者座標系Ｗuとする。
本実施の形態において外界座標系Ｗpは、例えば撮像部１３の座標系Ｃc1そのものであってもよいし、撮像部１３の座標系Ｃc1についての世界座標系であってもよい。
【００２５】
また一例として制御部１１は、撮像部１３から得た画像データに基づき、当該画像データ内に撮像された路面や床面、あるいは壁面を構成する面内に仮想的な矩形状領域を形成する。この矩形状領域の形成は、例えば利用者が車両運行中など、外界座標系Ｗpに対して並進移動しているならば、PTAM（Parallel Tracking and Mapping）と呼ばれる方法等が採用できる。このPTAMについては、Georg Klein and David Murray, "Parallel Tracking and Mapping for Small AR Workspaces", In Proc. International Symposium on Mixed and Augmented Reality (ISMAR '07), 2007等に詳しい説明があるので、ここでの詳細な説明を省略する。制御部１１は、この矩形状領域内に、例えば予め指定された情報を表示する。
【００２６】
キャリブレーション処理部３２は、図４に例示するように、眼球検知部１４が出力する画像データを取得する（Ｓ１）。そして利用者の視線ベクトルＶと瞳孔中心とを推定する（Ｓ２）。ここで瞳孔中心は、利用者が移動せず、また顔を動かすことがない場合に、眼球の動きの中心座標に相当する。
【００２７】
本実施の形態のある例では、キャリブレーション処理部３２は、大野健彦ほか，「眼球形状モデルに基づく視線測定法」，第８回画像センシングシンポジウム，pp.307-312,2002の方法を用いて視線方向としての利用者の視点の座標系Ｅｐを推定する。この方法では、瞳の位置（瞳孔中心）と、角膜表面反射光（プルキニエ像）とを用いる。
【００２８】
キャリブレーション処理部３２は、つぎに処理Ｓ１で取得した画像データから利用者の瞳を検出する。このような瞳の検出技術については、例えば加島英樹ほか，「顔の向きの変化に強い瞳検出方法の研究」，情報処理学会研究報告. CVIM, 2001(36), 139-144, 2001-05-10 等、種々の方法があるので、詳しい説明を省略する。
【００２９】
キャリブレーション処理部３２は、また、処理Ｓ１で取得した画像データ内で輝点（予め定めた輝度より高い輝度の画素）を抽出し、利用者の瞳が検出された位置に最も近い輝点の中心をプルキニエ像であると定める。以下、このプルキニエ像の座標をｕ0とおく。また眼球検知部１４のカメラＣのフォーカスが最も合った位置における焦点距離から、このカメラＣからプルキニエ像までの距離が求められる。すると、既知の方法より、プルキニエ像の座標ｕ0、カメラＣからプルキニエ像までの距離、並びにカメラＣの内外パラメータより、利用者座標系Ｗuにおけるプルキニエ像の位置ベクトルｕを求めることができる。
【００３０】
さらにキャリブレーション処理部３２は、瞳孔中心の画像データ上の座標位置ｐuと、カメラＣから瞳孔中心までの距離と、カメラＣの内外パラメータと、から、利用者座標系Ｗuにおける瞳孔中心の位置ベクトルＰを求める。ここでカメラＣから瞳孔中心までの距離は近似的に次のように求めてもよい。すなわち、予め、利用者として想定される人物について、角膜表面から瞳孔の位置までの距離ｌ（小児と大人とでは異なることが考えられる）をモデルとして設定しておく。そして、カメラＣからプルキニエ像までの距離にこの距離ｌを加算した値を、近似的なカメラＣから瞳孔中心までの距離として用いる。
【００３１】
次にキャリブレーション処理部３２は、プルキニエ像から、角膜曲率中心を求める。ここでは利用者として想定される人物の平均的な角膜曲率半径Ｒを予め定めておく。すると、利用者座標系Ｗuにおける角膜曲率中心のベクトルｒ（視点位置）が、次の（１）式で与えられる。
【００３２】
【数１】
【００３３】
なお、（１）において、||u||は、ｕのノルムを表す。
キャリブレーション処理部３２は、これら利用者座標系Ｗuにおける瞳孔中心の位置ベクトルＰと、角膜曲率中心のベクトルｃとから、Ｖ＝Ｐ−ｒとして、利用者座標系Ｗuにおける利用者の視線ベクトルＶを求める。
【００３４】
キャリブレーション処理部３２は次に、眼球検知部１４のカメラＣについて求められている、利用者座標系ＷuからカメラＣのカメラ座標系Ｃc2への変換行列［Ｔwu,c2］（＝［Ｔc2,wu］-1、ただし［Ｔc2,wu］は、カメラＣのカメラ座標系Ｃc2から利用者座標系Ｗuへの変換行列）と、利用者座標系Ｗuとを用いて、カメラＣのカメラ座標系Ｃc2における利用者の視線ベクトルＶc2、及び瞳孔中心の位置ベクトルＰc2を求める（Ｓ３）。すなわち、
Ｖc2＝［Ｔwu,c2］Ｖ
Ｐc2＝［Ｔwu,c2］Ｐ
とする。
【００３５】
キャリブレーション処理部３２は、このカメラ座標系Ｃc2における利用者の視線ベクトルＶc2及び瞳孔中心の位置ベクトルＰc2を、撮像部１３の座標系Ｃc1における利用者の視線ベクトルＶc1及び瞳孔中心の位置ベクトルＰc1に変換する（Ｓ４）。この変換は、
Ｖc1＝［Ｔc1,2］-1Ｖc2
Ｐc1＝［Ｔc1,2］-1Ｐc2
で行われる。
【００３６】
これにより、図５に例示するように、位置ベクトルＰc1を原点とし、視線ベクトルＶc1を一つの座標軸（ξ軸）とする座標系が規定される。キャリブレーション処理部３２は、さらに視線ベクトルＶc1を法線ベクトルとする平面内に、互いに直行する２つの座標軸（η軸，ζ軸）を決定して、利用者の視野座標系Ｅを規定する（Ｓ５）。具体的にキャリブレーション処理部３２は、プルキニエ像の位置ベクトルｕ（カメラ座標系Ｃc2による）を、撮像部１３の座標系Ｃc1におけるベクトルに変換する。すなわち、
ｕc1＝［Ｔc1,2］-1ｕ
とする。
【００３７】
そしてキャリブレーション処理部３２は、視線ベクトルＶc1を法線ベクトルとする平面内にベクトル
ｕc1−Ｖc1
を射影したときの当該射影ベクトルｕの方向をη軸とし、視線ベクトルＶc1を法線ベクトルとする平面内でこれらξ軸，η軸の双方に直交するベクトル、例えば
ｕ×Ｖc1
で求められるベクトルの方向をζ軸とする。なお、
ｕc1−Ｖc1
がゼロベクトルとなる場合（利用者が偶々近赤外光投光器Ｐの方向を見ていた場合）は、キャリブレーション処理部３２は、処理Ｓ１へ戻って処理を繰り返すこととしてもよい。
【００３８】
キャリブレーション処理部３２は、例えば以上のようにして求めた利用者の視野座標系Ｅと外界座標系Ｗｐとの間の変換行列を求める（Ｓ６）。すでに利用者の視野座標系は、撮像部１３の座標系Ｃc1内のベクトルにより規定されているので、撮像部１３の座標系Ｃc1から利用者の視野座標系Ｅへの変換行列［ＴE,c1］は演算できる。
【００３９】
外界座標系Ｗpが、撮像部１３の座標系Ｃc1そのものである場合は、この変換行列［ＴE,c1］がそのまま外界座標系Ｗｐから視野座標系Ｅへの変換行列［ＴE,wp］となる。
【００４０】
また外界座標系Ｗpが、撮像部１３の座標系Ｃc1そのものでない場合は、キャリブレーション処理部３２は、この変換行列［ＴE,c1］に、撮像部１３である外界座標系Ｗpからカメラの座標系Ｃc1への変換行列［Ｔc1,wp］（＝［Ｔwp,c1］-1、ただし［Ｔwp,c1］は、カメラ座標系Ｃc1から外界座標系Ｗpへの変換行列）を右から乗じて、外界座標系Ｗｐから視野座標系Ｅへの変換行列［ＴE,wp］＝［ＴE,c1］［Ｔc1,wp］を求めればよい。
【００４１】
なお、視野座標系Ｅから外界座標系Ｗｐへの変換行列は、変換行列［ＴE,c1］の逆行列［ＴE,wp］-1として与えられる。キャリブレーション処理部３２は、また透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］に、変換行列［ＴE,c1］を乗じ、その逆行列を演算することで、視野座標系Ｅを、透過型ディスプレイ１５の座標系Ｄp（２次元座標）へ投影する変換行列
［ＴDp,E］＝［ＴE,Dp］-1＝［［ＴE,c1］［Ｔc1,Dp］］-1
を得る。
【００４２】
ここで求めた外界座標系Ｗｐから視野座標系Ｅへの変換行列［ＴE,wp］（またはその逆行列［ＴE,wp］-1）及び、視野座標系Ｅから透過型ディスプレイ１５の座標系Ｄpへの変換行列［ＴDp,E］を、キャリブレーションパラメータとして記憶部１２に保持し（Ｓ７）、キャリブレーションの処理を終了する。そしてキャリブレーション処理部３２は、処理を終了した旨を表す情報を出力する。
【００４３】
なお、このキャリブレーション処理部３２は、それぞれの座標系の変換行列が既知である二つのカメラを用い、一方側で利用者の視線ベクトルを検出し、他方側で利用者が視認する外界の座標系との変換行列を得ておき、視線ベクトルを用いて規定できる利用者の視野座標系と、外界座標系との変換行列を求めることができればどのような方法を用いてもよく、ここで述べた方法に限らず、他の方法を用いてもよい。
【００４４】
制御部１１の情報表示部３３は、キャリブレーション処理部３２から処理を終了した旨を表す情報を受けると、情報の表示処理を開始する。本実施の形態のある例では、記憶部１２に予め、図６に示すように、外界にあるべき長方形の画像部分（Ｉ）と、当該画像部分に対応して表示されるべき情報（文字列やビットマップイメージ等；Ｒ）と、当該画像部分の現実の大きさを表す情報（サイズ情報；例えば実際の対象物における当該長方形の対角線長さなど）を関連付けたエントリーを含んだデータベースが保持されているものとする。
【００４５】
情報表示部３３は、図７に例示するように、撮像部１３が出力する画像データから、PTAM等マーカーレス拡張現実の方法により外界座標系Ｗp中で検出される対象物の範囲にある部分画像を抽出する。ここでは例えば矩形状（複数ある場合はそのそれぞれ）の範囲を検出して、当該矩形上の範囲に含まれる部分画像を抽出し（Ｓ１１）、検出した矩形状の部分画像を長方形状に変換する処理を実行する。この処理は射影ひずみを補正する画像処理として広く知られた処理を利用できる。情報表示部３３は、さらに得られた長方形状の部分画像から照合用の画像を少なくとも一つ生成する（Ｓ１２）。一例としてこの情報表示部３３は、得られた長方形状の部分画像を９０度、１８０度、２７０度だけ回転させた画像を生成して、検出した矩形状ごとに４つずつの長方形状の部分画像のセット（ｉ番目の矩形状についてセットＳiとする）を得る。
【００４６】
情報表示部３３は、予め記憶部１２に格納されたデータベースを参照して、得られたセットＳi（ｉ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーがあるか否か（照合用の画像を含むエントリーがあるか否か）を調べる（Ｓ１３）。そして情報表示部３３は、セットＳj（ｊ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーがあれば（Yesならば）、当該エントリーに含まれる表示対象の情報と、サイズ情報とをとり出す（Ｓ１４）。そして、撮像部１３が撮像した画像データにおいて、セットＳjに含まれる部分画像の元となった矩形状が見いだされた位置の座標と、見いだした矩形状のサイズ、並びに、データベースから取り出したサイズ情報とを用いて、撮像部１３の座標系Ｃc1内における当該矩形状の座標情報σj（４つの頂点の座標の組等）を得る（Ｓ１５）。この情報の演算も広く知られているので、ここでの詳しい説明を省略する。
【００４７】
外界座標系Ｗpが、撮像部１３の座標系Ｃc1そのものである場合、情報表示部３３は、このσjに含まれる座標の情報に対して、キャリブレーションパラメータとしての変換行列［ＴE,wp］、すなわち変換行列［ＴE,c1］を乗じて利用者の視野座標系Ｅでの座標情報σ″jに変換する。また情報表示部３３は、外界座標系Ｗpが、撮像部１３の座標系Ｃc1とは異なる場合、このσjに含まれる座標の情報に対して、変換行列［ＴWp,c1］を乗じてこれらの座標の情報を外界座標系Ｗp内の座標情報σ′jに変換し、さらにこれにキャリブレーションパラメータとしての変換行列［ＴE,wp］を乗じて、利用者の視野座標系Ｅでの座標情報σ″jに変換する（Ｓ１６）。後者の方法によると、情報表示部３３は、撮像部１３の座標系Ｃc1とは異なる外界座標系Ｗp内での対象物の座標情報σjが与えられれば利用者の視野座標系Ｅでの座標情報σ″jを得ることができる。すなわち、対象物の座標情報σjを撮像部１３以外で得て情報表示の処理を行うことも可能となる。
【００４８】
また情報表示部３３は、キャリブレーションパラメータとしての変換行列［ＴDp,E］を用いて、座標情報σ″jに含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する（Ｓ１７）。情報表示部３３は、これから例えばこれらの点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の平均値Ｑave（ｘ，ｙ）＝（（ｘ1＋ｘ2＋…＋ｘn／ｎ），（ｙ1＋ｙ2＋…＋ｙn／ｎ））を演算して、このＱave（ｘ，ｙ）の近傍（予め定めたピクセル数未満だけ離れた位置）に、データベースから取り出した表示対象の情報を表示する（Ｓ１８）。
【００４９】
なお、処理Ｓ１２からＳ１８までは処理Ｓ１１で抽出した矩形ごとにループして繰り返して行う。また処理Ｓ１３で該当するエントリーがなければ（Noならば）、次の矩形についての処理を行う。すべての矩形について処理を行ったならば、情報表示部３３は処理を終了する。
【００５０】
このように本実施の形態では、利用者の視線ベクトルを検出し、当該検出した視線ベクトルを座標軸の一つとする利用者の視野座標系を設定する。そして利用者の視野にある対象物についても、この視野座標系でその位置を表し、次いで視野座標系から透過型ディスプレイ１５の表示面内の座標系へ座標を変換して、対象物に関する情報の表示位置を得る。そして対象物に関する情報を当該得た位置に配することで、利用者の視線の方向を考慮した位置に情報が表示されることとなる。
【００５１】
また、本実施の形態のここまでの説明では、利用者が本実施の形態の情報表示装置１を装着後、定期的にキャリブレーションを行うものとしていた。しかしながら本実施の形態はこれに限られない。すなわち情報表示装置１が眼鏡の形状をなす場合、装着後のずれはわずかと考えられることから、利用者が頭部に本実施の形態の情報表示装置１を装着したことを検出する装着センサ１６をさらに備えて、情報表示装置１が利用者の頭部に装着されたことが、この装着センサ１６によって検出された時点で、キャリブレーション指示部３１がキャリブレーションの処理を行うべき旨の指示を出力することとしてもよい。
【００５２】
具体的にこの装着センサ１６は、例えば赤外線を放射して、その反射光により物体が近接していることを検出する近接センサー等でよく、テンプル２１に取り付けておけばよい。この装着センサ１６は、物体が近接していない間はその出力がＬとなっており、物体が近接すると出力がＨとなる。
【００５３】
制御部１１は、キャリブレーション指示部３１として機能する際に、装着センサ１６の出力がＬからＨへ変化し、その後Ｈの状態が予め定めた時間に亘って継続するときに、利用者が情報表示装置１を装着したものとし、キャリブレーションを行うべきタイミングが到来したとして、キャリブレーションの処理を行うべき旨の指示を出力する。
【００５４】
また本実施の形態の情報処理装置１は、情報処理装置１が装着された後に、当該情報処理装置１と視点位置との相対的位置変動を検出する手段としての変位センサ１７をさらに備えてもよい。この変位センサ１７は、例えば次のようなものである。すなわち、ここでの例では情報処理装置１は眼鏡の形状を備えているが、眼鏡では一般に装着後の位置ずれは主に、テンプル２１が利用者の耳にかかっている部分を中心として、情報処理装置１が利用者の顔に対して上下方向に（つまり仰角方向に）回転することによって生じる。そこでこの変位センサ１７は、テンプル２１に取り付けられ、鉛直下方に対するテンプル２１の仰角角度を検出する傾斜センサでよい。一例としてこの変位センサ１７は、仰角に比例した電圧信号を出力する。
【００５５】
制御部１１は、キャリブレーション処理部３２として機能する際に、この変位センサ１７が出力する電圧信号からキャリブレーション処理時の仰角の情報θ0を生成し、キャリブレーションパラメータに含めて記憶部１２に格納しておく。
【００５６】
その後、制御部１１は、予め定めたタイミングごとに繰り返して、この変位センサ１７の出力する電圧信号から仰角の情報θを生成する。そして当該生成した仰角の情報θと、記憶部１２に格納されたキャリブレーションパラメータに含まれる、キャリブレーション処理時の仰角の情報θ0とを比較し、その差の絶対値、Δθ＝｜θ−θ0｜を生成する。ここで｜＊｜は、＊の絶対値を意味する。
【００５７】
制御部１１は、Δθが予め定めたしきい値θthを超えたとき（Δθ＞θthまたはΔθ≧θthのとき）に、キャリブレーション指示部３１としての機能を実行して、キャリブレーションを行うべきタイミングが到来したとして、キャリブレーションの処理を行うべき旨の指示を出力する。
【００５８】
また制御部１１は、しきい値を超えたときにキャリブレーションの処理を再度行うのではなく、次のようにしてもよい。すなわち、予め定めたタイミングごとに繰り返して変位センサ１７の出力から取得する仰角の情報θと、キャリブレーションパラメータに含まれる、キャリブレーション処理時の仰角の情報θ0とを用い、変換行列を補正することとしてもよい。
【００５９】
具体的に制御部１１は、キャリブレーションパラメータとしての変換行列［ＴE,wp］に対して、外界座標系を仰角方向（外界座標系Ｗpにおいて鉛直面内の角度方向）にθ−θ0だけ回転補正する行列［Ｔθ］を乗じて補正した変換行列
［ＴE,wp］′＝［ＴE,wp］［Ｔθ］
を生成する。また、ここでの例では、撮像部１３とともに透過型ディスプレイ１５も同じ変位を受けるので、キャリブレーションパラメータとしての変換行列［ＴDp,E］に対しても同様に、透過型ディスプレイの座標系を仰角方向（透過型ディスプレイの座標系Ｄpにおいて鉛直面内の角度方向）にθ−θ0だけ回転補正する行列［Ｔθ］を乗じて補正した変換行列
［ＴDp,E］′＝［Ｔθ］［ＴDp,E］
を生成する。そして、以後はこれら補正後の変換行列［ＴE,wp］′と［ＴDp,E］′とを用いて、情報表示部３３としての処理を実行する。
【００６０】
すなわち制御部１１は、情報表示部３３としての処理として、外界座標系Ｗp内において検出した矩形状の座標情報σj（４つの頂点の座標の組等）に、この補正後の変換行列［ＴE,wp］′を乗じて、利用者の視野座標系Ｅでの座標情報σ″jに変換する。また補正後の変換行列［ＴDp,E］′を用いて、座標情報σ″jに含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する。情報表示部３３は、これから例えばこれらの点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の平均値Ｑave（ｘ，ｙ）＝（（ｘ1＋ｘ2＋…＋ｘn／ｎ），（ｙ1＋ｙ2＋…＋ｙn／ｎ））を演算して、このＱave（ｘ，ｙ）の近傍（予め定めたピクセル数未満だけ離れた位置）に、データベースから取り出した表示対象の情報を表示する。
【００６１】
このように、キャリブレーションのタイミングを装着時点とすることで、キャリブレーション処理の回数を少なくでき、処理負荷を軽減できる。このような処理は、例えば車両の運行など、利用者の眼球の方向が極端に変化しない場合に効果的に適用できる。
【００６２】
本実施の形態の情報表示装置１は、以上の構成を備えてなり、次のように動作する。本実施の形態の情報表示装置１のある例では、路上を車両で走行しているときに、運転者から視認できる看板類の画像と、各看板に関して予め設定された情報とを関連付けたエントリーを含むデータベースを記憶部１２に保持している。
【００６３】
この情報表示装置１を利用者が装着すると、情報表示装置１は、それから定期的にキャリブレーションの処理を行い、利用者の視線の方向を検出し、キャリブレーションパラメータとしての変換行列［ＴE,wp］、及び変換行列［ＴDp,E］を求める。
【００６４】
また情報表示装置１は、利用者の視認する方向にある対象物を撮像して得た画像データから、PTAM等マーカーレス拡張現実の方法により外界座標系Ｗp中で検出される矩形状（複数ある場合はそのそれぞれ）に含まれる部分画像を抽出し、検出した矩形状の部分画像を長方形状に変換する処理を実行する。また、得られた長方形状の部分画像を９０度、１８０度、２７０度だけ回転させた画像を生成して、検出した矩形状ごとに４つずつの長方形状の部分画像のセット（ｉ番目の矩形状についてセットＳiとする）を得る。
【００６５】
情報表示装置１は、予め記憶部１２に格納されたデータベースを参照して、得られたセットＳi（ｉ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーがあるか否かを調べる。例えば、道路上の方面看板等は矩形であるので、この処理によって検出されることになる。そして情報表示装置１の記憶部１２には予め、方面看板の画像に関連して表示するべき情報（例えば当該方面看板の近傍にある店舗の情報等）が関連付けられて保持されている。
【００６６】
情報表示部３３は、セットＳj（ｊ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーを見出すと、当該エントリーに含まれる表示対象の情報と、サイズ情報とをとり出す。そして、撮像部１３が撮像した画像データにおいて、セットＳjに含まれる部分画像の元となった矩形状が見いだされた位置の座標と、見いだした矩形状のサイズ、並びに、データベースから取り出したサイズ情報とを用いて外界座標系Ｗp内における当該矩形状の座標情報σj（４つの頂点の座標の組等）を得る。つまり、例えば方面看板の近傍にある店舗の情報等が得られる。
【００６７】
情報表示装置１は、当該矩形状の座標情報σjに、この変換行列［ＴE,wp］を乗じて、利用者の視野座標系Ｅでの座標情報σ″jに変換する。また情報表示装置１は、補正後の変換行列［ＴDp,E］を用いて、座標情報σ″jに含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する。情報表示装置１は、これから例えばこれらの点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の平均値Ｑave（ｘ，ｙ）＝（（ｘ1＋ｘ2＋…＋ｘn／ｎ），（ｙ1＋ｙ2＋…＋ｙn／ｎ））を演算して、このＱave（ｘ，ｙ）の近傍（予め定めたピクセル数未満だけ離れた位置）に、データベースから取り出した表示対象の情報（近傍の店舗の情報等）を表示する。
【００６８】
［変形例］
また本実施の形態のここまでの説明では、図２に例示したように、眼鏡の形状をなす場合、つまりヘッドマウントディスプレイとして情報表示装置１を実装した場合を例として説明したが、本発明の実施の形態はこれに限られるものではない。
【００６９】
例えば本実施の形態の透過型ディスプレイ１５は、車両のフロントガラス等であってもよい。この場合、撮像部１３及び眼球検知部１４はこのフロントガラス、またはフロントガラスに対して相対的な位置が変化しない位置（フロントガラスのフレームやダッシュボード等）に配されてもよい。このようにすることによっても、撮像部１３の座標系Ｃc1と、この透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］もまた既知のものとなり、撮像部１３の座標系Ｃc1と、透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］もまた既知のものとなる。従ってこの場合も、既に述べた例と同様にして処理を行うことにより、利用者の視線方向を考慮した情報の表示が可能となる。
【００７０】
さらに本発明の実施の形態のある例では、商品のショーウィンドウやショーケースのガラス面に透過型ディスプレイ１５が配されてもよい。この場合は、図８に例示するように、商品を展示するステージ後方（商品に対し、ガラス面とは反対の位置）に撮像部１３と眼球検知部１４とを配する。この例では、撮像部１３は、眼球検知部１４のカメラＣを兼ねてもよい。ここでのように、商品のショーウィンドウやショーケースのガラス面に配する場合、透過型ディスプレイ１５は、既に述べた液晶表示パネルや有機ＥＬパネル等のみならず、ガラス面に映像を投射可能な位置に配されたプロジェクタと、ガラス面に配されたスクリーンとを含むものとしてもよい。この場合のスクリーンは、上記プロジェクタによって投影された映像が投影されるとともに、利用者側から自らを通じて反対側の像を視認可能とした、透明ないし半透明のスクリーンとする。
【００７１】
制御部１１は、既に述べたと同様の方法で、キャリブレーションの処理を行う。またこの例では、撮像部１３の座標系Ｃc1（ここではこの座標系Ｃc1がそのまま外界座標系Ｗpであるとする）内で、情報表示の対象物たる商品の座標は予め定めることができる。そこでこれら商品に外接する直方体の各頂点の、座標系Ｃc1内の座標が既知であるものとする。また、撮像部１３の座標系Ｃc1における透過型ディスプレイ１５の４つの頂点の座標も既知であるものとする。従って、撮像部１３の座標系Ｃc1から、この透過型ディスプレイ１５の座標系Ｄpへの変換行列［ＴDp,wp］もまた、既知となる。
【００７２】
制御部１１は、キャリブレーションの処理において利用者の視線ベクトルＶを検出し、これから変換行列［ＴE,wp］を得る。またこれと、既知である［ＴDp,wp］とより、
［ＴDp,E］＝［ＴDp,wp］［ＴE,wp］-1
を演算する。
【００７３】
また記憶部１２には、商品ごとに、商品に外接する直方体の各頂点の座標と、商品に関して表示するべき情報とを関連付けた商品ごとのエントリーを、データベースとして保持しておく。
【００７４】
以下制御部１１は、データベースに格納されている商品ごとのエントリーを一つずつ読み出す。そして各エントリーを読み出すごとに、読み出したエントリーに含まれる、外接する直方体の各頂点の座標に対して、変換行列［ＴE,wp］を乗じて、利用者の視野座標系Ｅでの座標情報に変換する。また情報表示装置１は、変換行列［ＴDp,E］を用いて、上記変換後の座標情報に含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する。
【００７５】
また制御部１１は、これらＱ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の各点を結ぶ多角形に外接する矩形領域を求め、この透過型ディスプレイ１５上の、この矩形領域内に、読み出したエントリーに含まれている、商品に関して表示するべき情報を表示させる。
【００７６】
この例によると、利用者がガラス面の前を移動しても、利用者にとっては、商品の情報が商品に重ね合わせられて表示されることとなる。
【００７７】
さらに透過型ディスプレイ１５と撮像部１３との位置は必ずしも固定されていなくてもよい。この場合は、制御部１１は、撮像部１３が撮像して得た画像データから透過型ディスプレイ１５の外周にある頂点の座標を検出する。この座標の検出は、例えば矩形の透過型ディスプレイ１５の対角線上の２点にマーカーを取り付けておき、このマーカーを撮像部１３の座標系Ｃc1内で検出することによって行ってもよい。これにより制御部１１は、撮像部１３の座標系Ｃc1、すなわち外界座標系Ｗpから、透過型ディスプレイ１５の座標系Ｄpへの変換行列［ＴDp,wp］を求めることになる。
【００７８】
さらに、ここまでの説明では、表示の対象となる情報は、記憶部１２内にデータベースとして保持することとしていたが、これに限られるものではない。例えばデータベースは外部のサーバに格納しておき、制御部１１は、データベースに対して有線または無線ＬＡＮ、ないしは携帯電話回線網等を介してアクセスし、その内容を検索し、あるいは読み出すようにしても構わない。
【符号の説明】
【００７９】
１ 情報表示装置、１１ 制御部、１２ 記憶部、１３ 撮像部、１４ 眼球検知部、１５ 透過型ディスプレイ、１６ 装着センサ、１７ 変位センサ、２０ フレーム、２１ テンプル、２２ リム、２３ 鼻当て部、２４ ブリッジ、３１ キャリブレーション指示部、３２ キャリブレーション処理部、３３ 情報表示部。
【技術分野】
【０００１】
本発明は、透過型ディスプレイ上に情報を表示する情報表示装置及びプログラムに関する。
【背景技術】
【０００２】
近年、拡張現実（AR；Augmented Reality）技術が広く利用されるようになってきている。拡張現実の分野では、利用者はＨＭＤ（ヘッド・マウント・ディスプレイ）等、透過型のディスプレイを通して現実の空間を見る。現実空間内の物体等にコメントテキスト等を付加して表示する場合は、この透過型ディスプレイ内で、利用者が物体を見ているその位置に、コメントテキストを表示することになる。
【０００３】
この場合、少なくとも現実の空間の座標系と、透過型ディスプレイ内の仮想的空間の座標系とを一致させる必要がある。特許文献１には、ＨＭＤにおいて、現実空間と仮想空間との位置合わせを行う方法が多数列挙されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０４６７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上記従来のＨＭＤ等では、仮想空間の座標系は現実の空間を認識するカメラ等のセンサの座標系を基準に設定され、利用者の視線の方向が考慮されていない。このため、仮想空間と現実空間とが位置合わせされても、利用者にとっては、仮想空間内に表示された情報の表示位置が、現実空間内の対象物との関係でずれて表示されて見えることとなっていた。
【０００６】
本発明は上記実情に鑑みてなされたもので、利用者の視線方向を考慮した情報表示装置及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００７】
上記従来例の問題点を解決するための本発明は、情報表示装置であって、利用者の眼前に配される透過型ディスプレイと、利用者の視線ベクトルＶを検出する手段と、前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐ内の位置を表す座標に変換する手段と、前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、前記求めた表示位置に、前記対象物に対する情報を表示する手段と、を含むこととしたものである。
【０００８】
またここで、さらに、利用者の頭部に装着されたことを検出するセンサ、をさらに有し、前記位置合わせ手段は、前記センサにより、情報表示装置が装着されたと検出した時点で、前記変換行列を求めてもよいし、前記センサが、情報表示装置が利用者の頭部に装着されたことを検出してから、情報処理装置と、前記視点位置との相対的位置変動を検出する手段をさらに有し、前記位置合わせ手段が、当該検出した相対的位置変動に基づいて、前記変換行列を補正することとしてもよい。さらに、前記外界座標系Ｗｐと、前記透過型ディスプレイ上の座標系Ｄｐとの変換行列を求める手段を有してもよい。
【０００９】
また本発明の一態様に係るプログラムは、透過型ディスプレイを備えたコンピュータを、利用者の視線ベクトルＶを検出する手段と、前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐの内の位置を表す座標に変換する手段と、前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、前記求めた表示位置に、前記対象物に対する情報を表示する手段と、として機能させることとしたものである。
【発明の効果】
【００１０】
本発明によると、利用者の視線方向を考慮した情報表示を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る情報表示装置の構成例を表すブロック図である。
【図２】本発明の実施の形態に係る情報表示装置の実装例の一つを表す概要図である。
【図３】本発明の実施の形態に係る情報表示装置の例を表す機能ブロック図である。
【図４】本発明の実施の形態に係る情報表示装置のキャリブレーション処理の例を表すフローチャート図である。
【図５】本発明の実施の形態に係る情報表示装置が利用する利用者の視野座標系の例を表す説明図である。
【図６】本発明の実施の形態に係る情報表示装置が用いるデータベースの例を表す説明図である。
【図７】本発明の実施の形態に係る情報表示装置による情報表示の処理の例を表すフローチャート図である。
【図８】本発明の実施の形態に係る情報表示装置の別の実装例を表す概要図である。
【発明を実施するための形態】
【００１２】
本発明の実施の形態に係る情報表示装置１は、例えば透過型のディスプレイを備えて、利用者が眼鏡のように着用し、透過型のディスプレイを介して視線方向にある情報表示の対象物を視認するとともに、当該利用者と対象物とを結ぶ線分が透過型ディスプレイの面に交わる位置近傍に、当該対象物に関わる情報を表示するものである。これにより、利用者に対して対象物に関する情報を提示する。
【００１３】
本実施の形態に係る情報表示装置１の一例は、図１に例示するように、制御部１１、記憶部１２、撮像部１３、眼球検知部１４、及び透過型ディスプレイ１５を含んで構成される。また、後に述べるように、情報表示装置１は装着センサ１６を含んでもよい。さらにこの情報表示装置１は変位センサ１７を備えてもよい。
【００１４】
本実施の形態の一態様に係る情報表示装置１は、図２に例示するように略眼鏡の形状を備える。すなわちこの例の情報表示装置１は、一対のテンプル２１と、各テンプル２１の一端側に、それぞれヒンジを介して連結された一対のリム２２と、各リム２２の一部に設けられ、装着時に利用者の鼻に当たってリム２２を支持させる鼻当て部２３と、一対のリム２２の間を連結するブリッジ２４とを備えたフレーム２０に実装される。
【００１５】
この図２に例示した例では、少なくとも一方のリム２２に透過型ディスプレイ１５を支持させる。一方のリム２２に透過型ディスプレイ１５を支持させる場合は、他方のリム２２にはガラスやプラスチックのレンズ（矯正のための度は入っていても、いなくてもよい）としておく。
【００１６】
ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態において、この制御部１１は、利用者の視点位置を検出する処理と、検出した利用者の視点位置から利用者の視線ベクトルＶを推定する処理と、推定した利用者の視線ベクトルＶを、外界座標系Ｗｐ内のベクトルに変換する変換行列を求める位置合わせ処理と、外界座標系Ｗｐ内の対象物の座標と、変換行列によって変換される視線ベクトルの方向の線分が透過型ディスプレイ１５上で交差する位置の座標から、表示基準位置を求める処理と、当該求めた表示基準位置に基づいて、情報の表示位置を決定する処理と、を行う。この制御部１１に処理の詳しい説明は後に述べる。
【００１７】
記憶部１２は、制御部１１によって実行されるプログラムを格納している。このプログラムはＤＶＤ−ＲＯＭ等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。またこの記憶部１２は制御部１１のワークメモリとしても動作する。
【００１８】
撮像部１３は、例えばカメラであり、外界の対象物（現実の物体）の方向の映像を逐次的に撮影して、当該撮影した映像をディジタルの画像データとして制御部１１に出力する。図２に示した例の場合、利用者が装着すると、この撮像部１３の撮像範囲は、利用者の視線方向と略同じ方向を撮像することになるが、視線の角度が異なるため、撮像部１３が出力する画像データは、利用者が見ている像とは異なるものとなる。
【００１９】
本実施の形態では、この撮像部１３のカメラは、ブリッジ２４の一部に固定され、利用者が情報表示装置１を装着したときに、その視線の方向を撮像するように配される。
眼球検知部１４は、 例えば撮像部１３とは独立したカメラＣと、近赤外光投光器Ｐとを備える。この眼球検知部１４もまた、例えばブリッジ２４の一部に固定される。そしてカメラＣ及び近赤外光投光器Ｐは、情報表示装置１を装着した利用者の、顔面の方向を撮像し、また顔面の方向に投光するよう配される。この眼球検知部１４は、カメラＣによって撮像された画像データを制御部１１に出力する。すでに述べたように、眼球検知部１４のカメラＣと、撮像部１３であるカメラとは、いずれもブリッジ２４に固定され、互いの相対的な座標が変化しないよう固定されている。これにより眼球検知部１４のカメラＣの座標系Ｃc2と、撮像部１３であるカメラの座標系Ｃc1とは相互に変換行列［Ｔc1,2］により変換可能となる。すなわち、
Ｃc2＝［Ｔc1,2］Ｃc1、Ｃc1＝［Ｔc1,2］-1Ｃc1＝［Ｔc2,1］Ｃc1
である。
【００２０】
透過型ディスプレイ１５は、リム２２により支持される。この透過型ディスプレイ１５は、その表示面を通じて、その背面側にある対象物を見通すことのできる液晶表示パネルや有機ＥＬパネル等であり、ディスプレイとしての機能を有する透明、ないし半透明の表示面を備える。このような透過型のディスプレイについても、広く知られているので、ここでの説明は省略する。
【００２１】
この透過型ディスプレイ１５は、制御部１１から入力される指示に従って、当該表示面に情報を表示する。ここでの例では、この透過型ディスプレイ１５もまた、ブリッジ２４によって連結されたリム２２によって支持されるため、撮像部１３であるカメラの座標系（以下撮像部１３の座標系と呼ぶ）Ｃc1と、この透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］もまた既知のものとなる。
【００２２】
次に制御部１１における処理の具体的内容について説明する。この制御部１１は、機能的には、図３に示すように、キャリブレーション指示部３１と、キャリブレーション処理部３２と、情報表示部３３とを含む。キャリブレーション指示部３１は、予めキャリブレーションを行うべきタイミングとして定められた時点で、キャリブレーション処理部３２に対してキャリブレーション処理の実行を指示する。このタイミングは例えば、電源投入後の予め定めた時間ごとに定期的に到来するタイミングとしてもよい。
【００２３】
キャリブレーション処理部３２は、キャリブレーション指示部３１からキャリブレーション処理の実行指示が入力されると、次のキャリブレーション処理を実行する。なお、以下の説明において、制御部１１は、撮像部１３のカメラと、眼球検知部１４のカメラＣとのそれぞれについて、いわゆるThaiのカメラキャリブレーションアルゴリズムによって、それぞれの内外パラメータ、すなわち、光軸中心位置と、画素の縦横比と、撮像された対象物を基準とする世界座標系Ｃwに対するカメラ位置及び回転角（世界座標系とカメラ座標系との変換行列）とを含む情報を求めておく（R.Y.Tsai, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE Journal of Robotics and Automation, Vol. RA-3, No.4, pp. 323-344, 1987）。
【００２４】
ここで撮像部１３のカメラと眼球検知部１４のカメラＣとのそれぞれについて世界座標系Ｃwは一般に異なる。ここでは眼球検知部１４のカメラＣが撮像した画像データ（利用者の顔面方向の画像データ）から求められた世界座標系を利用者座標系Ｗuとする。
本実施の形態において外界座標系Ｗpは、例えば撮像部１３の座標系Ｃc1そのものであってもよいし、撮像部１３の座標系Ｃc1についての世界座標系であってもよい。
【００２５】
また一例として制御部１１は、撮像部１３から得た画像データに基づき、当該画像データ内に撮像された路面や床面、あるいは壁面を構成する面内に仮想的な矩形状領域を形成する。この矩形状領域の形成は、例えば利用者が車両運行中など、外界座標系Ｗpに対して並進移動しているならば、PTAM（Parallel Tracking and Mapping）と呼ばれる方法等が採用できる。このPTAMについては、Georg Klein and David Murray, "Parallel Tracking and Mapping for Small AR Workspaces", In Proc. International Symposium on Mixed and Augmented Reality (ISMAR '07), 2007等に詳しい説明があるので、ここでの詳細な説明を省略する。制御部１１は、この矩形状領域内に、例えば予め指定された情報を表示する。
【００２６】
キャリブレーション処理部３２は、図４に例示するように、眼球検知部１４が出力する画像データを取得する（Ｓ１）。そして利用者の視線ベクトルＶと瞳孔中心とを推定する（Ｓ２）。ここで瞳孔中心は、利用者が移動せず、また顔を動かすことがない場合に、眼球の動きの中心座標に相当する。
【００２７】
本実施の形態のある例では、キャリブレーション処理部３２は、大野健彦ほか，「眼球形状モデルに基づく視線測定法」，第８回画像センシングシンポジウム，pp.307-312,2002の方法を用いて視線方向としての利用者の視点の座標系Ｅｐを推定する。この方法では、瞳の位置（瞳孔中心）と、角膜表面反射光（プルキニエ像）とを用いる。
【００２８】
キャリブレーション処理部３２は、つぎに処理Ｓ１で取得した画像データから利用者の瞳を検出する。このような瞳の検出技術については、例えば加島英樹ほか，「顔の向きの変化に強い瞳検出方法の研究」，情報処理学会研究報告. CVIM, 2001(36), 139-144, 2001-05-10 等、種々の方法があるので、詳しい説明を省略する。
【００２９】
キャリブレーション処理部３２は、また、処理Ｓ１で取得した画像データ内で輝点（予め定めた輝度より高い輝度の画素）を抽出し、利用者の瞳が検出された位置に最も近い輝点の中心をプルキニエ像であると定める。以下、このプルキニエ像の座標をｕ0とおく。また眼球検知部１４のカメラＣのフォーカスが最も合った位置における焦点距離から、このカメラＣからプルキニエ像までの距離が求められる。すると、既知の方法より、プルキニエ像の座標ｕ0、カメラＣからプルキニエ像までの距離、並びにカメラＣの内外パラメータより、利用者座標系Ｗuにおけるプルキニエ像の位置ベクトルｕを求めることができる。
【００３０】
さらにキャリブレーション処理部３２は、瞳孔中心の画像データ上の座標位置ｐuと、カメラＣから瞳孔中心までの距離と、カメラＣの内外パラメータと、から、利用者座標系Ｗuにおける瞳孔中心の位置ベクトルＰを求める。ここでカメラＣから瞳孔中心までの距離は近似的に次のように求めてもよい。すなわち、予め、利用者として想定される人物について、角膜表面から瞳孔の位置までの距離ｌ（小児と大人とでは異なることが考えられる）をモデルとして設定しておく。そして、カメラＣからプルキニエ像までの距離にこの距離ｌを加算した値を、近似的なカメラＣから瞳孔中心までの距離として用いる。
【００３１】
次にキャリブレーション処理部３２は、プルキニエ像から、角膜曲率中心を求める。ここでは利用者として想定される人物の平均的な角膜曲率半径Ｒを予め定めておく。すると、利用者座標系Ｗuにおける角膜曲率中心のベクトルｒ（視点位置）が、次の（１）式で与えられる。
【００３２】
【数１】
【００３３】
なお、（１）において、||u||は、ｕのノルムを表す。
キャリブレーション処理部３２は、これら利用者座標系Ｗuにおける瞳孔中心の位置ベクトルＰと、角膜曲率中心のベクトルｃとから、Ｖ＝Ｐ−ｒとして、利用者座標系Ｗuにおける利用者の視線ベクトルＶを求める。
【００３４】
キャリブレーション処理部３２は次に、眼球検知部１４のカメラＣについて求められている、利用者座標系ＷuからカメラＣのカメラ座標系Ｃc2への変換行列［Ｔwu,c2］（＝［Ｔc2,wu］-1、ただし［Ｔc2,wu］は、カメラＣのカメラ座標系Ｃc2から利用者座標系Ｗuへの変換行列）と、利用者座標系Ｗuとを用いて、カメラＣのカメラ座標系Ｃc2における利用者の視線ベクトルＶc2、及び瞳孔中心の位置ベクトルＰc2を求める（Ｓ３）。すなわち、
Ｖc2＝［Ｔwu,c2］Ｖ
Ｐc2＝［Ｔwu,c2］Ｐ
とする。
【００３５】
キャリブレーション処理部３２は、このカメラ座標系Ｃc2における利用者の視線ベクトルＶc2及び瞳孔中心の位置ベクトルＰc2を、撮像部１３の座標系Ｃc1における利用者の視線ベクトルＶc1及び瞳孔中心の位置ベクトルＰc1に変換する（Ｓ４）。この変換は、
Ｖc1＝［Ｔc1,2］-1Ｖc2
Ｐc1＝［Ｔc1,2］-1Ｐc2
で行われる。
【００３６】
これにより、図５に例示するように、位置ベクトルＰc1を原点とし、視線ベクトルＶc1を一つの座標軸（ξ軸）とする座標系が規定される。キャリブレーション処理部３２は、さらに視線ベクトルＶc1を法線ベクトルとする平面内に、互いに直行する２つの座標軸（η軸，ζ軸）を決定して、利用者の視野座標系Ｅを規定する（Ｓ５）。具体的にキャリブレーション処理部３２は、プルキニエ像の位置ベクトルｕ（カメラ座標系Ｃc2による）を、撮像部１３の座標系Ｃc1におけるベクトルに変換する。すなわち、
ｕc1＝［Ｔc1,2］-1ｕ
とする。
【００３７】
そしてキャリブレーション処理部３２は、視線ベクトルＶc1を法線ベクトルとする平面内にベクトル
ｕc1−Ｖc1
を射影したときの当該射影ベクトルｕの方向をη軸とし、視線ベクトルＶc1を法線ベクトルとする平面内でこれらξ軸，η軸の双方に直交するベクトル、例えば
ｕ×Ｖc1
で求められるベクトルの方向をζ軸とする。なお、
ｕc1−Ｖc1
がゼロベクトルとなる場合（利用者が偶々近赤外光投光器Ｐの方向を見ていた場合）は、キャリブレーション処理部３２は、処理Ｓ１へ戻って処理を繰り返すこととしてもよい。
【００３８】
キャリブレーション処理部３２は、例えば以上のようにして求めた利用者の視野座標系Ｅと外界座標系Ｗｐとの間の変換行列を求める（Ｓ６）。すでに利用者の視野座標系は、撮像部１３の座標系Ｃc1内のベクトルにより規定されているので、撮像部１３の座標系Ｃc1から利用者の視野座標系Ｅへの変換行列［ＴE,c1］は演算できる。
【００３９】
外界座標系Ｗpが、撮像部１３の座標系Ｃc1そのものである場合は、この変換行列［ＴE,c1］がそのまま外界座標系Ｗｐから視野座標系Ｅへの変換行列［ＴE,wp］となる。
【００４０】
また外界座標系Ｗpが、撮像部１３の座標系Ｃc1そのものでない場合は、キャリブレーション処理部３２は、この変換行列［ＴE,c1］に、撮像部１３である外界座標系Ｗpからカメラの座標系Ｃc1への変換行列［Ｔc1,wp］（＝［Ｔwp,c1］-1、ただし［Ｔwp,c1］は、カメラ座標系Ｃc1から外界座標系Ｗpへの変換行列）を右から乗じて、外界座標系Ｗｐから視野座標系Ｅへの変換行列［ＴE,wp］＝［ＴE,c1］［Ｔc1,wp］を求めればよい。
【００４１】
なお、視野座標系Ｅから外界座標系Ｗｐへの変換行列は、変換行列［ＴE,c1］の逆行列［ＴE,wp］-1として与えられる。キャリブレーション処理部３２は、また透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］に、変換行列［ＴE,c1］を乗じ、その逆行列を演算することで、視野座標系Ｅを、透過型ディスプレイ１５の座標系Ｄp（２次元座標）へ投影する変換行列
［ＴDp,E］＝［ＴE,Dp］-1＝［［ＴE,c1］［Ｔc1,Dp］］-1
を得る。
【００４２】
ここで求めた外界座標系Ｗｐから視野座標系Ｅへの変換行列［ＴE,wp］（またはその逆行列［ＴE,wp］-1）及び、視野座標系Ｅから透過型ディスプレイ１５の座標系Ｄpへの変換行列［ＴDp,E］を、キャリブレーションパラメータとして記憶部１２に保持し（Ｓ７）、キャリブレーションの処理を終了する。そしてキャリブレーション処理部３２は、処理を終了した旨を表す情報を出力する。
【００４３】
なお、このキャリブレーション処理部３２は、それぞれの座標系の変換行列が既知である二つのカメラを用い、一方側で利用者の視線ベクトルを検出し、他方側で利用者が視認する外界の座標系との変換行列を得ておき、視線ベクトルを用いて規定できる利用者の視野座標系と、外界座標系との変換行列を求めることができればどのような方法を用いてもよく、ここで述べた方法に限らず、他の方法を用いてもよい。
【００４４】
制御部１１の情報表示部３３は、キャリブレーション処理部３２から処理を終了した旨を表す情報を受けると、情報の表示処理を開始する。本実施の形態のある例では、記憶部１２に予め、図６に示すように、外界にあるべき長方形の画像部分（Ｉ）と、当該画像部分に対応して表示されるべき情報（文字列やビットマップイメージ等；Ｒ）と、当該画像部分の現実の大きさを表す情報（サイズ情報；例えば実際の対象物における当該長方形の対角線長さなど）を関連付けたエントリーを含んだデータベースが保持されているものとする。
【００４５】
情報表示部３３は、図７に例示するように、撮像部１３が出力する画像データから、PTAM等マーカーレス拡張現実の方法により外界座標系Ｗp中で検出される対象物の範囲にある部分画像を抽出する。ここでは例えば矩形状（複数ある場合はそのそれぞれ）の範囲を検出して、当該矩形上の範囲に含まれる部分画像を抽出し（Ｓ１１）、検出した矩形状の部分画像を長方形状に変換する処理を実行する。この処理は射影ひずみを補正する画像処理として広く知られた処理を利用できる。情報表示部３３は、さらに得られた長方形状の部分画像から照合用の画像を少なくとも一つ生成する（Ｓ１２）。一例としてこの情報表示部３３は、得られた長方形状の部分画像を９０度、１８０度、２７０度だけ回転させた画像を生成して、検出した矩形状ごとに４つずつの長方形状の部分画像のセット（ｉ番目の矩形状についてセットＳiとする）を得る。
【００４６】
情報表示部３３は、予め記憶部１２に格納されたデータベースを参照して、得られたセットＳi（ｉ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーがあるか否か（照合用の画像を含むエントリーがあるか否か）を調べる（Ｓ１３）。そして情報表示部３３は、セットＳj（ｊ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーがあれば（Yesならば）、当該エントリーに含まれる表示対象の情報と、サイズ情報とをとり出す（Ｓ１４）。そして、撮像部１３が撮像した画像データにおいて、セットＳjに含まれる部分画像の元となった矩形状が見いだされた位置の座標と、見いだした矩形状のサイズ、並びに、データベースから取り出したサイズ情報とを用いて、撮像部１３の座標系Ｃc1内における当該矩形状の座標情報σj（４つの頂点の座標の組等）を得る（Ｓ１５）。この情報の演算も広く知られているので、ここでの詳しい説明を省略する。
【００４７】
外界座標系Ｗpが、撮像部１３の座標系Ｃc1そのものである場合、情報表示部３３は、このσjに含まれる座標の情報に対して、キャリブレーションパラメータとしての変換行列［ＴE,wp］、すなわち変換行列［ＴE,c1］を乗じて利用者の視野座標系Ｅでの座標情報σ″jに変換する。また情報表示部３３は、外界座標系Ｗpが、撮像部１３の座標系Ｃc1とは異なる場合、このσjに含まれる座標の情報に対して、変換行列［ＴWp,c1］を乗じてこれらの座標の情報を外界座標系Ｗp内の座標情報σ′jに変換し、さらにこれにキャリブレーションパラメータとしての変換行列［ＴE,wp］を乗じて、利用者の視野座標系Ｅでの座標情報σ″jに変換する（Ｓ１６）。後者の方法によると、情報表示部３３は、撮像部１３の座標系Ｃc1とは異なる外界座標系Ｗp内での対象物の座標情報σjが与えられれば利用者の視野座標系Ｅでの座標情報σ″jを得ることができる。すなわち、対象物の座標情報σjを撮像部１３以外で得て情報表示の処理を行うことも可能となる。
【００４８】
また情報表示部３３は、キャリブレーションパラメータとしての変換行列［ＴDp,E］を用いて、座標情報σ″jに含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する（Ｓ１７）。情報表示部３３は、これから例えばこれらの点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の平均値Ｑave（ｘ，ｙ）＝（（ｘ1＋ｘ2＋…＋ｘn／ｎ），（ｙ1＋ｙ2＋…＋ｙn／ｎ））を演算して、このＱave（ｘ，ｙ）の近傍（予め定めたピクセル数未満だけ離れた位置）に、データベースから取り出した表示対象の情報を表示する（Ｓ１８）。
【００４９】
なお、処理Ｓ１２からＳ１８までは処理Ｓ１１で抽出した矩形ごとにループして繰り返して行う。また処理Ｓ１３で該当するエントリーがなければ（Noならば）、次の矩形についての処理を行う。すべての矩形について処理を行ったならば、情報表示部３３は処理を終了する。
【００５０】
このように本実施の形態では、利用者の視線ベクトルを検出し、当該検出した視線ベクトルを座標軸の一つとする利用者の視野座標系を設定する。そして利用者の視野にある対象物についても、この視野座標系でその位置を表し、次いで視野座標系から透過型ディスプレイ１５の表示面内の座標系へ座標を変換して、対象物に関する情報の表示位置を得る。そして対象物に関する情報を当該得た位置に配することで、利用者の視線の方向を考慮した位置に情報が表示されることとなる。
【００５１】
また、本実施の形態のここまでの説明では、利用者が本実施の形態の情報表示装置１を装着後、定期的にキャリブレーションを行うものとしていた。しかしながら本実施の形態はこれに限られない。すなわち情報表示装置１が眼鏡の形状をなす場合、装着後のずれはわずかと考えられることから、利用者が頭部に本実施の形態の情報表示装置１を装着したことを検出する装着センサ１６をさらに備えて、情報表示装置１が利用者の頭部に装着されたことが、この装着センサ１６によって検出された時点で、キャリブレーション指示部３１がキャリブレーションの処理を行うべき旨の指示を出力することとしてもよい。
【００５２】
具体的にこの装着センサ１６は、例えば赤外線を放射して、その反射光により物体が近接していることを検出する近接センサー等でよく、テンプル２１に取り付けておけばよい。この装着センサ１６は、物体が近接していない間はその出力がＬとなっており、物体が近接すると出力がＨとなる。
【００５３】
制御部１１は、キャリブレーション指示部３１として機能する際に、装着センサ１６の出力がＬからＨへ変化し、その後Ｈの状態が予め定めた時間に亘って継続するときに、利用者が情報表示装置１を装着したものとし、キャリブレーションを行うべきタイミングが到来したとして、キャリブレーションの処理を行うべき旨の指示を出力する。
【００５４】
また本実施の形態の情報処理装置１は、情報処理装置１が装着された後に、当該情報処理装置１と視点位置との相対的位置変動を検出する手段としての変位センサ１７をさらに備えてもよい。この変位センサ１７は、例えば次のようなものである。すなわち、ここでの例では情報処理装置１は眼鏡の形状を備えているが、眼鏡では一般に装着後の位置ずれは主に、テンプル２１が利用者の耳にかかっている部分を中心として、情報処理装置１が利用者の顔に対して上下方向に（つまり仰角方向に）回転することによって生じる。そこでこの変位センサ１７は、テンプル２１に取り付けられ、鉛直下方に対するテンプル２１の仰角角度を検出する傾斜センサでよい。一例としてこの変位センサ１７は、仰角に比例した電圧信号を出力する。
【００５５】
制御部１１は、キャリブレーション処理部３２として機能する際に、この変位センサ１７が出力する電圧信号からキャリブレーション処理時の仰角の情報θ0を生成し、キャリブレーションパラメータに含めて記憶部１２に格納しておく。
【００５６】
その後、制御部１１は、予め定めたタイミングごとに繰り返して、この変位センサ１７の出力する電圧信号から仰角の情報θを生成する。そして当該生成した仰角の情報θと、記憶部１２に格納されたキャリブレーションパラメータに含まれる、キャリブレーション処理時の仰角の情報θ0とを比較し、その差の絶対値、Δθ＝｜θ−θ0｜を生成する。ここで｜＊｜は、＊の絶対値を意味する。
【００５７】
制御部１１は、Δθが予め定めたしきい値θthを超えたとき（Δθ＞θthまたはΔθ≧θthのとき）に、キャリブレーション指示部３１としての機能を実行して、キャリブレーションを行うべきタイミングが到来したとして、キャリブレーションの処理を行うべき旨の指示を出力する。
【００５８】
また制御部１１は、しきい値を超えたときにキャリブレーションの処理を再度行うのではなく、次のようにしてもよい。すなわち、予め定めたタイミングごとに繰り返して変位センサ１７の出力から取得する仰角の情報θと、キャリブレーションパラメータに含まれる、キャリブレーション処理時の仰角の情報θ0とを用い、変換行列を補正することとしてもよい。
【００５９】
具体的に制御部１１は、キャリブレーションパラメータとしての変換行列［ＴE,wp］に対して、外界座標系を仰角方向（外界座標系Ｗpにおいて鉛直面内の角度方向）にθ−θ0だけ回転補正する行列［Ｔθ］を乗じて補正した変換行列
［ＴE,wp］′＝［ＴE,wp］［Ｔθ］
を生成する。また、ここでの例では、撮像部１３とともに透過型ディスプレイ１５も同じ変位を受けるので、キャリブレーションパラメータとしての変換行列［ＴDp,E］に対しても同様に、透過型ディスプレイの座標系を仰角方向（透過型ディスプレイの座標系Ｄpにおいて鉛直面内の角度方向）にθ−θ0だけ回転補正する行列［Ｔθ］を乗じて補正した変換行列
［ＴDp,E］′＝［Ｔθ］［ＴDp,E］
を生成する。そして、以後はこれら補正後の変換行列［ＴE,wp］′と［ＴDp,E］′とを用いて、情報表示部３３としての処理を実行する。
【００６０】
すなわち制御部１１は、情報表示部３３としての処理として、外界座標系Ｗp内において検出した矩形状の座標情報σj（４つの頂点の座標の組等）に、この補正後の変換行列［ＴE,wp］′を乗じて、利用者の視野座標系Ｅでの座標情報σ″jに変換する。また補正後の変換行列［ＴDp,E］′を用いて、座標情報σ″jに含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する。情報表示部３３は、これから例えばこれらの点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の平均値Ｑave（ｘ，ｙ）＝（（ｘ1＋ｘ2＋…＋ｘn／ｎ），（ｙ1＋ｙ2＋…＋ｙn／ｎ））を演算して、このＱave（ｘ，ｙ）の近傍（予め定めたピクセル数未満だけ離れた位置）に、データベースから取り出した表示対象の情報を表示する。
【００６１】
このように、キャリブレーションのタイミングを装着時点とすることで、キャリブレーション処理の回数を少なくでき、処理負荷を軽減できる。このような処理は、例えば車両の運行など、利用者の眼球の方向が極端に変化しない場合に効果的に適用できる。
【００６２】
本実施の形態の情報表示装置１は、以上の構成を備えてなり、次のように動作する。本実施の形態の情報表示装置１のある例では、路上を車両で走行しているときに、運転者から視認できる看板類の画像と、各看板に関して予め設定された情報とを関連付けたエントリーを含むデータベースを記憶部１２に保持している。
【００６３】
この情報表示装置１を利用者が装着すると、情報表示装置１は、それから定期的にキャリブレーションの処理を行い、利用者の視線の方向を検出し、キャリブレーションパラメータとしての変換行列［ＴE,wp］、及び変換行列［ＴDp,E］を求める。
【００６４】
また情報表示装置１は、利用者の視認する方向にある対象物を撮像して得た画像データから、PTAM等マーカーレス拡張現実の方法により外界座標系Ｗp中で検出される矩形状（複数ある場合はそのそれぞれ）に含まれる部分画像を抽出し、検出した矩形状の部分画像を長方形状に変換する処理を実行する。また、得られた長方形状の部分画像を９０度、１８０度、２７０度だけ回転させた画像を生成して、検出した矩形状ごとに４つずつの長方形状の部分画像のセット（ｉ番目の矩形状についてセットＳiとする）を得る。
【００６５】
情報表示装置１は、予め記憶部１２に格納されたデータベースを参照して、得られたセットＳi（ｉ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーがあるか否かを調べる。例えば、道路上の方面看板等は矩形であるので、この処理によって検出されることになる。そして情報表示装置１の記憶部１２には予め、方面看板の画像に関連して表示するべき情報（例えば当該方面看板の近傍にある店舗の情報等）が関連付けられて保持されている。
【００６６】
情報表示部３３は、セットＳj（ｊ＝１，２…）に含まれる４つの画像のいずれかに一致する画像を含むエントリーを見出すと、当該エントリーに含まれる表示対象の情報と、サイズ情報とをとり出す。そして、撮像部１３が撮像した画像データにおいて、セットＳjに含まれる部分画像の元となった矩形状が見いだされた位置の座標と、見いだした矩形状のサイズ、並びに、データベースから取り出したサイズ情報とを用いて外界座標系Ｗp内における当該矩形状の座標情報σj（４つの頂点の座標の組等）を得る。つまり、例えば方面看板の近傍にある店舗の情報等が得られる。
【００６７】
情報表示装置１は、当該矩形状の座標情報σjに、この変換行列［ＴE,wp］を乗じて、利用者の視野座標系Ｅでの座標情報σ″jに変換する。また情報表示装置１は、補正後の変換行列［ＴDp,E］を用いて、座標情報σ″jに含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する。情報表示装置１は、これから例えばこれらの点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の平均値Ｑave（ｘ，ｙ）＝（（ｘ1＋ｘ2＋…＋ｘn／ｎ），（ｙ1＋ｙ2＋…＋ｙn／ｎ））を演算して、このＱave（ｘ，ｙ）の近傍（予め定めたピクセル数未満だけ離れた位置）に、データベースから取り出した表示対象の情報（近傍の店舗の情報等）を表示する。
【００６８】
［変形例］
また本実施の形態のここまでの説明では、図２に例示したように、眼鏡の形状をなす場合、つまりヘッドマウントディスプレイとして情報表示装置１を実装した場合を例として説明したが、本発明の実施の形態はこれに限られるものではない。
【００６９】
例えば本実施の形態の透過型ディスプレイ１５は、車両のフロントガラス等であってもよい。この場合、撮像部１３及び眼球検知部１４はこのフロントガラス、またはフロントガラスに対して相対的な位置が変化しない位置（フロントガラスのフレームやダッシュボード等）に配されてもよい。このようにすることによっても、撮像部１３の座標系Ｃc1と、この透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］もまた既知のものとなり、撮像部１３の座標系Ｃc1と、透過型ディスプレイ１５の座標系Ｄpとの間の変換行列［Ｔc1,Dp］もまた既知のものとなる。従ってこの場合も、既に述べた例と同様にして処理を行うことにより、利用者の視線方向を考慮した情報の表示が可能となる。
【００７０】
さらに本発明の実施の形態のある例では、商品のショーウィンドウやショーケースのガラス面に透過型ディスプレイ１５が配されてもよい。この場合は、図８に例示するように、商品を展示するステージ後方（商品に対し、ガラス面とは反対の位置）に撮像部１３と眼球検知部１４とを配する。この例では、撮像部１３は、眼球検知部１４のカメラＣを兼ねてもよい。ここでのように、商品のショーウィンドウやショーケースのガラス面に配する場合、透過型ディスプレイ１５は、既に述べた液晶表示パネルや有機ＥＬパネル等のみならず、ガラス面に映像を投射可能な位置に配されたプロジェクタと、ガラス面に配されたスクリーンとを含むものとしてもよい。この場合のスクリーンは、上記プロジェクタによって投影された映像が投影されるとともに、利用者側から自らを通じて反対側の像を視認可能とした、透明ないし半透明のスクリーンとする。
【００７１】
制御部１１は、既に述べたと同様の方法で、キャリブレーションの処理を行う。またこの例では、撮像部１３の座標系Ｃc1（ここではこの座標系Ｃc1がそのまま外界座標系Ｗpであるとする）内で、情報表示の対象物たる商品の座標は予め定めることができる。そこでこれら商品に外接する直方体の各頂点の、座標系Ｃc1内の座標が既知であるものとする。また、撮像部１３の座標系Ｃc1における透過型ディスプレイ１５の４つの頂点の座標も既知であるものとする。従って、撮像部１３の座標系Ｃc1から、この透過型ディスプレイ１５の座標系Ｄpへの変換行列［ＴDp,wp］もまた、既知となる。
【００７２】
制御部１１は、キャリブレーションの処理において利用者の視線ベクトルＶを検出し、これから変換行列［ＴE,wp］を得る。またこれと、既知である［ＴDp,wp］とより、
［ＴDp,E］＝［ＴDp,wp］［ＴE,wp］-1
を演算する。
【００７３】
また記憶部１２には、商品ごとに、商品に外接する直方体の各頂点の座標と、商品に関して表示するべき情報とを関連付けた商品ごとのエントリーを、データベースとして保持しておく。
【００７４】
以下制御部１１は、データベースに格納されている商品ごとのエントリーを一つずつ読み出す。そして各エントリーを読み出すごとに、読み出したエントリーに含まれる、外接する直方体の各頂点の座標に対して、変換行列［ＴE,wp］を乗じて、利用者の視野座標系Ｅでの座標情報に変換する。また情報表示装置１は、変換行列［ＴDp,E］を用いて、上記変換後の座標情報に含まれる座標の情報を、透過型ディスプレイ１５上の点座標Ｑ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の値に変換する。
【００７５】
また制御部１１は、これらＱ1（ｘ1，ｙ1），Ｑ2（ｘ2，ｙ2）…の各点を結ぶ多角形に外接する矩形領域を求め、この透過型ディスプレイ１５上の、この矩形領域内に、読み出したエントリーに含まれている、商品に関して表示するべき情報を表示させる。
【００７６】
この例によると、利用者がガラス面の前を移動しても、利用者にとっては、商品の情報が商品に重ね合わせられて表示されることとなる。
【００７７】
さらに透過型ディスプレイ１５と撮像部１３との位置は必ずしも固定されていなくてもよい。この場合は、制御部１１は、撮像部１３が撮像して得た画像データから透過型ディスプレイ１５の外周にある頂点の座標を検出する。この座標の検出は、例えば矩形の透過型ディスプレイ１５の対角線上の２点にマーカーを取り付けておき、このマーカーを撮像部１３の座標系Ｃc1内で検出することによって行ってもよい。これにより制御部１１は、撮像部１３の座標系Ｃc1、すなわち外界座標系Ｗpから、透過型ディスプレイ１５の座標系Ｄpへの変換行列［ＴDp,wp］を求めることになる。
【００７８】
さらに、ここまでの説明では、表示の対象となる情報は、記憶部１２内にデータベースとして保持することとしていたが、これに限られるものではない。例えばデータベースは外部のサーバに格納しておき、制御部１１は、データベースに対して有線または無線ＬＡＮ、ないしは携帯電話回線網等を介してアクセスし、その内容を検索し、あるいは読み出すようにしても構わない。
【符号の説明】
【００７９】
１ 情報表示装置、１１ 制御部、１２ 記憶部、１３ 撮像部、１４ 眼球検知部、１５ 透過型ディスプレイ、１６ 装着センサ、１７ 変位センサ、２０ フレーム、２１ テンプル、２２ リム、２３ 鼻当て部、２４ ブリッジ、３１ キャリブレーション指示部、３２ キャリブレーション処理部、３３ 情報表示部。
【特許請求の範囲】
【請求項１】
利用者の眼前に配される透過型ディスプレイと、
利用者の視線ベクトルＶを検出する手段と、
前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、
前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、
前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐ内の位置を表す座標に変換する手段と、
前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、
前記求めた表示位置に、前記対象物に対する情報を表示する手段と、
を含む情報表示装置。
【請求項２】
請求項１の情報表示装置において、
さらに、利用者の頭部に装着されたことを検出するセンサ、をさらに有し、
前記位置合わせ手段は、前記センサにより、情報表示装置が装着されたと検出した時点で、前記変換行列を求める情報表示装置。
【請求項３】
請求項２の情報表示装置において、
前記センサが、情報表示装置が利用者の頭部に装着されたことを検出してから、情報処理装置と、前記視点位置との相対的位置変動を検出する手段をさらに有し、
前記位置合わせ手段は、当該検出した相対的位置変動に基づいて、前記変換行列を補正する情報表示装置。
【請求項４】
請求項１から３のいずれか一項に記載の情報表示装置において、
さらに、前記外界座標系Ｗｐと、前記透過型ディスプレイ上の座標系Ｄｐとの変換行列を求める手段を有する情報表示装置。
【請求項５】
透過型ディスプレイを備えたコンピュータを、
利用者の視線ベクトルＶを検出する手段と、
前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、
前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、
前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐの内の位置を表す座標に変換する手段と、
前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、
前記求めた表示位置に、前記対象物に対する情報を表示する手段と、
として機能させるプログラム。
【請求項１】
利用者の眼前に配される透過型ディスプレイと、
利用者の視線ベクトルＶを検出する手段と、
前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、
前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、
前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐ内の位置を表す座標に変換する手段と、
前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、
前記求めた表示位置に、前記対象物に対する情報を表示する手段と、
を含む情報表示装置。
【請求項２】
請求項１の情報表示装置において、
さらに、利用者の頭部に装着されたことを検出するセンサ、をさらに有し、
前記位置合わせ手段は、前記センサにより、情報表示装置が装着されたと検出した時点で、前記変換行列を求める情報表示装置。
【請求項３】
請求項２の情報表示装置において、
前記センサが、情報表示装置が利用者の頭部に装着されたことを検出してから、情報処理装置と、前記視点位置との相対的位置変動を検出する手段をさらに有し、
前記位置合わせ手段は、当該検出した相対的位置変動に基づいて、前記変換行列を補正する情報表示装置。
【請求項４】
請求項１から３のいずれか一項に記載の情報表示装置において、
さらに、前記外界座標系Ｗｐと、前記透過型ディスプレイ上の座標系Ｄｐとの変換行列を求める手段を有する情報表示装置。
【請求項５】
透過型ディスプレイを備えたコンピュータを、
利用者の視線ベクトルＶを検出する手段と、
前記検出した視線ベクトルＶを用いて、利用者の視野座標系Ｅｐを規定する手段と、
前記規定した利用者の視野座標系Ｅｐ内の座標を、外界座標系Ｗｐ内の座標に変換する変換行列を求める位置合わせ手段と、
前記外界座標系Ｗｐ内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ｅｐの内の位置を表す座標に変換する手段と、
前記視野座標系Ｅｐの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、
前記求めた表示位置に、前記対象物に対する情報を表示する手段と、
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１１４４９１（Ｐ２０１３−１１４４９１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０６４４（Ｐ２０１１−２６０６４４）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（３９００４０１８７）株式会社バッファロー (378)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（３９００４０１８７）株式会社バッファロー (378)
【Ｆターム（参考）】
[ Back to top ]