視線位置推定システム及び視線位置推定プログラム
【課題】視線位置を世界座標系で容易かつ高精度に推定することが可能な視線位置推定システムを提供する。
【解決手段】視線位置推定システム１Ａの制御装置４０Ａは、眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、視野撮影装置３０の撮影画像に含まれる図形に対する観察者の視線位置の観察者座標を算出する観察者座標算出部４１と、視線位置の観察者座標に基づいて、視野撮影装置３０の撮影画像に含まれる図形における、視線位置の観察者座標に対応する部分図形を抽出する部分図形抽出部４２と、図形と世界座標との関係が予め記憶された記憶部４３と、抽出された部分図形と記憶された図形とをマッチングすることによって、抽出された部分図形が記憶された図形のどこに該当するかを判定し、判定結果に基づいて図形と世界座標との関係を参照することによって、視線位置の世界座標を推定する世界座標推定部４４と、を備える。
【解決手段】視線位置推定システム１Ａの制御装置４０Ａは、眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、視野撮影装置３０の撮影画像に含まれる図形に対する観察者の視線位置の観察者座標を算出する観察者座標算出部４１と、視線位置の観察者座標に基づいて、視野撮影装置３０の撮影画像に含まれる図形における、視線位置の観察者座標に対応する部分図形を抽出する部分図形抽出部４２と、図形と世界座標との関係が予め記憶された記憶部４３と、抽出された部分図形と記憶された図形とをマッチングすることによって、抽出された部分図形が記憶された図形のどこに該当するかを判定し、判定結果に基づいて図形と世界座標との関係を参照することによって、視線位置の世界座標を推定する世界座標推定部４４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の視線位置を推定する視線位置推定システム及び視線位置推定プログラムに関する。
【背景技術】
【０００２】
心理学、ユーザーインターフェース等の研究において、ヒト（観察者）がどこを見ているか（視線位置）を計測することは大変有意義であり、様々な計測手法が開発されてきた。
このような視線位置の計測手法は、観察者の眼球を撮影するカメラを観察者から離れた場所に設置する手法と、観察者の頭部に搭載する手法と、に大別される。
【０００３】
観察者から離れた場所に設置したカメラで眼球を撮影する手法は、観察者の頭部、体等がある程度動いても、観察者が存在する三次元空間を基準とした世界座標系で視線位置を計測することができる。
しかし、計測精度を向上するためには、装置規模及び演算量が大きくなってしまうため、計測の環境に制限（例えば、自動車の運転席等）を設けることが行われている（特許文献１参照）。
【０００４】
一方、観察者の頭部に搭載したカメラで眼球を撮影する手法は、眼球方向の計測制度を高くすることができるが、観察者の頭部を基準とした観察者座標系で眼球方向を計測するため、頭部運動等が発生した場合には、観察者座標系において視線方向が一定であっても世界座標系では視線方向が変化してしまう。
そのため、従来の手法は、世界座標系における頭部の姿勢を別途計測し、計測された頭部の姿勢と観察者座標系における眼球方向とを合算することによって、世界座標系における視線位置を算出する。すなわち、従来の手法は、較正パターンを用いて眼球運動計測の較正を行う（特許文献２，３参照）とともに、磁気センサ等を用いて頭部運動を別途計測する（特許文献４参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４５５１７６６号公報
【特許文献２】特許第２６１５８３１号公報
【特許文献３】特開平１１−１２８１７０号公報
【特許文献４】特開平４−４９９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、観察者の頭部に搭載したカメラで眼球を撮影する手法では、視線位置を世界座標系で特定したい場合には、頭部姿勢を別途計測する必要があるため、計測が煩雑であり、頭部姿勢計測に起因する誤差が生じるという問題があった。
【０００７】
本発明は、前記した事情に鑑みて創案されたものであり、視線位置を世界座標系で容易かつ高精度に推定することが可能な視線位置推定システム及び視線位置推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、本発明の視線位置推定システムは、観察者の視野に設けられており、図形が表示される表示装置と、前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、前記観察者の視線位置の世界座標を推定する制御装置と、を備えており、制御装置は、観察者座標算出部と、部分図形抽出部と、記憶部と、世界座標推定部と、を備える。
【０００９】
かかる構成によると、前記制御装置は、観察者座標算出部によって、前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する。ここで、観察者座標算出部は、例えば、予め記憶された前記図形における前記観察者の複数の視線位置と、前記眼球撮影部によって撮影された眼球方向と、の関係、又は、予め記憶された観察者と表示部との距離、を用いることによって、視線位置の観察者座標を算出する。
【００１０】
続いて、前記制御装置は、部分図形抽出部によって、前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位を抽出し、世界座標推定部によって、抽出された前記部分図形と記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する。
【００１１】
前記図形は、非可視光を特異的に反射する素材によって前記表示装置に描画されている構成であってもよい。
【００１２】
また、視線位置推定システムは、非可視光を照射することによって、前記図形を前記表示装置に表示させる非可視光照射装置をさらに備える構成であってもよい。
【００１３】
前記図形は、当該図形の一部から当該図形全体における位置を特定することが可能な局所的唯一図形であってもよい。
【００１４】
さらに、前記局所的唯一図形は、サーキュラーゾーンプレートであってもよく、サーキュラーゾーンプレートと格子模様とを組み合わせた図形であってもよい。
【００１５】
前記記憶部には、前記図形における前記観察者の複数の視線位置と、前記眼球撮影部によって撮影された眼球方向と、の関係が予め記憶されており、前記観察者座標算出部は、予め記憶された前記関係を用いて、前記図形における前記観察者の視線位置を算出する構成であってもよい。
【００１６】
また、本発明は、コンピュータを前記した視線位置推定システムの制御装置（例えば、観察者座標算出部、部分図形抽出部及び世界座標推定部）として機能させるとして視線位置推定プログラムとしても具現化可能である。
【発明の効果】
【００１７】
本発明によれば、視線位置を世界座標系で容易かつ高精度に推定することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る視線位置推定システムの概要を説明する図である。
【図２】本発明の第一の実施形態に係る視線位置推定システムを示す模式図である。
【図３】局所的唯一図形を示す図である。
【図４】本発明の第一の実施形態に係る制御装置を示すブロック図である。
【図５】較正作業を説明するための図である。
【図６】本発明の第二の実施形態に係る視線位置推定システムを示す模式図である。
【図７】本発明の第二の実施形態に係る制御装置を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。なお、以下の説明において、観察者の頭部を基準とした観察者座標系を（ｘ，ｙ）で表し（ｘ：水平軸、ｙ：鉛直軸）が、観察者が存在する三次元空間を基準とした世界座標系を（Ｘ，Ｙ）で表す（Ｘ：水平軸、Ｙ：鉛直軸）。
【００２０】
本発明の実施形態に係る視線位置推定システムは、図１に示すように、観察者２の表示装置５０上における視線位置を世界座標系で推定するものであり、記録媒体再生装置４と、照射装置５と、を備える。記録媒体再生装置４は、記録媒体に記録された映像データを読み出して照射装置５へ出力し、照射装置５は、映像データに基づいて映像光を表示装置５０に照射する。観察者２は、表示装置５０に表示された映像を観察し、映像中の移動体（例えば、車両等）を追従するように、表示装置５０上の視線位置を移動させる。なお、図１の表示装置５０に点線で記述された同心円は、後記するサーキュラーゾーンプレートからなる局所的唯一図形５２を表しており、かかる局所的唯一図形５２は、非可視光にて表示されているため、観察者２には見えない。
【００２１】
＜第一の実施形態＞
図２に示すように、本発明の第一の実施形態に係る視線位置推定システム１Ａは、観察者２に装着される装置群として、眼球撮影装置１０Ｌ，１０Ｒ（図２には、右眼球用の眼球撮影装置１０Ｒのみを図示）と、ミラー２０Ｌ，２０Ｒ（図２には、右眼球用のミラー１０Ｒのみを図示）と、視野撮影装置３０と、制御装置４０Ａと、を備えており、これらは、観察者２が被るキャップ３の鍔部分に取り付けられている。なお、ミラー２０Ｌ，３０Ｒを省略して眼球撮影装置１０Ｌ，１０Ｒが直接眼球を撮影する構成であってもよく、制御装置４０Ａは、観察者２に装着されていなくてもよい。また、視線位置推定システム１Ａは、ディスプレイ、スピーカ等からなる通知装置６０（図４参照）と、記憶装置７０（図４参照）と、を備える。さらに、視線位置推定システム１Ａは、表示装置５０（図１参照）の一例として、表示装置５０Ａをさらに備えており、キャップ３を被った観察者２は、表示装置５０Ａに対してある程度離れた場所に位置して表示装置５０Ａを見る。
【００２２】
＜表示装置＞
表示装置５０Ａは、スクリーンであり、その表示面には、非可視光の一例である赤外線を特異的に反射する塗料５１によって、局所的唯一図形５２が描画されている。かかる構成によると、局所的唯一図形５２は観察者２には見えないので、表示装置５０Ａに映像を表示して当該映像を見た場合の視線位置を推定することが可能となる。すなわち、表示装置５０Ａには、照射装置５によって生成された、観察者２が見ることが可能な映像と、観察者２には見えないが視野撮影装置３０によって撮影することが可能な局所的唯一図形５２と、が重ねて表示されている。
局所的唯一図形５２は、当該図形の一部から当該図形全体における位置を特定することが可能な図形であり、本実施形態では、図３（ａ）に示すサーキュラーゾーンプレート（以下、ＣＺＰと記載する）が局所的唯一図形５２の一例として採用されている。
表示部５０Ａの表示面は、世界座標系の互いに直交するＸ軸及びＹ軸によって構成される平面上に存在する。かかる世界座標系の原点は、観察者２の頭部運動によらず、一定の位置（例えば、表示部５０Ａの表示面の中心）に存在する。
【００２３】
＜眼球撮影装置及びミラー＞
眼球撮影装置１０Ｌは、観察者２の左眼球をミラー２０Ｌを介して撮影し、撮影画像を制御部４０Ａへ出力する。また、眼球撮影装置１０Ｒは、観察者２の右眼球をミラー２０Ｒを介して撮影し、撮影画像を制御装置４０Ａへ出力する。
【００２４】
＜視野撮影装置＞
視野撮影装置３０は、本実施形態では、表示装置５０Ａの全体よりも広い領域を撮影可能な広角カメラであって、表示装置５０Ａに描画された局所的唯一図形５２を撮影する赤外線カメラである。視野撮影装置３０の撮影画像は、制御装置４０Ａへ出力される。なお、視野撮影装置３０は、表示装置５０Ａの全体よりも広い領域を撮影可能な広角カメラに限定されず、表示装置５０Ａのうち、観察者２の視線位置が含まれる一部分のみを撮影可能なカメラであればよい。すなわち、視野撮影装置３０の撮影画像において、表示装置５０Ａが見切れていたとしても、本実施形態に係る視線位置推定システム１Ａは、観察者２の表示装置５０Ａ上における視線位置を世界座標系で推定することができる。
【００２５】
＜制御装置＞
制御装置４０Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、入出力回路等から構成されており、図４に示すように、機能部として、観察者座標算出部４１と、部分図形抽出部４２と、記憶部４３と、世界座標推定部４４と、較正部４５と、を備える。
【００２６】
≪観察者座標算出部≫
観察者座標算出部４１は、観察者座標系において、観察者２の視線位置の座標（観察者視線位置座標）を算出する。詳細には、観察者座標算出部４１は、眼球撮影装置１０Ｌ，１０Ｒ及び視野撮影装置３０の撮影画像を取得し、取得された眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、観察者２の眼球の向きを算出し、かかる眼球の向きと、較正部４５によって算出された複数の観察者座標と眼球の向きとの関係と、に基づいて、視野撮影装置３０によって撮影された局所的唯一図形５２に対する観察者２の視線位置の観察者視線位置座標を算出する。算出された観察者視線位置座標は、部分図形抽出部４２へ出力される。本実施形態では、表示部５０Ａ上の複数の観察者視線位置座標と、視線の向き（眼球の向き）との関係が較正部４５によって予め求められているため、観察者座標算出部４１は、かかる関係を用いて観察者２の視線位置の観察者視線位置座標を算出することができる。
【００２７】
≪部分図形抽出部≫
部分図形抽出部４２は、観察者視線位置座標に対応する局所的唯一図形５２の一部を抽出する。詳細には、部分図形抽出部４２は、視野撮影装置３０の撮影画像に含まれる局所的唯一図形５２における、観察者座標算出部４１によって算出された観察者視線位置座標に対応する部位、例えば、局所的唯一図形５２のうち、観察者視線位置座標を中心とする正方形を設定し、当該正方形に囲まれた部位を抽出する。抽出された局所的唯一図形５２の部位、すなわち部分図形は、世界座標推定部４４へ出力される。
【００２８】
≪記憶部≫
記憶部４３には、局所的唯一図形５２と、世界座標（Ｘ，Ｙ）と、の関係が予め記憶されている。すなわち、表示部５０Ａに塗料５１によって描画された局所的唯一図形５２の任意の位置の世界座標（Ｘ，Ｙ）は、記憶部４３に記憶された局所的唯一図形５２の該当する位置の世界座標（Ｘ，Ｙ）と一致している。また、記憶部４３には、較正部４５によって算出された複数の観察者視線位置座標と眼球の向きとの関係が記憶される。
【００２９】
≪世界座標推定部≫
世界座標推定部４４は、観察者視線位置座標に対応する世界座標を推定する。詳細には、世界座標推定部４４は、記憶部４３に記憶された局所的唯一図形５２と、部分図形抽出部４２によって抽出された局所的唯一図形５２の部分図形と、をマッチングすることによって、部分図形が局所的唯一図形５２のどこに該当するかを判定し、判定結果に基づいて記憶部４３に記憶された局所的唯一図形５２と世界座標との関係を参照することによって、視線位置の世界座標を推定する。
【００３０】
≪較正部≫
較正部４５は、眼球撮影装置１０Ｌ，１０Ｒ及び視野撮影装置３０の撮影画像に基づく較正作業の結果として、複数の観察者視線位置座標と眼球の向きとの関係を求めて記憶部４３に記憶させる。詳細には、較正部４５は、表示装置５０Ａ上の複数のポイントを観察者２が見た際の眼球の向きを眼球撮影装置１０Ｌ，１０Ｒから取得し、取得された眼球の向きを複数のポイントそれぞれの観察者座標系における座標と関連付けて記憶部４３に記憶させる。ポイントの数が多いほど、その後の観察者視線位置座標の算出は正確になるため、ポイント間の他のポイントにおける眼球の向きを内挿によって算出し、その観察者座標系における座標と関連付けて記憶部４３に記憶させてもよい。
【００３１】
なお、本実施形態では、視野撮影装置３０が、表示装置５０Ａの全体よりも広い領域を撮影可能な広角カメラである場合、表示装置５０Ａのうち、観察者２の視線位置が含まれる一部分のみを撮影可能なカメラである場合に関わらず、較正部４５は、視野撮影装置３０による表示装置５０Ａの撮影画像の拡大率（ここでの拡大率は、１より小さい縮小の場合を含む）を算出し、世界座標推定部４４は、かかる拡大率に基づいて、抽出された部分図形を拡大又は縮小してから、記憶部４３に記憶された局所的唯一図形５２とのマッチングを行う。本実施形態において、較正部４５は、表示装置５０Ａの撮影画像に含まれる、表示装置５０Ａに表示された局所的唯一図形５２と、記憶部４３に記憶された局所的唯一図形５２と、の大きさを比較することによって、視野撮影措置３０の撮影画像の拡大率を算出することができる。
【００３２】
＜動作例＞
続いて、本発明の第一の実施形態に係る視線位置推定システム１Ａの動作例について説明する。
【００３３】
≪較正≫
視線位置の推定に先行して、較正部４５による較正が予め行われる。視線位置推定システム１Ａは、モニタからなる表示装置８０と、ボタン等からなる入力装置９０と、をさらに備える。較正部８０は、視野撮影装置３０によって撮影された撮影画像を表示装置８０に表示させた状態で、図５に示す×印（左上隅）ｐ１を撮影画像上に表示させる。続いて、較正作業者がレーザポインタ等で×印ｐ１に該当する表示装置５０Ａ上の位置を指し示し、観察者２は、眼球撮影装置１０Ｌ，１０Ｒ、ミラー２０Ｌ，２０Ｒ及び視線撮影装置３０を頭部に装着した状態で、これらの×印ｐ１に視線を合わせ、レーザポインタ等が指し示す位置が×印ｐ１と一致しており、かつ、観察者２の視線が×印ｐ１に合っている状態で入力装置９０を操作する。較正部４５は、眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、入力装置９０が操作されたときの眼球の鉛直（上下）方向の角度θ１と水平（左右）方向の角度ψ１との組み合わせ（θ１，ψ１）を算出し、算出された（θ１，ψ１）と、×印ｐ１の観察者視線位置座標（ｘ１，ｙ１）とを関連付けて記憶部４３に記憶させる。続いて、較正部４５は、図５に示す×印（中央上）ｐ２を撮影画像上に表示させる。較正作業者及び観察者２は、同様の動作を行い、（θ２，ψ２）と、×印ｐ２の観察者視線位置座標（ｘ２，ｙ２）とを関連付けて記憶部４３に記憶させる。かかる較正作業を繰り返すことによって、較正部４５は、（θ１，ψ１），…，（θ９，ψ９）と、９点の×印ｐ１〜ｐ９（左上隅ｐ１，中央上ｐ２，右上隅ｐ３，左中央ｐ４，中央ｐ５，右中央ｐ６，左下隅ｐ７，中央下ｐ８，右下隅ｐ９）の観察者視線位置座標（ｘ１，ｙ１），…，（ｘ９，ｙ９）と、をそれぞれ関連付けて記憶部４３に記憶させる。
【００３４】
較正作業の終了後、図２に示す照射装置５によって表示部５０Ａに映像が表示された状態で、観察者２が映像のどこを注視しているか、すなわち、観察者２の視線位置の推定が開始される。観察者２は、較正作業を行った場所において、眼球撮影装置１０Ｌ，１０Ｒ、ミラー２０Ｌ，２０Ｒ及び視線撮影装置３０を頭部に装着した状態で、表示部５０Ａに表示された映像を見て、頭部や眼球の向きを変えることにより、例えば映像中の移動体を追従するように視線位置を移動させる。眼球撮影装置１０Ｌ，１０Ｒは、観察者の左右の眼球を撮影して撮影画像を観察者座標算出部４１へ出力し、視線撮影装置３０は、表示装置５０Ａを撮影して撮影画像を観察者座標算出部４１及び部分図形抽出部４２へ出力する。
【００３５】
≪視線位置推定≫
観察者座標算出部４１は、眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、眼球の向き、すなわち、観察者２の視線方向（θａ，ψａ）を算出する。続いて、観察者座標算出部４１は、記憶部４３に記憶された（θ１，ψ１），…，（θ９，ψ９）を補間することによって、観察者座標系における観察者２の視線位置（ｘａ，ｙａ）を算出する。
【００３６】
続いて、部分図形抽出部４２は、視野撮影装置３０の撮影画像に含まれる局所的唯一図形５２における、観察者座標算出部４１によって算出された観察者視線位置座標に対応する部分図形１１０（図３（ａ）参照）（観察者視線位置座標（ｘａ，ｙａ）を含む）を抽出して世界座標推定部４４へ出力する。
【００３７】
続いて、世界座標推定部４４は、記憶部４３に記憶された局所的唯一図形５２と、部分図形抽出部４２によって抽出された局所的唯一図形５２の部分図形１１０（図３（ａ）参照）と、をマッチングすることによって、部分図形１１０が局所的唯一図形５２のどこに該当するかを判定し、当該位置の世界座標（Ｘａ，Ｙａ）を記憶部４３から読み出す。さらに世界座標推定部４４は、読み出された世界座標（Ｘａ，Ｙａ）を世界座標系における観察者視線位置座標として通知装置６０へ出力して表示や発話させたり、読み出された座標（Ｘａ，Ｙａ）を読み出された時刻と関連付けて記憶装置７０へ記憶させたりする。
【００３８】
本発明の第一の実施形態に係る視線位置推定システム１Ａは、頭部姿勢を別途計測することなく、視線位置を世界座標系で容易かつ高精度に推定することができる。また、第一の実施形態に係る視線位置推定システム１Ａは、視線位置の世界座標を映像単位で推定するので、観察者２が映像のどの部位に関心があるのかを知るのに利用可能である。
【００３９】
なお、図３（ｂ）に示すように、ＣＺＰと格子模様とを組み合わせた図形である局所的唯一図形５３を表示装置５０Ａに表示する構成であってもよい。かかる構成によると、観察者２が観察者２と表示装置５０Ａとを通る軸線回りに首を回転させた場合であっても、世界座標推定部４４が図形のマッチングを容易に行うことができる。
【００４０】
＜第二の実施形態＞
続いて、本発明の第二の実施形態に係る視線位置推定システムについて、第一の実施形態に係る視線位置推定システム１Ａとの相違点を中心に説明する。
【００４１】
図６に示すように、本発明の第二の実施形態に係る視線位置推定システム１Ｂは、制御装置４０Ａ及び表示装置５０Ａに代えて制御装置４０Ｂ及び表示装置５０Ｂを備えるとともに、照射装置１００をさらに備える。
【００４２】
図７に示すように、制御装置４０Ｂは、図形出力部４６をさらに備える。図形出力部４６は、記憶部４３に記憶された局所的唯一図形５２を読み出し、照射装置１００に局所的唯一図形５２を呈する赤外線を照射させる。
【００４３】
図８に示すように、表示装置５０Ｂは、スクリーンであり、その表示面には、照射装置１００によって照射された非可視光の一例である赤外線によって、局所的唯一図形５２が描画されている。すなわち、表示装置５０Ｂは、照射装置１００によって照射された赤外線を反射しており、視野撮影部３０は、反射した赤外線を撮影する。ここで、表示装置５０Ｂは、当該表示装置５０Ｂの設置位置及び向きを調整したり、ズーム機能等を用いたりすることによって、局所的唯一図形５２の中心が表示装置５０Ｂの中心に位置するとともに、局所的唯一図形５２の所定箇所が表示装置５０Ｂの所定箇所に位置するように赤外線を照射する。このようにすることで、表示装置５０Ｂに表示された局所的唯一図形５２の世界座標を、記憶部４３に記憶された世界座標と一致させる。
【００４４】
本発明の第二の実施形態に係る視線位置推定システム１Ｂは、頭部姿勢を別途計測することなく、視線位置を世界座標系で容易かつ高精度に推定することができる。また、第二の実施形態に係る視線位置推定システム１Ｂは、視線位置の世界座標を映像単位で推定するので、観察者２が映像のどの部位に関心があるのかを知るのに利用可能である。
【００４５】
以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、図形は局所的唯一図形に限定されず、また、図形の描画は可視光であってもよい。また、較正作業によって得られた視線方向と視線位置との関係に代えて、観察者２と表示装置５０Ａ，５０Ｂとの距離を予め測定して記憶部４３に記憶させておき、観察者座標算出部４１が、予め記憶された距離と、視線方向と、に基づいて視線位置の観察者座標を算出する構成であってもよい。また、較正作業に用いられるポイントは、表示装置５０，５０Ａ，５０Ｂの表示面上に予め位置決めされた３つ以上のポイント（ただし、全てのポイントが一直線上に並ばないように配置される）であればよい。
【００４６】
また、本発明は、コンピュータを制御装置４０Ａ，４０Ｂ（例えば、観察者座標算出部４１、部分図形抽出部４２及び世界座標推定部４４）として機能させる視線位置推定プログラムとしても具現化可能である。
【符号の説明】
【００４７】
１Ａ，１Ｂ 視線位置推定システム
２ 観察者
３ キャップ
４ 記録媒体再生装置
５ 照射装置
１０Ｌ，１０Ｒ 眼球撮影装置
２０Ｌ，２０Ｒ ミラー
３０ 視野撮影装置
４０Ａ，４０Ｂ 制御装置
４１ 観察者座標算出部
４２ 部分図形抽出部
４３ 記憶部
４４ 世界座標推定部
４５ 較正部
４６ 図形出力部
５０，５０Ａ，５０Ｂ 表示装置
５１ 塗料（非可視光を特異的に反射する素材）
５２，５３ 局所的唯一図形
６０ 通知装置
７０ 記憶装置
１００ 照射装置（非可視光照射装置）
１１０ 抽出図形
【技術分野】
【０００１】
本発明は、観察者の視線位置を推定する視線位置推定システム及び視線位置推定プログラムに関する。
【背景技術】
【０００２】
心理学、ユーザーインターフェース等の研究において、ヒト（観察者）がどこを見ているか（視線位置）を計測することは大変有意義であり、様々な計測手法が開発されてきた。
このような視線位置の計測手法は、観察者の眼球を撮影するカメラを観察者から離れた場所に設置する手法と、観察者の頭部に搭載する手法と、に大別される。
【０００３】
観察者から離れた場所に設置したカメラで眼球を撮影する手法は、観察者の頭部、体等がある程度動いても、観察者が存在する三次元空間を基準とした世界座標系で視線位置を計測することができる。
しかし、計測精度を向上するためには、装置規模及び演算量が大きくなってしまうため、計測の環境に制限（例えば、自動車の運転席等）を設けることが行われている（特許文献１参照）。
【０００４】
一方、観察者の頭部に搭載したカメラで眼球を撮影する手法は、眼球方向の計測制度を高くすることができるが、観察者の頭部を基準とした観察者座標系で眼球方向を計測するため、頭部運動等が発生した場合には、観察者座標系において視線方向が一定であっても世界座標系では視線方向が変化してしまう。
そのため、従来の手法は、世界座標系における頭部の姿勢を別途計測し、計測された頭部の姿勢と観察者座標系における眼球方向とを合算することによって、世界座標系における視線位置を算出する。すなわち、従来の手法は、較正パターンを用いて眼球運動計測の較正を行う（特許文献２，３参照）とともに、磁気センサ等を用いて頭部運動を別途計測する（特許文献４参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４５５１７６６号公報
【特許文献２】特許第２６１５８３１号公報
【特許文献３】特開平１１−１２８１７０号公報
【特許文献４】特開平４−４９９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、観察者の頭部に搭載したカメラで眼球を撮影する手法では、視線位置を世界座標系で特定したい場合には、頭部姿勢を別途計測する必要があるため、計測が煩雑であり、頭部姿勢計測に起因する誤差が生じるという問題があった。
【０００７】
本発明は、前記した事情に鑑みて創案されたものであり、視線位置を世界座標系で容易かつ高精度に推定することが可能な視線位置推定システム及び視線位置推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、本発明の視線位置推定システムは、観察者の視野に設けられており、図形が表示される表示装置と、前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、前記観察者の視線位置の世界座標を推定する制御装置と、を備えており、制御装置は、観察者座標算出部と、部分図形抽出部と、記憶部と、世界座標推定部と、を備える。
【０００９】
かかる構成によると、前記制御装置は、観察者座標算出部によって、前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する。ここで、観察者座標算出部は、例えば、予め記憶された前記図形における前記観察者の複数の視線位置と、前記眼球撮影部によって撮影された眼球方向と、の関係、又は、予め記憶された観察者と表示部との距離、を用いることによって、視線位置の観察者座標を算出する。
【００１０】
続いて、前記制御装置は、部分図形抽出部によって、前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位を抽出し、世界座標推定部によって、抽出された前記部分図形と記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する。
【００１１】
前記図形は、非可視光を特異的に反射する素材によって前記表示装置に描画されている構成であってもよい。
【００１２】
また、視線位置推定システムは、非可視光を照射することによって、前記図形を前記表示装置に表示させる非可視光照射装置をさらに備える構成であってもよい。
【００１３】
前記図形は、当該図形の一部から当該図形全体における位置を特定することが可能な局所的唯一図形であってもよい。
【００１４】
さらに、前記局所的唯一図形は、サーキュラーゾーンプレートであってもよく、サーキュラーゾーンプレートと格子模様とを組み合わせた図形であってもよい。
【００１５】
前記記憶部には、前記図形における前記観察者の複数の視線位置と、前記眼球撮影部によって撮影された眼球方向と、の関係が予め記憶されており、前記観察者座標算出部は、予め記憶された前記関係を用いて、前記図形における前記観察者の視線位置を算出する構成であってもよい。
【００１６】
また、本発明は、コンピュータを前記した視線位置推定システムの制御装置（例えば、観察者座標算出部、部分図形抽出部及び世界座標推定部）として機能させるとして視線位置推定プログラムとしても具現化可能である。
【発明の効果】
【００１７】
本発明によれば、視線位置を世界座標系で容易かつ高精度に推定することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る視線位置推定システムの概要を説明する図である。
【図２】本発明の第一の実施形態に係る視線位置推定システムを示す模式図である。
【図３】局所的唯一図形を示す図である。
【図４】本発明の第一の実施形態に係る制御装置を示すブロック図である。
【図５】較正作業を説明するための図である。
【図６】本発明の第二の実施形態に係る視線位置推定システムを示す模式図である。
【図７】本発明の第二の実施形態に係る制御装置を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。なお、以下の説明において、観察者の頭部を基準とした観察者座標系を（ｘ，ｙ）で表し（ｘ：水平軸、ｙ：鉛直軸）が、観察者が存在する三次元空間を基準とした世界座標系を（Ｘ，Ｙ）で表す（Ｘ：水平軸、Ｙ：鉛直軸）。
【００２０】
本発明の実施形態に係る視線位置推定システムは、図１に示すように、観察者２の表示装置５０上における視線位置を世界座標系で推定するものであり、記録媒体再生装置４と、照射装置５と、を備える。記録媒体再生装置４は、記録媒体に記録された映像データを読み出して照射装置５へ出力し、照射装置５は、映像データに基づいて映像光を表示装置５０に照射する。観察者２は、表示装置５０に表示された映像を観察し、映像中の移動体（例えば、車両等）を追従するように、表示装置５０上の視線位置を移動させる。なお、図１の表示装置５０に点線で記述された同心円は、後記するサーキュラーゾーンプレートからなる局所的唯一図形５２を表しており、かかる局所的唯一図形５２は、非可視光にて表示されているため、観察者２には見えない。
【００２１】
＜第一の実施形態＞
図２に示すように、本発明の第一の実施形態に係る視線位置推定システム１Ａは、観察者２に装着される装置群として、眼球撮影装置１０Ｌ，１０Ｒ（図２には、右眼球用の眼球撮影装置１０Ｒのみを図示）と、ミラー２０Ｌ，２０Ｒ（図２には、右眼球用のミラー１０Ｒのみを図示）と、視野撮影装置３０と、制御装置４０Ａと、を備えており、これらは、観察者２が被るキャップ３の鍔部分に取り付けられている。なお、ミラー２０Ｌ，３０Ｒを省略して眼球撮影装置１０Ｌ，１０Ｒが直接眼球を撮影する構成であってもよく、制御装置４０Ａは、観察者２に装着されていなくてもよい。また、視線位置推定システム１Ａは、ディスプレイ、スピーカ等からなる通知装置６０（図４参照）と、記憶装置７０（図４参照）と、を備える。さらに、視線位置推定システム１Ａは、表示装置５０（図１参照）の一例として、表示装置５０Ａをさらに備えており、キャップ３を被った観察者２は、表示装置５０Ａに対してある程度離れた場所に位置して表示装置５０Ａを見る。
【００２２】
＜表示装置＞
表示装置５０Ａは、スクリーンであり、その表示面には、非可視光の一例である赤外線を特異的に反射する塗料５１によって、局所的唯一図形５２が描画されている。かかる構成によると、局所的唯一図形５２は観察者２には見えないので、表示装置５０Ａに映像を表示して当該映像を見た場合の視線位置を推定することが可能となる。すなわち、表示装置５０Ａには、照射装置５によって生成された、観察者２が見ることが可能な映像と、観察者２には見えないが視野撮影装置３０によって撮影することが可能な局所的唯一図形５２と、が重ねて表示されている。
局所的唯一図形５２は、当該図形の一部から当該図形全体における位置を特定することが可能な図形であり、本実施形態では、図３（ａ）に示すサーキュラーゾーンプレート（以下、ＣＺＰと記載する）が局所的唯一図形５２の一例として採用されている。
表示部５０Ａの表示面は、世界座標系の互いに直交するＸ軸及びＹ軸によって構成される平面上に存在する。かかる世界座標系の原点は、観察者２の頭部運動によらず、一定の位置（例えば、表示部５０Ａの表示面の中心）に存在する。
【００２３】
＜眼球撮影装置及びミラー＞
眼球撮影装置１０Ｌは、観察者２の左眼球をミラー２０Ｌを介して撮影し、撮影画像を制御部４０Ａへ出力する。また、眼球撮影装置１０Ｒは、観察者２の右眼球をミラー２０Ｒを介して撮影し、撮影画像を制御装置４０Ａへ出力する。
【００２４】
＜視野撮影装置＞
視野撮影装置３０は、本実施形態では、表示装置５０Ａの全体よりも広い領域を撮影可能な広角カメラであって、表示装置５０Ａに描画された局所的唯一図形５２を撮影する赤外線カメラである。視野撮影装置３０の撮影画像は、制御装置４０Ａへ出力される。なお、視野撮影装置３０は、表示装置５０Ａの全体よりも広い領域を撮影可能な広角カメラに限定されず、表示装置５０Ａのうち、観察者２の視線位置が含まれる一部分のみを撮影可能なカメラであればよい。すなわち、視野撮影装置３０の撮影画像において、表示装置５０Ａが見切れていたとしても、本実施形態に係る視線位置推定システム１Ａは、観察者２の表示装置５０Ａ上における視線位置を世界座標系で推定することができる。
【００２５】
＜制御装置＞
制御装置４０Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、入出力回路等から構成されており、図４に示すように、機能部として、観察者座標算出部４１と、部分図形抽出部４２と、記憶部４３と、世界座標推定部４４と、較正部４５と、を備える。
【００２６】
≪観察者座標算出部≫
観察者座標算出部４１は、観察者座標系において、観察者２の視線位置の座標（観察者視線位置座標）を算出する。詳細には、観察者座標算出部４１は、眼球撮影装置１０Ｌ，１０Ｒ及び視野撮影装置３０の撮影画像を取得し、取得された眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、観察者２の眼球の向きを算出し、かかる眼球の向きと、較正部４５によって算出された複数の観察者座標と眼球の向きとの関係と、に基づいて、視野撮影装置３０によって撮影された局所的唯一図形５２に対する観察者２の視線位置の観察者視線位置座標を算出する。算出された観察者視線位置座標は、部分図形抽出部４２へ出力される。本実施形態では、表示部５０Ａ上の複数の観察者視線位置座標と、視線の向き（眼球の向き）との関係が較正部４５によって予め求められているため、観察者座標算出部４１は、かかる関係を用いて観察者２の視線位置の観察者視線位置座標を算出することができる。
【００２７】
≪部分図形抽出部≫
部分図形抽出部４２は、観察者視線位置座標に対応する局所的唯一図形５２の一部を抽出する。詳細には、部分図形抽出部４２は、視野撮影装置３０の撮影画像に含まれる局所的唯一図形５２における、観察者座標算出部４１によって算出された観察者視線位置座標に対応する部位、例えば、局所的唯一図形５２のうち、観察者視線位置座標を中心とする正方形を設定し、当該正方形に囲まれた部位を抽出する。抽出された局所的唯一図形５２の部位、すなわち部分図形は、世界座標推定部４４へ出力される。
【００２８】
≪記憶部≫
記憶部４３には、局所的唯一図形５２と、世界座標（Ｘ，Ｙ）と、の関係が予め記憶されている。すなわち、表示部５０Ａに塗料５１によって描画された局所的唯一図形５２の任意の位置の世界座標（Ｘ，Ｙ）は、記憶部４３に記憶された局所的唯一図形５２の該当する位置の世界座標（Ｘ，Ｙ）と一致している。また、記憶部４３には、較正部４５によって算出された複数の観察者視線位置座標と眼球の向きとの関係が記憶される。
【００２９】
≪世界座標推定部≫
世界座標推定部４４は、観察者視線位置座標に対応する世界座標を推定する。詳細には、世界座標推定部４４は、記憶部４３に記憶された局所的唯一図形５２と、部分図形抽出部４２によって抽出された局所的唯一図形５２の部分図形と、をマッチングすることによって、部分図形が局所的唯一図形５２のどこに該当するかを判定し、判定結果に基づいて記憶部４３に記憶された局所的唯一図形５２と世界座標との関係を参照することによって、視線位置の世界座標を推定する。
【００３０】
≪較正部≫
較正部４５は、眼球撮影装置１０Ｌ，１０Ｒ及び視野撮影装置３０の撮影画像に基づく較正作業の結果として、複数の観察者視線位置座標と眼球の向きとの関係を求めて記憶部４３に記憶させる。詳細には、較正部４５は、表示装置５０Ａ上の複数のポイントを観察者２が見た際の眼球の向きを眼球撮影装置１０Ｌ，１０Ｒから取得し、取得された眼球の向きを複数のポイントそれぞれの観察者座標系における座標と関連付けて記憶部４３に記憶させる。ポイントの数が多いほど、その後の観察者視線位置座標の算出は正確になるため、ポイント間の他のポイントにおける眼球の向きを内挿によって算出し、その観察者座標系における座標と関連付けて記憶部４３に記憶させてもよい。
【００３１】
なお、本実施形態では、視野撮影装置３０が、表示装置５０Ａの全体よりも広い領域を撮影可能な広角カメラである場合、表示装置５０Ａのうち、観察者２の視線位置が含まれる一部分のみを撮影可能なカメラである場合に関わらず、較正部４５は、視野撮影装置３０による表示装置５０Ａの撮影画像の拡大率（ここでの拡大率は、１より小さい縮小の場合を含む）を算出し、世界座標推定部４４は、かかる拡大率に基づいて、抽出された部分図形を拡大又は縮小してから、記憶部４３に記憶された局所的唯一図形５２とのマッチングを行う。本実施形態において、較正部４５は、表示装置５０Ａの撮影画像に含まれる、表示装置５０Ａに表示された局所的唯一図形５２と、記憶部４３に記憶された局所的唯一図形５２と、の大きさを比較することによって、視野撮影措置３０の撮影画像の拡大率を算出することができる。
【００３２】
＜動作例＞
続いて、本発明の第一の実施形態に係る視線位置推定システム１Ａの動作例について説明する。
【００３３】
≪較正≫
視線位置の推定に先行して、較正部４５による較正が予め行われる。視線位置推定システム１Ａは、モニタからなる表示装置８０と、ボタン等からなる入力装置９０と、をさらに備える。較正部８０は、視野撮影装置３０によって撮影された撮影画像を表示装置８０に表示させた状態で、図５に示す×印（左上隅）ｐ１を撮影画像上に表示させる。続いて、較正作業者がレーザポインタ等で×印ｐ１に該当する表示装置５０Ａ上の位置を指し示し、観察者２は、眼球撮影装置１０Ｌ，１０Ｒ、ミラー２０Ｌ，２０Ｒ及び視線撮影装置３０を頭部に装着した状態で、これらの×印ｐ１に視線を合わせ、レーザポインタ等が指し示す位置が×印ｐ１と一致しており、かつ、観察者２の視線が×印ｐ１に合っている状態で入力装置９０を操作する。較正部４５は、眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、入力装置９０が操作されたときの眼球の鉛直（上下）方向の角度θ１と水平（左右）方向の角度ψ１との組み合わせ（θ１，ψ１）を算出し、算出された（θ１，ψ１）と、×印ｐ１の観察者視線位置座標（ｘ１，ｙ１）とを関連付けて記憶部４３に記憶させる。続いて、較正部４５は、図５に示す×印（中央上）ｐ２を撮影画像上に表示させる。較正作業者及び観察者２は、同様の動作を行い、（θ２，ψ２）と、×印ｐ２の観察者視線位置座標（ｘ２，ｙ２）とを関連付けて記憶部４３に記憶させる。かかる較正作業を繰り返すことによって、較正部４５は、（θ１，ψ１），…，（θ９，ψ９）と、９点の×印ｐ１〜ｐ９（左上隅ｐ１，中央上ｐ２，右上隅ｐ３，左中央ｐ４，中央ｐ５，右中央ｐ６，左下隅ｐ７，中央下ｐ８，右下隅ｐ９）の観察者視線位置座標（ｘ１，ｙ１），…，（ｘ９，ｙ９）と、をそれぞれ関連付けて記憶部４３に記憶させる。
【００３４】
較正作業の終了後、図２に示す照射装置５によって表示部５０Ａに映像が表示された状態で、観察者２が映像のどこを注視しているか、すなわち、観察者２の視線位置の推定が開始される。観察者２は、較正作業を行った場所において、眼球撮影装置１０Ｌ，１０Ｒ、ミラー２０Ｌ，２０Ｒ及び視線撮影装置３０を頭部に装着した状態で、表示部５０Ａに表示された映像を見て、頭部や眼球の向きを変えることにより、例えば映像中の移動体を追従するように視線位置を移動させる。眼球撮影装置１０Ｌ，１０Ｒは、観察者の左右の眼球を撮影して撮影画像を観察者座標算出部４１へ出力し、視線撮影装置３０は、表示装置５０Ａを撮影して撮影画像を観察者座標算出部４１及び部分図形抽出部４２へ出力する。
【００３５】
≪視線位置推定≫
観察者座標算出部４１は、眼球撮影装置１０Ｌ，１０Ｒの撮影画像に基づいて、眼球の向き、すなわち、観察者２の視線方向（θａ，ψａ）を算出する。続いて、観察者座標算出部４１は、記憶部４３に記憶された（θ１，ψ１），…，（θ９，ψ９）を補間することによって、観察者座標系における観察者２の視線位置（ｘａ，ｙａ）を算出する。
【００３６】
続いて、部分図形抽出部４２は、視野撮影装置３０の撮影画像に含まれる局所的唯一図形５２における、観察者座標算出部４１によって算出された観察者視線位置座標に対応する部分図形１１０（図３（ａ）参照）（観察者視線位置座標（ｘａ，ｙａ）を含む）を抽出して世界座標推定部４４へ出力する。
【００３７】
続いて、世界座標推定部４４は、記憶部４３に記憶された局所的唯一図形５２と、部分図形抽出部４２によって抽出された局所的唯一図形５２の部分図形１１０（図３（ａ）参照）と、をマッチングすることによって、部分図形１１０が局所的唯一図形５２のどこに該当するかを判定し、当該位置の世界座標（Ｘａ，Ｙａ）を記憶部４３から読み出す。さらに世界座標推定部４４は、読み出された世界座標（Ｘａ，Ｙａ）を世界座標系における観察者視線位置座標として通知装置６０へ出力して表示や発話させたり、読み出された座標（Ｘａ，Ｙａ）を読み出された時刻と関連付けて記憶装置７０へ記憶させたりする。
【００３８】
本発明の第一の実施形態に係る視線位置推定システム１Ａは、頭部姿勢を別途計測することなく、視線位置を世界座標系で容易かつ高精度に推定することができる。また、第一の実施形態に係る視線位置推定システム１Ａは、視線位置の世界座標を映像単位で推定するので、観察者２が映像のどの部位に関心があるのかを知るのに利用可能である。
【００３９】
なお、図３（ｂ）に示すように、ＣＺＰと格子模様とを組み合わせた図形である局所的唯一図形５３を表示装置５０Ａに表示する構成であってもよい。かかる構成によると、観察者２が観察者２と表示装置５０Ａとを通る軸線回りに首を回転させた場合であっても、世界座標推定部４４が図形のマッチングを容易に行うことができる。
【００４０】
＜第二の実施形態＞
続いて、本発明の第二の実施形態に係る視線位置推定システムについて、第一の実施形態に係る視線位置推定システム１Ａとの相違点を中心に説明する。
【００４１】
図６に示すように、本発明の第二の実施形態に係る視線位置推定システム１Ｂは、制御装置４０Ａ及び表示装置５０Ａに代えて制御装置４０Ｂ及び表示装置５０Ｂを備えるとともに、照射装置１００をさらに備える。
【００４２】
図７に示すように、制御装置４０Ｂは、図形出力部４６をさらに備える。図形出力部４６は、記憶部４３に記憶された局所的唯一図形５２を読み出し、照射装置１００に局所的唯一図形５２を呈する赤外線を照射させる。
【００４３】
図８に示すように、表示装置５０Ｂは、スクリーンであり、その表示面には、照射装置１００によって照射された非可視光の一例である赤外線によって、局所的唯一図形５２が描画されている。すなわち、表示装置５０Ｂは、照射装置１００によって照射された赤外線を反射しており、視野撮影部３０は、反射した赤外線を撮影する。ここで、表示装置５０Ｂは、当該表示装置５０Ｂの設置位置及び向きを調整したり、ズーム機能等を用いたりすることによって、局所的唯一図形５２の中心が表示装置５０Ｂの中心に位置するとともに、局所的唯一図形５２の所定箇所が表示装置５０Ｂの所定箇所に位置するように赤外線を照射する。このようにすることで、表示装置５０Ｂに表示された局所的唯一図形５２の世界座標を、記憶部４３に記憶された世界座標と一致させる。
【００４４】
本発明の第二の実施形態に係る視線位置推定システム１Ｂは、頭部姿勢を別途計測することなく、視線位置を世界座標系で容易かつ高精度に推定することができる。また、第二の実施形態に係る視線位置推定システム１Ｂは、視線位置の世界座標を映像単位で推定するので、観察者２が映像のどの部位に関心があるのかを知るのに利用可能である。
【００４５】
以上、本発明の実施形態について実施形態を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、図形は局所的唯一図形に限定されず、また、図形の描画は可視光であってもよい。また、較正作業によって得られた視線方向と視線位置との関係に代えて、観察者２と表示装置５０Ａ，５０Ｂとの距離を予め測定して記憶部４３に記憶させておき、観察者座標算出部４１が、予め記憶された距離と、視線方向と、に基づいて視線位置の観察者座標を算出する構成であってもよい。また、較正作業に用いられるポイントは、表示装置５０，５０Ａ，５０Ｂの表示面上に予め位置決めされた３つ以上のポイント（ただし、全てのポイントが一直線上に並ばないように配置される）であればよい。
【００４６】
また、本発明は、コンピュータを制御装置４０Ａ，４０Ｂ（例えば、観察者座標算出部４１、部分図形抽出部４２及び世界座標推定部４４）として機能させる視線位置推定プログラムとしても具現化可能である。
【符号の説明】
【００４７】
１Ａ，１Ｂ 視線位置推定システム
２ 観察者
３ キャップ
４ 記録媒体再生装置
５ 照射装置
１０Ｌ，１０Ｒ 眼球撮影装置
２０Ｌ，２０Ｒ ミラー
３０ 視野撮影装置
４０Ａ，４０Ｂ 制御装置
４１ 観察者座標算出部
４２ 部分図形抽出部
４３ 記憶部
４４ 世界座標推定部
４５ 較正部
４６ 図形出力部
５０，５０Ａ，５０Ｂ 表示装置
５１ 塗料（非可視光を特異的に反射する素材）
５２，５３ 局所的唯一図形
６０ 通知装置
７０ 記憶装置
１００ 照射装置（非可視光照射装置）
１１０ 抽出図形
【特許請求の範囲】
【請求項１】
観察者の視野に設けられており、図形が表示される表示装置と、
前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、
前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、
前記観察者の視線位置の世界座標を推定する制御装置と、
を備える視線位置推定システムであって、
前記制御装置は、
前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する観察者座標算出部と、
前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位の部分図形を抽出する部分図形抽出部と、
前記図形と世界座標との関係が予め記憶された記憶部と、
抽出された前記部分図形と記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する世界座標推定部と、
を備えることを特徴とする視線位置推定システム。
【請求項２】
前記図形は、非可視光を特異的に反射する素材によって前記表示装置に描画されている
ことを特徴とする請求項１に記載の視線位置推定システム。
【請求項３】
非可視光を照射することによって、前記図形を前記表示装置に表示させる非可視光照射装置をさらに備える
ことを特徴とする請求項１に記載の視線位置推定システム。
【請求項４】
前記図形は、当該図形の一部から当該図形全体における位置を特定することが可能な局所的唯一図形である
ことを特徴とする請求項１から請求項３のいずれか一項に記載の視線位置推定システム。
【請求項５】
前記局所的唯一図形は、サーキュラーゾーンプレートである
ことを特徴とする請求項４に記載の視線位置推定システム。
【請求項６】
前記局所的唯一図形は、サーキュラーゾーンプレートと格子模様とを組み合わせた図形である
ことを特徴する請求項４に記載の視線位置推定システム。
【請求項７】
前記記憶部には、前記図形における前記観察者の複数の視線位置と、前記眼球撮影部によって撮影された眼球方向と、の関係が予め記憶されており、
前記観察者座標算出部は、予め記憶された前記関係を用いて、前記図形における前記観察者の視線位置を算出する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の視線位置推定システム。
【請求項８】
観察者の視野に設けられており、図形が表示される表示装置と、
前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、
前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、
を備える視線位置推定システムにおいて前記観察者の視線位置の世界座標を推定するために、コンピュータを、
前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する観察者座標算出部、
前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位の部分図形を抽出する部分図形抽出部、及び、
抽出された前記部分図形と記憶部に予め記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記記憶部に予め記憶された前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する世界座標推定部、
として機能させることを特徴とする視線位置推定システム。
【請求項１】
観察者の視野に設けられており、図形が表示される表示装置と、
前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、
前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、
前記観察者の視線位置の世界座標を推定する制御装置と、
を備える視線位置推定システムであって、
前記制御装置は、
前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する観察者座標算出部と、
前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位の部分図形を抽出する部分図形抽出部と、
前記図形と世界座標との関係が予め記憶された記憶部と、
抽出された前記部分図形と記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する世界座標推定部と、
を備えることを特徴とする視線位置推定システム。
【請求項２】
前記図形は、非可視光を特異的に反射する素材によって前記表示装置に描画されている
ことを特徴とする請求項１に記載の視線位置推定システム。
【請求項３】
非可視光を照射することによって、前記図形を前記表示装置に表示させる非可視光照射装置をさらに備える
ことを特徴とする請求項１に記載の視線位置推定システム。
【請求項４】
前記図形は、当該図形の一部から当該図形全体における位置を特定することが可能な局所的唯一図形である
ことを特徴とする請求項１から請求項３のいずれか一項に記載の視線位置推定システム。
【請求項５】
前記局所的唯一図形は、サーキュラーゾーンプレートである
ことを特徴とする請求項４に記載の視線位置推定システム。
【請求項６】
前記局所的唯一図形は、サーキュラーゾーンプレートと格子模様とを組み合わせた図形である
ことを特徴する請求項４に記載の視線位置推定システム。
【請求項７】
前記記憶部には、前記図形における前記観察者の複数の視線位置と、前記眼球撮影部によって撮影された眼球方向と、の関係が予め記憶されており、
前記観察者座標算出部は、予め記憶された前記関係を用いて、前記図形における前記観察者の視線位置を算出する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の視線位置推定システム。
【請求項８】
観察者の視野に設けられており、図形が表示される表示装置と、
前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、
前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、
を備える視線位置推定システムにおいて前記観察者の視線位置の世界座標を推定するために、コンピュータを、
前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する観察者座標算出部、
前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位の部分図形を抽出する部分図形抽出部、及び、
抽出された前記部分図形と記憶部に予め記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記記憶部に予め記憶された前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する世界座標推定部、
として機能させることを特徴とする視線位置推定システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１７０５４６（Ｐ２０１２−１７０５４６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３３５３４（Ｐ２０１１−３３５３４）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
[ Back to top ]