視覚情報表示装置、視覚情報表示方法、そのプログラム及び記録媒体
【課題】高速眼球運動を利用した視覚情報の提示を各観察者に対して独立に行う。
【解決手段】高速眼球運動検出装置１０の検出部１１が、観察者の高速眼球運動を検出し、送信部１４が、この検出結果を示す高速眼球運動情報を出力する。視覚情報表示装置２０の入力部が、高速眼球運動情報の入力を受け付け、制御部２２が、上記の高速眼球運動情報を用い、発光部２４での情報表示を制御する。発光部２４は、この制御に従い、観察者の高速眼球運動に伴う光点の残像を利用して情報の表示を行う。
【解決手段】高速眼球運動検出装置１０の検出部１１が、観察者の高速眼球運動を検出し、送信部１４が、この検出結果を示す高速眼球運動情報を出力する。視覚情報表示装置２０の入力部が、高速眼球運動情報の入力を受け付け、制御部２２が、上記の高速眼球運動情報を用い、発光部２４での情報表示を制御する。発光部２４は、この制御に従い、観察者の高速眼球運動に伴う光点の残像を利用して情報の表示を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚情報を表示する視覚情報表示装置、視覚情報表示方法、そのプログラム及び記録媒体に関し、特に、高速眼球運動を利用した視覚情報表示を行う視覚情報表示装置、視覚情報表示方法、そのプログラム及び記録媒体に関する。
【背景技術】
【０００２】
特許文献１（眼球運動を利用した情報提示装置及び情報提示方法）には、サッカードと呼ばれる人間の高速眼球運動を利用し、一列の光点から２次元画像を提示する手法及び装置が開示されている。この手法及び装置は、２箇所の発光部をそれぞれ注視点及び視標として、一方の発光部から他方の発光部への高速眼球運動を誘発すると共に、この高速眼球運動に併せて発光部を発光させて情報を提示するものである。
【特許文献１】特開２００３−２５５８６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の手法及び装置は、２箇所の発光部を用いて高速眼球運動を誘発する構成をとるため、複数の観察者がこの発光部を観察していた場合、これらの観察者には、ほぼ同じタイミングで高速眼球運動が生じることになる。ここで、特許文献１の手法及び装置によって提示される情報は、高速眼球運動を生じている観察者のみが観察可能なものである。すなわち、同じタイミングで複数の観察者に高速眼球運動が生じていた場合、これらすべての観察者が提示された情報を観察することになる。つまり、特許文献１の手法及び装置の場合、複数の観察者間で独立な（各人異なった）視覚情報を提示することはできない。
【０００４】
本発明はこのような点に鑑みてなされたものであり、高速眼球運動を利用した視覚情報の提示を、各観察者に対して独立に行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明では、観察者の高速眼球運動を検出し、視覚情報表示装置の制御部が、この検出結果を示す高速眼球運動情報を用いて、発光部での情報表示を制御する。発光部は、この制御に従い、観察者の高速眼球運動に伴う光点の残像を利用して情報を表示する。
ここで、本発明では、検出された高速眼球運動情報を用いて発光部での情報提示を制御するため、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することができる。これにより、各観察者に対して独立な視覚情報を提示することができる。
【０００６】
また、本発明において好ましくは、視覚情報表示装置の制御部は、高速眼球運動情報を受け取ったことをトリガに、発光部に情報を表示させる。これにより、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することができ、各観察者に対して独立な視覚情報を提示することができる。
また、本発明において好ましくは、入力部は、複数の観察者の高速眼球運動に対応する高速眼球運動情報の入力を受け付け、高速眼球運動情報は、それぞれに対応する観察者を示す識別情報を有し、制御部は、受け取った高速眼球運動情報が有する識別情報が示す観察者に対応する情報を発光部に表示させる。これにより、各観察者に対して独立な視覚情報を提示することができる。
【０００７】
また、本発明において好ましくは、入力部は、複数の観察者の高速眼球運動に対応する高速眼球運動情報の入力を受け付け、高速眼球運動情報は、それぞれに対応する観察者に提示する表示情報を有し、制御部は、受け取った高速眼球運動情報が有する表示情報が示す情報を発光部に表示させる。このようにしても、各観察者に対して独立な視覚情報を提示することができる。
また、本発明において好ましくは、発光部は、地面と鉛直方向に列状に配列された複数の光点を有する。人間の日常生活では、地面と鉛直方向の高速眼球引運動が発生する頻度よりも、地面と平行方向の高速眼球運動が発生する頻度のほうが高い。また、観察者は、高速眼球引運動の方向が発光部の光点列と鉛直である場合に、最も良好に表示情報を認識できる。そのため、発光部を、地面と鉛直方向に列状に配列された複数の光点によって構成することにより、観察者に、高い確率で良好な表示情報を認識させることができる。なお、「鉛直方向」とは、地面に対して９０°ちょうどの方向のみを意味するのではなく、上述のような原理により、高い確率で観察者に良好な表示情報を認識させることができる「略鉛直方向」をも含む概念である。
【０００８】
さらに、この場合に好ましくは、高速眼球運動情報は、観察者に対して水平方向の高速眼球運動が検出されたことを示す高速眼球運動情報を受け取ったことをトリガに、地面と鉛直方向に列状に配列された複数の光点を有する発光部に情報を表示させる。これにより、観察者に確実に良好な表示情報を認識させることができる。なお、「水平方向」とは、地面と完全に平行な方向に限定する意味ではなく、上述のような原理により、観察者に確実に良好な表示情報を認識させることができる「略水平方向」をも含む概念である。
【発明の効果】
【０００９】
以上のように、本発明では、検出した高速眼球運動情報を用いて発光部での情報提示を制御しているため、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することができる。その結果、高速眼球運動を利用した視覚情報の提示を、各観察者に対して独立に行うことが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して説明する。
〔原理〕
まず、本発明の実施の形態の原理について説明する。
本発明の実施の形態では、観察者の高速眼球運動を誘発するのではなく、自然に生じた観察者の高速眼球運動（サッカード）を検出し、この検出をトリガにして発光パターンが順次変化する光点列の発光を開始する。ここで、この観察者の眼球は高速眼球運動を行っているため、この観察者の網膜に映る光点列の像は、パターンを順次変化させながら網膜上を移動するものとなる。そして、網膜に映った像は、しばらくの間、残像として認識されるのであるから、この観察者は、この網膜に映る光点列の軌跡を２次元画像として知覚でき、所定の視覚情報を得ることができる。
【００１１】
これに対し、これと同じ光点列を観察しているが高速眼球運動を行っていない観察者の網膜には、位置を変えることなく発光パターンのみが順次変化する光点列の像が映し出される。この場合、この観察者は、光点列の像を２次元画像として知覚できない。すなわち、高速眼球運動を行っていない観察者は視覚情報を得ることができない。実質的には、光点列の発光開始のトリガとなった高速眼球運動が検出された観察者以外は、視覚情報を得ることができない。
以上の原理により、高速眼球運動を利用した視覚情報の提示を、観察者毎に独立に行うことができる。また、観察者の高速眼球運動を検出したことをトリガに光点列の発光を開始するため、常に観察者の高速眼球運動のタイミングと光点列の発光を開始するタイミングとを一致させることができ、安定した品質の視覚情報を提示できる。さらに、光点列が特定の観察者への視覚情報提示のために占有される時間は、その観察者の高速眼球運動が終了するまでの極めて短い間のみである。このように、一人の観察者が光点列を占有する時間が短いため、１つの光点列を用い、時分割で複数の観察者に視覚情報を提示することも容易である。
【００１２】
以下に、本発明の実施の形態を詳細に説明する。
〔第１の実施の形態〕
まず、本発明における第１の実施の形態について説明する。
本形態は、上述のような光点列を具備する視覚情報表示装置を用い、複数人それぞれに必要な情報を独立に取得させるものである。
図１は、本形態における視覚情報表示システム１の構成を例示したブロック図である。
図１に例示するように、本形態の視覚情報表示システム１は、特定の観察者の高速眼球運動を検出する高速眼球運動検出装置１０と、高速眼球運動が検出された観察者に視覚情報を提示する視覚情報表示装置２０とを有している。なお、説明の簡略化のため、図１では１つの高速眼球運動検出装置１０のみを示しているが、本形態の場合、視覚情報の提示を行う観察者の数だけ高速眼球運動検出装置１０が必要となる。各観察者の高速眼球運動を検出するためである。
【００１３】
＜高速眼球運動検出装置１０の構成＞
図１に例示するように、この例の高速眼球運動検出装置１０は、観察者の高速眼球運動を検出する検出部１１と、検出部での検出結果を示す高速眼球運動情報（サッカード情報）を生成する高速眼球運動情報生成部１２と、高速眼球運動を検出する観察者を特定するための識別情報１０１を格納する識別情報メモリ１３と、高速眼球運動情報を視覚情報表示装置２０に送信出力する送信部１４（「出力部」に相当）と、高速眼球運動検出装置１０を制御する制御部１５とを有している。
【００１４】
ここで、検出部１１は、例えば、カメラを利用して眼球運動を検出する装置（「日本視覚学会偏，”視覚情報処理ハンドブック”，朝倉書店，２０００．」，「Y. Ebisawa, "Improved video-based eye-gaze detection method", IEEE Trans. On Instrumentation and Measurement, 47:948-955, 1998.」，「Nac corp., "Eye Mark Recorder", http://www.eyemark.jp/」 等参照）や、特殊コンタクトを利用して眼球運動を検出する装置（「Robinson, D. A. "A method of measuring eye movement using a scleral search coil in a magnetic field", IEEE trance. on Bio-Medical Electrics, 137-145, 1963.」等参照）等である。また、ＥＯＧ(electro-oculography)を利用して眼球運動を検出する装置を検出部１１として用いてもよい。ここで、ＥＯＧとは、眼球の動きで変化する生体電気信号を意味する。例えば、眼球運動に伴う網膜の表と裏の間の電位差の変化を示す信号がＥＯＧに相当する。
【００１５】
[ＥＯＧを利用して高速眼球運動を検出する検出部の具体例]
両目の間及び両目の左右外側に電極を貼り付けておき、目が左右に動いた場合に生じる電極間の電位差を高速眼球運動の検出信号として用いることができる。図２（ａ）（ｂ）は、このようにＥＯＧを利用して高速眼球運動を検出する検出部１１の構成を例示した図である。
図２（ａ）に例示するように、ＥＯＧを利用して高速眼球運動を検出する検出部１１は、２つの信号電極１１ａ，１１ｂと、１つの不間電極１１ｃと、計装増幅器１１ｄと、ハイパスフィルタ１１ｅと、ノッチフィルタ１１ｆと、増幅・オフセット調整部１１ｇと、ＡＤ変換部１１ｈａを具備する検出処理部１１ｈと、を有している。
【００１６】
図２（ｂ）に例示するように、２つの信号電極１１ａ，１１ｂは、それぞれ、観察者１０３の右目１０３ａの右（観察者１０３からみて右）外側近傍及び左目１０３ｂの左（観察者１０３からみて左）外側近傍に貼り付けられる。また、不間電極１１ｃは、右目１０３ａと左目１０３ｂとの間に貼り付けられる。なお、図２に例示する検出部１１は、観察者１０３からみて左右方向の高速眼球運動のみを検出するものであるため、右目１０３ａ及び左目１０３ｂの（観察者１０３からみた）左右の位置に信号電極１１ａ，１１ｂ及び不間電極１１ｃを貼り付ける構成となっているが、上下方向の高速眼球運動を検出する場合には、右目１０３ａ及び左目１０３ｂの（観察者１０３からみた）上下の位置に、電極を貼り付ける必要がある。
【００１７】
信号電極１１ａ，１１ｂ及び不間電極１１ｃで検出された信号電極１１ａと不間電極１１ｃとの電位差、及び信号電極１１ｂと不間電極１１ｃとの電位差を、それぞれ示す信号は計装増幅器１１ｄに入力され、そこで増幅（増幅率約４０〜６０ｄＢ）される。次に、これらの増幅信号から、高速眼球運動に伴って発生する高周波のサッカード信号のみを取り出すため、これらの信号をハイパスフィルタ１１ｅ（カットオフ周波数約１Ｈｚ）に入力させ、サッカード信号よりも低い周波数を除去する。さらに、ハイパスフィルタ１１ｅからの出力信号をノッチフィルタ１１ｆ（カットオフ周波数約５０Ｈｚ）に入力させ、信号の中に多く含まれる電力線からの電磁波ノイズを除去する。そして、ノッチフィルタ１１ｆからの出力信号を増幅・オフセット調整部１１ｇに入力させ、ＡＤ変換部１１ｈａにフルスケールで入力されるように増幅（増幅率２０〜４０ｄＢ程度）とオフセット（出力レンジ０〜５Ｖ）の調整を行う。増幅・オフセット調整部１１ｇからの出力信号は、検出処理部１１ｈのＡＤ変換部１１ｈａでデジタル信号に変換された後、検出処理部１１ｈで微分処理され、その微分結果が所定の閾値を越えたときに、検出処理部１１ｈは高速眼球運動を検出した旨の検出情報を出力する（[ＥＯＧを利用して高速眼球運動を検出する検出部の具体例］の説明終わり）。
【００１８】
また、高速眼球運動情報生成部１２及び制御部１５は、例えば、ＣＰＵ（Central Processing Unit）に所定のプログラムが読み込まれることにより構成される。また、識別情報メモリ１３は、ＲＡＭ（Random Access Memory）等である。また、送信部１４は、無線ＬＡＮカード等の無線通信器である。
＜視覚情報表示装置２０の構成＞
図１に例示するように、視覚情報表示装置２０は、高速眼球運動検出装置１０から送信された高速眼球運動情報の受信入力を受け付ける受信部２１（「入力部」に相当）と、視覚情報の表示を行う発光部２４と、受信部２１から受け取った高速眼球運動情報を用い、発光部２４に情報を表示させるか否かを制御する制御部２２と、観察者の識別情報とその観察者に提示する表示情報とを対応付けた表示内容表１０２を格納する表示内容表メモリ２３とを有している。ここで、本形態の発光部２４は、地面と鉛直方向に列状に配列された複数の光点２４ａを有する。発光部２４は、観察者の高速眼球運動に伴う光点２４ａの残像を利用して視覚情報を提示する。なお、本形態の発光部２４は、地面と鉛直方向に一列に配列された複数の光点２４ａを有するものとするが、光点２４ａの配置はこれに限定されず、複数の光点２４ａを２次元的に配列した構成としてもよい。また、本形態では、Ａ〜Ｌの１２個の光点２４ａを具備する発光部２４を例示するが、光点２４ａの数はこれに限定されない。また、本形態の「表示情報」は、視覚情報の表示を開始してからの時間と光点２４ａの発光パターン（どの光点２４ａを点灯させ、どの光点２４ａを消灯するか）との組合せを示す情報である。また、視覚情報の時間軸の幅は、高速眼球運動の継続時間以下とする。
【００１９】
ここで、受信部２１は、無線ＬＡＮカード等の無線通信器である。また、制御部２２は、例えば、ＣＰＵに所定のプログラムが読み込まれることにより構成される。また、表示内容表メモリ２３は、ＲＡＭ等である。さらに、発光部２４は、電球や発光ダイオード等の光点２４ａを備えた装置である。
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図４は、本形態の視覚情報表示処理を説明するためのフローチャートである。
【００２０】
以下、この図に沿って本形態の視覚情報表示処理を説明する。
まず、高速眼球運動検出装置１０の制御部１５は、観察者の高速眼球運動が検出部１１で検出されたか否かを判断する（ステップＳ１）。ここで、観察者の高速眼球運動が検出部１１で検出されていないと判断された場合、制御部１５は、観察者の高速眼球運動が検出されるまでステップＳ１の判断処理を繰り返す。一方、観察者の高速眼球運動が検出部１１で検出されたと判断された場合、制御部１５は、検出部１１で検出された検出情報を高速眼球運動情報生成部１２に送る。これを受け取った高速眼球運動情報生成部１２は、受け取った検出情報と識別情報メモリ１３から読み込んだ識別情報１０１とを用い、観察者の高速眼球運動の検出結果を示す高速眼球運動情報を生成する（ステップＳ２）。
【００２１】
図３（ａ）（ｂ）は、本形態の高速眼球運動情報生成部１２が生成する高速眼球運動情報１１０，１２０の例示である。図３（ａ）の例は、識別情報１１１と検出情報１１２とを有するの高速眼球運動情報１１０の例であり、図３（ｂ）の例は、識別情報１１１と検出情報１１２と高速眼球運動の速度情報とを有するの高速眼球運動情報１２０の例である。なお、高速眼球運動の速度は、例えば、検出情報１１２を元に算出される。
生成された高速眼球運動情報は、送信部１４から送信され（ステップＳ３）、視覚情報表示装置２０の受信部２１で受信される（ステップＳ４）。受信部２１で受信された高速眼球運動情報は、制御部２２に送られ、制御部２２は、受け取った高速眼球運動情報を用い、発光部２４に情報を表示させるか否かを制御する。この例の制御部２２は、高速眼球運動情報を受け取ったことをトリガに発光部２４に情報を表示させる。発光部２４に情報を表示させる場合、制御部２２は、受け取った高速眼球運動情報が有する識別情報を検索キーとして表示内容表メモリ２３の表示内容表１０２を検索し、この検索キーに対応する表示情報（表示内容を示す情報）を抽出する（ステップＳ５）。制御部２２は、抽出した表示情報を発光部２４に送り、発光部２４は、光点２４ａの発光パターンを順次変化させることにより、表示情報によって特定される視覚情報の提示を行う（ステップＳ６）。なお、高速眼球運動情報が速度情報を有している場合、この速度情報が示す速度に応じて光点２４ａの発光パターンを順次変化させる。すなわち、この速度情報が示す速度が速ければ速いほど、光点２４ａの発光パターンの変化速度を速くする。これにより、高速眼球運動が検出された観察者に最適な２次元画像を提示することができる。
【００２２】
表示情報によって特定される視覚情報の提示が終了するとステップＳ１の処理に戻る。
なお、上記では、１人の観察者に対応する処理のみを示したが、観察者が複数存在する場合には、観察者ごとに図４に示したのとと同じ処理が実行される。また、本形態の場合、高速眼球運動検出装置１０は、観察者ごとに相違し、視覚情報表示装置２０は、各観察者に共用される。
［発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係］
次に、発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係について説明する。
【００２３】
図５は、ステップＳ６で行なわれる制御部２２による発光部２４の制御内容を説明するための図である。また、図６（ａ）（ｂ）は、図５の制御内容に応じた光点２４ａの表示を観察者１０３−１，１０３−２がどのように知覚するかを説明するための概念図である。
ここで、図５の横軸は時間を示し、縦軸はＡ〜Ｌの各光点２４ａの点灯有無を示す。なお、図５における白丸は対応する光点２４ａを消灯させることを示し、黒丸は対応する光点２４ａを点灯させることを示す。例えば、図５における時間ｔ２では、Ａ〜Ｆ及びＪ〜Ｋの光点２４ａを点灯させ、Ｇ〜Ｉの光点２４ａを消灯させる。図５の例では、視覚情報表示装置２０の制御部２２は、時間ｔ１に観察者１０３−１に対応する高速眼球運動情報のみを受信部２１から受け取り、時間ｔ３に観察者１０３−２に対応する高速眼球運動情報のみを受信部２１から受け取っている。また、図６（ａ）は、時間ｔ１において、観察者１０３−１，１０３−２が光点２４ａの表示をどのように知覚するかを示しており、図６（ｂ）は、時間ｔ３において、観察者１０３−１，１０３−２が光点２４ａの表示をどのように知覚するかを示している。また、観察者１０３−１が高速眼球運動検出装置１０−１を利用し、観察者１０３−２が高速眼球運動検出装置１０−１を利用し、視覚情報表示装置２０は、観察者１０３−１，１０３−２で共用されるものとする。
【００２４】
［時間ｔ１から開始される処理］
制御部２２は、時間ｔ１に観察者１０３−１に対応する高速眼球運動情報を受け取ると、この高速眼球運動情報の識別情報に対応する表示情報を、上述のように表示内容表メモリ２３から抽出する。前述のように、本形態の表示情報は、視覚情報の表示を開始してからの時間と点灯させる光点２４ａとの組合せを特定する情報である。制御部２２は、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。図５の例の場合、制御部２２は、この表示情報に従い、時間ｔ１でＡ〜Ｌ全ての光点２４ａを点灯させ、時間ｔ１+Δ１でＡの光点２４ａを消灯させてＢ〜Ｌの光点２４ａを点灯させ、時間ｔ１+Δ２でＡ〜Ｃ，Ｋ，Ｌの光点２４ａを消灯させてＤ〜Ｊの光点２４ａを点灯させるといった処理を、順次、時間ｔ１＋Δｎまで行っていく。なお、前述のように、視覚情報の時間軸の幅は高速眼球運動の継続時間以下であるため、Δｎは高速眼球運動の継続時間以下となる。
【００２５】
ここで、時間ｔ１は、観察者１０３−１の高速眼球運動が開始された時間とほぼ等しい（信号処理や伝送に伴う誤差はあるが）。また、時間ｔ１から時間ｔ１＋Δｎまでの間は、観察者１０３−１の高速眼球運動が継続している。そのため、時間ｔ１から時間ｔ１＋Δｎまでの間、観察者１０３−１の網膜に映る光点２４ａの列の像が、パターンを順次変化させながら網膜上を移動することになる。そして、網膜に映った像は、しばらくの間、残像として認識されるのであるから、この観察者１０３−１は、この網膜に映る光点２４ａの列の軌跡を２次元画像として知覚でき、観察者１０３−１は、図６（ａ）に示すような視覚情報（この例では「魚の絵」）を得ることができる。
【００２６】
これに対し、時間ｔ１では、観察者１０３−２に対応する高速眼球運動が制御部２２に入力されておらず、観察者１０３−２には高速眼球運動が生じていない。同じ光点２４ａの列を観察しているが高速眼球運動を行っていない観察者１０３−２の網膜には、位置を変えることなく発光パターンのみが順次変化する光点２４ａの列の像が映し出される。この場合、この観察者１０３−２は、光点２４ａの列の像を光点列としか知覚できず、それが示す２次元画像を認識できない。
［時間ｔ３から開始される処理］
制御部２２は、時間ｔ３に観察者１０３−２に対応する高速眼球運動情報を受け取ると、この高速眼球運動情報の識別情報に対応する表示情報を、前述のように表示内容表メモリ２３から抽出し、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。図５の例の場合、制御部２２は、この表示情報に従い、時間ｔ３でＡ〜Ｌ全ての光点２４ａを消灯させ、時間ｔ３+Δ１でＡ，Ｅ〜Ｉ，Ｌの光点２４ａを消灯させてＢ〜Ｄ，Ｊ，Ｋの光点２４ａを点灯させ、時間ｔ３+Δ２でＡ，Ｄ〜Ｇ，Ｊの光点２４ａを消灯させてＢ，Ｃ，Ｈ，Ｉ，Ｋ，Ｌの光点２４ａを点灯させるといった処理を、順次、時間ｔ３＋Δｍまで行っていく。なお、前述のように、視覚情報の時間軸の幅は高速眼球運動の継続時間以下であるため、Δｍは高速眼球運動の継続時間以下となる。
【００２７】
ここで、時間ｔ３は、観察者１０３−２の高速眼球運動が開始された時間とほぼ等しい。また、時間ｔ３から時間ｔ３＋Δｍまでの間は、観察者１０３−２の高速眼球運動が継続している。そのため、時間ｔ３から時間ｔ３＋Δｍまでの間、観察者１０３−２の網膜に映る光点２４ａの列の像がパターンを順次変化させながら網膜上を移動し、観察者１０３−２は、この網膜に映る光点２４ａの列の軌跡を２次元画像として知覚できる。これにより、観察者１０３−２は、図６（ｂ）に示すような視覚情報（この例では「人の顔」）を得ることができる。
【００２８】
これに対し、時間ｔ３では、観察者１０３−１に対応する高速眼球運動が制御部２２に入力されておらず、観察者１０３−１には高速眼球運動が生じていない。そのため、観察者１０３−１は、この視覚情報を得ることができない。
＜本形態の特徴＞
以上のように、本形態では、視覚情報表示装置２０の受信部２１で、高速眼球運動検出装置１０で検出された観察者の高速眼球運動の検出結果を示す高速眼球運動情報を視覚情報表示装置２０で受信したことをトリガに、発光部２４において、高速眼球運動に伴う光点の残像を利用した情報提示を行うこととした。これにより、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することが可能となる。また、高速眼球運動をトリガとして情報提示を行うため、常に最適なタイミングで、高速眼球運動に伴う光点の残像を利用した情報提示を行うことができる。
【００２９】
また、本形態では、複数の観察者それぞれに別個の高速眼球運動検出装置１０を対応させ、各高速眼球運動検出装置１０が対応する観察者の高速眼球運動の検出することとした。そして、各高速眼球運動検出装置１０は、対応する観察者の高速眼球運動の検出結果と、その観察者を示す識別情報とを有する高速眼球運動情報を生成し、視覚情報表示装置２０の制御部２２は、受け取った高速眼球運動情報が有する識別情報が示す観察者に対応する情報を発光部２４に表示させることとした。これにより、観察者間で独立な視覚情報を提示することができる。
【００３０】
また、発光部２４を、地面と鉛直方向に列状に配列された複数の光点２４ａを有する構成とした場合、観察者に、高い確率で良好な表示情報を認識させることが可能となる。人間の日常生活では、地面と鉛直方向の高速眼球引運動が発生する頻度よりも、地面と平行方向の高速眼球運動が発生する頻度のほうが高いからである。
さらに、検出部１１が観察者に対して水平方向の高速眼球運動のみを検出できる構成とすれば、発光部２４は、観察者に対して水平方向の高速眼球運動が生じている場合にのみ視覚情報を表示することになるため、観察者に確実に良好な表示情報を認識させることができる。
【００３１】
〔第２の実施の形態〕
次に、本発明における第２の実施の形態について説明する。
本形態は、第１の実施の形態の変形例である。第１の実施の形態との主な相違点は、第１の実施の形態では、高速眼球運動情報に対応する観察者の識別情報を含ませていたとことを、第２の実施の形態では、高速眼球運動情報に表示情報そのものを含ませる点である。これにより、視覚情報表示装置での表示内容表の管理が不要となる。以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項については説明を省略する。
【００３２】
図７は、本形態における視覚情報表示システム２００の構成を例示したブロック図である。なお、図７において第１の実施の形態と共通する部分については、図１と同じ符号を用いた。
図７に例示するように、本形態の視覚情報表示システム２００は、特定の観察者の高速眼球運動を検出する高速眼球運動検出装置２１０と、高速眼球運動が検出された観察者に視覚情報を提示する視覚情報表示装置２２０とを有している。なお、視覚情報の提示を行う観察者の数だけ高速眼球運動検出装置２１０が必要となるのは、第１の実施の形態と同様である。
【００３３】
＜高速眼球運動検出装置２１０の構成＞
図７に例示するように、この例の高速眼球運動検出装置２１０は、検出部１１と、高速眼球運動情報生成部１２と、視覚情報表示装置２２０で表示する視覚情報を特定するための表示情報１３１を格納する表示情報メモリ２１３と、送信部１４（「出力部」に相当）と、制御部１５とを有している。なお、表示情報の定義は、第１の実施の形態と同じである。
＜視覚情報表示装置２２０の構成＞
図７に例示するように、視覚情報表示装置２２０は、受信部２１（「入力部」に相当）と、発光部２４ａを具備する発光部２４と、制御部２２とを有している。
【００３４】
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図９は、本形態の視覚情報表示処理を説明するためのフローチャートである。
以下、この図に沿って本形態の視覚情報表示処理を説明する。
まず、高速眼球運動検出装置２１０の制御部１５は、観察者の高速眼球運動が検出部１１で検出されたか否かを判断する（ステップＳ１１）。ここで、観察者の高速眼球運動が検出部１１で検出されていないと判断された場合、制御部１５は、観察者の高速眼球運動が検出されるまでステップＳ１１の判断処理を繰り返す。一方、観察者の高速眼球運動が検出部１１で検出されたと判断された場合、制御部１５は、検出部１１で検出された検出情報を高速眼球運動情報生成部１２に送る。これを受け取った高速眼球運動情報生成部１２は、受け取った検出情報と表示情報メモリ２１３から読み込んだ表示情報１３１とを用い、観察者の高速眼球運動の検出結果を示す高速眼球運動情報を生成する（ステップＳ１２）。
【００３５】
図８は、本形態の高速眼球運動情報生成部１２が生成する高速眼球運動情報１３０の例示である。このように、本形態の高速眼球運動情報１３０は、表示情報１３２と検出情報１１２とを具備している。
生成された高速眼球運動情報は、送信部１４から送信され（ステップＳ１３）、視覚情報表示装置２０の受信部２１で受信される（ステップＳ１４）。受信部２１で受信された高速眼球運動情報は、制御部２２に送られ、制御部２２は、受け取った高速眼球運動情報を用い、発光部２４に情報を表示させるか否かを制御する。この例の制御部２２は、高速眼球運動情報を受け取ったことをトリガに発光部２４に情報を表示させる。発光部２４に情報を表示させる場合、制御部２２は、受け取った高速眼球運動情報が有する表示情報を発光部２４に送り、発光部２４は、光点２４ａの発光パターンを順次変化させることにより、表示情報によって特定される視覚情報の提示を行う（ステップＳ１５）。
【００３６】
表示情報によって特定される視覚情報の提示が終了するとステップＳ１１の処理に戻る。
以上のような構成としても第１の実施の形態と同様な効果を得ることができる。
〔第３の実施の形態〕
次に、本発明における第３の実施の形態について説明する。
本形態も第１の実施の形態の変形例である。第１の実施の形態との主な相違点は、高速眼球運動検出装置が観察者の高速眼球運動の方向を検証し、その方向が観察者からみて水平方向から所定各以内にある場合にのみ、高速眼球運動情報を視覚情報表示装置に送る点である。以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項については説明を省略する。
【００３７】
＜構成＞
本形態の構成は第１の実施の形態と同様である。また、本形態の検出部１１は、観察者からみて上下左右の高速眼球運動を検出できるものであり、本形態の発光部２４は、地面と鉛直方向に一列に配列された複数の光点２４ａを有する（図１）。
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図１０は、本形態の視覚情報表示処理を説明するためのフローチャートである。
【００３８】
以下、この図に沿って本形態の視覚情報表示処理を説明する。
まず、高速眼球運動検出装置１０の制御部１５（図１）は、観察者の高速眼球運動が検出部１１で検出されたか否かを判断する（ステップＳ２１）。ここで、観察者の高速眼球運動が検出部１１で検出されていないと判断された場合、制御部１５は、観察者の高速眼球運動が検出されるまでステップＳ２１の判断処理を繰り返す。一方、観察者の高速眼球運動が検出部１１で検出されたと判断された場合、制御部１５は、検出部１１で検出された検出情報を制御部１５及び高速眼球運動情報生成部１２に送る。本形態の検出情報には、検出した高速眼球運動の運動方向に関する情報も含まれている。
【００３９】
次に、制御部１５は、検出された高速眼球運動の運動方向が、観察者からみた水平方向から所定角以内にあるか否かを検証する（ステップＳ２２）。ここで、制御部１５は、高速眼球運動の運動方向が水平方向から所定角以内にないと判断すれば、処理をステップＳ２１の処理に戻し、高速眼球運動の運動方向が水平方向から所定角以内にあると判断すれば、ステップＳ２３以降の処理を実行させる。なお、ステップＳ２３〜Ｓ２７の処理は、第１の実施の形態のステップＳ２〜Ｓ６の処理を同様であるため、ここでは説明を省略する。
【００４０】
＜本形態の特徴＞
このような構成とした場合、発光部２４は、観察者に対して水平方向の高速眼球運動が生じている場合にのみ、地面と鉛直方向に一列に配列された複数の光点２４ａを有する発光部２４に視覚情報を表示することになる。その結果、観察者に確実に良好な表示情報を認識させることができる。
なお、本形態では、高速眼球運動の運動方向が水平方向か否かを高速眼球運動検出装置１０で判断することとしたが、視覚情報表示装置２０において、受け取った高速眼球運動情報が示す高速眼球運動の運動方向が水平方向か否かを判断し、水平方向であると判断した場合にのみ視覚情報を表示する構成としてもよい。
【００４１】
〔第４の実施の形態〕
次に、本発明における第４の実施の形態について説明する。
本形態も第１の実施の形態の変形例である。第１の実施の形態との主な相違点は、観察者毎に別個の高速眼球運動検出装置で各観察者の高速眼球運動を検出するのではなく、各観察者で共用される１個の検出部で、各観察者の高速眼球運動を検出するものである。以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項については説明を省略する。
【００４２】
＜構成＞
図１１は、本形態の視覚情報表示装置３００の構成を例示したブロック図である。なお、図１１において第１の実施の形態と共通する部分については、図１と同じ符号を付した。
図１１に例示するように、本形態の視覚情報表示装置３００は、複数の観察者の高速眼球運動を検出可能な検出部３１１と、高速眼球運動情報を生成する高速眼球運動情報生成部３１２と、高速眼球運動情報が入力される入力部３２１と、制御部３２２と、観察者の範囲情報と当該観察者に提示する視覚情報を特定する表示情報とを対応付けた表示内容表１５２を格納する表示内容表メモリ３２３と、複数の光点２４ａを具備する発光部２４とを有する。なお、「表示情報」の定義は第１の実施の形態と同じである。
【００４３】
本形態の検出部３１１は、例えば、高速カメラを用いて撮影した観察者の高速眼球運動を検出する装置である（「Bjorn W., Komuro T., Namiki A., Ishikawa M. "Development of High Speed Eye Tracking System Using the "Vision Chip"" proc of 2005 JSME Conf. on Robotics and Macaronis, 2005」「渡邊淳司，安藤英由樹，関口大陸，前田太郎，舘 ▲すすむ▼，”網膜再帰反射を利用した遠隔サッカード検出手法の研究”，日本バーチャルリアリティ学会論文誌，Vol. 9, No. 1, pp.105-113, 2004.」等参照）。また、この検出部３１１は、高速眼球運動を検出する観察者の近傍に配置され、高速眼球運動だけではなく、その高速眼球運動が検出された位置をも検出するものである。
【００４４】
また、表示内容表１５２が有する範囲情報は、例えば、座標点によって特定される範囲を示す情報であり、この範囲は、例えば、検出部３１１での検出可能範囲を複数に区分した際の一部である。
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図１２は、本形態の視覚情報表示処理を説明するためのフローチャートである。
以下、この図に沿って本形態の視覚情報表示処理を説明する。
【００４５】
まず、視覚情報表示装置３００の制御部３２２は、何れかの観察者の高速眼球運動が検出部３１１で検出されたか否かを判断する（ステップＳ３１）。ここで、何れかの観察者の高速眼球運動が検出部３１１で検出されていないと判断された場合、制御部３２２は、観察者の高速眼球運動が検出されるまでステップＳ３１の判断処理を繰り返す。一方、何れかの観察者の高速眼球運動が検出部３１１で検出されたと判断された場合、制御部３２２は、検出部３１１で検出された検出情報を高速眼球運動情報生成部３１２に送る。なお、本形態の検出情報には、高速眼球情報が検出された位置を示す位置情報も含まれている。
【００４６】
この検出情報を受け取った高速眼球運動情報生成部３１２は、受け取った検出情報を用い、観察者の高速眼球運動の検出結果を示す高速眼球運動情報を生成する（ステップＳ３２）。なお、本形態の高速眼球運動情報には、検出情報が含まれている。生成された高速眼球運動情報は、入力部３２１に入力され（ステップＳ３３）、そこから制御部３２２に送られる。
制御部３２２は、受け取った高速眼球運動情報が具備する検出情報から位置情報を抽出し、この位置情報を検索キーとして、表示内容表メモリ３２３の表示内容表１５２を検索し、検索キーに対応する表示情報を抽出する。例えば、制御部３２２は、検索キーが示す位置が含まれる範囲に対応する範囲情報に表示内容表１５２で対応付けられている表示情報を抽出する。
【００４７】
制御部３２２は、抽出した表示情報を発光部２４に送り、発光部２４は、光点２４ａの発光パターンを順次変化させることにより、表示情報によって特定される視覚情報の提示を行う（ステップＳ３５）。
［発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係］
次に、発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係について説明する。なお、制御部３２２によるステップＳ３５での発光部２４の制御内容は、第１の実施の形態のステップＳ６と同じ（図５）であるとして説明する。
【００４８】
図１３（ａ）（ｂ）は、この制御内容に応じた光点２４ａの表示を観察者１０３−１，１０３−２がどのように知覚するかを説明するための概念図である。なお、検出部３１１は、観察者１０３−１の高速眼球運動を、位置αにおける高速眼球運動として検出し、観察者１０３−２の高速眼球運動を、位置βにおける高速眼球運動として検出するものとする。
［時間ｔ１から開始される処理］
制御部２２は、時間ｔ１に位置αを示す位置情報を具備する高速眼球運動情報を受け取ると、この位置情報に対応する表示情報を、表示内容表メモリ３２３から抽出する。制御部３２２は、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。そして、位置αで高速眼球運動が検出された観察者１０３−１は、第１の実施の形態と同様に、網膜に映る光点２４ａの列の軌跡を２次元画像として知覚し、図１３（ａ）に示すような視覚情報（この例では「魚の絵」）を得ることができる。
【００４９】
これに対し、時間ｔ１では、観察者１０３−２には高速眼球運動が生じていない。この場合、１０３−２の網膜には、位置を変えることなく発光パターンのみが順次変化する光点２４ａの列の像が映し出される、この観察者１０３−２は、光点２４ａの列の像が示す２次元画像を認識できない。
［時間ｔ３から開始される処理］
制御部３２２は、時間ｔ３に位置βを示す位置情報を具備する高速眼球運動情報を受け取ると、この位置情報に対応する表示情報を、表示内容表メモリ３２３から抽出する。
【００５０】
制御部３２２は、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。そして、位置βで高速眼球運動が検出された観察者１０３−２は、第１の実施の形態と同様に、網膜に映る光点２４ａの列の軌跡を２次元画像として知覚し、図１３（ｂ）に示すような視覚情報（この例では「人の顔」）を得ることができる。
これに対し、時間ｔ３では、観察者１０３−１には高速眼球運動が生じていない。そのため、観察者１０３−１は、この視覚情報を得ることができない。
＜本形態の特徴＞
このように、複数の観察者の高速眼球運動を１つの検出部３１１で検出する構成としても第１と実施の形態と同様の効果を得ることができる。
【００５１】
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上記の各実施の形態では、「表示情報」を「視覚情報の表示を開始してからの時間と光点２４ａの発光パターンとの組合せを示す情報」と定義したが、光点２４ａの光パターンとの組合せと、その組合せの表示順序とを示す情報を「表示情報」としてもよい。また、検出部で高速眼球運動の方向を検出し、その検出方向と略垂直方向の光点列を制御し情報提示を行う構成としてもよい。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００５２】
その他、上述の実施の形態を組み合わせて実施することとしてもよく、また、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５４】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【００５５】
本発明の産業上の利用分野としては、例えば、街頭テレビのような共有型視覚提示装置から各個人に異なった情報を提供するシステム等を例示できる。
【図面の簡単な説明】
【００５６】
【図１】図１は、第１の実施の形態における視覚情報表示システムの構成を例示したブロック図である。
【図２】図２（ａ）（ｂ）は、ＥＯＧを利用して高速眼球運動を検出する検出部の構成を例示した図である。
【図３】図３（ａ）（ｂ）は、第１の実施の形態の高速眼球運動情報生成部が生成する高速眼球運動情報の例示である。
【図４】図４は、第１の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図５】図５は、ステップＳ６で行なわれる制御部による発光部の制御内容を説明するための図である。
【図６】図６（ａ）（ｂ）は、図５の制御内容に応じた光点の表示を観察者がどのように知覚するかを説明するための概念図である。
【図７】図７は、第２の実施の形態における視覚情報表示システムの構成を例示したブロック図である。
【図８】図８は、第２の実施の形態の高速眼球運動情報生成部が生成する高速眼球運動情報の例示である。
【図９】図９は、第２の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図１０】図１０は、第３の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図１１】図１１は、第４の実施の形態の視覚情報表示装置の構成を例示したブロック図である。
【図１２】図１２は、第４の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図１３】図１３（ａ）（ｂ）は、光点の表示を観察者がどのように知覚するかを説明するための概念図である。
【符号の説明】
【００５７】
１，２００ 視覚情報表示システム
１０，２１０ 高速眼球運動検出装置
２０，２２０，３００ 視覚情報表示装置
【技術分野】
【０００１】
本発明は、視覚情報を表示する視覚情報表示装置、視覚情報表示方法、そのプログラム及び記録媒体に関し、特に、高速眼球運動を利用した視覚情報表示を行う視覚情報表示装置、視覚情報表示方法、そのプログラム及び記録媒体に関する。
【背景技術】
【０００２】
特許文献１（眼球運動を利用した情報提示装置及び情報提示方法）には、サッカードと呼ばれる人間の高速眼球運動を利用し、一列の光点から２次元画像を提示する手法及び装置が開示されている。この手法及び装置は、２箇所の発光部をそれぞれ注視点及び視標として、一方の発光部から他方の発光部への高速眼球運動を誘発すると共に、この高速眼球運動に併せて発光部を発光させて情報を提示するものである。
【特許文献１】特開２００３−２５５８６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の手法及び装置は、２箇所の発光部を用いて高速眼球運動を誘発する構成をとるため、複数の観察者がこの発光部を観察していた場合、これらの観察者には、ほぼ同じタイミングで高速眼球運動が生じることになる。ここで、特許文献１の手法及び装置によって提示される情報は、高速眼球運動を生じている観察者のみが観察可能なものである。すなわち、同じタイミングで複数の観察者に高速眼球運動が生じていた場合、これらすべての観察者が提示された情報を観察することになる。つまり、特許文献１の手法及び装置の場合、複数の観察者間で独立な（各人異なった）視覚情報を提示することはできない。
【０００４】
本発明はこのような点に鑑みてなされたものであり、高速眼球運動を利用した視覚情報の提示を、各観察者に対して独立に行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明では、観察者の高速眼球運動を検出し、視覚情報表示装置の制御部が、この検出結果を示す高速眼球運動情報を用いて、発光部での情報表示を制御する。発光部は、この制御に従い、観察者の高速眼球運動に伴う光点の残像を利用して情報を表示する。
ここで、本発明では、検出された高速眼球運動情報を用いて発光部での情報提示を制御するため、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することができる。これにより、各観察者に対して独立な視覚情報を提示することができる。
【０００６】
また、本発明において好ましくは、視覚情報表示装置の制御部は、高速眼球運動情報を受け取ったことをトリガに、発光部に情報を表示させる。これにより、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することができ、各観察者に対して独立な視覚情報を提示することができる。
また、本発明において好ましくは、入力部は、複数の観察者の高速眼球運動に対応する高速眼球運動情報の入力を受け付け、高速眼球運動情報は、それぞれに対応する観察者を示す識別情報を有し、制御部は、受け取った高速眼球運動情報が有する識別情報が示す観察者に対応する情報を発光部に表示させる。これにより、各観察者に対して独立な視覚情報を提示することができる。
【０００７】
また、本発明において好ましくは、入力部は、複数の観察者の高速眼球運動に対応する高速眼球運動情報の入力を受け付け、高速眼球運動情報は、それぞれに対応する観察者に提示する表示情報を有し、制御部は、受け取った高速眼球運動情報が有する表示情報が示す情報を発光部に表示させる。このようにしても、各観察者に対して独立な視覚情報を提示することができる。
また、本発明において好ましくは、発光部は、地面と鉛直方向に列状に配列された複数の光点を有する。人間の日常生活では、地面と鉛直方向の高速眼球引運動が発生する頻度よりも、地面と平行方向の高速眼球運動が発生する頻度のほうが高い。また、観察者は、高速眼球引運動の方向が発光部の光点列と鉛直である場合に、最も良好に表示情報を認識できる。そのため、発光部を、地面と鉛直方向に列状に配列された複数の光点によって構成することにより、観察者に、高い確率で良好な表示情報を認識させることができる。なお、「鉛直方向」とは、地面に対して９０°ちょうどの方向のみを意味するのではなく、上述のような原理により、高い確率で観察者に良好な表示情報を認識させることができる「略鉛直方向」をも含む概念である。
【０００８】
さらに、この場合に好ましくは、高速眼球運動情報は、観察者に対して水平方向の高速眼球運動が検出されたことを示す高速眼球運動情報を受け取ったことをトリガに、地面と鉛直方向に列状に配列された複数の光点を有する発光部に情報を表示させる。これにより、観察者に確実に良好な表示情報を認識させることができる。なお、「水平方向」とは、地面と完全に平行な方向に限定する意味ではなく、上述のような原理により、観察者に確実に良好な表示情報を認識させることができる「略水平方向」をも含む概念である。
【発明の効果】
【０００９】
以上のように、本発明では、検出した高速眼球運動情報を用いて発光部での情報提示を制御しているため、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することができる。その結果、高速眼球運動を利用した視覚情報の提示を、各観察者に対して独立に行うことが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して説明する。
〔原理〕
まず、本発明の実施の形態の原理について説明する。
本発明の実施の形態では、観察者の高速眼球運動を誘発するのではなく、自然に生じた観察者の高速眼球運動（サッカード）を検出し、この検出をトリガにして発光パターンが順次変化する光点列の発光を開始する。ここで、この観察者の眼球は高速眼球運動を行っているため、この観察者の網膜に映る光点列の像は、パターンを順次変化させながら網膜上を移動するものとなる。そして、網膜に映った像は、しばらくの間、残像として認識されるのであるから、この観察者は、この網膜に映る光点列の軌跡を２次元画像として知覚でき、所定の視覚情報を得ることができる。
【００１１】
これに対し、これと同じ光点列を観察しているが高速眼球運動を行っていない観察者の網膜には、位置を変えることなく発光パターンのみが順次変化する光点列の像が映し出される。この場合、この観察者は、光点列の像を２次元画像として知覚できない。すなわち、高速眼球運動を行っていない観察者は視覚情報を得ることができない。実質的には、光点列の発光開始のトリガとなった高速眼球運動が検出された観察者以外は、視覚情報を得ることができない。
以上の原理により、高速眼球運動を利用した視覚情報の提示を、観察者毎に独立に行うことができる。また、観察者の高速眼球運動を検出したことをトリガに光点列の発光を開始するため、常に観察者の高速眼球運動のタイミングと光点列の発光を開始するタイミングとを一致させることができ、安定した品質の視覚情報を提示できる。さらに、光点列が特定の観察者への視覚情報提示のために占有される時間は、その観察者の高速眼球運動が終了するまでの極めて短い間のみである。このように、一人の観察者が光点列を占有する時間が短いため、１つの光点列を用い、時分割で複数の観察者に視覚情報を提示することも容易である。
【００１２】
以下に、本発明の実施の形態を詳細に説明する。
〔第１の実施の形態〕
まず、本発明における第１の実施の形態について説明する。
本形態は、上述のような光点列を具備する視覚情報表示装置を用い、複数人それぞれに必要な情報を独立に取得させるものである。
図１は、本形態における視覚情報表示システム１の構成を例示したブロック図である。
図１に例示するように、本形態の視覚情報表示システム１は、特定の観察者の高速眼球運動を検出する高速眼球運動検出装置１０と、高速眼球運動が検出された観察者に視覚情報を提示する視覚情報表示装置２０とを有している。なお、説明の簡略化のため、図１では１つの高速眼球運動検出装置１０のみを示しているが、本形態の場合、視覚情報の提示を行う観察者の数だけ高速眼球運動検出装置１０が必要となる。各観察者の高速眼球運動を検出するためである。
【００１３】
＜高速眼球運動検出装置１０の構成＞
図１に例示するように、この例の高速眼球運動検出装置１０は、観察者の高速眼球運動を検出する検出部１１と、検出部での検出結果を示す高速眼球運動情報（サッカード情報）を生成する高速眼球運動情報生成部１２と、高速眼球運動を検出する観察者を特定するための識別情報１０１を格納する識別情報メモリ１３と、高速眼球運動情報を視覚情報表示装置２０に送信出力する送信部１４（「出力部」に相当）と、高速眼球運動検出装置１０を制御する制御部１５とを有している。
【００１４】
ここで、検出部１１は、例えば、カメラを利用して眼球運動を検出する装置（「日本視覚学会偏，”視覚情報処理ハンドブック”，朝倉書店，２０００．」，「Y. Ebisawa, "Improved video-based eye-gaze detection method", IEEE Trans. On Instrumentation and Measurement, 47:948-955, 1998.」，「Nac corp., "Eye Mark Recorder", http://www.eyemark.jp/」 等参照）や、特殊コンタクトを利用して眼球運動を検出する装置（「Robinson, D. A. "A method of measuring eye movement using a scleral search coil in a magnetic field", IEEE trance. on Bio-Medical Electrics, 137-145, 1963.」等参照）等である。また、ＥＯＧ(electro-oculography)を利用して眼球運動を検出する装置を検出部１１として用いてもよい。ここで、ＥＯＧとは、眼球の動きで変化する生体電気信号を意味する。例えば、眼球運動に伴う網膜の表と裏の間の電位差の変化を示す信号がＥＯＧに相当する。
【００１５】
[ＥＯＧを利用して高速眼球運動を検出する検出部の具体例]
両目の間及び両目の左右外側に電極を貼り付けておき、目が左右に動いた場合に生じる電極間の電位差を高速眼球運動の検出信号として用いることができる。図２（ａ）（ｂ）は、このようにＥＯＧを利用して高速眼球運動を検出する検出部１１の構成を例示した図である。
図２（ａ）に例示するように、ＥＯＧを利用して高速眼球運動を検出する検出部１１は、２つの信号電極１１ａ，１１ｂと、１つの不間電極１１ｃと、計装増幅器１１ｄと、ハイパスフィルタ１１ｅと、ノッチフィルタ１１ｆと、増幅・オフセット調整部１１ｇと、ＡＤ変換部１１ｈａを具備する検出処理部１１ｈと、を有している。
【００１６】
図２（ｂ）に例示するように、２つの信号電極１１ａ，１１ｂは、それぞれ、観察者１０３の右目１０３ａの右（観察者１０３からみて右）外側近傍及び左目１０３ｂの左（観察者１０３からみて左）外側近傍に貼り付けられる。また、不間電極１１ｃは、右目１０３ａと左目１０３ｂとの間に貼り付けられる。なお、図２に例示する検出部１１は、観察者１０３からみて左右方向の高速眼球運動のみを検出するものであるため、右目１０３ａ及び左目１０３ｂの（観察者１０３からみた）左右の位置に信号電極１１ａ，１１ｂ及び不間電極１１ｃを貼り付ける構成となっているが、上下方向の高速眼球運動を検出する場合には、右目１０３ａ及び左目１０３ｂの（観察者１０３からみた）上下の位置に、電極を貼り付ける必要がある。
【００１７】
信号電極１１ａ，１１ｂ及び不間電極１１ｃで検出された信号電極１１ａと不間電極１１ｃとの電位差、及び信号電極１１ｂと不間電極１１ｃとの電位差を、それぞれ示す信号は計装増幅器１１ｄに入力され、そこで増幅（増幅率約４０〜６０ｄＢ）される。次に、これらの増幅信号から、高速眼球運動に伴って発生する高周波のサッカード信号のみを取り出すため、これらの信号をハイパスフィルタ１１ｅ（カットオフ周波数約１Ｈｚ）に入力させ、サッカード信号よりも低い周波数を除去する。さらに、ハイパスフィルタ１１ｅからの出力信号をノッチフィルタ１１ｆ（カットオフ周波数約５０Ｈｚ）に入力させ、信号の中に多く含まれる電力線からの電磁波ノイズを除去する。そして、ノッチフィルタ１１ｆからの出力信号を増幅・オフセット調整部１１ｇに入力させ、ＡＤ変換部１１ｈａにフルスケールで入力されるように増幅（増幅率２０〜４０ｄＢ程度）とオフセット（出力レンジ０〜５Ｖ）の調整を行う。増幅・オフセット調整部１１ｇからの出力信号は、検出処理部１１ｈのＡＤ変換部１１ｈａでデジタル信号に変換された後、検出処理部１１ｈで微分処理され、その微分結果が所定の閾値を越えたときに、検出処理部１１ｈは高速眼球運動を検出した旨の検出情報を出力する（[ＥＯＧを利用して高速眼球運動を検出する検出部の具体例］の説明終わり）。
【００１８】
また、高速眼球運動情報生成部１２及び制御部１５は、例えば、ＣＰＵ（Central Processing Unit）に所定のプログラムが読み込まれることにより構成される。また、識別情報メモリ１３は、ＲＡＭ（Random Access Memory）等である。また、送信部１４は、無線ＬＡＮカード等の無線通信器である。
＜視覚情報表示装置２０の構成＞
図１に例示するように、視覚情報表示装置２０は、高速眼球運動検出装置１０から送信された高速眼球運動情報の受信入力を受け付ける受信部２１（「入力部」に相当）と、視覚情報の表示を行う発光部２４と、受信部２１から受け取った高速眼球運動情報を用い、発光部２４に情報を表示させるか否かを制御する制御部２２と、観察者の識別情報とその観察者に提示する表示情報とを対応付けた表示内容表１０２を格納する表示内容表メモリ２３とを有している。ここで、本形態の発光部２４は、地面と鉛直方向に列状に配列された複数の光点２４ａを有する。発光部２４は、観察者の高速眼球運動に伴う光点２４ａの残像を利用して視覚情報を提示する。なお、本形態の発光部２４は、地面と鉛直方向に一列に配列された複数の光点２４ａを有するものとするが、光点２４ａの配置はこれに限定されず、複数の光点２４ａを２次元的に配列した構成としてもよい。また、本形態では、Ａ〜Ｌの１２個の光点２４ａを具備する発光部２４を例示するが、光点２４ａの数はこれに限定されない。また、本形態の「表示情報」は、視覚情報の表示を開始してからの時間と光点２４ａの発光パターン（どの光点２４ａを点灯させ、どの光点２４ａを消灯するか）との組合せを示す情報である。また、視覚情報の時間軸の幅は、高速眼球運動の継続時間以下とする。
【００１９】
ここで、受信部２１は、無線ＬＡＮカード等の無線通信器である。また、制御部２２は、例えば、ＣＰＵに所定のプログラムが読み込まれることにより構成される。また、表示内容表メモリ２３は、ＲＡＭ等である。さらに、発光部２４は、電球や発光ダイオード等の光点２４ａを備えた装置である。
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図４は、本形態の視覚情報表示処理を説明するためのフローチャートである。
【００２０】
以下、この図に沿って本形態の視覚情報表示処理を説明する。
まず、高速眼球運動検出装置１０の制御部１５は、観察者の高速眼球運動が検出部１１で検出されたか否かを判断する（ステップＳ１）。ここで、観察者の高速眼球運動が検出部１１で検出されていないと判断された場合、制御部１５は、観察者の高速眼球運動が検出されるまでステップＳ１の判断処理を繰り返す。一方、観察者の高速眼球運動が検出部１１で検出されたと判断された場合、制御部１５は、検出部１１で検出された検出情報を高速眼球運動情報生成部１２に送る。これを受け取った高速眼球運動情報生成部１２は、受け取った検出情報と識別情報メモリ１３から読み込んだ識別情報１０１とを用い、観察者の高速眼球運動の検出結果を示す高速眼球運動情報を生成する（ステップＳ２）。
【００２１】
図３（ａ）（ｂ）は、本形態の高速眼球運動情報生成部１２が生成する高速眼球運動情報１１０，１２０の例示である。図３（ａ）の例は、識別情報１１１と検出情報１１２とを有するの高速眼球運動情報１１０の例であり、図３（ｂ）の例は、識別情報１１１と検出情報１１２と高速眼球運動の速度情報とを有するの高速眼球運動情報１２０の例である。なお、高速眼球運動の速度は、例えば、検出情報１１２を元に算出される。
生成された高速眼球運動情報は、送信部１４から送信され（ステップＳ３）、視覚情報表示装置２０の受信部２１で受信される（ステップＳ４）。受信部２１で受信された高速眼球運動情報は、制御部２２に送られ、制御部２２は、受け取った高速眼球運動情報を用い、発光部２４に情報を表示させるか否かを制御する。この例の制御部２２は、高速眼球運動情報を受け取ったことをトリガに発光部２４に情報を表示させる。発光部２４に情報を表示させる場合、制御部２２は、受け取った高速眼球運動情報が有する識別情報を検索キーとして表示内容表メモリ２３の表示内容表１０２を検索し、この検索キーに対応する表示情報（表示内容を示す情報）を抽出する（ステップＳ５）。制御部２２は、抽出した表示情報を発光部２４に送り、発光部２４は、光点２４ａの発光パターンを順次変化させることにより、表示情報によって特定される視覚情報の提示を行う（ステップＳ６）。なお、高速眼球運動情報が速度情報を有している場合、この速度情報が示す速度に応じて光点２４ａの発光パターンを順次変化させる。すなわち、この速度情報が示す速度が速ければ速いほど、光点２４ａの発光パターンの変化速度を速くする。これにより、高速眼球運動が検出された観察者に最適な２次元画像を提示することができる。
【００２２】
表示情報によって特定される視覚情報の提示が終了するとステップＳ１の処理に戻る。
なお、上記では、１人の観察者に対応する処理のみを示したが、観察者が複数存在する場合には、観察者ごとに図４に示したのとと同じ処理が実行される。また、本形態の場合、高速眼球運動検出装置１０は、観察者ごとに相違し、視覚情報表示装置２０は、各観察者に共用される。
［発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係］
次に、発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係について説明する。
【００２３】
図５は、ステップＳ６で行なわれる制御部２２による発光部２４の制御内容を説明するための図である。また、図６（ａ）（ｂ）は、図５の制御内容に応じた光点２４ａの表示を観察者１０３−１，１０３−２がどのように知覚するかを説明するための概念図である。
ここで、図５の横軸は時間を示し、縦軸はＡ〜Ｌの各光点２４ａの点灯有無を示す。なお、図５における白丸は対応する光点２４ａを消灯させることを示し、黒丸は対応する光点２４ａを点灯させることを示す。例えば、図５における時間ｔ２では、Ａ〜Ｆ及びＪ〜Ｋの光点２４ａを点灯させ、Ｇ〜Ｉの光点２４ａを消灯させる。図５の例では、視覚情報表示装置２０の制御部２２は、時間ｔ１に観察者１０３−１に対応する高速眼球運動情報のみを受信部２１から受け取り、時間ｔ３に観察者１０３−２に対応する高速眼球運動情報のみを受信部２１から受け取っている。また、図６（ａ）は、時間ｔ１において、観察者１０３−１，１０３−２が光点２４ａの表示をどのように知覚するかを示しており、図６（ｂ）は、時間ｔ３において、観察者１０３−１，１０３−２が光点２４ａの表示をどのように知覚するかを示している。また、観察者１０３−１が高速眼球運動検出装置１０−１を利用し、観察者１０３−２が高速眼球運動検出装置１０−１を利用し、視覚情報表示装置２０は、観察者１０３−１，１０３−２で共用されるものとする。
【００２４】
［時間ｔ１から開始される処理］
制御部２２は、時間ｔ１に観察者１０３−１に対応する高速眼球運動情報を受け取ると、この高速眼球運動情報の識別情報に対応する表示情報を、上述のように表示内容表メモリ２３から抽出する。前述のように、本形態の表示情報は、視覚情報の表示を開始してからの時間と点灯させる光点２４ａとの組合せを特定する情報である。制御部２２は、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。図５の例の場合、制御部２２は、この表示情報に従い、時間ｔ１でＡ〜Ｌ全ての光点２４ａを点灯させ、時間ｔ１+Δ１でＡの光点２４ａを消灯させてＢ〜Ｌの光点２４ａを点灯させ、時間ｔ１+Δ２でＡ〜Ｃ，Ｋ，Ｌの光点２４ａを消灯させてＤ〜Ｊの光点２４ａを点灯させるといった処理を、順次、時間ｔ１＋Δｎまで行っていく。なお、前述のように、視覚情報の時間軸の幅は高速眼球運動の継続時間以下であるため、Δｎは高速眼球運動の継続時間以下となる。
【００２５】
ここで、時間ｔ１は、観察者１０３−１の高速眼球運動が開始された時間とほぼ等しい（信号処理や伝送に伴う誤差はあるが）。また、時間ｔ１から時間ｔ１＋Δｎまでの間は、観察者１０３−１の高速眼球運動が継続している。そのため、時間ｔ１から時間ｔ１＋Δｎまでの間、観察者１０３−１の網膜に映る光点２４ａの列の像が、パターンを順次変化させながら網膜上を移動することになる。そして、網膜に映った像は、しばらくの間、残像として認識されるのであるから、この観察者１０３−１は、この網膜に映る光点２４ａの列の軌跡を２次元画像として知覚でき、観察者１０３−１は、図６（ａ）に示すような視覚情報（この例では「魚の絵」）を得ることができる。
【００２６】
これに対し、時間ｔ１では、観察者１０３−２に対応する高速眼球運動が制御部２２に入力されておらず、観察者１０３−２には高速眼球運動が生じていない。同じ光点２４ａの列を観察しているが高速眼球運動を行っていない観察者１０３−２の網膜には、位置を変えることなく発光パターンのみが順次変化する光点２４ａの列の像が映し出される。この場合、この観察者１０３−２は、光点２４ａの列の像を光点列としか知覚できず、それが示す２次元画像を認識できない。
［時間ｔ３から開始される処理］
制御部２２は、時間ｔ３に観察者１０３−２に対応する高速眼球運動情報を受け取ると、この高速眼球運動情報の識別情報に対応する表示情報を、前述のように表示内容表メモリ２３から抽出し、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。図５の例の場合、制御部２２は、この表示情報に従い、時間ｔ３でＡ〜Ｌ全ての光点２４ａを消灯させ、時間ｔ３+Δ１でＡ，Ｅ〜Ｉ，Ｌの光点２４ａを消灯させてＢ〜Ｄ，Ｊ，Ｋの光点２４ａを点灯させ、時間ｔ３+Δ２でＡ，Ｄ〜Ｇ，Ｊの光点２４ａを消灯させてＢ，Ｃ，Ｈ，Ｉ，Ｋ，Ｌの光点２４ａを点灯させるといった処理を、順次、時間ｔ３＋Δｍまで行っていく。なお、前述のように、視覚情報の時間軸の幅は高速眼球運動の継続時間以下であるため、Δｍは高速眼球運動の継続時間以下となる。
【００２７】
ここで、時間ｔ３は、観察者１０３−２の高速眼球運動が開始された時間とほぼ等しい。また、時間ｔ３から時間ｔ３＋Δｍまでの間は、観察者１０３−２の高速眼球運動が継続している。そのため、時間ｔ３から時間ｔ３＋Δｍまでの間、観察者１０３−２の網膜に映る光点２４ａの列の像がパターンを順次変化させながら網膜上を移動し、観察者１０３−２は、この網膜に映る光点２４ａの列の軌跡を２次元画像として知覚できる。これにより、観察者１０３−２は、図６（ｂ）に示すような視覚情報（この例では「人の顔」）を得ることができる。
【００２８】
これに対し、時間ｔ３では、観察者１０３−１に対応する高速眼球運動が制御部２２に入力されておらず、観察者１０３−１には高速眼球運動が生じていない。そのため、観察者１０３−１は、この視覚情報を得ることができない。
＜本形態の特徴＞
以上のように、本形態では、視覚情報表示装置２０の受信部２１で、高速眼球運動検出装置１０で検出された観察者の高速眼球運動の検出結果を示す高速眼球運動情報を視覚情報表示装置２０で受信したことをトリガに、発光部２４において、高速眼球運動に伴う光点の残像を利用した情報提示を行うこととした。これにより、高速眼球運動単位、すなわち観察者単位で、発光部の情報提示を制御することが可能となる。また、高速眼球運動をトリガとして情報提示を行うため、常に最適なタイミングで、高速眼球運動に伴う光点の残像を利用した情報提示を行うことができる。
【００２９】
また、本形態では、複数の観察者それぞれに別個の高速眼球運動検出装置１０を対応させ、各高速眼球運動検出装置１０が対応する観察者の高速眼球運動の検出することとした。そして、各高速眼球運動検出装置１０は、対応する観察者の高速眼球運動の検出結果と、その観察者を示す識別情報とを有する高速眼球運動情報を生成し、視覚情報表示装置２０の制御部２２は、受け取った高速眼球運動情報が有する識別情報が示す観察者に対応する情報を発光部２４に表示させることとした。これにより、観察者間で独立な視覚情報を提示することができる。
【００３０】
また、発光部２４を、地面と鉛直方向に列状に配列された複数の光点２４ａを有する構成とした場合、観察者に、高い確率で良好な表示情報を認識させることが可能となる。人間の日常生活では、地面と鉛直方向の高速眼球引運動が発生する頻度よりも、地面と平行方向の高速眼球運動が発生する頻度のほうが高いからである。
さらに、検出部１１が観察者に対して水平方向の高速眼球運動のみを検出できる構成とすれば、発光部２４は、観察者に対して水平方向の高速眼球運動が生じている場合にのみ視覚情報を表示することになるため、観察者に確実に良好な表示情報を認識させることができる。
【００３１】
〔第２の実施の形態〕
次に、本発明における第２の実施の形態について説明する。
本形態は、第１の実施の形態の変形例である。第１の実施の形態との主な相違点は、第１の実施の形態では、高速眼球運動情報に対応する観察者の識別情報を含ませていたとことを、第２の実施の形態では、高速眼球運動情報に表示情報そのものを含ませる点である。これにより、視覚情報表示装置での表示内容表の管理が不要となる。以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項については説明を省略する。
【００３２】
図７は、本形態における視覚情報表示システム２００の構成を例示したブロック図である。なお、図７において第１の実施の形態と共通する部分については、図１と同じ符号を用いた。
図７に例示するように、本形態の視覚情報表示システム２００は、特定の観察者の高速眼球運動を検出する高速眼球運動検出装置２１０と、高速眼球運動が検出された観察者に視覚情報を提示する視覚情報表示装置２２０とを有している。なお、視覚情報の提示を行う観察者の数だけ高速眼球運動検出装置２１０が必要となるのは、第１の実施の形態と同様である。
【００３３】
＜高速眼球運動検出装置２１０の構成＞
図７に例示するように、この例の高速眼球運動検出装置２１０は、検出部１１と、高速眼球運動情報生成部１２と、視覚情報表示装置２２０で表示する視覚情報を特定するための表示情報１３１を格納する表示情報メモリ２１３と、送信部１４（「出力部」に相当）と、制御部１５とを有している。なお、表示情報の定義は、第１の実施の形態と同じである。
＜視覚情報表示装置２２０の構成＞
図７に例示するように、視覚情報表示装置２２０は、受信部２１（「入力部」に相当）と、発光部２４ａを具備する発光部２４と、制御部２２とを有している。
【００３４】
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図９は、本形態の視覚情報表示処理を説明するためのフローチャートである。
以下、この図に沿って本形態の視覚情報表示処理を説明する。
まず、高速眼球運動検出装置２１０の制御部１５は、観察者の高速眼球運動が検出部１１で検出されたか否かを判断する（ステップＳ１１）。ここで、観察者の高速眼球運動が検出部１１で検出されていないと判断された場合、制御部１５は、観察者の高速眼球運動が検出されるまでステップＳ１１の判断処理を繰り返す。一方、観察者の高速眼球運動が検出部１１で検出されたと判断された場合、制御部１５は、検出部１１で検出された検出情報を高速眼球運動情報生成部１２に送る。これを受け取った高速眼球運動情報生成部１２は、受け取った検出情報と表示情報メモリ２１３から読み込んだ表示情報１３１とを用い、観察者の高速眼球運動の検出結果を示す高速眼球運動情報を生成する（ステップＳ１２）。
【００３５】
図８は、本形態の高速眼球運動情報生成部１２が生成する高速眼球運動情報１３０の例示である。このように、本形態の高速眼球運動情報１３０は、表示情報１３２と検出情報１１２とを具備している。
生成された高速眼球運動情報は、送信部１４から送信され（ステップＳ１３）、視覚情報表示装置２０の受信部２１で受信される（ステップＳ１４）。受信部２１で受信された高速眼球運動情報は、制御部２２に送られ、制御部２２は、受け取った高速眼球運動情報を用い、発光部２４に情報を表示させるか否かを制御する。この例の制御部２２は、高速眼球運動情報を受け取ったことをトリガに発光部２４に情報を表示させる。発光部２４に情報を表示させる場合、制御部２２は、受け取った高速眼球運動情報が有する表示情報を発光部２４に送り、発光部２４は、光点２４ａの発光パターンを順次変化させることにより、表示情報によって特定される視覚情報の提示を行う（ステップＳ１５）。
【００３６】
表示情報によって特定される視覚情報の提示が終了するとステップＳ１１の処理に戻る。
以上のような構成としても第１の実施の形態と同様な効果を得ることができる。
〔第３の実施の形態〕
次に、本発明における第３の実施の形態について説明する。
本形態も第１の実施の形態の変形例である。第１の実施の形態との主な相違点は、高速眼球運動検出装置が観察者の高速眼球運動の方向を検証し、その方向が観察者からみて水平方向から所定各以内にある場合にのみ、高速眼球運動情報を視覚情報表示装置に送る点である。以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項については説明を省略する。
【００３７】
＜構成＞
本形態の構成は第１の実施の形態と同様である。また、本形態の検出部１１は、観察者からみて上下左右の高速眼球運動を検出できるものであり、本形態の発光部２４は、地面と鉛直方向に一列に配列された複数の光点２４ａを有する（図１）。
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図１０は、本形態の視覚情報表示処理を説明するためのフローチャートである。
【００３８】
以下、この図に沿って本形態の視覚情報表示処理を説明する。
まず、高速眼球運動検出装置１０の制御部１５（図１）は、観察者の高速眼球運動が検出部１１で検出されたか否かを判断する（ステップＳ２１）。ここで、観察者の高速眼球運動が検出部１１で検出されていないと判断された場合、制御部１５は、観察者の高速眼球運動が検出されるまでステップＳ２１の判断処理を繰り返す。一方、観察者の高速眼球運動が検出部１１で検出されたと判断された場合、制御部１５は、検出部１１で検出された検出情報を制御部１５及び高速眼球運動情報生成部１２に送る。本形態の検出情報には、検出した高速眼球運動の運動方向に関する情報も含まれている。
【００３９】
次に、制御部１５は、検出された高速眼球運動の運動方向が、観察者からみた水平方向から所定角以内にあるか否かを検証する（ステップＳ２２）。ここで、制御部１５は、高速眼球運動の運動方向が水平方向から所定角以内にないと判断すれば、処理をステップＳ２１の処理に戻し、高速眼球運動の運動方向が水平方向から所定角以内にあると判断すれば、ステップＳ２３以降の処理を実行させる。なお、ステップＳ２３〜Ｓ２７の処理は、第１の実施の形態のステップＳ２〜Ｓ６の処理を同様であるため、ここでは説明を省略する。
【００４０】
＜本形態の特徴＞
このような構成とした場合、発光部２４は、観察者に対して水平方向の高速眼球運動が生じている場合にのみ、地面と鉛直方向に一列に配列された複数の光点２４ａを有する発光部２４に視覚情報を表示することになる。その結果、観察者に確実に良好な表示情報を認識させることができる。
なお、本形態では、高速眼球運動の運動方向が水平方向か否かを高速眼球運動検出装置１０で判断することとしたが、視覚情報表示装置２０において、受け取った高速眼球運動情報が示す高速眼球運動の運動方向が水平方向か否かを判断し、水平方向であると判断した場合にのみ視覚情報を表示する構成としてもよい。
【００４１】
〔第４の実施の形態〕
次に、本発明における第４の実施の形態について説明する。
本形態も第１の実施の形態の変形例である。第１の実施の形態との主な相違点は、観察者毎に別個の高速眼球運動検出装置で各観察者の高速眼球運動を検出するのではなく、各観察者で共用される１個の検出部で、各観察者の高速眼球運動を検出するものである。以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項については説明を省略する。
【００４２】
＜構成＞
図１１は、本形態の視覚情報表示装置３００の構成を例示したブロック図である。なお、図１１において第１の実施の形態と共通する部分については、図１と同じ符号を付した。
図１１に例示するように、本形態の視覚情報表示装置３００は、複数の観察者の高速眼球運動を検出可能な検出部３１１と、高速眼球運動情報を生成する高速眼球運動情報生成部３１２と、高速眼球運動情報が入力される入力部３２１と、制御部３２２と、観察者の範囲情報と当該観察者に提示する視覚情報を特定する表示情報とを対応付けた表示内容表１５２を格納する表示内容表メモリ３２３と、複数の光点２４ａを具備する発光部２４とを有する。なお、「表示情報」の定義は第１の実施の形態と同じである。
【００４３】
本形態の検出部３１１は、例えば、高速カメラを用いて撮影した観察者の高速眼球運動を検出する装置である（「Bjorn W., Komuro T., Namiki A., Ishikawa M. "Development of High Speed Eye Tracking System Using the "Vision Chip"" proc of 2005 JSME Conf. on Robotics and Macaronis, 2005」「渡邊淳司，安藤英由樹，関口大陸，前田太郎，舘 ▲すすむ▼，”網膜再帰反射を利用した遠隔サッカード検出手法の研究”，日本バーチャルリアリティ学会論文誌，Vol. 9, No. 1, pp.105-113, 2004.」等参照）。また、この検出部３１１は、高速眼球運動を検出する観察者の近傍に配置され、高速眼球運動だけではなく、その高速眼球運動が検出された位置をも検出するものである。
【００４４】
また、表示内容表１５２が有する範囲情報は、例えば、座標点によって特定される範囲を示す情報であり、この範囲は、例えば、検出部３１１での検出可能範囲を複数に区分した際の一部である。
＜視覚情報表示処理＞
次に、本形態の視覚情報表示処理について説明する。
図１２は、本形態の視覚情報表示処理を説明するためのフローチャートである。
以下、この図に沿って本形態の視覚情報表示処理を説明する。
【００４５】
まず、視覚情報表示装置３００の制御部３２２は、何れかの観察者の高速眼球運動が検出部３１１で検出されたか否かを判断する（ステップＳ３１）。ここで、何れかの観察者の高速眼球運動が検出部３１１で検出されていないと判断された場合、制御部３２２は、観察者の高速眼球運動が検出されるまでステップＳ３１の判断処理を繰り返す。一方、何れかの観察者の高速眼球運動が検出部３１１で検出されたと判断された場合、制御部３２２は、検出部３１１で検出された検出情報を高速眼球運動情報生成部３１２に送る。なお、本形態の検出情報には、高速眼球情報が検出された位置を示す位置情報も含まれている。
【００４６】
この検出情報を受け取った高速眼球運動情報生成部３１２は、受け取った検出情報を用い、観察者の高速眼球運動の検出結果を示す高速眼球運動情報を生成する（ステップＳ３２）。なお、本形態の高速眼球運動情報には、検出情報が含まれている。生成された高速眼球運動情報は、入力部３２１に入力され（ステップＳ３３）、そこから制御部３２２に送られる。
制御部３２２は、受け取った高速眼球運動情報が具備する検出情報から位置情報を抽出し、この位置情報を検索キーとして、表示内容表メモリ３２３の表示内容表１５２を検索し、検索キーに対応する表示情報を抽出する。例えば、制御部３２２は、検索キーが示す位置が含まれる範囲に対応する範囲情報に表示内容表１５２で対応付けられている表示情報を抽出する。
【００４７】
制御部３２２は、抽出した表示情報を発光部２４に送り、発光部２４は、光点２４ａの発光パターンを順次変化させることにより、表示情報によって特定される視覚情報の提示を行う（ステップＳ３５）。
［発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係］
次に、発光部２４の光点２４ａの発光パターン制御と観察者に提示される視覚情報との関係について説明する。なお、制御部３２２によるステップＳ３５での発光部２４の制御内容は、第１の実施の形態のステップＳ６と同じ（図５）であるとして説明する。
【００４８】
図１３（ａ）（ｂ）は、この制御内容に応じた光点２４ａの表示を観察者１０３−１，１０３−２がどのように知覚するかを説明するための概念図である。なお、検出部３１１は、観察者１０３−１の高速眼球運動を、位置αにおける高速眼球運動として検出し、観察者１０３−２の高速眼球運動を、位置βにおける高速眼球運動として検出するものとする。
［時間ｔ１から開始される処理］
制御部２２は、時間ｔ１に位置αを示す位置情報を具備する高速眼球運動情報を受け取ると、この位置情報に対応する表示情報を、表示内容表メモリ３２３から抽出する。制御部３２２は、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。そして、位置αで高速眼球運動が検出された観察者１０３−１は、第１の実施の形態と同様に、網膜に映る光点２４ａの列の軌跡を２次元画像として知覚し、図１３（ａ）に示すような視覚情報（この例では「魚の絵」）を得ることができる。
【００４９】
これに対し、時間ｔ１では、観察者１０３−２には高速眼球運動が生じていない。この場合、１０３−２の網膜には、位置を変えることなく発光パターンのみが順次変化する光点２４ａの列の像が映し出される、この観察者１０３−２は、光点２４ａの列の像が示す２次元画像を認識できない。
［時間ｔ３から開始される処理］
制御部３２２は、時間ｔ３に位置βを示す位置情報を具備する高速眼球運動情報を受け取ると、この位置情報に対応する表示情報を、表示内容表メモリ３２３から抽出する。
【００５０】
制御部３２２は、この表示情報を用いて発光部２４の光点２４ａの点灯・消灯を制御する。そして、位置βで高速眼球運動が検出された観察者１０３−２は、第１の実施の形態と同様に、網膜に映る光点２４ａの列の軌跡を２次元画像として知覚し、図１３（ｂ）に示すような視覚情報（この例では「人の顔」）を得ることができる。
これに対し、時間ｔ３では、観察者１０３−１には高速眼球運動が生じていない。そのため、観察者１０３−１は、この視覚情報を得ることができない。
＜本形態の特徴＞
このように、複数の観察者の高速眼球運動を１つの検出部３１１で検出する構成としても第１と実施の形態と同様の効果を得ることができる。
【００５１】
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上記の各実施の形態では、「表示情報」を「視覚情報の表示を開始してからの時間と光点２４ａの発光パターンとの組合せを示す情報」と定義したが、光点２４ａの光パターンとの組合せと、その組合せの表示順序とを示す情報を「表示情報」としてもよい。また、検出部で高速眼球運動の方向を検出し、その検出方向と略垂直方向の光点列を制御し情報提示を行う構成としてもよい。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００５２】
その他、上述の実施の形態を組み合わせて実施することとしてもよく、また、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５４】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【００５５】
本発明の産業上の利用分野としては、例えば、街頭テレビのような共有型視覚提示装置から各個人に異なった情報を提供するシステム等を例示できる。
【図面の簡単な説明】
【００５６】
【図１】図１は、第１の実施の形態における視覚情報表示システムの構成を例示したブロック図である。
【図２】図２（ａ）（ｂ）は、ＥＯＧを利用して高速眼球運動を検出する検出部の構成を例示した図である。
【図３】図３（ａ）（ｂ）は、第１の実施の形態の高速眼球運動情報生成部が生成する高速眼球運動情報の例示である。
【図４】図４は、第１の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図５】図５は、ステップＳ６で行なわれる制御部による発光部の制御内容を説明するための図である。
【図６】図６（ａ）（ｂ）は、図５の制御内容に応じた光点の表示を観察者がどのように知覚するかを説明するための概念図である。
【図７】図７は、第２の実施の形態における視覚情報表示システムの構成を例示したブロック図である。
【図８】図８は、第２の実施の形態の高速眼球運動情報生成部が生成する高速眼球運動情報の例示である。
【図９】図９は、第２の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図１０】図１０は、第３の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図１１】図１１は、第４の実施の形態の視覚情報表示装置の構成を例示したブロック図である。
【図１２】図１２は、第４の実施の形態の視覚情報表示処理を説明するためのフローチャートである。
【図１３】図１３（ａ）（ｂ）は、光点の表示を観察者がどのように知覚するかを説明するための概念図である。
【符号の説明】
【００５７】
１，２００ 視覚情報表示システム
１０，２１０ 高速眼球運動検出装置
２０，２２０，３００ 視覚情報表示装置
【特許請求の範囲】
【請求項１】
高速眼球運動を利用して視覚情報の表示を行う視覚情報表示装置であって、
観察者の高速眼球運動の検出結果を示す高速眼球運動情報の入力を受け付ける入力部と、
観察者の高速眼球運動に伴う光点の残像を利用して情報の表示を行う発光部と、
上記入力部から受け取った上記高速眼球運動情報を用い、上記発光部での情報表示を制御する制御部と、
を有することを特徴とする視覚情報表示装置。
【請求項２】
請求項１に記載の視覚情報表示装置であって、
上記高速眼球運動情報は、
観察者の高速眼球運動が検出された際に上記入力部に入力され、
上記制御部は、
上記高速眼球運動情報を受け取ったことをトリガに、上記発光部に情報を表示させる、
ことを特徴とする視覚情報表示装置。
【請求項３】
請求項１又は２に記載の視覚情報表示装置であって、
上記入力部は、
複数の観察者の高速眼球運動に対応する上記高速眼球運動情報の入力を受け付け、
上記高速眼球運動情報は、
それぞれに対応する観察者を示す識別情報を有し、
上記制御部は、
受け取った上記高速眼球運動情報が有する上記識別情報が示す観察者に対応する情報を上記発光部に表示させる、
ことを特徴とする視覚情報表示装置。
【請求項４】
請求項１又は２に記載の視覚情報表示装置であって、
上記入力部は、
複数の観察者の高速眼球運動に対応する上記高速眼球運動情報の入力を受け付け、
上記高速眼球運動情報は、
それぞれに対応する観察者に提示する表示情報を有し、
上記制御部は、
受け取った上記高速眼球運動情報が有する上記表示情報が示す情報を上記発光部に表示させる、
ことを特徴とする視覚情報表示装置。
【請求項５】
請求項１に記載の視覚情報表示装置であって、
上記発光部は、
地面と鉛直方向に列状に配列された複数の光点を有する、
ことを特徴とする視覚情報表示装置。
【請求項６】
請求個５に記載の視覚情報表示装置であって、
上記制御部は、
観察者に対して水平方向の高速眼球運動が検出されたことを示す上記高速眼球運動情報を受け取ったことをトリガに、上記発光部に情報を表示させる、
ことを特徴とする視覚情報表示装置。
【請求項７】
高速眼球運動検出装置の検出部が、観察者の高速眼球運動を検出する過程と、
高速眼球運動検出装置の出力部が、上記検出部での検出結果を示す高速眼球運動情報を出力する過程と、
視覚情報表示装置の入力部が、上記高速眼球運動情報の入力を受け付ける過程と、
視覚情報表示装置の制御部が、上記入力部から受け取った上記高速眼球運動情報を用い、発光部での情報表示を制御する過程と、
視覚情報表示装置の発光部が、上記制御部の制御に従い、観察者の高速眼球運動に伴う光点の残像を利用して情報の表示を行う過程と、
を有することを特徴とする視覚情報表示方法。
【請求項８】
請求項１から６の何れかに記載の視覚情報表示装置としてコンピュータを機能させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【請求項１】
高速眼球運動を利用して視覚情報の表示を行う視覚情報表示装置であって、
観察者の高速眼球運動の検出結果を示す高速眼球運動情報の入力を受け付ける入力部と、
観察者の高速眼球運動に伴う光点の残像を利用して情報の表示を行う発光部と、
上記入力部から受け取った上記高速眼球運動情報を用い、上記発光部での情報表示を制御する制御部と、
を有することを特徴とする視覚情報表示装置。
【請求項２】
請求項１に記載の視覚情報表示装置であって、
上記高速眼球運動情報は、
観察者の高速眼球運動が検出された際に上記入力部に入力され、
上記制御部は、
上記高速眼球運動情報を受け取ったことをトリガに、上記発光部に情報を表示させる、
ことを特徴とする視覚情報表示装置。
【請求項３】
請求項１又は２に記載の視覚情報表示装置であって、
上記入力部は、
複数の観察者の高速眼球運動に対応する上記高速眼球運動情報の入力を受け付け、
上記高速眼球運動情報は、
それぞれに対応する観察者を示す識別情報を有し、
上記制御部は、
受け取った上記高速眼球運動情報が有する上記識別情報が示す観察者に対応する情報を上記発光部に表示させる、
ことを特徴とする視覚情報表示装置。
【請求項４】
請求項１又は２に記載の視覚情報表示装置であって、
上記入力部は、
複数の観察者の高速眼球運動に対応する上記高速眼球運動情報の入力を受け付け、
上記高速眼球運動情報は、
それぞれに対応する観察者に提示する表示情報を有し、
上記制御部は、
受け取った上記高速眼球運動情報が有する上記表示情報が示す情報を上記発光部に表示させる、
ことを特徴とする視覚情報表示装置。
【請求項５】
請求項１に記載の視覚情報表示装置であって、
上記発光部は、
地面と鉛直方向に列状に配列された複数の光点を有する、
ことを特徴とする視覚情報表示装置。
【請求項６】
請求個５に記載の視覚情報表示装置であって、
上記制御部は、
観察者に対して水平方向の高速眼球運動が検出されたことを示す上記高速眼球運動情報を受け取ったことをトリガに、上記発光部に情報を表示させる、
ことを特徴とする視覚情報表示装置。
【請求項７】
高速眼球運動検出装置の検出部が、観察者の高速眼球運動を検出する過程と、
高速眼球運動検出装置の出力部が、上記検出部での検出結果を示す高速眼球運動情報を出力する過程と、
視覚情報表示装置の入力部が、上記高速眼球運動情報の入力を受け付ける過程と、
視覚情報表示装置の制御部が、上記入力部から受け取った上記高速眼球運動情報を用い、発光部での情報表示を制御する過程と、
視覚情報表示装置の発光部が、上記制御部の制御に従い、観察者の高速眼球運動に伴う光点の残像を利用して情報の表示を行う過程と、
を有することを特徴とする視覚情報表示方法。
【請求項８】
請求項１から６の何れかに記載の視覚情報表示装置としてコンピュータを機能させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−１３２９９４（Ｐ２００７−１３２９９４Ａ）
【公開日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願番号】特願２００５−３２３４８１（Ｐ２００５−３２３４８１）
【出願日】平成１７年１１月８日（２００５．１１．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願日】平成１７年１１月８日（２００５．１１．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]