注視エリア検出装置及び頭部装着型情報表示装置
【課題】処理負荷が軽く、検出までの処理速度が一定かつ高速な注視エリア検出装置、及び頭部装着型情報表示装置を提供する。
【解決手段】注視エリア検出装置は、眼球を撮像して第１の眼球像を生成する撮像素子（１２）と、第１の眼球像に対して画像処理を行って第２の眼球像を生成する画像処理部（１３）と、第２の眼球像から注視エリアを検出する注視エリア検出手段（１４，１５）とを備え、注視エリア検出部は、検出時間を一定とするように、第２の眼球像に対して確率統計を用いた確率統計処理を行って注視エリアを検出する。頭部装着型情報表示装置はこの注視エリア検出装置を備える。
【解決手段】注視エリア検出装置は、眼球を撮像して第１の眼球像を生成する撮像素子（１２）と、第１の眼球像に対して画像処理を行って第２の眼球像を生成する画像処理部（１３）と、第２の眼球像から注視エリアを検出する注視エリア検出手段（１４，１５）とを備え、注視エリア検出部は、検出時間を一定とするように、第２の眼球像に対して確率統計を用いた確率統計処理を行って注視エリアを検出する。頭部装着型情報表示装置はこの注視エリア検出装置を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の眼球を撮影した眼球像から、使用者の注視しているエリアを検出する注視エリア検出装置、及び注視エリア検出装置を備えた頭部装着型情報表示装置に関する。
【背景技術】
【０００２】
従来の視線方向を検出する装置としては、顔画像から視線方向を検出する視線方向検出装置（例えば、特許文献１参照）や、眼球像から視線方向を検出する視線検出装置（例えば、特許文献２参照）など、種々提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３７９７２５３号公報
【特許文献２】特許第３６３０８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載の装置は、瞳孔を円又は楕円として検出し、その中心座標を基にして視線の向いている方向や位置を特定するものであり、使用者がカメラのファインダーで見ている位置を特定したり、マウスカーソルを操作したりすることを目的とするものであった。そのため、高精度の検出方法が要求される。瞳孔を構成する円又は楕円を検出する手段として、ハフ変換や最小二乗法といった幾何学的方法が多く使用されている。
【０００５】
一方で、モバイル機器に接続する頭部装着型情報表示装置の操作に視線方向検出を使用した場合を考えると、一般に、頭部装着型装置が眼前に表示する画面のサイズは小さいため、マウスカーソルの操作よりも、むしろメニュー項目の選択といった比較的単純な操作が要求される。この要求に対して、従来の視線方向検出を使用することは可能であるが、視線方向検出で使用される幾何学的方法は処理の負荷が高いため、モバイル機器のような比較的低速な機器での使用には向いていないという問題があった。
【０００６】
また、頭部装着型情報表示装置において、使用者の視線方向によりメニュー項目の選択操作をする場合、視線方向を検出するためには、操作時のレスポンスを一定に保つために、視線方向検出の処理にかかる時間が一定であることが望ましい。しかし、ハフ変換や最小二乗法のような幾何学的方法を用いた場合、計算時間が眼球像において瞳孔の輪郭を構成するピクセル数に依存するため、検出までの処理時間が一定ではないという問題があった。
【０００７】
本発明の目的は、上記問題を解決するため、処理負荷が軽く、検出までの処理速度が一定かつ高速な注視エリア検出装置、及び注視エリア検出装置を備えた頭部装着型情報表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る注視エリア検出装置は、使用者の眼球を撮像して使用者が注視している注視エリアを検出する注視エリア検出装置であって、眼球を撮像して第１の眼球像を生成する撮像素子と、前記第１の眼球像に対して画像処理を行って第２の眼球像を生成する画像処理手段と、前記第２の眼球像から注視エリアを検出する注視エリア検出手段とを備え、前記注視エリア検出手段は、検出時間を一定とするように、前記第２の眼球像に対して確率統計処理を行って注視エリアを検出することを特徴とする。
【０００９】
本注視エリア検出装置によれば、注視エリアの検出に確率統計処理を使用しているため、幾何学的方法と比較して、計算負荷が軽量となり、処理時間が一定となるため、モバイル機器での使用に適する。メニュー項目の選択といった操作に応用することができる。
【００１０】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出手段は、前記第２の眼球像の撮像領域を複数のエリアに分割し、該複数のエリアの中のどのエリアを注視しているかを検出することを特徴とする。
【００１１】
本注視エリア検出装置によれば、眼球像の撮像領域（眼球が注視可能な領域）を分割したエリアを注視エリアとして検出するため、メニュー項目の選択といったユーザ操作に応用することができる。
【００１２】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出手段は、正規分布を有する確率分布テーブルを有し、該確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする。
【００１３】
本注視エリア検出装置によれば、予め用意した確率分布テーブルを用いるため、簡易な構成で注視エリアを検出することができる。
【００１４】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出手段は、前記各エリアを注視した眼球像の教師画像に基づいて作成された、前記エリア数分の確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする。
【００１５】
本注視エリア検出装置によれば、教師画像を使用者ごとに作成することで、使用者ごとに注視エリア検出処理を最適化することができる。
【００１６】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出部は、単純ベイズ分類法により前記確率統計処理を行うことを特徴とする。
【００１７】
本注視エリア検出装置によれば、処理時間が一定なので、メニュー項目の選択といった操作に応用することができ、また、使用者ごとに注視エリア検出処理を最適化することができる。
【００１８】
また、頭部装着型情報表示装置は、上述の注視エリア検出装置を備えることを特徴とする。
【００１９】
本頭部装着型情報表示装置によれば、頭部装着型情報表示装置で表示したメニュー項目と、分割したエリアを重畳させることによって、使用者の注視による選択操作を提供することができる。
【発明の効果】
【００２０】
本発明によれば、モバイル機器に接続する頭部装着型装置の操作に要求される、メニュー項目の選択、一定の処理速度、及び軽量な処理負荷の全てを具備した注視エリア検出装置及び注視エリア検出装置を備えた頭部装着型情報表示装置を実現することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本発明による第１の実施形態の注視エリア検出装置の概略構成を示す機能ブロック図である。
【図２】本発明による第１の実施形態の画像処理部の処理を説明する図である。
【図３】本発明による第１の実施形態の注視エリアを示す図である。
【図４】本発明による第１の実施形態の確率分布テーブルの確率分布を示す図である。
【図５】本発明による第１の実施形態の注視エリア検出装置の動作を示すフローチャートである。
【図６】本発明による第２の実施形態の注視エリア検出装置の概略構成を示す機能ブロック図である。
【図７】本発明による第２の実施形態の教師画像及び確率分布テーブルの確率分布を示す図である。
【図８】本発明による第２の実施形態の注視エリア検出装置の動作を示すフローチャートである。
【図９】本発明による第３の実施形態の頭部装着型情報表示装置の使用例を示す図である。
【図１０】本発明による第３の実施形態の頭部装着型情報表示装置の概略構成を示す機能ブロック図である。
【図１１】本発明による第３の実施形態の頭部装着型情報表示装置の動作を示すフローチャートである。
【図１２】本発明による第３の実施形態の頭部装着型情報表示装置が表示するメニュー項目を例示する図である。
【発明を実施するための形態】
【００２２】
以下、本発明による第１の実施形態について、図面を参照して詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態の注視エリア検出装置１の概略構成を示す機能ブロック図である。注視エリア検出装置１は、照明部１１と、撮像素子１２と、画像処理部１３と、注視エリア検出部１４と、確率分布テーブル記憶部１５とを備える。
【００２３】
照明部１１は、少なくとも片眼の眼球を照明する。照明光としては、不可視光、例えば赤外光を用いる。
【００２４】
撮像素子１２は、照明部１１によって照明された眼球を撮像して眼球像（第１の眼球像）を生成し、画像処理部１３に出力する。なお、照明部１１は必須の構成要件ではなく、眼球をそのまま撮像することも可能であるが、ノイズに対する耐性を向上させるためには、照明部１１により照明された眼球を撮像するのが好適である。
【００２５】
画像処理部１３は、撮像素子１２から取得した眼球像に対して画像処理理した眼球像（第２の眼球像）を生成し、注視エリア検出部１４に出力する。図２は、画像処理部１３の処理を説明する図であり、一例として、撮像素子から取得したグレースケールの眼球像を２値化する例を図示する。２値化とは、例えば８ビット（２５６階調）のグレースケール画像の場合、ある値（例えば、中間値である１２８）を境にして、それぞれのピクセルを０か１へ２値化し、結果として入力画像を白と黒の２色へ変換する方法である。画像処理部１３は、瞳孔部分を強調した画像を得るという目的において同様の効果が得られるならば、他の方法を用いることもできる。例えば、エッジ強調フィルタ処理をした後に２値化処理を行ってもよい。
【００２６】
注視エリア検出部１４は、画像処理部１３から取得した眼球像を用いて、注視しているエリア（注視エリア）を検出し、注視エリアを示す注視エリア信号を外部に出力する。注視エリア検出部１４は、眼球像の撮像領域を複数のエリアに分割し、該複数のエリアの中のどのエリアを注視しているかを検出する。
【００２７】
図３は、注視エリアを示す図である。図３（ａ）は、画像処理部１３から取得した眼球像の撮像領域を、左上、右上、左下、右下の４つの領域（それぞれ「エリア０」、「エリア１」、「エリア２」、「エリア３」と称する。）に分割した場合を示す。画面の上、下、左、右のどの領域を注視しているかを検出できればよいため、分割された領域によって撮像領域の全域を覆われる必要はなく、撮像領域を図３（ｂ）に示すように分割してもよい。また、検出したい注視エリアの目的に応じて、各エリアの面積が同じである必要はない。なお、同時に複数のエリアの全領域が瞳孔で覆われて判別が困難になることを防ぐために、各エリアの面積は眼球像で取得される瞳孔の面積よりも大きくすることが好適である。
【００２８】
確率分布テーブル記憶部１５は、確率分布テーブルを分割したエリアの数だけ持っている。ここで、確率分布テーブルとは、撮像画像の各ピクセルに対応する確率値を有し、確率値を各エリアの中心から正規分布に従った確率分布の値としたテーブルのことをいう。表１は、眼球の撮像領域を１００×１００ピクセルとした場合の、エリア０の確率分布テーブルの例を示す表である。本実施形態の場合、確率分布テーブル記憶部１５は、このような確率分布テーブルをエリア数分（本実施形態では４つ）記憶する。
【００２９】
【表１】
【００３０】
図４は、図３（ａ）に示すように、眼球の撮像領域を４等分した領域を各エリアとした場合の、確率分布テーブルの確率分布を示す図である。図４（ａ）はエリア０に対応する確率分布テーブルを示し、エリア０の中心から正規分布に従った確率分布を有している。同様に、図４（ｂ）はエリア１に対応する確率分布テーブルを示し、図４（ｃ）はエリア２に対応する確率分布テーブルを示し、図４（ｄ）はエリア３に対応する確率分布テーブルを示す。
【００３１】
注視エリア検出部１４は、確率分布テーブル記憶部１５に記憶された確率分布テーブルを参照し、画像処理部１３から得られる眼球像の瞳孔がどのエリアに位置するかを検出する。
【００３２】
なお、注視エリアの検出率を向上させるためには、撮像素子１２と眼球との相対位置がほぼ一定に保たれる必要がある。そのため、注視エリア検出装置１は、メガネ、ゴーグル、又はＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などを用いて、装着者が保持できる構成とするのが好適である。
【００３３】
次に、第１の実施形態の注視エリア検出装置１の動作について説明する。
【００３４】
図５は、注視エリア検出装置１の動作を示すフローチャートである。ステップＳ１０１にて、照明部１１及び撮像素子１２によって、眼球像を取得する。ステップＳ１０２にて、画像処理部１３によって、眼球像を画像処理して２値化する。
【００３５】
ステップＳ１０３〜ステップＳ１０８は、注視エリア検出部１４の動作を示す。本実施形態では、撮像領域を１００×１００ピクセル、エリア数を４とする。まず、ステップＳ１０３にて、エリア番号ｉ（ｉ＝０，１，２，３）を０に初期化し、エリアごとのループ処理を開始する。
【００３６】
ステップＳ１０４にて、エリアごとの確率の合計Ｐｉを０に初期化する。ここで、確率の合計とは、瞳孔を形成しているピクセルの、当該ピクセルに対応する確率分布テーブルの確率値の合計をいう。
【００３７】
ステップＳ１０５にて、ピクセル番号ｊ（ｊ＝０，１，…，９９９９）を０に初期化し、ピクセルごとのループ処理を開始する。
【００３８】
ステップＳ１０６にて、画像処理部１３から取得した眼球像のピクセル値が０か１かを判定し、ピクセル値が０の場合（すなわち、当該ピクセルが瞳孔を形成している場合）には処理をステップＳ１０７に進め、ピクセル値が１の場合（すなわち、当該ピクセルが瞳孔を形成していない場合）には処理をステップＳ１０８に進める。
【００３９】
ステップＳ１０７にて、確率分布テーブル記憶部１５に記憶された確率分布テーブルを参照して当該ピクセルに対応する確率値を取得し、確率の合計Ｐｉに取得した確率値を加える。
【００４０】
ステップＳ１０８にて、全てのピクセルについて処理をしたか、すなわちピクセル番号ｊ＝９９９９であるか否かを判定する。ピクセル番号ｊ＝９９９９の場合には処理をステップＳ１０９に進め、ピクセル番号ｊ＝９９９９でない場合にはピクセル番号ｊに１を加算して、処理をステップＳ１０５に戻す。
【００４１】
ステップＳ１０９にて、全てのエリアついて処理をしたか、すなわちエリア番号ｉ＝３であるか否かを判定する。エリア番号ｉ＝３の場合には処理をステップＳ１１０に進め、エリア番号ｉ＝３でない場合にはｉに１を加算して、処理をステップＳ１０３に戻す。
【００４２】
最後に、ステップＳ１１０にて、各エリアの確率の合計Ｐｉを比較して最大値を求める。確率の合計Ｐｉのうち、最大値を示す確率の合計をＰｋ（ｋ＝０，１，２，３）とすると、エリアｋを注視エリアと検出する。なお、瞳孔が注視エリアに存在しない場合には注視エリアが不定である旨を検出する。例えば、確率の合計の最大値Ｐｋの値、確率の合計Ｐｉの平均値と確率の合計の最大値Ｐｋとの差、確率の合計Ｐｉのうち２番目に大きな値と確率の合計の最大値Ｐｋとの差などが閾値を越えているか判定し、閾値を越える場合にはエリアｋを注視エリアと検出し、閾値以下の場合には不定という結果を返す。
【００４３】
ここで、注視エリア検出部１４の処理時間について説明する。ループ回数の合計は、エリア数と、眼球像のピクセル数とで定まる。本実施形態の場合は、エリア数が４、ピクセル数が１００×１００なので、合計４０，０００回のループとなる。それに対して、ハフ変換により注視エリアを検出する場合は、眼球像のそれぞれのピクセルを円の中心とみなして、瞳孔を構成しているピクセルとの距離を算出する。本実施形態にハフ変換を適用したとすると、ループ回数の合計は、眼球像のピクセル数の３乗、つまり１，０００，０００回のループとなる。よって、本実施形態の処理のほうが、ハフ変換を適用した処理よりも軽量となる。
【００４４】
なお、図３（ａ）に示すように、各エリアの形状が等しい場合には、各エリアに共通の１つの確率分布テーブルのみ使用し、ステップＳ１０５〜ステップＳ１０７のループ処理を、撮像領域全体のピクセルについてではなく、各エリアのピクセルについてのみ行うようにすることもできる。この処理によれば、エリア数が４、ピクセル数が５０×５０なので、合計１０，０００回のループとなり、さらに処理を軽量化することができる。
【００４５】
次に、瞳孔を構成するピクセル数に対する依存性について説明する。高精度の最小二乗法(Ｌｅａｓｔ Ｍｅｄｉａｎ ｏｆ Ｓｑｕａｒｅｓ)の例として、最小メジアン法の場合は、まず瞳孔を構成するピクセルからランダムに５つの点を選択して楕円を抽出し、その楕円の中心から瞳孔を構成するピクセルとの距離を求め、その中間値を保持する。そして、これらの手順を様々な組み合わせの５つの点について計算を行い、最も中間値が小さくなる５つの点の組み合わせから構成される楕円を瞳孔の輪郭とみなす。この方法では、一定レベルの精度を保障するためには、瞳孔を構成するピクセルが多くなればなるほど、５つの点をランダムに選択する回数を多くする必要があるため、全体の処理時間が瞳孔を構成するピクセル数に依存することになる。一方、本実施形態では、前述のとおり、ループ回数の合計は、エリアの数と眼球像のピクセル数とで定まっており、瞳孔を構成するピクセル数には依存しない。
【００４６】
したがって、本実施形態における処理は、ハフ変換のような幾何学的方法と比較して軽量な計算であり、モバイル機器での実行に適している。また、最小二乗法とは異なり、瞳孔を形成しているピクセルの数に依存せず、処理時間が一定になる。さらに、瞳孔を形成しているピクセル数の合計を各エリアで計算して比較して判別する場合よりも、ノイズに対する耐性が向上する。
【００４７】
次に、本発明による第２の実施形態の注視エリア検出装置について、図面を参照して詳細に説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００４８】
（第２の実施形態）
図６は、第２の実施形態の注視エリア検出装置２の概略構成を示す機能ブロック図である。注視エリア検出装置２は、照明部１１と、撮像素子１２と、画像処理部１３と、注視エリア検出部１４と、確率分布テーブル記憶部１５と、教師画像取得部１６と、確率分布テーブル算出部１７とを備える。第１の実施形態の注視エリア検出装置１（図１参照）と比較して、教師画像取得部１６と、確率分布テーブル算出部１７とを更に備える点で相違する。以下では、単純ベイズ分類法を使用する場合について説明する。ベイズ推定とは、仮説の統計学的推論にベイズの定理を使う方法をいい、ある証拠や観察されたデータ（眼球像）から、その原因になった事象（どのエリアを注視したか）を推定する技法である。ここで、単純ベイズ分類法とは、特に、眼球像のあるピクセルが瞳孔を構成するかどうかは、他のピクセルの状態に依存しない、という条件付き独立を仮定した方法をいう。
【００４９】
教師画像取得部１６は、エリア０〜エリア３を注視した際の眼球像の教師画像を取得し、確率分布テーブル算出部１７に出力する。例えば、使用者にエリアごとに複数の点を注視するように指示し、エリアごとに複数の教師画像を取得する。図７（ａ）は、第２の実施形態の教師画像を示す図である。図中の黒丸は瞳孔を表しており、周囲の明るさによって瞳孔の面積が変化する様子を表している。
【００５０】
確率分布テーブル算出部１７は、教師画像取得部１６から入力される教師画像から、エリアごとの確率分布テーブルを算出し、確率分布テーブル記憶部１５に出力する。図７（ｂ）〜（ｅ）は、第２の実施形態の確率分布テーブルの確率分布を示す図である。エリア番号ｉの確率分布テーブルの中のピクセル番号ｊに対応する確率Ｐｉ,ｊは、例えば次式（１）により算出される。
【００５１】
Ｐｉ,ｊ＝ピクセルｊの値が０の教師画像数／エリアｉの総教師画像数 （１）
ここで、ピクセルｊはピクセル番号がｊのピクセルを表し、エリアｉはエリア番号がｉのエリアを表す。これを全エリアの全ピクセルについてそれぞれ計算する。算出した確率分布テーブルは、確率分布テーブル記憶部１５に記憶される。
【００５２】
次に、第２の実施形態の注視エリア検出装置２の動作について説明する。
【００５３】
図８は、注視エリア検出装置２の動作を示すフローチャートである。ステップＳ２０１にて、教師画像取得部１６によって、教師画像を取得する。ステップＳ２０２にて、確率分布テーブル算出部１７によって、確率分布テーブルを算出する。ステップＳ２０１及びステップＳ２０２の処理は、使用者ごとの瞳孔の形状に合わせて最適な注視エリア検出を行うためのものであり、最初に１度だけ行われる。注視エリア検出装置２の使用者が複数存在する場合には、使用者ごとにこの処理を行い、確率分布テーブルを算出する。
【００５４】
続いて、第１の実施形態の注視エリア検出装置１と同様に、ステップＳ２０３にて、照明部１１及び撮像素子１２によって眼球像を取得し、ステップＳ２０４にて、画像処理部１３によって、眼球像を画像処理して２値化する。
【００５５】
ステップＳ２０５〜ステップＳ２１２は、注視エリア検出部１４の動作を示す。本実施形態では、撮像領域を１００×１００ピクセル、エリア数を４とする。まず、ステップＳ２０５にて、エリア番号ｉ（ｉ＝０，１，２，３）を０に初期化し、エリアごとのループ処理を開始する。
【００５６】
ステップＳ２０６にて、エリアごとの確率の合計Ｐｉを１に初期化する。
【００５７】
ステップＳ２０７にて、ピクセル番号ｊ（ｊ＝０，１，…，９９９９）を０に初期化し、ピクセルごとのループ処理を開始する。
【００５８】
ステップＳ２０８にて、ピクセル値が０か１かを判定し、ピクセル値が０の場合（すなわち、当該ピクセルが瞳孔を形成している場合）には処理をステップＳ２０９に進め、ピクセル値が１の場合（すなわち、当該ピクセルが瞳孔を形成していない場合）には処理をステップＳ２１０に進める。
【００５９】
ステップＳ２０９にて、確率分布テーブルを参照して当該ピクセルに対応する確率値を取得し、確率の合計Ｐｉに取得した確率値を掛ける。
【００６０】
ステップＳ２１０にて、全てのピクセルについて処理をしたか、すなわちピクセル番号ｊ＝９９９９であるか否かを判定する。ピクセル番号ｊ＝９９９９の場合には処理をステップＳ２１１に進め、ピクセル番号ｊ＝９９９９でない場合にはピクセル番号ｊに１を加算して、処理をステップＳ２０７に戻す。
【００６１】
ステップＳ２１１にて、全てのエリアついて処理をしたか、すなわちエリア番号ｉ＝３であるか否かを判定する。エリア番号ｉ＝３の場合には処理をステップＳ２１２に進め、エリア番号ｉ＝３でない場合にはｉに１を加算して、処理をステップＳ２０５に戻す。
【００６２】
最後に、ステップＳ２１２にて、各エリアの確率の合計Ｐｉを比較して最大値を求める。確率の合計Ｐｉのうち、最大値を示す確率の合計をＰｋ（ｋ＝０，１，２，３）とすると、エリアｋを注視エリアと検出する。第１の実施形態と同様に、エリアに瞳孔が存在しない場合には、注視エリアが不定である旨を検出する。
【００６３】
第２の実施形態のエリア検出装置２によれば、使用者ごとに教師画像を作成して確率分布テーブルを計算するため、瞳孔径の個人差に起因する誤判別を防ぐことができる。なお、本実施形態では単純ベイズ分類法を使用したが、使用者ごとに教師画像を作成可能で、かつ処理時間が一定であれば、他のアルゴリズムを用いても良い。
【００６４】
次に、上述した注視エリア検出装置１又は２を内蔵した頭部装着型情報表示装置３を第３の実施形態として、図面を参照して詳細に説明する。
【００６５】
（第３の実施形態）
頭部装着型情報表示装置とは、使用者の頭部に装着され、使用者の眼球の前に電子映像を表示する装置をいう。図９は、頭部装着型情報表示装置３を使用者Ｕが使用する例を示す図である。注視エリア検出装置１又は２を内蔵することにより、表示された電子映像のメニュー項目を、眼球を動かすだけで選択できるようになる。注視エリア検出装置を内蔵しない従来の頭部装着型情報表示装置については、例えば、特開２００７−１６３６３４号公報に開示されているため、詳細な説明を省略する。なお、注視エリア検出装置が内蔵される頭部装着型情報表示装置は、上記公報に記載の装置に限定されるものではなく、メニュー項目を表示させる頭部装着型情報表示装置に対して広く適応することができる。
【００６６】
図１０は、頭部装着型情報表示装置３の概略構成を示す機能ブロック図である。頭部装着型情報表示装置３は、注視エリア検出装置１又は２と、インターフェース部３１と、表示制御部３２と、表示部３３とを備える。
【００６７】
注視エリア検出装置１又は２は、上述したように、照明部１１によって照明された眼球の反射光を入力し、注視エリアを検出し、注視エリア信号を表示制御部３２に出力する。
【００６８】
インターフェース部３１は、外部の情報提供装置４から表示部３３に表示させる情報を無線又は有線で取得し、表示制御部３２に出力する。なお、頭部装着型情報表示装置３の小型化のためには情報提供装置４を外部に備えるのが好適であるが、情報提供装置４を内蔵することも可能である。
【００６９】
表示制御部３２は、表示パネルドライブ回路を有しており、情報提供装置４から取得した表示情報を表示部３３に表示させる。また、注視エリア検出装置１又は２からエリア信号を取得し、エリア信号に対応する情報を、インターフェース部３１を介して情報提供装置４から取得する。
【００７０】
次に、第３の実施形態の頭部装着型情報表示装置３の動作について説明する。
【００７１】
図１１は、頭部装着型情報表示装置３のメニュー内容の取得動作を示すフローチャートである。ステップＳ３０１にて、表示制御部３２によって、インターフェース部３１を介して情報提供装置４からメニュー項目を取得する。
【００７２】
ステップＳ３０２にて、表示部３３によって、ステップＳ３０１で取得したメニュー項目を表示する。図１２は、表示部３３に表示されるメニュー項目の一例を示す図である。この例では、使用者Ｕが道案内をして欲しい目的地が表示されている。
【００７３】
ステップＳ３０３にて、使用者Ｕはメニュー項目の中から選択したい項目を注視し、注視方向によりメニュー項目を選択する。表示部３３で表示したメニュー項目と、眼球像の撮像領域を分割したエリアとを重畳させることによって、使用者Ｕの注視による選択操作を提供することができる。すなわち、図１２のメニュー項目の「最寄駅」をエリア０と重畳させ、「居酒屋」をエリア１と重畳させ、「カラオケ」をエリア２と重畳させ、「コンビに」をエリア３と重畳させる。
【００７４】
ステップＳ３０４にて、注視エリア検出装置１又は２によって、注視エリアを検出する。
【００７５】
ステップＳ３０５にて、表示制御部３２によって、ステップＳ３０４で検出した注視エリアと重畳して表示されるメニュー項目を特定し、インターフェース部３１を介して情報提供装置４から、該メニュー項目に対応するメニュー内容を取得する。
【００７６】
ステップＳ３０６にて、表示部３３によって、ステップＳ３０５で取得したメニュー内容を表示する。
【００７７】
このように、第３の実施形態の頭部装着型情報表示装置３によれば、使用者Ｕの注視による選択操作を提供することができる。
【００７８】
上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、各実施形態では片眼での注視エリア検出装置について述べたが、撮像素子と照明手段を別の眼球用にもう一つ設け、両眼で同じエリアの分割を適用することで、両眼での注視エリア検出に容易に拡張することができる。また、撮像領域を分割することなく注視エリアを検出することも可能である。
【産業上の利用可能性】
【００７９】
このように、本発明によれば、注視エリアを高速かつ一定の時間で検出することができるので、注視エリアを検出する任意の用途に有用である。
【符号の説明】
【００８０】
１，２ 注視エリア検出装置
１１ 照明部
１２ 撮像素子
１３ 画像処理部
１４ 注視エリア検出部
１５ 確率分布テーブル記憶部
１６ 教師画像取得部
１７ 確率分布テーブル算出部
３ 頭部装着型情報表示装置
３１ インターフェース部
３２ 表示制御部
３３ 表示部
４ 情報提供装置
【技術分野】
【０００１】
本発明は、使用者の眼球を撮影した眼球像から、使用者の注視しているエリアを検出する注視エリア検出装置、及び注視エリア検出装置を備えた頭部装着型情報表示装置に関する。
【背景技術】
【０００２】
従来の視線方向を検出する装置としては、顔画像から視線方向を検出する視線方向検出装置（例えば、特許文献１参照）や、眼球像から視線方向を検出する視線検出装置（例えば、特許文献２参照）など、種々提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３７９７２５３号公報
【特許文献２】特許第３６３０８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載の装置は、瞳孔を円又は楕円として検出し、その中心座標を基にして視線の向いている方向や位置を特定するものであり、使用者がカメラのファインダーで見ている位置を特定したり、マウスカーソルを操作したりすることを目的とするものであった。そのため、高精度の検出方法が要求される。瞳孔を構成する円又は楕円を検出する手段として、ハフ変換や最小二乗法といった幾何学的方法が多く使用されている。
【０００５】
一方で、モバイル機器に接続する頭部装着型情報表示装置の操作に視線方向検出を使用した場合を考えると、一般に、頭部装着型装置が眼前に表示する画面のサイズは小さいため、マウスカーソルの操作よりも、むしろメニュー項目の選択といった比較的単純な操作が要求される。この要求に対して、従来の視線方向検出を使用することは可能であるが、視線方向検出で使用される幾何学的方法は処理の負荷が高いため、モバイル機器のような比較的低速な機器での使用には向いていないという問題があった。
【０００６】
また、頭部装着型情報表示装置において、使用者の視線方向によりメニュー項目の選択操作をする場合、視線方向を検出するためには、操作時のレスポンスを一定に保つために、視線方向検出の処理にかかる時間が一定であることが望ましい。しかし、ハフ変換や最小二乗法のような幾何学的方法を用いた場合、計算時間が眼球像において瞳孔の輪郭を構成するピクセル数に依存するため、検出までの処理時間が一定ではないという問題があった。
【０００７】
本発明の目的は、上記問題を解決するため、処理負荷が軽く、検出までの処理速度が一定かつ高速な注視エリア検出装置、及び注視エリア検出装置を備えた頭部装着型情報表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る注視エリア検出装置は、使用者の眼球を撮像して使用者が注視している注視エリアを検出する注視エリア検出装置であって、眼球を撮像して第１の眼球像を生成する撮像素子と、前記第１の眼球像に対して画像処理を行って第２の眼球像を生成する画像処理手段と、前記第２の眼球像から注視エリアを検出する注視エリア検出手段とを備え、前記注視エリア検出手段は、検出時間を一定とするように、前記第２の眼球像に対して確率統計処理を行って注視エリアを検出することを特徴とする。
【０００９】
本注視エリア検出装置によれば、注視エリアの検出に確率統計処理を使用しているため、幾何学的方法と比較して、計算負荷が軽量となり、処理時間が一定となるため、モバイル機器での使用に適する。メニュー項目の選択といった操作に応用することができる。
【００１０】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出手段は、前記第２の眼球像の撮像領域を複数のエリアに分割し、該複数のエリアの中のどのエリアを注視しているかを検出することを特徴とする。
【００１１】
本注視エリア検出装置によれば、眼球像の撮像領域（眼球が注視可能な領域）を分割したエリアを注視エリアとして検出するため、メニュー項目の選択といったユーザ操作に応用することができる。
【００１２】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出手段は、正規分布を有する確率分布テーブルを有し、該確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする。
【００１３】
本注視エリア検出装置によれば、予め用意した確率分布テーブルを用いるため、簡易な構成で注視エリアを検出することができる。
【００１４】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出手段は、前記各エリアを注視した眼球像の教師画像に基づいて作成された、前記エリア数分の確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする。
【００１５】
本注視エリア検出装置によれば、教師画像を使用者ごとに作成することで、使用者ごとに注視エリア検出処理を最適化することができる。
【００１６】
また、本発明に係る注視エリア検出装置において、前記注視エリア検出部は、単純ベイズ分類法により前記確率統計処理を行うことを特徴とする。
【００１７】
本注視エリア検出装置によれば、処理時間が一定なので、メニュー項目の選択といった操作に応用することができ、また、使用者ごとに注視エリア検出処理を最適化することができる。
【００１８】
また、頭部装着型情報表示装置は、上述の注視エリア検出装置を備えることを特徴とする。
【００１９】
本頭部装着型情報表示装置によれば、頭部装着型情報表示装置で表示したメニュー項目と、分割したエリアを重畳させることによって、使用者の注視による選択操作を提供することができる。
【発明の効果】
【００２０】
本発明によれば、モバイル機器に接続する頭部装着型装置の操作に要求される、メニュー項目の選択、一定の処理速度、及び軽量な処理負荷の全てを具備した注視エリア検出装置及び注視エリア検出装置を備えた頭部装着型情報表示装置を実現することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本発明による第１の実施形態の注視エリア検出装置の概略構成を示す機能ブロック図である。
【図２】本発明による第１の実施形態の画像処理部の処理を説明する図である。
【図３】本発明による第１の実施形態の注視エリアを示す図である。
【図４】本発明による第１の実施形態の確率分布テーブルの確率分布を示す図である。
【図５】本発明による第１の実施形態の注視エリア検出装置の動作を示すフローチャートである。
【図６】本発明による第２の実施形態の注視エリア検出装置の概略構成を示す機能ブロック図である。
【図７】本発明による第２の実施形態の教師画像及び確率分布テーブルの確率分布を示す図である。
【図８】本発明による第２の実施形態の注視エリア検出装置の動作を示すフローチャートである。
【図９】本発明による第３の実施形態の頭部装着型情報表示装置の使用例を示す図である。
【図１０】本発明による第３の実施形態の頭部装着型情報表示装置の概略構成を示す機能ブロック図である。
【図１１】本発明による第３の実施形態の頭部装着型情報表示装置の動作を示すフローチャートである。
【図１２】本発明による第３の実施形態の頭部装着型情報表示装置が表示するメニュー項目を例示する図である。
【発明を実施するための形態】
【００２２】
以下、本発明による第１の実施形態について、図面を参照して詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態の注視エリア検出装置１の概略構成を示す機能ブロック図である。注視エリア検出装置１は、照明部１１と、撮像素子１２と、画像処理部１３と、注視エリア検出部１４と、確率分布テーブル記憶部１５とを備える。
【００２３】
照明部１１は、少なくとも片眼の眼球を照明する。照明光としては、不可視光、例えば赤外光を用いる。
【００２４】
撮像素子１２は、照明部１１によって照明された眼球を撮像して眼球像（第１の眼球像）を生成し、画像処理部１３に出力する。なお、照明部１１は必須の構成要件ではなく、眼球をそのまま撮像することも可能であるが、ノイズに対する耐性を向上させるためには、照明部１１により照明された眼球を撮像するのが好適である。
【００２５】
画像処理部１３は、撮像素子１２から取得した眼球像に対して画像処理理した眼球像（第２の眼球像）を生成し、注視エリア検出部１４に出力する。図２は、画像処理部１３の処理を説明する図であり、一例として、撮像素子から取得したグレースケールの眼球像を２値化する例を図示する。２値化とは、例えば８ビット（２５６階調）のグレースケール画像の場合、ある値（例えば、中間値である１２８）を境にして、それぞれのピクセルを０か１へ２値化し、結果として入力画像を白と黒の２色へ変換する方法である。画像処理部１３は、瞳孔部分を強調した画像を得るという目的において同様の効果が得られるならば、他の方法を用いることもできる。例えば、エッジ強調フィルタ処理をした後に２値化処理を行ってもよい。
【００２６】
注視エリア検出部１４は、画像処理部１３から取得した眼球像を用いて、注視しているエリア（注視エリア）を検出し、注視エリアを示す注視エリア信号を外部に出力する。注視エリア検出部１４は、眼球像の撮像領域を複数のエリアに分割し、該複数のエリアの中のどのエリアを注視しているかを検出する。
【００２７】
図３は、注視エリアを示す図である。図３（ａ）は、画像処理部１３から取得した眼球像の撮像領域を、左上、右上、左下、右下の４つの領域（それぞれ「エリア０」、「エリア１」、「エリア２」、「エリア３」と称する。）に分割した場合を示す。画面の上、下、左、右のどの領域を注視しているかを検出できればよいため、分割された領域によって撮像領域の全域を覆われる必要はなく、撮像領域を図３（ｂ）に示すように分割してもよい。また、検出したい注視エリアの目的に応じて、各エリアの面積が同じである必要はない。なお、同時に複数のエリアの全領域が瞳孔で覆われて判別が困難になることを防ぐために、各エリアの面積は眼球像で取得される瞳孔の面積よりも大きくすることが好適である。
【００２８】
確率分布テーブル記憶部１５は、確率分布テーブルを分割したエリアの数だけ持っている。ここで、確率分布テーブルとは、撮像画像の各ピクセルに対応する確率値を有し、確率値を各エリアの中心から正規分布に従った確率分布の値としたテーブルのことをいう。表１は、眼球の撮像領域を１００×１００ピクセルとした場合の、エリア０の確率分布テーブルの例を示す表である。本実施形態の場合、確率分布テーブル記憶部１５は、このような確率分布テーブルをエリア数分（本実施形態では４つ）記憶する。
【００２９】
【表１】
【００３０】
図４は、図３（ａ）に示すように、眼球の撮像領域を４等分した領域を各エリアとした場合の、確率分布テーブルの確率分布を示す図である。図４（ａ）はエリア０に対応する確率分布テーブルを示し、エリア０の中心から正規分布に従った確率分布を有している。同様に、図４（ｂ）はエリア１に対応する確率分布テーブルを示し、図４（ｃ）はエリア２に対応する確率分布テーブルを示し、図４（ｄ）はエリア３に対応する確率分布テーブルを示す。
【００３１】
注視エリア検出部１４は、確率分布テーブル記憶部１５に記憶された確率分布テーブルを参照し、画像処理部１３から得られる眼球像の瞳孔がどのエリアに位置するかを検出する。
【００３２】
なお、注視エリアの検出率を向上させるためには、撮像素子１２と眼球との相対位置がほぼ一定に保たれる必要がある。そのため、注視エリア検出装置１は、メガネ、ゴーグル、又はＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などを用いて、装着者が保持できる構成とするのが好適である。
【００３３】
次に、第１の実施形態の注視エリア検出装置１の動作について説明する。
【００３４】
図５は、注視エリア検出装置１の動作を示すフローチャートである。ステップＳ１０１にて、照明部１１及び撮像素子１２によって、眼球像を取得する。ステップＳ１０２にて、画像処理部１３によって、眼球像を画像処理して２値化する。
【００３５】
ステップＳ１０３〜ステップＳ１０８は、注視エリア検出部１４の動作を示す。本実施形態では、撮像領域を１００×１００ピクセル、エリア数を４とする。まず、ステップＳ１０３にて、エリア番号ｉ（ｉ＝０，１，２，３）を０に初期化し、エリアごとのループ処理を開始する。
【００３６】
ステップＳ１０４にて、エリアごとの確率の合計Ｐｉを０に初期化する。ここで、確率の合計とは、瞳孔を形成しているピクセルの、当該ピクセルに対応する確率分布テーブルの確率値の合計をいう。
【００３７】
ステップＳ１０５にて、ピクセル番号ｊ（ｊ＝０，１，…，９９９９）を０に初期化し、ピクセルごとのループ処理を開始する。
【００３８】
ステップＳ１０６にて、画像処理部１３から取得した眼球像のピクセル値が０か１かを判定し、ピクセル値が０の場合（すなわち、当該ピクセルが瞳孔を形成している場合）には処理をステップＳ１０７に進め、ピクセル値が１の場合（すなわち、当該ピクセルが瞳孔を形成していない場合）には処理をステップＳ１０８に進める。
【００３９】
ステップＳ１０７にて、確率分布テーブル記憶部１５に記憶された確率分布テーブルを参照して当該ピクセルに対応する確率値を取得し、確率の合計Ｐｉに取得した確率値を加える。
【００４０】
ステップＳ１０８にて、全てのピクセルについて処理をしたか、すなわちピクセル番号ｊ＝９９９９であるか否かを判定する。ピクセル番号ｊ＝９９９９の場合には処理をステップＳ１０９に進め、ピクセル番号ｊ＝９９９９でない場合にはピクセル番号ｊに１を加算して、処理をステップＳ１０５に戻す。
【００４１】
ステップＳ１０９にて、全てのエリアついて処理をしたか、すなわちエリア番号ｉ＝３であるか否かを判定する。エリア番号ｉ＝３の場合には処理をステップＳ１１０に進め、エリア番号ｉ＝３でない場合にはｉに１を加算して、処理をステップＳ１０３に戻す。
【００４２】
最後に、ステップＳ１１０にて、各エリアの確率の合計Ｐｉを比較して最大値を求める。確率の合計Ｐｉのうち、最大値を示す確率の合計をＰｋ（ｋ＝０，１，２，３）とすると、エリアｋを注視エリアと検出する。なお、瞳孔が注視エリアに存在しない場合には注視エリアが不定である旨を検出する。例えば、確率の合計の最大値Ｐｋの値、確率の合計Ｐｉの平均値と確率の合計の最大値Ｐｋとの差、確率の合計Ｐｉのうち２番目に大きな値と確率の合計の最大値Ｐｋとの差などが閾値を越えているか判定し、閾値を越える場合にはエリアｋを注視エリアと検出し、閾値以下の場合には不定という結果を返す。
【００４３】
ここで、注視エリア検出部１４の処理時間について説明する。ループ回数の合計は、エリア数と、眼球像のピクセル数とで定まる。本実施形態の場合は、エリア数が４、ピクセル数が１００×１００なので、合計４０，０００回のループとなる。それに対して、ハフ変換により注視エリアを検出する場合は、眼球像のそれぞれのピクセルを円の中心とみなして、瞳孔を構成しているピクセルとの距離を算出する。本実施形態にハフ変換を適用したとすると、ループ回数の合計は、眼球像のピクセル数の３乗、つまり１，０００，０００回のループとなる。よって、本実施形態の処理のほうが、ハフ変換を適用した処理よりも軽量となる。
【００４４】
なお、図３（ａ）に示すように、各エリアの形状が等しい場合には、各エリアに共通の１つの確率分布テーブルのみ使用し、ステップＳ１０５〜ステップＳ１０７のループ処理を、撮像領域全体のピクセルについてではなく、各エリアのピクセルについてのみ行うようにすることもできる。この処理によれば、エリア数が４、ピクセル数が５０×５０なので、合計１０，０００回のループとなり、さらに処理を軽量化することができる。
【００４５】
次に、瞳孔を構成するピクセル数に対する依存性について説明する。高精度の最小二乗法(Ｌｅａｓｔ Ｍｅｄｉａｎ ｏｆ Ｓｑｕａｒｅｓ)の例として、最小メジアン法の場合は、まず瞳孔を構成するピクセルからランダムに５つの点を選択して楕円を抽出し、その楕円の中心から瞳孔を構成するピクセルとの距離を求め、その中間値を保持する。そして、これらの手順を様々な組み合わせの５つの点について計算を行い、最も中間値が小さくなる５つの点の組み合わせから構成される楕円を瞳孔の輪郭とみなす。この方法では、一定レベルの精度を保障するためには、瞳孔を構成するピクセルが多くなればなるほど、５つの点をランダムに選択する回数を多くする必要があるため、全体の処理時間が瞳孔を構成するピクセル数に依存することになる。一方、本実施形態では、前述のとおり、ループ回数の合計は、エリアの数と眼球像のピクセル数とで定まっており、瞳孔を構成するピクセル数には依存しない。
【００４６】
したがって、本実施形態における処理は、ハフ変換のような幾何学的方法と比較して軽量な計算であり、モバイル機器での実行に適している。また、最小二乗法とは異なり、瞳孔を形成しているピクセルの数に依存せず、処理時間が一定になる。さらに、瞳孔を形成しているピクセル数の合計を各エリアで計算して比較して判別する場合よりも、ノイズに対する耐性が向上する。
【００４７】
次に、本発明による第２の実施形態の注視エリア検出装置について、図面を参照して詳細に説明する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００４８】
（第２の実施形態）
図６は、第２の実施形態の注視エリア検出装置２の概略構成を示す機能ブロック図である。注視エリア検出装置２は、照明部１１と、撮像素子１２と、画像処理部１３と、注視エリア検出部１４と、確率分布テーブル記憶部１５と、教師画像取得部１６と、確率分布テーブル算出部１７とを備える。第１の実施形態の注視エリア検出装置１（図１参照）と比較して、教師画像取得部１６と、確率分布テーブル算出部１７とを更に備える点で相違する。以下では、単純ベイズ分類法を使用する場合について説明する。ベイズ推定とは、仮説の統計学的推論にベイズの定理を使う方法をいい、ある証拠や観察されたデータ（眼球像）から、その原因になった事象（どのエリアを注視したか）を推定する技法である。ここで、単純ベイズ分類法とは、特に、眼球像のあるピクセルが瞳孔を構成するかどうかは、他のピクセルの状態に依存しない、という条件付き独立を仮定した方法をいう。
【００４９】
教師画像取得部１６は、エリア０〜エリア３を注視した際の眼球像の教師画像を取得し、確率分布テーブル算出部１７に出力する。例えば、使用者にエリアごとに複数の点を注視するように指示し、エリアごとに複数の教師画像を取得する。図７（ａ）は、第２の実施形態の教師画像を示す図である。図中の黒丸は瞳孔を表しており、周囲の明るさによって瞳孔の面積が変化する様子を表している。
【００５０】
確率分布テーブル算出部１７は、教師画像取得部１６から入力される教師画像から、エリアごとの確率分布テーブルを算出し、確率分布テーブル記憶部１５に出力する。図７（ｂ）〜（ｅ）は、第２の実施形態の確率分布テーブルの確率分布を示す図である。エリア番号ｉの確率分布テーブルの中のピクセル番号ｊに対応する確率Ｐｉ,ｊは、例えば次式（１）により算出される。
【００５１】
Ｐｉ,ｊ＝ピクセルｊの値が０の教師画像数／エリアｉの総教師画像数 （１）
ここで、ピクセルｊはピクセル番号がｊのピクセルを表し、エリアｉはエリア番号がｉのエリアを表す。これを全エリアの全ピクセルについてそれぞれ計算する。算出した確率分布テーブルは、確率分布テーブル記憶部１５に記憶される。
【００５２】
次に、第２の実施形態の注視エリア検出装置２の動作について説明する。
【００５３】
図８は、注視エリア検出装置２の動作を示すフローチャートである。ステップＳ２０１にて、教師画像取得部１６によって、教師画像を取得する。ステップＳ２０２にて、確率分布テーブル算出部１７によって、確率分布テーブルを算出する。ステップＳ２０１及びステップＳ２０２の処理は、使用者ごとの瞳孔の形状に合わせて最適な注視エリア検出を行うためのものであり、最初に１度だけ行われる。注視エリア検出装置２の使用者が複数存在する場合には、使用者ごとにこの処理を行い、確率分布テーブルを算出する。
【００５４】
続いて、第１の実施形態の注視エリア検出装置１と同様に、ステップＳ２０３にて、照明部１１及び撮像素子１２によって眼球像を取得し、ステップＳ２０４にて、画像処理部１３によって、眼球像を画像処理して２値化する。
【００５５】
ステップＳ２０５〜ステップＳ２１２は、注視エリア検出部１４の動作を示す。本実施形態では、撮像領域を１００×１００ピクセル、エリア数を４とする。まず、ステップＳ２０５にて、エリア番号ｉ（ｉ＝０，１，２，３）を０に初期化し、エリアごとのループ処理を開始する。
【００５６】
ステップＳ２０６にて、エリアごとの確率の合計Ｐｉを１に初期化する。
【００５７】
ステップＳ２０７にて、ピクセル番号ｊ（ｊ＝０，１，…，９９９９）を０に初期化し、ピクセルごとのループ処理を開始する。
【００５８】
ステップＳ２０８にて、ピクセル値が０か１かを判定し、ピクセル値が０の場合（すなわち、当該ピクセルが瞳孔を形成している場合）には処理をステップＳ２０９に進め、ピクセル値が１の場合（すなわち、当該ピクセルが瞳孔を形成していない場合）には処理をステップＳ２１０に進める。
【００５９】
ステップＳ２０９にて、確率分布テーブルを参照して当該ピクセルに対応する確率値を取得し、確率の合計Ｐｉに取得した確率値を掛ける。
【００６０】
ステップＳ２１０にて、全てのピクセルについて処理をしたか、すなわちピクセル番号ｊ＝９９９９であるか否かを判定する。ピクセル番号ｊ＝９９９９の場合には処理をステップＳ２１１に進め、ピクセル番号ｊ＝９９９９でない場合にはピクセル番号ｊに１を加算して、処理をステップＳ２０７に戻す。
【００６１】
ステップＳ２１１にて、全てのエリアついて処理をしたか、すなわちエリア番号ｉ＝３であるか否かを判定する。エリア番号ｉ＝３の場合には処理をステップＳ２１２に進め、エリア番号ｉ＝３でない場合にはｉに１を加算して、処理をステップＳ２０５に戻す。
【００６２】
最後に、ステップＳ２１２にて、各エリアの確率の合計Ｐｉを比較して最大値を求める。確率の合計Ｐｉのうち、最大値を示す確率の合計をＰｋ（ｋ＝０，１，２，３）とすると、エリアｋを注視エリアと検出する。第１の実施形態と同様に、エリアに瞳孔が存在しない場合には、注視エリアが不定である旨を検出する。
【００６３】
第２の実施形態のエリア検出装置２によれば、使用者ごとに教師画像を作成して確率分布テーブルを計算するため、瞳孔径の個人差に起因する誤判別を防ぐことができる。なお、本実施形態では単純ベイズ分類法を使用したが、使用者ごとに教師画像を作成可能で、かつ処理時間が一定であれば、他のアルゴリズムを用いても良い。
【００６４】
次に、上述した注視エリア検出装置１又は２を内蔵した頭部装着型情報表示装置３を第３の実施形態として、図面を参照して詳細に説明する。
【００６５】
（第３の実施形態）
頭部装着型情報表示装置とは、使用者の頭部に装着され、使用者の眼球の前に電子映像を表示する装置をいう。図９は、頭部装着型情報表示装置３を使用者Ｕが使用する例を示す図である。注視エリア検出装置１又は２を内蔵することにより、表示された電子映像のメニュー項目を、眼球を動かすだけで選択できるようになる。注視エリア検出装置を内蔵しない従来の頭部装着型情報表示装置については、例えば、特開２００７−１６３６３４号公報に開示されているため、詳細な説明を省略する。なお、注視エリア検出装置が内蔵される頭部装着型情報表示装置は、上記公報に記載の装置に限定されるものではなく、メニュー項目を表示させる頭部装着型情報表示装置に対して広く適応することができる。
【００６６】
図１０は、頭部装着型情報表示装置３の概略構成を示す機能ブロック図である。頭部装着型情報表示装置３は、注視エリア検出装置１又は２と、インターフェース部３１と、表示制御部３２と、表示部３３とを備える。
【００６７】
注視エリア検出装置１又は２は、上述したように、照明部１１によって照明された眼球の反射光を入力し、注視エリアを検出し、注視エリア信号を表示制御部３２に出力する。
【００６８】
インターフェース部３１は、外部の情報提供装置４から表示部３３に表示させる情報を無線又は有線で取得し、表示制御部３２に出力する。なお、頭部装着型情報表示装置３の小型化のためには情報提供装置４を外部に備えるのが好適であるが、情報提供装置４を内蔵することも可能である。
【００６９】
表示制御部３２は、表示パネルドライブ回路を有しており、情報提供装置４から取得した表示情報を表示部３３に表示させる。また、注視エリア検出装置１又は２からエリア信号を取得し、エリア信号に対応する情報を、インターフェース部３１を介して情報提供装置４から取得する。
【００７０】
次に、第３の実施形態の頭部装着型情報表示装置３の動作について説明する。
【００７１】
図１１は、頭部装着型情報表示装置３のメニュー内容の取得動作を示すフローチャートである。ステップＳ３０１にて、表示制御部３２によって、インターフェース部３１を介して情報提供装置４からメニュー項目を取得する。
【００７２】
ステップＳ３０２にて、表示部３３によって、ステップＳ３０１で取得したメニュー項目を表示する。図１２は、表示部３３に表示されるメニュー項目の一例を示す図である。この例では、使用者Ｕが道案内をして欲しい目的地が表示されている。
【００７３】
ステップＳ３０３にて、使用者Ｕはメニュー項目の中から選択したい項目を注視し、注視方向によりメニュー項目を選択する。表示部３３で表示したメニュー項目と、眼球像の撮像領域を分割したエリアとを重畳させることによって、使用者Ｕの注視による選択操作を提供することができる。すなわち、図１２のメニュー項目の「最寄駅」をエリア０と重畳させ、「居酒屋」をエリア１と重畳させ、「カラオケ」をエリア２と重畳させ、「コンビに」をエリア３と重畳させる。
【００７４】
ステップＳ３０４にて、注視エリア検出装置１又は２によって、注視エリアを検出する。
【００７５】
ステップＳ３０５にて、表示制御部３２によって、ステップＳ３０４で検出した注視エリアと重畳して表示されるメニュー項目を特定し、インターフェース部３１を介して情報提供装置４から、該メニュー項目に対応するメニュー内容を取得する。
【００７６】
ステップＳ３０６にて、表示部３３によって、ステップＳ３０５で取得したメニュー内容を表示する。
【００７７】
このように、第３の実施形態の頭部装着型情報表示装置３によれば、使用者Ｕの注視による選択操作を提供することができる。
【００７８】
上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、各実施形態では片眼での注視エリア検出装置について述べたが、撮像素子と照明手段を別の眼球用にもう一つ設け、両眼で同じエリアの分割を適用することで、両眼での注視エリア検出に容易に拡張することができる。また、撮像領域を分割することなく注視エリアを検出することも可能である。
【産業上の利用可能性】
【００７９】
このように、本発明によれば、注視エリアを高速かつ一定の時間で検出することができるので、注視エリアを検出する任意の用途に有用である。
【符号の説明】
【００８０】
１，２ 注視エリア検出装置
１１ 照明部
１２ 撮像素子
１３ 画像処理部
１４ 注視エリア検出部
１５ 確率分布テーブル記憶部
１６ 教師画像取得部
１７ 確率分布テーブル算出部
３ 頭部装着型情報表示装置
３１ インターフェース部
３２ 表示制御部
３３ 表示部
４ 情報提供装置
【特許請求の範囲】
【請求項１】
使用者の眼球を撮像して使用者が注視している注視エリアを検出する注視エリア検出装置であって、
眼球を撮像して第１の眼球像を生成する撮像素子と、
前記第１の眼球像に対して画像処理を行って第２の眼球像を生成する画像処理手段と、
前記第２の眼球像から注視エリアを検出する注視エリア検出手段とを備え、
前記注視エリア検出手段は、検出時間を一定とするように、前記第２の眼球像に対して確率統計処理を行って注視エリアを検出することを特徴とする注視エリア検出装置。
【請求項２】
前記注視エリア検出手段は、前記第２の眼球像の撮像領域を複数のエリアに分割し、該複数のエリアの中のどのエリアを注視しているかを検出することを特徴とする、請求項１に記載の注視エリア検出装置。
【請求項３】
前記注視エリア検出手段は、正規分布を有する確率分布テーブルを有し、該確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする、請求項２に記載の注視エリア検出装置。
【請求項４】
前記注視エリア検出手段は、前記各エリアを注視した眼球像の教師画像に基づいて作成された、前記エリア数分の確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする、請求項２に記載の注視エリア検出装置。
【請求項５】
前記注視エリア検出手段は、単純ベイズ分類法により前記確率統計処理を行うことを特徴とする、請求項４に記載の注視エリア検出装置。
【請求項６】
請求項１から５のいずれか一項に記載の注視エリア検出装置を備えることを特徴とする頭部装着型情報表示装置。
【請求項１】
使用者の眼球を撮像して使用者が注視している注視エリアを検出する注視エリア検出装置であって、
眼球を撮像して第１の眼球像を生成する撮像素子と、
前記第１の眼球像に対して画像処理を行って第２の眼球像を生成する画像処理手段と、
前記第２の眼球像から注視エリアを検出する注視エリア検出手段とを備え、
前記注視エリア検出手段は、検出時間を一定とするように、前記第２の眼球像に対して確率統計処理を行って注視エリアを検出することを特徴とする注視エリア検出装置。
【請求項２】
前記注視エリア検出手段は、前記第２の眼球像の撮像領域を複数のエリアに分割し、該複数のエリアの中のどのエリアを注視しているかを検出することを特徴とする、請求項１に記載の注視エリア検出装置。
【請求項３】
前記注視エリア検出手段は、正規分布を有する確率分布テーブルを有し、該確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする、請求項２に記載の注視エリア検出装置。
【請求項４】
前記注視エリア検出手段は、前記各エリアを注視した眼球像の教師画像に基づいて作成された、前記エリア数分の確率分布テーブルを用いて前記確率統計処理を行うことを特徴とする、請求項２に記載の注視エリア検出装置。
【請求項５】
前記注視エリア検出手段は、単純ベイズ分類法により前記確率統計処理を行うことを特徴とする、請求項４に記載の注視エリア検出装置。
【請求項６】
請求項１から５のいずれか一項に記載の注視エリア検出装置を備えることを特徴とする頭部装着型情報表示装置。
【図１】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図４】
【図７】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図４】
【図７】
【公開番号】特開２０１１−１９８１４１（Ｐ２０１１−１９８１４１Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６５１６５（Ｐ２０１０−６５１６５）
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]