視線検出方法
【課題】 眼鏡使用者に対しても適用できる視線ベクトル検出システムを提供することを課題とする。
【構成】 眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを具備する視線ベクトル検出システムにおいて、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出する画像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の中心を求め、更に、角膜球の中心を求める処理を実行することを特徴とする。
【構成】 眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを具備する視線ベクトル検出システムにおいて、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出する画像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の中心を求め、更に、角膜球の中心を求める処理を実行することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、視線を検出する技術、特に眼鏡を使用している者の視線検出方法及び装置に関するものである。
【背景技術】
【０００２】
従来から手又は指を自由に使えない不具者のためのコンピュータ入力装置として視線の検出技術が開発されてきた。又、車を運転するドライバの視線を監視して、車の運転補助手段としても視線の検出が利用される。しかし、従来の視線検出装置は使用者に特定の器具を装着させるものもあり、これらの技術は使用者を束縛するために使用勝手が悪いと言う課題があった。この課題を解決するために近年眼球モデルを利用して視線を検出する技術が開発されている。
【０００３】
眼球モデルを利用する場合に、カメラ位置から顔面までの正確な距離を簡単な方法で正確に求めることが一つの問題になってくる。例えば、特許文献１に記載されている装置は、運転者の視線を検出する装置であり、カメラの位置から運転者の顔面までの距離を求める手段として距離センサを利用している。距離センサとしては超音波型センサ等を使用している。超音波型センサを使用した場合、全体の装置が複雑になり、簡単なセンサでは精度が悪く、精度を高くすると装置が高価になるという問題が生じる。
【特許文献１】公開特許公報、第平８−２９７０１９号（車両用視線方向計測装置）
【０００４】
また、非特許文献１、２にも、眼球モデルを利用した視線の方向を検出する技術が記載されている。この文献の装置は、点光源から近赤外線を眼の中の角膜に照射し、反射像（プルキニエ像と呼んでいる）の座標を求めるために、カメラ（又は点光源）から顔面までの距離を求める必要があり、その方法としてカメラによる撮影画像上の点光源の大きさ（プルキニエ像の大きさ）が最小になる位置にフォーカスを合わせたときのフォーカス値からその距離を求めている。しかし、プルキニエ像の大きさを正確に最小になるように調節するのは困難であり、従って、精度の高い距離測定は期待できず、それを利用した視線方向の検出も誤差が含まれ、問題である。本出願人はこれらの問題を解決した発明を既に出願（特許文献２）している。
【非特許文献１】情報処理研究報告２００１―ＨＩ−９３、ｐｐ．４７−５４（眼球形状モデルに基づく視線測定システム）
【非特許文献２】第８回画像センシングシンポジウム、ｐｐ．３０７−３１２、２００２（眼球モデルに基づく視線測定方法）
【特許文献２】特許出願、特願２００４−７１２５６号（視線検出方法及び同装置、平成１６年３月１２日提出）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記した眼球モデルを利用する従来技術及び特許文献２に記載の技術は裸眼者を対象とした場合であり、眼鏡使用者に対してはこのまま適用すると大きな誤差を生じるおそれがある。即ち、赤外線を光源として眼の中の角膜に照射し、反射像を求めたとしても、眼球で反射した輝点の他に赤外線の一部が眼鏡のレンズ又は金具等に反射して撮影画像に複数の輝点が現われたりする。また、眼鏡を通過してきた像が偏って瞳孔の中心と輝点が一致しなくなるという問題も考えられる。
本発明は、上記事実に鑑みなされたものであり、眼鏡使用者に対しても適用できる視線ベクトル検出システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項１に記載の発明は、眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを具備する視線ベクトル検出システムにおいて、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出して、視線ベクトルを算出することを特徴としている。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記撮影カメラは、被撮影者の顔の正面で、眼の位置より低い位置に設置したことを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記赤外線光源は、暗瞳孔効果が生じさせるように、前記撮影カメラの光軸から離れた位置に設置したことを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、前記赤外線光源は、前記撮影カメラよりも低い位置に設置したことを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、前記赤外線光源は、前記撮影カメラの光軸の左右両側に設けたことを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出する画像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の中心を求め、更に、形態学上の知見によるデータを利用して角膜球の中心を求める処理を実行することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、前記演算部は、前記瞳孔の中心と前記角膜球の中心とから視線方向ベクトルを算出することを特徴としている。
【００１３】
請求項８に記載の発明は、請求項１〜請求項７に記載の発明において、前記計算機は、更に前記撮影画像データを前処理する前処理部を含むことを特徴としている。
【発明の効果】
【００１４】
本発明によれば、眼鏡使用者に対しても実用的な範囲で視線方向ベクトルを正しく算出することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明を最良の条件で実施した実施形態の構成を示す。図１において、被撮影者１０は、例えば、ドライバー又はパソコン等の使用者であって、眼鏡１１の使用者である。被撮影者１０の前方、略正面に撮影カメラ１２が被撮影者１０の眼の高さ位置（水平位置）より低い位置に配置する。これは眼と同じ高さ位置又は高い位置に配置すると、眼の画像と「まつげ」の画像が重なって、処理が複雑になる恐れがあるからであります（図３（Ｅ）〜（Ｈ）参照）。
【００１６】
光源１３，１３は赤外線発光ダイオード（ＬＥＤ）による光源を利用する。光源１３の位置は、撮影カメラ１２の光軸１４から離れた位置で、撮影カメラ１２の位置よりも低い位置に配置する。即ち、図１の距離「ｄ」が小さいと、瞳孔が明るく撮影されたり、暗かったりして瞳孔の輝度がばらつき、撮影画像から瞳孔を決定するのが困難になる。従って、距離「ｄ」は暗瞳孔効果が生じる位置に配置する。また、光源１３の位置は、撮影カメラ１２の位置よりも低い位置に配置する。これは、眼鏡のレンズ面等から反射する「偽の輝点」と「真の輝点」との区別を容易にするためである。光源１２の位置を低くすると被撮影者１０の眼が上を向いた場合でも、下を向いた場合でも真の輝点は瞳孔の内部に来るようになり、一方偽の輝点は瞳孔近傍には出現しなくなる（図２（Ａ）〜（Ｄ）参照）。
【００１７】
図２（Ａ）〜（Ｄ）は赤外線発光ダイオード１３を撮影カメラ１２より低い位置に設置した場合の撮影画像例を示す。図（Ａ）は被撮影者１１が左上を向いた場合、図（Ｂ）は右上を向いた場合、図（Ｃ）は左下を向いた場合、図（Ｄ）は右下を向いた場合の撮影画像（写真）である。これらの図から分かるように、真の輝点が何れも瞳孔２５の中に生じており、偽の輝点は瞳孔２５の外に生じている。
【００１８】
逆に、光源１３の位置を撮影カメラ１２の位置よりも高い位置に配置した場合の撮影画像例を図３（Ｅ）〜図３（Ｈ）に示す。図３（Ｅ）は左上を向いた場合、図３（Ｆ）は右上を向いた場合、図３（Ｇ）は左下を向いた場合、図３（Ｈ）は右下を向いた場合の撮影画像（写真）である。上を向いた場合は、図３（Ｅ）、図３（Ｆ）から理解できるように、偽の輝点が瞳孔近傍に現われたり、瞳孔にかぶったりして、真の輝点又は瞳孔２５の検出が困難になる。下を向いた場合は、図３（Ｇ）、図３（Ｈ）から理解できるように、真の輝点がまぶたと接近しすぎて瞳孔２５の検出が困難になる場合が生じる。
【００１９】
赤外線発光ダイオード１３はカメラの光軸１４の両側に設ける。これは、光軸１４の一方の側に設ける（例えば左側に設けた場合）と発光ダイオード１３を設けていない側（右側）に向いた場合は真の輝点が虹彩２４からはみ出してしまうという問題が生じるからである。
【００２０】
撮影カメラ１２の出力端に接続された計算機１５は前処理部１６、画像処理部１７、演算部１８を含み、前処理部１６では画像データの処理を容易にするための輝度の調整、コントラストの調整、ノイズの除去等の予備的な処理を行う。画像処理部１７は得られた画像に対して真の輝点の検出、瞳孔の中心を求める処理、更に、形態学上の知見データを利用して角膜球（図示省略）の中心を求める処理を行う。なお、前処理部１６は従来技術を利用するものであり、特に詳述する必要はないので、詳細な説明は省略する。画像処理部１７の処理は一部が特許文献２の記載内容と一致しているので、異なる部分に重点をおいて説明する。演算部１８の処理は特許文献２の記載内容と一致しているので簡単に説明する。
【００２１】
図４は本発明上の要点を抽出して示した撮影画像データで、被撮影者１０の使用している眼鏡２０部分の撮影画像の１例を示す。図４において、眼鏡１１はフレーム２１とレンズ２２から構成されており、レンズ２２の内部には右眼２３Ｒと左眼２３Ｌが現われている。眼２３（２３Ｒ，２３Ｌ）の白眼２６（２６Ｒ，２６Ｌ）の内部に虹彩２４（２４Ｒ、２４Ｌ）が現われており、虹彩２４（２４Ｒ、２４Ｌ）の略中央に瞳孔２５（２５Ｒ、２５Ｌ）が現われている。瞳孔２５は虹彩２４に比較して暗くて輝度が小さい。また、白眼２６は白色で輝度が大きく、虹彩２４は薄い茶色（又は薄い茶褐色）で、瞳孔２５よりも輝度が明るく、白眼２６よりも輝度が暗い。さらに、瞳孔２５の内部又は近傍に真の輝点（所定の要件を満たし、視線ベクトル求めるために使用する輝点）とレンズ２２又は眼鏡２０の金具等の部分で反射した偽の輝点３１が現われている。
【００２２】
図５、図６は画像処理部１７及び演算部１８で行う処理の手順を示す。図５において、ステップＳ１は撮影画像（図４）の処理を容易にするために、撮影画像全体の輝度の調整、コントラストの調整、ノイズの除去等の予備的な処理を行う。ステップＳ２では、撮影画像データから輝度が一定以上の明るい点（又は小領域）を求めて輝点とし、全ての輝点（３０，３１）を求める。ステップＳ３はステップＳ２で求めた輝点の中から真の輝点（３０）を決定する。真の輝点を求めるステップは図６に示されており、詳細は後述する。ステップＳ４は瞳孔（２５）の中心を求める。瞳孔の中心は、ステップＳ２で真の輝点を求める際に瞳孔の輪郭が求められているので、これを利用して求める。
【００２３】
ステップＳ５では角膜球（図示省略）の中心点を求める。角膜球の中心を求める方法は本出願人による特許出願（特許文献２）に詳述されている。この実施態様においても全く同様な手法を使用している。即ち、形態学上の知見によれば、（１）左右の眼から鼻までの距離は等しく、（２）左右両眼の距離と一方の眼から鼻までの距離との比は一定値（既知）である。更に、（３）左右両眼の距離は既知であり、（４）角膜球の中心半径は一定値（既知）である。また、カメラ１２の焦点距離（ｆ）並びにカメラパラメータ行列（Ｋ）が既知であるとしてもよい（使用前に測定しておけばよい）。従って、これらの条件から撮影カメラ１２の画像面から被撮影者１０の眼（又は顔面）までの距離を求めることができる。赤外線光源１３の発射点が撮影カメラ１２に十分に近い位置にあるときは角膜球の中心点座標及び瞳孔２４の中心点座標は高い精度の近似計算で容易に求めることができる。なお、上記の計算を遂行するに当たっては、眼鏡を使用したことによる撮影画像上の真の輝点３０及び瞳孔２４の中心位置等の変化は無視できる程度に小さいとしている。
【００２４】
ステップＳ６ではステップＳ５で求めた瞳孔２４の中心点の座標と角膜球の中心点座標から視線ベクトル（又は視線方向）を算出する。
【００２５】
図６は真の輝点を求める探索手順（フローチャート）を示す。真の輝点の要件として、（１）所定値以上の輝度を有し、（２）輝点の大きさが所定半径の円よりも小さい、（３）近傍に瞳孔が存在する、或いは輝点が瞳孔の内部にある、（４）左右両方の輝点の距離が所定範囲にある、等の条件を満たすものを考える。要件（１）、（２）は既に満たしているものとし、図６においては、要件（３）について検討手順を説明する。ステップＳ１１では、複数個の輝点のリスト（例えば、図７の輝点３５ａ〜３５ｅ）から検討する輝点を選択する。ステップＳ１２では選択された輝点に対して瞳孔２５を含む程度の大きさの領域３６（３６ａ〜３６ｅ）を決定し、ステップＳ１３で該領域３６内に瞳孔２５が含まれているか否かを探索する。ここで、瞳孔２５は輝度が所定値以下で暗く、半径が所定の範囲にあり、略円形をしている。
【００２６】
ステップＳ１４で瞳孔２５の有無をチェックし、瞳孔が無い場合はリストから削除する（ステップＳ１５）。瞳孔２５の有無の検討は、まず、輝度が小さくて暗い領域を探索し、その領域が円形であるか否かを判断する。円形の判定は従来技術を使用する。例えば、領域の境界を追跡し、その接線ベクトルの角度変化が略一様で、終点が始点に一致すれば円形と判断できる。円形と判断した場合はその直径が所定の範囲内にあるかを調べる。瞳孔２５が存在した場合は未検討の輝点があるかどうかをチェックする（ステップＳ１６）。未検討の輝点がある場合はステップＳ１１〜Ｓ１５を繰り返す。ステップＳ１７では、その他の要件（例えば、上記した４番目の要件）を満たしているか否かを検討し、真の輝点を確認し、決定する。
【００２７】
以上本発明の実施形態を図面に基づいて詳述してきたが、本発明の技術的範囲はこれに限られるものではない。例えば、真の輝点を定める用件は実施形態に記載したものに限られず、実質的に同じであれば他の表現で定めてもよい。また、本実施形態は眼鏡使用者に限定しているように思われるが裸眼者にも適用できる。即ち、輝点が左右各１個で、真の輝点であれば裸眼者と判断して視線ベクトルを求めることができる。逆に輝点が多数ある場合は眼鏡使用者と判断する。
【図面の簡単な説明】
【００２８】
【図１】本実施形態（視線ベクトル検出システム）の構成を示す。
【図２】赤外線光源をカメラより低い位置に設置した場合の撮影画像を示す。
【図３】赤外線光源をカメラより高い位置に設置した場合の撮影画像を示す。
【図４】要部を抽出した説明のための画像を示す。
【図５】画像処理部の実行する手順を示す。
【図６】真の輝点を求める手順を示す。
【図７】真の輝点を探索する図を示す。
【符号の説明】
【００２９】
１０ 被撮影者
１１ 眼鏡
１２ 撮影カメラ
１３ 赤外線光源
１４ カメラ軸
１５ 計算機
２０ 眼鏡
２２ レンズ
２４ 虹彩
２５ 瞳孔
３０ 真の輝点
３１ 偽の輝点
３５ 輝点
３６ 探索領域
【技術分野】
【０００１】
この発明は、視線を検出する技術、特に眼鏡を使用している者の視線検出方法及び装置に関するものである。
【背景技術】
【０００２】
従来から手又は指を自由に使えない不具者のためのコンピュータ入力装置として視線の検出技術が開発されてきた。又、車を運転するドライバの視線を監視して、車の運転補助手段としても視線の検出が利用される。しかし、従来の視線検出装置は使用者に特定の器具を装着させるものもあり、これらの技術は使用者を束縛するために使用勝手が悪いと言う課題があった。この課題を解決するために近年眼球モデルを利用して視線を検出する技術が開発されている。
【０００３】
眼球モデルを利用する場合に、カメラ位置から顔面までの正確な距離を簡単な方法で正確に求めることが一つの問題になってくる。例えば、特許文献１に記載されている装置は、運転者の視線を検出する装置であり、カメラの位置から運転者の顔面までの距離を求める手段として距離センサを利用している。距離センサとしては超音波型センサ等を使用している。超音波型センサを使用した場合、全体の装置が複雑になり、簡単なセンサでは精度が悪く、精度を高くすると装置が高価になるという問題が生じる。
【特許文献１】公開特許公報、第平８−２９７０１９号（車両用視線方向計測装置）
【０００４】
また、非特許文献１、２にも、眼球モデルを利用した視線の方向を検出する技術が記載されている。この文献の装置は、点光源から近赤外線を眼の中の角膜に照射し、反射像（プルキニエ像と呼んでいる）の座標を求めるために、カメラ（又は点光源）から顔面までの距離を求める必要があり、その方法としてカメラによる撮影画像上の点光源の大きさ（プルキニエ像の大きさ）が最小になる位置にフォーカスを合わせたときのフォーカス値からその距離を求めている。しかし、プルキニエ像の大きさを正確に最小になるように調節するのは困難であり、従って、精度の高い距離測定は期待できず、それを利用した視線方向の検出も誤差が含まれ、問題である。本出願人はこれらの問題を解決した発明を既に出願（特許文献２）している。
【非特許文献１】情報処理研究報告２００１―ＨＩ−９３、ｐｐ．４７−５４（眼球形状モデルに基づく視線測定システム）
【非特許文献２】第８回画像センシングシンポジウム、ｐｐ．３０７−３１２、２００２（眼球モデルに基づく視線測定方法）
【特許文献２】特許出願、特願２００４−７１２５６号（視線検出方法及び同装置、平成１６年３月１２日提出）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記した眼球モデルを利用する従来技術及び特許文献２に記載の技術は裸眼者を対象とした場合であり、眼鏡使用者に対してはこのまま適用すると大きな誤差を生じるおそれがある。即ち、赤外線を光源として眼の中の角膜に照射し、反射像を求めたとしても、眼球で反射した輝点の他に赤外線の一部が眼鏡のレンズ又は金具等に反射して撮影画像に複数の輝点が現われたりする。また、眼鏡を通過してきた像が偏って瞳孔の中心と輝点が一致しなくなるという問題も考えられる。
本発明は、上記事実に鑑みなされたものであり、眼鏡使用者に対しても適用できる視線ベクトル検出システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項１に記載の発明は、眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを具備する視線ベクトル検出システムにおいて、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出して、視線ベクトルを算出することを特徴としている。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記撮影カメラは、被撮影者の顔の正面で、眼の位置より低い位置に設置したことを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記赤外線光源は、暗瞳孔効果が生じさせるように、前記撮影カメラの光軸から離れた位置に設置したことを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、前記赤外線光源は、前記撮影カメラよりも低い位置に設置したことを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、前記赤外線光源は、前記撮影カメラの光軸の左右両側に設けたことを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出する画像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の中心を求め、更に、形態学上の知見によるデータを利用して角膜球の中心を求める処理を実行することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、前記演算部は、前記瞳孔の中心と前記角膜球の中心とから視線方向ベクトルを算出することを特徴としている。
【００１３】
請求項８に記載の発明は、請求項１〜請求項７に記載の発明において、前記計算機は、更に前記撮影画像データを前処理する前処理部を含むことを特徴としている。
【発明の効果】
【００１４】
本発明によれば、眼鏡使用者に対しても実用的な範囲で視線方向ベクトルを正しく算出することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明を最良の条件で実施した実施形態の構成を示す。図１において、被撮影者１０は、例えば、ドライバー又はパソコン等の使用者であって、眼鏡１１の使用者である。被撮影者１０の前方、略正面に撮影カメラ１２が被撮影者１０の眼の高さ位置（水平位置）より低い位置に配置する。これは眼と同じ高さ位置又は高い位置に配置すると、眼の画像と「まつげ」の画像が重なって、処理が複雑になる恐れがあるからであります（図３（Ｅ）〜（Ｈ）参照）。
【００１６】
光源１３，１３は赤外線発光ダイオード（ＬＥＤ）による光源を利用する。光源１３の位置は、撮影カメラ１２の光軸１４から離れた位置で、撮影カメラ１２の位置よりも低い位置に配置する。即ち、図１の距離「ｄ」が小さいと、瞳孔が明るく撮影されたり、暗かったりして瞳孔の輝度がばらつき、撮影画像から瞳孔を決定するのが困難になる。従って、距離「ｄ」は暗瞳孔効果が生じる位置に配置する。また、光源１３の位置は、撮影カメラ１２の位置よりも低い位置に配置する。これは、眼鏡のレンズ面等から反射する「偽の輝点」と「真の輝点」との区別を容易にするためである。光源１２の位置を低くすると被撮影者１０の眼が上を向いた場合でも、下を向いた場合でも真の輝点は瞳孔の内部に来るようになり、一方偽の輝点は瞳孔近傍には出現しなくなる（図２（Ａ）〜（Ｄ）参照）。
【００１７】
図２（Ａ）〜（Ｄ）は赤外線発光ダイオード１３を撮影カメラ１２より低い位置に設置した場合の撮影画像例を示す。図（Ａ）は被撮影者１１が左上を向いた場合、図（Ｂ）は右上を向いた場合、図（Ｃ）は左下を向いた場合、図（Ｄ）は右下を向いた場合の撮影画像（写真）である。これらの図から分かるように、真の輝点が何れも瞳孔２５の中に生じており、偽の輝点は瞳孔２５の外に生じている。
【００１８】
逆に、光源１３の位置を撮影カメラ１２の位置よりも高い位置に配置した場合の撮影画像例を図３（Ｅ）〜図３（Ｈ）に示す。図３（Ｅ）は左上を向いた場合、図３（Ｆ）は右上を向いた場合、図３（Ｇ）は左下を向いた場合、図３（Ｈ）は右下を向いた場合の撮影画像（写真）である。上を向いた場合は、図３（Ｅ）、図３（Ｆ）から理解できるように、偽の輝点が瞳孔近傍に現われたり、瞳孔にかぶったりして、真の輝点又は瞳孔２５の検出が困難になる。下を向いた場合は、図３（Ｇ）、図３（Ｈ）から理解できるように、真の輝点がまぶたと接近しすぎて瞳孔２５の検出が困難になる場合が生じる。
【００１９】
赤外線発光ダイオード１３はカメラの光軸１４の両側に設ける。これは、光軸１４の一方の側に設ける（例えば左側に設けた場合）と発光ダイオード１３を設けていない側（右側）に向いた場合は真の輝点が虹彩２４からはみ出してしまうという問題が生じるからである。
【００２０】
撮影カメラ１２の出力端に接続された計算機１５は前処理部１６、画像処理部１７、演算部１８を含み、前処理部１６では画像データの処理を容易にするための輝度の調整、コントラストの調整、ノイズの除去等の予備的な処理を行う。画像処理部１７は得られた画像に対して真の輝点の検出、瞳孔の中心を求める処理、更に、形態学上の知見データを利用して角膜球（図示省略）の中心を求める処理を行う。なお、前処理部１６は従来技術を利用するものであり、特に詳述する必要はないので、詳細な説明は省略する。画像処理部１７の処理は一部が特許文献２の記載内容と一致しているので、異なる部分に重点をおいて説明する。演算部１８の処理は特許文献２の記載内容と一致しているので簡単に説明する。
【００２１】
図４は本発明上の要点を抽出して示した撮影画像データで、被撮影者１０の使用している眼鏡２０部分の撮影画像の１例を示す。図４において、眼鏡１１はフレーム２１とレンズ２２から構成されており、レンズ２２の内部には右眼２３Ｒと左眼２３Ｌが現われている。眼２３（２３Ｒ，２３Ｌ）の白眼２６（２６Ｒ，２６Ｌ）の内部に虹彩２４（２４Ｒ、２４Ｌ）が現われており、虹彩２４（２４Ｒ、２４Ｌ）の略中央に瞳孔２５（２５Ｒ、２５Ｌ）が現われている。瞳孔２５は虹彩２４に比較して暗くて輝度が小さい。また、白眼２６は白色で輝度が大きく、虹彩２４は薄い茶色（又は薄い茶褐色）で、瞳孔２５よりも輝度が明るく、白眼２６よりも輝度が暗い。さらに、瞳孔２５の内部又は近傍に真の輝点（所定の要件を満たし、視線ベクトル求めるために使用する輝点）とレンズ２２又は眼鏡２０の金具等の部分で反射した偽の輝点３１が現われている。
【００２２】
図５、図６は画像処理部１７及び演算部１８で行う処理の手順を示す。図５において、ステップＳ１は撮影画像（図４）の処理を容易にするために、撮影画像全体の輝度の調整、コントラストの調整、ノイズの除去等の予備的な処理を行う。ステップＳ２では、撮影画像データから輝度が一定以上の明るい点（又は小領域）を求めて輝点とし、全ての輝点（３０，３１）を求める。ステップＳ３はステップＳ２で求めた輝点の中から真の輝点（３０）を決定する。真の輝点を求めるステップは図６に示されており、詳細は後述する。ステップＳ４は瞳孔（２５）の中心を求める。瞳孔の中心は、ステップＳ２で真の輝点を求める際に瞳孔の輪郭が求められているので、これを利用して求める。
【００２３】
ステップＳ５では角膜球（図示省略）の中心点を求める。角膜球の中心を求める方法は本出願人による特許出願（特許文献２）に詳述されている。この実施態様においても全く同様な手法を使用している。即ち、形態学上の知見によれば、（１）左右の眼から鼻までの距離は等しく、（２）左右両眼の距離と一方の眼から鼻までの距離との比は一定値（既知）である。更に、（３）左右両眼の距離は既知であり、（４）角膜球の中心半径は一定値（既知）である。また、カメラ１２の焦点距離（ｆ）並びにカメラパラメータ行列（Ｋ）が既知であるとしてもよい（使用前に測定しておけばよい）。従って、これらの条件から撮影カメラ１２の画像面から被撮影者１０の眼（又は顔面）までの距離を求めることができる。赤外線光源１３の発射点が撮影カメラ１２に十分に近い位置にあるときは角膜球の中心点座標及び瞳孔２４の中心点座標は高い精度の近似計算で容易に求めることができる。なお、上記の計算を遂行するに当たっては、眼鏡を使用したことによる撮影画像上の真の輝点３０及び瞳孔２４の中心位置等の変化は無視できる程度に小さいとしている。
【００２４】
ステップＳ６ではステップＳ５で求めた瞳孔２４の中心点の座標と角膜球の中心点座標から視線ベクトル（又は視線方向）を算出する。
【００２５】
図６は真の輝点を求める探索手順（フローチャート）を示す。真の輝点の要件として、（１）所定値以上の輝度を有し、（２）輝点の大きさが所定半径の円よりも小さい、（３）近傍に瞳孔が存在する、或いは輝点が瞳孔の内部にある、（４）左右両方の輝点の距離が所定範囲にある、等の条件を満たすものを考える。要件（１）、（２）は既に満たしているものとし、図６においては、要件（３）について検討手順を説明する。ステップＳ１１では、複数個の輝点のリスト（例えば、図７の輝点３５ａ〜３５ｅ）から検討する輝点を選択する。ステップＳ１２では選択された輝点に対して瞳孔２５を含む程度の大きさの領域３６（３６ａ〜３６ｅ）を決定し、ステップＳ１３で該領域３６内に瞳孔２５が含まれているか否かを探索する。ここで、瞳孔２５は輝度が所定値以下で暗く、半径が所定の範囲にあり、略円形をしている。
【００２６】
ステップＳ１４で瞳孔２５の有無をチェックし、瞳孔が無い場合はリストから削除する（ステップＳ１５）。瞳孔２５の有無の検討は、まず、輝度が小さくて暗い領域を探索し、その領域が円形であるか否かを判断する。円形の判定は従来技術を使用する。例えば、領域の境界を追跡し、その接線ベクトルの角度変化が略一様で、終点が始点に一致すれば円形と判断できる。円形と判断した場合はその直径が所定の範囲内にあるかを調べる。瞳孔２５が存在した場合は未検討の輝点があるかどうかをチェックする（ステップＳ１６）。未検討の輝点がある場合はステップＳ１１〜Ｓ１５を繰り返す。ステップＳ１７では、その他の要件（例えば、上記した４番目の要件）を満たしているか否かを検討し、真の輝点を確認し、決定する。
【００２７】
以上本発明の実施形態を図面に基づいて詳述してきたが、本発明の技術的範囲はこれに限られるものではない。例えば、真の輝点を定める用件は実施形態に記載したものに限られず、実質的に同じであれば他の表現で定めてもよい。また、本実施形態は眼鏡使用者に限定しているように思われるが裸眼者にも適用できる。即ち、輝点が左右各１個で、真の輝点であれば裸眼者と判断して視線ベクトルを求めることができる。逆に輝点が多数ある場合は眼鏡使用者と判断する。
【図面の簡単な説明】
【００２８】
【図１】本実施形態（視線ベクトル検出システム）の構成を示す。
【図２】赤外線光源をカメラより低い位置に設置した場合の撮影画像を示す。
【図３】赤外線光源をカメラより高い位置に設置した場合の撮影画像を示す。
【図４】要部を抽出した説明のための画像を示す。
【図５】画像処理部の実行する手順を示す。
【図６】真の輝点を求める手順を示す。
【図７】真の輝点を探索する図を示す。
【符号の説明】
【００２９】
１０ 被撮影者
１１ 眼鏡
１２ 撮影カメラ
１３ 赤外線光源
１４ カメラ軸
１５ 計算機
２０ 眼鏡
２２ レンズ
２４ 虹彩
２５ 瞳孔
３０ 真の輝点
３１ 偽の輝点
３５ 輝点
３６ 探索領域
【特許請求の範囲】
【請求項１】
眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを具備する視線ベクトル検出システムにおいて、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出して、視線ベクトルを算出することを特徴とする眼鏡使用者の視線ベクトル検出システム。
【請求項２】
前記撮影カメラは、被撮影者の顔の正面で、眼の位置より低い位置に設置したことを特徴とする請求項１に眼鏡使用者の視線ベクトル検出システム。
【請求項３】
前記赤外線光源は、暗瞳効果が生じさせるように、前記撮影カメラの光軸から離れた位置に設置したことを特徴とする請求項１又は請求項２の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項４】
前記赤外線光源は、前記撮影カメラよりも低い位置に設置したことを特徴とする請求項１〜請求項３の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項５】
前記赤外線光源は、前記撮影カメラの光軸の左右両側に設けたことを特徴とする請求項１〜請求項４の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項６】
前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出する画像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の中心を求め、更に、形態学上の知見によるデータを利用して角膜球の中心を求める処理を実行することを特徴とする請該求項１〜請求項５の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項７】
前記演算部は、前記瞳孔の中心と前記角膜球の中心とから視線方向ベクトルを算出することを特徴とする請求項１〜請求項６の何れか１に記載の視線検出方法。
【請求項８】
前記計算機は、更に前記撮影画像データを前処理する前処理部を含むことを特徴とする請求項１〜請求項７の何れか１に記載の視線検出方法。
【請求項１】
眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを具備する視線ベクトル検出システムにおいて、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出して、視線ベクトルを算出することを特徴とする眼鏡使用者の視線ベクトル検出システム。
【請求項２】
前記撮影カメラは、被撮影者の顔の正面で、眼の位置より低い位置に設置したことを特徴とする請求項１に眼鏡使用者の視線ベクトル検出システム。
【請求項３】
前記赤外線光源は、暗瞳効果が生じさせるように、前記撮影カメラの光軸から離れた位置に設置したことを特徴とする請求項１又は請求項２の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項４】
前記赤外線光源は、前記撮影カメラよりも低い位置に設置したことを特徴とする請求項１〜請求項３の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項５】
前記赤外線光源は、前記撮影カメラの光軸の左右両側に設けたことを特徴とする請求項１〜請求項４の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項６】
前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出する画像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の中心を求め、更に、形態学上の知見によるデータを利用して角膜球の中心を求める処理を実行することを特徴とする請該求項１〜請求項５の何れか１に記載の眼鏡使用者の視線ベクトル検出システム。
【請求項７】
前記演算部は、前記瞳孔の中心と前記角膜球の中心とから視線方向ベクトルを算出することを特徴とする請求項１〜請求項６の何れか１に記載の視線検出方法。
【請求項８】
前記計算機は、更に前記撮影画像データを前処理する前処理部を含むことを特徴とする請求項１〜請求項７の何れか１に記載の視線検出方法。
【図１】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【公開番号】特開２００６−９５００８（Ｐ２００６−９５００８Ａ）
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願番号】特願２００４−２８３４５６（Ｐ２００４−２８３４５６）
【出願日】平成１６年９月２９日（２００４．９．２９）
【出願人】（５９８１０８４６７）株式会社ゲン・テック (7)
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願日】平成１６年９月２９日（２００４．９．２９）
【出願人】（５９８１０８４６７）株式会社ゲン・テック (7)
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]