視線移動検出方法及び視線移動検出装置
【課題】対象者の視線移動を広い範囲で安定して検出すること。
【解決手段】この視線移動検出方法は、対象者Ａの顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出方法であって、対象者Ａの顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量Ｄｉｆを算出する算出ステップと、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する判定ステップとを備える。
【解決手段】この視線移動検出方法は、対象者Ａの顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出方法であって、対象者Ａの顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量Ｄｉｆを算出する算出ステップと、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する判定ステップとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者の視線移動を検出する視線移動検出方法及び視線移動検出装置に関するものである。
【背景技術】
【０００２】
近年、自動車等において運転者の運転状況のモニターや、パーソナルコンピュータの視線による操作を目的として、人間の視線方向を検出する技術が開発されている。例えば、対象者の瞳孔の位置を測定する第１のカメラと、瞳孔の中心と角膜反射点間の距離及び角度を取得する第２のカメラとを用いて、対象者の視線方向を演算する技術が開示されている（下記特許文献１参照）。この技術は、対象者の瞳孔移動が検出された場合に眼球が回転したのか頭部自体が動いたのかを区別するために、瞳孔中心と角膜反射中心の相対的位置関係から視線方向を判定するものである。これは、対象者がカメラの光軸方向を見ている時には瞳孔中心と角膜反射中心の位置がほぼ一致し、対象者が眼を回転させるとその回転角に応じて瞳孔中心と角膜反射中心との間の距離が長くなるという知見に基づいている。
【０００３】
一方、視線によりパーソナルコンピュータの画面上のカーソルを移動させるポインティング方法に関する技術も知られている（下記非特許文献１及び下記特許文献２〜４参照）。これらの技術はカメラによって撮像された顔画像から瞳孔を検出するものである。また、一台のカメラで対象者の瞳孔中心及び角膜反射中心の位置を得て視線ベクトルを求める装置（下記特許文献５参照）、及び２台のカメラを用いて瞳孔と鼻孔を検出することにより頭部の方向を検出する方法（下記特許文献６及び下記非特許文献２参照）も開示されている。
【特許文献１】特開２００５−１８５４３１号公報
【特許文献２】特開２００５−１８２２４７号公報
【特許文献３】特開２００５−３５２５８０号公報
【特許文献４】特開２００５−３４８８３２号公報
【特許文献５】特開２００５−２３００４９号公報
【特許文献６】特開２００５−２６６８６８号公報
【非特許文献１】Y. Ebisawa, D. Ishima, S. Inoue, Y. Murayama， “PupilMouse: Cursor Controlby Head Rotation Using Pupil Detection Technique”，（米国）， Proceedings of InternationalConference on Computing, Communications and Control Technologies: CCCT’04， August 14-17, 2004-Austin, Texas, USA， pp. 209-214
【非特許文献２】Y.Ebisawa, Y.Nurikabe，“Face Pose EstimationBased on 3D Detection of Pupils and Nostrils”，2005 IEEE INTERNATIONAL CONFERENCE ONVIRTUAL ENVIRONMENTS, HUMAN-COMPUTER INTERFACES, AND MEASUREMENT SYSTEMS， 2005, pp.92-97
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したように、角膜反射の中心及び瞳孔中心の位置を検出することによって視線方向を検出する場合には、検出精度を上げるために使用するカメラの解像度を比較的高くする必要があり、カメラの撮像範囲が小さくなりがちである。従って、頭が大きく動きがちな運転者をモニターする場合等において、顔全体を広い範囲で撮影する必要がある場合であっても、検出精度を確保するためには検出範囲が比較的狭い範囲に限定されてしまう。さらに、この場合に、カメラと瞳孔とを結ぶ線と視線との許容角度は、水平方向で±３０〜±４０度程度と比較的狭い。これは、撮影角度が大きくなると角膜反射が角膜の領域からはみ出して白目が光るようになるため、事実上角膜反射の検出が不可能となるからである。従って、対象者の視線の移動をモニターする場合で、視線方向を高い精度で検出する必要が無いときは、角膜反射を検出する意義が小さい。同様に、２台のカメラを用いて対象者の顔の特徴点の位置を検出する場合も、検出範囲が狭くなる傾向がある。
【０００５】
これに対して、対象者の瞳孔等の目の位置をモニターして対象者の視線移動を判定することも考えられるが、頭部自体の動きが加わった場合に瞳孔位置をモニターしただけでは、その動きが視線の動きによるものか、頭部の動きによるものかを安定して判別することが困難である。
【０００６】
そこで、本発明は、かかる課題に鑑みて為されたものであり、対象者の視線移動を広い範囲で安定して検出することが可能な視線移動検出方法及び視線移動検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の視線移動検出方法は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出方法であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する判定ステップとを備える。
【０００８】
或いは、本発明の視線移動検出装置は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出装置であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する手段と、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する手段とを備える。
【０００９】
このような視線移動検出方法及び視線移動検出装置によれば、対象者の顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔位置と鼻孔位置とを検出し、前後のフレーム間の鼻孔に対する瞳孔の相対的位置の変化を算出し、その変化の大小をもって視線移動の有無を判定するので、１台の撮像手段を使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
【００１０】
算出ステップでは、前後のフレーム間の瞳孔位置の変化量及び鼻孔位置の変化量を求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量を算出することが好ましい。この場合、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
【００１１】
また、算出ステップでは、複数のフレームにわたって相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、判定ステップでは、相対的位置の変化量を移動平均値を基準にして設定した閾値と比較することによって、視線移動の有無を判定することも好ましい。こうすれば、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
【発明の効果】
【００１２】
本発明による視線移動検出方法及び視線移動検出装置によれば、対象者の視線移動を広い範囲で安定して検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しつつ本発明に係る視線移動検出方法及び視線移動検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００１４】
本発明の視線移動検出方法及び視線移動検出装置は、観察対象者の目の方向（視線方向）が変わったかどうかを検出するためのものである。ここでいう視線方向とは、顔の方向を基準にした目の動きのことである。本発明は、例えば、大型トラック等の自動車に代表される乗り物内において、運転者や操縦者が運転中に覚醒状態にあるか否かを判断するために利用される。具体的には、運転者が正常に運転しているときは周囲に注意を払うため視線は頻繁に変化するが、眠気を催しているときには運転者の視線の動きが止まる傾向にあるので、視線移動の頻度に基づいて運転者の覚醒状態を判定することができる。
【００１５】
まず、本発明にかかる視線移動検出装置１の構成について、図１を参照しながら説明する。図１は、視線移動検出装置１と対象者Ａとの位置関係を示す平面図である。同図に示すように、視線移動検出装置１は、対象者Ａの顔画像を撮像する１台のカメラ２と、カメラ２の前面２ａの撮像レンズの光軸Ｌ１の近傍に設けられた光源３ａと、カメラ２の前面２ａの光軸Ｌ１から離れた位置に設けられた光源３ｂと、カメラ２に接続されてカメラ２において生成された画像データを処理する画像処理端末４とを備えている。この視線移動検出装置１は、本発明にかかる視線移動検出方法を実施する。
【００１６】
カメラ２は、対象者Ａの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラを用いる。また、カメラ２は、対象者Ａの顔画像を動画像として連続して撮像することが可能とされ、その動画像を構成する複数のフレーム画像をリアルタイムで画像処理端末４に出力する。
【００１７】
光源３ａは、カメラ２の光軸Ｌ１に沿って、光軸Ｌ１上に位置する対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源３ｂは、光軸Ｌ１からの距離が光源３ａよりも離れた位置に固定され、光軸Ｌ１に沿って対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、光源３ａ，３ｂから照射される照明光は、瞳孔の部分に輝度差を生じさせるような異なる波長成分（例えば、中心波長が850nmと950nm）を有する光であり、かつ、光源３ｂは光軸Ｌ１からの距離が光源３ａと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【００１８】
なお、カメラ２及び光源３ａ，３ｂは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Ａの瞳孔及び鼻孔を検出し易くする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１の水平面に対する傾斜角２０度〜３０度）に設けられることが好ましい。この設置位置としては、車両内に設置される場合は運転席側のダッシュボードの下等、トラック等の座席位置が高い場合はダッシュボードの上等が考えられる。
【００１９】
画像処理端末４は、カメラ２から出力された複数のフレーム画像からなる顔画像に画像処理を施す情報処理端末であり、ＣＰＵ等の演算処理装置、ＲＯＭ、ＲＡＭ等の記憶装置を内蔵するコンピュータ端末である。画像処理端末４は、対象者Ａの視線移動の有無を検出する視線移動検出処理を実行するとともに、カメラ２による対象者Ａの撮像を制御する。
【００２０】
次に、上述した各処理について説明する前に、対象者の眼球運動（眼球の回転運動）の種類について説明する。一般に、広視野のビデオカメラで顔を撮影した場合に検出可能な眼球運動としては、（１）サッカード（saccade, 跳躍性眼球運動）、（２）滑動性眼球運動（smooth pursuit movement, 随従運動）、（３）前庭性眼球運動(vestibular reflex)、（４）輻輳開散眼球運動(vergence eye movement) が存在する。
【００２１】
サッカードは、静止した物体に対して、見たい対象を変えたいときに生じる高速のいわばステップ状の運動である。運転中であれば、前方の車を見ている間に標識が視野の周辺に見えたときに、その詳細を見るために標識を見ようとするときなどに生じる。また、滑動性眼球運動は、運動物体を見続けようとするときに生じる。この場合の眼球回転速度は、サッカードに比較して小さい。また、前庭性眼球運動は、基本的に一点を見つめているときに頭部が回転すると、頭部の回転に対してちょうど反対方向に同じ回転速度で眼球が回転し、目の網膜に投影される像がぶれないようにするための運動である。この運動は、頭部が左右に上下に平行移動した場合にも、同様に網膜像がぶれないような方向に生じる。この眼球運動もサッカードに比較して眼球回転速度は小さい。さらに、輻輳開散眼球運動は、近くのものを見るときに両目が寄り（両眼球が内向きに回転する）、遠くのものを見るときに両目が離れる方向に回転する（両眼球が外向きに回転する）。従って、この運動は、両眼が互いに反対方向に回転する運動である。この眼球運動も、ゆっくりとした動きであり、サッカードより速度が小さい。
【００２２】
以上の４種類の運動は、車両の運転中に重畳して生じ、サッカード以外のそれぞれの眼球運動の中に、サッカードが度々混在する。この際、サッカード以外の比較的滑らかな運動に高速な運動であるサッカードが割り込んで生ずるため、サッカードは他の運動に比較して検出が容易である。ここで、特筆すべき点は、サッカード以外の運動は、運転中でも通常はゆっくりとした運動であるが、サッカードは、比較的高速であり、視線を動かしたときは瞳孔の瞬間的な動きとして際だって現れる点である。このサッカードは、10度程度の回転でも約40msec程度で完了するため、通常の30フレーム／秒のカメラでも2フレーム以内に収まる。従って、他の眼球運動が混在していても、回転角度がある程度以上（例えば、10度以上）であれば十分にサッカードを他の運動から判別することができ、サッカードの発生の有無は容易に判断できる。なお、ある方向から別の方向へ視線を動かすときに頭部の回転を伴う場合もあるが、このような場合であっても頭部の回転速度よりも眼球の回転速度のほうが高速であるため、サッカードは明確に現れる。
【００２３】
上述したサッカードは、運転者が注意を向ける対象を移すときに生じることから、明らかに運転者が覚醒しているときに生じると考えられる。サッカード以外の眼球運動も覚醒状態でなければ生じないが、この場合もサッカードが混在して生じる確率が高い。例えて言えば、運転者が運転中に、前方や、バックミラー、ルームミラー、メーター等を見るときには、サッカードは必ず生じる。逆に、運転中にサッカードが生じないということは、少なくとも覚醒状態が低下していると判断してよい。
【００２４】
そこで、画像処理端末４は、以下のようにして、対象者Ａの鼻孔に対する瞳孔の相対的位置の変化量（視線移動量）を算出した後、視線移動の有無を判定して運転者の覚醒状態を判断する。
【００２５】
まず、画像処理端末４は、カメラ２を制御して対象者Ａの顔画像を連続して撮像して、その結果生成された複数フレームからなる動画像を受けて、その複数フレームのそれぞれを対象に対象者Ａの左右の瞳孔中心の位置及び左右の鼻孔中心の位置を検出する。図２は、画像処理装置４による対象者Ａの検出状態を示す概念図である。
【００２６】
（瞳孔中心の検出）
画像処理端末４は、複数フレームからなる顔画像の撮像時には、光源３ａ，３ｂを交互に点灯させて、それぞれの点灯に同期したフレームを生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源３ａの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源３ｂの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの２種類の画像は、２つの光源３ａ，３ｂからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。ここで、フィールド走査を採用するカメラの場合は、光源３ａ，３ｂをカメラ２のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離してもよい。そして、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
【００２７】
その後、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施されたフレーム画像を用いて、そのフレーム画像を２値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開２００５−３４８８３２号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。
【００２８】
（鼻孔中心の検出）
画像処理端末４は、左右の鼻孔中心の２次元座標を、上記の明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Ａが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、フレーム画像の大ウィンドウ内を対象にＰ−ｔｉｌｅ法により輝度が低いほうから０．８％の画素を検出し、ＨＩＧＨ画素及びＬＯＷ画素からなる２値化画像に変換する。その後、検出された２値化画像の膨張処理及び収縮処理（モルフォロジー処理）を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから２つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、２値画像中で対象画素の近傍の８画素の１つでもＨＩＧＨ画素がある場合に、対象画素をＨＩＧＨ画素に変換する処理であり、収縮処理とは、２値画像中で対象画素の近傍の８画素の１つでもＬＯＷ画素がある場合に、対象画素をＬＯＷ画素に変換する処理である。そして、縦横比が０．５より小さいか０．７より大きく、かつ、全体の画像サイズが６４０×２４０画素に対して面積が１００画素より小さいか３００画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に３０×３０画素の小ウィンドウを設定し、もとのフレーム画像の小ウィンドウ内を対象に、Ｐ−ｔｉｌｅ法により輝度が低いほうから５％の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が１３０画素以上か７０画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、２つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
【００２９】
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる２つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。なお、鼻孔を検出し難くするような影などが画像に写った場合の鼻孔の誤認識の防止、及び鼻孔の素早い動きへの対応を目的として、カルマンフィルタなどの予測モデルを利用して各鼻孔位置を予測して、小ウィンドウの位置を設定してもよい。
【００３０】
このような鼻孔検出時において左右どちらかの鼻孔のみしか検出できなかった場合は、距離導出ステップで実測された距離と、検出された左右の瞳孔中心の位置及び片方の鼻孔中心の位置とを用いて、他方の鼻孔中心の位置を推定する。今、右瞳孔中心の座標を（ｘＲＰ，ｙＲＰ）、左瞳孔中心の座標を（ｘＬＰ，ｙＬＰ）、右鼻孔中心の座標を（ｘＲＮ，ｙＲＮ）、左鼻孔中心の座標を（ｘＬＮ，ｙＬＮ）、予め測定しておいた左右の瞳孔中心間の距離をＤＰ０、左右の鼻孔中心間の距離をＤＮ０とし、左鼻孔を検出できなかった場合を考える。このときの顔画像における左右の瞳孔間の傾斜率ＩＰ、及び瞳孔中心間距離ＤＰは、下記式（１）及び（２）；
ＩＰ＝（ｙＲＰ−ｙＬＰ）／（ｘＲＰ−ｘＬＰ） …（１）
ＤＰ＝｛（ｘＲＰ−ｘＬＰ）２＋（ｙＲＰ−ｙＬＰ）２｝１／２ …（２）
と考えることができる。
【００３１】
ここで、左右の瞳孔中心を結ぶ線と左右の鼻孔中心を結ぶ線とは常に平行であると考えられるので、左右の鼻孔間の傾斜率ＩＮ＝ＩＰとなる。また、顔画像上の鼻孔中心間距離ＤＮは、左右の瞳孔中心間の距離ＤＰ０、左右の鼻孔中心間の距離ＤＮ０、及び瞳孔中心間距離ＤＰから、下記式（３）；
ＤＮ＝（ＤＮ０／ＤＰ０）×ＤＰ …（３）
により求まる。鼻孔中心間距離ＤＮは下記式（４）；
ＤＮ＝｛（ｘＲＮ−ｘＬＮ）２＋（ｙＲＮ−ｙＬＮ）２｝１／２ …（４）
と表されるので、左の鼻孔中心の座標（ｘＬＮ，ｙＬＮ）は、下記式（５）及び（６）；
ｘＬＮ＝ｘＲＮ−｛ＤＮ２／（１＋ＩＮ２）｝１／２ …（５）
ｙＬＮ＝ｙＲＮ−｛（ＤＮ２．ＩＮ２）／（１＋ＩＮ２）｝１／２ …（６）
によって求めることができる。逆に右の鼻孔中心が検出されなかった場合も、下記式（７）及び（８）；
ｘＲＮ＝ｘＬＮ＋｛ＤＮ２／（１＋ＩＮ２）｝１／２ …（７）
ｙＲＮ＝ｙＬＮ＋｛（ＤＮ２．ＩＮ２）／（１＋ＩＮ２）｝１／２ …（８）
によって求めることができる。
【００３２】
（視線移動量の算出）
画像処理端末４は、各フレーム画像中の前後のフレーム画像における左右の瞳孔中心の位置及び左右の鼻孔中心の位置に基づいて、対象者Ａの視線移動量を計算する。この場合、一方の鼻孔に対して他方の鼻孔が大きく動くことは現実的に考えられないため、一方の鼻孔が検出できれば十分である。仮に、両方の鼻孔が検出できたときも左右どちらかの鼻孔中心の位置を視線移動の基準となる位置として選択すればよい。また、左右の鼻孔中心の位置の中点を基準としてもよい。ただし、一方の鼻孔位置から他方の鼻孔位置又は中点の位置に基準位置が切り替わってしまうと、瞳孔の相対的位置の変化が正確に検出できなくなってしまう。そこで、以下のようにして、複数のフレーム画像中の前後フレーム画像間の鼻孔中心位置の変化量ＤｉｆＮ及び瞳孔中心位置の変化量ＤｉｆＰを、時間的に連続して求める。
【００３３】
具体的には、左右の鼻孔が検出されているときは、左右の鼻孔中心毎の変化量を算出する。もし、(i)両鼻孔が検出され続けているときには、前後フレーム間の各鼻孔中心の変化量を計算し、それらの平均を鼻孔中心の変化量ＤｉｆＮとする。(ii)片方の鼻孔のみが検出され続けているときは、検出されている側の鼻孔中心のみのフレーム間変化量を鼻孔中心の変化量ＤｉｆＮとする。（iii）１つ前のフレームまで両鼻孔が検出されており、現フレームになって片方の鼻孔のみが検出されるようになったとき、現フレームにおいて検出された側の鼻孔中心の座標と１つ前フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量ＤｉｆＮとする。(iv)１つ前のフレームまで片方の鼻孔のみが検出されており、現フレームで両鼻孔が検出されるようになったとき、１つ前のフレームにおいて検出されていた鼻孔中心の座標と現フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量ＤｉｆＮとする。
【００３４】
一方、瞳孔中心の検出においても、片方の瞳孔が検出できなくなったり、両方の瞳孔が検出できなくなることもある。したがって、瞳孔中心の変化量ＤｉｆＰの算出についても鼻孔と同様のことを行う。すなわち、左右の瞳孔が検出されているときは、左右の瞳孔中心毎の変化量を算出する。(i)両瞳孔が検出され続けているときには、両瞳孔中心のそれぞれのフレーム間変化量の平均を瞳孔中心の移動量ＤｉｆＰとする。(ii)片方の瞳孔のみが検出され続けているときは、検出されている瞳孔中心のみのフレーム間変化量を瞳孔中心の変化量ＤｉｆＰとする。（iii）１つ前のフレームまで両瞳孔が検出されており、現フレームになって片方の瞳孔のみが検出されるようになったとき、現フレームにおいて検出された瞳孔中心の座標と１つ前フレームにおける同じ側の瞳孔中心の座標への変化量を瞳孔中心の変化量ＤｉｆＰとする。(iv)１つ前のフレームまで片方の瞳孔のみが検出されており、現フレームで両瞳孔が検出されるようになったとき、１つ前のフレームにおいて検出されていた瞳孔中心の座標と現フレームにおける同じ側の瞳孔中心の座標との変化量を瞳孔中心の変化量ＤｉｆＰとする。 (v)両瞳孔ともが検出されない状態が続いているときには、瞳孔中心の変化量ＤｉｆＰを零とすると同時に“フラグ＝０”とする。（vi）１つ前のフレームで両瞳孔が検出されていなかったときに、現フレームで両方若しくは片方の瞳孔が検出できたとき、瞳孔中心の変化量ＤｉｆＰを零とすると同時に“フラグ＝０”とする。ここで、“フラグ＝０”とは、両瞳孔か片瞳孔が検出されていても瞳孔移動が無い場合と、両瞳孔とも検出されていない場合を識別するために画像処理端末４で設定するフラグであり、上記(i)〜（iv）の場合には、“フラグ＝１”と設定される。
【００３５】
なお、瞳孔の変化量算出処理において鼻孔の場合と異なるのは、(v)と(vi)であるが、これは瞬きによって、両瞳孔とも消失する場合があるからである。従って、鼻孔の場合よりも処理が複雑になる。しかし、何らかの理由で画像処理が正しく動作しない場合に、瞳孔と同様に両鼻孔ともに検出されないことがあり得るため、鼻孔の変化量の算出の場合にも、(v)(vi)と同様の処理を併せて行うことが好ましい。
【００３６】
そして、画像処理端末４は、算出した複数のフレーム画像中の鼻孔中心位置の変化量ＤｉｆＮ及び瞳孔中心位置の変化量ＤｉｆＰから、下記式（９）；
Ｄｉｆ＝ＤｉｆＰ−ＤｉｆＮ …（９）
を用いて、変化量ＤｉｆＮとＤｉｆＰかの差分を取ることによって視線移動量Ｄｉｆを連続して求める。この際、該当フレームにおいて“フラグ＝０”の場合は、視線移動量Ｄｉｆは検出できなかったと判断する。
【００３７】
（視線移動量の算出）
画像処理端末４は、求めた視線移動量Ｄｉｆを予め設定した閾値と比較することによって視線移動の有無を判定し、視線移動が無いと判定された場合はブザー鳴動手段等に警報を出力する等によって外部に通知する。
【００３８】
図３（ａ）は、対象者Ａがカメラ２に対して正面を見た状態で、頭部を左右に交互に動かしたときに検出される左右の瞳孔中心の水平方向の位置ＸＰＬ，ＸＰＲ、左右の鼻孔中心の位置ＸＮＬ，ＸＮＲ、左右瞳孔位置の平均値ＸＰＡ、及び左右鼻孔位置の平均値ＸＮＡの時間変化を示すグラフである。図３（ｂ）は、このときの瞳孔と鼻孔との相対的位置ＤＸ、及び画像処理端末４が算出した視線移動量Ｄｉｆ（＝瞳孔の鼻孔に対する相対的速度）の時間変化を示している。同図に示すように、左右の鼻孔は互いにほとんど同じ動きをし、左右の瞳孔も互いにほとんど同じ動きをするので、視線移動量Ｄｉｆの絶対値はそれほど大きくない。ここでは、簡単にするために、左右の鼻孔と左右の瞳孔が常に検出できているものとして示した。
【００３９】
一方、図４（ａ）は、頭部の動きに高速なサッカードの眼球運動が混在して起こっているときに検出される左右の瞳孔中心の位置ＸＰＬ，ＸＰＲ、左右の鼻孔中心の位置ＸＮＬ，ＸＮＲ、左右瞳孔位置の平均値ＸＰＡ、及び左右鼻孔位置の平均値ＸＮＡの時間変化を示すグラフである。図４（ｂ）は、このときの瞳孔の位置と鼻孔の位置との相対的位置ＤＸ、及び画像処理端末４が算出した視線移動量Ｄｉｆを示している。このように、サッカードが生じている時点において、視線移動量Ｄｉｆの絶対値が瞬間的に大きくなっていることがわかる。この場合は、正負の一定の閾値を設けることで、サッカードの生じている部分は比較的容易に検出できる。しかし、サッカードのサイズ(サッカードの開始から終了までの眼球回転角度変位)が小さいときには、サッカードが生じた時点の視線移動量Ｄｉｆが、頭部の運動による移動量に比べて突出して大きく検出されないため、一定の閾値では検出しにくい。また、検出する位置データに対するノイズの混入により、一定の閾値では検出しにくい傾向にある。
【００４０】
そこで、画像処理端末４は、次のようにして適切な可変閾値を設定して、それに基づいて視線移動の有無を検出する。
【００４１】
すなわち、画像処理端末４は、視線移動量Ｄｉｆの時間変化に対して移動平均処理を施して移動平均値ＤｉｆＡを算出する。その後、移動平均後の移動平均値ＤｉｆＡの信号波形Ｓ（ｔ）を基準に所定の一定閾値幅Ｔｈを設定して、下記式（１０）を用いて2つの閾値波形Ｔｈ＋（ｔ）とＴｈ−（ｔ）を求める。
Ｔｈ＋（ｔ）＝Ｓ（ｔ）＋Ｔｈ，Ｔｈ−（ｔ）＝Ｓ（ｔ）−Ｔｈ …（１０）
【００４２】
最後に、画像処理端末４は、移動平均前の視線移動量Ｄｉｆの信号波形をＶ（ｔ）としたときに、下記式（１１）；
Ｖ（ｔ）＞Ｔｈ＋（ｔ） or Ｖ（ｔ）＜Ｔｈ−（ｔ） …（１１）
を満たすか否かに基づいて、視線移動の有無を判定する。また、移動平均値ＤｉｆＡは、視線移動量Ｄｉｆを示す信号が生成されてから、移動平均処理による遅延が生じた信号として出力される場合がある。このような場合は、画像処理端末４は、視線移動量Ｄｉｆの信号を移動平均幅の半分の時間だけ遅延させて、信号波形をＶ（ｔ）として生成しても式（１１）を適用してもよい。
【００４３】
また、画像処理端末４は、視線移動量Ｄｉｆの信号波形にノイズが混入している場合には、視線移動量Ｄｉｆに１回目の移動平均処理を施し移動平均値ＤｉｆＡの信号波形Ｖ（ｔ）を算出し、さらに移動平均値ＤｉｆＡに２回目の移動平均処理を施し移動平均値ＤｉｆＡＡの信号波形Ｓ（ｔ）を算出し、この信号波形Ｖ（ｔ），Ｓ（ｔ）を用いて式（１０）及び（１１）を適用して、視線移動の有無を判定することもできる。この場合、視線移動量Ｄｉｆに画像処理や信号処理の過程で混入したノイズレベルが大きくても、視線移動の有無を精度よく検出することができる。
【００４４】
図５（ａ）は、移動平均前後の視線移動量Ｄｉｆの時間変化を示すグラフ、図５（ｂ）は、視線移動量Ｄｉｆと閾値Ｔｈ＋，Ｔｈ−の時間変化を示すグラフである。この例においては、サッカードの発生を、視線移動量Ｄｉｆのレベルから正常に検出することができている。
【００４５】
以上説明した視線移動検出装置、及び視線移動検出方法によれば、対象者Ａの顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔中心位置と鼻孔中心位置とを検出し、前後のフレーム間の鼻孔中心に対する瞳孔中心の相対的位置の変化Ｄｉｆを算出し、その変化の大小をもって視線移動の有無を判定するので、１台のカメラを使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
【００４６】
また、視線移動の検出の基準として鼻孔位置を検出することで、検出時に周囲に対して暗い条件が作りやすく、画像処理に多少の工夫をすることでテンプレートマッチング法を使用しなくてもよいので、より容易に視線移動を検出できる。
【００４７】
また、目の周囲に電極を取り付け顔の向きに対する視線の動きを計測する方法として古くから知られているEOG（眼電位図）法を採用する場合に比して、顔に付属物を装着しなくても済むため、ユーザにとって抵抗感が少なく、特に自動車などの運転手のモニターには最適である。
【００４８】
また、前後のフレーム間の瞳孔位置の変化量ＤｉｆＰ及び鼻孔位置の変化量ＤｉｆＮを求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量Ｄｉｆを算出するので、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
【００４９】
また、複数のフレームにわたって相対的位置の変化量Ｄｉｆを連続して算出すると共に、該変化量の移動平均値ＤｉｆＡを導出し、相対的位置の変化量Ｄｉｆを移動平均値ＤｉｆＡを基準にして設定した閾値Ｔｈ＋，Ｔｈ−と比較することによって、視線移動の有無を判定するので、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
【図面の簡単な説明】
【００５０】
【図１】本発明の好適に一実施形態にかかる視線移動検出装置と対象者との位置関係を示す平面図である。
【図２】図１の画像処理装置による対象者の検出状態を示す概念図である。
【図３】（ａ）は、左右の瞳孔中心の位置、左右の鼻孔中心の位置、瞳孔位置の平均値、及び鼻孔位置の平均値の時間変化を示すグラフ、（ｂ）は、瞳孔位置と鼻孔位置との相対的位置、及び視線移動量の時間変化を示すグラフである。
【図４】（ａ）は、左右の瞳孔中心の位置、左右の鼻孔中心の位置、瞳孔位置の平均値、及び鼻孔位置の平均値の時間変化を示すグラフ、（ｂ）は、瞳孔と鼻孔との相対的位置、及び視線移動量の時間変化を示すグラフである。
【図５】（ａ）は、移動平均前後の視線移動量の時間変化を示すグラフ、（ｂ）は、視線移動量と閾値の時間変化を示すグラフである。
【符号の説明】
【００５１】
１…視線移動検出装置、２…カメラ、３ａ，３ｂ…光源、４…画像処理端末。
【技術分野】
【０００１】
本発明は、対象者の視線移動を検出する視線移動検出方法及び視線移動検出装置に関するものである。
【背景技術】
【０００２】
近年、自動車等において運転者の運転状況のモニターや、パーソナルコンピュータの視線による操作を目的として、人間の視線方向を検出する技術が開発されている。例えば、対象者の瞳孔の位置を測定する第１のカメラと、瞳孔の中心と角膜反射点間の距離及び角度を取得する第２のカメラとを用いて、対象者の視線方向を演算する技術が開示されている（下記特許文献１参照）。この技術は、対象者の瞳孔移動が検出された場合に眼球が回転したのか頭部自体が動いたのかを区別するために、瞳孔中心と角膜反射中心の相対的位置関係から視線方向を判定するものである。これは、対象者がカメラの光軸方向を見ている時には瞳孔中心と角膜反射中心の位置がほぼ一致し、対象者が眼を回転させるとその回転角に応じて瞳孔中心と角膜反射中心との間の距離が長くなるという知見に基づいている。
【０００３】
一方、視線によりパーソナルコンピュータの画面上のカーソルを移動させるポインティング方法に関する技術も知られている（下記非特許文献１及び下記特許文献２〜４参照）。これらの技術はカメラによって撮像された顔画像から瞳孔を検出するものである。また、一台のカメラで対象者の瞳孔中心及び角膜反射中心の位置を得て視線ベクトルを求める装置（下記特許文献５参照）、及び２台のカメラを用いて瞳孔と鼻孔を検出することにより頭部の方向を検出する方法（下記特許文献６及び下記非特許文献２参照）も開示されている。
【特許文献１】特開２００５−１８５４３１号公報
【特許文献２】特開２００５−１８２２４７号公報
【特許文献３】特開２００５−３５２５８０号公報
【特許文献４】特開２００５−３４８８３２号公報
【特許文献５】特開２００５−２３００４９号公報
【特許文献６】特開２００５−２６６８６８号公報
【非特許文献１】Y. Ebisawa, D. Ishima, S. Inoue, Y. Murayama， “PupilMouse: Cursor Controlby Head Rotation Using Pupil Detection Technique”，（米国）， Proceedings of InternationalConference on Computing, Communications and Control Technologies: CCCT’04， August 14-17, 2004-Austin, Texas, USA， pp. 209-214
【非特許文献２】Y.Ebisawa, Y.Nurikabe，“Face Pose EstimationBased on 3D Detection of Pupils and Nostrils”，2005 IEEE INTERNATIONAL CONFERENCE ONVIRTUAL ENVIRONMENTS, HUMAN-COMPUTER INTERFACES, AND MEASUREMENT SYSTEMS， 2005, pp.92-97
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したように、角膜反射の中心及び瞳孔中心の位置を検出することによって視線方向を検出する場合には、検出精度を上げるために使用するカメラの解像度を比較的高くする必要があり、カメラの撮像範囲が小さくなりがちである。従って、頭が大きく動きがちな運転者をモニターする場合等において、顔全体を広い範囲で撮影する必要がある場合であっても、検出精度を確保するためには検出範囲が比較的狭い範囲に限定されてしまう。さらに、この場合に、カメラと瞳孔とを結ぶ線と視線との許容角度は、水平方向で±３０〜±４０度程度と比較的狭い。これは、撮影角度が大きくなると角膜反射が角膜の領域からはみ出して白目が光るようになるため、事実上角膜反射の検出が不可能となるからである。従って、対象者の視線の移動をモニターする場合で、視線方向を高い精度で検出する必要が無いときは、角膜反射を検出する意義が小さい。同様に、２台のカメラを用いて対象者の顔の特徴点の位置を検出する場合も、検出範囲が狭くなる傾向がある。
【０００５】
これに対して、対象者の瞳孔等の目の位置をモニターして対象者の視線移動を判定することも考えられるが、頭部自体の動きが加わった場合に瞳孔位置をモニターしただけでは、その動きが視線の動きによるものか、頭部の動きによるものかを安定して判別することが困難である。
【０００６】
そこで、本発明は、かかる課題に鑑みて為されたものであり、対象者の視線移動を広い範囲で安定して検出することが可能な視線移動検出方法及び視線移動検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の視線移動検出方法は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出方法であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する判定ステップとを備える。
【０００８】
或いは、本発明の視線移動検出装置は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出装置であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する手段と、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する手段とを備える。
【０００９】
このような視線移動検出方法及び視線移動検出装置によれば、対象者の顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔位置と鼻孔位置とを検出し、前後のフレーム間の鼻孔に対する瞳孔の相対的位置の変化を算出し、その変化の大小をもって視線移動の有無を判定するので、１台の撮像手段を使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
【００１０】
算出ステップでは、前後のフレーム間の瞳孔位置の変化量及び鼻孔位置の変化量を求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量を算出することが好ましい。この場合、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
【００１１】
また、算出ステップでは、複数のフレームにわたって相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、判定ステップでは、相対的位置の変化量を移動平均値を基準にして設定した閾値と比較することによって、視線移動の有無を判定することも好ましい。こうすれば、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
【発明の効果】
【００１２】
本発明による視線移動検出方法及び視線移動検出装置によれば、対象者の視線移動を広い範囲で安定して検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しつつ本発明に係る視線移動検出方法及び視線移動検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００１４】
本発明の視線移動検出方法及び視線移動検出装置は、観察対象者の目の方向（視線方向）が変わったかどうかを検出するためのものである。ここでいう視線方向とは、顔の方向を基準にした目の動きのことである。本発明は、例えば、大型トラック等の自動車に代表される乗り物内において、運転者や操縦者が運転中に覚醒状態にあるか否かを判断するために利用される。具体的には、運転者が正常に運転しているときは周囲に注意を払うため視線は頻繁に変化するが、眠気を催しているときには運転者の視線の動きが止まる傾向にあるので、視線移動の頻度に基づいて運転者の覚醒状態を判定することができる。
【００１５】
まず、本発明にかかる視線移動検出装置１の構成について、図１を参照しながら説明する。図１は、視線移動検出装置１と対象者Ａとの位置関係を示す平面図である。同図に示すように、視線移動検出装置１は、対象者Ａの顔画像を撮像する１台のカメラ２と、カメラ２の前面２ａの撮像レンズの光軸Ｌ１の近傍に設けられた光源３ａと、カメラ２の前面２ａの光軸Ｌ１から離れた位置に設けられた光源３ｂと、カメラ２に接続されてカメラ２において生成された画像データを処理する画像処理端末４とを備えている。この視線移動検出装置１は、本発明にかかる視線移動検出方法を実施する。
【００１６】
カメラ２は、対象者Ａの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラを用いる。また、カメラ２は、対象者Ａの顔画像を動画像として連続して撮像することが可能とされ、その動画像を構成する複数のフレーム画像をリアルタイムで画像処理端末４に出力する。
【００１７】
光源３ａは、カメラ２の光軸Ｌ１に沿って、光軸Ｌ１上に位置する対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源３ｂは、光軸Ｌ１からの距離が光源３ａよりも離れた位置に固定され、光軸Ｌ１に沿って対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、光源３ａ，３ｂから照射される照明光は、瞳孔の部分に輝度差を生じさせるような異なる波長成分（例えば、中心波長が850nmと950nm）を有する光であり、かつ、光源３ｂは光軸Ｌ１からの距離が光源３ａと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【００１８】
なお、カメラ２及び光源３ａ，３ｂは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Ａの瞳孔及び鼻孔を検出し易くする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１の水平面に対する傾斜角２０度〜３０度）に設けられることが好ましい。この設置位置としては、車両内に設置される場合は運転席側のダッシュボードの下等、トラック等の座席位置が高い場合はダッシュボードの上等が考えられる。
【００１９】
画像処理端末４は、カメラ２から出力された複数のフレーム画像からなる顔画像に画像処理を施す情報処理端末であり、ＣＰＵ等の演算処理装置、ＲＯＭ、ＲＡＭ等の記憶装置を内蔵するコンピュータ端末である。画像処理端末４は、対象者Ａの視線移動の有無を検出する視線移動検出処理を実行するとともに、カメラ２による対象者Ａの撮像を制御する。
【００２０】
次に、上述した各処理について説明する前に、対象者の眼球運動（眼球の回転運動）の種類について説明する。一般に、広視野のビデオカメラで顔を撮影した場合に検出可能な眼球運動としては、（１）サッカード（saccade, 跳躍性眼球運動）、（２）滑動性眼球運動（smooth pursuit movement, 随従運動）、（３）前庭性眼球運動(vestibular reflex)、（４）輻輳開散眼球運動(vergence eye movement) が存在する。
【００２１】
サッカードは、静止した物体に対して、見たい対象を変えたいときに生じる高速のいわばステップ状の運動である。運転中であれば、前方の車を見ている間に標識が視野の周辺に見えたときに、その詳細を見るために標識を見ようとするときなどに生じる。また、滑動性眼球運動は、運動物体を見続けようとするときに生じる。この場合の眼球回転速度は、サッカードに比較して小さい。また、前庭性眼球運動は、基本的に一点を見つめているときに頭部が回転すると、頭部の回転に対してちょうど反対方向に同じ回転速度で眼球が回転し、目の網膜に投影される像がぶれないようにするための運動である。この運動は、頭部が左右に上下に平行移動した場合にも、同様に網膜像がぶれないような方向に生じる。この眼球運動もサッカードに比較して眼球回転速度は小さい。さらに、輻輳開散眼球運動は、近くのものを見るときに両目が寄り（両眼球が内向きに回転する）、遠くのものを見るときに両目が離れる方向に回転する（両眼球が外向きに回転する）。従って、この運動は、両眼が互いに反対方向に回転する運動である。この眼球運動も、ゆっくりとした動きであり、サッカードより速度が小さい。
【００２２】
以上の４種類の運動は、車両の運転中に重畳して生じ、サッカード以外のそれぞれの眼球運動の中に、サッカードが度々混在する。この際、サッカード以外の比較的滑らかな運動に高速な運動であるサッカードが割り込んで生ずるため、サッカードは他の運動に比較して検出が容易である。ここで、特筆すべき点は、サッカード以外の運動は、運転中でも通常はゆっくりとした運動であるが、サッカードは、比較的高速であり、視線を動かしたときは瞳孔の瞬間的な動きとして際だって現れる点である。このサッカードは、10度程度の回転でも約40msec程度で完了するため、通常の30フレーム／秒のカメラでも2フレーム以内に収まる。従って、他の眼球運動が混在していても、回転角度がある程度以上（例えば、10度以上）であれば十分にサッカードを他の運動から判別することができ、サッカードの発生の有無は容易に判断できる。なお、ある方向から別の方向へ視線を動かすときに頭部の回転を伴う場合もあるが、このような場合であっても頭部の回転速度よりも眼球の回転速度のほうが高速であるため、サッカードは明確に現れる。
【００２３】
上述したサッカードは、運転者が注意を向ける対象を移すときに生じることから、明らかに運転者が覚醒しているときに生じると考えられる。サッカード以外の眼球運動も覚醒状態でなければ生じないが、この場合もサッカードが混在して生じる確率が高い。例えて言えば、運転者が運転中に、前方や、バックミラー、ルームミラー、メーター等を見るときには、サッカードは必ず生じる。逆に、運転中にサッカードが生じないということは、少なくとも覚醒状態が低下していると判断してよい。
【００２４】
そこで、画像処理端末４は、以下のようにして、対象者Ａの鼻孔に対する瞳孔の相対的位置の変化量（視線移動量）を算出した後、視線移動の有無を判定して運転者の覚醒状態を判断する。
【００２５】
まず、画像処理端末４は、カメラ２を制御して対象者Ａの顔画像を連続して撮像して、その結果生成された複数フレームからなる動画像を受けて、その複数フレームのそれぞれを対象に対象者Ａの左右の瞳孔中心の位置及び左右の鼻孔中心の位置を検出する。図２は、画像処理装置４による対象者Ａの検出状態を示す概念図である。
【００２６】
（瞳孔中心の検出）
画像処理端末４は、複数フレームからなる顔画像の撮像時には、光源３ａ，３ｂを交互に点灯させて、それぞれの点灯に同期したフレームを生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源３ａの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源３ｂの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの２種類の画像は、２つの光源３ａ，３ｂからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。ここで、フィールド走査を採用するカメラの場合は、光源３ａ，３ｂをカメラ２のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離してもよい。そして、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
【００２７】
その後、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施されたフレーム画像を用いて、そのフレーム画像を２値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開２００５−３４８８３２号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。
【００２８】
（鼻孔中心の検出）
画像処理端末４は、左右の鼻孔中心の２次元座標を、上記の明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Ａが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、フレーム画像の大ウィンドウ内を対象にＰ−ｔｉｌｅ法により輝度が低いほうから０．８％の画素を検出し、ＨＩＧＨ画素及びＬＯＷ画素からなる２値化画像に変換する。その後、検出された２値化画像の膨張処理及び収縮処理（モルフォロジー処理）を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから２つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、２値画像中で対象画素の近傍の８画素の１つでもＨＩＧＨ画素がある場合に、対象画素をＨＩＧＨ画素に変換する処理であり、収縮処理とは、２値画像中で対象画素の近傍の８画素の１つでもＬＯＷ画素がある場合に、対象画素をＬＯＷ画素に変換する処理である。そして、縦横比が０．５より小さいか０．７より大きく、かつ、全体の画像サイズが６４０×２４０画素に対して面積が１００画素より小さいか３００画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に３０×３０画素の小ウィンドウを設定し、もとのフレーム画像の小ウィンドウ内を対象に、Ｐ−ｔｉｌｅ法により輝度が低いほうから５％の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が１３０画素以上か７０画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、２つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
【００２９】
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる２つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。なお、鼻孔を検出し難くするような影などが画像に写った場合の鼻孔の誤認識の防止、及び鼻孔の素早い動きへの対応を目的として、カルマンフィルタなどの予測モデルを利用して各鼻孔位置を予測して、小ウィンドウの位置を設定してもよい。
【００３０】
このような鼻孔検出時において左右どちらかの鼻孔のみしか検出できなかった場合は、距離導出ステップで実測された距離と、検出された左右の瞳孔中心の位置及び片方の鼻孔中心の位置とを用いて、他方の鼻孔中心の位置を推定する。今、右瞳孔中心の座標を（ｘＲＰ，ｙＲＰ）、左瞳孔中心の座標を（ｘＬＰ，ｙＬＰ）、右鼻孔中心の座標を（ｘＲＮ，ｙＲＮ）、左鼻孔中心の座標を（ｘＬＮ，ｙＬＮ）、予め測定しておいた左右の瞳孔中心間の距離をＤＰ０、左右の鼻孔中心間の距離をＤＮ０とし、左鼻孔を検出できなかった場合を考える。このときの顔画像における左右の瞳孔間の傾斜率ＩＰ、及び瞳孔中心間距離ＤＰは、下記式（１）及び（２）；
ＩＰ＝（ｙＲＰ−ｙＬＰ）／（ｘＲＰ−ｘＬＰ） …（１）
ＤＰ＝｛（ｘＲＰ−ｘＬＰ）２＋（ｙＲＰ−ｙＬＰ）２｝１／２ …（２）
と考えることができる。
【００３１】
ここで、左右の瞳孔中心を結ぶ線と左右の鼻孔中心を結ぶ線とは常に平行であると考えられるので、左右の鼻孔間の傾斜率ＩＮ＝ＩＰとなる。また、顔画像上の鼻孔中心間距離ＤＮは、左右の瞳孔中心間の距離ＤＰ０、左右の鼻孔中心間の距離ＤＮ０、及び瞳孔中心間距離ＤＰから、下記式（３）；
ＤＮ＝（ＤＮ０／ＤＰ０）×ＤＰ …（３）
により求まる。鼻孔中心間距離ＤＮは下記式（４）；
ＤＮ＝｛（ｘＲＮ−ｘＬＮ）２＋（ｙＲＮ−ｙＬＮ）２｝１／２ …（４）
と表されるので、左の鼻孔中心の座標（ｘＬＮ，ｙＬＮ）は、下記式（５）及び（６）；
ｘＬＮ＝ｘＲＮ−｛ＤＮ２／（１＋ＩＮ２）｝１／２ …（５）
ｙＬＮ＝ｙＲＮ−｛（ＤＮ２．ＩＮ２）／（１＋ＩＮ２）｝１／２ …（６）
によって求めることができる。逆に右の鼻孔中心が検出されなかった場合も、下記式（７）及び（８）；
ｘＲＮ＝ｘＬＮ＋｛ＤＮ２／（１＋ＩＮ２）｝１／２ …（７）
ｙＲＮ＝ｙＬＮ＋｛（ＤＮ２．ＩＮ２）／（１＋ＩＮ２）｝１／２ …（８）
によって求めることができる。
【００３２】
（視線移動量の算出）
画像処理端末４は、各フレーム画像中の前後のフレーム画像における左右の瞳孔中心の位置及び左右の鼻孔中心の位置に基づいて、対象者Ａの視線移動量を計算する。この場合、一方の鼻孔に対して他方の鼻孔が大きく動くことは現実的に考えられないため、一方の鼻孔が検出できれば十分である。仮に、両方の鼻孔が検出できたときも左右どちらかの鼻孔中心の位置を視線移動の基準となる位置として選択すればよい。また、左右の鼻孔中心の位置の中点を基準としてもよい。ただし、一方の鼻孔位置から他方の鼻孔位置又は中点の位置に基準位置が切り替わってしまうと、瞳孔の相対的位置の変化が正確に検出できなくなってしまう。そこで、以下のようにして、複数のフレーム画像中の前後フレーム画像間の鼻孔中心位置の変化量ＤｉｆＮ及び瞳孔中心位置の変化量ＤｉｆＰを、時間的に連続して求める。
【００３３】
具体的には、左右の鼻孔が検出されているときは、左右の鼻孔中心毎の変化量を算出する。もし、(i)両鼻孔が検出され続けているときには、前後フレーム間の各鼻孔中心の変化量を計算し、それらの平均を鼻孔中心の変化量ＤｉｆＮとする。(ii)片方の鼻孔のみが検出され続けているときは、検出されている側の鼻孔中心のみのフレーム間変化量を鼻孔中心の変化量ＤｉｆＮとする。（iii）１つ前のフレームまで両鼻孔が検出されており、現フレームになって片方の鼻孔のみが検出されるようになったとき、現フレームにおいて検出された側の鼻孔中心の座標と１つ前フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量ＤｉｆＮとする。(iv)１つ前のフレームまで片方の鼻孔のみが検出されており、現フレームで両鼻孔が検出されるようになったとき、１つ前のフレームにおいて検出されていた鼻孔中心の座標と現フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量ＤｉｆＮとする。
【００３４】
一方、瞳孔中心の検出においても、片方の瞳孔が検出できなくなったり、両方の瞳孔が検出できなくなることもある。したがって、瞳孔中心の変化量ＤｉｆＰの算出についても鼻孔と同様のことを行う。すなわち、左右の瞳孔が検出されているときは、左右の瞳孔中心毎の変化量を算出する。(i)両瞳孔が検出され続けているときには、両瞳孔中心のそれぞれのフレーム間変化量の平均を瞳孔中心の移動量ＤｉｆＰとする。(ii)片方の瞳孔のみが検出され続けているときは、検出されている瞳孔中心のみのフレーム間変化量を瞳孔中心の変化量ＤｉｆＰとする。（iii）１つ前のフレームまで両瞳孔が検出されており、現フレームになって片方の瞳孔のみが検出されるようになったとき、現フレームにおいて検出された瞳孔中心の座標と１つ前フレームにおける同じ側の瞳孔中心の座標への変化量を瞳孔中心の変化量ＤｉｆＰとする。(iv)１つ前のフレームまで片方の瞳孔のみが検出されており、現フレームで両瞳孔が検出されるようになったとき、１つ前のフレームにおいて検出されていた瞳孔中心の座標と現フレームにおける同じ側の瞳孔中心の座標との変化量を瞳孔中心の変化量ＤｉｆＰとする。 (v)両瞳孔ともが検出されない状態が続いているときには、瞳孔中心の変化量ＤｉｆＰを零とすると同時に“フラグ＝０”とする。（vi）１つ前のフレームで両瞳孔が検出されていなかったときに、現フレームで両方若しくは片方の瞳孔が検出できたとき、瞳孔中心の変化量ＤｉｆＰを零とすると同時に“フラグ＝０”とする。ここで、“フラグ＝０”とは、両瞳孔か片瞳孔が検出されていても瞳孔移動が無い場合と、両瞳孔とも検出されていない場合を識別するために画像処理端末４で設定するフラグであり、上記(i)〜（iv）の場合には、“フラグ＝１”と設定される。
【００３５】
なお、瞳孔の変化量算出処理において鼻孔の場合と異なるのは、(v)と(vi)であるが、これは瞬きによって、両瞳孔とも消失する場合があるからである。従って、鼻孔の場合よりも処理が複雑になる。しかし、何らかの理由で画像処理が正しく動作しない場合に、瞳孔と同様に両鼻孔ともに検出されないことがあり得るため、鼻孔の変化量の算出の場合にも、(v)(vi)と同様の処理を併せて行うことが好ましい。
【００３６】
そして、画像処理端末４は、算出した複数のフレーム画像中の鼻孔中心位置の変化量ＤｉｆＮ及び瞳孔中心位置の変化量ＤｉｆＰから、下記式（９）；
Ｄｉｆ＝ＤｉｆＰ−ＤｉｆＮ …（９）
を用いて、変化量ＤｉｆＮとＤｉｆＰかの差分を取ることによって視線移動量Ｄｉｆを連続して求める。この際、該当フレームにおいて“フラグ＝０”の場合は、視線移動量Ｄｉｆは検出できなかったと判断する。
【００３７】
（視線移動量の算出）
画像処理端末４は、求めた視線移動量Ｄｉｆを予め設定した閾値と比較することによって視線移動の有無を判定し、視線移動が無いと判定された場合はブザー鳴動手段等に警報を出力する等によって外部に通知する。
【００３８】
図３（ａ）は、対象者Ａがカメラ２に対して正面を見た状態で、頭部を左右に交互に動かしたときに検出される左右の瞳孔中心の水平方向の位置ＸＰＬ，ＸＰＲ、左右の鼻孔中心の位置ＸＮＬ，ＸＮＲ、左右瞳孔位置の平均値ＸＰＡ、及び左右鼻孔位置の平均値ＸＮＡの時間変化を示すグラフである。図３（ｂ）は、このときの瞳孔と鼻孔との相対的位置ＤＸ、及び画像処理端末４が算出した視線移動量Ｄｉｆ（＝瞳孔の鼻孔に対する相対的速度）の時間変化を示している。同図に示すように、左右の鼻孔は互いにほとんど同じ動きをし、左右の瞳孔も互いにほとんど同じ動きをするので、視線移動量Ｄｉｆの絶対値はそれほど大きくない。ここでは、簡単にするために、左右の鼻孔と左右の瞳孔が常に検出できているものとして示した。
【００３９】
一方、図４（ａ）は、頭部の動きに高速なサッカードの眼球運動が混在して起こっているときに検出される左右の瞳孔中心の位置ＸＰＬ，ＸＰＲ、左右の鼻孔中心の位置ＸＮＬ，ＸＮＲ、左右瞳孔位置の平均値ＸＰＡ、及び左右鼻孔位置の平均値ＸＮＡの時間変化を示すグラフである。図４（ｂ）は、このときの瞳孔の位置と鼻孔の位置との相対的位置ＤＸ、及び画像処理端末４が算出した視線移動量Ｄｉｆを示している。このように、サッカードが生じている時点において、視線移動量Ｄｉｆの絶対値が瞬間的に大きくなっていることがわかる。この場合は、正負の一定の閾値を設けることで、サッカードの生じている部分は比較的容易に検出できる。しかし、サッカードのサイズ(サッカードの開始から終了までの眼球回転角度変位)が小さいときには、サッカードが生じた時点の視線移動量Ｄｉｆが、頭部の運動による移動量に比べて突出して大きく検出されないため、一定の閾値では検出しにくい。また、検出する位置データに対するノイズの混入により、一定の閾値では検出しにくい傾向にある。
【００４０】
そこで、画像処理端末４は、次のようにして適切な可変閾値を設定して、それに基づいて視線移動の有無を検出する。
【００４１】
すなわち、画像処理端末４は、視線移動量Ｄｉｆの時間変化に対して移動平均処理を施して移動平均値ＤｉｆＡを算出する。その後、移動平均後の移動平均値ＤｉｆＡの信号波形Ｓ（ｔ）を基準に所定の一定閾値幅Ｔｈを設定して、下記式（１０）を用いて2つの閾値波形Ｔｈ＋（ｔ）とＴｈ−（ｔ）を求める。
Ｔｈ＋（ｔ）＝Ｓ（ｔ）＋Ｔｈ，Ｔｈ−（ｔ）＝Ｓ（ｔ）−Ｔｈ …（１０）
【００４２】
最後に、画像処理端末４は、移動平均前の視線移動量Ｄｉｆの信号波形をＶ（ｔ）としたときに、下記式（１１）；
Ｖ（ｔ）＞Ｔｈ＋（ｔ） or Ｖ（ｔ）＜Ｔｈ−（ｔ） …（１１）
を満たすか否かに基づいて、視線移動の有無を判定する。また、移動平均値ＤｉｆＡは、視線移動量Ｄｉｆを示す信号が生成されてから、移動平均処理による遅延が生じた信号として出力される場合がある。このような場合は、画像処理端末４は、視線移動量Ｄｉｆの信号を移動平均幅の半分の時間だけ遅延させて、信号波形をＶ（ｔ）として生成しても式（１１）を適用してもよい。
【００４３】
また、画像処理端末４は、視線移動量Ｄｉｆの信号波形にノイズが混入している場合には、視線移動量Ｄｉｆに１回目の移動平均処理を施し移動平均値ＤｉｆＡの信号波形Ｖ（ｔ）を算出し、さらに移動平均値ＤｉｆＡに２回目の移動平均処理を施し移動平均値ＤｉｆＡＡの信号波形Ｓ（ｔ）を算出し、この信号波形Ｖ（ｔ），Ｓ（ｔ）を用いて式（１０）及び（１１）を適用して、視線移動の有無を判定することもできる。この場合、視線移動量Ｄｉｆに画像処理や信号処理の過程で混入したノイズレベルが大きくても、視線移動の有無を精度よく検出することができる。
【００４４】
図５（ａ）は、移動平均前後の視線移動量Ｄｉｆの時間変化を示すグラフ、図５（ｂ）は、視線移動量Ｄｉｆと閾値Ｔｈ＋，Ｔｈ−の時間変化を示すグラフである。この例においては、サッカードの発生を、視線移動量Ｄｉｆのレベルから正常に検出することができている。
【００４５】
以上説明した視線移動検出装置、及び視線移動検出方法によれば、対象者Ａの顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔中心位置と鼻孔中心位置とを検出し、前後のフレーム間の鼻孔中心に対する瞳孔中心の相対的位置の変化Ｄｉｆを算出し、その変化の大小をもって視線移動の有無を判定するので、１台のカメラを使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
【００４６】
また、視線移動の検出の基準として鼻孔位置を検出することで、検出時に周囲に対して暗い条件が作りやすく、画像処理に多少の工夫をすることでテンプレートマッチング法を使用しなくてもよいので、より容易に視線移動を検出できる。
【００４７】
また、目の周囲に電極を取り付け顔の向きに対する視線の動きを計測する方法として古くから知られているEOG（眼電位図）法を採用する場合に比して、顔に付属物を装着しなくても済むため、ユーザにとって抵抗感が少なく、特に自動車などの運転手のモニターには最適である。
【００４８】
また、前後のフレーム間の瞳孔位置の変化量ＤｉｆＰ及び鼻孔位置の変化量ＤｉｆＮを求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量Ｄｉｆを算出するので、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
【００４９】
また、複数のフレームにわたって相対的位置の変化量Ｄｉｆを連続して算出すると共に、該変化量の移動平均値ＤｉｆＡを導出し、相対的位置の変化量Ｄｉｆを移動平均値ＤｉｆＡを基準にして設定した閾値Ｔｈ＋，Ｔｈ−と比較することによって、視線移動の有無を判定するので、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
【図面の簡単な説明】
【００５０】
【図１】本発明の好適に一実施形態にかかる視線移動検出装置と対象者との位置関係を示す平面図である。
【図２】図１の画像処理装置による対象者の検出状態を示す概念図である。
【図３】（ａ）は、左右の瞳孔中心の位置、左右の鼻孔中心の位置、瞳孔位置の平均値、及び鼻孔位置の平均値の時間変化を示すグラフ、（ｂ）は、瞳孔位置と鼻孔位置との相対的位置、及び視線移動量の時間変化を示すグラフである。
【図４】（ａ）は、左右の瞳孔中心の位置、左右の鼻孔中心の位置、瞳孔位置の平均値、及び鼻孔位置の平均値の時間変化を示すグラフ、（ｂ）は、瞳孔と鼻孔との相対的位置、及び視線移動量の時間変化を示すグラフである。
【図５】（ａ）は、移動平均前後の視線移動量の時間変化を示すグラフ、（ｂ）は、視線移動量と閾値の時間変化を示すグラフである。
【符号の説明】
【００５１】
１…視線移動検出装置、２…カメラ、３ａ，３ｂ…光源、４…画像処理端末。
【特許請求の範囲】
【請求項１】
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出方法であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する判定ステップと、
を備えることを特徴とする視線移動検出方法。
【請求項２】
前記算出ステップでは、前記前後のフレーム間の前記瞳孔位置の変化量及び前記鼻孔位置の変化量を求め、前記瞳孔位置の変化量と前記鼻孔位置の変化量との差分をとることによって前記相対的位置の変化量を算出する、
ことを特徴とする請求項１記載の視線移動検出方法。
【請求項３】
前記算出ステップでは、前記複数のフレームにわたって前記相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、
前記判定ステップでは、前記相対的位置の変化量を前記移動平均値を基準にして設定した閾値と比較することによって、前記視線移動の有無を判定する、
ことを特徴とする請求項１又は２に記載の視線移動検出方法。
【請求項４】
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出装置であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する手段と、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する手段と、
を備えることを特徴とする視線移動検出装置。
【請求項１】
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出方法であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する判定ステップと、
を備えることを特徴とする視線移動検出方法。
【請求項２】
前記算出ステップでは、前記前後のフレーム間の前記瞳孔位置の変化量及び前記鼻孔位置の変化量を求め、前記瞳孔位置の変化量と前記鼻孔位置の変化量との差分をとることによって前記相対的位置の変化量を算出する、
ことを特徴とする請求項１記載の視線移動検出方法。
【請求項３】
前記算出ステップでは、前記複数のフレームにわたって前記相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、
前記判定ステップでは、前記相対的位置の変化量を前記移動平均値を基準にして設定した閾値と比較することによって、前記視線移動の有無を判定する、
ことを特徴とする請求項１又は２に記載の視線移動検出方法。
【請求項４】
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出装置であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する手段と、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する手段と、
を備えることを特徴とする視線移動検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−２６８１６４（Ｐ２００７−２６８１６４Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−１００３４４（Ｐ２００６−１００３４４）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
[ Back to top ]