覚醒状態の変化を早期発見する方法および検知装置
【課題】
カメラ等を用いて顔画像を撮り、顔画像から視線を検出し、視線の微細な動きを解析して覚醒状態を判定することにより、眠気および注意力低下の早期発見を可能とすること。
【解決手段】
カメラ等を用いて顔画像を計測し、視線を検出する手段においては、顔画像から顔の特徴点や基本参照点などを取得し、顔の向きや回転を考慮して顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心の中点を推定する。推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、黒目変位量を計算することで視線を推定できる。通常、前方を注視するときに、視線の微小な動きは活発で範囲が大きく、情報を正しく獲得できる。一方、眠気が生じたりや注意力が低下すると、視線の微小な動きは不活発で範囲が狭く、情報を正しく獲得できなくなる。従って，視線の微小な動きの範囲を解析すれば、眠気および注意力低下を判定でき、早期発見を可能にする。
カメラ等を用いて顔画像を撮り、顔画像から視線を検出し、視線の微細な動きを解析して覚醒状態を判定することにより、眠気および注意力低下の早期発見を可能とすること。
【解決手段】
カメラ等を用いて顔画像を計測し、視線を検出する手段においては、顔画像から顔の特徴点や基本参照点などを取得し、顔の向きや回転を考慮して顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心の中点を推定する。推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、黒目変位量を計算することで視線を推定できる。通常、前方を注視するときに、視線の微小な動きは活発で範囲が大きく、情報を正しく獲得できる。一方、眠気が生じたりや注意力が低下すると、視線の微小な動きは不活発で範囲が狭く、情報を正しく獲得できなくなる。従って，視線の微小な動きの範囲を解析すれば、眠気および注意力低下を判定でき、早期発見を可能にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の運転手の微小な眼球運動を生体情報として検出し解析することにより、運転手の意識の覚醒状態の変化を早期に検知する方法ならびに装置に関する。
【背景技術】
【０００２】
特許文献１乃至特許文献７にみられるように、車両の安全運行のために車両運転手の状態を検出する技術、または状態を検出後、解析を行い、安全制御を行う技術が、非常に多く開発されている。とくに、自動車における居眠りやわき見運転の状態を検出する技術が多く存在する。
【０００３】
前述した特許文献では、自動車等の限られたスペースなどの設置条件や、さまざまな気象や光源からの照明などの環境条件に対応して、運転手の状態を的確に検出するための技術がほとんどである。以上から、従来技術は、安全性を高めるための技術というよりは、事故に対するサポートや被害の軽減に寄与するためのものということができる。
【０００４】
しかし、進行中の自動車や列車などの車両に対して、居眠りやわき見の状態を検出するのでは対応が遅くなり、事故の発生を未然に防ぐことは難しい。さらに、車両を運転中に、ほかの事を考えたりして注意力が低下することによる事故を未然に防ぐことも従来技術では極めて困難である。
【特許文献１】特開２００２−２５４９５６公報
【特許文献２】特開平１１−２７６４６１公報
【特許文献３】特開平９−２０１５７公報
【特許文献４】特開２００１−００５９５２公報
【特許文献５】特開平７−０９３７００公報
【特許文献６】特開平８−０８３３４４公報
【特許文献７】特開平７−０３２９０７公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
居眠り運転などによる事故や運転手の注意力の低下による事故の発生を未然に防ぐことができるように、居眠りの前段階、すなわち眠気の発生や、注意力の低下を早期に発見する覚醒状態の変化を検知する方法ならびに装置を提供することである。
【課題を解決するための手段】
【０００６】
覚醒状態の変化を検知するために、対象となる車両運転手などの生体情報を検出し、解析する方法と解析情報を元に状態を判定処理する方法を提供する。非接触測定が可能であること、人の情報源としてほとんどを占めているといわれていることから、生体情報源として眼球に着目する。
【０００７】
とくに、眼球の持つ生体情報として、人が注視するときの眼球の微小運動を視線の微小な変動量として計測し、視線の微小な動きを解析し判定処理を行う。非特許文献１に示したように、覚醒状態と眼球の微小運動、すなわち視線の変動量との間には関係がある。前述の文献では、四つの電極を眼球の周りに付けることで変動量の信号を検出している。
【０００８】
本発明は、前述した生体情報の関係を元にしているが、カメラ等による視点の検出と画像処理を組み合わせて、視線の微小な変動量を非接触に検出できる点に、これまでにない大きな進歩性がある。
【非特許文献１】鈴木直也、“生体信号を用いた眠気の検出法に関する研究”、豊橋技術科学大学卒業論文、２００５
【発明の効果】
【０００９】
覚醒時の注視による微小な眼球運動は、活発で変動量が大きいという特徴がある。一方、覚醒状態の低下時には、注視による微小眼球運動は、ほとんど停滞し、変動量は小さいという生体情報としての特徴がある。これらの特徴を視線の微小変動量として検出し解析することで覚醒状態を判定できるようになる。
【発明を実施するための最良の形態】
【００１０】
本発明は図１に示すように実施される。まずカメラ等を用いて顔画像を計測し、視線を検出する。次に視線の微細な動きを解析する。最後に視線の微小な変位量から覚醒状態を判定し眠気および注意力低下を早期発見する。
【００１１】
図２に示すのは頭上から見た眼球と正面からみた目を画像面に投影した図である。ただし、図中の１と４は眼球の中心、２は眼球中心線、３は左右眼球中心の中点、５は左右黒目中心の中点、６は左右眼球中心の中点の画像面に投影した点、7は，左右の目尻間距離である。図２に示した目のモデルを元にして視線検出の流れを図３に示す。
【００１２】
図３に示すのは視線検出の流れである。まずカメラ等で顔画像を計測し、顔の特徴点や基本参照点などを取得する。次に顔の向きや回転を考慮し顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心の中点を推定する。最後に推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、以下に示す数式(1)および数式(2)により黒目変位量ｄを計算して視線を推定する。なお、数式(1)および数式(2)において、右矢印を冠するアルファベット文字を用いて、ベクトル量を表すこととする。
【００１３】
【数１】
【００１４】
上記の数式において、黒目変位ベクトルｗは、画像上の左右黒目中心の中点位置ベクトルＰと眼球中心の中点位置ベクトルＱの差を目尻間距離Ｌで正規化したベクトルである。
【００１５】
【数２】
【００１６】
上記の数式において、黒目変位量ｄは、基本画像の黒目変位ベクトルｗ_０と判定画像の黒目変位ベクトルｗのユークリッド距離である。
【実施例】
【００１７】
図４には、眼球中心の中点と、眼球中心の中点を推定するために用いる顔面の特徴点の関係、およびカメラと顔の相対位置関係を表す視線推定方法の実施例の概略図を示す。図中の８は推定される左右眼球中心の中点、９は左右黒目中心の中点、１０は顔面の特徴点、１１は顔の横軸ｘ、１２は顔の縦軸ｙ、１３は顔の前後方向の軸ｚ、１４はカメラと顔の左右黒目中心の中点との間の距離、１５はカメラである。
【００１８】
従来の視線推定手法である特許文献１では、画像面上の角膜反射点と瞳孔中心点との相対位置から視点位置を推定する手法を用いている。
【００１９】
一方、図４の実施例では前述の手法とは異なり、顔の特徴点や基本参照点などを元にして左右眼球中心の中点を推定し、それの画像面に投影した点と左右黒目中心の中点との距離、すなわち黒目変位量を計算して視線を推定するものである。
【００２０】
図４の視線推定方法の実施例では以下の特徴を持っている。１）カメラ校正や顔モデルの作成など、複雑な初期設定を必要としない。２）計算速度が速く、１台のカメラを用いて高精度で視線を推定できる。３）顔の縦、横、左右の回転の影響を受けず、視線の動きを正しく検出することができる。
【００２１】
図５は視線解析結果の例である。図５の視線解析例は、正面付近に置かれたカメラおよびその周辺を自由に見ている状態の視線の動きを示す。変位量０．０１は視線角度で約６度に相当しており、この図では、縦方向±約４度、横方向±約３度の範囲内を視線がランダムに移動する様子が検出されている。
【００２２】
図５に示すように、車両運転手は集中して前方を注視するときに、視線の動きは活発で範囲が大きく、前方の情報を正しく獲得できる。しかし、車両運転手は眠気が発生するとき、またはほかの事を考えて注意力が低下したときに、視線の動きは不活発で範囲が狭く、前方の情報を正しく獲得できなくなる。すなわち、視線の動きの範囲検出により眠気と注意力低下を早期発見することができる。
【産業上の利用可能性】
【００２３】
図６は、本発明による覚醒状態検知装置システムの概略を示したものである。まず車両等の運転手の顔２０をカメラ１６により撮影し、得られた顔画像から本発明に係る視線推定方法を用いて視線解析装置１７により運転手の視線の微小な変位量を測定する。その測定された変位量を用いて、覚醒状態判定装置１８は視線の移動範囲から覚醒状態の判定を行う。覚醒状態でないと判断されると、例として、警告装置１９を動作させ、運転手２０に覚醒状態でないことを表示や音や振動などで通知するとともに注意力を取り戻させることができる。
【００２４】
前述した覚醒状態検知装置システムのように、本発明は眠気および注意力低下の早期発見により、列車および自動車の交通事故を低減すること、さらに機器作業中、または監視中の操作員の眠気および注意力低下の早期発見により、事故を未然に防いだり、その発生頻度を低減したりすることに寄与できる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る全体的な処理の流れ図である。
【図２】視線検出における基本原理を示す図である。
【図３】視線推定の手順を示す図である。
【図４】本発明に係る視線推定方法の実施例の概略図である。
【図５】本発明による視線検出解析例の図である。
【図６】本発明による覚醒状態検知装置システムの概略図である。
【符号の説明】
【００２６】
１ 眼球の中心
２ 眼球中心線
３ 左右眼球中心の中点
４ 眼球の中心
５ 左右黒目中心の中点
６ 左右眼球中心の中点の画像面に投影した点
７ 左右の目尻間距離
８ 推定される左右眼球中心の中点
９ 左右黒目中心の中点
１０ 顔面の特徴点
１１ 顔の横軸ｘ
１２ 顔の縦軸ｙ
１３ 顔の前後方向の軸ｚ
１４ カメラと顔の左右黒目中心の中点との間の距離
１５ カメラ
１６ カメラ
１７ 視線解析装置
１８ 眠気判定装置
１９ 警告装置
２０ 車両等運転手の顔
【技術分野】
【０００１】
本発明は、車両等の運転手の微小な眼球運動を生体情報として検出し解析することにより、運転手の意識の覚醒状態の変化を早期に検知する方法ならびに装置に関する。
【背景技術】
【０００２】
特許文献１乃至特許文献７にみられるように、車両の安全運行のために車両運転手の状態を検出する技術、または状態を検出後、解析を行い、安全制御を行う技術が、非常に多く開発されている。とくに、自動車における居眠りやわき見運転の状態を検出する技術が多く存在する。
【０００３】
前述した特許文献では、自動車等の限られたスペースなどの設置条件や、さまざまな気象や光源からの照明などの環境条件に対応して、運転手の状態を的確に検出するための技術がほとんどである。以上から、従来技術は、安全性を高めるための技術というよりは、事故に対するサポートや被害の軽減に寄与するためのものということができる。
【０００４】
しかし、進行中の自動車や列車などの車両に対して、居眠りやわき見の状態を検出するのでは対応が遅くなり、事故の発生を未然に防ぐことは難しい。さらに、車両を運転中に、ほかの事を考えたりして注意力が低下することによる事故を未然に防ぐことも従来技術では極めて困難である。
【特許文献１】特開２００２−２５４９５６公報
【特許文献２】特開平１１−２７６４６１公報
【特許文献３】特開平９−２０１５７公報
【特許文献４】特開２００１−００５９５２公報
【特許文献５】特開平７−０９３７００公報
【特許文献６】特開平８−０８３３４４公報
【特許文献７】特開平７−０３２９０７公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
居眠り運転などによる事故や運転手の注意力の低下による事故の発生を未然に防ぐことができるように、居眠りの前段階、すなわち眠気の発生や、注意力の低下を早期に発見する覚醒状態の変化を検知する方法ならびに装置を提供することである。
【課題を解決するための手段】
【０００６】
覚醒状態の変化を検知するために、対象となる車両運転手などの生体情報を検出し、解析する方法と解析情報を元に状態を判定処理する方法を提供する。非接触測定が可能であること、人の情報源としてほとんどを占めているといわれていることから、生体情報源として眼球に着目する。
【０００７】
とくに、眼球の持つ生体情報として、人が注視するときの眼球の微小運動を視線の微小な変動量として計測し、視線の微小な動きを解析し判定処理を行う。非特許文献１に示したように、覚醒状態と眼球の微小運動、すなわち視線の変動量との間には関係がある。前述の文献では、四つの電極を眼球の周りに付けることで変動量の信号を検出している。
【０００８】
本発明は、前述した生体情報の関係を元にしているが、カメラ等による視点の検出と画像処理を組み合わせて、視線の微小な変動量を非接触に検出できる点に、これまでにない大きな進歩性がある。
【非特許文献１】鈴木直也、“生体信号を用いた眠気の検出法に関する研究”、豊橋技術科学大学卒業論文、２００５
【発明の効果】
【０００９】
覚醒時の注視による微小な眼球運動は、活発で変動量が大きいという特徴がある。一方、覚醒状態の低下時には、注視による微小眼球運動は、ほとんど停滞し、変動量は小さいという生体情報としての特徴がある。これらの特徴を視線の微小変動量として検出し解析することで覚醒状態を判定できるようになる。
【発明を実施するための最良の形態】
【００１０】
本発明は図１に示すように実施される。まずカメラ等を用いて顔画像を計測し、視線を検出する。次に視線の微細な動きを解析する。最後に視線の微小な変位量から覚醒状態を判定し眠気および注意力低下を早期発見する。
【００１１】
図２に示すのは頭上から見た眼球と正面からみた目を画像面に投影した図である。ただし、図中の１と４は眼球の中心、２は眼球中心線、３は左右眼球中心の中点、５は左右黒目中心の中点、６は左右眼球中心の中点の画像面に投影した点、7は，左右の目尻間距離である。図２に示した目のモデルを元にして視線検出の流れを図３に示す。
【００１２】
図３に示すのは視線検出の流れである。まずカメラ等で顔画像を計測し、顔の特徴点や基本参照点などを取得する。次に顔の向きや回転を考慮し顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心の中点を推定する。最後に推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、以下に示す数式(1)および数式(2)により黒目変位量ｄを計算して視線を推定する。なお、数式(1)および数式(2)において、右矢印を冠するアルファベット文字を用いて、ベクトル量を表すこととする。
【００１３】
【数１】
【００１４】
上記の数式において、黒目変位ベクトルｗは、画像上の左右黒目中心の中点位置ベクトルＰと眼球中心の中点位置ベクトルＱの差を目尻間距離Ｌで正規化したベクトルである。
【００１５】
【数２】
【００１６】
上記の数式において、黒目変位量ｄは、基本画像の黒目変位ベクトルｗ_０と判定画像の黒目変位ベクトルｗのユークリッド距離である。
【実施例】
【００１７】
図４には、眼球中心の中点と、眼球中心の中点を推定するために用いる顔面の特徴点の関係、およびカメラと顔の相対位置関係を表す視線推定方法の実施例の概略図を示す。図中の８は推定される左右眼球中心の中点、９は左右黒目中心の中点、１０は顔面の特徴点、１１は顔の横軸ｘ、１２は顔の縦軸ｙ、１３は顔の前後方向の軸ｚ、１４はカメラと顔の左右黒目中心の中点との間の距離、１５はカメラである。
【００１８】
従来の視線推定手法である特許文献１では、画像面上の角膜反射点と瞳孔中心点との相対位置から視点位置を推定する手法を用いている。
【００１９】
一方、図４の実施例では前述の手法とは異なり、顔の特徴点や基本参照点などを元にして左右眼球中心の中点を推定し、それの画像面に投影した点と左右黒目中心の中点との距離、すなわち黒目変位量を計算して視線を推定するものである。
【００２０】
図４の視線推定方法の実施例では以下の特徴を持っている。１）カメラ校正や顔モデルの作成など、複雑な初期設定を必要としない。２）計算速度が速く、１台のカメラを用いて高精度で視線を推定できる。３）顔の縦、横、左右の回転の影響を受けず、視線の動きを正しく検出することができる。
【００２１】
図５は視線解析結果の例である。図５の視線解析例は、正面付近に置かれたカメラおよびその周辺を自由に見ている状態の視線の動きを示す。変位量０．０１は視線角度で約６度に相当しており、この図では、縦方向±約４度、横方向±約３度の範囲内を視線がランダムに移動する様子が検出されている。
【００２２】
図５に示すように、車両運転手は集中して前方を注視するときに、視線の動きは活発で範囲が大きく、前方の情報を正しく獲得できる。しかし、車両運転手は眠気が発生するとき、またはほかの事を考えて注意力が低下したときに、視線の動きは不活発で範囲が狭く、前方の情報を正しく獲得できなくなる。すなわち、視線の動きの範囲検出により眠気と注意力低下を早期発見することができる。
【産業上の利用可能性】
【００２３】
図６は、本発明による覚醒状態検知装置システムの概略を示したものである。まず車両等の運転手の顔２０をカメラ１６により撮影し、得られた顔画像から本発明に係る視線推定方法を用いて視線解析装置１７により運転手の視線の微小な変位量を測定する。その測定された変位量を用いて、覚醒状態判定装置１８は視線の移動範囲から覚醒状態の判定を行う。覚醒状態でないと判断されると、例として、警告装置１９を動作させ、運転手２０に覚醒状態でないことを表示や音や振動などで通知するとともに注意力を取り戻させることができる。
【００２４】
前述した覚醒状態検知装置システムのように、本発明は眠気および注意力低下の早期発見により、列車および自動車の交通事故を低減すること、さらに機器作業中、または監視中の操作員の眠気および注意力低下の早期発見により、事故を未然に防いだり、その発生頻度を低減したりすることに寄与できる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る全体的な処理の流れ図である。
【図２】視線検出における基本原理を示す図である。
【図３】視線推定の手順を示す図である。
【図４】本発明に係る視線推定方法の実施例の概略図である。
【図５】本発明による視線検出解析例の図である。
【図６】本発明による覚醒状態検知装置システムの概略図である。
【符号の説明】
【００２６】
１ 眼球の中心
２ 眼球中心線
３ 左右眼球中心の中点
４ 眼球の中心
５ 左右黒目中心の中点
６ 左右眼球中心の中点の画像面に投影した点
７ 左右の目尻間距離
８ 推定される左右眼球中心の中点
９ 左右黒目中心の中点
１０ 顔面の特徴点
１１ 顔の横軸ｘ
１２ 顔の縦軸ｙ
１３ 顔の前後方向の軸ｚ
１４ カメラと顔の左右黒目中心の中点との間の距離
１５ カメラ
１６ カメラ
１７ 視線解析装置
１８ 眠気判定装置
１９ 警告装置
２０ 車両等運転手の顔
【特許請求の範囲】
【請求項１】
人の眼球が行う無意識の微小な運動を生体情報として検出して、意識の覚醒状態を判定する方法。
【請求項２】
人の眼球が視野内の物体を注視するときに行う無意識の微小な運動を視線として検出して、視線の微小変動量を解析することによって、とくに眠気ならびに注意力の低下を早期に検知する方法。
【請求項３】
人の顔の特徴点や基本参照点を元にして左右眼球中心の中点を推定し、推定した左右眼球中心の中点の画像面に投影した点と左右黒目中心の中点との距離を黒目変位量として計算して視線を推定する方法および装置。
【請求項４】
人の眼球が行う無意識の微小な運動を生体情報として検出する検出部と、覚醒状態を判定処理する判定処理部からなる、覚醒状態の検知装置。
【請求項５】
人の眼球が視野内の物体を注視するときに行う無意識の微小な運動を視線として検出し解析を行う検出および解析部と、覚醒状態低下の判定を行う処理部から構成される、眠気ならびに注意力低下を早期発見する検知装置。
【請求項１】
人の眼球が行う無意識の微小な運動を生体情報として検出して、意識の覚醒状態を判定する方法。
【請求項２】
人の眼球が視野内の物体を注視するときに行う無意識の微小な運動を視線として検出して、視線の微小変動量を解析することによって、とくに眠気ならびに注意力の低下を早期に検知する方法。
【請求項３】
人の顔の特徴点や基本参照点を元にして左右眼球中心の中点を推定し、推定した左右眼球中心の中点の画像面に投影した点と左右黒目中心の中点との距離を黒目変位量として計算して視線を推定する方法および装置。
【請求項４】
人の眼球が行う無意識の微小な運動を生体情報として検出する検出部と、覚醒状態を判定処理する判定処理部からなる、覚醒状態の検知装置。
【請求項５】
人の眼球が視野内の物体を注視するときに行う無意識の微小な運動を視線として検出し解析を行う検出および解析部と、覚醒状態低下の判定を行う処理部から構成される、眠気ならびに注意力低下を早期発見する検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２９３５８７（Ｐ２００７−２９３５８７Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−１２０５６１（Ｐ２００６−１２０５６１）
【出願日】平成１８年４月２５日（２００６．４．２５）
【出願人】（３０４０２７３４９）国立大学法人豊橋技術科学大学 (391)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１８年４月２５日（２００６．４．２５）
【出願人】（３０４０２７３４９）国立大学法人豊橋技術科学大学 (391)
【Ｆターム（参考）】
[ Back to top ]