車両の覚醒度検出装置及び車両の警報装置
【課題】早期に運転者の覚醒度の低下を検出することができるようにした、車両の覚醒度検出装置及びこれを用いた車両の警報装置を提供する。
【解決手段】
車両１の運転者の視線位置を検出する視線検出手段１２，２１と、視線検出手段１２，２１により検出された運転者の視線位置が基準位置よりも低下すると運転者の覚醒度が低下していると判定する覚醒度判定手段２０とを備える。
【解決手段】
車両１の運転者の視線位置を検出する視線検出手段１２，２１と、視線検出手段１２，２１により検出された運転者の視線位置が基準位置よりも低下すると運転者の覚醒度が低下していると判定する覚醒度判定手段２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者の覚醒度を検出する車両の覚醒度検出装置及びこれを用いた車両の警報装置に関するものである。
【背景技術】
【０００２】
近年、車両の運転中における運転者の覚醒度の低下を検出する種々の技術が開発されており、かかる技術としては特許文献１や特許文献２が挙げられる。
【０００３】
特許文献１の技術は、検出対象者の顔面を撮影した画像から瞳孔を抽出し、この瞳孔の状態に基いて覚醒度の判定を行なうものである。例えば、この瞳孔が抽出できなければ瞼が閉じていると判定し、或いは、撮像画像中の瞳孔の高さ位置が所定値よりも低くなると顔がうつむいた状態と判定して、運転者の覚醒度の低下を検出する。
【０００４】
また、特許文献２の技術は、計測した運転者の視線の動きを累積して視線方向データの頻度分布パターンを作成し、この頻度分布パターンと予め作成された覚醒時における同パターンとを比較することにより、運転者の覚醒度の低下を検出するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２４９１９７号公報
【特許文献２】特開平９−２０１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、運転者の覚醒度を検出する目的は、運転者の覚醒度が低下すると運転操作に悪影響を与えるおそれが高まるので、これに対して、警報等を発して、運転者に覚醒度の低下を自覚させ適切な対応を促すためなどである。通常、覚醒度の低下が進むほど、運転操作への影響は強まる。
特許文献１の技術では、運転者の瞼が閉じた後、或いは、顔がうつむいた後等の覚醒度が大きく低下してから、運転者の覚醒度の低下を判定するため、早期に覚醒度の低下を検出することができない。
【０００７】
また、特許文献２の技術では、運転者の視線の動きを計測し、この計測された視線の動きを累積して視線方向データの頻度分布パターンを作成するため、該パターンの作成に時間を要し、即ち計測開始から覚醒度の低下判定までに時間を要し、結果として、早期に覚醒度を検出することができない。
本発明は、かかる課題に鑑み創案されたものであり、早期に運転者の覚醒度の低下を検出することができるようにした、車両の覚醒度検出装置及びこれを用いた車両の警報装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するために、本発明の車両の覚醒度検出装置は、車両の運転者の視線位置を検出する視線検出手段と、前記視線検出手段により検出された前記運転者の視線位置が基準位置よりも低下すると前記運転者の覚醒度が低下していると判定する覚醒度判定手段とを備えていることを特徴としている。
【０００９】
（２）前記視線検出手段は、前記運転者の右眼の視線位置と前記運転者の左眼の視線位置とをそれぞれ検出し、前記覚醒度判定手段は、前記右眼の視線位置と前記左眼の視線位置との差異（隔たり）が所定値よりも大きい場合に、前記運転者の覚醒度の低下を判定することが好ましい。
【００１０】
（３）前記視線検出手段は、前記運転者の顔画像を検出する画像検出手段と、前記画像検出手段により検出された前記顔画像から前記運転者の眼と該眼の中の瞳孔とを抽出し前記眼に対する前記瞳孔の上下方向相対位置を前記視線位置として算出する視線位置算出手段とを有していることが好ましい。
【００１１】
（４）前記視線検出手段は、前記画像検出手段により検出された前記顔画像から前記運転者の眼を抽出し、前記顔画像における前記眼の上下方向相対位置の変化から前記運転者の顔の俯き度合いを判定する俯き度合い判定手段を備え、前記覚醒度判定手段は、前記俯き度合い判定手段により判定された前記俯き度合いに応じて、前記俯き度合いが大きくなるほど、前記基準位置を高く変更することが好ましい。
【００１２】
（５）前記車両の車速を検出する車速検出手段と、前記車両の走行する道路の形状を判定する道路形状判定手段とを備え、前記覚醒度判定手段は、判定開始条件が成立したら、前記覚醒度の判定を開始し、前記判定開始条件は、前記車速検出手段により検出された車速が所定車速以上であって、前記道路形状検出手段により判定された道路の形状が直線状である（屈曲していない）ことが好ましい。
【００１３】
（６）また、本発明の車両の警報装置は、上記の車両の覚醒度検出装置と、前記覚醒度判定手段により前記運転者の覚醒度の低下が判定されると、前記運転者に警報する警報手段とを備えていることを特徴としている。
【発明の効果】
【００１４】
（１）したがって、本発明の車両の覚醒度検出装置は、覚醒度判定手段が、運転者の視線位置が基準位置よりも低下すると運転者の覚醒度の低下を判定するため、早期に運転者の覚醒度の低下を検出することができる。また、視線検出手段により検出された運転者の視線位置を用いるだけで覚醒度の低下を検出することができるため、構成を簡素にすることができる。
【００１５】
（２）覚醒度判定手段は、右眼の視線位置と左眼の視線位置との差異が所定値よりも大きい場合に、運転者の覚醒度の低下を判定するように構成すれば、右眼及び左眼の何れか一方の視線位置と何れか他方の視線位置との差異が所定値よりも大きくなるいわゆる上下斜視を判定することにより、覚醒度の低下を検出することができる。また、運転者の両眼の視線位置が同時に低下しない場合にも覚醒度の低下を判定するため、覚醒度の検出精度を向上させることができる。
【００１６】
（３）運転者の視線位置は、眼に対する瞳孔の上下方向相対位置であるように構成すれば、顔は前方を向いていながら視線が下がる覚醒度低下の初期症状を検出することになり、早期に覚醒度の低下を検出することができる。
（４）運転者の顔の俯き度合いが大きくなるほど基準位置を高く変更すれば、俯き度合いに応じて、検出される視線位置の変化に対しても覚醒度の低下を適切に判定することができる。
【００１７】
（５）覚醒度の判定開始条件は、道路の形状が直線状である（屈曲していない）ように構成すれば、覚醒度の低下が発生しやすい状況である直線状の道路を走行中には、屈曲路の走行時等よりも運転者による視線位置は変化が少なく安定しているため、覚醒度の低下に応じた視線位置を検出しやすい。このため、覚醒度の低下が発生しやすい状況において精度良く運転者の覚醒度の低下を検出することができる。
また、覚醒度の検出開始条件は、車速が所定車速以上であるように構成すれば、車速が高く危険度の高い走行中においても、早期に運転者の覚醒度の低下を検出することができる。
【００１８】
（６）本発明の車両の警報装置は、運転者に覚醒度の低下を警報する警報手段を備えるため、早期に検出された運転者の覚醒度の低下を運転者に警報して、運転にかかる適切な対応を促すことができる。
また、運転者の視線位置が下がることにより、走行中に運転者が注視する地点が手前に移動し、道路の方向のズレに対する運転者の感度が鈍って車両を蛇行走行させたりするおそれがあるが、警報により覚醒度の低下を報知することで、運転にかかる適切な対応を運転者に促すことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる車両の覚醒度検出装置及び警報装置を示す構成図である。
【図２】本発明の一実施形態にかかる車両の覚醒度検出装置による運転者の覚醒度低下の検出を説明する図であり、（ａ）は車室内要部の側面図、（ｂ），（ｃ）及び（ｄ）は運転者の顔画像の正面図、（ｅ）及び（ｆ）は（ｂ）及び（ｃ）に対応する運転者の視線を示す図である。
【図３】本発明の一実施形態にかかる車両の覚醒度検出装置における視線位置の検出を説明する図であり、運転者の眼の拡大図である。
【図４】本発明の一実施形態にかかる車両の覚醒度検出装置における覚醒度判定の開始条件を判定するフローチャートである。
【図５】本発明の一実施形態にかかる車両の覚醒度検出装置における覚醒度低下の判定と車両の警報装置による運転者への警報を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を用いて本発明の実施形態について説明する。
〈一実施形態〉
［構成］
まず、一実施形態にかかる車両の覚醒度検出装置及び車両の警報装置の構成を説明する。本実施形態にかかる車両は、例えばトラック又はバスといったいわゆる大型又は中型の自動車である。
【００２１】
図１に示すように、車両１は、車速センサ（車速検出手段）１１と、運転者監視カメラ１２と、ＨＭＩ（Human Machine Interface，警報手段）１８と、これらの構成要素１１，１２及び１８にそれぞれ接続された覚醒度検出ＥＣＵ１５とを有する。この覚醒度検出ＥＣＵ１５は、道路形状判定部（道路形状判定手段）１６と、条件判定部１７と、視線位置検出部２１を有する覚醒度判定部２０とを有する。
【００２２】
車速センサ１１は、車両１の車速Ｖを検出するものである。この車速センサ１１としては、従動輪の回転速度を検出するものやエンジンのクランクシャフトの回転速度を検出するものを適用することができる。
車速センサ１１により検出された車速Ｖの情報は、覚醒度検出ＥＣＵ１５に伝達される。
【００２３】
運転者監視カメラ（以下、単にカメラともいう）１２は、運転者の顔を撮影するものである。以下、図２を用いてカメラ１２を説明する。
図２（ａ）に示すように、カメラ１２は、運転席の前方で、運転室１００の天井部１０１の前部下縁１０１ａのフロント窓ガラス１０３に近い箇所、或いは、ダッシュパネル１０２の上部に、運転席に着座した運転者の顔が位置する部分を撮影するように配置されている。なお、図２（ａ）には、一点鎖線で運転者の視線ｅを示す。
【００２４】
このカメラ１２は、図２（ｂ）〜（ｄ）に示すような運転者の顔画像を撮影する。
また、運転者監視カメラ１２により撮影された運転者の顔画像の情報は、覚醒度検出ＥＣＵ１５に伝達される。
本実施形態では、カメラ１２により撮影された運転者の顔画像の情報は、覚醒度検出ＥＣＵ１５の視線位置検出部２１により処理される。
【００２５】
視線位置検出部２１は、車両１の運転者の視線位置を検出するものである。この視線位置検出部２１は、画像検出部（画像検出手段）２１ａと、視線位置算出部（視線位置算出手段）２１ｂと、俯き度合い判定部２１ｃとを有する。
【００２６】
以下、視線位置検出部２１による運転者の視線位置の検出を説明する。
画像検出部２１ａは、カメラ１２により撮影された画像情報から顔画像を検出するものである。画像検出部２１ａは、例えば２値化処理や特徴点抽出処理等を行なって顔の輪郭や鼻の穴や眼を抽出し、これらの抽出された部位に基づいて、例えば輪郭に囲まれた領域を顔画像として検出することができる。
【００２７】
視線位置算出部２１ｂは、画像検出部２１ａにより検出された顔画像から運転者の眼（上瞼と下瞼とで囲まれる領域）とこの眼の中の瞳孔とを抽出し、眼に対する瞳孔の上下方向相対位置を視線位置として算出するものである。以下、図２（ｂ）〜（ｄ）及び図３を用いて、視線位置の検出について説明する。
【００２８】
まず、図２（ｂ）及び（ｃ）に示すような正面を向いている運転者の視線位置の検出を説明する。
図３は、図２（ｂ）に示す運転者の一方の眼の周辺を示す拡大図である。なお、図２（ｂ）には、覚醒時における瞳孔ＩＰの位置である運転者の顔画像を示し、図３中には、上下瞼の最大距離ＨEと、下瞼から瞳孔ＩＰの中心までの距離Ｈ1とを示す。
【００２９】
視線位置算出部２１ｂは、これらの距離ＨE，Ｈ1に基づいて、下記の式（１）を用いて運転者の視線位置Ｈを算出する。
Ｈ＝Ｈ1／ＨE・・・（１）
すなわち、視線位置算出部２１ｂは、見開いた眼の領域内における瞳孔ＩＰの高さ位置（上下方向相対位置）を視線位置Ｈとして算出するものといえる。視線位置検出部２１は、このように視線位置算出部２１ｂによる算出処理を用いて視線位置を検出する。
【００３０】
図２（ｃ）には、覚醒度の低下時における運転者の顔画像を示す。図２（ｃ）に示す視線位置は図２（ｂ）に示す視線位置よりも低い。したがって、視線位置検出部２１は、図２（ｂ）に示す運転者よりも図２（ｃ）に示す運転者の視線位置を低く検出する。
【００３１】
図２（ｅ）は、図２（ｂ）に示す運転者の視線ｅ1を示し、この運転者の地点Ｐ0と視線ｅ1が車両１前方の走行路と交差する地点Ｐ1との距離Ｌ1を示す。また、図２（ｆ）は、図２（ｃ）に示す運転者の視線ｅ2を示し、この運転者の地点Ｐ0と視線ｅ2が車両１前方の走行路と交差する地点Ｐ2との距離Ｌ2を示す。これらの距離Ｌ1及び距離Ｌ2は、車両１の運転者がどれだけ先を見ているかを示すものといえる。
【００３２】
したがって、視線位置検出部２１により高い視線位置が検出されれば、運転者は車両１の前方且つ遠方を見ており、また、視線位置検出部２１により低い視線位置が検出されれば、運転者は車両１の前方且つ車両１の近傍を見ている。
【００３３】
なお、本実施形態では、運転者の顔が左右を向いている場合には、運転者の視線位置を検出しない。この顔が左右に向いているか否かの判定は、視線位置検出部２１により行なわれる。
視線位置検出部２１は、画像検出部２１ａにより検出された顔画像に基づいて、運転者の顔が正面を向いているかを判定する。この判定は、画像検出部２１ａにより検出された顔画像に基づいて、例えば２値化処理や特徴点抽出処理を行なうことにより運転者の顔が車両正面方向に対して左右に向く角度を算出し、この角度（顔向き角度ともいう）が所定角度以内であれば、運転者の顔は正面に向いていると判定する。なお、ここでいう所定角度とは、例えば±１０度の範囲といった車両１の正面に顔を向けている運転者の顔向き角度に対応する角度をいう。
【００３４】
運転者の顔が左右の何れかを向いていれば、運転者の顔が車両正面方向に対して向く角度は所定角度以上となる。すなわち、視線位置検出部２１は、顔向き角度が所定角度以上の運転者については、正面を向いていないと判定する。したがって、このような運転者の視線位置は検出されない。
【００３５】
また、視線位置検出部２１は、これの有する俯き度合い判定部２１ｃにより運転者の顔の上下方向の向きを判定する。
図２（ｂ）には、運転者が正面に正対する、即ち顔が上下方向にも左右方向にも向いていない顔画像を示し、運転者の顔Ｆの上下方向長さ（顎の下端から頭の天辺までの長さ）ＨFと、顔Ｆの下端（顎の下端）から瞳孔ＩＰまでの長さＨSとを示す。この長さＨSは、覚醒時の顔Ｆの下端を基準にした瞳孔ＩＰの高さ位置ＨS（上下基準位置）である。
【００３６】
俯き度合い判定部２１ｃは、この長さＨSを予め実験的又は経験的に記憶し、或いは、長さＨSを累積的に記憶及び学習して、この平均値を長さＨSとして用いることができる。
俯き度合い判定部２１ｃは、これらの長さＨF，ＨSを用いて、運転者の顔の上下方向の向きを判定する。以下、運転者の顔Ｆが下を向く（俯く）場合を例示して、顔Ｆの向きの判定を説明する。
【００３７】
図２（ｄ）には、顔Ｆが俯いた状態の運転者を示し、覚醒時の顔Ｆの下端を基準にした瞳孔の高さ位置ＨSから瞳孔ＩＰの位置がＨ2だけ低下しているものを示す。
俯き度合い判定部２１ｃは、これらの位置ＨS，Ｈ2に基づいて、下記の式（２）を用いて顔の上下方向の向き（俯き度合い）Ｈθを算出する。
Ｈθ＝Ｈ2／ＨS・・・（２）
【００３８】
式（２）により算出された向きＨθは顔Ｆの上下方向の向きと相関があり、向きＨθがゼロであれば運転者の顔Ｆは正面方向に対して正対し、向きＨθが大きくなるに連れて運転者の顔Ｆは俯いていく。この特性に着目し、俯き度合い判定部２１ｃは、視線位置検出部２１により算出された俯き度合いＨθから運転者の顔の俯き度合いを判定する。したがって、視線位置検出部２１は、向きＨθが所定値を有する運転者については、例えば顔が俯く等の顔の上下方向の向きが有ると判定し、このような視線位置にかかる基準位置を変更する。この基準位置の変更については後述する。なお、ここでいう所定値とは、上下方向に顔が微小に向く場合の向きＨθを排除するために予め設定される値である。
【００３９】
上記のように、カメラ１２により撮影された運転者の顔画像に基づいて視線位置検出部２１は視線位置を検出するため、運転監視カメラ１２と視線位置検出部２１とで視線検出手段を構成する。なお、視線検出手段は、運転者の左眼及び右眼のそれぞれについて視線位置を検出し、また、これら視線位置の値が大きい方（遠くを見ている方の眼の視線位置の値）を運転者の両眼の視線位置として検出する。これは、視線位置の値が小さい方の眼による情報よりも、視線位置の値が大きい方の眼による情報を運転者が認知しているという点に着目するためである。
【００４０】
覚醒度検出ＥＣＵ１５は、道路形状判定部１６と、条件判定部１７と、覚醒度判定部２０とを有し、車両の覚醒度検出にかかる処理全般を行なうものである。この覚醒度検出ＥＣＵ１５は、例えばマイクロプロセッサやＲＯＭ，ＲＡＭ等を集積したＬＳＩデバイスや組み込み電子デバイスとして構成される電子制御装置である。
【００４１】
道路形状判定部１６は、車両１の走行する道路形状を判定するものである。この判定される道路には、直線状の道路（屈曲していない道路）やカーブ状の道路等が挙げられる。なお、直線状の道路とは、この道路に沿った走行において運転者に意識的なステアリング操作を略要求しない道路の形状の道路といった形状変化の少ない形状の道路をいう。
【００４２】
この道路形状判定部１６としては、デジタルマップ及びＧＰＳの組み合わせたものや、車両１の前方を撮影するカメラにより撮影された画像を処理するものを適用することができる。
例えば、道路形状判定部１６としてデジタルマップ及びＧＰＳの組み合わせたものを用いる場合、ＧＰＳにより検出された車両１の位置をデジタルマップに適用して車両１の走行する道路を特定し、車両１の位置の履歴から車両１の進行方向を推定することにより、車両１の前方の道路形状を判定することができる。
【００４３】
また、道路形状判定部１６としてカメラにより撮影された走行路を画像処理するものを適用する場合、撮影画像から走行路上に白線等で示される車線境界線や中央線といった走行路に沿ったものを画像処理により抽出することにより、車両１の前方の道路形状を判定することができる。
【００４４】
条件判定部１７は、後述する覚醒度低下の判定を開始する条件（判定開始条件ともいう）を判定するものである。この条件は、車速センサ１１により検出された車速情報と、道路形状判定部１６により判定された道路形状とを用いて判定される。
【００４５】
条件判定部１７により判定される判定開始条件は、車両１の車速Ｖが所定車速Ｖpよりも高く、車両１の走行する道路形状が直線状であることである。ここでいう所定車速Ｖpとは、直線路の周辺に変化や注意を向けるべきものが少ない状況において車両走行する際の車速として例えば時速６０ｋｍ/ｈといった車速が予め設定される。この判定開始条件は、例えば自動車専用道や高速道路における車両１の走行中といった、運転者の視線位置が安定し、覚醒度低下の発生しやすい状況において成立する。
つまり、条件判定部１７は、走行路の形状に変化が少なく、また、周辺に変化や注意を向けるべきものが少ない状況において車両走行する際の車速Ｖが所定車速Ｖpよりも高い場合に、判定開始条件が成立すると判定する。
【００４６】
ここで、運転者の覚醒度の低下について説明する。
一般に、車両運転中において運転者の覚醒度が低下し始めると、目線が下がり始める。つまり、運転者の覚醒度の低下と視線位置の低下とは相関があるものといえる。
例えば、覚醒時（覚醒度の高い時）に運転者が注視している車両前方の地点よりも、覚醒度が低下した際に運転者が注視する地点は車両側に近づく。かかる視線位置の変動特性は、覚醒度の低下し始めにも観察することができる。
【００４７】
本発明の車両の覚醒度検出装置は、覚醒度の低下し始めにも観察される上記の視線位置の変動特性を用いて、早期に運転者の覚醒度低下を検出するものである。すなわち、覚醒度判定部２０により覚醒度が低下したと判定されると、覚醒度検出ＥＣＵ１５は該低下を検出する。
【００４８】
覚醒度判定部２０は、運転者の覚醒度の低下を判定するものである。この判定は、条件判定部１７により判定開始条件が成立したと判定されると開始され、運転者監視カメラ１２及び視線位置検出部２１により検出された運転者の視線位置の情報に基づいて判定される。
【００４９】
詳細には、覚醒度判定部２０は、運転者の両眼の視線位置が基準位置よりも低下すると、運転者の覚醒度が低下していると判定する。ここでいう基準位置とは、覚醒した（眠くない）運転者の視線位置が予め設定されたものである。基準位置は、例えば、覚醒時における運転者の眼の周辺拡大図を示す図３の瞳孔ＩＰの位置、即ち眼に対する瞳孔の上下方向相対位置が予め設定される。なお、基準位置は、車速が高くなるに連れて高くなるように車速に応じた位置が予め設定されている。
【００５０】
また、覚醒度判定部２０は、俯き度合い判定部２１ｃにより運転者の顔が俯く等の顔の上下方向の向きがあると判定されると、上記の基準位置を変更する。
つまり、覚醒度判定部２０は、俯き度合いが大きいほど、基準位置を高くする。これは、顔が俯くと視線位置が十分高くても視線は下がっている場合を想定したもので、顔の俯きと共に視線が下がった状況と、顔は俯いているが視線は注視すべき前方を向いている状況とを区別するようにするためのものである。
【００５１】
例えば、運転者は、顔が俯いていても視線を上げていれば遠方を注視することができる。即ち、顔が下を向いていても視線位置が高ければ、上下方向に角度を有することなく顔を正面に向けている覚醒時の運転者と同地点を注視することができる。
かかる顔の向きと視線位置との特性に着目し、覚醒度判定部２０は、運転者の顔が俯く（顔が下を向く）に連れて基準位置を高くするように変更する。
【００５２】
換言すれば、覚醒度判定部２０は、覚醒している運転者の視線が注視すべき地点と車両１の位置との距離を基準距離Ｌとした場合に、基準距離Ｌに対応する視線位置となるように基準位置を変更する。
つまり、基準距離Ｌは、車速が高くなるに連れて大きくなり、車速が一定であれば顔や体の上下方向の向きにかかわらず一定である。
【００５３】
また、覚醒度判定部２０は、運転者の右眼の視線位置と左眼の視線位置との差異が所定値よりも大きくなると、運転者の覚醒度低下を判定する。ここでいう右眼の視線位置と左眼の視線位置との差異（隔たり）とは、右眼の視線位置の値と左眼の視線位置の値との差をいい、また、所定値とは、覚醒度が大きく低下した場合に右眼の瞳孔と左眼の瞳孔の上下にずれるいわゆる上下斜視が生じる場合における左眼の視線位置と右の視線位置の値との差の値として予め設定される。
【００５４】
覚醒度検出ＥＣＵ１５は、覚醒度判定部２０により覚醒度低下が判定されると、運転者の覚醒度の低下を検出し、ＨＭＩ１８に警報指示を行なう。
ＨＭＩ１８は、運転者と車両設備とのインターフェイスであり、車両１の運転者に警報するものである。このＨＭＩ１８としては、スピーカや運転席を振動させるシート振動装置等を用いることができる。
ＨＭＩ１８は、覚醒度の低下判定により覚醒度検出ＥＣＵ１５から警報指示がされると、スピーカを鳴らしたり、運転席を振動させることにより、運転者に覚醒度の低下を警報する。
【００５５】
［作用・効果］
本発明の一実施形態に係る車両の覚醒度検出装置及び警報装置の構成は上述のように構成されるため、条件判定部１７により図４に示すような覚醒度の低下判定の開始条件を判定するフローが行なわれる。なお、このフローは車両１が走行中においては常時周期的に行なわれる。
【００５６】
ステップＳ２では、車両１の走行する道路（走行道路）の形状は直線状であるかを判定する。走行道路が直線状であればステップＳ４へ移行し、走行道路が直線状でなければステップＳ９へ移行する。
ステップＳ４では、車両１の車速Ｖが所定車速Ｖpよりも高いかを判定する。車速Ｖが所定車速Ｖpよりも高ければステップＳ４へ移行し、車速Ｖが所定車速Ｖp以下であればステップＳ９へ移行する。
【００５７】
ステップＳ６では、運転者の顔は正面を向いているか、即ち運転者の顔が左右を向いていないかを判定する。正面を向いていればステップＳ８へ移行し、正面を向いていなければステップＳ９へ移行する。
ステップＳ８では、覚醒度低下にかかる判定開始条件が成立する。そして本制御周期を終了（エンド）する。
また、ステップＳ９では、覚醒度低下にかかる判定開始条件が成立しない。そして本制御周期を終了（エンド）する。
【００５８】
次に、図５を用いて、覚醒度判定部２０による運転者の覚醒度低下の判定とＨＭＩ１８による運転者への警報とを示すフローを説明する。
ステップＳ１０では、視線位置の情報を取得する。なお、この視線位置の情報は、右眼及び左眼それぞれの視線位置情報を取得する。
ステップＳ２０では、両眼の視線位置が基準位置よりも低いかを判定する。両眼の視線位置が基準位置よりも低ければステップＳ３０へ移行し、両眼の視線位置が基準位置以上であればステップＳ２５へ移行する。
【００５９】
ステップＳ２５では、右眼の視線位置の値と左眼の視線位置の値との差が所定値よりも大きいかを判定する。所定値よりも大きければステップＳ３０へ移行し、所定値以下であれば本制御周期を終了（エンド）する。
ステップＳ３０では、運転者の覚醒度の低下を判定する。
ステップＳ４０では、運転者に警報する。そして、本制御周期を終了（エンド）する。
【００６０】
したがって、本発明の車両の覚醒度検出装置によれば、覚醒度判定部２０が、運転者の視線位置が基準位置よりも低下すると運転者の覚醒度の低下を判定するため、早期に運転者の覚醒度の低下を検出することができる。また、視線検出部２１により検出された運転者の視線位置を用いるだけで覚醒度の低下を検出することができるため、構成を簡素にすることができる。
【００６１】
覚醒度判定部２０は、右眼の視線位置の値と左眼の視線位置の値との差が所定値よりも大きい場合に、運転者の覚醒度の低下を判定するため、右眼及び左眼の何れか一方の視線位置の値と何れか他方の視線位置の値との差が所定値よりも大きくなるいわゆる上下斜視を判定することにより、覚醒度の低下を検出することができる。また、運転者の両眼の視線位置が同時に低下しない場合にも覚醒度の低下を判定するため、覚醒度の検出精度を向上させることができる。
【００６２】
運転者の視線位置は、視線位置算出部２１ｂにより算出された眼に対する瞳孔の上下方向相対位置であるため、覚醒度判定部２０は瞼が閉じる前等の覚醒度低下の初期症状を検出することになり、早期に覚醒度の低下を検出することができる。
運転者の顔の俯き度合いによって基準位置を変更するため、俯き度合いに応じた視線位置の変化に対しても覚醒度の低下を適切に判定することができる。また、遠方を監視しつつ顔は俯いていような運転者と顔が俯くと共に視線が下がる運転者とを判別することができ、覚醒度の検出精度を向上させることができる。
【００６３】
覚醒度の判定開始は、道路の形状が直線状であることを条件とするため、覚醒度の低下が発生しやすい状況である直線状の道路を走行中には、屈曲路の走行時等よりも運転者による視線位置は変化が少なく安定しているため、覚醒度の低下に応じた視線位置を検出しやすい。このため、覚醒度の低下が発生しやすい状況において精度良く運転者の覚醒度の低下を検出することができる。
また、覚醒度の検出開始は、車速Ｖが所定車速Ｖpよりも高いことを条件とするため、車速Ｖが高く危険度の高い走行中においても、早期に運転者の覚醒度の低下を検出することができる。
【００６４】
車両の警報装置によれば、運転者に覚醒度の低下を警報するＨＭＩ１８を備えるため、早期に検出された運転者の覚醒度の低下を運転者に警報して、運転にかかる適切な対応を促すことができる。
また、運転者の視線位置が下がることにより、走行中に運転者が注視する地点が手前に移動し、道路の方向のズレに対する運転者の感度が鈍って車両１を蛇行走行させたりするおそれがあるが、警報により覚醒度の低下を報知することで、運転にかかる適切な対応を運転者に促すことができる。
【００６５】
［その他］
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
上述の実施形態では、運転者の右眼及び左眼それぞれの視線位置を検出するものを示したが、これに限らず、右眼及び左眼の何れか一方の視線位置を検出してもよい。この構成によれば、何れか一方の視線位置を両眼の視線位置として用いることができ、視線検出手段の構成を簡素にすることができる。また、上下斜視を検出する図５のステップＳ２５を省略することができる。この場合、図５のステップＳ２０においてＮＯのルートに判定されると制御周期を終了（エンド）する。これにより、覚醒度の判定を簡素なステップで行なうことができる。
【００６６】
また、判定開始条件が成立すると覚醒度の低下判定を開始するものを示したが、上記の判定開始条件に替えて、車両１の走行中には常時周期的に覚醒度の低下判定を行なう構成としてもよい。
また、運転者の右眼及び左眼それぞれについて瞳孔の上下方向相対位置である視線位置を検出するものを示したが、右眼及び左眼それぞれについて瞳孔の水平方向相対位置を検出し、これらの位置を比較して覚醒度の低下時に生じるいわゆる左右斜視を検出してもよい。この場合、覚醒度判定部は、運転者の右眼の水平方向位置と左眼の水平方向視線位置との差異（隔たり）が所定値よりも大きくなると、運転者の覚醒度低下を判定する。この所定値とは、覚醒度が大きく低下した場合に右眼の瞳孔と左眼の瞳孔の左右にずれるいわゆる左右斜視が生じる場合における左眼の水平方向位置と右眼の水平方向位置との隔たりに対応する値として予め設定される。
【００６７】
また、運転者の覚醒度低下の判定に視線位置を基準位置と比較するものを示したが、視線位置算出部により算出された視線位置に基づいて運転者の視線が注視すべき地点と車両の位置との距離を算出し、この距離と予め設定された基準距離（覚醒している運転者の視線が注視すべき地点と車両の位置との距離）とを比較して、覚醒度の低下判定を行なってもよい。この場合、車速が一定であれば顔や体の向きによらず一定の基準距離を用いる。
【００６８】
また、運転者の顔の撮像にカメラを用いるものを示したが、これに加えて、運転者の顔が位置する部分に近赤外光等の波長の長い光を照射してもよい。この場合、照射された近赤外光等が運転者の瞳孔で反射されるため、画像検出部による運転者の瞳孔の抽出精度を向上させることができる。
【００６９】
また、俯き度合い判定部による運転者の顔の俯き度合いの判定では、上下基準位置と瞳孔の高さ位置とを用いるものを示したが、これに限らず、覚醒時のみならず覚醒度低下時にも顔の上下方向長さと瞳孔の高さ位置とを抽出し、それぞれの顔の上下方向長さに対する瞳孔の高さ上下方向相対位置を顔の上下方向の向き（俯き度合い）として用いてもよい。この場合、顔の上下方向長さに対する瞳孔の高さ上下方向相対位置が小さくなるに連れて運転者の顔は俯く。また、上下基準位置として、顔の下端を基準にした瞳孔の高さ位置を示したが、顔の上端を基準にした瞳孔の高さ位置を用いてもよい。この場合、顔の上下方向長さに対する瞳孔の高さ上下方向相対位置が大きくなるに連れて運転者の顔は俯く。
【００７０】
また、俯き度合い判定部による運転者の顔の俯き度合いの判定では、瞳孔の上下方向位置を用いるものを示したが、これに限らず、眼の上下方向位置を用いてもよい。ここでいう眼の位置とは、上瞼と下瞼とで囲まれる領域における上下方向の中心位置をいう。したがって、俯き度合い判定部は、顔画像における眼の上下方向相対位置の変化から顔の俯き度合いを判定するものといえる。
【産業上の利用可能性】
【００７１】
本発明の車両の覚醒度検出装置は、トラック又はバスといった大型又は中型の自動車のみならず乗用車等の小型自動車にも適用することができる。
【符号の説明】
【００７２】
１ 車両
１１ 車速センサ（車速検出手段）
１２ 運転者監視カメラ（視線位置検出手段）
１５ 覚醒度検出ＥＣＵ
１６ 道路形状判定部（道路形状判定手段）
１７ 条件判定部
１８ ＨＭＩ（警報手段）
２０ 覚醒度判定部（覚醒度判定手段）
２１ 視線位置検出部（視線位置検出手段）
２１ａ 画像検出部（画像検出手段）
２１ｂ 視線位置算出部（視線位置算出手段）
２１ｃ 俯き度合い判定部（俯き度合い判定手段）
１００ 運転室
１０１ 天井部
１０１ａ （天井部の）前部下縁
１０２ ダッシュパネル
１０３ フロント窓ガラス
【技術分野】
【０００１】
本発明は、車両の運転者の覚醒度を検出する車両の覚醒度検出装置及びこれを用いた車両の警報装置に関するものである。
【背景技術】
【０００２】
近年、車両の運転中における運転者の覚醒度の低下を検出する種々の技術が開発されており、かかる技術としては特許文献１や特許文献２が挙げられる。
【０００３】
特許文献１の技術は、検出対象者の顔面を撮影した画像から瞳孔を抽出し、この瞳孔の状態に基いて覚醒度の判定を行なうものである。例えば、この瞳孔が抽出できなければ瞼が閉じていると判定し、或いは、撮像画像中の瞳孔の高さ位置が所定値よりも低くなると顔がうつむいた状態と判定して、運転者の覚醒度の低下を検出する。
【０００４】
また、特許文献２の技術は、計測した運転者の視線の動きを累積して視線方向データの頻度分布パターンを作成し、この頻度分布パターンと予め作成された覚醒時における同パターンとを比較することにより、運転者の覚醒度の低下を検出するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２４９１９７号公報
【特許文献２】特開平９−２０１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、運転者の覚醒度を検出する目的は、運転者の覚醒度が低下すると運転操作に悪影響を与えるおそれが高まるので、これに対して、警報等を発して、運転者に覚醒度の低下を自覚させ適切な対応を促すためなどである。通常、覚醒度の低下が進むほど、運転操作への影響は強まる。
特許文献１の技術では、運転者の瞼が閉じた後、或いは、顔がうつむいた後等の覚醒度が大きく低下してから、運転者の覚醒度の低下を判定するため、早期に覚醒度の低下を検出することができない。
【０００７】
また、特許文献２の技術では、運転者の視線の動きを計測し、この計測された視線の動きを累積して視線方向データの頻度分布パターンを作成するため、該パターンの作成に時間を要し、即ち計測開始から覚醒度の低下判定までに時間を要し、結果として、早期に覚醒度を検出することができない。
本発明は、かかる課題に鑑み創案されたものであり、早期に運転者の覚醒度の低下を検出することができるようにした、車両の覚醒度検出装置及びこれを用いた車両の警報装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するために、本発明の車両の覚醒度検出装置は、車両の運転者の視線位置を検出する視線検出手段と、前記視線検出手段により検出された前記運転者の視線位置が基準位置よりも低下すると前記運転者の覚醒度が低下していると判定する覚醒度判定手段とを備えていることを特徴としている。
【０００９】
（２）前記視線検出手段は、前記運転者の右眼の視線位置と前記運転者の左眼の視線位置とをそれぞれ検出し、前記覚醒度判定手段は、前記右眼の視線位置と前記左眼の視線位置との差異（隔たり）が所定値よりも大きい場合に、前記運転者の覚醒度の低下を判定することが好ましい。
【００１０】
（３）前記視線検出手段は、前記運転者の顔画像を検出する画像検出手段と、前記画像検出手段により検出された前記顔画像から前記運転者の眼と該眼の中の瞳孔とを抽出し前記眼に対する前記瞳孔の上下方向相対位置を前記視線位置として算出する視線位置算出手段とを有していることが好ましい。
【００１１】
（４）前記視線検出手段は、前記画像検出手段により検出された前記顔画像から前記運転者の眼を抽出し、前記顔画像における前記眼の上下方向相対位置の変化から前記運転者の顔の俯き度合いを判定する俯き度合い判定手段を備え、前記覚醒度判定手段は、前記俯き度合い判定手段により判定された前記俯き度合いに応じて、前記俯き度合いが大きくなるほど、前記基準位置を高く変更することが好ましい。
【００１２】
（５）前記車両の車速を検出する車速検出手段と、前記車両の走行する道路の形状を判定する道路形状判定手段とを備え、前記覚醒度判定手段は、判定開始条件が成立したら、前記覚醒度の判定を開始し、前記判定開始条件は、前記車速検出手段により検出された車速が所定車速以上であって、前記道路形状検出手段により判定された道路の形状が直線状である（屈曲していない）ことが好ましい。
【００１３】
（６）また、本発明の車両の警報装置は、上記の車両の覚醒度検出装置と、前記覚醒度判定手段により前記運転者の覚醒度の低下が判定されると、前記運転者に警報する警報手段とを備えていることを特徴としている。
【発明の効果】
【００１４】
（１）したがって、本発明の車両の覚醒度検出装置は、覚醒度判定手段が、運転者の視線位置が基準位置よりも低下すると運転者の覚醒度の低下を判定するため、早期に運転者の覚醒度の低下を検出することができる。また、視線検出手段により検出された運転者の視線位置を用いるだけで覚醒度の低下を検出することができるため、構成を簡素にすることができる。
【００１５】
（２）覚醒度判定手段は、右眼の視線位置と左眼の視線位置との差異が所定値よりも大きい場合に、運転者の覚醒度の低下を判定するように構成すれば、右眼及び左眼の何れか一方の視線位置と何れか他方の視線位置との差異が所定値よりも大きくなるいわゆる上下斜視を判定することにより、覚醒度の低下を検出することができる。また、運転者の両眼の視線位置が同時に低下しない場合にも覚醒度の低下を判定するため、覚醒度の検出精度を向上させることができる。
【００１６】
（３）運転者の視線位置は、眼に対する瞳孔の上下方向相対位置であるように構成すれば、顔は前方を向いていながら視線が下がる覚醒度低下の初期症状を検出することになり、早期に覚醒度の低下を検出することができる。
（４）運転者の顔の俯き度合いが大きくなるほど基準位置を高く変更すれば、俯き度合いに応じて、検出される視線位置の変化に対しても覚醒度の低下を適切に判定することができる。
【００１７】
（５）覚醒度の判定開始条件は、道路の形状が直線状である（屈曲していない）ように構成すれば、覚醒度の低下が発生しやすい状況である直線状の道路を走行中には、屈曲路の走行時等よりも運転者による視線位置は変化が少なく安定しているため、覚醒度の低下に応じた視線位置を検出しやすい。このため、覚醒度の低下が発生しやすい状況において精度良く運転者の覚醒度の低下を検出することができる。
また、覚醒度の検出開始条件は、車速が所定車速以上であるように構成すれば、車速が高く危険度の高い走行中においても、早期に運転者の覚醒度の低下を検出することができる。
【００１８】
（６）本発明の車両の警報装置は、運転者に覚醒度の低下を警報する警報手段を備えるため、早期に検出された運転者の覚醒度の低下を運転者に警報して、運転にかかる適切な対応を促すことができる。
また、運転者の視線位置が下がることにより、走行中に運転者が注視する地点が手前に移動し、道路の方向のズレに対する運転者の感度が鈍って車両を蛇行走行させたりするおそれがあるが、警報により覚醒度の低下を報知することで、運転にかかる適切な対応を運転者に促すことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる車両の覚醒度検出装置及び警報装置を示す構成図である。
【図２】本発明の一実施形態にかかる車両の覚醒度検出装置による運転者の覚醒度低下の検出を説明する図であり、（ａ）は車室内要部の側面図、（ｂ），（ｃ）及び（ｄ）は運転者の顔画像の正面図、（ｅ）及び（ｆ）は（ｂ）及び（ｃ）に対応する運転者の視線を示す図である。
【図３】本発明の一実施形態にかかる車両の覚醒度検出装置における視線位置の検出を説明する図であり、運転者の眼の拡大図である。
【図４】本発明の一実施形態にかかる車両の覚醒度検出装置における覚醒度判定の開始条件を判定するフローチャートである。
【図５】本発明の一実施形態にかかる車両の覚醒度検出装置における覚醒度低下の判定と車両の警報装置による運転者への警報を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を用いて本発明の実施形態について説明する。
〈一実施形態〉
［構成］
まず、一実施形態にかかる車両の覚醒度検出装置及び車両の警報装置の構成を説明する。本実施形態にかかる車両は、例えばトラック又はバスといったいわゆる大型又は中型の自動車である。
【００２１】
図１に示すように、車両１は、車速センサ（車速検出手段）１１と、運転者監視カメラ１２と、ＨＭＩ（Human Machine Interface，警報手段）１８と、これらの構成要素１１，１２及び１８にそれぞれ接続された覚醒度検出ＥＣＵ１５とを有する。この覚醒度検出ＥＣＵ１５は、道路形状判定部（道路形状判定手段）１６と、条件判定部１７と、視線位置検出部２１を有する覚醒度判定部２０とを有する。
【００２２】
車速センサ１１は、車両１の車速Ｖを検出するものである。この車速センサ１１としては、従動輪の回転速度を検出するものやエンジンのクランクシャフトの回転速度を検出するものを適用することができる。
車速センサ１１により検出された車速Ｖの情報は、覚醒度検出ＥＣＵ１５に伝達される。
【００２３】
運転者監視カメラ（以下、単にカメラともいう）１２は、運転者の顔を撮影するものである。以下、図２を用いてカメラ１２を説明する。
図２（ａ）に示すように、カメラ１２は、運転席の前方で、運転室１００の天井部１０１の前部下縁１０１ａのフロント窓ガラス１０３に近い箇所、或いは、ダッシュパネル１０２の上部に、運転席に着座した運転者の顔が位置する部分を撮影するように配置されている。なお、図２（ａ）には、一点鎖線で運転者の視線ｅを示す。
【００２４】
このカメラ１２は、図２（ｂ）〜（ｄ）に示すような運転者の顔画像を撮影する。
また、運転者監視カメラ１２により撮影された運転者の顔画像の情報は、覚醒度検出ＥＣＵ１５に伝達される。
本実施形態では、カメラ１２により撮影された運転者の顔画像の情報は、覚醒度検出ＥＣＵ１５の視線位置検出部２１により処理される。
【００２５】
視線位置検出部２１は、車両１の運転者の視線位置を検出するものである。この視線位置検出部２１は、画像検出部（画像検出手段）２１ａと、視線位置算出部（視線位置算出手段）２１ｂと、俯き度合い判定部２１ｃとを有する。
【００２６】
以下、視線位置検出部２１による運転者の視線位置の検出を説明する。
画像検出部２１ａは、カメラ１２により撮影された画像情報から顔画像を検出するものである。画像検出部２１ａは、例えば２値化処理や特徴点抽出処理等を行なって顔の輪郭や鼻の穴や眼を抽出し、これらの抽出された部位に基づいて、例えば輪郭に囲まれた領域を顔画像として検出することができる。
【００２７】
視線位置算出部２１ｂは、画像検出部２１ａにより検出された顔画像から運転者の眼（上瞼と下瞼とで囲まれる領域）とこの眼の中の瞳孔とを抽出し、眼に対する瞳孔の上下方向相対位置を視線位置として算出するものである。以下、図２（ｂ）〜（ｄ）及び図３を用いて、視線位置の検出について説明する。
【００２８】
まず、図２（ｂ）及び（ｃ）に示すような正面を向いている運転者の視線位置の検出を説明する。
図３は、図２（ｂ）に示す運転者の一方の眼の周辺を示す拡大図である。なお、図２（ｂ）には、覚醒時における瞳孔ＩＰの位置である運転者の顔画像を示し、図３中には、上下瞼の最大距離ＨEと、下瞼から瞳孔ＩＰの中心までの距離Ｈ1とを示す。
【００２９】
視線位置算出部２１ｂは、これらの距離ＨE，Ｈ1に基づいて、下記の式（１）を用いて運転者の視線位置Ｈを算出する。
Ｈ＝Ｈ1／ＨE・・・（１）
すなわち、視線位置算出部２１ｂは、見開いた眼の領域内における瞳孔ＩＰの高さ位置（上下方向相対位置）を視線位置Ｈとして算出するものといえる。視線位置検出部２１は、このように視線位置算出部２１ｂによる算出処理を用いて視線位置を検出する。
【００３０】
図２（ｃ）には、覚醒度の低下時における運転者の顔画像を示す。図２（ｃ）に示す視線位置は図２（ｂ）に示す視線位置よりも低い。したがって、視線位置検出部２１は、図２（ｂ）に示す運転者よりも図２（ｃ）に示す運転者の視線位置を低く検出する。
【００３１】
図２（ｅ）は、図２（ｂ）に示す運転者の視線ｅ1を示し、この運転者の地点Ｐ0と視線ｅ1が車両１前方の走行路と交差する地点Ｐ1との距離Ｌ1を示す。また、図２（ｆ）は、図２（ｃ）に示す運転者の視線ｅ2を示し、この運転者の地点Ｐ0と視線ｅ2が車両１前方の走行路と交差する地点Ｐ2との距離Ｌ2を示す。これらの距離Ｌ1及び距離Ｌ2は、車両１の運転者がどれだけ先を見ているかを示すものといえる。
【００３２】
したがって、視線位置検出部２１により高い視線位置が検出されれば、運転者は車両１の前方且つ遠方を見ており、また、視線位置検出部２１により低い視線位置が検出されれば、運転者は車両１の前方且つ車両１の近傍を見ている。
【００３３】
なお、本実施形態では、運転者の顔が左右を向いている場合には、運転者の視線位置を検出しない。この顔が左右に向いているか否かの判定は、視線位置検出部２１により行なわれる。
視線位置検出部２１は、画像検出部２１ａにより検出された顔画像に基づいて、運転者の顔が正面を向いているかを判定する。この判定は、画像検出部２１ａにより検出された顔画像に基づいて、例えば２値化処理や特徴点抽出処理を行なうことにより運転者の顔が車両正面方向に対して左右に向く角度を算出し、この角度（顔向き角度ともいう）が所定角度以内であれば、運転者の顔は正面に向いていると判定する。なお、ここでいう所定角度とは、例えば±１０度の範囲といった車両１の正面に顔を向けている運転者の顔向き角度に対応する角度をいう。
【００３４】
運転者の顔が左右の何れかを向いていれば、運転者の顔が車両正面方向に対して向く角度は所定角度以上となる。すなわち、視線位置検出部２１は、顔向き角度が所定角度以上の運転者については、正面を向いていないと判定する。したがって、このような運転者の視線位置は検出されない。
【００３５】
また、視線位置検出部２１は、これの有する俯き度合い判定部２１ｃにより運転者の顔の上下方向の向きを判定する。
図２（ｂ）には、運転者が正面に正対する、即ち顔が上下方向にも左右方向にも向いていない顔画像を示し、運転者の顔Ｆの上下方向長さ（顎の下端から頭の天辺までの長さ）ＨFと、顔Ｆの下端（顎の下端）から瞳孔ＩＰまでの長さＨSとを示す。この長さＨSは、覚醒時の顔Ｆの下端を基準にした瞳孔ＩＰの高さ位置ＨS（上下基準位置）である。
【００３６】
俯き度合い判定部２１ｃは、この長さＨSを予め実験的又は経験的に記憶し、或いは、長さＨSを累積的に記憶及び学習して、この平均値を長さＨSとして用いることができる。
俯き度合い判定部２１ｃは、これらの長さＨF，ＨSを用いて、運転者の顔の上下方向の向きを判定する。以下、運転者の顔Ｆが下を向く（俯く）場合を例示して、顔Ｆの向きの判定を説明する。
【００３７】
図２（ｄ）には、顔Ｆが俯いた状態の運転者を示し、覚醒時の顔Ｆの下端を基準にした瞳孔の高さ位置ＨSから瞳孔ＩＰの位置がＨ2だけ低下しているものを示す。
俯き度合い判定部２１ｃは、これらの位置ＨS，Ｈ2に基づいて、下記の式（２）を用いて顔の上下方向の向き（俯き度合い）Ｈθを算出する。
Ｈθ＝Ｈ2／ＨS・・・（２）
【００３８】
式（２）により算出された向きＨθは顔Ｆの上下方向の向きと相関があり、向きＨθがゼロであれば運転者の顔Ｆは正面方向に対して正対し、向きＨθが大きくなるに連れて運転者の顔Ｆは俯いていく。この特性に着目し、俯き度合い判定部２１ｃは、視線位置検出部２１により算出された俯き度合いＨθから運転者の顔の俯き度合いを判定する。したがって、視線位置検出部２１は、向きＨθが所定値を有する運転者については、例えば顔が俯く等の顔の上下方向の向きが有ると判定し、このような視線位置にかかる基準位置を変更する。この基準位置の変更については後述する。なお、ここでいう所定値とは、上下方向に顔が微小に向く場合の向きＨθを排除するために予め設定される値である。
【００３９】
上記のように、カメラ１２により撮影された運転者の顔画像に基づいて視線位置検出部２１は視線位置を検出するため、運転監視カメラ１２と視線位置検出部２１とで視線検出手段を構成する。なお、視線検出手段は、運転者の左眼及び右眼のそれぞれについて視線位置を検出し、また、これら視線位置の値が大きい方（遠くを見ている方の眼の視線位置の値）を運転者の両眼の視線位置として検出する。これは、視線位置の値が小さい方の眼による情報よりも、視線位置の値が大きい方の眼による情報を運転者が認知しているという点に着目するためである。
【００４０】
覚醒度検出ＥＣＵ１５は、道路形状判定部１６と、条件判定部１７と、覚醒度判定部２０とを有し、車両の覚醒度検出にかかる処理全般を行なうものである。この覚醒度検出ＥＣＵ１５は、例えばマイクロプロセッサやＲＯＭ，ＲＡＭ等を集積したＬＳＩデバイスや組み込み電子デバイスとして構成される電子制御装置である。
【００４１】
道路形状判定部１６は、車両１の走行する道路形状を判定するものである。この判定される道路には、直線状の道路（屈曲していない道路）やカーブ状の道路等が挙げられる。なお、直線状の道路とは、この道路に沿った走行において運転者に意識的なステアリング操作を略要求しない道路の形状の道路といった形状変化の少ない形状の道路をいう。
【００４２】
この道路形状判定部１６としては、デジタルマップ及びＧＰＳの組み合わせたものや、車両１の前方を撮影するカメラにより撮影された画像を処理するものを適用することができる。
例えば、道路形状判定部１６としてデジタルマップ及びＧＰＳの組み合わせたものを用いる場合、ＧＰＳにより検出された車両１の位置をデジタルマップに適用して車両１の走行する道路を特定し、車両１の位置の履歴から車両１の進行方向を推定することにより、車両１の前方の道路形状を判定することができる。
【００４３】
また、道路形状判定部１６としてカメラにより撮影された走行路を画像処理するものを適用する場合、撮影画像から走行路上に白線等で示される車線境界線や中央線といった走行路に沿ったものを画像処理により抽出することにより、車両１の前方の道路形状を判定することができる。
【００４４】
条件判定部１７は、後述する覚醒度低下の判定を開始する条件（判定開始条件ともいう）を判定するものである。この条件は、車速センサ１１により検出された車速情報と、道路形状判定部１６により判定された道路形状とを用いて判定される。
【００４５】
条件判定部１７により判定される判定開始条件は、車両１の車速Ｖが所定車速Ｖpよりも高く、車両１の走行する道路形状が直線状であることである。ここでいう所定車速Ｖpとは、直線路の周辺に変化や注意を向けるべきものが少ない状況において車両走行する際の車速として例えば時速６０ｋｍ/ｈといった車速が予め設定される。この判定開始条件は、例えば自動車専用道や高速道路における車両１の走行中といった、運転者の視線位置が安定し、覚醒度低下の発生しやすい状況において成立する。
つまり、条件判定部１７は、走行路の形状に変化が少なく、また、周辺に変化や注意を向けるべきものが少ない状況において車両走行する際の車速Ｖが所定車速Ｖpよりも高い場合に、判定開始条件が成立すると判定する。
【００４６】
ここで、運転者の覚醒度の低下について説明する。
一般に、車両運転中において運転者の覚醒度が低下し始めると、目線が下がり始める。つまり、運転者の覚醒度の低下と視線位置の低下とは相関があるものといえる。
例えば、覚醒時（覚醒度の高い時）に運転者が注視している車両前方の地点よりも、覚醒度が低下した際に運転者が注視する地点は車両側に近づく。かかる視線位置の変動特性は、覚醒度の低下し始めにも観察することができる。
【００４７】
本発明の車両の覚醒度検出装置は、覚醒度の低下し始めにも観察される上記の視線位置の変動特性を用いて、早期に運転者の覚醒度低下を検出するものである。すなわち、覚醒度判定部２０により覚醒度が低下したと判定されると、覚醒度検出ＥＣＵ１５は該低下を検出する。
【００４８】
覚醒度判定部２０は、運転者の覚醒度の低下を判定するものである。この判定は、条件判定部１７により判定開始条件が成立したと判定されると開始され、運転者監視カメラ１２及び視線位置検出部２１により検出された運転者の視線位置の情報に基づいて判定される。
【００４９】
詳細には、覚醒度判定部２０は、運転者の両眼の視線位置が基準位置よりも低下すると、運転者の覚醒度が低下していると判定する。ここでいう基準位置とは、覚醒した（眠くない）運転者の視線位置が予め設定されたものである。基準位置は、例えば、覚醒時における運転者の眼の周辺拡大図を示す図３の瞳孔ＩＰの位置、即ち眼に対する瞳孔の上下方向相対位置が予め設定される。なお、基準位置は、車速が高くなるに連れて高くなるように車速に応じた位置が予め設定されている。
【００５０】
また、覚醒度判定部２０は、俯き度合い判定部２１ｃにより運転者の顔が俯く等の顔の上下方向の向きがあると判定されると、上記の基準位置を変更する。
つまり、覚醒度判定部２０は、俯き度合いが大きいほど、基準位置を高くする。これは、顔が俯くと視線位置が十分高くても視線は下がっている場合を想定したもので、顔の俯きと共に視線が下がった状況と、顔は俯いているが視線は注視すべき前方を向いている状況とを区別するようにするためのものである。
【００５１】
例えば、運転者は、顔が俯いていても視線を上げていれば遠方を注視することができる。即ち、顔が下を向いていても視線位置が高ければ、上下方向に角度を有することなく顔を正面に向けている覚醒時の運転者と同地点を注視することができる。
かかる顔の向きと視線位置との特性に着目し、覚醒度判定部２０は、運転者の顔が俯く（顔が下を向く）に連れて基準位置を高くするように変更する。
【００５２】
換言すれば、覚醒度判定部２０は、覚醒している運転者の視線が注視すべき地点と車両１の位置との距離を基準距離Ｌとした場合に、基準距離Ｌに対応する視線位置となるように基準位置を変更する。
つまり、基準距離Ｌは、車速が高くなるに連れて大きくなり、車速が一定であれば顔や体の上下方向の向きにかかわらず一定である。
【００５３】
また、覚醒度判定部２０は、運転者の右眼の視線位置と左眼の視線位置との差異が所定値よりも大きくなると、運転者の覚醒度低下を判定する。ここでいう右眼の視線位置と左眼の視線位置との差異（隔たり）とは、右眼の視線位置の値と左眼の視線位置の値との差をいい、また、所定値とは、覚醒度が大きく低下した場合に右眼の瞳孔と左眼の瞳孔の上下にずれるいわゆる上下斜視が生じる場合における左眼の視線位置と右の視線位置の値との差の値として予め設定される。
【００５４】
覚醒度検出ＥＣＵ１５は、覚醒度判定部２０により覚醒度低下が判定されると、運転者の覚醒度の低下を検出し、ＨＭＩ１８に警報指示を行なう。
ＨＭＩ１８は、運転者と車両設備とのインターフェイスであり、車両１の運転者に警報するものである。このＨＭＩ１８としては、スピーカや運転席を振動させるシート振動装置等を用いることができる。
ＨＭＩ１８は、覚醒度の低下判定により覚醒度検出ＥＣＵ１５から警報指示がされると、スピーカを鳴らしたり、運転席を振動させることにより、運転者に覚醒度の低下を警報する。
【００５５】
［作用・効果］
本発明の一実施形態に係る車両の覚醒度検出装置及び警報装置の構成は上述のように構成されるため、条件判定部１７により図４に示すような覚醒度の低下判定の開始条件を判定するフローが行なわれる。なお、このフローは車両１が走行中においては常時周期的に行なわれる。
【００５６】
ステップＳ２では、車両１の走行する道路（走行道路）の形状は直線状であるかを判定する。走行道路が直線状であればステップＳ４へ移行し、走行道路が直線状でなければステップＳ９へ移行する。
ステップＳ４では、車両１の車速Ｖが所定車速Ｖpよりも高いかを判定する。車速Ｖが所定車速Ｖpよりも高ければステップＳ４へ移行し、車速Ｖが所定車速Ｖp以下であればステップＳ９へ移行する。
【００５７】
ステップＳ６では、運転者の顔は正面を向いているか、即ち運転者の顔が左右を向いていないかを判定する。正面を向いていればステップＳ８へ移行し、正面を向いていなければステップＳ９へ移行する。
ステップＳ８では、覚醒度低下にかかる判定開始条件が成立する。そして本制御周期を終了（エンド）する。
また、ステップＳ９では、覚醒度低下にかかる判定開始条件が成立しない。そして本制御周期を終了（エンド）する。
【００５８】
次に、図５を用いて、覚醒度判定部２０による運転者の覚醒度低下の判定とＨＭＩ１８による運転者への警報とを示すフローを説明する。
ステップＳ１０では、視線位置の情報を取得する。なお、この視線位置の情報は、右眼及び左眼それぞれの視線位置情報を取得する。
ステップＳ２０では、両眼の視線位置が基準位置よりも低いかを判定する。両眼の視線位置が基準位置よりも低ければステップＳ３０へ移行し、両眼の視線位置が基準位置以上であればステップＳ２５へ移行する。
【００５９】
ステップＳ２５では、右眼の視線位置の値と左眼の視線位置の値との差が所定値よりも大きいかを判定する。所定値よりも大きければステップＳ３０へ移行し、所定値以下であれば本制御周期を終了（エンド）する。
ステップＳ３０では、運転者の覚醒度の低下を判定する。
ステップＳ４０では、運転者に警報する。そして、本制御周期を終了（エンド）する。
【００６０】
したがって、本発明の車両の覚醒度検出装置によれば、覚醒度判定部２０が、運転者の視線位置が基準位置よりも低下すると運転者の覚醒度の低下を判定するため、早期に運転者の覚醒度の低下を検出することができる。また、視線検出部２１により検出された運転者の視線位置を用いるだけで覚醒度の低下を検出することができるため、構成を簡素にすることができる。
【００６１】
覚醒度判定部２０は、右眼の視線位置の値と左眼の視線位置の値との差が所定値よりも大きい場合に、運転者の覚醒度の低下を判定するため、右眼及び左眼の何れか一方の視線位置の値と何れか他方の視線位置の値との差が所定値よりも大きくなるいわゆる上下斜視を判定することにより、覚醒度の低下を検出することができる。また、運転者の両眼の視線位置が同時に低下しない場合にも覚醒度の低下を判定するため、覚醒度の検出精度を向上させることができる。
【００６２】
運転者の視線位置は、視線位置算出部２１ｂにより算出された眼に対する瞳孔の上下方向相対位置であるため、覚醒度判定部２０は瞼が閉じる前等の覚醒度低下の初期症状を検出することになり、早期に覚醒度の低下を検出することができる。
運転者の顔の俯き度合いによって基準位置を変更するため、俯き度合いに応じた視線位置の変化に対しても覚醒度の低下を適切に判定することができる。また、遠方を監視しつつ顔は俯いていような運転者と顔が俯くと共に視線が下がる運転者とを判別することができ、覚醒度の検出精度を向上させることができる。
【００６３】
覚醒度の判定開始は、道路の形状が直線状であることを条件とするため、覚醒度の低下が発生しやすい状況である直線状の道路を走行中には、屈曲路の走行時等よりも運転者による視線位置は変化が少なく安定しているため、覚醒度の低下に応じた視線位置を検出しやすい。このため、覚醒度の低下が発生しやすい状況において精度良く運転者の覚醒度の低下を検出することができる。
また、覚醒度の検出開始は、車速Ｖが所定車速Ｖpよりも高いことを条件とするため、車速Ｖが高く危険度の高い走行中においても、早期に運転者の覚醒度の低下を検出することができる。
【００６４】
車両の警報装置によれば、運転者に覚醒度の低下を警報するＨＭＩ１８を備えるため、早期に検出された運転者の覚醒度の低下を運転者に警報して、運転にかかる適切な対応を促すことができる。
また、運転者の視線位置が下がることにより、走行中に運転者が注視する地点が手前に移動し、道路の方向のズレに対する運転者の感度が鈍って車両１を蛇行走行させたりするおそれがあるが、警報により覚醒度の低下を報知することで、運転にかかる適切な対応を運転者に促すことができる。
【００６５】
［その他］
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
上述の実施形態では、運転者の右眼及び左眼それぞれの視線位置を検出するものを示したが、これに限らず、右眼及び左眼の何れか一方の視線位置を検出してもよい。この構成によれば、何れか一方の視線位置を両眼の視線位置として用いることができ、視線検出手段の構成を簡素にすることができる。また、上下斜視を検出する図５のステップＳ２５を省略することができる。この場合、図５のステップＳ２０においてＮＯのルートに判定されると制御周期を終了（エンド）する。これにより、覚醒度の判定を簡素なステップで行なうことができる。
【００６６】
また、判定開始条件が成立すると覚醒度の低下判定を開始するものを示したが、上記の判定開始条件に替えて、車両１の走行中には常時周期的に覚醒度の低下判定を行なう構成としてもよい。
また、運転者の右眼及び左眼それぞれについて瞳孔の上下方向相対位置である視線位置を検出するものを示したが、右眼及び左眼それぞれについて瞳孔の水平方向相対位置を検出し、これらの位置を比較して覚醒度の低下時に生じるいわゆる左右斜視を検出してもよい。この場合、覚醒度判定部は、運転者の右眼の水平方向位置と左眼の水平方向視線位置との差異（隔たり）が所定値よりも大きくなると、運転者の覚醒度低下を判定する。この所定値とは、覚醒度が大きく低下した場合に右眼の瞳孔と左眼の瞳孔の左右にずれるいわゆる左右斜視が生じる場合における左眼の水平方向位置と右眼の水平方向位置との隔たりに対応する値として予め設定される。
【００６７】
また、運転者の覚醒度低下の判定に視線位置を基準位置と比較するものを示したが、視線位置算出部により算出された視線位置に基づいて運転者の視線が注視すべき地点と車両の位置との距離を算出し、この距離と予め設定された基準距離（覚醒している運転者の視線が注視すべき地点と車両の位置との距離）とを比較して、覚醒度の低下判定を行なってもよい。この場合、車速が一定であれば顔や体の向きによらず一定の基準距離を用いる。
【００６８】
また、運転者の顔の撮像にカメラを用いるものを示したが、これに加えて、運転者の顔が位置する部分に近赤外光等の波長の長い光を照射してもよい。この場合、照射された近赤外光等が運転者の瞳孔で反射されるため、画像検出部による運転者の瞳孔の抽出精度を向上させることができる。
【００６９】
また、俯き度合い判定部による運転者の顔の俯き度合いの判定では、上下基準位置と瞳孔の高さ位置とを用いるものを示したが、これに限らず、覚醒時のみならず覚醒度低下時にも顔の上下方向長さと瞳孔の高さ位置とを抽出し、それぞれの顔の上下方向長さに対する瞳孔の高さ上下方向相対位置を顔の上下方向の向き（俯き度合い）として用いてもよい。この場合、顔の上下方向長さに対する瞳孔の高さ上下方向相対位置が小さくなるに連れて運転者の顔は俯く。また、上下基準位置として、顔の下端を基準にした瞳孔の高さ位置を示したが、顔の上端を基準にした瞳孔の高さ位置を用いてもよい。この場合、顔の上下方向長さに対する瞳孔の高さ上下方向相対位置が大きくなるに連れて運転者の顔は俯く。
【００７０】
また、俯き度合い判定部による運転者の顔の俯き度合いの判定では、瞳孔の上下方向位置を用いるものを示したが、これに限らず、眼の上下方向位置を用いてもよい。ここでいう眼の位置とは、上瞼と下瞼とで囲まれる領域における上下方向の中心位置をいう。したがって、俯き度合い判定部は、顔画像における眼の上下方向相対位置の変化から顔の俯き度合いを判定するものといえる。
【産業上の利用可能性】
【００７１】
本発明の車両の覚醒度検出装置は、トラック又はバスといった大型又は中型の自動車のみならず乗用車等の小型自動車にも適用することができる。
【符号の説明】
【００７２】
１ 車両
１１ 車速センサ（車速検出手段）
１２ 運転者監視カメラ（視線位置検出手段）
１５ 覚醒度検出ＥＣＵ
１６ 道路形状判定部（道路形状判定手段）
１７ 条件判定部
１８ ＨＭＩ（警報手段）
２０ 覚醒度判定部（覚醒度判定手段）
２１ 視線位置検出部（視線位置検出手段）
２１ａ 画像検出部（画像検出手段）
２１ｂ 視線位置算出部（視線位置算出手段）
２１ｃ 俯き度合い判定部（俯き度合い判定手段）
１００ 運転室
１０１ 天井部
１０１ａ （天井部の）前部下縁
１０２ ダッシュパネル
１０３ フロント窓ガラス
【特許請求の範囲】
【請求項１】
車両の運転者の視線位置を検出する視線検出手段と、
前記視線検出手段により検出された前記運転者の視線位置が基準位置よりも低下すると前記運転者の覚醒度が低下していると判定する覚醒度判定手段とを備えている
ことを特徴とする、車両の覚醒度検出装置。
【請求項２】
前記視線検出手段は、前記運転者の右眼の視線位置と前記運転者の左眼の視線位置とをそれぞれ検出し、
前記覚醒度判定手段は、前記右眼の視線位置と前記左眼の視線位置との差異が所定値よりも大きい場合に、前記運転者の覚醒度の低下を判定する
ことを特徴とする、請求項１記載の車両の覚醒度検出装置。
【請求項３】
前記視線検出手段は、
前記運転者の顔画像を検出する画像検出手段と、
前記画像検出手段により検出された前記顔画像から前記運転者の眼と該眼の中の瞳孔とを抽出し前記眼に対する前記瞳孔の上下方向相対位置を前記視線位置として算出する視線位置算出手段とを有している
ことを特徴とする、請求項１又は２記載の車両の覚醒度検出装置。
【請求項４】
前記視線検出手段は、前記画像検出手段により検出された前記顔画像から前記運転者の前記眼を抽出し、前記顔画像における前記眼の上下方向相対位置の変化から前記運転者の顔の俯き度合いを判定する俯き度合い判定手段を備え、
前記覚醒度判定手段は、前記俯き度合い判定手段により判定された前記俯き度合いに応じて、前記俯き度合いが大きくなるほど、前記基準位置を高く変更する
ことを特徴とする、請求項３記載の車両の覚醒度検出装置。
【請求項５】
前記車両の車速を検出する車速検出手段と、
前記車両の走行する道路の形状を判定する道路形状判定手段とを備え、
前記覚醒度判定手段は、判定開始条件が成立したら、前記覚醒度の判定を開始し、
前記判定開始条件は、前記車速検出手段により検出された車速が所定車速以上であって、前記道路形状検出手段により判定された道路の形状が直線状である
ことを特徴とする、請求項１〜４のいずれか１項に記載の車両の覚醒度検出装置。
【請求項６】
請求項１〜５の何れか１項に記載の車両の覚醒度検出装置と、
前記覚醒度判定手段により前記運転者の覚醒度の低下が判定されると、前記運転者に警報する警報手段とを備えている
ことを特徴とする、車両の警報装置。
【請求項１】
車両の運転者の視線位置を検出する視線検出手段と、
前記視線検出手段により検出された前記運転者の視線位置が基準位置よりも低下すると前記運転者の覚醒度が低下していると判定する覚醒度判定手段とを備えている
ことを特徴とする、車両の覚醒度検出装置。
【請求項２】
前記視線検出手段は、前記運転者の右眼の視線位置と前記運転者の左眼の視線位置とをそれぞれ検出し、
前記覚醒度判定手段は、前記右眼の視線位置と前記左眼の視線位置との差異が所定値よりも大きい場合に、前記運転者の覚醒度の低下を判定する
ことを特徴とする、請求項１記載の車両の覚醒度検出装置。
【請求項３】
前記視線検出手段は、
前記運転者の顔画像を検出する画像検出手段と、
前記画像検出手段により検出された前記顔画像から前記運転者の眼と該眼の中の瞳孔とを抽出し前記眼に対する前記瞳孔の上下方向相対位置を前記視線位置として算出する視線位置算出手段とを有している
ことを特徴とする、請求項１又は２記載の車両の覚醒度検出装置。
【請求項４】
前記視線検出手段は、前記画像検出手段により検出された前記顔画像から前記運転者の前記眼を抽出し、前記顔画像における前記眼の上下方向相対位置の変化から前記運転者の顔の俯き度合いを判定する俯き度合い判定手段を備え、
前記覚醒度判定手段は、前記俯き度合い判定手段により判定された前記俯き度合いに応じて、前記俯き度合いが大きくなるほど、前記基準位置を高く変更する
ことを特徴とする、請求項３記載の車両の覚醒度検出装置。
【請求項５】
前記車両の車速を検出する車速検出手段と、
前記車両の走行する道路の形状を判定する道路形状判定手段とを備え、
前記覚醒度判定手段は、判定開始条件が成立したら、前記覚醒度の判定を開始し、
前記判定開始条件は、前記車速検出手段により検出された車速が所定車速以上であって、前記道路形状検出手段により判定された道路の形状が直線状である
ことを特徴とする、請求項１〜４のいずれか１項に記載の車両の覚醒度検出装置。
【請求項６】
請求項１〜５の何れか１項に記載の車両の覚醒度検出装置と、
前記覚醒度判定手段により前記運転者の覚醒度の低下が判定されると、前記運転者に警報する警報手段とを備えている
ことを特徴とする、車両の警報装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１０５２６３（Ｐ２０１３−１０５２６３Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７８３８（Ｐ２０１１−２４７８３８）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（５９８０５１８１９）ダイムラー・アクチェンゲゼルシャフト (1,147)
【氏名又は名称原語表記】Ｄａｉｍｌｅｒ ＡＧ
【住所又は居所原語表記】Ｍｅｒｃｅｄｅｓｓｔｒａｓｓｅ １３７，７０３２７ Ｓｔｕｔｔｇａｒｔ，Ｄｅｕｔｓｃｈｌａｎｄ
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（５９８０５１８１９）ダイムラー・アクチェンゲゼルシャフト (1,147)
【氏名又は名称原語表記】Ｄａｉｍｌｅｒ ＡＧ
【住所又は居所原語表記】Ｍｅｒｃｅｄｅｓｓｔｒａｓｓｅ １３７，７０３２７ Ｓｔｕｔｔｇａｒｔ，Ｄｅｕｔｓｃｈｌａｎｄ
【Ｆターム（参考）】
[ Back to top ]