報知システム
【課題】運転者の眠気が検知されたら警報を出力するシステムにおいて、運転者の覚醒努力が増加したら迅速に警報を低減あるいは停止する機能を備えた報知システムを提供する。
【解決手段】画像解析によって算出された眠気度と、心拍数（、血圧）との２つの情報を用いて、眠気があり覚醒努力がないと示しているときに、警報を出力し始める（時刻ｔ１）。そして警報出力中も、より短い周期で心拍数（、血圧）の算出は行い続け、心拍数（、血圧）が閾値を上回って覚醒努力が増加したとみなされたら（時刻ｔ２）、警報を低減する（点線Ｈ３）、あるいは停止する（実線Ｈ２）。したがって運転者が努力して眠気を低減させたら、そのことをただちに警報に反映させるので、運転者は不快感を感じる可能性が小さい。
【解決手段】画像解析によって算出された眠気度と、心拍数（、血圧）との２つの情報を用いて、眠気があり覚醒努力がないと示しているときに、警報を出力し始める（時刻ｔ１）。そして警報出力中も、より短い周期で心拍数（、血圧）の算出は行い続け、心拍数（、血圧）が閾値を上回って覚醒努力が増加したとみなされたら（時刻ｔ２）、警報を低減する（点線Ｈ３）、あるいは停止する（実線Ｈ２）。したがって運転者が努力して眠気を低減させたら、そのことをただちに警報に反映させるので、運転者は不快感を感じる可能性が小さい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、報知システムに関する。
【背景技術】
【０００２】
自動車の運転者の居眠り運転などを防止するために、ドライバの状態をカメラで撮影してモニタし、居眠り運転などが検出されたら警報を発するシステムが提案されている。例えば下記特許文献１では、顔の認識処理において、人が顔画像を撮影する画像入力装置に対して移動したり向きを変えなくても精度よく認識が実行できる装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２４３４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の居眠り運転などを防止する警報システムでは、一旦警報を開始すると、予め指定された時間、警報を出力し続けていた。したがって運転者が覚醒の努力をして眠気の度合いが低減した後にも警報が続くこととなっており、運転者が警報システムに対して不満をもつ場合があった。
【０００５】
したがって運転者の眠気が検知されたら警報を出力するシステムにおいて、眠気の度合いが低減したら迅速に警報を低減あるいは停止する機能を備えれば、ユーザが不満を感じない高機能な警報システムが実現できると考えられる。しかし、従来のシステムはそのような機能を備えていない。
【０００６】
そこで本発明が解決しようとする課題は、上記問題点に鑑み、運転者の眠気が検知されたら警報を出力するシステムにおいて、運転者の覚醒努力が増加したら迅速に警報を低減あるいは停止する機能を備えた報知システムを提供することにある。
【課題を解決するための手段及び発明の効果】
【０００７】
上記課題を達成するために、本発明に係る報知システムは、車両の運転者の眠気の程度と相関を有する第１数値を、予め定められた第１周期ごとに周期的に検出する第１検出手段と、前記車両の運転者の覚醒努力の程度と相関を有する第２数値を、前記第１検出手段とは少なくとも部分的には異なる方法により、前記第１周期よりも短い第２周期ごとに周期的に検出する第２検出手段と、前記車両の車室内において警報を出力する警報部と、少なくとも前記第１検出手段が検出した前記第１数値が運転者の眠気を示す数値である場合に前記警報部に警報の出力を指令する警報指令手段と、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の低減を指令する警報低減手段と、を備えたことを特徴とする。
【０００８】
これにより本発明に係る報知システムでは、車両の運転者の眠気度と相関のある第１数値、第２数値を２つの方法により周期的に算出して、少なくとも第１数値が眠気の存在を示す数値であったら警報を出力し、警報出力中に、より短い周期ごとに算出される第２数値が覚醒努力の増加を示したら警報を低減させる。したがって眠気警報中に覚醒努力の増加が検出されたら迅速に反応して警報を低減する報知システムが実現できる。したがって運転者が努力して眠気を低減させても警報に反映されないことからくる不満を運転者が感じることが抑制される。
【０００９】
また前記第１検出手段は、運転者の顔の画像を撮影する撮影手段と、その撮影手段で撮影された顔の画像における複数の部位の相対的な位置関係を示す量である特徴量を算出する第１算出手段と、その第１算出手段により算出された特徴量から運転者の眠気の程度と相関のある第１数値を算出する第２算出手段と、を備えたとしてもよい。
【００１０】
これにより運転者の眠気と相関のある数値のうちで第１数値は、運転者の顔画像を撮影し、撮影された画像を解析して顔の特徴量から算出するので、運転者の顔画像における特徴量から精度よく眠気と相関を有する数値を算出して、それを用いて警報を出力するとともに、その算出の周期の間にもう一方の第２数値により覚醒努力の増加が検出されたら警報を低減する。したがって顔画像の解析により精度よく眠気の検出を行うとともに、別の検出を併置して、それを用いて覚醒努力の増加が検出されたら迅速に警報を低減するので、画像解析による高精度な眠気検出と、覚醒努力の増加による迅速な警報低減との両方を達成する報知システムが実現できる。
【００１１】
また前記第２検出手段は、運転者の所定の生体情報を取得する取得手段と、その取得手段が取得した生体情報から運転者の眠気の程度と相関を有する第２数値を算出する第３算出手段と、を備えたとしてもよい。
【００１２】
これにより運転者の眠気と相関のある数値のうちで第２数値は、運転者の生体情報を検出して、それを用いて算出するので、運転者の生体情報により覚醒努力の増加が検出されたら警報を低減する。したがって相対的に短い周期で検出できる生体情報の利点を用いて、眠気低減による迅速な警報低減を達成する報知システムが実現できる。
【００１３】
また前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の停止を指令するとしてもよい。
【００１４】
これにより車両の運転者の眠気度と相関のある第１数値、第２数値を２つの方法により周期的に算出して、より長い周期ごとに算出される第１数値が眠気の存在を示す数値であったら警報を出力し、警報出力中に、より短い周期ごとに算出される第２数値が覚醒努力の増加を示したら警報を停止させる。したがって眠気警報中に覚醒努力の増加が検出されたら迅速に反応して警報を停止する報知システムが実現できる。したがって運転者が努力して眠気を低減させたら迅速に警報が停止されるので、運転者が不満を感じることが抑制される。
【００１５】
また前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報を単調に低減するように指令するとしてもよい。
【００１６】
これにより車両の運転者の眠気度と相関のある第１数値、第２数値を２つの方法により周期的に算出して、より長い周期ごとに算出される第１数値が眠気の存在を示す数値であったら警報を出力し、警報出力中に、より短い周期ごとに算出される第２数値が覚醒努力の増加を示したら警報を単調に低減させる。したがって眠気警報中に覚醒努力の増加が検出されたら迅速に反応して、警報を単調に低減する報知システムが実現できる。したがって運転者が努力して眠気を低減させたら着実に警報が低減されるので、運転者が不満を感じることが抑制される。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例における報知システムの構成図。
【図２】報知制御処理のフローチャート。
【図３】画像解析による眠気度判定処理のフローチャート。
【図４】本発明と従来技術とにおける、画像解析による眠気度、心拍数（、血圧）、警報強度の時間推移の例を示す図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面を参照しつつ説明する。まず図１は、本発明に係る報知システム１（以下、システム）の装置構成の概略図である。報知システム１は例えば自動車の車両に装備される。
【００１９】
システム１は、ドライバモニタ電子制御装置（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２、カメラ３、脈波センサ４、警報装置５を備える。
【００２０】
ＥＣＵ２は、通常のコンピュータの構造を有するとし、各種演算や情報処理を実行するＣＰＵ２０、ＣＰＵ２０の作業領域としての一時記憶部であるＲＡＭ２１、各種情報を記憶するためのＲＯＭ２２、他の装置との間の情報の入出力のための入出力回路２３（Ｉ／Ｏ）、時間を計測する計時部２４等を備えるとすればよい。なおＲＯＭ２２は記憶内容の消去や書き換えが可能なＥＥＰＲＯＭを含むとする。なお図１はＣＰＵが１つの構成例であるが、本発明はこれに限定されず、例えば後述する図２の処理、図３の処理、心拍数および血圧を算出する処理を分担するＣＰＵ、ＲＡＭ（、ＲＯＭ）の組を備えるとしてもよい。
【００２１】
カメラ３は例えば近赤外線カメラとすればよい。近赤外線カメラは、近赤外領域に感度を有する例えばＣＣＤカメラであり、車室内に設置されて、運転者に対して近赤外線を照射して、その反射光を受光して撮影する。設置場所は運転者の正面の顔画像が撮影できる場所ならばよく、例えばステアリングコラムなどとすればよい。本システムでは、近赤外線カメラで撮影された画像は、モノクロの濃淡画像（グレイスケール画像）として（あるいは変換して）扱えばよい。近赤外線カメラを用いることにより、夜間でも運転者の顔画像が取得できる。
【００２２】
脈波センサ４（光電脈波センサ）は、光電方式により人体の脈拍を検出するセンサであり、例えば車両のステアリングに装備すればよい。その検出原理は以下のとおりである。まず脈波センサから光（電磁波、主に赤外光）を人体に照射し、脈波センサはその反射光（あるいは透過光）を受光する。脈波センサから照射された光を受けた人体では、人体の血流におけるヘモグロビンによって光の吸収作用が起きる。
【００２３】
それにより、人体の血流の脈拍につれて、反射光（あるいは透過光）の強度も脈動することとなる。脈波センサでは、この反射光（あるいは透過光）の強度の脈動を脈波検出回路によって検出することによって、人体の脈拍波形（脈波）を検出する。乗員がステアリングに接触すると、接触した運転者の手に対して以上の原理が働いて脈波が検出される。
【００２４】
警報装置５は、後述する画像処理によって運転者が眠気を有する（眠気の程度が高い）ことが検知された場合に、車室内、あるいは運転者に向けて警報を発する。なお本発明の警報装置５としては、多様な方式で運転者（や乗員）に眠気程度が高いことを報知する装置を用いればよい。例えば、眠気程度が高いことを報知する内容の音声（あるいはブザーなどの音響）による報知でもよい。インストルメントパネルに設置された表示装置に、眠気程度が高いことを報知する内容の文字、絵柄、図柄を表示する報知でもよい。また空調装置から冷風を運転者に向けて送ることによる報知でもよい。運転席やステアリングに振動装置を備えて、振動によって運転者に報知する方式でもよい。
【００２５】
以上の装置構成のもとで、システム１は運転者の眠気度を主に２つの方法で推定（算出）する。第１の方法は、カメラ３で撮影された運転者の顔画像を画像解析して眠気度（と相関を有する数値、具体的には顔面の各種の特徴量）を算出する方法である。第２の方法は、脈波センサ４によって検出された運転者の生体情報（具体的には脈波）を用いて覚醒努力（と相関を有する数値、具体的には心拍数、血圧）を算出する方法である。
【００２６】
第１の方法では、システム１は、画像認識を用いて運転者の顔画像から顔の特徴点の算出処理を行う。画像認識は公知技術であり、その詳細は例えばT.F.Cootes et al.: Active appearance models, Proc. 15th European Conf. Computer Vision, vol.2, pp.484-498 (1998)に説明されている。
【００２７】
第２の方法では、例えばステアリングに装備された脈波センサ４によって検出された脈波から（単位時間あたりの）心拍数、血圧を算出する。心拍数、血圧ともに、眠気時に数値が増加するほど覚醒努力が高い性質があることが知られている。したがって心拍数、血圧は、運転者の覚醒努力の程度と相関のある数値である。脈波から心拍数、血圧を算出する方法は公知であり、例えば特開２００６−２６３３５４号公報、特開２００９−８９８２９号公報などに記載されている。
【００２８】
本実施例では、運転中に、以上の２つの方法で眠気度あるいは覚醒努力（と相関を有する数値）を算出していくが、第１の方法は、第２の方法よりも算出周期が長い性質がある。そこで第１、第２の方法の組み合わせにより眠気が検出されたら警報部５から警報を出力し、周期の短い第２の方法で覚醒努力の増加が検出されたら迅速に警報を低減する。
【００２９】
これにより覚醒努力をしているのに警報が変化しないことからくる不快感を運転者がもつことが抑制される。その具体的な処理手順が図２に示されている。図２（および後述する図３）の処理手順は予めプログラム化されて、例えばＲＯＭ２２に記憶しておき、ＣＰＵ２０が自動的にそれを実行するとすればよい。
【００３０】
図２の処理手順では、まずＳ１０でＣＰＵ２０は、警報装置５が眠気警報を出力中であるか否かを判定する。眠気警報を出力中である場合（Ｓ１０：ＹＥＳ）は、Ｓ２０に進み、眠気警報を出力中でない場合（Ｓ１０：ＮＯ）は、Ｓ６０に進む。Ｓ２０に進んだらＣＰＵ２０は、脈波センサ４を用いて運転者の脈波を検出する。続いてＳ３０でＣＰＵ２０は、Ｓ２０で取得された脈波から、公知の方法により運転者の（単位時間あたりの）心拍数、血圧の数値を算出する。
【００３１】
続いてＳ４０でＣＰＵ２０は、Ｓ３０で算出された心拍数、血圧が、運転者が眠気を有しているとみなされる数値である（眠気を有しているとみなされる領域内にある）か否かを判定する。上述のとおり、心拍数、血圧はともに数値が増加する程、覚醒努力の程度が高い性質がある。したがってＳ４０では、心拍数、血圧が、それぞれに対して設定された覚醒努力の有無の判定のための閾値未満であるか否かを判定する。
【００３２】
その判定で用いられる閾値は、心拍数がその数値未満ならば運転者が覚醒努力をしていないとみなされる数値（閾値１）、および血圧がその数値未満ならば運転者が覚醒努力をしていないとみなされる数値（閾値２）である。この２つの閾値は予め適切に設定しておけばよい。心拍数、血圧が、それぞれに対して設定された眠気あるいは覚醒努力の有無の判定のための閾値未満である場合（Ｓ４０：ＹＥＳ）は、Ｓ５０に進み、閾値以上である場合（Ｓ４０：ＮＯ）は、Ｓ６０に進む。なおＳ４０の判定処理は、心拍数が閾値１未満であることと、血圧が閾値２未満であることの、両方が満たされるか否かを判定する処理としてもよいし、いずれか一方が満たされるか否かを判定する処理としてもよい。
【００３３】
Ｓ５０に進んだらＣＰＵ２０は、眠気警報を低減あるいは停止する。この処理の詳細は後述する。
【００３４】
Ｓ６０に進んだらＣＰＵ２０は、タイマが示す時間が３０秒であるか否かを判定する。この判定処理は、本システムにおいては運転者の撮影画像による眠気判定（上記の第１の方法）が３０秒ごとに行われることに関係する。タイマが示す時間は、前回の撮影画像による眠気判定からの経過時間である。タイマは計時部２４により構成すればよい。なお脈波センサ４による脈波の検出、さらには心拍数、血圧の算出は、３０秒よりも短い周期（例えば１秒周期）で実行できる。図２のフローチャートは、脈波センサ４による脈波の検出、さらには心拍数、血圧の算出の周期と同じ周期で繰り返し実行すればよい。
【００３５】
次にＳ７０でＣＰＵ２０は、撮影画像により眠気度を推定（算出）する。Ｓ７０での算出手順の詳細は図３に示されており、後で説明する。続いてＳ８０でＣＰＵ２０はタイマをリセットする。これによりタイマは、前回の撮影画像による眠気判定からの経過時間を示すこととなる。
【００３６】
次にＳ９０で、Ｓ７０で算出した眠気度が閾値を越えているか否かを判定する。ここでの閾値は、眠気度がその値を超えていたら警報を発する数値である。この閾値は予め適切に設定しておけばよい。眠気度が閾値を越えている場合（Ｓ９０：ＹＥＳ）は、Ｓ１００に進み、眠気度が閾値を越えていない場合（Ｓ９０：ＮＯ）は、図２の処理を終了する。
【００３７】
Ｓ１００に進んだらＣＰＵ２０は、運転者の脈波を検出する。この処理は上記Ｓ２０と同様に行えばよい。次にＳ１１０でＣＰＵ２０は、心拍数、血圧を算出する。この処理は上記Ｓ３０と同様に行えばよい。
【００３８】
次にＳ１２０でＣＰＵ２０は、Ｓ１１０で算出された心拍数、血圧が、運転者が覚醒努力をしていないとみなされる数値である（覚醒努力をしていないとみなされる領域内にある）か否かを判定する。具体的にＳ１２０では、心拍数、血圧が、上述の閾値１、閾値２以上であるか否かを判定する。心拍数、血圧が、閾値１、閾値２以上である場合（Ｓ１２０：ＹＥＳ）は、Ｓ１３０に進み、閾値１、閾値２未満である場合（Ｓ１２０：ＮＯ）は、図２の処理を終了する。なおＳ１２０の判定処理は、心拍数が閾値１以上であることと、血圧が閾値２以上であることの、両方が満たされるか否かを判定する処理としてもよいし、いずれか一方が満たされるか否かを判定する処理としてもよい。
【００３９】
Ｓ１３０に進んだらＣＰＵ２０は、運転者に向けて（あるいは車室内に向けて）眠気の警報を出力する。具体的には例えば、運転者が眠気を有していることを示す音声を出力する、ブザーなどの音響を出力する、運転者が眠気を有していることを示す文字、絵柄、図柄をインストルメントパネルの表示装置に表示する、空調装置から冷風を運転者に向けて送る、シートやステアリングを振動させる等（あるいは、以上の組み合わせ）の警報を出力する。
【００４０】
図４には警報出力の例が示されている。同図では、横軸に時間をとって、本発明と従来技術とにおける、（画像解析による）眠気度、心拍数（、血圧）、警報の時間経過の例が示されている。図４に示された従来技術の例では、（画像解析による）眠気度のみによって、警報を出力するか否かを決定している。
【００４１】
本実施例においては、図４において実線Ｈ１で示されているように、これらの警報は警報開始から時間が経過するにつれて強度が大きくなるようにする。つまり、警報開始からの経過時間が長くなる程、運転者が眠気を有していることを示す音声出力や、ブザーなどの音響における音量を大きくする、運転者が眠気を有していることを示す文字、絵柄、図柄の表示を大きくする、又はそれらの表示の色を濃くする、空調装置から冷風の温度を下げる、風量を大きくする、シートやステアリングをより強く振動させる等（あるいは、以上の組み合わせ）とする。警報開始からの時間は計時部２４で計測すればよい。
【００４２】
そして上記のＳ５０においては、図４に実線Ｈ２で示されているように、警報を停止する。あるいは点線Ｈ３で示されているように、警報を低減する。警報を低減する場合は、Ｓ１３０に進んでからの経過時間が長くなる程、運転者が眠気を有していることを示す音声出力や、ブザーなどの音響における音量を小さくする、運転者が眠気を有していることを示す文字、絵柄、図柄の表示を小さくする、又はそれらの表示の色を淡くする、空調装置から冷風の温度を上げる、風量を小さくする、シートやステアリングの振動をより弱くする等（あるいは、以上の組み合わせ）とする。上記経過時間は計時部２４で計測すればよい。以上が図２の処理手順である。
【００４３】
図４には、本発明と従来技術との比較が示されている。従来技術では、警報は一定の強度で（オンオフを繰り返しながら）出力される。一旦警報が出力されたら、短くても眠気度の算出の周期（上記実施例における３０秒）の間は警報は出力し続ける。したがって運転者が努力して眠気を低減させても、そのことで警報は停止も低減もされず、運転者は不快感を感じる可能性がある。また警報は最初から一定の強度でなされるので、警報の開始時に運転者に驚愕反応が生じる可能性がある。
【００４４】
一方本発明では、（画像解析による）眠気度と心拍数（、血圧）との２つの情報を用いて、どちらの数値も眠気の存在を示しているとき（Ｓ９０：ＹＥＳかつＳ１２０：ＹＥＳ）に、警報を出力し始める（図４の時刻ｔ１）。そして、画像解析による眠気度の判定は３０秒後（図４の時刻ｔ３）まで行わないが、その間も、より短い周期で心拍数、血圧の算出は行い続ける。
【００４５】
そして心拍数、血圧が閾値を上回って覚醒努力が増加したとみなされたら（時刻ｔ２）、警報を低減する（点線Ｈ３の場合）、あるいは停止する（実線Ｈ２の場合）。したがって本発明では、運転者が努力して眠気を低減させたら、そのことをただちに警報に反映させるので、運転者は不快感を感じる可能性が小さい。また警報の強度は時刻ｔ１以降、徐々に大きくされるので、警報開始時に運転者に驚愕反応が生じる可能性が小さい。
【００４６】
なお図４では、実線Ｈ１の傾き（の絶対値）よりも点線Ｈ３の傾き（の絶対値）の方を大きくしている。これにより運転者の覚醒努力が増加したら迅速に警報を低減できる効果がある。なお図４では、実線Ｈ１、点線Ｈ３を直線としたが、曲線としてもよい。曲線にする場合、図示上に凸の曲線でも下に凸の曲線でもよい。Ｈ３が下に凸の曲線の場合、眠気の低減の検出が迅速に警報の出力値に反映されるとの効果がある。Ｈ１が下に凸の曲線の場合、警報開始時の運転者の驚愕反応を抑制できる。
【００４７】
また、Ｈ３のように警報の強度を低減する場合、覚醒努力の増加速度（単位時間あたりの眠気度の減少幅）が大きい程、点線Ｈ３の傾きの絶対値を大きくするよう調節してもよい。この場合、覚醒努力が大きく増加するほど警報の強度も大きく低減するとの効果がある。また図４の実線Ｈ１の傾きを、時刻ｔ１で検出された眠気の程度が大きいほど大きくするように変化させてもよい。
【００４８】
次に、上記図２におけるＳ７０での処理内容の詳細が図３に示されているので、以下でこれを説明する。
【００４９】
図３の処理ではまずＳ２００でカメラ３により運転者の画像（以下、撮影画像）を撮影する。次にＳ２１０で、撮影画像に対して画像認識を実行して、さらに顔画像における所定の特徴点（例えば目の両端など）を算出する。そしてＳ２４０で特徴点間の距離などから眠気に関係する特徴量（例えば目の開度など）を算出する。
【００５０】
次にＳ２５０で、運転者の眠気度を算出する。まず、上記で得られた個々の特徴量に対して、眠気度を判定する。この処理の詳細は例えば特開２００９−４５４１８号公報などに示されている。眠気度は、例えば「眠気度０（眠気なし）」、「眠気度１」、・・、「眠気度ｎ（完全に睡眠中）」といったかたちでｎ＋１段階（ｎは任意の整数）とする。そのために、例えば図３の（Ｓ２００からＳ２４０の）処理は運転者の覚醒時も含めて常時行い、個々の特徴量の分布（例えば度数分布）を記憶していき、その分布からｎ＋１段階の眠気度の境界を定める閾値を求めておく。
【００５１】
そしてＳ２５０では、個々の特徴量から算出した眠気度を組み合わせて総合的な眠気度を算出する。個々の眠気度から総合的な眠気度を算出するルールは予め定めておけばよい（例えば、最低（最高）の眠気度を総合的な眠気度とする、全ての眠気度の重みつき平均および四捨五入を総合的な眠気度とする、等）。
【００５２】
なおＳ２５０における眠気度の算出（判定）は、上記Ｓ６０で示された３０秒ごとに実行すればよい。そのために、例えばＳ２１０で求められた特徴点（あるいは、特徴点を用いて算出された眠気度）をメモリ（ＲＡＭ２１、ＥＥＰＲＯＭ２２）に記憶していき、３０秒間蓄積したそれらの情報を総合して総合的な眠気度を算出すればよい（例えば３０秒間蓄積した個々の特徴量ごとに算出される眠気度の、最低値、最高値、重みつき平均および四捨五入、など）。以上が図３である。
【００５３】
上記実施例は本発明の特許請求の範囲に記載された趣旨を逸脱しない範囲内で適宜変更してよい。例えば画像認識において、撮影画像から３次元形状を求める任意の手法を用いてもよい。あるいは３次元形状を求めずに、撮影画像上で特徴点の２次元座標を求めて、それにより眠気度を判定してもよい。
【００５４】
また上記実施例では運転者の脈波を検出し、それから心拍数、血圧を求めたが、本発明はこれに限定しなくともよく、覚醒努力の程度と相関を有する運転者の何らかの生体情報を検出、算出すればよい。
【００５５】
さらに、本発明は、運転者の眠気の情報を複数の方法で取得する一般的な状況すべてに適用され得る。すなわち、複数の方法のうちで、相対的に長い周期で眠気度が検出できる方法を第１の方法とし、相対的に短い周期で覚醒努力が検出できる方法を第２の方法として、少なくとも第１の方法（を含む複数の方法、あるいはすべての方法）によって眠気が検出されたら警報を出力する。これにより警報の出力開始はより精度よく行う。そして第２の方法によって覚醒努力の増加が検出されたら警報を低減する。これにより眠気の低減が検出されたら迅速に反応して、運転者に不快感を与えない。
【００５６】
上記実施例において、Ｓ７０の手順とＣＰＵ２０とが第１検出手段を構成する。Ｓ２０、Ｓ３０の手順とＣＰＵ２０とが第２検出手段を構成する。警報装置５が警報部を構成する。Ｓ１３０の手順とＣＰＵ２０とが警報指令手段を構成する。Ｓ５０の手順とＣＰＵ２０とが警報低減手段を構成する。カメラ３が撮影手段を構成する。Ｓ２１０の手順とＣＰＵ２０とが第１算出手段を構成する。Ｓ２５０の手順とＣＰＵ２０とが第２算出手段を構成する。脈波センサ４が取得手段を構成する。Ｓ３０の手順とＣＰＵ２０とが第３算出手段を構成する。
【符号の説明】
【００５７】
１ 報知システム
２ ドライバモニタＥＣＵ
３ カメラ
４ 脈波センサ
５ 警報装置
【技術分野】
【０００１】
本発明は、報知システムに関する。
【背景技術】
【０００２】
自動車の運転者の居眠り運転などを防止するために、ドライバの状態をカメラで撮影してモニタし、居眠り運転などが検出されたら警報を発するシステムが提案されている。例えば下記特許文献１では、顔の認識処理において、人が顔画像を撮影する画像入力装置に対して移動したり向きを変えなくても精度よく認識が実行できる装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２４３４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の居眠り運転などを防止する警報システムでは、一旦警報を開始すると、予め指定された時間、警報を出力し続けていた。したがって運転者が覚醒の努力をして眠気の度合いが低減した後にも警報が続くこととなっており、運転者が警報システムに対して不満をもつ場合があった。
【０００５】
したがって運転者の眠気が検知されたら警報を出力するシステムにおいて、眠気の度合いが低減したら迅速に警報を低減あるいは停止する機能を備えれば、ユーザが不満を感じない高機能な警報システムが実現できると考えられる。しかし、従来のシステムはそのような機能を備えていない。
【０００６】
そこで本発明が解決しようとする課題は、上記問題点に鑑み、運転者の眠気が検知されたら警報を出力するシステムにおいて、運転者の覚醒努力が増加したら迅速に警報を低減あるいは停止する機能を備えた報知システムを提供することにある。
【課題を解決するための手段及び発明の効果】
【０００７】
上記課題を達成するために、本発明に係る報知システムは、車両の運転者の眠気の程度と相関を有する第１数値を、予め定められた第１周期ごとに周期的に検出する第１検出手段と、前記車両の運転者の覚醒努力の程度と相関を有する第２数値を、前記第１検出手段とは少なくとも部分的には異なる方法により、前記第１周期よりも短い第２周期ごとに周期的に検出する第２検出手段と、前記車両の車室内において警報を出力する警報部と、少なくとも前記第１検出手段が検出した前記第１数値が運転者の眠気を示す数値である場合に前記警報部に警報の出力を指令する警報指令手段と、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の低減を指令する警報低減手段と、を備えたことを特徴とする。
【０００８】
これにより本発明に係る報知システムでは、車両の運転者の眠気度と相関のある第１数値、第２数値を２つの方法により周期的に算出して、少なくとも第１数値が眠気の存在を示す数値であったら警報を出力し、警報出力中に、より短い周期ごとに算出される第２数値が覚醒努力の増加を示したら警報を低減させる。したがって眠気警報中に覚醒努力の増加が検出されたら迅速に反応して警報を低減する報知システムが実現できる。したがって運転者が努力して眠気を低減させても警報に反映されないことからくる不満を運転者が感じることが抑制される。
【０００９】
また前記第１検出手段は、運転者の顔の画像を撮影する撮影手段と、その撮影手段で撮影された顔の画像における複数の部位の相対的な位置関係を示す量である特徴量を算出する第１算出手段と、その第１算出手段により算出された特徴量から運転者の眠気の程度と相関のある第１数値を算出する第２算出手段と、を備えたとしてもよい。
【００１０】
これにより運転者の眠気と相関のある数値のうちで第１数値は、運転者の顔画像を撮影し、撮影された画像を解析して顔の特徴量から算出するので、運転者の顔画像における特徴量から精度よく眠気と相関を有する数値を算出して、それを用いて警報を出力するとともに、その算出の周期の間にもう一方の第２数値により覚醒努力の増加が検出されたら警報を低減する。したがって顔画像の解析により精度よく眠気の検出を行うとともに、別の検出を併置して、それを用いて覚醒努力の増加が検出されたら迅速に警報を低減するので、画像解析による高精度な眠気検出と、覚醒努力の増加による迅速な警報低減との両方を達成する報知システムが実現できる。
【００１１】
また前記第２検出手段は、運転者の所定の生体情報を取得する取得手段と、その取得手段が取得した生体情報から運転者の眠気の程度と相関を有する第２数値を算出する第３算出手段と、を備えたとしてもよい。
【００１２】
これにより運転者の眠気と相関のある数値のうちで第２数値は、運転者の生体情報を検出して、それを用いて算出するので、運転者の生体情報により覚醒努力の増加が検出されたら警報を低減する。したがって相対的に短い周期で検出できる生体情報の利点を用いて、眠気低減による迅速な警報低減を達成する報知システムが実現できる。
【００１３】
また前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の停止を指令するとしてもよい。
【００１４】
これにより車両の運転者の眠気度と相関のある第１数値、第２数値を２つの方法により周期的に算出して、より長い周期ごとに算出される第１数値が眠気の存在を示す数値であったら警報を出力し、警報出力中に、より短い周期ごとに算出される第２数値が覚醒努力の増加を示したら警報を停止させる。したがって眠気警報中に覚醒努力の増加が検出されたら迅速に反応して警報を停止する報知システムが実現できる。したがって運転者が努力して眠気を低減させたら迅速に警報が停止されるので、運転者が不満を感じることが抑制される。
【００１５】
また前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報を単調に低減するように指令するとしてもよい。
【００１６】
これにより車両の運転者の眠気度と相関のある第１数値、第２数値を２つの方法により周期的に算出して、より長い周期ごとに算出される第１数値が眠気の存在を示す数値であったら警報を出力し、警報出力中に、より短い周期ごとに算出される第２数値が覚醒努力の増加を示したら警報を単調に低減させる。したがって眠気警報中に覚醒努力の増加が検出されたら迅速に反応して、警報を単調に低減する報知システムが実現できる。したがって運転者が努力して眠気を低減させたら着実に警報が低減されるので、運転者が不満を感じることが抑制される。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例における報知システムの構成図。
【図２】報知制御処理のフローチャート。
【図３】画像解析による眠気度判定処理のフローチャート。
【図４】本発明と従来技術とにおける、画像解析による眠気度、心拍数（、血圧）、警報強度の時間推移の例を示す図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面を参照しつつ説明する。まず図１は、本発明に係る報知システム１（以下、システム）の装置構成の概略図である。報知システム１は例えば自動車の車両に装備される。
【００１９】
システム１は、ドライバモニタ電子制御装置（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２、カメラ３、脈波センサ４、警報装置５を備える。
【００２０】
ＥＣＵ２は、通常のコンピュータの構造を有するとし、各種演算や情報処理を実行するＣＰＵ２０、ＣＰＵ２０の作業領域としての一時記憶部であるＲＡＭ２１、各種情報を記憶するためのＲＯＭ２２、他の装置との間の情報の入出力のための入出力回路２３（Ｉ／Ｏ）、時間を計測する計時部２４等を備えるとすればよい。なおＲＯＭ２２は記憶内容の消去や書き換えが可能なＥＥＰＲＯＭを含むとする。なお図１はＣＰＵが１つの構成例であるが、本発明はこれに限定されず、例えば後述する図２の処理、図３の処理、心拍数および血圧を算出する処理を分担するＣＰＵ、ＲＡＭ（、ＲＯＭ）の組を備えるとしてもよい。
【００２１】
カメラ３は例えば近赤外線カメラとすればよい。近赤外線カメラは、近赤外領域に感度を有する例えばＣＣＤカメラであり、車室内に設置されて、運転者に対して近赤外線を照射して、その反射光を受光して撮影する。設置場所は運転者の正面の顔画像が撮影できる場所ならばよく、例えばステアリングコラムなどとすればよい。本システムでは、近赤外線カメラで撮影された画像は、モノクロの濃淡画像（グレイスケール画像）として（あるいは変換して）扱えばよい。近赤外線カメラを用いることにより、夜間でも運転者の顔画像が取得できる。
【００２２】
脈波センサ４（光電脈波センサ）は、光電方式により人体の脈拍を検出するセンサであり、例えば車両のステアリングに装備すればよい。その検出原理は以下のとおりである。まず脈波センサから光（電磁波、主に赤外光）を人体に照射し、脈波センサはその反射光（あるいは透過光）を受光する。脈波センサから照射された光を受けた人体では、人体の血流におけるヘモグロビンによって光の吸収作用が起きる。
【００２３】
それにより、人体の血流の脈拍につれて、反射光（あるいは透過光）の強度も脈動することとなる。脈波センサでは、この反射光（あるいは透過光）の強度の脈動を脈波検出回路によって検出することによって、人体の脈拍波形（脈波）を検出する。乗員がステアリングに接触すると、接触した運転者の手に対して以上の原理が働いて脈波が検出される。
【００２４】
警報装置５は、後述する画像処理によって運転者が眠気を有する（眠気の程度が高い）ことが検知された場合に、車室内、あるいは運転者に向けて警報を発する。なお本発明の警報装置５としては、多様な方式で運転者（や乗員）に眠気程度が高いことを報知する装置を用いればよい。例えば、眠気程度が高いことを報知する内容の音声（あるいはブザーなどの音響）による報知でもよい。インストルメントパネルに設置された表示装置に、眠気程度が高いことを報知する内容の文字、絵柄、図柄を表示する報知でもよい。また空調装置から冷風を運転者に向けて送ることによる報知でもよい。運転席やステアリングに振動装置を備えて、振動によって運転者に報知する方式でもよい。
【００２５】
以上の装置構成のもとで、システム１は運転者の眠気度を主に２つの方法で推定（算出）する。第１の方法は、カメラ３で撮影された運転者の顔画像を画像解析して眠気度（と相関を有する数値、具体的には顔面の各種の特徴量）を算出する方法である。第２の方法は、脈波センサ４によって検出された運転者の生体情報（具体的には脈波）を用いて覚醒努力（と相関を有する数値、具体的には心拍数、血圧）を算出する方法である。
【００２６】
第１の方法では、システム１は、画像認識を用いて運転者の顔画像から顔の特徴点の算出処理を行う。画像認識は公知技術であり、その詳細は例えばT.F.Cootes et al.: Active appearance models, Proc. 15th European Conf. Computer Vision, vol.2, pp.484-498 (1998)に説明されている。
【００２７】
第２の方法では、例えばステアリングに装備された脈波センサ４によって検出された脈波から（単位時間あたりの）心拍数、血圧を算出する。心拍数、血圧ともに、眠気時に数値が増加するほど覚醒努力が高い性質があることが知られている。したがって心拍数、血圧は、運転者の覚醒努力の程度と相関のある数値である。脈波から心拍数、血圧を算出する方法は公知であり、例えば特開２００６−２６３３５４号公報、特開２００９−８９８２９号公報などに記載されている。
【００２８】
本実施例では、運転中に、以上の２つの方法で眠気度あるいは覚醒努力（と相関を有する数値）を算出していくが、第１の方法は、第２の方法よりも算出周期が長い性質がある。そこで第１、第２の方法の組み合わせにより眠気が検出されたら警報部５から警報を出力し、周期の短い第２の方法で覚醒努力の増加が検出されたら迅速に警報を低減する。
【００２９】
これにより覚醒努力をしているのに警報が変化しないことからくる不快感を運転者がもつことが抑制される。その具体的な処理手順が図２に示されている。図２（および後述する図３）の処理手順は予めプログラム化されて、例えばＲＯＭ２２に記憶しておき、ＣＰＵ２０が自動的にそれを実行するとすればよい。
【００３０】
図２の処理手順では、まずＳ１０でＣＰＵ２０は、警報装置５が眠気警報を出力中であるか否かを判定する。眠気警報を出力中である場合（Ｓ１０：ＹＥＳ）は、Ｓ２０に進み、眠気警報を出力中でない場合（Ｓ１０：ＮＯ）は、Ｓ６０に進む。Ｓ２０に進んだらＣＰＵ２０は、脈波センサ４を用いて運転者の脈波を検出する。続いてＳ３０でＣＰＵ２０は、Ｓ２０で取得された脈波から、公知の方法により運転者の（単位時間あたりの）心拍数、血圧の数値を算出する。
【００３１】
続いてＳ４０でＣＰＵ２０は、Ｓ３０で算出された心拍数、血圧が、運転者が眠気を有しているとみなされる数値である（眠気を有しているとみなされる領域内にある）か否かを判定する。上述のとおり、心拍数、血圧はともに数値が増加する程、覚醒努力の程度が高い性質がある。したがってＳ４０では、心拍数、血圧が、それぞれに対して設定された覚醒努力の有無の判定のための閾値未満であるか否かを判定する。
【００３２】
その判定で用いられる閾値は、心拍数がその数値未満ならば運転者が覚醒努力をしていないとみなされる数値（閾値１）、および血圧がその数値未満ならば運転者が覚醒努力をしていないとみなされる数値（閾値２）である。この２つの閾値は予め適切に設定しておけばよい。心拍数、血圧が、それぞれに対して設定された眠気あるいは覚醒努力の有無の判定のための閾値未満である場合（Ｓ４０：ＹＥＳ）は、Ｓ５０に進み、閾値以上である場合（Ｓ４０：ＮＯ）は、Ｓ６０に進む。なおＳ４０の判定処理は、心拍数が閾値１未満であることと、血圧が閾値２未満であることの、両方が満たされるか否かを判定する処理としてもよいし、いずれか一方が満たされるか否かを判定する処理としてもよい。
【００３３】
Ｓ５０に進んだらＣＰＵ２０は、眠気警報を低減あるいは停止する。この処理の詳細は後述する。
【００３４】
Ｓ６０に進んだらＣＰＵ２０は、タイマが示す時間が３０秒であるか否かを判定する。この判定処理は、本システムにおいては運転者の撮影画像による眠気判定（上記の第１の方法）が３０秒ごとに行われることに関係する。タイマが示す時間は、前回の撮影画像による眠気判定からの経過時間である。タイマは計時部２４により構成すればよい。なお脈波センサ４による脈波の検出、さらには心拍数、血圧の算出は、３０秒よりも短い周期（例えば１秒周期）で実行できる。図２のフローチャートは、脈波センサ４による脈波の検出、さらには心拍数、血圧の算出の周期と同じ周期で繰り返し実行すればよい。
【００３５】
次にＳ７０でＣＰＵ２０は、撮影画像により眠気度を推定（算出）する。Ｓ７０での算出手順の詳細は図３に示されており、後で説明する。続いてＳ８０でＣＰＵ２０はタイマをリセットする。これによりタイマは、前回の撮影画像による眠気判定からの経過時間を示すこととなる。
【００３６】
次にＳ９０で、Ｓ７０で算出した眠気度が閾値を越えているか否かを判定する。ここでの閾値は、眠気度がその値を超えていたら警報を発する数値である。この閾値は予め適切に設定しておけばよい。眠気度が閾値を越えている場合（Ｓ９０：ＹＥＳ）は、Ｓ１００に進み、眠気度が閾値を越えていない場合（Ｓ９０：ＮＯ）は、図２の処理を終了する。
【００３７】
Ｓ１００に進んだらＣＰＵ２０は、運転者の脈波を検出する。この処理は上記Ｓ２０と同様に行えばよい。次にＳ１１０でＣＰＵ２０は、心拍数、血圧を算出する。この処理は上記Ｓ３０と同様に行えばよい。
【００３８】
次にＳ１２０でＣＰＵ２０は、Ｓ１１０で算出された心拍数、血圧が、運転者が覚醒努力をしていないとみなされる数値である（覚醒努力をしていないとみなされる領域内にある）か否かを判定する。具体的にＳ１２０では、心拍数、血圧が、上述の閾値１、閾値２以上であるか否かを判定する。心拍数、血圧が、閾値１、閾値２以上である場合（Ｓ１２０：ＹＥＳ）は、Ｓ１３０に進み、閾値１、閾値２未満である場合（Ｓ１２０：ＮＯ）は、図２の処理を終了する。なおＳ１２０の判定処理は、心拍数が閾値１以上であることと、血圧が閾値２以上であることの、両方が満たされるか否かを判定する処理としてもよいし、いずれか一方が満たされるか否かを判定する処理としてもよい。
【００３９】
Ｓ１３０に進んだらＣＰＵ２０は、運転者に向けて（あるいは車室内に向けて）眠気の警報を出力する。具体的には例えば、運転者が眠気を有していることを示す音声を出力する、ブザーなどの音響を出力する、運転者が眠気を有していることを示す文字、絵柄、図柄をインストルメントパネルの表示装置に表示する、空調装置から冷風を運転者に向けて送る、シートやステアリングを振動させる等（あるいは、以上の組み合わせ）の警報を出力する。
【００４０】
図４には警報出力の例が示されている。同図では、横軸に時間をとって、本発明と従来技術とにおける、（画像解析による）眠気度、心拍数（、血圧）、警報の時間経過の例が示されている。図４に示された従来技術の例では、（画像解析による）眠気度のみによって、警報を出力するか否かを決定している。
【００４１】
本実施例においては、図４において実線Ｈ１で示されているように、これらの警報は警報開始から時間が経過するにつれて強度が大きくなるようにする。つまり、警報開始からの経過時間が長くなる程、運転者が眠気を有していることを示す音声出力や、ブザーなどの音響における音量を大きくする、運転者が眠気を有していることを示す文字、絵柄、図柄の表示を大きくする、又はそれらの表示の色を濃くする、空調装置から冷風の温度を下げる、風量を大きくする、シートやステアリングをより強く振動させる等（あるいは、以上の組み合わせ）とする。警報開始からの時間は計時部２４で計測すればよい。
【００４２】
そして上記のＳ５０においては、図４に実線Ｈ２で示されているように、警報を停止する。あるいは点線Ｈ３で示されているように、警報を低減する。警報を低減する場合は、Ｓ１３０に進んでからの経過時間が長くなる程、運転者が眠気を有していることを示す音声出力や、ブザーなどの音響における音量を小さくする、運転者が眠気を有していることを示す文字、絵柄、図柄の表示を小さくする、又はそれらの表示の色を淡くする、空調装置から冷風の温度を上げる、風量を小さくする、シートやステアリングの振動をより弱くする等（あるいは、以上の組み合わせ）とする。上記経過時間は計時部２４で計測すればよい。以上が図２の処理手順である。
【００４３】
図４には、本発明と従来技術との比較が示されている。従来技術では、警報は一定の強度で（オンオフを繰り返しながら）出力される。一旦警報が出力されたら、短くても眠気度の算出の周期（上記実施例における３０秒）の間は警報は出力し続ける。したがって運転者が努力して眠気を低減させても、そのことで警報は停止も低減もされず、運転者は不快感を感じる可能性がある。また警報は最初から一定の強度でなされるので、警報の開始時に運転者に驚愕反応が生じる可能性がある。
【００４４】
一方本発明では、（画像解析による）眠気度と心拍数（、血圧）との２つの情報を用いて、どちらの数値も眠気の存在を示しているとき（Ｓ９０：ＹＥＳかつＳ１２０：ＹＥＳ）に、警報を出力し始める（図４の時刻ｔ１）。そして、画像解析による眠気度の判定は３０秒後（図４の時刻ｔ３）まで行わないが、その間も、より短い周期で心拍数、血圧の算出は行い続ける。
【００４５】
そして心拍数、血圧が閾値を上回って覚醒努力が増加したとみなされたら（時刻ｔ２）、警報を低減する（点線Ｈ３の場合）、あるいは停止する（実線Ｈ２の場合）。したがって本発明では、運転者が努力して眠気を低減させたら、そのことをただちに警報に反映させるので、運転者は不快感を感じる可能性が小さい。また警報の強度は時刻ｔ１以降、徐々に大きくされるので、警報開始時に運転者に驚愕反応が生じる可能性が小さい。
【００４６】
なお図４では、実線Ｈ１の傾き（の絶対値）よりも点線Ｈ３の傾き（の絶対値）の方を大きくしている。これにより運転者の覚醒努力が増加したら迅速に警報を低減できる効果がある。なお図４では、実線Ｈ１、点線Ｈ３を直線としたが、曲線としてもよい。曲線にする場合、図示上に凸の曲線でも下に凸の曲線でもよい。Ｈ３が下に凸の曲線の場合、眠気の低減の検出が迅速に警報の出力値に反映されるとの効果がある。Ｈ１が下に凸の曲線の場合、警報開始時の運転者の驚愕反応を抑制できる。
【００４７】
また、Ｈ３のように警報の強度を低減する場合、覚醒努力の増加速度（単位時間あたりの眠気度の減少幅）が大きい程、点線Ｈ３の傾きの絶対値を大きくするよう調節してもよい。この場合、覚醒努力が大きく増加するほど警報の強度も大きく低減するとの効果がある。また図４の実線Ｈ１の傾きを、時刻ｔ１で検出された眠気の程度が大きいほど大きくするように変化させてもよい。
【００４８】
次に、上記図２におけるＳ７０での処理内容の詳細が図３に示されているので、以下でこれを説明する。
【００４９】
図３の処理ではまずＳ２００でカメラ３により運転者の画像（以下、撮影画像）を撮影する。次にＳ２１０で、撮影画像に対して画像認識を実行して、さらに顔画像における所定の特徴点（例えば目の両端など）を算出する。そしてＳ２４０で特徴点間の距離などから眠気に関係する特徴量（例えば目の開度など）を算出する。
【００５０】
次にＳ２５０で、運転者の眠気度を算出する。まず、上記で得られた個々の特徴量に対して、眠気度を判定する。この処理の詳細は例えば特開２００９−４５４１８号公報などに示されている。眠気度は、例えば「眠気度０（眠気なし）」、「眠気度１」、・・、「眠気度ｎ（完全に睡眠中）」といったかたちでｎ＋１段階（ｎは任意の整数）とする。そのために、例えば図３の（Ｓ２００からＳ２４０の）処理は運転者の覚醒時も含めて常時行い、個々の特徴量の分布（例えば度数分布）を記憶していき、その分布からｎ＋１段階の眠気度の境界を定める閾値を求めておく。
【００５１】
そしてＳ２５０では、個々の特徴量から算出した眠気度を組み合わせて総合的な眠気度を算出する。個々の眠気度から総合的な眠気度を算出するルールは予め定めておけばよい（例えば、最低（最高）の眠気度を総合的な眠気度とする、全ての眠気度の重みつき平均および四捨五入を総合的な眠気度とする、等）。
【００５２】
なおＳ２５０における眠気度の算出（判定）は、上記Ｓ６０で示された３０秒ごとに実行すればよい。そのために、例えばＳ２１０で求められた特徴点（あるいは、特徴点を用いて算出された眠気度）をメモリ（ＲＡＭ２１、ＥＥＰＲＯＭ２２）に記憶していき、３０秒間蓄積したそれらの情報を総合して総合的な眠気度を算出すればよい（例えば３０秒間蓄積した個々の特徴量ごとに算出される眠気度の、最低値、最高値、重みつき平均および四捨五入、など）。以上が図３である。
【００５３】
上記実施例は本発明の特許請求の範囲に記載された趣旨を逸脱しない範囲内で適宜変更してよい。例えば画像認識において、撮影画像から３次元形状を求める任意の手法を用いてもよい。あるいは３次元形状を求めずに、撮影画像上で特徴点の２次元座標を求めて、それにより眠気度を判定してもよい。
【００５４】
また上記実施例では運転者の脈波を検出し、それから心拍数、血圧を求めたが、本発明はこれに限定しなくともよく、覚醒努力の程度と相関を有する運転者の何らかの生体情報を検出、算出すればよい。
【００５５】
さらに、本発明は、運転者の眠気の情報を複数の方法で取得する一般的な状況すべてに適用され得る。すなわち、複数の方法のうちで、相対的に長い周期で眠気度が検出できる方法を第１の方法とし、相対的に短い周期で覚醒努力が検出できる方法を第２の方法として、少なくとも第１の方法（を含む複数の方法、あるいはすべての方法）によって眠気が検出されたら警報を出力する。これにより警報の出力開始はより精度よく行う。そして第２の方法によって覚醒努力の増加が検出されたら警報を低減する。これにより眠気の低減が検出されたら迅速に反応して、運転者に不快感を与えない。
【００５６】
上記実施例において、Ｓ７０の手順とＣＰＵ２０とが第１検出手段を構成する。Ｓ２０、Ｓ３０の手順とＣＰＵ２０とが第２検出手段を構成する。警報装置５が警報部を構成する。Ｓ１３０の手順とＣＰＵ２０とが警報指令手段を構成する。Ｓ５０の手順とＣＰＵ２０とが警報低減手段を構成する。カメラ３が撮影手段を構成する。Ｓ２１０の手順とＣＰＵ２０とが第１算出手段を構成する。Ｓ２５０の手順とＣＰＵ２０とが第２算出手段を構成する。脈波センサ４が取得手段を構成する。Ｓ３０の手順とＣＰＵ２０とが第３算出手段を構成する。
【符号の説明】
【００５７】
１ 報知システム
２ ドライバモニタＥＣＵ
３ カメラ
４ 脈波センサ
５ 警報装置
【特許請求の範囲】
【請求項１】
車両の運転者の眠気の程度と相関を有する第１数値を、予め定められた第１周期ごとに周期的に検出する第１検出手段と、
前記車両の運転者の覚醒努力の程度と相関を有する第２数値を、前記第１検出手段とは少なくとも部分的には異なる方法により、前記第１周期よりも短い第２周期ごとに周期的に検出する第２検出手段と、
前記車両の車室内において警報を出力する警報部と、
少なくとも前記第１検出手段が検出した前記第１数値が運転者の眠気を示す数値である場合に前記警報部に警報の出力を指令する警報指令手段と、
前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の低減を指令する警報低減手段と、
を備えたことを特徴とする報知システム。
【請求項２】
前記第１検出手段は、
運転者の顔の画像を撮影する撮影手段と、
その撮影手段で撮影された顔の画像における複数の部位の相対的な位置関係を示す量である特徴量を算出する第１算出手段と、
その第１算出手段により算出された特徴量から運転者の眠気の程度と相関のある第１数値を算出する第２算出手段と、
を備えた請求項１に記載の報知システム。
【請求項３】
前記第２検出手段は、
運転者の所定の生体情報を取得する取得手段と、
その取得手段が取得した生体情報から運転者の覚醒努力の程度と相関を有する第２数値を算出する第３算出手段と、
を備えた請求項１又は２に記載の報知システム。
【請求項４】
前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の停止を指令する請求項１乃至３のいずれか１項に記載の報知システム。
【請求項５】
前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報を単調に低減するように指令する請求項１乃至３のいずれか１項に記載の報知システム。
【請求項１】
車両の運転者の眠気の程度と相関を有する第１数値を、予め定められた第１周期ごとに周期的に検出する第１検出手段と、
前記車両の運転者の覚醒努力の程度と相関を有する第２数値を、前記第１検出手段とは少なくとも部分的には異なる方法により、前記第１周期よりも短い第２周期ごとに周期的に検出する第２検出手段と、
前記車両の車室内において警報を出力する警報部と、
少なくとも前記第１検出手段が検出した前記第１数値が運転者の眠気を示す数値である場合に前記警報部に警報の出力を指令する警報指令手段と、
前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の低減を指令する警報低減手段と、
を備えたことを特徴とする報知システム。
【請求項２】
前記第１検出手段は、
運転者の顔の画像を撮影する撮影手段と、
その撮影手段で撮影された顔の画像における複数の部位の相対的な位置関係を示す量である特徴量を算出する第１算出手段と、
その第１算出手段により算出された特徴量から運転者の眠気の程度と相関のある第１数値を算出する第２算出手段と、
を備えた請求項１に記載の報知システム。
【請求項３】
前記第２検出手段は、
運転者の所定の生体情報を取得する取得手段と、
その取得手段が取得した生体情報から運転者の覚醒努力の程度と相関を有する第２数値を算出する第３算出手段と、
を備えた請求項１又は２に記載の報知システム。
【請求項４】
前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報の停止を指令する請求項１乃至３のいずれか１項に記載の報知システム。
【請求項５】
前記警報低減手段は、前記警報部が警報を出力している状態で、前記第２検出手段が検出した前記第２数値が覚醒努力の増加を示す数値である場合に、前記警報部に警報を単調に低減するように指令する請求項１乃至３のいずれか１項に記載の報知システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−９３８６７（Ｐ２０１２−９３８６７Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２３９２７９（Ｐ２０１０−２３９２７９）
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２６日（２０１０．１０．２６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]