居眠り警告装置及び自動車
【課題】居眠りを確実に検出し、運転者に警告することが可能な居眠り警告装置を提供すること。
【解決手段】運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、変化態様データ取得手段により取得された変化態様データと記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段とを備えたことを特徴とする居眠り警告装置。
【解決手段】運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、変化態様データ取得手段により取得された変化態様データと記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段とを備えたことを特徴とする居眠り警告装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、居眠り警告装置及び自動車に関する。
【背景技術】
【０００２】
従来から、居眠り運転を防止するために、運転前に疲労を回復しておく等の事前の取り組みを運転者が各自で行うことが必要とされている。このような取り組みは、実際に眠気が発生する前段階に行うものであり、運転者に依存するものである。また、事前に取り組みを行っていても、眠気が発生する場合もある。
【０００３】
実際に眠気が発生した場合に、居眠り運転を防止するために、従来、まばたきや眼球の動作に基づいて居眠り運転であるか否かを判定し、運転者に対して警告を行う装置が存在する（例えば、特許文献１〜４参照）。
【０００４】
【特許文献１】特開平７−９３７００号公報
【特許文献２】特開平８−１４７５８４号公報
【特許文献３】特開平１１−３０４４２８号公報
【特許文献４】特開２００６−１９３０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、まばたきや眼球の動作は、移動量が比較的少ないため、特許文献１〜４の装置では、その移動量を検出することができない場合があるといった問題があった。また、運転者が、眼鏡をかけている場合には、外部からの光の反射により、誤検出が多発するおそれがあった。また、車内が暗い場合には、眼の位置自体を検出できないといった問題があった。そのため、居眠り運転を確実に認識し、運転者に警告することができないといった問題があった。
【０００６】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、居眠りを確実に検出し、運転者に警告することが可能な居眠り警告装置及び自動車を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、以下のようなものを提供する。
（１） 運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、
上記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
上記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
上記変化態様データ取得手段により取得された変化態様データと上記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
上記判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。
【０００８】
（１）の発明によれば、撮像手段（例えば、モニターカメラ）により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データする。そして、この変化態様データと、予め記憶されている、変化態様データとの比較対象となる動作パターンデータ（例えば、まばたき、眼球の動作、頭部の上下動を含む動作パターンを示すデータ）とに基づいて、変化態様データが所定の条件を満たすか否かを判断し、所定の条件を満たすと判断されたとき、運転者に警告をするための処理が行われる。まばたきや眼球の動作だけではなく、これらを含む少なくとも頭部の動作にも基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、まばたきや眼球の動作が検出できないとき（例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき）には、例えば、まばたきや眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
【０００９】
さらに、本発明は、以下のようなものを提供する。
（２） 上記（１）の居眠り警告装置であって、
警告の解除を入力することが可能な解除入力手段と、
上記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする。
【００１０】
（２）の発明によれば、警告の解除入力があった場合に、警告を中止するため、運転者は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。
【００１１】
さらに、本発明は、以下のようなものを提供する。
（３） 制動手段を備えた乗り物に設けられた上記（１）又は（２）の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、上記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段
を備えたことを特徴とする。
【００１２】
（３）の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、乗り物を減速又は停止させる信号を出力するため、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。
【００１３】
さらに、本発明は、以下のようなものを提供する。
（４） 上記（３）の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う報知手段
を備えたことを特徴とする。
【００１４】
（４）の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う（例えば、自動車のハザードランプを点滅させる処理を行う）ため、外部の者（例えば、後続車の運転者）は、該乗り物の動きに注意を払うことができ、追突してしまう等の二次災害を防止することか可能になる。
【００１５】
さらに、本発明は、以下のようなものを提供する。
（５） 上記（１）〜（４）のいずれか１の居眠り警告装置であって、
前記警告手段は、居眠りの期間に応じた警告をするための処理を行うことを特徴とする。
【００１６】
（５）の発明によれば、居眠りの期間に応じた警告をする（例えば、１０秒居眠りした場合に、５秒居眠りした場合よりも大きな警告音を発する）ための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。
【００１７】
さらに、本発明は、以下のようなものを提供する。
（６） 上記（１）〜（５）のいずれか１の居眠り警告装置を備えたことを特徴とする自動車。
【００１８】
（６）の発明によれば、自動車を運転する運転者に居眠りを警告することができる。
【発明の効果】
【００１９】
本発明によれば、居眠りを確実に検出し、運転者に警告することが可能になる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施形態について図面に基づいて説明する。
図１は、本発明の一実施形態に係る自動車を模式的に示す側面図である。
図２は、図１に示した自動車の上面図である。なお、図２では、車内の様子を把握できるように屋根を省略して記載している。
自動車５０には、居眠り警告装置１０が備えられている。居眠り警告装置１０は、制御部１２と、モニタカメラ２２と、確認ボタン２４とを備えている。図２に示すように、モニタカメラ２２は、ダッシュボード５６の手前に設けられたステアリングホイール５２の上部に設けられており、運転者の顔面を含む頭部を撮像する。モニタカメラ２２により撮像して得られた映像データは、制御部１２に送信される。そして、この映像データは、オプティカルフローデータに変換され、このオプティカルフローデータが解析されることにより、運転者が居眠りしているか否かが判断される。具体的には、映像データから変換されたオプティカルフローデータが後述する居眠り判定用動作パターンデータ（図４参照）と一致するか否かを判断することにより、運転者が居眠りしているか否かが判断される。なお、オプティカルフローについては後に詳述する。運転者が居眠りをしていると判断されると、スピーカ（図３参照）から警告音が出力される。確認ボタン２４は、ステアリングホイール５２の下部に設けられており、運転者がこの確認ボタン２４を操作することにより警告音の出力が中止される。確認ボタン２４は、本発明の解除入力手段に相当するものである。
【００２１】
図３は、図１に示した居眠り警告装置の内部構成を模式的に示すブロック図である。
居眠り警告装置１０は、ＣＰＵ１４とＲＯＭ１６とＲＡＭ１８とを備えている。
ＲＯＭ１６は、不揮発性メモリであり、ＣＰＵ１４によって実行されるプログラムや、ＣＰＵ１４が処理を行う際に用いられるデータ等を記憶している。また、ＲＯＭ１６は、居眠り判定用動作パターンデータ（図４参照）を記憶している。ＲＯＭ１６は、本発明の記憶手段に相当する。ＲＡＭ１８は、揮発性メモリであり、ＣＰＵ１４の処理結果等に応じたデータを一時的に記憶する。
【００２２】
ＣＰＵ１４には、スピーカ２０とモニタカメラ２２と確認ボタン２４とが接続されている。
モニタカメラ２２は、運転者を撮像し、撮像して得られた映像データをＣＰＵ１４に送信する。モニタカメラ２２は、撮像手段として機能するものである。ＣＰＵ１４は、モニタカメラ２２から受信した映像データに基づいて後述するオプティカルフローを算出し、オプティカルフローデータを取得する。オプティカルフローデータは、本発明における変化態様データに相当する。
【００２３】
スピーカ２０は、警告音や警告メッセージを出力するためのものである。ＣＰＵ１４は、オプティカルフローデータに基づいて、運転者が居眠りしているか否かを判断し、居眠りしていると判断した場合には、警告音や警告メッセージをスピーカ２０に出力させる。このとき、５秒間以上、運転者が居眠りをしていると判断した場合には、レベル１の警告を行い、さらにその後５秒間以上、運転者が居眠りしていると判断した場合には、レベル２の警告を行う。そして、さらにその後５秒間以上、運転者が居眠りしていると判断した場合には、レベル３の警告を行う。なお、本実施形態では、レベル１の警告は、所定の音量の警告音（例えば、「ピ、ピ、ピ、ピ・・・」）をスピーカ２０から出力することであり、レベル２の警告は、レベル１の警告時よりも大きな音量の警告音をスピーカ２０から出力することであり、レベル３の警告は、レベル２の警告時よりも大きな音量の警告音とともに、警告メッセージ（例えば、「危険です」）をスピーカから出力することである。なお、本発明において、警告は、居眠りと判断される期間に応じた警告を行うのであれば、この例に限定されず、シートやステアリングホイールに微弱な電流を流すこととしてもよく、自動車が備えるエアーコンディショナーから風（例えば、冷風）を送出することとしてもよい。
【００２４】
確認ボタン２４は、運転者により操作されることにより警告中止要求信号を出力する。ＣＰＵ１４は、この警告中止要求信号を受信すると、スピーカ２０からの警告音、警告メッセージの出力を中止する。
【００２５】
ＣＰＵ１４には、通信用インターフェイス２６を介してブレーキ装置７０とランプ点灯制御装置８０とが接続されている。ＣＰＵ１４は、１５秒以上運転者が居眠りをしていると判断した場合に、ブレーキ装置７０に対して自動車５０を停止させるための停止信号を送信する。また、ＣＰＵ１４は、１５秒以上運転者が居眠りをしていると判断した場合に、ランプ点灯制御装置８０に対してハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。
【００２６】
図４は、居眠り判定用動作パターンデータの一例を示す図である。
居眠り判定用動作パターンデータは、運転者が居眠り運転をしていると判断するための動作パターンを示すデータであり、図４に示すように、眼球動作パターンデータと頭部動作パターンデータとが含まれる。眼球動作パターンデータは、運転者の眼球の左右動作を示すデータであり、運転者が左右確認を行った際の眼球の動きをオプティカルフローデータとしたものである。頭部動作パターンデータは、運転者の頭部の上下動作を示すデータであり、運転者が居眠りした際に起こり得る頭部のゆれをオプティカルフローデータとしたものである。眼球動作パターンデータ及び頭部動作パターンデータは、本発明における、オプティカルフローデータとの比較対象となる動作パターンデータである。
以下では、図５を用いて、眼球動作パターンデータＡに係るオプティカルフローについて説明し、図６を用いて、頭部動作パターンデータＡに係るオプティカルフローについて説明する。
【００２７】
図５は、眼球動作に係るオプティカルフローを説明するための図である。
オプティカルフローとは、画像中の各画素間の速度ベクトルである。オプティカルフローを算出する方法としては、まず、第一の画像内において、複数の画素から構成される画素ブロックを事前に設定する。次に、第一の画像に続く第二の画像内において、この画素ブロックを検出する。そして、この二つの画像内の各画素ブロックの移動を検出する。これにより、モニタカメラ２２の撮像領域内における物体のオプティカルフローを算出することができる。
【００２８】
図５（ａ）の左側の図は、モニタカメラ２２により撮像された運転者の様子を示す図である。
図５（ａ）の左側の図に示すように、モニタカメラ２２により得られる画像には、運転者６０の頭部を正面から撮像した様子が映し出されている。
図５（ａ）の右側の図は、図５（ａ）の左側の図の状態であるときのオプティカルフローを示す図である。
モニタカメラ２２は、０．２秒ごとに映像データを処理端末１０に送信する。そして、処理端末１０は、送信されてくる各映像データから、０．２秒ごとにオプティカルフローを算出する。図５（ａ）の右側の図では、オプティカルフローが得られていない。これは、０．２秒前から現在まで、画像に変化がなかったことを示している。
【００２９】
図５（ｂ）の左側の図は、図５（ａ）の右側の図の状態から０．２秒後の様子を示す図であり、図５（ａ）の右側の図は、図５（ｂ）の左側の図の状態であるときのオプティカルフローを示す図である。
図５（ｂ）の左側の図では、図５（ａ）の左側の図の状態から人物６０の眼球が右側に移動している以外は、図５（ａ）の左側の図と同じである。
図５（ｂ）の右側の図では、人物６０の眼球部分の各画素ブロックＰ（Ｐ１、Ｐ２）が右側に移動したことを示すオプティカルフローが得られている。これは、０．２秒前（図５（ａ）の左側の図の状態）から現在（図５（ｂ）の左側の図の状態）までの間に、各画素ブロックＰが右側に移動したことを示している。このオプティカルフローを示すデータは、眼球動作パターンデータＡに相当する。
【００３０】
図６は、頭部動作に係るオプティカルフローを説明するための図である。
図６（ａ）の左側の図は、モニタカメラ２２により撮像された運転者の様子を示す図であり、図６（ａ）の右側の図は、図６（ａ）の左側の図の状態であるときのオプティカルフローを示す図である。
図６（ａ）の左側の図に示すように、モニタカメラ２２により得られる画像には、運転者６０の頭部を正面から撮像した様子が映し出されている。また、図６（ａ）の右側の図では、オプティカルフローが得られていない。これは、０．２秒前から現在まで、画像に変化がなかったことを示している。
【００３１】
図６（ｂ）の左側の図は、図６（ａ）の右側の図の状態から０．２秒後の様子を示す図であり、図６（ａ）の右側の図は、図６（ｂ）の左側の図の状態であるときのオプティカルフローを示す図である。
図６（ｂ）の左側の図では、図６（ａ）の左側の図の状態から人物６０の頭部が手前下側側に移動している以外は、図６（ａ）の左側の図と同じである。
図６（ｂ）の右側の図では、人物の頭頂部付近の各画素ブロックＰ（Ｐ１０〜Ｐ１４）が下側且つ外側に広がるベクトルが示されている。このオプティカルフローを示すデータは、頭部動作パターンデータＡに相当する。
【００３２】
図７は、図１に示した自動車が備えるブレーキ装置の内部構成を模式的に示すブロック図である。
ブレーキ装置７０では、ブレーキペダル７２がホイルシリンダ７３に接続され、ホイルシリンダ７３にはブレーキ７５が接続されている。ホイルシリンダ７３では、運転者６０のブレーキペダル７２の踏み込み操作に応じてブレーキ液圧が発生する。ブレーキ７５は、ブレーキ液圧に応じた制動力を発生させる。
【００３３】
ブレーキ装置７０は、ブレーキ制御装置７４とブレーキ制御装置７４に接続されたブレーキアクチュエータ７８とを備えており、ブレーキアクチュエータ７８は、ホイルシリンダ７３に接続されている。ブレーキ制御装置７４は、通信用インターフェイス７６を介して居眠り警告装置１０に接続されていて、居眠り警告装置１０から停止信号を受信すると、ブレーキアクチュエータ７８を動作させてホイルシリンダ７３にブレーキ液圧を発生させる。ブレーキ装置７０は、本発明における制動手段に相当する。
【００３４】
図８は、居眠り警告装置において実行される居眠り判定処理のサブルーチンを示すフローチャートである。
まず、ＣＰＵ１４は、エンジンが始動すると、モーションキャプチャを開始する（ステップＳ１０）。この処理において、ＣＰＵ１４は、モニタカメラ２２による撮像を開始し、得られる映像データからオプティカルフローデータを取得する。なお、モーションキャプチャは、エンジンが停止するまで、繰り返し実行される。ＣＰＵ１４は、モニタカメラ２２により撮像して得られた映像データから、オプティカルフローデータを取得する変化態様データ取得手段として機能する。
【００３５】
次に、ステップＳ１２において、ＣＰＵ１４は、経過時間ｔ＝０をセットし、経過時間ｔの計時を開始する。ステップＳ１２の処理を実行するとき、ＣＰＵ１４は、計測手段として機能する。
次に、ステップＳ１４において、ＣＰＵ１４は、後述する警告処理を実行し、本サブルーチンを終了する。
【００３６】
図９は、居眠り警告装置において実行される警告処理のサブルーチンを示すフローチャートである。
まず、ＣＰＵ１４は、取得したオプティカルフローデータ（ステップＳ１０参照）がＲＯＭ１６に記憶されている眼球動作パターンデータ（図４参照）のいずれかと一致するか否かを判断する（ステップＳ２０）。オプティカルフローデータが眼球動作パターンデータのいずれにも一致しないと判断された場合、ＣＰＵ１４は、経過時間ｔが５秒以上であるか否かを判断する（ステップＳ２２）。経過時間ｔが５秒以上であると判断した場合、ＣＰＵ１４は、取得したオプティカルフローデータが、ＲＯＭ１６に記憶されている頭部動作パターンデータ（図４参照）のいずれかと一致するか否かを判断する（ステップＳ２４）。なお、本明細書中、オプティカルフローデータと動作パターンデータ（眼球動作パターンデータ、頭部動作パターンデータ）とが一致するとは、所定の処理により数値化したオプティカルフローデータと動作パターンデータとの値が所定の範囲内にある（類似度が高い）場合を含む。ステップＳ２０及びステップＳ２４の処理を実行するとき、ＣＰＵ１４は、判断手段として機能する。
【００３７】
ステップＳ２４において取得したオプティカルフローデータが頭部動作パターンデータのいずれかと一致すると判断した場合、ＣＰＵ１４は、経過時間ｔが１０秒以上であるか否かを判断する（ステップＳ２６）。経過時間ｔが１０秒以上ではないと判断した場合、ＣＰＵ１４は、レベル１の警告（スピーカ２０からの警告音の出力）を行う（ステップＳ３０）。一方、経過時間ｔが１０秒以上であると判断した場合、ＣＰＵ１４は、経過時間ｔが１５秒以上であるか否かを判断する（ステップＳ２８）。経過時間ｔが１５秒以上ではないと判断した場合、ＣＰＵ１４は、レベル２の警告（レベル１よりも大きな音量でのスピーカ２０からの警告音の出力）を行う（ステップＳ３２）。経過時間ｔが１５秒以上であると判断した場合、ＣＰＵ１４は、レベル３の警告（レベル２よりも大きな音量の警告音と所定の警告メッセージとのスピーカ２０からの出力）を行う（ステップＳ３４）。ステップＳ３０、ステップＳ３２又はステップＳ３４の処理を実行するとき、ＣＰＵ１４は、警告手段として機能する。
【００３８】
ステップＳ３０、ステップＳ３２又はステップＳ３４の処理の後、ＣＰＵ１４は、確認入力があったか否かを判断する。この処理において、ＣＰＵ１４は、確認ボタン２４が操作されることにより出力される警告中止要求信号を受信したか否かを判断する。確認入力があったと判断した場合、ＣＰＵ１４は、スピーカ２０からの警告音（及び警告メッセージ）の出力を中止し（ステップＳ４６）、処理をステップＳ４８に移す。ステップＳ４６の処理を実行するとき、ＣＰＵ１４は、警告中止手段として機能する。
【００３９】
ステップＳ２０においてオプティカルフローデータが眼球動作パターンデータのいずれかに一致すると判断した場合、ステップＳ２４においてオプティカルフローデータが頭部動作パターンデータのいずれにも一致しないと判断した場合、又は、ステップＳ４６の処理の後、ＣＰＵ１４は、経過時間ｔをｔ＝０にし（ステップＳ４８）、本サブルーチンを終了する。
【００４０】
ステップＳ３６において確認入力がなかったと判断した場合、ＣＰＵ１４は、レベル３の警告中であるか否かを判断する（ステップＳ３８）。レベル３の警告中ではない場合、本サブルーチンを終了する。一方、レベル３の警告中であると判断した場合、ＣＰＵ１４は、ブレーキ装置７０に自動車５０を停止させるための停止信号を送信する（ステップＳ４０）。ステップＳ４０の処理を実行するとき、ＣＰＵ１４は、制動信号出力手段として機能する。停止信号を受信したブレーキ装置７０では、ブレーキアクチュエータ７８を動作させてホイルシリンダ７３にブレーキ液圧を発生させ、制動力を発生させる。これにより、自動車５０は減速を開始し、最終的に停止することとなる。従って、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。
【００４１】
次に、ステップＳ４２において、ＣＰＵ１４は、ランプ点灯制御装置８０にハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。ステップＳ４２の処理を実行するとき、ＣＰＵ１４は、自動車５０が減速又は停止することを外部に報知する処理を行う報知手段として機能する。ハザードランプ点灯指示信号を受信したランプ点灯制御装置８０では、ハザードランプが点灯される。従って、後続車の運転者は、この自動車５０の動きに注意を払うことができ、追突してしまう等の二次災害を防止することが可能になる。
【００４２】
次に、ステップＳ４４において、ＣＰＵ１４は、緊急停止後処理を行う。この処理において、ＣＰＵ１２は、緊急停止をしたことを報知するメッセージをスピーカ２０から出力する。そして、確認ボタン２４からの入力信号があるまで待機し、入力信号があったことを条件として、ブレーキ装置７０に対してブレーキを解除するための信号を送信するとともに、ランプ点灯制御装置８０にハザードランプ点灯を中止するための信号を送信する。ステップＳ４４の処理の後、本サブルーチンを終了する。
【００４３】
以上、居眠り警告装置１０及び自動車５０によれば、モニタカメラ２２により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、オプティカルフローデータを取得する。そして、このオプティカルフローデータと、予め記憶されている動作パターンデータ（眼球動作パターンデータ、頭部動作パターンデータ）とに基づいて、オプティカルフローデータが動作パターンデータのいずれかと一致するか否かにより、運転者が居眠りをしているか否かを判断し、運転者が居眠りをしていると判断したとき、運転者に警告をするための処理（警告音等の出力）が行われる。眼球の動作だけでなく、眼球の動作と頭部の動作とに基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、眼球の動作が検出できないとき（例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき）には、例えば、眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
【００４４】
また、警告の解除入力があった場合に、警告を中止するため、運転者６０は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。
【００４５】
また、居眠り警告装置１０及び自動車５０によれば、居眠りの期間に応じた警告をするための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。
【００４６】
本実施形態では、取得したオプティカルフローデータが、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しない場合に、運転者に警告を行う場合について説明した。すなわち、本実施形態では、本発明における所定の条件が、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しないこと、である場合について説明した。しかし、本発明における所定の条件は、運転者が居眠りをしているか否かを判定するための条件であれば、特に限定されず、変化態様データ（オプティカルフローデータ）が目蓋の動作パターンを示す目蓋動作パターンデータと一致すること、であってもよく、オプティカルフローデータが眼球動作パターンデータと目蓋動作パターンデータとの双方に一致するデータを含むものであり、且つ、頭部動作パターンデータのいずれも含まないものであること、であってもよい。
【００４７】
また、本実施形態では、運転者の頭部を撮像する場合について説明したが、本発明においては、運転者を撮像すればよく、例えば、運転者の手や足を撮像することとしてもよい。運転者の手を撮像することとする場合、運転者が直線の道路を走行する際にハンドルを微量操作して進路を修正する手の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。また、運転者の足を撮像することとする場合、運転者が一定速度で走行する際にアクセルを微量操作して速度を修正する足の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。
【００４８】
本実施形態では、本発明における乗り物が自動車である場合について説明したが、本発明における乗り物は運転が運転するものであればこの例に限定されず、例えば、電車、船舶、潜水艦、航空機であってもよい。
【００４９】
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態に係る自動車を模式的に示す側面図である。
【図２】図１に示した自動車の上面図である。
【図３】図１に示した居眠り警告装置の内部構成を模式的に示すブロック図である。
【図４】居眠り判定用動作パターンデータの一例を示す図である。
【図５】眼球動作に係るオプティカルフローを説明するための図である。
【図６】頭部動作に係るオプティカルフローを説明するための図である。
【図７】図１に示した自動車が備えるブレーキ装置の内部構成を模式的に示すブロック図である。
【図８】居眠り警告装置において実行される居眠り判定処理のサブルーチンを示すフローチャートである。
【図９】居眠り警告装置において実行される警告処理のサブルーチンを示すフローチャートである。
【符号の説明】
【００５１】
１０ 居眠り警告装置
１２ 制御部
１４ ＣＰＵ
１６ ＲＯＭ
１８ ＲＡＭ
２０ スピーカ
２２ モニタカメラ
２４ 確認ボタン
２６ 通信用インターフェイス
５０ 自動車
５２ ステアリングホイール
５６ ダッシュボード
６０ 運転者
７０ ブレーキ装置
７２ ブレーキペダル
７３ ホイルシリンダ
７４ ブレーキ制御装置
７５ ブレーキ
７６ 通信用インターフェイス
７８ ブレーキアクチュエータ
８０ ランプ点灯制御装置
【技術分野】
【０００１】
本発明は、居眠り警告装置及び自動車に関する。
【背景技術】
【０００２】
従来から、居眠り運転を防止するために、運転前に疲労を回復しておく等の事前の取り組みを運転者が各自で行うことが必要とされている。このような取り組みは、実際に眠気が発生する前段階に行うものであり、運転者に依存するものである。また、事前に取り組みを行っていても、眠気が発生する場合もある。
【０００３】
実際に眠気が発生した場合に、居眠り運転を防止するために、従来、まばたきや眼球の動作に基づいて居眠り運転であるか否かを判定し、運転者に対して警告を行う装置が存在する（例えば、特許文献１〜４参照）。
【０００４】
【特許文献１】特開平７−９３７００号公報
【特許文献２】特開平８−１４７５８４号公報
【特許文献３】特開平１１−３０４４２８号公報
【特許文献４】特開２００６−１９３０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、まばたきや眼球の動作は、移動量が比較的少ないため、特許文献１〜４の装置では、その移動量を検出することができない場合があるといった問題があった。また、運転者が、眼鏡をかけている場合には、外部からの光の反射により、誤検出が多発するおそれがあった。また、車内が暗い場合には、眼の位置自体を検出できないといった問題があった。そのため、居眠り運転を確実に認識し、運転者に警告することができないといった問題があった。
【０００６】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、居眠りを確実に検出し、運転者に警告することが可能な居眠り警告装置及び自動車を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、以下のようなものを提供する。
（１） 運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、
上記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
上記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
上記変化態様データ取得手段により取得された変化態様データと上記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
上記判断手段により所定の条件か満たされていると判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。
【０００８】
（１）の発明によれば、撮像手段（例えば、モニターカメラ）により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データする。そして、この変化態様データと、予め記憶されている、変化態様データとの比較対象となる動作パターンデータ（例えば、まばたき、眼球の動作、頭部の上下動を含む動作パターンを示すデータ）とに基づいて、変化態様データが所定の条件を満たすか否かを判断し、所定の条件を満たすと判断されたとき、運転者に警告をするための処理が行われる。まばたきや眼球の動作だけではなく、これらを含む少なくとも頭部の動作にも基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、まばたきや眼球の動作が検出できないとき（例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき）には、例えば、まばたきや眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
【０００９】
さらに、本発明は、以下のようなものを提供する。
（２） 上記（１）の居眠り警告装置であって、
警告の解除を入力することが可能な解除入力手段と、
上記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする。
【００１０】
（２）の発明によれば、警告の解除入力があった場合に、警告を中止するため、運転者は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。
【００１１】
さらに、本発明は、以下のようなものを提供する。
（３） 制動手段を備えた乗り物に設けられた上記（１）又は（２）の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、上記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段
を備えたことを特徴とする。
【００１２】
（３）の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、乗り物を減速又は停止させる信号を出力するため、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。
【００１３】
さらに、本発明は、以下のようなものを提供する。
（４） 上記（３）の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う報知手段
を備えたことを特徴とする。
【００１４】
（４）の発明によれば、警告の開始後、所定期間内に警告の解除入力がなかった場合に、該乗り物が減速又は停止することを外部に報知する処理を行う（例えば、自動車のハザードランプを点滅させる処理を行う）ため、外部の者（例えば、後続車の運転者）は、該乗り物の動きに注意を払うことができ、追突してしまう等の二次災害を防止することか可能になる。
【００１５】
さらに、本発明は、以下のようなものを提供する。
（５） 上記（１）〜（４）のいずれか１の居眠り警告装置であって、
前記警告手段は、居眠りの期間に応じた警告をするための処理を行うことを特徴とする。
【００１６】
（５）の発明によれば、居眠りの期間に応じた警告をする（例えば、１０秒居眠りした場合に、５秒居眠りした場合よりも大きな警告音を発する）ための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。
【００１７】
さらに、本発明は、以下のようなものを提供する。
（６） 上記（１）〜（５）のいずれか１の居眠り警告装置を備えたことを特徴とする自動車。
【００１８】
（６）の発明によれば、自動車を運転する運転者に居眠りを警告することができる。
【発明の効果】
【００１９】
本発明によれば、居眠りを確実に検出し、運転者に警告することが可能になる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施形態について図面に基づいて説明する。
図１は、本発明の一実施形態に係る自動車を模式的に示す側面図である。
図２は、図１に示した自動車の上面図である。なお、図２では、車内の様子を把握できるように屋根を省略して記載している。
自動車５０には、居眠り警告装置１０が備えられている。居眠り警告装置１０は、制御部１２と、モニタカメラ２２と、確認ボタン２４とを備えている。図２に示すように、モニタカメラ２２は、ダッシュボード５６の手前に設けられたステアリングホイール５２の上部に設けられており、運転者の顔面を含む頭部を撮像する。モニタカメラ２２により撮像して得られた映像データは、制御部１２に送信される。そして、この映像データは、オプティカルフローデータに変換され、このオプティカルフローデータが解析されることにより、運転者が居眠りしているか否かが判断される。具体的には、映像データから変換されたオプティカルフローデータが後述する居眠り判定用動作パターンデータ（図４参照）と一致するか否かを判断することにより、運転者が居眠りしているか否かが判断される。なお、オプティカルフローについては後に詳述する。運転者が居眠りをしていると判断されると、スピーカ（図３参照）から警告音が出力される。確認ボタン２４は、ステアリングホイール５２の下部に設けられており、運転者がこの確認ボタン２４を操作することにより警告音の出力が中止される。確認ボタン２４は、本発明の解除入力手段に相当するものである。
【００２１】
図３は、図１に示した居眠り警告装置の内部構成を模式的に示すブロック図である。
居眠り警告装置１０は、ＣＰＵ１４とＲＯＭ１６とＲＡＭ１８とを備えている。
ＲＯＭ１６は、不揮発性メモリであり、ＣＰＵ１４によって実行されるプログラムや、ＣＰＵ１４が処理を行う際に用いられるデータ等を記憶している。また、ＲＯＭ１６は、居眠り判定用動作パターンデータ（図４参照）を記憶している。ＲＯＭ１６は、本発明の記憶手段に相当する。ＲＡＭ１８は、揮発性メモリであり、ＣＰＵ１４の処理結果等に応じたデータを一時的に記憶する。
【００２２】
ＣＰＵ１４には、スピーカ２０とモニタカメラ２２と確認ボタン２４とが接続されている。
モニタカメラ２２は、運転者を撮像し、撮像して得られた映像データをＣＰＵ１４に送信する。モニタカメラ２２は、撮像手段として機能するものである。ＣＰＵ１４は、モニタカメラ２２から受信した映像データに基づいて後述するオプティカルフローを算出し、オプティカルフローデータを取得する。オプティカルフローデータは、本発明における変化態様データに相当する。
【００２３】
スピーカ２０は、警告音や警告メッセージを出力するためのものである。ＣＰＵ１４は、オプティカルフローデータに基づいて、運転者が居眠りしているか否かを判断し、居眠りしていると判断した場合には、警告音や警告メッセージをスピーカ２０に出力させる。このとき、５秒間以上、運転者が居眠りをしていると判断した場合には、レベル１の警告を行い、さらにその後５秒間以上、運転者が居眠りしていると判断した場合には、レベル２の警告を行う。そして、さらにその後５秒間以上、運転者が居眠りしていると判断した場合には、レベル３の警告を行う。なお、本実施形態では、レベル１の警告は、所定の音量の警告音（例えば、「ピ、ピ、ピ、ピ・・・」）をスピーカ２０から出力することであり、レベル２の警告は、レベル１の警告時よりも大きな音量の警告音をスピーカ２０から出力することであり、レベル３の警告は、レベル２の警告時よりも大きな音量の警告音とともに、警告メッセージ（例えば、「危険です」）をスピーカから出力することである。なお、本発明において、警告は、居眠りと判断される期間に応じた警告を行うのであれば、この例に限定されず、シートやステアリングホイールに微弱な電流を流すこととしてもよく、自動車が備えるエアーコンディショナーから風（例えば、冷風）を送出することとしてもよい。
【００２４】
確認ボタン２４は、運転者により操作されることにより警告中止要求信号を出力する。ＣＰＵ１４は、この警告中止要求信号を受信すると、スピーカ２０からの警告音、警告メッセージの出力を中止する。
【００２５】
ＣＰＵ１４には、通信用インターフェイス２６を介してブレーキ装置７０とランプ点灯制御装置８０とが接続されている。ＣＰＵ１４は、１５秒以上運転者が居眠りをしていると判断した場合に、ブレーキ装置７０に対して自動車５０を停止させるための停止信号を送信する。また、ＣＰＵ１４は、１５秒以上運転者が居眠りをしていると判断した場合に、ランプ点灯制御装置８０に対してハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。
【００２６】
図４は、居眠り判定用動作パターンデータの一例を示す図である。
居眠り判定用動作パターンデータは、運転者が居眠り運転をしていると判断するための動作パターンを示すデータであり、図４に示すように、眼球動作パターンデータと頭部動作パターンデータとが含まれる。眼球動作パターンデータは、運転者の眼球の左右動作を示すデータであり、運転者が左右確認を行った際の眼球の動きをオプティカルフローデータとしたものである。頭部動作パターンデータは、運転者の頭部の上下動作を示すデータであり、運転者が居眠りした際に起こり得る頭部のゆれをオプティカルフローデータとしたものである。眼球動作パターンデータ及び頭部動作パターンデータは、本発明における、オプティカルフローデータとの比較対象となる動作パターンデータである。
以下では、図５を用いて、眼球動作パターンデータＡに係るオプティカルフローについて説明し、図６を用いて、頭部動作パターンデータＡに係るオプティカルフローについて説明する。
【００２７】
図５は、眼球動作に係るオプティカルフローを説明するための図である。
オプティカルフローとは、画像中の各画素間の速度ベクトルである。オプティカルフローを算出する方法としては、まず、第一の画像内において、複数の画素から構成される画素ブロックを事前に設定する。次に、第一の画像に続く第二の画像内において、この画素ブロックを検出する。そして、この二つの画像内の各画素ブロックの移動を検出する。これにより、モニタカメラ２２の撮像領域内における物体のオプティカルフローを算出することができる。
【００２８】
図５（ａ）の左側の図は、モニタカメラ２２により撮像された運転者の様子を示す図である。
図５（ａ）の左側の図に示すように、モニタカメラ２２により得られる画像には、運転者６０の頭部を正面から撮像した様子が映し出されている。
図５（ａ）の右側の図は、図５（ａ）の左側の図の状態であるときのオプティカルフローを示す図である。
モニタカメラ２２は、０．２秒ごとに映像データを処理端末１０に送信する。そして、処理端末１０は、送信されてくる各映像データから、０．２秒ごとにオプティカルフローを算出する。図５（ａ）の右側の図では、オプティカルフローが得られていない。これは、０．２秒前から現在まで、画像に変化がなかったことを示している。
【００２９】
図５（ｂ）の左側の図は、図５（ａ）の右側の図の状態から０．２秒後の様子を示す図であり、図５（ａ）の右側の図は、図５（ｂ）の左側の図の状態であるときのオプティカルフローを示す図である。
図５（ｂ）の左側の図では、図５（ａ）の左側の図の状態から人物６０の眼球が右側に移動している以外は、図５（ａ）の左側の図と同じである。
図５（ｂ）の右側の図では、人物６０の眼球部分の各画素ブロックＰ（Ｐ１、Ｐ２）が右側に移動したことを示すオプティカルフローが得られている。これは、０．２秒前（図５（ａ）の左側の図の状態）から現在（図５（ｂ）の左側の図の状態）までの間に、各画素ブロックＰが右側に移動したことを示している。このオプティカルフローを示すデータは、眼球動作パターンデータＡに相当する。
【００３０】
図６は、頭部動作に係るオプティカルフローを説明するための図である。
図６（ａ）の左側の図は、モニタカメラ２２により撮像された運転者の様子を示す図であり、図６（ａ）の右側の図は、図６（ａ）の左側の図の状態であるときのオプティカルフローを示す図である。
図６（ａ）の左側の図に示すように、モニタカメラ２２により得られる画像には、運転者６０の頭部を正面から撮像した様子が映し出されている。また、図６（ａ）の右側の図では、オプティカルフローが得られていない。これは、０．２秒前から現在まで、画像に変化がなかったことを示している。
【００３１】
図６（ｂ）の左側の図は、図６（ａ）の右側の図の状態から０．２秒後の様子を示す図であり、図６（ａ）の右側の図は、図６（ｂ）の左側の図の状態であるときのオプティカルフローを示す図である。
図６（ｂ）の左側の図では、図６（ａ）の左側の図の状態から人物６０の頭部が手前下側側に移動している以外は、図６（ａ）の左側の図と同じである。
図６（ｂ）の右側の図では、人物の頭頂部付近の各画素ブロックＰ（Ｐ１０〜Ｐ１４）が下側且つ外側に広がるベクトルが示されている。このオプティカルフローを示すデータは、頭部動作パターンデータＡに相当する。
【００３２】
図７は、図１に示した自動車が備えるブレーキ装置の内部構成を模式的に示すブロック図である。
ブレーキ装置７０では、ブレーキペダル７２がホイルシリンダ７３に接続され、ホイルシリンダ７３にはブレーキ７５が接続されている。ホイルシリンダ７３では、運転者６０のブレーキペダル７２の踏み込み操作に応じてブレーキ液圧が発生する。ブレーキ７５は、ブレーキ液圧に応じた制動力を発生させる。
【００３３】
ブレーキ装置７０は、ブレーキ制御装置７４とブレーキ制御装置７４に接続されたブレーキアクチュエータ７８とを備えており、ブレーキアクチュエータ７８は、ホイルシリンダ７３に接続されている。ブレーキ制御装置７４は、通信用インターフェイス７６を介して居眠り警告装置１０に接続されていて、居眠り警告装置１０から停止信号を受信すると、ブレーキアクチュエータ７８を動作させてホイルシリンダ７３にブレーキ液圧を発生させる。ブレーキ装置７０は、本発明における制動手段に相当する。
【００３４】
図８は、居眠り警告装置において実行される居眠り判定処理のサブルーチンを示すフローチャートである。
まず、ＣＰＵ１４は、エンジンが始動すると、モーションキャプチャを開始する（ステップＳ１０）。この処理において、ＣＰＵ１４は、モニタカメラ２２による撮像を開始し、得られる映像データからオプティカルフローデータを取得する。なお、モーションキャプチャは、エンジンが停止するまで、繰り返し実行される。ＣＰＵ１４は、モニタカメラ２２により撮像して得られた映像データから、オプティカルフローデータを取得する変化態様データ取得手段として機能する。
【００３５】
次に、ステップＳ１２において、ＣＰＵ１４は、経過時間ｔ＝０をセットし、経過時間ｔの計時を開始する。ステップＳ１２の処理を実行するとき、ＣＰＵ１４は、計測手段として機能する。
次に、ステップＳ１４において、ＣＰＵ１４は、後述する警告処理を実行し、本サブルーチンを終了する。
【００３６】
図９は、居眠り警告装置において実行される警告処理のサブルーチンを示すフローチャートである。
まず、ＣＰＵ１４は、取得したオプティカルフローデータ（ステップＳ１０参照）がＲＯＭ１６に記憶されている眼球動作パターンデータ（図４参照）のいずれかと一致するか否かを判断する（ステップＳ２０）。オプティカルフローデータが眼球動作パターンデータのいずれにも一致しないと判断された場合、ＣＰＵ１４は、経過時間ｔが５秒以上であるか否かを判断する（ステップＳ２２）。経過時間ｔが５秒以上であると判断した場合、ＣＰＵ１４は、取得したオプティカルフローデータが、ＲＯＭ１６に記憶されている頭部動作パターンデータ（図４参照）のいずれかと一致するか否かを判断する（ステップＳ２４）。なお、本明細書中、オプティカルフローデータと動作パターンデータ（眼球動作パターンデータ、頭部動作パターンデータ）とが一致するとは、所定の処理により数値化したオプティカルフローデータと動作パターンデータとの値が所定の範囲内にある（類似度が高い）場合を含む。ステップＳ２０及びステップＳ２４の処理を実行するとき、ＣＰＵ１４は、判断手段として機能する。
【００３７】
ステップＳ２４において取得したオプティカルフローデータが頭部動作パターンデータのいずれかと一致すると判断した場合、ＣＰＵ１４は、経過時間ｔが１０秒以上であるか否かを判断する（ステップＳ２６）。経過時間ｔが１０秒以上ではないと判断した場合、ＣＰＵ１４は、レベル１の警告（スピーカ２０からの警告音の出力）を行う（ステップＳ３０）。一方、経過時間ｔが１０秒以上であると判断した場合、ＣＰＵ１４は、経過時間ｔが１５秒以上であるか否かを判断する（ステップＳ２８）。経過時間ｔが１５秒以上ではないと判断した場合、ＣＰＵ１４は、レベル２の警告（レベル１よりも大きな音量でのスピーカ２０からの警告音の出力）を行う（ステップＳ３２）。経過時間ｔが１５秒以上であると判断した場合、ＣＰＵ１４は、レベル３の警告（レベル２よりも大きな音量の警告音と所定の警告メッセージとのスピーカ２０からの出力）を行う（ステップＳ３４）。ステップＳ３０、ステップＳ３２又はステップＳ３４の処理を実行するとき、ＣＰＵ１４は、警告手段として機能する。
【００３８】
ステップＳ３０、ステップＳ３２又はステップＳ３４の処理の後、ＣＰＵ１４は、確認入力があったか否かを判断する。この処理において、ＣＰＵ１４は、確認ボタン２４が操作されることにより出力される警告中止要求信号を受信したか否かを判断する。確認入力があったと判断した場合、ＣＰＵ１４は、スピーカ２０からの警告音（及び警告メッセージ）の出力を中止し（ステップＳ４６）、処理をステップＳ４８に移す。ステップＳ４６の処理を実行するとき、ＣＰＵ１４は、警告中止手段として機能する。
【００３９】
ステップＳ２０においてオプティカルフローデータが眼球動作パターンデータのいずれかに一致すると判断した場合、ステップＳ２４においてオプティカルフローデータが頭部動作パターンデータのいずれにも一致しないと判断した場合、又は、ステップＳ４６の処理の後、ＣＰＵ１４は、経過時間ｔをｔ＝０にし（ステップＳ４８）、本サブルーチンを終了する。
【００４０】
ステップＳ３６において確認入力がなかったと判断した場合、ＣＰＵ１４は、レベル３の警告中であるか否かを判断する（ステップＳ３８）。レベル３の警告中ではない場合、本サブルーチンを終了する。一方、レベル３の警告中であると判断した場合、ＣＰＵ１４は、ブレーキ装置７０に自動車５０を停止させるための停止信号を送信する（ステップＳ４０）。ステップＳ４０の処理を実行するとき、ＣＰＵ１４は、制動信号出力手段として機能する。停止信号を受信したブレーキ装置７０では、ブレーキアクチュエータ７８を動作させてホイルシリンダ７３にブレーキ液圧を発生させ、制動力を発生させる。これにより、自動車５０は減速を開始し、最終的に停止することとなる。従って、警告しても眠りから覚めない場合に事故が発生する確率を低減することができる。
【００４１】
次に、ステップＳ４２において、ＣＰＵ１４は、ランプ点灯制御装置８０にハザードランプを点灯させるためのハザードランプ点灯指示信号を送信する。ステップＳ４２の処理を実行するとき、ＣＰＵ１４は、自動車５０が減速又は停止することを外部に報知する処理を行う報知手段として機能する。ハザードランプ点灯指示信号を受信したランプ点灯制御装置８０では、ハザードランプが点灯される。従って、後続車の運転者は、この自動車５０の動きに注意を払うことができ、追突してしまう等の二次災害を防止することが可能になる。
【００４２】
次に、ステップＳ４４において、ＣＰＵ１４は、緊急停止後処理を行う。この処理において、ＣＰＵ１２は、緊急停止をしたことを報知するメッセージをスピーカ２０から出力する。そして、確認ボタン２４からの入力信号があるまで待機し、入力信号があったことを条件として、ブレーキ装置７０に対してブレーキを解除するための信号を送信するとともに、ランプ点灯制御装置８０にハザードランプ点灯を中止するための信号を送信する。ステップＳ４４の処理の後、本サブルーチンを終了する。
【００４３】
以上、居眠り警告装置１０及び自動車５０によれば、モニタカメラ２２により運転者の顔面を含む少なくとも頭部を撮影して得られた映像データから、オプティカルフローデータを取得する。そして、このオプティカルフローデータと、予め記憶されている動作パターンデータ（眼球動作パターンデータ、頭部動作パターンデータ）とに基づいて、オプティカルフローデータが動作パターンデータのいずれかと一致するか否かにより、運転者が居眠りをしているか否かを判断し、運転者が居眠りをしていると判断したとき、運転者に警告をするための処理（警告音等の出力）が行われる。眼球の動作だけでなく、眼球の動作と頭部の動作とに基づいて運転者に警告を行うため、例えば、眼にゴミが入った場合のように、居眠りをしていない場合であるにも関わらず警告されるといったことを少なくすることができ、運転者が居眠りをしている場合にだけ的確に警告を行うとことができる。
また、眼球の動作が検出できないとき（例えば、運転者が眼鏡をかけているときや車内が著しく暗いとき）には、例えば、眼球の動作を用いずに頭部の上下動等を検出することにより、居眠りをしているか否かを判定することができる。従って、運転者や外部の状況による影響によって警告ができなくなる可能性を低減することができる。
【００４４】
また、警告の解除入力があった場合に、警告を中止するため、運転者６０は、解除入力の操作により自らが居眠り状態にあったことを強く認識することができる。また、警告の解除入力があった場合に、警告を中止するため、必要以上の警告が行われることにより、却って運転の妨げとなることを防止することができる。
【００４５】
また、居眠り警告装置１０及び自動車５０によれば、居眠りの期間に応じた警告をするための処理を行う。一般的に、居眠りの期間が長いほど、意識の低下のレベルが高い。従って、居眠りの期間に応じた警告をするための処理を行うことにより、意識の低下のレベルに応じて、より確実に運転者に警告することが可能になる。
【００４６】
本実施形態では、取得したオプティカルフローデータが、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しない場合に、運転者に警告を行う場合について説明した。すなわち、本実施形態では、本発明における所定の条件が、眼球動作パターンデータのいずれかに一致し、且つ、頭部動作パターンデータのいずれにも一致しないこと、である場合について説明した。しかし、本発明における所定の条件は、運転者が居眠りをしているか否かを判定するための条件であれば、特に限定されず、変化態様データ（オプティカルフローデータ）が目蓋の動作パターンを示す目蓋動作パターンデータと一致すること、であってもよく、オプティカルフローデータが眼球動作パターンデータと目蓋動作パターンデータとの双方に一致するデータを含むものであり、且つ、頭部動作パターンデータのいずれも含まないものであること、であってもよい。
【００４７】
また、本実施形態では、運転者の頭部を撮像する場合について説明したが、本発明においては、運転者を撮像すればよく、例えば、運転者の手や足を撮像することとしてもよい。運転者の手を撮像することとする場合、運転者が直線の道路を走行する際にハンドルを微量操作して進路を修正する手の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。また、運転者の足を撮像することとする場合、運転者が一定速度で走行する際にアクセルを微量操作して速度を修正する足の動作を、比較対象となる動作パターンデータとして記憶手段に記憶しておけばよい。
【００４８】
本実施形態では、本発明における乗り物が自動車である場合について説明したが、本発明における乗り物は運転が運転するものであればこの例に限定されず、例えば、電車、船舶、潜水艦、航空機であってもよい。
【００４９】
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態に係る自動車を模式的に示す側面図である。
【図２】図１に示した自動車の上面図である。
【図３】図１に示した居眠り警告装置の内部構成を模式的に示すブロック図である。
【図４】居眠り判定用動作パターンデータの一例を示す図である。
【図５】眼球動作に係るオプティカルフローを説明するための図である。
【図６】頭部動作に係るオプティカルフローを説明するための図である。
【図７】図１に示した自動車が備えるブレーキ装置の内部構成を模式的に示すブロック図である。
【図８】居眠り警告装置において実行される居眠り判定処理のサブルーチンを示すフローチャートである。
【図９】居眠り警告装置において実行される警告処理のサブルーチンを示すフローチャートである。
【符号の説明】
【００５１】
１０ 居眠り警告装置
１２ 制御部
１４ ＣＰＵ
１６ ＲＯＭ
１８ ＲＡＭ
２０ スピーカ
２２ モニタカメラ
２４ 確認ボタン
２６ 通信用インターフェイス
５０ 自動車
５２ ステアリングホイール
５６ ダッシュボード
６０ 運転者
７０ ブレーキ装置
７２ ブレーキペダル
７３ ホイルシリンダ
７４ ブレーキ制御装置
７５ ブレーキ
７６ 通信用インターフェイス
７８ ブレーキアクチュエータ
８０ ランプ点灯制御装置
【特許請求の範囲】
【請求項１】
運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、
前記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
前記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
前記変化態様データ取得手段により取得された変化態様データと前記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
前記判断手段により所定の条件を満たすと判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。
【請求項２】
警告の解除を入力することが可能な解除入力手段と、
前記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする請求項１に記載の居眠り警告装置。
【請求項３】
制動手段を備えた乗り物に設けられた請求項１又は２に記載の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、前記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段を備えたことを特徴とする居眠り警告装置。
【請求項４】
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、前記乗り物が減速又は停止することを外部に報知する処理を行う報知手段
を備えたことを特徴とする請求項３に記載の居眠り警告装置。
【請求項５】
前記所定の条件が満たされていると前記判断手段により判断される期間を計測する計測手段を備え、
前記警告手段は、前記計測手段が計測した期間に応じた警告をするための処理を行うことを特徴とする請求項１〜４のいずれか１に記載の居眠り警告装置。
【請求項６】
請求項１〜５のいずれか１に記載の居眠り警告装置を備えたことを特徴とする自動車。
【請求項１】
運転者の顔面を含む少なくとも頭部を連続的に撮像するための撮像手段と、
前記撮像手段により撮像して得られた映像データから、映像の変化態様を示す変化態様データを取得する変化態様データ取得手段と、
前記変化態様データ取得手段により取得される変化態様データとの比較対象となる動作パターンデータを記憶する記憶手段と、
前記変化態様データ取得手段により取得された変化態様データと前記記憶手段に記憶されている動作パターンデータとに基づいて、変化態様データが所定の条件を満たすか否かを判断する判断手段と、
前記判断手段により所定の条件を満たすと判断されたとき、運転者に警告をするための処理を行う警告手段と
を備えたことを特徴とする居眠り警告装置。
【請求項２】
警告の解除を入力することが可能な解除入力手段と、
前記解除入力手段から警告の解除入力があった場合に、警告を中止する警告中止手段と
を備えたことを特徴とする請求項１に記載の居眠り警告装置。
【請求項３】
制動手段を備えた乗り物に設けられた請求項１又は２に記載の居眠り警告装置であって、
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、前記乗り物を減速又は停止させる信号を前記制動手段に出力する制動信号出力手段を備えたことを特徴とする居眠り警告装置。
【請求項４】
警告の開始後、所定期間内に前記解除入力手段から警告の解除入力がなかった場合に、前記乗り物が減速又は停止することを外部に報知する処理を行う報知手段
を備えたことを特徴とする請求項３に記載の居眠り警告装置。
【請求項５】
前記所定の条件が満たされていると前記判断手段により判断される期間を計測する計測手段を備え、
前記警告手段は、前記計測手段が計測した期間に応じた警告をするための処理を行うことを特徴とする請求項１〜４のいずれか１に記載の居眠り警告装置。
【請求項６】
請求項１〜５のいずれか１に記載の居眠り警告装置を備えたことを特徴とする自動車。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−３０５１９０（Ｐ２００８−３０５１９０Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００７−１５１９５９（Ｐ２００７−１５１９５９）
【出願日】平成１９年６月７日（２００７．６．７）
【出願人】（５９８０９８５２６）アルゼ株式会社 (7,628)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成１９年６月７日（２００７．６．７）
【出願人】（５９８０９８５２６）アルゼ株式会社 (7,628)
【Ｆターム（参考）】
[ Back to top ]