居眠り監視警告装置及び居眠り監視警告方法
【課題】 自動車など各種移動体の運転手が運転中に居眠りをしてしまうと、重大な事故を引き起こす可能性がある。本発明は交通機関の運転手の居眠りを監視する装置に関するもので、運転手の顔画像のうち眼の開閉具合に基づいて覚醒度を監視し居眠り状態にあると判断した時に警告音を発生させる装置に関する。安価で手軽で持ち運び自由な居眠り監視警告装置を実現することで、運転手は複数の異なる車両のすべてにおいて居眠り監視を利用できるようにする。
【解決手段】 画像を撮影するカメラモジュールをメガネのつるに装着し、画像を眼の正面ではなく横方向から近接撮影して眼の開閉度合いを判断するようにした。
【解決手段】 画像を撮影するカメラモジュールをメガネのつるに装着し、画像を眼の正面ではなく横方向から近接撮影して眼の開閉度合いを判断するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交通機関の運転手の居眠りを監視する装置に関するもので、運転手の顔画像のうち眼の開閉具合に基づいて覚醒度を監視し居眠り状態にあると判断した時に警告音を発生させる装置に関する。
【背景技術】
【０００２】
自動車など各種移動体の運転手が運転中に居眠りをしてしまうと、きわめて危険な状態になり、重大な事故を引き起こす可能性がある。居眠り運転の危険は従来から指摘されており、その対策として各種センサーやデジタル技術を応用した居眠り監視方法が多数開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３１３４５９号公報
【特許文献２】特開２０００−４０１４８号公報
【特許文献３】特開２００９−２７６８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしこれら従来の方法は、運転手の開眼状態を前方から撮影するビデオ画像から判断するものであり、運転手の顔を含む全体画像の中からまず運転手の顔部分を認識し、その中の眼の部分を認識し、さらにまぶたの閉じ具合、あるいは黒目の隠れ具合を、画像認識・画像処理を行って居眠り状態を判断するものである。運転手が体を左右に動かしたり、顔を振ったり傾けたりすると眼の位置が逐次変化するので、それを追従するための画像処理が複雑になり、回路的に大掛かりになる。
【０００５】
また、逐次変化する眼の位置を追従認識するのに時間を要し、まぶたの閉じ具合を安定的に監視し続けるのが困難である。更には、運転手の顔を前方から撮影するために、カメラは車両に搭載する事になるので、居眠り監視は装置を搭載した車両にだけ有効となる。つまり、複数の異なる車両を運転する運転者にとっては居眠り監視が搭載されてない車両での不安が避けられない。さらに、運転手が濃い色のサングラスをしている場合は、運転手の顔を正面から撮影するビデオ画像から運転手の眼は認識できない。
【０００６】
このような従来の方法について、図９を用いて説明する。
図９（ａ）に示すようにステアリングホイール１１付近に据え置きカメラ１２を設置し、運転手の顔を含む画像を正面から撮影する。据え置きカメラ１２が撮影する範囲は撮影範囲１３に示すように運転手の顔全体を含む領域である。図９（ｂ）に示すように運転手の顔が左右に動いたり傾いたりすると、運転手の眼の位置はその都度変化するので、画像処理によって眼の位置を探して追従する。
【０００７】
また、カメラで撮影した画像全体における眼の領域はほんの一部分なので、眼の開閉を判断するためには高解像度のカメラを用いる必要がある。従って扱う画像データは大きくなり画像処理量は増え、画像認識処理回路は大掛かりなものになる。また、逐次変化する眼の位置を追従認識するのに時間を要するので、まぶたの閉じ具合を安定的に監視し続けるのが困難となる。
【０００８】
更には、運転手の顔を前方から撮影するために、カメラは車両に搭載する事となり、居眠りの監視は装置を搭載した車両にだけ有効となる。つまり、複数の異なる車両を運転する運転者にとっては居眠り監視装置が搭載されてない車両では監視が受けられない。更に、図９（ｃ）に示すように運転手が濃い色のサングラスをしている場合は、運転手の眼の開閉状態は画像から認識できない。
【課題を解決するための手段】
【０００９】
本発明は、安価で手軽で持ち運び自由な居眠り監視警告装置を実現することを目的とする。手軽に持ち運べれば、運転手は複数の異なる車両のすべてにおいて居眠り監視を受けられる。本発明は、運転手が濃い色のサングラスを装着していても眼の開閉を判断する事ができる。
【００１０】
上記目的を達成するために、本発明は、被験者のまぶたを含む領域の画像を眼の横方向から撮影する撮影手段と、前記画像の特徴を記憶する記憶手段と、前記画像の特徴から前記被験者のまぶたの開状態と閉状態を識別する識別手段と、からなる居眠り監視警告装置であって、
前記識別結果から、まぶたが一定時間以上閉状態である場合に、前記被験者が居眠り状態にあると判断する判断手段と、前記被験者が居眠り状態にあると判断された場合に、被験者に対して警告を行う警告手段と、を有することを特徴としている。
【００１１】
撮影した画像から眼の開閉度合いを判断する画像処理回路や電源回路、警告アラーム装置は、カメラモジュールから離れた別ユニットに収めるようにした。
【００１２】
カメラモジュールに搭載する画像センサとしてモノクロ画像出力のエリアセンサを用いると共に、カメラモジュールの近傍に被写体を照射する赤外光LEDを装着した。カメラモジュールはクリップ取り付け部材を装備し、メガネのつるにクリップ装着できるようにした。
【００１３】
また、運転手の眼の形や大きさ、まつげの有無やまぶたの開き方などは人それぞれ異なるので、まず被験者の眼の開眼状態と閉眼状態を、それぞれ画像登録してから画像判断を開始するようにした。また、眼が一定時間眼閉じた時に居眠り状態にあると判断する一定の時間を可変にし、ユーザー自身が選べる様にした。
【発明の効果】
【００１４】
本発明は、たとえば運転手が装着するメガネのつるにカメラを取り付けて、運転手の片方の眼を横方向から近接撮影し開眼状態を観察する。従来のようにカメラで顔全体を撮影する事はせず、眼に近い位置からまぶたを近接撮影する。カメラはメガネに固定されるので、運転手が体を動かしても顔を傾けてもカメラが捕える画像は常に一定である。
【００１５】
カメラが眼に近い位置で固定されるので、撮影画像の解像度はさほど高くある必要はなく、低分解能の画像センサを用いる事ができる。画像データが小さくできるので、処理回路も簡易であり、装置全体の価格を低く抑える事ができる。
【００１６】
また、カメラがメガネに取り付けられ、画像処理装置が運転手のポケットに収まり、装置全体が内蔵バッテリーで駆動されれば装置を運転手が持ち歩く事ができるので、複数の異なる車両を運転する運転者にとっては全ての車両で装置が使える。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る居眠り監視警告装置の好適な一実施例を示す図である。
【図２】本発明に係るカメラモジュールの好適な一実施例を示す図である。
【図３】本発明に係るカメラモジュールをメガネのつるに装着した図である。
【図４】被験者の眼を横方向から撮影した、開眼と閉眼の図である。
【図５】本発明に係る居眠り監視警告装置の画像認識処理回路が行う処理フロー図である。
【図６】本発明に係る居眠り監視警告装置を装着した居眠り監視状態の具体例である。
【図７】本発明に係る居眠り監視警告装置の構成図である。
【図８】本発明に係る居眠り監視警告装置で閉眼時間を図示したタイミング図である。
【図９】従来の方法による居眠り監視警告装置を装着した居眠り監視状態の具体例である。
【発明を実施するための形態】
【００１８】
本発明による居眠り監視警告装置は、運転手の作業を拘束しない様に配慮されている。つまり、メガネに取り付けるカメラモジュールは画像を撮影するイメージセンサと近距離焦点のレンズが組み合わされたもので、人の指先に乗るほどの小型軽量である。従ってカメラモジュールをメガネのつるに取り付けても運転手はメガネに重量を感じない。
【００１９】
カメラモジュールに使われるイメージセンサはモノクロの低解像度で十分であり、カメラモジュールは携帯電話に使われるものよりさらに小型化が可能である。この小型軽量のカメラモジュールを運転手のメガネのつるに取り付けたとき、居眠り監視警告装置のその他の要素、つまり画像認識処理装置や電源回路、警告アラーム音発生装置などを収めたコントローラユニットはメガネのつるから離れた部分、例えば運転者の胸ポケットなどに入れて、めがねのつるに取り付けたカメラモジュールとは有線で接続する。こうする事で運転者のメガネへの重量負担は軽減し、運転手は運転作業に専念できる。
【実施例】
【００２０】
本発明による居眠り監視警告装置を図を参照しながら説明する。
図１は本発明に係る居眠り監視警告装置の好適な一実施例を示す図である。運転手のメガネ１のつる２に小さなカメラモジュール３（撮影手段）を取り付け、運転手の左眼を含む領域を横方向から撮影する様になっている。メガネのつる２に荷重がかかると運転手に負担がかかるので、カメラ以外の回路要素は別ユニットにして離れた場所に設置し、カメラモジュール３から必要な信号を信号ケーブル８としてメガネ１のつる２に沿って引き出す。
【００２１】
図１の（ａ）はカメラモジュール３を装着した運転手を左側から見た図であり、図１の（ｂ）は上方から見下ろした図である。図１の（ｂ）を見ると、カメラモジュール３から運転手の眼までの距離がかなり接近している事がわかる。つまり、カメラモジュール３は運転手の眼を画角いっぱいに接近して撮影するので、眼の状態を詳細に観察分析できる。メガネのレンズを通さずに直接に眼を撮影するので、運転手が濃い色のサングラスを装着していても撮影画像には影響が無い。
【００２２】
図２は本発明に係るカメラモジュールの好適な一実施例を示す図であり、図２の（ａ）（ｂ）は共にメガネのつる２に取り付けやすいようにばね性のクリップ４が付いている。図２（ａ）は画像撮影のカメラだけのモジュールであり、（ｂ）は赤外光を照射する赤外光照射ＬＥＤ６を一緒に組み込んだモジュールである。画像を撮影する短焦点レンズ５の隣りに赤外光照射ＬＥＤ６がカメラモジュール３に組み込まれた例である。
【００２３】
図３は本発明に係るカメラモジュールをメガネのつるに装着した図である。メガネの左側のつる２に小さなカメラモジュール３がクリップで取り付けられている。
【００２４】
図４は被験者の眼を横方向から撮影した開眼と閉眼の図である。人の眼には個性があり、図４（ａ）のように開眼時にまぶたを大きく開く人や、図４（ｃ）のようにまぶたを大きく開けられない人、図４（ｂ）のように長いまつげを付けている人など、人によって眼の形はさまざまであり、開眼状態の眼の画像、閉眼状態の眼の画像は人によって大きく変わる。開眼状態と閉眼状態を画像認識するには個性的な眼の場合に誤認識する事もあり不確実性が高いので、被験者個々に開眼時の画像と閉眼時の画像を記憶手段にイニシャル登録するのが望ましい。
【００２５】
図５は本発明に係る居眠り監視警告装置の画像認識処理回路が行う処理フロー図である。装置の電源をＯＮしたら最初に被験者の開眼画像と閉眼画像をそれぞれ登録する。その上で被験者はまばたきテストを行う。つまりまぶたを意識的に開閉し、居眠り監視警告装置のコントローラが開眼と閉眼を正確に識別しているかどうかを確認してまばたきテストを行った後に監視をスタートする。カメラモジュールは常時被験者の眼の開閉状態をモニタリングし、コントローラはカメラモジュールにより得られた画像と事前に記憶した被験者の眼の開閉状態とを比較する。コントローラは被験者の閉眼状態が予め設定された時間、例えば０．３秒以上続いた時に居眠り状態にあると判断して警告アラームを鳴らす。開眼状態に戻ったら再び監視を続行する。なお、装置の電源をＯＮしたら最初に登録するのは、必ずしも被験者の開眼と閉眼の画像である必要はなく、被験者の開眼と閉眼の画像の特徴を示すパラメータであっても良い。
【００２６】
図６は本発明に係る居眠り監視警告装置を装着した居眠り監視状態の具体例である。車の運転手が装着するメガネのつる２に取り付けた小さなカメラモジュール３が運転手の左眼を撮影し、その画像データを胸元に置いたコントローラユニット７へ信号ケーブル８で転送する。胸元のコントローラユニット７は、車のシガレットプラグ９から１２ボルトの電源供給を受けて画像認識処理を行う。もしも運転手の眼の画像から閉眼状態が一定時間以上続いたと認識したら、運転手が居眠り状態になったと見なして警告アラームを鳴らして覚醒させる。
【００２７】
図７は本発明に係る居眠り監視警告装置の構成図である。メガネのつる２に取り付けるカメラモジュール３（撮影手段）には、イメージセンサとしてＣＣＤやモノクロのエリアセンサが使われ、短焦点レンズ５と組み合わせて眼の画像を結像する。さらに赤外光照射ＬＥＤ６を組み合わせて、暗い時に赤外光を被写体に照射して画像撮影を確実にする。カメラモジュール３とは離れた場所にコントローラユニット７が設置され、コントローラユニット７には画像認識処理を行うＣＰＵと警告アラーム装置（警告手段）と電源回路が備わっている。この電源回路は、画像認識処理のＣＰＵやカメラモジュールを動作させる電力供給源であり、車のシガーソケットプラグ９から１２Ｖの電源供給を受けても良いし、蓄電池を内蔵して蓄電池で電力供給しても良い。
【００２８】
コントローラユニット７は、画像認識処理を行ったり各機能を実現する制御プログラムの命令を実行するＣＰＵ（比較手段、判断手段）、プログラムを格納したＲＯＭ、プログラム及び各種データを格納するメモリ等の記憶装置（記憶手段）等から構成される。
【００２９】
図８は本発明に係る居眠り監視警告装置で被験者の眼の閉眼時間を図示したタイミング図である。図８（ａ）に示すように目を閉じた閉眼時間が０．１秒と短い場合は覚醒しているとみなし、閉眼時間が０．２秒を超えて（ｃ）に示すように０．３秒まで長くなると居眠り状態にあると判断して警告アラームを鳴らす。
【００３０】
メガネ１に取り付けたカメラモジュール３で撮影する被験者の眼の画像は、被験者個々の個性によって開眼画像と閉眼画像がさまざまに変わると予想される。それは被験者の頭の形やメガネの大きさによって変わるもので、カメラモジュール３と被験者の眼までの距離が一定にならない事や、カメラモジュール３の取り付け角度の違いや被験者の眼の位置など、装置を取り付ける人によって都度異なる。本発明では、居眠り監視警告装置の電源をＯＮしたら最初に被験者の開眼画像と閉眼画像をそれぞれ登録し、まずまばたきテストを行うことによってその問題を解決する。
【００３１】
被験者が最初にまばたきテストを行い、開眼状態と閉眼状態をそれぞれ記憶装置に記憶し、装置が正確に認識する事を確認すれば被験者個々の個性は問題にならない。
【００３２】
居眠り状態を判断するために測定する閉眼時間は、被験者の個性で異なる可能性がある。たとえば０．３秒の閉眼時間で居眠り状態にあると判断する場合、人によっては覚醒状態でも０．３秒の閉眼状態が頻発して警告アラームが鳴ったり、逆に０．３秒よりも短くしてより厳しい監視状態を望むという被験者がありうる。従ってこの居眠り状態を判断する閉眼時間は、被験者の意思によって可変できるのが望ましい。
【００３３】
以上に示したように、本発明による居眠り監視警告装置を用いると、運転手が装着するメガネのつるにカメラを取り付けて、運転手の片方の眼を横方向から近接撮影し開眼状態を観察するので、従来のように被験者の顔全体を含む画像から被験者の眼の位置を認識する処理は不要であり、運転手が体を動かしても顔を傾けてもカメラが捕える被験者の眼の画像は常に一定である。
【００３４】
カメラが眼に近い位置で固定されるので、撮影画像の解像度はさほど高くある必要はなく、低分解能のしかもモノクロの画像センサを用いる事ができる。画像データが小さくできるので、処理回路も簡易であり、装置全体の価格を低く抑える事ができる。メガネのつるに取り付けるのは小型軽量化されたカメラモジュールのみであり、被験者が装着するメガネにカメラモジュールが取り付けられても被験者は負担を感じない。
【００３５】
被験者の眼の開閉状態を認識する画像処理回路や電源回路が収まるコントローラは被験者の胸ポケットに収納され、監視装置全体がコントローラに内蔵のバッテリーで駆動されれば監視装置を運転手が持ち歩く事ができ、複数の異なる車両を運転する運転者にとって全ての車両で監視装置が使えるという効果がある。なお、近年は集積回路の進歩が早いので、被験者の眼の開閉状態を認識する画像処理回路がＩＣ化され、カメラモジュールに小型軽量のまま収納できる可能性がある。その場合は、被験者の胸ポケットに収まるコントローラの方に画像処理回路がある必要は無い。
【００３６】
車両を運転する被験者の眼をカメラで撮影する場合、車両が通過する車外の状況によって被写体の明暗が大きく変わる場合がある。その場合は赤外光照射用ＬＥＤで被写体を照らし、夜間だけでなく昼間も照らして、撮影画像をより安定化するのが望ましい。
【００３７】
車両を運転する被験者は、一般的に昼間のまぶしい時は黒いサングラスをするので前から被験者の顔全体を撮影する従来の方法では被験者の眼の様子が撮影できない。一方本発明は、サングラスの内側から被験者の眼を撮影するのでサングラスの色が濃くても薄くても問題にならない。
【００３８】
車両の運転手が装着するめがねは、さまざまな色や形のものが考えられ、そのどれにも簡単に装着できるようにカメラモジュールの構造を考える必要がある。カメラモジュールにクリップ取り付け部材を装備する事で被験者は簡単にメガネのつるにクリップ装着し、さまざまな車両の運転で居眠り監視警告装置が使えるようになり、重大な事故を引き起こす居眠り運転を防止するために、大いに活躍が期待できる。
【符号の説明】
【００３９】
１ メガネ
２ メガネのつる
３ カメラモジュール
４ クリップ
５ 短焦点レンズ
６ 赤外光照射ＬＥＤ
７ コントローラユニット
８ 信号ケーブル
９ シガレットプラグ
１０ １２V電源
１１ ステアリングホイール
１２ 据え置きカメラ
１３ 撮影範囲
【技術分野】
【０００１】
本発明は、交通機関の運転手の居眠りを監視する装置に関するもので、運転手の顔画像のうち眼の開閉具合に基づいて覚醒度を監視し居眠り状態にあると判断した時に警告音を発生させる装置に関する。
【背景技術】
【０００２】
自動車など各種移動体の運転手が運転中に居眠りをしてしまうと、きわめて危険な状態になり、重大な事故を引き起こす可能性がある。居眠り運転の危険は従来から指摘されており、その対策として各種センサーやデジタル技術を応用した居眠り監視方法が多数開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３１３４５９号公報
【特許文献２】特開２０００−４０１４８号公報
【特許文献３】特開２００９−２７６８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしこれら従来の方法は、運転手の開眼状態を前方から撮影するビデオ画像から判断するものであり、運転手の顔を含む全体画像の中からまず運転手の顔部分を認識し、その中の眼の部分を認識し、さらにまぶたの閉じ具合、あるいは黒目の隠れ具合を、画像認識・画像処理を行って居眠り状態を判断するものである。運転手が体を左右に動かしたり、顔を振ったり傾けたりすると眼の位置が逐次変化するので、それを追従するための画像処理が複雑になり、回路的に大掛かりになる。
【０００５】
また、逐次変化する眼の位置を追従認識するのに時間を要し、まぶたの閉じ具合を安定的に監視し続けるのが困難である。更には、運転手の顔を前方から撮影するために、カメラは車両に搭載する事になるので、居眠り監視は装置を搭載した車両にだけ有効となる。つまり、複数の異なる車両を運転する運転者にとっては居眠り監視が搭載されてない車両での不安が避けられない。さらに、運転手が濃い色のサングラスをしている場合は、運転手の顔を正面から撮影するビデオ画像から運転手の眼は認識できない。
【０００６】
このような従来の方法について、図９を用いて説明する。
図９（ａ）に示すようにステアリングホイール１１付近に据え置きカメラ１２を設置し、運転手の顔を含む画像を正面から撮影する。据え置きカメラ１２が撮影する範囲は撮影範囲１３に示すように運転手の顔全体を含む領域である。図９（ｂ）に示すように運転手の顔が左右に動いたり傾いたりすると、運転手の眼の位置はその都度変化するので、画像処理によって眼の位置を探して追従する。
【０００７】
また、カメラで撮影した画像全体における眼の領域はほんの一部分なので、眼の開閉を判断するためには高解像度のカメラを用いる必要がある。従って扱う画像データは大きくなり画像処理量は増え、画像認識処理回路は大掛かりなものになる。また、逐次変化する眼の位置を追従認識するのに時間を要するので、まぶたの閉じ具合を安定的に監視し続けるのが困難となる。
【０００８】
更には、運転手の顔を前方から撮影するために、カメラは車両に搭載する事となり、居眠りの監視は装置を搭載した車両にだけ有効となる。つまり、複数の異なる車両を運転する運転者にとっては居眠り監視装置が搭載されてない車両では監視が受けられない。更に、図９（ｃ）に示すように運転手が濃い色のサングラスをしている場合は、運転手の眼の開閉状態は画像から認識できない。
【課題を解決するための手段】
【０００９】
本発明は、安価で手軽で持ち運び自由な居眠り監視警告装置を実現することを目的とする。手軽に持ち運べれば、運転手は複数の異なる車両のすべてにおいて居眠り監視を受けられる。本発明は、運転手が濃い色のサングラスを装着していても眼の開閉を判断する事ができる。
【００１０】
上記目的を達成するために、本発明は、被験者のまぶたを含む領域の画像を眼の横方向から撮影する撮影手段と、前記画像の特徴を記憶する記憶手段と、前記画像の特徴から前記被験者のまぶたの開状態と閉状態を識別する識別手段と、からなる居眠り監視警告装置であって、
前記識別結果から、まぶたが一定時間以上閉状態である場合に、前記被験者が居眠り状態にあると判断する判断手段と、前記被験者が居眠り状態にあると判断された場合に、被験者に対して警告を行う警告手段と、を有することを特徴としている。
【００１１】
撮影した画像から眼の開閉度合いを判断する画像処理回路や電源回路、警告アラーム装置は、カメラモジュールから離れた別ユニットに収めるようにした。
【００１２】
カメラモジュールに搭載する画像センサとしてモノクロ画像出力のエリアセンサを用いると共に、カメラモジュールの近傍に被写体を照射する赤外光LEDを装着した。カメラモジュールはクリップ取り付け部材を装備し、メガネのつるにクリップ装着できるようにした。
【００１３】
また、運転手の眼の形や大きさ、まつげの有無やまぶたの開き方などは人それぞれ異なるので、まず被験者の眼の開眼状態と閉眼状態を、それぞれ画像登録してから画像判断を開始するようにした。また、眼が一定時間眼閉じた時に居眠り状態にあると判断する一定の時間を可変にし、ユーザー自身が選べる様にした。
【発明の効果】
【００１４】
本発明は、たとえば運転手が装着するメガネのつるにカメラを取り付けて、運転手の片方の眼を横方向から近接撮影し開眼状態を観察する。従来のようにカメラで顔全体を撮影する事はせず、眼に近い位置からまぶたを近接撮影する。カメラはメガネに固定されるので、運転手が体を動かしても顔を傾けてもカメラが捕える画像は常に一定である。
【００１５】
カメラが眼に近い位置で固定されるので、撮影画像の解像度はさほど高くある必要はなく、低分解能の画像センサを用いる事ができる。画像データが小さくできるので、処理回路も簡易であり、装置全体の価格を低く抑える事ができる。
【００１６】
また、カメラがメガネに取り付けられ、画像処理装置が運転手のポケットに収まり、装置全体が内蔵バッテリーで駆動されれば装置を運転手が持ち歩く事ができるので、複数の異なる車両を運転する運転者にとっては全ての車両で装置が使える。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る居眠り監視警告装置の好適な一実施例を示す図である。
【図２】本発明に係るカメラモジュールの好適な一実施例を示す図である。
【図３】本発明に係るカメラモジュールをメガネのつるに装着した図である。
【図４】被験者の眼を横方向から撮影した、開眼と閉眼の図である。
【図５】本発明に係る居眠り監視警告装置の画像認識処理回路が行う処理フロー図である。
【図６】本発明に係る居眠り監視警告装置を装着した居眠り監視状態の具体例である。
【図７】本発明に係る居眠り監視警告装置の構成図である。
【図８】本発明に係る居眠り監視警告装置で閉眼時間を図示したタイミング図である。
【図９】従来の方法による居眠り監視警告装置を装着した居眠り監視状態の具体例である。
【発明を実施するための形態】
【００１８】
本発明による居眠り監視警告装置は、運転手の作業を拘束しない様に配慮されている。つまり、メガネに取り付けるカメラモジュールは画像を撮影するイメージセンサと近距離焦点のレンズが組み合わされたもので、人の指先に乗るほどの小型軽量である。従ってカメラモジュールをメガネのつるに取り付けても運転手はメガネに重量を感じない。
【００１９】
カメラモジュールに使われるイメージセンサはモノクロの低解像度で十分であり、カメラモジュールは携帯電話に使われるものよりさらに小型化が可能である。この小型軽量のカメラモジュールを運転手のメガネのつるに取り付けたとき、居眠り監視警告装置のその他の要素、つまり画像認識処理装置や電源回路、警告アラーム音発生装置などを収めたコントローラユニットはメガネのつるから離れた部分、例えば運転者の胸ポケットなどに入れて、めがねのつるに取り付けたカメラモジュールとは有線で接続する。こうする事で運転者のメガネへの重量負担は軽減し、運転手は運転作業に専念できる。
【実施例】
【００２０】
本発明による居眠り監視警告装置を図を参照しながら説明する。
図１は本発明に係る居眠り監視警告装置の好適な一実施例を示す図である。運転手のメガネ１のつる２に小さなカメラモジュール３（撮影手段）を取り付け、運転手の左眼を含む領域を横方向から撮影する様になっている。メガネのつる２に荷重がかかると運転手に負担がかかるので、カメラ以外の回路要素は別ユニットにして離れた場所に設置し、カメラモジュール３から必要な信号を信号ケーブル８としてメガネ１のつる２に沿って引き出す。
【００２１】
図１の（ａ）はカメラモジュール３を装着した運転手を左側から見た図であり、図１の（ｂ）は上方から見下ろした図である。図１の（ｂ）を見ると、カメラモジュール３から運転手の眼までの距離がかなり接近している事がわかる。つまり、カメラモジュール３は運転手の眼を画角いっぱいに接近して撮影するので、眼の状態を詳細に観察分析できる。メガネのレンズを通さずに直接に眼を撮影するので、運転手が濃い色のサングラスを装着していても撮影画像には影響が無い。
【００２２】
図２は本発明に係るカメラモジュールの好適な一実施例を示す図であり、図２の（ａ）（ｂ）は共にメガネのつる２に取り付けやすいようにばね性のクリップ４が付いている。図２（ａ）は画像撮影のカメラだけのモジュールであり、（ｂ）は赤外光を照射する赤外光照射ＬＥＤ６を一緒に組み込んだモジュールである。画像を撮影する短焦点レンズ５の隣りに赤外光照射ＬＥＤ６がカメラモジュール３に組み込まれた例である。
【００２３】
図３は本発明に係るカメラモジュールをメガネのつるに装着した図である。メガネの左側のつる２に小さなカメラモジュール３がクリップで取り付けられている。
【００２４】
図４は被験者の眼を横方向から撮影した開眼と閉眼の図である。人の眼には個性があり、図４（ａ）のように開眼時にまぶたを大きく開く人や、図４（ｃ）のようにまぶたを大きく開けられない人、図４（ｂ）のように長いまつげを付けている人など、人によって眼の形はさまざまであり、開眼状態の眼の画像、閉眼状態の眼の画像は人によって大きく変わる。開眼状態と閉眼状態を画像認識するには個性的な眼の場合に誤認識する事もあり不確実性が高いので、被験者個々に開眼時の画像と閉眼時の画像を記憶手段にイニシャル登録するのが望ましい。
【００２５】
図５は本発明に係る居眠り監視警告装置の画像認識処理回路が行う処理フロー図である。装置の電源をＯＮしたら最初に被験者の開眼画像と閉眼画像をそれぞれ登録する。その上で被験者はまばたきテストを行う。つまりまぶたを意識的に開閉し、居眠り監視警告装置のコントローラが開眼と閉眼を正確に識別しているかどうかを確認してまばたきテストを行った後に監視をスタートする。カメラモジュールは常時被験者の眼の開閉状態をモニタリングし、コントローラはカメラモジュールにより得られた画像と事前に記憶した被験者の眼の開閉状態とを比較する。コントローラは被験者の閉眼状態が予め設定された時間、例えば０．３秒以上続いた時に居眠り状態にあると判断して警告アラームを鳴らす。開眼状態に戻ったら再び監視を続行する。なお、装置の電源をＯＮしたら最初に登録するのは、必ずしも被験者の開眼と閉眼の画像である必要はなく、被験者の開眼と閉眼の画像の特徴を示すパラメータであっても良い。
【００２６】
図６は本発明に係る居眠り監視警告装置を装着した居眠り監視状態の具体例である。車の運転手が装着するメガネのつる２に取り付けた小さなカメラモジュール３が運転手の左眼を撮影し、その画像データを胸元に置いたコントローラユニット７へ信号ケーブル８で転送する。胸元のコントローラユニット７は、車のシガレットプラグ９から１２ボルトの電源供給を受けて画像認識処理を行う。もしも運転手の眼の画像から閉眼状態が一定時間以上続いたと認識したら、運転手が居眠り状態になったと見なして警告アラームを鳴らして覚醒させる。
【００２７】
図７は本発明に係る居眠り監視警告装置の構成図である。メガネのつる２に取り付けるカメラモジュール３（撮影手段）には、イメージセンサとしてＣＣＤやモノクロのエリアセンサが使われ、短焦点レンズ５と組み合わせて眼の画像を結像する。さらに赤外光照射ＬＥＤ６を組み合わせて、暗い時に赤外光を被写体に照射して画像撮影を確実にする。カメラモジュール３とは離れた場所にコントローラユニット７が設置され、コントローラユニット７には画像認識処理を行うＣＰＵと警告アラーム装置（警告手段）と電源回路が備わっている。この電源回路は、画像認識処理のＣＰＵやカメラモジュールを動作させる電力供給源であり、車のシガーソケットプラグ９から１２Ｖの電源供給を受けても良いし、蓄電池を内蔵して蓄電池で電力供給しても良い。
【００２８】
コントローラユニット７は、画像認識処理を行ったり各機能を実現する制御プログラムの命令を実行するＣＰＵ（比較手段、判断手段）、プログラムを格納したＲＯＭ、プログラム及び各種データを格納するメモリ等の記憶装置（記憶手段）等から構成される。
【００２９】
図８は本発明に係る居眠り監視警告装置で被験者の眼の閉眼時間を図示したタイミング図である。図８（ａ）に示すように目を閉じた閉眼時間が０．１秒と短い場合は覚醒しているとみなし、閉眼時間が０．２秒を超えて（ｃ）に示すように０．３秒まで長くなると居眠り状態にあると判断して警告アラームを鳴らす。
【００３０】
メガネ１に取り付けたカメラモジュール３で撮影する被験者の眼の画像は、被験者個々の個性によって開眼画像と閉眼画像がさまざまに変わると予想される。それは被験者の頭の形やメガネの大きさによって変わるもので、カメラモジュール３と被験者の眼までの距離が一定にならない事や、カメラモジュール３の取り付け角度の違いや被験者の眼の位置など、装置を取り付ける人によって都度異なる。本発明では、居眠り監視警告装置の電源をＯＮしたら最初に被験者の開眼画像と閉眼画像をそれぞれ登録し、まずまばたきテストを行うことによってその問題を解決する。
【００３１】
被験者が最初にまばたきテストを行い、開眼状態と閉眼状態をそれぞれ記憶装置に記憶し、装置が正確に認識する事を確認すれば被験者個々の個性は問題にならない。
【００３２】
居眠り状態を判断するために測定する閉眼時間は、被験者の個性で異なる可能性がある。たとえば０．３秒の閉眼時間で居眠り状態にあると判断する場合、人によっては覚醒状態でも０．３秒の閉眼状態が頻発して警告アラームが鳴ったり、逆に０．３秒よりも短くしてより厳しい監視状態を望むという被験者がありうる。従ってこの居眠り状態を判断する閉眼時間は、被験者の意思によって可変できるのが望ましい。
【００３３】
以上に示したように、本発明による居眠り監視警告装置を用いると、運転手が装着するメガネのつるにカメラを取り付けて、運転手の片方の眼を横方向から近接撮影し開眼状態を観察するので、従来のように被験者の顔全体を含む画像から被験者の眼の位置を認識する処理は不要であり、運転手が体を動かしても顔を傾けてもカメラが捕える被験者の眼の画像は常に一定である。
【００３４】
カメラが眼に近い位置で固定されるので、撮影画像の解像度はさほど高くある必要はなく、低分解能のしかもモノクロの画像センサを用いる事ができる。画像データが小さくできるので、処理回路も簡易であり、装置全体の価格を低く抑える事ができる。メガネのつるに取り付けるのは小型軽量化されたカメラモジュールのみであり、被験者が装着するメガネにカメラモジュールが取り付けられても被験者は負担を感じない。
【００３５】
被験者の眼の開閉状態を認識する画像処理回路や電源回路が収まるコントローラは被験者の胸ポケットに収納され、監視装置全体がコントローラに内蔵のバッテリーで駆動されれば監視装置を運転手が持ち歩く事ができ、複数の異なる車両を運転する運転者にとって全ての車両で監視装置が使えるという効果がある。なお、近年は集積回路の進歩が早いので、被験者の眼の開閉状態を認識する画像処理回路がＩＣ化され、カメラモジュールに小型軽量のまま収納できる可能性がある。その場合は、被験者の胸ポケットに収まるコントローラの方に画像処理回路がある必要は無い。
【００３６】
車両を運転する被験者の眼をカメラで撮影する場合、車両が通過する車外の状況によって被写体の明暗が大きく変わる場合がある。その場合は赤外光照射用ＬＥＤで被写体を照らし、夜間だけでなく昼間も照らして、撮影画像をより安定化するのが望ましい。
【００３７】
車両を運転する被験者は、一般的に昼間のまぶしい時は黒いサングラスをするので前から被験者の顔全体を撮影する従来の方法では被験者の眼の様子が撮影できない。一方本発明は、サングラスの内側から被験者の眼を撮影するのでサングラスの色が濃くても薄くても問題にならない。
【００３８】
車両の運転手が装着するめがねは、さまざまな色や形のものが考えられ、そのどれにも簡単に装着できるようにカメラモジュールの構造を考える必要がある。カメラモジュールにクリップ取り付け部材を装備する事で被験者は簡単にメガネのつるにクリップ装着し、さまざまな車両の運転で居眠り監視警告装置が使えるようになり、重大な事故を引き起こす居眠り運転を防止するために、大いに活躍が期待できる。
【符号の説明】
【００３９】
１ メガネ
２ メガネのつる
３ カメラモジュール
４ クリップ
５ 短焦点レンズ
６ 赤外光照射ＬＥＤ
７ コントローラユニット
８ 信号ケーブル
９ シガレットプラグ
１０ １２V電源
１１ ステアリングホイール
１２ 据え置きカメラ
１３ 撮影範囲
【特許請求の範囲】
【請求項１】
被験者のまぶたを含む領域の画像を眼の横方向から撮影する撮影手段と、
前記画像の特徴を記憶する記憶手段と、
前記画像の特徴から前記被験者のまぶたの開状態と閉状態を識別する識別手段と、からなる居眠り監視警告装置であって、
前記識別結果から、まぶたが一定時間以上閉状態である場合に、前記被験者が居眠り状態にあると判断する判断手段と、
前記被験者が居眠り状態にあると判断された場合に、被験者に対して警告を行う警告手段と、
を有することを特徴とする居眠り監視警告装置。
【請求項２】
前記撮影手段は、被験者のめがねのつるに装着可能な装着手段を有することを特徴とする請求項１に記載の居眠り監視警告装置。
【請求項３】
前記警告手段、前記記憶手段及び前記識別手段は、前記撮影手段とは別ユニットとして構成されていることを特徴とする請求項１又は２に記載の居眠り監視警告装置。
【請求項４】
前記撮影手段は、その近傍に赤外線を照射するＬＥＤを有することを特徴とする請求項１から３のうち何れか１項に記載の居眠り監視警告装置。
【請求項５】
前記判断手段により被験者が居眠り状態であると判断される基準となる時間は、可変であることを特徴とする請求項１から４のうち何れか１項に記載の居眠り監視警告装置。
【請求項６】
被験者のまぶたを含む領域の画像を撮影してまぶたの状態を識別する居眠り監視警告方法であって、
該被験者の眼を横方向から撮影した画像の特徴を記憶するステップと、
運転中の前記被験者のまぶたの開状態と閉状態を識別する識別ステップと、
前記識別結果から、まぶたが一定時間以上閉状態であった場合に、前記被験者が居眠り状態にあると判断するステップと、
前記被験者が居眠り状態にあると判断された場合に、被験者に対して警告を行うステップと、
を有することを特徴とする居眠り監視警告方法。
【請求項１】
被験者のまぶたを含む領域の画像を眼の横方向から撮影する撮影手段と、
前記画像の特徴を記憶する記憶手段と、
前記画像の特徴から前記被験者のまぶたの開状態と閉状態を識別する識別手段と、からなる居眠り監視警告装置であって、
前記識別結果から、まぶたが一定時間以上閉状態である場合に、前記被験者が居眠り状態にあると判断する判断手段と、
前記被験者が居眠り状態にあると判断された場合に、被験者に対して警告を行う警告手段と、
を有することを特徴とする居眠り監視警告装置。
【請求項２】
前記撮影手段は、被験者のめがねのつるに装着可能な装着手段を有することを特徴とする請求項１に記載の居眠り監視警告装置。
【請求項３】
前記警告手段、前記記憶手段及び前記識別手段は、前記撮影手段とは別ユニットとして構成されていることを特徴とする請求項１又は２に記載の居眠り監視警告装置。
【請求項４】
前記撮影手段は、その近傍に赤外線を照射するＬＥＤを有することを特徴とする請求項１から３のうち何れか１項に記載の居眠り監視警告装置。
【請求項５】
前記判断手段により被験者が居眠り状態であると判断される基準となる時間は、可変であることを特徴とする請求項１から４のうち何れか１項に記載の居眠り監視警告装置。
【請求項６】
被験者のまぶたを含む領域の画像を撮影してまぶたの状態を識別する居眠り監視警告方法であって、
該被験者の眼を横方向から撮影した画像の特徴を記憶するステップと、
運転中の前記被験者のまぶたの開状態と閉状態を識別する識別ステップと、
前記識別結果から、まぶたが一定時間以上閉状態であった場合に、前記被験者が居眠り状態にあると判断するステップと、
前記被験者が居眠り状態にあると判断された場合に、被験者に対して警告を行うステップと、
を有することを特徴とする居眠り監視警告方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３０９５９（Ｐ２０１３−３０９５９Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５２９４（Ｐ２０１１−１６５２９４）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００２３２５）セイコーインスツル株式会社 (3,629)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００２３２５）セイコーインスツル株式会社 (3,629)
【Ｆターム（参考）】
[ Back to top ]