欠伸判定装置及び方法
【課題】パターンマッチングを用いることなく精度の高い欠伸状態の判定を行うことができる欠伸判定装置及び方法を提供する。
【解決手段】顔画像に含まれる口画像から顔特徴検出部１１が抽出した特徴点に基づいて、特徴選択・計測部１２及び開口比率演算部１３が口の縦横比を算出する。開判定部１４は、縦横比と開判定しきい値更新部１６が更新した所定の開判定しきい値とを比較して口の開閉状態を判定し、欠伸検出部１５は、口が開状態と判定された開口時間と期間しきい値検出部１７が更新した所定の期間しきい値とを比較して、欠伸状態が発生しているか否かを判定する。
【解決手段】顔画像に含まれる口画像から顔特徴検出部１１が抽出した特徴点に基づいて、特徴選択・計測部１２及び開口比率演算部１３が口の縦横比を算出する。開判定部１４は、縦横比と開判定しきい値更新部１６が更新した所定の開判定しきい値とを比較して口の開閉状態を判定し、欠伸検出部１５は、口が開状態と判定された開口時間と期間しきい値検出部１７が更新した所定の期間しきい値とを比較して、欠伸状態が発生しているか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の欠伸状態を判定する欠伸判定装置及び方法に関する。
【背景技術】
【０００２】
従来より、人間の口部分の行動を判定する状態監視装置に関として、下記の特許文献１に記載された技術が知られている。
【０００３】
この特許文献１には、口全体における縦横方向の開口時の大きさを計測し、当該開口大きさの時間的変化の微分値を求める。そして、微分値の変曲点で時間を区切り、当該区切った時間系列中の分節数と各分節の時間の長さとに基づいて、欠伸状態又は会話状態であるかの判定をしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９９０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に記載された技術では、開口大きさの時間的変化の微分値を使って、パターンマッチングで口部分の行動を判定する。このため、所定のパターンの設定の仕方によっては誤判定率が高くなるという問題点がある（特に、特許文献１の段落００８２等）。
【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、パターンマッチングを用いることなく精度の高い欠伸状態の判定を行うことができる欠伸判定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題を解決するために、顔画像に含まれる口画像から抽出した特徴点に基づいて口の縦横比を算出して口の開閉状態を判定し、当該開状態となっている開口時間に基づいて、欠伸状態であるかを判定するものである。
【発明の効果】
【０００８】
本発明によれば、口の縦横比を算出して口の開閉状態を判定し、開状態となっている開口時間に基づいて欠伸状態であるかを判定するので、パターンマッチングを用いることなく欠伸状態の判定ができ、精度の高い欠伸状態の判定を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明を実施形態として示す欠伸判定システムの概略を示すブロック図である。
【図２】本発明の実施形態として示す欠伸判定システムにおいて、カメラシステムの設置例を説明する図である。
【図３】本発明の実施形態として示す欠伸判定システムにおける欠伸演算装置の機能的な構成を示すブロック図である。
【図４】本発明の実施形態として示す欠伸判定システムにおいて、顔画像から特徴点を抽出して高さ及び幅を求める処理を説明する図である。
【図５】本発明の実施形態として示す欠伸判定システムにおいて、（ａ）は縦横比の時間変化を示し、（ｂ）は口開閉状態の時間変化を示す。
【図６】本発明の実施形態として示す欠伸判定システムにおいて、（ａ）は縦横比の時間変化を示し、（ｂ）〜（ｄ）は口開閉状態の時間変化を示す。
【図７】本発明の実施形態として示す欠伸判定システムにおいて、開判定しきい値と期間しきい値との関係を示す図である。
【図８】本発明の実施形態として示す欠伸判定システムにおいて、開判定しきい値を求める処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
【００１１】
本発明の実施形態として示す欠伸検出システムは、例えば図１に示すように構成される。欠伸判定システムは、欠伸を判定するための各種の演算を行う欠伸演算装置１と、顔画像を取得するカメラ装置（撮像手段）２と、ドライバの顔を含む領域に赤外線を照射する赤外線光源３とを備える。この欠伸判定システムは、赤外線光源３により赤外線を照射している状態で、カメラ装置２により顔画像を撮影する。なお、カメラ装置２は、赤外線カメラに限らず、他の形式のカメラであってもよいことは勿論である。
【００１２】
欠伸判定システムは、欠伸演算装置１によりドライバの欠伸状態を検出した時に、欠伸検出信号を出力する。この欠伸検出信号は、例えば、図示しない居眠り検出装置、居眠り防止装置に供給される。これにより、欠伸検出信号は、例えば、居眠り防止のための警報音をスピーカ等から出力させるために用いることができる。
【００１３】
この欠伸判定システムは、例えば図２に示すように、ドライバが操作する運転席に設けられる。カメラ装置２及び赤外線光源３を含むカメラシステム１０２は、ステアリング１００の近傍であって、ドライバが視認できる計器類１０１の前辺りに設置される。これにより、カメラシステム１０２は、少なくともドライバの口部分を含む顔画像を撮影できる。カメラ装置２により撮像して得た顔画像は、欠伸演算装置１に供給される。
【００１４】
欠伸演算装置１は、例えば図３に示すような機能的な各部を備えている。なお、欠伸演算装置１は、実際にはＲＯＭ、ＲＡＭ、ＣＰＵ等にて構成されているが、当該ＣＰＵがＲＯＭに格納された欠伸判定用のプログラムに従って処理をすることによって実現できる機能をブロックとして説明する。
【００１５】
欠伸演算装置１は、顔特徴検出部１１、特徴選択・計測部１２、開口比率演算部１３、開判定部１４、欠伸検出部１５、開判定しきい値更新部１６、期間しきい値検出部１７を含む。
【００１６】
顔特徴検出部１１は、カメラ装置２により取得されたカメラ画像データが供給される。顔特徴検出部１１は、当該カメラ画像データに含まれる顔画像のうちの口画像から、特徴点を抽出する（特徴点抽出手段）。顔特徴検出部１１は、例えば図４に示すように、顔画像２０のうち、口画像２１の特徴点ｍを抽出する。この特徴点ｍとしては、上端点の特徴点ｍｕｌ、右端点の特徴点ｍｌｃ、左端点の特徴点ｍｒｃ、下端点の特徴点ｍｌｌが含まれる。
【００１７】
特徴選択・計測部１２は、顔特徴検出部１１により抽出された特徴点ｍに基づいて、口の縦横比を算出する（縦横比算出手段）。特徴選択・計測部１２は、例えば図４に示すように、上端点の特徴点ｍｕｌと下端点の特徴点ｍｌｌとの縦方向距離である高さＨ、右端点の特徴点ｍｌｃと左端点の特徴点ｍｒｃとの横方向距離である幅Ｗを演算する。
【００１８】
開口比率演算部１３は、特徴選択・計測部１２により演算された高さＨと幅Ｗとの比率である縦横比を演算する。
【００１９】
開判定しきい値更新部１６は、予め所定の開判定しきい値を演算しておく。この開判定しきい値は、開口比率演算部１３により演算された縦横比に基づいて決定される。開判定しきい値は、ドライバが欠伸をしているか、会話をしているかを区別できるような縦横比の値である。この開判定しきい値は、所定値であっても、ドライバの開口の仕方によって更新される値であっても良い。なお、この開判定しきい値の更新処理については後述する。
【００２０】
開判定部１４は、開口比率演算部１３により算出された縦横比に基づいて、口の開閉状態を判定する（口開閉状態判定手段）。このとき、開判定部１４は、開判定しきい値更新部１６により更新された開判定しきい値と縦横比とを比較することにより、開状態又は閉状態であることを判定する。また、開判定部１４は、現在の口の開閉状態が開状態と判定された場合に、当該開状態となっている開口時間を算出する（開口時間算出手段）。
【００２１】
期間しきい値検出部１７は、開判定しきい値更新部１６により更新された開判定しきい値に基づいて、期間しきい値を検出する。期間しきい値は、ドライバが欠伸をしているか、会話をしているかを区別できるような期間である。この期間しきい値は、所定値であっても、ドライバの開口の仕方によって更新される値であっても良い。なお、この期間しきい値の更新処理については後述する。
【００２２】
欠伸検出部１５は、開判定部１４により判定された開状態となっている開口時間が充分に長い場合には、欠伸が発生したことを検出し、欠伸検出信号を出力する。なお、欠伸検出部１５は、後述する期間しきい値λを用いて欠伸状態か、単なる開状態かを判定する。
【００２３】
つぎに、上述した欠伸判定システムにおける開状態となっている開口時間の演算処理について説明する。
【００２４】
欠伸判定システムは、時間変化に伴って、開口比率演算部１３により縦横比ρを演算する。ここで、縦横比ρは、高さＨ／幅Ｗであり、高さＨが高いほど大きい値となる。従って、高さＨが高く縦横比ρが大きい値であるほど、口が開状態であると判定されやすい。
【００２５】
例えば、図５（ａ）に示すように縦横比ρが変化したとする。このとき、開判定部１４は、開判定しきい値更新部１６により予め設定された開判定しきい値τと、縦横比ρとを比較して、縦横比ρが開判定しきい値τを超えたタイミング及び縦横比ρが開判定しきい値τを下回ったタイミングとを検出できる。すると、図５（ａ）においては、ｔ１とｔ２、ｔ３とｔ４、ｔ５とｔ６という組が開判定部１４により検出できる。
【００２６】
この縦横比ρの変化において、開判定部１４は、図５（ｂ）に示すように、縦横比ρが開判定しきい値τを超えた時刻ｔ１にタイマを起動する。この時、開判定部１４は、口開閉状態が開状態となったフラグ「１」を立てる。その後、開判定部１４は、縦横比ρが開判定しきい値τを下回った時刻ｔ２にタイマを停止する。この時、開判定部１４は、口開閉状態が開状態であるフラグ「１」を「０」に戻す。これにより、開判定部１４は、時刻ｔ２において、開状態となっている開口時間ｄｔ１を取得することができる。開判定部１４は、同様に、ｔ３〜ｔ４の開状態となっている開口時間ｄｔ２、ｔ５〜ｔ６の開状態となっている開口時間ｄｔ３を取得できる。
【００２７】
つぎに、上述した欠伸判定システムにおける開判定しきい値τ及び期間しきい値λの更新処理について、図６及び図７の処理説明図と、図８のフローチャートを参照して説明する。
【００２８】
図８に示すように、先ず開判定しきい値更新部１６は、ステップＳ１において、最新のｎ個の縦横比ρを収集する。このｎ個の縦横比ρは、所定の検出ウィンドウＴごとに行って、以下の処理に移行する。
【００２９】
次のステップＳ２において、開判定しきい値更新部１６は、ステップＳ１にて収集した縦横比ρを用いてヒストグラムＨを作成する。
【００３０】
例えば図６（ａ）に示すように、欠伸判定システムは、時間変化に伴って、開口比率演算部１３により縦横比ρを演算する。このような縦横比ρの時間変化を演算している時に、開判定しきい値更新部１６は、所定の検出ウィンドウＴごとに縦横比ρを収集して、ヒストグラムＨを作成する。この所定の検出ウィンドウＴの幅（期間）は、開判定しきい値τ及び期間しきい値λが精度良く設定できる期間であり、予め統計解析により設定されて図示しないメモリに記憶されている。この所定の検出ウィンドウＴの幅は、例えば２，３分といった期間である。また、図６（ｂ）、（ｃ）、（ｄ）のようなヒストグラムＨは、横軸が縦横比ρ、縦軸がウィンドウＴの期間内に検出した縦横比ρの頻度である。なお、図６（ｂ）、（ｃ）、（ｄ）は、異なるケースで作成したヒストグラムを示すものである。
【００３１】
図８に説明を戻し、次のステップＳ３において、開判定しきい値更新部１６は、ステップＳ２にて作成したヒストグラムＨの縦横比ρを上位の値から計数し、所定の検出ウィンドウＴ内でサンプリングした全縦横比ρのうちのβ％までの領域を決定する。これにより、図６（ｂ）〜（ｃ）のように、全縦横比ρのうちのβ％となる領域を決定し、当該領域（β％）の最下位値となる縦横比ρを決定できる。この最下位値となる縦横比ρが、開判定しきい値τｔとなる。ここで、図６（ｂ）〜（ｃ）のように、各ヒストグラムＨは、ドライバによって異なった形状となるため、ヒストグラムＨごとに、それぞれ開判定しきい値τが異なる値となる。従って、ドライバの口を開ける振る舞い方、欠伸の仕方に適した開判定しきい値τを求めることができる。
【００３２】
次のステップＳ４において、開判定しきい値更新部１６は、ステップＳ３にて求めた開判定しきい値の上下限範囲τｍｉｎ，τｍａｘを決定する。この上下限範囲は、予め欠伸判定システムにて、ドライバの口が開状態である可能性が高い縦横比ρの範囲であり、統計データによって決定されている。
【００３３】
次のステップＳ５において、開判定しきい値更新部１６は、ステップＳ３にて求められた開判定しきい値τｔが、ステップＳ４にて決定された上下限範囲τｍｉｎ，τｍａｘの間に含まれるか否かを判定する。開判定しきい値τｔが上下限範囲τｍｉｎ，τｍａｘの間に含まれる場合にはステップＳ６に処理を進め、そうでない場合にはステップＳ７に処理を進める。
【００３４】
ステップＳ６において、開判定しきい値更新部１６は、ステップＳ３にて求められた開判定しきい値τｔを開判定部１４及び期間しきい値検出部１７に出力して、処理を終了する。
【００３５】
一方、ステップＳ７において、開判定しきい値更新部１６は、出力する開判定しきい値τｔを、上下限範囲τｍｉｎ，τｍａｘの何れかに決定する。開判定しきい値τｔが上下限範囲のうちのτｍｉｎよりも小さい場合には、開判定しきい値τｔとしてτｍｉｎを出力する。逆に、開判定しきい値τｔが上下限範囲のうちのτｍａｘよりも大きい場合には、開判定しきい値τｔとしてτｍａｘを出力する。
【００３６】
このような開判定しきい値τｔの決定処理により、開判定部１４は、当該開判定しきい値τｔを用いて口の開閉状態を判定できる。
【００３７】
また、期間しきい値検出部１７は、開判定しきい値τｔを用いて、期間しきい値λを決定する。期間しきい値検出部１７は、図７に示すように、予め開判定しきい値τｔと期間しきい値λとの関係を示す比較テーブルを記憶している。期間しきい値検出部１７は、開判定しきい値更新部１６により決定された開判定しきい値τｔに対応した期間しきい値λｔを比較テーブルから読み出す。これにより、期間しきい値検出部１７は、期間しきい値λを決定して、欠伸検出部１５に出力する。また、この比較テーブルにおいて、開判定しきい値更新部１６から上下限範囲τｍｉｎ，τｍａｘの何れかが出力されても、期間しきい値検出部１７は、上下限範囲τｍｉｎ，τｍａｘに対応した上下限範囲の期間しきい値λｍｉｎ，λｍａｘを決定できる。
【００３８】
以上説明したように、本発明の実施形態として示す欠伸判定システムによれば、顔画像に含まれる口画像から特徴点を抽出して口の縦横比を算出し、当該縦横比に基づいて、口の開閉状態を判定する。そして、開状態となっている開口時間に基づいて、欠伸状態であるかを判定する。これにより、欠伸判定システムによれば、口画像や口の開閉状態に対するパターンマッチングを行うことなく、欠伸判定を行うことができる。したがって、この欠伸判定システムによれば、パターンマッチングを行うことによる欠伸判定の精度の低下を回避でき、精度がよく欠伸を判定することができる。
【００３９】
また、この欠伸判定システムによれば、縦横比が所定の開判定しきい値よりも大きい場合に、開状態と判定できる。また、この欠伸判定システムによれば、開口時間が所定の期間しきい値よりも長い場合に、欠伸状態であることを判定できる。
【００４０】
更に、この欠伸判定システムによれば、所定期間に縦横比を収集してヒストグラムを作成し、当該ヒストグラムの縦横比を上位の値から計数してヒストグラム全体のうちの所定割合における縦横比を、開判定しきい値として決定する。これにより、開判定しきい値を更新でき、ドライバごとに精度良く欠伸を判定する開判定しきい値を決定できる。
【００４１】
更にまた、この欠伸判定システムによれば、更新した開判定しきい値と縦横比に基づいて開状態と判定できる所定範囲とを比較し、前記決定した開判定しきい値が所定範囲よりも低い場合には、当該所定範囲の最低値を開判定しきい値として決定し、決定した開判定しきい値が所定範囲よりも高い場合には、当該所定範囲の最高値を開判定しきい値として決定する。これにより、欠伸判定システムによれば、ヒストグラムを用いて更新した開判定しきい値が非常な値となった場合でも、所定範囲内で開判定しきい値を決定することができ、判定精度の低下を回避できる。
【００４２】
更にまた、この欠伸判定システムによれば、開判定しきい値に基づいて、所定の期間しきい値を更新するので、ドライバごとに設定した開判定しきい値に応じた期間しきい値を設定でき、ドライバごとに精度良く欠伸を判定する期間しきい値を決定できる。
【符号の説明】
【００４３】
１ 欠伸演算装置
２ カメラ装置
３ 赤外線光源
１１ 顔特徴検出部
１２ 特徴選択・計測部
１３ 開口比率演算部
１４ 開判定部
１５ 欠伸検出部
１６ 値更新部
１７ 値検出部
２０ 顔画像
２１ 口画像
１００ ステアリング
１０１ 計器類
１０２ カメラシステム
【技術分野】
【０００１】
本発明は、人間の欠伸状態を判定する欠伸判定装置及び方法に関する。
【背景技術】
【０００２】
従来より、人間の口部分の行動を判定する状態監視装置に関として、下記の特許文献１に記載された技術が知られている。
【０００３】
この特許文献１には、口全体における縦横方向の開口時の大きさを計測し、当該開口大きさの時間的変化の微分値を求める。そして、微分値の変曲点で時間を区切り、当該区切った時間系列中の分節数と各分節の時間の長さとに基づいて、欠伸状態又は会話状態であるかの判定をしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９９０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に記載された技術では、開口大きさの時間的変化の微分値を使って、パターンマッチングで口部分の行動を判定する。このため、所定のパターンの設定の仕方によっては誤判定率が高くなるという問題点がある（特に、特許文献１の段落００８２等）。
【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、パターンマッチングを用いることなく精度の高い欠伸状態の判定を行うことができる欠伸判定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題を解決するために、顔画像に含まれる口画像から抽出した特徴点に基づいて口の縦横比を算出して口の開閉状態を判定し、当該開状態となっている開口時間に基づいて、欠伸状態であるかを判定するものである。
【発明の効果】
【０００８】
本発明によれば、口の縦横比を算出して口の開閉状態を判定し、開状態となっている開口時間に基づいて欠伸状態であるかを判定するので、パターンマッチングを用いることなく欠伸状態の判定ができ、精度の高い欠伸状態の判定を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明を実施形態として示す欠伸判定システムの概略を示すブロック図である。
【図２】本発明の実施形態として示す欠伸判定システムにおいて、カメラシステムの設置例を説明する図である。
【図３】本発明の実施形態として示す欠伸判定システムにおける欠伸演算装置の機能的な構成を示すブロック図である。
【図４】本発明の実施形態として示す欠伸判定システムにおいて、顔画像から特徴点を抽出して高さ及び幅を求める処理を説明する図である。
【図５】本発明の実施形態として示す欠伸判定システムにおいて、（ａ）は縦横比の時間変化を示し、（ｂ）は口開閉状態の時間変化を示す。
【図６】本発明の実施形態として示す欠伸判定システムにおいて、（ａ）は縦横比の時間変化を示し、（ｂ）〜（ｄ）は口開閉状態の時間変化を示す。
【図７】本発明の実施形態として示す欠伸判定システムにおいて、開判定しきい値と期間しきい値との関係を示す図である。
【図８】本発明の実施形態として示す欠伸判定システムにおいて、開判定しきい値を求める処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
【００１１】
本発明の実施形態として示す欠伸検出システムは、例えば図１に示すように構成される。欠伸判定システムは、欠伸を判定するための各種の演算を行う欠伸演算装置１と、顔画像を取得するカメラ装置（撮像手段）２と、ドライバの顔を含む領域に赤外線を照射する赤外線光源３とを備える。この欠伸判定システムは、赤外線光源３により赤外線を照射している状態で、カメラ装置２により顔画像を撮影する。なお、カメラ装置２は、赤外線カメラに限らず、他の形式のカメラであってもよいことは勿論である。
【００１２】
欠伸判定システムは、欠伸演算装置１によりドライバの欠伸状態を検出した時に、欠伸検出信号を出力する。この欠伸検出信号は、例えば、図示しない居眠り検出装置、居眠り防止装置に供給される。これにより、欠伸検出信号は、例えば、居眠り防止のための警報音をスピーカ等から出力させるために用いることができる。
【００１３】
この欠伸判定システムは、例えば図２に示すように、ドライバが操作する運転席に設けられる。カメラ装置２及び赤外線光源３を含むカメラシステム１０２は、ステアリング１００の近傍であって、ドライバが視認できる計器類１０１の前辺りに設置される。これにより、カメラシステム１０２は、少なくともドライバの口部分を含む顔画像を撮影できる。カメラ装置２により撮像して得た顔画像は、欠伸演算装置１に供給される。
【００１４】
欠伸演算装置１は、例えば図３に示すような機能的な各部を備えている。なお、欠伸演算装置１は、実際にはＲＯＭ、ＲＡＭ、ＣＰＵ等にて構成されているが、当該ＣＰＵがＲＯＭに格納された欠伸判定用のプログラムに従って処理をすることによって実現できる機能をブロックとして説明する。
【００１５】
欠伸演算装置１は、顔特徴検出部１１、特徴選択・計測部１２、開口比率演算部１３、開判定部１４、欠伸検出部１５、開判定しきい値更新部１６、期間しきい値検出部１７を含む。
【００１６】
顔特徴検出部１１は、カメラ装置２により取得されたカメラ画像データが供給される。顔特徴検出部１１は、当該カメラ画像データに含まれる顔画像のうちの口画像から、特徴点を抽出する（特徴点抽出手段）。顔特徴検出部１１は、例えば図４に示すように、顔画像２０のうち、口画像２１の特徴点ｍを抽出する。この特徴点ｍとしては、上端点の特徴点ｍｕｌ、右端点の特徴点ｍｌｃ、左端点の特徴点ｍｒｃ、下端点の特徴点ｍｌｌが含まれる。
【００１７】
特徴選択・計測部１２は、顔特徴検出部１１により抽出された特徴点ｍに基づいて、口の縦横比を算出する（縦横比算出手段）。特徴選択・計測部１２は、例えば図４に示すように、上端点の特徴点ｍｕｌと下端点の特徴点ｍｌｌとの縦方向距離である高さＨ、右端点の特徴点ｍｌｃと左端点の特徴点ｍｒｃとの横方向距離である幅Ｗを演算する。
【００１８】
開口比率演算部１３は、特徴選択・計測部１２により演算された高さＨと幅Ｗとの比率である縦横比を演算する。
【００１９】
開判定しきい値更新部１６は、予め所定の開判定しきい値を演算しておく。この開判定しきい値は、開口比率演算部１３により演算された縦横比に基づいて決定される。開判定しきい値は、ドライバが欠伸をしているか、会話をしているかを区別できるような縦横比の値である。この開判定しきい値は、所定値であっても、ドライバの開口の仕方によって更新される値であっても良い。なお、この開判定しきい値の更新処理については後述する。
【００２０】
開判定部１４は、開口比率演算部１３により算出された縦横比に基づいて、口の開閉状態を判定する（口開閉状態判定手段）。このとき、開判定部１４は、開判定しきい値更新部１６により更新された開判定しきい値と縦横比とを比較することにより、開状態又は閉状態であることを判定する。また、開判定部１４は、現在の口の開閉状態が開状態と判定された場合に、当該開状態となっている開口時間を算出する（開口時間算出手段）。
【００２１】
期間しきい値検出部１７は、開判定しきい値更新部１６により更新された開判定しきい値に基づいて、期間しきい値を検出する。期間しきい値は、ドライバが欠伸をしているか、会話をしているかを区別できるような期間である。この期間しきい値は、所定値であっても、ドライバの開口の仕方によって更新される値であっても良い。なお、この期間しきい値の更新処理については後述する。
【００２２】
欠伸検出部１５は、開判定部１４により判定された開状態となっている開口時間が充分に長い場合には、欠伸が発生したことを検出し、欠伸検出信号を出力する。なお、欠伸検出部１５は、後述する期間しきい値λを用いて欠伸状態か、単なる開状態かを判定する。
【００２３】
つぎに、上述した欠伸判定システムにおける開状態となっている開口時間の演算処理について説明する。
【００２４】
欠伸判定システムは、時間変化に伴って、開口比率演算部１３により縦横比ρを演算する。ここで、縦横比ρは、高さＨ／幅Ｗであり、高さＨが高いほど大きい値となる。従って、高さＨが高く縦横比ρが大きい値であるほど、口が開状態であると判定されやすい。
【００２５】
例えば、図５（ａ）に示すように縦横比ρが変化したとする。このとき、開判定部１４は、開判定しきい値更新部１６により予め設定された開判定しきい値τと、縦横比ρとを比較して、縦横比ρが開判定しきい値τを超えたタイミング及び縦横比ρが開判定しきい値τを下回ったタイミングとを検出できる。すると、図５（ａ）においては、ｔ１とｔ２、ｔ３とｔ４、ｔ５とｔ６という組が開判定部１４により検出できる。
【００２６】
この縦横比ρの変化において、開判定部１４は、図５（ｂ）に示すように、縦横比ρが開判定しきい値τを超えた時刻ｔ１にタイマを起動する。この時、開判定部１４は、口開閉状態が開状態となったフラグ「１」を立てる。その後、開判定部１４は、縦横比ρが開判定しきい値τを下回った時刻ｔ２にタイマを停止する。この時、開判定部１４は、口開閉状態が開状態であるフラグ「１」を「０」に戻す。これにより、開判定部１４は、時刻ｔ２において、開状態となっている開口時間ｄｔ１を取得することができる。開判定部１４は、同様に、ｔ３〜ｔ４の開状態となっている開口時間ｄｔ２、ｔ５〜ｔ６の開状態となっている開口時間ｄｔ３を取得できる。
【００２７】
つぎに、上述した欠伸判定システムにおける開判定しきい値τ及び期間しきい値λの更新処理について、図６及び図７の処理説明図と、図８のフローチャートを参照して説明する。
【００２８】
図８に示すように、先ず開判定しきい値更新部１６は、ステップＳ１において、最新のｎ個の縦横比ρを収集する。このｎ個の縦横比ρは、所定の検出ウィンドウＴごとに行って、以下の処理に移行する。
【００２９】
次のステップＳ２において、開判定しきい値更新部１６は、ステップＳ１にて収集した縦横比ρを用いてヒストグラムＨを作成する。
【００３０】
例えば図６（ａ）に示すように、欠伸判定システムは、時間変化に伴って、開口比率演算部１３により縦横比ρを演算する。このような縦横比ρの時間変化を演算している時に、開判定しきい値更新部１６は、所定の検出ウィンドウＴごとに縦横比ρを収集して、ヒストグラムＨを作成する。この所定の検出ウィンドウＴの幅（期間）は、開判定しきい値τ及び期間しきい値λが精度良く設定できる期間であり、予め統計解析により設定されて図示しないメモリに記憶されている。この所定の検出ウィンドウＴの幅は、例えば２，３分といった期間である。また、図６（ｂ）、（ｃ）、（ｄ）のようなヒストグラムＨは、横軸が縦横比ρ、縦軸がウィンドウＴの期間内に検出した縦横比ρの頻度である。なお、図６（ｂ）、（ｃ）、（ｄ）は、異なるケースで作成したヒストグラムを示すものである。
【００３１】
図８に説明を戻し、次のステップＳ３において、開判定しきい値更新部１６は、ステップＳ２にて作成したヒストグラムＨの縦横比ρを上位の値から計数し、所定の検出ウィンドウＴ内でサンプリングした全縦横比ρのうちのβ％までの領域を決定する。これにより、図６（ｂ）〜（ｃ）のように、全縦横比ρのうちのβ％となる領域を決定し、当該領域（β％）の最下位値となる縦横比ρを決定できる。この最下位値となる縦横比ρが、開判定しきい値τｔとなる。ここで、図６（ｂ）〜（ｃ）のように、各ヒストグラムＨは、ドライバによって異なった形状となるため、ヒストグラムＨごとに、それぞれ開判定しきい値τが異なる値となる。従って、ドライバの口を開ける振る舞い方、欠伸の仕方に適した開判定しきい値τを求めることができる。
【００３２】
次のステップＳ４において、開判定しきい値更新部１６は、ステップＳ３にて求めた開判定しきい値の上下限範囲τｍｉｎ，τｍａｘを決定する。この上下限範囲は、予め欠伸判定システムにて、ドライバの口が開状態である可能性が高い縦横比ρの範囲であり、統計データによって決定されている。
【００３３】
次のステップＳ５において、開判定しきい値更新部１６は、ステップＳ３にて求められた開判定しきい値τｔが、ステップＳ４にて決定された上下限範囲τｍｉｎ，τｍａｘの間に含まれるか否かを判定する。開判定しきい値τｔが上下限範囲τｍｉｎ，τｍａｘの間に含まれる場合にはステップＳ６に処理を進め、そうでない場合にはステップＳ７に処理を進める。
【００３４】
ステップＳ６において、開判定しきい値更新部１６は、ステップＳ３にて求められた開判定しきい値τｔを開判定部１４及び期間しきい値検出部１７に出力して、処理を終了する。
【００３５】
一方、ステップＳ７において、開判定しきい値更新部１６は、出力する開判定しきい値τｔを、上下限範囲τｍｉｎ，τｍａｘの何れかに決定する。開判定しきい値τｔが上下限範囲のうちのτｍｉｎよりも小さい場合には、開判定しきい値τｔとしてτｍｉｎを出力する。逆に、開判定しきい値τｔが上下限範囲のうちのτｍａｘよりも大きい場合には、開判定しきい値τｔとしてτｍａｘを出力する。
【００３６】
このような開判定しきい値τｔの決定処理により、開判定部１４は、当該開判定しきい値τｔを用いて口の開閉状態を判定できる。
【００３７】
また、期間しきい値検出部１７は、開判定しきい値τｔを用いて、期間しきい値λを決定する。期間しきい値検出部１７は、図７に示すように、予め開判定しきい値τｔと期間しきい値λとの関係を示す比較テーブルを記憶している。期間しきい値検出部１７は、開判定しきい値更新部１６により決定された開判定しきい値τｔに対応した期間しきい値λｔを比較テーブルから読み出す。これにより、期間しきい値検出部１７は、期間しきい値λを決定して、欠伸検出部１５に出力する。また、この比較テーブルにおいて、開判定しきい値更新部１６から上下限範囲τｍｉｎ，τｍａｘの何れかが出力されても、期間しきい値検出部１７は、上下限範囲τｍｉｎ，τｍａｘに対応した上下限範囲の期間しきい値λｍｉｎ，λｍａｘを決定できる。
【００３８】
以上説明したように、本発明の実施形態として示す欠伸判定システムによれば、顔画像に含まれる口画像から特徴点を抽出して口の縦横比を算出し、当該縦横比に基づいて、口の開閉状態を判定する。そして、開状態となっている開口時間に基づいて、欠伸状態であるかを判定する。これにより、欠伸判定システムによれば、口画像や口の開閉状態に対するパターンマッチングを行うことなく、欠伸判定を行うことができる。したがって、この欠伸判定システムによれば、パターンマッチングを行うことによる欠伸判定の精度の低下を回避でき、精度がよく欠伸を判定することができる。
【００３９】
また、この欠伸判定システムによれば、縦横比が所定の開判定しきい値よりも大きい場合に、開状態と判定できる。また、この欠伸判定システムによれば、開口時間が所定の期間しきい値よりも長い場合に、欠伸状態であることを判定できる。
【００４０】
更に、この欠伸判定システムによれば、所定期間に縦横比を収集してヒストグラムを作成し、当該ヒストグラムの縦横比を上位の値から計数してヒストグラム全体のうちの所定割合における縦横比を、開判定しきい値として決定する。これにより、開判定しきい値を更新でき、ドライバごとに精度良く欠伸を判定する開判定しきい値を決定できる。
【００４１】
更にまた、この欠伸判定システムによれば、更新した開判定しきい値と縦横比に基づいて開状態と判定できる所定範囲とを比較し、前記決定した開判定しきい値が所定範囲よりも低い場合には、当該所定範囲の最低値を開判定しきい値として決定し、決定した開判定しきい値が所定範囲よりも高い場合には、当該所定範囲の最高値を開判定しきい値として決定する。これにより、欠伸判定システムによれば、ヒストグラムを用いて更新した開判定しきい値が非常な値となった場合でも、所定範囲内で開判定しきい値を決定することができ、判定精度の低下を回避できる。
【００４２】
更にまた、この欠伸判定システムによれば、開判定しきい値に基づいて、所定の期間しきい値を更新するので、ドライバごとに設定した開判定しきい値に応じた期間しきい値を設定でき、ドライバごとに精度良く欠伸を判定する期間しきい値を決定できる。
【符号の説明】
【００４３】
１ 欠伸演算装置
２ カメラ装置
３ 赤外線光源
１１ 顔特徴検出部
１２ 特徴選択・計測部
１３ 開口比率演算部
１４ 開判定部
１５ 欠伸検出部
１６ 値更新部
１７ 値検出部
２０ 顔画像
２１ 口画像
１００ ステアリング
１０１ 計器類
１０２ カメラシステム
【特許請求の範囲】
【請求項１】
顔画像を取得する撮像手段と、
前記撮像手段により取得された顔画像に含まれる口画像から特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点に基づいて口の縦横比を算出する縦横比算出手段と、
前記縦横比算出手段により算出された縦横比に基づいて、口の開閉状態を判定する口開閉状態判定手段と、
前記口開閉状態判定手段により開状態と判定された場合に、当該開状態となっている開口時間を算出する開口時間算出手段と、
前記開口時間算出手段により算出された開口時間に基づいて、欠伸状態であるかを判定する欠伸判定手段と
を備えることを特徴とする欠伸判定装置。
【請求項２】
前記口開閉状態判定手段は、前記縦横比が所定の開判定しきい値よりも大きい場合に、開状態であることを判定することを特徴とする請求項１に記載の欠伸判定装置。
【請求項３】
前記欠伸判定手段は、前記開口時間が所定の期間しきい値よりも長い場合に、欠伸状態であることを判定することを特徴とする請求項１に記載の欠伸判定装置。
【請求項４】
所定期間に前記縦横比算出手段により算出された縦横比を収集してヒストグラムを作成し、当該ヒストグラムの縦横比を上位の値から計数してヒストグラム全体のうちの所定割合における縦横比を、開判定しきい値として決定する開判定しきい値更新手段を備えることを特徴とする請求項１乃至請求項３の何れか一項に記載の欠伸判定装置。
【請求項５】
前記開判定しきい値更新手段は、前記決定した開判定しきい値と縦横比に基づいて開状態と判定できる所定範囲とを比較し、前記決定した開判定しきい値が前記所定範囲よりも低い場合には、当該所定範囲の最低値を開判定しきい値として決定し、前記決定した開判定しきい値が前記所定範囲よりも高い場合には、当該所定範囲の最高値を開判定しきい値として決定することを特徴とする請求項４に記載の欠伸判定装置。
【請求項６】
前記開判定しきい値更新手段により更新された開判定しきい値に基づいて、前記所定の期間しきい値を更新する更新手段を備えることを特徴とする請求項４又は請求項５に記載の欠伸判定装置。
【請求項７】
顔画像に含まれる口画像から抽出された特徴点に基づいて口の縦横比を算出して、当該縦横比と所定の開判定しきい値とを比較して、口の開閉状態を判定し、
前記口が開状態と判定された開口時間と所定の期間しきい値とを比較して、欠伸状態が発生しているか否かを判定すること
を備えることを特徴とする欠伸判定方法。
【請求項１】
顔画像を取得する撮像手段と、
前記撮像手段により取得された顔画像に含まれる口画像から特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点に基づいて口の縦横比を算出する縦横比算出手段と、
前記縦横比算出手段により算出された縦横比に基づいて、口の開閉状態を判定する口開閉状態判定手段と、
前記口開閉状態判定手段により開状態と判定された場合に、当該開状態となっている開口時間を算出する開口時間算出手段と、
前記開口時間算出手段により算出された開口時間に基づいて、欠伸状態であるかを判定する欠伸判定手段と
を備えることを特徴とする欠伸判定装置。
【請求項２】
前記口開閉状態判定手段は、前記縦横比が所定の開判定しきい値よりも大きい場合に、開状態であることを判定することを特徴とする請求項１に記載の欠伸判定装置。
【請求項３】
前記欠伸判定手段は、前記開口時間が所定の期間しきい値よりも長い場合に、欠伸状態であることを判定することを特徴とする請求項１に記載の欠伸判定装置。
【請求項４】
所定期間に前記縦横比算出手段により算出された縦横比を収集してヒストグラムを作成し、当該ヒストグラムの縦横比を上位の値から計数してヒストグラム全体のうちの所定割合における縦横比を、開判定しきい値として決定する開判定しきい値更新手段を備えることを特徴とする請求項１乃至請求項３の何れか一項に記載の欠伸判定装置。
【請求項５】
前記開判定しきい値更新手段は、前記決定した開判定しきい値と縦横比に基づいて開状態と判定できる所定範囲とを比較し、前記決定した開判定しきい値が前記所定範囲よりも低い場合には、当該所定範囲の最低値を開判定しきい値として決定し、前記決定した開判定しきい値が前記所定範囲よりも高い場合には、当該所定範囲の最高値を開判定しきい値として決定することを特徴とする請求項４に記載の欠伸判定装置。
【請求項６】
前記開判定しきい値更新手段により更新された開判定しきい値に基づいて、前記所定の期間しきい値を更新する更新手段を備えることを特徴とする請求項４又は請求項５に記載の欠伸判定装置。
【請求項７】
顔画像に含まれる口画像から抽出された特徴点に基づいて口の縦横比を算出して、当該縦横比と所定の開判定しきい値とを比較して、口の開閉状態を判定し、
前記口が開状態と判定された開口時間と所定の期間しきい値とを比較して、欠伸状態が発生しているか否かを判定すること
を備えることを特徴とする欠伸判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１３７４４（Ｐ２０１１−１３７４４Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５５０４２（Ｐ２００９−１５５０４２）
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]