検出装置および方法、並びに、プログラム
【課題】迅速かつ正確に人の目の開閉を検出する。
【解決手段】開閉度検出部１２１は、撮像装置１１１により撮像した運転者の顔画像に基づいて、運転者の目の開け具合を示す開閉度を検出する。視線方向検出部１２２は、運転者の顔画像に基づいて、人の視線の方向を検出する。閾値設定部１２３は、検出された運転者の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定する。開閉判定部１２４は、検出された運転者の目の開閉度を、設定された判定閾値と比較することにより、運転者の目の開閉を判定する。本発明は、例えば、車載用の運転者の目の開閉検出装置に適用できる。
【解決手段】開閉度検出部１２１は、撮像装置１１１により撮像した運転者の顔画像に基づいて、運転者の目の開け具合を示す開閉度を検出する。視線方向検出部１２２は、運転者の顔画像に基づいて、人の視線の方向を検出する。閾値設定部１２３は、検出された運転者の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定する。開閉判定部１２４は、検出された運転者の目の開閉度を、設定された判定閾値と比較することにより、運転者の目の開閉を判定する。本発明は、例えば、車載用の運転者の目の開閉検出装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置および方法、並びに、プログラムに関し、特に、人の目の開閉を検出する検出装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
近年、車両を運転する運転者を撮像した画像から、運転者の目の開け具合を示す開閉度を検出し、検出した開閉度に基づいて目の開閉を判定し、居眠り運転などを検出する運転支援装置の開発が盛んである。
【０００３】
しかしながら、人の目の開きは、目の開閉動作の他に視線方向によっても変化する。例えば、図１の画像１乃至４は、固定されたカメラに対して人１１が正面を向いたまま、視線だけを上下に動かした場合、および、目を閉じた場合に撮像した顔の画像の例を模式的に示している。画像１は、人１１の視線が上２０度の方向を向いている場合の画像であり、画像２は、人１１の視線が正面を向いている場合の画像であり、画像３は、人１１の視線が下２０度の方向を向いている場合の画像であり、画像４は、人１１が目を閉じているときの画像である。人１１の上下の瞼間の距離は、例えば、画像１で１２画素となり、画像２で９画素となり、画像３で５画素となり、画像４で３画素となる。
【０００４】
従って、閾値の設定によっては、例えば、画像３のように、人１１が下を向き目の開閉度が小さくなっているだけなのに、目を閉じていると誤判定されてしまう可能性がある。これを運転支援装置に当てはめると、例えば、スピードメータなどを見るために視線を下に落とした場合に、目を閉じていると誤判定されてしまう可能性がある。
【０００５】
そこで、従来、目の開閉を判定するための開閉判定閾値の他に、ふせ目判定閾値を設定し、目の開閉度が、開閉判定閾値より閉側、かつ、ふせ目判定閾値より開側の状態が所定時間継続したとき、その間の目の開閉度の変化が少ないなどの特徴を持っていれば、ふせ目であると判定し、ふせ目でないと判定すれば、閉眼判定を行うことが提案されている（例えば、特許文献１参照）。
【０００６】
また、目の開閉度が所定の閾値未満の場合、車両の走行状態および運転操作状態を検出し、車両の走行状態および運転操作状態に基づいて、居眠りにより目を閉じているのか、下方向の脇見をしているのかを判定することが提案されている（例えば、特許文献２参照）。
【０００７】
【特許文献１】特開平１１−６６３０４号公報
【特許文献２】特開２００３−２３３８０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の発明では、ふせ目であるか、目を閉じているのかを判定するまでに所定の時間を要し、判定に遅れが生じてしまう。
【０００９】
また、特許文献２に記載の発明では、運転操作状態と車両走行状態を示す情報を外部から取得する必要がある上に、下方向の脇見と居眠りとを正確に区別するための条件の設定が難しく、誤判定が生じやすい。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、迅速かつ正確に人の目の開閉を検出できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の検出装置は、人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出する開閉度検出手段と、前記画像に基づいて、前記人の視線の方向を検出する視線方向検出手段と、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定する閾値設定手段と、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する開閉判定手段とを含む。
【００１２】
本発明の一側面の検出装置においては、人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度が検出され、前記画像に基づいて、前記人の視線の方向が検出され、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値が設定され、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉が判定される。
【００１３】
従って、迅速かつ正確に人の目の開閉を検出することができる。
【００１４】
この開閉度検出手段、視線方向検出手段、閾値設定手段、開閉判定手段は、例えば、CPU（Central Processing Unit）、ECU（Electronic control unit）などの演算装置により構成される。
【００１５】
この閾値設定手段には、視線の方向と前記判定閾値を補正するための補正量との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記補正量を求め、前記補正量を用いて予め設定されている値を補正することにより前記判定閾値を設定させることができる。
【００１６】
これにより、少ないデータ量で、迅速かつ正確に人の目の開閉を検出することができる。
【００１７】
この閾値設定手段には、視線の方向と前記判定閾値との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記判定閾値を設定させることができる。
【００１８】
これにより、少ない演算量で、迅速かつ正確に人の目の開閉を検出することができる。
【００１９】
この閾値設定手段は、前記視線方向検出手段による検出結果に基づいて、前記人の視線の方向の変化量を求め、前記変化量が所定の範囲内である場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記変化量が前記範囲を超えている場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定させることができる。
【００２０】
これにより、人の目の開閉の誤検出を抑制し、検出精度を向上させることができる。
【００２１】
この検出装置は、前記画像内の前記人の瞳を検出する瞳検出手段と、前記人の瞳の検出結果の信頼度を算出する瞳信頼度算出手段とをさらに設けることができ、この閾値設定手段には、前記信頼度が所定の閾値を越えている場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記信頼度が所定の閾値以下である場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定させることができる。
【００２２】
これにより、人の目の開閉の誤検出を抑制し、検出精度を向上させることができる。
【００２３】
本発明の一側面の目開閉検出方法、または、本発明の一側面のプログラムによりコンピュータが実行する処理は、前記人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出し、前記画像に基づいて、前記人の視線の方向を検出し、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定し、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定するステップを含む。
【００２４】
本発明の一側面の目開閉検出方法またはプログラムにおいては、人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度が検出され、前記画像に基づいて、前記人の視線の方向が検出され、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値が設定され、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉が判定される。
【００２５】
従って、迅速かつ正確に人の目の開閉を検出することができる。
【００２６】
このステップは、例えば、CPU（Central Processing Unit）、ECU（Electronic control unit）などにより実行される。
【発明の効果】
【００２７】
以上のように、本発明の一側面によれば、人の目の開閉を検出することができる。特に、本発明の一側面によれば、迅速かつ正確に人の目の開閉を検出することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図を参照して、本発明の実施の形態について説明する。
【００２９】
まず、図２および図３を参照して、本発明の第１の実施の形態について説明する。
【００３０】
図２は、本発明を適用した目開閉検出システムの第１の実施の形態を示すブロック図である。図２の目開閉検出システム１０１は、撮像装置１１１および目開閉検出装置１１２を含むように構成される。また、目開閉検出装置１１２は、開閉度検出部１２１、視線方向検出部１２２、閾値設定部１２３、開閉判定部１２４、および、結果出力部１２５を含むように構成される。
【００３１】
撮像装置１１１は、目開閉検出システム１０１が設けられている車両（以下、自車と称する）の運転者の顔を撮像し、その結果得られた画像（以下、顔画像と称する）を、目開閉検出装置１１２の開閉度検出部１２１および視線方向検出部１２２に供給する。
【００３２】
なお、撮像装置１１１は、運転者の体格および姿勢などの違いに関わらず、運転席に座って運転している運転者の顔を確実に撮像することができる位置に設置されることが望ましい。例えば、撮像装置１１１は、正面から運転者を撮像するように、ステアリングコラム上に設置されたり、前方左斜め上方向（または右斜め上方向）から運転者を撮像するように、自車内のセンタミラー（ルームミラー）の根元付近（センタミラーが自車に取り付けられているあたり）に設置されたりする。
【００３３】
開閉度検出部１２１は、顔画像に基づいて、運転者の目の開け具合を示す開閉度を検出する。なお、開閉度は、顔画像における運転者の目の開きが大きいほど、大きな値になり、目の開きが小さいほど、小さい値になる。開閉度検出部１２１は、検出した運転者の目の開閉度を示す情報を開閉判定部１２４に供給する。
【００３４】
視線方向検出部１２２は、顔画像に基づいて、運転者の視線の方向を検出する。視線方向検出部１２２は、検出した運転者の視線方向を示す情報を閾値設定部１２３に供給する。
【００３５】
閾値設定部１２３は、図３を参照して後述するように、運転者の視線方向に基づいて、運転者の目の開閉の判定に用いる判定閾値を設定する。閾値設定部１２３は、設定した判定閾値を示す情報を開閉判定部１２４に供給する。
【００３６】
開閉判定部１２４は、開閉度検出部１２１により検出された運転者の目の開閉度を、閾値設定部１２３により設定された判定閾値と比較することにより、運転者の目の開閉を判定する。開閉判定部１２４は、判定結果を示す情報を結果出力部１２５に供給する。
【００３７】
結果出力部１２５は、居眠りを検出装置など運転者の目の開閉の判定結果を使用する後段の装置に、運転者の目の開閉の判定結果を出力する。
【００３８】
次に、図３のフローチャートを参照して、目開閉検出システム１０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００３９】
ステップＳ１において、目開閉検出システム１０１は、運転者の画像を取得する。すなわち、撮像装置１１１は、運転者の顔を撮像し、その結果得られた画像（顔画像）を開閉度検出部１２１および視線方向検出部１２２に供給する。
【００４０】
ステップＳ２において、開閉度検出部１２１は、目の開閉度を検出する。すなわち、開閉度検出部１２１は、所定の手法を用いて、顔画像に写っている運転者の目の開閉度を検出する。開閉度検出部１２１は、検出した運転者の目の開閉度を示す情報を開閉判定部１２４に供給する。
【００４１】
なお、開閉度検出部１２１が目の開閉度を検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、特許第３１４３８１９号公報、特開２０００−１２３１８８号公報などに開示されている手法を適用することが可能である。
【００４２】
ステップＳ３において、視線方向検出部１２２は、視線方向を検出する。すなわち、視線方向検出部１２２は、所定の手法を用いて、顔画像に写っている運転者の視線の方向を検出する。視線方向検出部１２２は、検出した運転者の視線方向を示す情報を閾値設定部１２３に供給する。
【００４３】
なお、視線方向検出部１２２が視線方向を検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、特開２００６−１４１８６２号公報、特開２００３−２７１９３２号公報などに開示されている手法を適用することが可能である。
【００４４】
ステップＳ４において、閾値設定部１２３は、判定閾値を設定する。具体的には、閾値設定部１２３は、事前に作成されている目開閉判定閾値表に基づいて、現在の運転者の視線方向に対応する判定閾値THを設定する。閾値設定部１２３は、設定した判定閾値THを示す情報を開閉判定部１２４に供給する。
【００４５】
ここで、目開閉判定閾値表とは、運転者の視線方向と判定閾値との関係を示すデータからなる表である。例えば、運転者の視線方向が自車の正面方向（自車の前方方向）を向いている場合を基準（上下および左右方向とも0度）にして、視線方向が、上下方向に-10度（下に10度）〜0度の範囲内の場合の判定閾値THの値がx、0度から＋10度（上に10度）の範囲内の場合の判定閾値THの値がｙといったように、目開閉判定閾値表では、視線方向がいくつかの範囲に区分され、範囲ごとに判定閾値THが設定されている。
【００４６】
また、目開閉判定閾値表は、例えば、以下の手順により作成される。まず、運転席に座って運転している格好をした運転者の視線方向を、自車の正面方向を向いている場合を基準にして、上下、左右、斜め方向に変化させながら、運転者を撮像装置１１１により撮像する。次に、その結果得られた複数の画像に基づいて、運転者の視線方向と目の開閉度との関係を示すデータを取得する。そして、取得したデータに基づいて、運転者の各視線方向に対する判定閾値THを決定し、表にまとめたのが目開閉判定閾値表である。
【００４７】
なお、運転者の目の開閉の検出精度をより向上させるためには、各個人の目開閉判定閾値表を作成し、運転者によって表を使い分けるのが望ましい。ただし、検出精度が少し落ちる可能性はあるが、複数の運転者のデータから１つの目開閉判定閾値表を作成し、複数の運転者に対して同じ表を用いるようにしてもよい。
【００４８】
ステップＳ５において、開閉判定部１２４は、目の開閉度＞判定閾値であるか否かを判定する。すなわち、開閉判定部１２４は、開閉度検出部１２１により検出された運転者の目の開閉度が、閾値設定部１２３により設定された判定閾値THより大きいか否かを判定する。目の開閉度＞判定閾値であると判定された場合、処理はステップＳ６に進む。
【００４９】
ステップＳ６において、開閉判定部１２４は、開眼していると判定する。その後、処理はステップＳ８に進む。
【００５０】
一方、ステップＳ５において、目の開閉度≦判定閾値であると判定された場合、処理はステップＳ７に進む。
【００５１】
ステップＳ７において、開閉判定部１２４は、閉眼していると判定する。その後、処理はステップＳ８に進む。
【００５２】
ステップＳ８において、結果出力部１２５は、後段の装置に、判定結果を出力する。その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
【００５３】
このようにして、運転者の視線の方向に関わらず、複雑な処理を行うことなく、簡単、迅速かつ正確に運転者の目の開閉を検出することができる。
【００５４】
次に、図４および図５を参照して、本発明の第２の実施の形態について説明する。なお、本発明の第２の実施の形態は、まず、判定閾値の初期値である初期閾値を設定し、運転者の視線方向に基づいて初期閾値を補正することにより、判定閾値を設定するようにしたものである。
【００５５】
図４は、本発明を適用した目開閉検出システムの第２の実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【００５６】
図４の目開閉検出システム２０１は、撮像装置２１１および目開閉検出装置２１２を含むように構成される。また、目開閉検出装置２１２は、開閉度検出部２２１、視線方向検出部２２２、開閉判定部２２４、結果出力部２２５、初期閾値設定部２３１、および、閾値補正部２３２を含むように構成される。
【００５７】
開閉度検出部２２１は、検出した運転者の目の開閉度を示す情報を、開閉判定部２２４に加えて、初期閾値設定部２３１にも供給する。
【００５８】
視線方向検出部２２２は、検出した運転者の視線方向を示す情報を、初期閾値設定部２３１および閾値補正部２３２に供給する。
【００５９】
初期閾値設定部２３１は、図５を参照して後述するように、検出された運転者の目の開閉度および視線方向に基づいて、判定閾値の初期値である初期閾値を設定する。初期閾値設定部２３１は、設定した初期閾値を示す情報を閾値補正部２３２に供給する。
【００６０】
閾値補正部２３２は、図５を参照して後述するように、検出された運転者の視線方向に基づいて、初期閾値を補正することにより判定閾値を設定する。閾値補正部２３２は、設定した判定閾値を示す情報を開閉判定部２２４に供給する。
【００６１】
次に、図５のフローチャートを参照して、目開閉検出システム２０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００６２】
ステップＳ５１において、初期閾値設定部２３１は、初期閾値を設定する。例えば、初期閾値設定部２３１は、目開閉検出処理が開始されてから所定の期間、開閉度検出部２２１から運転者の目の開閉度の検出結果を取得する。そして、初期閾値設定部２３１は、取得した目の開閉度の統計値（例えば、平均値、分散など）を算出し、算出した統計値に基づいて初期閾値THOを設定する。このとき、視線方向検出部２２２から運転者の視線方向の検出結果を取得し、視線方向に基づいて目の開閉度の重みを設定し（例えば、視線方向が自車の正面方向に近いほど重みを大きくし）、初期閾値の設定に用いる統計値を算出するようにしてもよい。初期閾値設定部２３１は、設定した初期閾値THOを示す情報を閾値補正部２３２に供給する。
【００６３】
なお、初期閾値設定部２３１が初期閾値を設定する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に設定できる手法を適用することが望ましい。例えば、特開２００６−１０９９８０号公報、特開２００４−４１４８５号公報などに開示されている手法を適用することが可能である。
【００６４】
また、予め運転者ごとに初期閾値を設定しておき、初期閾値設定部２３１が、運転者の認証を行い、運転者に応じて、初期閾値を選択して設定するようにしてもよい。あるいは、運転者に応じてそれぞれ設定された押しボタンの中から、運転者が自分に対応する押しボタンを選んで押すなどの操作により、運転者が自分に対応する初期閾値を選択して設定するようにしてもよい。
【００６５】
ステップＳ５２乃至Ｓ５４の処理は、図３のステップＳ１乃至Ｓ３の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の顔画像に基づいて、運転者の目の開閉度および視線方向が検出される。
【００６６】
ステップＳ５５において、閾値補正部２３２は、判定閾値を補正する。具体的には、閾値補正部２３２は、事前に作成されている補正表に基づいて、現在の運転者の視線方向に対応する補正量Cを求める。閾値補正部２３２は、以下の式（１）に基づいて、判定閾値THを算出し、算出した判定閾値THを示す情報を開閉判定部２２４に供給する。
【００６７】
TH＝THO×C ・・・（１）
【００６８】
ここで、補正表とは、運転者の視線方向と補正量Cとの関係を示すデータからなる表である。例えば、運転者の視線方向が自車の正面方向を向いている場合を基準（上下および左右方向とも0度）にして、視線方向が、上下方向に-10度（下に10度）〜0度の範囲内の場合、補正量Cの値がx、0度から＋10度（上に10度）の範囲内の場合、補正量Cの値がyといったように、補正表では、視線方向がいくつかの範囲に区切られ、範囲ごとに補正量Cが設定されている。
【００６９】
また、補正表は、例えば、以下の手順により作成される。まず、運転席に座って運転している格好をした運転者の視線方向を、自車の正面方向を向いている場合を基準にして、上下、左右、斜め方向に変化させながら、運転者を撮像装置２１１により撮像する。そして、その結果得られた複数の画像に基づいて、運転者の視線方向と目の開閉度との関係を示すデータを取得する。この視線方向と目の開閉度との関係を示すデータを、十分な数の運転者について取得する。そして、取得したデータに基づいて、視線が自車の正面方向を向いている場合の目の開閉度に対する、正面以外の各方向を向いている場合の目の開閉度の変化量の統計を取り、その結果に基づいて、各視線方向に対する補正量Cを決定し、表にまとめたのが補正表である。
【００７０】
なお、補正表は、例えば、各車両で作成するようにしてもよいし、自動車メーカ等で、車種毎に作成し、提供するようにしてもよい。
【００７１】
ステップＳ５６乃至Ｓ５９の処理は、図３のステップＳ５乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の目の開閉が判定される。その後、処理はステップＳ５２に戻り、ステップＳ５２以降の処理が実行される。
【００７２】
このようにして、運転者の視線の方向に関わらず、複雑な処理を行うことなく、簡単、迅速かつ正確に運転者の目の開閉を検出することができる。また、運転者の違いに関わらず１種類の補正表を用いればよく、より少ないデータ量で処理を行うことができる。
【００７３】
次に、図６および図７を参照して、本発明の第３の実施の形態について説明する。なお、本発明の第３の実施の形態は、運転者の視線方向の変化量に基づいて、判定閾値を調整するようにしたものである。
【００７４】
図６は、本発明を適用した目開閉検出システムの第３の実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【００７５】
図６の目開閉検出システム３０１は、撮像装置３１１および目開閉検出装置３１２を含むように構成される。また、目開閉検出装置３１２は、開閉度検出部３２１、視線方向検出部３２２、閾値設定部３２３、開閉判定部３２４、結果出力部３２５、および、視線方向保持部３３１を含むように構成される。
【００７６】
視線方向検出部３２２は、検出した運転者の視線方向を示す情報を、閾値設定部３２３に加えて、視線方向保持部３３１にも供給する。
【００７７】
閾値設定部３２３は、図７を参照して後述するように、視線方向保持部３３１に保持されている前回検出された運転者の視線方向、および、視線方向検出部３２２により検出された今回検出された運転者の視線方向に基づいて、判定閾値を設定する。閾値設定部３２３は、設定した閾値を示す情報を開閉判定部３２４に供給する。
【００７８】
次に、図７のフローチャートを参照して、目開閉検出システム３０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００７９】
ステップＳ１０１およびＳ１０２の処理は、図３のステップＳ１およびＳ２の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の顔画像に基づいて、運転者の目の開閉度が検出される。
【００８０】
ステップＳ１０３において、視線方向検出部３２２は、図３のステップＳ３の視線方向検出部１２２による処理と同様に、運転者の視線方向を検出する。視線方向検出部３２２は、検出した運転者の視線方向を示す情報を、閾値設定部３２３および視線方向保持部３３１に供給する。
【００８１】
ステップＳ１０４において、視線方向保持部３３１は、視線方向検出部３２２から供給された運転者の視線方向を示す情報を保持する。
【００８２】
ステップＳ１０５において、閾値設定部３２３は、視線方向の変化量が所定の範囲内であるか否かを判定する。具体的には、閾値設定部３２３は、前回のステップＳ１０３の処理において検出された運転者の視線方向を示す情報を視線方向保持部３３１から取得する。閾値設定部３２３は、視線方向保持部３３１から取得した前回の運転者の視線方向と、視線方向検出部３２２から取得した今回の運転者の視線方向との間の変化量を求める。閾値設定部３２３が、求めた変化量が所定の範囲内であると判定した場合、処理はステップＳ１０６に進む。なお、前回の視線方向の検出結果が保持されていない場合、例えば、無条件で処理はステップＳ１０６に進む。
【００８３】
ステップＳ１０６において、閾値設定部３２３は、図３のステップＳ４の閾値設定部１２３の処理と同様に、今回の運転者の視線方向に基づいて、判定閾値を設定する。なお、ステップＳ１０６の処理は、運転者の視線方向の変化量が所定の範囲内であることをもって、今回の運転者の視線方向の検出結果の信頼度が高いと判断して行われる処理である。その後、処理はステップＳ１０８に進む。
【００８４】
一方、ステップＳ１０５において、視線方向の変化量が所定の範囲を超えていると判定された場合、処理はステップＳ１０７に進む。
【００８５】
ステップＳ１０７において、閾値設定部３２３は、目開閉判定閾値表に基づいて、運転者の視線が正面を向いている場合の値に判定閾値を設定する。すなわち、運転者の視線方向の検出結果に関わらず、判定閾値は同じ値に設定される。なお、このステップＳ１０７の処理は、運転者の視線方向の変化量が所定の範囲を超えていることをもって、例えば、運転者の目が閉じているなどの要因により、今回の運転者の視線方向の検出結果の信頼度が低いと判断して行われる処理である。その後、処理はステップＳ１０８に進む。
【００８６】
ステップＳ１０８乃至Ｓ１１１の処理は、図３のステップＳ５乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の目の開閉が判定される。その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
【００８７】
このようにして、運転者の視線方向の検出結果の信頼度が低い場合に、運転者の目の開閉が誤検出されてしまうことが抑制され、検出精度が向上する。
【００８８】
なお、本発明の第３の実施の形態において、運転者の視線方向の変化量を求める手法は、上述した手法に限定されるものではない。
【００８９】
次に、図８および図９を参照して、本発明の第４の実施の形態について説明する。なお、本発明の第４の実施の形態では、運転者の瞳を検出し、瞳の検出結果の信頼度に基づいて、判定閾値を調整するようにしたものである。
【００９０】
図８は、本発明を適用した目開閉検出システムの第４の実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【００９１】
図８の目開閉検出システム４０１は、撮像装置４１１および目開閉検出装置４１２を含むように構成される。また、目開閉検出装置４１２は、開閉度検出部４２１、視線方向検出部４２２、閾値設定部４２３、開閉判定部４２４、結果出力部４２５、瞳検出部４３１、および、瞳信頼度算出部４３２を含むように構成される。
【００９２】
撮像装置４１１は、運転者の顔画像を、目開閉検出装置４１２の開閉度検出部４２１および視線方向検出部４２２に加えて、瞳検出部４３１にも供給する。
【００９３】
瞳検出部４３１は、顔画像内の運転者の瞳を検出する。瞳検出部４３１は、顔画像および運転者の瞳の検出結果を示す情報を瞳信頼度算出部４３２に供給する。
【００９４】
瞳信頼度算出部４３２は、瞳検出部４３１による瞳の検出結果の信頼度を算出する。瞳信頼度算出部４３２は、算出した信頼度を示す情報を閾値設定部４２３に供給する。
【００９５】
閾値設定部４２３は、図９を参照して後述するように、検出された運転者の視線方向、および、算出された運転者の瞳の検出結果の信頼度に基づいて、判定閾値を設定する。閾値設定部４２３は、設定した閾値を示す情報を開閉判定部４２４に供給する。
【００９６】
次に、図９のフローチャートを参照して、目開閉検出システム４０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００９７】
ステップＳ１５１乃至Ｓ１５３の処理は、図３のステップＳ１乃至Ｓ３の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の画像の顔画像に基づいて、運転者の目の開閉度および視線方向が検出される。
【００９８】
ステップＳ１５４において、瞳検出部４３１は、瞳を検出する。すなわち、瞳検出部４３１は、所定の手法を用いて、顔画像内の運転者の瞳を検出する。瞳検出部４３１は、顔画像および検出結果を示す情報を瞳信頼度算出部４３２に供給する。
【００９９】
なお、瞳検出部４３１が運転者の瞳を検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、「川口他，ハフ変換と分離度フィルタによる人物顔からの両目の検出，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2001年，Vol.J84-D-II，No.10，2190-2200ページ」などに開示されている手法を適用することが可能である。
【０１００】
ステップＳ１５５において、瞳信頼度算出部４３２は、瞳の検出結果の信頼度を算出する。すなわち、瞳信頼度算出部４３２は、所定の手法を用いて、瞳検出部４３１による運転者の瞳の検出結果の信頼度を算出する。瞳信頼度算出部４３２は、算出した信頼度を示す情報を閾値設定部４２３に供給する。
【０１０１】
なお、瞳信頼度算出部４３２が瞳の検出結果の信頼度を算出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、瞳信頼度算出部４３２は、瞳検出部４３１により検出された瞳を含む顔画像の領域に対して、テンプレートマッチングを行い、類似度を算出し、算出した類似度を信頼度とする。また、例えば、瞳信頼度算出部４３２は、瞳検出部４３１により検出された顔画像の瞳の領域の円形度を、以下の式（２）により算出し、算出した円形度を信頼度とする。
【０１０２】
円形度＝4π×S／L2 ・・・（２）
ただし、Sは瞳の領域の面積、Lは領域の周囲長である。
【０１０３】
ステップＳ１５６において、閾値設定部４２３は、瞳の検出結果の信頼度が所定の閾値を超えているか否かを判定する。瞳の検出結果の信頼度が所定の閾値を超えていると判定された場合、処理はステップＳ１５７に進む。
【０１０４】
ステップＳ１５７において、閾値設定部４２３は、図３のステップＳ４の閾値設定部１２３の処理と同様に、運転者の視線方向に基づいて、判定閾値を設定する。なお、ステップＳ１５７の処理は、運転者の瞳の検出結果の信頼度が所定の閾値を超えていることをもって、運転者の視線方向の検出結果の信頼度が高いと判断して行われる処理である。その後、処理はステップＳ１５９に進む。
【０１０５】
一方、ステップＳ１５６において、瞳の検出結果の信頼度が所定の閾値以下であると判定された場合、処理はステップＳ１５９に進む。
【０１０６】
ステップＳ１５９において、図７のステップＳ１０７の処理と同様に、運転者の視線が正面を向いている場合の値に判定閾値が設定される。なお、ステップＳ１５９の処理は、運転者の瞳の検出結果の信頼度が所定の閾値以下であることをもって、運転者の視線方向の検出結果の信頼度が低いと判断して行われる処理である。その後、処理はステップＳ１５９に進む。
【０１０７】
ステップＳ１５９乃至Ｓ１６２の処理は、図３のステップＳ５乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の目の開閉が判定される。その後、処理はステップＳ１５１に戻り、ステップＳ１５１以降の処理が実行される。
【０１０８】
このようにして、運転者の視線方向の検出結果の信頼度が低い場合に、運転者の目の開閉が誤検出されてしまうことが抑制され、検出精度が向上する。
【０１０９】
なお、以上の説明では、図６の目開閉検出システム３０１、および、図８の目開閉検出システム４０１において、図２の目開閉検出システム１０１と同様の方法により、判定閾値を設定する例を示したが、図４の目開閉検出システム２０１と同様の方法により、判定閾値を設定するようにしてもよい。すなわち、例えば、運転者の視線方向の変化量、または、運転者の瞳の検出結果の信頼度に基づいて、運転者の視線方向の検出結果の信頼度が低いと判定された場合、運転者の視線が自車の正面方向を向いている場合の補正量を用いて、判定閾値を設定するようにしてもよい。
【０１１０】
また、運転者の視線方向の検出結果の信頼度が低いと判定された場合に、必要に応じて、正面以外の所定の方向を運転者の視線が向いている場合の値に判定閾値を設定するようにしてもよい。
【０１１１】
なお、本発明は、例えば、運転者以外の人の目の開閉を検出する場合にも適用することが可能である。
【０１１２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１１３】
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１４】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１１５】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０１１６】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１７】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１８】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１１９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２０】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１２１】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２２】
【図１】視線方向による目の開閉度の変化を説明するための図である。
【図２】目開閉検出システムの第１の実施の形態を示すブロック図である。
【図３】目開閉検出処理の第１の実施の形態を説明するためのフローチャートである。
【図４】目開閉検出システムの第２の実施の形態を示すブロック図である。
【図５】目開閉検出処理の第２の実施の形態を説明するためのフローチャートである。
【図６】目開閉検出システムの第３の実施の形態を示すブロック図である。
【図７】目開閉検出処理の第３の実施の形態を説明するためのフローチャートである。
【図８】目開閉検出システムの第４の実施の形態を示すブロック図である。
【図９】目開閉検出処理の第４の実施の形態を説明するためのフローチャートである。
【図１０】コンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１２３】
１０１ 目開閉検出システム
１１１ 撮像装置
１１２ 目開閉検出装置
１２１ 開閉度検出部
１２２ 視線方向検出部
１２３ 閾値設定部
１２４ 開閉判定部
２０１ 目開閉検出システム
２１１ 撮像装置
２１２ 目開閉検出装置
２２１ 開閉度検出部
２２２ 視線方向検出部
２２４ 開閉判定部
２３１ 初期閾値設定部
２３２ 閾値補正部
３０１ 目開閉検出システム
３１１ 撮像装置
３１２ 目開閉検出装置
３２１ 開閉度検出部
３２２ 視線方向検出部
３２３ 閾値設定部
３２４ 開閉判定部
３３１ 視線方向保持部
４０１ 目開閉検出システム
４１１ 撮像装置
４１２ 目開閉検出装置
４２１ 開閉度検出部
４２２ 視線方向検出部
４２３ 閾値設定部
４２４ 開閉判定部
４３１ 瞳検出部
４３２ 瞳信頼度算出部
【技術分野】
【０００１】
本発明は、検出装置および方法、並びに、プログラムに関し、特に、人の目の開閉を検出する検出装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
近年、車両を運転する運転者を撮像した画像から、運転者の目の開け具合を示す開閉度を検出し、検出した開閉度に基づいて目の開閉を判定し、居眠り運転などを検出する運転支援装置の開発が盛んである。
【０００３】
しかしながら、人の目の開きは、目の開閉動作の他に視線方向によっても変化する。例えば、図１の画像１乃至４は、固定されたカメラに対して人１１が正面を向いたまま、視線だけを上下に動かした場合、および、目を閉じた場合に撮像した顔の画像の例を模式的に示している。画像１は、人１１の視線が上２０度の方向を向いている場合の画像であり、画像２は、人１１の視線が正面を向いている場合の画像であり、画像３は、人１１の視線が下２０度の方向を向いている場合の画像であり、画像４は、人１１が目を閉じているときの画像である。人１１の上下の瞼間の距離は、例えば、画像１で１２画素となり、画像２で９画素となり、画像３で５画素となり、画像４で３画素となる。
【０００４】
従って、閾値の設定によっては、例えば、画像３のように、人１１が下を向き目の開閉度が小さくなっているだけなのに、目を閉じていると誤判定されてしまう可能性がある。これを運転支援装置に当てはめると、例えば、スピードメータなどを見るために視線を下に落とした場合に、目を閉じていると誤判定されてしまう可能性がある。
【０００５】
そこで、従来、目の開閉を判定するための開閉判定閾値の他に、ふせ目判定閾値を設定し、目の開閉度が、開閉判定閾値より閉側、かつ、ふせ目判定閾値より開側の状態が所定時間継続したとき、その間の目の開閉度の変化が少ないなどの特徴を持っていれば、ふせ目であると判定し、ふせ目でないと判定すれば、閉眼判定を行うことが提案されている（例えば、特許文献１参照）。
【０００６】
また、目の開閉度が所定の閾値未満の場合、車両の走行状態および運転操作状態を検出し、車両の走行状態および運転操作状態に基づいて、居眠りにより目を閉じているのか、下方向の脇見をしているのかを判定することが提案されている（例えば、特許文献２参照）。
【０００７】
【特許文献１】特開平１１−６６３０４号公報
【特許文献２】特開２００３−２３３８０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の発明では、ふせ目であるか、目を閉じているのかを判定するまでに所定の時間を要し、判定に遅れが生じてしまう。
【０００９】
また、特許文献２に記載の発明では、運転操作状態と車両走行状態を示す情報を外部から取得する必要がある上に、下方向の脇見と居眠りとを正確に区別するための条件の設定が難しく、誤判定が生じやすい。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、迅速かつ正確に人の目の開閉を検出できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の検出装置は、人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出する開閉度検出手段と、前記画像に基づいて、前記人の視線の方向を検出する視線方向検出手段と、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定する閾値設定手段と、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する開閉判定手段とを含む。
【００１２】
本発明の一側面の検出装置においては、人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度が検出され、前記画像に基づいて、前記人の視線の方向が検出され、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値が設定され、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉が判定される。
【００１３】
従って、迅速かつ正確に人の目の開閉を検出することができる。
【００１４】
この開閉度検出手段、視線方向検出手段、閾値設定手段、開閉判定手段は、例えば、CPU（Central Processing Unit）、ECU（Electronic control unit）などの演算装置により構成される。
【００１５】
この閾値設定手段には、視線の方向と前記判定閾値を補正するための補正量との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記補正量を求め、前記補正量を用いて予め設定されている値を補正することにより前記判定閾値を設定させることができる。
【００１６】
これにより、少ないデータ量で、迅速かつ正確に人の目の開閉を検出することができる。
【００１７】
この閾値設定手段には、視線の方向と前記判定閾値との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記判定閾値を設定させることができる。
【００１８】
これにより、少ない演算量で、迅速かつ正確に人の目の開閉を検出することができる。
【００１９】
この閾値設定手段は、前記視線方向検出手段による検出結果に基づいて、前記人の視線の方向の変化量を求め、前記変化量が所定の範囲内である場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記変化量が前記範囲を超えている場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定させることができる。
【００２０】
これにより、人の目の開閉の誤検出を抑制し、検出精度を向上させることができる。
【００２１】
この検出装置は、前記画像内の前記人の瞳を検出する瞳検出手段と、前記人の瞳の検出結果の信頼度を算出する瞳信頼度算出手段とをさらに設けることができ、この閾値設定手段には、前記信頼度が所定の閾値を越えている場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記信頼度が所定の閾値以下である場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定させることができる。
【００２２】
これにより、人の目の開閉の誤検出を抑制し、検出精度を向上させることができる。
【００２３】
本発明の一側面の目開閉検出方法、または、本発明の一側面のプログラムによりコンピュータが実行する処理は、前記人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出し、前記画像に基づいて、前記人の視線の方向を検出し、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定し、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定するステップを含む。
【００２４】
本発明の一側面の目開閉検出方法またはプログラムにおいては、人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度が検出され、前記画像に基づいて、前記人の視線の方向が検出され、検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値が設定され、前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉が判定される。
【００２５】
従って、迅速かつ正確に人の目の開閉を検出することができる。
【００２６】
このステップは、例えば、CPU（Central Processing Unit）、ECU（Electronic control unit）などにより実行される。
【発明の効果】
【００２７】
以上のように、本発明の一側面によれば、人の目の開閉を検出することができる。特に、本発明の一側面によれば、迅速かつ正確に人の目の開閉を検出することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図を参照して、本発明の実施の形態について説明する。
【００２９】
まず、図２および図３を参照して、本発明の第１の実施の形態について説明する。
【００３０】
図２は、本発明を適用した目開閉検出システムの第１の実施の形態を示すブロック図である。図２の目開閉検出システム１０１は、撮像装置１１１および目開閉検出装置１１２を含むように構成される。また、目開閉検出装置１１２は、開閉度検出部１２１、視線方向検出部１２２、閾値設定部１２３、開閉判定部１２４、および、結果出力部１２５を含むように構成される。
【００３１】
撮像装置１１１は、目開閉検出システム１０１が設けられている車両（以下、自車と称する）の運転者の顔を撮像し、その結果得られた画像（以下、顔画像と称する）を、目開閉検出装置１１２の開閉度検出部１２１および視線方向検出部１２２に供給する。
【００３２】
なお、撮像装置１１１は、運転者の体格および姿勢などの違いに関わらず、運転席に座って運転している運転者の顔を確実に撮像することができる位置に設置されることが望ましい。例えば、撮像装置１１１は、正面から運転者を撮像するように、ステアリングコラム上に設置されたり、前方左斜め上方向（または右斜め上方向）から運転者を撮像するように、自車内のセンタミラー（ルームミラー）の根元付近（センタミラーが自車に取り付けられているあたり）に設置されたりする。
【００３３】
開閉度検出部１２１は、顔画像に基づいて、運転者の目の開け具合を示す開閉度を検出する。なお、開閉度は、顔画像における運転者の目の開きが大きいほど、大きな値になり、目の開きが小さいほど、小さい値になる。開閉度検出部１２１は、検出した運転者の目の開閉度を示す情報を開閉判定部１２４に供給する。
【００３４】
視線方向検出部１２２は、顔画像に基づいて、運転者の視線の方向を検出する。視線方向検出部１２２は、検出した運転者の視線方向を示す情報を閾値設定部１２３に供給する。
【００３５】
閾値設定部１２３は、図３を参照して後述するように、運転者の視線方向に基づいて、運転者の目の開閉の判定に用いる判定閾値を設定する。閾値設定部１２３は、設定した判定閾値を示す情報を開閉判定部１２４に供給する。
【００３６】
開閉判定部１２４は、開閉度検出部１２１により検出された運転者の目の開閉度を、閾値設定部１２３により設定された判定閾値と比較することにより、運転者の目の開閉を判定する。開閉判定部１２４は、判定結果を示す情報を結果出力部１２５に供給する。
【００３７】
結果出力部１２５は、居眠りを検出装置など運転者の目の開閉の判定結果を使用する後段の装置に、運転者の目の開閉の判定結果を出力する。
【００３８】
次に、図３のフローチャートを参照して、目開閉検出システム１０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００３９】
ステップＳ１において、目開閉検出システム１０１は、運転者の画像を取得する。すなわち、撮像装置１１１は、運転者の顔を撮像し、その結果得られた画像（顔画像）を開閉度検出部１２１および視線方向検出部１２２に供給する。
【００４０】
ステップＳ２において、開閉度検出部１２１は、目の開閉度を検出する。すなわち、開閉度検出部１２１は、所定の手法を用いて、顔画像に写っている運転者の目の開閉度を検出する。開閉度検出部１２１は、検出した運転者の目の開閉度を示す情報を開閉判定部１２４に供給する。
【００４１】
なお、開閉度検出部１２１が目の開閉度を検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、特許第３１４３８１９号公報、特開２０００−１２３１８８号公報などに開示されている手法を適用することが可能である。
【００４２】
ステップＳ３において、視線方向検出部１２２は、視線方向を検出する。すなわち、視線方向検出部１２２は、所定の手法を用いて、顔画像に写っている運転者の視線の方向を検出する。視線方向検出部１２２は、検出した運転者の視線方向を示す情報を閾値設定部１２３に供給する。
【００４３】
なお、視線方向検出部１２２が視線方向を検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、特開２００６−１４１８６２号公報、特開２００３−２７１９３２号公報などに開示されている手法を適用することが可能である。
【００４４】
ステップＳ４において、閾値設定部１２３は、判定閾値を設定する。具体的には、閾値設定部１２３は、事前に作成されている目開閉判定閾値表に基づいて、現在の運転者の視線方向に対応する判定閾値THを設定する。閾値設定部１２３は、設定した判定閾値THを示す情報を開閉判定部１２４に供給する。
【００４５】
ここで、目開閉判定閾値表とは、運転者の視線方向と判定閾値との関係を示すデータからなる表である。例えば、運転者の視線方向が自車の正面方向（自車の前方方向）を向いている場合を基準（上下および左右方向とも0度）にして、視線方向が、上下方向に-10度（下に10度）〜0度の範囲内の場合の判定閾値THの値がx、0度から＋10度（上に10度）の範囲内の場合の判定閾値THの値がｙといったように、目開閉判定閾値表では、視線方向がいくつかの範囲に区分され、範囲ごとに判定閾値THが設定されている。
【００４６】
また、目開閉判定閾値表は、例えば、以下の手順により作成される。まず、運転席に座って運転している格好をした運転者の視線方向を、自車の正面方向を向いている場合を基準にして、上下、左右、斜め方向に変化させながら、運転者を撮像装置１１１により撮像する。次に、その結果得られた複数の画像に基づいて、運転者の視線方向と目の開閉度との関係を示すデータを取得する。そして、取得したデータに基づいて、運転者の各視線方向に対する判定閾値THを決定し、表にまとめたのが目開閉判定閾値表である。
【００４７】
なお、運転者の目の開閉の検出精度をより向上させるためには、各個人の目開閉判定閾値表を作成し、運転者によって表を使い分けるのが望ましい。ただし、検出精度が少し落ちる可能性はあるが、複数の運転者のデータから１つの目開閉判定閾値表を作成し、複数の運転者に対して同じ表を用いるようにしてもよい。
【００４８】
ステップＳ５において、開閉判定部１２４は、目の開閉度＞判定閾値であるか否かを判定する。すなわち、開閉判定部１２４は、開閉度検出部１２１により検出された運転者の目の開閉度が、閾値設定部１２３により設定された判定閾値THより大きいか否かを判定する。目の開閉度＞判定閾値であると判定された場合、処理はステップＳ６に進む。
【００４９】
ステップＳ６において、開閉判定部１２４は、開眼していると判定する。その後、処理はステップＳ８に進む。
【００５０】
一方、ステップＳ５において、目の開閉度≦判定閾値であると判定された場合、処理はステップＳ７に進む。
【００５１】
ステップＳ７において、開閉判定部１２４は、閉眼していると判定する。その後、処理はステップＳ８に進む。
【００５２】
ステップＳ８において、結果出力部１２５は、後段の装置に、判定結果を出力する。その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
【００５３】
このようにして、運転者の視線の方向に関わらず、複雑な処理を行うことなく、簡単、迅速かつ正確に運転者の目の開閉を検出することができる。
【００５４】
次に、図４および図５を参照して、本発明の第２の実施の形態について説明する。なお、本発明の第２の実施の形態は、まず、判定閾値の初期値である初期閾値を設定し、運転者の視線方向に基づいて初期閾値を補正することにより、判定閾値を設定するようにしたものである。
【００５５】
図４は、本発明を適用した目開閉検出システムの第２の実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【００５６】
図４の目開閉検出システム２０１は、撮像装置２１１および目開閉検出装置２１２を含むように構成される。また、目開閉検出装置２１２は、開閉度検出部２２１、視線方向検出部２２２、開閉判定部２２４、結果出力部２２５、初期閾値設定部２３１、および、閾値補正部２３２を含むように構成される。
【００５７】
開閉度検出部２２１は、検出した運転者の目の開閉度を示す情報を、開閉判定部２２４に加えて、初期閾値設定部２３１にも供給する。
【００５８】
視線方向検出部２２２は、検出した運転者の視線方向を示す情報を、初期閾値設定部２３１および閾値補正部２３２に供給する。
【００５９】
初期閾値設定部２３１は、図５を参照して後述するように、検出された運転者の目の開閉度および視線方向に基づいて、判定閾値の初期値である初期閾値を設定する。初期閾値設定部２３１は、設定した初期閾値を示す情報を閾値補正部２３２に供給する。
【００６０】
閾値補正部２３２は、図５を参照して後述するように、検出された運転者の視線方向に基づいて、初期閾値を補正することにより判定閾値を設定する。閾値補正部２３２は、設定した判定閾値を示す情報を開閉判定部２２４に供給する。
【００６１】
次に、図５のフローチャートを参照して、目開閉検出システム２０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００６２】
ステップＳ５１において、初期閾値設定部２３１は、初期閾値を設定する。例えば、初期閾値設定部２３１は、目開閉検出処理が開始されてから所定の期間、開閉度検出部２２１から運転者の目の開閉度の検出結果を取得する。そして、初期閾値設定部２３１は、取得した目の開閉度の統計値（例えば、平均値、分散など）を算出し、算出した統計値に基づいて初期閾値THOを設定する。このとき、視線方向検出部２２２から運転者の視線方向の検出結果を取得し、視線方向に基づいて目の開閉度の重みを設定し（例えば、視線方向が自車の正面方向に近いほど重みを大きくし）、初期閾値の設定に用いる統計値を算出するようにしてもよい。初期閾値設定部２３１は、設定した初期閾値THOを示す情報を閾値補正部２３２に供給する。
【００６３】
なお、初期閾値設定部２３１が初期閾値を設定する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に設定できる手法を適用することが望ましい。例えば、特開２００６−１０９９８０号公報、特開２００４−４１４８５号公報などに開示されている手法を適用することが可能である。
【００６４】
また、予め運転者ごとに初期閾値を設定しておき、初期閾値設定部２３１が、運転者の認証を行い、運転者に応じて、初期閾値を選択して設定するようにしてもよい。あるいは、運転者に応じてそれぞれ設定された押しボタンの中から、運転者が自分に対応する押しボタンを選んで押すなどの操作により、運転者が自分に対応する初期閾値を選択して設定するようにしてもよい。
【００６５】
ステップＳ５２乃至Ｓ５４の処理は、図３のステップＳ１乃至Ｓ３の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の顔画像に基づいて、運転者の目の開閉度および視線方向が検出される。
【００６６】
ステップＳ５５において、閾値補正部２３２は、判定閾値を補正する。具体的には、閾値補正部２３２は、事前に作成されている補正表に基づいて、現在の運転者の視線方向に対応する補正量Cを求める。閾値補正部２３２は、以下の式（１）に基づいて、判定閾値THを算出し、算出した判定閾値THを示す情報を開閉判定部２２４に供給する。
【００６７】
TH＝THO×C ・・・（１）
【００６８】
ここで、補正表とは、運転者の視線方向と補正量Cとの関係を示すデータからなる表である。例えば、運転者の視線方向が自車の正面方向を向いている場合を基準（上下および左右方向とも0度）にして、視線方向が、上下方向に-10度（下に10度）〜0度の範囲内の場合、補正量Cの値がx、0度から＋10度（上に10度）の範囲内の場合、補正量Cの値がyといったように、補正表では、視線方向がいくつかの範囲に区切られ、範囲ごとに補正量Cが設定されている。
【００６９】
また、補正表は、例えば、以下の手順により作成される。まず、運転席に座って運転している格好をした運転者の視線方向を、自車の正面方向を向いている場合を基準にして、上下、左右、斜め方向に変化させながら、運転者を撮像装置２１１により撮像する。そして、その結果得られた複数の画像に基づいて、運転者の視線方向と目の開閉度との関係を示すデータを取得する。この視線方向と目の開閉度との関係を示すデータを、十分な数の運転者について取得する。そして、取得したデータに基づいて、視線が自車の正面方向を向いている場合の目の開閉度に対する、正面以外の各方向を向いている場合の目の開閉度の変化量の統計を取り、その結果に基づいて、各視線方向に対する補正量Cを決定し、表にまとめたのが補正表である。
【００７０】
なお、補正表は、例えば、各車両で作成するようにしてもよいし、自動車メーカ等で、車種毎に作成し、提供するようにしてもよい。
【００７１】
ステップＳ５６乃至Ｓ５９の処理は、図３のステップＳ５乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の目の開閉が判定される。その後、処理はステップＳ５２に戻り、ステップＳ５２以降の処理が実行される。
【００７２】
このようにして、運転者の視線の方向に関わらず、複雑な処理を行うことなく、簡単、迅速かつ正確に運転者の目の開閉を検出することができる。また、運転者の違いに関わらず１種類の補正表を用いればよく、より少ないデータ量で処理を行うことができる。
【００７３】
次に、図６および図７を参照して、本発明の第３の実施の形態について説明する。なお、本発明の第３の実施の形態は、運転者の視線方向の変化量に基づいて、判定閾値を調整するようにしたものである。
【００７４】
図６は、本発明を適用した目開閉検出システムの第３の実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【００７５】
図６の目開閉検出システム３０１は、撮像装置３１１および目開閉検出装置３１２を含むように構成される。また、目開閉検出装置３１２は、開閉度検出部３２１、視線方向検出部３２２、閾値設定部３２３、開閉判定部３２４、結果出力部３２５、および、視線方向保持部３３１を含むように構成される。
【００７６】
視線方向検出部３２２は、検出した運転者の視線方向を示す情報を、閾値設定部３２３に加えて、視線方向保持部３３１にも供給する。
【００７７】
閾値設定部３２３は、図７を参照して後述するように、視線方向保持部３３１に保持されている前回検出された運転者の視線方向、および、視線方向検出部３２２により検出された今回検出された運転者の視線方向に基づいて、判定閾値を設定する。閾値設定部３２３は、設定した閾値を示す情報を開閉判定部３２４に供給する。
【００７８】
次に、図７のフローチャートを参照して、目開閉検出システム３０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００７９】
ステップＳ１０１およびＳ１０２の処理は、図３のステップＳ１およびＳ２の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の顔画像に基づいて、運転者の目の開閉度が検出される。
【００８０】
ステップＳ１０３において、視線方向検出部３２２は、図３のステップＳ３の視線方向検出部１２２による処理と同様に、運転者の視線方向を検出する。視線方向検出部３２２は、検出した運転者の視線方向を示す情報を、閾値設定部３２３および視線方向保持部３３１に供給する。
【００８１】
ステップＳ１０４において、視線方向保持部３３１は、視線方向検出部３２２から供給された運転者の視線方向を示す情報を保持する。
【００８２】
ステップＳ１０５において、閾値設定部３２３は、視線方向の変化量が所定の範囲内であるか否かを判定する。具体的には、閾値設定部３２３は、前回のステップＳ１０３の処理において検出された運転者の視線方向を示す情報を視線方向保持部３３１から取得する。閾値設定部３２３は、視線方向保持部３３１から取得した前回の運転者の視線方向と、視線方向検出部３２２から取得した今回の運転者の視線方向との間の変化量を求める。閾値設定部３２３が、求めた変化量が所定の範囲内であると判定した場合、処理はステップＳ１０６に進む。なお、前回の視線方向の検出結果が保持されていない場合、例えば、無条件で処理はステップＳ１０６に進む。
【００８３】
ステップＳ１０６において、閾値設定部３２３は、図３のステップＳ４の閾値設定部１２３の処理と同様に、今回の運転者の視線方向に基づいて、判定閾値を設定する。なお、ステップＳ１０６の処理は、運転者の視線方向の変化量が所定の範囲内であることをもって、今回の運転者の視線方向の検出結果の信頼度が高いと判断して行われる処理である。その後、処理はステップＳ１０８に進む。
【００８４】
一方、ステップＳ１０５において、視線方向の変化量が所定の範囲を超えていると判定された場合、処理はステップＳ１０７に進む。
【００８５】
ステップＳ１０７において、閾値設定部３２３は、目開閉判定閾値表に基づいて、運転者の視線が正面を向いている場合の値に判定閾値を設定する。すなわち、運転者の視線方向の検出結果に関わらず、判定閾値は同じ値に設定される。なお、このステップＳ１０７の処理は、運転者の視線方向の変化量が所定の範囲を超えていることをもって、例えば、運転者の目が閉じているなどの要因により、今回の運転者の視線方向の検出結果の信頼度が低いと判断して行われる処理である。その後、処理はステップＳ１０８に進む。
【００８６】
ステップＳ１０８乃至Ｓ１１１の処理は、図３のステップＳ５乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の目の開閉が判定される。その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
【００８７】
このようにして、運転者の視線方向の検出結果の信頼度が低い場合に、運転者の目の開閉が誤検出されてしまうことが抑制され、検出精度が向上する。
【００８８】
なお、本発明の第３の実施の形態において、運転者の視線方向の変化量を求める手法は、上述した手法に限定されるものではない。
【００８９】
次に、図８および図９を参照して、本発明の第４の実施の形態について説明する。なお、本発明の第４の実施の形態では、運転者の瞳を検出し、瞳の検出結果の信頼度に基づいて、判定閾値を調整するようにしたものである。
【００９０】
図８は、本発明を適用した目開閉検出システムの第４の実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
【００９１】
図８の目開閉検出システム４０１は、撮像装置４１１および目開閉検出装置４１２を含むように構成される。また、目開閉検出装置４１２は、開閉度検出部４２１、視線方向検出部４２２、閾値設定部４２３、開閉判定部４２４、結果出力部４２５、瞳検出部４３１、および、瞳信頼度算出部４３２を含むように構成される。
【００９２】
撮像装置４１１は、運転者の顔画像を、目開閉検出装置４１２の開閉度検出部４２１および視線方向検出部４２２に加えて、瞳検出部４３１にも供給する。
【００９３】
瞳検出部４３１は、顔画像内の運転者の瞳を検出する。瞳検出部４３１は、顔画像および運転者の瞳の検出結果を示す情報を瞳信頼度算出部４３２に供給する。
【００９４】
瞳信頼度算出部４３２は、瞳検出部４３１による瞳の検出結果の信頼度を算出する。瞳信頼度算出部４３２は、算出した信頼度を示す情報を閾値設定部４２３に供給する。
【００９５】
閾値設定部４２３は、図９を参照して後述するように、検出された運転者の視線方向、および、算出された運転者の瞳の検出結果の信頼度に基づいて、判定閾値を設定する。閾値設定部４２３は、設定した閾値を示す情報を開閉判定部４２４に供給する。
【００９６】
次に、図９のフローチャートを参照して、目開閉検出システム４０１により実行される目開閉検出処理について説明する。なお、この処理は、例えば、自車のエンジンが起動したとき開始され、エンジンが停止したとき終了する。
【００９７】
ステップＳ１５１乃至Ｓ１５３の処理は、図３のステップＳ１乃至Ｓ３の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の画像の顔画像に基づいて、運転者の目の開閉度および視線方向が検出される。
【００９８】
ステップＳ１５４において、瞳検出部４３１は、瞳を検出する。すなわち、瞳検出部４３１は、所定の手法を用いて、顔画像内の運転者の瞳を検出する。瞳検出部４３１は、顔画像および検出結果を示す情報を瞳信頼度算出部４３２に供給する。
【００９９】
なお、瞳検出部４３１が運転者の瞳を検出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、「川口他，ハフ変換と分離度フィルタによる人物顔からの両目の検出，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2001年，Vol.J84-D-II，No.10，2190-2200ページ」などに開示されている手法を適用することが可能である。
【０１００】
ステップＳ１５５において、瞳信頼度算出部４３２は、瞳の検出結果の信頼度を算出する。すなわち、瞳信頼度算出部４３２は、所定の手法を用いて、瞳検出部４３１による運転者の瞳の検出結果の信頼度を算出する。瞳信頼度算出部４３２は、算出した信頼度を示す情報を閾値設定部４２３に供給する。
【０１０１】
なお、瞳信頼度算出部４３２が瞳の検出結果の信頼度を算出する手法は、特定の手法に限定されるものではなく、より簡単、迅速かつ正確に検出できる手法を適用することが望ましい。例えば、瞳信頼度算出部４３２は、瞳検出部４３１により検出された瞳を含む顔画像の領域に対して、テンプレートマッチングを行い、類似度を算出し、算出した類似度を信頼度とする。また、例えば、瞳信頼度算出部４３２は、瞳検出部４３１により検出された顔画像の瞳の領域の円形度を、以下の式（２）により算出し、算出した円形度を信頼度とする。
【０１０２】
円形度＝4π×S／L2 ・・・（２）
ただし、Sは瞳の領域の面積、Lは領域の周囲長である。
【０１０３】
ステップＳ１５６において、閾値設定部４２３は、瞳の検出結果の信頼度が所定の閾値を超えているか否かを判定する。瞳の検出結果の信頼度が所定の閾値を超えていると判定された場合、処理はステップＳ１５７に進む。
【０１０４】
ステップＳ１５７において、閾値設定部４２３は、図３のステップＳ４の閾値設定部１２３の処理と同様に、運転者の視線方向に基づいて、判定閾値を設定する。なお、ステップＳ１５７の処理は、運転者の瞳の検出結果の信頼度が所定の閾値を超えていることをもって、運転者の視線方向の検出結果の信頼度が高いと判断して行われる処理である。その後、処理はステップＳ１５９に進む。
【０１０５】
一方、ステップＳ１５６において、瞳の検出結果の信頼度が所定の閾値以下であると判定された場合、処理はステップＳ１５９に進む。
【０１０６】
ステップＳ１５９において、図７のステップＳ１０７の処理と同様に、運転者の視線が正面を向いている場合の値に判定閾値が設定される。なお、ステップＳ１５９の処理は、運転者の瞳の検出結果の信頼度が所定の閾値以下であることをもって、運転者の視線方向の検出結果の信頼度が低いと判断して行われる処理である。その後、処理はステップＳ１５９に進む。
【０１０７】
ステップＳ１５９乃至Ｓ１６２の処理は、図３のステップＳ５乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、運転者の目の開閉が判定される。その後、処理はステップＳ１５１に戻り、ステップＳ１５１以降の処理が実行される。
【０１０８】
このようにして、運転者の視線方向の検出結果の信頼度が低い場合に、運転者の目の開閉が誤検出されてしまうことが抑制され、検出精度が向上する。
【０１０９】
なお、以上の説明では、図６の目開閉検出システム３０１、および、図８の目開閉検出システム４０１において、図２の目開閉検出システム１０１と同様の方法により、判定閾値を設定する例を示したが、図４の目開閉検出システム２０１と同様の方法により、判定閾値を設定するようにしてもよい。すなわち、例えば、運転者の視線方向の変化量、または、運転者の瞳の検出結果の信頼度に基づいて、運転者の視線方向の検出結果の信頼度が低いと判定された場合、運転者の視線が自車の正面方向を向いている場合の補正量を用いて、判定閾値を設定するようにしてもよい。
【０１１０】
また、運転者の視線方向の検出結果の信頼度が低いと判定された場合に、必要に応じて、正面以外の所定の方向を運転者の視線が向いている場合の値に判定閾値を設定するようにしてもよい。
【０１１１】
なお、本発明は、例えば、運転者以外の人の目の開閉を検出する場合にも適用することが可能である。
【０１１２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１１３】
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１４】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１１５】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０１１６】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１７】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１８】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１１９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２０】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【０１２１】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２２】
【図１】視線方向による目の開閉度の変化を説明するための図である。
【図２】目開閉検出システムの第１の実施の形態を示すブロック図である。
【図３】目開閉検出処理の第１の実施の形態を説明するためのフローチャートである。
【図４】目開閉検出システムの第２の実施の形態を示すブロック図である。
【図５】目開閉検出処理の第２の実施の形態を説明するためのフローチャートである。
【図６】目開閉検出システムの第３の実施の形態を示すブロック図である。
【図７】目開閉検出処理の第３の実施の形態を説明するためのフローチャートである。
【図８】目開閉検出システムの第４の実施の形態を示すブロック図である。
【図９】目開閉検出処理の第４の実施の形態を説明するためのフローチャートである。
【図１０】コンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１２３】
１０１ 目開閉検出システム
１１１ 撮像装置
１１２ 目開閉検出装置
１２１ 開閉度検出部
１２２ 視線方向検出部
１２３ 閾値設定部
１２４ 開閉判定部
２０１ 目開閉検出システム
２１１ 撮像装置
２１２ 目開閉検出装置
２２１ 開閉度検出部
２２２ 視線方向検出部
２２４ 開閉判定部
２３１ 初期閾値設定部
２３２ 閾値補正部
３０１ 目開閉検出システム
３１１ 撮像装置
３１２ 目開閉検出装置
３２１ 開閉度検出部
３２２ 視線方向検出部
３２３ 閾値設定部
３２４ 開閉判定部
３３１ 視線方向保持部
４０１ 目開閉検出システム
４１１ 撮像装置
４１２ 目開閉検出装置
４２１ 開閉度検出部
４２２ 視線方向検出部
４２３ 閾値設定部
４２４ 開閉判定部
４３１ 瞳検出部
４３２ 瞳信頼度算出部
【特許請求の範囲】
【請求項１】
人の目の開閉を検出する検出装置において、
人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出する開閉度検出手段と、
前記画像に基づいて、前記人の視線の方向を検出する視線方向検出手段と、
検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定する閾値設定手段と、
前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する開閉判定手段と
を含む検出装置。
【請求項２】
前記閾値設定手段は、視線の方向と前記判定閾値を補正するための補正量との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記補正量を求め、前記補正量を用いて予め設定されている値を補正することにより前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項３】
前記閾値設定手段は、視線の方向と前記判定閾値との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項４】
前記閾値設定手段は、前記視線方向検出手段による検出結果に基づいて、前記人の視線の方向の変化量を求め、前記変化量が所定の範囲内である場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記変化量が前記範囲を超えている場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項５】
前記画像内の前記人の瞳を検出する瞳検出手段と、
前記人の瞳の検出結果の信頼度を算出する瞳信頼度算出手段と
をさらに含み、
前記閾値設定手段は、前記信頼度が所定の閾値を越えている場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記信頼度が所定の閾値以下である場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項６】
人の目の開閉を検出する検出装置が、
前記人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出し、
前記画像に基づいて、前記人の視線の方向を検出し、
検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定し、
前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する
ステップを含む検出方法。
【請求項７】
コンピュータに、
前記人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出し、
前記画像に基づいて、前記人の視線の方向を検出し、
検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定し、
前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する
ステップを含む処理を実行させるためのプログラム。
【請求項１】
人の目の開閉を検出する検出装置において、
人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出する開閉度検出手段と、
前記画像に基づいて、前記人の視線の方向を検出する視線方向検出手段と、
検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定する閾値設定手段と、
前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する開閉判定手段と
を含む検出装置。
【請求項２】
前記閾値設定手段は、視線の方向と前記判定閾値を補正するための補正量との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記補正量を求め、前記補正量を用いて予め設定されている値を補正することにより前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項３】
前記閾値設定手段は、視線の方向と前記判定閾値との関係を示す所定のデータに基づいて、検出された前記人の視線の方向に対する前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項４】
前記閾値設定手段は、前記視線方向検出手段による検出結果に基づいて、前記人の視線の方向の変化量を求め、前記変化量が所定の範囲内である場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記変化量が前記範囲を超えている場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項５】
前記画像内の前記人の瞳を検出する瞳検出手段と、
前記人の瞳の検出結果の信頼度を算出する瞳信頼度算出手段と
をさらに含み、
前記閾値設定手段は、前記信頼度が所定の閾値を越えている場合、検出された前記人の視線の方向に基づいて前記判定閾値を設定し、前記信頼度が所定の閾値以下である場合、前記人の視線が所定の方向を向いている場合の値に前記判定閾値を設定する
請求項１に記載の検出装置。
【請求項６】
人の目の開閉を検出する検出装置が、
前記人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出し、
前記画像に基づいて、前記人の視線の方向を検出し、
検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定し、
前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する
ステップを含む検出方法。
【請求項７】
コンピュータに、
前記人の顔を撮像した画像に基づいて、前記人の目の開け具合を示す開閉度を検出し、
前記画像に基づいて、前記人の視線の方向を検出し、
検出された前記人の視線の方向に基づいて、目の開閉の判定に用いる判定閾値を設定し、
前記開閉度を前記判定閾値と比較することにより、前記人の目の開閉を判定する
ステップを含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１３４６０８（Ｐ２０１０−１３４６０８Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０８５６３（Ｐ２００８−３０８５６３）
【出願日】平成２０年１２月３日（２００８．１２．３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月３日（２００８．１２．３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]