漫然状態判定装置、方法及びプログラム
【課題】簡易な処理により判定対象者の漫然状態を安定した精度で判定する。
【解決手段】運転者の顔を撮像することで得られた画像を取得し(52)、眼球回転角を演算し(54)、眼球の回転速度のベクトルの大きさＴを所定値Ｔθと比較してサッカードが生じているか否かを判定し(60)、検知したサッカードの振幅・方向を演算・記憶する(74)と共に、運転者の視線位置を演算・記憶する(76,78)ことを繰り返す。漫然状態の判定時期が到来すると(80が肯定)、振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きいか否か(84)、方向が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さいか否か(88)、視線位置が集中している箇所の数が２以上か否か(92)を順に判定し、何れかの判定が肯定されると漫然状態と判定し、警報出力(94)等の処理を行う。
【解決手段】運転者の顔を撮像することで得られた画像を取得し(52)、眼球回転角を演算し(54)、眼球の回転速度のベクトルの大きさＴを所定値Ｔθと比較してサッカードが生じているか否かを判定し(60)、検知したサッカードの振幅・方向を演算・記憶する(74)と共に、運転者の視線位置を演算・記憶する(76,78)ことを繰り返す。漫然状態の判定時期が到来すると(80が肯定)、振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きいか否か(84)、方向が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さいか否か(88)、視線位置が集中している箇所の数が２以上か否か(92)を順に判定し、何れかの判定が肯定されると漫然状態と判定し、警報出力(94)等の処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は漫然状態判定装置、方法及びプログラムに係り、特に、判定対象者が漫然状態か否かを判定する漫然状態判定装置、該漫然状態判定装置に適用可能な漫然状態判定方法、及び、コンピュータを前記漫然状態判定装置として機能させるための漫然状態判定プログラムに関する。
【背景技術】
【０００２】
車両の運転者の視線方向を検出し、視線方向の検出結果から運転者が漫然と運転している状態か否を判別する技術は従来より提案されており、例えば特許文献１には、運転者の視線方向を検出し、車両前方領域及び車両周辺領域の注視頻度を求め、例えば車両前方領域の注視頻度が所定値よりも大かつ自車両が先行車両に追従していない場合や、車両周辺領域の注視頻度が所定値よりも大かつ隣接車線に他車両が存在していない場合に運転者が漫然状態と判定する技術が提案されている。
【０００３】
また特許文献２には、運転者の視線挙動を検出すると共に、車外前方を撮像し撮像によって得られた画像に対し先行車横のガードレールや標識等の立体物を基準として漫然状態判定領域を設定し、漫然状態判定領域内での視線の滞留時間の基準滞留時間に対する比率が閾値以上の場合に漫然状態と判定する技術が開示されている。
【０００４】
更に特許文献３には、運転者の視線挙動を検出してその分散値を演算し、演算した分散値に占める先行車の幅の割合を注意力評価値として演算し、注意力評価値が閾値よりも小さい場合に、先行車に対する運転の注意状態が低い漫然状態と判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−８０９６９号公報
【特許文献２】特開２００７−７３０１１号公報
【特許文献３】特開２００８−１３７４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
判定対象者の視線の推移や分布には判定対象者の注意状態が反映されるので、判定対象者の漫然状態も判定対象者の視線の推移や分布から判定可能であり、上述した特許文献１〜３に記載の技術においても、判定対象者としての運転者の視線方向や位置を検出し、特定領域の注視頻度や視線の滞留、視線の分布に基づいて漫然状態を判定している。
【０００７】
しかしながら、視線の検出は、判定対象者の眼球の回転角を車両前方を表す画像上での位置座標に変換することによって成されるが、判定対象者の顔の向き等によっては位置座標への変換に大きな誤差が加わり、判定対象者の漫然状態を判定できない状態に陥ることがある。また、特許文献２,３に記載の技術のように、車外前方のガードレールや標識等の立体物、或いは先行車両に基づいて漫然状態を検出する場合、車両前方の状況を撮像し、当該撮像によって得られた画像から上記の立体物や先行車両に相当すると推定される画像領域を抽出する、という複雑な画像処理が必要になり、漫然状態を判定するための装置構成が複雑になるという問題も加わる。
【０００８】
本発明は上記事実を考慮して成されたもので、簡易な処理により判定対象者の漫然状態を安定した精度で判定できる漫然状態判定装置、漫然状態判定方法及び漫然状態判定プログラムを得ることが目的である。
【課題を解決するための手段】
【０００９】
人間が周囲を観察している場合、その人間の眼球では、或る視線停留点から別の視線停留点への高速かつ直線的な眼球運動であるサッカード(saccade：跳躍性眼球運動)が行われることは従来より知られている。本願発明者等はこのサッカードに着目し、通常状態の人間と漫然状態の人間とでサッカードの特性に相違が有るか否か、相違が有るとすればどのような特性の相違かを確認する実験を行った。そして、この実験により、例として図１に示すように、或る期間内に発生するサッカードの振幅毎の発生頻度の分布が通常状態の人間と漫然状態の人間とで明確に相違し、漫然状態の場合は通常状態と比較して、小振幅のサッカードの発生頻度が高くなる、という知見を得た。また、上記の実験により、例として図２に示すように、或る期間内に発生するサッカードの方位毎の発生頻度の分布についても通常状態の人間と漫然状態の人間とで明確に相違し、漫然状態の場合は通常状態と比較して、垂直方向を含む範囲内の方向のサッカードの発生頻度が低くなる、という知見も得た。
【００１０】
上記に基づき請求項１記載の発明に係る漫然状態判定装置は、判定対象者の眼球の運動を測定する眼球運動測定手段と、前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段と、前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段と、任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段と、を含んで構成されている。
【００１１】
請求項１記載の発明では、眼球運動測定手段によって判定対象者の眼球の運動が測定され、眼球運動測定手段による眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードがサッカード抽出手段によって抽出され、サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方が演算手段によって演算される。そして、請求項１記載の発明に係る判定手段は、任意の期間内にサッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内にサッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に判定対象者が漫然状態と判定する。
【００１２】
このように、請求項１記載の発明では、判定対象者が漫然状態か否かを判定するにあたり、判定対象者の顔の向き等によっては大幅に精度が低下する判定対象者の視線位置を必要とすることなく、判定対象者の眼部を撮像して得られる画像等から直接検出できるサッカードの特性(振幅が第１所定値以下のサッカードの割合、及び、方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合の少なくとも１つ)に基づいて判定対象者が漫然状態か否かを判定するので、判定対象者の漫然状態を判定できない状態に陥ることなく、安定した精度で判定対象者の漫然状態を判定することができる。また、判定対象者の眼球の運動(回転角)を判定対象者の視線方向又は視線位置に変換する処理や、車両前方の状況を表す画像から立体物や先行車両に相当すると推定される画像領域を抽出する等の画像処理を行う必要が無くなるので、判定対象者の漫然状態をより簡易な処理で判定することができる。
【００１３】
なお、請求項１記載の発明において、例えば請求項２に記載したように、演算手段はサッカード抽出手段によって抽出されたサッカードにおける振幅及び方向を各々演算し、判定手段は、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件を各々判定し、各条件のうちの少なくとも１つを満足した場合に判定対象者が漫然状態と判定するように構成することが好ましい。
【００１４】
請求項２記載の発明では、振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の両条件を用いて漫然状態を判定するので、両条件のうちの何れか一方のみを用いて漫然状態を判定する場合と比較して処理は複雑化するものの、両条件を用いることで、ノイズ等の外乱の影響で一方の条件では漫然状態と判定できない場合にも、他方の条件によって漫然状態と判定できる可能性が生ずるので、漫然状態の判定精度の安定度を向上させることができる。
【００１５】
また、請求項１又は請求項２記載の発明において、サッカード抽出手段は、例えば請求項３に記載したように、眼球運動測定手段による眼球の運動の測定結果に基づき眼球の回転速度の推移を演算し、眼球の回転速度が第４所定値以上を維持していた期間における眼球の運動をサッカードとして抽出するように構成することができる。
【００１６】
また、請求項１〜請求項３の何れかに記載の発明において、例えば請求項４に記載したように、判定対象者は機器の操作を行なう操作者であり、判定対象者が前記機器の操作を開始した当初の期間に、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された振幅が第１所定値以下のサッカードの割合、及び、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合のうち、判定手段が行う判定に対応するパラメータを求め、求めたパラメータを第２所定値又は第３所定値として設定する設定手段を設けることが好ましい。
【００１７】
本発明に係る判定手段が漫然状態の判定に用いる第２所定値や第３所定値は、個々の判定対象者毎に最適値が相違する可能性がある。これに対して請求項３記載の発明では、判定対象者は機器の操作を行なう操作者である場合、判定対象者が機器の操作を開始した当初の期間は、判定対象者が一般に機器の操作に集中しており、判定対象者が漫然状態ではない可能性が非常に高いことに基づき、判定対象者が前記機器の操作を開始した当初の期間に求めたパラメータを第２所定値又は第３所定値として設定するので、第２所定値や第３所定値として個々の判定対象者毎の最適値を設定することができ、漫然状態の判定精度を更に向上させることができる。
【００１８】
また本願発明者等は、人間の視線位置の分布が、当該人間が通常状態か漫然状態かに応じてどのように相違するかを確認する実験も行った。人間の視線位置が当該人間が注視している箇所に集中することは従来より知られており、前述した特許文献１〜３に記載の技術は、人間(運転者)の視線位置が集中している箇所が、そのときの周囲状況における注視対象として適切か否かに基づいて漫然状態を判定しているが、上記の実験では、人間が通常状態か漫然状態かに応じた視線位置の分布の他の相違として、例として図３(Ａ)に示すように、人間が通常状態の場合は人間の視線位置が単一箇所に集中する一方、例として図３(Ｂ)に示すように、人間が漫然状態の場合は人間の視線位置が集中している箇所が複数出現する、という相違もあることが新たに判明した。
【００１９】
上記に基づき、請求項１〜請求項４の何れかに記載の発明において、例えば請求項５に記載したように、判定対象者の顔を撮像する顔撮像手段と、顔撮像手段による撮像によって得られた画像に基づいて判定対象者の顔の向きを判定し、眼球運動測定手段による眼球の運動の測定結果及び判定した判定対象者の顔の向きに基づいて判定対象者の視線位置を演算することを繰り返す視線位置演算手段と、を更に設け、判定手段は、前記各条件の１つとして、任意の期間内に視線位置演算手段によって演算された視線位置が集中している箇所が複数存在しているか否かも判定し、当該条件も含む前記各条件のうちの少なくとも１つを満足した場合に判定対象者が漫然状態と判定するように構成することが好ましい。
【００２０】
上記のように、判定対象者の視線位置に基づいて判定対象者の漫然状態を判定する場合、従来技術と同様に、判定対象者の顔の向き等によっては位置座標への変換に大きな誤差が加わり、判定対象者の漫然状態を判定できない状態に陥る可能性があるが、請求項５記載の発明では、視線位置に基づく漫然状態の判定を、サッカードの振幅分布及びサッカードの方向分布の少なくとも一方に基づく漫然状態の判定と併用しているので、判定対象者の漫然状態を判定できない状態に陥ることを防止できる。そして請求項５記載の発明では、視線位置に基づく漫然状態の判定を、サッカードの振幅分布及びサッカードの方向分布の少なくとも一方に基づく漫然状態の判定と併用することで、判定対象者の顔の向きが視線位置に基づく漫然状態の判定に適した向きである場合に、判定対象者の漫然状態の判定精度を向上させることができる。
【００２１】
なお、請求項５記載の発明において、例えば請求項６に記載したように、視線位置演算手段は、眼球の運動の測定結果及び判定した判定対象者の顔の向きに基づいて判定対象者の視線方向を演算し、演算した視線方向に基づいて、判定対象者によって注視される空間を表す画像上での判定対象者の視線方向の位置を判定対象者の視線位置として演算することを繰り返し、判定手段は、前記画像のうち、任意の期間内に視線位置演算手段によって演算された視線位置に相当する画素又は任意の期間内に視線位置演算手段によって視線位置として演算された頻度が所定値以上の画素のみから成り、かつ視線位置に相当しない画素又は任意の期間内に視線位置演算手段によって視線位置として演算された頻度が所定値未満の画素で周囲を囲まれた領域を視線位置が集中している箇所として認識するように構成することができる。
【００２２】
請求項７記載の発明に係る漫然状態判定方法は、判定対象者の眼球の運動を測定し、前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出し、前記抽出したサッカードにおける振幅及び方向の少なくとも一方を演算し、任意の期間内に抽出したサッカードのうち前記演算した振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に抽出したサッカードのうち前記演算した方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定するので、請求項１記載の発明と同様に、簡易な処理により判定対象者の漫然状態を安定した精度で判定することができる。
【００２３】
請求項８記載の発明に係る漫然状態判定プログラムは、コンピュータを、判定対象者の眼球の運動を測定する眼球運動測定手段、前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段、前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段、及び、任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段として機能させる。
【００２４】
請求項８記載の発明に係る漫然状態判定プログラムは、コンピュータを、上記の眼球運動測定手段、サッカード抽出手段、演算手段及び判定手段として機能させるためのプログラムであるので、コンピュータが請求項８記載の発明に係る漫然状態判定プログラムを実行することで、コンピュータが請求項１に記載の漫然状態判定装置として機能することになり、請求項１,７記載の発明と同様に、簡易な処理により判定対象者の漫然状態を安定した精度で判定することができる。
【発明の効果】
【００２５】
以上説明したように本発明は、判定対象者の眼球の運動を測定し、測定した眼球の運動におけるサッカードを抽出し、抽出したサッカードにおける振幅及び方向の少なくとも一方を演算し、任意の期間内に抽出したサッカードのうち振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、任意の期間内に抽出したサッカードのうち方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に判定対象者が漫然状態と判定するので、簡易な処理により判定対象者の漫然状態を安定した精度で判定することができる、という優れた効果を有する。
【図面の簡単な説明】
【００２６】
【図１】本願発明者等が実施した実験によって得られた、通常状態及び漫然状態におけるサッカードの振幅毎の頻度分布の一例を示す線図である。
【図２】本願発明者等が実施した実験によって得られた、通常状態及び漫然状態におけるサッカードの方位毎の頻度分布の一例を示す線図である。
【図３】本願発明者等が実施した実験によって得られた、通常状態及び漫然状態における視線位置の分布の一例を示す線図である。
【図４】本実施形態に係る漫然状態判定装置の、(Ａ)は概略構成を示すブロック図、(Ｂ)は機能ブロック図である。
【図５】漫然状態判定処理の内容を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、以下では本発明に支障のない数値を挙げて説明するが、本発明は以下に記載した数値に限られるものではないことは言うまでもない。
【００２８】
図４(Ａ)には本実施形態に係る漫然状態判定装置１０が示されている。漫然状態判定装置１０は車両に搭載され、判定対象者としての車両の運転者が漫然状態か否かを判定する装置であり、車両の運転者の眼部を含む顔を撮像する顔撮影カメラ１２、車両の前方を撮像する前方撮影カメラ１４、ブザー等から成る警報出力部１６、車両のアクセルペダルが操作される際の反力を調整可能なアクセルペダル反力調整部１８、及び、車両のブレーキペダルが操作される際の反力を調整可能なブレーキペダル反力調整部２０を備え、これらが車両に搭載されたコンピュータ２２に各々接続されて構成されている。
【００２９】
なお、アクセルペダル反力調整部１８としては、アクセルペダルの操作量を油圧として伝達する経路の途中に設けられ、前記経路内の油圧を変化させることでアクセルペダルの操作反力を調整する構成を適用することができ、ブレーキペダル反力調整部２０についても、ブレーキペダルの操作量を油圧として伝達する経路の途中に設けられ、前記経路内の油圧を変化させることでブレーキペダルの操作反力を調整する構成を適用することができる。
【００３０】
コンピュータ２２は、ＣＰＵ２２Ａ、ＲＯＭやＲＡＭを含むメモリ２２Ｂ、ＨＤＤ(Hard Disk Drive)やフラッシュメモリ等から成る不揮発性の記憶部２２Ｃを備えており、記憶部２２Ｃには漫然状態判定プログラムが予め記憶(インストール)されている。漫然状態判定プログラムは、コンピュータ２２によって後述する漫然状態判定処理を行うためのプログラムであり、車両のイグニッションがオンの間、ＣＰＵ２２Ａによって実行される。上記の漫然状態判定処理は本発明に係る漫然状態判定方法が適用された処理であり、コンピュータ２２が漫然状態判定処理を行うことで、コンピュータ２２が、図４(Ｂ)に示す眼球運動測定部２６、サッカード解析部２８、視線解析部３０及び漫然状態検出部３２を備えた漫然状態判定処理部３４として機能し、本実施形態に係る漫然状態判定装置１０が本発明に係る漫然状態判定装置１０として機能することになる。なお、上記の漫然状態判定プログラムは本発明に係る漫然状態判定プログラムに対応している。
【００３１】
次に本実施形態の作用として、漫然状態判定プログラムがＣＰＵ２２Ａによって実行されることで実現される漫然状態判定処理について、図５を参照して説明する。
【００３２】
この漫然状態判定処理では、まずステップ５０でフラグを０に初期設定し、次のステップ５２において、顔撮影カメラ１２が車両の運転者の眼部を含む顔を撮像することで得られた顔画像のデータを顔撮影カメラ１２から取得する。ステップ５４では、ステップ５２で取得した顔画像データが表す顔画像から運転者の眼部に相当する眼部領域を抽出し、抽出した眼部領域から運転者の眼部のうち瞳孔に相当する瞳孔領域を抽出し、眼部領域内における瞳孔領域の水平方向位置及び垂直方向位置に基づいて、水平方向の眼球回転角θH及び垂直方向の眼球回転角θVを各々演算する。次のステップ５６では、ステップ５４で演算した眼球回転角θH,θVを時間で微分することで、水平方向及び垂直方向の眼球回転速度を表す眼球回転角の微分値θ'H,θ'Vを演算する。更にステップ５８では、眼球回転角の微分値θ'H,θ'Vを次の(１)式に代入し、眼球の回転速度ベクトルの大きさＴを演算する。
Ｔ＝√(θ'H2＋θ'V2) …(１)
そしてステップ６０では、ステップ５８で演算した眼球の回転速度ベクトルの大きさＴが所定値Ｔθよりも大きいか否か判定する。なお、本実施形態では所定値Ｔθとして、サッカードにおける眼球の回転速度に対応する値(例えば120〜170deg／秒程度の値)が予め設定されており、所定値Ｔθは請求項３に記載の第４所定値に対応している。サッカードは、或る視線停留点から別の視線停留点への高速かつ直線的な眼球運動であるが、眼球の回転速度ベクトルの大きさＴが所定値Ｔθよりも大きくなる高速な眼球運動は直線的な眼球運動以外にない。従って、ステップ６０の判定が肯定された場合は、運転者の眼球でサッカード(に相当する眼球運動)が行われていると判断できる。ステップ６０の判定が否定された場合、すなわち運転者の眼球でサッカードが行われていない場合はステップ６２へ移行し、フラグに１が設定されているか否か判定する。この判定も否定された場合はステップ７６へ移行する。
【００３３】
本実施形態に係る漫然状態判定処理では、上述した処理を含むステップ５２〜８０が繰り返し実行される。そして運転者の眼球でサッカードが行われると、先のステップ６０の判定が肯定されてステップ６４へ移行し、フラグに０が設定されているか否か判定する。ステップ６０の判定が肯定された当初はフラグに０が設定されているので、ステップ６４の判定が肯定されてステップ６６へ移行し、先のステップ５４で演算した眼球回転角θH,θVをサッカード開始点としてメモリ２２Ｂに記憶させる。そしてステップ６８でフラグに１を設定し、ステップ７６へ移行する。これにより、次にステップ６０の判定が行われた際に、運転者の眼球でサッカードが行われている状態が継続していることでステップ６０の判定が肯定された場合、ステップ６４の判定は否定されてステップ７６へ移行する。
【００３４】
また、運転者の眼球におけるサッカードが終了することでステップ６０の判定が否定された場合には、フラグに１が設定されていることでステップ６２の判定が肯定され、ステップ７０へ移行する。ステップ７０では、先のステップ５４で演算した眼球回転角θH,θVをサッカード終了点としてメモリ２２Ｂに記憶させる。次のステップ７２ではフラグに０を設定する。これにより、運転者の眼球でサッカードが再度行われた場合、ステップ６４の判定が肯定されることで、そのときの眼球回転角θH,θVがサッカード開始点としてメモリ２２Ｂに記憶されることになる。また、次のステップ７４では、メモリ２２Ｂに記憶されているサッカード開始点及びサッカード終了点に基づき、運転者の眼球で今回行われたサッカードの振幅及び方向(方位)を演算し、演算したサッカードの振幅及び方向(方位)をメモリ２２Ｂに記憶させた後に、ステップ７６へ移行する。
【００３５】
上記のように、本実施形態に係る漫然状態判定処理では、運転者の眼球の運動として眼球回転角θH,θVが繰り返し測定されると共に、運転者の眼球でサッカードが行われたか否かが監視され、サッカードが行われたことを検知する度にその振幅及び方向(方位)が演算・記憶されることが繰り返される。なお、上述した各ステップのうち、ステップ５２,５４は図４(Ｂ)に示す眼球運動測定部２６によって行われる処理であり、本発明に係る眼球運動測定手段に対応している。また、ステップ５６〜ステップ７４は図４(Ｂ)に示すサッカード解析部２８によって行われる処理であり、このうちステップ５６〜ステップ７２は本発明に係るサッカード抽出手段(より詳しくは請求項３に記載のサッカード抽出手段)に、ステップ７４は本発明に係る演算手段(より詳しくは請求項２に記載の演算手段)に各々対応している。
【００３６】
一方、ステップ７６では、まず先のステップ５２で顔撮影カメラ１２から取得した顔画像のデータに基づき、所定の画像処理を行うことで運転者の顔の向きを演算する。運転者の顔の向きは、例えば運転者の顔の相当する領域内における運転者の眼部対に相当する一対の領域の位置関係(水平方向への偏倚度合い)等の特徴量を用いることで演算することができる。次に、ステップ７６で演算した顔の向きと先のステップ５４で演算した眼球回転角θH,θVに基づき、運転者の視線の方向(運転者が車両前方を正面視している状態に対する視線の方向の角度差)を演算する。運転者の視線の方向は、例えば運転者の顔の向きの演算結果と眼球回転角θH,θVを次の(２)式に代入し、外界座標系における視線方向ベクトル(ｘ,ｙ,ｚ)を演算することで求めることができる。
【００３７】
【数１】
【００３８】
但し、上記の(２)式において、(α,β,γ)は運転者の顔の向きのロール角、ピッチ角、ヨー角である。そしてステップ７８では、ステップ７６で演算した運転者の視線方向(例えば視線方向ベクトル(ｘ,ｙ,ｚ)が表す方向)を所定の座標変換式に代入して演算することで、車両前方の空間を表す画像(前方撮影カメラ１４によって撮影される画像)上での運転者の視線の座標位置(視線位置)を演算し、メモリ２２Ｂに記憶させる。
【００３９】
なお、ステップ７６で演算した運転者の顔の向きが予め定められた角度範囲から逸脱している場合には、続いて演算する視線方向や視線位置に大きな誤差が含まれている可能性が高いので、視線方向や視線位置の演算を中止することが好ましい。本実施形態に係る漫然状態判定処理では上述したステップ７６,７８も繰り返し実行されるので、運転者の視線位置も繰り返し演算・記憶されることになる。上述したステップ７６,７８は図４(Ｂ)に示す視線解析部３０によって行われる処理であり、請求項５に記載の視線位置演算手段に対応している。また顔撮影カメラ１２は請求項５に記載の顔撮像手段に対応している。
【００４０】
次のステップ８０では運転者の漫然状態を判定する時期が到来したか否か判定する。本実施形態では運転者の漫然状態の判定周期が予め設定されており(例えば１分程度)、上記判定は、漫然状態判定処理の実行を開始するか又は運転者の漫然状態を前回判定してから、前記判定周期に相当する時間が経過したか否かを判断することによって行われる。ステップ８０の判定が否定された場合はステップ５２に戻り、ステップ８０の判定が肯定される迄ステップ５２〜ステップ８０を繰り返す。この間、サッカードの振幅及び方向(方位)、運転者の視線位置が繰り返し演算され、演算結果がメモリ２２Ｂに蓄積記憶される。
【００４１】
また、運転者の漫然状態を判定する時期が到来すると、ステップ８０の判定が肯定されてステップ８２へ移行し、所定期間(前記判定周期に相当する期間)内にメモリ２２Ｂに蓄積記憶されたサッカードの振幅を表すデータを読み出し、読み出したデータに基づいて所定期間内におけるサッカードの振幅毎の頻度を演算する。これにより、例として図１に示すような頻度分布が得られる。次のステップ８４では、ステップ８２で振幅を表すデータをメモリ２２Ｂから読み出した全てのサッカードのうち、振幅が所定値Ａ以下のサッカードの割合を演算し、演算した割合が予め設定された閾値Ｔaよりも大きいか否かを判定する。
【００４２】
なお、所定値Ａとしては、例えば図１に示す「Ａ」のように、サッカードの振幅毎の頻度分布において、運転者が通常状態か漫然状態かによって頻度の大小関係が逆転する境界における振幅値を適用することができる。また、閾値Ｔaとしては例えば0.65〜0.75程度の値を適用することができる。また、所定値Ａは本発明における第１所定値に、閾値Ｔaは本発明における第２所定値に各々対応している。
【００４３】
ステップ８４の判定が否定された場合はステップ８６へ移行し、所定期間(前記判定周期に相当する期間)内にメモリ２２Ｂに蓄積記憶されたサッカードの方向(方位)を表すデータを読み出し、読み出したデータに基づいて所定期間内におけるサッカードの方向(方位)毎の頻度を演算する。これにより、例として図２に示すような頻度分布が得られる。次のステップ８８では、ステップ８６で方向(方位)を表すデータをメモリ２２Ｂから読み出した全てのサッカードのうち、方向(方位)が縦方向に分類される範囲内のサッカードの割合を演算し、演算した割合が予め設定された閾値Ｔdよりも小さいか否かを判定する。
【００４４】
なお、縦方向に分類される方向(方位)範囲としては、例えば図２に示すようなサッカードの方向(方位)毎の頻度分布において、運転者が通常状態か漫然状態かによって頻度の大きさが明確に相違する方向(方位)範囲(例えば90°程度の方向(方位)を中心とする範囲や300°程度の方向(方位))を中心とする範囲等)を適用することができる。また、閾値Ｔdとしては、縦方向に分類される方向(方位)範囲の大きさにも依存するが、例えば0.60〜0.65程度の値を適用することができる。また、縦方向に分類される方向(方位)範囲は本発明における「垂直方向又は垂直方向を含む範囲」に、閾値Ｔdは本発明における第３所定値に各々対応している。
【００４５】
ステップ８８の判定が否定された場合はステップ９０へ移行し、所定期間(前記判定周期に相当する期間)内にメモリ２２Ｂに蓄積記憶された運転者の視線位置を表すデータを読み出し、読み出したデータに基づいて所定期間内における視線位置の頻度分布を演算する。これにより、例として図３(Ａ)又は図３(Ｂ)に示すような視線位置の(頻度)分布を表す画像が得られる。次のステップ９２では、ステップ９０で得られた視線位置の(頻度)分布を表す画像に対し、視線位置としての頻度が所定値以上の画素のみから成り、かつ視線位置としての頻度が所定値未満の画素で周囲を囲まれた領域を、視線位置が集中している箇所として抽出する。なお、これに代えて、例えば視線位置に相当する画素のみから成りかつ視線位置に相当しない画素で周囲を囲まれ、面積が閾値以上の領域を、視線位置が集中している箇所として抽出するようにしてもよい。そして、視線位置が集中している箇所として抽出した領域の数が２以上か否かを判定する。
【００４６】
ステップ９２の判定が否定された場合、ステップ８４,８８,９２の判定が何れも否定されており、運転者は漫然状態ではないと判断できるので、何ら処理を行うことなくステップ５２に戻り、ステップ５２以降の処理を繰り返す。一方、ステップ８４,８８,９２の何れかの判定が肯定された場合は運転者が漫然状態である可能性が高いので、ステップ９４へ移行し、警報出力部１６によって警報を出力させることで、漫然状態である可能性が高い運転者に対して注意を促す。また、ステップ９６でアクセルペダル反力調整部１８によってアクセルペダルの反力を増加させると共に、次のステップ９８では、ブレーキペダル反力調整部２０によってブレーキペダルの反力を減少させる。これにより、警報出力部１６が出力した警報が、周囲の騒音等の影響で運転者に明瞭に聴取されなかった場合にも、運転者に対して確実に注意を促すことができる。ステップ９８の処理を行うとステップ５２に戻り、ステップ５２以降の処理を繰り返す。
【００４７】
なお、上述したステップ８０〜ステップ９８は図４(Ｂ)に示す漫然状態検出部３２によって行われる処理であり、このうちのステップ８０〜ステップ９２は本発明に係る判定手段(より詳しくは請求項２,５,６に記載の判定手段)に対応している。
【００４８】
このように、本実施形態では、振幅が所定値Ａ以下のサッカードの割合、方向(方位)が縦方向に分類される範囲内のサッカードの割合、及び、視線位置が集中している箇所を各々求め、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件の何れかを満たした場合に、運転者が漫然状態と判定するので、車両前方を撮像して得られた画像から立体物や先行車両に相当すると推定される画像領域を抽出する等の複雑な画像処理を必要としない簡易な処理により、運転者の漫然状態を判定することができ、運転者の顔の向き等によって漫然状態の判定精度が大幅に低下することも回避することができる。
【００４９】
なお、上記では「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件の何れかを満たした場合に、運転者が漫然状態と判定する態様を説明したが、これに限定されるものではなく、例えば上記各条件のうちの２以上の条件を満たした場合に漫然状態と判定するようにしてもよいし、例えば「視線位置が集中している箇所の数が２以上」の条件を満たした場合は他の条件の結果に拘わらず漫然状態と判定する一方、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」及び「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」の両条件については、他の１以上の条件も満たした場合に漫然状態と判定する等のように、漫然状態と判定する条件の数を各条件で一定としなくてもよい。本発明はこれらの態様も権利範囲に含むものである。
【００５０】
また、上記では「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件の何れかを満たした場合に運転者が漫然状態と判定し、警報の出力、アクセルペダルの反力増加及びブレーキペダルの反力減少を一律に行う態様を説明したが、これに限定されるものではなく、例えば条件を満たした条件の数が多くなるに従って、出力する警報のレベルを高くしたり、アクセルペダルやブレーキペダルの反力変更量を増大させるようにしてもよい。
【００５１】
また、上記では振幅が所定値Ａ以下のサッカードの割合の判定(図５のステップ８４)に用いる閾値Ｔa、方向(方位)が縦方向に分類される範囲内のサッカードの割合の判定(図５のステップ８８)に用いる閾値Ｔdとして、予め設定された値を各々用いる態様を説明したが、本発明はこれに限定されるものではなく、運転者が車両の運転を開始した当初の期間(例えば車両のイグニッションがオンされて漫然状態判定処理の実行を開始した当初の期間)に、振幅が所定値Ａ以下のサッカードの割合を演算して閾値Ｔaに設定すると共に、方向(方位)が縦方向に分類される範囲内のサッカードの割合を演算して閾値Ｔdに設定するようにしてもよい。これは、例えば図５に示す漫然状態判定処理を、ステップ８０の判定が最初に肯定されたときには、ステップ８４,８６の判定に代えて、振幅が所定値Ａ以下のサッカードの割合を演算して閾値Ｔaに設定すると共に、方向(方位)が縦方向に分類される範囲内のサッカードの割合を演算して閾値Ｔdに設定する処理を行うように変更することで実現できる。閾値Ｔa,Ｔdの最適値は個々の運転者毎に相違する可能性があるが、上記処理を行うことで、閾値Ｔa,Ｔdとして個々の運転者毎に最適な値を用いることができ、運転者の漫然状態の判定精度を向上させることができる。上記態様は請求項４記載の発明に対応している。
【００５２】
更に、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件を全て用いて運転者の漫然状態を判定する態様を説明したが、本発明はこれに限定されるものではなく、例えば「視線位置が集中している箇所の数が２以上」の条件を用いずに運転者の漫然状態を判定するようにしてもよいし、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」と「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」の何れか一方のみを用いて運転者の漫然状態を判定するようにしてもよい。本発明はこれらの態様も権利範囲に含むものである。
【００５３】
また、上記では運転者の顔を撮像することで得られた顔画像データに基づいて運転者の眼球の運動を測定する態様を説明したが、これに限定されるものではなく、例えば運転者の頭部の複数箇所(例えば左右のこめかみ及び眼球の上下)に貼付した電極から入力される信号に基づきＥＯＧ(electro-oculograph)法を適用して眼球の運動を測定する等、他の測定方法によって眼球の運動を測定する構成を採用することも可能である。
【００５４】
また、上記では本発明に係る判定対象者として車両の運転者を適用した態様を説明したが、本発明に係る判定対象者は車両の運転者に限られるものではなく、本発明は、自動車以外の任意の機器を操作する操作者等の任意の人間を判定対象者として漫然状態の判定を行うことが可能であることは言うまでもない。
【００５５】
更に、上記では本発明に係る漫然状態判定プログラムがコンピュータ２２の記憶部２２Ｃに予め記憶(インストール)されている態様を説明したが、本発明に係る漫然状態判定プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【符号の説明】
【００５６】
１０ 漫然状態判定装置
１２ 顔撮影カメラ
１６ 警報出力部
１８ アクセルペダル反力調整部
２０ ブレーキペダル反力調整部
２２ コンピュータ
２６ 眼球運動測定部
２８ サッカード解析部
３０ 視線解析部
３２ 漫然状態検出部
３４ 漫然状態判定処理部
【技術分野】
【０００１】
本発明は漫然状態判定装置、方法及びプログラムに係り、特に、判定対象者が漫然状態か否かを判定する漫然状態判定装置、該漫然状態判定装置に適用可能な漫然状態判定方法、及び、コンピュータを前記漫然状態判定装置として機能させるための漫然状態判定プログラムに関する。
【背景技術】
【０００２】
車両の運転者の視線方向を検出し、視線方向の検出結果から運転者が漫然と運転している状態か否を判別する技術は従来より提案されており、例えば特許文献１には、運転者の視線方向を検出し、車両前方領域及び車両周辺領域の注視頻度を求め、例えば車両前方領域の注視頻度が所定値よりも大かつ自車両が先行車両に追従していない場合や、車両周辺領域の注視頻度が所定値よりも大かつ隣接車線に他車両が存在していない場合に運転者が漫然状態と判定する技術が提案されている。
【０００３】
また特許文献２には、運転者の視線挙動を検出すると共に、車外前方を撮像し撮像によって得られた画像に対し先行車横のガードレールや標識等の立体物を基準として漫然状態判定領域を設定し、漫然状態判定領域内での視線の滞留時間の基準滞留時間に対する比率が閾値以上の場合に漫然状態と判定する技術が開示されている。
【０００４】
更に特許文献３には、運転者の視線挙動を検出してその分散値を演算し、演算した分散値に占める先行車の幅の割合を注意力評価値として演算し、注意力評価値が閾値よりも小さい場合に、先行車に対する運転の注意状態が低い漫然状態と判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−８０９６９号公報
【特許文献２】特開２００７−７３０１１号公報
【特許文献３】特開２００８−１３７４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
判定対象者の視線の推移や分布には判定対象者の注意状態が反映されるので、判定対象者の漫然状態も判定対象者の視線の推移や分布から判定可能であり、上述した特許文献１〜３に記載の技術においても、判定対象者としての運転者の視線方向や位置を検出し、特定領域の注視頻度や視線の滞留、視線の分布に基づいて漫然状態を判定している。
【０００７】
しかしながら、視線の検出は、判定対象者の眼球の回転角を車両前方を表す画像上での位置座標に変換することによって成されるが、判定対象者の顔の向き等によっては位置座標への変換に大きな誤差が加わり、判定対象者の漫然状態を判定できない状態に陥ることがある。また、特許文献２,３に記載の技術のように、車外前方のガードレールや標識等の立体物、或いは先行車両に基づいて漫然状態を検出する場合、車両前方の状況を撮像し、当該撮像によって得られた画像から上記の立体物や先行車両に相当すると推定される画像領域を抽出する、という複雑な画像処理が必要になり、漫然状態を判定するための装置構成が複雑になるという問題も加わる。
【０００８】
本発明は上記事実を考慮して成されたもので、簡易な処理により判定対象者の漫然状態を安定した精度で判定できる漫然状態判定装置、漫然状態判定方法及び漫然状態判定プログラムを得ることが目的である。
【課題を解決するための手段】
【０００９】
人間が周囲を観察している場合、その人間の眼球では、或る視線停留点から別の視線停留点への高速かつ直線的な眼球運動であるサッカード(saccade：跳躍性眼球運動)が行われることは従来より知られている。本願発明者等はこのサッカードに着目し、通常状態の人間と漫然状態の人間とでサッカードの特性に相違が有るか否か、相違が有るとすればどのような特性の相違かを確認する実験を行った。そして、この実験により、例として図１に示すように、或る期間内に発生するサッカードの振幅毎の発生頻度の分布が通常状態の人間と漫然状態の人間とで明確に相違し、漫然状態の場合は通常状態と比較して、小振幅のサッカードの発生頻度が高くなる、という知見を得た。また、上記の実験により、例として図２に示すように、或る期間内に発生するサッカードの方位毎の発生頻度の分布についても通常状態の人間と漫然状態の人間とで明確に相違し、漫然状態の場合は通常状態と比較して、垂直方向を含む範囲内の方向のサッカードの発生頻度が低くなる、という知見も得た。
【００１０】
上記に基づき請求項１記載の発明に係る漫然状態判定装置は、判定対象者の眼球の運動を測定する眼球運動測定手段と、前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段と、前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段と、任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段と、を含んで構成されている。
【００１１】
請求項１記載の発明では、眼球運動測定手段によって判定対象者の眼球の運動が測定され、眼球運動測定手段による眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードがサッカード抽出手段によって抽出され、サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方が演算手段によって演算される。そして、請求項１記載の発明に係る判定手段は、任意の期間内にサッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内にサッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に判定対象者が漫然状態と判定する。
【００１２】
このように、請求項１記載の発明では、判定対象者が漫然状態か否かを判定するにあたり、判定対象者の顔の向き等によっては大幅に精度が低下する判定対象者の視線位置を必要とすることなく、判定対象者の眼部を撮像して得られる画像等から直接検出できるサッカードの特性(振幅が第１所定値以下のサッカードの割合、及び、方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合の少なくとも１つ)に基づいて判定対象者が漫然状態か否かを判定するので、判定対象者の漫然状態を判定できない状態に陥ることなく、安定した精度で判定対象者の漫然状態を判定することができる。また、判定対象者の眼球の運動(回転角)を判定対象者の視線方向又は視線位置に変換する処理や、車両前方の状況を表す画像から立体物や先行車両に相当すると推定される画像領域を抽出する等の画像処理を行う必要が無くなるので、判定対象者の漫然状態をより簡易な処理で判定することができる。
【００１３】
なお、請求項１記載の発明において、例えば請求項２に記載したように、演算手段はサッカード抽出手段によって抽出されたサッカードにおける振幅及び方向を各々演算し、判定手段は、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件を各々判定し、各条件のうちの少なくとも１つを満足した場合に判定対象者が漫然状態と判定するように構成することが好ましい。
【００１４】
請求項２記載の発明では、振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の両条件を用いて漫然状態を判定するので、両条件のうちの何れか一方のみを用いて漫然状態を判定する場合と比較して処理は複雑化するものの、両条件を用いることで、ノイズ等の外乱の影響で一方の条件では漫然状態と判定できない場合にも、他方の条件によって漫然状態と判定できる可能性が生ずるので、漫然状態の判定精度の安定度を向上させることができる。
【００１５】
また、請求項１又は請求項２記載の発明において、サッカード抽出手段は、例えば請求項３に記載したように、眼球運動測定手段による眼球の運動の測定結果に基づき眼球の回転速度の推移を演算し、眼球の回転速度が第４所定値以上を維持していた期間における眼球の運動をサッカードとして抽出するように構成することができる。
【００１６】
また、請求項１〜請求項３の何れかに記載の発明において、例えば請求項４に記載したように、判定対象者は機器の操作を行なう操作者であり、判定対象者が前記機器の操作を開始した当初の期間に、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された振幅が第１所定値以下のサッカードの割合、及び、サッカード抽出手段によって抽出されたサッカードのうち演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合のうち、判定手段が行う判定に対応するパラメータを求め、求めたパラメータを第２所定値又は第３所定値として設定する設定手段を設けることが好ましい。
【００１７】
本発明に係る判定手段が漫然状態の判定に用いる第２所定値や第３所定値は、個々の判定対象者毎に最適値が相違する可能性がある。これに対して請求項３記載の発明では、判定対象者は機器の操作を行なう操作者である場合、判定対象者が機器の操作を開始した当初の期間は、判定対象者が一般に機器の操作に集中しており、判定対象者が漫然状態ではない可能性が非常に高いことに基づき、判定対象者が前記機器の操作を開始した当初の期間に求めたパラメータを第２所定値又は第３所定値として設定するので、第２所定値や第３所定値として個々の判定対象者毎の最適値を設定することができ、漫然状態の判定精度を更に向上させることができる。
【００１８】
また本願発明者等は、人間の視線位置の分布が、当該人間が通常状態か漫然状態かに応じてどのように相違するかを確認する実験も行った。人間の視線位置が当該人間が注視している箇所に集中することは従来より知られており、前述した特許文献１〜３に記載の技術は、人間(運転者)の視線位置が集中している箇所が、そのときの周囲状況における注視対象として適切か否かに基づいて漫然状態を判定しているが、上記の実験では、人間が通常状態か漫然状態かに応じた視線位置の分布の他の相違として、例として図３(Ａ)に示すように、人間が通常状態の場合は人間の視線位置が単一箇所に集中する一方、例として図３(Ｂ)に示すように、人間が漫然状態の場合は人間の視線位置が集中している箇所が複数出現する、という相違もあることが新たに判明した。
【００１９】
上記に基づき、請求項１〜請求項４の何れかに記載の発明において、例えば請求項５に記載したように、判定対象者の顔を撮像する顔撮像手段と、顔撮像手段による撮像によって得られた画像に基づいて判定対象者の顔の向きを判定し、眼球運動測定手段による眼球の運動の測定結果及び判定した判定対象者の顔の向きに基づいて判定対象者の視線位置を演算することを繰り返す視線位置演算手段と、を更に設け、判定手段は、前記各条件の１つとして、任意の期間内に視線位置演算手段によって演算された視線位置が集中している箇所が複数存在しているか否かも判定し、当該条件も含む前記各条件のうちの少なくとも１つを満足した場合に判定対象者が漫然状態と判定するように構成することが好ましい。
【００２０】
上記のように、判定対象者の視線位置に基づいて判定対象者の漫然状態を判定する場合、従来技術と同様に、判定対象者の顔の向き等によっては位置座標への変換に大きな誤差が加わり、判定対象者の漫然状態を判定できない状態に陥る可能性があるが、請求項５記載の発明では、視線位置に基づく漫然状態の判定を、サッカードの振幅分布及びサッカードの方向分布の少なくとも一方に基づく漫然状態の判定と併用しているので、判定対象者の漫然状態を判定できない状態に陥ることを防止できる。そして請求項５記載の発明では、視線位置に基づく漫然状態の判定を、サッカードの振幅分布及びサッカードの方向分布の少なくとも一方に基づく漫然状態の判定と併用することで、判定対象者の顔の向きが視線位置に基づく漫然状態の判定に適した向きである場合に、判定対象者の漫然状態の判定精度を向上させることができる。
【００２１】
なお、請求項５記載の発明において、例えば請求項６に記載したように、視線位置演算手段は、眼球の運動の測定結果及び判定した判定対象者の顔の向きに基づいて判定対象者の視線方向を演算し、演算した視線方向に基づいて、判定対象者によって注視される空間を表す画像上での判定対象者の視線方向の位置を判定対象者の視線位置として演算することを繰り返し、判定手段は、前記画像のうち、任意の期間内に視線位置演算手段によって演算された視線位置に相当する画素又は任意の期間内に視線位置演算手段によって視線位置として演算された頻度が所定値以上の画素のみから成り、かつ視線位置に相当しない画素又は任意の期間内に視線位置演算手段によって視線位置として演算された頻度が所定値未満の画素で周囲を囲まれた領域を視線位置が集中している箇所として認識するように構成することができる。
【００２２】
請求項７記載の発明に係る漫然状態判定方法は、判定対象者の眼球の運動を測定し、前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出し、前記抽出したサッカードにおける振幅及び方向の少なくとも一方を演算し、任意の期間内に抽出したサッカードのうち前記演算した振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に抽出したサッカードのうち前記演算した方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定するので、請求項１記載の発明と同様に、簡易な処理により判定対象者の漫然状態を安定した精度で判定することができる。
【００２３】
請求項８記載の発明に係る漫然状態判定プログラムは、コンピュータを、判定対象者の眼球の運動を測定する眼球運動測定手段、前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段、前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段、及び、任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段として機能させる。
【００２４】
請求項８記載の発明に係る漫然状態判定プログラムは、コンピュータを、上記の眼球運動測定手段、サッカード抽出手段、演算手段及び判定手段として機能させるためのプログラムであるので、コンピュータが請求項８記載の発明に係る漫然状態判定プログラムを実行することで、コンピュータが請求項１に記載の漫然状態判定装置として機能することになり、請求項１,７記載の発明と同様に、簡易な処理により判定対象者の漫然状態を安定した精度で判定することができる。
【発明の効果】
【００２５】
以上説明したように本発明は、判定対象者の眼球の運動を測定し、測定した眼球の運動におけるサッカードを抽出し、抽出したサッカードにおける振幅及び方向の少なくとも一方を演算し、任意の期間内に抽出したサッカードのうち振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、任意の期間内に抽出したサッカードのうち方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に判定対象者が漫然状態と判定するので、簡易な処理により判定対象者の漫然状態を安定した精度で判定することができる、という優れた効果を有する。
【図面の簡単な説明】
【００２６】
【図１】本願発明者等が実施した実験によって得られた、通常状態及び漫然状態におけるサッカードの振幅毎の頻度分布の一例を示す線図である。
【図２】本願発明者等が実施した実験によって得られた、通常状態及び漫然状態におけるサッカードの方位毎の頻度分布の一例を示す線図である。
【図３】本願発明者等が実施した実験によって得られた、通常状態及び漫然状態における視線位置の分布の一例を示す線図である。
【図４】本実施形態に係る漫然状態判定装置の、(Ａ)は概略構成を示すブロック図、(Ｂ)は機能ブロック図である。
【図５】漫然状態判定処理の内容を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、以下では本発明に支障のない数値を挙げて説明するが、本発明は以下に記載した数値に限られるものではないことは言うまでもない。
【００２８】
図４(Ａ)には本実施形態に係る漫然状態判定装置１０が示されている。漫然状態判定装置１０は車両に搭載され、判定対象者としての車両の運転者が漫然状態か否かを判定する装置であり、車両の運転者の眼部を含む顔を撮像する顔撮影カメラ１２、車両の前方を撮像する前方撮影カメラ１４、ブザー等から成る警報出力部１６、車両のアクセルペダルが操作される際の反力を調整可能なアクセルペダル反力調整部１８、及び、車両のブレーキペダルが操作される際の反力を調整可能なブレーキペダル反力調整部２０を備え、これらが車両に搭載されたコンピュータ２２に各々接続されて構成されている。
【００２９】
なお、アクセルペダル反力調整部１８としては、アクセルペダルの操作量を油圧として伝達する経路の途中に設けられ、前記経路内の油圧を変化させることでアクセルペダルの操作反力を調整する構成を適用することができ、ブレーキペダル反力調整部２０についても、ブレーキペダルの操作量を油圧として伝達する経路の途中に設けられ、前記経路内の油圧を変化させることでブレーキペダルの操作反力を調整する構成を適用することができる。
【００３０】
コンピュータ２２は、ＣＰＵ２２Ａ、ＲＯＭやＲＡＭを含むメモリ２２Ｂ、ＨＤＤ(Hard Disk Drive)やフラッシュメモリ等から成る不揮発性の記憶部２２Ｃを備えており、記憶部２２Ｃには漫然状態判定プログラムが予め記憶(インストール)されている。漫然状態判定プログラムは、コンピュータ２２によって後述する漫然状態判定処理を行うためのプログラムであり、車両のイグニッションがオンの間、ＣＰＵ２２Ａによって実行される。上記の漫然状態判定処理は本発明に係る漫然状態判定方法が適用された処理であり、コンピュータ２２が漫然状態判定処理を行うことで、コンピュータ２２が、図４(Ｂ)に示す眼球運動測定部２６、サッカード解析部２８、視線解析部３０及び漫然状態検出部３２を備えた漫然状態判定処理部３４として機能し、本実施形態に係る漫然状態判定装置１０が本発明に係る漫然状態判定装置１０として機能することになる。なお、上記の漫然状態判定プログラムは本発明に係る漫然状態判定プログラムに対応している。
【００３１】
次に本実施形態の作用として、漫然状態判定プログラムがＣＰＵ２２Ａによって実行されることで実現される漫然状態判定処理について、図５を参照して説明する。
【００３２】
この漫然状態判定処理では、まずステップ５０でフラグを０に初期設定し、次のステップ５２において、顔撮影カメラ１２が車両の運転者の眼部を含む顔を撮像することで得られた顔画像のデータを顔撮影カメラ１２から取得する。ステップ５４では、ステップ５２で取得した顔画像データが表す顔画像から運転者の眼部に相当する眼部領域を抽出し、抽出した眼部領域から運転者の眼部のうち瞳孔に相当する瞳孔領域を抽出し、眼部領域内における瞳孔領域の水平方向位置及び垂直方向位置に基づいて、水平方向の眼球回転角θH及び垂直方向の眼球回転角θVを各々演算する。次のステップ５６では、ステップ５４で演算した眼球回転角θH,θVを時間で微分することで、水平方向及び垂直方向の眼球回転速度を表す眼球回転角の微分値θ'H,θ'Vを演算する。更にステップ５８では、眼球回転角の微分値θ'H,θ'Vを次の(１)式に代入し、眼球の回転速度ベクトルの大きさＴを演算する。
Ｔ＝√(θ'H2＋θ'V2) …(１)
そしてステップ６０では、ステップ５８で演算した眼球の回転速度ベクトルの大きさＴが所定値Ｔθよりも大きいか否か判定する。なお、本実施形態では所定値Ｔθとして、サッカードにおける眼球の回転速度に対応する値(例えば120〜170deg／秒程度の値)が予め設定されており、所定値Ｔθは請求項３に記載の第４所定値に対応している。サッカードは、或る視線停留点から別の視線停留点への高速かつ直線的な眼球運動であるが、眼球の回転速度ベクトルの大きさＴが所定値Ｔθよりも大きくなる高速な眼球運動は直線的な眼球運動以外にない。従って、ステップ６０の判定が肯定された場合は、運転者の眼球でサッカード(に相当する眼球運動)が行われていると判断できる。ステップ６０の判定が否定された場合、すなわち運転者の眼球でサッカードが行われていない場合はステップ６２へ移行し、フラグに１が設定されているか否か判定する。この判定も否定された場合はステップ７６へ移行する。
【００３３】
本実施形態に係る漫然状態判定処理では、上述した処理を含むステップ５２〜８０が繰り返し実行される。そして運転者の眼球でサッカードが行われると、先のステップ６０の判定が肯定されてステップ６４へ移行し、フラグに０が設定されているか否か判定する。ステップ６０の判定が肯定された当初はフラグに０が設定されているので、ステップ６４の判定が肯定されてステップ６６へ移行し、先のステップ５４で演算した眼球回転角θH,θVをサッカード開始点としてメモリ２２Ｂに記憶させる。そしてステップ６８でフラグに１を設定し、ステップ７６へ移行する。これにより、次にステップ６０の判定が行われた際に、運転者の眼球でサッカードが行われている状態が継続していることでステップ６０の判定が肯定された場合、ステップ６４の判定は否定されてステップ７６へ移行する。
【００３４】
また、運転者の眼球におけるサッカードが終了することでステップ６０の判定が否定された場合には、フラグに１が設定されていることでステップ６２の判定が肯定され、ステップ７０へ移行する。ステップ７０では、先のステップ５４で演算した眼球回転角θH,θVをサッカード終了点としてメモリ２２Ｂに記憶させる。次のステップ７２ではフラグに０を設定する。これにより、運転者の眼球でサッカードが再度行われた場合、ステップ６４の判定が肯定されることで、そのときの眼球回転角θH,θVがサッカード開始点としてメモリ２２Ｂに記憶されることになる。また、次のステップ７４では、メモリ２２Ｂに記憶されているサッカード開始点及びサッカード終了点に基づき、運転者の眼球で今回行われたサッカードの振幅及び方向(方位)を演算し、演算したサッカードの振幅及び方向(方位)をメモリ２２Ｂに記憶させた後に、ステップ７６へ移行する。
【００３５】
上記のように、本実施形態に係る漫然状態判定処理では、運転者の眼球の運動として眼球回転角θH,θVが繰り返し測定されると共に、運転者の眼球でサッカードが行われたか否かが監視され、サッカードが行われたことを検知する度にその振幅及び方向(方位)が演算・記憶されることが繰り返される。なお、上述した各ステップのうち、ステップ５２,５４は図４(Ｂ)に示す眼球運動測定部２６によって行われる処理であり、本発明に係る眼球運動測定手段に対応している。また、ステップ５６〜ステップ７４は図４(Ｂ)に示すサッカード解析部２８によって行われる処理であり、このうちステップ５６〜ステップ７２は本発明に係るサッカード抽出手段(より詳しくは請求項３に記載のサッカード抽出手段)に、ステップ７４は本発明に係る演算手段(より詳しくは請求項２に記載の演算手段)に各々対応している。
【００３６】
一方、ステップ７６では、まず先のステップ５２で顔撮影カメラ１２から取得した顔画像のデータに基づき、所定の画像処理を行うことで運転者の顔の向きを演算する。運転者の顔の向きは、例えば運転者の顔の相当する領域内における運転者の眼部対に相当する一対の領域の位置関係(水平方向への偏倚度合い)等の特徴量を用いることで演算することができる。次に、ステップ７６で演算した顔の向きと先のステップ５４で演算した眼球回転角θH,θVに基づき、運転者の視線の方向(運転者が車両前方を正面視している状態に対する視線の方向の角度差)を演算する。運転者の視線の方向は、例えば運転者の顔の向きの演算結果と眼球回転角θH,θVを次の(２)式に代入し、外界座標系における視線方向ベクトル(ｘ,ｙ,ｚ)を演算することで求めることができる。
【００３７】
【数１】
【００３８】
但し、上記の(２)式において、(α,β,γ)は運転者の顔の向きのロール角、ピッチ角、ヨー角である。そしてステップ７８では、ステップ７６で演算した運転者の視線方向(例えば視線方向ベクトル(ｘ,ｙ,ｚ)が表す方向)を所定の座標変換式に代入して演算することで、車両前方の空間を表す画像(前方撮影カメラ１４によって撮影される画像)上での運転者の視線の座標位置(視線位置)を演算し、メモリ２２Ｂに記憶させる。
【００３９】
なお、ステップ７６で演算した運転者の顔の向きが予め定められた角度範囲から逸脱している場合には、続いて演算する視線方向や視線位置に大きな誤差が含まれている可能性が高いので、視線方向や視線位置の演算を中止することが好ましい。本実施形態に係る漫然状態判定処理では上述したステップ７６,７８も繰り返し実行されるので、運転者の視線位置も繰り返し演算・記憶されることになる。上述したステップ７６,７８は図４(Ｂ)に示す視線解析部３０によって行われる処理であり、請求項５に記載の視線位置演算手段に対応している。また顔撮影カメラ１２は請求項５に記載の顔撮像手段に対応している。
【００４０】
次のステップ８０では運転者の漫然状態を判定する時期が到来したか否か判定する。本実施形態では運転者の漫然状態の判定周期が予め設定されており(例えば１分程度)、上記判定は、漫然状態判定処理の実行を開始するか又は運転者の漫然状態を前回判定してから、前記判定周期に相当する時間が経過したか否かを判断することによって行われる。ステップ８０の判定が否定された場合はステップ５２に戻り、ステップ８０の判定が肯定される迄ステップ５２〜ステップ８０を繰り返す。この間、サッカードの振幅及び方向(方位)、運転者の視線位置が繰り返し演算され、演算結果がメモリ２２Ｂに蓄積記憶される。
【００４１】
また、運転者の漫然状態を判定する時期が到来すると、ステップ８０の判定が肯定されてステップ８２へ移行し、所定期間(前記判定周期に相当する期間)内にメモリ２２Ｂに蓄積記憶されたサッカードの振幅を表すデータを読み出し、読み出したデータに基づいて所定期間内におけるサッカードの振幅毎の頻度を演算する。これにより、例として図１に示すような頻度分布が得られる。次のステップ８４では、ステップ８２で振幅を表すデータをメモリ２２Ｂから読み出した全てのサッカードのうち、振幅が所定値Ａ以下のサッカードの割合を演算し、演算した割合が予め設定された閾値Ｔaよりも大きいか否かを判定する。
【００４２】
なお、所定値Ａとしては、例えば図１に示す「Ａ」のように、サッカードの振幅毎の頻度分布において、運転者が通常状態か漫然状態かによって頻度の大小関係が逆転する境界における振幅値を適用することができる。また、閾値Ｔaとしては例えば0.65〜0.75程度の値を適用することができる。また、所定値Ａは本発明における第１所定値に、閾値Ｔaは本発明における第２所定値に各々対応している。
【００４３】
ステップ８４の判定が否定された場合はステップ８６へ移行し、所定期間(前記判定周期に相当する期間)内にメモリ２２Ｂに蓄積記憶されたサッカードの方向(方位)を表すデータを読み出し、読み出したデータに基づいて所定期間内におけるサッカードの方向(方位)毎の頻度を演算する。これにより、例として図２に示すような頻度分布が得られる。次のステップ８８では、ステップ８６で方向(方位)を表すデータをメモリ２２Ｂから読み出した全てのサッカードのうち、方向(方位)が縦方向に分類される範囲内のサッカードの割合を演算し、演算した割合が予め設定された閾値Ｔdよりも小さいか否かを判定する。
【００４４】
なお、縦方向に分類される方向(方位)範囲としては、例えば図２に示すようなサッカードの方向(方位)毎の頻度分布において、運転者が通常状態か漫然状態かによって頻度の大きさが明確に相違する方向(方位)範囲(例えば90°程度の方向(方位)を中心とする範囲や300°程度の方向(方位))を中心とする範囲等)を適用することができる。また、閾値Ｔdとしては、縦方向に分類される方向(方位)範囲の大きさにも依存するが、例えば0.60〜0.65程度の値を適用することができる。また、縦方向に分類される方向(方位)範囲は本発明における「垂直方向又は垂直方向を含む範囲」に、閾値Ｔdは本発明における第３所定値に各々対応している。
【００４５】
ステップ８８の判定が否定された場合はステップ９０へ移行し、所定期間(前記判定周期に相当する期間)内にメモリ２２Ｂに蓄積記憶された運転者の視線位置を表すデータを読み出し、読み出したデータに基づいて所定期間内における視線位置の頻度分布を演算する。これにより、例として図３(Ａ)又は図３(Ｂ)に示すような視線位置の(頻度)分布を表す画像が得られる。次のステップ９２では、ステップ９０で得られた視線位置の(頻度)分布を表す画像に対し、視線位置としての頻度が所定値以上の画素のみから成り、かつ視線位置としての頻度が所定値未満の画素で周囲を囲まれた領域を、視線位置が集中している箇所として抽出する。なお、これに代えて、例えば視線位置に相当する画素のみから成りかつ視線位置に相当しない画素で周囲を囲まれ、面積が閾値以上の領域を、視線位置が集中している箇所として抽出するようにしてもよい。そして、視線位置が集中している箇所として抽出した領域の数が２以上か否かを判定する。
【００４６】
ステップ９２の判定が否定された場合、ステップ８４,８８,９２の判定が何れも否定されており、運転者は漫然状態ではないと判断できるので、何ら処理を行うことなくステップ５２に戻り、ステップ５２以降の処理を繰り返す。一方、ステップ８４,８８,９２の何れかの判定が肯定された場合は運転者が漫然状態である可能性が高いので、ステップ９４へ移行し、警報出力部１６によって警報を出力させることで、漫然状態である可能性が高い運転者に対して注意を促す。また、ステップ９６でアクセルペダル反力調整部１８によってアクセルペダルの反力を増加させると共に、次のステップ９８では、ブレーキペダル反力調整部２０によってブレーキペダルの反力を減少させる。これにより、警報出力部１６が出力した警報が、周囲の騒音等の影響で運転者に明瞭に聴取されなかった場合にも、運転者に対して確実に注意を促すことができる。ステップ９８の処理を行うとステップ５２に戻り、ステップ５２以降の処理を繰り返す。
【００４７】
なお、上述したステップ８０〜ステップ９８は図４(Ｂ)に示す漫然状態検出部３２によって行われる処理であり、このうちのステップ８０〜ステップ９２は本発明に係る判定手段(より詳しくは請求項２,５,６に記載の判定手段)に対応している。
【００４８】
このように、本実施形態では、振幅が所定値Ａ以下のサッカードの割合、方向(方位)が縦方向に分類される範囲内のサッカードの割合、及び、視線位置が集中している箇所を各々求め、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件の何れかを満たした場合に、運転者が漫然状態と判定するので、車両前方を撮像して得られた画像から立体物や先行車両に相当すると推定される画像領域を抽出する等の複雑な画像処理を必要としない簡易な処理により、運転者の漫然状態を判定することができ、運転者の顔の向き等によって漫然状態の判定精度が大幅に低下することも回避することができる。
【００４９】
なお、上記では「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件の何れかを満たした場合に、運転者が漫然状態と判定する態様を説明したが、これに限定されるものではなく、例えば上記各条件のうちの２以上の条件を満たした場合に漫然状態と判定するようにしてもよいし、例えば「視線位置が集中している箇所の数が２以上」の条件を満たした場合は他の条件の結果に拘わらず漫然状態と判定する一方、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」及び「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」の両条件については、他の１以上の条件も満たした場合に漫然状態と判定する等のように、漫然状態と判定する条件の数を各条件で一定としなくてもよい。本発明はこれらの態様も権利範囲に含むものである。
【００５０】
また、上記では「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件の何れかを満たした場合に運転者が漫然状態と判定し、警報の出力、アクセルペダルの反力増加及びブレーキペダルの反力減少を一律に行う態様を説明したが、これに限定されるものではなく、例えば条件を満たした条件の数が多くなるに従って、出力する警報のレベルを高くしたり、アクセルペダルやブレーキペダルの反力変更量を増大させるようにしてもよい。
【００５１】
また、上記では振幅が所定値Ａ以下のサッカードの割合の判定(図５のステップ８４)に用いる閾値Ｔa、方向(方位)が縦方向に分類される範囲内のサッカードの割合の判定(図５のステップ８８)に用いる閾値Ｔdとして、予め設定された値を各々用いる態様を説明したが、本発明はこれに限定されるものではなく、運転者が車両の運転を開始した当初の期間(例えば車両のイグニッションがオンされて漫然状態判定処理の実行を開始した当初の期間)に、振幅が所定値Ａ以下のサッカードの割合を演算して閾値Ｔaに設定すると共に、方向(方位)が縦方向に分類される範囲内のサッカードの割合を演算して閾値Ｔdに設定するようにしてもよい。これは、例えば図５に示す漫然状態判定処理を、ステップ８０の判定が最初に肯定されたときには、ステップ８４,８６の判定に代えて、振幅が所定値Ａ以下のサッカードの割合を演算して閾値Ｔaに設定すると共に、方向(方位)が縦方向に分類される範囲内のサッカードの割合を演算して閾値Ｔdに設定する処理を行うように変更することで実現できる。閾値Ｔa,Ｔdの最適値は個々の運転者毎に相違する可能性があるが、上記処理を行うことで、閾値Ｔa,Ｔdとして個々の運転者毎に最適な値を用いることができ、運転者の漫然状態の判定精度を向上させることができる。上記態様は請求項４記載の発明に対応している。
【００５２】
更に、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」、「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」及び「視線位置が集中している箇所の数が２以上」の各条件を全て用いて運転者の漫然状態を判定する態様を説明したが、本発明はこれに限定されるものではなく、例えば「視線位置が集中している箇所の数が２以上」の条件を用いずに運転者の漫然状態を判定するようにしてもよいし、「振幅が所定値Ａ以下のサッカードの割合が閾値Ｔaよりも大きい」と「方向(方位)が縦方向に分類される範囲内のサッカードの割合が閾値Ｔdよりも小さい」の何れか一方のみを用いて運転者の漫然状態を判定するようにしてもよい。本発明はこれらの態様も権利範囲に含むものである。
【００５３】
また、上記では運転者の顔を撮像することで得られた顔画像データに基づいて運転者の眼球の運動を測定する態様を説明したが、これに限定されるものではなく、例えば運転者の頭部の複数箇所(例えば左右のこめかみ及び眼球の上下)に貼付した電極から入力される信号に基づきＥＯＧ(electro-oculograph)法を適用して眼球の運動を測定する等、他の測定方法によって眼球の運動を測定する構成を採用することも可能である。
【００５４】
また、上記では本発明に係る判定対象者として車両の運転者を適用した態様を説明したが、本発明に係る判定対象者は車両の運転者に限られるものではなく、本発明は、自動車以外の任意の機器を操作する操作者等の任意の人間を判定対象者として漫然状態の判定を行うことが可能であることは言うまでもない。
【００５５】
更に、上記では本発明に係る漫然状態判定プログラムがコンピュータ２２の記憶部２２Ｃに予め記憶(インストール)されている態様を説明したが、本発明に係る漫然状態判定プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【符号の説明】
【００５６】
１０ 漫然状態判定装置
１２ 顔撮影カメラ
１６ 警報出力部
１８ アクセルペダル反力調整部
２０ ブレーキペダル反力調整部
２２ コンピュータ
２６ 眼球運動測定部
２８ サッカード解析部
３０ 視線解析部
３２ 漫然状態検出部
３４ 漫然状態判定処理部
【特許請求の範囲】
【請求項１】
判定対象者の眼球の運動を測定する眼球運動測定手段と、
前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段と、
前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段と、
任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段と、
を含む漫然状態判定装置。
【請求項２】
前記演算手段は前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向を各々演算し、
前記判定手段は、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件を各々判定し、前記各条件のうちの少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する請求項１記載の漫然状態判定装置。
【請求項３】
前記サッカード抽出手段は、前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の回転速度の推移を演算し、前記眼球の回転速度が第４所定値以上を維持していた期間における前記眼球の運動を前記サッカードとして抽出する請求項１又は請求項２記載の漫然状態判定装置。
【請求項４】
前記判定対象者は機器の操作を行なう操作者であり、
前記判定対象者が前記機器の操作を開始した当初の期間に、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合、及び、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合のうち、前記判定手段が行う判定に対応するパラメータを求め、求めたパラメータを前記第２所定値又は前記第３所定値として設定する設定手段を更に備えた請求項１〜請求項３の何れか１項記載の漫然状態判定装置。
【請求項５】
前記判定対象者の顔を撮像する顔撮像手段と、
前記顔撮像手段による撮像によって得られた画像に基づいて前記判定対象者の顔の向きを判定し、前記眼球運動測定手段による前記眼球の運動の測定結果及び判定した前記判定対象者の顔の向きに基づいて前記判定対象者の視線位置を演算することを繰り返す視線位置演算手段と、
を更に備え、
前記判定手段は、前記各条件の１つとして、任意の期間内に前記視線位置演算手段によって演算された視線位置が集中している箇所が複数存在しているか否かも判定し、当該条件も含む前記各条件のうちの少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する請求項１〜請求項４の何れか１記載の漫然状態判定装置。
【請求項６】
前記視線位置演算手段は、前記眼球の運動の測定結果及び判定した前記判定対象者の顔の向きに基づいて前記判定対象者の視線方向を演算し、演算した視線方向に基づいて、前記判定対象者によって注視される空間を表す画像上での前記判定対象者の視線方向の位置を前記判定対象者の視線位置として演算することを繰り返し、
前記判定手段は、前記画像のうち、前記任意の期間内に前記視線位置演算手段によって演算された視線位置に相当する画素又は前記任意の期間内に前記視線位置演算手段によって視線位置として演算された頻度が所定値以上の画素のみから成り、かつ前記視線位置に相当しない画素又は前記任意の期間内に前記視線位置演算手段によって視線位置として演算された頻度が所定値未満の画素で周囲を囲まれた領域を前記視線位置が集中している箇所として認識する請求項５記載の漫然状態判定装置。
【請求項７】
判定対象者の眼球の運動を測定し、
前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出し、
前記抽出したサッカードにおける振幅及び方向の少なくとも一方を演算し、
任意の期間内に抽出したサッカードのうち前記演算した振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に抽出したサッカードのうち前記演算した方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する漫然状態判定方法。
【請求項８】
コンピュータを、
判定対象者の眼球の運動を測定する眼球運動測定手段、
前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段、
前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段、
及び、任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段
として機能させるための漫然状態判定プログラム。
【請求項１】
判定対象者の眼球の運動を測定する眼球運動測定手段と、
前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段と、
前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段と、
任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段と、
を含む漫然状態判定装置。
【請求項２】
前記演算手段は前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向を各々演算し、
前記判定手段は、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件を各々判定し、前記各条件のうちの少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する請求項１記載の漫然状態判定装置。
【請求項３】
前記サッカード抽出手段は、前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の回転速度の推移を演算し、前記眼球の回転速度が第４所定値以上を維持していた期間における前記眼球の運動を前記サッカードとして抽出する請求項１又は請求項２記載の漫然状態判定装置。
【請求項４】
前記判定対象者は機器の操作を行なう操作者であり、
前記判定対象者が前記機器の操作を開始した当初の期間に、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合、及び、前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合のうち、前記判定手段が行う判定に対応するパラメータを求め、求めたパラメータを前記第２所定値又は前記第３所定値として設定する設定手段を更に備えた請求項１〜請求項３の何れか１項記載の漫然状態判定装置。
【請求項５】
前記判定対象者の顔を撮像する顔撮像手段と、
前記顔撮像手段による撮像によって得られた画像に基づいて前記判定対象者の顔の向きを判定し、前記眼球運動測定手段による前記眼球の運動の測定結果及び判定した前記判定対象者の顔の向きに基づいて前記判定対象者の視線位置を演算することを繰り返す視線位置演算手段と、
を更に備え、
前記判定手段は、前記各条件の１つとして、任意の期間内に前記視線位置演算手段によって演算された視線位置が集中している箇所が複数存在しているか否かも判定し、当該条件も含む前記各条件のうちの少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する請求項１〜請求項４の何れか１記載の漫然状態判定装置。
【請求項６】
前記視線位置演算手段は、前記眼球の運動の測定結果及び判定した前記判定対象者の顔の向きに基づいて前記判定対象者の視線方向を演算し、演算した視線方向に基づいて、前記判定対象者によって注視される空間を表す画像上での前記判定対象者の視線方向の位置を前記判定対象者の視線位置として演算することを繰り返し、
前記判定手段は、前記画像のうち、前記任意の期間内に前記視線位置演算手段によって演算された視線位置に相当する画素又は前記任意の期間内に前記視線位置演算手段によって視線位置として演算された頻度が所定値以上の画素のみから成り、かつ前記視線位置に相当しない画素又は前記任意の期間内に前記視線位置演算手段によって視線位置として演算された頻度が所定値未満の画素で周囲を囲まれた領域を前記視線位置が集中している箇所として認識する請求項５記載の漫然状態判定装置。
【請求項７】
判定対象者の眼球の運動を測定し、
前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出し、
前記抽出したサッカードにおける振幅及び方向の少なくとも一方を演算し、
任意の期間内に抽出したサッカードのうち前記演算した振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に抽出したサッカードのうち前記演算した方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する漫然状態判定方法。
【請求項８】
コンピュータを、
判定対象者の眼球の運動を測定する眼球運動測定手段、
前記眼球運動測定手段による前記眼球の運動の測定結果に基づき前記眼球の運動におけるサッカードを抽出するサッカード抽出手段、
前記サッカード抽出手段によって抽出されたサッカードにおける振幅及び方向の少なくとも一方を演算する演算手段、
及び、任意の期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された振幅が第１所定値以下のサッカードの割合が第２所定値以上か否か、及び、前記期間内に前記サッカード抽出手段によって抽出されたサッカードのうち前記演算手段によって演算された方向が垂直方向又は垂直方向を含む範囲内のサッカードの割合が第３所定値以下か否か、の各条件の少なくとも一方を判定し、判定を行った条件のうち少なくとも１つを満足した場合に前記判定対象者が漫然状態と判定する判定手段
として機能させるための漫然状態判定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１１５４５０（Ｐ２０１１−１１５４５０Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７６５５１（Ｐ２００９−２７６５５１）
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００１２５３４７）学校法人近畿大学 (389)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００１２５３４７）学校法人近畿大学 (389)
【Ｆターム（参考）】
[ Back to top ]