運転者状態判定装置および運転者状態判定方法
【課題】運転者があくびをしたことを適切に判定することができる運転者状態判定装置を提供する。
【解決手段】運転者の呼吸運動を検出し、運転者の呼吸に応じた呼吸信号を出力する呼吸信号出力手段１０と、呼吸信号に基づいて、運転者があくびをしたか否かを判定する判定手段２０と、を備えることを特徴とする運転者状態判定装置。
【解決手段】運転者の呼吸運動を検出し、運転者の呼吸に応じた呼吸信号を出力する呼吸信号出力手段１０と、呼吸信号に基づいて、運転者があくびをしたか否かを判定する判定手段２０と、を備えることを特徴とする運転者状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者状態判定装置および運転者状態判定方法に関するものである。
【背景技術】
【０００２】
従来より、対象人物の口周辺部分の画像データに基づいて、対象人物があくびをしたか否かを判定する技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２５７０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、対象人物の口周辺部分の画像データに基づいて、対象人物があくびをしたか否かを判定しているため、対象人物があくびをする際に、口周辺部分を手で覆った場合や、口を開けるのを我慢した場合には、対象人物があくびをしたか否かを適切に判定することができない場合があった。
【０００５】
本発明が解決しようとする課題は、運転者があくびをしたか否かを適切に判定することが可能な運転者状態判定装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、運転者の呼吸運動を検出し、検出した運転者の呼吸運動に基づいて、運転者があくびをしたか否かを判定することで、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、運転者の実際の呼吸運動に基づいて、運転者があくびをしたか否かを判定することができるため、運転者があくびをしたか否かの判定をより適切に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る運転者状態判定装置の構成を示す構成図である。
【図２】運転者状態判定装置を適用した車両の運転席に運転者が着座した状態を示す車両の側面図である。
【図３】図２のＡ矢視図である。
【図４】図４（Ａ）は、運転者の呼吸運動に応じて出力された呼吸信号の一例を示すグラフであり、図４（Ｂ）は、図４（Ａ）に示す呼吸信号に基づいて検出された、運転者の呼吸の深さを示すグラフである。
【図５】運転者の呼吸の深さと運転者の呼吸の長さとを検出する方法を説明するための図である。
【図６】第１実施形態に係る運転者状態判定処理を示すフローチャートである。
【図７】第２実施形態に係る運転者状態判定装置の構成を示す構成図である。
【図８】第２実施形態に係る運転者状態判定処理を示すフローチャートである。
【図９】第３実施形態に係る運転者状態判定装置の構成を示す構成図である。
【図１０】第３実施形態に係る運転者状態判定処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。なお、本実施形態では、車両に搭載される運転者状態判定装置を例示して説明する。
【００１０】
≪第１実施形態≫
図１は、第１実施形態に係る運転者状態判定装置１００の構成を示す構成図である。第１実施形態に係る運転者状態判定装置１００は、図１に示すように、圧力センサ１０および処理装置２０を備えている。
【００１１】
圧力センサ１０は、たとえば、ポリフッ化ビニリデン(ＰＶＤＦ)フィルムなどの圧電素子を用いたセンサであり、運転者の呼吸運動により圧力センサ１０に生じる圧力変化を検出し、検出した圧力変化を電気信号（呼吸信号）に変換して、処理装置２０に出力する。以下においては、図２および図３を参照して、運転者の呼吸運動に応じた呼吸信号の検出方法について説明する。なお、図２は、運転者状態判定装置１００を搭載した車両の運転席に運転者が着座した状態を示す車両の側面図であり、図３は図２のＡ矢視図である。
【００１２】
図２に示すように、シート１は、運転者（乗員）２の背面を支持するシートバック３と運転者２の下肢を支持するシートクッション４とを有する。また、図３に示すように、シートクッション４の車幅方向内側のシート側部（シート側部）５には、シートベルト６のタング６ａを差し込むシートベルトバックル７をシートバック３に支持するためのステー８が取り付けられている。ステー８は、ステー取り付け部９を介してシート側部５に取り付けられている。ステー取り付け部９はボルト締めによりステー８を固定しているが、図示しないワッシャとスプリングワッシャとをステー８とシート側部５との間に挿入しているため、ステー８は車幅方向に揺動可能となっている。ステー取り付け部９は、シートクッション４の内部に位置するブラケット（不図示）に固定されている。
【００１３】
そして、ステー８のシート側の側面（ステー側面）１１とシート側部５との間に、圧力センサ１０が介在している。圧力センサ１０は、ステー側面１１に固定されており、シート側部５とステー側面１１との間の距離の変化を圧力変化として検出し、電気信号（呼吸信号）に変換して出力する。
【００１４】
運転者２の呼吸運動に応じてシートベルト６が伸縮すると、これにより発した力はシートベルト６を介してシートベルトバックル７に伝わる。そして、シートベルトバックル７とステー８とはステー取り付け部９を軸にして車幅方向（図３中の矢印方向）に揺動し、ステー側面１１とシート側部５との間の距離が変化する。圧力センサ１０は、このようなシート側部５とステー側面１１との間の距離の変化を圧力変化として検出することで、運転者２の呼吸状態を検出することができるようになっている。特に、本実施形態では、圧力センサ１０をステー８とシート側部５との間に挟装したため、運転者２の呼吸によりステー８が車幅方向に揺動する際、シートベルトバックル７を力点、ステー８のステー取り付け部９を支点、圧力センサ１０とシート側部５との接触部分を作用点とする梃子の原理が発現することで、圧力センサ１０により検出される呼吸信号の電圧値の振幅を大きく変化させることができ、より高感度に圧力変化を検出できるようなっている。
【００１５】
ここで、図４（Ａ）は、圧力センサ１０により出力された呼吸信号の一例を示すグラフであり、図４（Ｂ）は、図４（Ａ）に示す呼吸信号に基づいて検出された、運転者の呼吸の深さを示すグラフである。なお、図４（Ａ）のグラフにおいて、横軸は時間、縦軸は電圧を示しており、図４（Ｂ）のグラフにおいて、横軸は時間、縦軸は運転者の呼吸の深さを示している。
【００１６】
運転者の呼吸運動に応じてステー８が車幅方向に揺動すると、図４（Ａ）に示すように、圧力センサ１０により波形の呼吸信号が出力される。たとえば、運転者の１回の呼吸運動では、シートベルト６が１回伸縮し、ステー８が車幅方向に１往復することで、図４（Ａ）に示す呼吸信号のうち１周期分の呼吸信号が出力されることとなる。そして、運転者の呼吸運動が繰り返されることで、図４（Ａ）に示すように、運転者の呼吸運動に応じて、波形の呼吸信号が出力されることとなる。このように、呼吸信号は、運転者の実際の呼吸運動に対応する。具体的には、図５に示すように、呼吸信号の振幅が呼吸の深さＢｔに対応し、呼吸信号の周期は呼吸の長さＬｔに対応している。そのため、本実施形態では、この呼吸信号に基づいて、運転者の呼吸の深さを検出することができるようになっている。なお、図５は、呼吸信号に基づいて運転者の呼吸の深さおよび運転者の呼吸の長さを検出する方法を説明するための図であり、図４（Ａ）と同様に、横軸は時間、縦軸は電圧を示している。
【００１７】
図１に戻り、処理装置２０について説明する。処理装置２０は、運転者があくびをしたか否かを判定するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成される。
【００１８】
そして、処理装置２０は、ＲＯＭに格納したプログラムをＣＰＵにより実行することにより、運転者の呼吸の深さを検出する呼吸深さ検出機能と、運転者があくびをしたか否かを判定するあくび判定機能と、運転者の覚醒状態を判定する覚醒状態判定機能とを実現する。以下に、処理装置２０が備える各機能について説明する。
【００１９】
処理装置２０の呼吸深さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、取得した呼吸信号に基づいて、運転者の呼吸の深さＢｔを検出する。具体的には、呼吸深さ検出機能は、図５に示すように、運転者の１回の呼吸運動で得られる１周期分の呼吸信号の振幅を、運転者の呼吸の深さＢｔとして検出する。これにより、処理装置２０は、たとえば、図４（Ａ）に示す呼吸信号に基づいて、図４（Ｂ）に示すように、運転者の呼吸の深さＢｔを周期的に検出することができる。
【００２０】
処理装置２０のあくび判定機能は、運転者があくびをしたか否かの判定を行う。具体的には、あくび判定機能は、呼吸深さ検出機能により検出された運転者の呼吸の深さＢｔを、処理装置２０のＲＡＭに記憶しており、記憶した運転者の呼吸の深さＢｔの平均値を、図４（Ｂ）に示すように、運転者の通常時の呼吸の深さＢ０として算出する。そして、あくび判定機能は、呼吸深さ検出機能により検出される運転者の呼吸の深さＢｔを、運転者の通常時の呼吸の深さＢ０と比較することで、運転者があくびをしたか否かの判定を行う。なお、運転者があくびをしたか否かを判定する方法については、後述する。
【００２１】
処理装置２０の覚醒状態判定機能は、あくび判定機能の判定結果に基づいて、運転者の覚醒状態を判定する。具体的には、覚醒状態判定機能は、あくび判定機能により運転者があくびをしたものと判定された場合に、運転者の覚醒度が、運転者が居眠りをする可能性のある所定値以下であり、運転者の覚醒状態は低い状態であるものと判断する。一方、覚醒状態判定機能は、あくび判定機能により運転者があくびをしたものと判定されなかった場合には、運転者の覚醒状態は低い状態ではないと判断する。
【００２２】
続いて、図６を参照して、第１実施形態に係る運転者状態判定処理について説明する。ここで、図６は、第１実施形態に係る運転者状態判定処理を示すフローチャートである。なお、以下に説明する処理は、処理装置２０により行われる。
【００２３】
まず、ステップＳ１０１では、呼吸深さ検出機能により、運転者の呼吸の深さＢｔの検出が行われる。ここで、本実施形態において、圧力センサ１０は、図４（Ａ）に示すように、運転者の呼吸運動に応じた呼吸信号を処理装置２０に対して出力している。呼吸深さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、図５に示すように、取得した呼吸信号の１周期ごとの振幅を、運転者の呼吸の深さＢｔとして検出する。なお、ステップＳ１０１において、呼吸深さ検出機能は、運転者の呼吸運動に応じた運転者の呼吸の深さＢｔを、呼吸信号の１周期ごとに検出する。そのため、本実施形態においては、ステップＳ１０１以降の処理も、呼吸信号の１周期ごとに行われる。
【００２４】
ステップＳ１０２では、あくび判定機能により、運転者の通常時の呼吸の深さＢ０が検出されているか否かの判断が行われる。運転者の通常時の呼吸の深さＢ０が検出されている場合は、ステップＳ１０４に進み、一方、運転者の通常時の呼吸の深さＢ０が検出されていない場合には、ステップＳ１０３に進む。
【００２５】
ステップＳ１０３では、運転者の通常時の呼吸の深さＢ０が検出されていないため、あくび判定機能により、運転者の通常時の呼吸の深さＢ０の検出が行われる。具体的には、あくび判定機能は、ステップＳ１０１で検出された運転者の呼吸の深さＢｔを、処理装置２０のＲＡＭに記憶しており、記憶している運転者の呼吸の深さＢｔの平均値を、運転者の通常時の呼吸の深さＢ０として算出する。
【００２６】
そして、ステップＳ１０４では、あくび判定機能により、呼吸深さ比率Ｘｔの演算が行われる。具体的には、あくび判定機能は、ステップＳ１０３で検出した運転者の通常時の呼吸の深さＢ０と、ステップＳ１０１で検出した運転者の呼吸の深さＢｔとの比率を、呼吸深さ比率Ｘｔ（Ｘｔ＝Ｂｔ／Ｂ０）として算出する。
【００２７】
そして、ステップＳ１０５では、あくび判定機能により、ステップＳ１０４で算出された呼吸深さ比率Ｘｔが、所定の基準値Ｘ１よりも大きいか否かの判断が行われる。ここで、所定の基準値Ｘ１とは、運転者の呼吸の深さに基づいて、運転者があくびをしたか否かを判定するための基準値であり、１よりも大きい値、たとえば、１よりも大きく２以下の値とすることができる。呼吸深さ比率Ｘｔが基準値Ｘ１よりも大きい場合には、ステップＳ１０６に進み、あくび判定機能により、運転者はあくびをしたものと判定される。一方、呼吸深さ比率Ｘｔが基準値Ｘ１以下である場合には、ステップＳ１０７に進み、あくび判定機能により、運転者はあくびをしていないものと判定される。このように、第１実施形態では、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０に基づく値よりも大きい場合（たとえば、Ｘ１を１．２に設定した場合には、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０の１．２倍よりも大きい場合）に、運転者があくびをしたものとして判定される。
【００２８】
そして、ステップＳ１０８では、覚醒状態判定機能により、ステップＳ１０６またはステップＳ１０７の判定結果に基づいて、運転者の覚醒状態の判断が行われる。具体的には、覚醒状態判定機能は、ステップＳ１０６において運転者があくびをしたものと判定された場合には、運転者の覚醒度は、運転者が居眠りする可能性がある所定値以下であり、運転者の覚醒状態は低い状態であると判定する。反対に、覚醒状態判定機能は、ステップＳ１０７において運転者があくびをしていないものと判定された場合には、運転者の覚醒状態は低い状態ではないと判定する。なお、覚醒状態判定機能による判定結果は、たとえば、運転者の覚醒状態を適切な状態に誘導するための覚醒状態誘導処理などに用いることができる。
【００２９】
以上のように、第１実施形態では、運転者の実際の呼吸運動に応じた呼吸信号に基づいて、運転者の呼吸の深さＢｔを検出し、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０に基づく値よりも大きい場合（たとえば、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０の１．２倍よりも大きい場合）に、運転者はあくびをしたものと判定する。このように、本実施形態では、運転者の実際の呼吸運動に基づいて、運転者があくびをしたか否かを適切に判定することができる。一方、従来のように、運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かを判定する構成では、運転者が口周辺部分を手で覆った場合や、運転者が口を開けずにあくびをした場合に、運転者があくびをしたことを検出することができないという問題があった。これに対して、本実施形態では、運転者の実際の呼吸運動に基づいて、運転者があくびをしたか否かを判定することができるため、運転者が口周辺部分を手で覆った場合であっても、あるいは、運転者が口を開けずにあくびをした場合であっても、運転者があくびをしたことを適切に検出することができる。
【００３０】
≪第２実施形態≫
次に、図７を用いて、第２実施形態に係る運転者状態判定装置１００ａついて説明する。図７は、第２実施形態に係る運転者状態判定装置１００ａの構成を示す構成図である。第２実施形態に係る運転者状態判定装置１００ａは、以下に説明する点以外は、第１実施形態に係る運転者状態判定装置１００と同様の構成を有し、第１実施形態に係る運転者状態判定装置１００と同様の動作を行う。
【００３１】
具体的には、第２実施形態に係る処理装置２０ａは、第１実施形態に係る処理装置２０の各機能に加えて、あるいは、第１実施形態に係る処理装置２０の呼吸深さ検出機能に代えて、運転者の呼吸の長さを検出する呼吸長さ検出機能を備える。
【００３２】
呼吸長さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、図５に示すように、取得した呼吸信号の周期を、運転者の呼吸の長さＬｔとして検出する。そして、呼吸長さ検出機能により検出された運転者の呼吸の長さＬｔは、あくび判定機能により、運転者があくびをしたか否かの判定に用いられることとなる。
【００３３】
具体的には、あくび判定機能は、呼吸長さ検出機能により検出された運転者の呼吸の長さＬｔを、処理装置２０のＲＡＭに記憶しており、記憶した運転者の呼吸の長さＬｔの平均値を、運転者の通常時の呼吸の長さＬ０として算出する。そして、あくび判定機能は、呼吸長さ検出機能により検出された運転者の呼吸の長さＬｔを、運転者の通常時の呼吸の長さＬ０と比較することで、運転者があくびをしたか否かを判定する。なお、運転者があくびをしたか否かを判定する方法については、後述する。
【００３４】
続いて、図８を参照して、第２実施形態に係る運転者状態判定処理について説明する。ここで、図８は、第２実施形態に係る運転者状態判定処理を示すフローチャートである。なお、以下に説明する処理も、処理装置２０により行われる。
【００３５】
まず、ステップＳ２０１では、呼吸長さ検出機能により、運転者の呼吸の長さＬｔの検出が行われる。ここで、本実施形態において、圧力センサ１０は、図４（Ａ）に示すように、運転者の呼吸運動に応じた呼吸信号を処理装置２０に対して出力している。呼吸長さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、図５に示すように、取得した呼吸信号の周期を、運転者の呼吸の長さＬｔとして検出する。なお、ステップＳ２０１において、呼吸長さ検出機能は、運転者の呼吸運動に応じた運転者の呼吸の長さＬｔを、呼吸信号の１周期ごとに検出する。そのため、本実施形態においては、ステップＳ２０１以降の処理も、呼吸信号の１周期ごとに行われる。
【００３６】
ステップＳ２０２では、あくび判定機能により、運転者の通常時の呼吸の長さＬ０が検出されているか否かの判断が行われる。運転者の通常時の呼吸の長さＬ０が検出されている場合は、ステップＳ２０４に進み、一方、運転者の通常時の呼吸の長さＬ０が検出されていない場合には、ステップＳ２０３に進む。
【００３７】
ステップＳ２０３では、運転者の通常時の呼吸の長さＬ０が検出されていないため、あくび判定機能により、運転者の通常時の呼吸の長さＬ０の検出が行われる。具体的には、あくび判定機能は、ステップＳ２０１で検出された運転者の呼吸の長さＬｔを、処理装置２０のＲＡＭに記憶しており、記憶している運転者の呼吸の長さＬｔの平均値を、運転者の通常時の呼吸の長さＬ０として算出する。
【００３８】
そして、ステップＳ２０４では、あくび判定機能により、呼吸長さ比率Ｙｔの演算が行われる。具体的には、あくび判定機能は、ステップＳ２０３で検出した運転者の通常時の呼吸の長さＬ０と、ステップＳ２０１で検出した運転者の呼吸の長さＬｔとの比率を、呼吸長さ比率Ｙｔ（Ｙｔ＝Ｌｔ／Ｌ０）として算出する。
【００３９】
そして、ステップＳ２０５では、あくび判定機能により、ステップＳ２０４で算出された呼吸長さ比率Ｙｔが、所定の基準値Ｙ１よりも大きいか否かの判断が行われる。ここで、所定の基準値Ｙ１とは、運転者の呼吸の長さに基づいて、運転者があくびをしたか否かを判定するための基準値であり、１よりも大きい値、たとえば、１よりも大きく２以下の値とすることができる。呼吸長さ比率Ｙｔが基準値Ｙ１よりも大きい場合には、ステップＳ２０６に進み、あくび判定機能により、運転者はあくびをしたものと判定される。一方、呼吸長さ比率Ｙｔが基準値Ｙ１以下である場合には、ステップＳ２０７に進み、あくび判定機能により、運転者はあくびをしていないものと判定される。このように、第２実施形態では、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０に基づく値よりも大きい場合（たとえば、Ｙ１を１．２に設定した場合には、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０の１．２倍よりも長い場合）に、運転者があくびをしたものとして判定される。
【００４０】
そして、ステップＳ２０８では、第１実施形態のステップＳ１０８と同様に、覚醒状態判定機能により、ステップＳ２０６またはステップＳ２０７の判定結果に基づいて、運転者の覚醒状態の判断が行われる。
【００４１】
以上のように、第２実施形態では、運転者の呼吸運動に応じた呼吸信号に基づいて、運転者の呼吸の長さＬｔを検出し、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０に基づく値よりも長い場合（たとえば、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０の１．２倍よりも長い場合）に、運転者があくびをしたものと判定する。これにより、第２実施形態では、運転者の実際の呼吸の長さに基づいて、運転者があくびをしたか否かを判定することができるため、運転者が口周辺部分を手で覆ってあくびをした場合や、運転者が口を開けずにあくびをした場合であっても、運転者があくびをしたことを適切に検出することができる。
【００４２】
≪第３実施形態≫
次に、図９を用いて、第３実施形態に係る運転者状態判定装置１００ｂについて説明する。図９は、第３実施形態に係る運転者状態判定装置１００ｂの構成を示す構成図である。第３実施形態に係る運転者状態判定装置１００ｂは、以下に説明する点以外は、第１実施形態に係る運転者状態判定装置１００と同様の構成を有し、第１実施形態に係る運転者状態判定装置１００と同様の動作を行う。
【００４３】
図９に示すように、第３実施形態に係る運転者状態判定装置１００ｂは、圧力センサ１０、処理装置２０ｂ、および顔画像撮像カメラ３０を備えている。
【００４４】
顔画像撮像カメラ３０は、たとえば、運転者の正面のインストルメントパネル内に設置されており、所定の時間間隔で、運転者の口周辺部分を撮像する。顔画像撮像カメラ３０により撮像された画像データは、処理装置２０に送信される。
【００４５】
処理装置２０ｂは、第１実施形態に係る処理装置２０が備える各機能に加えて、運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かを判定する画像処理機能を備える。
【００４６】
画像処理機能は、顔画像撮像カメラ３０から取得した運転者の口周辺部分の画像データに基づいて、運転者のあくびの検出が行われる。たとえば、本実施形態において、画像処理機能は、運転者の口周辺部分の画像データに基づいて、運転者の開口の大きさや開口時間を検出し、検出した開口の大きさや開口時間が所定値以上である場合に、運転者があくびをしたものとして、運転者のあくびを検出する。
【００４７】
続いて、図１０を参照して、第３実施形態に係る運転者状態判定処理について説明する。ここで、図１０は、第３実施形態に係る運転者状態判定処理を示すフローチャートである。なお、以下に説明する処理も、処理装置２０により行われる。
【００４８】
まず、ステップＳ３０１〜Ｓ３０７では、第１実施形態のステップＳ１０１〜Ｓ１０７と同様に、運転者の呼吸運動に応じた呼吸信号に基づいて、運転者の呼吸の深さＢｔが検出され、検出された運転者の呼吸の深さＢｔに基づいて、運転者があくびをしたか否かの判定が行われる。
【００４９】
ステップＳ３０８では、画像処理機能により、運転者の口周辺部分の画像データの取得が行われ、続くステップＳ３０９では、画像処理機能により、取得された運転者の口周辺部分の画像データに基づいて、運転者のあくびの検出が行われる。
【００５０】
そして、ステップＳ３１０では、あくび判定機能により、ステップＳ３０９の検出結果に基づいて、運転者のあくびが検出されたか否かの判定が行われる。運転者のあくびが検出された場合には、ステップＳ３１１に進み、あくび判定機能により、運転者があくびをしたものと判定される。一方、運転者のあくびが検出されていない場合には、ステップＳ３１２に進み、あくび判定機能により、運転者があくびをしていないものと判定される。
【００５１】
次いで、ステップＳ３１３では、あくび判定機能により、ステップＳ３０６，Ｓ３０７における呼吸信号に基づく判定結果と、ステップＳ３１１，Ｓ３１２における運転者の口周辺部分の画像データに基づく判定結果がともに、運転者があくびをしたとの判定であるか否かの判断が行われる。呼吸信号に基づく判定結果と画像データに基づく判定結果がともに、運転者があくびをしたとの判定である場合には、ステップＳ３１７に進み、あくび判定機能により、運転者はあくびをしたものと判定される。一方、呼吸信号に基づく判定結果と画像データに基づく判定結果とがともに、運転者があくびをしたものとの判定ではない場合には、ステップＳ３１４に進む。
【００５２】
ステップＳ３１４では、あくび判定機能により、ステップＳ３０６，Ｓ３０７における呼吸信号に基づく判定結果と、ステップＳ３１１，Ｓ３１２における運転者の口周辺部分の画像データに基づく判定結果がともに、運転者があくびをしていないとの判定であるか否かの判断が行われる。呼吸信号に基づく判定結果と画像データに基づく判定結果とがともに、運転者があくびをしていないとの判定である場合には、ステップＳ３１８に進み、あくび判定機能により、運転者はあくびをしていないものと判定される。一方、呼吸信号に基づく判定結果と画像データに基づく判定結果がともに、運転者があくびをしていないものとの判定ではない場合には、ステップＳ３１５に進む。
【００５３】
すなわち、ステップＳ３１５に進む場面とは、呼吸信号に基づく判定結果および画像データに基づく判定結果のうち、一方において、運転者があくびをしたものと判定されており、他方において、運転者があくびをしていないものと判定されている場面である。そこで、ステップＳ３１５では、運転者があくびをしたか否かの判定精度を高めるため、あくび判定機能により、運転者があくびをしたとの判定結果の信頼度の評価が行われる。
【００５４】
たとえば、あくび判定機能は、呼吸信号に基づく判定の結果、運転者があくびをしたものと判定された場合には（ステップＳ３０６）、車両の振動が激しいか否かを判断し、車両の振動が激しい場合に、呼吸信号に基づく判定結果の信頼度は、信頼性の低い所定値以下であるものと評価する。その結果、ステップＳ３１６で、あくび判定機能により、運転者があくびをしたとの判定結果の信頼度は所定値未満であると判断され（ステップＳ３１６＝Ｎｏ）、ステップＳ３１８に進み、あくび判定機能により、運転者があくびをしていないものと判定される。
【００５５】
また、あくび判定機能は、運転者の口周辺部分の画像データに基づく判定の結果、運転者があくびをしたものと判定された場合には（ステップＳ３１１）、夜間やトンネル内などの暗所であるか否かを判断し、暗所である場合には、運転者の口周辺部分の画像データに基づく判定結果の信頼度は、信頼性の低い所定値以下であるものと評価する。その結果、ステップＳ３１６で、運転者があくびをしたとの判定結果の信頼度は所定値未満であると判断され（ステップＳ３１６＝Ｎｏ）、ステップＳ３１８で、運転者があくびをしていないものと判定される。
【００５６】
一方、ステップＳ３１５の評価の結果、ステップＳ３１６で、運転者があくびをしたとの判定結果の信頼度は所定値以上であると判断された場合には、ステップＳ３１７に進み、あくび判定機能により、運転者があくびをしたものと判定される。
【００５７】
そして、ステップＳ３１９では、第１実施形態のステップＳ１０８と同様に、覚醒状態判定機能により、ステップＳ３１７またはステップＳ３１８の判定結果に基づいて、運転者の覚醒状態の判定が行われる。
【００５８】
以上のように、第３実施形態では、運転者の呼吸の深さに基づいて、運転者があくびをしたか否かの判定を行うとともに、運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かの判定を行うことで、第１実施形態の効果に加えて、運転者があくびをしたか否かの判定を高い精度で行うことができる。特に、第３実施形態では、運転者の呼吸信号に基づく判定結果と、運転者の口周辺部分の画像データに基づく判定結果とが一致しない場合には、運転者があくびをしたものと判定された判定結果の信頼度を評価することで、運転者があくびをしたか否かの判定をより高い精度で行うことができる。
【００５９】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００６０】
たとえば、上述した実施形態では、図３に示すように、ステー８のシート側の側面（ステー側面）１１とシート側部５との間に圧力センサ１０を介在させることで、運転者の呼吸運動による圧力変化を呼吸信号として出力する構成を例示したが、この構成に限定されるものではなく、たとえば、シートベルト６のベルト部分やシートベルトのバックル部分に、圧力センサ１０を設けることで、運転者の呼吸運動による圧力変化を直接的に検出し、呼吸信号を出力する構成としてもよい。あるいは、運転者の呼吸運動によるシートベルト６の伸縮を呼吸信号に変換して出力する構成としてもよいし、運転者の呼気など運転者の呼吸を直接検出し、運転者の呼吸に応じて呼吸信号を出力する構成としてもよい。
【００６１】
また、上述した実施形態では、運転者の呼吸の深さＢｔの平均値を、運転者の通常時の呼吸の深さＢ０として検出しているが、この場合、運転者の通常時の呼吸の深さＢ０を、運転者が初めて車両を運転する際に検出して、処理装置２０のＲＡＭに記憶しておき、以降、運転者が運転する際には、最初に検出した運転者の通常時の呼吸の深さＢ０を、処理装置２０のＲＡＭから読み出す構成としてもよいし、あるいは、運転者の通常時の呼吸の深さＢ０を、運転者が車両を運転する度に検出する構成としてもよい。なお、運転者の通常時の呼吸の長さＬ０についても同様の構成とすることができる。
【００６２】
さらに、上述した実施形態では、運転者があくびをしたか否かを判定するために、運転者の呼吸の深さ、または、運転者の呼吸の長さを検出する構成をそれぞれ例示したが、たとえば、運転者の呼吸の深さと運転者の呼吸の長さとを検出し、運転者の呼吸の深さに基づく判定結果と、運転者の呼吸の長さに基づく判定結果とに基づいて、運転者があくびをしたか否かを判定する構成としてもよい。この場合も、運転者があくびをしたか否かの判定を高い精度で行うことができる。
【００６３】
なお、上述した実施形態の圧力センサ１０は本発明の呼吸信号出力手段に、処理装置２０は、本発明の判定手段、第１閾値設定手段、第２閾値設定手段、および覚醒状態判定手段に、顔画像撮像カメラ３０は、本発明の撮像手段にそれぞれ相当する。
【符号の説明】
【００６４】
１００…運転者状態判定装置
１０…圧力センサ
２０，２０ａ，２０ｂ…処理装置
３０…顔画像撮像カメラ
【技術分野】
【０００１】
本発明は、運転者状態判定装置および運転者状態判定方法に関するものである。
【背景技術】
【０００２】
従来より、対象人物の口周辺部分の画像データに基づいて、対象人物があくびをしたか否かを判定する技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２５７０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、対象人物の口周辺部分の画像データに基づいて、対象人物があくびをしたか否かを判定しているため、対象人物があくびをする際に、口周辺部分を手で覆った場合や、口を開けるのを我慢した場合には、対象人物があくびをしたか否かを適切に判定することができない場合があった。
【０００５】
本発明が解決しようとする課題は、運転者があくびをしたか否かを適切に判定することが可能な運転者状態判定装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、運転者の呼吸運動を検出し、検出した運転者の呼吸運動に基づいて、運転者があくびをしたか否かを判定することで、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、運転者の実際の呼吸運動に基づいて、運転者があくびをしたか否かを判定することができるため、運転者があくびをしたか否かの判定をより適切に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る運転者状態判定装置の構成を示す構成図である。
【図２】運転者状態判定装置を適用した車両の運転席に運転者が着座した状態を示す車両の側面図である。
【図３】図２のＡ矢視図である。
【図４】図４（Ａ）は、運転者の呼吸運動に応じて出力された呼吸信号の一例を示すグラフであり、図４（Ｂ）は、図４（Ａ）に示す呼吸信号に基づいて検出された、運転者の呼吸の深さを示すグラフである。
【図５】運転者の呼吸の深さと運転者の呼吸の長さとを検出する方法を説明するための図である。
【図６】第１実施形態に係る運転者状態判定処理を示すフローチャートである。
【図７】第２実施形態に係る運転者状態判定装置の構成を示す構成図である。
【図８】第２実施形態に係る運転者状態判定処理を示すフローチャートである。
【図９】第３実施形態に係る運転者状態判定装置の構成を示す構成図である。
【図１０】第３実施形態に係る運転者状態判定処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。なお、本実施形態では、車両に搭載される運転者状態判定装置を例示して説明する。
【００１０】
≪第１実施形態≫
図１は、第１実施形態に係る運転者状態判定装置１００の構成を示す構成図である。第１実施形態に係る運転者状態判定装置１００は、図１に示すように、圧力センサ１０および処理装置２０を備えている。
【００１１】
圧力センサ１０は、たとえば、ポリフッ化ビニリデン(ＰＶＤＦ)フィルムなどの圧電素子を用いたセンサであり、運転者の呼吸運動により圧力センサ１０に生じる圧力変化を検出し、検出した圧力変化を電気信号（呼吸信号）に変換して、処理装置２０に出力する。以下においては、図２および図３を参照して、運転者の呼吸運動に応じた呼吸信号の検出方法について説明する。なお、図２は、運転者状態判定装置１００を搭載した車両の運転席に運転者が着座した状態を示す車両の側面図であり、図３は図２のＡ矢視図である。
【００１２】
図２に示すように、シート１は、運転者（乗員）２の背面を支持するシートバック３と運転者２の下肢を支持するシートクッション４とを有する。また、図３に示すように、シートクッション４の車幅方向内側のシート側部（シート側部）５には、シートベルト６のタング６ａを差し込むシートベルトバックル７をシートバック３に支持するためのステー８が取り付けられている。ステー８は、ステー取り付け部９を介してシート側部５に取り付けられている。ステー取り付け部９はボルト締めによりステー８を固定しているが、図示しないワッシャとスプリングワッシャとをステー８とシート側部５との間に挿入しているため、ステー８は車幅方向に揺動可能となっている。ステー取り付け部９は、シートクッション４の内部に位置するブラケット（不図示）に固定されている。
【００１３】
そして、ステー８のシート側の側面（ステー側面）１１とシート側部５との間に、圧力センサ１０が介在している。圧力センサ１０は、ステー側面１１に固定されており、シート側部５とステー側面１１との間の距離の変化を圧力変化として検出し、電気信号（呼吸信号）に変換して出力する。
【００１４】
運転者２の呼吸運動に応じてシートベルト６が伸縮すると、これにより発した力はシートベルト６を介してシートベルトバックル７に伝わる。そして、シートベルトバックル７とステー８とはステー取り付け部９を軸にして車幅方向（図３中の矢印方向）に揺動し、ステー側面１１とシート側部５との間の距離が変化する。圧力センサ１０は、このようなシート側部５とステー側面１１との間の距離の変化を圧力変化として検出することで、運転者２の呼吸状態を検出することができるようになっている。特に、本実施形態では、圧力センサ１０をステー８とシート側部５との間に挟装したため、運転者２の呼吸によりステー８が車幅方向に揺動する際、シートベルトバックル７を力点、ステー８のステー取り付け部９を支点、圧力センサ１０とシート側部５との接触部分を作用点とする梃子の原理が発現することで、圧力センサ１０により検出される呼吸信号の電圧値の振幅を大きく変化させることができ、より高感度に圧力変化を検出できるようなっている。
【００１５】
ここで、図４（Ａ）は、圧力センサ１０により出力された呼吸信号の一例を示すグラフであり、図４（Ｂ）は、図４（Ａ）に示す呼吸信号に基づいて検出された、運転者の呼吸の深さを示すグラフである。なお、図４（Ａ）のグラフにおいて、横軸は時間、縦軸は電圧を示しており、図４（Ｂ）のグラフにおいて、横軸は時間、縦軸は運転者の呼吸の深さを示している。
【００１６】
運転者の呼吸運動に応じてステー８が車幅方向に揺動すると、図４（Ａ）に示すように、圧力センサ１０により波形の呼吸信号が出力される。たとえば、運転者の１回の呼吸運動では、シートベルト６が１回伸縮し、ステー８が車幅方向に１往復することで、図４（Ａ）に示す呼吸信号のうち１周期分の呼吸信号が出力されることとなる。そして、運転者の呼吸運動が繰り返されることで、図４（Ａ）に示すように、運転者の呼吸運動に応じて、波形の呼吸信号が出力されることとなる。このように、呼吸信号は、運転者の実際の呼吸運動に対応する。具体的には、図５に示すように、呼吸信号の振幅が呼吸の深さＢｔに対応し、呼吸信号の周期は呼吸の長さＬｔに対応している。そのため、本実施形態では、この呼吸信号に基づいて、運転者の呼吸の深さを検出することができるようになっている。なお、図５は、呼吸信号に基づいて運転者の呼吸の深さおよび運転者の呼吸の長さを検出する方法を説明するための図であり、図４（Ａ）と同様に、横軸は時間、縦軸は電圧を示している。
【００１７】
図１に戻り、処理装置２０について説明する。処理装置２０は、運転者があくびをしたか否かを判定するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成される。
【００１８】
そして、処理装置２０は、ＲＯＭに格納したプログラムをＣＰＵにより実行することにより、運転者の呼吸の深さを検出する呼吸深さ検出機能と、運転者があくびをしたか否かを判定するあくび判定機能と、運転者の覚醒状態を判定する覚醒状態判定機能とを実現する。以下に、処理装置２０が備える各機能について説明する。
【００１９】
処理装置２０の呼吸深さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、取得した呼吸信号に基づいて、運転者の呼吸の深さＢｔを検出する。具体的には、呼吸深さ検出機能は、図５に示すように、運転者の１回の呼吸運動で得られる１周期分の呼吸信号の振幅を、運転者の呼吸の深さＢｔとして検出する。これにより、処理装置２０は、たとえば、図４（Ａ）に示す呼吸信号に基づいて、図４（Ｂ）に示すように、運転者の呼吸の深さＢｔを周期的に検出することができる。
【００２０】
処理装置２０のあくび判定機能は、運転者があくびをしたか否かの判定を行う。具体的には、あくび判定機能は、呼吸深さ検出機能により検出された運転者の呼吸の深さＢｔを、処理装置２０のＲＡＭに記憶しており、記憶した運転者の呼吸の深さＢｔの平均値を、図４（Ｂ）に示すように、運転者の通常時の呼吸の深さＢ０として算出する。そして、あくび判定機能は、呼吸深さ検出機能により検出される運転者の呼吸の深さＢｔを、運転者の通常時の呼吸の深さＢ０と比較することで、運転者があくびをしたか否かの判定を行う。なお、運転者があくびをしたか否かを判定する方法については、後述する。
【００２１】
処理装置２０の覚醒状態判定機能は、あくび判定機能の判定結果に基づいて、運転者の覚醒状態を判定する。具体的には、覚醒状態判定機能は、あくび判定機能により運転者があくびをしたものと判定された場合に、運転者の覚醒度が、運転者が居眠りをする可能性のある所定値以下であり、運転者の覚醒状態は低い状態であるものと判断する。一方、覚醒状態判定機能は、あくび判定機能により運転者があくびをしたものと判定されなかった場合には、運転者の覚醒状態は低い状態ではないと判断する。
【００２２】
続いて、図６を参照して、第１実施形態に係る運転者状態判定処理について説明する。ここで、図６は、第１実施形態に係る運転者状態判定処理を示すフローチャートである。なお、以下に説明する処理は、処理装置２０により行われる。
【００２３】
まず、ステップＳ１０１では、呼吸深さ検出機能により、運転者の呼吸の深さＢｔの検出が行われる。ここで、本実施形態において、圧力センサ１０は、図４（Ａ）に示すように、運転者の呼吸運動に応じた呼吸信号を処理装置２０に対して出力している。呼吸深さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、図５に示すように、取得した呼吸信号の１周期ごとの振幅を、運転者の呼吸の深さＢｔとして検出する。なお、ステップＳ１０１において、呼吸深さ検出機能は、運転者の呼吸運動に応じた運転者の呼吸の深さＢｔを、呼吸信号の１周期ごとに検出する。そのため、本実施形態においては、ステップＳ１０１以降の処理も、呼吸信号の１周期ごとに行われる。
【００２４】
ステップＳ１０２では、あくび判定機能により、運転者の通常時の呼吸の深さＢ０が検出されているか否かの判断が行われる。運転者の通常時の呼吸の深さＢ０が検出されている場合は、ステップＳ１０４に進み、一方、運転者の通常時の呼吸の深さＢ０が検出されていない場合には、ステップＳ１０３に進む。
【００２５】
ステップＳ１０３では、運転者の通常時の呼吸の深さＢ０が検出されていないため、あくび判定機能により、運転者の通常時の呼吸の深さＢ０の検出が行われる。具体的には、あくび判定機能は、ステップＳ１０１で検出された運転者の呼吸の深さＢｔを、処理装置２０のＲＡＭに記憶しており、記憶している運転者の呼吸の深さＢｔの平均値を、運転者の通常時の呼吸の深さＢ０として算出する。
【００２６】
そして、ステップＳ１０４では、あくび判定機能により、呼吸深さ比率Ｘｔの演算が行われる。具体的には、あくび判定機能は、ステップＳ１０３で検出した運転者の通常時の呼吸の深さＢ０と、ステップＳ１０１で検出した運転者の呼吸の深さＢｔとの比率を、呼吸深さ比率Ｘｔ（Ｘｔ＝Ｂｔ／Ｂ０）として算出する。
【００２７】
そして、ステップＳ１０５では、あくび判定機能により、ステップＳ１０４で算出された呼吸深さ比率Ｘｔが、所定の基準値Ｘ１よりも大きいか否かの判断が行われる。ここで、所定の基準値Ｘ１とは、運転者の呼吸の深さに基づいて、運転者があくびをしたか否かを判定するための基準値であり、１よりも大きい値、たとえば、１よりも大きく２以下の値とすることができる。呼吸深さ比率Ｘｔが基準値Ｘ１よりも大きい場合には、ステップＳ１０６に進み、あくび判定機能により、運転者はあくびをしたものと判定される。一方、呼吸深さ比率Ｘｔが基準値Ｘ１以下である場合には、ステップＳ１０７に進み、あくび判定機能により、運転者はあくびをしていないものと判定される。このように、第１実施形態では、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０に基づく値よりも大きい場合（たとえば、Ｘ１を１．２に設定した場合には、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０の１．２倍よりも大きい場合）に、運転者があくびをしたものとして判定される。
【００２８】
そして、ステップＳ１０８では、覚醒状態判定機能により、ステップＳ１０６またはステップＳ１０７の判定結果に基づいて、運転者の覚醒状態の判断が行われる。具体的には、覚醒状態判定機能は、ステップＳ１０６において運転者があくびをしたものと判定された場合には、運転者の覚醒度は、運転者が居眠りする可能性がある所定値以下であり、運転者の覚醒状態は低い状態であると判定する。反対に、覚醒状態判定機能は、ステップＳ１０７において運転者があくびをしていないものと判定された場合には、運転者の覚醒状態は低い状態ではないと判定する。なお、覚醒状態判定機能による判定結果は、たとえば、運転者の覚醒状態を適切な状態に誘導するための覚醒状態誘導処理などに用いることができる。
【００２９】
以上のように、第１実施形態では、運転者の実際の呼吸運動に応じた呼吸信号に基づいて、運転者の呼吸の深さＢｔを検出し、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０に基づく値よりも大きい場合（たとえば、運転者の呼吸の深さＢｔが、運転者の通常時の呼吸の深さＢ０の１．２倍よりも大きい場合）に、運転者はあくびをしたものと判定する。このように、本実施形態では、運転者の実際の呼吸運動に基づいて、運転者があくびをしたか否かを適切に判定することができる。一方、従来のように、運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かを判定する構成では、運転者が口周辺部分を手で覆った場合や、運転者が口を開けずにあくびをした場合に、運転者があくびをしたことを検出することができないという問題があった。これに対して、本実施形態では、運転者の実際の呼吸運動に基づいて、運転者があくびをしたか否かを判定することができるため、運転者が口周辺部分を手で覆った場合であっても、あるいは、運転者が口を開けずにあくびをした場合であっても、運転者があくびをしたことを適切に検出することができる。
【００３０】
≪第２実施形態≫
次に、図７を用いて、第２実施形態に係る運転者状態判定装置１００ａついて説明する。図７は、第２実施形態に係る運転者状態判定装置１００ａの構成を示す構成図である。第２実施形態に係る運転者状態判定装置１００ａは、以下に説明する点以外は、第１実施形態に係る運転者状態判定装置１００と同様の構成を有し、第１実施形態に係る運転者状態判定装置１００と同様の動作を行う。
【００３１】
具体的には、第２実施形態に係る処理装置２０ａは、第１実施形態に係る処理装置２０の各機能に加えて、あるいは、第１実施形態に係る処理装置２０の呼吸深さ検出機能に代えて、運転者の呼吸の長さを検出する呼吸長さ検出機能を備える。
【００３２】
呼吸長さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、図５に示すように、取得した呼吸信号の周期を、運転者の呼吸の長さＬｔとして検出する。そして、呼吸長さ検出機能により検出された運転者の呼吸の長さＬｔは、あくび判定機能により、運転者があくびをしたか否かの判定に用いられることとなる。
【００３３】
具体的には、あくび判定機能は、呼吸長さ検出機能により検出された運転者の呼吸の長さＬｔを、処理装置２０のＲＡＭに記憶しており、記憶した運転者の呼吸の長さＬｔの平均値を、運転者の通常時の呼吸の長さＬ０として算出する。そして、あくび判定機能は、呼吸長さ検出機能により検出された運転者の呼吸の長さＬｔを、運転者の通常時の呼吸の長さＬ０と比較することで、運転者があくびをしたか否かを判定する。なお、運転者があくびをしたか否かを判定する方法については、後述する。
【００３４】
続いて、図８を参照して、第２実施形態に係る運転者状態判定処理について説明する。ここで、図８は、第２実施形態に係る運転者状態判定処理を示すフローチャートである。なお、以下に説明する処理も、処理装置２０により行われる。
【００３５】
まず、ステップＳ２０１では、呼吸長さ検出機能により、運転者の呼吸の長さＬｔの検出が行われる。ここで、本実施形態において、圧力センサ１０は、図４（Ａ）に示すように、運転者の呼吸運動に応じた呼吸信号を処理装置２０に対して出力している。呼吸長さ検出機能は、圧力センサ１０から出力された呼吸信号を取得し、図５に示すように、取得した呼吸信号の周期を、運転者の呼吸の長さＬｔとして検出する。なお、ステップＳ２０１において、呼吸長さ検出機能は、運転者の呼吸運動に応じた運転者の呼吸の長さＬｔを、呼吸信号の１周期ごとに検出する。そのため、本実施形態においては、ステップＳ２０１以降の処理も、呼吸信号の１周期ごとに行われる。
【００３６】
ステップＳ２０２では、あくび判定機能により、運転者の通常時の呼吸の長さＬ０が検出されているか否かの判断が行われる。運転者の通常時の呼吸の長さＬ０が検出されている場合は、ステップＳ２０４に進み、一方、運転者の通常時の呼吸の長さＬ０が検出されていない場合には、ステップＳ２０３に進む。
【００３７】
ステップＳ２０３では、運転者の通常時の呼吸の長さＬ０が検出されていないため、あくび判定機能により、運転者の通常時の呼吸の長さＬ０の検出が行われる。具体的には、あくび判定機能は、ステップＳ２０１で検出された運転者の呼吸の長さＬｔを、処理装置２０のＲＡＭに記憶しており、記憶している運転者の呼吸の長さＬｔの平均値を、運転者の通常時の呼吸の長さＬ０として算出する。
【００３８】
そして、ステップＳ２０４では、あくび判定機能により、呼吸長さ比率Ｙｔの演算が行われる。具体的には、あくび判定機能は、ステップＳ２０３で検出した運転者の通常時の呼吸の長さＬ０と、ステップＳ２０１で検出した運転者の呼吸の長さＬｔとの比率を、呼吸長さ比率Ｙｔ（Ｙｔ＝Ｌｔ／Ｌ０）として算出する。
【００３９】
そして、ステップＳ２０５では、あくび判定機能により、ステップＳ２０４で算出された呼吸長さ比率Ｙｔが、所定の基準値Ｙ１よりも大きいか否かの判断が行われる。ここで、所定の基準値Ｙ１とは、運転者の呼吸の長さに基づいて、運転者があくびをしたか否かを判定するための基準値であり、１よりも大きい値、たとえば、１よりも大きく２以下の値とすることができる。呼吸長さ比率Ｙｔが基準値Ｙ１よりも大きい場合には、ステップＳ２０６に進み、あくび判定機能により、運転者はあくびをしたものと判定される。一方、呼吸長さ比率Ｙｔが基準値Ｙ１以下である場合には、ステップＳ２０７に進み、あくび判定機能により、運転者はあくびをしていないものと判定される。このように、第２実施形態では、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０に基づく値よりも大きい場合（たとえば、Ｙ１を１．２に設定した場合には、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０の１．２倍よりも長い場合）に、運転者があくびをしたものとして判定される。
【００４０】
そして、ステップＳ２０８では、第１実施形態のステップＳ１０８と同様に、覚醒状態判定機能により、ステップＳ２０６またはステップＳ２０７の判定結果に基づいて、運転者の覚醒状態の判断が行われる。
【００４１】
以上のように、第２実施形態では、運転者の呼吸運動に応じた呼吸信号に基づいて、運転者の呼吸の長さＬｔを検出し、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０に基づく値よりも長い場合（たとえば、運転者の呼吸の長さＬｔが、運転者の通常時の呼吸の長さＬ０の１．２倍よりも長い場合）に、運転者があくびをしたものと判定する。これにより、第２実施形態では、運転者の実際の呼吸の長さに基づいて、運転者があくびをしたか否かを判定することができるため、運転者が口周辺部分を手で覆ってあくびをした場合や、運転者が口を開けずにあくびをした場合であっても、運転者があくびをしたことを適切に検出することができる。
【００４２】
≪第３実施形態≫
次に、図９を用いて、第３実施形態に係る運転者状態判定装置１００ｂについて説明する。図９は、第３実施形態に係る運転者状態判定装置１００ｂの構成を示す構成図である。第３実施形態に係る運転者状態判定装置１００ｂは、以下に説明する点以外は、第１実施形態に係る運転者状態判定装置１００と同様の構成を有し、第１実施形態に係る運転者状態判定装置１００と同様の動作を行う。
【００４３】
図９に示すように、第３実施形態に係る運転者状態判定装置１００ｂは、圧力センサ１０、処理装置２０ｂ、および顔画像撮像カメラ３０を備えている。
【００４４】
顔画像撮像カメラ３０は、たとえば、運転者の正面のインストルメントパネル内に設置されており、所定の時間間隔で、運転者の口周辺部分を撮像する。顔画像撮像カメラ３０により撮像された画像データは、処理装置２０に送信される。
【００４５】
処理装置２０ｂは、第１実施形態に係る処理装置２０が備える各機能に加えて、運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かを判定する画像処理機能を備える。
【００４６】
画像処理機能は、顔画像撮像カメラ３０から取得した運転者の口周辺部分の画像データに基づいて、運転者のあくびの検出が行われる。たとえば、本実施形態において、画像処理機能は、運転者の口周辺部分の画像データに基づいて、運転者の開口の大きさや開口時間を検出し、検出した開口の大きさや開口時間が所定値以上である場合に、運転者があくびをしたものとして、運転者のあくびを検出する。
【００４７】
続いて、図１０を参照して、第３実施形態に係る運転者状態判定処理について説明する。ここで、図１０は、第３実施形態に係る運転者状態判定処理を示すフローチャートである。なお、以下に説明する処理も、処理装置２０により行われる。
【００４８】
まず、ステップＳ３０１〜Ｓ３０７では、第１実施形態のステップＳ１０１〜Ｓ１０７と同様に、運転者の呼吸運動に応じた呼吸信号に基づいて、運転者の呼吸の深さＢｔが検出され、検出された運転者の呼吸の深さＢｔに基づいて、運転者があくびをしたか否かの判定が行われる。
【００４９】
ステップＳ３０８では、画像処理機能により、運転者の口周辺部分の画像データの取得が行われ、続くステップＳ３０９では、画像処理機能により、取得された運転者の口周辺部分の画像データに基づいて、運転者のあくびの検出が行われる。
【００５０】
そして、ステップＳ３１０では、あくび判定機能により、ステップＳ３０９の検出結果に基づいて、運転者のあくびが検出されたか否かの判定が行われる。運転者のあくびが検出された場合には、ステップＳ３１１に進み、あくび判定機能により、運転者があくびをしたものと判定される。一方、運転者のあくびが検出されていない場合には、ステップＳ３１２に進み、あくび判定機能により、運転者があくびをしていないものと判定される。
【００５１】
次いで、ステップＳ３１３では、あくび判定機能により、ステップＳ３０６，Ｓ３０７における呼吸信号に基づく判定結果と、ステップＳ３１１，Ｓ３１２における運転者の口周辺部分の画像データに基づく判定結果がともに、運転者があくびをしたとの判定であるか否かの判断が行われる。呼吸信号に基づく判定結果と画像データに基づく判定結果がともに、運転者があくびをしたとの判定である場合には、ステップＳ３１７に進み、あくび判定機能により、運転者はあくびをしたものと判定される。一方、呼吸信号に基づく判定結果と画像データに基づく判定結果とがともに、運転者があくびをしたものとの判定ではない場合には、ステップＳ３１４に進む。
【００５２】
ステップＳ３１４では、あくび判定機能により、ステップＳ３０６，Ｓ３０７における呼吸信号に基づく判定結果と、ステップＳ３１１，Ｓ３１２における運転者の口周辺部分の画像データに基づく判定結果がともに、運転者があくびをしていないとの判定であるか否かの判断が行われる。呼吸信号に基づく判定結果と画像データに基づく判定結果とがともに、運転者があくびをしていないとの判定である場合には、ステップＳ３１８に進み、あくび判定機能により、運転者はあくびをしていないものと判定される。一方、呼吸信号に基づく判定結果と画像データに基づく判定結果がともに、運転者があくびをしていないものとの判定ではない場合には、ステップＳ３１５に進む。
【００５３】
すなわち、ステップＳ３１５に進む場面とは、呼吸信号に基づく判定結果および画像データに基づく判定結果のうち、一方において、運転者があくびをしたものと判定されており、他方において、運転者があくびをしていないものと判定されている場面である。そこで、ステップＳ３１５では、運転者があくびをしたか否かの判定精度を高めるため、あくび判定機能により、運転者があくびをしたとの判定結果の信頼度の評価が行われる。
【００５４】
たとえば、あくび判定機能は、呼吸信号に基づく判定の結果、運転者があくびをしたものと判定された場合には（ステップＳ３０６）、車両の振動が激しいか否かを判断し、車両の振動が激しい場合に、呼吸信号に基づく判定結果の信頼度は、信頼性の低い所定値以下であるものと評価する。その結果、ステップＳ３１６で、あくび判定機能により、運転者があくびをしたとの判定結果の信頼度は所定値未満であると判断され（ステップＳ３１６＝Ｎｏ）、ステップＳ３１８に進み、あくび判定機能により、運転者があくびをしていないものと判定される。
【００５５】
また、あくび判定機能は、運転者の口周辺部分の画像データに基づく判定の結果、運転者があくびをしたものと判定された場合には（ステップＳ３１１）、夜間やトンネル内などの暗所であるか否かを判断し、暗所である場合には、運転者の口周辺部分の画像データに基づく判定結果の信頼度は、信頼性の低い所定値以下であるものと評価する。その結果、ステップＳ３１６で、運転者があくびをしたとの判定結果の信頼度は所定値未満であると判断され（ステップＳ３１６＝Ｎｏ）、ステップＳ３１８で、運転者があくびをしていないものと判定される。
【００５６】
一方、ステップＳ３１５の評価の結果、ステップＳ３１６で、運転者があくびをしたとの判定結果の信頼度は所定値以上であると判断された場合には、ステップＳ３１７に進み、あくび判定機能により、運転者があくびをしたものと判定される。
【００５７】
そして、ステップＳ３１９では、第１実施形態のステップＳ１０８と同様に、覚醒状態判定機能により、ステップＳ３１７またはステップＳ３１８の判定結果に基づいて、運転者の覚醒状態の判定が行われる。
【００５８】
以上のように、第３実施形態では、運転者の呼吸の深さに基づいて、運転者があくびをしたか否かの判定を行うとともに、運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かの判定を行うことで、第１実施形態の効果に加えて、運転者があくびをしたか否かの判定を高い精度で行うことができる。特に、第３実施形態では、運転者の呼吸信号に基づく判定結果と、運転者の口周辺部分の画像データに基づく判定結果とが一致しない場合には、運転者があくびをしたものと判定された判定結果の信頼度を評価することで、運転者があくびをしたか否かの判定をより高い精度で行うことができる。
【００５９】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００６０】
たとえば、上述した実施形態では、図３に示すように、ステー８のシート側の側面（ステー側面）１１とシート側部５との間に圧力センサ１０を介在させることで、運転者の呼吸運動による圧力変化を呼吸信号として出力する構成を例示したが、この構成に限定されるものではなく、たとえば、シートベルト６のベルト部分やシートベルトのバックル部分に、圧力センサ１０を設けることで、運転者の呼吸運動による圧力変化を直接的に検出し、呼吸信号を出力する構成としてもよい。あるいは、運転者の呼吸運動によるシートベルト６の伸縮を呼吸信号に変換して出力する構成としてもよいし、運転者の呼気など運転者の呼吸を直接検出し、運転者の呼吸に応じて呼吸信号を出力する構成としてもよい。
【００６１】
また、上述した実施形態では、運転者の呼吸の深さＢｔの平均値を、運転者の通常時の呼吸の深さＢ０として検出しているが、この場合、運転者の通常時の呼吸の深さＢ０を、運転者が初めて車両を運転する際に検出して、処理装置２０のＲＡＭに記憶しておき、以降、運転者が運転する際には、最初に検出した運転者の通常時の呼吸の深さＢ０を、処理装置２０のＲＡＭから読み出す構成としてもよいし、あるいは、運転者の通常時の呼吸の深さＢ０を、運転者が車両を運転する度に検出する構成としてもよい。なお、運転者の通常時の呼吸の長さＬ０についても同様の構成とすることができる。
【００６２】
さらに、上述した実施形態では、運転者があくびをしたか否かを判定するために、運転者の呼吸の深さ、または、運転者の呼吸の長さを検出する構成をそれぞれ例示したが、たとえば、運転者の呼吸の深さと運転者の呼吸の長さとを検出し、運転者の呼吸の深さに基づく判定結果と、運転者の呼吸の長さに基づく判定結果とに基づいて、運転者があくびをしたか否かを判定する構成としてもよい。この場合も、運転者があくびをしたか否かの判定を高い精度で行うことができる。
【００６３】
なお、上述した実施形態の圧力センサ１０は本発明の呼吸信号出力手段に、処理装置２０は、本発明の判定手段、第１閾値設定手段、第２閾値設定手段、および覚醒状態判定手段に、顔画像撮像カメラ３０は、本発明の撮像手段にそれぞれ相当する。
【符号の説明】
【００６４】
１００…運転者状態判定装置
１０…圧力センサ
２０，２０ａ，２０ｂ…処理装置
３０…顔画像撮像カメラ
【特許請求の範囲】
【請求項１】
運転者の呼吸運動を検出し、運転者の呼吸に応じた呼吸信号を出力する呼吸信号出力手段と、
前記呼吸信号に基づいて、運転者があくびをしたか否かを判定する判定手段と、を備えることを特徴とする運転者状態判定装置。
【請求項２】
請求項１に記載の運転者状態判定装置であって、
運転者の通常時の呼吸により検出された前記呼吸信号に基づいて、運転者の通常時の呼吸の深さを推定し、推定した前記運転者の通常時の呼吸の深さに基づいて、運転者があくびをしたか否かを判断するための第１閾値を設定する第１閾値設定手段をさらに備え、
前記判定手段は、運転者の呼吸運動により検出された前記呼吸信号に基づいて、運転者の呼吸の深さを検出し、検出した前記運転者の呼吸の深さが前記第１閾値以上である場合に、運転者があくびをしたものと判定することを特徴とする運転者状態判定装置。
【請求項３】
請求項１または２に記載の運転者状態判定装置であって、
運転者の通常時の呼吸により検出された前記呼吸信号に基づいて、運転者の通常時の呼吸の長さを推定し、推定した前記運転者の通常時の呼吸の長さに基づいて、運転者があくびをしたか否かを判断するための第２閾値を設定する第２閾値設定手段をさらに備え、
前記判定手段は、運転者の呼吸運動により検出された前記呼吸信号に基づいて、運転者の呼吸の長さを検出し、検出した前記運転者の呼吸の長さが前記第２閾値以上である場合に、運転者があくびをしたものと判定することを特徴とする運転者状態判定装置。
【請求項４】
請求項１〜３のいずれかに記載の運転者状態判定装置であって、
運転者の口周辺部分を撮像する撮像手段をさらに備え、
前記判定手段は、前記呼吸信号出力手段により出力された前記呼吸信号および前記撮像手段により撮像された運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かを判定することが可能であることを特徴とする運転者状態判定装置。
【請求項５】
請求項４に記載の運転者状態判定装置であって、
前記判定手段は、自車両の走行状況に基づいて、前記呼吸信号および前記画像データの信頼度を評価し、前記信頼度を加味して、運転者があくびをしたか否かを判定することを特徴とする運転者状態判定装置。
【請求項６】
請求項５に記載の運転者状態判定装置であって、
前記判定手段により運転者があくびをしたものと判定された場合に、運転者の覚醒度が所定値以下であると判定する覚醒状態判定手段をさらに備えることを特徴とする運転者状態判定装置。
【請求項７】
運転者の呼吸運動を検出し、該検出結果に基づいて、運転者があくびをしたか否かを判定することを特徴とする運転者状態判定方法。
【請求項１】
運転者の呼吸運動を検出し、運転者の呼吸に応じた呼吸信号を出力する呼吸信号出力手段と、
前記呼吸信号に基づいて、運転者があくびをしたか否かを判定する判定手段と、を備えることを特徴とする運転者状態判定装置。
【請求項２】
請求項１に記載の運転者状態判定装置であって、
運転者の通常時の呼吸により検出された前記呼吸信号に基づいて、運転者の通常時の呼吸の深さを推定し、推定した前記運転者の通常時の呼吸の深さに基づいて、運転者があくびをしたか否かを判断するための第１閾値を設定する第１閾値設定手段をさらに備え、
前記判定手段は、運転者の呼吸運動により検出された前記呼吸信号に基づいて、運転者の呼吸の深さを検出し、検出した前記運転者の呼吸の深さが前記第１閾値以上である場合に、運転者があくびをしたものと判定することを特徴とする運転者状態判定装置。
【請求項３】
請求項１または２に記載の運転者状態判定装置であって、
運転者の通常時の呼吸により検出された前記呼吸信号に基づいて、運転者の通常時の呼吸の長さを推定し、推定した前記運転者の通常時の呼吸の長さに基づいて、運転者があくびをしたか否かを判断するための第２閾値を設定する第２閾値設定手段をさらに備え、
前記判定手段は、運転者の呼吸運動により検出された前記呼吸信号に基づいて、運転者の呼吸の長さを検出し、検出した前記運転者の呼吸の長さが前記第２閾値以上である場合に、運転者があくびをしたものと判定することを特徴とする運転者状態判定装置。
【請求項４】
請求項１〜３のいずれかに記載の運転者状態判定装置であって、
運転者の口周辺部分を撮像する撮像手段をさらに備え、
前記判定手段は、前記呼吸信号出力手段により出力された前記呼吸信号および前記撮像手段により撮像された運転者の口周辺部分の画像データに基づいて、運転者があくびをしたか否かを判定することが可能であることを特徴とする運転者状態判定装置。
【請求項５】
請求項４に記載の運転者状態判定装置であって、
前記判定手段は、自車両の走行状況に基づいて、前記呼吸信号および前記画像データの信頼度を評価し、前記信頼度を加味して、運転者があくびをしたか否かを判定することを特徴とする運転者状態判定装置。
【請求項６】
請求項５に記載の運転者状態判定装置であって、
前記判定手段により運転者があくびをしたものと判定された場合に、運転者の覚醒度が所定値以下であると判定する覚醒状態判定手段をさらに備えることを特徴とする運転者状態判定装置。
【請求項７】
運転者の呼吸運動を検出し、該検出結果に基づいて、運転者があくびをしたか否かを判定することを特徴とする運転者状態判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２７５１４（Ｐ２０１３−２７５１４Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５０８５（Ｐ２０１１−１６５０８５）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]