運転者状態推定装置及び運転者状態推定方法
【課題】運転者の有効視野角度の時間的な変化の発生要因を具体的に特定した上で運転者の状態を推定する。
【解決手段】自車両が停車中の状態が判定され、停車状態と判定された場合に視覚刺激が表示部に表示され、表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態を推定する。
【解決手段】自車両が停車中の状態が判定され、停車状態と判定された場合に視覚刺激が表示部に表示され、表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者が注意すべき対象を認知できる状態であるか否かを判定することにより、運転者の状態を推定する運転者状態推定装置及び運転者状態推定方法に関する。
【背景技術】
【０００２】
自動車の運転者（ｄｒｉｖｅｒ）が自動車の運転中に取得する情報量のうち約９０％の情報は、当該自動車の運転者の視覚能力に基づいて取得されることが一般に知られている。そのため、運転者の状態が、運転者が注意すべき対象を認知できない可能性がある状態である場合には、視覚能力に起因する運転者の状態を把握して、適切な運転支援を行うことが重要である。
【０００３】
運転者の状態を把握するものとして、特許文献１に開示された運転者状態判定装置がある。特許文献１の運転者状態判定装置は、予め定められた周辺視野領域内の任意の位置に運転者に対して視覚的な刺激を与え、その任意の位置を移動させた場合の運転者の視線方向、視線停留時間及び視線軌跡に基づいて、当該運転者の状態を判定する。また、特許文献１における運転者状態判定装置において、運転者の視線方向を検出する具体例は特許文献２に開示されている。
【０００４】
ところで、人間の視野は、中心視野と周辺視野とに分けることができる。中心視野とは、視線方向を中心に半径約１°の範囲である。また、中心視野の中心方向を中心視野方向という。中心視野では、ものの形状、文字の形状、及び、もの又は文字の色を細かく見分けることができる。一方、周辺視野とは、中心視野から外れた左右約１８０°且つ上下約１３０°の範囲である。周辺視野では、もの又は文字の形状は明確に認識されないが、時間的に変化する視覚的な刺激、例えば明滅する光点又は運動物体は検知されると言われている。
【０００５】
運転者の中心視野方向を中心とした、運転者が視覚刺激を認識することが可能な範囲を、運転者の有効視野という。有効視野は、運転者の内的要因および外的要因に応じて変化する。運転者の内的要因とは、加齢に伴う視覚能力の低下、心理状態、及び疲労等の運転者の特性である。運転者の外的要因とは、運転者が中心視野により認知する視覚情報の複雑さ、又は周辺視野領域の視覚情報量等の走行環境などである。
【０００６】
有効視野が外的要因により狭くなる具体例としては、高速道路の走行中においては視覚情報の変化が大きい、すなわち視覚が捉える景色の変化が大きいため、中心視野における運転者の認知負担が増し、周辺視野領域に表示された視覚刺激に気付かない場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１５８７４０号公報
【特許文献２】特開２００３−８０９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に開示された運転者状態判定装置は、ある時点における有効視野の範囲が所定範囲より広いか狭いかを判定するのみである。有効視野は、運転者、又は運転者の運転状況等により変動する。このため、有効視野が所定範囲より狭いと判定された場合でも、有効視野が小さくなった具体的な要因が特定されず、適切な運転支援を行うことは困難であった。
【０００９】
例えば、有効視野が所定範囲よりも狭いと判定された場合において、実際には、走行環境等の外的要因に応じて有効視野が狭い場合、若しくは、運転者の疲労等の内的要因に応じて有効視野が狭い場合とがあるが、有効視野が狭い原因は異なる。従って、特許文献１に開示された運転者状態判定装置によっては、有効視野が狭くなる原因が具体的に特定されず、運転支援が同一になるという課題がある。
【００１０】
本発明は、上述した従来の課題を解決するものであって、運転者の有効視野が時間的に変化する原因を具体的に特定した上で、運転者の状態を推定する運転者状態推定装置及び運転者状態推定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の運転者状態推定装置は、表示領域を備えた車両の運転者の状態を推定する運転者状態推定装置であって、撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得する画像データ取得部と、前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定する停車状態判定部と、前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定する視覚刺激制御部と、前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出する有効視野角度導出部と、前記第１の有効視野角度を記憶する記憶部と、前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する運転者状態推定部と、を備える。
【００１２】
また、本発明の運転者状態推定方法は、表示領域を備えた車両の運転者の状態を推定する運転者状態推定方法であって、撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得し、前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定し、前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定し、前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出し、前記第１の有効視野角度を記憶し、前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する。
【発明の効果】
【００１３】
本発明の運転者状態推定装置及び運転者状態推定方法によれば、運転者の有効視野角度が時間的に変化する原因を具体的に特定した上で、運転者の状態を推定することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図２】第１の実施形態に係る運転者状態推定装置を示すブロック図
【図３】第１の実施形態に係る運転者状態推定装置の動作を説明するフローチャート
【図４】視覚刺激表示距離又は視覚刺激表示角度に基づく視覚刺激の表示に関する説明図
【図５】第１の実施形態に係る運転者状態推定装置の視覚刺激制御部の動作の詳細を説明するフローチャート
【図６】運転者状態を推定するための対比表の一例を示した図
【図７】第１の実施形態に係る運転者状態推定装置の運転者状態推定部の動作の詳細を説明するフローチャート
【図８】第２の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図９】第２の実施形態に係る運転者状態推定装置を示すブロック図
【図１０】第２の実施形態に係る運転者状態推定装置の動作を説明するフローチャート
【図１１】第３の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１２】第３の実施形態に係る運転者状態推定装置を示すブロック図
【図１３】第４の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１４】第４の実施形態に係る運転者状態推定装置を示すブロック図
【図１５】推定閾値と前景画像の空間周波数との関係の一例を示す図
【図１６】第５の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１７】第６の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１８】第７の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１９】第８の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図２０】第９の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１６】
（第１の実施形態）
図１は、第１の実施形態に係る運転者状態推定装置１００ａを含む運転者状態推定システム１ａの構成を示す。図１に示すように、運転者状態推定システム１ａは、運転者状態推定装置１００ａ、速度情報出力部２１０、表示部２３０、及び運転支援部２４０を有する。運転者状態推定装置１００ａは、停車状態判定部１０１ａ、画像データ取得部２２０、視覚刺激制御部１０２ａ、有効視野角度導出部１０３ａ、記憶部１０４ａ、及び運転者状態推定部１０５ａを有する。以下、運転者状態推定システム１ａは自動車等の車両に搭載されるものとして説明する。なお、当該車両を「自車両」、当該自車両の運転者を「運転者」と記載する。
【００１７】
速度情報出力部２１０は、自車両の速度に関する速度情報を、運転者状態推定装置１００ａに出力する。具体的には、速度情報出力部２１０は、変速機が有するトルクコンバータのタービン回転数や変速機の自車両軸の回転数等を、変速機から取得し、速度情報として運転者状態推定装置１００ａに出力する。または、速度情報出力部２１０は、自車両の速度を、車両に備えられた速度センサから取得し、速度情報として運転者状態推定装置１００ａに出力する。
【００１８】
表示部２３０は、例えば、自車両のフロントウィンドウの全部または一部のエリアである。表示部２３０には、運転者状態推定装置１００ａからの作用により、視覚的な刺激（以下、視覚刺激）が表示される。視覚刺激は、例えば、表示部２３０に表示される明滅する光点、単に表示され一定時間経過後に消える光点、シンボルマークなど、視覚で捉えられる情報である。なお、表示部２３０は、表示面、表示領域と称してもよい。
【００１９】
また、表示部２３０は、自車両のフロントウィンドウの全部又は一部に視覚刺激を表示するヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）でもよい。また、表示部２３０は、運転者が装着したヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）でもよい。
【００２０】
運転者状態推定装置１００ａは、取得された速度情報に基づき、自車両が停車状態か否かを判定する。すなわち、運転者状態推定装置１００ａは、自車両の走行状態について判定を行う。運転者状態推定装置１００ａは、停車状態であると判定した場合には、運転者の有効視野角度を算出する。運転者状態推定装置１００ａは、算出された有効視野角度と、過去の時点において算出された有効視野角度との比較により運転者の状態変化を推定し、運転者の状態変化の推定結果を示す推定結果情報を、運転支援部２４０に出力する。運転者状態推定装置１００ａの内部構成の詳細は、後述する。
【００２１】
運転支援部２４０は、推定結果情報に基づいて、運転者の運転動作を支援する。例えば、運転支援部２４０は、推定結果情報が「疲労状態」を示す場合、当該運転者に対して休憩を促す通知を行う。当該通知は、通知内容が表示部２３０に文字として表示されても、通知内容が音声で出力されてもよい。
【００２２】
また、例えば、運転支援部２４０は、推定結果情報が「疲労状態」又は「注意散漫状態」を示す場合、運転者に対する運転支援のレベルを上げる制御を行う。当該制御は、注意喚起をしたり、ブレーキ補助を行ったりする制御である。
【００２３】
注意喚起に関する運転支援の具体例を示す。例えば、自車両と通行人や先行車両との距離が所定の基準値以下であると判定されたことに応じて、運転者に対して注意喚起を示す情報を報知するように、運転支援部２４０が予め設定されている場合において、推定結果情報が「疲労状態」又は「注意散漫状態」を示す場合には、運転支援部２４０は、当該所定の基準値を高く再設定する。
【００２４】
ブレーキ補助に関する運転支援の具体例を示す。例えば、自車両と通行人や先行車両との距離が所定の基準値以下であると判定されたことに応じて、自動的にブレーキ補助を行うように、運転支援部２４０が予め設定されている場合において、推定結果情報が「疲労状態」又は「注意散漫状態」を示す場合には、運転支援部２４０は、当該所定の基準値を高く再設定する。
【００２５】
（運転者状態推定装置１００ａの内部構成）
図２は、運転者状態推定装置１００ａの構成図を示す。運転者状態推定装置１００ａは、停車状態判定部１０１ａ、画像データ取得部２２０、視覚刺激制御部１０２ａ、有効視野角度導出部１０３ａ、記憶部１０４ａ、及び運転者状態推定部１０５ａを有する。図３は、運転者状態推定装置１００ａの動作を説明するフローチャートを示す。以下、図２及び図３を参照して、第１の実施形態における運転者状態推定装置および方法について説明する。
【００２６】
停車状態判定部１０１ａは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ａは、速度情報に基づいて、自車両が停車状態であるか否かを判定する（Ｓ１０１）。
【００２７】
停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう（実施の形態２以降において同じ）。すなわち、停車状態判定部１０１ａは、自車両の速度が所定の速度以下であるかを判定する。当該所定の速度は、任意に設定可能であり、例えば時速５ｋｍである。
【００２８】
停車状態判定部１０１ａは、自車両が停車状態であると判定した場合には、停車状態である旨を示す制御情報を視覚刺激制御部１０２ａに出力する（Ｓ１０１のＹｅｓ）。停車状態判定部１０１ａは、自車両が停車状態ではないと判定した場合には、自車両が停車状態と判定されるまで待機する（Ｓ１０１のＮｏ）。
【００２９】
画像データ取得部２２０は、撮像系を有し、撮像系を用いて運転者の画像（以下、運転者画像）を撮像し、運転者画像データを視覚刺激制御部１０２ａに出力する。撮像系は、例えばカメラである。
【００３０】
画像データ取得部２２０は、運転者画像を所定時間ごとに撮像し、撮像された複数の運転者画像は、画像データ取得部２２０が有するメモリに、運転者画像データとして記憶される。ここで、撮像する所定時間の単位は、ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）で表現される。なお、メモリに記憶される運転者画像データのうち、撮像時から所定の時間が経過した運転者画像データは、自動的に消去されてもよい。なお、撮像された複数の運転者画像は、撮像時刻が付加された運転者画像データとしてメモリに記憶されるのが望ましい。
【００３１】
なお、画像データ取得部２２０は、自車両内に設置されても、自車両外に設置されてもよい。また、画像データ取得部２２０がメモリを有し、撮像された複数の運転者画像は、画像データ取得部２２０が有するメモリに運転者画像データとして記憶されるとしたが、その限りではない。すなわち、メモリは画像データ取得部２２０とは別に設けられ、例えば、運転者状態推定装置１００ａに含まれてもよい。以下では、画像データ取得部２２０がメモリを有するとして説明する。
【００３２】
視覚刺激制御部１０２ａは、停車状態である旨を示す制御情報を停車状態判定部１０１ａから取得したことに応じて、運転者画像データを画像データ取得部２２０から取得する。視覚刺激制御部１０２ａは、取得された運転者画像データに基づいて、運転者の視線方向およびアイポイントを導出する。視覚刺激制御部１０２ａは、表示部２３０において、視線方向およびアイポイントに基づいて定まる基準を特定し、当該基準に対して視野外側方向から視野内側方向に向けて視覚刺激を表示させる制御を行う（Ｓ１０２）。
【００３３】
視覚刺激制御部１０２ａが画像データ取得部２２０から取得する運転者画像データは、画像データ取得部２２０に記憶された運転者画像データのうち、最新に記憶された運転者画像データであることが望ましい。
【００３４】
なお、視覚刺激制御部１０２ａが取得する運転者画像データは、単数でもよく、また複数でもよい。複数の場合は、視覚刺激制御部１０２ａは、最新に記憶された運転者画像データ、および直近に記憶された複数の運転者画像データを取得する。以下の説明においては、単数であるとして説明する。
【００３５】
なお、視覚刺激制御部１０２ａは、運転者画像データから、運転者の瞳孔中心点および角膜反射中心点を検出し、瞳孔中心点と角膜反射中心点との位置関係に基づいて、運転者の視線方向を導出する。
【００３６】
なお、アイポイントは、運転者の左目と右目との中心点をいう。視覚刺激制御部１０２ａは、運転者画像データから、運転者の瞳孔位置とカメラとの距離を検出し、検出された運転者の瞳孔位置とカメラとの距離に基づいて、アイポイントを導出する。
【００３７】
図４は、運転者４００が自車両の前方方向を向いた場合における２次元の投影面を示す。図４において、運転者４００は上面図的に示されており、フロントウィンドウ３１０は、図１に示す表示部２３０の構成要素の全部または一部である。
【００３８】
図４に示すように、運転者４００のアイポイント４０１を中心点として、視線方向４１０を基準とした角度θｋの方向と、フロントウィンドウ３１０との交点位置に、視覚刺激は表示される。
【００３９】
ここで、θｋを視覚刺激表示角度と定義する。パラメータＬｋは、視線方向４１０と視覚刺激との水平方向における距離であり、視覚刺激表示距離と定義する。パラメータｋは、０≦ｋ≦ｎを満たす整数であり、パラメータｎは正の整数である。
【００４０】
また、運転者４００の視線方向４１０は、アイポイント４０１と運転者４００の注視点とを結ぶ直線方向である。視線方向は正面として説明する。中心視野位置３２０は、視線方向４１０と、フロントウィンドウ３１０との交点位置である。視野外側方向は、中心視野位置３２０から離れたエリアを見る方向を、視野内側方向は、中心視野位置３２０付近のエリアを見る方向をいう。
【００４１】
図５は、視覚刺激制御部１０２ａにおける、視覚刺激の制御方法を説明するフローチャートを示す。以下、図２、図４及び図５を参照して、視覚刺激制御部１０２ａが視覚刺激を表示部２３０に表示させる制御方法を説明する。
【００４２】
図２において、視覚刺激制御部１０２ａは、アイポイント４０１を中心点として視線方向４１０を基準とする、視覚刺激表示角度の初期値θ０を設定し（Ｓ１０２ａ）、初期値θ０を視覚刺激表示方向の角度として設定する（Ｓ１０２ｂ）。視覚刺激制御部１０２ａは、設定された視覚刺激表示方向と、フロントウィンドウ３１０との交点位置である視覚刺激表示位置を特定し（Ｓ１０２ｃ）、視覚刺激表示位置に視覚刺激を表示させる（Ｓ１０２ｄ）。
【００４３】
視覚刺激制御部１０２ａは、角度θ０の視覚刺激表示位置に視覚刺激を表示させることにより、表示終了条件が満たされるか否かを判定する（Ｓ１０２ｅ）。表示終了条件が満たされる場合とは、表示された視覚刺激が、運転者により視認された場合、または予め設定された視覚刺激表示角度に表示された場合をいう。
【００４４】
角度θ０の視覚刺激表示位置に表示された視覚刺激が、運転者により視認されたか否かを判定する方法について、以下に説明する。
【００４５】
視覚刺激制御部１０２ａは、視覚刺激表示位置に視覚刺激が表示されたことに応じて、画像データ取得部２２０から運転者画像データを取得する。ここで、視覚刺激制御部１０２ａが、視覚刺激が表示部２３０に表示されたことに応じて画像データ取得部２２０から取得する運転者画像データは、画像データ取得部２２０に記憶された運転者画像データのうち、最新に記憶された運転者画像データであることが望ましい。
【００４６】
なお、視覚刺激制御部１０２ａが、視覚刺激が表示部２３０に表示されたことに応じて取得する運転者画像データは、単数でもよく、また複数でもよい。複数の場合は、視覚刺激制御部１０２ａは、最新に記憶された運転者画像データ、および直近に記憶された複数の運転者画像データを取得する。以下の説明においては、単数であるとして説明する。
【００４７】
視覚刺激制御部１０２ａは、画像データ取得部２２０から取得した運転者画像データに基づいて運転者の視線方向を導出し、視覚刺激が表示された後における運転者の視線方向の角度と、視覚刺激表示角度とが同一、またはほぼ同一か否かを判定する。具体的には、当該視線方向の角度と、視覚刺激表示角度との差分が、予め設定された所定値以下であるか否かにより判定され、所定値以下である場合は、運転者は視覚刺激を視認したと判定され、所定値以上である場合は、運転者は視覚刺激を視認していないと判定される。
【００４８】
運転者４００が視覚刺激を視認したと判定された場合は、表示終了条件を満たし、視覚刺激制御部１０２ａは、視覚刺激の表示を終了する（Ｓ１０２ｅ：Ｙｅｓ）。一方、運転者４００が視覚刺激を視認していないと判定された場合は表示終了条件を満たさず（Ｓ１０２ｅ：Ｎｏ）、視覚刺激制御部１０２ａは、視覚刺激に対応する視覚刺激表示角度θｋを所定量小さくした角度θｋ＋１に変更する（Ｓ１０２ｆ）。
【００４９】
視覚刺激制御部１０２ａは、所定時間経過後、視覚刺激表示角度θｋ＋１に基づいて、視覚刺激表示方向の角度として再設定する（Ｓ１０２ｇ）。視覚刺激制御部１０２ａは、再設定された視覚刺激表示角度θｋ＋１の方向と、フロントウィンドウ３１０との交点位置である視覚刺激表示位置３４０を特定し（Ｓ１０２ｃ）、特定された視覚刺激表示位置３４０に視覚刺激を表示するように制御する。
【００５０】
なお、視覚刺激の表示は、視覚刺激表示角度の初期値θ０の方向と、フロントウィンドウ３１０との交点位置から、予め設定された視覚刺激表示角度θｎの方向と、フロントウィンドウ３１０との交点位置３５０まで繰り返される。視覚刺激表示角度θｎは、運転者４００の視野として十分に認識可能と認められる角度である。
【００５１】
なお、係る場合、図５に示す表示終了条件を判定する場合において、予め設定された視覚刺激表示角度θｎに、視覚刺激が表示されたと判定された場合には、視覚刺激の表示を終了する。
【００５２】
視覚刺激制御部１０２ａは、視覚刺激が運転者に視認されたと判定した場合、運転者の視線方向角度αｍ（ｍ：正の整数）を、有効視野角度導出部１０３ａに出力する。αｍは、θｎ≦αｍ≦θ０の条件を満たす。なお、添え字ｍは、時間的経過を示し、αｍはαｍ−１以降に取得された運転者の視線方向角度であり、αｍ−１はαｍ−２以降に取得された運転者の視線方向角度である。また、パラメータα０は、運転開始時に導出された運転者の有効視野角度である。なお、運転者の視線方向角度は、視覚刺激表示角度であってもよいし、運転者画像データから導出された運転者の視線方向の角度でもよい。
【００５３】
視覚刺激制御部１０２ａは、表示部２３０の視覚刺激表示角度θｎに視覚刺激が表示され、且つ運転者に視覚刺激が視認されなかったと判定された場合、運転者は視覚刺激を視認しなかったことを示す情報を有効視野角度導出部１０３ａに出力する。
【００５４】
有効視野角度導出部１０３ａは、視覚刺激制御部１０２ａから出力された視線方向角度αｍを取得する。有効視野導出部１０３ａは、取得された視線方向角度αｍを運転者の有効視野角度として導出する（Ｓ１０３）。
【００５５】
有効視野角度導出部１０３ａは、導出された有効視野角度αｍに基づいて有効視野角度関連情報５０を生成し、記憶部１０４ａに出力する。記憶部１０４ａは、有効視野角度関連情報５０を記憶する。一方、有効視野角度導出部１０３ａは、運転者の有効視野角度αｍに関する情報を運転者状態推定部１０５ａに出力する。
【００５６】
有効視野角度関連情報５０に関して説明する。有効視野角度関連情報５０は、有効視野角度導出部１０３ａにおいて導出された、運転者の有効視野角度αｍ、当該有効視野角度αｍが導出された導出日、導出時刻、導出場所、天候情報、運転者情報、運転開始時刻及び当該運転開始時刻からの経過時間等を含む。
【００５７】
具体的には、導出日及び導出時刻は、有効視野角度導出部１０３ａが運転者状態推定装置１００ａ内に不図示のタイマー部から取得した時刻情報で特定される。導出場所及び天候情報は、運転者状態推定装置１００ａ内に不図示のナビゲーション装置等から出力された情報により特定される。運転者情報は、例えば、記憶部１０４ａに予め記憶されているものとする。運転開始時刻は、自車両のエンジンが始動されたとき、一日の最初に自車両のエンジンが始動されたとき、又は運転者により所定のスイッチ等で入力されたときのいずれかのときに、不図示のタイマー部から出力された時刻情報により特定される。運転開始時刻からの経過時間は、上記した導出時刻と運転開始時刻との差分により特定される。
【００５８】
運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された運転者の有効視野角度αｍ、及び記憶部１０４ａが記憶している過去の有効視野角度関連情報５０を取得する。運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された有効視野角度αｍと、当該過去の有効視野角度関連情報５０に含まれる１つ以上の有効視野角度α（ｍ−ｐ）とを比較する。パラメータｐは、０≦ｐ≦ｍを満たす整数である。
【００５９】
運転者状態推定部１０５ａは、有効視野角度α（ｍ−ｐ）に対する有効視野角度αｍの変化量、変化方向、又は変化速度の少なくともいずれか一つに基づいて、運転者の状態を推定する（Ｓ１０５）。運転者状態推定部１０５ａは、この推定された運転者状態推定結果情報を運転支援部２４０に出力し（Ｓ１０６）、運転者状態推定装置１００ａの動作は終了する。
【００６０】
運転者状態推定部１０５ａが運転者の状態を推定する方法について説明する。図６は、有効視野角度α（ｍ−ｐ）に対する有効視野角度αｍの変化に基づいて、運転者の状態を推定するための対比情報の一例を示す。なお、対比情報は、運転者状態推定部１０５ａが予め記憶していてもよい。また、記憶部１０４ａが予め記憶しておき、運転者状態推定部１０５ａが記憶部１０４ａから取得してもよい。
【００６１】
図６において、パラメータｍは「４」と、パラメータｐは「３」と設定された例を示す。図６において、例えば、運転開始時の有効視野角度α０に対する、最新の情報である有効視野角度α４の比の値が、閾値β１以下である場合、数１が成立する。
【００６２】
【数１】
【００６３】
また、図６において、最新の情報である有効視野角度α４が、運転開始以後の所定の時点における有効視野角度α１に比べて小さく、更に当該所定の時点より後に導出された有効視野角度α３に比べて小さい場合、数２が成立する。
【００６４】
【数２】
【００６５】
更に、図６において、最新の情報である有効視野角度α４と、直前３回の全ての有効視野角度（α１、α２、α３）との比の値が、いずれも閾値β２よりも非常に小さい場合には、数３が成立する。
【００６６】
【数３】
【００６７】
図６において、閾値β１は、運転者状態推定部１０５ａによる運転者状態の推定の際に、運転者が疲労状態か否かを推定するためのパラメータである。また、閾値β２は、運転者状態推定部１０５ａによる運転者状態の推定の際に、運転者が注意散漫状態か否かを推定するためのパラメータである。
【００６８】
数１が成立しない場合には、正常状態の要件が満たされる。この場合には、運転者は正常状態であると推定され、運転者状態推定部１０５ａは、運転者は正常状態である旨の推定結果情報を運転支援部２４０に出力する。
【００６９】
数１が成立するが数２及び数３が成立しない場合には、要注意状態の要件が満たされる。この場合には、運転者は要注意状態であると推定され、運転者状態推定部１０５ａは、運転者は要注意状態である旨の推定結果情報を運転支援部２４０に出力する。
【００７０】
数１及び数２が共に成立する場合には、疲労状態の要件が満たされる。この場合には、運転者は疲労状態であると推定され、運転者状態推定部１０５ａは、運転者は疲労状態である旨の推定結果情報を運転支援部２４０に出力する。
【００７１】
数３が成立する場合には、注意散漫状態の要件が満たされる。この場合には、運転者は一時的に他の視対象に注意が向いている注意散漫状態であると推定され、運転者状態推定部１０５ａは、運転者は注意散漫状態である旨の推定結果情報を運転支援部２４０に出力する。なお、運転者状態推定部１０５ａから出力された推定結果情報は、有効視野角度関連情報５０に含めて記憶されても構わない。
【００７２】
運転者状態推定部１０５ａが図６に示す対比情報に基づいて運転者状態を推定する処理について、図７を参照して説明する。図７は、運転者状態推定部１０５ａによる動作の詳細を説明するフローチャートである。
【００７３】
運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された有効視野角度αｍ、及び記憶部１０４ａに記憶された過去の有効視野角度関連情報５０をそれぞれ取得する。運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された有効視野角度αｍと、当該過去の有効視野角度関連情報５０に含まれる有効視野角度α（ｍ−ｐ）とを比較する。
【００７４】
任意の時点において導出された単一の有効視野角度の絶対値のみで運転者状態を推定するのは効率的ではない。有効視野角度は、運転者又は当該有効視野角度の導出時の運転状況等により異なるためである。したがって、第１の実施形態では、ある時点において導出された有効視野角度、及び当該時点よりも過去の運転開始時に導出された有効視野角度の少なくとも２つの有効視野角度の相対的な変化量に基づいて運転者状態が推定される。少なくとも２つの有効視野角度の相対的な変化量に基づいて推定された運転者状態は、単一の有効視野角度に基づいて推定される運転者状態に比べて正確性が非常に高いといえる。後述の各実施形態においても同様である。
【００７５】
運転者状態推定部１０５ａは、運転開始時の有効視野角度α０に対する最新の情報である有効視野角度αｍの比の値が閾値β１以下であるか否かを判定する（Ｓ１０５ａ）。運転開始時の有効視野角度α０に対する最新の情報である有効視野角度αｍの比の値が閾値β１よりも大きい場合（Ｓ１０５ａのＮＯ）、運転者状態推定部１０５ａは、運転者は正常状態であると推定し（Ｓ１０５ｂ）、運転者状態推定部１０５ａの動作は終了する。
【００７６】
運転開始時の有効視野角度α０に対する最新の情報である有効視野角度αｍの比の値が閾値β１以下である場合（Ｓ１０５ａのＹＥＳ）、運転者状態推定部１０５ａは、最新の情報である有効視野角度αｍと、直前３回の全ての有効視野角度（αｍ−３、αｍ−２、αｍ−１）との比の値がそれぞれ閾値β２よりも非常に小さいか否かを判定する（Ｓ１０５ｃ）。
【００７７】
最新の情報である有効視野角度αｍと、直前３回の全ての有効視野角度（αｍ−３、αｍ−２、αｍ−１）との比の値がそれぞれ閾値β２よりも非常に小さい場合（Ｓ１０５ｃのＹＥＳ）、運転者状態推定部１０５ａは、運転者は注意散漫状態であると推定し（Ｓ１０５ｄ）、運転者状態推定部１０５ａの動作は終了する。
【００７８】
最新の情報である有効視野角度αｍと、直前３回の全ての有効視野角度（αｍ−３、αｍ−２、αｍ−１）との比がそれぞれ閾値β２より非常に小さい値ではない場合（Ｓ１０５ｃのＮＯ）、運転者状態推定部１０５ａは、運転開始時の有効視野角度α０と、運転開始後の任意の時刻における有効視野角度α２と、最新の情報である有効視野角度αｍとを比較する（Ｓ１０５ｅ）。この比較により、運転者状態推定部１０５ａは、最新の情報である有効視野角度αｍが運転開始時の有効視野角度α０から徐々に小さくなっているか否かを判定する（Ｓ１０５ｆ）。
【００７９】
最新の情報である有効視野角度αｍが、運転開始時の有効視野角度α０から徐々に小さくなっていると判定された場合（Ｓ１０５ｆのＹＥＳ）、運転者状態推定部１０５ａは、運転者は疲労状態であると推定し（Ｓ１０５ｇ）、運転者状態推定部１０５ａの動作は終了する。
【００８０】
最新の情報である有効視野角度αｍが、運転開始時の有効視野角度α０から徐々に小さくなっているわけではないと判定された場合には（Ｓ１０５ｆのＮＯ）、運転者状態推定部１０５ａは、運転者状態は要注意状態と推定し（Ｓ１０５ｈ）、運転者状態推定部１０５ａの動作は終了する。
【００８１】
以上のように、第１の実施形態の運転者状態推定装置１００ａでは、自車両が停車中の状態が判定され、停車状態と判定された場合に視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件（図６参照）に応じて、運転者の状態が推定される。
【００８２】
したがって、第１の実施形態の運転者状態推定装置１００ａは、経時的に導出された運転者の有効視野角度の相対的な変化量の比較により推定された推定結果情報を、運転者の有効視野角度が時間的に変化する原因と特定することができる。更に、第１の実施形態の運転者状態推定装置１００ａでは、自車両が停車状態である場合に有効視野角度が導出される。このため、運転者の中心視野方向を見る負荷はほぼ一定となり、外的要因に基づく有効視野角度の時間的に変化する原因が排除された状態で、有効視野角度が時間的に変化する原因を具体的に特定することができる。
【００８３】
また、単一のある時点における運転者の視覚刺激の視認有無に応じた運転者の有効視野角度に基づく運転者状態は推定されない。少なくとも２つの時点における運転者の視覚刺激角度の視認有無に応じた運転者の有効視野角度の相対変化量に基づく運転者状態が推定される。このため、有効視野角度の時間的な相対変化の発生要因が推定結果情報により判明するため、運転者の推定結果情報は当該情報の正確性が高い。
【００８４】
更に、視野外側方向から視野内側方向に向かって所定時間間隔で視覚刺激が順番に表示されたときの運転者の視認有無に応じて運転者の有効視野角度が導出される。このため、注意散漫状態であるのか、疲労状態であるのか、要注意状態であるのか等、有効視野角度の変化の過程を考慮して運転者の状態を推定することができる。また、この推定された運転者の状態を、より適切な運転支援に活かすことができる。
【００８５】
なお、上記の説明では、視覚刺激制御部１０２ａは、画像データ取得部２２０に記憶された運転者画像データのうち、最新に記憶された運転者画像データを取得するとして説明したが、この限りではない。運転者状態推定装置１００ａは図示しないタイマー部を備え、停車状態である旨を示す制御情報を取得した時刻をタイマー部により管理し、停車状態である旨を示す制御情報を取得した時刻、または所定の時間経過前もしくは後の時刻における運転者画像データを、画像データ取得部２２０から取得するとしてもよい。
【００８６】
なお、画像データ取得部２２０は、３次元情報を取得できるステレオカメラや複眼カメラを備えることが望ましい。なお、上記の説明においては、運転者の視線方向およびアイポイントは、視覚刺激制御部１０２ａにおいて算出されるとして説明したが、その限りではない。すなわち、画像データ取得部２２０が、視線方向のベクトル、またはｘ方向、ｙ方向、及びｚ方向の角度、およびカメラにおける所定の基準座標に対する瞳孔位置の相対座標における位置を出力してもよい。
【００８７】
なお、以上の説明においては、視覚刺激制御部１０２ａが画像データ取得部２２０から取得する運転者画像データは単数であるとして説明したが、その限りではない。すなわち、取得された運転者画像データが複数である場合、視覚刺激制御部１０２ａは、複数の運転者画像データに基づいて、運転者の視線方向およびアイポイントの導出、または運転者が視覚刺激を視認したか否かの判定をすることができる。具体的には、複数の運転者画像データから導出された運転者の視線方向およびアイポイントを平均化処理してもよい。また、複数の運転者画像データに基づいて運転者の視線方向の変化を検知し、検知結果に基づいて、運転者が視覚刺激を認識したか否かを判定してもよい。
【００８８】
（第２の実施形態）
第２の実施形態に係る運転者状態推定装置１００ｂを含む運転者状態推定システム１ｂについて図８を参照して説明する。図８は、第２の実施形態に係る運転者状態推定装置１００ｂを含む運転者状態推定システム１ｂの構成を示すシステム構成図である。図８において、図１と同じ構成要素については同じ符号を用いる。以下、第２の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【００８９】
図８に示すように、運転者状態推定システム１ｂは、運転者状態推定装置１００ｂ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び通信部２６０を有する。運転者状態推定装置１００ｂの内部構成は後述する。
【００９０】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｂに出力する。
【００９１】
表示部２３０、運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【００９２】
前景撮像用カメラ部２５０は、前景画像を所定時間ごとに撮像し、撮像された複数の前景画像データが前景撮像用カメラ部２５０に含まれるメモリに記憶される。ここで、撮像する所定時間の単位は、ｆｐｓで表現される。なお、メモリに記憶される前景画像データのうち、撮像時から所定の時間が経過した前景画像データは、自動的に消去されてもよい。前景撮像用カメラ部２５０は、撮像された前景画像を、運転者状態推定装置１００ｂに出力する。
【００９３】
なお、前景撮像用カメラ部２５０は、運転者状態推定装置１００ｂから出力された制御情報に基づいて撮像してもよい。
【００９４】
また、前景撮像用カメラ部２５０がメモリを有し、撮像された複数の前景画像は、前景撮像用カメラ部２５０が有するメモリに前景画像データとして記憶されるとしたが、その限りではない。すなわち、メモリは前景撮像用カメラ部２５０とは別に設けられ、例えば、視覚刺激制御部１０２ｂに含まれてもよい。以下では、前景撮像用カメラ部２５０がメモリを有するとして説明する。
【００９５】
通信部２６０は、運転者状態推定装置１００ｂからの指示に基づいて、不図示の信号機と無線で通信し、信号機における赤信号状態の残り時間に関する時間情報を取得する。通信部２６０は、赤信号状態の残り時間に関する時間情報を運転者状態推定装置１００ｂに出力する。
【００９６】
（運転者状態推定装置の内部構成）
図９は、第２の実施形態の運転者状態推定装置１００ｂの内部構成を示す。図９に示すように、運転者状態推定装置１００ｂは、停車状態判定部１０１ｂ、画像データ取得部２２０、視覚刺激制御部１０２ｂ、有効視野角度導出部１０３ｂ、記憶部１０４ｂ、運転者状態推定部１０５ｂ、及び信号機状態判定部１０６を有する。図１０は、図９に示す運転者状態推定装置１００ｂの動作を説明するフローチャートを示す。以下、第２の実施形態における運転者状態推定装置および方法の説明をする。
【００９７】
停車状態判定部１０１ｂは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ｂは、速度情報に基づいて、自車両が停車状態であるか否かを判定する（Ｓ２０１）。ここで、停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう。
【００９８】
停車状態判定部１０１ｂは、自車両が停車状態であると判定した場合には、停車状態である旨を示す制御情報を、信号機状態判定部１０６に出力する（Ｓ２０１のＹｅｓ）。停車状態判定部１０１ｂは、自車両が停車状態ではないと判定した場合には、自車両が停車状態と判定されるまで待機する（Ｓ２０１のＮｏ）。
【００９９】
信号機状態判定部１０６は、停車状態である旨を示す制御情報を停車状態判定部１０１ｂから取得したことに応じて、前景画像データを前景撮像用カメラ部２５０から取得する。信号機状態判定部１０６は、取得された前景画像データに基づいて、前景画像に信号機が含まれるか否かを判定し、信号機が含まれる場合は、赤信号状態であるか否かを判定する（Ｓ２０２）。
【０１００】
信号機状態判定部１０６が前景撮像用カメラ部２５０から取得する前景画像データは、前景撮像用カメラ部２５０に記憶された前景画像データのうち、最新に記憶された前景画像データであることが望ましい。
【０１０１】
なお、信号機状態判定部１０６が取得する前景画像データは、単数でもよく、また複数でもよい。複数の場合は、信号機状態判定部１０６は、最新に記憶された前景画像データ、および直近に記憶された複数の前景画像データを取得する。以下の説明においては、単数であるとして説明する。
【０１０２】
信号機状態判定部１０６は、撮像された前景画像の信号機が赤信号状態であると判定した場合には、信号機と無線で通信する旨を示す制御情報を、通信部２６０に出力する。信号機状態判定部１０６は、通信部２６０を介して、赤信号状態の残り時間に関する時間情報を取得する。
【０１０３】
信号機状態判定部１０６は、取得された赤信号状態の残り時間に関する時間情報に基づいて、残り時間が予め設定された所定時間以上であるかを判定する。信号機状態判定部１０６は、残り時間が所定時間以上であると判定した場合、信号機が赤信号状態である旨を示す制御情報を視覚刺激制御部１０２ｂに出力する（Ｓ２０２のＹｅｓ）。
【０１０４】
信号機状態判定部１０６は、前景画像データにおいて赤信号が認識されない場合、又は、当該赤信号状態の残り時間が当該所定時間未満と判定された場合には、赤信号状態の残り時間が予め設定された所定時間以上であると判定されるまで待機する（Ｓ２０２のＮｏ）。
【０１０５】
視覚刺激制御部１０２ｂは、赤信号状態である旨を示す制御情報を信号機状態判定部１０６から取得したことに応じて、運手者画像データを画像データ取得部２２０から取得する。視覚刺激制御部１０２ｂの動作については、実施の形態１において説明したため、以降の処理フローは説明を省略する（Ｓ１０２）。
【０１０６】
また、画像データ取得部２２０、有効視野角度導出部１０３ｂ、記憶部１０４ｂ、及び運転者状態推定部１０５ｂの機能は、実施の形態１において説明したため、説明を省略する。
【０１０７】
以上のように、第２の実施形態の運転者状態推定装置１００ｂでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１０８】
したがって、第２の実施形態の運転者状態推定装置１００ｂは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１０９】
（第３の実施形態）
第３の実施形態に係る運転者状態推定装置１００ｃを含む運転者状態推定システム１ｃについて図１１を参照して説明する。図１１は、第３の実施形態に係る運転者状態推定装置１００ｃを含む運転者状態推定システム１ｃの構成を示すシステム構成図である。図１１において、図１と同じ構成要素については同じ符号を用いる。以下、第３の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【０１１０】
図１１に示すように、運転者状態推定システム１ｃは、運転者状態推定装置１００ｃ、速度情報出力部２１０、表示部２３０、運転支援部２４０、及び照度センサ２７０を有する。運転者状態推定装置１００ｃの内部構成は後述する。
【０１１１】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｃに出力する。
【０１１２】
表示部２３０、運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【０１１３】
照度センサ２７０は、自車両に設置されるセンサであり、自車両の周囲の明るさを所定時間ごとに計測する。照度センサ２７０は、計測された自車両の周囲の明るさに関する情報を運転者状態推定装置１００ｃに出力する。なお、照度センサ２７０は、運転者状態推定装置１００ｃからの指示に基づいて、自車両の周囲の明るさを計測してもよい。
【０１１４】
（運転者状態推定装置の内部構成）
図１２は、第３の実施形態の運転者状態推定装置１００ｃの内部構成を示す。図１２に示すように、運転者状態推定装置１００ｃは、停車状態判定部１０１ｃ、画像データ取得部２２０、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、記憶部１０４ｃ、運転者状態推定部１０５ｃ、及びコントラスト調整部１０７を有する。以下、第３の実施形態における運転者状態推定装置および方法の説明をする。
【０１１５】
停車状態判定部１０１ｃは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ｃは、速度情報に基づいて、自車両が停車状態であるか否かを判定する。ここで、停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう。
【０１１６】
コントラスト調整部１０７は、照度センサ２７０から出力された自車両の周囲の明るさに関する情報を取得する。コントラスト調整部１０７は、取得された自車両の周囲の明るさに関する情報に応じて、自車両の周囲の明るさと、視覚刺激制御部１０２ｃにより表示される視覚刺激との輝度コントラストが一定になるように制御する。
【０１１７】
具体的には、コントラスト調整部１０７は、視覚刺激制御部１０２ｃにより表示される視覚刺激と、照度センサ２７０により出力された自車両の周囲の明るさとの比の値が一定になるように、視覚刺激の表示輝度を調整する。例えば、昼間等で自車両の周囲が明るい場合には、視覚刺激の輝度が大きくなるような調整がなされる。一方、夜間等で自車両の周囲が暗い場合には、視覚刺激の輝度が小さくなるような調整がなされる。
【０１１８】
コントラスト調整部１０７は、調整された視覚刺激の輝度に関する情報、及び調整された視覚刺激の輝度に応じて視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２ｃに出力する。
【０１１９】
視覚刺激制御部１０２ｃは、コントラスト調整部１０７により出力された視覚刺激の輝度に応じて視覚刺激を表示する旨の制御情報を取得する。視覚刺激制御部１０２ｂは、この取得された制御情報に応じて、運転者の視野外側方向から視野内側方向に向けて所定時間間隔で順番に、コントラスト調整部１０７により調整された視覚刺激の輝度に対応した視覚刺激を表示部２３０に表示させる。
【０１２０】
なお、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、記憶部１０４ｃ、及び運転者状態推定部１０５ｃの機能は、実施の形態１における機能とそれぞれ同じであるため、説明を省略する。
【０１２１】
以上のように、第３の実施形態の運転者状態推定装置１００ｃでは、自車両の周囲の明るさを考慮して、視覚刺激のコントラストを調整して表示部２３０に表示させるため、第３の実施形態の運転者状態推定装置１００ｃは、第１の実施形態の運転者状態推定装置１００ａに比べて、より正確に運転者の状態を推定することができる。
【０１２２】
（第４の実施形態）
第４の実施形態に係る運転者状態推定装置１００ｄを含む運転者状態推定システム１ｄについて図１３を参照して説明する。図１３は、第４の実施形態に係る運転者状態推定装置１００ｄを含む運転者状態推定システム１ｄの構成を示すシステム構成図である。図１３において、図１と同じ構成要素については同じ符号を用いる。以下、第４の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【０１２３】
図１３に示すように、運転者状態推定システム１ｄは、運転者状態推定装置１００ｄ、速度情報出力部２１０、表示部２３０、運転支援部２４０、及び前景撮像用カメラ２５０を有する。運転者状態推定装置１００ｄの内部構成は後述する。
【０１２４】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｄに出力する。
【０１２５】
表示部２３０、及び運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【０１２６】
また、前景撮像用カメラ部２５０の機能は、実施の形態２において説明したとおりであるため、説明を省略する。
【０１２７】
（運転者状態推定装置の内部構成）
図１４は、第４の実施形態の運転者状態推定装置１００ｄの内部構造を示す。図１４に示すように、運転者状態推定装置１００ｄは、停車状態判定部１０１ｄ、画像データ取得部２２０、視覚刺激制御部１０２ｄ、有効視野角度導出部１０３ｄ、記憶部１０４ｄ、運転者状態推定部１０５ｄ、及び閾値調整部１０８を有する。以下、第４の実施形態における運転者状態推定装置および方法の説明をする。
【０１２８】
停車状態判定部１０１ｄは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ｄは、速度情報に基づいて、自車両が停車状態であるか否かを判定する。ここで、停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう。
【０１２９】
画像データ取得部２２０、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、及び記憶部１０４ｃの機能は、実施の形態１における機能とそれぞれ同じであるため、説明を省略する。
【０１３０】
閾値調整部１０８は、前景撮像用カメラ２５０から出力された前景画像データを取得する。閾値調整部１０８は、取得された前景画像データが示す前景画像の複雑さに応じて、運転者状態を推定するための閾値β１を調整する。具体的には、閾値調整部１０８は、前景撮像用カメラ部２５０から出力された前景画像データに基づいて、前景画像の空間周波数を抽出する。前景画像の空間周波数は、前景画像の複雑さを示すパラメータである。一般に、画像の空間周波数が低いと、当該画像は複雑ではないとされる。また、画像の空間周波数が高いと、画像は複雑であるとされる。閾値調整部１０８は、前景画像の空間周波数と推定閾値との関係に従って、抽出された空間周波数に対応した推定閾値を決定する。なお、この閾値β１は、第１の実施形態と同様である。
【０１３１】
前景画像の空間周波数と閾値β１との関係について、図１５を参照して説明する。図１５は、閾値と前景画像の空間周波数との関係の一例を示した図面である。図１５において、前景画像の空間周波数が低いとき、運転者状態を推定するための閾値β１は大きい値に調整される。一方、前景画像の空間周波数が高いとき、閾値β１は小さい値に調整される。閾値調整部１０８は、調整された閾値に関する情報を運転者状態推定部１０５ｄに出力する。また、閾値調整部１０８による閾値の調整の処理は、運転者状態推定部１０５ｄによる運転者状態の推定の処理の前に行われていれば良い。
【０１３２】
運転者状態推定部１０５ｄは、閾値調整部１０８から出力された閾値に関する情報を取得する。運転者状態推定部１０５ｄは、有効視野角度導出部１０３ｄから出力された運転者の有効視野角度αｍ、及び記憶部から過去の有効視野角度関連情報５０をそれぞれ取得する。以降の処理は、実施の形態１と同様であるため、説明を省略する。
【０１３３】
以上のように、第４の実施形態の運転者状態推定装置１００ｄでは、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１３４】
なお、前景画像の空間周波数と推定閾値との関係は、図１５に示した関係に限定されない。例えば、抽出された空間周波数の値が所定の範囲の場合に推定閾値が所定量調整されても良い。
【０１３５】
（第５の実施形態）
次に、第５の実施形態に係る運転者状態推定装置１００ｅを含む運転者状態推定システム１ｅについて図１６を参照して説明する。図１６は、第５の実施形態に係る運転者状態推定装置１００ｅを含む運転者状態推定システム１ｅの構成を示すシステム構成図である。図１６において、図１と同じ構成要素については同じ符号を用いる。以下、第５の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【０１３６】
図１６に示すように、運転者状態推定システム１ｅは、運転者状態推定装置１００ｅ、速度情報出力部２１０、表示部２３０、運転支援部２４０及びナビゲーション装置２８０を有する。運転者状態推定装置１００ｅの内部構成は、図１に示した運転者状態推定装置１００ａと同様である。
【０１３７】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｅに出力する。
【０１３８】
表示部２３０、及び運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【０１３９】
ナビゲーション装置２８０は、自車両に設置され、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能に基づいて自車両が走行している走行道路情報を当該自動車の動作中において認識し、この認識されている走行道路情報を運転者状態推定部１００ｅに出力する。また、ナビゲーション装置２８０は、有効視野角度の導出場所及び天候情報を運転者状態推定装置１００ｅに出力しても良い。
【０１４０】
（運転者状態推定装置の内部構成）
図１６に示すように、運転者状態推定装置１００ｅは、停車状態判定部１０１ｅ、画像データ取得部２２０、視覚刺激制御部１０２ｅ、有効視野角度導出部１０３ｅ、記憶部１０４ｅ及び運転者状態推定部１０５ｅを有する。以下、第１の実施形態の運転者状態推定装置１００ａの各構成要素と同一の動作を行う構成要素の説明は省略する。
【０１４１】
停車状態判定部１０１ｅは、速度情報出力部２１０から出力された自車両の速度情報、及び、ナビゲーション装置２８０から出力された走行道路情報をそれぞれ取得する。停車状態判定部１０１ｅは、速度情報及び走行道路情報に基づいて、所定の道路を所定の速度で走行しているか否かを判定する。ここで、所定の道路とは、高速道路の様に自車両がほぼ一定の速度で走行することが期待される道路である。また、所定の速度範囲とは、例えば、８０［ｋｍ］／ｈ［時間］±５［ｋｍ］／ｈ［時間］である。
【０１４２】
停車状態判定部１０１ｅは、所定の道路を所定のほぼ一定速度で走行している状態であると判定した場合、停車状態判定部１０１ｅは、視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２ｅに出力する。所定の道路を所定のほぼ一定速度で走行している状態ではない場合には、停車状態判定部１０１ｅは、所定の道路を所定の速度で走行している状態であると判定されるまで待機する。
【０１４３】
なお、画像データ取得部２２０、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、記憶部１０４ｃ、及び運転者状態推定部１０５ｃの機能は、実施の形態１における機能とそれぞれ同じであるため、説明を省略する。
【０１４４】
なお、記憶部１０４ｅは、第１の実施形態の有効視野角度関連情報５０に加え、「走行速度」及び「走行道路」等の情報を含めて有効視野角度関連情報５０として記憶しても良い。
【０１４５】
なお、運転者状態推定部１０５ｅは、例えば、図６に示した対比表を用いて、導出された有効視野角度の相対的な変化量に基づいて運転者状態を推定する。また、第１の実施形態における「運転開始時の有効視野角度α０」は、第５の実施形態においては「高速道路の走行開始時の有効視野角度α０」と読み替える。
【０１４６】
以上のように、第５の実施形態の運転者状態推定装置１００ｅでは、自車両が所定の道路を所定の速度で走行している状態が判定され、当該状態と判定された場合に視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野が導出されて記憶される。自車両が所定の道路を所定の速度で走行している状態と判定される度に、運転者の有効視野が導出されるため、有効視野の相対的な変化量と運転者状態との関係が定められた所定の条件（図６参照）に応じて、運転者の状態が推定される。
【０１４７】
したがって、第５の実施形態の運転者状態推定装置１００ｅは、経時的に導出された運転者の有効視野の相対的な変化量の比較により推定された運転者状態推定結果情報を、運転者の有効視野の経時変化の発生要因と特定することができる。更に、第５の実施形態の運転者状態推定装置１００ｅでは、自車両が所定の道路を所定の速度で走行している状態である場合に有効視野が導出される。このため、運転者の中心視野方向を見る負荷はほぼ一定となり、高速道路走行中などの停車しない状況であっても、外的要因に基づく有効視野の経時変化の影響を受けずに、有効視野の経時変化の発生要因を具体的に特定することができる。
【０１４８】
（第６の実施形態）
第６の実施形態に係る運転者状態推定装置１００ｆを含む運転者状態推定システム１ｆについて、図１７を参照して説明する。図１７は、第６の実施形態に係る運転者状態推定装置１００ｆを含む運転者状態推定システム１ｆの構成を示すシステム構成図である。図１７において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第６の実施形態では、第１の実施形態ないし第５の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１４９】
図１７に示すように、運転者状態推定システム１ｆは、運転者状態推定装置１００ｆ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０を有する。運転者状態推定装置１００ｆの内部構成は後述する。
【０１５０】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｆに出力する。
【０１５１】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０は、それぞれ実施の形態１ないし実施の形態４における各部と同様の機能を有するため、説明を省略する。
【０１５２】
運転者状態推定装置１００ｆは、停車状態判定部１０１ｆ、画像データ取得部２２０、視覚刺激制御部１０２ｆ、有効視野角度導出部１０３ｆ、記憶部１０４ｆ、運転者状態推定部１０５ｆ、信号機状態判定部１０６、コントラスト調整部１０７を有する。
【０１５３】
停車状態判定部１０１ｆ、画像データ取得部２２０、視覚刺激制御部１０２ｆ、有効視野角度導出部１０３ｆ、記憶部１０４ｆ、運転者状態推定部１０５ｆ、信号機状態判定部１０６、コントラスト調整部１０７の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１５４】
以上のように、第６の実施形態の運転者状態推定装置１００ｆでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１５５】
したがって、第６の実施形態の運転者状態推定装置１００ｆは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１５６】
さらに、自車両の周囲の明るさを考慮して、視覚刺激のコントラストを調整して表示部２３０に表示させるため、第６の実施形態の運転者状態推定装置１００ｆは、第１の実施形態の運転者状態推定装置１００ａに比べて、より正確に運転者の状態を推定することができる。
【０１５７】
（第７の実施形態）
第７の実施形態に係る運転者状態推定装置１００ｇを含む運転者状態推定システム１ｇについて、図１８を参照して説明する。図１８は、第７の実施形態に係る運転者状態推定装置１００ｇを含む運転者状態推定システム１ｇの構成を示すシステム構成図である。図１８において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第７の実施形態では、第１の実施形態ないし第４の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１５８】
図１８に示すように、運転者状態推定システム１ｇは、運転者状態推定装置１００ｇ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び通信部２６０を有する。運転者状態推定装置１００ｇの内部構成は後述する。
【０１５９】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｇに出力する。
【０１６０】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び通信部２６０は、それぞれ実施の形態１ないし実施の形態６における各部と同様の機能を有するため、説明を省略する。
【０１６１】
運転者状態推定装置１００ｇは、停車状態判定部１０１ｇ、画像データ取得部２２０、視覚刺激制御部１０２ｇ、有効視野角度導出部１０３ｇ、記憶部１０４ｇ、運転者状態推定部１０５ｇ、信号機状態判定部１０６、閾値調整部１０８を有する。
【０１６２】
停車状態判定部１０１ｇ、画像データ取得部２２０、視覚刺激制御部１０２ｇ、有効視野角度導出部１０３ｇ、記憶部１０４ｇ、運転者状態推定部１０５ｇ、信号機状態判定部１０６、閾値調整部１０８の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１６３】
以上のように、第７の実施形態の運転者状態推定装置１００ｇでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１６４】
したがって、第７の実施形態の運転者状態推定装置１００ｇは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１６５】
さらに、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１６６】
（第８の実施形態）
第８の実施形態に係る運転者状態推定装置１００ｈを含む運転者状態推定システム１ｈについて、図１９を参照して説明する。図１９は、第８の実施形態に係る運転者状態推定装置１００ｈを含む運転者状態推定システム１ｈの構成を示すシステム構成図である。図１９において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第８の実施形態では、第１の実施形態ないし第４の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１６７】
図１９に示すように、運転者状態システム１ｈは、運転者状態推定装置１００ｈ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び照度センサ２７０を有する。運転者状態推定装置１００ｈの内部構成は後述する。
【０１６８】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｈに出力する。
【０１６９】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び照度センサ２７０は、それぞれ実施の形態１ないし実施の形態４における各部と同様の機能を有するため、説明を省略する。
【０１７０】
運転者状態推定装置１００ｈは、停車状態判定部１０１ｈ、画像データ取得部２２０、視覚刺激制御部１０２ｈ、有効視野角度導出部１０３ｈ、記憶部１０４ｈ、運転者状態推定部１０５ｈ、コントラスト調整部１０７、および閾値調整部１０８を有する。
【０１７１】
運転者状態推定装置１００ｈは、停車状態判定部１０１ｈ、画像データ取得部２２０、視覚刺激制御部１０２ｈ、有効視野角度導出部１０３ｈ、記憶部１０４ｈ、運転者状態推定部１０５ｈ、コントラスト調整部１０７、および閾値調整部１０８の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１７２】
したがって、第８の実施形態の運転者状態推定装置１００ｈは、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１７３】
さらに、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１７４】
（第９の実施形態）
第９の実施形態に係る運転者状態推定装置１００ｋを含む運転者状態推定システム１ｋについて、図２０を参照して説明する。図２０は、第９の実施形態に係る運転者状態推定装置１００ｋを含む運転者状態推定システム１ｋの構成を示すシステム構成図である。図２０において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第９の実施形態では、第１の実施形態ないし第４の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１７５】
図２０に示すように、運転者状態推定システム１ｋは、運転者状態推定装置１００ｋ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０を有する。運転者状態推定装置１００ｈの内部構成は後述する。
【０１７６】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｋに出力する。
【０１７７】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０は、それぞれ実施の形態１ないし実施の形態４における各部と同様の機能を有するため、説明を省略する。
【０１７８】
運転者状態推定装置１００ｋは、停車状態判定部１０１ｋ、画像データ取得部２２０、視覚刺激制御部１０２ｋ、有効視野角度導出部１０３ｋ、記憶部１０４ｋ、運転者状態推定部１０５ｋ、コントラスト調整部１０７、および閾値調整部１０８を有する。
【０１７９】
運転者状態推定装置１００ｋは、停車状態判定部１０１ｋ、画像データ取得部２２０、視覚刺激制御部１０２ｋ、有効視野角度導出部１０３ｋ、記憶部１０４ｋ、運転者状態推定部１０５ｋ、コントラスト調整部１０７、および閾値調整部１０８の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１８０】
以上のように、第９の実施形態の運転者状態推定装置１００ｋでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１８１】
したがって、第９の実施形態の運転者状態推定装置１００ｋは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１８２】
したがって、第９の実施形態の運転者状態推定装置１００ｋは、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１８３】
さらに、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１８４】
以上、添付図面を参照しながら各種の実施形態について説明したが、本発明の入力装置はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１８５】
また、上記した各実施形態における停車状態判定部１０１ａ，１０１ｂ，１０１ｃ、１０１ｄ、及び１０１ｅが視覚刺激の表示を開始させるための条件は、単位時間あたりの視覚情報量が所定量となる状態であっても構わない。例えば、前景撮像用カメラ部２５０により撮像された自車両の走行方向の前景画像における空間周波数が予め定められた所定の範囲内にあると閾値調整部１０８により判定されたとする。この場合に限って、停車状態判定部１０１ｄは、視覚刺激制御部１０２ｄが視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２ｄに出力しても良い。
【０１８６】
なお、コントラスト調整部１０７は、照度センサ２７０の代わりに前景撮像用カメラ２５０を用いて、前景撮像用カメラ部２５０により出力された自車両の走行方向の前景画像、及び当該前景画像の輝度又は色に関する情報を取得する。コントラスト調整部１０７は、この取得された前景画像、及び当該前景画像の輝度又は色に関する情報に基づいて、前景と視覚刺激との輝度コントラスト又は色コントラストが一定になる制御を行うようにしても構わない。
【０１８７】
具体的には、コントラスト調整部１０７は、前景撮像用カメラ部２５０により出力された前景画像の輝度又は色に関する情報に基づいて、表示される視覚刺激の輝度又は色を調整する。コントラスト調整部１０７は、この調整された視覚刺激の輝度又は色に関する情報を視覚刺激制御部１０２ｄに出力する。視覚刺激制御部１０２ｄは、この調整された視覚刺激の輝度又は色に関する情報に基づいて視覚刺激を表示部２３０に表示する。
【０１８８】
なお、視覚刺激制御部１０２ａは、運転者４００の中心視野位置３２０から予め設定された視覚刺激表示距離の初期値Ｌ０ほど離れた視覚刺激表示位置３３０を特定し、この特定された視覚刺激表示位置３３０に視覚刺激を表示しても良い。
【０１８９】
なお、視覚刺激制御部１０２ａにより表示された視覚刺激が運転者４００により視認された場合には、視覚刺激制御部１０２ａは、視覚刺激の表示を終了する。ただ、視覚刺激制御部１０２ａにより表示された視覚刺激が運転者に視認されない場合がある。この場合、所定時間経過後、視覚刺激制御部１０２ａは、視覚刺激表示距離Ｌ１（＜視覚刺激表示位置Ｌ０）ほど離れた視覚刺激表示位置３４０を特定する。視覚刺激制御部１０２ａは、この特定された視覚刺激表示位置３４０に視覚刺激を表示しても良い。
【０１９０】
視覚刺激制御部１０２ａにより表示された視覚刺激が未だ運転者４００に視認されない場合には、所定時間経過後、視覚刺激制御部１０２ａは、視覚刺激表示位置３４０よりも更に視野内側方向に向かって順番に視覚刺激を表示する。この視覚刺激の表示は、運転者４００の中心視野位置３２０から予め設定された視覚刺激表示距離Ｌｎほど離れた視覚刺激表示位置３５０に表示されるまで繰り返される。視覚刺激表示距離Ｌｎは、運転者４００の中心視野位置３２０に十分近い位置にある。視覚刺激表示距離を示すパラメータＬｋ［ｍ］は、Ｌｎ≦Ｌｋ≦Ｌ０を満たす。
【０１９１】
また、第１の実施形態では、視覚刺激制御部１０２ａは、運転者の視線方向の角度αｍと視覚刺激表示角度θｋとがほぼ同一である場合に、表示部２３０に表示された視覚刺激が運転者に視認されたと判定する。しかし、視覚刺激が運転者に視認されたか否かの判定は、運転者の視線方向の角度と視覚刺激表示角度とがほぼ同一である場合に限定されない。
【０１９２】
例えば、視覚刺激制御部１０２ａは、中心視野位置３２０と運転者の視線方向のフロントウィンドウ３１０上の位置との距離と、視覚刺激表示位置Ｌｋとがほぼ同一か否かを判定する。視覚刺激制御部１０２ａは、ほぼ同一である判定された場合に、表示部２３０に表示された視覚刺激が運転者に視認されたと判定しても良い。なお、中心視野位置３２０と運転者の視線方向のフロントウィンドウ３１０の位置との距離は、特許文献１に開示されている視線方向検出装置と同等の構成を含む視覚刺激制御部１０２ａにより導出される。
【０１９３】
図６に示す数式３が成立するためには、有効視野角度導出部１０３ａにおいて導出された現在の有効視野αｍと、直前３回の全ての有効視野（αｍ−３、αｍ−２、αｍ−１）との比がそれぞれ閾値β２よりも非常に小さい場合とした。しかし、現在の有効視野αｍと、直前３回の有効視野（αｍ−３、αｍ−２、αｍ−１）の少なくともいずれかとの比の値が閾値β２よりも非常に小さい場合に、図６に示す数式３が成立するようにしても構わない。
【０１９４】
アイポイント４０１は、ＪＩＳ Ｄ００２１で定義されるアイリプス中心、又は左眼若しくは右眼のアイリプス中心等の位置としてもよい。また、中心視野方向４１０は、ＪＩＳ Ｄ００２１で定義されるアイリプス中心、又は左眼若しくは右眼のアイリプス中心等の標準的なアイポイントの前方正面付近としても構わない。
【０１９５】
また、上記した各実施形態では、視線方向４１０は、運転者４００のアイポイント４０１と運転者４００の注視点とを結ぶ直線方向であると説明したが、これに限定されない。例えば、視線方向４１０は、自車両の周辺を撮像するカメラ（不図示）により撮像された周辺画像の画像認識により、当該アイポイント４０１を基準に、当該画像における先行車両のテールランプの位置の方向に設定しても良い。又は、視線方向４１０は、当該周辺画像における信号機の位置等の様に、当該アイポイント４０１を基準に、自車両が停車状態に運転者が注視する頻度が高い対象物の方向に設定しても良い。
【０１９６】
また、上記した各実施形態では、運転支援部２４０を運転者状態推定装置１００に含めない旨を説明した。しかし、運転支援部２４０をそれぞれの運転者状態推定装置１００に含めても構わない。
【０１９７】
なお、各実施形態において、停車状態判定部１０１は、自車両が停車状態である度に、視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２に出力する必要はない。例えば、停車状態判定部１０１は、運転開始時又は運転開始後で所定時間経過する毎の自車両が停車状態であるときに、視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２に出力してもよい。
【０１９８】
また、視覚刺激制御部１０２により表示される視覚刺激の表示位置は、上記した各実施形態で説明した表示位置に限定されず、視野外側方向から視野内側方向に向かって順に表示するようになっていれば良い。例えば、図２又は図３において、上記した各実施形態では、中心視野位置３２０、及び視覚刺激表示位置３３０〜３５０はほぼ直線状に並んでいる。しかし、中心視野位置３２０、及び視覚刺激表示位置３３０〜３５０は、直線状ではなくランダムに並んでも構わない。
【０１９９】
更に、中心視野位置３２０、及び視覚刺激表示位置３３０〜３５０は、ほぼ同一の視覚刺激表示角度で、複数回、視覚刺激が表示されても良い。例えば、視覚刺激は、ほぼ同一の視覚刺激表示角度で、運転者から遠い位置に視覚刺激が表示された後に、運転者から近い位置に視覚刺激が表示されるようにしても良い。
【０２００】
また、上記した第２の実施形態では、コントラスト調整部１０７による視覚刺激の表示輝度の調整の処理と、閾値調整部１０８による閾値の調整の処理とは、それぞれ独立に行われるように記載した。しかし、コントラスト調整部１０７による調整の処理と、推定閾値調整部１０９による調整の処理とが所定の相関関係があっても良い。
【０２０１】
所定の相関関係として、例えば、コントラスト調整部１０７により視覚刺激の表示輝度が調整された場合には、閾値調整部１０８による推定閾値の調整は不要とされても良い。具体的には、コントラスト調整部１０７は、視覚刺激の表示輝度を調整した旨の調整終了情報を視覚刺激制御部１０２に出力する。このとき、視覚刺激制御部１０２は、コントラスト調整部１０７により出力された調整終了情報を取得し、推定閾値の調整を行わずに予め定められている推定閾値を運転者状態推定部１０５に出力しても良い。
【０２０２】
さらに、上記した各実施形態では、視覚刺激制御部１０２により表示される視覚刺激（光点）の大きさは一定であるが、当該大きさは一定でなくても良い。例えば、視線方向４１０に対する視覚刺激表示角度に依存した皮質拡大係数を用いて、視線位置３２０から離れた位置に表示される視覚刺激ほどより大きい径を有する視覚刺激が表示されるようにしても良い。
【０２０３】
また、第１の実施形態においては、運転開始時の有効視野α０と、自車両が停車状態となった場合における有効視野αｍとの相対的な変化量が導出された。しかし、自車両が停車状態となった場合におけるαｍの相対的な変化量が導出される場合に、常に運転開始時の有効視野α０と比較されなくても良い。例えば、運転開始時の有効視野α０の代わりに、同一地点で導出された過去の有効視野、又は同一時刻で導出された過去の有効視野との比較が行われても良い。
【産業上の利用可能性】
【０２０４】
本発明に係る運転者状態推定装置及び運転者状態推定方法は、自動車等の車両の一部に用いられる装置又は方法として有用である。また推定された運転者の状態に基づいて運転者に対する運転の支援を行う運転支援装置の一部に用いられる装置又は方法としても有用である。
【符号の説明】
【０２０５】
１ａ〜ｈ，１ｋ 運転者状態推定システム
５０ 有効視野角度関連情報
１００ａ〜ｈ，１００ｋ 運転者状態推定装置
１０１ａ〜ｈ，１０１ｋ 停車状態判定部
１０２ａ〜ｈ，１０２ｋ 視覚刺激制御部
１０３ａ〜ｈ，１０３ｋ 有効視野角度導出部
１０４ａ〜ｈ、１０４ｋ 記憶部
１０５ａ〜ｈ、１０５ｋ 運転者状態推定部
１０６ 信号機状態判定部
１０７ コントラスト調整部
１０８ 閾値調整部
２１０ 速度情報出力部
２２０ 画像データ取得部
２３０ 表示部
２４０ 運転支援部
２５０ 前景撮像用カメラ部
２６０ 通信部
２７０ 照度センサ
２８０ ナビゲーション装置
３１０ フロントウィンドウ
３２０ 中心視野位置
３３０，３４０，３５０ 視覚刺激表示位置
４００ 運転者
４０１ アイポイント
４１０，４２０，４３０，４４０ 視線方向
【技術分野】
【０００１】
本発明は、運転者が注意すべき対象を認知できる状態であるか否かを判定することにより、運転者の状態を推定する運転者状態推定装置及び運転者状態推定方法に関する。
【背景技術】
【０００２】
自動車の運転者（ｄｒｉｖｅｒ）が自動車の運転中に取得する情報量のうち約９０％の情報は、当該自動車の運転者の視覚能力に基づいて取得されることが一般に知られている。そのため、運転者の状態が、運転者が注意すべき対象を認知できない可能性がある状態である場合には、視覚能力に起因する運転者の状態を把握して、適切な運転支援を行うことが重要である。
【０００３】
運転者の状態を把握するものとして、特許文献１に開示された運転者状態判定装置がある。特許文献１の運転者状態判定装置は、予め定められた周辺視野領域内の任意の位置に運転者に対して視覚的な刺激を与え、その任意の位置を移動させた場合の運転者の視線方向、視線停留時間及び視線軌跡に基づいて、当該運転者の状態を判定する。また、特許文献１における運転者状態判定装置において、運転者の視線方向を検出する具体例は特許文献２に開示されている。
【０００４】
ところで、人間の視野は、中心視野と周辺視野とに分けることができる。中心視野とは、視線方向を中心に半径約１°の範囲である。また、中心視野の中心方向を中心視野方向という。中心視野では、ものの形状、文字の形状、及び、もの又は文字の色を細かく見分けることができる。一方、周辺視野とは、中心視野から外れた左右約１８０°且つ上下約１３０°の範囲である。周辺視野では、もの又は文字の形状は明確に認識されないが、時間的に変化する視覚的な刺激、例えば明滅する光点又は運動物体は検知されると言われている。
【０００５】
運転者の中心視野方向を中心とした、運転者が視覚刺激を認識することが可能な範囲を、運転者の有効視野という。有効視野は、運転者の内的要因および外的要因に応じて変化する。運転者の内的要因とは、加齢に伴う視覚能力の低下、心理状態、及び疲労等の運転者の特性である。運転者の外的要因とは、運転者が中心視野により認知する視覚情報の複雑さ、又は周辺視野領域の視覚情報量等の走行環境などである。
【０００６】
有効視野が外的要因により狭くなる具体例としては、高速道路の走行中においては視覚情報の変化が大きい、すなわち視覚が捉える景色の変化が大きいため、中心視野における運転者の認知負担が増し、周辺視野領域に表示された視覚刺激に気付かない場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１５８７４０号公報
【特許文献２】特開２００３−８０９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に開示された運転者状態判定装置は、ある時点における有効視野の範囲が所定範囲より広いか狭いかを判定するのみである。有効視野は、運転者、又は運転者の運転状況等により変動する。このため、有効視野が所定範囲より狭いと判定された場合でも、有効視野が小さくなった具体的な要因が特定されず、適切な運転支援を行うことは困難であった。
【０００９】
例えば、有効視野が所定範囲よりも狭いと判定された場合において、実際には、走行環境等の外的要因に応じて有効視野が狭い場合、若しくは、運転者の疲労等の内的要因に応じて有効視野が狭い場合とがあるが、有効視野が狭い原因は異なる。従って、特許文献１に開示された運転者状態判定装置によっては、有効視野が狭くなる原因が具体的に特定されず、運転支援が同一になるという課題がある。
【００１０】
本発明は、上述した従来の課題を解決するものであって、運転者の有効視野が時間的に変化する原因を具体的に特定した上で、運転者の状態を推定する運転者状態推定装置及び運転者状態推定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の運転者状態推定装置は、表示領域を備えた車両の運転者の状態を推定する運転者状態推定装置であって、撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得する画像データ取得部と、前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定する停車状態判定部と、前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定する視覚刺激制御部と、前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出する有効視野角度導出部と、前記第１の有効視野角度を記憶する記憶部と、前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する運転者状態推定部と、を備える。
【００１２】
また、本発明の運転者状態推定方法は、表示領域を備えた車両の運転者の状態を推定する運転者状態推定方法であって、撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得し、前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定し、前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定し、前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出し、前記第１の有効視野角度を記憶し、前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する。
【発明の効果】
【００１３】
本発明の運転者状態推定装置及び運転者状態推定方法によれば、運転者の有効視野角度が時間的に変化する原因を具体的に特定した上で、運転者の状態を推定することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図２】第１の実施形態に係る運転者状態推定装置を示すブロック図
【図３】第１の実施形態に係る運転者状態推定装置の動作を説明するフローチャート
【図４】視覚刺激表示距離又は視覚刺激表示角度に基づく視覚刺激の表示に関する説明図
【図５】第１の実施形態に係る運転者状態推定装置の視覚刺激制御部の動作の詳細を説明するフローチャート
【図６】運転者状態を推定するための対比表の一例を示した図
【図７】第１の実施形態に係る運転者状態推定装置の運転者状態推定部の動作の詳細を説明するフローチャート
【図８】第２の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図９】第２の実施形態に係る運転者状態推定装置を示すブロック図
【図１０】第２の実施形態に係る運転者状態推定装置の動作を説明するフローチャート
【図１１】第３の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１２】第３の実施形態に係る運転者状態推定装置を示すブロック図
【図１３】第４の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１４】第４の実施形態に係る運転者状態推定装置を示すブロック図
【図１５】推定閾値と前景画像の空間周波数との関係の一例を示す図
【図１６】第５の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１７】第６の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１８】第７の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図１９】第８の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【図２０】第９の実施形態に係る運転者状態推定装置を含む運転者状態推定システムの構成を示すシステム構成図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１６】
（第１の実施形態）
図１は、第１の実施形態に係る運転者状態推定装置１００ａを含む運転者状態推定システム１ａの構成を示す。図１に示すように、運転者状態推定システム１ａは、運転者状態推定装置１００ａ、速度情報出力部２１０、表示部２３０、及び運転支援部２４０を有する。運転者状態推定装置１００ａは、停車状態判定部１０１ａ、画像データ取得部２２０、視覚刺激制御部１０２ａ、有効視野角度導出部１０３ａ、記憶部１０４ａ、及び運転者状態推定部１０５ａを有する。以下、運転者状態推定システム１ａは自動車等の車両に搭載されるものとして説明する。なお、当該車両を「自車両」、当該自車両の運転者を「運転者」と記載する。
【００１７】
速度情報出力部２１０は、自車両の速度に関する速度情報を、運転者状態推定装置１００ａに出力する。具体的には、速度情報出力部２１０は、変速機が有するトルクコンバータのタービン回転数や変速機の自車両軸の回転数等を、変速機から取得し、速度情報として運転者状態推定装置１００ａに出力する。または、速度情報出力部２１０は、自車両の速度を、車両に備えられた速度センサから取得し、速度情報として運転者状態推定装置１００ａに出力する。
【００１８】
表示部２３０は、例えば、自車両のフロントウィンドウの全部または一部のエリアである。表示部２３０には、運転者状態推定装置１００ａからの作用により、視覚的な刺激（以下、視覚刺激）が表示される。視覚刺激は、例えば、表示部２３０に表示される明滅する光点、単に表示され一定時間経過後に消える光点、シンボルマークなど、視覚で捉えられる情報である。なお、表示部２３０は、表示面、表示領域と称してもよい。
【００１９】
また、表示部２３０は、自車両のフロントウィンドウの全部又は一部に視覚刺激を表示するヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）でもよい。また、表示部２３０は、運転者が装着したヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）でもよい。
【００２０】
運転者状態推定装置１００ａは、取得された速度情報に基づき、自車両が停車状態か否かを判定する。すなわち、運転者状態推定装置１００ａは、自車両の走行状態について判定を行う。運転者状態推定装置１００ａは、停車状態であると判定した場合には、運転者の有効視野角度を算出する。運転者状態推定装置１００ａは、算出された有効視野角度と、過去の時点において算出された有効視野角度との比較により運転者の状態変化を推定し、運転者の状態変化の推定結果を示す推定結果情報を、運転支援部２４０に出力する。運転者状態推定装置１００ａの内部構成の詳細は、後述する。
【００２１】
運転支援部２４０は、推定結果情報に基づいて、運転者の運転動作を支援する。例えば、運転支援部２４０は、推定結果情報が「疲労状態」を示す場合、当該運転者に対して休憩を促す通知を行う。当該通知は、通知内容が表示部２３０に文字として表示されても、通知内容が音声で出力されてもよい。
【００２２】
また、例えば、運転支援部２４０は、推定結果情報が「疲労状態」又は「注意散漫状態」を示す場合、運転者に対する運転支援のレベルを上げる制御を行う。当該制御は、注意喚起をしたり、ブレーキ補助を行ったりする制御である。
【００２３】
注意喚起に関する運転支援の具体例を示す。例えば、自車両と通行人や先行車両との距離が所定の基準値以下であると判定されたことに応じて、運転者に対して注意喚起を示す情報を報知するように、運転支援部２４０が予め設定されている場合において、推定結果情報が「疲労状態」又は「注意散漫状態」を示す場合には、運転支援部２４０は、当該所定の基準値を高く再設定する。
【００２４】
ブレーキ補助に関する運転支援の具体例を示す。例えば、自車両と通行人や先行車両との距離が所定の基準値以下であると判定されたことに応じて、自動的にブレーキ補助を行うように、運転支援部２４０が予め設定されている場合において、推定結果情報が「疲労状態」又は「注意散漫状態」を示す場合には、運転支援部２４０は、当該所定の基準値を高く再設定する。
【００２５】
（運転者状態推定装置１００ａの内部構成）
図２は、運転者状態推定装置１００ａの構成図を示す。運転者状態推定装置１００ａは、停車状態判定部１０１ａ、画像データ取得部２２０、視覚刺激制御部１０２ａ、有効視野角度導出部１０３ａ、記憶部１０４ａ、及び運転者状態推定部１０５ａを有する。図３は、運転者状態推定装置１００ａの動作を説明するフローチャートを示す。以下、図２及び図３を参照して、第１の実施形態における運転者状態推定装置および方法について説明する。
【００２６】
停車状態判定部１０１ａは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ａは、速度情報に基づいて、自車両が停車状態であるか否かを判定する（Ｓ１０１）。
【００２７】
停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう（実施の形態２以降において同じ）。すなわち、停車状態判定部１０１ａは、自車両の速度が所定の速度以下であるかを判定する。当該所定の速度は、任意に設定可能であり、例えば時速５ｋｍである。
【００２８】
停車状態判定部１０１ａは、自車両が停車状態であると判定した場合には、停車状態である旨を示す制御情報を視覚刺激制御部１０２ａに出力する（Ｓ１０１のＹｅｓ）。停車状態判定部１０１ａは、自車両が停車状態ではないと判定した場合には、自車両が停車状態と判定されるまで待機する（Ｓ１０１のＮｏ）。
【００２９】
画像データ取得部２２０は、撮像系を有し、撮像系を用いて運転者の画像（以下、運転者画像）を撮像し、運転者画像データを視覚刺激制御部１０２ａに出力する。撮像系は、例えばカメラである。
【００３０】
画像データ取得部２２０は、運転者画像を所定時間ごとに撮像し、撮像された複数の運転者画像は、画像データ取得部２２０が有するメモリに、運転者画像データとして記憶される。ここで、撮像する所定時間の単位は、ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）で表現される。なお、メモリに記憶される運転者画像データのうち、撮像時から所定の時間が経過した運転者画像データは、自動的に消去されてもよい。なお、撮像された複数の運転者画像は、撮像時刻が付加された運転者画像データとしてメモリに記憶されるのが望ましい。
【００３１】
なお、画像データ取得部２２０は、自車両内に設置されても、自車両外に設置されてもよい。また、画像データ取得部２２０がメモリを有し、撮像された複数の運転者画像は、画像データ取得部２２０が有するメモリに運転者画像データとして記憶されるとしたが、その限りではない。すなわち、メモリは画像データ取得部２２０とは別に設けられ、例えば、運転者状態推定装置１００ａに含まれてもよい。以下では、画像データ取得部２２０がメモリを有するとして説明する。
【００３２】
視覚刺激制御部１０２ａは、停車状態である旨を示す制御情報を停車状態判定部１０１ａから取得したことに応じて、運転者画像データを画像データ取得部２２０から取得する。視覚刺激制御部１０２ａは、取得された運転者画像データに基づいて、運転者の視線方向およびアイポイントを導出する。視覚刺激制御部１０２ａは、表示部２３０において、視線方向およびアイポイントに基づいて定まる基準を特定し、当該基準に対して視野外側方向から視野内側方向に向けて視覚刺激を表示させる制御を行う（Ｓ１０２）。
【００３３】
視覚刺激制御部１０２ａが画像データ取得部２２０から取得する運転者画像データは、画像データ取得部２２０に記憶された運転者画像データのうち、最新に記憶された運転者画像データであることが望ましい。
【００３４】
なお、視覚刺激制御部１０２ａが取得する運転者画像データは、単数でもよく、また複数でもよい。複数の場合は、視覚刺激制御部１０２ａは、最新に記憶された運転者画像データ、および直近に記憶された複数の運転者画像データを取得する。以下の説明においては、単数であるとして説明する。
【００３５】
なお、視覚刺激制御部１０２ａは、運転者画像データから、運転者の瞳孔中心点および角膜反射中心点を検出し、瞳孔中心点と角膜反射中心点との位置関係に基づいて、運転者の視線方向を導出する。
【００３６】
なお、アイポイントは、運転者の左目と右目との中心点をいう。視覚刺激制御部１０２ａは、運転者画像データから、運転者の瞳孔位置とカメラとの距離を検出し、検出された運転者の瞳孔位置とカメラとの距離に基づいて、アイポイントを導出する。
【００３７】
図４は、運転者４００が自車両の前方方向を向いた場合における２次元の投影面を示す。図４において、運転者４００は上面図的に示されており、フロントウィンドウ３１０は、図１に示す表示部２３０の構成要素の全部または一部である。
【００３８】
図４に示すように、運転者４００のアイポイント４０１を中心点として、視線方向４１０を基準とした角度θｋの方向と、フロントウィンドウ３１０との交点位置に、視覚刺激は表示される。
【００３９】
ここで、θｋを視覚刺激表示角度と定義する。パラメータＬｋは、視線方向４１０と視覚刺激との水平方向における距離であり、視覚刺激表示距離と定義する。パラメータｋは、０≦ｋ≦ｎを満たす整数であり、パラメータｎは正の整数である。
【００４０】
また、運転者４００の視線方向４１０は、アイポイント４０１と運転者４００の注視点とを結ぶ直線方向である。視線方向は正面として説明する。中心視野位置３２０は、視線方向４１０と、フロントウィンドウ３１０との交点位置である。視野外側方向は、中心視野位置３２０から離れたエリアを見る方向を、視野内側方向は、中心視野位置３２０付近のエリアを見る方向をいう。
【００４１】
図５は、視覚刺激制御部１０２ａにおける、視覚刺激の制御方法を説明するフローチャートを示す。以下、図２、図４及び図５を参照して、視覚刺激制御部１０２ａが視覚刺激を表示部２３０に表示させる制御方法を説明する。
【００４２】
図２において、視覚刺激制御部１０２ａは、アイポイント４０１を中心点として視線方向４１０を基準とする、視覚刺激表示角度の初期値θ０を設定し（Ｓ１０２ａ）、初期値θ０を視覚刺激表示方向の角度として設定する（Ｓ１０２ｂ）。視覚刺激制御部１０２ａは、設定された視覚刺激表示方向と、フロントウィンドウ３１０との交点位置である視覚刺激表示位置を特定し（Ｓ１０２ｃ）、視覚刺激表示位置に視覚刺激を表示させる（Ｓ１０２ｄ）。
【００４３】
視覚刺激制御部１０２ａは、角度θ０の視覚刺激表示位置に視覚刺激を表示させることにより、表示終了条件が満たされるか否かを判定する（Ｓ１０２ｅ）。表示終了条件が満たされる場合とは、表示された視覚刺激が、運転者により視認された場合、または予め設定された視覚刺激表示角度に表示された場合をいう。
【００４４】
角度θ０の視覚刺激表示位置に表示された視覚刺激が、運転者により視認されたか否かを判定する方法について、以下に説明する。
【００４５】
視覚刺激制御部１０２ａは、視覚刺激表示位置に視覚刺激が表示されたことに応じて、画像データ取得部２２０から運転者画像データを取得する。ここで、視覚刺激制御部１０２ａが、視覚刺激が表示部２３０に表示されたことに応じて画像データ取得部２２０から取得する運転者画像データは、画像データ取得部２２０に記憶された運転者画像データのうち、最新に記憶された運転者画像データであることが望ましい。
【００４６】
なお、視覚刺激制御部１０２ａが、視覚刺激が表示部２３０に表示されたことに応じて取得する運転者画像データは、単数でもよく、また複数でもよい。複数の場合は、視覚刺激制御部１０２ａは、最新に記憶された運転者画像データ、および直近に記憶された複数の運転者画像データを取得する。以下の説明においては、単数であるとして説明する。
【００４７】
視覚刺激制御部１０２ａは、画像データ取得部２２０から取得した運転者画像データに基づいて運転者の視線方向を導出し、視覚刺激が表示された後における運転者の視線方向の角度と、視覚刺激表示角度とが同一、またはほぼ同一か否かを判定する。具体的には、当該視線方向の角度と、視覚刺激表示角度との差分が、予め設定された所定値以下であるか否かにより判定され、所定値以下である場合は、運転者は視覚刺激を視認したと判定され、所定値以上である場合は、運転者は視覚刺激を視認していないと判定される。
【００４８】
運転者４００が視覚刺激を視認したと判定された場合は、表示終了条件を満たし、視覚刺激制御部１０２ａは、視覚刺激の表示を終了する（Ｓ１０２ｅ：Ｙｅｓ）。一方、運転者４００が視覚刺激を視認していないと判定された場合は表示終了条件を満たさず（Ｓ１０２ｅ：Ｎｏ）、視覚刺激制御部１０２ａは、視覚刺激に対応する視覚刺激表示角度θｋを所定量小さくした角度θｋ＋１に変更する（Ｓ１０２ｆ）。
【００４９】
視覚刺激制御部１０２ａは、所定時間経過後、視覚刺激表示角度θｋ＋１に基づいて、視覚刺激表示方向の角度として再設定する（Ｓ１０２ｇ）。視覚刺激制御部１０２ａは、再設定された視覚刺激表示角度θｋ＋１の方向と、フロントウィンドウ３１０との交点位置である視覚刺激表示位置３４０を特定し（Ｓ１０２ｃ）、特定された視覚刺激表示位置３４０に視覚刺激を表示するように制御する。
【００５０】
なお、視覚刺激の表示は、視覚刺激表示角度の初期値θ０の方向と、フロントウィンドウ３１０との交点位置から、予め設定された視覚刺激表示角度θｎの方向と、フロントウィンドウ３１０との交点位置３５０まで繰り返される。視覚刺激表示角度θｎは、運転者４００の視野として十分に認識可能と認められる角度である。
【００５１】
なお、係る場合、図５に示す表示終了条件を判定する場合において、予め設定された視覚刺激表示角度θｎに、視覚刺激が表示されたと判定された場合には、視覚刺激の表示を終了する。
【００５２】
視覚刺激制御部１０２ａは、視覚刺激が運転者に視認されたと判定した場合、運転者の視線方向角度αｍ（ｍ：正の整数）を、有効視野角度導出部１０３ａに出力する。αｍは、θｎ≦αｍ≦θ０の条件を満たす。なお、添え字ｍは、時間的経過を示し、αｍはαｍ−１以降に取得された運転者の視線方向角度であり、αｍ−１はαｍ−２以降に取得された運転者の視線方向角度である。また、パラメータα０は、運転開始時に導出された運転者の有効視野角度である。なお、運転者の視線方向角度は、視覚刺激表示角度であってもよいし、運転者画像データから導出された運転者の視線方向の角度でもよい。
【００５３】
視覚刺激制御部１０２ａは、表示部２３０の視覚刺激表示角度θｎに視覚刺激が表示され、且つ運転者に視覚刺激が視認されなかったと判定された場合、運転者は視覚刺激を視認しなかったことを示す情報を有効視野角度導出部１０３ａに出力する。
【００５４】
有効視野角度導出部１０３ａは、視覚刺激制御部１０２ａから出力された視線方向角度αｍを取得する。有効視野導出部１０３ａは、取得された視線方向角度αｍを運転者の有効視野角度として導出する（Ｓ１０３）。
【００５５】
有効視野角度導出部１０３ａは、導出された有効視野角度αｍに基づいて有効視野角度関連情報５０を生成し、記憶部１０４ａに出力する。記憶部１０４ａは、有効視野角度関連情報５０を記憶する。一方、有効視野角度導出部１０３ａは、運転者の有効視野角度αｍに関する情報を運転者状態推定部１０５ａに出力する。
【００５６】
有効視野角度関連情報５０に関して説明する。有効視野角度関連情報５０は、有効視野角度導出部１０３ａにおいて導出された、運転者の有効視野角度αｍ、当該有効視野角度αｍが導出された導出日、導出時刻、導出場所、天候情報、運転者情報、運転開始時刻及び当該運転開始時刻からの経過時間等を含む。
【００５７】
具体的には、導出日及び導出時刻は、有効視野角度導出部１０３ａが運転者状態推定装置１００ａ内に不図示のタイマー部から取得した時刻情報で特定される。導出場所及び天候情報は、運転者状態推定装置１００ａ内に不図示のナビゲーション装置等から出力された情報により特定される。運転者情報は、例えば、記憶部１０４ａに予め記憶されているものとする。運転開始時刻は、自車両のエンジンが始動されたとき、一日の最初に自車両のエンジンが始動されたとき、又は運転者により所定のスイッチ等で入力されたときのいずれかのときに、不図示のタイマー部から出力された時刻情報により特定される。運転開始時刻からの経過時間は、上記した導出時刻と運転開始時刻との差分により特定される。
【００５８】
運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された運転者の有効視野角度αｍ、及び記憶部１０４ａが記憶している過去の有効視野角度関連情報５０を取得する。運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された有効視野角度αｍと、当該過去の有効視野角度関連情報５０に含まれる１つ以上の有効視野角度α（ｍ−ｐ）とを比較する。パラメータｐは、０≦ｐ≦ｍを満たす整数である。
【００５９】
運転者状態推定部１０５ａは、有効視野角度α（ｍ−ｐ）に対する有効視野角度αｍの変化量、変化方向、又は変化速度の少なくともいずれか一つに基づいて、運転者の状態を推定する（Ｓ１０５）。運転者状態推定部１０５ａは、この推定された運転者状態推定結果情報を運転支援部２４０に出力し（Ｓ１０６）、運転者状態推定装置１００ａの動作は終了する。
【００６０】
運転者状態推定部１０５ａが運転者の状態を推定する方法について説明する。図６は、有効視野角度α（ｍ−ｐ）に対する有効視野角度αｍの変化に基づいて、運転者の状態を推定するための対比情報の一例を示す。なお、対比情報は、運転者状態推定部１０５ａが予め記憶していてもよい。また、記憶部１０４ａが予め記憶しておき、運転者状態推定部１０５ａが記憶部１０４ａから取得してもよい。
【００６１】
図６において、パラメータｍは「４」と、パラメータｐは「３」と設定された例を示す。図６において、例えば、運転開始時の有効視野角度α０に対する、最新の情報である有効視野角度α４の比の値が、閾値β１以下である場合、数１が成立する。
【００６２】
【数１】
【００６３】
また、図６において、最新の情報である有効視野角度α４が、運転開始以後の所定の時点における有効視野角度α１に比べて小さく、更に当該所定の時点より後に導出された有効視野角度α３に比べて小さい場合、数２が成立する。
【００６４】
【数２】
【００６５】
更に、図６において、最新の情報である有効視野角度α４と、直前３回の全ての有効視野角度（α１、α２、α３）との比の値が、いずれも閾値β２よりも非常に小さい場合には、数３が成立する。
【００６６】
【数３】
【００６７】
図６において、閾値β１は、運転者状態推定部１０５ａによる運転者状態の推定の際に、運転者が疲労状態か否かを推定するためのパラメータである。また、閾値β２は、運転者状態推定部１０５ａによる運転者状態の推定の際に、運転者が注意散漫状態か否かを推定するためのパラメータである。
【００６８】
数１が成立しない場合には、正常状態の要件が満たされる。この場合には、運転者は正常状態であると推定され、運転者状態推定部１０５ａは、運転者は正常状態である旨の推定結果情報を運転支援部２４０に出力する。
【００６９】
数１が成立するが数２及び数３が成立しない場合には、要注意状態の要件が満たされる。この場合には、運転者は要注意状態であると推定され、運転者状態推定部１０５ａは、運転者は要注意状態である旨の推定結果情報を運転支援部２４０に出力する。
【００７０】
数１及び数２が共に成立する場合には、疲労状態の要件が満たされる。この場合には、運転者は疲労状態であると推定され、運転者状態推定部１０５ａは、運転者は疲労状態である旨の推定結果情報を運転支援部２４０に出力する。
【００７１】
数３が成立する場合には、注意散漫状態の要件が満たされる。この場合には、運転者は一時的に他の視対象に注意が向いている注意散漫状態であると推定され、運転者状態推定部１０５ａは、運転者は注意散漫状態である旨の推定結果情報を運転支援部２４０に出力する。なお、運転者状態推定部１０５ａから出力された推定結果情報は、有効視野角度関連情報５０に含めて記憶されても構わない。
【００７２】
運転者状態推定部１０５ａが図６に示す対比情報に基づいて運転者状態を推定する処理について、図７を参照して説明する。図７は、運転者状態推定部１０５ａによる動作の詳細を説明するフローチャートである。
【００７３】
運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された有効視野角度αｍ、及び記憶部１０４ａに記憶された過去の有効視野角度関連情報５０をそれぞれ取得する。運転者状態推定部１０５ａは、有効視野角度導出部１０３ａから出力された有効視野角度αｍと、当該過去の有効視野角度関連情報５０に含まれる有効視野角度α（ｍ−ｐ）とを比較する。
【００７４】
任意の時点において導出された単一の有効視野角度の絶対値のみで運転者状態を推定するのは効率的ではない。有効視野角度は、運転者又は当該有効視野角度の導出時の運転状況等により異なるためである。したがって、第１の実施形態では、ある時点において導出された有効視野角度、及び当該時点よりも過去の運転開始時に導出された有効視野角度の少なくとも２つの有効視野角度の相対的な変化量に基づいて運転者状態が推定される。少なくとも２つの有効視野角度の相対的な変化量に基づいて推定された運転者状態は、単一の有効視野角度に基づいて推定される運転者状態に比べて正確性が非常に高いといえる。後述の各実施形態においても同様である。
【００７５】
運転者状態推定部１０５ａは、運転開始時の有効視野角度α０に対する最新の情報である有効視野角度αｍの比の値が閾値β１以下であるか否かを判定する（Ｓ１０５ａ）。運転開始時の有効視野角度α０に対する最新の情報である有効視野角度αｍの比の値が閾値β１よりも大きい場合（Ｓ１０５ａのＮＯ）、運転者状態推定部１０５ａは、運転者は正常状態であると推定し（Ｓ１０５ｂ）、運転者状態推定部１０５ａの動作は終了する。
【００７６】
運転開始時の有効視野角度α０に対する最新の情報である有効視野角度αｍの比の値が閾値β１以下である場合（Ｓ１０５ａのＹＥＳ）、運転者状態推定部１０５ａは、最新の情報である有効視野角度αｍと、直前３回の全ての有効視野角度（αｍ−３、αｍ−２、αｍ−１）との比の値がそれぞれ閾値β２よりも非常に小さいか否かを判定する（Ｓ１０５ｃ）。
【００７７】
最新の情報である有効視野角度αｍと、直前３回の全ての有効視野角度（αｍ−３、αｍ−２、αｍ−１）との比の値がそれぞれ閾値β２よりも非常に小さい場合（Ｓ１０５ｃのＹＥＳ）、運転者状態推定部１０５ａは、運転者は注意散漫状態であると推定し（Ｓ１０５ｄ）、運転者状態推定部１０５ａの動作は終了する。
【００７８】
最新の情報である有効視野角度αｍと、直前３回の全ての有効視野角度（αｍ−３、αｍ−２、αｍ−１）との比がそれぞれ閾値β２より非常に小さい値ではない場合（Ｓ１０５ｃのＮＯ）、運転者状態推定部１０５ａは、運転開始時の有効視野角度α０と、運転開始後の任意の時刻における有効視野角度α２と、最新の情報である有効視野角度αｍとを比較する（Ｓ１０５ｅ）。この比較により、運転者状態推定部１０５ａは、最新の情報である有効視野角度αｍが運転開始時の有効視野角度α０から徐々に小さくなっているか否かを判定する（Ｓ１０５ｆ）。
【００７９】
最新の情報である有効視野角度αｍが、運転開始時の有効視野角度α０から徐々に小さくなっていると判定された場合（Ｓ１０５ｆのＹＥＳ）、運転者状態推定部１０５ａは、運転者は疲労状態であると推定し（Ｓ１０５ｇ）、運転者状態推定部１０５ａの動作は終了する。
【００８０】
最新の情報である有効視野角度αｍが、運転開始時の有効視野角度α０から徐々に小さくなっているわけではないと判定された場合には（Ｓ１０５ｆのＮＯ）、運転者状態推定部１０５ａは、運転者状態は要注意状態と推定し（Ｓ１０５ｈ）、運転者状態推定部１０５ａの動作は終了する。
【００８１】
以上のように、第１の実施形態の運転者状態推定装置１００ａでは、自車両が停車中の状態が判定され、停車状態と判定された場合に視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件（図６参照）に応じて、運転者の状態が推定される。
【００８２】
したがって、第１の実施形態の運転者状態推定装置１００ａは、経時的に導出された運転者の有効視野角度の相対的な変化量の比較により推定された推定結果情報を、運転者の有効視野角度が時間的に変化する原因と特定することができる。更に、第１の実施形態の運転者状態推定装置１００ａでは、自車両が停車状態である場合に有効視野角度が導出される。このため、運転者の中心視野方向を見る負荷はほぼ一定となり、外的要因に基づく有効視野角度の時間的に変化する原因が排除された状態で、有効視野角度が時間的に変化する原因を具体的に特定することができる。
【００８３】
また、単一のある時点における運転者の視覚刺激の視認有無に応じた運転者の有効視野角度に基づく運転者状態は推定されない。少なくとも２つの時点における運転者の視覚刺激角度の視認有無に応じた運転者の有効視野角度の相対変化量に基づく運転者状態が推定される。このため、有効視野角度の時間的な相対変化の発生要因が推定結果情報により判明するため、運転者の推定結果情報は当該情報の正確性が高い。
【００８４】
更に、視野外側方向から視野内側方向に向かって所定時間間隔で視覚刺激が順番に表示されたときの運転者の視認有無に応じて運転者の有効視野角度が導出される。このため、注意散漫状態であるのか、疲労状態であるのか、要注意状態であるのか等、有効視野角度の変化の過程を考慮して運転者の状態を推定することができる。また、この推定された運転者の状態を、より適切な運転支援に活かすことができる。
【００８５】
なお、上記の説明では、視覚刺激制御部１０２ａは、画像データ取得部２２０に記憶された運転者画像データのうち、最新に記憶された運転者画像データを取得するとして説明したが、この限りではない。運転者状態推定装置１００ａは図示しないタイマー部を備え、停車状態である旨を示す制御情報を取得した時刻をタイマー部により管理し、停車状態である旨を示す制御情報を取得した時刻、または所定の時間経過前もしくは後の時刻における運転者画像データを、画像データ取得部２２０から取得するとしてもよい。
【００８６】
なお、画像データ取得部２２０は、３次元情報を取得できるステレオカメラや複眼カメラを備えることが望ましい。なお、上記の説明においては、運転者の視線方向およびアイポイントは、視覚刺激制御部１０２ａにおいて算出されるとして説明したが、その限りではない。すなわち、画像データ取得部２２０が、視線方向のベクトル、またはｘ方向、ｙ方向、及びｚ方向の角度、およびカメラにおける所定の基準座標に対する瞳孔位置の相対座標における位置を出力してもよい。
【００８７】
なお、以上の説明においては、視覚刺激制御部１０２ａが画像データ取得部２２０から取得する運転者画像データは単数であるとして説明したが、その限りではない。すなわち、取得された運転者画像データが複数である場合、視覚刺激制御部１０２ａは、複数の運転者画像データに基づいて、運転者の視線方向およびアイポイントの導出、または運転者が視覚刺激を視認したか否かの判定をすることができる。具体的には、複数の運転者画像データから導出された運転者の視線方向およびアイポイントを平均化処理してもよい。また、複数の運転者画像データに基づいて運転者の視線方向の変化を検知し、検知結果に基づいて、運転者が視覚刺激を認識したか否かを判定してもよい。
【００８８】
（第２の実施形態）
第２の実施形態に係る運転者状態推定装置１００ｂを含む運転者状態推定システム１ｂについて図８を参照して説明する。図８は、第２の実施形態に係る運転者状態推定装置１００ｂを含む運転者状態推定システム１ｂの構成を示すシステム構成図である。図８において、図１と同じ構成要素については同じ符号を用いる。以下、第２の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【００８９】
図８に示すように、運転者状態推定システム１ｂは、運転者状態推定装置１００ｂ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び通信部２６０を有する。運転者状態推定装置１００ｂの内部構成は後述する。
【００９０】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｂに出力する。
【００９１】
表示部２３０、運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【００９２】
前景撮像用カメラ部２５０は、前景画像を所定時間ごとに撮像し、撮像された複数の前景画像データが前景撮像用カメラ部２５０に含まれるメモリに記憶される。ここで、撮像する所定時間の単位は、ｆｐｓで表現される。なお、メモリに記憶される前景画像データのうち、撮像時から所定の時間が経過した前景画像データは、自動的に消去されてもよい。前景撮像用カメラ部２５０は、撮像された前景画像を、運転者状態推定装置１００ｂに出力する。
【００９３】
なお、前景撮像用カメラ部２５０は、運転者状態推定装置１００ｂから出力された制御情報に基づいて撮像してもよい。
【００９４】
また、前景撮像用カメラ部２５０がメモリを有し、撮像された複数の前景画像は、前景撮像用カメラ部２５０が有するメモリに前景画像データとして記憶されるとしたが、その限りではない。すなわち、メモリは前景撮像用カメラ部２５０とは別に設けられ、例えば、視覚刺激制御部１０２ｂに含まれてもよい。以下では、前景撮像用カメラ部２５０がメモリを有するとして説明する。
【００９５】
通信部２６０は、運転者状態推定装置１００ｂからの指示に基づいて、不図示の信号機と無線で通信し、信号機における赤信号状態の残り時間に関する時間情報を取得する。通信部２６０は、赤信号状態の残り時間に関する時間情報を運転者状態推定装置１００ｂに出力する。
【００９６】
（運転者状態推定装置の内部構成）
図９は、第２の実施形態の運転者状態推定装置１００ｂの内部構成を示す。図９に示すように、運転者状態推定装置１００ｂは、停車状態判定部１０１ｂ、画像データ取得部２２０、視覚刺激制御部１０２ｂ、有効視野角度導出部１０３ｂ、記憶部１０４ｂ、運転者状態推定部１０５ｂ、及び信号機状態判定部１０６を有する。図１０は、図９に示す運転者状態推定装置１００ｂの動作を説明するフローチャートを示す。以下、第２の実施形態における運転者状態推定装置および方法の説明をする。
【００９７】
停車状態判定部１０１ｂは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ｂは、速度情報に基づいて、自車両が停車状態であるか否かを判定する（Ｓ２０１）。ここで、停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう。
【００９８】
停車状態判定部１０１ｂは、自車両が停車状態であると判定した場合には、停車状態である旨を示す制御情報を、信号機状態判定部１０６に出力する（Ｓ２０１のＹｅｓ）。停車状態判定部１０１ｂは、自車両が停車状態ではないと判定した場合には、自車両が停車状態と判定されるまで待機する（Ｓ２０１のＮｏ）。
【００９９】
信号機状態判定部１０６は、停車状態である旨を示す制御情報を停車状態判定部１０１ｂから取得したことに応じて、前景画像データを前景撮像用カメラ部２５０から取得する。信号機状態判定部１０６は、取得された前景画像データに基づいて、前景画像に信号機が含まれるか否かを判定し、信号機が含まれる場合は、赤信号状態であるか否かを判定する（Ｓ２０２）。
【０１００】
信号機状態判定部１０６が前景撮像用カメラ部２５０から取得する前景画像データは、前景撮像用カメラ部２５０に記憶された前景画像データのうち、最新に記憶された前景画像データであることが望ましい。
【０１０１】
なお、信号機状態判定部１０６が取得する前景画像データは、単数でもよく、また複数でもよい。複数の場合は、信号機状態判定部１０６は、最新に記憶された前景画像データ、および直近に記憶された複数の前景画像データを取得する。以下の説明においては、単数であるとして説明する。
【０１０２】
信号機状態判定部１０６は、撮像された前景画像の信号機が赤信号状態であると判定した場合には、信号機と無線で通信する旨を示す制御情報を、通信部２６０に出力する。信号機状態判定部１０６は、通信部２６０を介して、赤信号状態の残り時間に関する時間情報を取得する。
【０１０３】
信号機状態判定部１０６は、取得された赤信号状態の残り時間に関する時間情報に基づいて、残り時間が予め設定された所定時間以上であるかを判定する。信号機状態判定部１０６は、残り時間が所定時間以上であると判定した場合、信号機が赤信号状態である旨を示す制御情報を視覚刺激制御部１０２ｂに出力する（Ｓ２０２のＹｅｓ）。
【０１０４】
信号機状態判定部１０６は、前景画像データにおいて赤信号が認識されない場合、又は、当該赤信号状態の残り時間が当該所定時間未満と判定された場合には、赤信号状態の残り時間が予め設定された所定時間以上であると判定されるまで待機する（Ｓ２０２のＮｏ）。
【０１０５】
視覚刺激制御部１０２ｂは、赤信号状態である旨を示す制御情報を信号機状態判定部１０６から取得したことに応じて、運手者画像データを画像データ取得部２２０から取得する。視覚刺激制御部１０２ｂの動作については、実施の形態１において説明したため、以降の処理フローは説明を省略する（Ｓ１０２）。
【０１０６】
また、画像データ取得部２２０、有効視野角度導出部１０３ｂ、記憶部１０４ｂ、及び運転者状態推定部１０５ｂの機能は、実施の形態１において説明したため、説明を省略する。
【０１０７】
以上のように、第２の実施形態の運転者状態推定装置１００ｂでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１０８】
したがって、第２の実施形態の運転者状態推定装置１００ｂは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１０９】
（第３の実施形態）
第３の実施形態に係る運転者状態推定装置１００ｃを含む運転者状態推定システム１ｃについて図１１を参照して説明する。図１１は、第３の実施形態に係る運転者状態推定装置１００ｃを含む運転者状態推定システム１ｃの構成を示すシステム構成図である。図１１において、図１と同じ構成要素については同じ符号を用いる。以下、第３の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【０１１０】
図１１に示すように、運転者状態推定システム１ｃは、運転者状態推定装置１００ｃ、速度情報出力部２１０、表示部２３０、運転支援部２４０、及び照度センサ２７０を有する。運転者状態推定装置１００ｃの内部構成は後述する。
【０１１１】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｃに出力する。
【０１１２】
表示部２３０、運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【０１１３】
照度センサ２７０は、自車両に設置されるセンサであり、自車両の周囲の明るさを所定時間ごとに計測する。照度センサ２７０は、計測された自車両の周囲の明るさに関する情報を運転者状態推定装置１００ｃに出力する。なお、照度センサ２７０は、運転者状態推定装置１００ｃからの指示に基づいて、自車両の周囲の明るさを計測してもよい。
【０１１４】
（運転者状態推定装置の内部構成）
図１２は、第３の実施形態の運転者状態推定装置１００ｃの内部構成を示す。図１２に示すように、運転者状態推定装置１００ｃは、停車状態判定部１０１ｃ、画像データ取得部２２０、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、記憶部１０４ｃ、運転者状態推定部１０５ｃ、及びコントラスト調整部１０７を有する。以下、第３の実施形態における運転者状態推定装置および方法の説明をする。
【０１１５】
停車状態判定部１０１ｃは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ｃは、速度情報に基づいて、自車両が停車状態であるか否かを判定する。ここで、停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう。
【０１１６】
コントラスト調整部１０７は、照度センサ２７０から出力された自車両の周囲の明るさに関する情報を取得する。コントラスト調整部１０７は、取得された自車両の周囲の明るさに関する情報に応じて、自車両の周囲の明るさと、視覚刺激制御部１０２ｃにより表示される視覚刺激との輝度コントラストが一定になるように制御する。
【０１１７】
具体的には、コントラスト調整部１０７は、視覚刺激制御部１０２ｃにより表示される視覚刺激と、照度センサ２７０により出力された自車両の周囲の明るさとの比の値が一定になるように、視覚刺激の表示輝度を調整する。例えば、昼間等で自車両の周囲が明るい場合には、視覚刺激の輝度が大きくなるような調整がなされる。一方、夜間等で自車両の周囲が暗い場合には、視覚刺激の輝度が小さくなるような調整がなされる。
【０１１８】
コントラスト調整部１０７は、調整された視覚刺激の輝度に関する情報、及び調整された視覚刺激の輝度に応じて視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２ｃに出力する。
【０１１９】
視覚刺激制御部１０２ｃは、コントラスト調整部１０７により出力された視覚刺激の輝度に応じて視覚刺激を表示する旨の制御情報を取得する。視覚刺激制御部１０２ｂは、この取得された制御情報に応じて、運転者の視野外側方向から視野内側方向に向けて所定時間間隔で順番に、コントラスト調整部１０７により調整された視覚刺激の輝度に対応した視覚刺激を表示部２３０に表示させる。
【０１２０】
なお、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、記憶部１０４ｃ、及び運転者状態推定部１０５ｃの機能は、実施の形態１における機能とそれぞれ同じであるため、説明を省略する。
【０１２１】
以上のように、第３の実施形態の運転者状態推定装置１００ｃでは、自車両の周囲の明るさを考慮して、視覚刺激のコントラストを調整して表示部２３０に表示させるため、第３の実施形態の運転者状態推定装置１００ｃは、第１の実施形態の運転者状態推定装置１００ａに比べて、より正確に運転者の状態を推定することができる。
【０１２２】
（第４の実施形態）
第４の実施形態に係る運転者状態推定装置１００ｄを含む運転者状態推定システム１ｄについて図１３を参照して説明する。図１３は、第４の実施形態に係る運転者状態推定装置１００ｄを含む運転者状態推定システム１ｄの構成を示すシステム構成図である。図１３において、図１と同じ構成要素については同じ符号を用いる。以下、第４の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【０１２３】
図１３に示すように、運転者状態推定システム１ｄは、運転者状態推定装置１００ｄ、速度情報出力部２１０、表示部２３０、運転支援部２４０、及び前景撮像用カメラ２５０を有する。運転者状態推定装置１００ｄの内部構成は後述する。
【０１２４】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｄに出力する。
【０１２５】
表示部２３０、及び運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【０１２６】
また、前景撮像用カメラ部２５０の機能は、実施の形態２において説明したとおりであるため、説明を省略する。
【０１２７】
（運転者状態推定装置の内部構成）
図１４は、第４の実施形態の運転者状態推定装置１００ｄの内部構造を示す。図１４に示すように、運転者状態推定装置１００ｄは、停車状態判定部１０１ｄ、画像データ取得部２２０、視覚刺激制御部１０２ｄ、有効視野角度導出部１０３ｄ、記憶部１０４ｄ、運転者状態推定部１０５ｄ、及び閾値調整部１０８を有する。以下、第４の実施形態における運転者状態推定装置および方法の説明をする。
【０１２８】
停車状態判定部１０１ｄは、速度情報出力部２１０から出力された速度情報を取得する。停車状態判定部１０１ｄは、速度情報に基づいて、自車両が停車状態であるか否かを判定する。ここで、停車状態とは、自車両が完全に停車している場合、または所定の速度以下である場合をいう。
【０１２９】
画像データ取得部２２０、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、及び記憶部１０４ｃの機能は、実施の形態１における機能とそれぞれ同じであるため、説明を省略する。
【０１３０】
閾値調整部１０８は、前景撮像用カメラ２５０から出力された前景画像データを取得する。閾値調整部１０８は、取得された前景画像データが示す前景画像の複雑さに応じて、運転者状態を推定するための閾値β１を調整する。具体的には、閾値調整部１０８は、前景撮像用カメラ部２５０から出力された前景画像データに基づいて、前景画像の空間周波数を抽出する。前景画像の空間周波数は、前景画像の複雑さを示すパラメータである。一般に、画像の空間周波数が低いと、当該画像は複雑ではないとされる。また、画像の空間周波数が高いと、画像は複雑であるとされる。閾値調整部１０８は、前景画像の空間周波数と推定閾値との関係に従って、抽出された空間周波数に対応した推定閾値を決定する。なお、この閾値β１は、第１の実施形態と同様である。
【０１３１】
前景画像の空間周波数と閾値β１との関係について、図１５を参照して説明する。図１５は、閾値と前景画像の空間周波数との関係の一例を示した図面である。図１５において、前景画像の空間周波数が低いとき、運転者状態を推定するための閾値β１は大きい値に調整される。一方、前景画像の空間周波数が高いとき、閾値β１は小さい値に調整される。閾値調整部１０８は、調整された閾値に関する情報を運転者状態推定部１０５ｄに出力する。また、閾値調整部１０８による閾値の調整の処理は、運転者状態推定部１０５ｄによる運転者状態の推定の処理の前に行われていれば良い。
【０１３２】
運転者状態推定部１０５ｄは、閾値調整部１０８から出力された閾値に関する情報を取得する。運転者状態推定部１０５ｄは、有効視野角度導出部１０３ｄから出力された運転者の有効視野角度αｍ、及び記憶部から過去の有効視野角度関連情報５０をそれぞれ取得する。以降の処理は、実施の形態１と同様であるため、説明を省略する。
【０１３３】
以上のように、第４の実施形態の運転者状態推定装置１００ｄでは、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１３４】
なお、前景画像の空間周波数と推定閾値との関係は、図１５に示した関係に限定されない。例えば、抽出された空間周波数の値が所定の範囲の場合に推定閾値が所定量調整されても良い。
【０１３５】
（第５の実施形態）
次に、第５の実施形態に係る運転者状態推定装置１００ｅを含む運転者状態推定システム１ｅについて図１６を参照して説明する。図１６は、第５の実施形態に係る運転者状態推定装置１００ｅを含む運転者状態推定システム１ｅの構成を示すシステム構成図である。図１６において、図１と同じ構成要素については同じ符号を用いる。以下、第５の実施形態では、第１の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一の内容については説明を省略する。
【０１３６】
図１６に示すように、運転者状態推定システム１ｅは、運転者状態推定装置１００ｅ、速度情報出力部２１０、表示部２３０、運転支援部２４０及びナビゲーション装置２８０を有する。運転者状態推定装置１００ｅの内部構成は、図１に示した運転者状態推定装置１００ａと同様である。
【０１３７】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｅに出力する。
【０１３８】
表示部２３０、及び運転支援部２４０は、それぞれ実施の形態１における各部と同様の機能を有するため、説明を省略する。
【０１３９】
ナビゲーション装置２８０は、自車両に設置され、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能に基づいて自車両が走行している走行道路情報を当該自動車の動作中において認識し、この認識されている走行道路情報を運転者状態推定部１００ｅに出力する。また、ナビゲーション装置２８０は、有効視野角度の導出場所及び天候情報を運転者状態推定装置１００ｅに出力しても良い。
【０１４０】
（運転者状態推定装置の内部構成）
図１６に示すように、運転者状態推定装置１００ｅは、停車状態判定部１０１ｅ、画像データ取得部２２０、視覚刺激制御部１０２ｅ、有効視野角度導出部１０３ｅ、記憶部１０４ｅ及び運転者状態推定部１０５ｅを有する。以下、第１の実施形態の運転者状態推定装置１００ａの各構成要素と同一の動作を行う構成要素の説明は省略する。
【０１４１】
停車状態判定部１０１ｅは、速度情報出力部２１０から出力された自車両の速度情報、及び、ナビゲーション装置２８０から出力された走行道路情報をそれぞれ取得する。停車状態判定部１０１ｅは、速度情報及び走行道路情報に基づいて、所定の道路を所定の速度で走行しているか否かを判定する。ここで、所定の道路とは、高速道路の様に自車両がほぼ一定の速度で走行することが期待される道路である。また、所定の速度範囲とは、例えば、８０［ｋｍ］／ｈ［時間］±５［ｋｍ］／ｈ［時間］である。
【０１４２】
停車状態判定部１０１ｅは、所定の道路を所定のほぼ一定速度で走行している状態であると判定した場合、停車状態判定部１０１ｅは、視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２ｅに出力する。所定の道路を所定のほぼ一定速度で走行している状態ではない場合には、停車状態判定部１０１ｅは、所定の道路を所定の速度で走行している状態であると判定されるまで待機する。
【０１４３】
なお、画像データ取得部２２０、視覚刺激制御部１０２ｃ、有効視野角度導出部１０３ｃ、記憶部１０４ｃ、及び運転者状態推定部１０５ｃの機能は、実施の形態１における機能とそれぞれ同じであるため、説明を省略する。
【０１４４】
なお、記憶部１０４ｅは、第１の実施形態の有効視野角度関連情報５０に加え、「走行速度」及び「走行道路」等の情報を含めて有効視野角度関連情報５０として記憶しても良い。
【０１４５】
なお、運転者状態推定部１０５ｅは、例えば、図６に示した対比表を用いて、導出された有効視野角度の相対的な変化量に基づいて運転者状態を推定する。また、第１の実施形態における「運転開始時の有効視野角度α０」は、第５の実施形態においては「高速道路の走行開始時の有効視野角度α０」と読み替える。
【０１４６】
以上のように、第５の実施形態の運転者状態推定装置１００ｅでは、自車両が所定の道路を所定の速度で走行している状態が判定され、当該状態と判定された場合に視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野が導出されて記憶される。自車両が所定の道路を所定の速度で走行している状態と判定される度に、運転者の有効視野が導出されるため、有効視野の相対的な変化量と運転者状態との関係が定められた所定の条件（図６参照）に応じて、運転者の状態が推定される。
【０１４７】
したがって、第５の実施形態の運転者状態推定装置１００ｅは、経時的に導出された運転者の有効視野の相対的な変化量の比較により推定された運転者状態推定結果情報を、運転者の有効視野の経時変化の発生要因と特定することができる。更に、第５の実施形態の運転者状態推定装置１００ｅでは、自車両が所定の道路を所定の速度で走行している状態である場合に有効視野が導出される。このため、運転者の中心視野方向を見る負荷はほぼ一定となり、高速道路走行中などの停車しない状況であっても、外的要因に基づく有効視野の経時変化の影響を受けずに、有効視野の経時変化の発生要因を具体的に特定することができる。
【０１４８】
（第６の実施形態）
第６の実施形態に係る運転者状態推定装置１００ｆを含む運転者状態推定システム１ｆについて、図１７を参照して説明する。図１７は、第６の実施形態に係る運転者状態推定装置１００ｆを含む運転者状態推定システム１ｆの構成を示すシステム構成図である。図１７において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第６の実施形態では、第１の実施形態ないし第５の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１４９】
図１７に示すように、運転者状態推定システム１ｆは、運転者状態推定装置１００ｆ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０を有する。運転者状態推定装置１００ｆの内部構成は後述する。
【０１５０】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｆに出力する。
【０１５１】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０は、それぞれ実施の形態１ないし実施の形態４における各部と同様の機能を有するため、説明を省略する。
【０１５２】
運転者状態推定装置１００ｆは、停車状態判定部１０１ｆ、画像データ取得部２２０、視覚刺激制御部１０２ｆ、有効視野角度導出部１０３ｆ、記憶部１０４ｆ、運転者状態推定部１０５ｆ、信号機状態判定部１０６、コントラスト調整部１０７を有する。
【０１５３】
停車状態判定部１０１ｆ、画像データ取得部２２０、視覚刺激制御部１０２ｆ、有効視野角度導出部１０３ｆ、記憶部１０４ｆ、運転者状態推定部１０５ｆ、信号機状態判定部１０６、コントラスト調整部１０７の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１５４】
以上のように、第６の実施形態の運転者状態推定装置１００ｆでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１５５】
したがって、第６の実施形態の運転者状態推定装置１００ｆは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１５６】
さらに、自車両の周囲の明るさを考慮して、視覚刺激のコントラストを調整して表示部２３０に表示させるため、第６の実施形態の運転者状態推定装置１００ｆは、第１の実施形態の運転者状態推定装置１００ａに比べて、より正確に運転者の状態を推定することができる。
【０１５７】
（第７の実施形態）
第７の実施形態に係る運転者状態推定装置１００ｇを含む運転者状態推定システム１ｇについて、図１８を参照して説明する。図１８は、第７の実施形態に係る運転者状態推定装置１００ｇを含む運転者状態推定システム１ｇの構成を示すシステム構成図である。図１８において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第７の実施形態では、第１の実施形態ないし第４の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１５８】
図１８に示すように、運転者状態推定システム１ｇは、運転者状態推定装置１００ｇ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び通信部２６０を有する。運転者状態推定装置１００ｇの内部構成は後述する。
【０１５９】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｇに出力する。
【０１６０】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び通信部２６０は、それぞれ実施の形態１ないし実施の形態６における各部と同様の機能を有するため、説明を省略する。
【０１６１】
運転者状態推定装置１００ｇは、停車状態判定部１０１ｇ、画像データ取得部２２０、視覚刺激制御部１０２ｇ、有効視野角度導出部１０３ｇ、記憶部１０４ｇ、運転者状態推定部１０５ｇ、信号機状態判定部１０６、閾値調整部１０８を有する。
【０１６２】
停車状態判定部１０１ｇ、画像データ取得部２２０、視覚刺激制御部１０２ｇ、有効視野角度導出部１０３ｇ、記憶部１０４ｇ、運転者状態推定部１０５ｇ、信号機状態判定部１０６、閾値調整部１０８の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１６３】
以上のように、第７の実施形態の運転者状態推定装置１００ｇでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１６４】
したがって、第７の実施形態の運転者状態推定装置１００ｇは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１６５】
さらに、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１６６】
（第８の実施形態）
第８の実施形態に係る運転者状態推定装置１００ｈを含む運転者状態推定システム１ｈについて、図１９を参照して説明する。図１９は、第８の実施形態に係る運転者状態推定装置１００ｈを含む運転者状態推定システム１ｈの構成を示すシステム構成図である。図１９において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第８の実施形態では、第１の実施形態ないし第４の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１６７】
図１９に示すように、運転者状態システム１ｈは、運転者状態推定装置１００ｈ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び照度センサ２７０を有する。運転者状態推定装置１００ｈの内部構成は後述する。
【０１６８】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｈに出力する。
【０１６９】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、及び照度センサ２７０は、それぞれ実施の形態１ないし実施の形態４における各部と同様の機能を有するため、説明を省略する。
【０１７０】
運転者状態推定装置１００ｈは、停車状態判定部１０１ｈ、画像データ取得部２２０、視覚刺激制御部１０２ｈ、有効視野角度導出部１０３ｈ、記憶部１０４ｈ、運転者状態推定部１０５ｈ、コントラスト調整部１０７、および閾値調整部１０８を有する。
【０１７１】
運転者状態推定装置１００ｈは、停車状態判定部１０１ｈ、画像データ取得部２２０、視覚刺激制御部１０２ｈ、有効視野角度導出部１０３ｈ、記憶部１０４ｈ、運転者状態推定部１０５ｈ、コントラスト調整部１０７、および閾値調整部１０８の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１７２】
したがって、第８の実施形態の運転者状態推定装置１００ｈは、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１７３】
さらに、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１７４】
（第９の実施形態）
第９の実施形態に係る運転者状態推定装置１００ｋを含む運転者状態推定システム１ｋについて、図２０を参照して説明する。図２０は、第９の実施形態に係る運転者状態推定装置１００ｋを含む運転者状態推定システム１ｋの構成を示すシステム構成図である。図２０において、図１ないし図１４と同じ構成要素については同じ符号を用いる。以下、第９の実施形態では、第１の実施形態ないし第４の実施形態と異なる構成要素及び当該構成要素の動作について説明し、同一のないようについては説明を省略する。
【０１７５】
図２０に示すように、運転者状態推定システム１ｋは、運転者状態推定装置１００ｋ、速度情報出力部２１０、表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０を有する。運転者状態推定装置１００ｈの内部構成は後述する。
【０１７６】
速度情報出力部２１０は、第１の実施形態における速度情報出力部２１０と同様の機能を有し、自車両の速度に関する速度情報を、運転者状態推定装置１００ｋに出力する。
【０１７７】
表示部２３０、運転支援部２４０、前景撮像用カメラ部２５０、通信部２６０、及び照度センサ２７０は、それぞれ実施の形態１ないし実施の形態４における各部と同様の機能を有するため、説明を省略する。
【０１７８】
運転者状態推定装置１００ｋは、停車状態判定部１０１ｋ、画像データ取得部２２０、視覚刺激制御部１０２ｋ、有効視野角度導出部１０３ｋ、記憶部１０４ｋ、運転者状態推定部１０５ｋ、コントラスト調整部１０７、および閾値調整部１０８を有する。
【０１７９】
運転者状態推定装置１００ｋは、停車状態判定部１０１ｋ、画像データ取得部２２０、視覚刺激制御部１０２ｋ、有効視野角度導出部１０３ｋ、記憶部１０４ｋ、運転者状態推定部１０５ｋ、コントラスト調整部１０７、および閾値調整部１０８の機能の説明は、実施の形態１ないし４において説明したため、説明を省略する。
【０１８０】
以上のように、第９の実施形態の運転者状態推定装置１００ｋでは、自車両が停車状態に加え、信号機の赤信号の状態が所定時間以上継続すると判定された場合に、視覚刺激が表示部２３０に表示される。この表示された視覚刺激が運転者により視認された場合の運転者の有効視野角度が導出されて記憶される。自車両が停車状態と判定される度に、運転者の有効視野角度が導出されるため、有効視野角度の相対的な変化量と運転者状態との関係が定められた所定の条件に応じて、運転者の状態が推定される。
【０１８１】
したがって、第９の実施形態の運転者状態推定装置１００ｋは、第１の実施形態の運転者状態推定装置１００ａに比べて、有効視野角度の導出過程中に当該自車両が走行状態になる状況を防止するため、より安全な状態で、運転者の状態を推定することができる。
【０１８２】
したがって、第９の実施形態の運転者状態推定装置１００ｋは、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１８３】
さらに、撮像される自車両の前景画像の複雑さに応じて、運転者状態を推定するための閾値を調整することにより、有効視野角度の導出時における前景の複雑さの違いの影響を考慮した運転者状態の推定ができるため、運転者状態をさらに正確に推定することができる。
【０１８４】
以上、添付図面を参照しながら各種の実施形態について説明したが、本発明の入力装置はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１８５】
また、上記した各実施形態における停車状態判定部１０１ａ，１０１ｂ，１０１ｃ、１０１ｄ、及び１０１ｅが視覚刺激の表示を開始させるための条件は、単位時間あたりの視覚情報量が所定量となる状態であっても構わない。例えば、前景撮像用カメラ部２５０により撮像された自車両の走行方向の前景画像における空間周波数が予め定められた所定の範囲内にあると閾値調整部１０８により判定されたとする。この場合に限って、停車状態判定部１０１ｄは、視覚刺激制御部１０２ｄが視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２ｄに出力しても良い。
【０１８６】
なお、コントラスト調整部１０７は、照度センサ２７０の代わりに前景撮像用カメラ２５０を用いて、前景撮像用カメラ部２５０により出力された自車両の走行方向の前景画像、及び当該前景画像の輝度又は色に関する情報を取得する。コントラスト調整部１０７は、この取得された前景画像、及び当該前景画像の輝度又は色に関する情報に基づいて、前景と視覚刺激との輝度コントラスト又は色コントラストが一定になる制御を行うようにしても構わない。
【０１８７】
具体的には、コントラスト調整部１０７は、前景撮像用カメラ部２５０により出力された前景画像の輝度又は色に関する情報に基づいて、表示される視覚刺激の輝度又は色を調整する。コントラスト調整部１０７は、この調整された視覚刺激の輝度又は色に関する情報を視覚刺激制御部１０２ｄに出力する。視覚刺激制御部１０２ｄは、この調整された視覚刺激の輝度又は色に関する情報に基づいて視覚刺激を表示部２３０に表示する。
【０１８８】
なお、視覚刺激制御部１０２ａは、運転者４００の中心視野位置３２０から予め設定された視覚刺激表示距離の初期値Ｌ０ほど離れた視覚刺激表示位置３３０を特定し、この特定された視覚刺激表示位置３３０に視覚刺激を表示しても良い。
【０１８９】
なお、視覚刺激制御部１０２ａにより表示された視覚刺激が運転者４００により視認された場合には、視覚刺激制御部１０２ａは、視覚刺激の表示を終了する。ただ、視覚刺激制御部１０２ａにより表示された視覚刺激が運転者に視認されない場合がある。この場合、所定時間経過後、視覚刺激制御部１０２ａは、視覚刺激表示距離Ｌ１（＜視覚刺激表示位置Ｌ０）ほど離れた視覚刺激表示位置３４０を特定する。視覚刺激制御部１０２ａは、この特定された視覚刺激表示位置３４０に視覚刺激を表示しても良い。
【０１９０】
視覚刺激制御部１０２ａにより表示された視覚刺激が未だ運転者４００に視認されない場合には、所定時間経過後、視覚刺激制御部１０２ａは、視覚刺激表示位置３４０よりも更に視野内側方向に向かって順番に視覚刺激を表示する。この視覚刺激の表示は、運転者４００の中心視野位置３２０から予め設定された視覚刺激表示距離Ｌｎほど離れた視覚刺激表示位置３５０に表示されるまで繰り返される。視覚刺激表示距離Ｌｎは、運転者４００の中心視野位置３２０に十分近い位置にある。視覚刺激表示距離を示すパラメータＬｋ［ｍ］は、Ｌｎ≦Ｌｋ≦Ｌ０を満たす。
【０１９１】
また、第１の実施形態では、視覚刺激制御部１０２ａは、運転者の視線方向の角度αｍと視覚刺激表示角度θｋとがほぼ同一である場合に、表示部２３０に表示された視覚刺激が運転者に視認されたと判定する。しかし、視覚刺激が運転者に視認されたか否かの判定は、運転者の視線方向の角度と視覚刺激表示角度とがほぼ同一である場合に限定されない。
【０１９２】
例えば、視覚刺激制御部１０２ａは、中心視野位置３２０と運転者の視線方向のフロントウィンドウ３１０上の位置との距離と、視覚刺激表示位置Ｌｋとがほぼ同一か否かを判定する。視覚刺激制御部１０２ａは、ほぼ同一である判定された場合に、表示部２３０に表示された視覚刺激が運転者に視認されたと判定しても良い。なお、中心視野位置３２０と運転者の視線方向のフロントウィンドウ３１０の位置との距離は、特許文献１に開示されている視線方向検出装置と同等の構成を含む視覚刺激制御部１０２ａにより導出される。
【０１９３】
図６に示す数式３が成立するためには、有効視野角度導出部１０３ａにおいて導出された現在の有効視野αｍと、直前３回の全ての有効視野（αｍ−３、αｍ−２、αｍ−１）との比がそれぞれ閾値β２よりも非常に小さい場合とした。しかし、現在の有効視野αｍと、直前３回の有効視野（αｍ−３、αｍ−２、αｍ−１）の少なくともいずれかとの比の値が閾値β２よりも非常に小さい場合に、図６に示す数式３が成立するようにしても構わない。
【０１９４】
アイポイント４０１は、ＪＩＳ Ｄ００２１で定義されるアイリプス中心、又は左眼若しくは右眼のアイリプス中心等の位置としてもよい。また、中心視野方向４１０は、ＪＩＳ Ｄ００２１で定義されるアイリプス中心、又は左眼若しくは右眼のアイリプス中心等の標準的なアイポイントの前方正面付近としても構わない。
【０１９５】
また、上記した各実施形態では、視線方向４１０は、運転者４００のアイポイント４０１と運転者４００の注視点とを結ぶ直線方向であると説明したが、これに限定されない。例えば、視線方向４１０は、自車両の周辺を撮像するカメラ（不図示）により撮像された周辺画像の画像認識により、当該アイポイント４０１を基準に、当該画像における先行車両のテールランプの位置の方向に設定しても良い。又は、視線方向４１０は、当該周辺画像における信号機の位置等の様に、当該アイポイント４０１を基準に、自車両が停車状態に運転者が注視する頻度が高い対象物の方向に設定しても良い。
【０１９６】
また、上記した各実施形態では、運転支援部２４０を運転者状態推定装置１００に含めない旨を説明した。しかし、運転支援部２４０をそれぞれの運転者状態推定装置１００に含めても構わない。
【０１９７】
なお、各実施形態において、停車状態判定部１０１は、自車両が停車状態である度に、視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２に出力する必要はない。例えば、停車状態判定部１０１は、運転開始時又は運転開始後で所定時間経過する毎の自車両が停車状態であるときに、視覚刺激を表示する旨の制御情報を視覚刺激制御部１０２に出力してもよい。
【０１９８】
また、視覚刺激制御部１０２により表示される視覚刺激の表示位置は、上記した各実施形態で説明した表示位置に限定されず、視野外側方向から視野内側方向に向かって順に表示するようになっていれば良い。例えば、図２又は図３において、上記した各実施形態では、中心視野位置３２０、及び視覚刺激表示位置３３０〜３５０はほぼ直線状に並んでいる。しかし、中心視野位置３２０、及び視覚刺激表示位置３３０〜３５０は、直線状ではなくランダムに並んでも構わない。
【０１９９】
更に、中心視野位置３２０、及び視覚刺激表示位置３３０〜３５０は、ほぼ同一の視覚刺激表示角度で、複数回、視覚刺激が表示されても良い。例えば、視覚刺激は、ほぼ同一の視覚刺激表示角度で、運転者から遠い位置に視覚刺激が表示された後に、運転者から近い位置に視覚刺激が表示されるようにしても良い。
【０２００】
また、上記した第２の実施形態では、コントラスト調整部１０７による視覚刺激の表示輝度の調整の処理と、閾値調整部１０８による閾値の調整の処理とは、それぞれ独立に行われるように記載した。しかし、コントラスト調整部１０７による調整の処理と、推定閾値調整部１０９による調整の処理とが所定の相関関係があっても良い。
【０２０１】
所定の相関関係として、例えば、コントラスト調整部１０７により視覚刺激の表示輝度が調整された場合には、閾値調整部１０８による推定閾値の調整は不要とされても良い。具体的には、コントラスト調整部１０７は、視覚刺激の表示輝度を調整した旨の調整終了情報を視覚刺激制御部１０２に出力する。このとき、視覚刺激制御部１０２は、コントラスト調整部１０７により出力された調整終了情報を取得し、推定閾値の調整を行わずに予め定められている推定閾値を運転者状態推定部１０５に出力しても良い。
【０２０２】
さらに、上記した各実施形態では、視覚刺激制御部１０２により表示される視覚刺激（光点）の大きさは一定であるが、当該大きさは一定でなくても良い。例えば、視線方向４１０に対する視覚刺激表示角度に依存した皮質拡大係数を用いて、視線位置３２０から離れた位置に表示される視覚刺激ほどより大きい径を有する視覚刺激が表示されるようにしても良い。
【０２０３】
また、第１の実施形態においては、運転開始時の有効視野α０と、自車両が停車状態となった場合における有効視野αｍとの相対的な変化量が導出された。しかし、自車両が停車状態となった場合におけるαｍの相対的な変化量が導出される場合に、常に運転開始時の有効視野α０と比較されなくても良い。例えば、運転開始時の有効視野α０の代わりに、同一地点で導出された過去の有効視野、又は同一時刻で導出された過去の有効視野との比較が行われても良い。
【産業上の利用可能性】
【０２０４】
本発明に係る運転者状態推定装置及び運転者状態推定方法は、自動車等の車両の一部に用いられる装置又は方法として有用である。また推定された運転者の状態に基づいて運転者に対する運転の支援を行う運転支援装置の一部に用いられる装置又は方法としても有用である。
【符号の説明】
【０２０５】
１ａ〜ｈ，１ｋ 運転者状態推定システム
５０ 有効視野角度関連情報
１００ａ〜ｈ，１００ｋ 運転者状態推定装置
１０１ａ〜ｈ，１０１ｋ 停車状態判定部
１０２ａ〜ｈ，１０２ｋ 視覚刺激制御部
１０３ａ〜ｈ，１０３ｋ 有効視野角度導出部
１０４ａ〜ｈ、１０４ｋ 記憶部
１０５ａ〜ｈ、１０５ｋ 運転者状態推定部
１０６ 信号機状態判定部
１０７ コントラスト調整部
１０８ 閾値調整部
２１０ 速度情報出力部
２２０ 画像データ取得部
２３０ 表示部
２４０ 運転支援部
２５０ 前景撮像用カメラ部
２６０ 通信部
２７０ 照度センサ
２８０ ナビゲーション装置
３１０ フロントウィンドウ
３２０ 中心視野位置
３３０，３４０，３５０ 視覚刺激表示位置
４００ 運転者
４０１ アイポイント
４１０，４２０，４３０，４４０ 視線方向
【特許請求の範囲】
【請求項１】
表示領域を備えた車両の運転者の状態を推定する運転者状態推定装置であって、
撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得する画像データ取得部と、
前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定する停車状態判定部と、
前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定する視覚刺激制御部と、
前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出する有効視野角度導出部と、
前記第１の有効視野角度を記憶する記憶部と、
前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する運転者状態推定部と、
を備える運転者状態推定装置。
【請求項２】
前記停車状態判定部は、前記車両の速度がゼロであるか否かを判定する請求項１に記載の運転者状態推定装置。
【請求項３】
前記視覚刺激制御部において、前記視覚刺激が前記運転者に視認されていないと判定された場合、前記表示領域において、前記視覚刺激に対して前記運転者の側に第２の視覚刺激を表示する請求項１に記載の運転者状態推定装置。
【請求項４】
前記停車状態判定部は、前記車両が一定速度で走行中の状態に前記視覚刺激の表示開始と判定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項５】
前記記憶部は、前記車両の運転開始時における有効視野角度を記憶し、
前記運転者状態推定部は、前記有効視野角度導出部により導出された有効視野角度と、前記運転開始時における有効視野角度との間に所定の関係が成立する場合に、前記運転者が疲労状態であると推定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項６】
請求項５に記載の運転者状態推定装置であって、
前記所定の関係は、前記有効視野角度導出部により導出された有効視野角度と、前記運転開始時の有効視野角度との比の値が第１の閾値以下であり、且つ、前記有効視野角度導出部により導出された有効視野角度が、前記運転開始時における有効視野角度より小さい値であることを特徴とする運転者状態推定装置。
【請求項７】
前記記憶部は、前記車両の運転開始時における有効視野角度を記憶し、
前記運転者状態推定部は、前記有効視野角度導出部により導出された有効視野角度と、当該導出時の直前に導出された有効視野角度との比が第２の閾値未満である場合に、前記運転者が注意散漫状態であると推定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項８】
前記視覚刺激制御部は、前記運転者のアイポイントの前方正面方向を中心視野方向と設定する請求項１に記載の運転者状態推定装置。
【請求項９】
請求項８に記載の運転者状態推定装置であって、
前記アイポイントは、前記運転者を含む画像を撮像する撮像装置を介して取得された撮像画像により検出された眼球位置と視線方向とに基づいて決定されることを特徴とする運転者状態推定装置。
【請求項１０】
前記視覚刺激制御部は、前記運転者のアイポイントを起点に、前記車両が停車中の状態に当該運転者により注視される頻度が高い所定の対象物の方向を中心視野方向と設定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１１】
請求項１０に記載の運転者状態推定装置であって、
前記車両が停車中の状態に注視される頻度が高い所定の対象物は、信号機であることを特徴とする運転者状態推定装置。
【請求項１２】
請求項１０に記載の運転者状態推定装置であって、
前記車両が停車中の状態に注視される頻度が高い所定の対象物は、先行車両であることを特徴とする運転者状態推定装置。
【請求項１３】
前記視覚刺激制御部は、前記車両のフロントウィンドウに前記視覚刺激を表示することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１４】
請求項８に記載の運転者状態推定装置であって、
前記有効視野角度導出部は、前記視覚刺激制御部により最初に視認されたと判定された視覚刺激の表示方向と、前記運転者の中心視野方向とにより定まる角度を有効視野角度と導出することを特徴とする運転者状態推定装置。
【請求項１５】
前記停車状態判定部は、直前の信号機から送信された信号機状態に基づいて前記視覚刺激の表示開始を判定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１６】
前記車両の周囲の明るさに応じて、前記視覚刺激制御部により表示される前記視覚刺激の表示輝度又は色を調整するコントラスト調整部と、を更に備え、
前記視覚刺激制御部は、前記コントラスト調整部により調整された前記視覚刺激を表示することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１７】
請求項１６に記載の運転者状態推定装置であって、
前記コントラスト調整部は、前記車両の周囲の撮像画像に基づいて、前記視覚刺激制御部により表示される前記視覚刺激の表示輝度又は色を調整することを特徴とする運転者状態推定装置。
【請求項１８】
請求項６又は７に記載の運転者状態推定装置であって、
前記視覚刺激制御部により表示される前記視覚刺激を表示する前記車両の前景に応じて、前記第１の推定閾値又は前記第２の推定閾値を調整する推定閾値調整部と、を更に備えることを特徴とする運転者状態推定装置。
【請求項１９】
前記運転者状態推定部により疲労状態であると判定された場合に、前記運転者に対して休憩を促す報知を行う運転支援部と、
を更に有することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項２０】
前記運転者状態推定部により注意散漫状態であると判定された場合に、前記運転者に対して警告を行う運転支援部と、
を更に有することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項２１】
表示領域を備えた車両の運転者の状態を推定する運転者状態推定方法であって、
撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得し、
前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定し、
前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定し、
前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出し、
前記第１の有効視野角度を記憶し、
前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する運転者状態推定方法。
【請求項１】
表示領域を備えた車両の運転者の状態を推定する運転者状態推定装置であって、
撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得する画像データ取得部と、
前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定する停車状態判定部と、
前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定する視覚刺激制御部と、
前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出する有効視野角度導出部と、
前記第１の有効視野角度を記憶する記憶部と、
前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する運転者状態推定部と、
を備える運転者状態推定装置。
【請求項２】
前記停車状態判定部は、前記車両の速度がゼロであるか否かを判定する請求項１に記載の運転者状態推定装置。
【請求項３】
前記視覚刺激制御部において、前記視覚刺激が前記運転者に視認されていないと判定された場合、前記表示領域において、前記視覚刺激に対して前記運転者の側に第２の視覚刺激を表示する請求項１に記載の運転者状態推定装置。
【請求項４】
前記停車状態判定部は、前記車両が一定速度で走行中の状態に前記視覚刺激の表示開始と判定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項５】
前記記憶部は、前記車両の運転開始時における有効視野角度を記憶し、
前記運転者状態推定部は、前記有効視野角度導出部により導出された有効視野角度と、前記運転開始時における有効視野角度との間に所定の関係が成立する場合に、前記運転者が疲労状態であると推定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項６】
請求項５に記載の運転者状態推定装置であって、
前記所定の関係は、前記有効視野角度導出部により導出された有効視野角度と、前記運転開始時の有効視野角度との比の値が第１の閾値以下であり、且つ、前記有効視野角度導出部により導出された有効視野角度が、前記運転開始時における有効視野角度より小さい値であることを特徴とする運転者状態推定装置。
【請求項７】
前記記憶部は、前記車両の運転開始時における有効視野角度を記憶し、
前記運転者状態推定部は、前記有効視野角度導出部により導出された有効視野角度と、当該導出時の直前に導出された有効視野角度との比が第２の閾値未満である場合に、前記運転者が注意散漫状態であると推定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項８】
前記視覚刺激制御部は、前記運転者のアイポイントの前方正面方向を中心視野方向と設定する請求項１に記載の運転者状態推定装置。
【請求項９】
請求項８に記載の運転者状態推定装置であって、
前記アイポイントは、前記運転者を含む画像を撮像する撮像装置を介して取得された撮像画像により検出された眼球位置と視線方向とに基づいて決定されることを特徴とする運転者状態推定装置。
【請求項１０】
前記視覚刺激制御部は、前記運転者のアイポイントを起点に、前記車両が停車中の状態に当該運転者により注視される頻度が高い所定の対象物の方向を中心視野方向と設定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１１】
請求項１０に記載の運転者状態推定装置であって、
前記車両が停車中の状態に注視される頻度が高い所定の対象物は、信号機であることを特徴とする運転者状態推定装置。
【請求項１２】
請求項１０に記載の運転者状態推定装置であって、
前記車両が停車中の状態に注視される頻度が高い所定の対象物は、先行車両であることを特徴とする運転者状態推定装置。
【請求項１３】
前記視覚刺激制御部は、前記車両のフロントウィンドウに前記視覚刺激を表示することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１４】
請求項８に記載の運転者状態推定装置であって、
前記有効視野角度導出部は、前記視覚刺激制御部により最初に視認されたと判定された視覚刺激の表示方向と、前記運転者の中心視野方向とにより定まる角度を有効視野角度と導出することを特徴とする運転者状態推定装置。
【請求項１５】
前記停車状態判定部は、直前の信号機から送信された信号機状態に基づいて前記視覚刺激の表示開始を判定することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１６】
前記車両の周囲の明るさに応じて、前記視覚刺激制御部により表示される前記視覚刺激の表示輝度又は色を調整するコントラスト調整部と、を更に備え、
前記視覚刺激制御部は、前記コントラスト調整部により調整された前記視覚刺激を表示することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項１７】
請求項１６に記載の運転者状態推定装置であって、
前記コントラスト調整部は、前記車両の周囲の撮像画像に基づいて、前記視覚刺激制御部により表示される前記視覚刺激の表示輝度又は色を調整することを特徴とする運転者状態推定装置。
【請求項１８】
請求項６又は７に記載の運転者状態推定装置であって、
前記視覚刺激制御部により表示される前記視覚刺激を表示する前記車両の前景に応じて、前記第１の推定閾値又は前記第２の推定閾値を調整する推定閾値調整部と、を更に備えることを特徴とする運転者状態推定装置。
【請求項１９】
前記運転者状態推定部により疲労状態であると判定された場合に、前記運転者に対して休憩を促す報知を行う運転支援部と、
を更に有することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項２０】
前記運転者状態推定部により注意散漫状態であると判定された場合に、前記運転者に対して警告を行う運転支援部と、
を更に有することを特徴とする請求項１に記載の運転者状態推定装置。
【請求項２１】
表示領域を備えた車両の運転者の状態を推定する運転者状態推定方法であって、
撮像系を有し、前記撮像系を用いて前記運転者の画像データを取得し、
前記車両の速度情報に基づいて、前記車両の速度が所定値以下であるか否かを判定し、
前記車両の速度が前記所定値以下であると判定された場合に、前記表示領域に第１の視覚刺激を表示させて、前記運転者の画像データに基づいて、前記第１の視覚刺激が前記運転者に視認されたか否かを判定し、
前記第１の視覚刺激が前記運転者に視認されたと判定された場合に、前記第１の視覚刺激が前記表示領域に表示された位置に基づいて、前記運転者の正面方向と視線方向とがなす角度である第１の有効視野角度を導出し、
前記第１の有効視野角度を記憶し、
前記第１の有効視野角度と、前記第１の有効視野角度が記憶された時点より以前に、前記記憶部が記憶した第２の有効視野角度との差分に基づいて、前記運転者の状態を推定する運転者状態推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−１２８７９９（Ｐ２０１１−１２８７９９Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８５５３９（Ｐ２００９−２８５５３９）
【出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]