視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
【課題】運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置において、走行環境がどの程度疲れやすい状況であるかを推定できるようにする。
【解決手段】運転支援装置においては、車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定し、視認負荷量に応じた支援を行う。視認負荷量を推定する際には、自車両の進行方向における撮像画像を取得し（Ｓ１１０）、撮像画像中において、運転者が生理的に注視してしまう位置を推定する（Ｓ１２０）。そして、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し（Ｓ１３０）、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する（Ｓ１４０）。この構成では、自車両の進行方向を撮像した画像のみから視認負荷量を推定することができ、走行環境がどの程度疲れやすい状況であるかを推定することができる。
【解決手段】運転支援装置においては、車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定し、視認負荷量に応じた支援を行う。視認負荷量を推定する際には、自車両の進行方向における撮像画像を取得し（Ｓ１１０）、撮像画像中において、運転者が生理的に注視してしまう位置を推定する（Ｓ１２０）。そして、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し（Ｓ１３０）、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する（Ｓ１４０）。この構成では、自車両の進行方向を撮像した画像のみから視認負荷量を推定することができ、走行環境がどの程度疲れやすい状況であるかを推定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラムに関する。
【背景技術】
【０００２】
車両の運転者の疲労の程度を推定する装置として、運転者の視線の移動を検出し、ミラーの確認回数が少なくなった場合等に運転者が疲れている旨の出力を行うものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０８２５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記装置では、運転者の疲労を検出するために、運転者を撮像するカメラが必要となる。このカメラは、車両のステアリング付近に、運転者に向けて設置される。そのため、このカメラでは、運転者の顔しか撮像することができず、走行環境の中の何が運転者の疲労に影響を与えているかを推定することはできない。即ち、運転者が走行している環境が、運転者に疲労を与えやすい環境であるか否かを推定することはできない。
【０００５】
そこで、このような問題点を鑑み、運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置において、走行環境がどの程度疲れやすい状況であるかを自車両の進行方向を撮像した画像から推定できるようにすることを本発明の目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために成された第１の構成の視認負荷量推定装置において、撮像画像取得手段は、自車両の進行方向における撮像画像を取得し、生理的注視位置推定手段は、撮像画像中において、運転者が生理的に注視してしまう位置を推定する。そして、運転時視認位置推定手段は、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、視認負荷量推定手段は、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する。
【０００７】
すなわち、本発明は、運転者が生理的に注視してしまう位置と視認すべき位置とが一致する場合には、運転者は自然に視認すべき位置を視認するため負荷（視認負荷量）が小さいが、注視してしまう位置と視認すべき位置とが離れている場合には、運転者は生理的な反応を抑制して、意図的に視認すべき位置を視認する必要があり、このときに負荷（視認負荷量）が大きくなるとの考え方に基づく。
【０００８】
このような視認負荷量推定装置によれば、自車両の進行方向を撮像した画像から視認負荷量を推定することができるので、走行環境がどの程度疲れやすい状況であるかを推定することができる。
【０００９】
なお、生理的注視位置推定手段の具体的な構成としては、例えば、撮像画像中の輝度が高い領域や、彩度が高い領域、動きや点滅などがある領域等、人間の視覚特性上、注視してしまいがちな位置を画像処理によって抽出することで運転者が生理的に注視してしまう位置を推定するようにすればよい。また、運転時視認位置推定手段の具体的な構成としては、撮像画像中において白線が延びる方向やオプティカルフローに基づき撮像画像中の無限遠点（消失点、自車両の進行方向）を検出し、この無限遠点を中心とする所定の領域を視認すべき位置に設定したり、車速や舵角等のセンサ値から撮像画像中の自車両の進行方向を推定し、この進行方向の周囲を視認すべき位置に設定したりする構成を採用すればよい。
【００１０】
ところで、上記視認負荷量推定装置においては、第２の構成のように、生理的注視位置推定手段は、人間の初期視覚系における処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定するようにしてもよい。
【００１１】
このような視認負荷量推定装置によれば、人間の視覚的な処理プロセスに基づいて撮像画像を画像処理し、生理的に注視してしまう位置を推定するので、人間の視覚の特性に対応した正確な位置を推定することができる。よって、視認負荷量の検出精度を向上させることができる。
【００１２】
また、上記視認負荷量推定装置においては、第３の構成のように、運転時視認位置推定手段は、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定するようにしてもよい。
【００１３】
このような視認負荷量推定装置によれば、走行速度に応じて視野角の広さ（動体視力）が変化するという人間の特性を利用して視認すべき位置の範囲の広さを設定することができる。なお、視認すべき位置の範囲の広さについては、走行速度が速くなるにつれて狭く設定すればよい。
【００１４】
さらに、上記視認負荷量推定装置においては、第４の構成のように、視認負荷量推定手段は、注視してしまう位置と視認すべき位置との差に応じて視認負荷量を演算するようにしてもよい。
【００１５】
このような視認負荷量推定装置によれば、視認負荷量を良好に演算することができる。
加えて、上記視認負荷量推定装置においては、第５の構成のように、生理的注視位置推定手段は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、画素毎に注視してしまう度合いを推定し、運転時視認位置推定手段は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、画素毎に視認すべき度合いを推定し、視認負荷量推定手段は、生理的注視位置画像の各画素に対応付けられた値から、運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて視認負荷量を演算するようにしてもよい。
【００１６】
このような視認負荷量推定装置によれば、注視してしまう位置や視認すべき位置が撮像画像中に分散して存在する場合であっても、良好に視認負荷量を演算することができる。なお、本発明において視認負荷画像から視認負荷量を演算する際には、例えば視認負荷画像の平均輝度（各画素の値の平均値）や、視認すべき位置の中心からの各画素までの距離に応じて設定される加重平均の和などを用いればよい。
【００１７】
また、上記視認負荷量推定装置においては、第６の構成のように、注視してしまう位置と視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する視線位置検出手段を備えていてもよい。
【００１８】
このような視認負荷量推定装置によれば、運転者の視線位置を推定することができる。
次に、上記目的を達成するために成された第７の構成として運転支援装置においては、 車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定する視認負荷量推定手段と、視認負荷量に応じた支援を行う支援手段と、を備え、視認負荷量推定手段は、上記記載の視認負荷量推定装置として構成されている。
【００１９】
このような運転支援装置によれば、視認負荷量に応じて運転支援を行うことができる。
また、上記目的を達成するために成された第８の構成としての視認負荷量推定プログラムは、コンピュータを、上記記載の視認負荷量推定装置として機能させるための視認負荷量推定プログラムであることを特徴としている。
【００２０】
このような視認負荷量推定プログラムによれば、上記視認量推定装置と同様の効果を教授することができる。
なお、
車両に搭載され、車両運転時における運転者の視線位置を推定する視線位置推定装置（運転支援装置１）であって、
自車両の進行方向における撮像画像を取得する撮像画像取得手段（Ｓ１１０）と、
撮像画像中において、運転者が生理的に注視してしまう位置を推定する生理的注視位置推定手段（Ｓ１２０）と、
撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する運転時視認位置推定手段（Ｓ１３０）と、
注視してしまう位置と視認すべき位置との位置関係に基づいて、視線位置を推定する視線位置推定手段（Ｓ１４０）と、
を備えたことを特徴とする視線位置推定装置、
としてもよい。
【００２１】
この構成では、運転者が生理的に注視してしまう位置と、運転者が意識的に視認しようとする位置との位置関係を鑑みて、運転者の視線位置を推定することができる。よって、運転者が生理的に注視してしまう位置、および運転者が意識的に視認しようとする位置のうちの一方を鑑みて運転者の視線位置を推定する構成と比較して、より精度よく、運転者の特性を鑑みて運転者の視線位置を推定することができる。
【図面の簡単な説明】
【００２２】
【図１】運転支援装置１の概略構成を示すブロック図である。
【図２】視認負荷量推定処理を示すフローチャート（ａ）、およびボトムアップ過程の推定処理を示すフローチャート（ｂ）である。
【図３】生理的注視位置画像の導出過程を示す概要図である。
【図４】入力画像の一例を示す図（a）、および生理的注視位置画像の一例を示す図（b）である。
【図５】トップダウン過程の推定処理を示すフローチャートである。
【図６】車両の走行速度に対する視野角の関係を示すグラフである。
【図７】前方画像のモデルにおいて運転者の視線位置が向けられた時間の割合を示す説明図である。
【図８】入力画像の一例を示す図（a）、および運転時視認位置画像の一例を示す図（b）である。
【図９】視認負荷量の推定処理を示すフローチャートである。
【図１０】入力画像の一例を示す図（ａ）、生理的注視位置画像の一例を示す図（ｂ）、運転時視認位置画像の一例を示す図（c）、および視認負荷画像の一例を示す図（d）である。
【図１１】入力される撮像画像と視認負荷量との概ねの関係を示す説明図である。
【発明を実施するための形態】
【００２３】
以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
図１は本発明が適用された運転支援装置１（視認負荷量推定装置）の概略構成を示すブロック図である。運転支援装置１は、例えば乗用車等の車両に搭載され、この車両の運転者による運転操作を支援する装置である。
【００２４】
運転支援装置１は、図１に示すように、演算部１０と、カメラ２０と、報知部３０とを備えている。カメラ２０は、車両の進行方向（ここでは前方）における道路およびその周囲等の運転者が運転時に視認する範囲が撮像範囲となるよう配置されており、得られた撮像画像を演算部１０に送る。
【００２５】
演算部１０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ等を有する周知のマイコンを備えて構成されており、ＲＯＭ等の記録されたプログラムに基づく処理を実施する。例えば、演算部１０は、視認負荷量推定プログラムを実施することで、車両運転時における運転者の目の疲れやすさを表す視認負荷量を推定する。そして演算部１０は、視認負荷量に応じた支援を行うための出力を行う（支援手段）。例えば、視認負荷量の瞬時値が基準となる閾値以上である場合、或いは視認負荷量と時間との積分値が基準となる閾値以上である場合等に、運転者に対して注意や休憩を促す報知を行うよう出力を行う。
【００２６】
報知部３０は、例えば図示しない表示部やスピーカを備えて構成されており、演算部１０からの指令に応じた報知を画像や音で行う。
［本実施形態の処理］
運転支援装置１において実施される処理について説明する。図２（ａ）は、演算部１０が視認負荷量推定プログラムを実行することで実施する視認負荷量推定処理（視認負荷量推定手段）を示すフローチャートである。
【００２７】
視認負荷量推定処理では、まず、カメラ２０による撮像画像（前方画像）を取得する（Ｓ１１０：撮像画像取得手段）。そして、ボトムアップ過程の推定処理（Ｓ１２０：生理的注視位置推定手段）、トップダウン過程の推定処理（Ｓ１３０：運転時視認位置推定手段）、視認負荷量の推定処理（Ｓ１４０：視認負荷量推定手段）を順に実施し、これらの処理が終了すると、視認負荷量推定処理を終了する。
【００２８】
ここで、図２（ｂ）は、ボトムアップ過程の推定処理を示すフローチャートである。また、図３は、生理的注視位置画像の導出過程を示す概要図である。
ボトムアップ過程の推定処理は、撮像画像中において、運転者が生理的に注視してしまう位置を推定する処理である。この処理では、人間の初期視覚系における処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定する。この処理により、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成する。
【００２９】
生理的注視位置画像を得るためのボトムアップ過程の推定処理では、まず、輝度情報を取得する（Ｓ２１０）。なお、Ｓ２１０〜Ｓ２３０の処理については、撮像画像中の画素毎に処理が実施される。
【００３０】
Ｓ２１０の処理では、まず入力画像を色チャンネルに分解し、人間が有する錐体細胞の出力に対応する赤、緑、青の三原色を得る。撮像画像の赤チャンネル、緑チャンネル、青チャンネルをそれぞれＩR、ＩG ＩB、で表すと、人間が有する捍体細胞が検出する輝度成分ＩIは、式（１）により定義される。
【００３１】
【数１】
【００３２】
続いて、色差情報（人が有する神経節細胞の応答）を抽出する（Ｓ２２０）。赤-緑神経節細胞の応答ＧRGは、次式に示すように、ＩRとＩGとの差より求める。
【００３３】
【数２】
【００３４】
一方、黄色に対応する反応ＩYは、赤錐体出力と緑錐体出力の平均値として算出し、これを用いて青-黄神経節細胞の応答ＧBYを得る。
【００３５】
【数３】
【００３６】
次に、勾配情報（方向に応じた各細胞の応答）を抽出する（Ｓ２３０）。方位選択性（特定の傾きを持った情報だけに選択的に反応する性質）を示す単純型細胞は、視覚情報を傾き成分に分解する役割を担う。単純型細胞の受容野は、式（５）から式（８）に示すガボール関数で近似されることが知られている。これらを空間フィルタとしてＩIとの畳み込み演算を行うことで、４方向の傾き成分Ｓθが算出される。これを式（９）に示す。ただし、式中の記号「＊」は、畳み込み演算子を表す。
【００３７】
【数４】
【００３８】
捍体細胞、神経節細胞、および単純型細胞の応答を算出した後は、側抑制型の空間荷重を算出する。側抑制型の空間荷重には、周知のガウシアンピラミッドを利用する。ここでは、ガウシアンピラミッドの各レベルで上記の捍体細胞、神経節細胞、および単純型細胞の応答を算出し、異なるレベル間でオン中心-オフ周辺型反応と、オフ中心-オン周辺型反応を算出することで、各細胞の応答の空間的なコントラスト（ＭI、ＭRG、ＭBY、Ｍθ）を得る。
【００３９】
最後に、生理的注視位置画像を算出する（Ｓ２４０）。この処理では、捍体細胞由来の情報、神経節細胞由来の情報、および単純型細胞由来の情報に対して、次式に示す線形和を求める。
【００４０】
【数５】
【００４１】
ただし、ＭI、ＭRG、ＭBY、ＭθはそれぞれＩI、ＧRG、ＧBY、Ｓθにおける側抑制型の空間荷重の出力（例えば、コントラスト、目立ちやすさを数値化したもの）を示す。また、αi（ｉ∈Ｉ，ＲＧ，ＢＹ，０，４５，９０，１３５）は線形結合の係数を表す。
【００４２】
なお、αiについては、合計が１になるよう実験的に求められる任意の値とすることができる。例えば、αI＝０．２〜０．５、αRG＝０．５〜０．７５、α0，α45°，α90°，α135°＝０．０００５〜０．００８、と設定するとよい。
【００４３】
以上の処理により、人間が生理的に注視してしまう度合い（顕著性）を表した空間マップ（生理的注視位置画像）が得られ、ボトムアップ過程の推定処理を終了する。ここで、ボトムアップ過程の出力例を図４に示す。図４（a）は自車両の進行方向を撮像した画像（入力画像）、図（b）はボトムアップ過程により算出された生理的注視位置画像を示す。生理的注視位置画像は、撮像画像中の画素毎に顕著性に応じた値を対応付けたものである。図４（b）では、輝度が高い領域、すなわち白い領域ほど顕著性が高いことを意味している。
【００４４】
次に、トップダウン過程の推定処理について、図５に示すフローチャートを用いて説明する。トップダウン過程の推定処理は、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する処理である。
【００４５】
この処理では、まず、図５に示すように、自車両の走行速度（車速）を抽出する（Ｓ３１０）。例えば、車速センサ（図示省略）による検出結果を取得する。
そして、視認すべき領域の大きさ（サイズ）を設定する（Ｓ３２０）。ここで、図６は、車両の走行速度に対する運転者の視野角の関係を示すグラフである。
【００４６】
図６に示すグラフでは、車両の走行速度が速くなるにつれて、視野角が狭くなるという人間の視覚特性を示している。具体的には、車両の走行速度が40km/hのときに視野角は約100度となり、車両の走行速度が70km/hのときに視野角は約65度となり、車両の走行速度が100km/hとなると視野角は約40度になることが知られている。そこで、図６では、これらの走行速度と視野角との関係をプロットしている。
【００４７】
また図６では、各プロット点を確からしい曲線（例えば、最小二乗法で求められる曲線）で結んでいる。ここで、Ｓ３２０の処理では、自車両の走行速度に対応する視野角を図６に示すグラフから抽出し、この視野角を注視領域のサイズ（後述する運転時視認画像の楕円形のサイズ）に設定する。
【００４８】
続いて、自車両の進行方向を推定する（Ｓ３３０）。この処理では、自車両の走行速度に加えて、舵角センサ（図示省略）により得られる舵角や、ヨーレートセンサ（図示省略）により得られる角速度を利用して、自車両の進行方向を推定する。
【００４９】
そして、視認すべき位置の設定を行う（Ｓ３４０）。ここで、一般に、運転者は自車の進行方向を視認して運転操作を行い、他車両や歩行者、交通信号機、速度標識など、運転行動を行う上で位置や状態を確認すべき視対象が出現すると、視線を移動させ、必要な情報を取得する。換言すると、そのような視対象が出現するまでは、自車の進行方向に視線を向けていることとなる。
【００５０】
走行中（カーブ路）での視線位置の計測結果によると、走行路が右カーブである場合は、運転者はセンターラインを視認し、道路形状の変化の情報を早く入手しようとする傾向がある。一方、走行路が左カーブの場合は、路肩線を視認する頻度が高く、右カーブのときと同様に、道路形状の変化を捉えようとする。また、交通量の少ない高速道路のシーンにて、運転者の視線位置を計測する予備実験を行ったところ、図７に示す結果を得た。
【００５１】
図７は、前方画像のモデルにおいて運転者の視線位置が向けられた時間の割合を示す説明図である。図７から分かるように、他車両や歩行者、交通信号機等の視対象が存在しない場合には、運転者は自車の進行方向を視認する傾向にあることが分かる。
【００５２】
これらの知見を用いて、運転時における運転者の認知行動をモデル化し、視認負荷量推定におけるトップダウン過程を推定し、運転時視認位置画像を生成する（Ｓ３５０）。ここで、図８（ａ）は自車両の進行方向を推定した画像（入力画像）、図８（b）は実際の走行環境において運転者の視線が向けられるべき位置を画像として示す運転時視認位置画像を示す。運転時視認位置画像は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けたものである。図８（b）では、輝度値が高い領域、すなわち白い領域ほど視認すべき確度が高いことを意味している。
【００５３】
なお、図８（b）は、他の車両や歩行者など、運転行動を行う上で視認すべき視対象や、店舗の電光掲示のような誘目性の高い物体が存在しないような状況において、運転者が視認する位置を推定したものである。また、図８（b）における白色の楕円の位置および大きさは、車両や走行環境の状態によって決まる。また、楕円の位置は、その中心が自車両の進行方向と一致するように設定される。
【００５４】
なお、自車両の進行方向については、上述のように、車両から得られる操舵角などから推定すればよいが、前方画像の白線位置（無限遠点）から推定したり、画像から各物体のオプティカルフローを算出し、各物体の湧き出し位置から推定したりしてもよい。このような処理が終了すると、トップダウン過程の推定処理を終了する。
【００５５】
続いて、視認負荷量の推定処理について図９（ａ）に示すフローチャートを用いて説明する。視認負荷量の推定処理では、トップダウン過程とボトムアップ過程とを合成し、トップダウン過程とボトムアップ過程のギャップ（差分）から運転時の視認負荷量を推定する（Ｓ４１０）。
【００５６】
上述したトップダウン過程は、他の車両や歩行者のいない、道路と自車両しか存在しない仮想的な環境での運転者の視線位置を予測するモデルである。つまり、運転行動を行う上で最低限把握しておくべき情報を表している。ここで、運転行動を行う上で最低限把握しておくべき情報とは、例えば、自車両の進行方向を決定するための道路形状の情報がある。
【００５７】
実際の走行環境では、他車両や交通信号機などの運転行動に必要な物体や、店舗の電光掲示等の運転行動には直接関係のない物体も視界に入ってくる。これらの物体が視界に入った際の誘目度合いは、その物体が持つ色や輝度に大きく影響されており、ボトムアップ過程、すなわち生理的注視位置画像で表すことができる。したがって、トップダウン過程とボトムアップ過程の和を取ることで、運転時の運転者の視認位置をある程度予測することが可能となる(図９（ｂ）に示すブロック図中の視線予測)。具体的には、画素位置(x,y)に視線が存在する度合いgaze(x,y)を、次式により推定する。
【００５８】
【数６】
【００５９】
ただし、PTD(x,y),PBU(x,y)は、それぞれ画素位置(x,y)におけるトップダウン過程の出力、およびボトムアップ過程の出力を表し、βTD,βBUはトップダウン過程とボトムアップ過程の結合係数を表す。これらβPTD,βBUの値は、合計が１になるよう実験的に任意の値に設定される。
【００６０】
一方、生理的に誘目されやすい物体(ボトムアップ過程)が存在するにも関わらず、自車進行方向を視認しなければならない(トップダウン過程)状態では、運転者は生理的な視線移動を抑えなければならなくなる。この際の抑圧動作は運転者に負荷を与えるものであり、このトップダウン過程とボトムアップ過程のギャップから視認負荷量VW(図９（ｂ）に示す視認負荷量)が推定できると考える。
【００６１】
【数７】
【００６２】
ただし、式中のV,Hは、トップダウン過程を画像で表現した生理的注視位置画像、およびボトムアップ過程を画像で表現した運転時視認位置画像における、水平画素数、垂直画素数をそれぞれ表す。
【００６３】
続いて、視認負荷量VWによって表現される視認負荷画像の平均輝度を算出する（Ｓ４２０）。すなわち、画像を構成する各画素の平均輝度を算出する。この平均輝度を視認負荷量とすることができる。
【００６４】
ただし、式（１２）で定義した視認負荷量VWは、ある時刻に得られた画像における視認負荷量であり、時々刻々変化するため、本実施形態では、ある時間間隔の中での視認負荷量VWの平均値を求め、それを運転シーンでの視認負荷量とする。以上の処理により、車両前方を撮像した画像のみから、走行環境における視認負荷量を推定することができる。このような処理が終了すると、視認負荷量の推定処理を終了する。
【００６５】
このような運転支援装置１において取り扱う各種画像について図１０を用いて説明する。図１０（a）は入力画像の一例を示す図、図１０（b）は生理的注視位置画像の一例を示す図、図１０（c）は運転時視認位置画像の一例を示す図、図１０（d）は視認負荷画像の一例を示す図である。
【００６６】
図１０（ａ）に示すような撮像画像を入力した場合、ボトムアップ過程の推定処理では図１０（ｂ）に示すような生理的注視位置画像が得られる。この生理的注視位置画像では、明るいところや特定の色の部位ほど輝度が高く（つまり、白に近い色に）なっている。
【００６７】
一方、トップダウン過程の推定処理では、図１０（c）に示す運転時視認位置画像が得られる。そして、視認負荷量の推定処理では、図１０（d）に示す視認負荷画像が得られる。ここで、視認負荷画像は、各画素において生理的注視位置画像の輝度から運転時視認位置画像の輝度を減算したものになっており（ただし、負になる部位は０とする。）、運転者が視認すべき位置に遠い、画像の周囲部分に輝度が高い領域が散在していることが分かる。
【００６８】
ここで、図１１は、入力される撮像画像と視認負荷量との概ねの関係を示す説明図である。上記のような運転支援装置１において、図１１（ａ）に示すように、一様な輝度および色を有する撮像画像例［１］が入力された場合には、上記処理では視認負荷量は０となる。一方で、上記のような運転支援装置１において、図１１（ｂ）に示すように、全体が市松模様（チェック柄）の撮像画像例［２］が入力された場合には、上記処理では視認負荷量は０でなくなる。
【００６９】
ここで、図１１（ｃ）の画像例［３］内の楕円に示すように運転者が視認すべき位置を設定する場合には、図１１（ｄ）に示すように、視認負荷量は、一様な輝度および色を有する撮像画像例［４］（撮像画像例［１］も同様）、運転者が視認すべき位置のみに市松模様がある撮像画像例［５］、運転者が視認すべき位置以外のみに市松模様がある撮像画像例［６］、全体が市松模様の撮像画像例［２］、の順に大きくなる。
【００７０】
［本実施形態による効果］
以上のように詳述した運転支援装置１において演算部１０は、車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定し、視認負荷量に応じた支援を行う。視認負荷量を推定する際には、自車両の進行方向における撮像画像を取得し、撮像画像中において、運転者が生理的に注視してしまう位置を推定する。そして、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する。
【００７１】
このような運転支援装置１によれば、自車両の進行方向を撮像した画像から視認負荷量を推定することができるので、走行環境がどの程度疲れやすい状況であるかを推定することができる。また、視認負荷量に応じて運転支援を行うことができる。
【００７２】
また、上記運転支援装置１において演算部１０は、人間の初期視覚系の処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定する。
【００７３】
このような運転支援装置１によれば、人間の視覚的な処理プロセスに基づいて撮像画像を画像処理し、生理的に注視してしまう位置を推定するので、人間の視覚の特性に対応した正確な位置を推定することができる。よって、視覚負荷量の検出精度を向上させることができる。
【００７４】
また、上記運転支援装置１において演算部１０は、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定する。
このような運転支援装置１によれば、走行速度に応じて視野角の広さ（動体視力）が変化するという人間の特性を利用して視認すべき位置の範囲の広さを設定することができる。
【００７５】
さらに、上記運転支援装置１において演算部１０は、注視してしまう位置と視認すべき位置との差に応じて視認負荷量を演算する。
このような運転支援装置１によれば、視認負荷量を良好に演算することができる。
【００７６】
加えて、上記運転支援装置１において演算部１０は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、画素毎に注視してしまう位置を推定する。また、演算部１０は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、画素毎に視認すべき位置を推定する。そして、演算部１０は、生理的注視位置画像の各画素に対応付けられた値から、運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて視認負荷量を演算する。
【００７７】
このような運転支援装置１によれば、注視してしまう位置や視認すべき位置が撮像画像中に分散して存在する場合であっても、良好に視認負荷量を演算することができる。
また、上記運転支援装置１において演算部１０は、注視してしまう位置と視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する。
【００７８】
このような視認負荷量推定装置によれば、運転者の視線位置を推定することができる。
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００７９】
例えば、上記実施形態においては視認負荷画像から視認負荷量を演算する際に、視認負荷画像の平均輝度（各画素の値の平均値）を利用したが、例えば、視認すべき位置の中心からの各画素までの距離に応じて設定される加重平均の和などを利用してもよい。
【符号の説明】
【００８０】
１…運転支援装置、１０…演算部、２０…カメラ、３０…報知部。
【技術分野】
【０００１】
本発明は、運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラムに関する。
【背景技術】
【０００２】
車両の運転者の疲労の程度を推定する装置として、運転者の視線の移動を検出し、ミラーの確認回数が少なくなった場合等に運転者が疲れている旨の出力を行うものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０８２５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記装置では、運転者の疲労を検出するために、運転者を撮像するカメラが必要となる。このカメラは、車両のステアリング付近に、運転者に向けて設置される。そのため、このカメラでは、運転者の顔しか撮像することができず、走行環境の中の何が運転者の疲労に影響を与えているかを推定することはできない。即ち、運転者が走行している環境が、運転者に疲労を与えやすい環境であるか否かを推定することはできない。
【０００５】
そこで、このような問題点を鑑み、運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置において、走行環境がどの程度疲れやすい状況であるかを自車両の進行方向を撮像した画像から推定できるようにすることを本発明の目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために成された第１の構成の視認負荷量推定装置において、撮像画像取得手段は、自車両の進行方向における撮像画像を取得し、生理的注視位置推定手段は、撮像画像中において、運転者が生理的に注視してしまう位置を推定する。そして、運転時視認位置推定手段は、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、視認負荷量推定手段は、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する。
【０００７】
すなわち、本発明は、運転者が生理的に注視してしまう位置と視認すべき位置とが一致する場合には、運転者は自然に視認すべき位置を視認するため負荷（視認負荷量）が小さいが、注視してしまう位置と視認すべき位置とが離れている場合には、運転者は生理的な反応を抑制して、意図的に視認すべき位置を視認する必要があり、このときに負荷（視認負荷量）が大きくなるとの考え方に基づく。
【０００８】
このような視認負荷量推定装置によれば、自車両の進行方向を撮像した画像から視認負荷量を推定することができるので、走行環境がどの程度疲れやすい状況であるかを推定することができる。
【０００９】
なお、生理的注視位置推定手段の具体的な構成としては、例えば、撮像画像中の輝度が高い領域や、彩度が高い領域、動きや点滅などがある領域等、人間の視覚特性上、注視してしまいがちな位置を画像処理によって抽出することで運転者が生理的に注視してしまう位置を推定するようにすればよい。また、運転時視認位置推定手段の具体的な構成としては、撮像画像中において白線が延びる方向やオプティカルフローに基づき撮像画像中の無限遠点（消失点、自車両の進行方向）を検出し、この無限遠点を中心とする所定の領域を視認すべき位置に設定したり、車速や舵角等のセンサ値から撮像画像中の自車両の進行方向を推定し、この進行方向の周囲を視認すべき位置に設定したりする構成を採用すればよい。
【００１０】
ところで、上記視認負荷量推定装置においては、第２の構成のように、生理的注視位置推定手段は、人間の初期視覚系における処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定するようにしてもよい。
【００１１】
このような視認負荷量推定装置によれば、人間の視覚的な処理プロセスに基づいて撮像画像を画像処理し、生理的に注視してしまう位置を推定するので、人間の視覚の特性に対応した正確な位置を推定することができる。よって、視認負荷量の検出精度を向上させることができる。
【００１２】
また、上記視認負荷量推定装置においては、第３の構成のように、運転時視認位置推定手段は、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定するようにしてもよい。
【００１３】
このような視認負荷量推定装置によれば、走行速度に応じて視野角の広さ（動体視力）が変化するという人間の特性を利用して視認すべき位置の範囲の広さを設定することができる。なお、視認すべき位置の範囲の広さについては、走行速度が速くなるにつれて狭く設定すればよい。
【００１４】
さらに、上記視認負荷量推定装置においては、第４の構成のように、視認負荷量推定手段は、注視してしまう位置と視認すべき位置との差に応じて視認負荷量を演算するようにしてもよい。
【００１５】
このような視認負荷量推定装置によれば、視認負荷量を良好に演算することができる。
加えて、上記視認負荷量推定装置においては、第５の構成のように、生理的注視位置推定手段は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、画素毎に注視してしまう度合いを推定し、運転時視認位置推定手段は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、画素毎に視認すべき度合いを推定し、視認負荷量推定手段は、生理的注視位置画像の各画素に対応付けられた値から、運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて視認負荷量を演算するようにしてもよい。
【００１６】
このような視認負荷量推定装置によれば、注視してしまう位置や視認すべき位置が撮像画像中に分散して存在する場合であっても、良好に視認負荷量を演算することができる。なお、本発明において視認負荷画像から視認負荷量を演算する際には、例えば視認負荷画像の平均輝度（各画素の値の平均値）や、視認すべき位置の中心からの各画素までの距離に応じて設定される加重平均の和などを用いればよい。
【００１７】
また、上記視認負荷量推定装置においては、第６の構成のように、注視してしまう位置と視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する視線位置検出手段を備えていてもよい。
【００１８】
このような視認負荷量推定装置によれば、運転者の視線位置を推定することができる。
次に、上記目的を達成するために成された第７の構成として運転支援装置においては、 車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定する視認負荷量推定手段と、視認負荷量に応じた支援を行う支援手段と、を備え、視認負荷量推定手段は、上記記載の視認負荷量推定装置として構成されている。
【００１９】
このような運転支援装置によれば、視認負荷量に応じて運転支援を行うことができる。
また、上記目的を達成するために成された第８の構成としての視認負荷量推定プログラムは、コンピュータを、上記記載の視認負荷量推定装置として機能させるための視認負荷量推定プログラムであることを特徴としている。
【００２０】
このような視認負荷量推定プログラムによれば、上記視認量推定装置と同様の効果を教授することができる。
なお、
車両に搭載され、車両運転時における運転者の視線位置を推定する視線位置推定装置（運転支援装置１）であって、
自車両の進行方向における撮像画像を取得する撮像画像取得手段（Ｓ１１０）と、
撮像画像中において、運転者が生理的に注視してしまう位置を推定する生理的注視位置推定手段（Ｓ１２０）と、
撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する運転時視認位置推定手段（Ｓ１３０）と、
注視してしまう位置と視認すべき位置との位置関係に基づいて、視線位置を推定する視線位置推定手段（Ｓ１４０）と、
を備えたことを特徴とする視線位置推定装置、
としてもよい。
【００２１】
この構成では、運転者が生理的に注視してしまう位置と、運転者が意識的に視認しようとする位置との位置関係を鑑みて、運転者の視線位置を推定することができる。よって、運転者が生理的に注視してしまう位置、および運転者が意識的に視認しようとする位置のうちの一方を鑑みて運転者の視線位置を推定する構成と比較して、より精度よく、運転者の特性を鑑みて運転者の視線位置を推定することができる。
【図面の簡単な説明】
【００２２】
【図１】運転支援装置１の概略構成を示すブロック図である。
【図２】視認負荷量推定処理を示すフローチャート（ａ）、およびボトムアップ過程の推定処理を示すフローチャート（ｂ）である。
【図３】生理的注視位置画像の導出過程を示す概要図である。
【図４】入力画像の一例を示す図（a）、および生理的注視位置画像の一例を示す図（b）である。
【図５】トップダウン過程の推定処理を示すフローチャートである。
【図６】車両の走行速度に対する視野角の関係を示すグラフである。
【図７】前方画像のモデルにおいて運転者の視線位置が向けられた時間の割合を示す説明図である。
【図８】入力画像の一例を示す図（a）、および運転時視認位置画像の一例を示す図（b）である。
【図９】視認負荷量の推定処理を示すフローチャートである。
【図１０】入力画像の一例を示す図（ａ）、生理的注視位置画像の一例を示す図（ｂ）、運転時視認位置画像の一例を示す図（c）、および視認負荷画像の一例を示す図（d）である。
【図１１】入力される撮像画像と視認負荷量との概ねの関係を示す説明図である。
【発明を実施するための形態】
【００２３】
以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
図１は本発明が適用された運転支援装置１（視認負荷量推定装置）の概略構成を示すブロック図である。運転支援装置１は、例えば乗用車等の車両に搭載され、この車両の運転者による運転操作を支援する装置である。
【００２４】
運転支援装置１は、図１に示すように、演算部１０と、カメラ２０と、報知部３０とを備えている。カメラ２０は、車両の進行方向（ここでは前方）における道路およびその周囲等の運転者が運転時に視認する範囲が撮像範囲となるよう配置されており、得られた撮像画像を演算部１０に送る。
【００２５】
演算部１０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ等を有する周知のマイコンを備えて構成されており、ＲＯＭ等の記録されたプログラムに基づく処理を実施する。例えば、演算部１０は、視認負荷量推定プログラムを実施することで、車両運転時における運転者の目の疲れやすさを表す視認負荷量を推定する。そして演算部１０は、視認負荷量に応じた支援を行うための出力を行う（支援手段）。例えば、視認負荷量の瞬時値が基準となる閾値以上である場合、或いは視認負荷量と時間との積分値が基準となる閾値以上である場合等に、運転者に対して注意や休憩を促す報知を行うよう出力を行う。
【００２６】
報知部３０は、例えば図示しない表示部やスピーカを備えて構成されており、演算部１０からの指令に応じた報知を画像や音で行う。
［本実施形態の処理］
運転支援装置１において実施される処理について説明する。図２（ａ）は、演算部１０が視認負荷量推定プログラムを実行することで実施する視認負荷量推定処理（視認負荷量推定手段）を示すフローチャートである。
【００２７】
視認負荷量推定処理では、まず、カメラ２０による撮像画像（前方画像）を取得する（Ｓ１１０：撮像画像取得手段）。そして、ボトムアップ過程の推定処理（Ｓ１２０：生理的注視位置推定手段）、トップダウン過程の推定処理（Ｓ１３０：運転時視認位置推定手段）、視認負荷量の推定処理（Ｓ１４０：視認負荷量推定手段）を順に実施し、これらの処理が終了すると、視認負荷量推定処理を終了する。
【００２８】
ここで、図２（ｂ）は、ボトムアップ過程の推定処理を示すフローチャートである。また、図３は、生理的注視位置画像の導出過程を示す概要図である。
ボトムアップ過程の推定処理は、撮像画像中において、運転者が生理的に注視してしまう位置を推定する処理である。この処理では、人間の初期視覚系における処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定する。この処理により、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成する。
【００２９】
生理的注視位置画像を得るためのボトムアップ過程の推定処理では、まず、輝度情報を取得する（Ｓ２１０）。なお、Ｓ２１０〜Ｓ２３０の処理については、撮像画像中の画素毎に処理が実施される。
【００３０】
Ｓ２１０の処理では、まず入力画像を色チャンネルに分解し、人間が有する錐体細胞の出力に対応する赤、緑、青の三原色を得る。撮像画像の赤チャンネル、緑チャンネル、青チャンネルをそれぞれＩR、ＩG ＩB、で表すと、人間が有する捍体細胞が検出する輝度成分ＩIは、式（１）により定義される。
【００３１】
【数１】
【００３２】
続いて、色差情報（人が有する神経節細胞の応答）を抽出する（Ｓ２２０）。赤-緑神経節細胞の応答ＧRGは、次式に示すように、ＩRとＩGとの差より求める。
【００３３】
【数２】
【００３４】
一方、黄色に対応する反応ＩYは、赤錐体出力と緑錐体出力の平均値として算出し、これを用いて青-黄神経節細胞の応答ＧBYを得る。
【００３５】
【数３】
【００３６】
次に、勾配情報（方向に応じた各細胞の応答）を抽出する（Ｓ２３０）。方位選択性（特定の傾きを持った情報だけに選択的に反応する性質）を示す単純型細胞は、視覚情報を傾き成分に分解する役割を担う。単純型細胞の受容野は、式（５）から式（８）に示すガボール関数で近似されることが知られている。これらを空間フィルタとしてＩIとの畳み込み演算を行うことで、４方向の傾き成分Ｓθが算出される。これを式（９）に示す。ただし、式中の記号「＊」は、畳み込み演算子を表す。
【００３７】
【数４】
【００３８】
捍体細胞、神経節細胞、および単純型細胞の応答を算出した後は、側抑制型の空間荷重を算出する。側抑制型の空間荷重には、周知のガウシアンピラミッドを利用する。ここでは、ガウシアンピラミッドの各レベルで上記の捍体細胞、神経節細胞、および単純型細胞の応答を算出し、異なるレベル間でオン中心-オフ周辺型反応と、オフ中心-オン周辺型反応を算出することで、各細胞の応答の空間的なコントラスト（ＭI、ＭRG、ＭBY、Ｍθ）を得る。
【００３９】
最後に、生理的注視位置画像を算出する（Ｓ２４０）。この処理では、捍体細胞由来の情報、神経節細胞由来の情報、および単純型細胞由来の情報に対して、次式に示す線形和を求める。
【００４０】
【数５】
【００４１】
ただし、ＭI、ＭRG、ＭBY、ＭθはそれぞれＩI、ＧRG、ＧBY、Ｓθにおける側抑制型の空間荷重の出力（例えば、コントラスト、目立ちやすさを数値化したもの）を示す。また、αi（ｉ∈Ｉ，ＲＧ，ＢＹ，０，４５，９０，１３５）は線形結合の係数を表す。
【００４２】
なお、αiについては、合計が１になるよう実験的に求められる任意の値とすることができる。例えば、αI＝０．２〜０．５、αRG＝０．５〜０．７５、α0，α45°，α90°，α135°＝０．０００５〜０．００８、と設定するとよい。
【００４３】
以上の処理により、人間が生理的に注視してしまう度合い（顕著性）を表した空間マップ（生理的注視位置画像）が得られ、ボトムアップ過程の推定処理を終了する。ここで、ボトムアップ過程の出力例を図４に示す。図４（a）は自車両の進行方向を撮像した画像（入力画像）、図（b）はボトムアップ過程により算出された生理的注視位置画像を示す。生理的注視位置画像は、撮像画像中の画素毎に顕著性に応じた値を対応付けたものである。図４（b）では、輝度が高い領域、すなわち白い領域ほど顕著性が高いことを意味している。
【００４４】
次に、トップダウン過程の推定処理について、図５に示すフローチャートを用いて説明する。トップダウン過程の推定処理は、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する処理である。
【００４５】
この処理では、まず、図５に示すように、自車両の走行速度（車速）を抽出する（Ｓ３１０）。例えば、車速センサ（図示省略）による検出結果を取得する。
そして、視認すべき領域の大きさ（サイズ）を設定する（Ｓ３２０）。ここで、図６は、車両の走行速度に対する運転者の視野角の関係を示すグラフである。
【００４６】
図６に示すグラフでは、車両の走行速度が速くなるにつれて、視野角が狭くなるという人間の視覚特性を示している。具体的には、車両の走行速度が40km/hのときに視野角は約100度となり、車両の走行速度が70km/hのときに視野角は約65度となり、車両の走行速度が100km/hとなると視野角は約40度になることが知られている。そこで、図６では、これらの走行速度と視野角との関係をプロットしている。
【００４７】
また図６では、各プロット点を確からしい曲線（例えば、最小二乗法で求められる曲線）で結んでいる。ここで、Ｓ３２０の処理では、自車両の走行速度に対応する視野角を図６に示すグラフから抽出し、この視野角を注視領域のサイズ（後述する運転時視認画像の楕円形のサイズ）に設定する。
【００４８】
続いて、自車両の進行方向を推定する（Ｓ３３０）。この処理では、自車両の走行速度に加えて、舵角センサ（図示省略）により得られる舵角や、ヨーレートセンサ（図示省略）により得られる角速度を利用して、自車両の進行方向を推定する。
【００４９】
そして、視認すべき位置の設定を行う（Ｓ３４０）。ここで、一般に、運転者は自車の進行方向を視認して運転操作を行い、他車両や歩行者、交通信号機、速度標識など、運転行動を行う上で位置や状態を確認すべき視対象が出現すると、視線を移動させ、必要な情報を取得する。換言すると、そのような視対象が出現するまでは、自車の進行方向に視線を向けていることとなる。
【００５０】
走行中（カーブ路）での視線位置の計測結果によると、走行路が右カーブである場合は、運転者はセンターラインを視認し、道路形状の変化の情報を早く入手しようとする傾向がある。一方、走行路が左カーブの場合は、路肩線を視認する頻度が高く、右カーブのときと同様に、道路形状の変化を捉えようとする。また、交通量の少ない高速道路のシーンにて、運転者の視線位置を計測する予備実験を行ったところ、図７に示す結果を得た。
【００５１】
図７は、前方画像のモデルにおいて運転者の視線位置が向けられた時間の割合を示す説明図である。図７から分かるように、他車両や歩行者、交通信号機等の視対象が存在しない場合には、運転者は自車の進行方向を視認する傾向にあることが分かる。
【００５２】
これらの知見を用いて、運転時における運転者の認知行動をモデル化し、視認負荷量推定におけるトップダウン過程を推定し、運転時視認位置画像を生成する（Ｓ３５０）。ここで、図８（ａ）は自車両の進行方向を推定した画像（入力画像）、図８（b）は実際の走行環境において運転者の視線が向けられるべき位置を画像として示す運転時視認位置画像を示す。運転時視認位置画像は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けたものである。図８（b）では、輝度値が高い領域、すなわち白い領域ほど視認すべき確度が高いことを意味している。
【００５３】
なお、図８（b）は、他の車両や歩行者など、運転行動を行う上で視認すべき視対象や、店舗の電光掲示のような誘目性の高い物体が存在しないような状況において、運転者が視認する位置を推定したものである。また、図８（b）における白色の楕円の位置および大きさは、車両や走行環境の状態によって決まる。また、楕円の位置は、その中心が自車両の進行方向と一致するように設定される。
【００５４】
なお、自車両の進行方向については、上述のように、車両から得られる操舵角などから推定すればよいが、前方画像の白線位置（無限遠点）から推定したり、画像から各物体のオプティカルフローを算出し、各物体の湧き出し位置から推定したりしてもよい。このような処理が終了すると、トップダウン過程の推定処理を終了する。
【００５５】
続いて、視認負荷量の推定処理について図９（ａ）に示すフローチャートを用いて説明する。視認負荷量の推定処理では、トップダウン過程とボトムアップ過程とを合成し、トップダウン過程とボトムアップ過程のギャップ（差分）から運転時の視認負荷量を推定する（Ｓ４１０）。
【００５６】
上述したトップダウン過程は、他の車両や歩行者のいない、道路と自車両しか存在しない仮想的な環境での運転者の視線位置を予測するモデルである。つまり、運転行動を行う上で最低限把握しておくべき情報を表している。ここで、運転行動を行う上で最低限把握しておくべき情報とは、例えば、自車両の進行方向を決定するための道路形状の情報がある。
【００５７】
実際の走行環境では、他車両や交通信号機などの運転行動に必要な物体や、店舗の電光掲示等の運転行動には直接関係のない物体も視界に入ってくる。これらの物体が視界に入った際の誘目度合いは、その物体が持つ色や輝度に大きく影響されており、ボトムアップ過程、すなわち生理的注視位置画像で表すことができる。したがって、トップダウン過程とボトムアップ過程の和を取ることで、運転時の運転者の視認位置をある程度予測することが可能となる(図９（ｂ）に示すブロック図中の視線予測)。具体的には、画素位置(x,y)に視線が存在する度合いgaze(x,y)を、次式により推定する。
【００５８】
【数６】
【００５９】
ただし、PTD(x,y),PBU(x,y)は、それぞれ画素位置(x,y)におけるトップダウン過程の出力、およびボトムアップ過程の出力を表し、βTD,βBUはトップダウン過程とボトムアップ過程の結合係数を表す。これらβPTD,βBUの値は、合計が１になるよう実験的に任意の値に設定される。
【００６０】
一方、生理的に誘目されやすい物体(ボトムアップ過程)が存在するにも関わらず、自車進行方向を視認しなければならない(トップダウン過程)状態では、運転者は生理的な視線移動を抑えなければならなくなる。この際の抑圧動作は運転者に負荷を与えるものであり、このトップダウン過程とボトムアップ過程のギャップから視認負荷量VW(図９（ｂ）に示す視認負荷量)が推定できると考える。
【００６１】
【数７】
【００６２】
ただし、式中のV,Hは、トップダウン過程を画像で表現した生理的注視位置画像、およびボトムアップ過程を画像で表現した運転時視認位置画像における、水平画素数、垂直画素数をそれぞれ表す。
【００６３】
続いて、視認負荷量VWによって表現される視認負荷画像の平均輝度を算出する（Ｓ４２０）。すなわち、画像を構成する各画素の平均輝度を算出する。この平均輝度を視認負荷量とすることができる。
【００６４】
ただし、式（１２）で定義した視認負荷量VWは、ある時刻に得られた画像における視認負荷量であり、時々刻々変化するため、本実施形態では、ある時間間隔の中での視認負荷量VWの平均値を求め、それを運転シーンでの視認負荷量とする。以上の処理により、車両前方を撮像した画像のみから、走行環境における視認負荷量を推定することができる。このような処理が終了すると、視認負荷量の推定処理を終了する。
【００６５】
このような運転支援装置１において取り扱う各種画像について図１０を用いて説明する。図１０（a）は入力画像の一例を示す図、図１０（b）は生理的注視位置画像の一例を示す図、図１０（c）は運転時視認位置画像の一例を示す図、図１０（d）は視認負荷画像の一例を示す図である。
【００６６】
図１０（ａ）に示すような撮像画像を入力した場合、ボトムアップ過程の推定処理では図１０（ｂ）に示すような生理的注視位置画像が得られる。この生理的注視位置画像では、明るいところや特定の色の部位ほど輝度が高く（つまり、白に近い色に）なっている。
【００６７】
一方、トップダウン過程の推定処理では、図１０（c）に示す運転時視認位置画像が得られる。そして、視認負荷量の推定処理では、図１０（d）に示す視認負荷画像が得られる。ここで、視認負荷画像は、各画素において生理的注視位置画像の輝度から運転時視認位置画像の輝度を減算したものになっており（ただし、負になる部位は０とする。）、運転者が視認すべき位置に遠い、画像の周囲部分に輝度が高い領域が散在していることが分かる。
【００６８】
ここで、図１１は、入力される撮像画像と視認負荷量との概ねの関係を示す説明図である。上記のような運転支援装置１において、図１１（ａ）に示すように、一様な輝度および色を有する撮像画像例［１］が入力された場合には、上記処理では視認負荷量は０となる。一方で、上記のような運転支援装置１において、図１１（ｂ）に示すように、全体が市松模様（チェック柄）の撮像画像例［２］が入力された場合には、上記処理では視認負荷量は０でなくなる。
【００６９】
ここで、図１１（ｃ）の画像例［３］内の楕円に示すように運転者が視認すべき位置を設定する場合には、図１１（ｄ）に示すように、視認負荷量は、一様な輝度および色を有する撮像画像例［４］（撮像画像例［１］も同様）、運転者が視認すべき位置のみに市松模様がある撮像画像例［５］、運転者が視認すべき位置以外のみに市松模様がある撮像画像例［６］、全体が市松模様の撮像画像例［２］、の順に大きくなる。
【００７０】
［本実施形態による効果］
以上のように詳述した運転支援装置１において演算部１０は、車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定し、視認負荷量に応じた支援を行う。視認負荷量を推定する際には、自車両の進行方向における撮像画像を取得し、撮像画像中において、運転者が生理的に注視してしまう位置を推定する。そして、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する。
【００７１】
このような運転支援装置１によれば、自車両の進行方向を撮像した画像から視認負荷量を推定することができるので、走行環境がどの程度疲れやすい状況であるかを推定することができる。また、視認負荷量に応じて運転支援を行うことができる。
【００７２】
また、上記運転支援装置１において演算部１０は、人間の初期視覚系の処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定する。
【００７３】
このような運転支援装置１によれば、人間の視覚的な処理プロセスに基づいて撮像画像を画像処理し、生理的に注視してしまう位置を推定するので、人間の視覚の特性に対応した正確な位置を推定することができる。よって、視覚負荷量の検出精度を向上させることができる。
【００７４】
また、上記運転支援装置１において演算部１０は、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定する。
このような運転支援装置１によれば、走行速度に応じて視野角の広さ（動体視力）が変化するという人間の特性を利用して視認すべき位置の範囲の広さを設定することができる。
【００７５】
さらに、上記運転支援装置１において演算部１０は、注視してしまう位置と視認すべき位置との差に応じて視認負荷量を演算する。
このような運転支援装置１によれば、視認負荷量を良好に演算することができる。
【００７６】
加えて、上記運転支援装置１において演算部１０は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、画素毎に注視してしまう位置を推定する。また、演算部１０は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、画素毎に視認すべき位置を推定する。そして、演算部１０は、生理的注視位置画像の各画素に対応付けられた値から、運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて視認負荷量を演算する。
【００７７】
このような運転支援装置１によれば、注視してしまう位置や視認すべき位置が撮像画像中に分散して存在する場合であっても、良好に視認負荷量を演算することができる。
また、上記運転支援装置１において演算部１０は、注視してしまう位置と視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する。
【００７８】
このような視認負荷量推定装置によれば、運転者の視線位置を推定することができる。
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００７９】
例えば、上記実施形態においては視認負荷画像から視認負荷量を演算する際に、視認負荷画像の平均輝度（各画素の値の平均値）を利用したが、例えば、視認すべき位置の中心からの各画素までの距離に応じて設定される加重平均の和などを利用してもよい。
【符号の説明】
【００８０】
１…運転支援装置、１０…演算部、２０…カメラ、３０…報知部。
【特許請求の範囲】
【請求項１】
車両に搭載され、車両運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置であって、
自車両の進行方向における撮像画像を取得する撮像画像取得手段と、
前記撮像画像中において、運転者が生理的に注視してしまう位置を推定する生理的注視位置推定手段と、
前記撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する運転時視認位置推定手段と、
前記注視してしまう位置と前記視認すべき位置との位置関係に基づいて、前記視認負荷量を推定する視認負荷量推定手段と、
を備えたことを特徴とする視認負荷量推定装置。
【請求項２】
請求項１に記載の視認負荷量推定装置において、
前記生理的注視位置推定手段は、人間の初期視覚系の処理プロセスに基づいて、視覚的に顕著な位置を抽出し、前記注視してしまう位置を推定すること
を特徴とする視認負荷量推定装置。
【請求項３】
請求項１または請求項２に記載の視認負荷量推定装置において、
前記運転時視認位置推定手段は、自車両の進行方向に応じて視認すべき位置を設定し、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定すること
を特徴とする視認負荷量推定装置。
【請求項４】
請求項１〜請求項３の何れか１項に記載の視認負荷量推定装置において、
前記視認負荷量推定手段は、前記注視してしまう位置と前記視認すべき位置との差に応じて前記視認負荷量を演算すること
を特徴とする視認負荷量推定装置。
【請求項５】
請求項４に記載の視認負荷量推定装置において、
前記生理的注視位置推定手段は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、前記画素毎に注視してしまう度合いを推定し、
前記運転時視認位置推定手段は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、前記画素毎に視認すべき度合いを推定し、
前記負荷量推定手段は、前記生理的注視位置画像の各画素に対応付けられた値から、前記運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて前記視認負荷量を演算すること
を特徴とする視認負荷量推定装置。
【請求項６】
請求項１〜請求項５の何れか１項に記載の視認負荷量推定装置において、
前記注視してしまう位置と前記視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する視線位置検出手段を備えたこと
を特徴とする視認負荷量推定装置。
【請求項７】
車両に搭載され、当該車両の運転者を支援する運転支援装置であって、
車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定する視認負荷量推定手段と、
視認負荷量に応じた支援を行う支援手段と、を備え、
前記視認負荷量推定手段は、請求項１〜請求項５の何れか１項に記載の視認負荷量推定装置として構成されていること
を特徴とする運転支援装置。
【請求項８】
コンピュータを、請求項１〜請求項５の何れか１項に記載の視認負荷量推定装置として機能させるための視認負荷量推定プログラム。
【請求項１】
車両に搭載され、車両運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置であって、
自車両の進行方向における撮像画像を取得する撮像画像取得手段と、
前記撮像画像中において、運転者が生理的に注視してしまう位置を推定する生理的注視位置推定手段と、
前記撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する運転時視認位置推定手段と、
前記注視してしまう位置と前記視認すべき位置との位置関係に基づいて、前記視認負荷量を推定する視認負荷量推定手段と、
を備えたことを特徴とする視認負荷量推定装置。
【請求項２】
請求項１に記載の視認負荷量推定装置において、
前記生理的注視位置推定手段は、人間の初期視覚系の処理プロセスに基づいて、視覚的に顕著な位置を抽出し、前記注視してしまう位置を推定すること
を特徴とする視認負荷量推定装置。
【請求項３】
請求項１または請求項２に記載の視認負荷量推定装置において、
前記運転時視認位置推定手段は、自車両の進行方向に応じて視認すべき位置を設定し、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定すること
を特徴とする視認負荷量推定装置。
【請求項４】
請求項１〜請求項３の何れか１項に記載の視認負荷量推定装置において、
前記視認負荷量推定手段は、前記注視してしまう位置と前記視認すべき位置との差に応じて前記視認負荷量を演算すること
を特徴とする視認負荷量推定装置。
【請求項５】
請求項４に記載の視認負荷量推定装置において、
前記生理的注視位置推定手段は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、前記画素毎に注視してしまう度合いを推定し、
前記運転時視認位置推定手段は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、前記画素毎に視認すべき度合いを推定し、
前記負荷量推定手段は、前記生理的注視位置画像の各画素に対応付けられた値から、前記運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて前記視認負荷量を演算すること
を特徴とする視認負荷量推定装置。
【請求項６】
請求項１〜請求項５の何れか１項に記載の視認負荷量推定装置において、
前記注視してしまう位置と前記視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する視線位置検出手段を備えたこと
を特徴とする視認負荷量推定装置。
【請求項７】
車両に搭載され、当該車両の運転者を支援する運転支援装置であって、
車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定する視認負荷量推定手段と、
視認負荷量に応じた支援を行う支援手段と、を備え、
前記視認負荷量推定手段は、請求項１〜請求項５の何れか１項に記載の視認負荷量推定装置として構成されていること
を特徴とする運転支援装置。
【請求項８】
コンピュータを、請求項１〜請求項５の何れか１項に記載の視認負荷量推定装置として機能させるための視認負荷量推定プログラム。
【図１】
【図２】
【図５】
【図６】
【図７】
【図９】
【図３】
【図４】
【図８】
【図１０】
【図１１】
【図２】
【図５】
【図６】
【図７】
【図９】
【図３】
【図４】
【図８】
【図１０】
【図１１】
【公開番号】特開２０１３−９８２５（Ｐ２０１３−９８２５Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４４１３（Ｐ２０１１−１４４４１３）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]