視認行動情報提示装置
【課題】 車両の運転開始から運転終了までの所定の期間に亙る運転者の視線配分を的確に評価できるようにする。
【解決手段】 視線検知手段15は車両の運転者の視線の方向を検知し、記憶手段M1は前記視線の方向のデータを記憶し、視認行動情報生成手段M2は運転の開始から終了までの1ドライブサイクル内に記憶手段M1に記憶されたデータから運転者の視認行動情報を生成し、視認行動情報提示手段M3は前記視認行動情報をモニタ28に提示するので、1ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となる。しかも1ドライブサイクルの終了後に視線行動情報を提示するので、運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。
【解決手段】 視線検知手段15は車両の運転者の視線の方向を検知し、記憶手段M1は前記視線の方向のデータを記憶し、視認行動情報生成手段M2は運転の開始から終了までの1ドライブサイクル内に記憶手段M1に記憶されたデータから運転者の視認行動情報を生成し、視認行動情報提示手段M3は前記視認行動情報をモニタ28に提示するので、1ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となる。しかも1ドライブサイクルの終了後に視線行動情報を提示するので、運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者が車両を運転している間の視線の方向に関する情報を提示する視認行動情報提示装置に関する。
【背景技術】
【0002】
例えば交差点の近傍を複数のエリアに分け、自車が各エリアにあるときの運転者の視線配分を検出し、この実際の視線配分と理想的な視線配分とを比較することで、運転者にアドバイスを提示して安全確認に資する安全確認アドバイス装置が、下記特許文献1により公知である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−262388号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら上記従来のものは、交差点等の特定位置での視線配分のアドバイスを行うことは可能であるが、運転期間の全域に亙る視線配分のアドバイスを行うことができないだけでなく、運転中に交差点等の特定位置毎にアドバイスが行われるために運転者が煩わしく感じる虞があった。またシステムが運転者の安全行動の評価を行うために、運転者が自らの安全判断を放棄する可能性があるだけでなく、システムの安全基準と運転者が個々に持っている安全基準との間に差が生じたときに、運転者がシステムに対する不信感を抱く可能性があった。またシステムが誤った判断をしたときに、運転者がその判断を鵜呑みにし、かえって安全性を阻害する可能性があった。
【0005】
本発明は前述の事情に鑑みてなされたもので、車両の運転開始から運転終了までの所定の期間に亙る運転者の視線配分を的確に評価できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、請求項1に記載された発明によれば、車両の運転者の視線の方向を検知する視線検知手段と、前記視線検知手段により検知された視線の方向のデータを記憶する記憶手段と、運転の開始から終了までの1ドライブサイクル内に前記記憶手段に記憶されたデータから運転者の視認行動情報を生成する視認行動情報生成手段と、前記視認行動情報生成手段で生成した視認行動情報を前記運転の終了時に提示する視認行動情報提示手段とを備えることを特徴とする視認行動情報提示装置が提案される。
【0007】
また請求項2に記載された発明によれば、請求項1の構成に加えて、前記視認行動情報は、注視対象領域毎の注視頻度または注視時間を含む情報であり、前記注視頻度および前記注視時間の少なくとも一方に基づいて危険度を算出する危険度算出手段を備え、前記視認行動情報提示手段は、前記視認行動情報生成手段で生成した視認行動情報に加えて前記危険度算出手段で算出した危険度を提示することを特徴とする視認行動情報提示装置が提案される。
【0008】
また請求項3に記載された発明によれば、請求項1または請求項2の構成に加えて、前記視認行動情報は、運転者の視野における注視頻度分布を含む情報であり、前記視認行動情報提示手段は、前記注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示することを特徴とする視認行動情報提示装置が提案される。
【0009】
また請求項4に記載された発明によれば、請求項3の構成に加えて、前記記憶手段は、車両が走行する道路環境および車両が走行する時間帯の少なくとも一方と運転者の視線の方向とを対応づけて記憶し、前記視認行動情報生成手段は、前記道路環境または前記時間帯毎に前記注視頻度分布を生成可能であることを特徴とする視認行動情報提示装置が提案される。
【0010】
また請求項5に記載された発明によれば、請求項1〜請求項4の何れか1項の構成に加えて、前記視線検知手段は運転者を撮像するカメラを含み、前記カメラの画像から運転者を識別する運転者識別手段を備え、前記記憶手段は、前記運転者識別手段が識別した運転者毎に視線の方向を記憶することを特徴とする視認行動情報提示装置が提案される。
【0011】
また請求項6に記載された発明によれば、請求項1〜請求項5の何れか1項の構成に加えて、前記視認行動情報生成手段は、前記1ドライブサイクルの期間から車両が停止している期間を除外することを特徴とする視認行動情報提示装置が提案される。
【0012】
尚、実施の形態の近赤外線カメラ13は本発明のカメラに対応する。
【発明の効果】
【0013】
請求項1の構成によれば、視線検知手段が運転者の視線の方向を検知し、記憶手段が視線検知手段により検知された視線の方向のデータを記憶し、視認行動情報生成手段が運転の開始から終了までの1ドライブサイクル内に記憶手段に記憶されたデータから運転者の視認行動情報を生成し、視認行動情報提示手段が視認行動情報生成手段で生成した視認行動情報を運転の終了時に提示するので、1ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となり、しかも1ドライブサイクルの終了後に視線行動情報を提示するので、運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。
【0014】
また請求項2の構成によれば、視認行動情報は注視対象領域毎の注視頻度または注視時間を含む情報であり、危険度算出手段が注視頻度および注視時間の少なくとも一方に基づいて危険度を算出し、視認行動情報提示手段が視認行動情報生成手段で生成した視認行動情報に加えて危険度算出手段で算出した危険度を提示するので、運転者は自己の視認行動と、その視認行動の安全性とを同時に把握することができる。
【0015】
また請求項3の構成によれば、視認行動情報は運転者の視野における注視頻度分布を含む情報であり、視認行動情報提示手段が注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示するので、運転者の視線が運転者の視野のどの部分にどの様に分布しているかを即座に把握することができる。
【0016】
また請求項4の構成によれば、記憶手段が車両が走行する道路環境あるいは車両が走行する時間帯を運転者の視線の方向と対応づけて記憶し、視認行動情報生成手段が道路環境または時間帯毎に注視頻度分布を生成するので、道路環境または時間帯に対応する特定の注視頻度分布を取得することができる。
【0017】
また請求項5の構成によれば、視線検知手段のカメラで撮像した画像から運転者識別手段が運転者を識別するので、1台の車両を複数の運転者が使用する場合であっても、記憶手段は運転者毎の視線の方向を別個に記憶することができる。
【0018】
また請求項6の構成によれば、視認行動情報生成手段は1ドライブサイクルの期間から車両が停止している期間を除外して視認行動情報を生成するので、車両が停止している期間の重要度の低い視認行動情報を除外した重要度の高い視認行動情報を生成することができる。
【図面の簡単な説明】
【0019】
【図1】車両の車室前部を後方から見た図。
【図2】視線検知手段の構造および機能を説明する模式図。
【図3】視認行動情報提示装置の構成を示すブロック図。
【図4】モニタに表示された「注視頻度分布図」の一例を示す図。
【図5】モニタに表示された「注視状況表」の一例を示す図。
【図6】モニタに表示された「交差点安全確認」の一例を示す図。
【図7】モニタに表示された「過去の運転との比較」の一例を示す図。
【図8】速度:80km/h以上、走行状態:全範囲、走行道路:高速路に対応する「注視頻度分布図」の一例を示す図。
【図9】速度:全速度域、走行状態:直進、走行道路:全道路に対応する「注視継続時間分布図」の一例を示す図。
【図10】運転者毎の「注視頻度分布図」の表示の説明図。
【図11】日にちや時間範囲毎の「注視頻度分布図」の表示の説明図。
【図12】視認行動記録ルーチンのフローチャート。
【図13】図12のステップS5のサブルーチンのフローチャート。
【図14】図12のステップS7のサブルーチンのフローチャート。
【図15】視認行動提示ルーチンのフローチャート。
【図16】ナビゲーションシステムの地図上に重畳して表示した視線を示す図。
【図17】前方カメラ画像に重畳して表示した視線を示す図。
【発明を実施するための形態】
【0020】
以下、図1〜図17に基づいて本発明の実施の形態を説明する。
【0021】
図1に示すように、車両のインストルメントパネル11の右寄りの位置にステアリングホイール12が設けられており、ステアリングホイール12の前方のインストルメントパネル11に近赤外線カメラ13と、その左右両側に位置する一対の近赤外線LED14,14とが設けられる。近赤外線カメラ13および近赤外線LED14,14は、運転者の視線が指向する方向を検知する視線検知手段15を構成する。
【0022】
車両は車内から車外の状況を視認できるように、フロントウインドシールド21と、左右のフロントドア22L,22Rのドアガラス23L,23Rとを備えており、フロントウインドシールド21の車幅方向中央上部にはルームミラー24が設けられるとともに、左右のフロントドア22L,22Rの前部には左右のサイドミラー25L,25Rが設けられる。インストルメントパネル11の車幅方向中央にはナビゲーションシステム26が設けられるとともに、ステアリングホイール12の前方のインストルメントパネル11にメーターパネル27が設けられる。ナビゲーションシステム26のモニタ28は、視認行動情報提示装置のモニタ28としても用いられる。
【0023】
図2は視線検知手段15の構造および機能を模式的に示すもので、近赤外線カメラ13は、近赤外線LED14が発した近赤外線が運転者の眼球の角膜に反射した角膜反射点aと、眼球の瞳孔中心bとの二つの点を撮像する。そして角膜反射点aおよび瞳孔中心bの二つの点から角膜中心cを推定し、角膜中心cと瞳孔中心bとを結ぶ線として運転者の視線の方向を検知する。
【0024】
尚、実施の形態で2個の近赤外線LED14,14を備えるのは、各眼球毎に二つの角膜反射点a,aを形成し、それぞれの角膜反射点a,aを用いて二つの視線の方向を検知し、それらの平均を取ることで検知精度を高めるためである。
【0025】
また近赤外線カメラ13は運転者の顔全体を撮像するため、その画像に基づいて複数の運転者を識別することができる。
【0026】
図3に示すように、視認行動情報提示装置の電子制御ユニットUは、記憶手段M1と、視認行動情報生成手段M2と、視認行動情報提示手段M3と、危険度算出手段M4と、運転者識別手段M5とを備える。
【0027】
前記視線検知手段15は記憶手段M1および運転者識別手段M5に接続され、前記ナビゲーションシステム26に加えて、イグニッションスイッチ29および車速センサ30が視認行動情報生成手段M2に接続され、前記ナビゲーションシステム26のモニタ28に視認行動情報提示手段M3が接続される。
【0028】
次に、上記構成を備えた本実施の形態の作用を説明する。
【0029】
視線検知手段15が運転者の視線の方向を検知すると、そのデータは記憶手段M1に記憶される。このとき、記憶手段M1は、視線検知手段15が検知した視線の方向のデータを、運転席に着座した運転者の前方の視野に対応づけて記憶する。また視線検知手段15の近赤外線カメラ13が運転者の顔を撮像すると、運転者識別手段M5が運転者の顔を識別し、記憶手段M1は識別された運転者毎に視線の方向のデータ連続的にを記憶する。
【0030】
視認行動情報生成手段M2は記憶手段M1に記憶された視線の方向のデータに基づいて、「注視頻度分布図」、「注視状況表」、「交差点安全確認」および「過去の運転との比較」の4種類の情報を生成する。これらの情報は運転の開始から終了までの1ドライブサイクル、例えば運転者がイグニッションスイッチ29をオンしてエンジンを始動してから、イグニッションスイッチ29をオフしてエンジンを停止させるまでの期間毎に集計される。そして視認行動情報生成手段M2により生成された情報は、視認行動情報提示手段M3によりナビゲーションシステム26のモニタ28に表示される。
【0031】
尚、車両が信号待ち等で一時的に停止していることが車速センサ30で検知された場合、その車両の停止期間は除外して情報が集計される。このとき、エンジンがアイドルストップ制御されても、イグニッションスイッチ29はオフされていないため、1ドライブサイクルは中断されることなく継続する。
【0032】
図4は、モニタ28に表示された「注視頻度分布図」の一例を示すものである。ここでは、1ドライブサイクルにおける視線の方向の頻度が運転者の前方の視野に対応づけて5段階の濃淡で表示されており、色の濃い部分ほど視線の方向の頻度が高いことを示している。
【0033】
図5は、モニタ28に表示された「注視状況表」の一例を示すものである。ここでは、注視対象、つまり左右のサイドミラー25L,25R、ルームミラー24、メーターパネル27および左右のドアガラス23L,23Rにそれぞれ対応して、注視頻度(1時間当りの注視回数)、最大注視時間(一つの注視対象が連続的に注視された最大時間)および危険度が表示される。この危険度は、図3の危険度算出手段M4が、注視頻度と、最大注視時間と、その最大注視時間が発生した走行位置(走行位置のデータはナビゲーションシステム26から取得)とに基づいて判定する。
【0034】
図6は、モニタ28に表示された「交差点安全確認」の一例を示すものである。ここでは、1ドライブサイクルの間に通過した各交差点について、自車の正面および左右の3方向の注視頻度あるいは注視時間から前記危険度算出手段M4が安全確認の度合いを判定し、注視レベルの高低(安全確認の度合いの高低)が色の濃淡で表示されるとともに、注視レベルが著しく低い方向(図6の例では左方向)が赤色で表示される。
【0035】
図7は、モニタ28に表示された「過去の運転との比較」の一例を示すものである。ここでは、各注視対象の注視頻度と最大注視時間とが、過去の全てのドライブサイクルの平均値と、今回のドライブサイクルの値とについて対比可能に表示される。
【0036】
前記図4で説明した「注視頻度分布図」は、1ドライブサイクルにおける全速度域、全走行状態、全道路に対応するものであるが、速度を「Vkm/h以上」、「Vkm/h以下」、「Vakm/h〜Vbkm/h」のように指定したり、走行状態を「直進」、「右折」、「左折」、「右左折」のように指定したり、走行道路を「一般道」、「高速道路」のように指定したりすることで、その指定条件に対応する「注視頻度分布図」を表示することができる。図8には、速度:80km/h以上、走行状態:全範囲、走行道路:高速路に対応する「注視頻度分布図」が示される。
【0037】
また「注視頻度分布図」に代えて、注視対象毎の注視時間の分布を示す「注視継続時間分布図」を表示することも可能である。図9には、速度:全速度域、走行状態:直進、走行道路:全道路に対応する「注視継続時間分布図」が示される。
【0038】
また図10に示すように、視線検知手段15の近赤外線カメラ13で撮像した画像から運転者を特定し、記憶手段M1に記憶されている複数の運転者の「注視頻度分布図」の何れかを読み出し、その「注視頻度分布図」をモニタ28に表示することも可能である。
【0039】
一般に「注視頻度分布図」は1ドライブサイクル毎の情報として表示されるが、図11に示すように、日にちを指定し、あるいは日にちの範囲を指定し、あるいは一日のうちの時間範囲を指定することで、その期間に対応する「注視頻度分布図」をモニタ28に表示することも可能である。
【0040】
次に、図12〜図14に基づいて視認行動記録ルーチンのフローチャートについて説明する。
【0041】
図12のフローチャートのステップS1で近赤外線カメラ13により運転者の顔の画像を撮像し、ステップS2で視線検知手段15により運転者の視線の方向を検知し、ステップS3でナビゲーションシステム26により自車の走行位置を取得する。続くステップS4で走行位置が一時停止交差点であれば、ステップS5で前左右確認判定を行う。
【0042】
図13のフローチャートは、前記ステップS5(前左右確認判定)のサブルーチンを示すもので、ステップS11で交差点の位置を判定し、ステップS12で運転者の注視方向(正面および左右)を分類し、ステップS13で注視頻度および注視継続時間を算出し、ステップS14で自車の進行方向を取得し、ステップS15で交差点別の情報を記録することで、図6に示す「交差点確認」の情報を生成する。
【0043】
図12のフローチャートに戻り、ステップS6で車速センサ20で検出した車速が正値で自車が走行中であれば、ステップS7で運転者の視認行動記録を取る。
【0044】
図15のフローチャートは、前記ステップS7(視認行動記録)のサブルーチンを示すもので、ステップS21で視線検知手段15により運転者の注視対象を判定し、ステップS22で各注視対象毎に注視回数を算出し、ステップS23で各注視対象毎に連続注視時間を算出し、ステップS24で注視回数を経過時間で除算して時間当りの注視回数である注視頻度を算出し、ステップS25で、図4に示す「注視頻度分布図」の情報および図5に示す「注視状況表」の情報を生成する。
【0045】
次に、図14に基づいて視認行動提示ルーチンのフローチャートについて説明する。
【0046】
先ずステップS31でイグニッションスイッチ29がオフして1ドライブサイクルが終了した後に車両が停止しているとき、ステップS32で運転者の個人認証を行い、ステップS33で運転者の過去の走行データが存在すれば、ステップS34で過去のデータを読み込み、ステップS35で、図7に示す「過去の運転との比較」を表示する。続くステップS36で一時停止交差点を通過していれば、ステップS37で図6に示す「交差点安全確認」を表示し、続くステップS38で図4に示す「注視頻度分布図」、あるいは図5に示す「注視状況表」、あるいは図9に示す「注視継続時間分布図」を表示する。
【0047】
以上のように、運転の開始から終了までの1ドライブサイクル内に記憶されたデータから運転者の視認行動情報を生成してモニタ28に表示するので、1ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となる。しかも1ドライブサイクルの終了後に視線行動情報を表示するので、その表示が運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。このとき、運転者の視野における注視頻度分布を含む視認行動情報を運転者の視野に対応する車両室内の画像に重畳して表示するので、運転者の視線が運転者の視野のどの部分にどの様に分布しているかを即座に把握することができる。
【0048】
また注視対象領域毎の注視頻度および注視時間に基づいて危険度を算出し、その危険度を視認行動情報と共に表示するので、運転者は自己の視認行動と、その視認行動の安全性とを同時に把握することができる。更に、車両が走行する道路環境あるいは車両が走行する時間帯を運転者の視線の方向と対応づけて記憶し、道路環境または時間帯毎に注視頻度分布を生成するので、道路環境または時間帯に対応する特定の注視頻度分布を取得することができる。
【0049】
更にまた、視線検知手段15の近赤外線カメラ13で撮像した画像から運転者を識別するので、1台の車両を複数の運転者が使用する場合であっても、運転者毎の視線の方向から運転者毎の視認行動情報を取得することができる。
【0050】
尚、図16に示すように、ナビゲーションシステム26のモニタ28上の地図に運転者の視線の方向を重畳して表示することができ、図17に示すように、テレビカメラ(不図示)で撮像した自車の進行方向先方の画像に運転者の視線の方向を重畳して表示することができる。
【0051】
以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。
【0052】
例えば、視線検知手段15は実施の形態の構造に限定されず、任意の構造のものを採用することができる。
【0053】
また実施の形態では視認行動情報をナビゲーションシステム26のモニタ28に表示しているが、専用のモニタに表示しても良い。
【符号の説明】
【0054】
13 近赤外線カメラ(カメラ)
15 視線検知手段
M1 記憶手段
M2 視認行動情報生成手段
M3 視認行動情報提示手段
M4 危険度算出手段
M5 運転者識別手段
【技術分野】
【0001】
本発明は、運転者が車両を運転している間の視線の方向に関する情報を提示する視認行動情報提示装置に関する。
【背景技術】
【0002】
例えば交差点の近傍を複数のエリアに分け、自車が各エリアにあるときの運転者の視線配分を検出し、この実際の視線配分と理想的な視線配分とを比較することで、運転者にアドバイスを提示して安全確認に資する安全確認アドバイス装置が、下記特許文献1により公知である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−262388号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら上記従来のものは、交差点等の特定位置での視線配分のアドバイスを行うことは可能であるが、運転期間の全域に亙る視線配分のアドバイスを行うことができないだけでなく、運転中に交差点等の特定位置毎にアドバイスが行われるために運転者が煩わしく感じる虞があった。またシステムが運転者の安全行動の評価を行うために、運転者が自らの安全判断を放棄する可能性があるだけでなく、システムの安全基準と運転者が個々に持っている安全基準との間に差が生じたときに、運転者がシステムに対する不信感を抱く可能性があった。またシステムが誤った判断をしたときに、運転者がその判断を鵜呑みにし、かえって安全性を阻害する可能性があった。
【0005】
本発明は前述の事情に鑑みてなされたもので、車両の運転開始から運転終了までの所定の期間に亙る運転者の視線配分を的確に評価できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、請求項1に記載された発明によれば、車両の運転者の視線の方向を検知する視線検知手段と、前記視線検知手段により検知された視線の方向のデータを記憶する記憶手段と、運転の開始から終了までの1ドライブサイクル内に前記記憶手段に記憶されたデータから運転者の視認行動情報を生成する視認行動情報生成手段と、前記視認行動情報生成手段で生成した視認行動情報を前記運転の終了時に提示する視認行動情報提示手段とを備えることを特徴とする視認行動情報提示装置が提案される。
【0007】
また請求項2に記載された発明によれば、請求項1の構成に加えて、前記視認行動情報は、注視対象領域毎の注視頻度または注視時間を含む情報であり、前記注視頻度および前記注視時間の少なくとも一方に基づいて危険度を算出する危険度算出手段を備え、前記視認行動情報提示手段は、前記視認行動情報生成手段で生成した視認行動情報に加えて前記危険度算出手段で算出した危険度を提示することを特徴とする視認行動情報提示装置が提案される。
【0008】
また請求項3に記載された発明によれば、請求項1または請求項2の構成に加えて、前記視認行動情報は、運転者の視野における注視頻度分布を含む情報であり、前記視認行動情報提示手段は、前記注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示することを特徴とする視認行動情報提示装置が提案される。
【0009】
また請求項4に記載された発明によれば、請求項3の構成に加えて、前記記憶手段は、車両が走行する道路環境および車両が走行する時間帯の少なくとも一方と運転者の視線の方向とを対応づけて記憶し、前記視認行動情報生成手段は、前記道路環境または前記時間帯毎に前記注視頻度分布を生成可能であることを特徴とする視認行動情報提示装置が提案される。
【0010】
また請求項5に記載された発明によれば、請求項1〜請求項4の何れか1項の構成に加えて、前記視線検知手段は運転者を撮像するカメラを含み、前記カメラの画像から運転者を識別する運転者識別手段を備え、前記記憶手段は、前記運転者識別手段が識別した運転者毎に視線の方向を記憶することを特徴とする視認行動情報提示装置が提案される。
【0011】
また請求項6に記載された発明によれば、請求項1〜請求項5の何れか1項の構成に加えて、前記視認行動情報生成手段は、前記1ドライブサイクルの期間から車両が停止している期間を除外することを特徴とする視認行動情報提示装置が提案される。
【0012】
尚、実施の形態の近赤外線カメラ13は本発明のカメラに対応する。
【発明の効果】
【0013】
請求項1の構成によれば、視線検知手段が運転者の視線の方向を検知し、記憶手段が視線検知手段により検知された視線の方向のデータを記憶し、視認行動情報生成手段が運転の開始から終了までの1ドライブサイクル内に記憶手段に記憶されたデータから運転者の視認行動情報を生成し、視認行動情報提示手段が視認行動情報生成手段で生成した視認行動情報を運転の終了時に提示するので、1ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となり、しかも1ドライブサイクルの終了後に視線行動情報を提示するので、運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。
【0014】
また請求項2の構成によれば、視認行動情報は注視対象領域毎の注視頻度または注視時間を含む情報であり、危険度算出手段が注視頻度および注視時間の少なくとも一方に基づいて危険度を算出し、視認行動情報提示手段が視認行動情報生成手段で生成した視認行動情報に加えて危険度算出手段で算出した危険度を提示するので、運転者は自己の視認行動と、その視認行動の安全性とを同時に把握することができる。
【0015】
また請求項3の構成によれば、視認行動情報は運転者の視野における注視頻度分布を含む情報であり、視認行動情報提示手段が注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示するので、運転者の視線が運転者の視野のどの部分にどの様に分布しているかを即座に把握することができる。
【0016】
また請求項4の構成によれば、記憶手段が車両が走行する道路環境あるいは車両が走行する時間帯を運転者の視線の方向と対応づけて記憶し、視認行動情報生成手段が道路環境または時間帯毎に注視頻度分布を生成するので、道路環境または時間帯に対応する特定の注視頻度分布を取得することができる。
【0017】
また請求項5の構成によれば、視線検知手段のカメラで撮像した画像から運転者識別手段が運転者を識別するので、1台の車両を複数の運転者が使用する場合であっても、記憶手段は運転者毎の視線の方向を別個に記憶することができる。
【0018】
また請求項6の構成によれば、視認行動情報生成手段は1ドライブサイクルの期間から車両が停止している期間を除外して視認行動情報を生成するので、車両が停止している期間の重要度の低い視認行動情報を除外した重要度の高い視認行動情報を生成することができる。
【図面の簡単な説明】
【0019】
【図1】車両の車室前部を後方から見た図。
【図2】視線検知手段の構造および機能を説明する模式図。
【図3】視認行動情報提示装置の構成を示すブロック図。
【図4】モニタに表示された「注視頻度分布図」の一例を示す図。
【図5】モニタに表示された「注視状況表」の一例を示す図。
【図6】モニタに表示された「交差点安全確認」の一例を示す図。
【図7】モニタに表示された「過去の運転との比較」の一例を示す図。
【図8】速度:80km/h以上、走行状態:全範囲、走行道路:高速路に対応する「注視頻度分布図」の一例を示す図。
【図9】速度:全速度域、走行状態:直進、走行道路:全道路に対応する「注視継続時間分布図」の一例を示す図。
【図10】運転者毎の「注視頻度分布図」の表示の説明図。
【図11】日にちや時間範囲毎の「注視頻度分布図」の表示の説明図。
【図12】視認行動記録ルーチンのフローチャート。
【図13】図12のステップS5のサブルーチンのフローチャート。
【図14】図12のステップS7のサブルーチンのフローチャート。
【図15】視認行動提示ルーチンのフローチャート。
【図16】ナビゲーションシステムの地図上に重畳して表示した視線を示す図。
【図17】前方カメラ画像に重畳して表示した視線を示す図。
【発明を実施するための形態】
【0020】
以下、図1〜図17に基づいて本発明の実施の形態を説明する。
【0021】
図1に示すように、車両のインストルメントパネル11の右寄りの位置にステアリングホイール12が設けられており、ステアリングホイール12の前方のインストルメントパネル11に近赤外線カメラ13と、その左右両側に位置する一対の近赤外線LED14,14とが設けられる。近赤外線カメラ13および近赤外線LED14,14は、運転者の視線が指向する方向を検知する視線検知手段15を構成する。
【0022】
車両は車内から車外の状況を視認できるように、フロントウインドシールド21と、左右のフロントドア22L,22Rのドアガラス23L,23Rとを備えており、フロントウインドシールド21の車幅方向中央上部にはルームミラー24が設けられるとともに、左右のフロントドア22L,22Rの前部には左右のサイドミラー25L,25Rが設けられる。インストルメントパネル11の車幅方向中央にはナビゲーションシステム26が設けられるとともに、ステアリングホイール12の前方のインストルメントパネル11にメーターパネル27が設けられる。ナビゲーションシステム26のモニタ28は、視認行動情報提示装置のモニタ28としても用いられる。
【0023】
図2は視線検知手段15の構造および機能を模式的に示すもので、近赤外線カメラ13は、近赤外線LED14が発した近赤外線が運転者の眼球の角膜に反射した角膜反射点aと、眼球の瞳孔中心bとの二つの点を撮像する。そして角膜反射点aおよび瞳孔中心bの二つの点から角膜中心cを推定し、角膜中心cと瞳孔中心bとを結ぶ線として運転者の視線の方向を検知する。
【0024】
尚、実施の形態で2個の近赤外線LED14,14を備えるのは、各眼球毎に二つの角膜反射点a,aを形成し、それぞれの角膜反射点a,aを用いて二つの視線の方向を検知し、それらの平均を取ることで検知精度を高めるためである。
【0025】
また近赤外線カメラ13は運転者の顔全体を撮像するため、その画像に基づいて複数の運転者を識別することができる。
【0026】
図3に示すように、視認行動情報提示装置の電子制御ユニットUは、記憶手段M1と、視認行動情報生成手段M2と、視認行動情報提示手段M3と、危険度算出手段M4と、運転者識別手段M5とを備える。
【0027】
前記視線検知手段15は記憶手段M1および運転者識別手段M5に接続され、前記ナビゲーションシステム26に加えて、イグニッションスイッチ29および車速センサ30が視認行動情報生成手段M2に接続され、前記ナビゲーションシステム26のモニタ28に視認行動情報提示手段M3が接続される。
【0028】
次に、上記構成を備えた本実施の形態の作用を説明する。
【0029】
視線検知手段15が運転者の視線の方向を検知すると、そのデータは記憶手段M1に記憶される。このとき、記憶手段M1は、視線検知手段15が検知した視線の方向のデータを、運転席に着座した運転者の前方の視野に対応づけて記憶する。また視線検知手段15の近赤外線カメラ13が運転者の顔を撮像すると、運転者識別手段M5が運転者の顔を識別し、記憶手段M1は識別された運転者毎に視線の方向のデータ連続的にを記憶する。
【0030】
視認行動情報生成手段M2は記憶手段M1に記憶された視線の方向のデータに基づいて、「注視頻度分布図」、「注視状況表」、「交差点安全確認」および「過去の運転との比較」の4種類の情報を生成する。これらの情報は運転の開始から終了までの1ドライブサイクル、例えば運転者がイグニッションスイッチ29をオンしてエンジンを始動してから、イグニッションスイッチ29をオフしてエンジンを停止させるまでの期間毎に集計される。そして視認行動情報生成手段M2により生成された情報は、視認行動情報提示手段M3によりナビゲーションシステム26のモニタ28に表示される。
【0031】
尚、車両が信号待ち等で一時的に停止していることが車速センサ30で検知された場合、その車両の停止期間は除外して情報が集計される。このとき、エンジンがアイドルストップ制御されても、イグニッションスイッチ29はオフされていないため、1ドライブサイクルは中断されることなく継続する。
【0032】
図4は、モニタ28に表示された「注視頻度分布図」の一例を示すものである。ここでは、1ドライブサイクルにおける視線の方向の頻度が運転者の前方の視野に対応づけて5段階の濃淡で表示されており、色の濃い部分ほど視線の方向の頻度が高いことを示している。
【0033】
図5は、モニタ28に表示された「注視状況表」の一例を示すものである。ここでは、注視対象、つまり左右のサイドミラー25L,25R、ルームミラー24、メーターパネル27および左右のドアガラス23L,23Rにそれぞれ対応して、注視頻度(1時間当りの注視回数)、最大注視時間(一つの注視対象が連続的に注視された最大時間)および危険度が表示される。この危険度は、図3の危険度算出手段M4が、注視頻度と、最大注視時間と、その最大注視時間が発生した走行位置(走行位置のデータはナビゲーションシステム26から取得)とに基づいて判定する。
【0034】
図6は、モニタ28に表示された「交差点安全確認」の一例を示すものである。ここでは、1ドライブサイクルの間に通過した各交差点について、自車の正面および左右の3方向の注視頻度あるいは注視時間から前記危険度算出手段M4が安全確認の度合いを判定し、注視レベルの高低(安全確認の度合いの高低)が色の濃淡で表示されるとともに、注視レベルが著しく低い方向(図6の例では左方向)が赤色で表示される。
【0035】
図7は、モニタ28に表示された「過去の運転との比較」の一例を示すものである。ここでは、各注視対象の注視頻度と最大注視時間とが、過去の全てのドライブサイクルの平均値と、今回のドライブサイクルの値とについて対比可能に表示される。
【0036】
前記図4で説明した「注視頻度分布図」は、1ドライブサイクルにおける全速度域、全走行状態、全道路に対応するものであるが、速度を「Vkm/h以上」、「Vkm/h以下」、「Vakm/h〜Vbkm/h」のように指定したり、走行状態を「直進」、「右折」、「左折」、「右左折」のように指定したり、走行道路を「一般道」、「高速道路」のように指定したりすることで、その指定条件に対応する「注視頻度分布図」を表示することができる。図8には、速度:80km/h以上、走行状態:全範囲、走行道路:高速路に対応する「注視頻度分布図」が示される。
【0037】
また「注視頻度分布図」に代えて、注視対象毎の注視時間の分布を示す「注視継続時間分布図」を表示することも可能である。図9には、速度:全速度域、走行状態:直進、走行道路:全道路に対応する「注視継続時間分布図」が示される。
【0038】
また図10に示すように、視線検知手段15の近赤外線カメラ13で撮像した画像から運転者を特定し、記憶手段M1に記憶されている複数の運転者の「注視頻度分布図」の何れかを読み出し、その「注視頻度分布図」をモニタ28に表示することも可能である。
【0039】
一般に「注視頻度分布図」は1ドライブサイクル毎の情報として表示されるが、図11に示すように、日にちを指定し、あるいは日にちの範囲を指定し、あるいは一日のうちの時間範囲を指定することで、その期間に対応する「注視頻度分布図」をモニタ28に表示することも可能である。
【0040】
次に、図12〜図14に基づいて視認行動記録ルーチンのフローチャートについて説明する。
【0041】
図12のフローチャートのステップS1で近赤外線カメラ13により運転者の顔の画像を撮像し、ステップS2で視線検知手段15により運転者の視線の方向を検知し、ステップS3でナビゲーションシステム26により自車の走行位置を取得する。続くステップS4で走行位置が一時停止交差点であれば、ステップS5で前左右確認判定を行う。
【0042】
図13のフローチャートは、前記ステップS5(前左右確認判定)のサブルーチンを示すもので、ステップS11で交差点の位置を判定し、ステップS12で運転者の注視方向(正面および左右)を分類し、ステップS13で注視頻度および注視継続時間を算出し、ステップS14で自車の進行方向を取得し、ステップS15で交差点別の情報を記録することで、図6に示す「交差点確認」の情報を生成する。
【0043】
図12のフローチャートに戻り、ステップS6で車速センサ20で検出した車速が正値で自車が走行中であれば、ステップS7で運転者の視認行動記録を取る。
【0044】
図15のフローチャートは、前記ステップS7(視認行動記録)のサブルーチンを示すもので、ステップS21で視線検知手段15により運転者の注視対象を判定し、ステップS22で各注視対象毎に注視回数を算出し、ステップS23で各注視対象毎に連続注視時間を算出し、ステップS24で注視回数を経過時間で除算して時間当りの注視回数である注視頻度を算出し、ステップS25で、図4に示す「注視頻度分布図」の情報および図5に示す「注視状況表」の情報を生成する。
【0045】
次に、図14に基づいて視認行動提示ルーチンのフローチャートについて説明する。
【0046】
先ずステップS31でイグニッションスイッチ29がオフして1ドライブサイクルが終了した後に車両が停止しているとき、ステップS32で運転者の個人認証を行い、ステップS33で運転者の過去の走行データが存在すれば、ステップS34で過去のデータを読み込み、ステップS35で、図7に示す「過去の運転との比較」を表示する。続くステップS36で一時停止交差点を通過していれば、ステップS37で図6に示す「交差点安全確認」を表示し、続くステップS38で図4に示す「注視頻度分布図」、あるいは図5に示す「注視状況表」、あるいは図9に示す「注視継続時間分布図」を表示する。
【0047】
以上のように、運転の開始から終了までの1ドライブサイクル内に記憶されたデータから運転者の視認行動情報を生成してモニタ28に表示するので、1ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となる。しかも1ドライブサイクルの終了後に視線行動情報を表示するので、その表示が運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。このとき、運転者の視野における注視頻度分布を含む視認行動情報を運転者の視野に対応する車両室内の画像に重畳して表示するので、運転者の視線が運転者の視野のどの部分にどの様に分布しているかを即座に把握することができる。
【0048】
また注視対象領域毎の注視頻度および注視時間に基づいて危険度を算出し、その危険度を視認行動情報と共に表示するので、運転者は自己の視認行動と、その視認行動の安全性とを同時に把握することができる。更に、車両が走行する道路環境あるいは車両が走行する時間帯を運転者の視線の方向と対応づけて記憶し、道路環境または時間帯毎に注視頻度分布を生成するので、道路環境または時間帯に対応する特定の注視頻度分布を取得することができる。
【0049】
更にまた、視線検知手段15の近赤外線カメラ13で撮像した画像から運転者を識別するので、1台の車両を複数の運転者が使用する場合であっても、運転者毎の視線の方向から運転者毎の視認行動情報を取得することができる。
【0050】
尚、図16に示すように、ナビゲーションシステム26のモニタ28上の地図に運転者の視線の方向を重畳して表示することができ、図17に示すように、テレビカメラ(不図示)で撮像した自車の進行方向先方の画像に運転者の視線の方向を重畳して表示することができる。
【0051】
以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。
【0052】
例えば、視線検知手段15は実施の形態の構造に限定されず、任意の構造のものを採用することができる。
【0053】
また実施の形態では視認行動情報をナビゲーションシステム26のモニタ28に表示しているが、専用のモニタに表示しても良い。
【符号の説明】
【0054】
13 近赤外線カメラ(カメラ)
15 視線検知手段
M1 記憶手段
M2 視認行動情報生成手段
M3 視認行動情報提示手段
M4 危険度算出手段
M5 運転者識別手段
【特許請求の範囲】
【請求項1】
車両の運転者の視線の方向を検知する視線検知手段(15)と、
前記視線検知手段(15)により検知された視線の方向のデータを記憶する記憶手段(M1)と、
運転の開始から終了までの1ドライブサイクル内に前記記憶手段(M1)に記憶されたデータから運転者の視認行動情報を生成する視認行動情報生成手段(M2)と、
前記視認行動情報生成手段(M2)で生成した視認行動情報を前記運転の終了時に提示する視認行動情報提示手段(M3)とを備えることを特徴とする視認行動情報提示装置。
【請求項2】
前記視認行動情報は、注視対象領域毎の注視頻度または注視時間を含む情報であり、
前記注視頻度および前記注視時間の少なくとも一方に基づいて危険度を算出する危険度算出手段(M4)を備え、
前記視認行動情報提示手段(M3)は、前記視認行動情報生成手段(M2)で生成した視認行動情報に加えて前記危険度算出手段(M4)で算出した危険度を提示することを特徴とする、請求項1に記載の視認行動情報提示装置。
【請求項3】
前記視認行動情報は、運転者の視野における注視頻度分布を含む情報であり、
前記視認行動情報提示手段(M3)は、前記注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示することを特徴とする、請求項1または請求項2に記載の視認行動情報提示装置。
【請求項4】
前記記憶手段(M1)は、車両が走行する道路環境および車両が走行する時間帯の少なくとも一方と運転者の視線の方向とを対応づけて記憶し、
前記視認行動情報生成手段(M2)は、前記道路環境または前記時間帯毎に前記注視頻度分布を生成可能であることを特徴とする、請求項3に記載の視認行動情報提示装置。
【請求項5】
前記視線検知手段(15)は運転者を撮像するカメラ(13)を含み、
前記カメラ(13)の画像から運転者を識別する運転者識別手段(M5)を備え、
前記記憶手段(M1)は、前記運転者識別手段(M5)が識別した運転者毎に視線の方向を記憶することを特徴とする、請求項1〜請求項4の何れか1項に記載の視認行動情報提示装置。
【請求項6】
前記視認行動情報生成手段(M2)は、前記1ドライブサイクルの期間から車両が停止している期間を除外することを特徴とする、請求項1〜請求項5の何れか1項に記載の視認行動情報提示装置。
【請求項1】
車両の運転者の視線の方向を検知する視線検知手段(15)と、
前記視線検知手段(15)により検知された視線の方向のデータを記憶する記憶手段(M1)と、
運転の開始から終了までの1ドライブサイクル内に前記記憶手段(M1)に記憶されたデータから運転者の視認行動情報を生成する視認行動情報生成手段(M2)と、
前記視認行動情報生成手段(M2)で生成した視認行動情報を前記運転の終了時に提示する視認行動情報提示手段(M3)とを備えることを特徴とする視認行動情報提示装置。
【請求項2】
前記視認行動情報は、注視対象領域毎の注視頻度または注視時間を含む情報であり、
前記注視頻度および前記注視時間の少なくとも一方に基づいて危険度を算出する危険度算出手段(M4)を備え、
前記視認行動情報提示手段(M3)は、前記視認行動情報生成手段(M2)で生成した視認行動情報に加えて前記危険度算出手段(M4)で算出した危険度を提示することを特徴とする、請求項1に記載の視認行動情報提示装置。
【請求項3】
前記視認行動情報は、運転者の視野における注視頻度分布を含む情報であり、
前記視認行動情報提示手段(M3)は、前記注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示することを特徴とする、請求項1または請求項2に記載の視認行動情報提示装置。
【請求項4】
前記記憶手段(M1)は、車両が走行する道路環境および車両が走行する時間帯の少なくとも一方と運転者の視線の方向とを対応づけて記憶し、
前記視認行動情報生成手段(M2)は、前記道路環境または前記時間帯毎に前記注視頻度分布を生成可能であることを特徴とする、請求項3に記載の視認行動情報提示装置。
【請求項5】
前記視線検知手段(15)は運転者を撮像するカメラ(13)を含み、
前記カメラ(13)の画像から運転者を識別する運転者識別手段(M5)を備え、
前記記憶手段(M1)は、前記運転者識別手段(M5)が識別した運転者毎に視線の方向を記憶することを特徴とする、請求項1〜請求項4の何れか1項に記載の視認行動情報提示装置。
【請求項6】
前記視認行動情報生成手段(M2)は、前記1ドライブサイクルの期間から車両が停止している期間を除外することを特徴とする、請求項1〜請求項5の何れか1項に記載の視認行動情報提示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−278(P2011−278A)
【公開日】平成23年1月6日(2011.1.6)
【国際特許分類】
【出願番号】特願2009−145593(P2009−145593)
【出願日】平成21年6月18日(2009.6.18)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
【公開日】平成23年1月6日(2011.1.6)
【国際特許分類】
【出願日】平成21年6月18日(2009.6.18)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
[ Back to top ]