説明

視線検出装置および視線検出方法

【課題】視線検出装置の検出精度を容易に確認することができる技術を提供
【解決手段】まず運転者の視線を検出し(S20)、その後に、視線検出結果に基づいて、運転者の視線上にナビ表示画面が位置しているか否かを判断する(S60)。そして、運転者の視線上にナビ表示画面が位置している場合に(S60:YES)、ナビ表示画面上において運転者の視線とナビ表示画面とが交差する位置に、運転者の視線検出結果であることを示す視線位置指示画像を表示する(S70)。したがって、運転者がナビ表示画面を見ているときに、運転者の視線検出結果がナビ表示画面に表示される可能性が高い。そして、運転者がナビ表示画面を見ているときに視線位置指示画像が表示されると、運転者は、自身が現時点で実際に見ている表示画面上の位置と、視線位置指示画像が表示されている表示画面上の位置とを比較することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視線を検出する視線検出装置および視線検出方法に関する。
【背景技術】
【0002】
従来、車両の運転者の運転を支援するために、車両の運転者の視線を検出する技術が知られている。例えば、車両走行中に運転者の視線を検出することにより、運転者が脇見運転をしているか否かを判定し、脇見運転をしている場合には警報音を出力する技術がある(例えば、特許文献1を参照)。
【0003】
なお、視線を検出するには、検出された視線の方向と実際の視線の方向との間に大きなズレが生じるのを抑制するために、所定の実行条件が成立するとキャリブレーションを実行する必要がある。例えば、運転者が注視している物体の位置を特定できた場合(例えば、運転者が車室内の操作スイッチを操作した場合には、運転者はこの操作スイッチを注視していると判断することができる。)に、検出された視線の方向に、運転者が注視している物体が位置するように、視線の検出方法を補正する手法が知られている(例えば、特許文献2,3を参照)。
【0004】
また、運転者がキャリブレーション開始操作を行うと、所定の位置に注視用画像が表示され、検出された視線の方向に注視用画像が位置するように、視線の検出方法を補正する手法が知られている(例えば、特許文献4を参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−39933号公報
【特許文献2】特開平9−238905号公報
【特許文献3】特開2009−15533号公報
【特許文献4】特開平7−35543号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献2,3に記載の技術では、キャリブレーションが行われているか否かを運転者が意識することなくキャリブレーションを実行することができる。しかし、換言すると、運転者は、キャリブレーションが行われたか否かを判断することができない。さらに、運転者は、現状の視線検出結果の精度についても知ることができない。このため、運転者は、視線検出装置による検出結果が正常であるか否かを判断することができず、視線検出装置の検出結果に対して不安感、不快感、不信感を抱いてしまうおそれがある。
【0007】
例えば、視線検出装置が搭載された車両の運転者が変更された場合において、運転者が正面を注視しているのにもかかわらず脇見運転の警報音の出力が頻発すると、その原因が、新たな運転者に対応したキャリブレーションが実行されていないためであるのか、視線検出装置が故障しているためであるのかを判断することができず、運転者は上記の不安感等を抱いてしまう。
【0008】
一方、特許文献4に記載の技術では、運転者は、キャリブレーションが行われたか否かを知ることができるが、現状の視線検出結果の精度については知ることができない。このため、特許文献4に記載の技術においても、運転者は上記の不安感等を抱いてしまうおそれがある。
【0009】
本発明は、こうした問題に鑑みてなされたものであり、視線検出装置の検出精度を容易に確認することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するためになされた請求項1に記載の視線検出装置では、まず視線検出手段が、検出対象者の視線を検出し、その後に第1視線位置判断手段が、視線検出手段による検出結果に基づいて、検出対象者の視線上に、画像を表示する表示手段の表示画面が位置しているか否かを判断する。そして第1表示制御手段が、検出対象者の視線上に表示画面が位置していると第1視線位置判断手段により判断された場合に、表示画面上において検出対象者の視線と表示画面とが交差する位置に、検出対象者の視線検出結果であることを示す予め設定された第1検出結果画像を表示する。
【0011】
このように構成された視線検出装置では、視線検出手段による検出結果に基づいて、検出対象者が表示画面を見ていると判断した場合に、表示画面上において検出対象者の視線の位置に第1検出結果画像を表示する。このため、検出対象者が表示画面を見ているときに、検出対象者の視線検出結果が表示画面に表示される可能性が高い。そして、検出対象者が表示画面を見ているときに第1検出結果画像が表示されると、検出対象者は、自身が現時点で実際に見ている表示画面上の位置と、第1検出結果画像が表示されている表示画面上の位置とを比較することができる。このため、検出対象者は、視線検出装置の検出精度を容易に確認することができる。これにより、視線検出装置の使用者が視線検出装置の検出結果に対して不安感等を抱いてしまうような状況の発生を抑制することができる。
【0012】
また、請求項1に記載の視線検出装置において、請求項2に記載のように、第1視線移動検出手段が、第1表示制御手段による第1検出結果画像の表示後に、視線検出手段による検出結果に基づいて、検出対象者の視線が移動したか否かを判断し、第1禁止手段が、検出対象者の視線が移動したと第1視線移動検出手段により判断された場合に、第1表示制御手段の動作を禁止するようにしてもよい。
【0013】
ここで、検出対象者が表示画面を見ているときに第1検出結果画像が表示画面に表示されると、表示画面を見ている検出対象者は、この第1検出結果画像を見ようとして第1検出結果画像の位置に視線を移動しようとする。このため、第1検出結果画像の表示後の視線移動は、検出対象者が第1検出結果画像の表示に反応したためであると判断することができる。
【0014】
すなわち、請求項2に記載の視線検出装置では、検出対象者が第1検出結果画像の表示を認識した後に、第1検出結果画像を表示画面から消去する。このため、検出対象者が第1検出結果画像の表示を認識したにもかかわらず、第1検出結果画像が表示画面上に無駄に表示され続けてしまうということをなくすことができる。
【0015】
また、請求項2に記載の視線検出装置において、請求項3に記載のように、第2表示制御手段が、検出対象者の視線が移動したと第1視線移動検出手段により判断された場合に、この時点で、表示画面上における検出対象者の視線と表示画面とが交差する位置に、検出対象者の視線検出結果であることを示す予め設定された第2検出結果画像を表示するようにしてもよい。
【0016】
すなわち、請求項3に記載の視線検出装置では、検出対象者が視線検出結果を示す画像を確認しようと視線を移動させると、視線検出結果を示す画像の表示位置を固定する。このため、検出対象者が視線検出結果を示す第1検出結果画像を確認しようと視線を移動させると、それに応じて、第1検出結果画像も移動してしまい、視線検出結果を示す画像を検出対象者が注視することができないという状況の発生を抑制することができる。これにより、検出対象者は、視線検出結果を示す画像の表示位置を中心視野で確実に確認することができる。
【0017】
また、請求項3に記載の視線検出装置において、請求項4に記載のように、第2禁止手段が、第2表示制御手段による第2検出結果画像の表示開始から予め設定された表示終了判定時間が経過した場合に、第2表示制御手段の動作を禁止し、第1解除手段が、第2表示制御手段による第2検出結果画像の表示開始から表示終了判定時間が経過した場合に、第1禁止手段による第1表示制御手段の動作の禁止を解除するようにするとよい。
【0018】
すなわち、請求項4に記載の視線検出装置では、第2検出結果画像の表示開始から表示終了判定時間が経過した後に、第2検出結果画像を表示画面から消去する。このため、検出対象者が第2検出結果画像の表示を認識したにもかかわらず、第2検出結果画像が表示画面上に無駄に表示され続けてしまうということをなくすことができる。さらに、請求項4に記載の視線検出装置では、第2検出結果画像の表示開始から表示終了判定時間が経過した後に、視線検出手段による検出結果に基づいて第1検出結果画像を表示する制御を行う。このため、検出対象者は、視線検出装置の精度を、別の時点で再確認することができる。
【0019】
また、請求項3または請求項4に記載の視線検出装置において、請求項5に記載のように、第2表示制御手段は、第2検出結果画像を、第1検出結果画像と異なる態様で表示するようにしてもよい。これにより、検出対象者は、視線検出結果を示すために表示画面に現在表示されている画像が、検出対象者の視線移動に応じて移動する第1検出結果画像であるのか、検出対象者の視線移動によって移動せず固定して表示される第2検出結果画像であるかを、画像の表示態様によって判別することができる。
【0020】
また、請求項1〜請求項5の何れか1項に記載の視線検出装置において、請求項6に記載のように、第2視線位置判断手段が、視線検出手段による検出結果に基づいて、表示画面の周囲を覆うように予め設定された画面外表示可能領域が検出対象者の視線上に位置しているか否かを判断し、第3表示制御手段が、検出対象者の視線上に画面外表示可能領域が位置していると第2視線位置判断手段により判断された場合に、表示画面の外周端縁のうち、検出対象者の視線と画面外表示可能領域とが交差する位置に近い箇所として設定された位置に、検出対象者の視線検出結果であることを示す予め設定された第3検出結果画像を表示する。そして誘導表示制御手段が、第3表示制御手段による第3検出結果画像の表示後に、表示画面内において、第3検出結果画像が表示されている位置を挟んで画面外表示可能領域と反対側となる位置に、検出対象者の視線上に表示画面が位置するように検出対象者の視線を誘導するための誘導用画像を表示する。
【0021】
すなわち、請求項6に記載の視線検出装置では、検出対象者の視線検出結果が表示画面の周囲に設定されている画面外表示可能領域内に位置している場合に、表示画面の外周端縁のうち、この視線位置に近い位置に第3検出結果画像を表示し、その後、表示画面に誘導用画像を表示することにより、検出対象者の視線検出結果が表示画面内に位置するように、検出対象者の視線を誘導する。なお、誘導用画像は、第3検出結果画像を挟んで、画面外表示可能領域と反対側となる位置に表示されるため、検出対象者が誘導用画像を見ようとすれば、その視線は、表示画面内に向かって移動することになる。
【0022】
これにより、視線検出手段による検出結果に基づいた視線の位置を示す画像を表示画面に表示することができるようになり、検出対象者は、自身が現時点で実際に見ている表示画面上の位置と、視線検出結果に基づいた表示画面上の視線の位置とを比較することができようになる。
【0023】
ところで、検出対象者が実際に見ている表示画面上の位置と第1検出結果画像が表示されている表示画面上の位置とが異なるときに第1検出結果画像が表示されると、検出対象者は、周辺視野で第1検出結果画像を認識することになる場合がある。
【0024】
このため、請求項1〜請求項6の何れか1項に記載の視線検出装置において、請求項7に記載のように、第1表示制御手段は、第1検出結果画像を、時間経過とともに視覚的に変化する態様で表示するようにしてもよい。検出対象者にとって周辺視野となる位置に第1検出結果画像が表示された場合に、第1検出結果画像が時間経過とともに視覚的に変化しない態様で表示される場合よりも、検出対象者が第1検出結果画像に気付き易くなるからである。
【0025】
なお、時間経過とともに視覚的に変化する態様として、例えば、点滅、大きさ変化、色変化、形変化、輝度変化などが挙げられる。
また、請求項1〜請求項7の何れか1項に記載の視線検出装置において、請求項8に記載のように、第1表示制御手段は、第1検出結果画像の表示位置を中心として、視線検出手段による視線検出の誤差の許容範囲を示す画像を表示するようにしてもよいし、請求項3〜請求項5の何れか1項に記載の視線検出装置において、請求項9に記載のように、第2表示制御手段は、第2検出結果画像の表示位置を中心として、視線検出手段による視線検出の誤差の許容範囲を示す画像を表示するようにしてもよい。
【0026】
これにより、検出対象者は、自身が現時点で実際に見ている表示画面上の位置が、第1検出結果画像または第2検出結果画像の表示位置を中心とした上記許容範囲内に含まれているか否かを確認することができる。このため、上記許容範囲内に含まれている場合には、視線検出手段による視線検出の誤差は許容範囲であり、上記許容範囲内に含まれていない場合には、視線検出の誤差は許容範囲外であると、検出対象者自身で判断することができる。
【0027】
また、請求項1〜請求項9の何れか1項に記載の視線検出装置において、当該視線検出装置は車両に搭載されている場合には、請求項10に記載のように、第3禁止手段が、車両が走行中である場合には、第1視線位置判断手段の動作を禁止するようにするとよい。
【0028】
すなわち、請求項10に記載の視線検出装置では、車両が停止しているときに、視線検出結果を表示画面に表示する制御が行われる。これにより、車両の運転者は、表示画面を注視しても安全な状態で視線検出結果を確認することができる。
【0029】
また、請求項1〜請求項10の何れか1項に記載の視線検出装置において、請求項11に記載のように、第4禁止手段が、予め設定された外部操作が行われると、第1視線位置判断手段の動作を禁止するようにしてもよい。
【0030】
すなわち、請求項11に記載の視線検出装置では、外部操作が行われると、視線検出結果を表示画面に表示する制御が行われなくなる。このため、視線検出結果を確認する必要がないと検出対象者が考えている場合にも視線検出結果が表示画面に表示されることによる不快感を視線検出装置の使用者に与えることがなくなる。
【0031】
また、請求項1〜請求項11の何れか1項に記載の視線検出装置において、請求項12に記載のように、停留時間計測手段が、視線検出手段による検出結果に基づいて、検出対象者の視線が、表示画面を含むように予め設定された表示判定領域内で停留している時間を計測し、第5禁止手段が、停留時間計測手段により計測された停留時間が、予め設定された判定禁止時間未満である場合に、第1視線位置判断手段の動作を禁止するようにしてもよい。
【0032】
すなわち、請求項12に記載の視線検出装置では、検出対象者が表示判定領域内を判定禁止時間以上注視すると、視線検出手段による検出結果に基づいて第1検出結果画像を表示する制御を行う。これにより、視線検出結果を確認したいと検出対象者が考えたときに、上記の外部操作を行うことなく、表示判定領域内を注視するという簡便な動作で、視線検出結果が表示画面に表示されるようにすることができる。
【0033】
また、請求項13に記載の視線検出方法では、まず視線検出手順で、検出対象者の視線を検出し、その後に第1視線位置判断手順で、視線検出手順による検出結果に基づいて、検出対象者の視線上に、画像を表示する表示手段の表示画面が位置しているか否かを判断する。そして第1表示制御手順で、検出対象者の視線上に表示画面が位置していると第1視線位置判断手順により判断された場合に、表示画面上において検出対象者の視線と表示画面とが交差する位置に、検出対象者の視線検出結果であることを示す予め設定された第1検出結果画像を表示する。
【0034】
この視線検出方法は、請求項1に記載の視線検出装置にて実行される方法であり、当該方法を実行することで、請求項1に記載の視線検出装置と同様の効果を得ることができる。
【0035】
また、請求項13に記載の視線検出方法において、請求項14に記載のように、第1視線移動検出手順で、第1表示制御手順による第1検出結果画像の表示後に、視線検出手順による検出結果に基づいて、検出対象者の視線が移動したか否かを判断し、第1禁止手順で、検出対象者の視線が移動したと第1視線移動検出手順により判断された場合に、第1表示制御手順の動作を禁止し、さらに第2表示制御手順で、検出対象者の視線が移動したと第1視線移動検出手順により判断された場合に、この時点で、表示画面上において検出対象者の視線と表示画面とが交差する位置に、検出対象者の視線検出結果であることを示す予め設定された第2検出結果画像を表示するようにしてもよい。
【0036】
この視線検出方法は、請求項3に記載の視線検出装置にて実行される方法であり、当該方法を実行することで、請求項3に記載の視線検出装置と同様の効果を得ることができる。
【0037】
また、請求項13または請求項14に記載の視線検出方法において、請求項15に記載のように、第2視線位置判断手順で、視線検出手順による検出結果に基づいて、表示画面の周囲を覆うように予め設定された画面外表示可能領域が検出対象者の視線上に位置しているか否かを判断し、第3表示制御手順で、検出対象者の視線上に画面外表示可能領域が位置していると第2視線位置判断手順により判断された場合に、表示画面の外周端縁のうち、検出対象者の視線と画面外表示可能領域とが交差する位置に近い箇所として設定された位置に、検出対象者の視線検出結果であることを示す予め設定された第3検出結果画像を表示し、さらに誘導表示制御手順で、第3表示制御手順による第3検出結果画像の表示後に、表示画面内において、第3検出結果画像が表示されている位置を挟んで画面外表示可能領域と反対側となる位置に、検出対象者の視線上に表示画面が位置するように検出対象者の視線を誘導するための誘導用画像を表示するようにしてもよい。
【0038】
この視線検出方法は、請求項6に記載の視線検出装置にて実行される方法であり、当該方法を実行することで、請求項6に記載の視線検出装置と同様の効果を得ることができる。
【図面の簡単な説明】
【0039】
【図1】視線検出装置1の構成、及び視線検出装置1が接続された車内LAN2の概略構成を示すブロック図である。
【図2】第1実施形態の脇見警報処理を示すフローチャートである。
【図3】第1実施形態における視線検出結果の表示を説明する図である。
【図4】第2実施形態の脇見警報処理の前半部分を示すフローチャートである。
【図5】第2実施形態の脇見警報処理の後半部分を示すフローチャートである。
【図6】画面外表示可能領域RDを示す図である。
【図7】第2実施形態における視線検出結果の表示を説明する図である。
【図8】第2実施形態における視線誘導表示を説明する図である。
【図9】第3実施形態の脇見警報処理を示すフローチャートである。
【図10】第4実施形態の脇見警報処理を示すフローチャートである。
【図11】表示判定領域RJを示す図である。
【発明を実施するための形態】
【0040】
(第1実施形態)
以下に本発明の第1実施形態について図面とともに説明する。
図1は、本実施形態の視線検出装置1の構成、及び視線検出装置1が接続された車内LAN2の概略構成を示すブロック図である。
【0041】
図1に示すように、視線検出装置1は、車両に搭載され、車内LAN2を介してエンジンECU3、変速機ECU4、ブレーキECU5、ステアリングECU6をはじめとする各種ECUやナビゲーション装置7などの車載機器と接続されている。
【0042】
このうちエンジンECU3は、少なくとも、運転者のアクセルペダルの踏込量に応じたアクセル開度を検出するアクセル開度センサ11からの検出信号に基づいて、エンジンの回転を制御するように構成されている。
【0043】
また変速機ECU4は、少なくとも、運転者が操作するシフトレバー(不図示)の操作位置(P,R,ND,1st,2nd等)を検出するシフトスイッチ12からの検出信号や、アクセル開度センサ11からの検出信号や、車速を検出する車速センサ13からの検出信号に基づいて、自動変速機(不図示)の変速比を車両の運転状態に応じて変化させる制御等を実行するように構成されている。
【0044】
またブレーキECU5は、少なくとも、運転者のブレーキペダル操作に応じてブレーキ油を圧送するマスタシリンダの油圧からブレーキ操作量を検出するマスタシリンダ圧センサ(不図示)や、車速センサ13からの検出信号に基づいて、ABS制御やトラクション制御等を実行するように構成されている。
【0045】
またステアリングECU6は、少なくとも、ドライバのステアリング操作時における前輪の操舵角を検出する操舵角センサ14からの検出信号に基づいて、操舵輪の舵角変更時のアシスト力を発生させるパワーステアリング制御を実行するように構成されている。
【0046】
またナビゲーション装置7は、GPS(Global Positioning System)アンテナ(不図示)を介して受信したGPS信号等に基づいて車両の現在位置を検出し、現在地から目的地までの経路案内等を実行する制御や、表示画面DP(図3を参照)の周辺に設置されて運転者により操作されるナビスイッチ15からの信号に基づいて、画像表示を切り換えたりする制御等を実行するように構成されている。なおナビスイッチ15は、車両の現在地を表示させる場合に操作される現在地スイッチ(不図示)や、地図表示を拡大または縮小させる場合に操作される広域/詳細スイッチ(不図示)などから構成される。
【0047】
そして、これらECU3〜6及びナビゲーション装置7等にて検出される各種車両情報(アクセル開度、シフト位置、車速、操舵角など)は、車内LAN2を介して相互に任意に送受信できるようにされている。
【0048】
また視線検出装置1は、車両に搭載され、図1に示すように、運転席及びその周辺を連続して撮影するカメラ21と、カメラ21により撮影された画像のデータを一時的に記憶する画像キャプチャーボード22と、各種のガイド音声等を出力するための音声出力部23と、各種データを記憶するデータ記憶装置24と、車内LAN2を介して他の装置と各種車両情報等をやりとりする車内LAN通信部25と、上述した画像キャプチャーボード22、データ記憶装置24及び車内LAN通信部25からの入力に応じて各種処理を実行し、音声出力部23及び車内LAN通信部25を制御する制御部26とを備えている。
【0049】
このように構成された視線検出装置1において、制御部26は、運転者の視線の検出結果に基づいて脇見警報を行う脇見警報処理を実行する。
ここで、視線検出装置1の制御部26が実行する脇見警報処理の手順を、図2を用いて説明する。図2は脇見警報処理を示すフローチャートである。この脇見警報処理は、制御部26が起動(電源オン)している間に繰り返し実行される処理である。
【0050】
この脇見警報処理が実行されると、制御部26は、まずS10にて、カメラ21による撮影を行い、画像データを取得する。そしてS20にて、S10で取得した画像データを用いて、運転者の眼の視線を検出する。なお本実施形態では、視線の検出のために、例えば、「Takahiro Ishikawa, Simon Baker, Iain Matthews, and Takeo Kanade, "Passive Driver Gaze Tracking with Active Appearance Models," Proceedings of the 11th World Congress on Intelligent Transportation Systems, October, 2004.」に記載の手法を用いている。
【0051】
その後S30にて、車速センサ13の検出結果に基づいて、視線検出装置1を搭載した車両(以下、自車両という)が停止しているか否かを判断する。ここで、自車両が停止していない場合には(S30:NO)、S40にて、S20での視線検出結果に基づいて、運転者が脇見をしているか否かを判断する。ここで、運転者が脇見をしていない場合には(S40:NO)、脇見警報処理を一旦終了する。一方、運転者が脇見をしている場合には(S40:YES)、S50にて、脇見をしていることを示す音声を音声出力部23に出力させて、脇見警報処理を一旦終了する。
【0052】
またS30にて、自車両が停止していると判断した場合には(S30:YES)、S60にて、S20での視線検出結果に基づいて、運転者の視線(以下、運転者視線という)がナビゲーション装置の表示画面DP(図3を参照。以下、ナビ表示画面DPともいう)内に位置しているか否かを判断する。
【0053】
ここで、運転者視線がナビ表示画面DP内に位置していない場合には(S60:NO)、脇見警報処理を一旦終了する。一方、運転者視線がナビ表示画面DP内に位置している場合には(S60:YES)、S70にて、ナビ表示画面DP内における運転者視線の位置に一致した位置に、運転者視線が位置していることを示す画像GS(以下、視線位置指示画像GSという)をナビ表示画面DPに表示する(図3を参照)とともに、S80にて、視線検出装置1にて許容される視線検出誤差の範囲を示す画像GE(以下、許容誤差指示画像GEという)をナビ表示画面DPに表示して(図3を参照)、脇見警報処理を一旦終了する。なお、本実施形態では、許容誤差指示画像GEとして、視線位置指示画像GSを中心として視線の角度を5度移動させた場合におけるナビ表示画面DP上の移動距離に対応する円が設定されている。
【0054】
このように構成された視線検出装置1では、まず運転者の視線を検出し(S20)、その後に、視線検出結果に基づいて、運転者の視線上にナビ表示画面DPが位置しているか否かを判断する(S60)。そして、運転者の視線上にナビ表示画面DPが位置している場合に(S60:YES)、ナビ表示画面DP上において運転者の視線とナビ表示画面DPとが交差する位置に、運転者の視線検出結果であることを示す視線位置指示画像GSを表示する(S70)。
【0055】
したがって、運転者がナビ表示画面DPを見ているときに、運転者の視線検出結果がナビ表示画面DPに表示される可能性が高い。そして、運転者がナビ表示画面DPを見ているときに視線位置指示画像GSが表示されると、運転者は、自身が現時点で実際に見ている表示画面上の位置(図3の注視位置PLを参照)と、視線位置指示画像GSが表示されている表示画面上の位置とを比較することができる。このため、運転者は、視線検出装置1の検出精度を容易に確認することができる。これにより、運転者が視線検出装置1の検出結果に対して不安感等を抱いてしまうような状況の発生を抑制することができる。
【0056】
また、視線位置指示画像GSの表示位置を中心として、視線検出装置1にて許容される視線検出誤差の範囲を示す許容誤差指示画像GEが表示される(S80)。これにより、運転者は、自身が現時点で実際に見ているナビ表示画面DP上の位置(図3の注視位置PLを参照)が、視線位置指示画像GSの表示位置を中心とした許容範囲内に含まれているか否かを確認することができる。このため、上記許容範囲内に含まれている場合には、視線検出の誤差は許容範囲であり、上記許容範囲内に含まれていない場合には、視線検出の誤差は許容範囲外であると、運転者自身で判断することができる。
【0057】
また、自車両が停止しているときに(S30:YES)、視線検出結果をナビ表示画面DPに表示する制御が行われる(S70)。これにより、車両の運転者は、ナビ表示画面DPを注視しても安全な状態で視線検出結果を確認することができる。
【0058】
以上説明した実施形態において、S20の処理は本発明における視線検出手段および視線検出手順、ナビ表示画面DPは本発明における表示画面、ナビゲーション装置7は本発明における表示手段、S60の処理は本発明における第1視線位置判断手段および第1視線位置判断手順、S70,80の処理は本発明における第1表示制御手段および第1表示制御手順、視線位置指示画像GSは本発明における第1検出結果画像、S30の処理は本発明における第3禁止手段である。
【0059】
(第2実施形態)
以下に本発明の第2実施形態について図面とともに説明する。なお、第2実施形態では、第1実施形態と異なる部分のみを説明する。
【0060】
第2実施形態における視線検出装置1は、脇見警報処理が変更された点以外は第1実施形態と同じである。
次に、第2実施形態の脇見警報処理手順を図4,5を用いて説明する。図4は第2実施形態の脇見警報処理の前半部分、図5は脇見警報処理の後半部分を示すフローチャートである。
【0061】
図4,5に示すように、第2実施形態の脇見警報処理が第1実施形態と異なるのは、S70〜S80の処理が省略されて、S55及びS110〜S330の処理が追加された点である。
【0062】
すなわち、S50の処理が終了した場合、または運転者視線がナビ表示画面DP内に位置していないとS60にて判断された場合には(S60:NO)、S110にて、点滅表示フラグF1、固定表示フラグF2、画面縁表示フラグF3、及び誘導表示フラグF4をクリアして、脇見警報処理を一旦終了する。なお、以下の説明において、フラグをセットするとは、そのフラグの値を1にすることを示し、フラグをクリアするとは、そのフラグの値を0にすることを示す。
【0063】
またS30にて、自車両が停止していると判断した場合には(S30:YES)、S55にて、運転者視線が画面外表示可能領域RD内に位置しているか否かを判断する。画面外表示可能領域RDは、ナビ表示画面DPの周囲においてナビ表示画面DPと同一平面上に予め設定された領域である(図6を参照)。
【0064】
ここで、運転者視線が画面外表示可能領域RD内に位置してない場合には(S55:NO)、S60に移行する。そしてS60にて、運転者視線がナビ表示画面DP内に位置していると判断した場合には(S60:YES)、S120にて、点滅表示フラグF1と固定表示フラグF2がともにクリアされているか否かを判断する。ここで、点滅表示フラグF1と固定表示フラグF2がともにクリアされている場合には(S120:YES)、S130にて、ナビ表示画面DP内における運転者視線の位置に一致した位置に視線位置指示画像GSをナビ表示画面DPに例えば緑色で点滅表示し(図7(a)を参照)、さらにS140にて、点滅表示フラグF1をセットするとともに点滅表示フラグF1以外のフラグF2,F3,F4をクリアして、脇見警報処理を一旦終了する。
【0065】
一方、点滅表示フラグF1または固定表示フラグF2の何れかがセットされている場合には(S120:NO)、S150にて、点滅表示フラグF1がセットされているか否かを判断する。ここで、点滅表示フラグF1がセットされている場合には(S150:YES)、S160にて、S130の処理で視線位置指示画像GSの点滅表示を開始してから視線がナビ表示画面DP上において、予め設定された固定表示判定距離L1th以上移動したか否かを判断する。なお、本実施形態では、固定表示判定距離L1thは、人間の中心視野角(約2度)に対応する移動距離に設定されている。
【0066】
ここで、視線の移動距離が固定表示判定距離L1th未満である場合には(S160:NO)、S170にて、S130と同様にして視線位置指示画像GSを点滅表示する。一方、視線の移動距離が固定表示判定距離L1th以上である場合には(S160:YES)、S180にて、現在の表示位置で固定して視線位置指示画像GSを表示する(図7(b)を参照)とともに、S190にて、視線位置指示画像GSを緑色で点灯表示し、さらにS200にて、固定表示フラグF2をセットするとともに点滅表示フラグF2以外のフラグF1,F3,F4をクリアして、脇見警報処理を一旦終了する。
【0067】
またS150にて、点滅表示フラグF1がクリアされている場合には(S150:NO)、固定表示フラグF2がセットされていると判断して、S210にて、S180の処理で視線位置指示画像GSの固定表示を開始してから、予め設定された固定解除判定時間T1thが経過したか否かを判断する。ここで、固定表示の開始から固定解除判定時間T1thが経過していない場合には(S210:NO)、S220にて、S180と同様にして視線位置指示画像GSを固定表示するとともに、S230にて、S190と同様にして視線位置指示画像GSを点灯表示して、脇見警報処理を一旦終了する。
【0068】
一方、固定表示の開始から固定解除判定時間T1thが経過した場合には(S210:YES)、S240にて、点滅表示フラグF1、固定表示フラグF2、画面縁表示フラグF3、及び誘導表示フラグF4をクリアして、脇見警報処理を一旦終了する。
【0069】
またS55にて、運転者視線が画面外表示可能領域RD内に位置している場合には(S55:YES)、S250にて、画面縁表示フラグF3と誘導表示フラグF4がともにクリアされているか否かを判断する。ここで、画面縁表示フラグF3と誘導表示フラグF4がともにクリアされている場合には(S250:YES)、S260にて、画面外表示可能領域RD内における運転者視線の位置(図8(a)の視線位置PSを参照)に最も近いナビ表示画面DPの位置(すなわち、ナビ表示画面DPの端縁部)に、視線位置指示画像GSを例えば赤色で点滅表示し(図8(a)を参照)、さらにS270にて、画面縁表示フラグF3をセットするとともに画面縁表示フラグF3以外のフラグF1,F2,F4をクリアして、脇見警報処理を一旦終了する。
【0070】
一方、画面縁表示フラグF3または誘導表示フラグF4の何れかがセットされている場合には(S250:NO)、S280にて、画面縁表示フラグF3がセットされているか否かを判断する。ここで、画面縁表示フラグF3がセットされている場合には(S280:YES)、S290にて、S260の処理で視線位置指示画像GSの点滅表示を開始してから、視線が画面外表示可能領域RD上において予め設定された誘導表示判定距離L2th以上移動したか否かを判断する。なお、本実施形態では、誘導表示判定距離L2thは、人間の中心視野角(約2度)に対応する移動距離に設定されている。
【0071】
ここで、視線の移動距離が誘導表示判定距離L2th未満である場合には(S290:NO)、S300にて、S260と同様にして視線位置指示画像GSを点滅表示する。一方、視線の移動距離が誘導表示判定距離L2th以上である場合には(S290:YES)、S310にて、視線誘導画像GGを青色で点灯表示する(図8(b)を参照)。なお、視線誘導画像GGの表示位置は、S260の処理で表示された視線位置指示画像GSの表示位置を挟んで、画面外表示可能領域RDと反対側となる位置である。その後S320にて、誘導表示フラグF4をセットするとともに誘導表示フラグF4以外のフラグF1,F2,F3をクリアして、脇見警報処理を一旦終了する。
【0072】
またS280にて、画面縁表示フラグF3がクリアされている場合には(S280:NO)、誘導表示フラグF4がセットされていると判断して、S330にて、S310と同様にして視線誘導画像GGを点灯表示して、脇見警報処理を一旦終了する。
【0073】
このように構成された視線検出装置1では、まず運転者の視線を検出し(S20)、その後に、視線検出結果に基づいて、運転者の視線上にナビ表示画面DPが位置しているか否かを判断する(S60)。そして、運転者の視線上にナビ表示画面DPが位置している場合に(S60:YES)、ナビ表示画面DP上において運転者の視線とナビ表示画面DPとが交差する位置に、運転者の視線検出結果であることを示す視線位置指示画像GSを点滅表示する(S130)。その後、視線検出結果に基づいて、運転者の視線が移動したか否かを判断し(S160)、運転者の視線が移動した場合に(S160:YES)、視線位置指示画像GSの点滅表示が中止される(S200,S150)。
【0074】
ここで、運転者がナビ表示画面DPを見ているときに視線位置指示画像GSがナビ表示画面DPに表示されると、ナビ表示画面DPを見ている運転者は、この視線位置指示画像GSを見ようとして視線位置指示画像GSの位置に視線を移動しようとする。このため、視線位置指示画像GSの表示後の視線移動は、運転者が視線位置指示画像GSの表示に反応したためであると判断することができる。したがって、運転者が視線位置指示画像GSの点滅表示を認識したにもかかわらず、視線位置指示画像GSがナビ表示画面DP上に無駄に点滅表示され続けてしまうということをなくすことができる。
【0075】
また、運転者の視線が移動した場合に(S160:YES)、この時点で、ナビ表示画面DP上において運転者の視線とナビ表示画面DPとが交差する位置に、視線位置指示画像GSを点灯表示する(S180,S190)。
【0076】
すなわち、運転者が視線位置指示画像GSを確認しようと視線を移動させると、視線位置指示画像GSの表示位置を固定する。このため、運転者が視線位置指示画像GSを確認しようと視線を移動させると、それに応じて、視線位置指示画像GSも移動してしまい、視線位置指示画像GSを運転者が注視することができないという状況の発生を抑制することができる。これにより、運転者は、視線位置指示画像GSを示す画像の表示位置を中心視野で確実に確認することができる。
【0077】
また、視線位置指示画像GSの固定表示開始から固定解除判定時間T1thが経過した場合に(S210:YES)、視線位置指示画像GSの固定表示は中止される(S240,S120)。このため、運転者が視線位置指示画像GSの固定表示を認識したにもかかわらず、視線位置指示画像GSがナビ表示画面DP上に無駄に表示され続けてしまうということをなくすことができる。
【0078】
さらに、視線位置指示画像GSの固定表示開始から固定解除判定時間T1thが経過した場合に(S210:YES)、運転者の視線上にナビ表示画面DPが位置している場合に視線位置指示画像GSを点滅表示する制御が行われる(S240,S120,S130)。このため、運転者は、視線検出装置1の精度を、別の時点で再確認することができる。
【0079】
また、視線位置指示画像GSの点滅表示は、時間経過とともに視覚的に変化する態様での表示であるため、運転者にとって周辺視野となる位置に視線位置指示画像GSが表示された場合に、視線位置指示画像GSが時間経過とともに視覚的に変化しない態様で表示される場合よりも、運転者が視線位置指示画像GSに気付き易くなる。
【0080】
また、視線位置指示画像GSが点滅して表示された後に、運転者の視線が移動すると、視線位置指示画像GSは点灯して表示される。すなわち、運転者の視線移動の前後で表示態様が異なる。このため、運転者は、視線検出結果を示すためにナビ表示画面DPに現在表示されている視線位置指示画像GSが、運転者の視線移動に応じて移動する画像であるのか、運転者の視線移動によって移動せず固定して表示される画像であるかを、視線位置指示画像GSの表示態様によって判別することができる。
【0081】
また、視線検出装置1では、視線検出結果に基づいて、ナビ表示画面DPの周囲を覆うように予め設定された画面外表示可能領域RDが運転者の視線上に位置しているか否かを判断し(S55)、画面外表示可能領域RDが運転者の視線上に位置している場合に(S55:YES)、ナビ表示画面DPの外周端縁のうち、運転者の視線と画面外表示可能領域RDとが交差する位置に近い箇所として設定された位置に、視線位置指示画像GSを例えば赤色で点滅表示する(S260)。そして、視線位置指示画像GSを赤色で点滅表示した後に、ナビ表示画面DP内において、視線位置指示画像GSが表示されている位置を挟んで画面外表示可能領域RDと反対側となる位置に、視線誘導画像GGを表示する(S310)。なお、視線誘導画像GGは、視線位置指示画像GSを挟んで、画面外表示可能領域RDと反対側となる位置に表示されるため、運転者が視線誘導画像GGを見ようとすれば、その視線は、ナビ表示画面DP内に向かって移動することになる。
【0082】
これにより、視線検出結果に基づいた視線の位置を示す画像をナビ表示画面DPに表示することができるようになり、運転者は、自身が現時点で実際に見ている表示画面上の位置と、視線検出結果に基づいたナビ表示画面DP上の視線の位置とを比較することができようになる。
【0083】
以上説明した実施形態において、S160の処理は本発明における第1視線移動検出手段および第1視線移動検出手順、S150およびS200の処理は本発明における第1禁止手段および第1禁止手順、S180およびS190の処理は本発明における第2表示制御手段および第2表示制御手順、S120とS210とS240の処理は本発明における第2禁止手段、S120とS210とS240の処理は本発明における第1解除手段、緑色で点滅表示する視線位置指示画像GSは本発明における第1検出結果画像、緑色で点灯表示する視線位置指示画像GSは本発明における第2検出結果画像、固定解除判定時間T1thは本発明における表示終了判定時間である。
【0084】
また、S55の処理は本発明における第2視線位置判断手段および第2視線位置判断手順、S260の処理は本発明における第3表示制御手段および第3表示制御手順、S310の処理は本発明における誘導表示制御手段および誘導表示制御手順、赤色で点滅表示する視線位置指示画像GSは本発明における第3検出結果画像、視線誘導画像GGは本発明における誘導用画像である。
【0085】
(第3実施形態)
以下に本発明の第3実施形態について図面とともに説明する。なお、第3実施形態では、第1実施形態と異なる部分のみを説明する。
【0086】
第3実施形態における視線検出装置1は、視線検出結果を表示させる場合に操作される視線検出表示スイッチ(不図示)がナビスイッチ15に追加された点と、脇見警報処理が変更された点以外は第1実施形態と同じである。
【0087】
次に、第3実施形態の脇見警報処理手順を図9を用いて説明する。図9は第3実施形態の脇見警報処理を示すフローチャートである。
図9に示すように、第3実施形態の脇見警報処理が第1実施形態と異なるのは、S32の処理が追加された点である。
【0088】
すなわち、S30にて、自車両が停止していると判断した場合には(S30:YES)、S32にて、視線検出表示スイッチがオンであるか否かを判断する。ここで、視線検出表示スイッチがオンである場合には(S32:YES)、S60に移行する。一方、視線検出表示スイッチがオフである場合には(S32:NO)、S40に移行する。
【0089】
このように構成された視線検出装置1では、視線検出表示スイッチをオフにする操作が行われると(S32:NO)、視線検出結果をナビ表示画面DPに表示する制御が行われなくなる。このため、視線検出結果を確認する必要がないと運転者が考えている場合にも視線検出結果がナビ表示画面DPに表示されることによる不快感を視線検出装置1の使用者(運転者)に与えることがなくなる。
【0090】
以上説明した実施形態において、S32の処理は本発明における第4禁止手段である。
(第4実施形態)
以下に本発明の第4実施形態について図面とともに説明する。なお、第4実施形態では、第1実施形態と異なる部分のみを説明する。
【0091】
第4実施形態における視線検出装置1は、脇見警報処理が変更された点以外は第1実施形態と同じである。
次に、第4実施形態の脇見警報処理手順を図10を用いて説明する。図10は第4実施形態の脇見警報処理を示すフローチャートである。
【0092】
図10に示すように、第4実施形態の脇見警報処理が第1実施形態と異なるのは、S34,S36,S38の処理が追加された点である。
すなわち、S30にて、自車両が停止していると判断した場合には(S30:YES)、S34にて、運転者視線が表示判定領域RJ内に位置しているか否かを判断する。表示判定領域RJは、ナビ表示画面DPとナビ表示画面DPの周囲とにおいて、ナビ表示画面DPと同一平面上に予め設定された領域である(図11を参照)。本実施形態では、視線検出装置1の視線検出誤差を考慮して、ナビ表示画面DPの中心部DPCを中心としてナビ表示画面DPの4倍の面積を有する矩形領域を表示判定領域RJに設定している。
【0093】
ここで、運転者視線が表示判定領域RJ内に位置してない場合には(S34:NO)、S40に移行する。一方、運転者視線が表示判定領域RJ内に位置している場合には(S34:YES)、S36にて、運転者視線が表示判定領域RJ内で停留し続けている時間(以下、視線停留時間という)を計測する。
【0094】
そしてS38にて、視線停留時間が、予め設定された結果表示判定時間T2th以上であるか否かを判断する。ここで、視線停留時間が結果表示判定時間T2th未満である場合には(S38:NO)、S40に移行する。一方、視線停留時間が結果表示判定時間T2th以上である場合には(S38:YES)、S60に移行する。
【0095】
このように構成された視線検出装置1では、視線検出結果に基づいて、運転者の視線が、ナビ表示画面DPを含むように予め設定された表示判定領域RJ内で停留している時間(視線停留時間)を計測し(S34,S36)、視線停留時間が結果表示判定時間T2th以上である場合に(S38:YES)、視線検出結果をナビ表示画面DPに表示する制御が行われる(S70)。
【0096】
これにより、視線検出結果を確認したいと運転者が考えたときに、上記第3実施形態における視線検出表示スイッチをオンにする操作を行うことなく、表示判定領域RJ内を注視するという簡便な動作で、視線検出結果がナビ表示画面DPに表示されるようにすることができる。
【0097】
以上説明した実施形態において、S34及びS36の処理は本発明における停留時間計測手段、S38の処理は本発明における第5禁止手段、結果表示判定時間T2thは本発明における判定禁止時間である。
【0098】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば上記実施形態においては、自車両が停止していることを、視線検出結果をナビ表示画面DPに表示するための条件とするものを示したが、これに限られるものではなく、例えば、IGスイッチがオンされたとき、すなわち車両出発時であることを、上記表示条件としてもよい。さらに、サイドブレーキの実施の有無を上記表示条件に追加してもよい。
【0099】
また上記第1実施形態においては、許容誤差指示画像GEを表示することによって、視線検出結果が許容誤差以内であるか否かを運転者自身で判断することができるようにしたものを示した。しかし、運転者が例えばナビスイッチ15を操作しているときには、運転者はナビスイッチ15を注視していると見做すことができる。このため、ナビスイッチ15を操作しているときの運転者の視線検出結果に基づく視線位置とナビスイッチ15の位置とを視線検出装置1が比較することによって、視線検出結果が許容誤差以内であるか否かを視線検出装置1が判断するようにしてもよい。そして、視線検出結果が許容誤差以内でないと視線検出装置1が判断した場合に、その旨を運転者に報知するようにするとよい。
【0100】
また上記第1実施形態においては、視線位置指示画像GSの表示位置を中心として、視線検出装置1にて許容される視線検出誤差の範囲を示す許容誤差指示画像GEを表示するものを示した。しかし上記第2実施形態において、点滅表示している視線位置指示画像GSを中心とした許容誤差指示画像GE、或いは点灯表示している視線位置指示画像GSを中心とした許容誤差指示画像GEを表示するようにしてもよい。
【0101】
また上記第2実施形態においては、視線誘導画像GGを表示することによって、運転者の視線をナビ表示画面DPに誘導するものを示した。しかし、視線誘導画像GGを表示した後に運転者の視線が移動したにもかかわらず、運転者の視線がナビ表示画面DP内に位置していない場合には、視線検出のキャリブレーションを実施する必要がある旨、或いは視線検出の誤差が大きい旨を運転者に報知するようにするとよい。
【0102】
また、運転者が所定の操作(例えば、ナビスイッチ15の操作)をすることにより、視線検出のキャリブレーションが実施されるようにしてもよい。
また上記実施形態においては、運転者の視線検出結果をナビ表示画面DPに表示するものを示した。しかし、視線検出結果を表示する画面はナビ表示画面DPに限定されるものではなく、例えば、メータ内のマルチディスプレイ、ヘッドアップディスプレイ(HUD)等に表示するようにしてもよい。
【0103】
また、視線検出結果を複数の表示画面に表示できるようにして、運転者の顔向きに応じて、視線検出装置1が、視線検出結果を表示する画面を選択するようにしてもよい。
また、視線位置指示画像GSとして点滅表示するものを示したが、それに限定されるものではなく、例えば、時間経過とともに色を変化させてもよく、また、形や大きさ、輝度を変化させてもよい。更にはそれらの中から複数を組合せてもよい。
【0104】
また、運転者が、視線位置指示画像GSの表示態様を選択できるようにしてもよい。
【符号の説明】
【0105】
1…視線検出装置、2…車内LAN、3…エンジンECU、4…変速機ECU、5…ブレーキECU、6…ステアリングECU、7…ナビゲーション装置、11…アクセル開度センサ、12…シフトスイッチ、13…車速センサ、14…操舵角センサ、15…ナビスイッチ、21…カメラ、22…画像キャプチャーボード、23…音声出力部、24…データ記憶装置、25…車内LAN通信部、26…制御部

【特許請求の範囲】
【請求項1】
検出対象者の視線を検出する視線検出手段と、
画像を表示する表示画面を備えた表示手段と、
前記視線検出手段による検出結果に基づいて、前記検出対象者の視線上に前記表示画面が位置しているか否かを判断する第1視線位置判断手段と、
前記検出対象者の視線上に前記表示画面が位置していると前記第1視線位置判断手段により判断された場合に、前記表示画面上において前記検出対象者の視線と前記表示画面とが交差する位置に、前記検出対象者の視線検出結果であることを示す予め設定された第1検出結果画像を表示する第1表示制御手段とを備える
ことを特徴とする視線検出装置。
【請求項2】
前記第1表示制御手段による前記第1検出結果画像の表示後に、前記視線検出手段による検出結果に基づいて、前記検出対象者の視線が移動したか否かを判断する第1視線移動検出手段と、
前記検出対象者の視線が移動したと前記第1視線移動検出手段により判断された場合に、前記第1表示制御手段の動作を禁止する第1禁止手段とを備える
ことを特徴とする請求項1に記載の視線検出装置。
【請求項3】
前記検出対象者の視線が移動したと前記第1視線移動検出手段により判断された場合に、この時点で、前記表示画面上における前記検出対象者の視線と前記表示画面とが交差する位置に、前記検出対象者の視線検出結果であることを示す予め設定された第2検出結果画像を表示する第2表示制御手段を備える
ことを特徴とする請求項2に記載の視線検出装置。
【請求項4】
前記第2表示制御手段による前記第2検出結果画像の表示開始から予め設定された表示終了判定時間が経過した場合に、前記第2表示制御手段の動作を禁止する第2禁止手段と、
前記第2表示制御手段による前記第2検出結果画像の表示開始から前記表示終了判定時間が経過した場合に、前記第1禁止手段による前記第1表示制御手段の動作の禁止を解除する第1解除手段とを備える
ことを特徴とする請求項3に記載の視線検出装置。
【請求項5】
前記第2表示制御手段は、
前記第2検出結果画像を、前記第1検出結果画像と異なる態様で表示する
ことを特徴とする請求項3または請求項4に記載の視線検出装置。
【請求項6】
前記視線検出手段による検出結果に基づいて、前記表示画面の周囲を覆うように予め設定された画面外表示可能領域が前記検出対象者の視線上に位置しているか否かを判断する第2視線位置判断手段と、
前記検出対象者の視線上に前記画面外表示可能領域が位置していると前記第2視線位置判断手段により判断された場合に、前記表示画面の外周端縁のうち、前記検出対象者の視線と前記画面外表示可能領域とが交差する位置に近い箇所として設定された位置に、前記検出対象者の視線検出結果であることを示す予め設定された第3検出結果画像を表示する第3表示制御手段と、
前記第3表示制御手段による前記第3検出結果画像の表示後に、前記表示画面内において、前記第3検出結果画像が表示されている位置を挟んで前記画面外表示可能領域と反対側となる位置に、前記検出対象者の視線上に前記表示画面が位置するように前記検出対象者の視線を誘導するための誘導用画像を表示する誘導表示制御手段とを備える
ことを特徴とする請求項1〜請求項5の何れか1項に記載の視線検出装置。
【請求項7】
前記第1表示制御手段は、
前記第1検出結果画像を、時間経過とともに視覚的に変化する態様で表示する
ことを特徴とする請求項1〜請求項6の何れか1項に記載の視線検出装置。
【請求項8】
前記第1表示制御手段は、
前記第1検出結果画像の表示位置を中心として、前記視線検出手段による視線検出の誤差の許容範囲を示す画像を表示する
ことを特徴とする請求項1〜請求項7の何れか1項に記載の視線検出装置。
【請求項9】
前記第2表示制御手段は、
前記第2検出結果画像の表示位置を中心として、前記視線検出手段による視線検出の誤差の許容範囲を示す画像を表示する
ことを特徴とする請求項3〜請求項5の何れか1項に記載の視線検出装置。
【請求項10】
当該視線検出装置は車両に搭載され、
前記車両が走行中である場合には、前記第1視線位置判断手段の動作を禁止する第3禁止手段を備える
ことを特徴とする請求項1〜請求項9の何れか1項に記載の視線検出装置。
【請求項11】
予め設定された外部操作が行われると、前記第1視線位置判断手段の動作を禁止する第4禁止手段を備える
ことを特徴とする請求項1〜請求項10の何れか1項に記載の視線検出装置。
【請求項12】
前記視線検出手段による検出結果に基づいて、前記検出対象者の視線が、前記表示画面を含むように予め設定された表示判定領域内で停留している時間を計測する停留時間計測手段と、
前記停留時間計測手段により計測された停留時間が、予め設定された判定禁止時間未満である場合に、前記第1視線位置判断手段の動作を禁止する第5禁止手段を備える
ことを特徴とする請求項1〜請求項11の何れか1項に記載の視線検出装置。
【請求項13】
検出対象者の視線を検出する視線検出手順と、
前記視線検出手順による検出結果に基づいて、前記検出対象者の視線上に、画像を表示する表示手段の表示画面が位置しているか否かを判断する第1視線位置判断手順と、
前記検出対象者の視線上に前記表示画面が位置していると前記第1視線位置判断手順により判断された場合に、前記表示画面上において前記検出対象者の視線と前記表示画面とが交差する位置に、前記検出対象者の視線検出結果であることを示す予め設定された第1検出結果画像を表示する第1表示制御手順とを備える
ことを特徴とする視線検出方法。
【請求項14】
前記第1表示制御手順による前記第1検出結果画像の表示後に、前記視線検出手順による検出結果に基づいて、前記検出対象者の視線が移動したか否かを判断する第1視線移動検出手順と、
前記検出対象者の視線が移動したと前記第1視線移動検出手順により判断された場合に、前記第1表示制御手順の動作を禁止する第1禁止手順と、
前記検出対象者の視線が移動したと前記第1視線移動検出手順により判断された場合に、この時点で、前記表示画面上における前記検出対象者の視線と前記表示画面とが交差する位置に、前記検出対象者の視線検出結果であることを示す予め設定された第2検出結果画像を表示する第2表示制御手順とを備える
ことを特徴とする請求項13に記載の視線検出方法。
【請求項15】
前記視線検出手順による検出結果に基づいて、前記表示画面の周囲を覆うように予め設定された画面外表示可能領域が前記検出対象者の視線上に位置しているか否かを判断する第2視線位置判断手順と、
前記検出対象者の視線上に前記画面外表示可能領域が位置していると前記第2視線位置判断手順により判断された場合に、前記表示画面の外周端縁のうち、前記検出対象者の視線と前記画面外表示可能領域とが交差する位置に近い箇所として設定された位置に、前記検出対象者の視線検出結果であることを示す予め設定された第3検出結果画像を表示する第3表示制御手順と、
前記第3表示制御手順による前記第3検出結果画像の表示後に、前記表示画面内において、前記第3検出結果画像が表示されている位置を挟んで前記画面外表示可能領域と反対側となる位置に、前記検出対象者の視線上に前記表示画面が位置するように前記検出対象者の視線を誘導するための誘導用画像を表示する誘導表示制御手順とを備える
ことを特徴とする請求項13または請求項14に記載の視線検出方法。

【図1】
image rotate

【図2】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図3】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−164012(P2012−164012A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−21801(P2011−21801)
【出願日】平成23年2月3日(2011.2.3)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】