ナビゲーション装置、ナビゲーション方法、およびプログラム
【課題】 視線の動きを用いて適切に対象物を特定できるナビゲーション装置を提供する。
【解決手段】
ナビゲーション装置１は、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部２０と、ドライバの視線を検出する視線検出部１２と、視線検出部１２にて検出した視線の情報を蓄積し、蓄積した視線の情報に基づいてドライバの視線の動きを求め、視線の動きに合致する視線パターンに対応する対象物を視線パターン記憶部２２から読み出し、読み出した対象物を注視対象物として検出する注視対象物検出部１４とを備える。
【解決手段】
ナビゲーション装置１は、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部２０と、ドライバの視線を検出する視線検出部１２と、視線検出部１２にて検出した視線の情報を蓄積し、蓄積した視線の情報に基づいてドライバの視線の動きを求め、視線の動きに合致する視線パターンに対応する対象物を視線パターン記憶部２２から読み出し、読み出した対象物を注視対象物として検出する注視対象物検出部１４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載して用いられるナビゲーション装置に関する。
【背景技術】
【０００２】
従来から、ドライバの視線を検出してドライバの見ている建築物等の対象物を認識し、対象物に関する情報を提供することによって運転を支援するナビゲーション装置が知られている（特許文献１）。
【０００３】
特許文献１に記載されたナビゲーション装置は、ドライバの視線を検出するための視線検出カメラとドライバの音声を取得するマイクを備えている。ナビゲーション装置は、マイクにてドライバの音声を取得する。取得した音声を解析し、例えば「あれは何？」等のトリガとなるキーワードを認識すると、ナビゲーション装置は、カメラで撮影した映像からドライバの視線を検出し、ドライバの視線方向にある建物等の対象物を画面に表示する。次に、ナビゲーション装置は、「右」「後ろ」等の修正コマンドをマイクにて取得し、修正コマンドに応じて対象物を選択する。ナビゲーション装置は、選択された対象物に基づいて、経路設定やガイド情報の表示等を行なう。
【特許文献１】特開平２００５−２４３１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した特許文献１に記載のナビゲーション装置では、視線方向だけで対象物を特定できないことを前提として、音声によるトリガや修正コマンドを受け付けることにより、対象物を特定している。
【０００５】
しかしながら、ドライバの発する言葉は様々であるので、トリガや修正コマンドを誤認識するおそれがある。トリガや修正コマンドとして特定のキーワードをあらかじめ設定しておくことも可能であるが、利便性が低下する。
【０００６】
また、特許文献１に記載のナビゲーション装置では、ドライバは、トリガとなる音声を発すると同時に、視線方向が特定されるまで対象物を見ていなくてはならないので、運転に支障をきたすおそれがある。
【０００７】
そこで、本発明は上記背景に鑑み、ドライバの視線の動きを用いて適切に対象物を特定できるナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のナビゲーション装置は、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部と、ドライバの視線を検出する視線検出部と、前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出する注視対象物検出部とを備える。
【０００９】
このようにドライバの視線の動きを求め、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。
【００１０】
本発明のナビゲーション装置において、前記視線パターン記憶部は、前記対象物に関連付けて、環境ごとに異なる複数の視線パターンを記憶しておき、前記注視対象物検出部は、前記視線の動きを求めた環境に応じて前記視線パターンを選択し、選択された視線パターンを用いて前記注視対象物を検出してもよい。
【００１１】
このように前記対象物に関連付けて環境ごとに異なる複数の視線パターンを視線パターン記憶部に記憶しておくことにより、環境によって視線の動き方が変化する場合にも適切に対応できる。ここで、環境には、例えば、車両の走行速度、ドライバの運転経験、外部の明るさ等が含まれる。なお、ナビゲーション装置は、各種のセンサ等から環境の情報を取得する。例えば、車両の走行速度の情報は速度センサから取得し、外部の明るさの情報は照度センサから取得する。また、ドライバの運転経験の情報はドライバに運転経験年数を入力させる入力デバイスから情報を取得する。
【００１２】
本発明のナビゲーション装置は、ドライバの運転行動に先立って注視される複数の注視対象物とその注視順序を注視行動パターンとして当該運転行動に関連付けて記憶した注視行動パターン記憶部と、前記注視対象物検出部にて検出した注視対象物の情報に基づいて注視行動を求め、前記注視行動に合致する注視行動パターンに対応する運転行動を前記注視行動パターン記憶部から読み出し、読み出した運転行動を注視行動に続いて行なわれる予測運転行動として決定する予測運転行動決定部と、前記予測運転行動を支援するための運転支援信号を送信する運転支援信号送信部とを備えてもよい。
【００１３】
このようにドライバの注視行動を求め、注視行動に基づいて決定した予測運転行動を支援するための運転支援信号を送信することにより、ドライバの視線から得た情報に基づいて適切に運転を支援できる。
【００１４】
本発明のナビゲーション装置において、前記注視行動パターン記憶部は、前記運転行動に関連付けて、環境ごとに異なる複数の注視行動パターンを記憶しておき、前記予測運転行動決定部は、前記注視行動を検出した環境に応じて前記注視行動パターンを選択し、選択された注視行動パターンを用いて前記予測運転行動を決定してもよい。
【００１５】
このように運転行動に関連付けて環境ごとに異なる複数の注視行動パターンを注視行動パターン記憶部に記憶しておくことにより、環境によって運転行動が変化する場合にも適切に対応できる。ここで、環境には、例えば、車両の走行速度、ドライバの運転経験、外部の明るさ等が含まれる。
【００１６】
本発明のナビゲーション装置において、前記予測運転行動決定部は、前記注視対象物検出部にて検出した注視対象物の情報から注視行動を求め、前記注視行動が前記注視行動パターン記憶部に記憶された注視行動パターンの一部に合致する場合に、その注視行動パターンに対応する運転行動を読み出してもよい。
【００１７】
このようにドライバの注視行動が注視行動パターンの一部に合致する場合に、ドライバの予測運転行動を決定することにより、ドライバの予測運転行動を早い段階で決定できる。
【００１８】
本発明のナビゲーション装置は、車両の動作から運転行動を検知する運転行動検知部と、前記運転行動検知部にて運転行動を検知したときに、前記運転行動の前に行われた注視行動を求め、前記注視行動を用いて前記注視行動パターン記憶部に記憶された情報を更新する注視行動パターン学習部とを備えてもよい。
【００１９】
このように注視行動パターン記憶部に記憶された情報を、実際の運転行動および注視行動に基づいて学習することにより、注視行動パターン記憶部の情報をそれぞれのドライバに適合させることができる。
【００２０】
本発明のナビゲーション装置は、前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに最も類似する視線パターンを前記視線パターン記憶部から検索し、検索された視線パターンを前記ドライバの視線の動きを用いて更新する視線パターン学習部とを備えてもよい。
【００２１】
このように視線パターン記憶部に記憶された情報を、実際の視線パターンから検出された類似の視線パターンを用いて学習することにより、視線パターン記憶部の情報をそれぞれのドライバに適合させることができる。
【００２２】
本発明のナビゲーション方法は、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部を準備するステップと、ドライバの視線を検出するステップと、検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップとを備える。
【００２３】
これにより、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。なお、本発明のナビゲーション装置の各種の構成を、本発明のナビゲーション方法に適用することも可能である。
【００２４】
本発明のプログラムは、ドライバの視線を検出する機能を備えたナビゲーション装置に、ドライバの視線を検出するステップと、検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、前記視線の動きに合致する視線パターンに対応する対象物を、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップとを実行させる。
【００２５】
これにより、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。なお、本発明のナビゲーション装置の各種の構成を、本発明のプログラムに適用することも可能である。
【発明の効果】
【００２６】
本発明は、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態に係るナビゲーション装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態のナビゲーション装置１の構成を示す図である。ナビゲーション装置１は、ドライバを撮影するカメラ１０と、カメラ１０にて撮影した映像に基づいてドライバの視線を検出する視線検出部１２と、視線検出部１２にて検出した視線に基づいて注視対象物を検出する注視対象物検出部１４と、注視対象物検出部１４にて検出した注視対象物の情報に基づいて、ドライバが行うと予測される運転行動（「予測運転行動」という）を決定する予測運転行動決定部１６と、予測運転行動決定部１６にて決定された運転行動を支援するための運転支援信号を車両に送信する運転支援信号送信部１８とを備えている。なお、図１には示していないが、第１の実施の形態のナビゲーション装置１は、ナビゲーションに必要な地図情報を記憶した地図情報記憶部、車両位置を検出する車両位置検出部、地図情報を表示するディスプレイ、ナビゲーションのメッセージを出力するスピーカ等、通常のナビゲーション装置が備える構成も有している。
【００２８】
以下、図１に示すナビゲーション装置１の各構成について説明する。カメラ１０は、ドライバの顔を撮影可能な位置、例えば、ダッシュボードやルームミラー等に設置される。カメラ１０としては、例えば、ＣＣＤカメラ１０を用いることができる。
【００２９】
視線検出部１２は、カメラ１０にて撮影された映像に基づいて、ドライバの頭部の位置および向きと、頭部に対する眼球の位置を求めることによってドライバの視線を検出する。
【００３０】
注視対象物検出部１４は、視線検出部１２にて検出されたドライバの視線の情報と視線パターン記憶部２０に記憶された情報に基づいて、ドライバが注視した対象物を検出する機能を有する。
【００３１】
図２は、視線パターン記憶部２０に記憶された情報の例を示す図である。視線パターン記憶部２０には、例えば、「路側」「ナビ」等の注視対象物ごとにその注視対象物を注視するときの視線パターンの情報が記憶されている。視線パターンには、注視対象物に応じて、水平方向の視線の動きのパターンまたは垂直方向の視線の動きのパターン、あるいは水平方向および垂直方向の視線の動きのパターンが含まれる。図２では、水平方向の視線の動きのパターンのみを記憶した例を示しているが、例えば、注視対象物が「高層ビル」である場合には、垂直方向の視線の動きのパターンも関連付けて記憶する。図２に示す例では、視線パターン記憶部は、車両の進行方向から見た視線の角度θの時間的な変化を視線パターンとして記憶している。
【００３２】
図３は、視線パターン記憶部２０に記憶された情報の例を詳しく示す図である。図３では、注視対象物が「路側」の場合の水平方向の視線パターンを例として示している。図３に示すように、視線パターン記憶部２０には、車両の速度に応じて、複数の異なる視線パターンが記憶されている。図３に示す例では、車両の速度が「高速」の場合には、閾値Ｘを超えて視線を移動した回数がＴ＝Ｄ４秒間に２回以上であって、その合計時間がＦ秒より大きい場合に「路側」を注視したことを検知する。車両の速度が「中速」の場合には、判定に用いる時間ＴがＴ＝Ｄ３秒間である点で「高速」の場合と視線パターンが異なる。なお、図３に示す例では、判定に用いる時間Ｔは、Ｄ１≧Ｄ２≧Ｄ３≧Ｄ４の関係を有している。従って「路側」の注視が検出されるためには、車両速度が高速になるほど短時間に上記視線のパターンが現れることが必要になる。このように車両の速度に応じて、複数の異なる視線パターンを記憶しておくことにより、車両の速度に応じて視線の動きが異なる場合にも適切に注視対象物を検出することができる。
【００３３】
なお、図２および図３に示す注視対象物検出のための視線パターンは一例であり、注視対象物に応じて適切な判定式を用いることができる。例えば、注視対象物がビルやレストラン等の車両外の対象物である場合には、車両の進行方向に対する視線のずれ角度θが、θｎ＜θｎ＋１（ｎは、対象物を見たのが何回目かを示す数値）を満たすことを注視対象物検出の条件としてもよい。走行中の車両から車両の外にある対象物を見るときの視線の角度θは、車両が進むに従って大きくなるので、θｎ＜θｎ＋１を条件として用いることにより、車両の外にある対象物を見ていることを適切に検知できる。
【００３４】
次に、注視対象物検出部１４の処理について説明する。注視対象物検出部１４は、まず、車速情報取得部２４にて車両の速度に関する情報を図示しない速度センサから取得し、車速情報に基づいて、注視対象物の検出に用いる視線パターンを選択する。例えば、車両が高速で走行している場合には、図３に示す「高速」に対応する視線パターンを選択する。図３では注視対象物が「路側」である場合の視線パターンを示しているが、注視対象物検出部１４は、例えば、「ナビ」や「ルームミラー」等のその他の注視対象物についても、複数の視線パターンの中から「高速」の場合の視線パターンを選択する。
【００３５】
車速に応じた視線パターンを選択した後、注視対象物検出部１４は、視線検出部１２にて検出した視線の情報を一時的に蓄積し、蓄積した視線の情報を用いてドライバの視線の動きを求める。続いて、注視対象物検出部１４は、ドライバの視線の動きと選択したいずれかの視線パターンとが合致するか否か判定し、視線パターンに合致する場合には、その視線パターンに対応した対象物を注視対象物として検出する。
【００３６】
次に、予測運転行動決定部１６について説明する。予測運転行動決定部１６は、注視対象物検出部１４にて検出された注視対象物の情報と注視行動パターン記憶部２２に記憶された情報に基づいて、注視行動に続いて行なうと予測される予測運転行動を決定する機能を有する。
【００３７】
図４は、注視行動パターン記憶部２２に記憶された情報の例を示す図である。注視行動パターン記憶部２２には、運転行動に先立って行なわれるドライバの注視行動パターンが記憶されている。図４に示す例では、「車線変更」という運転行動に、「（１）前方→（２）ルームミラー→（３）前方→（４）サイドミラー→（５）前方」という注視行動パターンが関連付けられている。従って、この注視行動パターンに続いて「車線変更」が行われると予測される。
【００３８】
次に、予測運転行動決定部１６の処理について説明する。予測運転行動決定部１６は、注視対象物検出部１４にて検出された注視対象物の情報を一時的に蓄積して、蓄積した注視対象物の情報を用いてドライバの注視行動を求める。注視行動とは、ドライバが注視した注視対象物およびその注視順序である。例えば、注視行動は、注視対象物Ａ→注視対象物Ｂ→注視対象物Ａ→注視対象物Ｃのような情報である。
【００３９】
続いて、予測運転行動決定部１６は、ドライバの注視行動が注視行動パターン記憶部２２に記憶されたいずれかの注視行動パターンに合致するか否か判定し、注視行動パターンに合致する場合には、その注視行動パターンに対応した運転行動を読み出して運転行動を決定する。
【００４０】
運転支援信号送信部１８は、予測運転行動決定部１６にて決定された運転行動を支援するための運転支援信号を車両に送信する。例えば、運転行動が「左折」であった場合には、運転支援信号送信部１８は、車両に対して左のウィンカーを出すように指示する運転支援信号を送信する。
【００４１】
次に、本実施の形態のナビゲーション装置１の動作について説明する。本実施の形態のナビゲーション装置１は、目的地までの経路探索や、設定された経路に従ったナビゲーションの動作に加え、ドライバの視線の動きに基づいて注視対象物を特定し、注視対象物の情報に基づいて運転支援を行う。以下、ナビゲーション装置１による運転支援の動作について説明する。
【００４２】
図５は、本実施の形態のナビゲーション装置１による運転支援の動作を示す図である。ナビゲーション装置１の視線検出部１２は、まず、カメラ１０にて撮影した映像を用いて、ドライバの視線を検出する（Ｓ１０）。ナビゲーション装置１の注視対象物検出部１４は、視線検出部１２にて検出した視線の情報を一時的に蓄積し、蓄積した視線の情報に基づいて視線の動きを求める（Ｓ１２）。注視対象物検出部１４は、車両の走行速度に応じて視線パターンを選択する（Ｓ１４）。注視対象物検出部１４は、ドライバの視線の動きが選択された視線パターンに合致するか否かを判定し、ドライバの視線の動きがいずれかの視線パターンに一致する場合には、その視線パターンに対応する対象物を注視対象物として検出する（Ｓ１６）。
【００４３】
ナビゲーション装置１の予測運転行動決定部１６は、注視対象物検出部１４にて検出した注視対象物の情報を一時的に蓄積し、蓄積した注視対象物の情報からドライバの注視行動を検出する（Ｓ１８）。予測運転行動決定部１６は、ドライバの注視行動に合致する注視行動パターンを注視行動パターン記憶部２２から検索する。ドライバの注視行動が注視行動パターン記憶部２２に記憶されたいずれかの注視行動パターンに合致した場合には（Ｓ２０でＹＥＳ）、予測運転行動決定部１６は、その注視行動パターンに対応する運転行動を読み出し、予測運転行動を決定する（Ｓ２２）。そして、ナビゲーション装置１の運転支援信号送信部１８は、予測運転行動決定部１６にて決定された予測運転行動を支援するための運転支援信号を車両に対して送信する（Ｓ２４）。
【００４４】
ドライバの注視行動が注視行動パターン記憶部２２に記憶されたいずれの注視行動パターンにも合致しない場合には（Ｓ２０でＮＯ）、注視行動を検出するステップＳ１６に戻って、再びドライバの注視行動を検出する（Ｓ１８）。以上、第１の実施の形態のナビゲーション装置１の構成および動作について説明した。
【００４５】
本実施の形態のナビゲーション装置１は、ドライバの視線の動きを求め、視線の動きに基づいて注視対象物を検出するので、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出できる。これにより、運転に支障をきたすことなく、注視対象物を検出できる。
【００４６】
また、本実施の形態のナビゲーション装置１は、視線パターン記憶部２０は、車両の走行速度に応じて異なる複数の視線パターンを記憶しており、車両の走行速度に応じて、注視対象物を検出するための視線パターンを変えているので、車両の走行速度に応じて異なる視線の動きに対応して適切に注視対象物を検出することができる。
【００４７】
また、本実施の形態のナビゲーション装置１は、注視対象物検出部１４にて検出された注視対象物の情報に基づいてドライバの注視行動を求め、ドライバの注視行動に続いて行なわれると予測される予測運転行動を決定する。そして、予測運転行動を支援する運転支援信号を車両に送信するので、ドライバが音声等によって意識的に指示をしなくても適切に運転を支援できる。
【００４８】
（第２の実施の形態）
図６は、本発明の第２の実施の形態のナビゲーション装置２の構成を示す図である。第２の実施の形態のナビゲーション装置２の基本的な構成は、第１の実施の形態のナビゲーション装置１と同じであるが、第１の実施の形態のナビゲーション装置１の構成に加え、注視行動パターン記憶部２２に記憶された情報の学習を行うための構成として、車両動作情報取得部２６、運転行動検知部２８、注視行動学習部３０を備えている。以下、これらの構成について説明する。
【００４９】
車両動作情報取得部２６は、車両の動作の情報を車両から取得する機能を有する。車両の動作情報には、例えば、ハンドルの動き、ウィンカー、エアコン、オーディオ、窓の開閉等の様々な機器の動作情報が含まれる。
【００５０】
運転行動検知部２８は、車両動作情報取得部２６にて取得した車両情報に基づいて、運転行動を求める機能を有する。例えば、左ウィンカーが出された後にハンドルが左に切られたことを検知した場合には、左折の運転行動を検知する。
【００５１】
注視行動学習部３０は、運転行動検知部２８にて運転行動を検知したときに、検知した運転行動と、その運転行動に先立って行なわれた注視行動とに基づいて、注視行動パターンの学習を行う。
【００５２】
図７（ａ）および図７（ｂ）は、注視行動パターンの学習について説明するための図である。図７（ａ）は、運転行動検知部２８にて検知した運転行動と、その運転行動の前になされた注視行動の例を示す図である。図７（ａ）に示す情報は、注視行動パターン記憶部２２の情報の学習に用いられるいわゆる「教師信号」である。図７（ｂ）は、注視行動パターン記憶部２２に記憶される情報の例を示す図である。注視行動パターン記憶部２２には、「運転行動」「注視行動」「重み付け」の情報が記憶されている。「重み付け」は、例えば注視行動パターンＰ２と注視行動パターンＰ３のように、異なる運転行動に対して同じ注視行動パターンが記憶されている場合に、予測運転行動を決定するための情報である。予測運転行動決定部１６は、重み付けに所定の閾値（例えば、「４」）以上の開きがある場合には、重み付けの大きい方の予測運転行動であると判断し、そうでない場合にはドライバの注視行動に合致した注視行動パターンがあった場合にも予測運転行動を決定しない。
【００５３】
注視行動学習部３０は、図７（ａ）に示す教師信号が入力されたときには、図７（ｂ）に下線を引いて示すように、教師信号に対応する注視行動パターンＰ２の重み付けを大きくする。この学習によって注視行動パターンＰ２と注視行動パターンＰ３の重み付けの差が「４」になる。例えば、同じ注視行動パターンに関連付けられた複数の運転行動の中から予測運転行動を決定するための閾値が「４」であるとすると、注視行動パターンＰ２に合致する注視行動を検出したときに、運転行動が「車線変更」であると決定することができる。ここでは、注視行動パターン記憶部２２にすでに記憶されている注視行動パターンと同じ注視行動が教師信号として入力された例について説明したが、注視行動パターン記憶部２２に記憶されたいずれの注視行動パターンとも合致しない注視行動が教師信号として入力された場合には、新しい注視行動パターンとして登録する。以上、第２の実施の形態のナビゲーション装置２について説明した。
【００５４】
第２の実施の形態のナビゲーション装置２は、注視行動学習部３０にて学習を行い、注視行動パターン記憶部２２に記憶された情報を更新するので、ナビゲーション装置２は、ドライバの癖等に応じて予測運転行動を適切に決定できる。
【００５５】
（第３の実施の形態）
図８は、本発明の第３の実施の形態のナビゲーション装置３の構成を示す図である。第３の実施の形態のナビゲーション装置３の基本的な構成は、第２の実施の形態のナビゲーション装置２と同じであるが、第２の実施の形態のナビゲーション装置２の構成に加え、視線パターン記憶部２０に記憶された情報の学習を行うための視線パターン学習部３２を備えている。
【００５６】
視線パターン学習部３２は、視線検出部１２にて検出されたドライバの視線の情報に基づいて視線の動きを求める。次に、視線パターン学習部３２は、求めた視線の動きに類似する視線パターンを視線パターン記憶部２０の中から検索する。視線パターン学習部３２は、ドライバの視線の動きを教師信号として、類似する視線パターンの学習を行う。
【００５７】
図９（ａ）は視線パターン記憶部２０に記憶された視線パターンの例を示す図、図９（ｂ）は求めた視線の動きの例を示す図である。なお、図９（ａ）に示す視線パターンは、注視対象物が「路側」の場合の視線パターンである。図９（ａ）に示すように視線パターン記憶部２０に記憶された視線パターンは、視線の角度θが閾値ｘを超える時間ｔｎの合計がＦ秒より大きいのに対し、ドライバの視線の動きは図９（ｂ）に示すように時間ｔｎの合計はＦ秒より小さいＦ´秒であった。この場合、視線パターン学習部３２は、検出されたドライバの視線の動き（図９（ｂ）参照）を用いて、図９（ａ）に示す視線パターンを更新する。具体的には、例えば、合計時間の判定に用いるＦ秒という時間をＦ´秒に更新する、あるいは（Ｆ＋Ｆ´）／２秒に更新する等の更新方法が考えられる。以上、第３の実施の形態のナビゲーション装置３について説明した。
【００５８】
第３の実施の形態のナビゲーション装置３は、視線パターン学習部３２にて学習を行い、視線パターン記憶部２０に記憶された情報を更新するので、ナビゲーション装置３は、ドライバの癖等に応じて、対象物を注視するときの視線パターンをそれぞれのドライバに適合させることができる。
【００５９】
以上、本発明のナビゲーション装置について実施の形態を挙げて詳細に説明したが、本発明のナビゲーション装置は、上記した実施の形態に限定されるものではない。
【００６０】
上記した実施の形態では、ナビゲーション装置およびナビゲーション方法について説明したが、本発明は、上記した実施の形態のナビゲーション方法の各ステップを実行するためのプログラムも含む。
【００６１】
上記した実施の形態では、ドライバの視線を検出する構成として、カメラ１０で撮像した映像からドライバの視線を検出する例を説明したが、例えば、アイマークカメラ１０を用いてドライバの視線を検出してもよい。
【００６２】
上記した実施の形態では、予測運転行動決定部１６は、ドライバの注視行動が、注視行動パターン記憶部２２に記憶されたいずれかの注視行動パターンに合致する場合に、その注視行動パターンに対応する運転行動を予測運転行動として決定する例について説明したが、ドライバの注視行動が注視行動パターンに完全一致しない場合にも予測運転行動を決定してもよい。例えば、ドライバの注視行動が注視行動パターンの一部に合致する場合に、その注視行動パターンに対応する運転行動を予測運転行動として決定してもよい。すなわち、例えば、注視対象物Ａ→注視対象物Ｂ→注視対象物Ｃ→注視対象物Ｂの注視行動が検出されたときに、注視対象物Ａ→注視対象物Ｂ→注視対象物Ｃ→注視対象物Ｂ→注視対象物Ｄの注視行動パターンの一部に合致するので、この注視行動パターンに関連付けられた運転行動を予測運転行動とすることができる。これにより、注視対象物Ｄの注視を検出する前に、予測運転行動を決定できるので、より早い段階で運転支援を行なうことができる。
【００６３】
なお、この構成を採用した場合にドライバの注視行動が、複数の注視行動パターンの一部に合致する場合が起こり得るが、上記した第２の実施の形態で述べた重み付けのパラメータに基づいて、複数の注視行動パターンの中から一の注視行動パターンを選択してもよい。
【００６４】
また、上記した実施の形態では、視線パターン記憶部２０に車速に応じて異なる複数の視線パターンを記憶した例について説明したが、車速以外の環境のパラメータに応じて複数の視線パターンを記憶してもよい。環境のパラメータとしては、例えば、ドライバの運転経験年数や、運転時間が昼か夜か等のパラメータを用いることができる。
【００６５】
また、上記した実施の形態では、環境に応じて、注視対象物を検出するための視線パターンを変更する例について説明したが、環境に応じて、予測運転行動を求めるために用いる注視行動パターンを変更してもよい。すなわち、ナビゲーション装置は、注視行動パターン記憶部に、運転行動に関連付けて環境ごとに異なる複数の注視行動パターンを記憶しておく。そして、ナビゲーション装置は、注視行動パターン記憶部に記憶された注視行動パターンの中から環境に対応した注視行動パターンを選択し、選択された注視行動パターンを用いて予測運転行動を決定する。
【産業上の利用可能性】
【００６６】
本発明は、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができるという効果を有し、ドライバの注視している対象物の情報に基づいて運転支援を行う機能を有するナビゲーション装置等として有用である。
【図面の簡単な説明】
【００６７】
【図１】第１の実施の形態のナビゲーション装置の構成を示す図である。
【図２】視線パターン記憶部に記憶された情報の例を示す図である。
【図３】視線パターン記憶部に記憶されたデータの例を詳しく示す図である。
【図４】注視行動パターン記憶部に記憶された情報の例を示す図である。
【図５】本実施の形態のナビゲーション装置１による運転支援の動作を示す図である。
【図６】第２の実施の形態のナビゲーション装置の構成を示す図である。
【図７】（ａ）注視行動パターンの学習に用いられるいわゆる「教師信号」を示す図である。（ｂ）注視行動パターン記憶部に記憶される情報の例を示す図である。
【図８】第３の実施の形態のナビゲーション装置の構成を示す図である。
【図９】（ａ）視線パターン記憶部に記憶された視線パターンの例を示す図である。（ｂ）求めた視線の動きの例を示す図である。
【符号の説明】
【００６８】
１〜３ ナビゲーション装置
１０ カメラ
１２ 視線検出部
１４ 注視対象物検出部
１６ 予測運転行動決定部
１８ 運転支援信号送信部
２０ 視線パターン記憶部
２２ 注視行動パターン記憶部
２４ 車速情報取得部
２６ 車両情報取得部
２８ 運転行動検知部
３０ 注視行動学習部
３２ 視線パターン学習部
【技術分野】
【０００１】
本発明は、車両に搭載して用いられるナビゲーション装置に関する。
【背景技術】
【０００２】
従来から、ドライバの視線を検出してドライバの見ている建築物等の対象物を認識し、対象物に関する情報を提供することによって運転を支援するナビゲーション装置が知られている（特許文献１）。
【０００３】
特許文献１に記載されたナビゲーション装置は、ドライバの視線を検出するための視線検出カメラとドライバの音声を取得するマイクを備えている。ナビゲーション装置は、マイクにてドライバの音声を取得する。取得した音声を解析し、例えば「あれは何？」等のトリガとなるキーワードを認識すると、ナビゲーション装置は、カメラで撮影した映像からドライバの視線を検出し、ドライバの視線方向にある建物等の対象物を画面に表示する。次に、ナビゲーション装置は、「右」「後ろ」等の修正コマンドをマイクにて取得し、修正コマンドに応じて対象物を選択する。ナビゲーション装置は、選択された対象物に基づいて、経路設定やガイド情報の表示等を行なう。
【特許文献１】特開平２００５−２４３１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した特許文献１に記載のナビゲーション装置では、視線方向だけで対象物を特定できないことを前提として、音声によるトリガや修正コマンドを受け付けることにより、対象物を特定している。
【０００５】
しかしながら、ドライバの発する言葉は様々であるので、トリガや修正コマンドを誤認識するおそれがある。トリガや修正コマンドとして特定のキーワードをあらかじめ設定しておくことも可能であるが、利便性が低下する。
【０００６】
また、特許文献１に記載のナビゲーション装置では、ドライバは、トリガとなる音声を発すると同時に、視線方向が特定されるまで対象物を見ていなくてはならないので、運転に支障をきたすおそれがある。
【０００７】
そこで、本発明は上記背景に鑑み、ドライバの視線の動きを用いて適切に対象物を特定できるナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のナビゲーション装置は、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部と、ドライバの視線を検出する視線検出部と、前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出する注視対象物検出部とを備える。
【０００９】
このようにドライバの視線の動きを求め、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。
【００１０】
本発明のナビゲーション装置において、前記視線パターン記憶部は、前記対象物に関連付けて、環境ごとに異なる複数の視線パターンを記憶しておき、前記注視対象物検出部は、前記視線の動きを求めた環境に応じて前記視線パターンを選択し、選択された視線パターンを用いて前記注視対象物を検出してもよい。
【００１１】
このように前記対象物に関連付けて環境ごとに異なる複数の視線パターンを視線パターン記憶部に記憶しておくことにより、環境によって視線の動き方が変化する場合にも適切に対応できる。ここで、環境には、例えば、車両の走行速度、ドライバの運転経験、外部の明るさ等が含まれる。なお、ナビゲーション装置は、各種のセンサ等から環境の情報を取得する。例えば、車両の走行速度の情報は速度センサから取得し、外部の明るさの情報は照度センサから取得する。また、ドライバの運転経験の情報はドライバに運転経験年数を入力させる入力デバイスから情報を取得する。
【００１２】
本発明のナビゲーション装置は、ドライバの運転行動に先立って注視される複数の注視対象物とその注視順序を注視行動パターンとして当該運転行動に関連付けて記憶した注視行動パターン記憶部と、前記注視対象物検出部にて検出した注視対象物の情報に基づいて注視行動を求め、前記注視行動に合致する注視行動パターンに対応する運転行動を前記注視行動パターン記憶部から読み出し、読み出した運転行動を注視行動に続いて行なわれる予測運転行動として決定する予測運転行動決定部と、前記予測運転行動を支援するための運転支援信号を送信する運転支援信号送信部とを備えてもよい。
【００１３】
このようにドライバの注視行動を求め、注視行動に基づいて決定した予測運転行動を支援するための運転支援信号を送信することにより、ドライバの視線から得た情報に基づいて適切に運転を支援できる。
【００１４】
本発明のナビゲーション装置において、前記注視行動パターン記憶部は、前記運転行動に関連付けて、環境ごとに異なる複数の注視行動パターンを記憶しておき、前記予測運転行動決定部は、前記注視行動を検出した環境に応じて前記注視行動パターンを選択し、選択された注視行動パターンを用いて前記予測運転行動を決定してもよい。
【００１５】
このように運転行動に関連付けて環境ごとに異なる複数の注視行動パターンを注視行動パターン記憶部に記憶しておくことにより、環境によって運転行動が変化する場合にも適切に対応できる。ここで、環境には、例えば、車両の走行速度、ドライバの運転経験、外部の明るさ等が含まれる。
【００１６】
本発明のナビゲーション装置において、前記予測運転行動決定部は、前記注視対象物検出部にて検出した注視対象物の情報から注視行動を求め、前記注視行動が前記注視行動パターン記憶部に記憶された注視行動パターンの一部に合致する場合に、その注視行動パターンに対応する運転行動を読み出してもよい。
【００１７】
このようにドライバの注視行動が注視行動パターンの一部に合致する場合に、ドライバの予測運転行動を決定することにより、ドライバの予測運転行動を早い段階で決定できる。
【００１８】
本発明のナビゲーション装置は、車両の動作から運転行動を検知する運転行動検知部と、前記運転行動検知部にて運転行動を検知したときに、前記運転行動の前に行われた注視行動を求め、前記注視行動を用いて前記注視行動パターン記憶部に記憶された情報を更新する注視行動パターン学習部とを備えてもよい。
【００１９】
このように注視行動パターン記憶部に記憶された情報を、実際の運転行動および注視行動に基づいて学習することにより、注視行動パターン記憶部の情報をそれぞれのドライバに適合させることができる。
【００２０】
本発明のナビゲーション装置は、前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに最も類似する視線パターンを前記視線パターン記憶部から検索し、検索された視線パターンを前記ドライバの視線の動きを用いて更新する視線パターン学習部とを備えてもよい。
【００２１】
このように視線パターン記憶部に記憶された情報を、実際の視線パターンから検出された類似の視線パターンを用いて学習することにより、視線パターン記憶部の情報をそれぞれのドライバに適合させることができる。
【００２２】
本発明のナビゲーション方法は、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部を準備するステップと、ドライバの視線を検出するステップと、検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップとを備える。
【００２３】
これにより、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。なお、本発明のナビゲーション装置の各種の構成を、本発明のナビゲーション方法に適用することも可能である。
【００２４】
本発明のプログラムは、ドライバの視線を検出する機能を備えたナビゲーション装置に、ドライバの視線を検出するステップと、検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、前記視線の動きに合致する視線パターンに対応する対象物を、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップとを実行させる。
【００２５】
これにより、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。なお、本発明のナビゲーション装置の各種の構成を、本発明のプログラムに適用することも可能である。
【発明の効果】
【００２６】
本発明は、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態に係るナビゲーション装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態のナビゲーション装置１の構成を示す図である。ナビゲーション装置１は、ドライバを撮影するカメラ１０と、カメラ１０にて撮影した映像に基づいてドライバの視線を検出する視線検出部１２と、視線検出部１２にて検出した視線に基づいて注視対象物を検出する注視対象物検出部１４と、注視対象物検出部１４にて検出した注視対象物の情報に基づいて、ドライバが行うと予測される運転行動（「予測運転行動」という）を決定する予測運転行動決定部１６と、予測運転行動決定部１６にて決定された運転行動を支援するための運転支援信号を車両に送信する運転支援信号送信部１８とを備えている。なお、図１には示していないが、第１の実施の形態のナビゲーション装置１は、ナビゲーションに必要な地図情報を記憶した地図情報記憶部、車両位置を検出する車両位置検出部、地図情報を表示するディスプレイ、ナビゲーションのメッセージを出力するスピーカ等、通常のナビゲーション装置が備える構成も有している。
【００２８】
以下、図１に示すナビゲーション装置１の各構成について説明する。カメラ１０は、ドライバの顔を撮影可能な位置、例えば、ダッシュボードやルームミラー等に設置される。カメラ１０としては、例えば、ＣＣＤカメラ１０を用いることができる。
【００２９】
視線検出部１２は、カメラ１０にて撮影された映像に基づいて、ドライバの頭部の位置および向きと、頭部に対する眼球の位置を求めることによってドライバの視線を検出する。
【００３０】
注視対象物検出部１４は、視線検出部１２にて検出されたドライバの視線の情報と視線パターン記憶部２０に記憶された情報に基づいて、ドライバが注視した対象物を検出する機能を有する。
【００３１】
図２は、視線パターン記憶部２０に記憶された情報の例を示す図である。視線パターン記憶部２０には、例えば、「路側」「ナビ」等の注視対象物ごとにその注視対象物を注視するときの視線パターンの情報が記憶されている。視線パターンには、注視対象物に応じて、水平方向の視線の動きのパターンまたは垂直方向の視線の動きのパターン、あるいは水平方向および垂直方向の視線の動きのパターンが含まれる。図２では、水平方向の視線の動きのパターンのみを記憶した例を示しているが、例えば、注視対象物が「高層ビル」である場合には、垂直方向の視線の動きのパターンも関連付けて記憶する。図２に示す例では、視線パターン記憶部は、車両の進行方向から見た視線の角度θの時間的な変化を視線パターンとして記憶している。
【００３２】
図３は、視線パターン記憶部２０に記憶された情報の例を詳しく示す図である。図３では、注視対象物が「路側」の場合の水平方向の視線パターンを例として示している。図３に示すように、視線パターン記憶部２０には、車両の速度に応じて、複数の異なる視線パターンが記憶されている。図３に示す例では、車両の速度が「高速」の場合には、閾値Ｘを超えて視線を移動した回数がＴ＝Ｄ４秒間に２回以上であって、その合計時間がＦ秒より大きい場合に「路側」を注視したことを検知する。車両の速度が「中速」の場合には、判定に用いる時間ＴがＴ＝Ｄ３秒間である点で「高速」の場合と視線パターンが異なる。なお、図３に示す例では、判定に用いる時間Ｔは、Ｄ１≧Ｄ２≧Ｄ３≧Ｄ４の関係を有している。従って「路側」の注視が検出されるためには、車両速度が高速になるほど短時間に上記視線のパターンが現れることが必要になる。このように車両の速度に応じて、複数の異なる視線パターンを記憶しておくことにより、車両の速度に応じて視線の動きが異なる場合にも適切に注視対象物を検出することができる。
【００３３】
なお、図２および図３に示す注視対象物検出のための視線パターンは一例であり、注視対象物に応じて適切な判定式を用いることができる。例えば、注視対象物がビルやレストラン等の車両外の対象物である場合には、車両の進行方向に対する視線のずれ角度θが、θｎ＜θｎ＋１（ｎは、対象物を見たのが何回目かを示す数値）を満たすことを注視対象物検出の条件としてもよい。走行中の車両から車両の外にある対象物を見るときの視線の角度θは、車両が進むに従って大きくなるので、θｎ＜θｎ＋１を条件として用いることにより、車両の外にある対象物を見ていることを適切に検知できる。
【００３４】
次に、注視対象物検出部１４の処理について説明する。注視対象物検出部１４は、まず、車速情報取得部２４にて車両の速度に関する情報を図示しない速度センサから取得し、車速情報に基づいて、注視対象物の検出に用いる視線パターンを選択する。例えば、車両が高速で走行している場合には、図３に示す「高速」に対応する視線パターンを選択する。図３では注視対象物が「路側」である場合の視線パターンを示しているが、注視対象物検出部１４は、例えば、「ナビ」や「ルームミラー」等のその他の注視対象物についても、複数の視線パターンの中から「高速」の場合の視線パターンを選択する。
【００３５】
車速に応じた視線パターンを選択した後、注視対象物検出部１４は、視線検出部１２にて検出した視線の情報を一時的に蓄積し、蓄積した視線の情報を用いてドライバの視線の動きを求める。続いて、注視対象物検出部１４は、ドライバの視線の動きと選択したいずれかの視線パターンとが合致するか否か判定し、視線パターンに合致する場合には、その視線パターンに対応した対象物を注視対象物として検出する。
【００３６】
次に、予測運転行動決定部１６について説明する。予測運転行動決定部１６は、注視対象物検出部１４にて検出された注視対象物の情報と注視行動パターン記憶部２２に記憶された情報に基づいて、注視行動に続いて行なうと予測される予測運転行動を決定する機能を有する。
【００３７】
図４は、注視行動パターン記憶部２２に記憶された情報の例を示す図である。注視行動パターン記憶部２２には、運転行動に先立って行なわれるドライバの注視行動パターンが記憶されている。図４に示す例では、「車線変更」という運転行動に、「（１）前方→（２）ルームミラー→（３）前方→（４）サイドミラー→（５）前方」という注視行動パターンが関連付けられている。従って、この注視行動パターンに続いて「車線変更」が行われると予測される。
【００３８】
次に、予測運転行動決定部１６の処理について説明する。予測運転行動決定部１６は、注視対象物検出部１４にて検出された注視対象物の情報を一時的に蓄積して、蓄積した注視対象物の情報を用いてドライバの注視行動を求める。注視行動とは、ドライバが注視した注視対象物およびその注視順序である。例えば、注視行動は、注視対象物Ａ→注視対象物Ｂ→注視対象物Ａ→注視対象物Ｃのような情報である。
【００３９】
続いて、予測運転行動決定部１６は、ドライバの注視行動が注視行動パターン記憶部２２に記憶されたいずれかの注視行動パターンに合致するか否か判定し、注視行動パターンに合致する場合には、その注視行動パターンに対応した運転行動を読み出して運転行動を決定する。
【００４０】
運転支援信号送信部１８は、予測運転行動決定部１６にて決定された運転行動を支援するための運転支援信号を車両に送信する。例えば、運転行動が「左折」であった場合には、運転支援信号送信部１８は、車両に対して左のウィンカーを出すように指示する運転支援信号を送信する。
【００４１】
次に、本実施の形態のナビゲーション装置１の動作について説明する。本実施の形態のナビゲーション装置１は、目的地までの経路探索や、設定された経路に従ったナビゲーションの動作に加え、ドライバの視線の動きに基づいて注視対象物を特定し、注視対象物の情報に基づいて運転支援を行う。以下、ナビゲーション装置１による運転支援の動作について説明する。
【００４２】
図５は、本実施の形態のナビゲーション装置１による運転支援の動作を示す図である。ナビゲーション装置１の視線検出部１２は、まず、カメラ１０にて撮影した映像を用いて、ドライバの視線を検出する（Ｓ１０）。ナビゲーション装置１の注視対象物検出部１４は、視線検出部１２にて検出した視線の情報を一時的に蓄積し、蓄積した視線の情報に基づいて視線の動きを求める（Ｓ１２）。注視対象物検出部１４は、車両の走行速度に応じて視線パターンを選択する（Ｓ１４）。注視対象物検出部１４は、ドライバの視線の動きが選択された視線パターンに合致するか否かを判定し、ドライバの視線の動きがいずれかの視線パターンに一致する場合には、その視線パターンに対応する対象物を注視対象物として検出する（Ｓ１６）。
【００４３】
ナビゲーション装置１の予測運転行動決定部１６は、注視対象物検出部１４にて検出した注視対象物の情報を一時的に蓄積し、蓄積した注視対象物の情報からドライバの注視行動を検出する（Ｓ１８）。予測運転行動決定部１６は、ドライバの注視行動に合致する注視行動パターンを注視行動パターン記憶部２２から検索する。ドライバの注視行動が注視行動パターン記憶部２２に記憶されたいずれかの注視行動パターンに合致した場合には（Ｓ２０でＹＥＳ）、予測運転行動決定部１６は、その注視行動パターンに対応する運転行動を読み出し、予測運転行動を決定する（Ｓ２２）。そして、ナビゲーション装置１の運転支援信号送信部１８は、予測運転行動決定部１６にて決定された予測運転行動を支援するための運転支援信号を車両に対して送信する（Ｓ２４）。
【００４４】
ドライバの注視行動が注視行動パターン記憶部２２に記憶されたいずれの注視行動パターンにも合致しない場合には（Ｓ２０でＮＯ）、注視行動を検出するステップＳ１６に戻って、再びドライバの注視行動を検出する（Ｓ１８）。以上、第１の実施の形態のナビゲーション装置１の構成および動作について説明した。
【００４５】
本実施の形態のナビゲーション装置１は、ドライバの視線の動きを求め、視線の動きに基づいて注視対象物を検出するので、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出できる。これにより、運転に支障をきたすことなく、注視対象物を検出できる。
【００４６】
また、本実施の形態のナビゲーション装置１は、視線パターン記憶部２０は、車両の走行速度に応じて異なる複数の視線パターンを記憶しており、車両の走行速度に応じて、注視対象物を検出するための視線パターンを変えているので、車両の走行速度に応じて異なる視線の動きに対応して適切に注視対象物を検出することができる。
【００４７】
また、本実施の形態のナビゲーション装置１は、注視対象物検出部１４にて検出された注視対象物の情報に基づいてドライバの注視行動を求め、ドライバの注視行動に続いて行なわれると予測される予測運転行動を決定する。そして、予測運転行動を支援する運転支援信号を車両に送信するので、ドライバが音声等によって意識的に指示をしなくても適切に運転を支援できる。
【００４８】
（第２の実施の形態）
図６は、本発明の第２の実施の形態のナビゲーション装置２の構成を示す図である。第２の実施の形態のナビゲーション装置２の基本的な構成は、第１の実施の形態のナビゲーション装置１と同じであるが、第１の実施の形態のナビゲーション装置１の構成に加え、注視行動パターン記憶部２２に記憶された情報の学習を行うための構成として、車両動作情報取得部２６、運転行動検知部２８、注視行動学習部３０を備えている。以下、これらの構成について説明する。
【００４９】
車両動作情報取得部２６は、車両の動作の情報を車両から取得する機能を有する。車両の動作情報には、例えば、ハンドルの動き、ウィンカー、エアコン、オーディオ、窓の開閉等の様々な機器の動作情報が含まれる。
【００５０】
運転行動検知部２８は、車両動作情報取得部２６にて取得した車両情報に基づいて、運転行動を求める機能を有する。例えば、左ウィンカーが出された後にハンドルが左に切られたことを検知した場合には、左折の運転行動を検知する。
【００５１】
注視行動学習部３０は、運転行動検知部２８にて運転行動を検知したときに、検知した運転行動と、その運転行動に先立って行なわれた注視行動とに基づいて、注視行動パターンの学習を行う。
【００５２】
図７（ａ）および図７（ｂ）は、注視行動パターンの学習について説明するための図である。図７（ａ）は、運転行動検知部２８にて検知した運転行動と、その運転行動の前になされた注視行動の例を示す図である。図７（ａ）に示す情報は、注視行動パターン記憶部２２の情報の学習に用いられるいわゆる「教師信号」である。図７（ｂ）は、注視行動パターン記憶部２２に記憶される情報の例を示す図である。注視行動パターン記憶部２２には、「運転行動」「注視行動」「重み付け」の情報が記憶されている。「重み付け」は、例えば注視行動パターンＰ２と注視行動パターンＰ３のように、異なる運転行動に対して同じ注視行動パターンが記憶されている場合に、予測運転行動を決定するための情報である。予測運転行動決定部１６は、重み付けに所定の閾値（例えば、「４」）以上の開きがある場合には、重み付けの大きい方の予測運転行動であると判断し、そうでない場合にはドライバの注視行動に合致した注視行動パターンがあった場合にも予測運転行動を決定しない。
【００５３】
注視行動学習部３０は、図７（ａ）に示す教師信号が入力されたときには、図７（ｂ）に下線を引いて示すように、教師信号に対応する注視行動パターンＰ２の重み付けを大きくする。この学習によって注視行動パターンＰ２と注視行動パターンＰ３の重み付けの差が「４」になる。例えば、同じ注視行動パターンに関連付けられた複数の運転行動の中から予測運転行動を決定するための閾値が「４」であるとすると、注視行動パターンＰ２に合致する注視行動を検出したときに、運転行動が「車線変更」であると決定することができる。ここでは、注視行動パターン記憶部２２にすでに記憶されている注視行動パターンと同じ注視行動が教師信号として入力された例について説明したが、注視行動パターン記憶部２２に記憶されたいずれの注視行動パターンとも合致しない注視行動が教師信号として入力された場合には、新しい注視行動パターンとして登録する。以上、第２の実施の形態のナビゲーション装置２について説明した。
【００５４】
第２の実施の形態のナビゲーション装置２は、注視行動学習部３０にて学習を行い、注視行動パターン記憶部２２に記憶された情報を更新するので、ナビゲーション装置２は、ドライバの癖等に応じて予測運転行動を適切に決定できる。
【００５５】
（第３の実施の形態）
図８は、本発明の第３の実施の形態のナビゲーション装置３の構成を示す図である。第３の実施の形態のナビゲーション装置３の基本的な構成は、第２の実施の形態のナビゲーション装置２と同じであるが、第２の実施の形態のナビゲーション装置２の構成に加え、視線パターン記憶部２０に記憶された情報の学習を行うための視線パターン学習部３２を備えている。
【００５６】
視線パターン学習部３２は、視線検出部１２にて検出されたドライバの視線の情報に基づいて視線の動きを求める。次に、視線パターン学習部３２は、求めた視線の動きに類似する視線パターンを視線パターン記憶部２０の中から検索する。視線パターン学習部３２は、ドライバの視線の動きを教師信号として、類似する視線パターンの学習を行う。
【００５７】
図９（ａ）は視線パターン記憶部２０に記憶された視線パターンの例を示す図、図９（ｂ）は求めた視線の動きの例を示す図である。なお、図９（ａ）に示す視線パターンは、注視対象物が「路側」の場合の視線パターンである。図９（ａ）に示すように視線パターン記憶部２０に記憶された視線パターンは、視線の角度θが閾値ｘを超える時間ｔｎの合計がＦ秒より大きいのに対し、ドライバの視線の動きは図９（ｂ）に示すように時間ｔｎの合計はＦ秒より小さいＦ´秒であった。この場合、視線パターン学習部３２は、検出されたドライバの視線の動き（図９（ｂ）参照）を用いて、図９（ａ）に示す視線パターンを更新する。具体的には、例えば、合計時間の判定に用いるＦ秒という時間をＦ´秒に更新する、あるいは（Ｆ＋Ｆ´）／２秒に更新する等の更新方法が考えられる。以上、第３の実施の形態のナビゲーション装置３について説明した。
【００５８】
第３の実施の形態のナビゲーション装置３は、視線パターン学習部３２にて学習を行い、視線パターン記憶部２０に記憶された情報を更新するので、ナビゲーション装置３は、ドライバの癖等に応じて、対象物を注視するときの視線パターンをそれぞれのドライバに適合させることができる。
【００５９】
以上、本発明のナビゲーション装置について実施の形態を挙げて詳細に説明したが、本発明のナビゲーション装置は、上記した実施の形態に限定されるものではない。
【００６０】
上記した実施の形態では、ナビゲーション装置およびナビゲーション方法について説明したが、本発明は、上記した実施の形態のナビゲーション方法の各ステップを実行するためのプログラムも含む。
【００６１】
上記した実施の形態では、ドライバの視線を検出する構成として、カメラ１０で撮像した映像からドライバの視線を検出する例を説明したが、例えば、アイマークカメラ１０を用いてドライバの視線を検出してもよい。
【００６２】
上記した実施の形態では、予測運転行動決定部１６は、ドライバの注視行動が、注視行動パターン記憶部２２に記憶されたいずれかの注視行動パターンに合致する場合に、その注視行動パターンに対応する運転行動を予測運転行動として決定する例について説明したが、ドライバの注視行動が注視行動パターンに完全一致しない場合にも予測運転行動を決定してもよい。例えば、ドライバの注視行動が注視行動パターンの一部に合致する場合に、その注視行動パターンに対応する運転行動を予測運転行動として決定してもよい。すなわち、例えば、注視対象物Ａ→注視対象物Ｂ→注視対象物Ｃ→注視対象物Ｂの注視行動が検出されたときに、注視対象物Ａ→注視対象物Ｂ→注視対象物Ｃ→注視対象物Ｂ→注視対象物Ｄの注視行動パターンの一部に合致するので、この注視行動パターンに関連付けられた運転行動を予測運転行動とすることができる。これにより、注視対象物Ｄの注視を検出する前に、予測運転行動を決定できるので、より早い段階で運転支援を行なうことができる。
【００６３】
なお、この構成を採用した場合にドライバの注視行動が、複数の注視行動パターンの一部に合致する場合が起こり得るが、上記した第２の実施の形態で述べた重み付けのパラメータに基づいて、複数の注視行動パターンの中から一の注視行動パターンを選択してもよい。
【００６４】
また、上記した実施の形態では、視線パターン記憶部２０に車速に応じて異なる複数の視線パターンを記憶した例について説明したが、車速以外の環境のパラメータに応じて複数の視線パターンを記憶してもよい。環境のパラメータとしては、例えば、ドライバの運転経験年数や、運転時間が昼か夜か等のパラメータを用いることができる。
【００６５】
また、上記した実施の形態では、環境に応じて、注視対象物を検出するための視線パターンを変更する例について説明したが、環境に応じて、予測運転行動を求めるために用いる注視行動パターンを変更してもよい。すなわち、ナビゲーション装置は、注視行動パターン記憶部に、運転行動に関連付けて環境ごとに異なる複数の注視行動パターンを記憶しておく。そして、ナビゲーション装置は、注視行動パターン記憶部に記憶された注視行動パターンの中から環境に対応した注視行動パターンを選択し、選択された注視行動パターンを用いて予測運転行動を決定する。
【産業上の利用可能性】
【００６６】
本発明は、視線の動きに基づいて注視対象物を検出することにより、ドライバが対象物を一定時間にわたって見ていなくても注視対象物を適切に検出することができるという効果を有し、ドライバの注視している対象物の情報に基づいて運転支援を行う機能を有するナビゲーション装置等として有用である。
【図面の簡単な説明】
【００６７】
【図１】第１の実施の形態のナビゲーション装置の構成を示す図である。
【図２】視線パターン記憶部に記憶された情報の例を示す図である。
【図３】視線パターン記憶部に記憶されたデータの例を詳しく示す図である。
【図４】注視行動パターン記憶部に記憶された情報の例を示す図である。
【図５】本実施の形態のナビゲーション装置１による運転支援の動作を示す図である。
【図６】第２の実施の形態のナビゲーション装置の構成を示す図である。
【図７】（ａ）注視行動パターンの学習に用いられるいわゆる「教師信号」を示す図である。（ｂ）注視行動パターン記憶部に記憶される情報の例を示す図である。
【図８】第３の実施の形態のナビゲーション装置の構成を示す図である。
【図９】（ａ）視線パターン記憶部に記憶された視線パターンの例を示す図である。（ｂ）求めた視線の動きの例を示す図である。
【符号の説明】
【００６８】
１〜３ ナビゲーション装置
１０ カメラ
１２ 視線検出部
１４ 注視対象物検出部
１６ 予測運転行動決定部
１８ 運転支援信号送信部
２０ 視線パターン記憶部
２２ 注視行動パターン記憶部
２４ 車速情報取得部
２６ 車両情報取得部
２８ 運転行動検知部
３０ 注視行動学習部
３２ 視線パターン学習部
【特許請求の範囲】
【請求項１】
車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部と、
ドライバの視線を検出する視線検出部と、
前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出する注視対象物検出部と、
を備えるナビゲーション装置。
【請求項２】
前記視線パターン記憶部は、前記対象物に関連付けて、環境ごとに異なる複数の視線パターンを記憶しておき、
前記注視対象物検出部は、前記視線の動きを求めた環境に応じて前記視線パターンを選択し、選択された視線パターンを用いて前記注視対象物を検出する請求項１に記載のナビゲーション装置。
【請求項３】
ドライバの運転行動に先立って注視される複数の注視対象物とその注視順序を注視行動パターンとして当該運転行動に関連付けて記憶した注視行動パターン記憶部と、
前記注視対象物検出部にて検出した注視対象物の情報に基づいて注視行動を求め、前記注視行動に合致する注視行動パターンに対応する運転行動を前記注視行動パターン記憶部から読み出し、読み出した運転行動を注視行動に続いて行なわれる予測運転行動として決定する予測運転行動決定部と、
前記予測運転行動を支援するための運転支援信号を送信する運転支援信号送信部と、
を備える請求項１または２に記載のナビゲーション装置。
【請求項４】
前記注視行動パターン記憶部は、前記運転行動に関連付けて、環境ごとに異なる複数の注視行動パターンを記憶しておき、
前記予測運転行動決定部は、前記注視行動を検出した環境に応じて前記注視行動パターンを選択し、選択された注視行動パターンを用いて前記予測運転行動を決定する請求項３に記載のナビゲーション装置。
【請求項５】
前記予測運転行動決定部は、前記注視対象物検出部にて検出した注視対象物の情報から注視行動を求め、前記注視行動が前記注視行動パターン記憶部に記憶された注視行動パターンの一部に合致する場合に、その注視行動パターンに対応する運転行動を読み出す請求項４に記載のナビゲーション装置。
【請求項６】
車両の動作から運転行動を検知する運転行動検知部と、
前記運転行動検知部にて運転行動を検知したときに、前記運転行動の前に行われた注視行動を求め、前記注視行動を用いて前記注視行動パターン記憶部に記憶された情報を更新する注視行動パターン学習部と、
を備える請求項３〜５のいずれかに記載のナビゲーション装置。
【請求項７】
前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに最も類似する視線パターンを前記視線パターン記憶部から検索し、検索された視線パターンを前記ドライバの視線の動きを用いて更新する視線パターン学習部と、
を備える請求項１〜６のいずれかに記載のナビゲーション装置。
【請求項８】
車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部を準備するステップと、
ドライバの視線を検出するステップと、
検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、
前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップと、
を備えるナビゲーション方法。
【請求項９】
ドライバの視線を検出する機能を備えたナビゲーション装置に、
ドライバの視線を検出するステップと、
検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、
前記視線の動きに合致する視線パターンに対応する対象物を、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップと、
を実行させるプログラム。
【請求項１】
車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部と、
ドライバの視線を検出する視線検出部と、
前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出する注視対象物検出部と、
を備えるナビゲーション装置。
【請求項２】
前記視線パターン記憶部は、前記対象物に関連付けて、環境ごとに異なる複数の視線パターンを記憶しておき、
前記注視対象物検出部は、前記視線の動きを求めた環境に応じて前記視線パターンを選択し、選択された視線パターンを用いて前記注視対象物を検出する請求項１に記載のナビゲーション装置。
【請求項３】
ドライバの運転行動に先立って注視される複数の注視対象物とその注視順序を注視行動パターンとして当該運転行動に関連付けて記憶した注視行動パターン記憶部と、
前記注視対象物検出部にて検出した注視対象物の情報に基づいて注視行動を求め、前記注視行動に合致する注視行動パターンに対応する運転行動を前記注視行動パターン記憶部から読み出し、読み出した運転行動を注視行動に続いて行なわれる予測運転行動として決定する予測運転行動決定部と、
前記予測運転行動を支援するための運転支援信号を送信する運転支援信号送信部と、
を備える請求項１または２に記載のナビゲーション装置。
【請求項４】
前記注視行動パターン記憶部は、前記運転行動に関連付けて、環境ごとに異なる複数の注視行動パターンを記憶しておき、
前記予測運転行動決定部は、前記注視行動を検出した環境に応じて前記注視行動パターンを選択し、選択された注視行動パターンを用いて前記予測運転行動を決定する請求項３に記載のナビゲーション装置。
【請求項５】
前記予測運転行動決定部は、前記注視対象物検出部にて検出した注視対象物の情報から注視行動を求め、前記注視行動が前記注視行動パターン記憶部に記憶された注視行動パターンの一部に合致する場合に、その注視行動パターンに対応する運転行動を読み出す請求項４に記載のナビゲーション装置。
【請求項６】
車両の動作から運転行動を検知する運転行動検知部と、
前記運転行動検知部にて運転行動を検知したときに、前記運転行動の前に行われた注視行動を求め、前記注視行動を用いて前記注視行動パターン記憶部に記憶された情報を更新する注視行動パターン学習部と、
を備える請求項３〜５のいずれかに記載のナビゲーション装置。
【請求項７】
前記視線検出部にて検出した視線の情報に基づいてドライバの視線の動きを求め、前記視線の動きに最も類似する視線パターンを前記視線パターン記憶部から検索し、検索された視線パターンを前記ドライバの視線の動きを用いて更新する視線パターン学習部と、
を備える請求項１〜６のいずれかに記載のナビゲーション装置。
【請求項８】
車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した視線パターン記憶部を準備するステップと、
ドライバの視線を検出するステップと、
検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、
前記視線の動きに合致する視線パターンに対応する対象物を前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップと、
を備えるナビゲーション方法。
【請求項９】
ドライバの視線を検出する機能を備えたナビゲーション装置に、
ドライバの視線を検出するステップと、
検出した視線の情報に基づいてドライバの視線の動きを求めるステップと、
前記視線の動きに合致する視線パターンに対応する対象物を、車両内外の対象物を注視するときのドライバの視線の動きのパターンを視線パターンとして当該対象物に関連付けて記憶した前記視線パターン記憶部から読み出し、読み出した対象物を注視対象物として検出するステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２３２９１２（Ｐ２００８−２３２９１２Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７４８３２（Ｐ２００７−７４８３２）
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]