ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム
【課題】ドライバの視線を用いて確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができるドライバ思考推定装置などを提供する。
【解決手段】運転者を撮像する撮像手段によって撮像された運転者の画像情報を用いて、運転者の視線の向き及び運転者の顔の動きを検出する検出手段１１と、検出された運転者の視線の向きと、車両の位置情報と、地図情報とに基づき、運転者の視線の延長上に注視対象物があるかを判定し、ある場合に注視対象物が何であるかを示す情報を出力する注視対象物認識手段１２と、出力された情報により特定される注視対象物に対する所定のサービスの提供を望むかの問い合わせをさせる信号を生成し、問い合わせ後の検出された運転者の顔の動きに基づき、所定のサービスを提供するか決定し、提供する場合に所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定手段１３とを備える。
【解決手段】運転者を撮像する撮像手段によって撮像された運転者の画像情報を用いて、運転者の視線の向き及び運転者の顔の動きを検出する検出手段１１と、検出された運転者の視線の向きと、車両の位置情報と、地図情報とに基づき、運転者の視線の延長上に注視対象物があるかを判定し、ある場合に注視対象物が何であるかを示す情報を出力する注視対象物認識手段１２と、出力された情報により特定される注視対象物に対する所定のサービスの提供を望むかの問い合わせをさせる信号を生成し、問い合わせ後の検出された運転者の顔の動きに基づき、所定のサービスを提供するか決定し、提供する場合に所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定手段１３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行中の車両の周囲に存在するランドマークなどの情報を提供するドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムに関する。
【背景技術】
【０００２】
近年、人間の思考推定に関する研究が多く行われている。以下説明をわかりやすくするため、嗜好推定対象者をドライバ（以下、ドライバを運転者とも言う）として説明する。このような研究は、ドライバの目や注視方向などを検出、認識することによって自動車などのドライバの居眠りや脇見運転防止などを目的としている。これらのアプリケーションにおける人間の思考推定装置では、非定常状態を推定するものであり、定常状態でのドライバの思考推定を行わない。しかし、運転中に気になる車外の風景やランドマークなどがあっても、風景の写真やランドマークの情報などを取得できず通過する場面が多くチャンスロスとなる。これらの情報を取得するための音声やボタンなどによる車載器などの操作は複雑であり、危険を招く場合もある。そこで、運転中にチャンスロスを減らすための車載器の操作方法や危険性が少ない車載器の操作方法などを提供するために、ドライバの思考を推定し、支援する装置及び方法が必要である。
【０００３】
運転呈上状態でのドライバ支援技術として、まずドライバが所定のコマンドを発生することにより、視線検出装置はドライバが見ている施設や観光物などのランドマークを特定し、カーナビゲーション装置の画面にランドマークの情報を表示する。このような技術が下記の特許文献１に記載されている。特許文献１に記載されている技術では、車外のランドマークを前方風景監視カメラを用いて前方のランドマークを撮影し、保有するデータベースからランドマークを検索し、ディスプレイに表示する。なお、ドライバの視線を検出するカメラはルームミラーに設置される。この技術では都心部のように建物が高密度に集まる場合に、見ている建物を特定することが困難である。そこで、複数の建物が存在する場合、１つずつドライバに見せて選択してもらう。このような技術が下記の特許文献２に記載されている。また、車内の特定の機器に視線を移動したときに、その機器に関する情報を表示するといったドライバ支援もある。このような技術が下記の特許文献３に記載されている。
【特許文献１】特開２００１−３３０４５０号公報（段落０００４、図１）
【特許文献２】特開２００５−２４３１３号公報（段落０００９、図５、図６）
【特許文献３】特開２００１−１９４１６１号公報（段落００２０、要約）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１と特許文献２に記載された技術では、ドライバとのインターフェースとして音声を用いており、車内音響や他の乗員の声などの影響によって発話によるドライバの指示が正しく理解されないことがあるという問題があり、命令などのコマンドの入力を繰り返す必要があり、ドライバに対する心理的負担が増える。なお、運転中の入力コマンドの設定行為は禁止されており、コマンドを繰り返して入力する行為は車両を停止させてからでなければならず面倒である。また、特許文献２に記載された技術では、複数のランドマークからドライバの見ているものをカーナビゲーション装置の画面を用いて提示し、ドライバに選択させることになるため、ドライバの視線が前方道路から外れることになる。この操作は、動作が長引く、自分が欲しい情報がなかなか得られないなど安全性の面でも快適性の面でも問題がある。さらに、特許文献１から特許文献３に記載された技術では、カーナビゲーション装置の画面にドライバが望むと思われる情報を提示する。提示される情報をみるために、ドライバの視線が前方道路から外れ、安全性に問題が生じる。
【０００５】
本発明は、上記問題を解決するためのものであり、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができるドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明によれば、車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出手段と、前記検出手段によって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識手段と、前記注視対象物認識手段によって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定手段とを備えるドライバ思考推定装置が提供される。この構成により、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。なお、撮像手段は後述するドライバ監視カメラに相当し、前記車両の位置情報を取得する手段は後述するＧＰＳ受信器を含む位置情報取得センサに相当し、地図情報を格納する手段は後述する地図データベースに相当し、情報を提示する情報提示手段は後述するスピーカやモニタなどに相当する。また、撮像手段、車両の位置情報を取得する手段、地図情報を格納する手段、情報提示手段のそれぞれがドライバ思考推定装置の構成要素であってもよい。また、所定の表示領域は後述するHUD（Head Up Display）／WSD(Windshield Display)が表示される領域を言う。
【０００７】
また、本発明のドライバ思考推定装置において、前記検出手段が、前記思考推定手段によって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、前記注視対象物認識手段が、前記検出手段によって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、前記思考推定手段が、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行うことは、本発明の好ましい態様である。この構成により、注視している対象物までの行き先設定や詳細な情報の提示などを行うことができる。
【０００８】
また、本発明のドライバ思考推定装置において、前記注視対象物が前記車両に搭載された車載器であることは、本発明の好ましい態様である。この構成により、車載器の設定なども安全に行うことができる。
【０００９】
また、本発明のドライバ思考推定装置において、前記注視対象物が前記車両の周囲の状況を確認するためのミラーであることは、本発明の好ましい態様である。この構成により、合流、車線変更、右左折時などの状況下でも安全に走行することができる。ここでのミラーは、例えば後述する車両の左右のドアに取り付けられた左右ドアミラーや車両の後方を確認するために車内に取り付けられたルームミラーなどである。
【００１０】
また、本発明によれば、車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを有するドライバ思考推定方法が提供される。この構成により、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。
【００１１】
また、本発明のドライバ思考推定方法において、前記検出ステップで、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、前記注視対象物認識ステップで、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、前記思考推定ステップで、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行うことは、本発明の好ましい態様である。この構成により、注視している対象物までの行き先設定や詳細な情報の提示などを行うことができる。
【００１２】
また、本発明のドライバ思考推定方法において、前記注視対象物が前記車両に搭載された車載器であることは、本発明の好ましい態様である。この構成により、車載器の設定なども安全に行うことができる。
【００１３】
また、本発明のドライバ思考推定方法において、前記注視対象物が前記車両の周囲の状況を確認するためのミラーであることは、本発明の好ましい態様である。この構成により、合流、車線変更、右左折時などの状況下でも安全に走行することができる。
【００１４】
また、本発明によれば、車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを有するコンピュータに実行させるためのドライバ思考推定プログラムが提供される。この構成により、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。
【００１５】
また、本発明のドライバ思考推定プログラムにおいて、前記検出ステップで、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、前記注視対象物認識ステップで、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、前記思考推定ステップで、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行うことは、本発明の好ましい態様である。この構成により、注視している対象物までの行き先設定や詳細な情報の提示などを行うことができる。
【００１６】
また、本発明のドライバ思考推定プログラムにおいて、前記注視対象物が前記車両に搭載された車載器であることは、本発明の好ましい態様である。この構成により、車載器の設定なども安全に行うことができる。
【００１７】
また、本発明のドライバ思考推定プログラムにおいて、前記注視対象物が前記車両の周囲の状況を確認するためのミラーであることは、本発明の好ましい態様である。この構成により、合流、車線変更、右左折時などの状況下でも安全に走行することができる。
【発明の効果】
【００１８】
本発明のドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムは、上記構成を有し、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。また、禁止されている運転中のコマンドの設定行為を必要としないため、マナーを守り、安全に走行することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係るドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムについて図１から図５を用いて説明する。図１は本発明の実施の形態に係るドライバ思考推定装置の構成を説明するための図である。図２は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法について説明するためのフローチャートである。図３（ａ）は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が前方道路にある場合の図である。図３（ｂ）は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が建物にある場合の図である。図３（ｃ）は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線上に先行車両とランドマークが存在する場合の図である。
【００２０】
図４は本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示されるサービスメニューの一例を示す図である。図５は本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。図６（ａ）は本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線が左ドアミラーにある場合の図である。図６（ｂ）は本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線がルームミラーにある場合の図である。図７は本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。
【００２１】
まず、本発明の実施の形態に係るドライバ思考推定装置の一例について図１を用いて説明する。図１に示すように、ドライバ思考推定装置１０は、視線・顔向き検出部（検出手段）１１、注視対象物認識部（注視対象物認識手段）１２、思考推定部（思考推定手段）１３から構成されている。なお、後述するドライバ監視カメラ２、ＧＰＳ受信器５ａを含む位置情報取得センサ５、地図データベース２３、スピーカ８ｃやモニタ８ｂなどのそれぞれがドライバ思考推定装置１０の構成要素であってもよく、ドライバ思考推定装置１０の構成態様はこれらに限られるものではない。ドライバ思考推定装置１０はドライバ監視カメラ２と接続可能であり、ドライバ監視カメラ２は、ドライバが存在し得る領域範囲内の画像を撮影し、撮影された画像を視線・顔向き検出部１１へ出力する。視線・顔向き検出部１１は、ドライバ監視カメラ２から入力された画像から顔や目などを検出し、視線方向と顔向き方向を算出し、その結果を注視対象物認識部１２と思考推定部１３に出力する。
【００２２】
注視対象物認識部１２は、視線方向の情報に基づいて実座標上において視線のベクトル（方向）を求め、求まられた視線ベクトルと、ナビゲーション装置２０の制御部２２から提供される車載器の実座標上の位置情報や前方方向にあるランドマークなどの位置情報と、走行制御装置３０の制御部３３から提供される前方車両の位置情報とに基づいて、ドライバの視線上にランドマークなどがあるかを判定し、ある場合にはドライバが注視している対象物が何かを示す注視対象物情報を思考推定部１３に出力する。思考推定部１３は、注視対象物認識部１２から入力された注視対象物情報に基づいて、注視対象物に関する情報や制御を選択し、注視対象物に対する所定のサービスの提供を望むか否かの運転者への問い合わせをナビゲーション装置２０のスピーカ８ｃやモニタ８ｂにさせるための信号を生成して、ナビゲーション装置２０の制御部２２に出力する。このとき制御部２２は、スピーカ８ｃによる音声案内やHUD／WSD８ａやモニタ８ｂなどを介して制御対象メニュー情報や案内情報を提供・表示する。なお、HUDとは情報をフロントガラス面に投影させた画面を言う。WSDとはドライバの前方視界に情報を重ねて表示する画面を言う。
【００２３】
また一方で、思考推定部１３は、ドライバに提供される対象物の情報や制御メニューに対するドライバの顔又は視線の動きを監視してドライバが所望する情報や操作を推定する。具体的には、思考推定部１３は音声やHUD／WSD８ａで案内される制御コマンドに対してある一定時間のドライバの顔又は視線の動きを監視し、その動きの軌跡からドライバの意図を推定し、推定結果をナビゲーション装置２０の制御部２２に出力する。制御部２２はドライバが所望しているサービスを提供するよう処理を行う。
【００２４】
ここで、上述した走行制御装置３０とナビゲーション装置２０についての説明をする。まず、走行制御装置３０について説明する。図１において、車両周辺監視センサ１は前方にある立体物や車線などを検出するための前方監視カメラ１ａと、前方にある立体物までの距離や立体物の幅などを検出する前方監視レーダー１ｂと、車両の左右の領域の状況を撮影する左右ドアミラー搭載カメラ１ｃと、車両の後方の状況を撮影するルームミラー搭載カメラ１ｄとから構成されている。車両周辺監視センサ１を用いて前方にある立体物や白線などを検出し、画像処理部３１と信号処理部３２では検出された立体物までの距離や道路形状などを算出し、それらの情報を制御部３３に出力する。制御部３３では前方の立体物や道路形状などの情報に基づいて安全に走行できるようにドライバを支援しながら、予想外のことが生じる場合、エンジンやブレーキなどを制御するエンジン等制御部６を制御する。なお、スピーカ７ａやメータ等７ｂは、通常車両に装備されているものと同様の機能を有している。
【００２５】
次に、ナビゲーション装置２０について説明する。図１において、ナビゲーション装置２０は停止状態でマイク３やポインティングデバイスなどの入力装置４などによって操作できるものである。位置情報取得センサ５を構成するＧＰＳ受信機５ａはＧＰＳ衛生から送られてくるＧＰＳ信号を受信するものであり、位置情報取得センサ５を構成する自立航法センサ５ｂは、車両回転角度を検出するジャイロなどの角度センサや一定の走行距離ごとにパルスを発生する走行距離センサなどで構成されている。ナビゲーション装置２０の自車位置特定部２１では、位置情報取得センサ５からの情報を用いて現在位置を算出して特定する。地図データベース２３は走行に必要な地図情報が保存されている。制御部２２は、ドライバの指示や自車位置特定部２１などからの情報を用いて、地図データベース２３から必要な地図データを取得し、走行案内処理を行う。なお、情報案内装置８を構成するHUD／WSD８ａ、モニタ８ｂ、スピーカ８ｃは、制御部２２からの信号に基づいてドライバに情報などを提供するものである。
【００２６】
次に、本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法について図２を用いて説明する。なお、以下ではランドマーク案内について説明しているが、ランドマークに限られるものではなく観光名所やお店などの案内であっても同様に考えられる。まず、エンジン始動からドライバ思考推定装置１０の動作を開始し、ドライバ思考推定装置１０はドライバの視線や顔向きなどの監視を行う（ステップＳ２０１）。ここでは、ドライバの顔の検出方法は多数あり、代表的な検出方法は、多数の人物の顔から顔テンプレート（例えば、平均顔）を作成し、そのテンプレートを用いて画像中のドライバの顔を探索するものである。探索方法としては様々なものがあり、単純な方法は画像を一定の大きさに分割し、分割された各画像の輝度値と顔テンプレートの輝度値との差分量又は類似度を算出する。差分量が一定の値以下であれば又は類似度が一定値以上であれば、比較対象の画像を顔画像と判定する。また、視線検出方法も多数あり、代表的な検出方法は、左右目に黒目又は虹彩又は瞳孔を検出してから目尻と目頭の座標を求め、黒目（虹彩又は瞳孔）の中心座標と目尻と目頭の位置情報の関係を用いて視線方向を抽出するものである。また、顔向きの検出方法についても多数あり、代表的な方法として、左右目（黒目など）の位置情報と鼻の位置情報を用いて顔向きを算出するものがある。上述したもの以外のそれぞれの方法を用いることは可能である。
【００２７】
次に、図３（ａ）に示すように、ドライバ思考推定装置１０は、地図データなどを用いてドライバの視線が前方道路から外れてないかを常に監視する（ステップＳ２０２）。図３（ｂ）に示すように、ドライバの視線が前方道路から外れている（視線が建物に向いている）と判断された場合、ドライバ思考推定装置１０は、視線方向の情報、地図データ、車載器の位置情報などを用いてドライバが見ている注視対象物を特定する（ステップＳ２０３）。ドライバ思考推定装置１０は、注視対象物がランドマークなどの建物であるか否かを判断する（ステップＳ２０４）。ここで、図３（ｃ）に示すように、走行制御装置３０からの情報によって前方道路に先行車両が存在する場合において先行車両とランドマークがドライバの視線上に存在する場合、視線の垂直情報（視線の高さ情報）を用いて注視する対象物を決定する。
【００２８】
ステップＳ２０４において、特定された対象物がランドマークであれば、ドライバ思考推定装置１０は、そのランドマークに関する情報、例えば名称や建物の色・形状などを地図データなどから検索させる（ステップＳ２０５）。なお、特定した対象物がランドマークでない場合、ドライバ思考推定装置１０は、注視対象物が車載器であるか否かを判断し（ステップＳ２１３）、車載器でない場合、ドライバ思考推定装置１０は、注視対象物が左右ドアミラー又はルームミラーであるか否かを判断し（ステップＳ２１７）、左右ドアミラー又はルームミラーではない場合にはステップＳ２０１に戻り、左右ドアミラー又はルームミラーである場合には左右ドアミラー又はルームミラーに設置された左右ドアミラー搭載カメラ１ｃ又はルームミラー搭載カメラ１ｄから撮影される映像を提示させるか音声などにより問い合わせをさせる（ステップＳ２１８）。一方、注視対象物が車載器である場合には音声などによる車載器の情報を提示させ（ステップＳ２１５）、音声などによる車載器の制御の要否の確認の問い合わせをさせる（ステップＳ２１６）。
【００２９】
一方、ステップＳ２０５の後、ナビゲーション装置２０は、検索されたランドマークの情報を音声などで案内する(ステップＳ２０６)。ナビゲーション装置２０は、案内終了後に所定のサービスを受けるかどうかについてドライバに音声などで問合せする（ステップＳ２０７）。ステップＳ２０７が終わった時点で、ドライバ思考推定装置１０は、ある一定時間内のドライバの視線や顔などの動きを監視し（ステップＳ２０８）、特定の動きが検出されか否かを判断し（ステップＳ２０９）、検出された場合、ナビゲーション装置２０はHUD、WSDにサービスメニューを表示する（ステップＳ２１０）。例えば、特定の動きとして、顔向きが左右に動く場合には「いいえ」と認識し、サービスメニューを表示せずにステップＳ２１４に移る。一方、顔向きが上下に動く場合には「はい」と認識し、上述したステップＳ２１０を実行する。なお、ステップＳ２０８においてドライバの視線や顔などの動きを監視する一定の時間とはわずかな時間であって、例えば１秒間などである。また、表示するサービスメニューの一例を図４に示し、それらの内容は「行先設定」、「詳細案内」、「写真撮影」である。サービスメニューの内容はこれらに限られるものではない。
【００３０】
そして、一定時間内にHUDなどに表示されているサービスメニューの中に視線が向いているものがあるか否かを判断し（ステップＳ２１１）、あればサービスを開始する（ステップＳ２１２）と同時にその履歴情報を保存する（ステップＳ２１４）。一方、一定時間内に視線がHUDなどに表示されているいずれのサービスメニューにも向いてない場合、ドライバはサービスを受ける意思がないと判断し、ステップＳ２１４に移る。
【００３１】
なお、上述したステップＳ２１３において、注視対象物が車載器である場合にはステップＳ２１５及びＳ２１６の処理がなされる。これらの処理は車載器操作支援方法を示すフローチャートである。ステップＳ２１３において、注視対象物が車載器であると判断された場合、ナビゲーション装置２０は特定された車載器に対する現状の設定などを音声などで案内する。例えば、ドライバがエアコンの吹き口を見た場合、現状の温度設定や風の強さなどを音声などで案内する。
【００３２】
そして、ナビゲーション装置２０は、案内終了後にドライバに対して特定の車載器の操作の要否を音声などで確認する。例えば、「温度設定又は風の強さを変更しますか」という旨の案内をする。そして、案内後に上述したステップＳ２０９において特定の動きが検出されたか否かが判断される。ドライバが車載器の操作を行う旨の動きが検出された場合、例えば、ナビゲーション装置２０は、図５に示すようにHUD／WSDの画面に操作用のメニューを表示し、設定温度表示部５００に表示されている設定温度を下げることを示す表示部分５０１に視線がある場合には設定温度を下げるようにし、設定温度を上げることを示す表示部分５０２に視線がある場合には設定温度を上げるようにする。
【００３３】
また、上述したステップＳ２１７において、注視対象物が左右ドアミラー又はルームミラーである場合にはステップＳ２１８の処理がなされる。ステップＳ２１７において、注視対象物が左右ドアミラー又はルームミラーであると判断された場合で、ドライバがミラーに搭載されたカメラによって撮影される映像を見たいと望んだ場合、走行制御装置３０の制御部３３は特定されたミラーに対するそのミラーに搭載されるカメラから撮影される映像をナビゲーション装置２０の制御部２２に転送し、HUD／WSDの画面に表示する。例えば、図６（ａ）に示すように、ドライバが左ドアミラーを見た場合、左ドアミラー搭載カメラによって撮影された映像（図７中の左ドアミラー搭載カメラの映像）７００及び進行方向表示７０１を図７に示すようにHUD／WSDの画面に表示する。なお、図６（ｂ）に示すように、ドライバがルームミラーを見た場合には、ルームミラー搭載カメラ１ｄによって撮影された映像をHUD／WSDの画面に表示する。
【産業上の利用可能性】
【００３４】
本発明に係るドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムは、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができ、また、禁止されている運転中のコマンドの設定行為を必要としないため、マナーを守り、安全に走行することができるため、走行中の車両の周囲に存在するランドマークなどの情報を提供するドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムなどに有用である。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の形態に係るドライバ思考推定装置の構成を説明するための図である。
【図２】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法について説明するためのフローチャートである。
【図３ａ】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が前方道路にある場合の図である。
【図３ｂ】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が建物にある場合の図である。
【図３ｃ】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線上に先行車両とランドマークが存在する場合の図である。
【図４】本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示されるサービスメニューの一例を示す図である。
【図５】本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。
【図６ａ】本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線が左ドアミラーにある場合の図である。
【図６ｂ】本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線がルームミラーにある場合の図である。
【図７】本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。
【符号の説明】
【００３６】
１ 車両周辺監視センサ
１ａ 前方監視カメラ
１ｂ 前方監視レーダー
１ｃ 左右ドアミラー搭載カメラ
１ｄ ルームミラー搭載カメラ
２ ドライバ監視カメラ
３ マイク
４ 入力装置
５ 位置情報取得センサ
５ａ ＧＰＳ受信器
５ｂ 自立航法センサ
６ エンジン等制御部
７ａ、８ｃ スピーカ
７ｂ メータ等
８ 情報案内装置
８ａ HUD／WSD
８ｂ モニタ
１０ ドライバ思考推定装置
１１ 視線・顔向き検出部（検出手段）
１２ 注視対象物認識部（注視対象物認識手段）
１３ 思考推定部（思考推定手段）
２０ ナビゲーション装置
２１ 自車位置特定部
２２、３３ 制御部
２３ 地図データベース
３０ 走行制御装置
３１ 画像処理部
３２ 信号処理部
５００ 設定温度表示部
５０１、５０２ 表示部分
７００ 左ドアミラー搭載カメラの映像
７０１ 進行方向表示
【技術分野】
【０００１】
本発明は、走行中の車両の周囲に存在するランドマークなどの情報を提供するドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムに関する。
【背景技術】
【０００２】
近年、人間の思考推定に関する研究が多く行われている。以下説明をわかりやすくするため、嗜好推定対象者をドライバ（以下、ドライバを運転者とも言う）として説明する。このような研究は、ドライバの目や注視方向などを検出、認識することによって自動車などのドライバの居眠りや脇見運転防止などを目的としている。これらのアプリケーションにおける人間の思考推定装置では、非定常状態を推定するものであり、定常状態でのドライバの思考推定を行わない。しかし、運転中に気になる車外の風景やランドマークなどがあっても、風景の写真やランドマークの情報などを取得できず通過する場面が多くチャンスロスとなる。これらの情報を取得するための音声やボタンなどによる車載器などの操作は複雑であり、危険を招く場合もある。そこで、運転中にチャンスロスを減らすための車載器の操作方法や危険性が少ない車載器の操作方法などを提供するために、ドライバの思考を推定し、支援する装置及び方法が必要である。
【０００３】
運転呈上状態でのドライバ支援技術として、まずドライバが所定のコマンドを発生することにより、視線検出装置はドライバが見ている施設や観光物などのランドマークを特定し、カーナビゲーション装置の画面にランドマークの情報を表示する。このような技術が下記の特許文献１に記載されている。特許文献１に記載されている技術では、車外のランドマークを前方風景監視カメラを用いて前方のランドマークを撮影し、保有するデータベースからランドマークを検索し、ディスプレイに表示する。なお、ドライバの視線を検出するカメラはルームミラーに設置される。この技術では都心部のように建物が高密度に集まる場合に、見ている建物を特定することが困難である。そこで、複数の建物が存在する場合、１つずつドライバに見せて選択してもらう。このような技術が下記の特許文献２に記載されている。また、車内の特定の機器に視線を移動したときに、その機器に関する情報を表示するといったドライバ支援もある。このような技術が下記の特許文献３に記載されている。
【特許文献１】特開２００１−３３０４５０号公報（段落０００４、図１）
【特許文献２】特開２００５−２４３１３号公報（段落０００９、図５、図６）
【特許文献３】特開２００１−１９４１６１号公報（段落００２０、要約）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１と特許文献２に記載された技術では、ドライバとのインターフェースとして音声を用いており、車内音響や他の乗員の声などの影響によって発話によるドライバの指示が正しく理解されないことがあるという問題があり、命令などのコマンドの入力を繰り返す必要があり、ドライバに対する心理的負担が増える。なお、運転中の入力コマンドの設定行為は禁止されており、コマンドを繰り返して入力する行為は車両を停止させてからでなければならず面倒である。また、特許文献２に記載された技術では、複数のランドマークからドライバの見ているものをカーナビゲーション装置の画面を用いて提示し、ドライバに選択させることになるため、ドライバの視線が前方道路から外れることになる。この操作は、動作が長引く、自分が欲しい情報がなかなか得られないなど安全性の面でも快適性の面でも問題がある。さらに、特許文献１から特許文献３に記載された技術では、カーナビゲーション装置の画面にドライバが望むと思われる情報を提示する。提示される情報をみるために、ドライバの視線が前方道路から外れ、安全性に問題が生じる。
【０００５】
本発明は、上記問題を解決するためのものであり、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができるドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明によれば、車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出手段と、前記検出手段によって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識手段と、前記注視対象物認識手段によって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定手段とを備えるドライバ思考推定装置が提供される。この構成により、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。なお、撮像手段は後述するドライバ監視カメラに相当し、前記車両の位置情報を取得する手段は後述するＧＰＳ受信器を含む位置情報取得センサに相当し、地図情報を格納する手段は後述する地図データベースに相当し、情報を提示する情報提示手段は後述するスピーカやモニタなどに相当する。また、撮像手段、車両の位置情報を取得する手段、地図情報を格納する手段、情報提示手段のそれぞれがドライバ思考推定装置の構成要素であってもよい。また、所定の表示領域は後述するHUD（Head Up Display）／WSD(Windshield Display)が表示される領域を言う。
【０００７】
また、本発明のドライバ思考推定装置において、前記検出手段が、前記思考推定手段によって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、前記注視対象物認識手段が、前記検出手段によって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、前記思考推定手段が、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行うことは、本発明の好ましい態様である。この構成により、注視している対象物までの行き先設定や詳細な情報の提示などを行うことができる。
【０００８】
また、本発明のドライバ思考推定装置において、前記注視対象物が前記車両に搭載された車載器であることは、本発明の好ましい態様である。この構成により、車載器の設定なども安全に行うことができる。
【０００９】
また、本発明のドライバ思考推定装置において、前記注視対象物が前記車両の周囲の状況を確認するためのミラーであることは、本発明の好ましい態様である。この構成により、合流、車線変更、右左折時などの状況下でも安全に走行することができる。ここでのミラーは、例えば後述する車両の左右のドアに取り付けられた左右ドアミラーや車両の後方を確認するために車内に取り付けられたルームミラーなどである。
【００１０】
また、本発明によれば、車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを有するドライバ思考推定方法が提供される。この構成により、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。
【００１１】
また、本発明のドライバ思考推定方法において、前記検出ステップで、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、前記注視対象物認識ステップで、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、前記思考推定ステップで、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行うことは、本発明の好ましい態様である。この構成により、注視している対象物までの行き先設定や詳細な情報の提示などを行うことができる。
【００１２】
また、本発明のドライバ思考推定方法において、前記注視対象物が前記車両に搭載された車載器であることは、本発明の好ましい態様である。この構成により、車載器の設定なども安全に行うことができる。
【００１３】
また、本発明のドライバ思考推定方法において、前記注視対象物が前記車両の周囲の状況を確認するためのミラーであることは、本発明の好ましい態様である。この構成により、合流、車線変更、右左折時などの状況下でも安全に走行することができる。
【００１４】
また、本発明によれば、車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを有するコンピュータに実行させるためのドライバ思考推定プログラムが提供される。この構成により、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。
【００１５】
また、本発明のドライバ思考推定プログラムにおいて、前記検出ステップで、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、前記注視対象物認識ステップで、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、前記思考推定ステップで、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行うことは、本発明の好ましい態様である。この構成により、注視している対象物までの行き先設定や詳細な情報の提示などを行うことができる。
【００１６】
また、本発明のドライバ思考推定プログラムにおいて、前記注視対象物が前記車両に搭載された車載器であることは、本発明の好ましい態様である。この構成により、車載器の設定なども安全に行うことができる。
【００１７】
また、本発明のドライバ思考推定プログラムにおいて、前記注視対象物が前記車両の周囲の状況を確認するためのミラーであることは、本発明の好ましい態様である。この構成により、合流、車線変更、右左折時などの状況下でも安全に走行することができる。
【発明の効果】
【００１８】
本発明のドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムは、上記構成を有し、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができる。また、禁止されている運転中のコマンドの設定行為を必要としないため、マナーを守り、安全に走行することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係るドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムについて図１から図５を用いて説明する。図１は本発明の実施の形態に係るドライバ思考推定装置の構成を説明するための図である。図２は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法について説明するためのフローチャートである。図３（ａ）は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が前方道路にある場合の図である。図３（ｂ）は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が建物にある場合の図である。図３（ｃ）は本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線上に先行車両とランドマークが存在する場合の図である。
【００２０】
図４は本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示されるサービスメニューの一例を示す図である。図５は本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。図６（ａ）は本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線が左ドアミラーにある場合の図である。図６（ｂ）は本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線がルームミラーにある場合の図である。図７は本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。
【００２１】
まず、本発明の実施の形態に係るドライバ思考推定装置の一例について図１を用いて説明する。図１に示すように、ドライバ思考推定装置１０は、視線・顔向き検出部（検出手段）１１、注視対象物認識部（注視対象物認識手段）１２、思考推定部（思考推定手段）１３から構成されている。なお、後述するドライバ監視カメラ２、ＧＰＳ受信器５ａを含む位置情報取得センサ５、地図データベース２３、スピーカ８ｃやモニタ８ｂなどのそれぞれがドライバ思考推定装置１０の構成要素であってもよく、ドライバ思考推定装置１０の構成態様はこれらに限られるものではない。ドライバ思考推定装置１０はドライバ監視カメラ２と接続可能であり、ドライバ監視カメラ２は、ドライバが存在し得る領域範囲内の画像を撮影し、撮影された画像を視線・顔向き検出部１１へ出力する。視線・顔向き検出部１１は、ドライバ監視カメラ２から入力された画像から顔や目などを検出し、視線方向と顔向き方向を算出し、その結果を注視対象物認識部１２と思考推定部１３に出力する。
【００２２】
注視対象物認識部１２は、視線方向の情報に基づいて実座標上において視線のベクトル（方向）を求め、求まられた視線ベクトルと、ナビゲーション装置２０の制御部２２から提供される車載器の実座標上の位置情報や前方方向にあるランドマークなどの位置情報と、走行制御装置３０の制御部３３から提供される前方車両の位置情報とに基づいて、ドライバの視線上にランドマークなどがあるかを判定し、ある場合にはドライバが注視している対象物が何かを示す注視対象物情報を思考推定部１３に出力する。思考推定部１３は、注視対象物認識部１２から入力された注視対象物情報に基づいて、注視対象物に関する情報や制御を選択し、注視対象物に対する所定のサービスの提供を望むか否かの運転者への問い合わせをナビゲーション装置２０のスピーカ８ｃやモニタ８ｂにさせるための信号を生成して、ナビゲーション装置２０の制御部２２に出力する。このとき制御部２２は、スピーカ８ｃによる音声案内やHUD／WSD８ａやモニタ８ｂなどを介して制御対象メニュー情報や案内情報を提供・表示する。なお、HUDとは情報をフロントガラス面に投影させた画面を言う。WSDとはドライバの前方視界に情報を重ねて表示する画面を言う。
【００２３】
また一方で、思考推定部１３は、ドライバに提供される対象物の情報や制御メニューに対するドライバの顔又は視線の動きを監視してドライバが所望する情報や操作を推定する。具体的には、思考推定部１３は音声やHUD／WSD８ａで案内される制御コマンドに対してある一定時間のドライバの顔又は視線の動きを監視し、その動きの軌跡からドライバの意図を推定し、推定結果をナビゲーション装置２０の制御部２２に出力する。制御部２２はドライバが所望しているサービスを提供するよう処理を行う。
【００２４】
ここで、上述した走行制御装置３０とナビゲーション装置２０についての説明をする。まず、走行制御装置３０について説明する。図１において、車両周辺監視センサ１は前方にある立体物や車線などを検出するための前方監視カメラ１ａと、前方にある立体物までの距離や立体物の幅などを検出する前方監視レーダー１ｂと、車両の左右の領域の状況を撮影する左右ドアミラー搭載カメラ１ｃと、車両の後方の状況を撮影するルームミラー搭載カメラ１ｄとから構成されている。車両周辺監視センサ１を用いて前方にある立体物や白線などを検出し、画像処理部３１と信号処理部３２では検出された立体物までの距離や道路形状などを算出し、それらの情報を制御部３３に出力する。制御部３３では前方の立体物や道路形状などの情報に基づいて安全に走行できるようにドライバを支援しながら、予想外のことが生じる場合、エンジンやブレーキなどを制御するエンジン等制御部６を制御する。なお、スピーカ７ａやメータ等７ｂは、通常車両に装備されているものと同様の機能を有している。
【００２５】
次に、ナビゲーション装置２０について説明する。図１において、ナビゲーション装置２０は停止状態でマイク３やポインティングデバイスなどの入力装置４などによって操作できるものである。位置情報取得センサ５を構成するＧＰＳ受信機５ａはＧＰＳ衛生から送られてくるＧＰＳ信号を受信するものであり、位置情報取得センサ５を構成する自立航法センサ５ｂは、車両回転角度を検出するジャイロなどの角度センサや一定の走行距離ごとにパルスを発生する走行距離センサなどで構成されている。ナビゲーション装置２０の自車位置特定部２１では、位置情報取得センサ５からの情報を用いて現在位置を算出して特定する。地図データベース２３は走行に必要な地図情報が保存されている。制御部２２は、ドライバの指示や自車位置特定部２１などからの情報を用いて、地図データベース２３から必要な地図データを取得し、走行案内処理を行う。なお、情報案内装置８を構成するHUD／WSD８ａ、モニタ８ｂ、スピーカ８ｃは、制御部２２からの信号に基づいてドライバに情報などを提供するものである。
【００２６】
次に、本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法について図２を用いて説明する。なお、以下ではランドマーク案内について説明しているが、ランドマークに限られるものではなく観光名所やお店などの案内であっても同様に考えられる。まず、エンジン始動からドライバ思考推定装置１０の動作を開始し、ドライバ思考推定装置１０はドライバの視線や顔向きなどの監視を行う（ステップＳ２０１）。ここでは、ドライバの顔の検出方法は多数あり、代表的な検出方法は、多数の人物の顔から顔テンプレート（例えば、平均顔）を作成し、そのテンプレートを用いて画像中のドライバの顔を探索するものである。探索方法としては様々なものがあり、単純な方法は画像を一定の大きさに分割し、分割された各画像の輝度値と顔テンプレートの輝度値との差分量又は類似度を算出する。差分量が一定の値以下であれば又は類似度が一定値以上であれば、比較対象の画像を顔画像と判定する。また、視線検出方法も多数あり、代表的な検出方法は、左右目に黒目又は虹彩又は瞳孔を検出してから目尻と目頭の座標を求め、黒目（虹彩又は瞳孔）の中心座標と目尻と目頭の位置情報の関係を用いて視線方向を抽出するものである。また、顔向きの検出方法についても多数あり、代表的な方法として、左右目（黒目など）の位置情報と鼻の位置情報を用いて顔向きを算出するものがある。上述したもの以外のそれぞれの方法を用いることは可能である。
【００２７】
次に、図３（ａ）に示すように、ドライバ思考推定装置１０は、地図データなどを用いてドライバの視線が前方道路から外れてないかを常に監視する（ステップＳ２０２）。図３（ｂ）に示すように、ドライバの視線が前方道路から外れている（視線が建物に向いている）と判断された場合、ドライバ思考推定装置１０は、視線方向の情報、地図データ、車載器の位置情報などを用いてドライバが見ている注視対象物を特定する（ステップＳ２０３）。ドライバ思考推定装置１０は、注視対象物がランドマークなどの建物であるか否かを判断する（ステップＳ２０４）。ここで、図３（ｃ）に示すように、走行制御装置３０からの情報によって前方道路に先行車両が存在する場合において先行車両とランドマークがドライバの視線上に存在する場合、視線の垂直情報（視線の高さ情報）を用いて注視する対象物を決定する。
【００２８】
ステップＳ２０４において、特定された対象物がランドマークであれば、ドライバ思考推定装置１０は、そのランドマークに関する情報、例えば名称や建物の色・形状などを地図データなどから検索させる（ステップＳ２０５）。なお、特定した対象物がランドマークでない場合、ドライバ思考推定装置１０は、注視対象物が車載器であるか否かを判断し（ステップＳ２１３）、車載器でない場合、ドライバ思考推定装置１０は、注視対象物が左右ドアミラー又はルームミラーであるか否かを判断し（ステップＳ２１７）、左右ドアミラー又はルームミラーではない場合にはステップＳ２０１に戻り、左右ドアミラー又はルームミラーである場合には左右ドアミラー又はルームミラーに設置された左右ドアミラー搭載カメラ１ｃ又はルームミラー搭載カメラ１ｄから撮影される映像を提示させるか音声などにより問い合わせをさせる（ステップＳ２１８）。一方、注視対象物が車載器である場合には音声などによる車載器の情報を提示させ（ステップＳ２１５）、音声などによる車載器の制御の要否の確認の問い合わせをさせる（ステップＳ２１６）。
【００２９】
一方、ステップＳ２０５の後、ナビゲーション装置２０は、検索されたランドマークの情報を音声などで案内する(ステップＳ２０６)。ナビゲーション装置２０は、案内終了後に所定のサービスを受けるかどうかについてドライバに音声などで問合せする（ステップＳ２０７）。ステップＳ２０７が終わった時点で、ドライバ思考推定装置１０は、ある一定時間内のドライバの視線や顔などの動きを監視し（ステップＳ２０８）、特定の動きが検出されか否かを判断し（ステップＳ２０９）、検出された場合、ナビゲーション装置２０はHUD、WSDにサービスメニューを表示する（ステップＳ２１０）。例えば、特定の動きとして、顔向きが左右に動く場合には「いいえ」と認識し、サービスメニューを表示せずにステップＳ２１４に移る。一方、顔向きが上下に動く場合には「はい」と認識し、上述したステップＳ２１０を実行する。なお、ステップＳ２０８においてドライバの視線や顔などの動きを監視する一定の時間とはわずかな時間であって、例えば１秒間などである。また、表示するサービスメニューの一例を図４に示し、それらの内容は「行先設定」、「詳細案内」、「写真撮影」である。サービスメニューの内容はこれらに限られるものではない。
【００３０】
そして、一定時間内にHUDなどに表示されているサービスメニューの中に視線が向いているものがあるか否かを判断し（ステップＳ２１１）、あればサービスを開始する（ステップＳ２１２）と同時にその履歴情報を保存する（ステップＳ２１４）。一方、一定時間内に視線がHUDなどに表示されているいずれのサービスメニューにも向いてない場合、ドライバはサービスを受ける意思がないと判断し、ステップＳ２１４に移る。
【００３１】
なお、上述したステップＳ２１３において、注視対象物が車載器である場合にはステップＳ２１５及びＳ２１６の処理がなされる。これらの処理は車載器操作支援方法を示すフローチャートである。ステップＳ２１３において、注視対象物が車載器であると判断された場合、ナビゲーション装置２０は特定された車載器に対する現状の設定などを音声などで案内する。例えば、ドライバがエアコンの吹き口を見た場合、現状の温度設定や風の強さなどを音声などで案内する。
【００３２】
そして、ナビゲーション装置２０は、案内終了後にドライバに対して特定の車載器の操作の要否を音声などで確認する。例えば、「温度設定又は風の強さを変更しますか」という旨の案内をする。そして、案内後に上述したステップＳ２０９において特定の動きが検出されたか否かが判断される。ドライバが車載器の操作を行う旨の動きが検出された場合、例えば、ナビゲーション装置２０は、図５に示すようにHUD／WSDの画面に操作用のメニューを表示し、設定温度表示部５００に表示されている設定温度を下げることを示す表示部分５０１に視線がある場合には設定温度を下げるようにし、設定温度を上げることを示す表示部分５０２に視線がある場合には設定温度を上げるようにする。
【００３３】
また、上述したステップＳ２１７において、注視対象物が左右ドアミラー又はルームミラーである場合にはステップＳ２１８の処理がなされる。ステップＳ２１７において、注視対象物が左右ドアミラー又はルームミラーであると判断された場合で、ドライバがミラーに搭載されたカメラによって撮影される映像を見たいと望んだ場合、走行制御装置３０の制御部３３は特定されたミラーに対するそのミラーに搭載されるカメラから撮影される映像をナビゲーション装置２０の制御部２２に転送し、HUD／WSDの画面に表示する。例えば、図６（ａ）に示すように、ドライバが左ドアミラーを見た場合、左ドアミラー搭載カメラによって撮影された映像（図７中の左ドアミラー搭載カメラの映像）７００及び進行方向表示７０１を図７に示すようにHUD／WSDの画面に表示する。なお、図６（ｂ）に示すように、ドライバがルームミラーを見た場合には、ルームミラー搭載カメラ１ｄによって撮影された映像をHUD／WSDの画面に表示する。
【産業上の利用可能性】
【００３４】
本発明に係るドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムは、ドライバの視線を用いることにより確実かつ自然なユーザインターフェースを実現でき、安全性と快適性を向上させることができ、また、禁止されている運転中のコマンドの設定行為を必要としないため、マナーを守り、安全に走行することができるため、走行中の車両の周囲に存在するランドマークなどの情報を提供するドライバ思考推定装置、ドライバ思考推定方法、及びドライバ思考推定プログラムなどに有用である。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の形態に係るドライバ思考推定装置の構成を説明するための図である。
【図２】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法について説明するためのフローチャートである。
【図３ａ】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が前方道路にある場合の図である。
【図３ｂ】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線が建物にある場合の図である。
【図３ｃ】本発明の実施の形態に係るドライバ思考推定装置によるランドマーク案内方法についての説明の中で用いられるドライバの視線上に先行車両とランドマークが存在する場合の図である。
【図４】本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示されるサービスメニューの一例を示す図である。
【図５】本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。
【図６ａ】本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線が左ドアミラーにある場合の図である。
【図６ｂ】本発明の実施の形態に係るドライバ思考推定装置による左折時での運転支援についての説明の中で用いられるドライバの視線がルームミラーにある場合の図である。
【図７】本発明の実施の形態に係るドライバ思考推定装置におけるHUDに表示される他のサービスメニューの一例を示す図である。
【符号の説明】
【００３６】
１ 車両周辺監視センサ
１ａ 前方監視カメラ
１ｂ 前方監視レーダー
１ｃ 左右ドアミラー搭載カメラ
１ｄ ルームミラー搭載カメラ
２ ドライバ監視カメラ
３ マイク
４ 入力装置
５ 位置情報取得センサ
５ａ ＧＰＳ受信器
５ｂ 自立航法センサ
６ エンジン等制御部
７ａ、８ｃ スピーカ
７ｂ メータ等
８ 情報案内装置
８ａ HUD／WSD
８ｂ モニタ
１０ ドライバ思考推定装置
１１ 視線・顔向き検出部（検出手段）
１２ 注視対象物認識部（注視対象物認識手段）
１３ 思考推定部（思考推定手段）
２０ ナビゲーション装置
２１ 自車位置特定部
２２、３３ 制御部
２３ 地図データベース
３０ 走行制御装置
３１ 画像処理部
３２ 信号処理部
５００ 設定温度表示部
５０１、５０２ 表示部分
７００ 左ドアミラー搭載カメラの映像
７０１ 進行方向表示
【特許請求の範囲】
【請求項１】
車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出手段と、
前記検出手段によって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識手段と、
前記注視対象物認識手段によって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定手段とを、
備えるドライバ思考推定装置。
【請求項２】
前記検出手段は、前記思考推定手段によって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、
前記注視対象物認識手段は、前記検出手段によって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、
前記思考推定手段は、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行う請求項１に記載のドライバ思考推定装置。
【請求項３】
前記注視対象物が前記車両に搭載された車載器である請求項１又は２に記載のドライバ思考推定装置。
【請求項４】
前記注視対象物が前記車両の周囲の状況を確認するためのミラーである請求項１又は２に記載のドライバ思考推定装置。
【請求項５】
車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、
前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、
前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを、
有するドライバ思考推定方法。
【請求項６】
前記検出ステップは、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、
前記注視対象物認識ステップは、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、
前記思考推定ステップは、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行う請求項５に記載のドライバ思考推定方法。
【請求項７】
前記注視対象物が前記車両に搭載された車載器である請求項５又は６に記載のドライバ思考推定方法。
【請求項８】
前記注視対象物が前記車両の周囲の状況を確認するためのミラーである請求項５又は６に記載のドライバ思考推定方法。
【請求項９】
車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、
前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、
前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを、
有するコンピュータに実行させるためのドライバ思考推定プログラム。
【請求項１０】
前記検出ステップは、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、
前記注視対象物認識ステップは、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、
前記思考推定ステップは、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行う請求項９に記載のドライバ思考推定プログラム。
【請求項１１】
前記注視対象物が前記車両に搭載された車載器である請求項９又は１０に記載のドライバ思考推定プログラム。
【請求項１２】
前記注視対象物が前記車両の周囲の状況を確認するためのミラーである請求項９又は１０に記載のドライバ思考推定プログラム。
【請求項１】
車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出手段と、
前記検出手段によって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識手段と、
前記注視対象物認識手段によって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定手段とを、
備えるドライバ思考推定装置。
【請求項２】
前記検出手段は、前記思考推定手段によって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、
前記注視対象物認識手段は、前記検出手段によって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、
前記思考推定手段は、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行う請求項１に記載のドライバ思考推定装置。
【請求項３】
前記注視対象物が前記車両に搭載された車載器である請求項１又は２に記載のドライバ思考推定装置。
【請求項４】
前記注視対象物が前記車両の周囲の状況を確認するためのミラーである請求項１又は２に記載のドライバ思考推定装置。
【請求項５】
車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、
前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、
前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを、
有するドライバ思考推定方法。
【請求項６】
前記検出ステップは、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、
前記注視対象物認識ステップは、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、
前記思考推定ステップは、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行う請求項５に記載のドライバ思考推定方法。
【請求項７】
前記注視対象物が前記車両に搭載された車載器である請求項５又は６に記載のドライバ思考推定方法。
【請求項８】
前記注視対象物が前記車両の周囲の状況を確認するためのミラーである請求項５又は６に記載のドライバ思考推定方法。
【請求項９】
車両を運転する運転者を撮像する撮像手段によって撮像された前記運転者の画像情報を用いて、前記運転者の視線の向き及び前記運転者の顔の動きを検出する検出ステップと、
前記検出ステップによって検出された前記運転者の前記視線の向きと、前記車両の位置情報を取得する手段から取得された前記車両の位置情報と、あらかじめ地図情報を格納する手段から取得された前記地図情報とに基づいて、前記運転者の前記視線の延長上に注視の対象となる注視対象物があるか否かを判定し、前記注視対象物がある場合に前記注視対象物が何であるかを示す情報を出力する注視対象物認識ステップと、
前記注視対象物認識ステップによって出力された前記情報により特定される前記注視対象物に対する所定のサービスの提供を望むか否かの前記運転者への問い合わせを情報出力手段にさせるための信号を生成し、生成された前記信号に基づいてなされた前記問い合わせ後の前記検出手段によって検出された前記運転者の顔の動きに基づいて、前記所定のサービスを提供するか否かを決定し、前記所定のサービスを提供する場合に前記所定のサービスを選択するためのメニューを所定の表示領域に表示させる思考推定ステップとを、
有するコンピュータに実行させるためのドライバ思考推定プログラム。
【請求項１０】
前記検出ステップは、前記思考推定ステップによって前記所定の表示領域に表示された前記メニューに対する前記運転者の視線の向きを検出し、
前記注視対象物認識ステップは、前記検出ステップによって検出された前記運転者の視線の延長上に表示された前記メニューがあるか否かを判定し、表示された前記メニューがある場合に該当する前記メニューを特定する情報を出力し、
前記思考推定ステップは、出力された前記該当する前記メニューを特定する情報に基づいて、前記該当する前記メニューに応じた処理を行う請求項９に記載のドライバ思考推定プログラム。
【請求項１１】
前記注視対象物が前記車両に搭載された車載器である請求項９又は１０に記載のドライバ思考推定プログラム。
【請求項１２】
前記注視対象物が前記車両の周囲の状況を確認するためのミラーである請求項９又は１０に記載のドライバ思考推定プログラム。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７】
【図２】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７】
【公開番号】特開２００７−２６３９３１（Ｐ２００７−２６３９３１Ａ）
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願番号】特願２００６−９３３５０（Ｐ２００６−９３３５０）
【出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]