施設特定装置、施設特定方法及びコンピュータプログラム
【課題】複数の視線方向から乗員が注視する施設を正確に特定することが可能な施設特定装置、施設特定方法及びコンピュータプログラムを提供する。
【解決手段】異なる２以上のタイミングにおいて車両５１を運転する運転者５３の複数の視線方向ＥＡ，ＥＢを車内カメラ２２の撮像画像から検出し、検出された運転者５３の複数の視線方向ＥＡ，ＥＢが交差する地点から運転者の注視点Ｃを検出し、検出された注視点Ｃから所定の検索距離内に位置する施設を運転者の注視する施設として特定するように構成する。
【解決手段】異なる２以上のタイミングにおいて車両５１を運転する運転者５３の複数の視線方向ＥＡ，ＥＢを車内カメラ２２の撮像画像から検出し、検出された運転者５３の複数の視線方向ＥＡ，ＥＢが交差する地点から運転者の注視点Ｃを検出し、検出された注視点Ｃから所定の検索距離内に位置する施設を運転者の注視する施設として特定するように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の乗員が注視する施設を特定する施設特定装置、施設特定方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、車載用のナビゲーション装置、ＰＤＡ（Personal Digital Assistant）や携帯電話機などの携帯情報機器、パーソナルコンピュータ等では、地図情報として一般道路及び高速道路等の道路や施設名称等を各種記憶デバイスに記憶するか、又はサーバ等からダウンロードすることにより、利用者に対して所望のエリアの地図を表示することが可能となっている。
【０００３】
更に、従来のナビゲーション装置等では地図を表示するのみでなく、利用者の利便性をより向上させる為に、表示された道路の近辺に存在する施設（ショッピングセンタ、レストラン等）に関する情報（施設名称、提供する料理の種類、営業時間等）を案内することについても行われていた。しかし、車両周辺に施設が多数ある場合に、その全ての施設についての案内を行うことは乗員にとって煩わしいものとなっていた。
【０００４】
そこで、乗員が案内を必要とする施設を特定する技術として、例えば特開平１１−２８８３４１号公報には、乗員の視線方向を検出し、その視線方向から乗員の注視する施設を乗員が案内を必要とする施設として特定して、その施設の案内を行うナビゲーション装置について記載されている。
【特許文献１】特開平１１−２８８３４１号公報（第４頁〜第６頁、図８、図９）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、前記した特許文献１に記載されたナビゲーション装置では、乗員の一の視線方向のみに基づいて乗員の注視する施設を特定するので、乗員から注視する施設までの距離については特定できない。その結果、乗員の視線方向上に異なる距離で複数の施設が位置する場合には、視線方向にある複数の施設の内、どの施設が実際に乗員が注視する施設であるのかを判定することは難しい。
【０００６】
本発明は前記従来における問題点を解消するためになされたものであり、複数の視線方向から乗員が注視する施設を正確に特定することが可能となり、例えば、乗員の注視する施設を案内する際には、乗員にとって不要な施設情報については案内を抑制することができ、また、乗員の注視する施設をナビゲーションシステムの目的地に設定する場合には、乗員の希望する目的地を複雑な操作を課すことなく設定することができ、利便性を向上させた施設特定装置、施設特定方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため本願の請求項１に係る施設特定装置（１）は、車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出手段（１３）と、前記視線方向検出手段により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出手段（１３）と、前記注視点検出手段により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定手段（１３）と、を有することを特徴とする。
尚、「異なるタイミング」とは、時間を基準としたタイミングでも良いし、車両の走行距離を基準としたタイミングでも良い。また、乗員の操作に基づくタイミングでも良い。
【０００８】
また、請求項２に係る施設特定装置（１）は、請求項１に記載の施設特定装置であって、車両の現在位置を検出する車両位置検出手段（１３）と、地図上における施設の位置を取得する施設位置取得手段（１３）と、を有し、前記注視点検出手段（１３）は、前記車両の現在位置と前記乗員の複数の視線方向とに基づいて乗員の注視点を検出し、前記施設特定手段（１３）は、前記地図上における施設の位置と前記乗員の注視点に基づいて乗員の注視する施設を特定することを特徴とする。
【０００９】
また、請求項３に係る施設特定装置（１）は、請求項１又は請求項２に記載の施設特定装置であって、前記施設特定手段（１３）は、前記注視点検出手段（１３）により検出された乗員の注視点から所定の検索距離内にある施設を検索する施設検索手段（１３）を備え、前記施設検索手段によって検索された施設を乗員の注視する施設として特定することを特徴とする。
【００１０】
また、請求項４に係る施設特定装置（１）は、請求項３に記載の施設特定装置であって、前記施設特定手段（１３）は、前記施設検索手段（１３）によって前記注視点検出手段（１３）により検出された乗員の注視点から前記検索距離内に施設が検索できなかった場合に、前記検索距離を拡張する検索範囲拡張手段（１３）を備え、前記検索範囲拡張手段は、前記検索距離を乗員の視野及び又は車両から注視点までの距離に基づいて設定された最大距離まで拡張することを特徴とする。
【００１１】
また、請求項５に係る施設特定装置（１）は、請求項１乃至請求項４のいずれかに記載の施設特定装置であって、前記注視点検出手段（１３）は、前記乗員の複数の視線方向が交差する地点を乗員の注視点として検出することを特徴とする。
【００１２】
また、請求項６に係る施設特定方法は、車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出ステップ（Ｓ３、Ｓ６）と、前記視線方向検出ステップにより検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出ステップ（Ｓ８）と、前記注視点検出ステップにより検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定ステップ（Ｓ９〜Ｓ１３）と、を有することを特徴とする。
【００１３】
更に、請求項７に係るコンピュータプログラムは、コンピュータに搭載され、車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出機能（Ｓ３、Ｓ６）と、前記視線方向検出機能により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出機能（Ｓ８）と、前記注視点検出機能により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定機能（Ｓ９〜Ｓ１３）と、を実行させることを特徴とする。
【発明の効果】
【００１４】
前記構成を有する請求項１に記載の施設特定装置によれば、乗員の視線方向に対して複数の施設がある場合であっても、複数の視線方向から乗員が注視する施設を正確に特定することが可能となる。従って、例えば乗員の注視する施設を案内する際には、乗員にとって不要な施設情報については案内を抑制することができる。また、乗員の注視する施設をナビゲーションシステムの目的地に設定する場合には、乗員の希望する目的地を複雑な操作を課すことなく設定することができ、利便性が向上する。
【００１５】
また、請求項２に記載の施設特定装置によれば、車両の現在位置や方位や地図上の施設の位置情報を用いることによって、車両に対する相対的な乗員の視線方向から絶対的な乗員の視線方向の検出が可能となり、乗員の注視する施設を地図上で正確に特定することができる。
【００１６】
また、請求項３に記載の施設特定装置によれば、乗員の注視点を基準として周囲に位置する施設の検索を行うので、注視点を検出する際に誤差が生じたとしても、乗員の注視する施設を的確に検出することが可能となる。
【００１７】
また、請求項４に記載の施設特定装置によれば、施設を検索する検索範囲を徐々に拡大させるので、注視点を検出する際の誤差が大きくなったとしても、乗員の注視する施設を的確に検出することが可能となる。また、乗員の視野や注視点までの距離に基づいて最大の検索範囲を設定するので、検出された注視点に誤差が生じた場合であっても、誤った施設が乗員の注視する施設として特定されることを防止できる。
【００１８】
また、請求項５に記載の施設特定装置によれば、乗員が同一の施設を注視し続けている場合において、乗員の複数の視線方向から乗員の注視する施設を確実に特定する事が可能となる。
【００１９】
また、請求項６に記載の施設特定方法によれば、乗員の視線方向に対して複数の施設がある場合であっても、複数の視線方向から乗員が注視する施設を正確に特定することが可能となる。
【００２０】
更に、請求項７に記載のコンピュータプログラムによれば、乗員の視線方向に対して複数の施設がある場合であっても、複数の視線方向から乗員が注視する施設を正確に特定するようにコンピュータを制御させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る車両用情報案内装置についてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１の概略構成図である。
【００２２】
図１に示すように本実施形態に係るナビゲーション装置１は、自車の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ（視線方向検出手段、注視点検出手段、施設特定手段、車両位置検出手段、施設位置取得手段、施設検索手段、検索範囲拡張手段）１３と、操作者からの操作を受け付ける操作部１４と、操作者に対して自車周辺の地図や施設に関する施設情報を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや施設に関する案内音声を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、交通情報センタ等の情報センタとの間で通信を行う通信モジュール１８と、運転者の発話音声を解析する音声認識部１９とから構成されている。また、ナビゲーションＥＣＵ１３には、自車の走行速度を検出する車速センサ２０と、運転者の発話音声を録取するマイク２１と、車内で運転者の顔を撮像する車内カメラ２２が接続される。
【００２３】
以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ３１、地磁気センサ３２、距離センサ３３、ステアリングセンサ３４、方位検出部としてのジャイロセンサ３５、高度計（図示せず）等からなり、現在の自車の位置、方位等を検出することが可能となっている。
【００２４】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３６、後述のナビゲーションＥＣＵ１３により検出された運転者の視線方向を累積的に記憶する視線方向ＤＢ３７、所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。
【００２５】
ここで、地図情報ＤＢ３６は、経路案内、交通情報案内及び地図表示に必要なデータが記録されている。具体的には、道路（リンク）形状に関するリンクデータ３８、ノード点に関するノードデータ、各交差点に関する交差点データ、経路を探索するための探索データ、施設に関する施設データ（ＰＯＩ（Point of Interest）情報）３９、地点を検索するための検索データ、地図、道路、交通情報等の画像を液晶ディスプレイ１５に描画するための画像描画データ等から構成されている。
【００２６】
ここで、特に、本実施形態に係るナビゲーション装置１に記憶される施設データ３９について図２を用いて説明する。
図２に示すように施設データ３９は、地図上に位置する各種施設について、識別情報としての施設ＩＤと、施設の位置を特定する位置座標（ｘ、ｙ）と、施設のジャンル（飲食店、イタリア料理、中華料理、書店、コンビニ等）と、施設の営業時間等が記憶される。
そして、後述するようにナビゲーションＥＣＵ１３は施設データ３９の特に施設の位置座標に基づいて、運転者が注視する施設を特定する。また、運転者が注視する施設が特定された場合には、その施設に関するジャンルや営業時間等に関する情報を液晶ディスプレイ１５に表示したり、音声でスピーカ１６から出力することにより運転者に施設の案内を行う。
【００２７】
また、視線方向ＤＢ３７は、運転者の視線方向の検出結果が検出時刻とともに記憶されるＤＢである。具体的には、車内カメラ２２で撮像した撮像画像に基づいてナビゲーションＥＣＵ１３により検出された運転者の視線方向が、車両方位に対する相対角度（視線角度）によって相対的に特定され、ＧＰＳ３１やジャイロセンサ３５等によって検出された現在時刻、車両の現在位置、方位とともに視線方向データとして記憶される。尚、運転者の視線方向は絶対方位によって特定しても良い。
【００２８】
ここで、特に、本実施形態に係るナビゲーション装置１の視線方向ＤＢ３７に記憶される視線方向データについて図３の具体例を用いて説明する。
図３では、車両５１が道路５２を走行中の場合において、所定のタイミングでの車両５１を運転する運転者５３の視線方向Ｅを特定する視線方向データを示す。そして、視線方向データは、現在の時刻（視線方向Ｅを検出した時刻）と、車両の現在位置（Ｘ，Ｙ）と、車両の絶対方位φと、車両方位に対する運転者５３の視線方向Ｅの相対角度（視線角度）θとから構成される。そして、上記視線方向データに基づいて運転者５３の絶対的な視線方向Ｅが特定可能となる。
【００２９】
一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、目的地が選択された場合に現在位置から目的地までの誘導経路を設定する誘導経路設定処理や運転者の注視する施設を特定する施設特定処理（図４参照）等のナビゲーション装置１の全体の制御を行う電子制御ユニットである。そして、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、施設特定処理プログラム（図４参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記録するフラッシュメモリ４４等の内部記憶装置を備えている。
【００３０】
操作部１４は、走行開始時の現在位置を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。また、ナビゲーション装置１で音声認識を開始する際に操作されるトークスイッチも操作部１４に含まれる。
そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。
【００３１】
また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、現在位置から目的地までの誘導経路、誘導経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
【００３２】
また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
【００３３】
また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて地図情報ＤＢ３６の更新等が行われる。
【００３４】
また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタやプローブセンタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。
【００３５】
また、音声認識部１９は、操作部１４のトークスイッチがＯＮされている間にマイク２１によって録取された音声を解析する装置である。そして、本実施形態に係るナビゲーション装置１では、音声認識部１９によって運転者の発声した音声が認識されたことをトリガとして、運転者の注視する施設の特定が行われる。
【００３６】
一方、車速センサ２０は、車両の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速を検出するセンサである。
【００３７】
また、マイク２１は、音を電気信号に変換する機器であり、電気信号に変換された音は音声認識部１９へと送信される。ここで、マイク２１はインストルメントパネルの上面に取り付けられ、集音方向が運転席方向となるように設置される。
【００３８】
また、車内カメラ２２は、例えばＣＣＤ等の固体撮像素子を用いたものであり、インストルメントパネルの上面に取り付けられ、視線方向を運転席に向けて設置される。そして、運転席に座った運転者の顔を撮像する。また、ナビゲーションＥＣＵ１３は後述するように撮像された撮像画像から運転者の視線方向を検出し、検出した運転者の視線方向から運転者が注視する施設を特定する。
【００３９】
続いて、前記構成を有する本実施形態に係るナビゲーション装置１においてナビゲーションＥＣＵ１３が実行する施設特定処理プログラムについて図４に基づき説明する。図４は本実施形態に係る施設特定処理プログラムのフローチャートである。ここで、施設特定処理プログラムは車両のイグニションがＯＮされた後に所定間隔（例えば２００ｍｓ毎）で実行され、運転者が注視する施設を特定するプログラムである。尚、以下の図４にフローチャートで示されるプログラムは、ナビゲーション装置１が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。
【００４０】
先ず、施設特定処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１はメモリの初期化などの初期化処理を実行する。
【００４１】
次に、Ｓ２でＣＰＵ４１は運転者の注視する施設の特定を開始する開始トリガが入力されたか否かを判定する。ここで、本実施形態では、トークスイッチがＯＮされて運転者による発話を音声認識部１９で認識した場合に開始トリガが入力されたと判定する。尚、トークスイッチがＯＮされたことのみを開始トリガの入力の条件としても良い。また、特定の発話内容（例えば、「あの店は？」）を認識したことを開始トリガの入力の条件としても良い。
【００４２】
その結果、開始トリガが入力されたと判定された場合（Ｓ２：ＹＥＳ）にはＳ３へと移行する。一方、開始トリガが入力されていないと判定された場合（Ｓ２：ＮＯ）には、開始トリガが入力されるまで待機する。
【００４３】
Ｓ３においてＣＰＵ４１は、ＧＰＳ３１により自車の現在位置（仮にＡ地点とする）での位置座標（Ｘ１，Ｙ１）を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位φ１を検出する。
更に、Ｓ３でＣＰＵ４１は自車の現在位置（Ａ地点）での運転者の視線方向ＥＡを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向ＥＡを検出する。尚、視線方向ＥＡは図５に示すように自車方位φ１に対する相対角度（視線角度）θ１によって相対的に特定される。
【００４４】
そして、Ｓ４でＣＰＵ４１は、前記Ｓ３で検出された自車位置（Ｘ１，Ｙ１）、自車方位φ１、視線角度θ１を含むＡ地点での視線方向データを視線方向ＤＢ３７に記憶する。
【００４５】
続いて、Ｓ５でＣＰＵ４１は所定時間Ｔ（例えば２ｓｅｃ）待機する。
【００４６】
そして、Ｓ６においてＣＰＵ４１は、ＧＰＳ３１により自車の現在位置（仮にＢ地点とする）での位置座標（Ｘ２，Ｙ２）を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位φ２を検出する。
更に、Ｓ６でＣＰＵ４１は自車の現在位置（Ｂ地点）での運転者の視線方向ＥＢを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向ＥＢを検出する。尚、視線方向ＥＢは図５に示すように自車方位φ２に対する相対角度（視線角度）θ２によって相対的に特定される。また、上記Ｓ３及びＳ６が車両位置検出手段及び視線方向検出手段の処理に相当する。
【００４７】
そして、Ｓ７でＣＰＵ４１は、前記Ｓ６で検出された自車位置（Ｘ２，Ｙ２）、自車方位φ２、視線角度θ２を含むＢ地点での視線方向データを視線方向ＤＢ３７に記憶する。
【００４８】
その後、Ｓ８でＣＰＵ４１は、前記Ｓ４で記憶されたＡ地点での視線方向データと前記Ｓ７で記憶されたＢ地点での視線方向データとに基づいて、運転者が注視する注視点Ｃ（ＸＸ，ＹＹ）を検出する。具体的に、本実施形態では図５に示すように運転者が同一の注視点Ｃを見続けると仮定し、異なるタイミング（本実施形態では５ｓｅｃ間隔）で検出されたＡ地点とＢ地点での運転者の視線方向ＥＡ，ＥＢが交差する地点の座標を、三角測量による位置測定技術を用いて算出する。そして、算出された地点を運転者が注視する注視点Ｃ（ＸＸ，ＹＹ）として検出する。尚、上記Ｓ８が注視点検出手段の処理に相当する。
【００４９】
続いて、Ｓ９でＣＰＵ４１は、前記Ｓ８で検出された注視点Ｃと、地図情報ＤＢ３６から取得した注視点周辺の施設の位置座標に基づいて、注視点Ｃから所定の検索距離以内（例えば、１０ｍ〜５０ｍ）にある施設を検索する。尚、検索距離は初期段階では最も短い最短距離（例えば１０ｍ）であり、その後に検索範囲（注視点Ｃを中心に半径を検索距離とした円形範囲）内に施設が位置しないと判定された場合に後述のように最大距離（例えば５０ｍ）まで徐々に拡大される（Ｓ１２）。尚、上記Ｓ９が施設位置取得手段及び施設検索手段の処理に相当する。
【００５０】
そして、Ｓ１０でＣＰＵ４１は、注視点Ｃから現在の検索距離以内で施設が検索できたか否か判定する。その結果、現在の検索距離で施設が検索できたと判定された場合（Ｓ１０：ＹＥＳ）には、Ｓ１１へと移行する。
【００５１】
Ｓ１１においてＣＰＵ４１は、前記Ｓ９で検索された施設を運転者の注視する施設として特定する。そして、特定した施設に対する案内を液晶ディスプレイ１５やスピーカ１６を用いて行う。また、特定した施設をナビゲーション装置１の目的地に設定しても良い。
【００５２】
ここで、図６及び図７を用いて上記Ｓ９〜Ｓ１１で実行される運転者の注視する施設の検索処理及び特定処理について、より詳細に説明する。
図６は注視点Ｃを中心とした検索範囲５５内に一の施設のみが位置する場合を示した図である。そして、図６に示す状況で前記Ｓ９の施設の検索処理が行われると、注視点Ｃを中心とした検索範囲５５内において施設（Ｂ）のみが検索される。従って、前記Ｓ１１では施設（Ｂ）が運転者の注視する施設として特定される。
【００５３】
図７は注視点Ｃを中心とした検索範囲５５内に２以上の施設が位置する場合を示した図である。そして、図７に示す状況で前記Ｓ９の施設の検索処理が行われると、注視点Ｃを中心とした検索範囲５５内において施設（Ａ）と施設（Ｂ）が検索される。従って、前記Ｓ１１では施設（Ａ）と施設（Ｂ）が運転者の注視する施設として特定される。尚、検索範囲内に２以上の施設が位置する場合には、注視点に最も近い施設（図７では施設（Ｂ））のみを運転者の注視する施設として特定しても良い。
【００５４】
一方、現在の検索距離では施設が検索できないと判定された場合（Ｓ１０：ＮＯ）には、検索距離を所定距離（例えば１０ｍ）だけ拡張する（Ｓ１２）。尚、上記Ｓ１２が検索範囲拡張手段の処理に相当する。
【００５５】
更に、Ｓ１３においてＣＰＵ４１は、その拡張された検索距離が最大距離（例えば５０ｍ）を越えたか否か判定する。そして、検索距離が最大距離を越えたと判定された場合（Ｓ１３：ＹＥＳ）には、運転者が注視する施設を特定することなく、当該施設特定処理プログラムを終了する。
【００５６】
ここで、図８は運転者が注視する施設を特定できない場合を示した図である。図８に示すように、検索距離が最大距離となった状態で検索範囲５５内にいずれの施設も位置しない場合では、前記Ｓ９の施設の検索処理によってはいずれの施設（Ａ）〜（Ｃ）も検索されない。従って、運転者の注視する施設は特定されない。
【００５７】
尚、検索距離の最大値は、運転者の視野角と車両から注視点までの距離によって決定される。ここで、図９は検索距離の最大値の決定方法について示した図である。
図９に示すように、車両５１を運転する運転者５３の視野角が２αであって、車両５１から注視点Ｃまでの距離がＬである場合には、検索距離の最大値は“Ｌ×ｔａｎα”と決定する。尚、運転者の視野角又は車両から注視点までの距離のいずれか一方のみに基づいて検索距離の最大値を決定しても良い。
【００５８】
それに対して、前記Ｓ１３において検索距離が最大距離を越えていないと判定された場合（Ｓ１３：ＮＯ）にはＳ９へと戻り、拡張した検索距離に基づいて、再度、施設の検索が行われる。尚、上記Ｓ９〜Ｓ１３が施設特定手段の処理に相当する。
【００５９】
以上詳細に説明した通り、本実施形態に係るナビゲーション装置１及びナビゲーション装置１による施設特定方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、異なる２以上のタイミングにおいて車両を運転する運転者の複数の視線方向を車内カメラ２２の撮像画像から検出し（Ｓ３、Ｓ６）、検出された運転者の複数の視線方向が交差する地点から運転者の注視点を検出し（Ｓ８）、検出された注視点から所定の検索距離内に位置する施設を運転者の注視する施設として特定する（Ｓ９〜Ｓ１３）ので、運転者の視線方向に対して複数の施設がある場合であっても、複数の視線方向から運転者の注視する施設を正確に特定することが可能となる。従って、例えば運転者の注視する施設を案内する際には、運転者にとって不要な施設情報については案内を抑制することができる。また、運転者の注視する施設をナビゲーション装置１の目的地に設定する場合には、運転者の希望する目的地を複雑な操作を課すことなく設定することができ、利便性が向上する。
また、車両の現在位置や方位や地図上の施設の位置情報を用いることによって、車両に対する相対的な運転者の視線方向から絶対的な運転者の視線方向の検出が可能となり、運転者の注視する施設を地図上で正確に特定することができる。
また、運転者の注視点を基準として周囲に位置する施設の検索を行うので、注視点を検出する際に誤差が生じたとしても、運転者の注視する施設を的確に検出することが可能となる。
また、施設を検索する検索範囲を徐々に拡大させるので、注視点を検出する際の誤差が大きくなったとしても、運転者の注視する施設を的確に検出することが可能となる。また、運転者の視野や注視点までの距離に基づいて最大の検索範囲を設定するので、検出された注視点に誤差が生じた場合であっても、誤った施設が運転者の注視する施設として特定されることを防止できる。
また、視線方向の交点を運転者の注視点として検出するので、運転者が同一の施設を注視し続けている場合において、運転者の複数の視線方向から運転者の注視する施設を確実に特定する事が可能となる。
【００６０】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では運転者の注視した施設を検出することとしているが、運転者以外でも助手席や後部座席に着座する乗員の注視した施設を検出することとしても良い。
【００６１】
また、本実施形態では運転者の視線方向を検出するＡ地点とＢ地点は、所定時間（例えば、５ｓｅｃ）だけ時刻の異なるタイミングとしているが、所定距離（例えば、１００ｍ）だけ走行距離の異なるタイミングとしても良い。また、運転者の操作に基づいてＡ地点とＢ地点を特定しても良い。
【図面の簡単な説明】
【００６２】
【図１】本実施形態に係るナビゲーション装置の概略構成図である。
【図２】地図情報ＤＢに記憶される施設データの一例を示した図である。
【図３】視線方向ＤＢに記憶される視線方向データの一例を示した図である。
【図４】本実施形態に係る施設特定処理プログラムのフローチャートである。
【図５】運転者の注視点の検出方法を説明した説明図である。
【図６】注視点を中心とした検索範囲内に一の施設のみが位置する場合を示した図である。
【図７】注視点を中心とした検索範囲内に２以上の施設が位置する場合を示した図である。
【図８】運転者が注視する施設を特定できない場合を示した図である。
【図９】検索距離の最大値の決定方法について示した図である。
【符号の説明】
【００６３】
１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
３６ 地図情報ＤＢ
３７ 視線方向ＤＢ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ 車両
５３ 運転者
【技術分野】
【０００１】
本発明は、車両の乗員が注視する施設を特定する施設特定装置、施設特定方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、車載用のナビゲーション装置、ＰＤＡ（Personal Digital Assistant）や携帯電話機などの携帯情報機器、パーソナルコンピュータ等では、地図情報として一般道路及び高速道路等の道路や施設名称等を各種記憶デバイスに記憶するか、又はサーバ等からダウンロードすることにより、利用者に対して所望のエリアの地図を表示することが可能となっている。
【０００３】
更に、従来のナビゲーション装置等では地図を表示するのみでなく、利用者の利便性をより向上させる為に、表示された道路の近辺に存在する施設（ショッピングセンタ、レストラン等）に関する情報（施設名称、提供する料理の種類、営業時間等）を案内することについても行われていた。しかし、車両周辺に施設が多数ある場合に、その全ての施設についての案内を行うことは乗員にとって煩わしいものとなっていた。
【０００４】
そこで、乗員が案内を必要とする施設を特定する技術として、例えば特開平１１−２８８３４１号公報には、乗員の視線方向を検出し、その視線方向から乗員の注視する施設を乗員が案内を必要とする施設として特定して、その施設の案内を行うナビゲーション装置について記載されている。
【特許文献１】特開平１１−２８８３４１号公報（第４頁〜第６頁、図８、図９）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、前記した特許文献１に記載されたナビゲーション装置では、乗員の一の視線方向のみに基づいて乗員の注視する施設を特定するので、乗員から注視する施設までの距離については特定できない。その結果、乗員の視線方向上に異なる距離で複数の施設が位置する場合には、視線方向にある複数の施設の内、どの施設が実際に乗員が注視する施設であるのかを判定することは難しい。
【０００６】
本発明は前記従来における問題点を解消するためになされたものであり、複数の視線方向から乗員が注視する施設を正確に特定することが可能となり、例えば、乗員の注視する施設を案内する際には、乗員にとって不要な施設情報については案内を抑制することができ、また、乗員の注視する施設をナビゲーションシステムの目的地に設定する場合には、乗員の希望する目的地を複雑な操作を課すことなく設定することができ、利便性を向上させた施設特定装置、施設特定方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため本願の請求項１に係る施設特定装置（１）は、車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出手段（１３）と、前記視線方向検出手段により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出手段（１３）と、前記注視点検出手段により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定手段（１３）と、を有することを特徴とする。
尚、「異なるタイミング」とは、時間を基準としたタイミングでも良いし、車両の走行距離を基準としたタイミングでも良い。また、乗員の操作に基づくタイミングでも良い。
【０００８】
また、請求項２に係る施設特定装置（１）は、請求項１に記載の施設特定装置であって、車両の現在位置を検出する車両位置検出手段（１３）と、地図上における施設の位置を取得する施設位置取得手段（１３）と、を有し、前記注視点検出手段（１３）は、前記車両の現在位置と前記乗員の複数の視線方向とに基づいて乗員の注視点を検出し、前記施設特定手段（１３）は、前記地図上における施設の位置と前記乗員の注視点に基づいて乗員の注視する施設を特定することを特徴とする。
【０００９】
また、請求項３に係る施設特定装置（１）は、請求項１又は請求項２に記載の施設特定装置であって、前記施設特定手段（１３）は、前記注視点検出手段（１３）により検出された乗員の注視点から所定の検索距離内にある施設を検索する施設検索手段（１３）を備え、前記施設検索手段によって検索された施設を乗員の注視する施設として特定することを特徴とする。
【００１０】
また、請求項４に係る施設特定装置（１）は、請求項３に記載の施設特定装置であって、前記施設特定手段（１３）は、前記施設検索手段（１３）によって前記注視点検出手段（１３）により検出された乗員の注視点から前記検索距離内に施設が検索できなかった場合に、前記検索距離を拡張する検索範囲拡張手段（１３）を備え、前記検索範囲拡張手段は、前記検索距離を乗員の視野及び又は車両から注視点までの距離に基づいて設定された最大距離まで拡張することを特徴とする。
【００１１】
また、請求項５に係る施設特定装置（１）は、請求項１乃至請求項４のいずれかに記載の施設特定装置であって、前記注視点検出手段（１３）は、前記乗員の複数の視線方向が交差する地点を乗員の注視点として検出することを特徴とする。
【００１２】
また、請求項６に係る施設特定方法は、車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出ステップ（Ｓ３、Ｓ６）と、前記視線方向検出ステップにより検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出ステップ（Ｓ８）と、前記注視点検出ステップにより検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定ステップ（Ｓ９〜Ｓ１３）と、を有することを特徴とする。
【００１３】
更に、請求項７に係るコンピュータプログラムは、コンピュータに搭載され、車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出機能（Ｓ３、Ｓ６）と、前記視線方向検出機能により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出機能（Ｓ８）と、前記注視点検出機能により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定機能（Ｓ９〜Ｓ１３）と、を実行させることを特徴とする。
【発明の効果】
【００１４】
前記構成を有する請求項１に記載の施設特定装置によれば、乗員の視線方向に対して複数の施設がある場合であっても、複数の視線方向から乗員が注視する施設を正確に特定することが可能となる。従って、例えば乗員の注視する施設を案内する際には、乗員にとって不要な施設情報については案内を抑制することができる。また、乗員の注視する施設をナビゲーションシステムの目的地に設定する場合には、乗員の希望する目的地を複雑な操作を課すことなく設定することができ、利便性が向上する。
【００１５】
また、請求項２に記載の施設特定装置によれば、車両の現在位置や方位や地図上の施設の位置情報を用いることによって、車両に対する相対的な乗員の視線方向から絶対的な乗員の視線方向の検出が可能となり、乗員の注視する施設を地図上で正確に特定することができる。
【００１６】
また、請求項３に記載の施設特定装置によれば、乗員の注視点を基準として周囲に位置する施設の検索を行うので、注視点を検出する際に誤差が生じたとしても、乗員の注視する施設を的確に検出することが可能となる。
【００１７】
また、請求項４に記載の施設特定装置によれば、施設を検索する検索範囲を徐々に拡大させるので、注視点を検出する際の誤差が大きくなったとしても、乗員の注視する施設を的確に検出することが可能となる。また、乗員の視野や注視点までの距離に基づいて最大の検索範囲を設定するので、検出された注視点に誤差が生じた場合であっても、誤った施設が乗員の注視する施設として特定されることを防止できる。
【００１８】
また、請求項５に記載の施設特定装置によれば、乗員が同一の施設を注視し続けている場合において、乗員の複数の視線方向から乗員の注視する施設を確実に特定する事が可能となる。
【００１９】
また、請求項６に記載の施設特定方法によれば、乗員の視線方向に対して複数の施設がある場合であっても、複数の視線方向から乗員が注視する施設を正確に特定することが可能となる。
【００２０】
更に、請求項７に記載のコンピュータプログラムによれば、乗員の視線方向に対して複数の施設がある場合であっても、複数の視線方向から乗員が注視する施設を正確に特定するようにコンピュータを制御させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る車両用情報案内装置についてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１の概略構成図である。
【００２２】
図１に示すように本実施形態に係るナビゲーション装置１は、自車の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ（視線方向検出手段、注視点検出手段、施設特定手段、車両位置検出手段、施設位置取得手段、施設検索手段、検索範囲拡張手段）１３と、操作者からの操作を受け付ける操作部１４と、操作者に対して自車周辺の地図や施設に関する施設情報を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや施設に関する案内音声を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、交通情報センタ等の情報センタとの間で通信を行う通信モジュール１８と、運転者の発話音声を解析する音声認識部１９とから構成されている。また、ナビゲーションＥＣＵ１３には、自車の走行速度を検出する車速センサ２０と、運転者の発話音声を録取するマイク２１と、車内で運転者の顔を撮像する車内カメラ２２が接続される。
【００２３】
以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ３１、地磁気センサ３２、距離センサ３３、ステアリングセンサ３４、方位検出部としてのジャイロセンサ３５、高度計（図示せず）等からなり、現在の自車の位置、方位等を検出することが可能となっている。
【００２４】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３６、後述のナビゲーションＥＣＵ１３により検出された運転者の視線方向を累積的に記憶する視線方向ＤＢ３７、所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。
【００２５】
ここで、地図情報ＤＢ３６は、経路案内、交通情報案内及び地図表示に必要なデータが記録されている。具体的には、道路（リンク）形状に関するリンクデータ３８、ノード点に関するノードデータ、各交差点に関する交差点データ、経路を探索するための探索データ、施設に関する施設データ（ＰＯＩ（Point of Interest）情報）３９、地点を検索するための検索データ、地図、道路、交通情報等の画像を液晶ディスプレイ１５に描画するための画像描画データ等から構成されている。
【００２６】
ここで、特に、本実施形態に係るナビゲーション装置１に記憶される施設データ３９について図２を用いて説明する。
図２に示すように施設データ３９は、地図上に位置する各種施設について、識別情報としての施設ＩＤと、施設の位置を特定する位置座標（ｘ、ｙ）と、施設のジャンル（飲食店、イタリア料理、中華料理、書店、コンビニ等）と、施設の営業時間等が記憶される。
そして、後述するようにナビゲーションＥＣＵ１３は施設データ３９の特に施設の位置座標に基づいて、運転者が注視する施設を特定する。また、運転者が注視する施設が特定された場合には、その施設に関するジャンルや営業時間等に関する情報を液晶ディスプレイ１５に表示したり、音声でスピーカ１６から出力することにより運転者に施設の案内を行う。
【００２７】
また、視線方向ＤＢ３７は、運転者の視線方向の検出結果が検出時刻とともに記憶されるＤＢである。具体的には、車内カメラ２２で撮像した撮像画像に基づいてナビゲーションＥＣＵ１３により検出された運転者の視線方向が、車両方位に対する相対角度（視線角度）によって相対的に特定され、ＧＰＳ３１やジャイロセンサ３５等によって検出された現在時刻、車両の現在位置、方位とともに視線方向データとして記憶される。尚、運転者の視線方向は絶対方位によって特定しても良い。
【００２８】
ここで、特に、本実施形態に係るナビゲーション装置１の視線方向ＤＢ３７に記憶される視線方向データについて図３の具体例を用いて説明する。
図３では、車両５１が道路５２を走行中の場合において、所定のタイミングでの車両５１を運転する運転者５３の視線方向Ｅを特定する視線方向データを示す。そして、視線方向データは、現在の時刻（視線方向Ｅを検出した時刻）と、車両の現在位置（Ｘ，Ｙ）と、車両の絶対方位φと、車両方位に対する運転者５３の視線方向Ｅの相対角度（視線角度）θとから構成される。そして、上記視線方向データに基づいて運転者５３の絶対的な視線方向Ｅが特定可能となる。
【００２９】
一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、目的地が選択された場合に現在位置から目的地までの誘導経路を設定する誘導経路設定処理や運転者の注視する施設を特定する施設特定処理（図４参照）等のナビゲーション装置１の全体の制御を行う電子制御ユニットである。そして、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、施設特定処理プログラム（図４参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記録するフラッシュメモリ４４等の内部記憶装置を備えている。
【００３０】
操作部１４は、走行開始時の現在位置を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。また、ナビゲーション装置１で音声認識を開始する際に操作されるトークスイッチも操作部１４に含まれる。
そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。
【００３１】
また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、現在位置から目的地までの誘導経路、誘導経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。
【００３２】
また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
【００３３】
また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて地図情報ＤＢ３６の更新等が行われる。
【００３４】
また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタやプローブセンタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。
【００３５】
また、音声認識部１９は、操作部１４のトークスイッチがＯＮされている間にマイク２１によって録取された音声を解析する装置である。そして、本実施形態に係るナビゲーション装置１では、音声認識部１９によって運転者の発声した音声が認識されたことをトリガとして、運転者の注視する施設の特定が行われる。
【００３６】
一方、車速センサ２０は、車両の車輪の回転に応じて車速パルスを発生させ、車両の移動距離や車速を検出するセンサである。
【００３７】
また、マイク２１は、音を電気信号に変換する機器であり、電気信号に変換された音は音声認識部１９へと送信される。ここで、マイク２１はインストルメントパネルの上面に取り付けられ、集音方向が運転席方向となるように設置される。
【００３８】
また、車内カメラ２２は、例えばＣＣＤ等の固体撮像素子を用いたものであり、インストルメントパネルの上面に取り付けられ、視線方向を運転席に向けて設置される。そして、運転席に座った運転者の顔を撮像する。また、ナビゲーションＥＣＵ１３は後述するように撮像された撮像画像から運転者の視線方向を検出し、検出した運転者の視線方向から運転者が注視する施設を特定する。
【００３９】
続いて、前記構成を有する本実施形態に係るナビゲーション装置１においてナビゲーションＥＣＵ１３が実行する施設特定処理プログラムについて図４に基づき説明する。図４は本実施形態に係る施設特定処理プログラムのフローチャートである。ここで、施設特定処理プログラムは車両のイグニションがＯＮされた後に所定間隔（例えば２００ｍｓ毎）で実行され、運転者が注視する施設を特定するプログラムである。尚、以下の図４にフローチャートで示されるプログラムは、ナビゲーション装置１が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。
【００４０】
先ず、施設特定処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ４１はメモリの初期化などの初期化処理を実行する。
【００４１】
次に、Ｓ２でＣＰＵ４１は運転者の注視する施設の特定を開始する開始トリガが入力されたか否かを判定する。ここで、本実施形態では、トークスイッチがＯＮされて運転者による発話を音声認識部１９で認識した場合に開始トリガが入力されたと判定する。尚、トークスイッチがＯＮされたことのみを開始トリガの入力の条件としても良い。また、特定の発話内容（例えば、「あの店は？」）を認識したことを開始トリガの入力の条件としても良い。
【００４２】
その結果、開始トリガが入力されたと判定された場合（Ｓ２：ＹＥＳ）にはＳ３へと移行する。一方、開始トリガが入力されていないと判定された場合（Ｓ２：ＮＯ）には、開始トリガが入力されるまで待機する。
【００４３】
Ｓ３においてＣＰＵ４１は、ＧＰＳ３１により自車の現在位置（仮にＡ地点とする）での位置座標（Ｘ１，Ｙ１）を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位φ１を検出する。
更に、Ｓ３でＣＰＵ４１は自車の現在位置（Ａ地点）での運転者の視線方向ＥＡを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向ＥＡを検出する。尚、視線方向ＥＡは図５に示すように自車方位φ１に対する相対角度（視線角度）θ１によって相対的に特定される。
【００４４】
そして、Ｓ４でＣＰＵ４１は、前記Ｓ３で検出された自車位置（Ｘ１，Ｙ１）、自車方位φ１、視線角度θ１を含むＡ地点での視線方向データを視線方向ＤＢ３７に記憶する。
【００４５】
続いて、Ｓ５でＣＰＵ４１は所定時間Ｔ（例えば２ｓｅｃ）待機する。
【００４６】
そして、Ｓ６においてＣＰＵ４１は、ＧＰＳ３１により自車の現在位置（仮にＢ地点とする）での位置座標（Ｘ２，Ｙ２）を検出するとともに、地磁気センサ３２やジャイロセンサ３５により自車の絶対方位φ２を検出する。
更に、Ｓ６でＣＰＵ４１は自車の現在位置（Ｂ地点）での運転者の視線方向ＥＢを検出する。具体的には、車内カメラ２２によって運転席に座った運転者の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きや瞳孔の位置を検出する。そして、検出された運転者の顔の向きや瞳孔の位置、車内カメラ２２の設置位置や設置角度から運転者の視線方向ＥＢを検出する。尚、視線方向ＥＢは図５に示すように自車方位φ２に対する相対角度（視線角度）θ２によって相対的に特定される。また、上記Ｓ３及びＳ６が車両位置検出手段及び視線方向検出手段の処理に相当する。
【００４７】
そして、Ｓ７でＣＰＵ４１は、前記Ｓ６で検出された自車位置（Ｘ２，Ｙ２）、自車方位φ２、視線角度θ２を含むＢ地点での視線方向データを視線方向ＤＢ３７に記憶する。
【００４８】
その後、Ｓ８でＣＰＵ４１は、前記Ｓ４で記憶されたＡ地点での視線方向データと前記Ｓ７で記憶されたＢ地点での視線方向データとに基づいて、運転者が注視する注視点Ｃ（ＸＸ，ＹＹ）を検出する。具体的に、本実施形態では図５に示すように運転者が同一の注視点Ｃを見続けると仮定し、異なるタイミング（本実施形態では５ｓｅｃ間隔）で検出されたＡ地点とＢ地点での運転者の視線方向ＥＡ，ＥＢが交差する地点の座標を、三角測量による位置測定技術を用いて算出する。そして、算出された地点を運転者が注視する注視点Ｃ（ＸＸ，ＹＹ）として検出する。尚、上記Ｓ８が注視点検出手段の処理に相当する。
【００４９】
続いて、Ｓ９でＣＰＵ４１は、前記Ｓ８で検出された注視点Ｃと、地図情報ＤＢ３６から取得した注視点周辺の施設の位置座標に基づいて、注視点Ｃから所定の検索距離以内（例えば、１０ｍ〜５０ｍ）にある施設を検索する。尚、検索距離は初期段階では最も短い最短距離（例えば１０ｍ）であり、その後に検索範囲（注視点Ｃを中心に半径を検索距離とした円形範囲）内に施設が位置しないと判定された場合に後述のように最大距離（例えば５０ｍ）まで徐々に拡大される（Ｓ１２）。尚、上記Ｓ９が施設位置取得手段及び施設検索手段の処理に相当する。
【００５０】
そして、Ｓ１０でＣＰＵ４１は、注視点Ｃから現在の検索距離以内で施設が検索できたか否か判定する。その結果、現在の検索距離で施設が検索できたと判定された場合（Ｓ１０：ＹＥＳ）には、Ｓ１１へと移行する。
【００５１】
Ｓ１１においてＣＰＵ４１は、前記Ｓ９で検索された施設を運転者の注視する施設として特定する。そして、特定した施設に対する案内を液晶ディスプレイ１５やスピーカ１６を用いて行う。また、特定した施設をナビゲーション装置１の目的地に設定しても良い。
【００５２】
ここで、図６及び図７を用いて上記Ｓ９〜Ｓ１１で実行される運転者の注視する施設の検索処理及び特定処理について、より詳細に説明する。
図６は注視点Ｃを中心とした検索範囲５５内に一の施設のみが位置する場合を示した図である。そして、図６に示す状況で前記Ｓ９の施設の検索処理が行われると、注視点Ｃを中心とした検索範囲５５内において施設（Ｂ）のみが検索される。従って、前記Ｓ１１では施設（Ｂ）が運転者の注視する施設として特定される。
【００５３】
図７は注視点Ｃを中心とした検索範囲５５内に２以上の施設が位置する場合を示した図である。そして、図７に示す状況で前記Ｓ９の施設の検索処理が行われると、注視点Ｃを中心とした検索範囲５５内において施設（Ａ）と施設（Ｂ）が検索される。従って、前記Ｓ１１では施設（Ａ）と施設（Ｂ）が運転者の注視する施設として特定される。尚、検索範囲内に２以上の施設が位置する場合には、注視点に最も近い施設（図７では施設（Ｂ））のみを運転者の注視する施設として特定しても良い。
【００５４】
一方、現在の検索距離では施設が検索できないと判定された場合（Ｓ１０：ＮＯ）には、検索距離を所定距離（例えば１０ｍ）だけ拡張する（Ｓ１２）。尚、上記Ｓ１２が検索範囲拡張手段の処理に相当する。
【００５５】
更に、Ｓ１３においてＣＰＵ４１は、その拡張された検索距離が最大距離（例えば５０ｍ）を越えたか否か判定する。そして、検索距離が最大距離を越えたと判定された場合（Ｓ１３：ＹＥＳ）には、運転者が注視する施設を特定することなく、当該施設特定処理プログラムを終了する。
【００５６】
ここで、図８は運転者が注視する施設を特定できない場合を示した図である。図８に示すように、検索距離が最大距離となった状態で検索範囲５５内にいずれの施設も位置しない場合では、前記Ｓ９の施設の検索処理によってはいずれの施設（Ａ）〜（Ｃ）も検索されない。従って、運転者の注視する施設は特定されない。
【００５７】
尚、検索距離の最大値は、運転者の視野角と車両から注視点までの距離によって決定される。ここで、図９は検索距離の最大値の決定方法について示した図である。
図９に示すように、車両５１を運転する運転者５３の視野角が２αであって、車両５１から注視点Ｃまでの距離がＬである場合には、検索距離の最大値は“Ｌ×ｔａｎα”と決定する。尚、運転者の視野角又は車両から注視点までの距離のいずれか一方のみに基づいて検索距離の最大値を決定しても良い。
【００５８】
それに対して、前記Ｓ１３において検索距離が最大距離を越えていないと判定された場合（Ｓ１３：ＮＯ）にはＳ９へと戻り、拡張した検索距離に基づいて、再度、施設の検索が行われる。尚、上記Ｓ９〜Ｓ１３が施設特定手段の処理に相当する。
【００５９】
以上詳細に説明した通り、本実施形態に係るナビゲーション装置１及びナビゲーション装置１による施設特定方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、異なる２以上のタイミングにおいて車両を運転する運転者の複数の視線方向を車内カメラ２２の撮像画像から検出し（Ｓ３、Ｓ６）、検出された運転者の複数の視線方向が交差する地点から運転者の注視点を検出し（Ｓ８）、検出された注視点から所定の検索距離内に位置する施設を運転者の注視する施設として特定する（Ｓ９〜Ｓ１３）ので、運転者の視線方向に対して複数の施設がある場合であっても、複数の視線方向から運転者の注視する施設を正確に特定することが可能となる。従って、例えば運転者の注視する施設を案内する際には、運転者にとって不要な施設情報については案内を抑制することができる。また、運転者の注視する施設をナビゲーション装置１の目的地に設定する場合には、運転者の希望する目的地を複雑な操作を課すことなく設定することができ、利便性が向上する。
また、車両の現在位置や方位や地図上の施設の位置情報を用いることによって、車両に対する相対的な運転者の視線方向から絶対的な運転者の視線方向の検出が可能となり、運転者の注視する施設を地図上で正確に特定することができる。
また、運転者の注視点を基準として周囲に位置する施設の検索を行うので、注視点を検出する際に誤差が生じたとしても、運転者の注視する施設を的確に検出することが可能となる。
また、施設を検索する検索範囲を徐々に拡大させるので、注視点を検出する際の誤差が大きくなったとしても、運転者の注視する施設を的確に検出することが可能となる。また、運転者の視野や注視点までの距離に基づいて最大の検索範囲を設定するので、検出された注視点に誤差が生じた場合であっても、誤った施設が運転者の注視する施設として特定されることを防止できる。
また、視線方向の交点を運転者の注視点として検出するので、運転者が同一の施設を注視し続けている場合において、運転者の複数の視線方向から運転者の注視する施設を確実に特定する事が可能となる。
【００６０】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では運転者の注視した施設を検出することとしているが、運転者以外でも助手席や後部座席に着座する乗員の注視した施設を検出することとしても良い。
【００６１】
また、本実施形態では運転者の視線方向を検出するＡ地点とＢ地点は、所定時間（例えば、５ｓｅｃ）だけ時刻の異なるタイミングとしているが、所定距離（例えば、１００ｍ）だけ走行距離の異なるタイミングとしても良い。また、運転者の操作に基づいてＡ地点とＢ地点を特定しても良い。
【図面の簡単な説明】
【００６２】
【図１】本実施形態に係るナビゲーション装置の概略構成図である。
【図２】地図情報ＤＢに記憶される施設データの一例を示した図である。
【図３】視線方向ＤＢに記憶される視線方向データの一例を示した図である。
【図４】本実施形態に係る施設特定処理プログラムのフローチャートである。
【図５】運転者の注視点の検出方法を説明した説明図である。
【図６】注視点を中心とした検索範囲内に一の施設のみが位置する場合を示した図である。
【図７】注視点を中心とした検索範囲内に２以上の施設が位置する場合を示した図である。
【図８】運転者が注視する施設を特定できない場合を示した図である。
【図９】検索距離の最大値の決定方法について示した図である。
【符号の説明】
【００６３】
１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
３６ 地図情報ＤＢ
３７ 視線方向ＤＢ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ 車両
５３ 運転者
【特許請求の範囲】
【請求項１】
車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出手段と、
前記視線方向検出手段により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出手段と、
前記注視点検出手段により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定手段と、を有することを特徴とする施設特定装置。
【請求項２】
車両の現在位置を検出する車両位置検出手段と、
地図上における施設の位置を取得する施設位置取得手段と、を有し、
前記注視点検出手段は、前記車両の現在位置と前記乗員の複数の視線方向とに基づいて乗員の注視点を検出し、
前記施設特定手段は、前記地図上における施設の位置と前記乗員の注視点に基づいて乗員の注視する施設を特定することを特徴とする請求項１に記載の施設特定装置。
【請求項３】
前記施設特定手段は、
前記注視点検出手段により検出された乗員の注視点から所定の検索距離内にある施設を検索する施設検索手段を備え、
前記施設検索手段によって検索された施設を乗員の注視する施設として特定することを特徴とする請求項１又は請求項２に記載の施設特定装置。
【請求項４】
前記施設特定手段は、
前記施設検索手段によって前記注視点検出手段により検出された乗員の注視点から前記検索距離内に施設が検索できなかった場合に、前記検索距離を拡張する検索範囲拡張手段を備え、
前記検索範囲拡張手段は、前記検索距離を乗員の視野及び又は車両から注視点までの距離に基づいて設定された最大距離まで拡張することを特徴とする請求項３に記載の施設特定装置。
【請求項５】
前記注視点検出手段は、前記乗員の複数の視線方向が交差する地点を乗員の注視点として検出することを特徴とする請求項１乃至請求項４のいずれかに記載の施設特定装置。
【請求項６】
車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出ステップと、
前記視線方向検出ステップにより検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出ステップと、
前記注視点検出ステップにより検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定ステップと、を有することを特徴とする施設特定方法。
【請求項７】
コンピュータに搭載され、
車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出機能と、
前記視線方向検出機能により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出機能と、
前記注視点検出機能により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定機能と、
を実行させることを特徴とするコンピュータプログラム。
【請求項１】
車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出手段と、
前記視線方向検出手段により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出手段と、
前記注視点検出手段により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定手段と、を有することを特徴とする施設特定装置。
【請求項２】
車両の現在位置を検出する車両位置検出手段と、
地図上における施設の位置を取得する施設位置取得手段と、を有し、
前記注視点検出手段は、前記車両の現在位置と前記乗員の複数の視線方向とに基づいて乗員の注視点を検出し、
前記施設特定手段は、前記地図上における施設の位置と前記乗員の注視点に基づいて乗員の注視する施設を特定することを特徴とする請求項１に記載の施設特定装置。
【請求項３】
前記施設特定手段は、
前記注視点検出手段により検出された乗員の注視点から所定の検索距離内にある施設を検索する施設検索手段を備え、
前記施設検索手段によって検索された施設を乗員の注視する施設として特定することを特徴とする請求項１又は請求項２に記載の施設特定装置。
【請求項４】
前記施設特定手段は、
前記施設検索手段によって前記注視点検出手段により検出された乗員の注視点から前記検索距離内に施設が検索できなかった場合に、前記検索距離を拡張する検索範囲拡張手段を備え、
前記検索範囲拡張手段は、前記検索距離を乗員の視野及び又は車両から注視点までの距離に基づいて設定された最大距離まで拡張することを特徴とする請求項３に記載の施設特定装置。
【請求項５】
前記注視点検出手段は、前記乗員の複数の視線方向が交差する地点を乗員の注視点として検出することを特徴とする請求項１乃至請求項４のいずれかに記載の施設特定装置。
【請求項６】
車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出ステップと、
前記視線方向検出ステップにより検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出ステップと、
前記注視点検出ステップにより検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定ステップと、を有することを特徴とする施設特定方法。
【請求項７】
コンピュータに搭載され、
車両の乗員の視線方向を異なるタイミングで複数検出する視線方向検出機能と、
前記視線方向検出機能により検出された乗員の複数の視線方向から乗員の注視点を検出する注視点検出機能と、
前記注視点検出機能により検出された乗員の注視点に基づいて乗員の注視する施設を特定する施設特定機能と、
を実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−３１９４３（Ｐ２００９−３１９４３Ａ）
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願番号】特願２００７−１９３８１５（Ｐ２００７−１９３８１５）
【出願日】平成１９年７月２５日（２００７．７．２５）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願日】平成１９年７月２５日（２００７．７．２５）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]