車両用情報表示システム
【課題】 運転者が所望する適切な施設を運転者に直感的に知らしめることが可能な車両用情報表示システムを提供することを目的とする。
【解決手段】 車両用情報表示システム１００は、車両に取り付けられ、ＨＭＩ（Human Machine Interface）コントローラ７及びディスプレイコントローラ１，ネットワークハードディスク装置３，スピーカコントローラ５２を備えており、主に、運転者に経路案内を行うナビゲーション機能や運転者が所望する施設の案内を行う施設案内機能を実現する。
【解決手段】 車両用情報表示システム１００は、車両に取り付けられ、ＨＭＩ（Human Machine Interface）コントローラ７及びディスプレイコントローラ１，ネットワークハードディスク装置３，スピーカコントローラ５２を備えており、主に、運転者に経路案内を行うナビゲーション機能や運転者が所望する施設の案内を行う施設案内機能を実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定条件を具備する施設を運転者に認識させる車両用情報表示システムに関する。
【背景技術】
【０００２】
一般に、車両用のナビゲーション装置は、運転者の所望する施設（レストラン等）の検索を行い、走行中に画像表示や音声等によって施設の接近を運転者に案内する機能を有する。
【０００３】
【特許文献１】特開２００４−２１７１８８号公報
【特許文献２】特開平７−２５７２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、施設（レストラン等）が運転者にとって不慣れな土地にあると、正確な位置を掴めずに通り過ぎてしまうことがある。また、いざ施設に到着してみたら、既に営業時間が終了していたり、自分の持っているカードが使えなかったりという事態に直面し、施設を探し直す羽目になることが少なくない。
【０００５】
本発明は、上記問題を鑑みて為されたものであり、運転者が所望する適切な施設を運転者に直感的に知らしめることが可能な車両用情報表示システムを提供することを目的とする。
【課題を解決するための手段及び発明の効果】
【０００６】
上記課題を解決するため、請求項１の車両用情報表示システムは、地図データを記憶する地図データ記憶手段と、地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、運転者の所望する施設条件が入力される入力手段と、該施設条件を検索条件として、それに適合する施設を施設情報記憶手段から検索して対象施設とする対象施設検索部と、対象施設の地図データ上での位置を特定する施設位置特定部と、画像を表示する表示手段と、施設条件を表す施設条件表示を対象施設の位置と対応付けて表示手段に表示させる表示制御部と、を備えることを特徴とする。これによると、運転者から入力された施設条件に適合する施設を検索し、施設条件表示を対象施設の位置と対応付けて表示させることで、運転者に所望する対象施設を直感的に知らしめることができる。
【０００７】
請求項２の車両用情報表示システムでは、入力手段は音声入力手段により構成され、該音声入力手段から入力された運転者の音声を認識する音声認識部を備えるように構成できる。これによると、運転者は音声により施設条件を入力できるので、運転者にとって実際の対話により近い形式で検索条件を調整することができる。
【０００８】
請求項３の車両用情報表示システムでは、運転者に対して施設条件の特定または絞込みを促す通知を行うための通知手段と、入力手段及び通知手段により運転者との対話形式で検索条件を調整する検索条件調整部とを備えるように構成できる。これによると、運転者に対して施設条件の特定または絞込みを促す通知を行い、運転者との対話形式で検索条件を調整することにより、運転者が所望する適切な施設を検索することができる。
【０００９】
請求項４の車両用情報表示システムでは、検索条件調整部は、対象施設検索部により検索された対象施設の数が所定範囲から外れている場合に、運転者に対して施設条件の再入力を促す通知を通知手段に行わせるように構成できる。これによると、対象施設の数が過度に少ない場合や多い場合に施設条件の再入力を促す通知を行うことで、より適切な施設を運転者に提供できる。
【００１０】
請求項５の車両用情報表示システムでは、通知手段は音声通知手段により構成されるようにできる。これによると、運転者は音声により通知が行われるので、運転者にとって実際の対話により近い形式で検索条件を調整することができる。
【００１１】
請求項６の車両用情報表示システムでは、表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段により構成できる。これによると、施設条件表示が車両のウインドシールドに表示されるので、運転者は施設の位置を直感的に把握することができる。
【００１２】
請求項７の車両用情報表示システムでは、車両の現在位置を検出する位置検出手段と、地図データに基づいて車両と対象施設との位置関係から該対象施設が運転者から視認されるか否かを判定する視認可否判定部とを備え、表示制御部は、視認可否判定部により対象施設が運転者から視認されると判定された場合に、施設条件を表す施設条件表示を対象施設の位置と対応付けて表示手段に表示させるように構成できる。これによると、運転者が対象施設を視認できると判定した場合に施設条件表示の表示を行うので、運転者は車外の情景から対象施設を直感的に把握することができる。
【００１３】
請求項８の車両用情報表示システムでは、運転者を撮影する運転者撮像手段と、運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部とを備え、地図データは３次元地図データであり、視認可否判定部は、車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を３次元地図データから算出し、当該模擬情景画像から対象施設が運転者から視認されるか否かを判定し、表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段であり、表示制御部は、視認可否判定部により対象施設が運転者から視認されると判定された場合に、運転者から見て対象施設の近傍となるウインドシールドの領域に施設条件表示をウインドシールド表示手段に表示させるように構成できる。これによると、運転者の視線方向を検出するとともに、３次元地図データから運転者が見ていると想定される模擬的な情景の画像（以下、模擬情景画像という）を算出し、それに基づいて、施設条件表示を運転者から見て対象施設の近傍となるウインドシールドの領域に表示することで、運転者は運転中に注視すべき方向から視線を大きく外すことなく、施設の位置を直感的に把握することができる。
【００１４】
請求項９の車両用情報表示システムでは、車外を撮影する車外撮像手段と、視線方向検出部により得られる運転者の視線方向及び車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、模擬情景画像と実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、表示制御部は、該情景画像照合部により位置補正された模擬情景画像に基づいて表示制御を行うように構成できる。運転者が実際に見ている情景の画像（以下、実情景画像という）は車外を撮影する車外撮像手段によって得られることから、運転者が実際に見ている情景により近いものであり、これに模擬情景画像を照合させて位置補正を行うことで、施設条件表示の表示位置を精度良く設定できる。
【００１５】
請求項１０の車両用情報表示システムでは、表示制御部は、運転者から見て空となるウインドシールドの領域に施設条件表示を表示させるように構成できる。これによると、施設条件表示が運転者から見て空となる領域に表示されるので、表示が運転者にとって運転の邪魔になることを防ぐことができる。
【００１６】
請求項１１の車両用情報表示システムでは、表示制御部は、対象施設の手前に建物が存在する場合に、運転者から見て施設条件表示の一部が該手前の建物に隠れて見えるように該施設条件表示を表示させるように構成できる。これによると、施設条件表示の一部が手前の建物に隠れて見えるので、運転者はより直感的に施設の位置を把握することができる。
【００１７】
請求項１２の車両用情報表示システムでは、表示制御部は、視認可否判定部により対象施設が運転者から視認されないと判定された場合に、対象施設の方向を表す方向表示を表示させるように構成できる。これによると、対象施設が運転者から視認できない場合であっても、対象施設の方向を表す方向表示が表示されるので、運転者はより直感的に施設の位置を把握することができる。
【００１８】
請求項１３の車両用情報表示システムでは、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、当該距離が所定範囲内にある場合に、該対象施設が運転者から視認されるか否かを判定するように構成できる。これによると、対象施設が運転者から視認されるか否かの判定を、車両の現在位置から対象施設までの距離が所定範囲内にある場合にのみ行うので、例えば視認できないことが明らかなほど遠くの対象施設の判定を行うような無駄を省略できる。
【００１９】
請求項１４の車両用情報表示システムでは、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、表示制御部は、当該距離が所定範囲内にある場合に、対象施設の駐車場の入口を表す駐車場表示を表示させるように構成できる。これによると、駐車場表示が表示されるので、運転者は迷わず安全に駐車場に辿り付くことができる
【００２０】
請求項１５の車両用情報表示システムでは、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、表示制御部は、表示される施設条件表示の大きさ，明るさ，色，透明度等を当該距離に応じて変化させるように構成できる。これによると、距離に応じて施設条件表示の大きさ，明るさ，色，透明度等が変化することから、運転者はより直感的に施設の位置を把握することができる。
【００２１】
請求項１６の車両用情報表示システムでは、入力手段は運転者を撮影する運転者撮像手段により構成され、該運転者撮像手段により得られる運転者の画像から運転者が行う所定の動作を入力の合図として認識するジェスチャー認識部とを備えるように構成できる。これによると、運転者はジェスチャーによって容易に入力操作を行うことができる。
【発明を実施するための最良の形態】
【００２２】
（１）車両用情報表示システム
以下、本発明の車両用情報表示システムの実施形態を、図面を参照しながら説明する。車両用情報表示システム１００は、車両Ｃに取り付けられ（図１参照）、図２に示すようにＨＭＩ（Human Machine Interface）コントローラ７及びディスプレイコントローラ１，ネットワークハードディスク装置３（以下、単にＨＤＤ３という），スピーカコントローラ５２（以下、単にスピーカ５２という）を備えており、主に、運転者に経路案内を行うナビゲーション機能や運転者が所望する施設の案内を行う施設案内機能を実現する。具体的には、ＨＭＩコントローラ７は、エージェント機能と呼ばれる運転者との対話機能を持ち、運転者ＤＲの音声リクエストに回答を返すことができるようなっている。このような機能により、ＨＭＩコントローラ７は、運転者ＤＲが所望するレストラン等の施設の条件（施設条件：営業時間や使用可能なカードの種類等）を対話形式で特定または絞込んだ後、該当する施設の検索を行う。そして、ＨＭＩコントローラ７は検索された施設（対象施設ＢＬ）に関する情報をディスプレイコントローラ１に渡し、ディスプレイコントローラ１は、対象施設ＢＬの情報に基づいて、車両Ｃが対象施設ＢＬに近付くと車両ＣのウインドシールドＷＳに施設条件を表す施設条件表示ＤＩ（図９参照）を表示させることで、運転者ＤＲに対象施設ＢＬの位置を直感的に把握させる。以下、車両用情報表示システム１００の詳細な構成及び作動について説明する。
【００２３】
（２）ＨＭＩコントローラ
ＨＭＩコントローラ７の構成について説明する。図３は、ＨＭＩコントローラ７の電気的ブロック図を示すものである。ＨＭＩコントローラ７は、マイクロホン５３，操作スイッチ４１，運転者カメラ６２，通信Ｉ／Ｆ（インターフェース）７６及びこれらが接続された制御回路７０を備えている。
【００２４】
マイクロホン５３は、本発明の音声入力手段（入力手段）として機能するものであり、運転者の声（空気の振動）を電気信号に変換する周知のマイクロホン（集音装置）で構成される。マイクロホン５３は、ハンドル部分に設置されており（図１参照）、運転者ＤＲから所望の施設条件が入力されると、これを電気信号にして制御部７０に入力する。
【００２５】
操作スイッチ４１は、メカニカルスイッチとして構成されており、ハンドル部分に設けられている（図１及び図９参照）。操作スイッチ４１は、後述する施設検索ルーチン（図７参照）の起動スイッチとして機能し、押下されるとＨＭＩコントローラ７が応答し、運転者ＤＲとの対話が開始される。
【００２６】
運転者カメラ６２は、本発明の運転者撮像手段として機能するものであり、ＣＣＤカメラで構成され、運転者ＤＲを撮影して、撮影した映像をビデオ信号として制御回路７０に入力する。この画像を基に運転者ＤＲの視線方向が検出される。
【００２７】
通信Ｉ／Ｆ（インターフェース）７６は、車内ＬＡＮとの間のインターフェース機能を有しており、これによってディスプレイコントローラ１やＨＤＤ３，スピーカ５２等の車内の他の機器との通信が可能となっている。
【００２８】
制御回路７０は、通常のコンピュータとして構成されており、周知のＣＰＵ７１，ＲＯＭ７２，ＲＡＭ７３，入出力インターフェース（Ｉ／Ｏ）７４及びこれらの構成を接続するバスライン７５が備えられている。ＣＰＵ７１は、ＲＯＭ７２及びＲＡＭ７３に記憶されたプログラム及びデータにより制御を行う。ＲＯＭ７２は、プログラム格納領域７２ａとデータ記憶領域７２ｂとを有している。プログラム格納領域７２ａには、ＨＭＩプログラム７２ｐが格納されている。このＨＭＩプログラム７２ｐは、ＲＡＭ７３上にてＨＭＩプログラム用ワークメモリ７３ｗを作業領域とする形で作動する。他方、データ記憶領域７２ｂには、ＨＭＩプログラム７２ｐの動作に必要な種々のデータが格納されている。なお、これらのプログラム及びデータは、外部メモリを設けてそれに記憶させてもよい。以上の構成によって、制御回路７０は、ＣＰＵ７１によりＨＭＩプログラム７２ｐが起動されると、本発明の検索条件調整部，対象施設検索部，音声認識部，視線方向検出部として機能する。
【００２９】
（３）ディスプレイコントローラ
ディスプレイコントローラ１の構成について説明する。図４は、ディスプレイコントローラ１の電気的ブロック図を示すものである。ディスプレイコントローラ１は、位置検出器２，表示装置５１，ウインドシールド表示装置８，車外カメラ６１，通信Ｉ／Ｆ（インターフェース）１６及びこれらが接続された制御回路１０を備えている。
【００３０】
位置検出器２は、ＧＰＳ衛星から送信されたＧＰＳ電波を受信し、その受信したＧＰＳ電波に格納されているパラメータを演算して位置データを取得するＧＰＳ受信機２１、地磁気に基づいて方位を検出し、その検出した方位を表す方位データを取得する地磁気センサ２２、角速度を検出することに基づいて方位を算出し、その算出した方位を示す方位データを取得するジャイロスコープ２３、走行距離を検出し、その検出した距離を示す距離データを取得する距離センサ２４を備えて構成され、各センサが取得した各データを相互補完することによって、自車の現在位置の検出（特定）と正確な走行距離の計測を行う。以上の構成によって、位置検出器２は、本発明の位置検出手段として機能する。
【００３１】
表示装置５１は、カラー液晶表示器により構成されており、その画面には位置検出器２から入力された車両現在位置マークと、ＨＤＤ３から入力された地図データと、更に地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定及び経路誘導中の案内が表示される。表示装置５１は、本発明の表示手段として利用できる。
【００３２】
ウインドシールド表示装置８は、本発明のウインドシールド表示手段（表示手段）として機能するものであり、車両ＣのウインドシールドＷＳに映像を表示する（図９及び図１４参照）。ウインドシールド表示装置８は、制御回路１０から出力された表示命令に基づいてディスプレイ駆動回路８１が液晶パネル８２及びバックライト８３を駆動する。具体的には、液晶パネル８２及びバックライト８３は、図１４に示すように、ウインドシールドＷＳの下側から車両Ｃの内側へ延出するインストルメントパネルＩＰに配設されている。液晶パネル８２は、インストルメントパネルＩＰの開口部分に支持されており、ディスプレイ駆動回路８１により駆動するとともにバックライト８３からの光を受けることで表示画像を表示する。そして、この表示画像は、表示光としてウインドシールドＷＳに入射され、運転席に着座した運転者ＤＲの目に向けて反射されることで、虚像として運転者ＤＲに捕らえられる。
【００３３】
車外カメラ６１は、本発明の車外撮像手段として機能するものであり、ＣＣＤカメラで構成され、車外を撮影して、撮影した映像をビデオ信号として制御回路１０に入力する。
【００３４】
通信Ｉ／Ｆ（インターフェース）１６は、車内ＬＡＮとの間のインターフェース機能を有しており、これによってＨＭＩコントローラ７やＨＤＤ３，スピーカ５２等の車内の他の機器との通信が可能となっている。
【００３５】
制御回路１０は、通常のコンピュータとして構成されており、周知のＣＰＵ１１，ＲＯＭ１２，ＲＡＭ１３，入出力インターフェース（Ｉ／Ｏ）１４及びこれらの構成を接続するバスライン１５が備えられている。ＣＰＵ１１は、ＲＯＭ１２及びＲＡＭ１３に記憶されたプログラム及びデータにより制御を行う。ＲＯＭ１２は、プログラム格納領域１２ａとデータ記憶領域１２ｂとを有している。プログラム格納領域１２ａには、表示プログラム１２ｐが格納されている。この表示プログラム１２ｐは、ＲＡＭ１３上にて表示プログラム用ワークメモリ１３ｗを作業領域とする形で作動する。他方、データ記憶領域１２ｂには、表示プログラム１２ｐの動作に必要な種々のデータが格納されている。なお、これらのプログラム及びデータは、外部メモリを設けてそれに記憶させてもよい。以上の構成によって、制御回路１０は、ＣＰＵ１１により表示プログラム１２ｐが起動されると、本発明の表示制御部，施設位置特定部，視認可否判定部，実情景画像特定部，情景画像照合部として機能する。
【００３６】
（４）ハードディスク装置
ネットワークハードディスク装置３（ＨＤＤ３）は、通常のハードディスク装置の構成に加えて、通常のコンピュータとして構成された制御回路及び車内ＬＡＮとの間のインターフェース機能を有する通信Ｉ／Ｆを有している（図示せず）。制御回路は、データの読み書きを制御するものであり、要求に応じてＨＭＩコントローラ７やディスプレイコントローラ１にデータを送信する。ＨＤＤ３は、地図描画のための地図データ（地図データベース３２ｄ），位置検出精度向上のためのマップマッチング用データ，施設情報データ（施設情報データベース３３ｄ）等を記憶している。なお、これらのデータは、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，メモリカードなどの情報記録媒体に記憶させ、データ入力器からＨＭＩコントローラ７やディスプレイコントローラ１に入力するようにしてもよい。以上の構成により、ＨＤＤ３は、本発明の地図データ記憶手段及び施設情報記憶手段として機能する。
【００３７】
ＨＤＤ３に構築された地図データベース３２ｄ（地図データ記憶手段）は、経路案内時等に表示装置５１の画面に表示される２次元地図データ（２Ｄ地図データ）３６や３次元地図データ（３Ｄ地図データ）３７を記憶している。３次元地図データ３７は、通常の地図情報に加えて、施設の形状データと高さ情報を有している。図１３（ｂ）に３次元地図データ３７のイメージ図を示す。また、３次元地図データ３７は、後述する模擬情景画像ＳＶＳ（図１３（ａ）参照）の計算に用いられる。
【００３８】
ＨＤＤ３に構築された施設情報データベース３３ｄ（施設情報記憶手段）は、地図データ３６，３７に含まれる施設に関する施設情報を記憶している。施設情報データベース３３ｄには、施設情報として、「レストラン」等のジャンル毎に分類された各施設についての詳細情報（例えば「営業時間」，「駐車場の位置情報」，「使用可能なクレジットカードの種類」等）などが地図データ３６，３７上における位置情報と関連付けて記憶されている。
【００３９】
（５）スピーカコントローラ
スピーカコントローラ５２は、スピーカ，アンプ，Ｄ／Ａ変換器を含んで構成されるとともに通信Ｉ／Ｆも有しており（図示せず）、車内ＬＡＮを経由して入力されるＨＭＩコントローラ７やディスプレイコントローラ１からの入力信号に基づき合成音声を発する。スピーカコントローラ５２は、本発明の音声通知手段（通知手段）として機能し、運転者に対して施設条件の特定または絞込みを促すための合成音声を出力する。また、目的地までの経路案内の実行時には案内のための合成音声を出力する。
【００４０】
（６）ＨＭＩコントローラ及びディスプレイコントローラの作動
ＨＭＩコントローラ７及びディスプレイコントローラ１の作動について、図５ないし図８を参照して説明する。ここで、図５は、ＨＭＩコントローラ７のＣＰＵ７１が実行するＨＭＩプログラム７２ｐの施設検索ルーチンを機能ブロック図で示すものであり、図７は同処理をフローチャートで示すものである。図６は、ディスプレイコントローラ１のＣＰＵ１１が実行する表示プログラム１２ｐの施設情報表示ルーチンを機能ブロック図で示すものであり、図８は同処理をフローチャートで示すものである。
【００４１】
（６−１）ナビゲーション処理
ＨＭＩコントローラ７及びディスプレイコントローラ１は、メインの処理としてナビゲーション処理を共同して行う。以下、簡略に説明を行う。ナビゲーション処理においてＨＭＩコントローラ７のＣＰＵ７１は、エージェント機能による対話の中で運転者ＤＲから目的地の入力を受けると、それを認識してディスプレイコントローラ１へと送信する。ディスプレイコントローラ１のＣＰＵ１１は、ＨＭＩコントローラ７から目的地を受信すると、位置検出器２から車両Ｃの現在位置を求め、該現在位置から目的地までの最適な経路を地図データ３６から探索する（経路探索処理）。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。次に、経路探索処理で求めた経路を表示装置５１の画面上の道路地図に重ねて表示し、運転者ＤＲに適切な経路を案内する（経路案内処理）。また、表示装置５１やスピーカ５２によって操作時のガイダンスや動作状態に応じたメッセージの報知を行う。
【００４２】
（６−２）施設検索ルーチン
ＨＭＩコントローラ７が行う施設検索ルーチンについて、図５及び図７を参照して説明する。施設検索ルーチンは、上記ナビゲーション処理中などにおいて、ＣＰＵ７１が操作スイッチ４１の操作を検知することで開始される。具体的には、運転者ＤＲが道路走行中に食事をしたくなった場合等にハンドル部分に設けられた操作スイッチ４１を操作すると、ＣＰＵ７１がそれを検知して施設検索ルーチンを開始する。
【００４３】
なお、ＨＭＩコントローラ７の施設検索ルーチンの開始は、操作スイッチ４１の操作に限らず、例えば、運転者ＤＲが所定の音声をマイクロホン５３に向かって発した場合に、ＣＰＵ７１が、その音声を入力の合図として認識することによって開始するように構成することもできる（音声認識部９１）。また、運転者ＤＲが所定の動作（ジェスチャー）を行った場合に、ＣＰＵ７１が、運転者カメラ６２により得られる運転者ＤＲの画像からそのジェスチャーを入力の合図として認識することによって開始するように構成することもできる（すなわち、ＣＰＵ７１内にジェスチャー認識部を構成する）。この場合、ＲＯＭ７２にはジェスチャーのパターンデータが記憶され、ＣＰＵ７１はこれとの照合を図ることによって、運転者ＤＲのジェスチャーを認識する。
【００４４】
施設検索ルーチンが開始されると、まずＣＰＵ７１は、「リクエストをどうぞ」等の音声をスピーカ５２から出力（応答）して、運転者ＤＲに対して施設条件の入力を促す（ステップＳ１）。このような音声のデータは、ＲＯＭ７２のデータ記憶領域７２ｂに記憶されている。
【００４５】
次に、運転者ＤＲが所望の施設条件をマイクロホン５３に施設条件（リクエスト）を発すると（ステップＳ２：Ｙｅｓ）、ＣＰＵ７１は、入力された運転者ＤＲの音声を認識する処理を行う（音声認識部９１）。具体的には、入力された音声の信号パターンと認識辞書に蓄えられている信号パターンとを照合して認識する。このようなパターン認識の方法には、隠れマルコフモデル（Hidden Markov Model）等がある。認識辞書はＲＯＭ７２に記憶されている。例えば、運転者が、食事をしたいが財布には現金が少なくクレジットカードを使おうと考えて「カードが使えて、今営業しているレストランを教えてくれ」とマイクロホン５３に向かってリクエストしたとすると、ＣＰＵ７１は、そこから名詞，助詞，動詞等を判断して、“カード”，“使える”，“今”，“営業”，“レストラン”，“教える”といった単語を抽出する。
【００４６】
次に、ＣＰＵ７１は、音声認識結果を解析することで施設条件（リクエスト）を認識し、それを復唱する音声をスピーカ５２から出力する（ステップＳ３，検索条件調整部９２）。音声認識結果の解析では、音声認識した単語のうち“カード”はクレジットカード、“レストラン”は食物店のジャンルにあるレストラン、“教える”は検索依頼である等の判断を行う。これは、例えば、ＲＯＭ７２に記憶された単語対応例リストと照合するなどの方法によって実現できる。そして、ＣＰＵ７１は、「クレジットカードの使える、今営業中のレストランを教えればよいですね」等の運転者ＤＲのリクエストを復唱する内容の音声をスピーカ５２から出力して運転者ＤＲに確認する。
【００４７】
次に、ＣＰＵ７１は、認識した施設条件を検索条件として採用するか否かの判断を行う（ステップＳ４，検索条件調整部９２）。これは例えば、ステップＳ３で反復した内容に対して運転者ＤＲが「はい」や「そう」などと肯定する声を発した場合に、認識した施設条件を検索条件として施設の検索処理（ステップＳ７）に移る（ステップＳ４：Ｙｅｓ）。他方、運転者ＤＲが「いや」や「ちがう」などと否定する声を発した場合や、認識した施設条件では検索に不適正な場合には（ステップＳ４：Ｎｏ）、施設条件の特定または絞込み処理（ステップＳ５，Ｓ６）に移る。
【００４８】
施設条件の特定または絞込み処理（ステップＳ５，Ｓ６）では、ＣＰＵ７１は、スピーカ５２から施設条件を特定する又は絞込むよう運転者ＤＲに促す音声を出力する（ステップＳ５）。そして、マイクロホン５３により運転者ＤＲが更なる施設条件の入力したことを検知すると（ステップＳ６：Ｙｅｓ）、ステップＳ３に戻って再度認識処理を行い、新たな施設条件の復唱を行う。このようにして、施設条件の特定または絞込みは、ＨＭＩコントローラ７と運転者ＤＲとの対話形式で行われる。
【００４９】
例えば、ステップＳ４において、使用するクレジットカードの種類が特定されていない場合には、検索に不適正であるとして、「クレジットカードはどれでも良いですか」とスピーカ５２から出力して運転者ＤＲに特定を促す。そして、運転者ＤＲが「VISTER」（架空名称）とマイクロホン５３に向かって答えると、それを施設条件として認識し、「VISTERカードの使える現在営業中のレストランを検索します」と応答する。
【００５０】
また、検索地域が特定されていない場合には、検索に不適正であるとして、「どの範囲までを探しますか」とスピーカ５２から出力して運転者ＤＲに特定を促す。そして、運転者ＤＲが「現在地から５ｋｍ以内」と答えると、それを施設条件として認識し、「現在地から５ｋｍ以内のクレジットカードの使える現在営業中のレストランを検索します」と応答する。また、経路案内中である場合に運転者ＤＲが「１０分以内、道なりで」と答えると、それを施設条件として認識し、「１０分以内に到着できる案内経路沿いの、クレジットカードの使える現在営業中のレストランを検索します」と応答する。
【００５１】
施設の検索処理（ステップＳ７）では、ステップＳ３で認識した施設条件を検索条件として、ＣＰＵ７１は、検索条件に適合する施設（対象施設ＢＬ）を施設情報データベース３３ｄから検索する（ステップＳ７，対象施設検索部９３）。例えば、検索条件が「VISTERカードの使える現在営業中のレストラン」である場合、施設情報データベース３３ｄから「レストラン」のジャンル毎に分類されているレストランのうち、現在の時間が営業時間に含まれているもの、使用可能なクレジットカードの種類がVISTERカードであるものを検索する。ここで、施設情報データベース３３ｄ内を検索するための検索プログラムは、ＲＯＭ７２に記憶されている。また、現在の時間は、制御回路７０等が備えるＲＴＣ（Real Time Clock）回路から取得することもできるし、ディスプレイコントローラ１が有するＧＰＳ受信器２１が車両Ｃの位置とともに取得するＵＴＣ時刻から日本標準時刻に換算して取得することもできる。
【００５２】
また、検索条件が現在位置を基準とする場合は、ＣＰＵ７１は、ディスプレイコントローラ１の位置検出器２から車両Ｃの現在位置を取得し、現在位置を基準に検索地域を設定して、施設情報データベース３３ｄに含まれる位置情報から検索地域内にある施設を特定する。また、検索条件が案内経路沿いである場合は、ディスプレイコントローラ１から案内経路の情報を取得し、案内経路沿いの地域を検索地域として設定する。
【００５３】
ステップＳ７により対象施設ＢＬが検索されなかった場合には（ステップＳ８：Ｎｏ）、ＣＰＵ７１は、対象施設ＢＬが存在しなかった旨の通知をスピーカ５２から行って（ステップＳ９）、再度の施設条件の入力を促す。一方、対象施設ＢＬが検索された場合には（ステップＳ８：Ｙｅｓ）、検索件数を運転者に伝える処理（ステップ１０）に移る。ここで、検索された対象施設ＢＬの数が所定数を超えている場合には（ステップＳ１１：Ｙｅｓ）、ＣＰＵ７１は、施設条件の再入力を促す音声をスピーカ５２より出力し（ステップＳ１２）、施設条件の再入力があった場合には（ステップＳ１３：Ｙｅｓ）、ステップＳ３に戻る。このようにして、検索される対象施設ＢＬの数が適正となるまでこれらの処理が続けられる。
【００５４】
検索された対象施設ＢＬの数が適正である場合には（ステップＳ１１：Ｎｏ）、ＣＰＵ７１は、例えば「この先に３件、条件に合うレストランがあります。レストランに近づいたらウインドシールドに表示してご案内します」等の案内を行う旨の通知をスピーカ５２から出力する。それに対して運転者ＤＲが「頼む」，「はい」，「ＯＫ」等の肯定の応答をすると、ＣＰＵ７１は、それを検知して（ステップＳ１４：Ｙｅｓ）、対象施設ＢＬの位置データ，クレジットカードの種類や営業時間等の施設条件のデータ，駐車場の位置データなどをディスプレイコントローラ１に送信する（ステップＳ１５）。一方、運転者ＤＲが否定の応答をすると（ステップＳ１４：Ｎｏ）、施設条件の再入力を促す音声をスピーカ５２より出力する（ステップＳ１２）。
【００５５】
ところで、ＨＭＩコントローラ７のＣＰＵ７１は、以上に説明した処理の他にも、運転者カメラ６２により得られる運転者ＤＲの目の画像から運転者ＤＲの視線方向を検出する処理を行っており（視線方向検出部９４）、検出した運転者ＤＲの視線方向をディスプレイコントローラ１に送信している。具体的には、視線方向の検出は、運転者ＤＲの顔面付近を撮影している運転者カメラ６２から画像データの入力を受けたＣＰＵ７１が、顔面画像から眼球領域を特定するとともに、眼球形状の曲率から眼球中心座標を求める。その一方、眼球領域から黒目（瞳孔）領域を特定して黒目中心座標も求める。そして、眼球中心座標から黒目中心座標へと向かう方向を視線方向として定める。なお、視線方向の検出には、他にも赤外光を用いる角膜反射法や強膜反射法などを用いることができる。
【００５６】
（６−３）ディスプレイコントローラの作動
ディスプレイコントローラ１が行う施設表示ルーチンについて、図６及び図８を参照して説明する。施設表示ルーチンは、上記したようにＨＭＩコントローラ７が対象施設ＢＬ（レストラン等）に関するデータを送信すると、ＣＰＵ１１がその受信を検知することで開始される。
【００５７】
施設表示ルーチンが開始されると、ＣＰＵ１１は、ＨＭＩコントローラ７から受信した対象施設ＢＬ（レストラン等）に関するデータのうち、位置データをもとに対象施設ＢＬの地図データ３６，３７上での位置を特定する（ステップＴ１，施設位置特定部９５）。そして、ＣＰＵ１１は、車両Ｃの位置情報を位置検出器２から定期的に取得し、車両Ｃの現在位置と対象施設ＢＬとの間の距離を求めて（ステップＴ２，視認可否判定部９６）、所定の表示開始距離に近づいたか否かをチェックする（ステップＴ３）。
【００５８】
表示開始距離に近づくと（ステップＴ３：Ｙｅｓ）、ＣＰＵ１１は次に、対象施設ＢＬが運転者ＤＲから視認されるか否かを判定する（ステップＴ４・Ｔ５，視認可否判定部９６）。すなわち、ＣＰＵ１１は、図１３（ｂ）のイメージ図に示すように、３次元地図データ３７から車両Ｃの現在位置ＡＬ及び進行方位ＣＤ、運転者ＤＲの視線方向ＬＳに基づいて、運転者ＤＲが見ていると想定される模擬的な情景の画像である模擬情景画像ＳＶＳ（図１３（ａ）参照）を算出する（ステップＴ４）。そして、模擬情景画像ＳＶＳから対象施設ＢＬが運転者ＤＲから視認されるか否かを判定する（ステップＴ５）。ここで、車両Ｃの現在位置ＡＬ及び進行方位ＣＤは位置検出器２から得ることができ、運転者ＤＲの視線方向ＬＳはＨＭＩコントローラ７から得られる。図１３（ａ）に示すような２次元的に表された模擬情景画像ＳＶＳは、３次元地図データ３７から例えばレイトレーシング法により得ることができる。また、対象施設ＢＬが運転者ＤＲから視認されるか否かの判定は、レイトレーシング法において、対象施設ＢＬとなる建物から届く光線が存在するか否かで判定する。
【００５９】
そして、対象施設ＢＬが運転者ＤＲから視認されると判定された場合（ステップＴ５：Ｙｅｓ）、ＣＰＵ１１は、図９に示すように、運転者ＤＲから見て対象施設ＢＬの近傍となるウインドシールドＷＳの領域に施設条件を表す施設条件表示ＤＩをウインドシールド表示装置８に表示させる（ステップＴ６，表示制御部９９）。本実施形態では、施設条件を表す施設条件表示ＤＩは、使用可能なクレジットカードである「VISTERカード」のマークを表示している。また、施設条件表示ＤＩとして、対象施設ＢＬ（レストラン等）の名称や営業時間等の情報を含めることもできる。
【００６０】
なお、施設条件表示ＤＩの表示位置は、運転者ＤＲの視線方向に基づいて模擬情景画像ＳＶＳ（図１３（ａ）参照）において定められ、それがウインドシールドＷＳ上に反映される。また、表示位置を定めるにあたって、模擬情景画像ＳＶＳは、運転者が実際に見ている情景の画像である実情景画像により位置補正されているので、模擬情景画像ＳＶＳで定めた表示位置が運転者ＤＲが実際に見ている情景における位置と精度良くリンクする。ここで、実情景画像は、車外カメラ６１により得られる画像から、ＨＭＩコントローラ７から得られる運転者ＤＲの視線方向に基づいて特定される（実情景画像特定部９８）。すなわち、車外カメラ６１の撮影により得られる画像のうち運転者ＤＲの視線方向にある部分を、運転者ＤＲが見ている実情景画像として特定する。そして、ＣＰＵ１１は、模擬情景画像ＳＶＳと実情景画像とを照合（パターンマッチング）させて模擬情景画像ＳＶＳの位置補正を行う（情景画像照合部９７）。
【００６１】
また、施設条件表示ＤＩは、図９に示すように、運転者ＤＲから見て空となるウインドシールドの領域ＢＳ（空領域ＢＳ）に表示される。空領域ＢＳは、３次元地図データ３７から得られる模擬情景画像ＳＶＳから特定することができる。例えば、模擬情景画像ＳＶＳをレイトレーシング法で得る場合において、建物ＢＬ等の物体から届く光線が存在しない領域を空領域ＢＳとする。このように施設条件表示ＤＩが表示されることで、施設条件表示ＤＩが運転者ＤＲの視界を塞いで運転の妨げになるような事態を避けることができる。
【００６２】
また、施設条件表示ＤＩは、図１０に示すように、対象施設ＢＬの手前に建物が存在する場合に、運転者ＤＲから見て一部が手前の建物に隠れて見えるように表示される（半隠れ施設条件表示ＨＤＩ）。これは、３次元地図データ３７から模擬情景画像ＳＶＳを得るに際して、対象施設ＢＬの手前の建物の外形線が得られることから、施設条件表示ＤＩの一部を切り取った切断線を当該手前の建物の外形線と合致させることで、施設条件表示ＤＩの一部が隠れて見えるようになる。これにより、運転者ＤＲは、対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。
【００６３】
また、施設条件表示ＤＩは、車両Ｃの現在位置から対象施設ＢＬまでの距離に応じて、その大きさ，明るさ，色，透明度等を当該距離に応じて変化する。すなわち、ＣＰＵ１１は、車両Ｃの位置情報を位置検出器２から定期的に取得しており、対象施設ＢＬまでの距離が所定の近さになるのに伴い、施設条件表示ＤＩの明るさを上げたり（ハイライト表示）、大きさを上げたりする。これにより、運転者ＤＲは、対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。また、施設条件表示ＤＩは、透過表示させることができる。これは、ウインドシールドＷＳに表示される施設条件表示ＤＩの透明度を上げることの他に、明度を下げることでも実現できる。これにより、施設条件表示ＤＩが運転者ＤＲの視界を塞いで運転の妨げになるような事態を避けることができる。
【００６４】
一方、ステップＴ５において対象施設ＢＬが運転者ＤＲから視認されないと判定された場合には（ステップＴ５：Ｎｏ）、ＣＰＵ１１は、図１２に示すように、ウインドシールドＷＳに対象施設ＢＬの方向を表す方向表示ＡＤＩを表示させる（ステップＴ７，表示制御部９９）。例えば、図１３（ｂ）に示す模擬情景画像ＳＶＳとなるべき領域に含まれているにも関わらず、実際に２次元的な模擬情景画像ＳＶＳ（図１３（ａ）参照）を得ると手前の建物に隠れて運転者ＤＲからは視認できない対象施設ＢＬがある場合に、運転者ＤＲから見て当該手前の建物の近傍となるウインドシールドＷＳの領域にその裏側（対象施設ＢＬが隠れている方向）を指し示すような方向表示ＡＤＩを表示させることで、運転者ＤＲは対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。また、上記と同様に、方向表示ＡＤＩの一部を手前の建物に隠して表示すると、運転者ＤＲは更に対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。なお、方向表示ＡＤＩの表示位置は、上記した施設条件表示ＤＩの場合と同様に模擬情景画像ＳＶＳに基づいて定めることができる。
【００６５】
次に、ＣＰＵ１１は、上記した施設条件表示ＤＩや方向表示ＡＤＩを表示している間においても、車両Ｃの位置情報を位置検出器２から定期的に取得して対象施設ＢＬとの間の距離を監視しており（ステップＴ８）、車両Ｃの現在位置と対象施設ＢＬとの間の距離が所定範囲内に達した場合に（ステップＴ９：Ｙｅｓ）、図１１に示すように、対象施設ＢＬの駐車場の入口を表す駐車場表示ＰＤＩを表示させる（ステップＴ１０，表示制御部９９）。これにより、運転者は、その対象施設ＢＬの駐車場に迷わず安全に（急ブレーキや急ハンドルなしに）辿り付くことができる。駐車場の位置データは、上記したように、施設情報データベース３３ｄに記憶されており、それを読み出したＨＭＩコントローラ７から送信されてくる。
【００６６】
次に、ＣＰＵ１１は、車両Ｃが対象施設ＢＬを通り過ぎたことを検知すると（ステップＴ１１：Ｙｅｓ）、その対象施設ＢＬを対象から除外して、ウインドシールドＷＳへの表示を取り止める（ステップＴ１２）。車両Ｃが対象施設ＢＬを通り過ぎたことは、漸減していた対象施設ＢＬとの距離が増加に転じたことを検知すること等によって検知できる。なお、車両ＣがＵターンして対象施設ＢＬに向かうことも想定して、車両Ｃが対象施設ＢＬを通り過ぎても所定距離以上離れるまでは対象施設ＢＬを対象から除外しないようにする。また、車両Ｃの走行途中に営業時間を徒過してしまったような場合にも、その対象施設ＢＬを対象から除外して、ウインドシールドＷＳへの表示を取り止めるようにすることができる。
【００６７】
以上、本発明の実施形態について説明したが、本発明はこれらに限定されず、その要旨を逸脱しない範囲で適宜変更して実施し得るものである。例えば、上記実施形態では施設条件表示ＤＩ等をウインドシールド表示装置８によってウインドシールドＷＳに表示していたが、表示装置５１のディスプレイに表示された地図において、対象施設ＢＬの位置と対応付けて施設条件表示ＤＩ等を表示させることもできる。
【図面の簡単な説明】
【００６８】
【図１】車両に取り付けられた状態の本発明の車両用情報表示システムを概略的に表す図
【図２】本発明の車両用情報表示システム全体の電気的ブロック図
【図３】ＨＭＩコントローラの電気的ブロック図
【図４】ディスプレイコントローラの電気的ブロック図
【図５】ＨＭＩコントローラが行う処理を表す機能ブロック図
【図６】ディスプレイコントローラが行う処理を表す機能ブロック図
【図７】ＨＭＩコントローラが行う処理を表すフローチャート
【図８】ディスプレイコントローラが行う処理を表すフローチャート
【図９】ウインドシールドへの第１表示例を示す図
【図１０】ウインドシールドへの第２表示例を示す図
【図１１】ウインドシールドへの第３表示例を示す図
【図１２】ウインドシールドへの第４表示例を示す図
【図１３】３次元地図データ及び模擬情景画像の説明図
【図１４】ウインドシールド表示装置の説明図
【符号の説明】
【００６９】
１ ディスプレイコントローラ
１０ ディスプレイコントローラの制御部（表示制御部，施設位置特定部，視認可否判定部，実情景画像特定部，情景画像照合部）
２ 位置検出器（位置検出手段）
３ ハードディスク（地図データ記憶手段，施設情報記憶手段）
３２ｄ 地図データベース
３３ｄ 施設情報データベース
３７ ３次元地図データ
４１ 操作スイッチ
５１ 表示装置（表示手段）
５２ スピーカコントローラ（通知手段）
５３ マイクロホン（入力手段）
６１ 車外カメラ（車外撮像手段）
６２ 運転者カメラ（運転者撮像手段）
７ ＨＭＩコントローラ
７０ ＨＭＩコントローラの制御部（検索条件調整部，対象施設検索部，音声認識部，視線方向検出部）
８ ウインドシールド表示装置（表示手段）
【技術分野】
【０００１】
本発明は、所定条件を具備する施設を運転者に認識させる車両用情報表示システムに関する。
【背景技術】
【０００２】
一般に、車両用のナビゲーション装置は、運転者の所望する施設（レストラン等）の検索を行い、走行中に画像表示や音声等によって施設の接近を運転者に案内する機能を有する。
【０００３】
【特許文献１】特開２００４−２１７１８８号公報
【特許文献２】特開平７−２５７２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、施設（レストラン等）が運転者にとって不慣れな土地にあると、正確な位置を掴めずに通り過ぎてしまうことがある。また、いざ施設に到着してみたら、既に営業時間が終了していたり、自分の持っているカードが使えなかったりという事態に直面し、施設を探し直す羽目になることが少なくない。
【０００５】
本発明は、上記問題を鑑みて為されたものであり、運転者が所望する適切な施設を運転者に直感的に知らしめることが可能な車両用情報表示システムを提供することを目的とする。
【課題を解決するための手段及び発明の効果】
【０００６】
上記課題を解決するため、請求項１の車両用情報表示システムは、地図データを記憶する地図データ記憶手段と、地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、運転者の所望する施設条件が入力される入力手段と、該施設条件を検索条件として、それに適合する施設を施設情報記憶手段から検索して対象施設とする対象施設検索部と、対象施設の地図データ上での位置を特定する施設位置特定部と、画像を表示する表示手段と、施設条件を表す施設条件表示を対象施設の位置と対応付けて表示手段に表示させる表示制御部と、を備えることを特徴とする。これによると、運転者から入力された施設条件に適合する施設を検索し、施設条件表示を対象施設の位置と対応付けて表示させることで、運転者に所望する対象施設を直感的に知らしめることができる。
【０００７】
請求項２の車両用情報表示システムでは、入力手段は音声入力手段により構成され、該音声入力手段から入力された運転者の音声を認識する音声認識部を備えるように構成できる。これによると、運転者は音声により施設条件を入力できるので、運転者にとって実際の対話により近い形式で検索条件を調整することができる。
【０００８】
請求項３の車両用情報表示システムでは、運転者に対して施設条件の特定または絞込みを促す通知を行うための通知手段と、入力手段及び通知手段により運転者との対話形式で検索条件を調整する検索条件調整部とを備えるように構成できる。これによると、運転者に対して施設条件の特定または絞込みを促す通知を行い、運転者との対話形式で検索条件を調整することにより、運転者が所望する適切な施設を検索することができる。
【０００９】
請求項４の車両用情報表示システムでは、検索条件調整部は、対象施設検索部により検索された対象施設の数が所定範囲から外れている場合に、運転者に対して施設条件の再入力を促す通知を通知手段に行わせるように構成できる。これによると、対象施設の数が過度に少ない場合や多い場合に施設条件の再入力を促す通知を行うことで、より適切な施設を運転者に提供できる。
【００１０】
請求項５の車両用情報表示システムでは、通知手段は音声通知手段により構成されるようにできる。これによると、運転者は音声により通知が行われるので、運転者にとって実際の対話により近い形式で検索条件を調整することができる。
【００１１】
請求項６の車両用情報表示システムでは、表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段により構成できる。これによると、施設条件表示が車両のウインドシールドに表示されるので、運転者は施設の位置を直感的に把握することができる。
【００１２】
請求項７の車両用情報表示システムでは、車両の現在位置を検出する位置検出手段と、地図データに基づいて車両と対象施設との位置関係から該対象施設が運転者から視認されるか否かを判定する視認可否判定部とを備え、表示制御部は、視認可否判定部により対象施設が運転者から視認されると判定された場合に、施設条件を表す施設条件表示を対象施設の位置と対応付けて表示手段に表示させるように構成できる。これによると、運転者が対象施設を視認できると判定した場合に施設条件表示の表示を行うので、運転者は車外の情景から対象施設を直感的に把握することができる。
【００１３】
請求項８の車両用情報表示システムでは、運転者を撮影する運転者撮像手段と、運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部とを備え、地図データは３次元地図データであり、視認可否判定部は、車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を３次元地図データから算出し、当該模擬情景画像から対象施設が運転者から視認されるか否かを判定し、表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段であり、表示制御部は、視認可否判定部により対象施設が運転者から視認されると判定された場合に、運転者から見て対象施設の近傍となるウインドシールドの領域に施設条件表示をウインドシールド表示手段に表示させるように構成できる。これによると、運転者の視線方向を検出するとともに、３次元地図データから運転者が見ていると想定される模擬的な情景の画像（以下、模擬情景画像という）を算出し、それに基づいて、施設条件表示を運転者から見て対象施設の近傍となるウインドシールドの領域に表示することで、運転者は運転中に注視すべき方向から視線を大きく外すことなく、施設の位置を直感的に把握することができる。
【００１４】
請求項９の車両用情報表示システムでは、車外を撮影する車外撮像手段と、視線方向検出部により得られる運転者の視線方向及び車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、模擬情景画像と実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、表示制御部は、該情景画像照合部により位置補正された模擬情景画像に基づいて表示制御を行うように構成できる。運転者が実際に見ている情景の画像（以下、実情景画像という）は車外を撮影する車外撮像手段によって得られることから、運転者が実際に見ている情景により近いものであり、これに模擬情景画像を照合させて位置補正を行うことで、施設条件表示の表示位置を精度良く設定できる。
【００１５】
請求項１０の車両用情報表示システムでは、表示制御部は、運転者から見て空となるウインドシールドの領域に施設条件表示を表示させるように構成できる。これによると、施設条件表示が運転者から見て空となる領域に表示されるので、表示が運転者にとって運転の邪魔になることを防ぐことができる。
【００１６】
請求項１１の車両用情報表示システムでは、表示制御部は、対象施設の手前に建物が存在する場合に、運転者から見て施設条件表示の一部が該手前の建物に隠れて見えるように該施設条件表示を表示させるように構成できる。これによると、施設条件表示の一部が手前の建物に隠れて見えるので、運転者はより直感的に施設の位置を把握することができる。
【００１７】
請求項１２の車両用情報表示システムでは、表示制御部は、視認可否判定部により対象施設が運転者から視認されないと判定された場合に、対象施設の方向を表す方向表示を表示させるように構成できる。これによると、対象施設が運転者から視認できない場合であっても、対象施設の方向を表す方向表示が表示されるので、運転者はより直感的に施設の位置を把握することができる。
【００１８】
請求項１３の車両用情報表示システムでは、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、当該距離が所定範囲内にある場合に、該対象施設が運転者から視認されるか否かを判定するように構成できる。これによると、対象施設が運転者から視認されるか否かの判定を、車両の現在位置から対象施設までの距離が所定範囲内にある場合にのみ行うので、例えば視認できないことが明らかなほど遠くの対象施設の判定を行うような無駄を省略できる。
【００１９】
請求項１４の車両用情報表示システムでは、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、表示制御部は、当該距離が所定範囲内にある場合に、対象施設の駐車場の入口を表す駐車場表示を表示させるように構成できる。これによると、駐車場表示が表示されるので、運転者は迷わず安全に駐車場に辿り付くことができる
【００２０】
請求項１５の車両用情報表示システムでは、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、表示制御部は、表示される施設条件表示の大きさ，明るさ，色，透明度等を当該距離に応じて変化させるように構成できる。これによると、距離に応じて施設条件表示の大きさ，明るさ，色，透明度等が変化することから、運転者はより直感的に施設の位置を把握することができる。
【００２１】
請求項１６の車両用情報表示システムでは、入力手段は運転者を撮影する運転者撮像手段により構成され、該運転者撮像手段により得られる運転者の画像から運転者が行う所定の動作を入力の合図として認識するジェスチャー認識部とを備えるように構成できる。これによると、運転者はジェスチャーによって容易に入力操作を行うことができる。
【発明を実施するための最良の形態】
【００２２】
（１）車両用情報表示システム
以下、本発明の車両用情報表示システムの実施形態を、図面を参照しながら説明する。車両用情報表示システム１００は、車両Ｃに取り付けられ（図１参照）、図２に示すようにＨＭＩ（Human Machine Interface）コントローラ７及びディスプレイコントローラ１，ネットワークハードディスク装置３（以下、単にＨＤＤ３という），スピーカコントローラ５２（以下、単にスピーカ５２という）を備えており、主に、運転者に経路案内を行うナビゲーション機能や運転者が所望する施設の案内を行う施設案内機能を実現する。具体的には、ＨＭＩコントローラ７は、エージェント機能と呼ばれる運転者との対話機能を持ち、運転者ＤＲの音声リクエストに回答を返すことができるようなっている。このような機能により、ＨＭＩコントローラ７は、運転者ＤＲが所望するレストラン等の施設の条件（施設条件：営業時間や使用可能なカードの種類等）を対話形式で特定または絞込んだ後、該当する施設の検索を行う。そして、ＨＭＩコントローラ７は検索された施設（対象施設ＢＬ）に関する情報をディスプレイコントローラ１に渡し、ディスプレイコントローラ１は、対象施設ＢＬの情報に基づいて、車両Ｃが対象施設ＢＬに近付くと車両ＣのウインドシールドＷＳに施設条件を表す施設条件表示ＤＩ（図９参照）を表示させることで、運転者ＤＲに対象施設ＢＬの位置を直感的に把握させる。以下、車両用情報表示システム１００の詳細な構成及び作動について説明する。
【００２３】
（２）ＨＭＩコントローラ
ＨＭＩコントローラ７の構成について説明する。図３は、ＨＭＩコントローラ７の電気的ブロック図を示すものである。ＨＭＩコントローラ７は、マイクロホン５３，操作スイッチ４１，運転者カメラ６２，通信Ｉ／Ｆ（インターフェース）７６及びこれらが接続された制御回路７０を備えている。
【００２４】
マイクロホン５３は、本発明の音声入力手段（入力手段）として機能するものであり、運転者の声（空気の振動）を電気信号に変換する周知のマイクロホン（集音装置）で構成される。マイクロホン５３は、ハンドル部分に設置されており（図１参照）、運転者ＤＲから所望の施設条件が入力されると、これを電気信号にして制御部７０に入力する。
【００２５】
操作スイッチ４１は、メカニカルスイッチとして構成されており、ハンドル部分に設けられている（図１及び図９参照）。操作スイッチ４１は、後述する施設検索ルーチン（図７参照）の起動スイッチとして機能し、押下されるとＨＭＩコントローラ７が応答し、運転者ＤＲとの対話が開始される。
【００２６】
運転者カメラ６２は、本発明の運転者撮像手段として機能するものであり、ＣＣＤカメラで構成され、運転者ＤＲを撮影して、撮影した映像をビデオ信号として制御回路７０に入力する。この画像を基に運転者ＤＲの視線方向が検出される。
【００２７】
通信Ｉ／Ｆ（インターフェース）７６は、車内ＬＡＮとの間のインターフェース機能を有しており、これによってディスプレイコントローラ１やＨＤＤ３，スピーカ５２等の車内の他の機器との通信が可能となっている。
【００２８】
制御回路７０は、通常のコンピュータとして構成されており、周知のＣＰＵ７１，ＲＯＭ７２，ＲＡＭ７３，入出力インターフェース（Ｉ／Ｏ）７４及びこれらの構成を接続するバスライン７５が備えられている。ＣＰＵ７１は、ＲＯＭ７２及びＲＡＭ７３に記憶されたプログラム及びデータにより制御を行う。ＲＯＭ７２は、プログラム格納領域７２ａとデータ記憶領域７２ｂとを有している。プログラム格納領域７２ａには、ＨＭＩプログラム７２ｐが格納されている。このＨＭＩプログラム７２ｐは、ＲＡＭ７３上にてＨＭＩプログラム用ワークメモリ７３ｗを作業領域とする形で作動する。他方、データ記憶領域７２ｂには、ＨＭＩプログラム７２ｐの動作に必要な種々のデータが格納されている。なお、これらのプログラム及びデータは、外部メモリを設けてそれに記憶させてもよい。以上の構成によって、制御回路７０は、ＣＰＵ７１によりＨＭＩプログラム７２ｐが起動されると、本発明の検索条件調整部，対象施設検索部，音声認識部，視線方向検出部として機能する。
【００２９】
（３）ディスプレイコントローラ
ディスプレイコントローラ１の構成について説明する。図４は、ディスプレイコントローラ１の電気的ブロック図を示すものである。ディスプレイコントローラ１は、位置検出器２，表示装置５１，ウインドシールド表示装置８，車外カメラ６１，通信Ｉ／Ｆ（インターフェース）１６及びこれらが接続された制御回路１０を備えている。
【００３０】
位置検出器２は、ＧＰＳ衛星から送信されたＧＰＳ電波を受信し、その受信したＧＰＳ電波に格納されているパラメータを演算して位置データを取得するＧＰＳ受信機２１、地磁気に基づいて方位を検出し、その検出した方位を表す方位データを取得する地磁気センサ２２、角速度を検出することに基づいて方位を算出し、その算出した方位を示す方位データを取得するジャイロスコープ２３、走行距離を検出し、その検出した距離を示す距離データを取得する距離センサ２４を備えて構成され、各センサが取得した各データを相互補完することによって、自車の現在位置の検出（特定）と正確な走行距離の計測を行う。以上の構成によって、位置検出器２は、本発明の位置検出手段として機能する。
【００３１】
表示装置５１は、カラー液晶表示器により構成されており、その画面には位置検出器２から入力された車両現在位置マークと、ＨＤＤ３から入力された地図データと、更に地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定及び経路誘導中の案内が表示される。表示装置５１は、本発明の表示手段として利用できる。
【００３２】
ウインドシールド表示装置８は、本発明のウインドシールド表示手段（表示手段）として機能するものであり、車両ＣのウインドシールドＷＳに映像を表示する（図９及び図１４参照）。ウインドシールド表示装置８は、制御回路１０から出力された表示命令に基づいてディスプレイ駆動回路８１が液晶パネル８２及びバックライト８３を駆動する。具体的には、液晶パネル８２及びバックライト８３は、図１４に示すように、ウインドシールドＷＳの下側から車両Ｃの内側へ延出するインストルメントパネルＩＰに配設されている。液晶パネル８２は、インストルメントパネルＩＰの開口部分に支持されており、ディスプレイ駆動回路８１により駆動するとともにバックライト８３からの光を受けることで表示画像を表示する。そして、この表示画像は、表示光としてウインドシールドＷＳに入射され、運転席に着座した運転者ＤＲの目に向けて反射されることで、虚像として運転者ＤＲに捕らえられる。
【００３３】
車外カメラ６１は、本発明の車外撮像手段として機能するものであり、ＣＣＤカメラで構成され、車外を撮影して、撮影した映像をビデオ信号として制御回路１０に入力する。
【００３４】
通信Ｉ／Ｆ（インターフェース）１６は、車内ＬＡＮとの間のインターフェース機能を有しており、これによってＨＭＩコントローラ７やＨＤＤ３，スピーカ５２等の車内の他の機器との通信が可能となっている。
【００３５】
制御回路１０は、通常のコンピュータとして構成されており、周知のＣＰＵ１１，ＲＯＭ１２，ＲＡＭ１３，入出力インターフェース（Ｉ／Ｏ）１４及びこれらの構成を接続するバスライン１５が備えられている。ＣＰＵ１１は、ＲＯＭ１２及びＲＡＭ１３に記憶されたプログラム及びデータにより制御を行う。ＲＯＭ１２は、プログラム格納領域１２ａとデータ記憶領域１２ｂとを有している。プログラム格納領域１２ａには、表示プログラム１２ｐが格納されている。この表示プログラム１２ｐは、ＲＡＭ１３上にて表示プログラム用ワークメモリ１３ｗを作業領域とする形で作動する。他方、データ記憶領域１２ｂには、表示プログラム１２ｐの動作に必要な種々のデータが格納されている。なお、これらのプログラム及びデータは、外部メモリを設けてそれに記憶させてもよい。以上の構成によって、制御回路１０は、ＣＰＵ１１により表示プログラム１２ｐが起動されると、本発明の表示制御部，施設位置特定部，視認可否判定部，実情景画像特定部，情景画像照合部として機能する。
【００３６】
（４）ハードディスク装置
ネットワークハードディスク装置３（ＨＤＤ３）は、通常のハードディスク装置の構成に加えて、通常のコンピュータとして構成された制御回路及び車内ＬＡＮとの間のインターフェース機能を有する通信Ｉ／Ｆを有している（図示せず）。制御回路は、データの読み書きを制御するものであり、要求に応じてＨＭＩコントローラ７やディスプレイコントローラ１にデータを送信する。ＨＤＤ３は、地図描画のための地図データ（地図データベース３２ｄ），位置検出精度向上のためのマップマッチング用データ，施設情報データ（施設情報データベース３３ｄ）等を記憶している。なお、これらのデータは、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，メモリカードなどの情報記録媒体に記憶させ、データ入力器からＨＭＩコントローラ７やディスプレイコントローラ１に入力するようにしてもよい。以上の構成により、ＨＤＤ３は、本発明の地図データ記憶手段及び施設情報記憶手段として機能する。
【００３７】
ＨＤＤ３に構築された地図データベース３２ｄ（地図データ記憶手段）は、経路案内時等に表示装置５１の画面に表示される２次元地図データ（２Ｄ地図データ）３６や３次元地図データ（３Ｄ地図データ）３７を記憶している。３次元地図データ３７は、通常の地図情報に加えて、施設の形状データと高さ情報を有している。図１３（ｂ）に３次元地図データ３７のイメージ図を示す。また、３次元地図データ３７は、後述する模擬情景画像ＳＶＳ（図１３（ａ）参照）の計算に用いられる。
【００３８】
ＨＤＤ３に構築された施設情報データベース３３ｄ（施設情報記憶手段）は、地図データ３６，３７に含まれる施設に関する施設情報を記憶している。施設情報データベース３３ｄには、施設情報として、「レストラン」等のジャンル毎に分類された各施設についての詳細情報（例えば「営業時間」，「駐車場の位置情報」，「使用可能なクレジットカードの種類」等）などが地図データ３６，３７上における位置情報と関連付けて記憶されている。
【００３９】
（５）スピーカコントローラ
スピーカコントローラ５２は、スピーカ，アンプ，Ｄ／Ａ変換器を含んで構成されるとともに通信Ｉ／Ｆも有しており（図示せず）、車内ＬＡＮを経由して入力されるＨＭＩコントローラ７やディスプレイコントローラ１からの入力信号に基づき合成音声を発する。スピーカコントローラ５２は、本発明の音声通知手段（通知手段）として機能し、運転者に対して施設条件の特定または絞込みを促すための合成音声を出力する。また、目的地までの経路案内の実行時には案内のための合成音声を出力する。
【００４０】
（６）ＨＭＩコントローラ及びディスプレイコントローラの作動
ＨＭＩコントローラ７及びディスプレイコントローラ１の作動について、図５ないし図８を参照して説明する。ここで、図５は、ＨＭＩコントローラ７のＣＰＵ７１が実行するＨＭＩプログラム７２ｐの施設検索ルーチンを機能ブロック図で示すものであり、図７は同処理をフローチャートで示すものである。図６は、ディスプレイコントローラ１のＣＰＵ１１が実行する表示プログラム１２ｐの施設情報表示ルーチンを機能ブロック図で示すものであり、図８は同処理をフローチャートで示すものである。
【００４１】
（６−１）ナビゲーション処理
ＨＭＩコントローラ７及びディスプレイコントローラ１は、メインの処理としてナビゲーション処理を共同して行う。以下、簡略に説明を行う。ナビゲーション処理においてＨＭＩコントローラ７のＣＰＵ７１は、エージェント機能による対話の中で運転者ＤＲから目的地の入力を受けると、それを認識してディスプレイコントローラ１へと送信する。ディスプレイコントローラ１のＣＰＵ１１は、ＨＭＩコントローラ７から目的地を受信すると、位置検出器２から車両Ｃの現在位置を求め、該現在位置から目的地までの最適な経路を地図データ３６から探索する（経路探索処理）。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。次に、経路探索処理で求めた経路を表示装置５１の画面上の道路地図に重ねて表示し、運転者ＤＲに適切な経路を案内する（経路案内処理）。また、表示装置５１やスピーカ５２によって操作時のガイダンスや動作状態に応じたメッセージの報知を行う。
【００４２】
（６−２）施設検索ルーチン
ＨＭＩコントローラ７が行う施設検索ルーチンについて、図５及び図７を参照して説明する。施設検索ルーチンは、上記ナビゲーション処理中などにおいて、ＣＰＵ７１が操作スイッチ４１の操作を検知することで開始される。具体的には、運転者ＤＲが道路走行中に食事をしたくなった場合等にハンドル部分に設けられた操作スイッチ４１を操作すると、ＣＰＵ７１がそれを検知して施設検索ルーチンを開始する。
【００４３】
なお、ＨＭＩコントローラ７の施設検索ルーチンの開始は、操作スイッチ４１の操作に限らず、例えば、運転者ＤＲが所定の音声をマイクロホン５３に向かって発した場合に、ＣＰＵ７１が、その音声を入力の合図として認識することによって開始するように構成することもできる（音声認識部９１）。また、運転者ＤＲが所定の動作（ジェスチャー）を行った場合に、ＣＰＵ７１が、運転者カメラ６２により得られる運転者ＤＲの画像からそのジェスチャーを入力の合図として認識することによって開始するように構成することもできる（すなわち、ＣＰＵ７１内にジェスチャー認識部を構成する）。この場合、ＲＯＭ７２にはジェスチャーのパターンデータが記憶され、ＣＰＵ７１はこれとの照合を図ることによって、運転者ＤＲのジェスチャーを認識する。
【００４４】
施設検索ルーチンが開始されると、まずＣＰＵ７１は、「リクエストをどうぞ」等の音声をスピーカ５２から出力（応答）して、運転者ＤＲに対して施設条件の入力を促す（ステップＳ１）。このような音声のデータは、ＲＯＭ７２のデータ記憶領域７２ｂに記憶されている。
【００４５】
次に、運転者ＤＲが所望の施設条件をマイクロホン５３に施設条件（リクエスト）を発すると（ステップＳ２：Ｙｅｓ）、ＣＰＵ７１は、入力された運転者ＤＲの音声を認識する処理を行う（音声認識部９１）。具体的には、入力された音声の信号パターンと認識辞書に蓄えられている信号パターンとを照合して認識する。このようなパターン認識の方法には、隠れマルコフモデル（Hidden Markov Model）等がある。認識辞書はＲＯＭ７２に記憶されている。例えば、運転者が、食事をしたいが財布には現金が少なくクレジットカードを使おうと考えて「カードが使えて、今営業しているレストランを教えてくれ」とマイクロホン５３に向かってリクエストしたとすると、ＣＰＵ７１は、そこから名詞，助詞，動詞等を判断して、“カード”，“使える”，“今”，“営業”，“レストラン”，“教える”といった単語を抽出する。
【００４６】
次に、ＣＰＵ７１は、音声認識結果を解析することで施設条件（リクエスト）を認識し、それを復唱する音声をスピーカ５２から出力する（ステップＳ３，検索条件調整部９２）。音声認識結果の解析では、音声認識した単語のうち“カード”はクレジットカード、“レストラン”は食物店のジャンルにあるレストラン、“教える”は検索依頼である等の判断を行う。これは、例えば、ＲＯＭ７２に記憶された単語対応例リストと照合するなどの方法によって実現できる。そして、ＣＰＵ７１は、「クレジットカードの使える、今営業中のレストランを教えればよいですね」等の運転者ＤＲのリクエストを復唱する内容の音声をスピーカ５２から出力して運転者ＤＲに確認する。
【００４７】
次に、ＣＰＵ７１は、認識した施設条件を検索条件として採用するか否かの判断を行う（ステップＳ４，検索条件調整部９２）。これは例えば、ステップＳ３で反復した内容に対して運転者ＤＲが「はい」や「そう」などと肯定する声を発した場合に、認識した施設条件を検索条件として施設の検索処理（ステップＳ７）に移る（ステップＳ４：Ｙｅｓ）。他方、運転者ＤＲが「いや」や「ちがう」などと否定する声を発した場合や、認識した施設条件では検索に不適正な場合には（ステップＳ４：Ｎｏ）、施設条件の特定または絞込み処理（ステップＳ５，Ｓ６）に移る。
【００４８】
施設条件の特定または絞込み処理（ステップＳ５，Ｓ６）では、ＣＰＵ７１は、スピーカ５２から施設条件を特定する又は絞込むよう運転者ＤＲに促す音声を出力する（ステップＳ５）。そして、マイクロホン５３により運転者ＤＲが更なる施設条件の入力したことを検知すると（ステップＳ６：Ｙｅｓ）、ステップＳ３に戻って再度認識処理を行い、新たな施設条件の復唱を行う。このようにして、施設条件の特定または絞込みは、ＨＭＩコントローラ７と運転者ＤＲとの対話形式で行われる。
【００４９】
例えば、ステップＳ４において、使用するクレジットカードの種類が特定されていない場合には、検索に不適正であるとして、「クレジットカードはどれでも良いですか」とスピーカ５２から出力して運転者ＤＲに特定を促す。そして、運転者ＤＲが「VISTER」（架空名称）とマイクロホン５３に向かって答えると、それを施設条件として認識し、「VISTERカードの使える現在営業中のレストランを検索します」と応答する。
【００５０】
また、検索地域が特定されていない場合には、検索に不適正であるとして、「どの範囲までを探しますか」とスピーカ５２から出力して運転者ＤＲに特定を促す。そして、運転者ＤＲが「現在地から５ｋｍ以内」と答えると、それを施設条件として認識し、「現在地から５ｋｍ以内のクレジットカードの使える現在営業中のレストランを検索します」と応答する。また、経路案内中である場合に運転者ＤＲが「１０分以内、道なりで」と答えると、それを施設条件として認識し、「１０分以内に到着できる案内経路沿いの、クレジットカードの使える現在営業中のレストランを検索します」と応答する。
【００５１】
施設の検索処理（ステップＳ７）では、ステップＳ３で認識した施設条件を検索条件として、ＣＰＵ７１は、検索条件に適合する施設（対象施設ＢＬ）を施設情報データベース３３ｄから検索する（ステップＳ７，対象施設検索部９３）。例えば、検索条件が「VISTERカードの使える現在営業中のレストラン」である場合、施設情報データベース３３ｄから「レストラン」のジャンル毎に分類されているレストランのうち、現在の時間が営業時間に含まれているもの、使用可能なクレジットカードの種類がVISTERカードであるものを検索する。ここで、施設情報データベース３３ｄ内を検索するための検索プログラムは、ＲＯＭ７２に記憶されている。また、現在の時間は、制御回路７０等が備えるＲＴＣ（Real Time Clock）回路から取得することもできるし、ディスプレイコントローラ１が有するＧＰＳ受信器２１が車両Ｃの位置とともに取得するＵＴＣ時刻から日本標準時刻に換算して取得することもできる。
【００５２】
また、検索条件が現在位置を基準とする場合は、ＣＰＵ７１は、ディスプレイコントローラ１の位置検出器２から車両Ｃの現在位置を取得し、現在位置を基準に検索地域を設定して、施設情報データベース３３ｄに含まれる位置情報から検索地域内にある施設を特定する。また、検索条件が案内経路沿いである場合は、ディスプレイコントローラ１から案内経路の情報を取得し、案内経路沿いの地域を検索地域として設定する。
【００５３】
ステップＳ７により対象施設ＢＬが検索されなかった場合には（ステップＳ８：Ｎｏ）、ＣＰＵ７１は、対象施設ＢＬが存在しなかった旨の通知をスピーカ５２から行って（ステップＳ９）、再度の施設条件の入力を促す。一方、対象施設ＢＬが検索された場合には（ステップＳ８：Ｙｅｓ）、検索件数を運転者に伝える処理（ステップ１０）に移る。ここで、検索された対象施設ＢＬの数が所定数を超えている場合には（ステップＳ１１：Ｙｅｓ）、ＣＰＵ７１は、施設条件の再入力を促す音声をスピーカ５２より出力し（ステップＳ１２）、施設条件の再入力があった場合には（ステップＳ１３：Ｙｅｓ）、ステップＳ３に戻る。このようにして、検索される対象施設ＢＬの数が適正となるまでこれらの処理が続けられる。
【００５４】
検索された対象施設ＢＬの数が適正である場合には（ステップＳ１１：Ｎｏ）、ＣＰＵ７１は、例えば「この先に３件、条件に合うレストランがあります。レストランに近づいたらウインドシールドに表示してご案内します」等の案内を行う旨の通知をスピーカ５２から出力する。それに対して運転者ＤＲが「頼む」，「はい」，「ＯＫ」等の肯定の応答をすると、ＣＰＵ７１は、それを検知して（ステップＳ１４：Ｙｅｓ）、対象施設ＢＬの位置データ，クレジットカードの種類や営業時間等の施設条件のデータ，駐車場の位置データなどをディスプレイコントローラ１に送信する（ステップＳ１５）。一方、運転者ＤＲが否定の応答をすると（ステップＳ１４：Ｎｏ）、施設条件の再入力を促す音声をスピーカ５２より出力する（ステップＳ１２）。
【００５５】
ところで、ＨＭＩコントローラ７のＣＰＵ７１は、以上に説明した処理の他にも、運転者カメラ６２により得られる運転者ＤＲの目の画像から運転者ＤＲの視線方向を検出する処理を行っており（視線方向検出部９４）、検出した運転者ＤＲの視線方向をディスプレイコントローラ１に送信している。具体的には、視線方向の検出は、運転者ＤＲの顔面付近を撮影している運転者カメラ６２から画像データの入力を受けたＣＰＵ７１が、顔面画像から眼球領域を特定するとともに、眼球形状の曲率から眼球中心座標を求める。その一方、眼球領域から黒目（瞳孔）領域を特定して黒目中心座標も求める。そして、眼球中心座標から黒目中心座標へと向かう方向を視線方向として定める。なお、視線方向の検出には、他にも赤外光を用いる角膜反射法や強膜反射法などを用いることができる。
【００５６】
（６−３）ディスプレイコントローラの作動
ディスプレイコントローラ１が行う施設表示ルーチンについて、図６及び図８を参照して説明する。施設表示ルーチンは、上記したようにＨＭＩコントローラ７が対象施設ＢＬ（レストラン等）に関するデータを送信すると、ＣＰＵ１１がその受信を検知することで開始される。
【００５７】
施設表示ルーチンが開始されると、ＣＰＵ１１は、ＨＭＩコントローラ７から受信した対象施設ＢＬ（レストラン等）に関するデータのうち、位置データをもとに対象施設ＢＬの地図データ３６，３７上での位置を特定する（ステップＴ１，施設位置特定部９５）。そして、ＣＰＵ１１は、車両Ｃの位置情報を位置検出器２から定期的に取得し、車両Ｃの現在位置と対象施設ＢＬとの間の距離を求めて（ステップＴ２，視認可否判定部９６）、所定の表示開始距離に近づいたか否かをチェックする（ステップＴ３）。
【００５８】
表示開始距離に近づくと（ステップＴ３：Ｙｅｓ）、ＣＰＵ１１は次に、対象施設ＢＬが運転者ＤＲから視認されるか否かを判定する（ステップＴ４・Ｔ５，視認可否判定部９６）。すなわち、ＣＰＵ１１は、図１３（ｂ）のイメージ図に示すように、３次元地図データ３７から車両Ｃの現在位置ＡＬ及び進行方位ＣＤ、運転者ＤＲの視線方向ＬＳに基づいて、運転者ＤＲが見ていると想定される模擬的な情景の画像である模擬情景画像ＳＶＳ（図１３（ａ）参照）を算出する（ステップＴ４）。そして、模擬情景画像ＳＶＳから対象施設ＢＬが運転者ＤＲから視認されるか否かを判定する（ステップＴ５）。ここで、車両Ｃの現在位置ＡＬ及び進行方位ＣＤは位置検出器２から得ることができ、運転者ＤＲの視線方向ＬＳはＨＭＩコントローラ７から得られる。図１３（ａ）に示すような２次元的に表された模擬情景画像ＳＶＳは、３次元地図データ３７から例えばレイトレーシング法により得ることができる。また、対象施設ＢＬが運転者ＤＲから視認されるか否かの判定は、レイトレーシング法において、対象施設ＢＬとなる建物から届く光線が存在するか否かで判定する。
【００５９】
そして、対象施設ＢＬが運転者ＤＲから視認されると判定された場合（ステップＴ５：Ｙｅｓ）、ＣＰＵ１１は、図９に示すように、運転者ＤＲから見て対象施設ＢＬの近傍となるウインドシールドＷＳの領域に施設条件を表す施設条件表示ＤＩをウインドシールド表示装置８に表示させる（ステップＴ６，表示制御部９９）。本実施形態では、施設条件を表す施設条件表示ＤＩは、使用可能なクレジットカードである「VISTERカード」のマークを表示している。また、施設条件表示ＤＩとして、対象施設ＢＬ（レストラン等）の名称や営業時間等の情報を含めることもできる。
【００６０】
なお、施設条件表示ＤＩの表示位置は、運転者ＤＲの視線方向に基づいて模擬情景画像ＳＶＳ（図１３（ａ）参照）において定められ、それがウインドシールドＷＳ上に反映される。また、表示位置を定めるにあたって、模擬情景画像ＳＶＳは、運転者が実際に見ている情景の画像である実情景画像により位置補正されているので、模擬情景画像ＳＶＳで定めた表示位置が運転者ＤＲが実際に見ている情景における位置と精度良くリンクする。ここで、実情景画像は、車外カメラ６１により得られる画像から、ＨＭＩコントローラ７から得られる運転者ＤＲの視線方向に基づいて特定される（実情景画像特定部９８）。すなわち、車外カメラ６１の撮影により得られる画像のうち運転者ＤＲの視線方向にある部分を、運転者ＤＲが見ている実情景画像として特定する。そして、ＣＰＵ１１は、模擬情景画像ＳＶＳと実情景画像とを照合（パターンマッチング）させて模擬情景画像ＳＶＳの位置補正を行う（情景画像照合部９７）。
【００６１】
また、施設条件表示ＤＩは、図９に示すように、運転者ＤＲから見て空となるウインドシールドの領域ＢＳ（空領域ＢＳ）に表示される。空領域ＢＳは、３次元地図データ３７から得られる模擬情景画像ＳＶＳから特定することができる。例えば、模擬情景画像ＳＶＳをレイトレーシング法で得る場合において、建物ＢＬ等の物体から届く光線が存在しない領域を空領域ＢＳとする。このように施設条件表示ＤＩが表示されることで、施設条件表示ＤＩが運転者ＤＲの視界を塞いで運転の妨げになるような事態を避けることができる。
【００６２】
また、施設条件表示ＤＩは、図１０に示すように、対象施設ＢＬの手前に建物が存在する場合に、運転者ＤＲから見て一部が手前の建物に隠れて見えるように表示される（半隠れ施設条件表示ＨＤＩ）。これは、３次元地図データ３７から模擬情景画像ＳＶＳを得るに際して、対象施設ＢＬの手前の建物の外形線が得られることから、施設条件表示ＤＩの一部を切り取った切断線を当該手前の建物の外形線と合致させることで、施設条件表示ＤＩの一部が隠れて見えるようになる。これにより、運転者ＤＲは、対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。
【００６３】
また、施設条件表示ＤＩは、車両Ｃの現在位置から対象施設ＢＬまでの距離に応じて、その大きさ，明るさ，色，透明度等を当該距離に応じて変化する。すなわち、ＣＰＵ１１は、車両Ｃの位置情報を位置検出器２から定期的に取得しており、対象施設ＢＬまでの距離が所定の近さになるのに伴い、施設条件表示ＤＩの明るさを上げたり（ハイライト表示）、大きさを上げたりする。これにより、運転者ＤＲは、対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。また、施設条件表示ＤＩは、透過表示させることができる。これは、ウインドシールドＷＳに表示される施設条件表示ＤＩの透明度を上げることの他に、明度を下げることでも実現できる。これにより、施設条件表示ＤＩが運転者ＤＲの視界を塞いで運転の妨げになるような事態を避けることができる。
【００６４】
一方、ステップＴ５において対象施設ＢＬが運転者ＤＲから視認されないと判定された場合には（ステップＴ５：Ｎｏ）、ＣＰＵ１１は、図１２に示すように、ウインドシールドＷＳに対象施設ＢＬの方向を表す方向表示ＡＤＩを表示させる（ステップＴ７，表示制御部９９）。例えば、図１３（ｂ）に示す模擬情景画像ＳＶＳとなるべき領域に含まれているにも関わらず、実際に２次元的な模擬情景画像ＳＶＳ（図１３（ａ）参照）を得ると手前の建物に隠れて運転者ＤＲからは視認できない対象施設ＢＬがある場合に、運転者ＤＲから見て当該手前の建物の近傍となるウインドシールドＷＳの領域にその裏側（対象施設ＢＬが隠れている方向）を指し示すような方向表示ＡＤＩを表示させることで、運転者ＤＲは対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。また、上記と同様に、方向表示ＡＤＩの一部を手前の建物に隠して表示すると、運転者ＤＲは更に対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。なお、方向表示ＡＤＩの表示位置は、上記した施設条件表示ＤＩの場合と同様に模擬情景画像ＳＶＳに基づいて定めることができる。
【００６５】
次に、ＣＰＵ１１は、上記した施設条件表示ＤＩや方向表示ＡＤＩを表示している間においても、車両Ｃの位置情報を位置検出器２から定期的に取得して対象施設ＢＬとの間の距離を監視しており（ステップＴ８）、車両Ｃの現在位置と対象施設ＢＬとの間の距離が所定範囲内に達した場合に（ステップＴ９：Ｙｅｓ）、図１１に示すように、対象施設ＢＬの駐車場の入口を表す駐車場表示ＰＤＩを表示させる（ステップＴ１０，表示制御部９９）。これにより、運転者は、その対象施設ＢＬの駐車場に迷わず安全に（急ブレーキや急ハンドルなしに）辿り付くことができる。駐車場の位置データは、上記したように、施設情報データベース３３ｄに記憶されており、それを読み出したＨＭＩコントローラ７から送信されてくる。
【００６６】
次に、ＣＰＵ１１は、車両Ｃが対象施設ＢＬを通り過ぎたことを検知すると（ステップＴ１１：Ｙｅｓ）、その対象施設ＢＬを対象から除外して、ウインドシールドＷＳへの表示を取り止める（ステップＴ１２）。車両Ｃが対象施設ＢＬを通り過ぎたことは、漸減していた対象施設ＢＬとの距離が増加に転じたことを検知すること等によって検知できる。なお、車両ＣがＵターンして対象施設ＢＬに向かうことも想定して、車両Ｃが対象施設ＢＬを通り過ぎても所定距離以上離れるまでは対象施設ＢＬを対象から除外しないようにする。また、車両Ｃの走行途中に営業時間を徒過してしまったような場合にも、その対象施設ＢＬを対象から除外して、ウインドシールドＷＳへの表示を取り止めるようにすることができる。
【００６７】
以上、本発明の実施形態について説明したが、本発明はこれらに限定されず、その要旨を逸脱しない範囲で適宜変更して実施し得るものである。例えば、上記実施形態では施設条件表示ＤＩ等をウインドシールド表示装置８によってウインドシールドＷＳに表示していたが、表示装置５１のディスプレイに表示された地図において、対象施設ＢＬの位置と対応付けて施設条件表示ＤＩ等を表示させることもできる。
【図面の簡単な説明】
【００６８】
【図１】車両に取り付けられた状態の本発明の車両用情報表示システムを概略的に表す図
【図２】本発明の車両用情報表示システム全体の電気的ブロック図
【図３】ＨＭＩコントローラの電気的ブロック図
【図４】ディスプレイコントローラの電気的ブロック図
【図５】ＨＭＩコントローラが行う処理を表す機能ブロック図
【図６】ディスプレイコントローラが行う処理を表す機能ブロック図
【図７】ＨＭＩコントローラが行う処理を表すフローチャート
【図８】ディスプレイコントローラが行う処理を表すフローチャート
【図９】ウインドシールドへの第１表示例を示す図
【図１０】ウインドシールドへの第２表示例を示す図
【図１１】ウインドシールドへの第３表示例を示す図
【図１２】ウインドシールドへの第４表示例を示す図
【図１３】３次元地図データ及び模擬情景画像の説明図
【図１４】ウインドシールド表示装置の説明図
【符号の説明】
【００６９】
１ ディスプレイコントローラ
１０ ディスプレイコントローラの制御部（表示制御部，施設位置特定部，視認可否判定部，実情景画像特定部，情景画像照合部）
２ 位置検出器（位置検出手段）
３ ハードディスク（地図データ記憶手段，施設情報記憶手段）
３２ｄ 地図データベース
３３ｄ 施設情報データベース
３７ ３次元地図データ
４１ 操作スイッチ
５１ 表示装置（表示手段）
５２ スピーカコントローラ（通知手段）
５３ マイクロホン（入力手段）
６１ 車外カメラ（車外撮像手段）
６２ 運転者カメラ（運転者撮像手段）
７ ＨＭＩコントローラ
７０ ＨＭＩコントローラの制御部（検索条件調整部，対象施設検索部，音声認識部，視線方向検出部）
８ ウインドシールド表示装置（表示手段）
【特許請求の範囲】
【請求項１】
地図データを記憶する地図データ記憶手段と、
前記地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、
運転者の所望する施設条件が入力される入力手段と、
該施設条件を検索条件として、それに適合する施設を前記施設情報記憶手段から検索して対象施設とする対象施設検索部と、
前記対象施設の前記地図データ上での位置を特定する施設位置特定部と、
画像を表示する表示手段と、
前記施設条件を表す施設条件表示を前記対象施設の位置と対応付けて前記表示手段に表示させる表示制御部と、
を備えることを特徴とする車両用情報表示システム。
【請求項２】
前記入力手段は音声入力手段により構成され、該音声入力手段から入力された運転者の音声を認識する音声認識部を備える請求項１に記載の車両用情報表示システム。
【請求項３】
運転者に対して施設条件の特定または絞込みを促す通知を行うための通知手段と、前記入力手段及び前記通知手段により運転者との対話形式で検索条件を調整する検索条件調整部とを備える請求項１または２に記載の車両用情報表示システム。
【請求項４】
前記検索条件調整部は、前記対象施設検索部により検索された前記対象施設の数が所定範囲から外れている場合に、運転者に対して施設条件の再入力を促す通知を前記通知手段に行わせる請求項３に記載の車両用情報表示システム。
【請求項５】
前記通知手段は音声通知手段により構成される請求項３または４に記載の車両用情報表示システム。
【請求項６】
前記表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段である請求項１ないし５のいずれか１項に記載の車両用情報表示システム。
【請求項７】
車両の現在位置を検出する位置検出手段と、前記地図データに基づいて車両と前記対象施設との位置関係から該対象施設が運転者から視認されるか否かを判定する視認可否判定部とを備え、
前記表示制御部は、前記視認可否判定部により前記対象施設が運転者から視認されると判定された場合に、前記施設条件を表す施設条件表示を前記対象施設の位置と対応付けて前記表示手段に表示させる請求項１ないし６のいずれか１項に記載の車両用情報表示システム。
【請求項８】
運転者を撮影する運転者撮像手段と、前記運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部とを備え、
前記地図データは３次元地図データであり、
前記視認可否判定部は、車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を前記３次元地図データから算出し、当該模擬情景画像から前記対象施設が運転者から視認されるか否かを判定し、
前記表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段であり、
前記表示制御部は、前記視認可否判定部により前記対象施設が運転者から視認されると判定された場合に、運転者から見て前記対象施設の近傍となる前記ウインドシールドの領域に前記施設条件表示を前記ウインドシールド表示手段に表示させる請求項７に記載の車両用情報表示システム。
【請求項９】
車外を撮影する車外撮像手段と、
前記視線方向検出部により得られる運転者の視線方向及び前記車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、
前記模擬情景画像と前記実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、
前記表示制御部は、該情景画像照合部により位置補正された前記模擬情景画像に基づいて表示制御を行う請求項８に記載の車両用情報表示システム。
【請求項１０】
前記表示制御部は、運転者から見て空となる前記ウインドシールドの領域に前記施設条件表示を表示させる請求項８または９に記載の車両用情報表示システム。
【請求項１１】
前記表示制御部は、前記対象施設の手前に建物が存在する場合に、運転者から見て前記施設条件表示の一部が該手前の建物に隠れて見えるように該施設条件表示を表示させる請求項８ないし１０のいずれか１項に記載の車両用情報表示システム。
【請求項１２】
前記表示制御部は、前記視認可否判定部により前記対象施設が運転者から視認されないと判定された場合に、前記対象施設の方向を表す方向表示を表示させる請求項７ないし１１のいずれか１項に記載の車両用情報表示システム。
【請求項１３】
前記視認可否判定部は、車両の現在位置から前記対象施設までの距離を特定し、当該距離が所定範囲内にある場合に、該対象施設が運転者から視認されるか否かを判定する請求項７ないし１２のいずれか１項に記載の車両用情報表示システム。
【請求項１４】
前記視認可否判定部は、車両の現在位置から前記対象施設までの距離を特定し、前記表示制御部は、当該距離が所定範囲内にある場合に、前記対象施設の駐車場の入口を表す駐車場表示を表示させる請求項７ないし１３のいずれか１項に記載の車両用情報表示システム。
【請求項１５】
前記視認可否判定部は、車両の現在位置から前記対象施設までの距離を特定し、前記表示制御部は、表示される前記施設条件表示の大きさ，明るさ，色，透明度等を当該距離に応じて変化させる請求項７ないし１４のいずれか１項に記載の車両用情報表示システム。
【請求項１６】
前記入力手段は運転者を撮影する運転者撮像手段により構成され、該運転者撮像手段により得られる運転者の画像から運転者が行う所定の動作を入力の合図として認識するジェスチャー認識部を備える請求項１ないし１５のいずれか１項に記載の車両用情報表示システム。
【請求項１】
地図データを記憶する地図データ記憶手段と、
前記地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、
運転者の所望する施設条件が入力される入力手段と、
該施設条件を検索条件として、それに適合する施設を前記施設情報記憶手段から検索して対象施設とする対象施設検索部と、
前記対象施設の前記地図データ上での位置を特定する施設位置特定部と、
画像を表示する表示手段と、
前記施設条件を表す施設条件表示を前記対象施設の位置と対応付けて前記表示手段に表示させる表示制御部と、
を備えることを特徴とする車両用情報表示システム。
【請求項２】
前記入力手段は音声入力手段により構成され、該音声入力手段から入力された運転者の音声を認識する音声認識部を備える請求項１に記載の車両用情報表示システム。
【請求項３】
運転者に対して施設条件の特定または絞込みを促す通知を行うための通知手段と、前記入力手段及び前記通知手段により運転者との対話形式で検索条件を調整する検索条件調整部とを備える請求項１または２に記載の車両用情報表示システム。
【請求項４】
前記検索条件調整部は、前記対象施設検索部により検索された前記対象施設の数が所定範囲から外れている場合に、運転者に対して施設条件の再入力を促す通知を前記通知手段に行わせる請求項３に記載の車両用情報表示システム。
【請求項５】
前記通知手段は音声通知手段により構成される請求項３または４に記載の車両用情報表示システム。
【請求項６】
前記表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段である請求項１ないし５のいずれか１項に記載の車両用情報表示システム。
【請求項７】
車両の現在位置を検出する位置検出手段と、前記地図データに基づいて車両と前記対象施設との位置関係から該対象施設が運転者から視認されるか否かを判定する視認可否判定部とを備え、
前記表示制御部は、前記視認可否判定部により前記対象施設が運転者から視認されると判定された場合に、前記施設条件を表す施設条件表示を前記対象施設の位置と対応付けて前記表示手段に表示させる請求項１ないし６のいずれか１項に記載の車両用情報表示システム。
【請求項８】
運転者を撮影する運転者撮像手段と、前記運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部とを備え、
前記地図データは３次元地図データであり、
前記視認可否判定部は、車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を前記３次元地図データから算出し、当該模擬情景画像から前記対象施設が運転者から視認されるか否かを判定し、
前記表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段であり、
前記表示制御部は、前記視認可否判定部により前記対象施設が運転者から視認されると判定された場合に、運転者から見て前記対象施設の近傍となる前記ウインドシールドの領域に前記施設条件表示を前記ウインドシールド表示手段に表示させる請求項７に記載の車両用情報表示システム。
【請求項９】
車外を撮影する車外撮像手段と、
前記視線方向検出部により得られる運転者の視線方向及び前記車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、
前記模擬情景画像と前記実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、
前記表示制御部は、該情景画像照合部により位置補正された前記模擬情景画像に基づいて表示制御を行う請求項８に記載の車両用情報表示システム。
【請求項１０】
前記表示制御部は、運転者から見て空となる前記ウインドシールドの領域に前記施設条件表示を表示させる請求項８または９に記載の車両用情報表示システム。
【請求項１１】
前記表示制御部は、前記対象施設の手前に建物が存在する場合に、運転者から見て前記施設条件表示の一部が該手前の建物に隠れて見えるように該施設条件表示を表示させる請求項８ないし１０のいずれか１項に記載の車両用情報表示システム。
【請求項１２】
前記表示制御部は、前記視認可否判定部により前記対象施設が運転者から視認されないと判定された場合に、前記対象施設の方向を表す方向表示を表示させる請求項７ないし１１のいずれか１項に記載の車両用情報表示システム。
【請求項１３】
前記視認可否判定部は、車両の現在位置から前記対象施設までの距離を特定し、当該距離が所定範囲内にある場合に、該対象施設が運転者から視認されるか否かを判定する請求項７ないし１２のいずれか１項に記載の車両用情報表示システム。
【請求項１４】
前記視認可否判定部は、車両の現在位置から前記対象施設までの距離を特定し、前記表示制御部は、当該距離が所定範囲内にある場合に、前記対象施設の駐車場の入口を表す駐車場表示を表示させる請求項７ないし１３のいずれか１項に記載の車両用情報表示システム。
【請求項１５】
前記視認可否判定部は、車両の現在位置から前記対象施設までの距離を特定し、前記表示制御部は、表示される前記施設条件表示の大きさ，明るさ，色，透明度等を当該距離に応じて変化させる請求項７ないし１４のいずれか１項に記載の車両用情報表示システム。
【請求項１６】
前記入力手段は運転者を撮影する運転者撮像手段により構成され、該運転者撮像手段により得られる運転者の画像から運転者が行う所定の動作を入力の合図として認識するジェスチャー認識部を備える請求項１ないし１５のいずれか１項に記載の車両用情報表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１３】
【公開番号】特開２００６−２６７２４９（Ｐ２００６−２６７２４９Ａ）
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願番号】特願２００５−８２３００（Ｐ２００５−８２３００）
【出願日】平成１７年３月２２日（２００５．３．２２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願日】平成１７年３月２２日（２００５．３．２２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]