説明

情報提供装置、情報表示方法、ナビゲーション装置

【課題】車両外部の音声情報を、乗員に理解しやすい態様で伝える情報提供装置情報表示方法及びナビゲーション装置を提供すること。
【解決手段】サービスに対応したサービス画面を表示部52に表示する情報提供装置100において、車両外部の音声情報を集音する集音手段31と、集音手段が集音した音声情報を音声認識してテキストデータに変換する音声認識手段300と、テキストデータに基づきサービス画面の表示態様を変更する画面変更手段45と、を有することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置に情報を表示する情報提供装置に関し、特に、外部の音声を認識する音声認識手段を備えた情報提供装置情報表示方法及びナビゲーション装置に関する。
【背景技術】
【0002】
車両を運転中、車内には種々の音が生じ、また、車両外で生じた種々の音や音声(以下、音声情報という)が進入する。乗員は音声情報から車両操作に必要な情報を取捨するが、車両内外のノイズにより聞き取るべき音声情報を聞き漏らすことがある。また、運転免許証は所定の条件を満たせば交付されるが、この条件の中には軽度の聴覚障害は含まれず、運転面書証の交付後に聴覚障害が生じた場合でも運転が禁止されることはない。また、運転免許証は交付する国の言語を完全に理解できなくても交付されることが多い。
【0003】
しかしながら、運転中は、音声情報により公共サービスが提供されたり、場合によっては外部の人とのコミュニケーションが要求されることがあるため、聴覚や言語能力が十分でないと運転者が不都合を感じる場合がある。また、このような不都合があることは、道路や駐車情報のように公共性が高い環境を利用する乗員に不公平をもたらすと言える。
【0004】
この点について、外部の音声を集音して、車内の乗員を支援する技術が提案されている(例えば、特許文献1参照。)。特許文献1には、音声情報を音声認識してその内容をディスプレイに表示するナビゲーション装置が記載されている。したがって、乗員は聞き取れなかった音声情報を視覚により把握することができる。
【特許文献1】特開2003−329475号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1記載のナビゲーション装置は、単に音声認識してそれを表示するのみであるので、例えば言語能力に劣る外国人には意味を成さないという問題がある。
【0006】
本発明は、上記課題に鑑み、車両外部の音声情報を、乗員に理解しやすい態様で伝える情報提供装置、情報表示方法及びナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題に鑑み、本発明は、サービスに対応したサービス画面を表示部に表示する情報提供装置において、車両外部の音声情報を集音する集音手段と、集音手段が集音した音声情報を音声認識してテキストデータに変換する音声認識手段と、テキストデータに基づきサービス画面の表示態様を変更する画面変更手段(例えば、音声情報変更部45、サービス画面生成部47)と、を有することを特徴とする。
【0008】
本発明によれば、音声を認識したテキストデータに基づきサービス画面の表示態様を変更するので、音声情報応じてサービス画面を最適化できる。
【0009】
また、本発明の一形態において、前記サービス画面が、駐車場を提供する前記サービスの駐車場マップである場合、画面変更手段は、テキストデータが含む位置情報に対応する、駐車場マップの所定位置の表示態様を変更する、ことを特徴とする。
【0010】
本発明によれば、駐車場の係員が駐車位置を音声で指示した場合、その位置が駐車場マップ上で例えば強調されるため、乗員に駐車位置を把握させやすくすることができる。
【0011】
また、本発明の一形態において、前記サービス画面が、ドライブスルーにおいて飲食物を提供する前記サービスの商品メニューである場合、画面変更手段は、テキストデータが含む購入可能な商品又は購入不可の商品の情報に対応する、商品メニューの商品の表示態様を変更する、ことを特徴とする。
【0012】
本発明によれば、店員の音声による商品の選択可否を、表示された商品メニューに反映できるので、乗員に商品毎の購入可否を把握させやすくすることができる。
【発明の効果】
【0013】
車両外部の音声情報を、乗員に理解しやすい態様で伝える情報提供装置、情報表示方法及びナビゲーション装置を提供することができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明を実施するための最良の形態について図面を参照しながら実施例を挙げて説明する。
【0015】
図1は、本実施形態の情報提供装置の概略を説明する図である。例えば、駐車場に駐車する場合、図1(a)に示すように駐車場の入り口で車両は駐車場情報を受信する。駐車場情報は、例えば、駐車場マップ、混雑状況、料金情報等である。駐車場情報を受信すると車載装置は図1(b)に示すように駐車場情報をディスプレイに表示する(以下、サービスに特有の情報が表示された画面をサービス画面という)。図1(b)では駐車場マップが表示され、この駐車場は3Fまでありそのうち1F部分は満車であるとことがわかる。
【0016】
乗員はかかるサービス画面をみて、2Fか3F部分に駐車することができると判断できるが、駐車場の係員や警備員に駐車場所を音声で指定される場合がある。図1(b)では係員に「3階のAを利用してください」と指定されている。本実施形態の情報提供装置は、かかる音声を音声認識してサービス画面に反映させる。例えば音声から「3階」、「A」という表現(後述の被反映表現)を抽出し、駐車場マップの3FのAという駐車場所が強調されるよう表示態様を変更する。図1(c)ではマルで囲むことで強調表示した。
【0017】
したがって、音声情報がサービス画面に反映されるので、乗員は音声による指示を把握しやすくなる。また、乗員が難聴者や外国人であったり係員の音声を聞き取れなかった場合でも、音声情報がサービス画面に反映されるので、指示に従った駐車が可能となる。すなわち、本実施形態の情報提供装置は、音声情報をより把握させやすくでき、聴覚や言語能力にかかわらず公平に音声によるサービスを提供することを可能とする。
【0018】
なお、サービスとは、図1の如く駐車場の提供、飲食物の提供、燃料の提供等であるが、以下では、警察が実施する検問など、直接の利益がない公共サービスを含めサービスという。なお、このようなサービスの種類を以下、サービス態様という。また、係るサービスを提供する施設及び者を含め単にサービス提供者という。
【0019】
図2は、情報提供装置100のシステム構成図を示す。情報提供装置100は、ディスプレイ52を利用して情報を表示するので例えばナビゲーションシステムにより構成することができる。情報提供装置100は制御部20により制御され、現在地や目的地までの誘導情報等を乗員に提供するナビ機能部200、音声情報から音声を認識する音声認識部300、音声情報を反映してサービス画面を変更するサービス画面表示部400、とを有する。なお、ナビ機能部200、音声認識部300、及び、サービス画面表示部400の全て又は一部を別体に構成してもよい。
【0020】
情報提供装置100は操作部51、ディスプレイ52及びスピーカ53を有する。操作部51はキーボード、リモコン、音声入力装置、又は、ディスプレイ52と一体のタッチパネルなど、ユーザが情報提供装置100に操作を入力するためのユーザインターフェイスである。ディスプレイ52は、液晶や有機ELなど表示手段であり後述するように道路地図やサービス画面を表示するために用いられる。スピーカ53は、目的地までの経路において右折や左折の手前で車両操作を促しユーザを目的地まで案内する音声情報を出力するために用いられる。
【0021】
〔ナビ機能部200〕
制御部20は、CAN(controller area network)や専用線などを介してGPS受信機21、車速センサ22,ジャイロセンサ23、地図DB(Data Base)24、と接続されている。また、制御部20は、CPU、RAM、ROM、不揮発メモリ及び入手力インターフェイスが内部バスで接続されたコンピュータであって、CPUがプログラムを実行するか又は所定の演算回路で実現される位置検出部25、経路検索部26及び地図描画部27を有する。
【0022】
GPS受信機21は、地球の周りを周回する好ましくは4つ以上のGPS衛星を補足して、各GPS衛星からの電波の到達時間に基づき、自車両の位置(緯度・経度・標高)を検出する。また、車速センサ22は、車両の各輪に備えられたロータの円周上に定間隔で設置された凸部が通過する際の磁束の変化をパルス波形に整形して、単位時間あたりのパルス数に基づき各輪毎に車輪速を計測する。車輪速にタイヤの外径や凸部の間隔に応じて定めた補正値を乗じれば車速が得られる。ジャイロセンサ23は、例えばマイクロマシニングで形成された震動片型ジャイロセンサであり、車両が路面に対しヨーイング方向に回転する時の加速度を電極間の変化による電圧信号として取り出し、これを積分することで角度、すなわち進行方向に変換する。
【0023】
地図DB24は、緯度や経度などの位置情報に対応づけて道路地図情報を記憶している。道路地図情報は、道路を構成するリンクのリンク情報と、リンクとリンクを接続するノード(交差点)のノード情報とを対応づけたテーブル状のデータベースである。リンク情報にはリンク長、幅員、接続ノード、接続方向等が含まれるため、道路地図情報により道路形状を検出することができる。また、地図DB24には、リンク毎に自動車専用道路や一般道などの道路種別、及び、駐車場、飲食店、ドライブスルー付き飲食店、ガソリンリンスタンド、駅等の施設の位置情報が記憶されている。
【0024】
位置検出部25は、GPS受信機21が検出した車両の位置情報を起点にして、ジャイロセンサ23が検出する方向に車速センサ22が検出する走行距離を累積して、車両の位置を高精度に推定する。なお、車両の周囲の道路地図を利用して、推定された位置に対し最も確からしい道路に車両の位置をマッチングするマップマッチングにより自車両の位置を補正してもよい。
【0025】
経路検索部26は、自車両の位置(現在位置)、及び、操作部51から入力された目的地に基づき現在位置から目的地までの経路を検索する。経路探索部26は、目的地までの経路となりうるリンクを抽出し、各リンクをリンク長や右左折、幅員、通行規制等に応じたコストに置き換え、これらのコストの積算値が最も小さくなる経路を目的地までの経路と決定する。
【0026】
地図描画部27は、ディスプレイ52に表示する地図画面情報を生成する。地図描画部27は、現在位置や目的地などを含む道路地図情報を地図DB24から抽出し、リンク長、リンク間の接続方向、幅員、道路種別等に従い道路網を形成し、これに、現在位置に自車アイコン、目的地には目的地アイコン、施設に応じたアイコンを配置して地図画面情報を生成する。なお、各リンクや道路以外の市街地、河、海、山などは所定の色情報が設定される。
【0027】
〔音声認識部300〕
音声認識部300について説明する。音声認識は公知の技術を用いることができる。音声認識は、音声情報に音響分析を施して得られた特徴量から、種々の辞書を参照してテキストデータを抽出する手順で行われる。音声認識部300は、CPUがプログラムを実行するか又は所定の演算回路で実現されるテキスト変換部32及びテキスト解析部33を有する。
【0028】
集音マイク31は、車外の音声情報を集音すべくフロントバンパ、リアバンパ、左右のドアミラー等に好ましくは複数配置される。集音マイク31が集音した音声情報は、電気信号に変換されテキスト変換部32に入力される。テキスト変換部32は電気信号を例えばフーリエ変換して音声の認識に有効な特徴量を抽出する。この特徴量は人間の聴覚が音声情報を理解するために有効な音を取り出したものになる。
【0029】
テキスト解析部33は、特徴量と発音記号との対応関係を確率で示す音響モデルDB、認識対象となりうる単語を発音記号に対応づけて記憶した単語DB、いくつかの単語候補から一連の会話の中で用いられることが多い単語を結びつけて記憶した言語モデルDB、等を有する。
【0030】
テキスト変換部32は、音響分析により得られた特徴量に基づき、音響モデルDBを参照し、候補となりうる一連の発音記号を抽出する。候補となる発音記号は通常複数あるので、テキスト変換部32は単語DBを参照して、複数の発音記号に対応づけられた単語をそれぞれ抽出する。したがって、発音が似た音声情報でも単語が登録されていない(存在しない、使用頻度が極めて低い)単語が抽出されることはない。
【0031】
ついで、テキスト変換部32は、音声情報が含む前後の単語を取り出して、言語モデルDBを参照する。音声情報は時系列的にいくつもの単語を有し、それぞれが複数の候補を有するので、時系列の単語間の組み合わせを抽出し、一連の会話の中で用いられない候補の単語を排除する。以上のような処理により、テキスト変換部32は集音マイク31が集音した音声情報をテキストデータに変換する。テキストデータはテキスト解析部33に送出される。
【0032】
なお、通信装置54がサービス画面情報を受信した場合、サービス態様がサービス画面情報と共に送信されれば、サービス態様に基づき認識対象の単語を絞り込むことができる。
【0033】
テキスト解析部33は、入力されたテキストデータに対し、形態素解析の解析結果に基づきテキスデータから係り受け関係を検出する。形態素解析では辞書を参照して、テキストデータに含まれる単語から例えば自立語と付属語を抽出する。係り受け解析ではテキストデータに含まれる文節を解析し、係りと受けの関係にある文節間の関係を抽出する。これにより、テキストデータが含む単語、単語間の係り受け情報が得られる。なお、一般的なテキスト解析では品詞も特定できる。
【0034】
以上により、集音マイク31が集音した音声情報から、単語(特に自立語)及び係り受け関係を取得することができる(以下、音声情報を認識して得られたデータをテキストデータといい、テキストデータには係り受け関係の情報を含むものとする。)。
【0035】
〔サービス画面表示部400〕
サービス画面表示部400について説明する。サービス画面表示部400は、通信装置54が受信したサービス画面情報によりそのままサービス画面をディスプレイ52に表示するフェーズと、テキストデータの内容を反映したサービス画面を表示するフェーズとがある。なお、サービス画面表示部400は、CPUがプログラムを実行するか又は所定の演算回路で実現されるサービス判定部41、反映方法決定部43、音声情報反映部45、選択禁止部46、サービス画面生成部47及び画面制御部48を有する。また、メモリにはサービステキストDB42及び反映情報DB44が記憶されている。
【0036】
<サービス画面をそのままディスプレイ52に表示するフェーズ>
通信装置54は、例えば、相手側の通信装置との距離が所定以内の比較的狭い狭域通信(DSRC(Dedicated Short Range Communication))で通信する。例えば自動車専用道の料金所に設けられた通信装置と通信するため車両がETC(Electronic Toll Collection System)装置を搭載している場合、通信装置54はこれと兼用することができる。通信装置54は、サービス提供者の通信エリアに入ると自動的に通信を開始し、5.8GHz帯の搬送波をASK変調やQPSK変調して、ベースバンド信号を取り出しこれを復号してデジタルデータを取得する。そして、デジタルデータに所定のプロトコル(例えばTCP/IP)処理を施し、サービス画面情報を受信する。なお、無線LAN、ブルートゥース、ワイヤレスUSB等、どのような通信方法を用いてもよい。
【0037】
・サービス画面情報
サービス画面情報は、例えばHTMLやXMLファイルなど汎用性のあるフォーマットで送信されることが好ましい。このようなフォーマットで送信されたサービス画面情報であれば、サービス画面生成部47はホームページ等をディスプレイ52に表示する場合に用いられるブラウザエンジンによりサービス画面を生成できるのでコストを抑制できる。
【0038】
なお、サービス画面をテキストフォーマット、ビットマップデータ、JPEGデータ、MPEGデータ等のフォーマットで送信してもよい。一般的なフォーマットであるテキストフォーマット又はビットマップデータであればそのままディスプレイ52に表示することができ、JPEGデータやMPEGデータであってもデコーダの入手が容易であるので、サービス画面情報を受信したが表示できないといったことを防止できる。
【0039】
ところで、サービス画面情報と共に、サービス画面上の位置情報と位置情報に対応づけられた操作入力情報を通信装置54が受信する場合がある。これは、ディスプレイ52がタッチパネルの場合に、乗員が触れた位置情報に応じてその操作入力情報を検出するためである。サービス画面生成部47は、ユーザが触れたディスプレイ52上の位置情報に基づき操作入力情報を特定し、その操作入力情報をユーザの指示(例えば、「確定ボタン」に触れる)に従い通信装置54を介してサービス提供者に送信する。したがって、サービス画面により商品や飲食物がディスプレイ52に表示され、乗員が画面に触れて選択した場合、乗員が選択した商品や飲食物の操作入力情報をサービス提供者に送信することができる。
【0040】
・画面の切り替え
画面制御部48は、ディスプレイ52に表示する画面を、地図描画部27が生成した地図画面とサービス画面生成部47が生成したサービス画面とに切り替える。なお、画面制御部48は、VICS受信機が例えばVICS(Vehicle Information and Communication System)から交通情報を受信したときには、優先的にディスプレイ52に表示する画面を交通情報に切り替えたり、乗員の操作に供するメニュー画面、音楽や映像の再生画面等、情報提供装置100の使用態様に応じて画面を切り替える。
【0041】
地図画面とサービス画面の場合、画面制御部48は、初期状態では地図画面をディスプレイ52に表示し、通信装置54がサービス画面情報を受信したら、サービス画面情報に優先的に切り替える。その後は、乗員が操作部51から地図画面に戻す操作を入力するか、所定時間が経過することで、自動的に地図画面にもどる。なお、地図画面とサービス画面を完全に切り替えるのでなく、地図画面上にサービス画面を重畳表示してもよい。サービス画面がそれほど大きくなければ又は縮小することが可能であれば、ユーザはサービス画面を確認しながら地図画面を視認することができる。また、重畳表示する場合、表面側の画面(例えば、サービス画面)を半透明に色変換してもよい。
【0042】
<テキストデータの内容を反映したサービス画面を表示するフェーズ>
・サービス態様
まず、サービス態様の判定について説明する。上述したように、通信装置54がサービス画面情報を受信した際にサービス態様がサービス画面情報と共に送信された場合、これをそのままサービス態様とすることができる。
【0043】
サービス態様が得られなかった場合、いくつかの方法でテキストデータをどのようにサービス画面に反映すべきかを推定することができる。例えば、位置検出部25が検出する位置情報に基づき地図DB24を参照し、そこが駐車場であればサービス態様は駐車場の提供であることが、ガソリンスタンドであればサービス態様は燃料の提供であることが、飲食店であればサービス態様は飲食物の提供であることが検知できる。
【0044】
サービス態様がサービス画面情報と共に送信されない、又は、位置情報からサービス態様を検知できない場合、サービス判定部41はサービス毎に典型的なサービス用語を記憶したサービステキストDB42を参照してサービス態様を判定する。図3はサービス態様に対応づけたサービス用語の一例を示す。サービス判定部41は、テキストデータに含まれる単語をサービステキストDB42から検索し、サービス態様を判定する。例えば、テキストデータに「駐車」という単語が含まれていれば、サービス態様は駐車場の提供であり、「いらっしゃいませ」という単語が含まれていれば、サービス態様は飲食物の提供であり、「レギュラー」という単語が含まれていれば、サービス態様は燃料の提供であり、「免許証」という単語が含まれていれば、サービス態様は検問である。
【0045】
このように、サービス態様を正確に検出することで、i)サービス画面の表示態様の変更が容易になり、ii)サービス態様に応じてテキストデータの内容をサービス画面に反映させることができるようになる。
【0046】
例えば、サービス態様が駐車場の提供と判明した場合、「3階のAに駐車してください」という音声情報から「3階」「A」等の場所に係る被反映表現を検出し、例えばサービス画面に同じテキストがあれば「3階」「A」を強調することができる。また、サービス態様が飲食物の提供と判明した場合、「コーヒーはいかがですか」という音声情報から「コーヒー」という商品名に係る被反映表現を検出し、例えばサービス画面に同じテキストがあれば「コーヒー」を強調することができる。この場合、被反映表現は例えばサービステキストDB42にサービス態様毎に登録しておく。
【0047】
また、例えば、サービス態様が判明すれば、情報提供装置100はより適切にサービス画面を変更することができるようになる。例えば、サービス態様が駐車場の提供では強調を簡易にすればよいし、飲食物の提供ではより目立つ表示態様に変更することが可能となる。
【0048】
・サービス画面の表示態様の変更(反映方法の決定)
サービス態様に基づき被反映表現を抽出した場合、反映方法決定部42は例えばサービステキストDB42に登録された反映方法に従い、反映方法を決定すればよい。しかしながら、サービス態様にのみ基づき反映方法を決定すると、適切な反映が困難となる場合がある。例えば、駐車場の提供において「3階に駐車してください」という音声情報と「3階は満車です」という音声情報では、いずれも「3階」を強調してしまう。満車の場合はサービス画面の「3階」を強調すべきでないと考えられる。同様のことが飲食物の提供にも当てはまり、「コーヒーはいかがですか」という音声情報と「おもちゃセットは品切れです」という音声情報では、「コーヒー」は強調すべきであるが、「おもちゃセット」は強調すべきでないと考えられる。
【0049】
そこで、本実施形態では、テキストデータを解析してより適切な表示態様の変更方法を決定する。反映方法決定部43は、テキスト解析部33が解析した係り受け情報を含むテキストデータに基づき反映方法を決定する。
【0050】
反映方法決定部43は、図4に示す反映情報DB44に登録された反映方法を参照して反映方法を決定する。図4では、サービス態様毎に、反映指示表現、被反映表現、反映方法、が登録されている。反映指示表現は、テキストデータに含まれる依頼、指示、要求、情報伝達、等を伝えるための表現である。例えば、「して下さい」は、依頼、指示、要求に相当し、「品切れ」「お得です」は情報伝達に相当し、「〜は如何ですか」は推奨に相当する。反映方法決定部43は、まずこのような反映指示表現がテキストデータに含まれていることを検出する。
【0051】
反映指示表現があった場合、反映方法決定部43はテキスト解析部33が検出した係り受け関係を利用して被反映表現を決定する。被反映表現は、反映指示表現にかかる文節又は文節中の自立語である。例えば、「3階のAの駐車場を利用して下さい」の例文では、「利用して下さい」という反映指示表現に、「駐車場を」という文節がかかる。したがって、「駐車場を」の自立語である「駐車場」が被反映表現となる。また、「駐車場を」には「Aの」がかかり、「Aの」には「3Fの」がかかる。このように係り受け関係が連鎖している場合は、その全てを抽出する。したがって「駐車場」「A」「3階」が被反映表現となる。
【0052】
そして、反映方法決定部43は、反映指示表現に基づき反映方法を決定する。例えば、「して下さい」のような依頼の反映指示表現では、被反映表現が重要であることになるので被反映表現を強調する。図4に示すように、反映指示表現に対応づけて、強調、推奨、削除、選択不能、情報伝達の反映方法が登録されているので、反映指示表現に適切な方法で被反映表現の表示態様を変更することができる。
【0053】
・サービス画面へのテキストデータの内容の反映
音声情報反映部45は、テキストデータの内容をサービス画面に反映させる。図5は、被反映表現への反映例を示す図である。音声情報反映部45は、反映方法決定部43から被反映表現と反映方法を取得し、強調するよう被反映表現を変更したり、被反映表現を削除したり、被反映表現が推奨されるよう被反映表現を変更する。なお、被反映表現が複数ある場合、全ての被反映表現を対象にしてもよいし、その一部を対象にしてもよい。
【0054】
図5では、全てのサービス画面に「○△□」という被反映表現が含まれているとして説明している。「○△□」はテキストデータの一部である。図5(a)に示すように、テキストデータが「○△□に行って下さい」であって反映方法が強調であれば、音声情報反映部45は「○△□」に例えば下線を付す。また、例えば、図5(b)に示すように、テキストデータが「○△□はお勧めです」であって反映方法が推奨の場合、音声情報反映部45は「○△□」を□で囲う。
【0055】
また、図5(c)に示すように、テキストデータが「○△□は女性限定です」であって反映方法が強い強調の場合、音声情報反映部45は「○△□」の色を変える。女性らしい色で表示してもよい。また、反映方法が強い強調の場合、図5(d)に示すように、「○△□」を目立たせるため「○△□」を点滅表示する。なお、強調や推奨の場合、被反映表現の太さを太くしたり、書体を変えてもよい。
【0056】
また、図5(e)に示すように、テキストデータが「○△□は品切れです」の場合であって反映方法が削除や選択不能の場合、音声情報反映部45は「○△□」をサービス画面から削除したり選択不能にする。図5(f)に示すように、テキストデータが「○△□は10%引きです」であって反映方法が情報伝達の場合、音声情報反映部45は「○△□」の例えば下部に「10%引き」のように補足説明を追加して表示する。
【0057】
ところで、音声情報反映部45がテキストデータの内容を反映するには、サービス画面における被反映表現の「○△□」の場所を検出する必要がある。この場合サービス画面情報がHTMLやXMLであれば、これらのファイル中に「○△□」のテキストがそのまま含まれているので、被反映表現を容易に検出することができる。
【0058】
また、音声情報反映部45がテキストデータの内容を被反映表現に反映するには、検出した反映対象の「○△□」又はその周囲に反映処理を施す必要がある。反映の例は図5に示した通りであるが、この場合もサービス画面情報がHTMLやXMLの場合、容易に反映処理を施すことができる。
【0059】
例えば、被反映表現に下線を付す場合、XMLではU要素がサポートされているので、<u>○△□</u>と記述することでサービス画面上の「○△□」に下線を付すことができる。
【0060】
例えば、被反映表現を囲む(背景色を変える)場合、HTML及びXMLでは<SPAN STYLE="background-color:#XXXX">○△□</SPAN> と記述することで、サービス画面上の○△□の背景色を指定でき、○△□が囲まれたように表示することができる(XXXXは色を指定する16進数)。
【0061】
例えば、被反映表現の色を変える場合、HTML及びXMLでは<font color=#XXXX>○△□</font>と記述することで、サービス画面上の「○△□」の色を変えることができる。
【0062】
例えば、被反映表現を点滅させる場合、XMLでは<blink>○△□</blink>と記述することで、サービス画面上の「○△□」を点滅させることができる。
【0063】
また、削除する場合はHTML又はXMLの該当する記述を削除するか注釈行にし、補足説明を追加する場合は記述を追加する。なお、選択不能にする場合、表示はそのままでもよいしサービス画面から削除してもよいが、表示した状態で選択不能とする場合、被反映表現を目立たない色などに変更することが好ましい。
【0064】
これに対し、サービス画面情報がビットマップデータやJPEG、MPEG等で送信された場合、ビットマップデータやJPEG、MPEGの画像データから被反映表現の「○△□」を検出する。検出には例えばOCR(Optical Character Recognition)の技術を用いる。JPEG又はMPEGの場合、まず、ビットマップデータに変換する。そしてビットマップデータにエッジ処理を施し、被反映表現の輪郭が強調されたエッジ画像にOCRを施す。これにより、サービス画面内の文字や数字を抽出でき、例えば「○△□」で検索することでサービス画面内の「○△□」を検出できる。
【0065】
また、サービス画面情報が、ビットマップデータ、JPEG又はMPEGであった場合、音声情報反映部45がテキストデータの内容を反映するには、○△□の外接矩形に所定のマージンを設けて切り出し、切り出した領域に所望の反映処理を施し、サービス画面上の元の位置に配置する。
【0066】
例えば、下線を付す場合は、「○△□」を構成する最下部の画素から一定距離離れた位置の、所定幅の画素を例えば黒で置き換える。これにより、「○△□」に下線を付すことができる。なお、下線等の色は背景色と異なることが好ましいので、下線の色は例えばXYZ表色系で背景色と所定距離離れた色とする。
【0067】
同様に、「○△□」を囲う画素の色を置き換えれば「○△□」を囲むことができ、「○△□」を構成する画素の色を変えれば「○△□」の色を変えることができ、「○△□」を構成する画素の色を背景色と同じにした切り出し領域と元の切り出し領域を所定時間毎に切り替えて表示することで、「○△□」を点滅させることができる。削除する場合は「○△□」を構成する画素の色を背景色と同じ色にし、補足説明を追加する場合は「○△□」の下部に「お得」などの文字をビットマップで表示する。
【0068】
・操作の禁止
サービス画面生成部47がサービス画面情報と共に操作入力情報を取得した場合であって、反映方法が選択不能であった場合、選択禁止部46はサービス画面生成部47に、その被反映表現を操作する操作入力情報(すなわち、位置情報の入力)があってもその操作の受付を禁止するよう要求する。したがって、音声情報で「品切れ」等が知らされたメニューの選択を禁止することができる。
【0069】
〔駐車場のサービス画面〕
以上の構成を用いて、駐車場のサービス画面についてより具体的に説明する。図6は、表示されたサービス画面にテキストデータの内容を反映する手順を示すフローチャート図である。図6のフローチャート図は、例えば通信装置54がサービスの提供者と通信するとスタートする。
【0070】
まず、サービス画面生成部47はサービス提供者から通信装置54を介しサービス画面情報を取得する(S10)。取得するとサービス画面生成部47は、サービス画面情報を解釈し画面制御部48に送出し、画面制御部48はサービス画面をディスプレイ52に表示する(S20)。後続のサービス画面情報を取得する場合は、順次、サービス画面情報を画面制御部48に送出する。駐車場であれば、図1(b)に示すような駐車場マップ等がディスプレイ52に表示される。
【0071】
ついで、音声情報反映部45は、集音マイク31が外部からの音声情報を集音したか否かを判定する(S30)。
【0072】
集音マイク31が、例えば「3階のAを利用して下さい」という音声情報を受信した場合(S30のYes)、音声認識部300は音声情報をテキストデータに変換する(S40)。そして、反映方法決定部43は図4のような反映情報DB44を参照し、テキストデータに反映指示表現があるか否かを判定する(S50)。反映指示表現があれば、反映方法決定部43は被反映表現と反映方法を音声情報反映部45に送出する。
【0073】
反映指示表現がテキストデータに含まれる場合(S50のYes)、音声情報反映部45は被反映表現と反映方法に基づき被反映表現の強調等をサービス画面に反映させる(S60)。
反映指示表現:「利用して下さい」
被反映表現:「駐車」「3階」「A」
反映方法:強調
図1(c)では、サービス画面の「A」という被反映表現が強調される。すなわち、「駐車」「3階」はサービス画面にないので、サービス画面にある「A」が強調されることになる。
【0074】
乗員は、図1(c)のように音声情報が反映されたディスプレイ52を視認することで、駐車場の位置を容易に把握することが可能となる。
【0075】
以降は、乗員は音声情報が反映されたサービス画面又は反映されないサービス画面を視認して、例えば駐車場マップを見ながら目的の駐車区画に駐車したり、例えば駐車位置をサービス提供者に報告するなどの操作を行う(S70)。
【0076】
駐車区画への駐車をサービス提供者が検出してサービス画面等の提供を停止したり、乗員が操作してサービス画面を終了させると(S80)、図6の処理は終了する。
【0077】
以上のように、本実施形態の情報提供装置100はナビシステム等が受信した情報だけではカバーできない音声情報を、ディスプレイ52に反映して表示できるので表示する情報量を向上させることができる。また、難聴者や言語能力が劣る乗員に対しても公平なサービスを提供することができる。音声認識したテキストデータをそのまま表示するわけではないので、外国人にも公平に情報を提供できる。
【0078】
〔ドライブスルーのサービス画面〕
ドライブスルーのサービス画面について図7の画面遷移に基づき具体的に説明する。なお、フローチャート図は図6と同様であるので省略する。ドライブスルーにおけるサービス画面はメニュー画面が多く、また、サービス画面からメニューを選択できるようになっている。
【0079】
車両がドライブスルーに到着すると、その入り口付近に設けられた通信部から通信装置54はサービス画面情報を受信する(S10)。画面制御部48は、例えばそれまで表示していた道路地図画面をサービス画面に切り替える。これにより、図7(a)の如くサービス画面が表示される(S20)。図7(a)ではハンバーガーショップのメニューの一部が表示されており、乗員は所望の商品をタッチパネル等の操作部51から選択する。
【0080】
サービス画面の表示に前後して、ハンバーガーショップの店員が音声を発声することがある(S30)。これにより、この店舗にしかない限定サービスやシステム改修が追いついていないため表示されないメニュー等の情報を、乗員は聴覚を介し把握できる。例えば、店員が「おもちゃセットは品切れです」と発声した場合、音声情報反映部45はテキストデータから「品切れ」という反映指示表現を検出し、反映情報DB44を参照して、被反映表現と反映方法を読み出す(S40、S50)。
反映指示表現:「品切れ」
被反映表現:「おもちゃセット」
反映方法:「選択不能」
選択不能とする場合、まず、音声情報反映部45は被反映表現又は被反映表現を囲む所定領域の色を目立たない色に変更する(S60)。目立たない色は背景色に対し、例えば同系統の色(例えば背景がグレーに対し、より薄いグレーにする)である。これにより、図7(b)に示すようにサービス画面の「おもちゃセット」の商品が色を変えて表示される。
【0081】
したがって、店員の音声による商品の選択可否を、表示された商品に反映できるので、乗員に商品毎の購入可否を把握させやすくすることができる。
【0082】
また、選択禁止部46はサービス画面生成部47に「おもちゃセット」の選択を禁止する。サービス画面生成部47は、「おもちゃセット」の位置情報を記憶しているので、乗員が「おもちゃセット」をタッチパネル等から選択しても、それを無視する。すなわち、選択されたとして扱わない。なお、選択不能の商品が乗員により選択された場合、「おもちゃセットは品切れです」等の音声情報をスピーカ53から出力してもよいし、ディスプレイ52に表示してもよい。乗員は、選択できない理由を改めて把握することができる。
【0083】
乗員が選択可能な商品から所望の商品を選択した場合(S70)、サービス画面生成部47は乗員が選択したメニューをサービス画面上の位置情報から検出し、通信装置54を介してサービス提供者に送信する。
【0084】
このように、サービス提供者と車両との間で双方向に送受信される表示情報に対しても、音声情報の内容を反映させることができる。
【0085】
以上説明したように、本実施形態の情報提供装置100は、音声情報がサービス画面に反映されるので、乗員に音声による情報を把握させやすくすることができる。
【図面の簡単な説明】
【0086】
【図1】情報提供装置の概略を説明する図である。
【図2】情報提供装置のシステム構成図の一例である。
【図3】サービス態様に対応づけたサービス用語の一例を示す図である。
【図4】反映情報DBの一例を示す図である。
【図5】被反映表現への反映例を示す図である
【図6】表示されたサービス画面にテキストデータの内容を反映する手順を示すフローチャート図である。
【図7】ドライブスルーにおけるサービス画面の遷移例を示す図である。
【符号の説明】
【0087】
20 制御部
31 集音マイク
32 テキスト変換部
33 テキスト解析部
41 サービス判定部
42 サービステキストDB
43 反映方法決定部
44 反映情報DB
45 音声情報反映部
46 選択禁止部
47 サービス画面生成部
48 画面制御部
100 情報提供装置



【特許請求の範囲】
【請求項1】
サービスに対応したサービス画面を表示部に表示する情報提供装置において、
車両外部の音声情報を集音する集音手段と、
前記集音手段が集音した音声情報を音声認識してテキストデータに変換する音声認識手段と、
前記テキストデータに基づき前記サービス画面の表示態様を変更する画面変更手段と、
を有することを特徴とする情報提供装置。
【請求項2】
現在の位置情報に基づき前記サービスの態様を判定するサービス判定手段を有し、
前記画面変更手段は、前記サービスの態様に基づき前記サービス画面の表示態様を変更する、
ことを特徴とする請求項1記載の情報提供装置。
【請求項3】
前記画面変更手段は、前記テキストデータに含まれる所定表現であって、前記サービス画面に含まれる同じ前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項1記載の情報提供装置。
【請求項4】
前記画面変更手段は、前記テキストデータに含まれる所定表現であって、前記サービス画面に含まれる同じ前記所定表現を前記サービス画面から削除する、
ことを特徴とする請求項1記載の情報提供装置。
【請求項5】
前記画面変更手段は、前記所定表現を強調するよう前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項3記載の情報提供装置。
【請求項6】
前記サービス画面が、駐車場を提供する前記サービスの駐車場マップである場合、
前記画面変更手段は、前記テキストデータが含む位置情報に対応する、前記駐車場マップの所定位置の表示態様を変更する、
ことを特徴とする請求項1記載の情報提供装置。
【請求項7】
前記サービス画面が、ドライブスルーにおいて飲食物を提供する前記サービスの商品メニューである場合、
前記画面変更手段は、前記テキストデータが含む購入可能な商品又は購入不可の商品の情報に対応する、前記商品メニューの商品の表示態様を変更する、
ことを特徴とする請求項1記載の情報提供装置。
【請求項8】
前記テキストデータの係り受け関係を検出する構造解析部と、
係り受け関係に基づき、前記所定表現にかかる変更指示表現を前記テキストデータから検出する変更方法決定手段と、
前記変更指示表現に対応づけて前記所定表現の表示態様の変更方法を記憶する変更方法記憶手段と、を有し、
前記変更方法決定手段は、前記テキストデータから検出した前記変更指示表現に基づき前記変更方法記憶手段から前記変更方法を読み出し、
前記画面変更手段は、読み出された前記変更方法に基づき前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項3記載の情報提供装置。
【請求項9】
サービスに対応したサービス画面を表示部に表示する情報提供装置の情報表示方法において、
表示部が前記サービス画面を表示するステップと、
集音手段が、車両外部の音声情報を集音するステップと、
音声認識手段が、前記集音手段が集音した音声情報を音声認識してテキストデータに変換するステップと、
画面変更手段が、前記テキストデータに基づき前記サービス画面を変更するステップと、
を有することを特徴とする情報表示方法。
【請求項10】
請求項1〜8いずれか1項記載の情報提供装置と、
現在位置を検出する位置検出手段と、
現在位置から所定位置までの経路を検索する経路検索手段と、
道路地図情報を記憶した道路地図情報記憶手段と、
を有することを特徴とするナビゲーション装置。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2009−192489(P2009−192489A)
【公開日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願番号】特願2008−36207(P2008−36207)
【出願日】平成20年2月18日(2008.2.18)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】