説明

情報提示システム

【課題】携帯端末の機能に従って表示される情報に相当する情報を、車両を運転中のドライバがより容易に確認することを可能にする。
【解決手段】車載ナビゲーション装置の車載側BT通信部44が、携帯電話機からBT通信によって音声認識結果を受信し、車載側BT通信部44で受信した音声認識結果をもとに、車載側制御部45が当該音声認識結果についてのトークバック音声を車載側音声出力部42から出力させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提示システムに関するものである。
【背景技術】
【0002】
従来から、ユーザが発話した音声を認識する音声認識の技術が知られている。音声認識の技術は、スイッチ操作が困難な状況において種々の機器を操作するために用いられている。例えば車両運転中はスイッチ操作が困難であることから、音声認識の技術は車載ナビゲーション装置などを操作するために用いられている。
【0003】
さらに、近年では、車載ナビゲーション装置だけでなく、携帯端末など様々な製品にも音声認識の技術が用いられるようになってきている。また、近年では、例えば特許文献1に開示されているように、処理能力が高いサーバ側で音声認識処理をさせる技術も提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−91611号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一般的に、音声認識の一連動作は、音声入力を促す案内音声を出力し、ユーザからの音声入力部への音声入力が行われた後に、音声入力が行われた音声コマンドの発話データをもとに、音声認識用の辞書を用いて音声認識を行い、音声認識の認識結果(以下、音声認識結果)を表示するとともに音声認識結果についてのトークバック音声を出力するといった流れになっている。
【0006】
しかしながら、サーバ側で音声認識処理をさせるサーバ音認を行うシステムでは、この音声認識の一連の動作が異なる例もある。例えば、携帯端末でユーザからの音声入力を受け付けてサーバ音認を行うシステムにおいて、一部の携帯端末では、音声認識結果や音声認識結果に応じたコンテンツの画面表示を行っても、音声認識結果についてのトークバック音声を出力しないものが存在する。
【0007】
このような、音声認識結果についてのトークバック音声を出力しない携帯端末を、ドライバが車両に持ち込んで運転中に音声認識を行わせた場合、ドライバは、運転中に携帯端末の画面を見なければ音声認識結果を確認することができない。安全運転上、運転中に携帯端末の画面を注視することは禁じられている。従って、音声認識結果についてのトークバック音声を出力しない携帯端末を、ドライバが車両に持ち込んで運転中に音声認識を行わせた場合、ドライバは音声認識結果を確認することが難しく、利便性を欠くことになる。
【0008】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、携帯端末の機能に従って表示される情報に相当する情報を、車両を運転中のドライバがより容易に確認することを可能にする情報提示システムを提供することにある。
【課題を解決するための手段】
【0009】
請求項1の情報提示システムによれば、携帯端末の機能に従った情報を表示するのに用いる表示関連データを通信によって車載器が取得し、この取得した表示関連データをもとに、当該携帯端末の機能に従った情報を示す音声を車載器の音声出力部から出力するので、携帯端末の機能に従って表示される情報に相当する情報を音声によって車載器から出力することが可能になる。また、携帯端末の機能に従って表示される情報に相当する情報を音声によって車載器から出力するので、運転中のドライバであっても携帯端末の機能に従って表示される情報に相当する情報をより容易に確認することが可能になる。
【0010】
請求項2の構成によれば、音声認識サーバから携帯端末が得た音声認識結果を通信によって車載器が取得し、この取得した音声認識結果をもとに、当該音声認識結果を示す音声(つまり、トークバック音声)を車載器の音声出力部から出力するので、トークバック音声を出力しない携帯端末における音声認識結果についてのトークバック音声であっても車載器から出力することが可能になる。また、トークバック音声を車載器から出力するので、運転中のドライバであっても音声認識結果をより容易に確認することができる。その結果、音声認識結果についてのトークバック音声を出力しない携帯端末における音声認識結果を、車両を運転中のドライバがより容易に確認することが可能になる。
【0011】
ここで、音声認識結果をもとに、当該音声認識結果を示すトークバック音声を音声出力部から出力させる態様としては、請求項3および4のような態様がある。
【0012】
例えば、音声認識サーバが、発話データに基づく音声認識を行って少なくともテキストデータを音声認識結果として得るものである場合には、請求項3のように、データ取得部で取得した音声認識結果としてのテキストデータに従った音声合成を行い、当該音声合成で得られた音声をトークバック音声として音声出力部から出力させる態様としてもよい。
【0013】
また、音声認識サーバが、発話データに基づく音声認識を行って少なくとも音素データを音声認識結果として得るものである場合には、請求項4のように、データ取得部で取得した音声認識結果としての音素データに従った音声合成を行い、当該音声合成で得られた音声をトークバック音声として音声出力部から出力させる態様としてもよい。
【0014】
また、請求項5のように、音声認識結果を示すトークバック音声を音声出力部から出力させるときに、車載器側通常音声(つまり、車載器の機能に従ったトークバック音声以外の音声)が既に出力中の場合には、車載器側通常音声の出力をミュートした上で当該トークバック音声を音声出力部から出力させる態様としてもよい。これによれば、車載器側通常音声にかぶらずにトークバック音声を出力することが可能になる。
【0015】
さらに、請求項6のように、音声出力部から出力する音声の種類ごとの優先順位の情報をもとに、トークバック音声よりも優先順位が高い車載器側通常音声についてはトークバック音声に優先して出力させる態様としてもよい。これによれば、例えば警告音声などのように緊急性の高い音声を、トークバック音声に優先して出力することが可能となり、より利便性を向上させることが可能になる。
【0016】
また、請求項7の構成によれば、トークバック音声だけでなく、携帯機側通常音声(つまり、携帯端末の機能に従った案内音声および警告音声のうちの少なくともいずれかの音声)についても、車載器の音声出力部から出力させるので、音声認識結果を示すトークバック音声は車載器側から出力されるが、携帯機側通常音声は携帯端末側から出力されるといった雑然とした状況が生じることを防ぐことが可能になる。
【図面の簡単な説明】
【0017】
【図1】情報提示システム100の概略的な構成を示すブロック図である。
【図2】携帯電話機1の概略的な構成を示すブロック図である。
【図3】音声認識サーバ2の概略的な構成を示すブロック図である。
【図4】車載ナビゲーション装置3の概略的な構成を示すブロック図である。
【図5】車載ナビゲーション装置3における携帯電話機1の代理でのトークバック音声の出力に関連する処理のフローを示すフローチャートである。
【図6】調停処理のフローを示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面を用いて説明する。図1は、本発明が適用された情報提示システム100の概略的な構成を示すブロック図である。図1に示す情報提示システム100は、携帯電話機1、音声認識サーバ2、および車載ナビゲーション装置3を含んでいる。
【0019】
携帯電話機1は、一般的な携帯電話機と同様の通話機能やメール機能等を有している他に、音声入力により各種アプリケーションの操作を行うことができる音声認識機能を有しているものである。なお、携帯電話機1は、請求項の携帯端末に相当する。
【0020】
ここで、図2を用いて携帯電話機1の概略的な構成について説明を行う。なお、便宜上、一般的な携帯電話機が有している機能に関する構成のうち、本発明の説明に不要なものについては説明を省略する。図2は、携帯電話機1の概略的な構成を示すブロック図である。図2に示すように携帯電話機1は、携帯側音声入力部11、携帯側表示部12、携帯側音声出力部13、サーバ通信部14、携帯側Bluetooth(登録商標)通信部15、携帯側操作スイッチ群16、および携帯側制御部17を備えている。
【0021】
携帯側音声入力部11は、ユーザの発話音(携帯電話機1への音声コマンド)を集音し、その集音した音声をディジタルの音声信号(つまり、発話データ)に変換して携帯側制御部17に出力する。詳しくは、携帯側音声入力部11は、ユーザが発話した携帯電話機1の各種アプリケーションの操作と対応する音声コマンドを音声信号に変換して出力する。また、携帯側音声入力部11は、小型のディジタルマイク等を用いて構成することができる。なお、携帯側音声入力部11が請求項の音声入力部に相当する。
【0022】
携帯側表示部12は、携帯電話機1の各種アプリケーションに応じた画面および各種アプリケーションの対象物としてのコンテンツを表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。なお、携帯側表示部12が請求項の表示部に相当する。また、携帯側音声出力部13は、スピーカ等から構成され、携帯側制御部17の指示に基づいて、通話相手の音声や各種案内音声などを出力する。
【0023】
なお、携帯側音声出力部13から出力される案内音声としては、例えば二次元バーコードから読み取ったり、ネットワークを介してダウンロードしたりするなどして取得した施設等の音声ガイドのデータに基づく案内音声がある。また、携帯電話機1が経路案内機能を有している場合には、経路案内の案内音声がある。
【0024】
サーバ通信部14は、携帯電話網などのネットワークを介して音声認識サーバ2と通信を行う。詳しくは、サーバ通信部14は、携帯側制御部17の指示に従って、携帯側制御部17から送られてくる発話データを音声認識サーバ2に送信するとともに、その発話データをもとに音声認識サーバ2で音声認識を行って得られた認識結果(以下、音声認識結果)を音声認識サーバ2から受信する。また、音声認識サーバ2から受信した音声認識結果は携帯側制御部17に入力する。
【0025】
携帯側Bluetooth(以下、BT)通信部15は、BTアンテナを有しており、このBTアンテナを介して車載ナビゲーション装置3に対し2.4GHz帯の電波にて信号を送信するとともに、2.4GHz帯の電波にて車載ナビゲーション装置3から送信されてくる信号を、BTアンテナを介して受信する。詳しくは、携帯側BT通信部15は、音声認識サーバ2から受信した音声認識結果を車載ナビゲーション装置3に送信する。
【0026】
携帯側操作スイッチ群16は、例えば携帯側表示部12と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられ、スイッチ操作により携帯側制御部17へ各種機能の操作指示を行う。
【0027】
携帯側制御部17は、通常のコンピュータとして構成されており、内部には周知のCPU、ROM、RAM、I/O及びこれらの構成を接続するバスライン(いずれも図示せず)が備えられている。携帯側制御部17は、携帯側音声入力部11、サーバ通信部14、携帯側BT通信部15、携帯側操作スイッチ群16から入力された各種情報に基づき、各種処理を実行する。
【0028】
例えば、携帯側制御部17は、携帯側音声入力部11から発話データが入力された場合は、当該発話データをサーバ通信部14に送り、サーバ通信部14からネットワークを介して当該発話データを音声認識サーバ2へ送信させる。
【0029】
また、携帯側制御部17は、携帯側操作スイッチ群16で携帯電話機1とのペアリングの対象となるBT機器を選択する入力を受け付けた場合に、携帯側操作スイッチ群16で選択されたBT機器と携帯側BT通信部15を介してBT通信を行うことができるように、ペアリング処理を行う。なお、ペアリング処理は、一般的なBT機器同士で行われる周知のペアリング処理と同様にして行う構成とすればよい。また、本実施形態では、携帯電話機1と車載ナビゲーション装置3とがペアリングするものとして以降の説明を行う。
【0030】
さらに、携帯側制御部17は、音声認識サーバ2で得られた音声認識結果がサーバ通信部14から入力されたときに、携帯電話機1と車載ナビゲーション装置3とがペアリング中であった場合は、音声認識サーバ2で得られた音声認識結果を携帯側BT通信部15に送る。そして、携帯側BT通信部15からBT通信によって当該音声認識結果を車載ナビゲーション装置3に送信させる。
【0031】
また、携帯側制御部17は、音声認識サーバ2で得られた音声認識結果がサーバ通信部14から入力されたときに、携帯電話機1と車載ナビゲーション装置3とがペアリング中でなかった場合は、音声認識サーバ2で得られた音声認識結果を携帯側表示部12に送る。そして、携帯側表示部12に当該音声認識結果を示す表示を行わせる。なお、携帯電話機1では、音声認識サーバ2で得られた音声認識結果を携帯側音声出力部13に送って当該音声認識結果を示す音声出力(つまり、音声認識結果についてのトークバック音声)を出力する機能を持たないものとする。
【0032】
図1に戻って、音声認識サーバ2は、携帯電話機1から送信される前述の音声データをもとに音声認識を行い、その音声認識結果を携帯電話機1に返信するサーバである。なお、音声認識サーバ2は、1つのサーバからなるものであってもよいし、複数のサーバからなっているものであってもよい。
【0033】
ここで、図3を用いて音声認識サーバ2の概略的な構成について説明を行う。図3は、音声認識サーバ2の概略的な構成を示すブロック図である。図3に示すように音声認識サーバ2は、携帯通信部21、辞書格納部22、コンテンツデータ格納部23、およびサーバ側制御部24を備えている。
【0034】
携帯通信部21は、携帯電話網などのネットワークを介して携帯電話機1と通信を行う。詳しくは、携帯通信部21は、携帯電話機1から送信される発話データを受信し、その発話データをサーバ側制御部24に入力する。また、携帯通信部21は、サーバ側制御部24の指示に従って、サーバ側制御部24から送られてくる音声認識結果を携帯電話機1に送信する。
【0035】
辞書格納部22は、音声認識用の辞書を格納している。なお、辞書格納部22に格納される辞書は、音声認識に用いられる周知の辞書と同様の辞書を用いる構成とすればよく、例えば単語とその単語の発音を表記する音素や発音記号などとが対応付けられた辞書等を用いる構成とすればよい。
【0036】
また、コンテンツデータ格納部23は、携帯電話機1で利用できる各種アプリケーションの対象物としてのコンテンツのデータ(つまり、コンテンツデータ)を格納している。なお、コンテンツは例えば映像、音声、文字、図形等のデータからなるものとする。
【0037】
サーバ側制御部24は、通常のコンピュータとして構成されており、内部には周知のCPU、ROM、RAM、I/O及びこれらの構成を接続するバスライン(いずれも図示せず)が備えられている。サーバ側制御部24は、携帯通信部21、辞書格納部22、コンテンツデータ格納部23から入力された各種情報に基づき、各種処理を実行する。
【0038】
例えば、サーバ側制御部24は、携帯通信部21で受信した発話データが入力された場合に、この発話データの音声信号から音声特徴量を抽出し、特徴量データを生成する。音声信号から音声特徴量を抽出して特徴量データを生成する方法としては、例えばLPC分析法等の周知の方法を用いる構成とすればよい。続いて、サーバ側制御部24は、この特徴量データをもとに、辞書格納部22に格納されている音声認識用の辞書を用いて音声認識を行う。
【0039】
なお、音声認識については、周知の手法を用いて行う構成とすればよく、例えば隠れマルコフモデル等を用いて行う構成とすればよい。また、辞書記憶部に保持される辞書についても、音声認識に用いられる周知の辞書と同様の辞書を用いる構成とすればよく、例えば単語とその単語の発音を表記する音素や発音記号などとが対応付けられた辞書等を用いる構成とすればよい。
【0040】
また、サーバ側制御部24は、音声認識を行った音声認識結果を携帯通信部21に送り、発話データの送信元の携帯電話機1に返信する。なお、サーバ側制御部24は、例えば音声認識の結果得られた文字のテキストデータを音声認識結果として出力し、このテキストデータを携帯電話機1に返信する構成とすればよい。また、サーバ側制御部24は、音声認識の結果得られた文字のテキストデータに、例えばXML(Extensible Markup Language)のタグを付与し、後述する車載ナビゲーション装置3でそのテキストデータが読み上げられるようにする構成としてもよい。
【0041】
また、テキストデータだけでなく、例えば音声認識の結果得られた文字のテキストデータをもとに音声合成した音声信号も出力し、テキストデータと音声信号とを音声認識結果として携帯電話機1に返信する構成としてもよい。他にも、サーバ側制御部24は、例えば音声認識の結果得られた音素のデータ(音素データ)を携帯電話機1に返信する構成としてもよい。なお、音声認識結果としてのテキストデータや音素データが請求項の表示関連データに相当し、音声認識結果が請求項の携帯端末の機能に従った情報に相当する。
【0042】
さらに、サーバ側制御部24は、音声コマンドの発話データを音声認識することによって得られたテキストデータが示すコマンドに従って、当該音声コマンドに対応するアプリケーションで用いるコンテンツデータをコンテンツデータ格納部23から読み出し、携帯通信部21に送り、当該コンテンツデータを発話データの送信元の携帯電話機1に送信したりもする。
【0043】
なお、携帯電話機1では、音声認識サーバ2から返信された音声認識結果に従った処理を実行することで、前述の音声コマンドに従ったアプリケーションの操作を開始する。さらに、アプリケーションの操作に伴ってコンテンツを表示する必要がある場合には、携帯電話機1では、音声認識サーバ2から送信される前述のコンテンツデータをもとにコンテンツを表示することになる。
【0044】
また、本実施形態では、発話データをもとにサーバ側制御部24で音声特徴量を抽出し、特徴量データを生成する構成を示したが、必ずしもこれに限らない。例えば、携帯側音声入力部11から入力される発話データをもとに、携帯側制御部17で音声特徴量を抽出し、特徴量データを生成する構成としてもよい。この場合には、携帯側制御部17で生成した特徴量データをサーバ通信部14および携帯通信部21を介してサーバ側制御部24に送り、この特徴量データをもとにサーバ側制御部24で音声認識を行う構成とすればよい。
【0045】
図1に戻って、車載ナビゲーション装置3は、自動車等の車両に搭載されるものである。なお、車載ナビゲーション装置3は、請求項の車載器に相当する。車載ナビゲーション装置3は、一般的なナビゲーション装置と同様の経路案内を行うナビゲーション機能を有している他に、例えば、携帯電話機1との間で無線通信を行う機能を有している。なお、車載ナビゲーション装置3を搭載している車両を以降では、自車両と呼ぶものとする。
【0046】
ここで、図4を用いて車載ナビゲーション装置3の概略的な構成について説明を行う。図4は、車載ナビゲーション装置3の概略的な構成を示すブロック図である。図4に示すように車載ナビゲーション装置3は、位置検出器31、地図データ入力器36、車載側操作スイッチ群37、車載側音声入力部38、リモコン39、リモコンセンサ40、車載側表示部41、車載側音声出力部42、外部メモリ43、車載側Bluetooth通信部(以下、車載側BT通信部)44、および車載側制御部45を備えている。
【0047】
位置検出器31は、自車両の加速度を検出する加速度センサ32、自車両の鉛直方向周りの角速度を検出するジャイロスコープ33、各転動輪の回転速度から自車両の速度を検出する車輪速センサ34、および人工衛星からの電波に基づいて自車両の現在位置を検出するGPS(Global Positioning System)のためのGPS受信機35を有している。これらのセンサ等32〜35は、各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては上述した内の一部で構成してもよく、さらにステアリングの回転センサ、各転動輪の回転速度から速度を検出する車速センサ等を用いてもよい。
【0048】
地図データ入力器36は、記憶媒体(図示せず)が装着され、その記憶媒体に格納されている位置検出の精度向上のためのいわゆるマップマッチング用データ、地図データ、および目印データを含む各種データを入力するための装置である。地図データには、道路を示すリンクデータとノードデータとが含まれる。なお、リンクとは、地図上の各道路を交差・分岐・合流する点等の複数のノードにて分割したときのノード間を結ぶものであり、各リンクを接続することにより道路が構成される。リンクデータは、リンクを特定する固有番号(リンクID)、リンクの長さを示すリンク長、リンクの始端及び終端ノード座標(緯度・経度)、道路名称、道路種別、道路幅員、車線数、右折・左折専用車線の有無とその専用車線の数、および制限速度等の各データから構成される。
【0049】
一方、ノードデータは、地図上の各道路が交差、合流、分岐するノード毎に固有の番号を付したノードID、ノード座標、ノード名称、ノードに接続するリンクのリンクIDが記述される接続リンクID、および交差点種類等の各データから構成される。
【0050】
また、上記記憶媒体には、各種施設の種類、名称、住所のデータなども記憶されており、それらのデータは経路探索の際の目的地設定などに用いられる。なお、上記記憶媒体としては、CD−ROMまたはDVD−ROM、メモリカード、HDD等が用いられる。
【0051】
車載側操作スイッチ群37は、例えば車載側表示部41と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられ、スイッチ操作により車載側制御部45へ各種機能(例えば、地図縮尺変更、メニュー表示選択、目的地設定、経路探索、経路案内開始、現在位置修正、表示画面変更、音量調整等)の操作指示を行う。
【0052】
車載側音声入力部38は、ユーザの発話音(車載ナビゲーション装置3への音声コマンド)を集音し、その集音した音声をディジタルの音声信号(つまり、発話データ)に変換して車載側制御部45に出力するものであって、ディジタルマイク等を用いて構成することができる。
【0053】
リモコン39には複数の操作スイッチ(図示せず)が設けられ、スイッチ操作によりリモコンセンサ40を介して各種指令信号を車載側制御部45に入力することにより、車載側操作スイッチ群37と同じ機能を車載側制御部45に対して実行させることが可能である。
【0054】
車載側表示部41は、自車両の走行を案内するための地図および目的地選択画面等を表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。また、車載側音声出力部42は、スピーカ等から構成され、車載側制御部45の指示に基づいて、経路案内時の案内音声などを出力する。
【0055】
外部メモリ43は、HDD等の書き込み可能な大容量記憶装置である。外部メモリ43には大量のデータや電源をOFFしても消去してはいけないデータを記憶したり、頻繁に使用するデータを地図データ入力器36からコピーして利用したりする等の用途がある。なお、外部メモリ43は、リムーバブルなメモリであってもよい。
【0056】
車載側BT通信部44は、BTアンテナを有しており、このBTアンテナを介して携帯電話機1に対し2.4GHz帯の電波にて信号を送信するとともに、2.4GHz帯の電波にて携帯電話機1から送信されてくる信号を、BTアンテナを介して受信する。また、車載側BT通信部44は、車載側制御部45に接続されており、BTアンテナにて携帯電話機1から受信した音声認識結果を車載側制御部45に出力する。なお、車載側BT通信部44が請求項のデータ取得部に相当する。
【0057】
また、車載側BT通信部44から送信される信号の通信エリアは、例えば車室内に限られており、車載ナビゲーション装置3と携帯電話機1との間でのBT通信は車室内に限定して行うことができる構成とすればよい。
【0058】
車載側制御部45は、通常のコンピュータとして構成されており、内部には周知のCPU、ROM、RAM、I/O及びこれらの構成を接続するバスライン(いずれも図示せず)が備えられている。車載側制御部45は、位置検出器31、地図データ入力器36、車載側操作スイッチ群37、車載側音声入力部38、リモコンセンサ40、外部メモリ43、車載側BT通信部44から入力された各種情報に基づき、ナビゲーション機能としての処理(例えば、地図縮尺変更処理、メニュー表示選択処理、目的地設定処理、経路探索実行処理、経路案内開始処理、現在位置修正処理、表示画面変更処理、音量調整処理等)や携帯電話機1との間での無線通信を行う処理や携帯電話機1の代理での音声認識結果の音声出力に関連する処理(トークバック音声出力処理、ミュート処理等)を実行する。
【0059】
例えば、車載側制御部45は、携帯電話機1と車載側BT通信部44を介してBT通信を行うことができるように、前述のペアリング処理を行う。また、車載側制御部45は、ペアリング中の携帯電話機1から受信した音声認識結果が車載側BT通信部44から入力されたときに、当該音声認識結果を示す音声(つまり、トークバック音声)を車載側音声出力部42から出力させるトークバック音声出力処理を行う。よって、車載側制御部45が請求項の出力制御部に相当し、車載側音声出力部42が請求項の音声出力部に相当する。
【0060】
トークバック音声出力処理において車載側制御部45は、音声認識結果がテキストデータであった場合には、このテキストデータをもとに周知の音声合成を行うことによって音声認識結果を示す音声信号を生成し、この音声信号を車載側音声出力部42に送って車載側音声出力部42からトークバック音声を出力させる構成とすればよい。また、音声認識結果がXMLのタグ等が付与されたテキストデータであった場合には、このタグに従ってテキストデータを読み上げることによって車載側音声出力部42からトークバック音声を出力させる構成としてもよい。
【0061】
さらに、音声認識結果がテキストデータに加え音声信号も含んでいた場合には、この音声信号を車載側音声出力部42に送って車載側音声出力部42からトークバック音声を出力させる構成としてもよい。つまり、音声認識サーバ2が、音声認識結果を示す音声信号を生成し、音声認識結果を少なくとも当該音声信号として出力するものである場合には、音声認識結果を示す音声信号に従った音声を車載側音声出力部42から出力させることによって、当該音声認識結果を示す音声をトークバック音声として出力させる構成としてもよい。
【0062】
他にも、音声認識結果が音素データであった場合には、この音素データをもとに周知の音声合成を行うことによって音声認識結果を示す音声信号を生成し、この音声信号を車載側音声出力部42に送って車載側音声出力部42からトークバック音声を出力させる構成とすればよい。
【0063】
また、車載側制御部45は、経路案内時の案内音声やなど、車載器の機能に従った前記トークバック音声以外の音声(以下、車載器側通常音声)を車載側音声出力部42から出力させる通常音声出力処理を行う。さらに、車載側制御部45は、車載側音声出力部42からの車載器側通常音声の出力をミュートするミュート処理を行う。なお、ここで言うところのミュートとは、例えば車載器側通常音声の出力レベルを絞ることであってもよいし、車載器側通常音声の出力を停止することであってもよい。
【0064】
ここで、図5を用いて、車載ナビゲーション装置3における携帯電話機1の代理でのトークバック音声の出力に関連する処理のフローについての説明を行う。図5は、車載ナビゲーション装置3における携帯電話機1の代理でのトークバック音声の出力に関連する処理のフローを示すフローチャートである。なお、本フローは、例えば自車両のイグニッションスイッチやアクセサリスイッチがオンされ、車載ナビゲーション装置3の電源がオンになったときに開始される。
【0065】
まず、ステップS1では、車載ナビゲーション装置3と携帯電話機1とがペアリング中であるか否かを車載側制御部45が判定する。車載ナビゲーション装置3と携帯電話機1とがペアリング中であるか否かは、車載側制御部45でペアリング処理を実行したか否かをもとに判定する構成とすればよい。そして、ペアリング中であると判定した場合(ステップS1でYES)には、ステップS2に移る。また、ペアリング中であると判定しなかった場合(ステップS1でNO)には、ステップS8に移る。
【0066】
ステップS2では、携帯電話機1から音声認識結果を取得したか否かを車載側制御部45が判定する。携帯電話機1から音声認識結果を取得したか否かは、携帯電話機1から受信した音声認識結果が車載側BT通信部44から車載側制御部45に入力されたか否かをもとに判定する構成とすればよい。そして、音声認識結果を取得したと判定した場合(ステップS2でYES)には、ステップS3に移る。また、音声認識結果を取得したと判定しなかった場合(ステップS2でNO)には、ステップS8に移る。
【0067】
ステップS3では、車載器側通常音声を車載側音声出力部42から出力中か否かを車載側制御部45が判定する。よって、車載側制御部45が請求項の出力判定部に相当する。車載器側通常音声を車載側音声出力部42から出力中か否かは、車載側制御部45が前述の通常音声出力処理を実行中か否かをもとに判定する構成とすればよい。そして、車載器側通常音声を出力中と判定した場合(ステップS3でYES)には、ステップS5に移る。また、車載器側通常音声を出力中と判定しなかった場合(ステップS3でNO)には、ステップS4に移る。
【0068】
ステップS4では、車載側制御部45が前述のトークバック音声出力処理を行い、携帯電話機1から取得した音声認識結果についてのトークバック音声を車載側音声出力部42から出力させ、ステップS8に移る。
【0069】
ステップS5では、車載側制御部45が前述のミュート処理を行い、車載側音声出力部42からの車載器側通常音声の出力をミュートし、ステップS6に移る。ステップS6では、車載側制御部45が前述のトークバック音声出力処理を行い、携帯電話機1から取得した音声認識結果についてのトークバック音声を車載側音声出力部42から出力させ、ステップS7に移る。つまり、車載ナビゲーション装置3が携帯電話機1の代理でトークバック音声の出力を行う。そして、ステップS7では、トークバック音声の出力が終了した後に、車載器側通常音声の出力のミュートを車載側制御部45が解除し、ステップS8に移る。
【0070】
ステップS8では、車載ナビゲーション装置3の電源がオフになった場合(ステップS8でYES)には、フローを終了する。また、車載ナビゲーション装置3の電源がオフになっていない場合(ステップS8でNO)には、ステップS1に戻ってフローを繰り返す。
【0071】
以上の構成によれば、音声認識サーバ2から携帯電話機1が得た音声認識結果をBT通信によって車載ナビゲーション装置3が取得し、この取得した音声認識結果をもとに、当該音声認識結果についてのトークバック音声を車載ナビゲーション装置3の車載側音声出力部42から出力するので、トークバック音声を出力しない携帯電話機1における音声認識結果についてのトークバック音声であっても車載ナビゲーション装置3から代理で出力することが可能になる。また、トークバック音声を車載ナビゲーション装置3から出力するので、運転中のドライバであっても音声認識結果をより容易に確認することができる。その結果、以上の構成によれば、音声認識結果についてのトークバック音声を出力しない携帯電話機1における音声認識結果を、車両を運転中のドライバがより容易に確認することが可能になる。
【0072】
また、以上の構成によれば、トークバック音声を車載側音声出力部42から出力させるときに、車載器側通常音声が既に出力中の場合には、車載器側通常音声の出力をミュートした上で当該トークバック音声を出力するので、車載器側通常音声にかぶらずにトークバック音声を出力することが可能になる。
【0073】
なお、車載ナビゲーション装置3における携帯電話機1の代理でのトークバック音声の出力は、自車両が走行中の場合のみに限定する構成としてもよい。つまり、自車両が停止中の場合には、携帯電話機1の携帯側表示部12に音声認識結果を示す表示を行うが、車載ナビゲーション装置3の車載側音声出力部42から当該音声認識結果についてのトークバック音声は出力しない構成としてもよい。また、この場合には、自車両が走行中か否かについては、車輪速センサ34で検出する自車両の速度をもとに車載側制御部45が判定する構成とすればよい。なお、車輪速センサ34の検出不可能な程度にまで速度が小さくなった(つまり、実質的に0km/hとなった)ときに自車両が走行中でないと判定する構成とすればよい。
【0074】
また、自車両が走行中の場合には、携帯電話機1の携帯側表示部12に音声認識結果を示す表示を行わず、車載ナビゲーション装置3の車載側音声出力部42からの当該音声認識結果についてのトークバック音声の出力を行う構成とすることが好ましい。また、この場合には、自車両が走行中か否かについての車載側制御部45での判定結果を車載側BT通信部44および携帯側BT通信部15を介して携帯電話機1の携帯側制御部17に送り、自車両が走行中の場合には、携帯側表示部12に音声認識結果を示す表示を行わせないようにする構成とすればよい。なお、車輪速センサ34で検出する自車両の速度を車載側BT通信部44および携帯側BT通信部15を介して携帯電話機1の携帯側制御部17に送り、携帯側制御部17において自車両が走行中か否かについての判定も行わせる構成としてもよい。
【0075】
さらに、携帯電話機1が観光スポット等のガイド音声や経路案内の案内音声等のトークバック音声以外の音声(以下、携帯機側通常音声)を出力する機能を有している場合には、携帯機側通常音声の音声信号をBT通信により携帯側BT通信部15および車載側BT通信部44を介して車載側制御部45が取得し、携帯機側通常音声を車載側音声出力部42から出力させる構成としてもよい。なお、車載側BT通信部44が請求項の音声信号取得部に相当する。
【0076】
以上の構成によれば、トークバック音声だけでなく、携帯機側通常音声についても、車載ナビゲーション装置3の車載側音声出力部42から出力させるので、音声認識結果を示すトークバック音声は車載ナビゲーション装置3側から出力されるが、携帯機側通常音声は携帯電話機1側から出力されるといった雑然とした状況が生じることを防ぐことが可能になる。
【0077】
なお、他にも、車載側音声出力部42からのトークバック音声の出力中に通常音声出力処理の割り込みが発生した場合に、音声の種類ごとの優先順位に従って車載側制御部45が各音声の出力を調停する構成としてもよい。以下では、この実施形態について図面を用いて説明を行う。なお、説明の便宜上、前述の実施形態の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【0078】
この実施形態では、車載ナビゲーション装置3の外部メモリ43や車載側制御部45のROMなどの不揮発性メモリに、車載側音声出力部42から出力する音声の種類ごとの優先順位の情報を予め格納しているものとする。よって、外部メモリ43や車載側制御部45のROMなどの不揮発性メモリが請求項の優先順位情報格納部に相当する。なお、音声の種類ごとの優先順位の情報は、例えば音声の種類と優先順位とが対応付けられたテーブル(以下、優先順位テーブル)であるものとする。また、ここでは外部メモリ43に優先順位テーブルが格納されているものとして以降の説明を続ける。
【0079】
一例としては、優先順位テーブルにおいて、車載器側通常音声のうちの経路案内時等の案内音声については、トークバック音声よりも低い優先順位が対応付けられており、警告音声は、トークバック音声よりも高い優先順位が対応付けられているものとする。
【0080】
なお、ここでは案内音声として、経路案内時等の案内音声を一例として挙げたが、必ずしもこれに限らない。ここで言うところの案内音声は、緊急性の低い音声であればよく、例えば、車載ナビゲーション装置3が駐車支援を行う機能を有している場合には、駐車支援時の案内音声も含む構成としてもよい。また、警告音声は、緊急性の高い音声であればよく、例えば、車載ナビゲーション装置3が衝突予知を行う機能を有している場合には、歩行者や他車両などの障害物への衝突危険性の警告音声を含む構成としてもよい。さらに、車載ナビゲーション装置3が、路上機との間での路車間通信によって前方の事故車両の通知等を受けるなど、外部からの入力をもとに警告音声を出力する機能を有している場合には、この警告音声も含む構成としてもよい。
【0081】
車載側制御部45は、通常音声出力処理で車載側音声出力部42から出力させようとしている音声の種類をもとに、外部メモリ43に格納されている優先順位テーブルを参照し、車載側音声出力部42から出力させようとしている音声がトークバック音声よりも優先順位が高いか低いかを判定する優先順位判定処理を行う。例えば、車載側制御部45は、車載側音声出力部42から出力させようとしている音声の種類が警告音声であった場合には、トークバック音声よりも優先順位が高いと判定し、車載側音声出力部42から出力させようとしている音声の種類が案内音声であった場合には、トークバック音声よりも優先順位が低いと判定する。
【0082】
ここで、図6を用いて、車載側音声出力部42からのトークバック音声の出力中に通常音声出力処理の割り込みが発生した場合に各音声の出力を調停する処理(以下、調停処理)のフローについての説明を行う。図6は、調停処理のフローを示すフローチャートである。なお、本フローは、例えば自車両のイグニッションスイッチやアクセサリスイッチがオンされ、車載ナビゲーション装置3の電源がオンになったときに開始される。
【0083】
まず、ステップS11では、車載側音声出力部42からトークバック音声の出力中であるか否かを車載側制御部45が判定する。車載側音声出力部42からトークバック音声の出力中であるか否かは、車載側制御部45でトークバック音声出力処理を実行したか否かをもとに判定する構成とすればよい。そして、トークバック音声の出力中であると判定した場合(ステップS11でYES)には、ステップS12に移る。また、トークバック音声の出力中であると判定しなかった場合(ステップS11でNO)には、ステップS18に移る。
【0084】
ステップS12では、通常音声出力処理の割り込みが発生したか否かを車載側制御部45が判定する。通常音声出力処理の割り込みが発生したか否かは、通常音声出力処理が開始しようとしているか否かをもとに判定する構成とすればよい。そして、通常音声出力処理の割り込みが発生したと判定した場合(ステップS12でYES)には、ステップS13に移る。また、通常音声出力処理の割り込みが発生したと判定しなかった場合(ステップS12でNO)には、ステップS18に移る。
【0085】
ステップS13では、車載側制御部45が優先順位判定処理を行う。そして、通常音声出力処理で車載側音声出力部42から出力させようとしている音声(つまり、割り込み側の音声)がトークバック音声よりも優先順位が高いと判定した場合(ステップS13でYES)には、ステップS15に移る。また、通常音声出力処理で車載側音声出力部42から出力させようとしている音声がトークバック音声よりも優先順位が低いと判定した場合(ステップS13でNO)には、ステップS14に移る。
【0086】
ステップS14では、通常音声出力処理の割り込みを無視し、ステップS18に移る。詳しくは、車載側制御部45が通常音声出力処理を実行せず、トークバック音声出力処理を継続する。
【0087】
また、ステップS15では、車載側制御部45がトークバック音声出力処理を停止して車載側音声出力部42からのトークバック音声の出力を停止し、ステップS16に移る。ステップS16では、車載側制御部45が通常音声出力処理を行い、車載側音声出力部42から車載器側通常音声(つまり、割り込み側の音声)の出力を行わせ、ステップS17に移る。ステップS17では、通常音声出力処理が終了した後に、車載側制御部45がトークバック音声出力処理を再開して車載側音声出力部42からのトークバック音声の出力を再開し、ステップS18に移る。なお、車載側制御部45がトークバック音声の出力を再開する場合、読み上げが中断したトークバック音声を再度始めから読み上げることが好ましい。
【0088】
ステップS18では、車載ナビゲーション装置3の電源がオフになった場合(ステップS18でYES)には、フローを終了する。また、車載ナビゲーション装置3の電源がオフになっていない場合(ステップS18でNO)には、ステップS11に戻ってフローを繰り返す。
【0089】
以上の構成によれば、警告音声などのように緊急性の高い音声を、トークバック音声に優先して出力することが可能となり、より利便性を向上させることが可能になる。
【0090】
なお、前述の実施形態では、車載ナビゲーション装置3が携帯電話機1の代理で音声認識結果についてのトークバック音声を出力する構成を示したが、必ずしもこれに限らない。例えば、携帯電話機1が緊急車両や障害者の方の位置等をユーザに知らせる表示を行う機能を備えている場合に、その表示に相当する情報を車載ナビゲーション装置3が携帯電話機1の代理で音声出力する構成としてもよい。
【0091】
例えば、緊急車両や障害者の方の位置を示す警告や案内等のテキストデータが携帯電話機1で生成される場合には、このテキストデータをBT通信により携帯側BT通信部15および車載側BT通信部44を介して車載側制御部45が取得する構成とすればよい。そして、車載側制御部45がこのテキストデータをもとに周知の音声合成を行うことによって音声信号を生成し、この音声信号を車載側音声出力部42に送って車載側音声出力部42から出力させることによって、緊急車両や障害者の方の位置等をユーザに知らせる構成とすればよい。なお、ここで言うテキストデータが請求項の表示関連データに相当する。
【0092】
また、自車両に対する緊急車両や障害者の方の位置を示す位置情報が携帯電話機1で得られる場合に、この位置情報をBT通信により携帯側BT通信部15および車載側BT通信部44を介して車載側制御部45が取得する構成としてもよい。この場合、車載ナビゲーション装置3側では、自車両に対する緊急車両や障害者の方の位置を示す位置情報と当該位置に応じた案内や警告の音声信号とを予め対応付けたテーブル(以下、対応テーブル)を外部メモリ43等の不揮発性メモリに格納しておくものとする。そして、車載側制御部45がこの位置情報をもとに前述の対応テーブルを参照してこの位置情報に応じた音声信号を得て、この音声信号を車載側音声出力部42に送って車載側音声出力部42から出力させることによって、緊急車両や障害者の方の位置等をユーザに知らせる構成としてもよい。なお、ここで言う位置情報が請求項の表示関連データに相当する。
【0093】
ここでは、緊急車両や障害者の方の位置等をユーザに知らせる表示を行う機能を一例に挙げたが、必ずしもこれに限らず、携帯電話機1の他の機能に従って表示される情報についても、同様にして車載ナビゲーション装置3が携帯電話機1の代理で音声出力する構成としてもよいのは言うまでもない。
【0094】
なお、前述の実施形態では、携帯電話機1と車載ナビゲーション装置3との間の通信としてBluetooth通信を用いる構成を示したが、必ずしもこれに限らない。例えば赤外線通信など他の無線通信を用いる構成としてもよい。また、携帯電話機1と車載ナビゲーション装置3との間の通信として例えばUSBケーブル等による有線通信を用いる構成としてもよい。
【0095】
また、前述の実施形態では、請求項の携帯端末の一例として携帯電話機1を示したが、必ずしもこれに限らない。請求項の携帯端末としては、通信機能を備えた携帯機器であればよく、例えばPDA(Personal Digital Assistant)やDAP(Digital Audio Player)等を用いる構成としてもよい。
【0096】
さらに、前述の実施形態では、請求項の車載器の一例として車載ナビゲーション装置3を示したが、必ずしもこれに限らない。請求項の車載器としては、音声出力装置を備えた車載器であればよく、例えばカーオーディオ等を用いる構成としてもよい。なお、請求項の車載器としてカーオーディオを用いる場合には、オーディオ音声が前述の車載器側通常音声に相当することになる。
【0097】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0098】
1 携帯電話機(携帯端末)、2 音声認識サーバ、3 車載ナビゲーション装置(車載器)、11 携帯側音声入力部(音声入力部)、12 携帯側表示部(表示部)、13 携帯側音声出力部、14 サーバ通信部、15 携帯側BT通信部、16 携帯側操作スイッチ群、17 携帯側制御部、21 携帯通信部、22 辞書格納部、23 コンテンツデータ格納部、24 サーバ側制御部、31 位置検出器、32 加速度センサ、33 ジャイロスコープ、34 車輪速センサ、35 GPS受信機、36 地図データ入力器、37 車載側操作スイッチ群、38 車載側音声入力部、39 リモコン、40 リモコンセンサ、41 車載側表示部、42 車載側音声出力部、43 外部メモリ(優先順位情報格納部)、44 車載側BT通信部(データ取得部、音声信号取得部)、45 車載側制御部(出力制御部、出力判定部)、100 情報提示システム

【特許請求の範囲】
【請求項1】
携帯端末を含み、
前記携帯端末は、前記携帯端末の機能に従った情報を表示するのに用いるデータである表示関連データをもとに表示を行う情報提示システムであって、
車両に搭載され、前記携帯端末と通信する車載器を含み、
前記車載器は、
音声を出力する音声出力部と、
前記携帯端末から前記通信によって前記表示関連データを取得するデータ取得部と、
前記データ取得部で取得した表示関連データをもとに、前記携帯端末の機能に従った情報を示す音声を前記音声出力部から出力させる出力制御部と、を備えることを特徴とする情報提示システム。
【請求項2】
請求項1において、
音声認識用の辞書を備えた音声認識サーバを含み、
前記携帯端末は、
ユーザから音声コマンドの入力を受け付ける音声入力部と、
情報を表示する表示部と、を備え、
前記音声入力部を介してユーザから入力を受け付けた音声コマンドの発話データを前記音声認識サーバに送信するとともに、前記音声認識サーバで前記音声認識用の辞書を用いて当該発話データに基づく音声認識を行って得られた音声認識結果に従った表示を前記表示部で行うものであって、
前記車載器の前記データ取得部は、前記携帯端末から前記通信によって前記表示関連データとして前記音声認識結果を取得し、
前記車載器の前記出力制御部は、前記データ取得部で取得した音声認識結果をもとに、当該音声認識結果を示す音声であるトークバック音声を前記音声出力部から出力させることを特徴とする情報提示システム。
【請求項3】
請求項2において、
前記音声認識サーバは、前記発話データに基づく音声認識を行って少なくともテキストデータを前記音声認識結果として得るものであって、
前記出力制御部は、前記データ取得部で取得した音声認識結果としての前記テキストデータに従った音声合成を行い、当該音声合成で得られた音声を前記音声出力部から出力させることによって、前記トークバック音声を出力させることを特徴とする情報提示システム。
【請求項4】
請求項2において、
前記音声認識サーバは、前記発話データに基づく音声認識を行って少なくとも音素データを前記音声認識結果として得るものであって、
前記出力制御部は、前記データ取得部で取得した音声認識結果としての前記音素データに従った音声合成を行い、当該音声合成で得られた音声を前記音声出力部から出力させることによって、前記トークバック音声を出力させることを特徴とする情報提示システム。
【請求項5】
請求項2〜4のいずれか1項において、
前記音声出力部は、前記車載器の機能に従った前記トークバック音声以外の音声である車載器側通常音声も出力するものであって、
前記車載器は、
前記音声出力部から前記車載器側通常音声が出力中か否かを判定する出力判定部を備え、
前記出力制御部は、
前記トークバック音声を前記音声出力部から出力させるときに、前記出力判定部で前記車載器側通常音声が出力中と判定した場合には、前記車載器側通常音声の出力をミュートした上で前記トークバック音声を前記音声出力部から出力させることを特徴とする情報提示システム。
【請求項6】
請求項2〜4のいずれか1項において、
前記音声出力部は、前記車載器の機能に従った前記トークバック音声以外の音声である車載器側通常音声も出力するものであって、
前記車載器は、
前記音声出力部から出力する音声の種類ごとの優先順位の情報を格納する優先順位情報格納部を備え、
前記出力制御部は、
前記優先順位情報格納部に格納されている前記優先順位の情報をもとに、前記トークバック音声を前記音声出力部から出力中であっても、前記トークバック音声よりも優先順位が高い前記車載器側通常音声を、前記音声認識結果を示す音声に優先して出力させることを特徴とする情報提示システム。
【請求項7】
請求項2〜6のいずれか1項において、
前記携帯端末は、前記携帯端末の機能に従った案内音声および警告音声のうちの少なくともいずれかの音声である携帯機側通常音声を出力するものであって、
前記車載器は、
前記携帯端末から前記通信によって前記携帯機側通常音声の音声信号を取得する音声信号取得部を備え、
前記出力制御部は、
前記音声信号取得部で取得した前記携帯機側通常音声の音声信号をもとに、当該携帯機側通常音声を前記音声出力部から出力させることを特徴とする情報提示システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2011−242594(P2011−242594A)
【公開日】平成23年12月1日(2011.12.1)
【国際特許分類】
【出願番号】特願2010−114453(P2010−114453)
【出願日】平成22年5月18日(2010.5.18)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】