車両用装置および情報表示システム
【課題】タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することを可能にする。
【解決手段】携帯電話機１から受信した画像データが示す画面中に含まれることになるテキスト符号データを抽出するとともに、画面上の配置領域を特定する。また、抽出したテキスト符号データとそのテキスト符号データについての配置領域との対応関係を示す辞書を辞書作成部３１で作成する。そして、ユーザが発話した音声コマンドを変換したテキストをもとに辞書を参照し、当該テキストに相当するテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する携帯電話機１の画面上での操作対象領域を特定し、その領域を示す信号を携帯電話機１へ送信する。
【解決手段】携帯電話機１から受信した画像データが示す画面中に含まれることになるテキスト符号データを抽出するとともに、画面上の配置領域を特定する。また、抽出したテキスト符号データとそのテキスト符号データについての配置領域との対応関係を示す辞書を辞書作成部３１で作成する。そして、ユーザが発話した音声コマンドを変換したテキストをもとに辞書を参照し、当該テキストに相当するテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する携帯電話機１の画面上での操作対象領域を特定し、その領域を示す信号を携帯電話機１へ送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末の画面に表示された情報を表示する車両用装置およびその車両用装置を含む情報表示システムに関するものである。
【背景技術】
【０００２】
従来から、ディスプレイを備えた車両用装置とタッチパネルを用いて操作入力を行う携帯端末とを接続し、車両用装置のディスプレイに携帯端末の画面を表示させたりする技術が知られている。例えば特許文献１には、携帯端末のタッチパネルの画面に表示されている画像のデータを車両用装置で受信し、受信した画像のデータをもとに当該車両用装置のタッチパネルの画面に当該携帯端末で表示されているのと同様の画像を表示させることが開示されている。他にも、特許文献１には、車両用装置のタッチパネルに表示している情報が利用者により操作された場合に、タッチパネル上の操作された箇所の座標を携帯端末のタッチパネル上の座標に変換して携帯端末に送信することが開示されている。
【０００３】
また、走行中などのスイッチ操作が困難な状況において車両用装置を操作するために用いられる技術として、ユーザが発話した音声コマンドを認識する音声認識の技術が知られている。例えば特許文献２には、車載オーディオ機器を操作するためにユーザが発話した音声コマンドを音声認識し、音声認識で得たコマンドを車載オーディオ機器に与える技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１３０５５３号公報
【特許文献２】特開２０１０−１８５９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の技術では、前述の座標の情報をもとに、車両用装置側で利用者に操作された情報を携帯端末側でも特定可能とすることで、車両用装置側のタッチパネルの操作によって携帯端末の操作を行う連携制御を可能にしているものと考えられる。
【０００６】
しかしながら、特許文献１に開示の車両用装置として音声コマンドを音声認識する車両用装置を用いた場合に、車両用装置側で受け付けた音声コマンドでは携帯端末を操作することができないという問題点があった。詳しくは、特許文献１には、車両用装置のタッチパネル上の操作された箇所の座標に基づいて携帯端末を操作するための情報を携帯端末に送信する構成しか開示されていない。よって、音声コマンドを音声認識して得られるコマンドに基づいて携帯端末を操作するための情報を携帯端末に送信することはできず、車両用装置側で受け付けた音声コマンドでは携帯端末を操作することができない。
【０００７】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することを可能にする車両用装置および情報表示システムを提供することにある。
【課題を解決するための手段】
【０００８】
請求項１の車両用装置においては、車両側通信手段で携帯端末から受信した画像データをもとに、当該画像データが示す画面中に含まれるテキストおよび符号の少なくともいずれかのデータであるテキスト符号データを抽出手段で抽出するとともに、当該テキスト符号データが画面上に位置する領域を配置領域特定手段で特定する。ユーザが発話した音声コマンドを変換したテキストが音声認識手段で得られた場合には、当該テキストと、テキスト符号データ及び当該テキスト符号データに対応する配置領域の情報をもとに、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域特定手段で操作対象領域として特定する。そして、操作対象領域として特定した領域を示す信号を車両側通信手段から携帯端末へ送信する。
【０００９】
これによれば、携帯端末から受信した画像データに従って車両用装置で表示される画面中のテキスト符号データ（例えばスイッチ表示などに含まれる「戻る」や「閉じる」等のテキストや「×」等の符号）が示す内容の処理を携帯端末で行わせようとした場合に、目的とする処理に該当するテキスト符号データを表す音声コマンドをユーザが発話しさえすれば、目的とする処理に該当するテキスト符号データが携帯端末のタッチパネルの画面上に位置する領域（つまり、操作対象領域）を特定することができる。また、携帯端末側では、操作対象領域として特定した領域を示す信号をもとに、携帯端末の画面上のどの領域に該当する入力を行えばよいのかを特定することが可能であるので、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００１０】
その結果、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００１１】
請求項２のように、抽出手段で抽出したテキスト符号データと当該テキスト符号データについて配置領域特定手段で特定した領域である配置領域の情報とをもとに、テキスト符号データとそのテキスト符号データについての配置領域との対応関係であるテキスト符号配置対応関係を作成する対応関係作成手段を備え、操作対象領域特定手段は、音声認識手段で変換したテキストが得られた場合に、当該テキストをもとに、対応関係作成手段で作成したテキスト符号配置対応関係を参照して、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する態様とすることが好ましい。
【００１２】
これによれば、テキスト符号配置対応関係の作成については、携帯端末から受信した画像データが示す画面中に含まれることになるテキスト符号データを抽出するとともにそのテキスト符号データの画面上での配置領域を特定することで行っているので、例えば携帯端末に新規のアプリケーションプログラム（以下、アプリケーション）が追加されて新規の処理内容についてのテキスト符号データが含まれる画面が表示されるようになった場合であっても、常に新規の画面に対応したテキスト符号配置対応関係が作成されることになる。そして、携帯端末を操作させるための情報としては、音声コマンドを変換したテキストをもとにそのテキスト符号配置対応関係を参照して得た配置領域に対応する携帯端末のタッチパネルの画面上での領域（操作対象領域）を示す信号を携帯端末に送信するので、携帯端末のアプリケーションに応じた操作コマンドを車両用装置側で予め記憶しておく必要がない。よって、携帯端末に新規のアプリケーションが追加されて新規の処理内容についてのテキスト符号データを含む画面が追加された場合であっても、その変更に常に対応して、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００１３】
請求項３のように、車両用装置はタッチパネルを備え、車両側通信手段で受信した画像データが示す画面を当該タッチパネルに表示するとともに、当該タッチパネルに対してユーザが操作を行った場合に、操作が行われた当該タッチパネルの画面上の領域を求め、求めた領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定し、操作対象領域として特定した領域を示す信号を車両側通信手段から携帯端末に送信するものである態様としてもよい。
【００１４】
請求項４の構成においては、符号とその符号の意味する内容を示すテキストとの対応関係を予め格納している対応関係格納手段を備え、対応関係作成手段は、抽出手段で抽出したテキスト符号データが符号であった場合、その符号については、対応関係格納手段に格納している対応関係をもとに、その符号の意味する内容を示すテキストを当該テキスト符号データとして用いて辞書を作成することになる。これによれば、符号を表す音声コマンドをユーザが発話しても、その符号が携帯端末のタッチパネルの画面上に位置する領域（つまり、操作対象領域）を特定し、その操作対象領域を示す信号を携帯端末に送信することが可能になる。例えば、対応関係において符号「×」とテキスト「閉じる」とが対応付けられていた場合には、音声コマンド「閉じる」をユーザが発話すれば、符号「×」についての操作対象領域を示す信号を携帯端末に送信することが可能になる。
【００１５】
請求項５のように、車両側通信手段で携帯端末から新たに画像データを受信してその画像データが示す画面を表示するごとに、当該画像データをもとにテキスト符号データを抽出手段で新たに抽出するとともに、抽出手段でテキスト符号データを新たに抽出するごとに当該テキスト符号データが当該画面上に位置する領域を配置領域特定手段で特定し、抽出手段で新たに抽出したテキスト符号データと当該テキスト符号データについて配置領域特定手段で新たに得た配置領域の情報との対応関係を、既に作成していたテキスト符号配置対応関係に追加する態様としてもよい。
【００１６】
請求項６の構成においては、操作対象領域特定手段は、音声認識手段でテキストが得られたときに、辞書を参照して当該テキストに対応するテキスト符号データを得るとともに、そのテキスト符号データが表示中の画面に含まれているか否かを判断し、当該テキストに対応するテキスト符号データが表示中の画面に含まれていると判断した場合には、そのテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する一方、当該テキストに対応するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を提示手段に行わせることになる。これによれば、音声コマンドを変換したテキストに対応するテキスト符号データが示す内容の処理を表示中の画面では行うことが出来ない場合に、そのことをユーザが容易に認識できるようになる。
【００１７】
請求項６のように、テキストに対応するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行う場合に、請求項７のように、表示中の画面の切り替えを促す旨の提示も行う態様としてもよい。これによれば、表示中の画面の切り替えを行うための音声コマンドをユーザに発話させて表示中の画面を切り替え、音声コマンドで目的の処理を行うことができるように補助することが可能になる。その結果、ユーザにとっての快適性が向上する。
【００１８】
ところで、車両の走行中は、運転手が車両用装置の画面を注視することは出来ない。そのため、車両の走行中は、運転手が車両用装置の画面中に含まれるテキストや符号を確認せずに音声コマンドを発話することにより、当該音声コマンドが示すテキストや符号が表示中の画面に含まれない場合も生じる。これに対して、請求項６、請求項７のように対応することにより、音声コマンドを変換したテキストに対応するテキスト符号データが示す内容の処理を表示中の画面では行うことが出来ないことを、運転手は画面を注視することなく容易に認識することが可能になる。また、次に行うべき手順として、別の画面に切り替える必要があることを、運転手は画面を注視することなく容易に認識することが可能となる。
【００１９】
請求項８のように、操作対象領域特定手段は、音声認識手段で得られたテキストと文字の並びが全て一致するテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象の領域として特定する態様としてもよい。
【００２０】
請求項９の構成においては、操作対象領域特定手段は、テキスト符号配置対応関係を参照して、音声認識手段で得られたテキストとテキストの少なくとも一部の文字が一致するテキスト符号データをテキスト符号配置対応関係に含まれるテキスト符号データから選択し、選択したテキスト符号データを提示させてユーザに一つのテキスト符号データを選択させ、ユーザの選択入力を入力手段で受け付けた場合に、ユーザに選択されたテキスト符号データとテキスト符号配置対応関係とから、そのテキスト符号データに対応する配置領域を得て、得られた配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する態様としてもよい。
【００２１】
これによれば、同じ読みのテキスト符号データがあった場合や音声コマンドからテキストへの変換において一部のテキストの変換ミスがあったりした場合にも、ユーザが意図するテキスト符号データに対応する配置領域を得ることが可能になる。
【００２２】
請求項１０の構成においては、車両側通信手段で受信した画像データが示す画面を表示する場合に、対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データについては、当該画面において強調表示することになる。対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データに対応する配置領域については、当該配置領域に対応する操作対象領域を特定してその操作対象領域を示す信号を携帯端末に送信することで、操作対象領域を操作した場合と同様の入力を携帯端末で行わせることが可能になる。つまり、対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データは、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データに該当する。
【００２３】
よって、以上の構成によれば、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データをユーザに認識しやすくすることが可能になる。また、テキスト符号データとして抽出されなかった領域は強調表示されないことから、音声コマンドが実行されない場合の原因がテキスト符号データとして抽出されていないためであり、原因がマイクや携帯端末とは異なることを把握することも出来る。
【００２４】
請求項１０の構成においては、音声認識手段で得られたテキストに対応するテキスト符号データに対応する配置領域が操作対象領域特定手段で得られなかった場合に、対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データのリストを表示することになる。対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データは、前述したように、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データに該当する。よって、以上の構成によれば、音声コマンドを言い間違えた場合など、音声コマンドに基づいた携帯端末の操作が失敗した場合に、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データをユーザに認識しやすくすることが可能になる。
【００２５】
請求項１１の構成においては、対応関係作成手段は、画面が複数の区分に分かれており、複数の区分で同一のテキスト符号データが重複して存在する場合に、当該テキスト符号データについては、存在する区分を示すテキストを各々付け足した上でテキスト符号配置対応関係を作成する。これによれば、画面の複数の区分で重複するテキスト符号データについては、それが存在する区分を示すテキストを各々付け足した上でテキスト符号配置対応関係を作成するので、それらのテキスト符号データが区別可能となる。よって、画面中のテキスト符号データに、それが存在する区分を示すテキストを付け足したものを表す音声コマンドをユーザが発話しさえすれば、画面の複数の区分で同一のテキスト符号データが重複して存在する場合でも、目的とする処理についての操作対象領域を特定することができる。
【００２６】
請求項１２の構成においては、音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた画面の複数の区分で重複して存在するテキスト符号データであった場合に、いずれの区分に存在するテキスト符号データの操作を意図しているのかをユーザに問い合わせる問い合わせ手段と、いずれの区分に存在するテキスト符号データの操作を意図しているのかを指定するユーザからの入力を受け付ける受け付け手段とを備え、操作対象領域特定手段は、音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた画面の複数の区分で重複して存在するテキスト符号データであった場合に、受け付け手段で受け付けた入力において指定された区分についてのテキスト符号データを、音声認識手段で変換したテキストに対応するテキスト符号データと決定する。
【００２７】
これによれば、画面の複数の区分で同一のテキスト符号データが重複して存在する場合でも、いずれの区分に存在するテキスト符号データの操作を意図しているのかをユーザが指定することができるので、操作を意図しているテキスト符号データを、音声認識手段で変換したテキストに対応するテキスト符号データと決定することができる。よって、画面の複数の区分で同一のテキスト符号データが重複して存在する場合でも、目的とする処理についての操作対象領域を特定することができる。
【００２８】
請求項１３の情報表示システムにおいては、タッチパネルを用いて操作入力を行うとともに、生成した画像データに従った画面を前記タッチパネルに表示する携帯端末と、前記のいずれかの車両用装置とを含み、携帯端末は、車両用装置から送信された操作対象領域として特定した領域を示す信号を携帯側通信手段で受信した場合に、携帯端末のタッチパネルの画面上の当該操作対象領域として特定した領域を操作した場合と同様の入力を行うことになる。よって、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００２９】
請求項１４の情報表示システムによれば、ユーザが発話した音声コマンドを音声認識サーバーで音声認識する点以外は、請求項１の車両用装置を含む請求項１３の情報表示システムと同様であるので、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【図面の簡単な説明】
【００３０】
【図１】情報表示システム１００の概略的な構成を示すブロック図である。
【図２】携帯電話機１の概略的な構成を示すブロック図である。
【図３】車両用装置２の概略的な構成を示すブロック図である。
【図４】制御装置２７での辞書作成関連処理のフローを示すフローチャートである。
【図５】制御装置２７での音声操作関連処理のフローを示すフローチャートである。
【図６】（ａ）は、車両側生成画像の画面上の複数のアプリ別区分領域で同じボタン表示が存在する場合の例を示す図であり、（ｂ）は、辞書作成処理において辞書の作成に用いられるテキスト符号データの一例を示す模式図である。
【図７】車両側生成画像の画面における強調表示の一例を示す模式図である。
【図８】車両側生成画像の画面におけるリスト表示の一例を示す模式図である。
【図９】情報表示システム２００の概略的な構成を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された情報表示システム１００の概略的な構成を示すブロック図である。図１に示す情報表示システム１００は、携帯電話機１および車両用装置２を含んでいる。情報表示システム１００では、携帯電話機１の画面に表示させるために携帯電話機１で生成した画像データを車両用装置２に送信し、車両用装置２でその画像データが示す画面を表示したり、車両用装置２への操作入力によって携帯電話機１を操作したりする。
【００３２】
携帯電話機１は、タッチパネルを用いて操作入力を行う所謂タッチパネル式携帯電話機（つまり、操作部分を画面に集約したタッチパネルを搭載したスマートフォン）であって、一般的なタッチパネル式携帯電話機と同様に通話機能やメール機能や音楽機能や地図機能等を有しているものである。携帯電話機１は、請求項の携帯端末に相当する。
【００３３】
ここで、図２を用いて携帯電話機１の概略的な構成について説明を行う。なお、便宜上、一般的な携帯電話機が有している機能に関する構成のうち、本発明の説明に不要なものについては説明を省略する。図２は、携帯電話機１の概略的な構成を示すブロック図である。図２に示すように携帯電話機１は、携帯側通信部１１、携帯側表示部１２と操作検出部１３とからなるタッチパネル部１４、携帯側音声出力部１５、および主制御部１６を備えている。
【００３４】
携帯側通信部１１は、車両用装置２との間でＢｌｕｅｔｏｏｔｈ（登録商標）に従った通信（以下ＢＴ通信）を行う。よって、携帯側通信部１１が請求項の携帯側通信手段に相当する。携帯電話機１と車両用装置２との間での通信は、例えばＢｌｕｅｔｏｏｔｈに従って行う他にも、ＺｉｇＢｅｅ（登録商標）等の近距離無線通信規格やＩＥＥＥ８０２．１１等の無線ＬＡＮ規格などに従って行う構成としてもよい。また、携帯電話機１と車両用装置２との間の通信は、必ずしも無線通信で行う構成に限らず、ＵＳＢ接続等による有線通信によって行う構成としてもよい。
【００３５】
携帯側表示部１２は、携帯電話機１の各種アプリケーションプログラム（以下、アプリケーション）に応じた画面等を表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。
【００３６】
操作検出部１３は、携帯側表示部１２と一体になったタッチスイッチが用いられ、タッチ位置に対応するスイッチが操作されたことを検出し、その位置情報を主制御部１６に入力する。言い換えると、操作検出部１３は、携帯側表示部１２に表示した画面上のどの位置に対して操作がされたかを検出して、その位置情報を主制御部１６に入力する。ここで言うところの位置情報とは、本実施形態では、例えば携帯側表示部１２の画面上の座標であるものとする。
【００３７】
なお、タッチスイッチは、静電容量方式によるものであってもよいし、抵抗膜方式によるものであってもよいし、他の方式によるものであってもよい。また、位置情報は、画面を所定数の領域に分割して扱う場合には、例えば各領域を特定するＩＤ等の識別子であってもよい。
【００３８】
タッチパネル部１４は、携帯側表示部１２と操作検出部１３とが一体化したものであって、主制御部１６の指示に従って携帯側表示部１２に例えばボタン表示を含む画面を表示させる。ここで言うところのボタン表示には、そのボタン表示に対する操作が行われた場合に実行される処理を示すテキストや符号が付されているものとする。また、タッチパネル部１４は、そのボタン表示に対する操作が行われた場合には、操作が行われたボタン表示の位置を操作検出部１３で検出し、その位置情報を主制御部１６に入力する。タッチパネル部１４が請求項の携帯端末のタッチパネルに相当する。
【００３９】
携帯側音声出力部１５は、スピーカ等から構成され、主制御部１６の指示に基づいて、通話相手の音声や各種案内音声等を出力する。主制御部１６は、通常のコンピュータとして構成されており、内部には例えば周知のＣＰＵ、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（いずれも図示せず）等が備えられている。主制御部１６は、携帯側通信部１１、タッチパネル部１４から入力された各種情報に基づき、各種処理を実行する。
【００４０】
例えば、主制御部１６は、アプリケーションプログラム（以下、アプリケーション）を実行し、アプリケーションに従った画面をタッチパネル部１４に表示させるための画像データを生成し、その画像データに従った画面をタッチパネル部１４に表示させる。アプリケーションについては、ＲＯＭに予め記憶されている構成としてもよいし、図示しない通信部によってネットワーク等の通信網を介してサーバーからダウンロードする構成としてもよい。
【００４１】
また、主制御部１６は、タッチパネル部１４から入力される位置情報をもとに、タッチパネル部１４に表示中の画面上のどのボタン表示に対して操作が行われたかを判断し、操作が行われたボタン表示に応じた処理を実行する。一例を挙げると、画面上のウィンドウ表示を閉じるためのボタン表示「閉じる」の操作が行われたと判断した場合には、ウィンドウ表示を閉じる処理を行う。また、表示中の画面以前の画面に遷移させるためのボタン表示「もどる」の操作が行われたと判断した場合には、表示中の画面以前の画面に遷移させる処理を行う。
【００４２】
さらに、主制御部１６は、車両用装置２と携帯側通信部１１を介してＢＴ通信を行うことができるように、ペアリング処理を行う。そして、携帯電話機１と車両用装置２とのＢＴ通信が確立し、携帯電話機１の画面を車両用装置２で表示させるとともに、車両用装置２への操作入力によって携帯電話機１を操作するモード（以下、ターミナルモード）が例えばタッチパネル部１４へのユーザからの操作入力によって選択された場合には、タッチパネル部１４に表示させるために生成した画像データを携帯側通信部１１から車両用装置２へ送信させる。
【００４３】
ここで言うところの画像データは、例えば画素毎の色情報であるものとする。また、ターミナルモードが選択された場合には、例えば、携帯側表示部１２の表示領域情報（画面サイズ＝幅（Ｗピクセル）×高さ（Ｈピクセル）や解像度など）を携帯側通信部１１から車両用装置２へ送信させるものとする。
【００４４】
後に詳述するが、前述のターミナルモードが選択中の場合には、主制御部１６は、携帯側通信部１１を介して車両用装置２から入力される位置情報をもとに、タッチパネル部１４に表示中の画面上のどのボタン表示に対して操作が行われたかを判断し、操作が行われたボタン表示に応じた処理を実行する。
【００４５】
図１に戻って、車両用装置２は、自動車等の車両に固定的、或いは、可搬可能に搭載されるものであって、画像を表示するものである。車両用装置２としては、例えば車両用のディスプレイ装置や車両用ナビゲーション装置等がある。なお、ディスプレイと一体となった車両用ナビゲーション装置を車両用装置２として用いてもよいし、ディスプレイを含まない車両用ナビゲーション装置とディスプレイとの組を車両用装置２として用いてもよいものとする。本実施形態では、一例として車両用装置２はディスプレイと一体となった車両用ナビゲーション装置であるものとして以降の説明を行う。
【００４６】
ここで、図３を用いて車両用装置２の概略的な構成について説明を行う。なお、便宜上、車両用装置２が有している機能に関する構成のうち、本発明の説明に不要なものについては説明を省略する。図３は、車両用装置２の概略的な構成を示すブロック図である。図３に示すように車両用装置２は、車両側通信部２１、車両側表示部２２、操作入力部２３、マイク２４、音声認識開始スイッチ２５、スピーカ２６、および制御装置２７を備えている。
【００４７】
車両側通信部２１は、携帯電話機１との間でＢＴ通信を行う。よって、車両側通信部２１が請求項の車両側通信手段に相当する。なお、車両用装置２と携帯電話機１との間での通信は、前述したように無線通信によるものであってもよいし、有線通信によるものであってもよい。車両側通信部２１は、携帯側通信部１１から送信された表示領域情報や画像データを受信して制御装置２７に入力する。また、車両側通信部２１は、制御装置２７からの指示に従って、制御装置２７から出力される位置情報を携帯側通信部１１に送信する。
【００４８】
なお、通信の確立手順としては、たとえば、ＡＣＣ−ＯＮとなったときに、車両用装置２から、無線あるいは有線で映像信号を送信できる端末があるか問い合わせる問い合わせ信号を送信する。そして、この問い合わせ信号に対して応答信号が返信されてきた場合に、車両用装置２は、さらに接続依頼信号を送信し、携帯電話機１が接続応答を返信することで通信が確立する。ここで、接続応答を返信する携帯電話機１が複数存在する場合も考えられる。この場合には、種々の指標による優先順位づけを行なって、携帯電話機１を１つに限定して通信を確立する。優先順位を決定するための指標としては、たとえば、ユーザが複数の携帯電話機１に対して予め優先順位を登録しておく、電波の強い順、電池残量の大きい順などがある。
【００４９】
そして通信が確立した状態で、車両用装置２が、映像信号の送信を依頼する信号を携帯電話機１に対して送信することで、携帯電話機から車両用装置２への映像信号の送信が開始される。
【００５０】
車両側表示部２２は、制御装置２７の指示に従った画面等を表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。
【００５１】
操作入力部２３は、例えば車両側表示部２２と一体になったタッチスイッチもしくはメカニカルなスイッチ、或いは、遠隔操作スイッチ等が用いられ、スイッチ操作により制御装置２７へ各種機能の操作指示を行う。なお、操作入力部２３は、一部が車両側表示部２２と一体になったタッチスイッチからなり、他の一部がステアリングに設けられたメカニカルなスイッチからなるといった構成としてもよい。
【００５２】
本実施形態では、操作入力部２３の一部が車両側表示部２２と一体になったタッチスイッチ（つまり、タッチパネル）からなり、他の一部がステアリングに設けられたメカニカルなスイッチ（つまり、ステアリングスイッチ）からなるものとして以降の説明を続ける。よって、車両側表示部２２および操作入力部２３が請求項の車両用タッチパネルに相当する。また、操作入力部２３のうちタッチスイッチとして機能するものは、前述の操作検出部１３と同様にして、車両側表示部２２に表示した画面上のどの位置に対して操作がされたかを検出して、その位置情報を制御装置２７に入力するものとする。
【００５３】
マイク２４は、車両用の小型マイクロフォンであり、ユーザの発話した音声コマンドを電気信号（つまり、アナログ音声信号）に変換して出力する。音声認識開始スイッチ２５は、例えばステアリングに設けられた押しボタンスイッチであって、ユーザから押下された場合に、ユーザが音声コマンドの発話を開始することを示す発話開始信号を制御装置２７に出力する。
【００５４】
制御装置２７は、通常のコンピュータとして構成されており、内部には例えば周知のＣＰＵ、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（いずれも図示せず）等が備えられている。制御装置２７は、図３に示すように機能ブロックとして、表示制御部２８、テキスト符号認識部２９、対応関係格納部３０、辞書作成部３１、辞書格納部３２、音声入力部３３、音声認識部３４、操作対象領域特定部３５、および車両側音声出力部３６を備えている。また、制御装置２７は、車両側通信部２１、操作入力部２３、マイク２４、音声認識開始スイッチ２５から入力された各種情報に基づき、各種処理を実行する。
【００５５】
制御装置２７は、車両側通信部２１を介して携帯電話機１から送信された画像データ（以下、携帯由来画像データ）の入力を受け付けた場合に、その携帯由来画像データに従った画像（以下、車両側生成画像）を表示制御部２８で生成して車両側表示部２２に出力し、その携帯由来画像データに従った画面を車両側表示部２２で表示させる。表示制御部２８は、例えば携帯電話機１から送信された表示領域情報をもとに、携帯由来画像データのサイズや解像度を、表示制御部２８の画面のサイズや解像度に変換した車両側生成画像を生成するものとする。
【００５６】
なお、本実施形態では、携帯電話機１から送信された表示領域情報をもとに、携帯由来画像データのサイズや解像度を、表示制御部２８の画面のサイズや解像度に変換する構成を示したが、必ずしもこれに限らない。例えば、携帯由来画像データのサイズや解像度の変換の比率を固定値として予め表示制御部２８で保持しておき、この固定値に従って変換を行う構成としてもよい。この場合には、携帯電話機１から表示領域情報を送信する構成としなくてもよい。
【００５７】
制御装置２７は、車両側通信部２１を介して携帯電話機１から送信された音声のデータの入力を受け付けた場合には、車両側音声出力部３６がその音声のデータに従った音声をスピーカ２６から出力させる。
【００５８】
また、制御装置２７は、表示制御部２８で生成した車両側生成画像をもとに辞書作成関連処理を実行する。ここで、図４を用いて、制御装置２７での辞書作成関連処理のフローについての説明を行う。図４は、制御装置２７での辞書作成関連処理のフローを示すフローチャートである。なお、本フローは、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに開始される。
【００５９】
まず、ステップＳ１では、テキスト符号データ抽出処理を行ってステップＳ２に移る。テキスト符号データ抽出処理では、表示制御部２８で生成した車両側生成画像をもとに、テキスト符号認識部２９が当該車両側生成画像に含まれるテキストや符号（以下、テキスト符号データ）を抽出する。よって、テキスト符号認識部２９が請求項の抽出手段に相当する。
【００６０】
例えば、テキスト符号データの抽出は、ＰＤＦファイルからＯＣＲ（光学文字認識）等を用いてテキストや符号を抽出する公知の文字認識技術と同様の技術を用いて行う構成とすればよい。テキストを抽出する場合には、文字同士の配列間隔が所定値以下の複数の文字が存在する場合には、これらを文字列として抽出する構成とすればよい。抽出するテキストは、かな文字、英文字、漢字のいずれであってもよい。
【００６１】
また、テキスト符号データ抽出処理では、テキスト符号データを抽出した場合に、抽出したテキスト符号データが車両側生成画像の画面上で位置する領域（以下、配置領域）を特定する。よって、テキスト符号認識部２９が請求項の配置領域特定手段に相当する。例えば、抽出したテキスト符号データの車両側生成画像上の座標を当該領域として特定する構成とすればよい。なお、車両側表示部２２の画面が所定数の領域に分割して扱われており、各領域を特定するＩＤ等の識別子が割り当てられている場合には、例えば、抽出したテキスト符号データが位置する車両側生成画像上の領域に割り当てられた識別子を配置領域として特定する構成としてもよい。
【００６２】
ステップＳ２では、辞書作成処理を行ってステップＳ３に移る。辞書作成処理では、ステップＳ１でテキストを抽出していた場合には、辞書作成部３１が当該テキストと当該テキストについての配置領域の情報とを対応付けた辞書を作成する。よって、ここで言うところの辞書が請求項のテキスト符号配置対応関係に相当する。一方、ステップＳ１で符号を抽出していた場合には、抽出した符号をもとに、辞書作成部３１が対応関係格納部３０に格納されている符号とその符号の意味する内容を示すテキストとの対応関係を参照し、抽出した符号の意味する内容を示すテキストを得る。そして、抽出した符号の代わりに、得られたテキストを当該符号についての配置領域の情報に対応付けた辞書を作成する。よって、辞書作成部３１が請求項の対応関係作成手段に相当する。
【００６３】
なお、対応関係格納部３０に格納されている対応関係では、１つの符号に対して１つのテキストが対応付けられている構成だけに限らず、１つの符号に対して２つ以上のテキストが対応付けられている構成としてもよい。これは、１つの符号に対して複数種類の読み方が存在する場合があるためである。
【００６４】
対応関係格納部３０には、符号「×」と符号「×」の意味する内容を示すテキスト「閉じる」との対応関係など、符号とその符号の意味する内容を示すテキストとの対応関係が予め格納されているものとする。対応関係格納部３０が請求項の対応関係格納手段に相当する。
【００６５】
また、本実施形態では、車両側生成画像の画面上にアプリケーション（機能）ごとに区分けされた領域（以下、アプリ別区分領域）が複数存在し、その複数のアプリ別区分領域で同じボタン表示が存在する場合にも、それらボタン表示についてのテキスト符号データが区別可能となるように、各アプリケーションを示すキーワードをテキスト符号データに付け足して上記辞書を作成するものとする。なお、キーワードが請求項における「存在する区分を示すテキスト」に相当する。
【００６６】
ここで、図６（ａ）を用いて、車両側生成画像の画面上の複数のアプリ別区分領域で同じボタン表示が存在する場合の例を示す。図６（ａ）は、車両側生成画像の画面上の複数のアプリ別区分領域で同じボタン表示が存在する場合の例を示す図である。図６（ａ）に示す画面には、ナビゲーション機能の操作のためのアプリ別区分領域（以下、ナビ用区分領域）、電話機能の操作のためのアプリ別区分領域（以下、電話用区分領域）、オーディオ機能の操作のためのアプリ別区分領域（以下、オーディオ用区分領域）が表示されているものとする。
【００６７】
また、図６（ａ）中のＡ〜Ｕは、各種の処理を行わせるためのボタン表示を示している。詳しくは、Ａはナビ用区分領域の最小化、Ｂはナビ用区分領域の最大化、Ｃはナビ用区分領域を閉じるためのボタン表示である。Ｄは地図の詳細表示（拡大）、Ｅは地図の広域表示（縮小）、Ｆはメニューを表示させるためのボタン表示である。Ｇは電話用区分領域の最小化、Ｈは電話用区分領域の最大化、Ｉは電話用区分領域を閉じるためのボタン表示である。Ｊは通話終了（電話を切る）、Ｋは通話（電話をかける）、Ｌは電話帳の表示、Ｍは電話履歴の表示のためのボタン表示である。Ｎはオーディオ用区分領域の最小化、Ｏはオーディオ用区分領域の最大化、Ｐはオーディオ用区分領域を閉じるためのボタン表示である。Ｑは音量を上げる（ボリュームアップ）、Ｒは音量を下げる（ボリュームダウン）、Ｓは演奏停止（ストップ）、Ｔは曲送り（トラックアップ）、Ｕは曲戻し（トラックバック）のためのボタン表示である。ここで言うところの最小化とは、対象とするアプリ別区分領域を画面上から一時的に隠すことであり、最大化とは、対象とするアプリ別区分領域の画面縦横幅を画面全体に広げることである。
【００６８】
図６に示すように、Ａ、Ｇ、Ｎはいずれもアプリ別区分領域の最小化を行うためのボタン表示であり、Ｂ、Ｈ、Ｏはいずれもアプリ別区分領域の最大化を行うためのボタン表示であり、Ｃ、Ｉ、Ｐはいずれもアプリ別区分領域を閉じるためのボタン表示である。
【００６９】
例えば、Ａ、Ｇ、Ｎのボタン表示については、対応関係格納部３０に格納されている対応関係に、Ａ、Ｇ、Ｎのボタン表示の符号とテキスト「さいだいか」とが対応付けられているとすると、Ａ、Ｇ、Ｎのボタン表示のいずれについても、テキスト「さいだいか」がテキスト符号データとして得られることになる。そのため、複数のアプリケーションで重複して用いられるボタン表示の個々を区別可能とするため、前述したように、各アプリケーションを示すキーワードをテキスト符号データに付け足して上記辞書を作成する。
【００７０】
ここで、各アプリケーションを示すキーワードをテキスト符号データに付け足す処理についての説明を行う。まず、キーワードを付け足すテキスト符号データの判別は、テキスト符号データ抽出処理によって車両側生成画像の画面から同じテキスト符号データが複数抽出されたものを選択することで行う構成とすればよい。他にも、複数のアプリケーションで重複して用いられるボタン表示についてのテキスト符号データのリストを予め制御装置２７のメモリに格納しておくことで、このリストに該当するテキスト符号データを、キーワードを付け足すテキスト符号データとして判別する構成としてもよい。
【００７１】
続いて、キーワードを付け足すテキスト符号データとして判別されたテキスト符号データに対して、アプリケーションを示すキーワードを付け足す。キーワードについては、ナビゲーション機能については「なび」、電話機能については「でんわ」及び「てる」、オーディオ機能については「おーでぃお」といったテキストを予め制御装置２７のメモリに記憶しておき、これらのテキストを読み出してテキスト符合データに付け足す構成とすればよい。
【００７２】
他にも、各アプリ別区分領域に含まれるテキストを文字認識することでキーワードを取得する構成としてもよい。一例としては、ナビ用区分領域に含まれるテキスト「ＮＡＶＩ」からテキスト「なび」を取得したり、電話用区分領域に含まれるテキスト「ＴＥＬ」からテキスト「てる」を取得したり、オーディオ用区分領域に含まれるテキスト「ＡＵＤＩＯ」からテキスト「オーディオ」を取得したりする構成とすればよい。また、この場合、キーワードとなるテキストのリストを予め制御装置２７のメモリに格納しておくことで、このリストを参照してキーワードに該当するテキストのみを取得するようにすればよい。
【００７３】
また、キーワードが付け足されるテキスト符号データとキーワードとの対応付けは、テキスト符号データの配置領域が、どのアプリ別区分領域に該当するかに応じて行われる。例えば、配置領域がナビ用区分領域に該当するテキスト符号データ「とじる」については、テキスト「なび」がキーワードとなる。また、配置領域が電話用区分領域に該当するテキスト符号データ「とじる」については、テキスト「てる」及び「でんわ」がキーワードとなる。
【００７４】
そして、キーワードをテキスト符号データに付け足して上記辞書を作成する。例えば、ナビ用区分領域のボタン表示から抽出したテキスト符号データ「とじる」については、テキスト「なび」を付け足してテキスト符号データ「なび とじる」とし、辞書作成に用いる。また、電話用区分領域のボタン表示から抽出したテキスト符号データ「とじる」については、テキスト「てる」や「でんわ」を付け足してテキスト符号データ「てる とじる」及び「でんわ とじる」とし、辞書作成に用いる。
【００７５】
ここで、図６（ｂ）を用いて、辞書の作成に用いるテキスト符号データの一例について説明を行う。図６（ｂ）は、辞書作成処理において辞書の作成に用いられるテキスト符号データの一例を示す模式図である。また、図６（ｂ）に示す車両側生成画像の画面は、図６（ａ）で示した車両側生成画像の画面と同一のものであって、同じボタン表示が行われているものとする。
【００７６】
テキスト符号データは、図６（ａ）に示すように、ナビ用区分領域を閉じるためのボタン表示については「なび とじる」となり、電話用区分領域を閉じるためのボタン表示については「てる とじる」及び「でんわ とじる」の２種類となる。また、図示しないが、オーディオ用区分領域を閉じるためのボタン表示については「おーでぃお とじる」となる。さらに、地図の詳細表示（拡大）のためのボタン表示については「しょうさい」、地図の広域表示（縮小）のためのボタン表示については「こういき」、メニューを表示させるためのボタン表示については「めにゅー」となる。
【００７７】
また、図６（ｂ）に示すように、電話用区分領域の最小化のためのボタン表示については「てる さいしょうか」及び「でんわ さいしょうか」、電話用区分領域の最大化のためのボタン表示については「てる さいだいか」及び「でんわ さいだいか」となる。図示しないが、ナビ用区分領域の最小化のためのボタン表示については「なび さいしょうか」、ナビ用区分領域の最大化のためのボタン表示については「なび さいだいか」となる。他に、オーディオ用区分領域の最小化のためのボタン表示については「おーでぃお さいしょうか」、オーディオ用区分領域の最大化のためのボタン表示については「おーでぃお さいだいか」となる。
【００７８】
さらに、図６（ｂ）に示すように、通話終了（電話を切る）のためのボタン表示については「でんわをきる」、電話帳の表示のためのボタン表示については「でんわちょう」、電話履歴の表示のためのボタン表示については「りれき」となる。図示しないが、通話（電話をかける）ためのボタン表示については「でんわをかける」となる。
【００７９】
また、図６（ｂ）に示すように、音量を下げる（ボリュームダウン）ためのボタン表示については「ぼりゅーむ だうん」及び「おんりょう さげる」、演奏停止（ストップ）のためのボタン表示については「すとっぷ」及び「ていし」、曲送り（トラックアップ）のためのボタン表示については「とらっくあっぷ」及び「つぎのきょく」となる。図示しないが、音量を上げる（ボリュームアップ）ためのボタン表示については「ぼりゅーむ あっぷ」及び「おんりょう あげる」、曲戻し（トラックバック）のためのボタン表示については「とらっく ばっく」及び「まえのきょく」となる。
【００８０】
なお、アプリ別区分領域は、アプリケーションごとのウィンドウであってもよいし、アプリケーションごとに画面分割した各分割領域であってもよい。また、車両側生成画像の画面がアプリケーションごとに区分けされた場合に限らず、他の条件で区分けされた場合にも同様にして処理を行うものとする。
【００８１】
ステップＳ３では、ステップＳ２で作成した辞書を辞書格納部３２に辞書作成部３１が格納し、フローを終了する。なお、ステップＳ２において、辞書格納部３２に既に辞書が格納されていた場合には、既存の辞書を更新して新たな辞書を作成する構成とすればよい。例えば、ステップＳ１で抽出したテキスト符号データと配置領域との対応関係が既存の辞書に含まれていない場合には、この新しい対応関係を追加して新たな辞書を作成すればよい。また、ステップＳ１で抽出したテキスト符号データと配置領域との対応関係が既存の辞書に含まれていた場合には、既存の辞書を更新しない構成としてもよいし、既存の辞書に上書きする構成としてもよい。
【００８２】
図３に戻って、制御装置２７は、例えば車両が走行中の場合には、操作入力部２３のうちのステアリングスイッチからの入力は有効とする一方、タッチパネルからの入力を無効とする。また、車両が走行中でない場合には、操作入力部２３のうちのステアリングスイッチからの入力およびタッチパネルからの入力のいずれも有効とする。車両が走行中か否かの判断は、図示しない車速センサで検出される車速が実質的に０か否か（例えば５ｋｍ／ｈ以下であるか否かなど）をもとに判断する構成とすればよい。
【００８３】
制御装置２７は、タッチパネルからの入力が有効である場合には、車両側表示部２２に表示した画面上のどの位置に対して操作がされたかの位置情報の入力を操作入力部２３から受け、その位置情報に対応する携帯電話機１のタッチパネル部１４（詳しくは携帯側表示部１２）の画面上の座標を操作対象領域として特定する。当該位置情報に対応する操作対象領域の特定方法としては、携帯由来画像データのサイズを変換して車両側生成画像を生成したときの変換と逆の変換を行うことで特定する構成とすればよい。
【００８４】
そして、操作対象領域として特定した座標を示す信号を車両側通信部２１から携帯電話機１に送信することによって、携帯電話機１のタッチパネル部１４の画面上の当該操作対象領域を操作した場合と同様の入力を携帯電話機１で行わせる。
【００８５】
一方、制御装置２７は、タッチパネルからの入力が無効である場合にも、ユーザが発話した音声コマンドによって携帯電話機１を操作可能となっている。以下では、図５を用いて、音声コマンドによって携帯電話機１を操作可能とする制御装置２７での処理（以下、音声操作関連処理）についての説明を行う。図５は、制御装置２７での音声操作関連処理のフローを示すフローチャートである。なお、本フローは、タッチパネルからの入力が無効である場合において、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに開始される。
【００８６】
ステップＳ１１では、表示制御部２８で生成した車両側生成画像をもとに辞書作成関連処理を実行して、ステップＳ１２に移る。ステップＳ１２では、音声操作可能対象表示処理を実行し、ステップＳ１３に移る。音声操作可能対象表示処理では、辞書作成関連処理で抽出したテキスト符号データについては、例えばボタン表示に色付けをする等の強調表示を行うように表示制御部２８が画像処理を加える。そして、この画像処理を加えた車両側生成画像の画面を車両側表示部２２で表示させる。
【００８７】
ここで、強調表示の一例について図７を用いて説明を行う。図７は、車両側生成画像の画面における強調表示の一例を示す模式図である。図７に示す画面には、図６（ａ）に示した画面と同様に、ナビ用区分領域、電話用区分領域、オーディオ用区分領域が表示されているものとする。また、図７中のＡ〜Ｕは、図６（ａ）で示したＡ〜Ｕのボタン表示と同じものとする。図７で示すように、ボタン表示（図中のＡ〜Ｕ）を枠で囲うことで強調表示を行う構成としてもよい。また、この枠に色付けする構成としてもよい。
【００８８】
ステップＳ１３では、音声認識開始スイッチ２５がオンになったか否か（つまり、音声認識開始か否か）を音声入力部３３が判定する。音声認識開始か否かは、音声認識開始スイッチ２５からの発話開始信号の入力を音声入力部３３が受け付けたか否かに応じて判定する。そして、音声認識開始と判定した場合（ステップＳ１３でＹＥＳ）には、ステップＳ１４に移る。また、音声認識開始と判定しなかった場合（ステップＳ１３でＮＯ）には、ステップＳ１３のフローを繰り返す。
【００８９】
ステップＳ１４では、音声入力処理を実行してステップＳ１５に移る。音声入力処理では、音声認識開始スイッチ２５からの音声開始信号を受け付けてから一定時間の間、音声入力部３３がマイク２４から出力されるアナログ音声信号を受け付ける。音声入力部３３は、入力を受け付けたアナログ音声信号を例えばＡＤコンバータでデジタル音声信号に変換し、音声認識部３４に入力する。
【００９０】
なお、本実施形態では、マイク２４から出力されるアナログ音声信号を音声入力部３３でデジタル音声信号に変換する構成を示したが、必ずしもこれに限らない。例えば、マイク２４としてデジタルマイクを用いる構成とする場合には、マイク２４でデジタル音声にまで変換する構成としてもよい。
【００９１】
ステップＳ１５では、音声認識処理を実行してステップＳ１６に移る。音声認識処理では、音声入力部３３から入力されるデジタル音声信号から音声特徴量を抽出し、特徴量データを生成する。音声信号から音声特徴量を抽出して特徴量データを生成する方法としては、例えばＬＰＣ分析法等の公知の方法を用いる構成とすればよい。そして、この特徴量データをもとに音声認識用の辞書を用いて音声認識を行い、デジタル音声信号をテキストに変換する。よって、音声認識部３４が請求項の音声認識手段に相当する。音声認識については、周知の手法を用いて行う構成とすればよく、例えば隠れマルコフモデル等を用いて行う構成とすればよい。音声認識用の辞書としては、辞書格納部３２の辞書のデータを利用する構成としてもよい。
【００９２】
ステップＳ１６では、一致判定処理を実行してステップＳ１７に移る。一致判定処理では、音声認識処理で得られたテキスト（以下、音声変換テキスト）をもとに辞書格納部３２を参照する。そして、辞書格納部３２に格納されている対応関係に含まれる文字符号データのうちに、音声変換テキストと文字の並びが全て一致するものが存在するか否か（つまり、一致するか否か）を操作対象領域特定部３５が判定する。
【００９３】
ステップＳ１７では、一致判定処理で一致すると判定した場合（ステップＳ１７でＹＥＳ）には、音声変換テキストと文字の並びが全て一致するテキスト符号データを、音声変換テキストに相当するテキスト符号データであるものとしてステップＳ１９に移る。また、一致すると判定しなかった場合（ステップＳ１７でＮＯ）には、ステップＳ１８に移る。
【００９４】
ステップＳ１８では、リスト表示処理を実行してステップＳ１３に戻り、フローを繰り返す。リスト表示処理では、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データの情報を操作対象領域特定部３５が辞書格納部３２から取得し、表示制御部２８に送る。そして、表示制御部２８では、操作対象領域特定部３５から受け取った情報をもとに、辞書が示す対応関係に含まれているテキスト符号データのリストを作成し、車両側表示部２２で表示させる。よって、表示制御部２８が請求項のリスト作成手段に相当する。
【００９５】
ここで、リスト表示の一例について図８を用いて説明を行う。図８は、車両側生成画像の画面におけるリスト表示の一例を示す模式図である。図８のリスト表示は、図７で示した画面についての音声認識可能なコマンドのリスト表示であるものとする。ここでは、辞書が示す対応関係に、図７で示した画面のボタン表示Ａ〜Ｕのテキスト符号データの全てが含まれている場合を例に挙げて説明を行う。なお、ボタン表示Ａ〜Ｕについて辞書作成処理で辞書の作成に用いられたテキスト符号データは、図６（ｂ）を用いて説明したものと同様であるものとして説明を行う。
【００９６】
図８に示すように、リスト表示処理では、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データ（つまり、音声認識可能なコマンド）のリストを、車両側表示部２２で表示させる。例えば、ナビ用区分領域のボタン表示Ａ〜Ｆについては、図８に示すように「なび さいしょうか」、「なび さいだいか」、「なび とじる」、「しょうさい」、「めにゅー」、「こういき」がリストに表示され、電話用区分領域のボタン表示Ｇ〜Ｋについては「でんわ さいしょうか」、「でんわ さいだいか」、「でんわ とじる」、「でんわをきる」、「でんわをかける」などが表示される。
【００９７】
ステップＳ１９では、音声変換テキストに相当するテキスト符号データが表示中の画面に含まれているか否かを操作対象領域特定部３５が判断し、ステップＳ２０に移る。音声変換テキストに対応するテキスト符号データが表示中の画面に含まれているか否かは、ステップＳ１で抽出したテキスト符号データのうちに、音声変換テキストに相当するテキスト符号データが含まれているか否かに応じて判断する構成とすればよい。
【００９８】
そして、表示中の画面に含まれていると判断した場合（ステップＳ２０でＹＥＳ）には、ステップＳ２２に移る。また、表示中の画面に含まれていると判断しなかった場合（ステップＳ２０でＮＯ）には、ステップＳ２１に移る。
【００９９】
ステップＳ２１では、確認表示処理を実行し、ステップＳ１３に戻ってフローを繰り返す。確認表示処理では、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の表示および表示中の画面の切り替えを促す旨の表示を表示制御部２８が車両側表示部２２に行わせる。よって、表示制御部２８が請求項の提示手段に相当する。
【０１００】
一例としては、ＣＤの演奏に関する処理を行わせるためのボタン表示「ＣＤ」が表示中の画面には表示されていないが、ステップＳ１で抽出したテキスト符号データがテキスト「ＣＤ」であった場合に、「ＣＤボタンは画面に表示されておりません。メニューボタンを選択してメニュー画面を開いて下さい。」等のテキスト表示を行わせる。
【０１０１】
ここでは、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の表示および表示中の画面の切り替えを促す旨の表示を行う構成を示したが、必ずしもこれに限らない。例えば、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の表示だけを行う構成としてもよい。
【０１０２】
また、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨や表示中の画面の切り替えを促す旨の音声案内を、車両側音声出力部３６がスピーカ２６から出力させる構成としてもよい。
【０１０３】
ステップＳ２２では、操作対象領域特定処理を実行してステップＳ２３に移る。操作対象領域特定処理では、操作対象領域特定部３５が辞書格納部３２に格納されている辞書を参照して音声変換テキストに相当するテキスト符号データに対応する配置領域を得る。そして、得られた当該配置領域に対応する携帯電話機１のタッチパネル部１４の画面上での領域を操作対象領域として特定する。よって、操作対象領域特定部３５が請求項の操作対象領域特定手段に相当する。当該配置領域に対応する操作対象領域の特定方法としては、携帯由来画像データのサイズを変換して車両側生成画像を生成したときの変換と逆の変換を行うことで特定する構成とすればよい。
【０１０４】
なお、同一のアプリ別区分領域についての同一のテキスト符号データが、辞書において複数の異なる配置領域に対応付けられており、操作対象領域特定処理で当該テキスト符号データに対応する配置領域が複数得られる場合には、直近のテキスト符号データ抽出処理で抽出された当該テキスト符号データの配置領域と同一のものを選択して用いる構成とすればよい。
【０１０５】
ステップＳ２３では、操作対象領域送信処理を実行してフローを終了する。操作対象領域送信処理では、ステップＳ２２で特定した操作対象領域を示す信号を携帯電話機１に送信する。携帯電話機１では、操作対象領域を示す信号が携帯側通信部１１を介して主制御部１６に入力されると、タッチパネル部１４に表示中の画面上の当該操作対象領域のボタン表示に対して操作が行われたと判断し、操作が行われたボタン表示に応じた処理を実行することになる。また、処理に応じて携帯電話機１で新たな画像データが生成されてその画像データが車両用装置２に送信されるごとに、図５のフローが繰り返される。
【０１０６】
以上の構成によれば、携帯電話機１から受信した画像データに従って車両用装置２で表示される画面中のテキスト符号データ（例えばスイッチ表示などに含まれる「戻る」や「閉じる」等のテキストや「×」等の符号）が示す内容の処理を携帯電話機１で行わせようとした場合に、目的とする処理に該当するテキスト符号データを表す音声コマンドをユーザが発話しさえすれば、目的とする処理に該当するテキスト符号データが携帯電話機１のタッチパネル部１４の画面上に位置する領域（つまり、操作対象領域）を特定することができる。また、携帯電話機１では、操作対象領域として特定した領域を示す信号をもとに、携帯電話機１の画面上のどの領域に該当する入力を行えばよいのかを特定することが可能であるので、車両用装置２側で受け付けた音声コマンドに基づいて携帯電話機１を操作することが可能になる。
【０１０７】
その結果、タッチパネル部１４を用いて操作入力を行う携帯電話機１の画面を車両用装置２で表示させる場合において、車両用装置２側で受け付けた音声コマンドに基づいて携帯電話機１を操作することが可能になる。
【０１０８】
他にも、辞書の作成については、携帯電話機１から受信した画像データに従った画面中に含まれることになるテキスト符号データを抽出するとともにそのテキスト符号データの画面上での配置領域を特定することで行っているので、例えば携帯電話機１に新規のアプリケーションが追加されて新規の処理内容についてのボタン表示が行われるようになった場合であっても、常に新規の画面に対応した辞書が作成されることになる。そして、携帯電話機１を操作させるための情報としては、音声コマンドを変換した音声変換テキストをもとにその辞書を参照して得た配置領域に対応する操作対象領域を示す信号を携帯端末に送信するので、携帯電話機１のアプリケーションを車両用装置２側でインストールするなどして当該アプリケーションに応じた操作コマンドを車両用装置２側で予め記憶しておく必要がない。
【０１０９】
よって、携帯電話機１に新規のアプリケーションが追加されて新規の処理内容についてのテキスト符号データを含む画面が追加された場合であっても、その変更に常に対応して、車両用装置２側で受け付けた音声コマンドに基づいて携帯電話機１を操作することが可能になる。他にも、携帯電話機１のアプリケーションを車両用装置２にインストールしなくても、車両用装置２は携帯電話機１の機能を利用できることから、車両用装置２の処理負荷が軽減できるといった利点もある。
【０１１０】
また、以上の構成においては、辞書作成部３１が対応関係格納部３０に格納されている対応関係を参照し、テキスト符号データ抽出処理で抽出した符号の意味する内容を示すテキストを得て、抽出した符号の代わりに当該符号についての配置領域の情報に対応付けた辞書を作成することになる。これによれば、符号を表す音声コマンドをユーザが発話しても、その符号が携帯電話機１のタッチパネルの画面上に位置する領域（操作対象領域）を特定し、その操作対象領域を示す信号を携帯電話機１に送信することが可能になる。
【０１１１】
他にも、以上の構成においては、音声変換テキストに相当するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行わせることになる。これによれば、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面では行うことが出来ない場合に、そのことをユーザが容易に認識できるようになる。
【０１１２】
また、以上の構成においては、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行う場合に、表示中の画面の切り替えを促す旨の提示も行うことになる。よって、表示中の画面の切り替えを行うための音声コマンドをユーザに発話させて表示中の画面を切り替え、音声コマンドで目的の処理を行うことができるように補助し、ユーザにとっての快適性を向上させることが可能になる。
【０１１３】
他にも、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データについては、車両用装置２の画面において強調表示するので、音声コマンドに基づいて携帯電話機１で行わせることが可能な処理についてのテキスト符号データをユーザに認識しやすくすることが可能になる。
【０１１４】
また、以上の構成においては、一致判定処理で音声変換テキストに相当するテキスト符号データが得られなかった場合に、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データのリストを表示することになる。よって、音声コマンドを言い間違えて一致判定処理で音声変換テキストに相当するテキスト符号データが得られなかった場合など、音声コマンドに基づいた携帯電話機１の操作が失敗した場合に、音声コマンドに基づいて携帯電話機１で行わせることが可能な処理についてのテキスト符号データを、ユーザに認識しやすくすることが可能になる。
【０１１５】
なお、一致判定処理で音声変換テキストに相当するテキスト符号データが得られなかった場合に、表示中の画面に含まれているテキスト符号データのリストを表示させる構成としてもよい。これによれば、表示中の画面のままで音声コマンドに基づいて携帯電話機１で行わせることが可能な処理についてのテキスト符号データを、ユーザに認識しやすくすることが可能になる。表示中の画面に含まれているテキスト符号データのリストについては、直近のテキスト符号データ抽出処理で抽出したテキスト符号データのうちに、音声変換テキストに相当するテキスト符号データが含まれているか否かに応じて判断する構成とすればよい。
【０１１６】
前述の実施形態では、車両側生成画像の画面上にアプリ別区分領域が複数存在し、その複数のアプリ別区分領域で同じボタン表示が存在する場合に、それらボタン表示についてのテキスト符号データが区別可能となるように、各アプリケーションを示すキーワードをテキスト符号データに付け足して前述の辞書を作成する構成を示したが、必ずしもこれに限らない。
【０１１７】
例えば、複数のアプリ別区分領域で同一のボタン表示について、対応するアプリケーションを示すキーワードをテキスト符合データに付け足さずに、どのアプリケーションに対応しているかを示す情報と対応付けて辞書を作成する構成としてもよい。一例としては、ナビ用区分領域を閉じるためのボタン表示と電話用区分領域を閉じるためのボタン表示とのいずれについても、辞書の作成に用いられるテキスト符号データは「とじる」とする。そして、ナビ用区分領域についてのテキスト符号データについては、ナビ用区分領域のものであることを示す情報を対応付ける一方、電話用区分領域についてのテキスト符号データについては、電話用区分領域のものであることを示す情報を対応付けることで、両者を区別可能とする。
【０１１８】
この場合、音声認識処理で得られた音声変換テキストが、複数のアプリ別区分領域で同一のボタン表示についてのテキスト符号データと一致判定処理で一致した場合、いずれのアプリ別区分領域のボタン表示の操作を意図しているのかをユーザに確認する問い合わせを行う構成とすればよい。上記問い合わせは、車両側音声出力部３６から音声出力することで行う構成とすればよい。なお、問い合わせは車両側表示部２２に表示することで行う構成としてもよいが、本実施形態では、車両側音声出力部３６から音声出力することで行う構成とする。よって、車両側音声出力部３６及び表示制御部２８が請求項の問い合わせ手段に相当する。
【０１１９】
例えば、音声認識処理で得られた音声変換テキストが「とじる」であり、ナビ用区分領域と電話用区分領域とで同一のボタン表示についてのテキスト符号データ「とじる」に一致判定処理で一致した場合、「なび、てる、どちらをとじますか」といった問い合わせを音声出力する。
【０１２０】
また、いずれのアプリ別区分領域のボタン表示の操作を意図しているのかを指定する返答をユーザが発話した場合に、この返答のアナログ音声信号をマイク２４及び音声入力部３３を介して音声認識部３４に入力し、音声認識部３４で音声認識を行うことで、いずれのアプリ別区分領域のボタン表示の操作を意図しているのかを操作対象領域特定部３５で判定する。なお、返答の入力は操作入力部２３で受け付ける構成としてもよいが、本実施形態では、返答の入力はマイク２４で受け付ける構成とする。よって、操作入力部２３及びマイク２４が請求項の受け付け手段に相当する。
【０１２１】
続いて、操作を意図していると判定されたアプリ別区分領域のボタン表示についてのテキスト符号データを、音声認識処理で得られた音声変換テキストと一致判定処理で一致したテキスト符号データのうちから操作対象領域特定部３５で選択する。そして、操作対象領域特定処理では、選択したテキスト符号データをもとに、操作対象領域特定部３５が辞書格納部３２に格納されている辞書を参照し、選択したテキスト符号データに対応する配置領域を得て、操作対象領域として特定する。
【０１２２】
例えば、「なび、てる、どちらをとじますか」といった問い合わせに対して、「なび」との返答が行われた場合には、ナビ用区分領域のボタン表示の操作を意図していると判定する。続いて、ナビ用区分領域についてのテキスト符号データ「とじる」と電話用区分領域についてのテキスト符号データ「とじる」とのうちから、ナビ用区分領域についてのテキスト符号データ「とじる」を選択する。そして、ナビ用区分領域についてのテキスト符号データ「とじる」に対応する配置領域を操作対象領域特定処理で得て、操作対象領域として特定する。
【０１２３】
前述の実施形態では、音声変換テキストと文字の並びが全て一致するテキスト符号データの配置領域を得て、その配置領域に対応する操作対象領域を特定する構成を示したが、必ずしもこれに限らない。例えば、音声変換テキストとテキストの少なくとも一部の文字が一致するテキスト符号データをユーザに提示し、ユーザから選択されたテキスト符号データの配置領域を得て、その配置領域に対応する操作対象領域を特定する構成としてもよい。この場合には、以下のようにすればよい。
【０１２４】
まず、音声変換テキストとテキストの少なくとも一部の文字が一致するテキスト符号データを辞書格納部３２から操作対象領域特定部３５が取得し、取得したテキスト符号データをユーザに選択させるための選択画面を表示制御部２８に作成させて車両側表示部２２に表示させる。なお、選択画面からのテキスト符号データの選択は例えば操作入力部２３のステアリングスイッチの入力によって行うことができるようになっているものとする。よって、操作入力部２３が請求項の入力手段に相当する。そして、ステアリングスイッチの入力によって、ユーザが目的とするテキスト符号データの選択が行われると、選択されたテキスト符号データの配置領域を操作対象領域特定部３５が得て、その配置領域に対応する操作対象領域を特定する。
【０１２５】
音声変換テキストとテキストの少なくとも一部の文字が一致するテキスト符号データとは、音声変換テキストと文字の並びが全て一致していて読みが同じ複数のテキスト符号データであってもよいし、音声変換テキストと文字の一致率が所定値以上の複数のテキスト符号データであってもよい。
【０１２６】
また、音声変換テキストと文字の類似率が所定値以上のテキスト符号データであってもよい。例えば、音声変換テキストが「施設」であった場合には、辞書格納部３２に格納されたテキスト符号データの中から類似するテキスト符号データとして「周辺施設」を選択する場合が挙げられる。また、音声変換テキストの内容と類似するテキスト符号データであってもよい。例えば、音声変換テキストが「ＣＤ」であった場合には、類似するテキスト符号データとして「音楽」や「ＡＵＤＩＯ」などを選択したりする。この場合には、対応関係格納部３０に予めお互いの意味する内容が類似（言い換えると相関）する語群（一例としては「ＣＤ」、「音楽」、「ＡＵＤＩＯ」など）を格納しておき、音声変換テキストをもとに対応関係格納部３０に格納されている語群を参照し、同一の語群に属するテキスト符号データを選択する構成とすればよい。
【０１２７】
つまり、テキストとそのテキストの意味する内容と類似する内容を示すテキストとの対応関係（以下、類似内容テキスト対応関係）を対応関係格納部３０に予め格納しておき、操作対象領域特定部３５は、音声認識部３４で得られたテキストをもとに、対応関係格納部３０に格納している類似内容テキスト対応関係を参照し、当該テキストの意味する内容と類似する内容を示すテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応するタッチパネル部１４の画面上での領域を操作対象の領域として特定する構成としてもよい。
【０１２８】
このように、車両用装置２にて類似のテキスト符号データを選択可能な辞書を準備することにより、音声認識処理の利便性を向上でき、携帯電話機１の画面デザインが変更された場合に一致するテキスト符号データが見つからず音声認識が行われなくなることを抑制することができる。
【０１２９】
なお、車両用ナビゲーション装置の目的地検索における５０音入力と同様に、音声変換テキストとテキストの先頭の一文字目が一致するテキスト符号データを辞書格納部３２から操作対象領域特定部３５が取得し、取得したテキスト符号データをユーザに選択させるための選択画面を表示制御部２８に作成させて車両側表示部２２に表示させる態様としてもよい。
【０１３０】
以上の構成によれば、同じ読みのテキスト符号データがあった場合や音声コマンドから音声変換テキストへの変換において一部のテキストの変換ミスがあったりした場合にも、ユーザが意図するテキスト符号データに対応する配置領域を得ることが可能になる。
【０１３１】
また、前述の実施形態では、タッチパネルからの入力が無効である場合において、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに図５のフローが開始される構成を示したが、必ずしもこれに限らない。例えば、タッチパネルからの入力が有効の場合において、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに図５のフローが開始される構成としてもよい。
【０１３２】
また、前述の実施形態では、携帯電話機１で新たな画像データが生成されてその画像データが車両用装置２へ送信される毎に、図４のフローにより音声認識処理に用いる辞書を作成したが、必ずしもこれに限らない。例えば、既存のテキスト符号データの抽出結果（辞書）を活用することで、テキスト符号データの抽出の負荷を軽減する方法が考えられる。つまり、携帯電話機１から車両用装置２へ画像データが送信されるが画面に変化が無い場合や画面に変化が少ない場合は、既存のテキスト符号データの抽出結果を利用する構成としてもよい。
【０１３３】
例えば、切り替え前後での画面の各画素値の変化量が所定値以内（０以内を含む）であった場合に、画面の変化量が所定値以下であったものと表示制御部２８で判定して、新たな画像データからのテキスト符号データの抽出を行わず、既存のテキスト符号データの抽出結果を利用する構成とすればよい。
【０１３４】
つまり、車両側通信部２１で携帯電話機１から新たに画像データを受信してその画像データが示す画面の表示に切り換えるごとに、切り換え前の画面と切り換え後の画面との変化量が所定値以下であるか否かを制御装置２７で判定する。そして、変化量が所定値以下であると判定しなかった場合には、切り替え後の画面についての画像データをもとにしたテキスト符号データの抽出をテキスト符号認識部２９で行って、抽出したテキスト符号データが当該画面上に位置する領域を特定し、新たに抽出したテキスト符号データと当該テキスト符号データについて新たに得た配置領域の情報との対応関係を、辞書に追加する。一方、変化量が所定値以下であると判定した場合には、切り替え後の画面についての画像データをもとにしたテキスト符号データの抽出を行わない構成とすればよい。これによれば、新たな画像データが車両用装置２へ送信される毎に辞書を作成する場合に比較して、不要な画面のテキスト符号データの抽出を行うことを抑制することができる。
【０１３５】
また、既存のテキスト符号データの抽出結果は、画面の特徴（特定領域に現れるタイトルテキストやボタン名称など）と抽出したテキストと配置領域の情報とを対応付けて制御装置２７の例えばＲＡＭ等のメモリに記憶しておくことができる。画面の特徴、抽出したテキスト、そのテキストの配置領域とを対応付けた情報を以下では文字認識テンプレートと呼ぶ。さらには、画面切り換え直後のタイミングでは、記憶しておいた文字認識テンプレートを暫定的なテキスト符号データの抽出結果として活用して音声認識結果と対比する。
【０１３６】
そして、切り換え後の画面のテキスト符号データの抽出が全て完了したタイミングで、既存の文字認識テンプレートと相違があるか確認し、相違がある場合には、文字認識テンプレートを書き換える（文字認識テンプレートの学習を行う）ことができる。よって、ターミナルモードにおいて、携帯電話機側の画面を表示するために必要最小限の演算能力しか車両側ディスプレイに与えられていない場合であっても、少ない負荷で高速にテキスト符号データの抽出処理を行うことが可能となる。また、画面切り換え後から音声認識を行うことが可能なタイミングまでの時間を短くすることができるという効果を奏する。
【０１３７】
なお、画面切り換えによって画面のレイアウトが大きく変わる場合など、記憶しておいた文字認識テンプレートのうちに、音声認識結果のテキストに対応するテキスト符合データが存在しなかった場合には、以下のようにすればよい。具体的には、切り換え後の画面のテキスト符号データの抽出が全て完了し、このテキスト符号データを用いて辞書が更新されるのを待ち、更新された辞書を参照して音声認識結果のテキストに対応するテキスト符合データを得る構成とすればよい。
【０１３８】
また、前述の実施形態では、音声コマンドをテキストに変換し当該テキストに対応する画面上の操作領域を特定して、車両用装置２から携帯電話機１へ操作領域特定信号を送信することにより、携帯電話機１の画面をタッチ操作するのと同等の操作を行ったが、必ずしもこれに限らない。例えば、音声コマンドにより画面上の表示形態を加工してもよい。つまり、音声コマンドにより、右左折等の目印や交通規制標識などの標識について指示がされた場合には、画面上の当該標識部分を拡大表示したり、通話ボタンや音量ボタンなどの特定ボタンについて指示があった場合には、画面上の当該特定ボタン部分を拡大表示したりする構成としてもよい。つまり、操作対象領域特定部３５でテキスト符合データに対応する配置領域を得た場合に、その配置領域の画像を拡大表示する構成としてもよい。
【０１３９】
これによれば、携帯電話機１の仕様変更を伴わず、車両用装置２側を変更するだけで、走行中など画面を注視できない状況下においても利用者にとって画面を操作しやすい表示形態を提供することが可能となるという効果を奏する。なお、画面の表示形態の変更と、画面のタッチ操作を同時に実行してもよい。例えば、音声コマンドにより「音量を上げる」のような指示があった場合には、音量ボタンを拡大表示すると同時に、音量を所定レベル（１レベル）上げるタッチ操作を行ってもよい。
【０１４０】
また、前述の実施形態では、辞書作成部３１が車両側生成画像から抽出されたテキスト符号データとその配置領域の情報とを対応付けた辞書（テキスト符号配置関係）を予め作成しておき、音声コマンドが入力された時に、当該辞書を参照して、操作位置を特定しているが、必ずしもこれに限らない。例えば、音声コマンドが入力された時に、車両側生成画像から音声コマンドに対応するテキスト符号データを探索して、抽出すると共に、その配置領域を特定することにより、携帯端末へ出力する操作位置情報を特定する構成としてもよい。
【０１４１】
具体例を示すと、例えば、「オーディオ画面を閉じる」という音声コマンドが入力された場合には、「オーディオ」及び「閉じる」に対応するテキスト符号データとその配置領域を特定する。なお、「閉じる」に対応する配置領域が複数ある場合には、「オーディオ」に対応する配置領域の近くに存在する配置領域の方を採用する、或いは、ユーザに問い合わせることで、アプリケーション区分等を指示可能な構成としてもよい。このような、音声コマンド入力時に操作位置を特定するリアルタイム処理は、車両用装置２の制御装置２７の処理能力が高く、瞬時にテキスト抽出が可能な場合に有効である。そして、リアルタイム処理により、辞書作成の事前処理は必須ではなくなり、音声コマンドによる操作が必要な場合にだけ、テキスト抽出処理を行えばよくなるという利点がある。
【０１４２】
また、前述の実施形態では、車両用装置２の制御装置２７内において音声認識などの処理を行っているが、必ずしもこれに限らない。例えば、音声認識部３４と同様の処理を行う部材を外部のサーバー等に配置し、車両用装置２が携帯電話機１を介した外部との通信処理によって外部のサーバーに音声認識処理の要求を行い、処理結果を受信する構成としてもよい。この構成について図９を用いて説明を行う。図９は、情報表示システム２００の概略的な構成を示すブロック図である。なお、説明の便宜上、前述の実施形態の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０１４３】
情報表示システム２００は、図９に示すように携帯電話機１、車両用装置２、および音声認識サーバー３を含んでいる。音声認識サーバー３は、携帯電話網やインターネット等の通信網および携帯電話機１を介して車両用装置２と通信することが可能な通信部、音声認識用の辞書を保持する辞書記憶部、および通信や音声認識の処理等を制御する制御部などを備えている。
【０１４４】
車両用装置２の制御装置２７では、前述の音声入力処理で入力を受け付けたアナログ音声信号をデジタル音声信号に変換した場合に、このデジタル音声信号を車両側通信部２１から携帯電話機１を介して音声認識サーバー３に送信させる。携帯電話機１では、携帯側通信部１１で車両用装置２から受信したデジタル音声信号を、図示しないサーバー通信部から音声認識サーバー３に送信する。
【０１４５】
デジタル音声信号を受信した音声認識サーバー３では、前述した音声認識処理と同様の処理を行ってデジタル音声信号をテキストに変換する。そして、変換したテキストを、携帯電話機１を介して車両用装置２に送信する。車両用装置２では、デジタル音声信号を音声認識して得られたテキストを車両側通信部２１で携帯電話機１を介して音声認識サーバー３から受信した場合には、前述したステップＳ１６以降の処理を行う。なお、車両側通信部２１が請求項の音声認識サーバー通信手段に相当する。
【０１４６】
これによれば、ターミナルモードにおいて、携帯電話機１側の画面を表示するために必要最小限の演算能力しか車両用装置２に与えられていない場合であっても、少ない負荷で音声認識処理を行うことが可能となるという効果を奏する。
【０１４７】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１４８】
１ 携帯電話機、２ 車両用装置、３ 音声認識サーバー、１１ 携帯側通信部、１２ 携帯側表示部、１３ 操作検出部、１４ タッチパネル部（携帯端末のタッチパネル）、１５ 携帯側音声出力部、１６ 主制御部、２１ 車両側通信部（車両側通信手段、音声認識サーバー通信手段）、２２ 車両側表示部（車両用タッチパネル）、２３ 操作入力部（車両用タッチパネル、入力手段、受け付け手段）、２４ マイク（受け付け手段）、２５ 音声認識開始スイッチ、２６ スピーカ、２７ 制御装置、２８ 表示制御部（リスト作成手段、提示手段、問い合わせ手段）、２９ テキスト符号認識部（抽出手段、配置領域特定手段）、３０ 対応関係格納部（対応関係格納手）、３１ 辞書作成部（対応関係作成手段）、３２ 辞書格納部、３３ 音声入力部、３４ 音声認識部（音声認識手段）、３５ 操作対象領域特定部（操作対象領域特定手段）、３６ 車両側音声出力部（問い合わせ手段）、１００・２００ 情報表示システム
【技術分野】
【０００１】
本発明は、携帯端末の画面に表示された情報を表示する車両用装置およびその車両用装置を含む情報表示システムに関するものである。
【背景技術】
【０００２】
従来から、ディスプレイを備えた車両用装置とタッチパネルを用いて操作入力を行う携帯端末とを接続し、車両用装置のディスプレイに携帯端末の画面を表示させたりする技術が知られている。例えば特許文献１には、携帯端末のタッチパネルの画面に表示されている画像のデータを車両用装置で受信し、受信した画像のデータをもとに当該車両用装置のタッチパネルの画面に当該携帯端末で表示されているのと同様の画像を表示させることが開示されている。他にも、特許文献１には、車両用装置のタッチパネルに表示している情報が利用者により操作された場合に、タッチパネル上の操作された箇所の座標を携帯端末のタッチパネル上の座標に変換して携帯端末に送信することが開示されている。
【０００３】
また、走行中などのスイッチ操作が困難な状況において車両用装置を操作するために用いられる技術として、ユーザが発話した音声コマンドを認識する音声認識の技術が知られている。例えば特許文献２には、車載オーディオ機器を操作するためにユーザが発話した音声コマンドを音声認識し、音声認識で得たコマンドを車載オーディオ機器に与える技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１３０５５３号公報
【特許文献２】特開２０１０−１８５９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の技術では、前述の座標の情報をもとに、車両用装置側で利用者に操作された情報を携帯端末側でも特定可能とすることで、車両用装置側のタッチパネルの操作によって携帯端末の操作を行う連携制御を可能にしているものと考えられる。
【０００６】
しかしながら、特許文献１に開示の車両用装置として音声コマンドを音声認識する車両用装置を用いた場合に、車両用装置側で受け付けた音声コマンドでは携帯端末を操作することができないという問題点があった。詳しくは、特許文献１には、車両用装置のタッチパネル上の操作された箇所の座標に基づいて携帯端末を操作するための情報を携帯端末に送信する構成しか開示されていない。よって、音声コマンドを音声認識して得られるコマンドに基づいて携帯端末を操作するための情報を携帯端末に送信することはできず、車両用装置側で受け付けた音声コマンドでは携帯端末を操作することができない。
【０００７】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することを可能にする車両用装置および情報表示システムを提供することにある。
【課題を解決するための手段】
【０００８】
請求項１の車両用装置においては、車両側通信手段で携帯端末から受信した画像データをもとに、当該画像データが示す画面中に含まれるテキストおよび符号の少なくともいずれかのデータであるテキスト符号データを抽出手段で抽出するとともに、当該テキスト符号データが画面上に位置する領域を配置領域特定手段で特定する。ユーザが発話した音声コマンドを変換したテキストが音声認識手段で得られた場合には、当該テキストと、テキスト符号データ及び当該テキスト符号データに対応する配置領域の情報をもとに、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域特定手段で操作対象領域として特定する。そして、操作対象領域として特定した領域を示す信号を車両側通信手段から携帯端末へ送信する。
【０００９】
これによれば、携帯端末から受信した画像データに従って車両用装置で表示される画面中のテキスト符号データ（例えばスイッチ表示などに含まれる「戻る」や「閉じる」等のテキストや「×」等の符号）が示す内容の処理を携帯端末で行わせようとした場合に、目的とする処理に該当するテキスト符号データを表す音声コマンドをユーザが発話しさえすれば、目的とする処理に該当するテキスト符号データが携帯端末のタッチパネルの画面上に位置する領域（つまり、操作対象領域）を特定することができる。また、携帯端末側では、操作対象領域として特定した領域を示す信号をもとに、携帯端末の画面上のどの領域に該当する入力を行えばよいのかを特定することが可能であるので、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００１０】
その結果、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００１１】
請求項２のように、抽出手段で抽出したテキスト符号データと当該テキスト符号データについて配置領域特定手段で特定した領域である配置領域の情報とをもとに、テキスト符号データとそのテキスト符号データについての配置領域との対応関係であるテキスト符号配置対応関係を作成する対応関係作成手段を備え、操作対象領域特定手段は、音声認識手段で変換したテキストが得られた場合に、当該テキストをもとに、対応関係作成手段で作成したテキスト符号配置対応関係を参照して、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する態様とすることが好ましい。
【００１２】
これによれば、テキスト符号配置対応関係の作成については、携帯端末から受信した画像データが示す画面中に含まれることになるテキスト符号データを抽出するとともにそのテキスト符号データの画面上での配置領域を特定することで行っているので、例えば携帯端末に新規のアプリケーションプログラム（以下、アプリケーション）が追加されて新規の処理内容についてのテキスト符号データが含まれる画面が表示されるようになった場合であっても、常に新規の画面に対応したテキスト符号配置対応関係が作成されることになる。そして、携帯端末を操作させるための情報としては、音声コマンドを変換したテキストをもとにそのテキスト符号配置対応関係を参照して得た配置領域に対応する携帯端末のタッチパネルの画面上での領域（操作対象領域）を示す信号を携帯端末に送信するので、携帯端末のアプリケーションに応じた操作コマンドを車両用装置側で予め記憶しておく必要がない。よって、携帯端末に新規のアプリケーションが追加されて新規の処理内容についてのテキスト符号データを含む画面が追加された場合であっても、その変更に常に対応して、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００１３】
請求項３のように、車両用装置はタッチパネルを備え、車両側通信手段で受信した画像データが示す画面を当該タッチパネルに表示するとともに、当該タッチパネルに対してユーザが操作を行った場合に、操作が行われた当該タッチパネルの画面上の領域を求め、求めた領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定し、操作対象領域として特定した領域を示す信号を車両側通信手段から携帯端末に送信するものである態様としてもよい。
【００１４】
請求項４の構成においては、符号とその符号の意味する内容を示すテキストとの対応関係を予め格納している対応関係格納手段を備え、対応関係作成手段は、抽出手段で抽出したテキスト符号データが符号であった場合、その符号については、対応関係格納手段に格納している対応関係をもとに、その符号の意味する内容を示すテキストを当該テキスト符号データとして用いて辞書を作成することになる。これによれば、符号を表す音声コマンドをユーザが発話しても、その符号が携帯端末のタッチパネルの画面上に位置する領域（つまり、操作対象領域）を特定し、その操作対象領域を示す信号を携帯端末に送信することが可能になる。例えば、対応関係において符号「×」とテキスト「閉じる」とが対応付けられていた場合には、音声コマンド「閉じる」をユーザが発話すれば、符号「×」についての操作対象領域を示す信号を携帯端末に送信することが可能になる。
【００１５】
請求項５のように、車両側通信手段で携帯端末から新たに画像データを受信してその画像データが示す画面を表示するごとに、当該画像データをもとにテキスト符号データを抽出手段で新たに抽出するとともに、抽出手段でテキスト符号データを新たに抽出するごとに当該テキスト符号データが当該画面上に位置する領域を配置領域特定手段で特定し、抽出手段で新たに抽出したテキスト符号データと当該テキスト符号データについて配置領域特定手段で新たに得た配置領域の情報との対応関係を、既に作成していたテキスト符号配置対応関係に追加する態様としてもよい。
【００１６】
請求項６の構成においては、操作対象領域特定手段は、音声認識手段でテキストが得られたときに、辞書を参照して当該テキストに対応するテキスト符号データを得るとともに、そのテキスト符号データが表示中の画面に含まれているか否かを判断し、当該テキストに対応するテキスト符号データが表示中の画面に含まれていると判断した場合には、そのテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する一方、当該テキストに対応するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を提示手段に行わせることになる。これによれば、音声コマンドを変換したテキストに対応するテキスト符号データが示す内容の処理を表示中の画面では行うことが出来ない場合に、そのことをユーザが容易に認識できるようになる。
【００１７】
請求項６のように、テキストに対応するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行う場合に、請求項７のように、表示中の画面の切り替えを促す旨の提示も行う態様としてもよい。これによれば、表示中の画面の切り替えを行うための音声コマンドをユーザに発話させて表示中の画面を切り替え、音声コマンドで目的の処理を行うことができるように補助することが可能になる。その結果、ユーザにとっての快適性が向上する。
【００１８】
ところで、車両の走行中は、運転手が車両用装置の画面を注視することは出来ない。そのため、車両の走行中は、運転手が車両用装置の画面中に含まれるテキストや符号を確認せずに音声コマンドを発話することにより、当該音声コマンドが示すテキストや符号が表示中の画面に含まれない場合も生じる。これに対して、請求項６、請求項７のように対応することにより、音声コマンドを変換したテキストに対応するテキスト符号データが示す内容の処理を表示中の画面では行うことが出来ないことを、運転手は画面を注視することなく容易に認識することが可能になる。また、次に行うべき手順として、別の画面に切り替える必要があることを、運転手は画面を注視することなく容易に認識することが可能となる。
【００１９】
請求項８のように、操作対象領域特定手段は、音声認識手段で得られたテキストと文字の並びが全て一致するテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象の領域として特定する態様としてもよい。
【００２０】
請求項９の構成においては、操作対象領域特定手段は、テキスト符号配置対応関係を参照して、音声認識手段で得られたテキストとテキストの少なくとも一部の文字が一致するテキスト符号データをテキスト符号配置対応関係に含まれるテキスト符号データから選択し、選択したテキスト符号データを提示させてユーザに一つのテキスト符号データを選択させ、ユーザの選択入力を入力手段で受け付けた場合に、ユーザに選択されたテキスト符号データとテキスト符号配置対応関係とから、そのテキスト符号データに対応する配置領域を得て、得られた配置領域に対応する携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する態様としてもよい。
【００２１】
これによれば、同じ読みのテキスト符号データがあった場合や音声コマンドからテキストへの変換において一部のテキストの変換ミスがあったりした場合にも、ユーザが意図するテキスト符号データに対応する配置領域を得ることが可能になる。
【００２２】
請求項１０の構成においては、車両側通信手段で受信した画像データが示す画面を表示する場合に、対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データについては、当該画面において強調表示することになる。対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データに対応する配置領域については、当該配置領域に対応する操作対象領域を特定してその操作対象領域を示す信号を携帯端末に送信することで、操作対象領域を操作した場合と同様の入力を携帯端末で行わせることが可能になる。つまり、対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データは、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データに該当する。
【００２３】
よって、以上の構成によれば、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データをユーザに認識しやすくすることが可能になる。また、テキスト符号データとして抽出されなかった領域は強調表示されないことから、音声コマンドが実行されない場合の原因がテキスト符号データとして抽出されていないためであり、原因がマイクや携帯端末とは異なることを把握することも出来る。
【００２４】
請求項１０の構成においては、音声認識手段で得られたテキストに対応するテキスト符号データに対応する配置領域が操作対象領域特定手段で得られなかった場合に、対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データのリストを表示することになる。対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データは、前述したように、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データに該当する。よって、以上の構成によれば、音声コマンドを言い間違えた場合など、音声コマンドに基づいた携帯端末の操作が失敗した場合に、音声コマンドに基づいて携帯端末で行わせることが可能な処理についてのテキスト符号データをユーザに認識しやすくすることが可能になる。
【００２５】
請求項１１の構成においては、対応関係作成手段は、画面が複数の区分に分かれており、複数の区分で同一のテキスト符号データが重複して存在する場合に、当該テキスト符号データについては、存在する区分を示すテキストを各々付け足した上でテキスト符号配置対応関係を作成する。これによれば、画面の複数の区分で重複するテキスト符号データについては、それが存在する区分を示すテキストを各々付け足した上でテキスト符号配置対応関係を作成するので、それらのテキスト符号データが区別可能となる。よって、画面中のテキスト符号データに、それが存在する区分を示すテキストを付け足したものを表す音声コマンドをユーザが発話しさえすれば、画面の複数の区分で同一のテキスト符号データが重複して存在する場合でも、目的とする処理についての操作対象領域を特定することができる。
【００２６】
請求項１２の構成においては、音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた画面の複数の区分で重複して存在するテキスト符号データであった場合に、いずれの区分に存在するテキスト符号データの操作を意図しているのかをユーザに問い合わせる問い合わせ手段と、いずれの区分に存在するテキスト符号データの操作を意図しているのかを指定するユーザからの入力を受け付ける受け付け手段とを備え、操作対象領域特定手段は、音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた画面の複数の区分で重複して存在するテキスト符号データであった場合に、受け付け手段で受け付けた入力において指定された区分についてのテキスト符号データを、音声認識手段で変換したテキストに対応するテキスト符号データと決定する。
【００２７】
これによれば、画面の複数の区分で同一のテキスト符号データが重複して存在する場合でも、いずれの区分に存在するテキスト符号データの操作を意図しているのかをユーザが指定することができるので、操作を意図しているテキスト符号データを、音声認識手段で変換したテキストに対応するテキスト符号データと決定することができる。よって、画面の複数の区分で同一のテキスト符号データが重複して存在する場合でも、目的とする処理についての操作対象領域を特定することができる。
【００２８】
請求項１３の情報表示システムにおいては、タッチパネルを用いて操作入力を行うとともに、生成した画像データに従った画面を前記タッチパネルに表示する携帯端末と、前記のいずれかの車両用装置とを含み、携帯端末は、車両用装置から送信された操作対象領域として特定した領域を示す信号を携帯側通信手段で受信した場合に、携帯端末のタッチパネルの画面上の当該操作対象領域として特定した領域を操作した場合と同様の入力を行うことになる。よって、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【００２９】
請求項１４の情報表示システムによれば、ユーザが発話した音声コマンドを音声認識サーバーで音声認識する点以外は、請求項１の車両用装置を含む請求項１３の情報表示システムと同様であるので、タッチパネルを用いて操作入力を行う携帯端末の画面を車両用装置で表示させる場合において、車両用装置側で受け付けた音声コマンドに基づいて携帯端末を操作することが可能になる。
【図面の簡単な説明】
【００３０】
【図１】情報表示システム１００の概略的な構成を示すブロック図である。
【図２】携帯電話機１の概略的な構成を示すブロック図である。
【図３】車両用装置２の概略的な構成を示すブロック図である。
【図４】制御装置２７での辞書作成関連処理のフローを示すフローチャートである。
【図５】制御装置２７での音声操作関連処理のフローを示すフローチャートである。
【図６】（ａ）は、車両側生成画像の画面上の複数のアプリ別区分領域で同じボタン表示が存在する場合の例を示す図であり、（ｂ）は、辞書作成処理において辞書の作成に用いられるテキスト符号データの一例を示す模式図である。
【図７】車両側生成画像の画面における強調表示の一例を示す模式図である。
【図８】車両側生成画像の画面におけるリスト表示の一例を示す模式図である。
【図９】情報表示システム２００の概略的な構成を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された情報表示システム１００の概略的な構成を示すブロック図である。図１に示す情報表示システム１００は、携帯電話機１および車両用装置２を含んでいる。情報表示システム１００では、携帯電話機１の画面に表示させるために携帯電話機１で生成した画像データを車両用装置２に送信し、車両用装置２でその画像データが示す画面を表示したり、車両用装置２への操作入力によって携帯電話機１を操作したりする。
【００３２】
携帯電話機１は、タッチパネルを用いて操作入力を行う所謂タッチパネル式携帯電話機（つまり、操作部分を画面に集約したタッチパネルを搭載したスマートフォン）であって、一般的なタッチパネル式携帯電話機と同様に通話機能やメール機能や音楽機能や地図機能等を有しているものである。携帯電話機１は、請求項の携帯端末に相当する。
【００３３】
ここで、図２を用いて携帯電話機１の概略的な構成について説明を行う。なお、便宜上、一般的な携帯電話機が有している機能に関する構成のうち、本発明の説明に不要なものについては説明を省略する。図２は、携帯電話機１の概略的な構成を示すブロック図である。図２に示すように携帯電話機１は、携帯側通信部１１、携帯側表示部１２と操作検出部１３とからなるタッチパネル部１４、携帯側音声出力部１５、および主制御部１６を備えている。
【００３４】
携帯側通信部１１は、車両用装置２との間でＢｌｕｅｔｏｏｔｈ（登録商標）に従った通信（以下ＢＴ通信）を行う。よって、携帯側通信部１１が請求項の携帯側通信手段に相当する。携帯電話機１と車両用装置２との間での通信は、例えばＢｌｕｅｔｏｏｔｈに従って行う他にも、ＺｉｇＢｅｅ（登録商標）等の近距離無線通信規格やＩＥＥＥ８０２．１１等の無線ＬＡＮ規格などに従って行う構成としてもよい。また、携帯電話機１と車両用装置２との間の通信は、必ずしも無線通信で行う構成に限らず、ＵＳＢ接続等による有線通信によって行う構成としてもよい。
【００３５】
携帯側表示部１２は、携帯電話機１の各種アプリケーションプログラム（以下、アプリケーション）に応じた画面等を表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。
【００３６】
操作検出部１３は、携帯側表示部１２と一体になったタッチスイッチが用いられ、タッチ位置に対応するスイッチが操作されたことを検出し、その位置情報を主制御部１６に入力する。言い換えると、操作検出部１３は、携帯側表示部１２に表示した画面上のどの位置に対して操作がされたかを検出して、その位置情報を主制御部１６に入力する。ここで言うところの位置情報とは、本実施形態では、例えば携帯側表示部１２の画面上の座標であるものとする。
【００３７】
なお、タッチスイッチは、静電容量方式によるものであってもよいし、抵抗膜方式によるものであってもよいし、他の方式によるものであってもよい。また、位置情報は、画面を所定数の領域に分割して扱う場合には、例えば各領域を特定するＩＤ等の識別子であってもよい。
【００３８】
タッチパネル部１４は、携帯側表示部１２と操作検出部１３とが一体化したものであって、主制御部１６の指示に従って携帯側表示部１２に例えばボタン表示を含む画面を表示させる。ここで言うところのボタン表示には、そのボタン表示に対する操作が行われた場合に実行される処理を示すテキストや符号が付されているものとする。また、タッチパネル部１４は、そのボタン表示に対する操作が行われた場合には、操作が行われたボタン表示の位置を操作検出部１３で検出し、その位置情報を主制御部１６に入力する。タッチパネル部１４が請求項の携帯端末のタッチパネルに相当する。
【００３９】
携帯側音声出力部１５は、スピーカ等から構成され、主制御部１６の指示に基づいて、通話相手の音声や各種案内音声等を出力する。主制御部１６は、通常のコンピュータとして構成されており、内部には例えば周知のＣＰＵ、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（いずれも図示せず）等が備えられている。主制御部１６は、携帯側通信部１１、タッチパネル部１４から入力された各種情報に基づき、各種処理を実行する。
【００４０】
例えば、主制御部１６は、アプリケーションプログラム（以下、アプリケーション）を実行し、アプリケーションに従った画面をタッチパネル部１４に表示させるための画像データを生成し、その画像データに従った画面をタッチパネル部１４に表示させる。アプリケーションについては、ＲＯＭに予め記憶されている構成としてもよいし、図示しない通信部によってネットワーク等の通信網を介してサーバーからダウンロードする構成としてもよい。
【００４１】
また、主制御部１６は、タッチパネル部１４から入力される位置情報をもとに、タッチパネル部１４に表示中の画面上のどのボタン表示に対して操作が行われたかを判断し、操作が行われたボタン表示に応じた処理を実行する。一例を挙げると、画面上のウィンドウ表示を閉じるためのボタン表示「閉じる」の操作が行われたと判断した場合には、ウィンドウ表示を閉じる処理を行う。また、表示中の画面以前の画面に遷移させるためのボタン表示「もどる」の操作が行われたと判断した場合には、表示中の画面以前の画面に遷移させる処理を行う。
【００４２】
さらに、主制御部１６は、車両用装置２と携帯側通信部１１を介してＢＴ通信を行うことができるように、ペアリング処理を行う。そして、携帯電話機１と車両用装置２とのＢＴ通信が確立し、携帯電話機１の画面を車両用装置２で表示させるとともに、車両用装置２への操作入力によって携帯電話機１を操作するモード（以下、ターミナルモード）が例えばタッチパネル部１４へのユーザからの操作入力によって選択された場合には、タッチパネル部１４に表示させるために生成した画像データを携帯側通信部１１から車両用装置２へ送信させる。
【００４３】
ここで言うところの画像データは、例えば画素毎の色情報であるものとする。また、ターミナルモードが選択された場合には、例えば、携帯側表示部１２の表示領域情報（画面サイズ＝幅（Ｗピクセル）×高さ（Ｈピクセル）や解像度など）を携帯側通信部１１から車両用装置２へ送信させるものとする。
【００４４】
後に詳述するが、前述のターミナルモードが選択中の場合には、主制御部１６は、携帯側通信部１１を介して車両用装置２から入力される位置情報をもとに、タッチパネル部１４に表示中の画面上のどのボタン表示に対して操作が行われたかを判断し、操作が行われたボタン表示に応じた処理を実行する。
【００４５】
図１に戻って、車両用装置２は、自動車等の車両に固定的、或いは、可搬可能に搭載されるものであって、画像を表示するものである。車両用装置２としては、例えば車両用のディスプレイ装置や車両用ナビゲーション装置等がある。なお、ディスプレイと一体となった車両用ナビゲーション装置を車両用装置２として用いてもよいし、ディスプレイを含まない車両用ナビゲーション装置とディスプレイとの組を車両用装置２として用いてもよいものとする。本実施形態では、一例として車両用装置２はディスプレイと一体となった車両用ナビゲーション装置であるものとして以降の説明を行う。
【００４６】
ここで、図３を用いて車両用装置２の概略的な構成について説明を行う。なお、便宜上、車両用装置２が有している機能に関する構成のうち、本発明の説明に不要なものについては説明を省略する。図３は、車両用装置２の概略的な構成を示すブロック図である。図３に示すように車両用装置２は、車両側通信部２１、車両側表示部２２、操作入力部２３、マイク２４、音声認識開始スイッチ２５、スピーカ２６、および制御装置２７を備えている。
【００４７】
車両側通信部２１は、携帯電話機１との間でＢＴ通信を行う。よって、車両側通信部２１が請求項の車両側通信手段に相当する。なお、車両用装置２と携帯電話機１との間での通信は、前述したように無線通信によるものであってもよいし、有線通信によるものであってもよい。車両側通信部２１は、携帯側通信部１１から送信された表示領域情報や画像データを受信して制御装置２７に入力する。また、車両側通信部２１は、制御装置２７からの指示に従って、制御装置２７から出力される位置情報を携帯側通信部１１に送信する。
【００４８】
なお、通信の確立手順としては、たとえば、ＡＣＣ−ＯＮとなったときに、車両用装置２から、無線あるいは有線で映像信号を送信できる端末があるか問い合わせる問い合わせ信号を送信する。そして、この問い合わせ信号に対して応答信号が返信されてきた場合に、車両用装置２は、さらに接続依頼信号を送信し、携帯電話機１が接続応答を返信することで通信が確立する。ここで、接続応答を返信する携帯電話機１が複数存在する場合も考えられる。この場合には、種々の指標による優先順位づけを行なって、携帯電話機１を１つに限定して通信を確立する。優先順位を決定するための指標としては、たとえば、ユーザが複数の携帯電話機１に対して予め優先順位を登録しておく、電波の強い順、電池残量の大きい順などがある。
【００４９】
そして通信が確立した状態で、車両用装置２が、映像信号の送信を依頼する信号を携帯電話機１に対して送信することで、携帯電話機から車両用装置２への映像信号の送信が開始される。
【００５０】
車両側表示部２２は、制御装置２７の指示に従った画面等を表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。
【００５１】
操作入力部２３は、例えば車両側表示部２２と一体になったタッチスイッチもしくはメカニカルなスイッチ、或いは、遠隔操作スイッチ等が用いられ、スイッチ操作により制御装置２７へ各種機能の操作指示を行う。なお、操作入力部２３は、一部が車両側表示部２２と一体になったタッチスイッチからなり、他の一部がステアリングに設けられたメカニカルなスイッチからなるといった構成としてもよい。
【００５２】
本実施形態では、操作入力部２３の一部が車両側表示部２２と一体になったタッチスイッチ（つまり、タッチパネル）からなり、他の一部がステアリングに設けられたメカニカルなスイッチ（つまり、ステアリングスイッチ）からなるものとして以降の説明を続ける。よって、車両側表示部２２および操作入力部２３が請求項の車両用タッチパネルに相当する。また、操作入力部２３のうちタッチスイッチとして機能するものは、前述の操作検出部１３と同様にして、車両側表示部２２に表示した画面上のどの位置に対して操作がされたかを検出して、その位置情報を制御装置２７に入力するものとする。
【００５３】
マイク２４は、車両用の小型マイクロフォンであり、ユーザの発話した音声コマンドを電気信号（つまり、アナログ音声信号）に変換して出力する。音声認識開始スイッチ２５は、例えばステアリングに設けられた押しボタンスイッチであって、ユーザから押下された場合に、ユーザが音声コマンドの発話を開始することを示す発話開始信号を制御装置２７に出力する。
【００５４】
制御装置２７は、通常のコンピュータとして構成されており、内部には例えば周知のＣＰＵ、ＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（いずれも図示せず）等が備えられている。制御装置２７は、図３に示すように機能ブロックとして、表示制御部２８、テキスト符号認識部２９、対応関係格納部３０、辞書作成部３１、辞書格納部３２、音声入力部３３、音声認識部３４、操作対象領域特定部３５、および車両側音声出力部３６を備えている。また、制御装置２７は、車両側通信部２１、操作入力部２３、マイク２４、音声認識開始スイッチ２５から入力された各種情報に基づき、各種処理を実行する。
【００５５】
制御装置２７は、車両側通信部２１を介して携帯電話機１から送信された画像データ（以下、携帯由来画像データ）の入力を受け付けた場合に、その携帯由来画像データに従った画像（以下、車両側生成画像）を表示制御部２８で生成して車両側表示部２２に出力し、その携帯由来画像データに従った画面を車両側表示部２２で表示させる。表示制御部２８は、例えば携帯電話機１から送信された表示領域情報をもとに、携帯由来画像データのサイズや解像度を、表示制御部２８の画面のサイズや解像度に変換した車両側生成画像を生成するものとする。
【００５６】
なお、本実施形態では、携帯電話機１から送信された表示領域情報をもとに、携帯由来画像データのサイズや解像度を、表示制御部２８の画面のサイズや解像度に変換する構成を示したが、必ずしもこれに限らない。例えば、携帯由来画像データのサイズや解像度の変換の比率を固定値として予め表示制御部２８で保持しておき、この固定値に従って変換を行う構成としてもよい。この場合には、携帯電話機１から表示領域情報を送信する構成としなくてもよい。
【００５７】
制御装置２７は、車両側通信部２１を介して携帯電話機１から送信された音声のデータの入力を受け付けた場合には、車両側音声出力部３６がその音声のデータに従った音声をスピーカ２６から出力させる。
【００５８】
また、制御装置２７は、表示制御部２８で生成した車両側生成画像をもとに辞書作成関連処理を実行する。ここで、図４を用いて、制御装置２７での辞書作成関連処理のフローについての説明を行う。図４は、制御装置２７での辞書作成関連処理のフローを示すフローチャートである。なお、本フローは、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに開始される。
【００５９】
まず、ステップＳ１では、テキスト符号データ抽出処理を行ってステップＳ２に移る。テキスト符号データ抽出処理では、表示制御部２８で生成した車両側生成画像をもとに、テキスト符号認識部２９が当該車両側生成画像に含まれるテキストや符号（以下、テキスト符号データ）を抽出する。よって、テキスト符号認識部２９が請求項の抽出手段に相当する。
【００６０】
例えば、テキスト符号データの抽出は、ＰＤＦファイルからＯＣＲ（光学文字認識）等を用いてテキストや符号を抽出する公知の文字認識技術と同様の技術を用いて行う構成とすればよい。テキストを抽出する場合には、文字同士の配列間隔が所定値以下の複数の文字が存在する場合には、これらを文字列として抽出する構成とすればよい。抽出するテキストは、かな文字、英文字、漢字のいずれであってもよい。
【００６１】
また、テキスト符号データ抽出処理では、テキスト符号データを抽出した場合に、抽出したテキスト符号データが車両側生成画像の画面上で位置する領域（以下、配置領域）を特定する。よって、テキスト符号認識部２９が請求項の配置領域特定手段に相当する。例えば、抽出したテキスト符号データの車両側生成画像上の座標を当該領域として特定する構成とすればよい。なお、車両側表示部２２の画面が所定数の領域に分割して扱われており、各領域を特定するＩＤ等の識別子が割り当てられている場合には、例えば、抽出したテキスト符号データが位置する車両側生成画像上の領域に割り当てられた識別子を配置領域として特定する構成としてもよい。
【００６２】
ステップＳ２では、辞書作成処理を行ってステップＳ３に移る。辞書作成処理では、ステップＳ１でテキストを抽出していた場合には、辞書作成部３１が当該テキストと当該テキストについての配置領域の情報とを対応付けた辞書を作成する。よって、ここで言うところの辞書が請求項のテキスト符号配置対応関係に相当する。一方、ステップＳ１で符号を抽出していた場合には、抽出した符号をもとに、辞書作成部３１が対応関係格納部３０に格納されている符号とその符号の意味する内容を示すテキストとの対応関係を参照し、抽出した符号の意味する内容を示すテキストを得る。そして、抽出した符号の代わりに、得られたテキストを当該符号についての配置領域の情報に対応付けた辞書を作成する。よって、辞書作成部３１が請求項の対応関係作成手段に相当する。
【００６３】
なお、対応関係格納部３０に格納されている対応関係では、１つの符号に対して１つのテキストが対応付けられている構成だけに限らず、１つの符号に対して２つ以上のテキストが対応付けられている構成としてもよい。これは、１つの符号に対して複数種類の読み方が存在する場合があるためである。
【００６４】
対応関係格納部３０には、符号「×」と符号「×」の意味する内容を示すテキスト「閉じる」との対応関係など、符号とその符号の意味する内容を示すテキストとの対応関係が予め格納されているものとする。対応関係格納部３０が請求項の対応関係格納手段に相当する。
【００６５】
また、本実施形態では、車両側生成画像の画面上にアプリケーション（機能）ごとに区分けされた領域（以下、アプリ別区分領域）が複数存在し、その複数のアプリ別区分領域で同じボタン表示が存在する場合にも、それらボタン表示についてのテキスト符号データが区別可能となるように、各アプリケーションを示すキーワードをテキスト符号データに付け足して上記辞書を作成するものとする。なお、キーワードが請求項における「存在する区分を示すテキスト」に相当する。
【００６６】
ここで、図６（ａ）を用いて、車両側生成画像の画面上の複数のアプリ別区分領域で同じボタン表示が存在する場合の例を示す。図６（ａ）は、車両側生成画像の画面上の複数のアプリ別区分領域で同じボタン表示が存在する場合の例を示す図である。図６（ａ）に示す画面には、ナビゲーション機能の操作のためのアプリ別区分領域（以下、ナビ用区分領域）、電話機能の操作のためのアプリ別区分領域（以下、電話用区分領域）、オーディオ機能の操作のためのアプリ別区分領域（以下、オーディオ用区分領域）が表示されているものとする。
【００６７】
また、図６（ａ）中のＡ〜Ｕは、各種の処理を行わせるためのボタン表示を示している。詳しくは、Ａはナビ用区分領域の最小化、Ｂはナビ用区分領域の最大化、Ｃはナビ用区分領域を閉じるためのボタン表示である。Ｄは地図の詳細表示（拡大）、Ｅは地図の広域表示（縮小）、Ｆはメニューを表示させるためのボタン表示である。Ｇは電話用区分領域の最小化、Ｈは電話用区分領域の最大化、Ｉは電話用区分領域を閉じるためのボタン表示である。Ｊは通話終了（電話を切る）、Ｋは通話（電話をかける）、Ｌは電話帳の表示、Ｍは電話履歴の表示のためのボタン表示である。Ｎはオーディオ用区分領域の最小化、Ｏはオーディオ用区分領域の最大化、Ｐはオーディオ用区分領域を閉じるためのボタン表示である。Ｑは音量を上げる（ボリュームアップ）、Ｒは音量を下げる（ボリュームダウン）、Ｓは演奏停止（ストップ）、Ｔは曲送り（トラックアップ）、Ｕは曲戻し（トラックバック）のためのボタン表示である。ここで言うところの最小化とは、対象とするアプリ別区分領域を画面上から一時的に隠すことであり、最大化とは、対象とするアプリ別区分領域の画面縦横幅を画面全体に広げることである。
【００６８】
図６に示すように、Ａ、Ｇ、Ｎはいずれもアプリ別区分領域の最小化を行うためのボタン表示であり、Ｂ、Ｈ、Ｏはいずれもアプリ別区分領域の最大化を行うためのボタン表示であり、Ｃ、Ｉ、Ｐはいずれもアプリ別区分領域を閉じるためのボタン表示である。
【００６９】
例えば、Ａ、Ｇ、Ｎのボタン表示については、対応関係格納部３０に格納されている対応関係に、Ａ、Ｇ、Ｎのボタン表示の符号とテキスト「さいだいか」とが対応付けられているとすると、Ａ、Ｇ、Ｎのボタン表示のいずれについても、テキスト「さいだいか」がテキスト符号データとして得られることになる。そのため、複数のアプリケーションで重複して用いられるボタン表示の個々を区別可能とするため、前述したように、各アプリケーションを示すキーワードをテキスト符号データに付け足して上記辞書を作成する。
【００７０】
ここで、各アプリケーションを示すキーワードをテキスト符号データに付け足す処理についての説明を行う。まず、キーワードを付け足すテキスト符号データの判別は、テキスト符号データ抽出処理によって車両側生成画像の画面から同じテキスト符号データが複数抽出されたものを選択することで行う構成とすればよい。他にも、複数のアプリケーションで重複して用いられるボタン表示についてのテキスト符号データのリストを予め制御装置２７のメモリに格納しておくことで、このリストに該当するテキスト符号データを、キーワードを付け足すテキスト符号データとして判別する構成としてもよい。
【００７１】
続いて、キーワードを付け足すテキスト符号データとして判別されたテキスト符号データに対して、アプリケーションを示すキーワードを付け足す。キーワードについては、ナビゲーション機能については「なび」、電話機能については「でんわ」及び「てる」、オーディオ機能については「おーでぃお」といったテキストを予め制御装置２７のメモリに記憶しておき、これらのテキストを読み出してテキスト符合データに付け足す構成とすればよい。
【００７２】
他にも、各アプリ別区分領域に含まれるテキストを文字認識することでキーワードを取得する構成としてもよい。一例としては、ナビ用区分領域に含まれるテキスト「ＮＡＶＩ」からテキスト「なび」を取得したり、電話用区分領域に含まれるテキスト「ＴＥＬ」からテキスト「てる」を取得したり、オーディオ用区分領域に含まれるテキスト「ＡＵＤＩＯ」からテキスト「オーディオ」を取得したりする構成とすればよい。また、この場合、キーワードとなるテキストのリストを予め制御装置２７のメモリに格納しておくことで、このリストを参照してキーワードに該当するテキストのみを取得するようにすればよい。
【００７３】
また、キーワードが付け足されるテキスト符号データとキーワードとの対応付けは、テキスト符号データの配置領域が、どのアプリ別区分領域に該当するかに応じて行われる。例えば、配置領域がナビ用区分領域に該当するテキスト符号データ「とじる」については、テキスト「なび」がキーワードとなる。また、配置領域が電話用区分領域に該当するテキスト符号データ「とじる」については、テキスト「てる」及び「でんわ」がキーワードとなる。
【００７４】
そして、キーワードをテキスト符号データに付け足して上記辞書を作成する。例えば、ナビ用区分領域のボタン表示から抽出したテキスト符号データ「とじる」については、テキスト「なび」を付け足してテキスト符号データ「なび とじる」とし、辞書作成に用いる。また、電話用区分領域のボタン表示から抽出したテキスト符号データ「とじる」については、テキスト「てる」や「でんわ」を付け足してテキスト符号データ「てる とじる」及び「でんわ とじる」とし、辞書作成に用いる。
【００７５】
ここで、図６（ｂ）を用いて、辞書の作成に用いるテキスト符号データの一例について説明を行う。図６（ｂ）は、辞書作成処理において辞書の作成に用いられるテキスト符号データの一例を示す模式図である。また、図６（ｂ）に示す車両側生成画像の画面は、図６（ａ）で示した車両側生成画像の画面と同一のものであって、同じボタン表示が行われているものとする。
【００７６】
テキスト符号データは、図６（ａ）に示すように、ナビ用区分領域を閉じるためのボタン表示については「なび とじる」となり、電話用区分領域を閉じるためのボタン表示については「てる とじる」及び「でんわ とじる」の２種類となる。また、図示しないが、オーディオ用区分領域を閉じるためのボタン表示については「おーでぃお とじる」となる。さらに、地図の詳細表示（拡大）のためのボタン表示については「しょうさい」、地図の広域表示（縮小）のためのボタン表示については「こういき」、メニューを表示させるためのボタン表示については「めにゅー」となる。
【００７７】
また、図６（ｂ）に示すように、電話用区分領域の最小化のためのボタン表示については「てる さいしょうか」及び「でんわ さいしょうか」、電話用区分領域の最大化のためのボタン表示については「てる さいだいか」及び「でんわ さいだいか」となる。図示しないが、ナビ用区分領域の最小化のためのボタン表示については「なび さいしょうか」、ナビ用区分領域の最大化のためのボタン表示については「なび さいだいか」となる。他に、オーディオ用区分領域の最小化のためのボタン表示については「おーでぃお さいしょうか」、オーディオ用区分領域の最大化のためのボタン表示については「おーでぃお さいだいか」となる。
【００７８】
さらに、図６（ｂ）に示すように、通話終了（電話を切る）のためのボタン表示については「でんわをきる」、電話帳の表示のためのボタン表示については「でんわちょう」、電話履歴の表示のためのボタン表示については「りれき」となる。図示しないが、通話（電話をかける）ためのボタン表示については「でんわをかける」となる。
【００７９】
また、図６（ｂ）に示すように、音量を下げる（ボリュームダウン）ためのボタン表示については「ぼりゅーむ だうん」及び「おんりょう さげる」、演奏停止（ストップ）のためのボタン表示については「すとっぷ」及び「ていし」、曲送り（トラックアップ）のためのボタン表示については「とらっくあっぷ」及び「つぎのきょく」となる。図示しないが、音量を上げる（ボリュームアップ）ためのボタン表示については「ぼりゅーむ あっぷ」及び「おんりょう あげる」、曲戻し（トラックバック）のためのボタン表示については「とらっく ばっく」及び「まえのきょく」となる。
【００８０】
なお、アプリ別区分領域は、アプリケーションごとのウィンドウであってもよいし、アプリケーションごとに画面分割した各分割領域であってもよい。また、車両側生成画像の画面がアプリケーションごとに区分けされた場合に限らず、他の条件で区分けされた場合にも同様にして処理を行うものとする。
【００８１】
ステップＳ３では、ステップＳ２で作成した辞書を辞書格納部３２に辞書作成部３１が格納し、フローを終了する。なお、ステップＳ２において、辞書格納部３２に既に辞書が格納されていた場合には、既存の辞書を更新して新たな辞書を作成する構成とすればよい。例えば、ステップＳ１で抽出したテキスト符号データと配置領域との対応関係が既存の辞書に含まれていない場合には、この新しい対応関係を追加して新たな辞書を作成すればよい。また、ステップＳ１で抽出したテキスト符号データと配置領域との対応関係が既存の辞書に含まれていた場合には、既存の辞書を更新しない構成としてもよいし、既存の辞書に上書きする構成としてもよい。
【００８２】
図３に戻って、制御装置２７は、例えば車両が走行中の場合には、操作入力部２３のうちのステアリングスイッチからの入力は有効とする一方、タッチパネルからの入力を無効とする。また、車両が走行中でない場合には、操作入力部２３のうちのステアリングスイッチからの入力およびタッチパネルからの入力のいずれも有効とする。車両が走行中か否かの判断は、図示しない車速センサで検出される車速が実質的に０か否か（例えば５ｋｍ／ｈ以下であるか否かなど）をもとに判断する構成とすればよい。
【００８３】
制御装置２７は、タッチパネルからの入力が有効である場合には、車両側表示部２２に表示した画面上のどの位置に対して操作がされたかの位置情報の入力を操作入力部２３から受け、その位置情報に対応する携帯電話機１のタッチパネル部１４（詳しくは携帯側表示部１２）の画面上の座標を操作対象領域として特定する。当該位置情報に対応する操作対象領域の特定方法としては、携帯由来画像データのサイズを変換して車両側生成画像を生成したときの変換と逆の変換を行うことで特定する構成とすればよい。
【００８４】
そして、操作対象領域として特定した座標を示す信号を車両側通信部２１から携帯電話機１に送信することによって、携帯電話機１のタッチパネル部１４の画面上の当該操作対象領域を操作した場合と同様の入力を携帯電話機１で行わせる。
【００８５】
一方、制御装置２７は、タッチパネルからの入力が無効である場合にも、ユーザが発話した音声コマンドによって携帯電話機１を操作可能となっている。以下では、図５を用いて、音声コマンドによって携帯電話機１を操作可能とする制御装置２７での処理（以下、音声操作関連処理）についての説明を行う。図５は、制御装置２７での音声操作関連処理のフローを示すフローチャートである。なお、本フローは、タッチパネルからの入力が無効である場合において、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに開始される。
【００８６】
ステップＳ１１では、表示制御部２８で生成した車両側生成画像をもとに辞書作成関連処理を実行して、ステップＳ１２に移る。ステップＳ１２では、音声操作可能対象表示処理を実行し、ステップＳ１３に移る。音声操作可能対象表示処理では、辞書作成関連処理で抽出したテキスト符号データについては、例えばボタン表示に色付けをする等の強調表示を行うように表示制御部２８が画像処理を加える。そして、この画像処理を加えた車両側生成画像の画面を車両側表示部２２で表示させる。
【００８７】
ここで、強調表示の一例について図７を用いて説明を行う。図７は、車両側生成画像の画面における強調表示の一例を示す模式図である。図７に示す画面には、図６（ａ）に示した画面と同様に、ナビ用区分領域、電話用区分領域、オーディオ用区分領域が表示されているものとする。また、図７中のＡ〜Ｕは、図６（ａ）で示したＡ〜Ｕのボタン表示と同じものとする。図７で示すように、ボタン表示（図中のＡ〜Ｕ）を枠で囲うことで強調表示を行う構成としてもよい。また、この枠に色付けする構成としてもよい。
【００８８】
ステップＳ１３では、音声認識開始スイッチ２５がオンになったか否か（つまり、音声認識開始か否か）を音声入力部３３が判定する。音声認識開始か否かは、音声認識開始スイッチ２５からの発話開始信号の入力を音声入力部３３が受け付けたか否かに応じて判定する。そして、音声認識開始と判定した場合（ステップＳ１３でＹＥＳ）には、ステップＳ１４に移る。また、音声認識開始と判定しなかった場合（ステップＳ１３でＮＯ）には、ステップＳ１３のフローを繰り返す。
【００８９】
ステップＳ１４では、音声入力処理を実行してステップＳ１５に移る。音声入力処理では、音声認識開始スイッチ２５からの音声開始信号を受け付けてから一定時間の間、音声入力部３３がマイク２４から出力されるアナログ音声信号を受け付ける。音声入力部３３は、入力を受け付けたアナログ音声信号を例えばＡＤコンバータでデジタル音声信号に変換し、音声認識部３４に入力する。
【００９０】
なお、本実施形態では、マイク２４から出力されるアナログ音声信号を音声入力部３３でデジタル音声信号に変換する構成を示したが、必ずしもこれに限らない。例えば、マイク２４としてデジタルマイクを用いる構成とする場合には、マイク２４でデジタル音声にまで変換する構成としてもよい。
【００９１】
ステップＳ１５では、音声認識処理を実行してステップＳ１６に移る。音声認識処理では、音声入力部３３から入力されるデジタル音声信号から音声特徴量を抽出し、特徴量データを生成する。音声信号から音声特徴量を抽出して特徴量データを生成する方法としては、例えばＬＰＣ分析法等の公知の方法を用いる構成とすればよい。そして、この特徴量データをもとに音声認識用の辞書を用いて音声認識を行い、デジタル音声信号をテキストに変換する。よって、音声認識部３４が請求項の音声認識手段に相当する。音声認識については、周知の手法を用いて行う構成とすればよく、例えば隠れマルコフモデル等を用いて行う構成とすればよい。音声認識用の辞書としては、辞書格納部３２の辞書のデータを利用する構成としてもよい。
【００９２】
ステップＳ１６では、一致判定処理を実行してステップＳ１７に移る。一致判定処理では、音声認識処理で得られたテキスト（以下、音声変換テキスト）をもとに辞書格納部３２を参照する。そして、辞書格納部３２に格納されている対応関係に含まれる文字符号データのうちに、音声変換テキストと文字の並びが全て一致するものが存在するか否か（つまり、一致するか否か）を操作対象領域特定部３５が判定する。
【００９３】
ステップＳ１７では、一致判定処理で一致すると判定した場合（ステップＳ１７でＹＥＳ）には、音声変換テキストと文字の並びが全て一致するテキスト符号データを、音声変換テキストに相当するテキスト符号データであるものとしてステップＳ１９に移る。また、一致すると判定しなかった場合（ステップＳ１７でＮＯ）には、ステップＳ１８に移る。
【００９４】
ステップＳ１８では、リスト表示処理を実行してステップＳ１３に戻り、フローを繰り返す。リスト表示処理では、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データの情報を操作対象領域特定部３５が辞書格納部３２から取得し、表示制御部２８に送る。そして、表示制御部２８では、操作対象領域特定部３５から受け取った情報をもとに、辞書が示す対応関係に含まれているテキスト符号データのリストを作成し、車両側表示部２２で表示させる。よって、表示制御部２８が請求項のリスト作成手段に相当する。
【００９５】
ここで、リスト表示の一例について図８を用いて説明を行う。図８は、車両側生成画像の画面におけるリスト表示の一例を示す模式図である。図８のリスト表示は、図７で示した画面についての音声認識可能なコマンドのリスト表示であるものとする。ここでは、辞書が示す対応関係に、図７で示した画面のボタン表示Ａ〜Ｕのテキスト符号データの全てが含まれている場合を例に挙げて説明を行う。なお、ボタン表示Ａ〜Ｕについて辞書作成処理で辞書の作成に用いられたテキスト符号データは、図６（ｂ）を用いて説明したものと同様であるものとして説明を行う。
【００９６】
図８に示すように、リスト表示処理では、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データ（つまり、音声認識可能なコマンド）のリストを、車両側表示部２２で表示させる。例えば、ナビ用区分領域のボタン表示Ａ〜Ｆについては、図８に示すように「なび さいしょうか」、「なび さいだいか」、「なび とじる」、「しょうさい」、「めにゅー」、「こういき」がリストに表示され、電話用区分領域のボタン表示Ｇ〜Ｋについては「でんわ さいしょうか」、「でんわ さいだいか」、「でんわ とじる」、「でんわをきる」、「でんわをかける」などが表示される。
【００９７】
ステップＳ１９では、音声変換テキストに相当するテキスト符号データが表示中の画面に含まれているか否かを操作対象領域特定部３５が判断し、ステップＳ２０に移る。音声変換テキストに対応するテキスト符号データが表示中の画面に含まれているか否かは、ステップＳ１で抽出したテキスト符号データのうちに、音声変換テキストに相当するテキスト符号データが含まれているか否かに応じて判断する構成とすればよい。
【００９８】
そして、表示中の画面に含まれていると判断した場合（ステップＳ２０でＹＥＳ）には、ステップＳ２２に移る。また、表示中の画面に含まれていると判断しなかった場合（ステップＳ２０でＮＯ）には、ステップＳ２１に移る。
【００９９】
ステップＳ２１では、確認表示処理を実行し、ステップＳ１３に戻ってフローを繰り返す。確認表示処理では、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の表示および表示中の画面の切り替えを促す旨の表示を表示制御部２８が車両側表示部２２に行わせる。よって、表示制御部２８が請求項の提示手段に相当する。
【０１００】
一例としては、ＣＤの演奏に関する処理を行わせるためのボタン表示「ＣＤ」が表示中の画面には表示されていないが、ステップＳ１で抽出したテキスト符号データがテキスト「ＣＤ」であった場合に、「ＣＤボタンは画面に表示されておりません。メニューボタンを選択してメニュー画面を開いて下さい。」等のテキスト表示を行わせる。
【０１０１】
ここでは、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の表示および表示中の画面の切り替えを促す旨の表示を行う構成を示したが、必ずしもこれに限らない。例えば、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の表示だけを行う構成としてもよい。
【０１０２】
また、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨や表示中の画面の切り替えを促す旨の音声案内を、車両側音声出力部３６がスピーカ２６から出力させる構成としてもよい。
【０１０３】
ステップＳ２２では、操作対象領域特定処理を実行してステップＳ２３に移る。操作対象領域特定処理では、操作対象領域特定部３５が辞書格納部３２に格納されている辞書を参照して音声変換テキストに相当するテキスト符号データに対応する配置領域を得る。そして、得られた当該配置領域に対応する携帯電話機１のタッチパネル部１４の画面上での領域を操作対象領域として特定する。よって、操作対象領域特定部３５が請求項の操作対象領域特定手段に相当する。当該配置領域に対応する操作対象領域の特定方法としては、携帯由来画像データのサイズを変換して車両側生成画像を生成したときの変換と逆の変換を行うことで特定する構成とすればよい。
【０１０４】
なお、同一のアプリ別区分領域についての同一のテキスト符号データが、辞書において複数の異なる配置領域に対応付けられており、操作対象領域特定処理で当該テキスト符号データに対応する配置領域が複数得られる場合には、直近のテキスト符号データ抽出処理で抽出された当該テキスト符号データの配置領域と同一のものを選択して用いる構成とすればよい。
【０１０５】
ステップＳ２３では、操作対象領域送信処理を実行してフローを終了する。操作対象領域送信処理では、ステップＳ２２で特定した操作対象領域を示す信号を携帯電話機１に送信する。携帯電話機１では、操作対象領域を示す信号が携帯側通信部１１を介して主制御部１６に入力されると、タッチパネル部１４に表示中の画面上の当該操作対象領域のボタン表示に対して操作が行われたと判断し、操作が行われたボタン表示に応じた処理を実行することになる。また、処理に応じて携帯電話機１で新たな画像データが生成されてその画像データが車両用装置２に送信されるごとに、図５のフローが繰り返される。
【０１０６】
以上の構成によれば、携帯電話機１から受信した画像データに従って車両用装置２で表示される画面中のテキスト符号データ（例えばスイッチ表示などに含まれる「戻る」や「閉じる」等のテキストや「×」等の符号）が示す内容の処理を携帯電話機１で行わせようとした場合に、目的とする処理に該当するテキスト符号データを表す音声コマンドをユーザが発話しさえすれば、目的とする処理に該当するテキスト符号データが携帯電話機１のタッチパネル部１４の画面上に位置する領域（つまり、操作対象領域）を特定することができる。また、携帯電話機１では、操作対象領域として特定した領域を示す信号をもとに、携帯電話機１の画面上のどの領域に該当する入力を行えばよいのかを特定することが可能であるので、車両用装置２側で受け付けた音声コマンドに基づいて携帯電話機１を操作することが可能になる。
【０１０７】
その結果、タッチパネル部１４を用いて操作入力を行う携帯電話機１の画面を車両用装置２で表示させる場合において、車両用装置２側で受け付けた音声コマンドに基づいて携帯電話機１を操作することが可能になる。
【０１０８】
他にも、辞書の作成については、携帯電話機１から受信した画像データに従った画面中に含まれることになるテキスト符号データを抽出するとともにそのテキスト符号データの画面上での配置領域を特定することで行っているので、例えば携帯電話機１に新規のアプリケーションが追加されて新規の処理内容についてのボタン表示が行われるようになった場合であっても、常に新規の画面に対応した辞書が作成されることになる。そして、携帯電話機１を操作させるための情報としては、音声コマンドを変換した音声変換テキストをもとにその辞書を参照して得た配置領域に対応する操作対象領域を示す信号を携帯端末に送信するので、携帯電話機１のアプリケーションを車両用装置２側でインストールするなどして当該アプリケーションに応じた操作コマンドを車両用装置２側で予め記憶しておく必要がない。
【０１０９】
よって、携帯電話機１に新規のアプリケーションが追加されて新規の処理内容についてのテキスト符号データを含む画面が追加された場合であっても、その変更に常に対応して、車両用装置２側で受け付けた音声コマンドに基づいて携帯電話機１を操作することが可能になる。他にも、携帯電話機１のアプリケーションを車両用装置２にインストールしなくても、車両用装置２は携帯電話機１の機能を利用できることから、車両用装置２の処理負荷が軽減できるといった利点もある。
【０１１０】
また、以上の構成においては、辞書作成部３１が対応関係格納部３０に格納されている対応関係を参照し、テキスト符号データ抽出処理で抽出した符号の意味する内容を示すテキストを得て、抽出した符号の代わりに当該符号についての配置領域の情報に対応付けた辞書を作成することになる。これによれば、符号を表す音声コマンドをユーザが発話しても、その符号が携帯電話機１のタッチパネルの画面上に位置する領域（操作対象領域）を特定し、その操作対象領域を示す信号を携帯電話機１に送信することが可能になる。
【０１１１】
他にも、以上の構成においては、音声変換テキストに相当するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行わせることになる。これによれば、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面では行うことが出来ない場合に、そのことをユーザが容易に認識できるようになる。
【０１１２】
また、以上の構成においては、音声変換テキストに相当するテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行う場合に、表示中の画面の切り替えを促す旨の提示も行うことになる。よって、表示中の画面の切り替えを行うための音声コマンドをユーザに発話させて表示中の画面を切り替え、音声コマンドで目的の処理を行うことができるように補助し、ユーザにとっての快適性を向上させることが可能になる。
【０１１３】
他にも、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データについては、車両用装置２の画面において強調表示するので、音声コマンドに基づいて携帯電話機１で行わせることが可能な処理についてのテキスト符号データをユーザに認識しやすくすることが可能になる。
【０１１４】
また、以上の構成においては、一致判定処理で音声変換テキストに相当するテキスト符号データが得られなかった場合に、辞書作成部３１で作成した辞書が示す対応関係に含まれているテキスト符号データのリストを表示することになる。よって、音声コマンドを言い間違えて一致判定処理で音声変換テキストに相当するテキスト符号データが得られなかった場合など、音声コマンドに基づいた携帯電話機１の操作が失敗した場合に、音声コマンドに基づいて携帯電話機１で行わせることが可能な処理についてのテキスト符号データを、ユーザに認識しやすくすることが可能になる。
【０１１５】
なお、一致判定処理で音声変換テキストに相当するテキスト符号データが得られなかった場合に、表示中の画面に含まれているテキスト符号データのリストを表示させる構成としてもよい。これによれば、表示中の画面のままで音声コマンドに基づいて携帯電話機１で行わせることが可能な処理についてのテキスト符号データを、ユーザに認識しやすくすることが可能になる。表示中の画面に含まれているテキスト符号データのリストについては、直近のテキスト符号データ抽出処理で抽出したテキスト符号データのうちに、音声変換テキストに相当するテキスト符号データが含まれているか否かに応じて判断する構成とすればよい。
【０１１６】
前述の実施形態では、車両側生成画像の画面上にアプリ別区分領域が複数存在し、その複数のアプリ別区分領域で同じボタン表示が存在する場合に、それらボタン表示についてのテキスト符号データが区別可能となるように、各アプリケーションを示すキーワードをテキスト符号データに付け足して前述の辞書を作成する構成を示したが、必ずしもこれに限らない。
【０１１７】
例えば、複数のアプリ別区分領域で同一のボタン表示について、対応するアプリケーションを示すキーワードをテキスト符合データに付け足さずに、どのアプリケーションに対応しているかを示す情報と対応付けて辞書を作成する構成としてもよい。一例としては、ナビ用区分領域を閉じるためのボタン表示と電話用区分領域を閉じるためのボタン表示とのいずれについても、辞書の作成に用いられるテキスト符号データは「とじる」とする。そして、ナビ用区分領域についてのテキスト符号データについては、ナビ用区分領域のものであることを示す情報を対応付ける一方、電話用区分領域についてのテキスト符号データについては、電話用区分領域のものであることを示す情報を対応付けることで、両者を区別可能とする。
【０１１８】
この場合、音声認識処理で得られた音声変換テキストが、複数のアプリ別区分領域で同一のボタン表示についてのテキスト符号データと一致判定処理で一致した場合、いずれのアプリ別区分領域のボタン表示の操作を意図しているのかをユーザに確認する問い合わせを行う構成とすればよい。上記問い合わせは、車両側音声出力部３６から音声出力することで行う構成とすればよい。なお、問い合わせは車両側表示部２２に表示することで行う構成としてもよいが、本実施形態では、車両側音声出力部３６から音声出力することで行う構成とする。よって、車両側音声出力部３６及び表示制御部２８が請求項の問い合わせ手段に相当する。
【０１１９】
例えば、音声認識処理で得られた音声変換テキストが「とじる」であり、ナビ用区分領域と電話用区分領域とで同一のボタン表示についてのテキスト符号データ「とじる」に一致判定処理で一致した場合、「なび、てる、どちらをとじますか」といった問い合わせを音声出力する。
【０１２０】
また、いずれのアプリ別区分領域のボタン表示の操作を意図しているのかを指定する返答をユーザが発話した場合に、この返答のアナログ音声信号をマイク２４及び音声入力部３３を介して音声認識部３４に入力し、音声認識部３４で音声認識を行うことで、いずれのアプリ別区分領域のボタン表示の操作を意図しているのかを操作対象領域特定部３５で判定する。なお、返答の入力は操作入力部２３で受け付ける構成としてもよいが、本実施形態では、返答の入力はマイク２４で受け付ける構成とする。よって、操作入力部２３及びマイク２４が請求項の受け付け手段に相当する。
【０１２１】
続いて、操作を意図していると判定されたアプリ別区分領域のボタン表示についてのテキスト符号データを、音声認識処理で得られた音声変換テキストと一致判定処理で一致したテキスト符号データのうちから操作対象領域特定部３５で選択する。そして、操作対象領域特定処理では、選択したテキスト符号データをもとに、操作対象領域特定部３５が辞書格納部３２に格納されている辞書を参照し、選択したテキスト符号データに対応する配置領域を得て、操作対象領域として特定する。
【０１２２】
例えば、「なび、てる、どちらをとじますか」といった問い合わせに対して、「なび」との返答が行われた場合には、ナビ用区分領域のボタン表示の操作を意図していると判定する。続いて、ナビ用区分領域についてのテキスト符号データ「とじる」と電話用区分領域についてのテキスト符号データ「とじる」とのうちから、ナビ用区分領域についてのテキスト符号データ「とじる」を選択する。そして、ナビ用区分領域についてのテキスト符号データ「とじる」に対応する配置領域を操作対象領域特定処理で得て、操作対象領域として特定する。
【０１２３】
前述の実施形態では、音声変換テキストと文字の並びが全て一致するテキスト符号データの配置領域を得て、その配置領域に対応する操作対象領域を特定する構成を示したが、必ずしもこれに限らない。例えば、音声変換テキストとテキストの少なくとも一部の文字が一致するテキスト符号データをユーザに提示し、ユーザから選択されたテキスト符号データの配置領域を得て、その配置領域に対応する操作対象領域を特定する構成としてもよい。この場合には、以下のようにすればよい。
【０１２４】
まず、音声変換テキストとテキストの少なくとも一部の文字が一致するテキスト符号データを辞書格納部３２から操作対象領域特定部３５が取得し、取得したテキスト符号データをユーザに選択させるための選択画面を表示制御部２８に作成させて車両側表示部２２に表示させる。なお、選択画面からのテキスト符号データの選択は例えば操作入力部２３のステアリングスイッチの入力によって行うことができるようになっているものとする。よって、操作入力部２３が請求項の入力手段に相当する。そして、ステアリングスイッチの入力によって、ユーザが目的とするテキスト符号データの選択が行われると、選択されたテキスト符号データの配置領域を操作対象領域特定部３５が得て、その配置領域に対応する操作対象領域を特定する。
【０１２５】
音声変換テキストとテキストの少なくとも一部の文字が一致するテキスト符号データとは、音声変換テキストと文字の並びが全て一致していて読みが同じ複数のテキスト符号データであってもよいし、音声変換テキストと文字の一致率が所定値以上の複数のテキスト符号データであってもよい。
【０１２６】
また、音声変換テキストと文字の類似率が所定値以上のテキスト符号データであってもよい。例えば、音声変換テキストが「施設」であった場合には、辞書格納部３２に格納されたテキスト符号データの中から類似するテキスト符号データとして「周辺施設」を選択する場合が挙げられる。また、音声変換テキストの内容と類似するテキスト符号データであってもよい。例えば、音声変換テキストが「ＣＤ」であった場合には、類似するテキスト符号データとして「音楽」や「ＡＵＤＩＯ」などを選択したりする。この場合には、対応関係格納部３０に予めお互いの意味する内容が類似（言い換えると相関）する語群（一例としては「ＣＤ」、「音楽」、「ＡＵＤＩＯ」など）を格納しておき、音声変換テキストをもとに対応関係格納部３０に格納されている語群を参照し、同一の語群に属するテキスト符号データを選択する構成とすればよい。
【０１２７】
つまり、テキストとそのテキストの意味する内容と類似する内容を示すテキストとの対応関係（以下、類似内容テキスト対応関係）を対応関係格納部３０に予め格納しておき、操作対象領域特定部３５は、音声認識部３４で得られたテキストをもとに、対応関係格納部３０に格納している類似内容テキスト対応関係を参照し、当該テキストの意味する内容と類似する内容を示すテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応するタッチパネル部１４の画面上での領域を操作対象の領域として特定する構成としてもよい。
【０１２８】
このように、車両用装置２にて類似のテキスト符号データを選択可能な辞書を準備することにより、音声認識処理の利便性を向上でき、携帯電話機１の画面デザインが変更された場合に一致するテキスト符号データが見つからず音声認識が行われなくなることを抑制することができる。
【０１２９】
なお、車両用ナビゲーション装置の目的地検索における５０音入力と同様に、音声変換テキストとテキストの先頭の一文字目が一致するテキスト符号データを辞書格納部３２から操作対象領域特定部３５が取得し、取得したテキスト符号データをユーザに選択させるための選択画面を表示制御部２８に作成させて車両側表示部２２に表示させる態様としてもよい。
【０１３０】
以上の構成によれば、同じ読みのテキスト符号データがあった場合や音声コマンドから音声変換テキストへの変換において一部のテキストの変換ミスがあったりした場合にも、ユーザが意図するテキスト符号データに対応する配置領域を得ることが可能になる。
【０１３１】
また、前述の実施形態では、タッチパネルからの入力が無効である場合において、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに図５のフローが開始される構成を示したが、必ずしもこれに限らない。例えば、タッチパネルからの入力が有効の場合において、携帯由来画像データの入力を受け付けて表示制御部２８で車両側生成画像を生成したときに図５のフローが開始される構成としてもよい。
【０１３２】
また、前述の実施形態では、携帯電話機１で新たな画像データが生成されてその画像データが車両用装置２へ送信される毎に、図４のフローにより音声認識処理に用いる辞書を作成したが、必ずしもこれに限らない。例えば、既存のテキスト符号データの抽出結果（辞書）を活用することで、テキスト符号データの抽出の負荷を軽減する方法が考えられる。つまり、携帯電話機１から車両用装置２へ画像データが送信されるが画面に変化が無い場合や画面に変化が少ない場合は、既存のテキスト符号データの抽出結果を利用する構成としてもよい。
【０１３３】
例えば、切り替え前後での画面の各画素値の変化量が所定値以内（０以内を含む）であった場合に、画面の変化量が所定値以下であったものと表示制御部２８で判定して、新たな画像データからのテキスト符号データの抽出を行わず、既存のテキスト符号データの抽出結果を利用する構成とすればよい。
【０１３４】
つまり、車両側通信部２１で携帯電話機１から新たに画像データを受信してその画像データが示す画面の表示に切り換えるごとに、切り換え前の画面と切り換え後の画面との変化量が所定値以下であるか否かを制御装置２７で判定する。そして、変化量が所定値以下であると判定しなかった場合には、切り替え後の画面についての画像データをもとにしたテキスト符号データの抽出をテキスト符号認識部２９で行って、抽出したテキスト符号データが当該画面上に位置する領域を特定し、新たに抽出したテキスト符号データと当該テキスト符号データについて新たに得た配置領域の情報との対応関係を、辞書に追加する。一方、変化量が所定値以下であると判定した場合には、切り替え後の画面についての画像データをもとにしたテキスト符号データの抽出を行わない構成とすればよい。これによれば、新たな画像データが車両用装置２へ送信される毎に辞書を作成する場合に比較して、不要な画面のテキスト符号データの抽出を行うことを抑制することができる。
【０１３５】
また、既存のテキスト符号データの抽出結果は、画面の特徴（特定領域に現れるタイトルテキストやボタン名称など）と抽出したテキストと配置領域の情報とを対応付けて制御装置２７の例えばＲＡＭ等のメモリに記憶しておくことができる。画面の特徴、抽出したテキスト、そのテキストの配置領域とを対応付けた情報を以下では文字認識テンプレートと呼ぶ。さらには、画面切り換え直後のタイミングでは、記憶しておいた文字認識テンプレートを暫定的なテキスト符号データの抽出結果として活用して音声認識結果と対比する。
【０１３６】
そして、切り換え後の画面のテキスト符号データの抽出が全て完了したタイミングで、既存の文字認識テンプレートと相違があるか確認し、相違がある場合には、文字認識テンプレートを書き換える（文字認識テンプレートの学習を行う）ことができる。よって、ターミナルモードにおいて、携帯電話機側の画面を表示するために必要最小限の演算能力しか車両側ディスプレイに与えられていない場合であっても、少ない負荷で高速にテキスト符号データの抽出処理を行うことが可能となる。また、画面切り換え後から音声認識を行うことが可能なタイミングまでの時間を短くすることができるという効果を奏する。
【０１３７】
なお、画面切り換えによって画面のレイアウトが大きく変わる場合など、記憶しておいた文字認識テンプレートのうちに、音声認識結果のテキストに対応するテキスト符合データが存在しなかった場合には、以下のようにすればよい。具体的には、切り換え後の画面のテキスト符号データの抽出が全て完了し、このテキスト符号データを用いて辞書が更新されるのを待ち、更新された辞書を参照して音声認識結果のテキストに対応するテキスト符合データを得る構成とすればよい。
【０１３８】
また、前述の実施形態では、音声コマンドをテキストに変換し当該テキストに対応する画面上の操作領域を特定して、車両用装置２から携帯電話機１へ操作領域特定信号を送信することにより、携帯電話機１の画面をタッチ操作するのと同等の操作を行ったが、必ずしもこれに限らない。例えば、音声コマンドにより画面上の表示形態を加工してもよい。つまり、音声コマンドにより、右左折等の目印や交通規制標識などの標識について指示がされた場合には、画面上の当該標識部分を拡大表示したり、通話ボタンや音量ボタンなどの特定ボタンについて指示があった場合には、画面上の当該特定ボタン部分を拡大表示したりする構成としてもよい。つまり、操作対象領域特定部３５でテキスト符合データに対応する配置領域を得た場合に、その配置領域の画像を拡大表示する構成としてもよい。
【０１３９】
これによれば、携帯電話機１の仕様変更を伴わず、車両用装置２側を変更するだけで、走行中など画面を注視できない状況下においても利用者にとって画面を操作しやすい表示形態を提供することが可能となるという効果を奏する。なお、画面の表示形態の変更と、画面のタッチ操作を同時に実行してもよい。例えば、音声コマンドにより「音量を上げる」のような指示があった場合には、音量ボタンを拡大表示すると同時に、音量を所定レベル（１レベル）上げるタッチ操作を行ってもよい。
【０１４０】
また、前述の実施形態では、辞書作成部３１が車両側生成画像から抽出されたテキスト符号データとその配置領域の情報とを対応付けた辞書（テキスト符号配置関係）を予め作成しておき、音声コマンドが入力された時に、当該辞書を参照して、操作位置を特定しているが、必ずしもこれに限らない。例えば、音声コマンドが入力された時に、車両側生成画像から音声コマンドに対応するテキスト符号データを探索して、抽出すると共に、その配置領域を特定することにより、携帯端末へ出力する操作位置情報を特定する構成としてもよい。
【０１４１】
具体例を示すと、例えば、「オーディオ画面を閉じる」という音声コマンドが入力された場合には、「オーディオ」及び「閉じる」に対応するテキスト符号データとその配置領域を特定する。なお、「閉じる」に対応する配置領域が複数ある場合には、「オーディオ」に対応する配置領域の近くに存在する配置領域の方を採用する、或いは、ユーザに問い合わせることで、アプリケーション区分等を指示可能な構成としてもよい。このような、音声コマンド入力時に操作位置を特定するリアルタイム処理は、車両用装置２の制御装置２７の処理能力が高く、瞬時にテキスト抽出が可能な場合に有効である。そして、リアルタイム処理により、辞書作成の事前処理は必須ではなくなり、音声コマンドによる操作が必要な場合にだけ、テキスト抽出処理を行えばよくなるという利点がある。
【０１４２】
また、前述の実施形態では、車両用装置２の制御装置２７内において音声認識などの処理を行っているが、必ずしもこれに限らない。例えば、音声認識部３４と同様の処理を行う部材を外部のサーバー等に配置し、車両用装置２が携帯電話機１を介した外部との通信処理によって外部のサーバーに音声認識処理の要求を行い、処理結果を受信する構成としてもよい。この構成について図９を用いて説明を行う。図９は、情報表示システム２００の概略的な構成を示すブロック図である。なお、説明の便宜上、前述の実施形態の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０１４３】
情報表示システム２００は、図９に示すように携帯電話機１、車両用装置２、および音声認識サーバー３を含んでいる。音声認識サーバー３は、携帯電話網やインターネット等の通信網および携帯電話機１を介して車両用装置２と通信することが可能な通信部、音声認識用の辞書を保持する辞書記憶部、および通信や音声認識の処理等を制御する制御部などを備えている。
【０１４４】
車両用装置２の制御装置２７では、前述の音声入力処理で入力を受け付けたアナログ音声信号をデジタル音声信号に変換した場合に、このデジタル音声信号を車両側通信部２１から携帯電話機１を介して音声認識サーバー３に送信させる。携帯電話機１では、携帯側通信部１１で車両用装置２から受信したデジタル音声信号を、図示しないサーバー通信部から音声認識サーバー３に送信する。
【０１４５】
デジタル音声信号を受信した音声認識サーバー３では、前述した音声認識処理と同様の処理を行ってデジタル音声信号をテキストに変換する。そして、変換したテキストを、携帯電話機１を介して車両用装置２に送信する。車両用装置２では、デジタル音声信号を音声認識して得られたテキストを車両側通信部２１で携帯電話機１を介して音声認識サーバー３から受信した場合には、前述したステップＳ１６以降の処理を行う。なお、車両側通信部２１が請求項の音声認識サーバー通信手段に相当する。
【０１４６】
これによれば、ターミナルモードにおいて、携帯電話機１側の画面を表示するために必要最小限の演算能力しか車両用装置２に与えられていない場合であっても、少ない負荷で音声認識処理を行うことが可能となるという効果を奏する。
【０１４７】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１４８】
１ 携帯電話機、２ 車両用装置、３ 音声認識サーバー、１１ 携帯側通信部、１２ 携帯側表示部、１３ 操作検出部、１４ タッチパネル部（携帯端末のタッチパネル）、１５ 携帯側音声出力部、１６ 主制御部、２１ 車両側通信部（車両側通信手段、音声認識サーバー通信手段）、２２ 車両側表示部（車両用タッチパネル）、２３ 操作入力部（車両用タッチパネル、入力手段、受け付け手段）、２４ マイク（受け付け手段）、２５ 音声認識開始スイッチ、２６ スピーカ、２７ 制御装置、２８ 表示制御部（リスト作成手段、提示手段、問い合わせ手段）、２９ テキスト符号認識部（抽出手段、配置領域特定手段）、３０ 対応関係格納部（対応関係格納手）、３１ 辞書作成部（対応関係作成手段）、３２ 辞書格納部、３３ 音声入力部、３４ 音声認識部（音声認識手段）、３５ 操作対象領域特定部（操作対象領域特定手段）、３６ 車両側音声出力部（問い合わせ手段）、１００・２００ 情報表示システム
【特許請求の範囲】
【請求項１】
携帯端末のタッチパネルに表示させるために前記携帯端末で生成された画像データを、車両側通信手段で前記携帯端末から受信し、受信した画像データが示す画面を表示する車両用装置であって、
前記車両側通信手段で前記携帯端末から受信した画像データをもとに、当該画像データが示す画面中に含まれるテキストおよび符号の少なくともいずれかのデータであるテキスト符号データを抽出する抽出手段と、
前記テキスト符号データが当該画面上に位置する領域を特定する配置領域特定手段と、
ユーザが発話した音声コマンドを認識して、当該音声コマンドをテキストに変換する音声認識手段と、
前記音声認識手段で変換したテキストが得られた場合に、当該テキストと、前記テキスト符号データ及び当該テキスト符号データに対応する配置領域の情報とをもとに、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する操作対象領域特定手段とを備え、
前記操作対象領域特定手段で操作対象領域として特定した領域を示す信号を前記車両側通信手段から前記携帯端末へ送信することを特徴とする車両用装置。
【請求項２】
請求項１において、
前記抽出手段で抽出したテキスト符号データと当該テキスト符号データについて前記配置領域特定手段で特定した領域である配置領域の情報とをもとに、テキスト符号データとそのテキスト符号データについての配置領域との対応関係であるテキスト符号配置対応関係を作成する対応関係作成手段を備え、
前記操作対象領域特定手段は、前記音声認識手段で変換したテキストが得られた場合に、当該テキストをもとに、前記対応関係作成手段で作成したテキスト符号配置対応関係を参照して、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定することを特徴とする車両用装置。
【請求項３】
請求項１または２において、
車両に搭載される車両用タッチパネルを備え、
前記車両側通信手段で受信した画像データが示す画面を前記車両用タッチパネルに表示するとともに、当該車両用タッチパネルに対してユーザが操作を行った場合に、操作が行われた当該車両用タッチパネルの画面上の領域を求め、求めた領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定し、
操作対象領域として特定した領域を示す信号を前記車両側通信手段から前記携帯端末に送信することを特徴とする車両用装置。
【請求項４】
請求項１〜３のいずれか1項において、
符号とその符号の意味する内容を示すテキストとの対応関係である符号内容テキスト対応関係を予め格納している対応関係格納手段を備え、
前記対応関係作成手段は、前記抽出手段で抽出したテキスト符号データが符号であった場合、その符号については、前記対応関係格納手段に格納している前記符号内容テキスト対応関係をもとに、その符号の意味する内容を示すテキストを当該テキスト符号データとして用いて前記テキスト符号配置対応関係を作成することを特徴とする車両用装置。
【請求項５】
請求項１〜４のいずれか１項において、
前記抽出手段は、前記車両側通信手段で前記携帯端末から新たに画像データを受信してその画像データが示す画面を表示するごとに、当該画像データをもとにテキスト符号データを新たに抽出するとともに、
前記配置領域特定手段は、前記抽出手段でテキスト符号データを新たに抽出するごとに当該テキスト符号データが当該画面上に位置する領域を特定し、
前記対応関係作成手段は、前記抽出手段で新たに抽出したテキスト符号データと当該テキスト符号データについて前記配置領域特定手段で新たに得た配置領域の情報との対応関係を、既に作成していた前記テキスト符号配置対応関係に追加することを特徴とする車両用装置。
【請求項６】
請求項５において、
ユーザに情報を提示するための提示手段を備え、
前記操作対象領域特定手段は、
前記音声認識手段でテキストが得られたときに、前記テキスト符号配置対応関係を参照して当該テキストに対応するテキスト符号データを得るとともに、そのテキスト符号データが表示中の画面に含まれているか否かを判断し、
当該テキストに対応するテキスト符号データが表示中の画面に含まれていると判断した場合には、そのテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する一方、
当該テキストに相当するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を前記提示手段に行わせることを特徴とする車両用装置。
【請求項７】
請求項６において、
前記操作対象領域特定手段は、
前記音声認識手段で得られたテキストに対応するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行うとともに、表示中の画面の切り替えを促す旨の提示も前記提示手段に行わせることを特徴とする車両用装置。
【請求項８】
請求項１〜７のいずれか１項において、
前記操作対象領域特定手段は、前記音声認識手段で得られたテキストと文字の並びが全て一致するテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象の領域として特定することを特徴とする車両用装置。
【請求項９】
請求項１〜７のいずれか１項において、
ユーザが入力を行うための入力手段を備え、
前記操作対象領域特定手段は、
前記テキスト符号配置対応関係を参照して、前記音声認識手段で得られたテキストとテキストの少なくとも一部の文字が一致するテキスト符号データを前記テキスト符号配置対応関係に含まれるテキスト符号データから選択し、選択したテキスト符号データを提示させてユーザに一つのテキスト符号データを選択させ、
ユーザの選択入力を前記入力手段で受け付けた場合に、ユーザに選択されたテキスト符号データと前記テキスト符号配置対応関係とから、そのテキスト符号データに対応する配置領域を得て、得られた配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定することを特徴とする車両用装置。
【請求項１０】
請求項１〜９のいずれか１項において、
前記車両側通信手段で受信した画像データが示す画面を表示する場合に、前記対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データについては、当該画面において強調表示することを特徴とする車両用装置。
【請求項１１】
請求項１〜１０のいずれか１項において、
前記対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データのリストを作成するリスト作成手段を備え、
前記音声認識手段で得られたテキストに相当するテキスト符号データに対応する配置領域が前記操作対象領域特定手段で得られなかった場合に、前記リスト作成手段で作成したリストを表示することを特徴とする車両用装置。
【請求項１２】
請求項１〜１１のいずれか１項において、
前記対応関係作成手段は、前記画面が複数の区分に分かれており、複数の区分で同一のテキスト符号データが重複して存在する場合に、当該テキスト符号データについては、存在する区分を示すテキストを各々付け足した上でテキスト符号配置対応関係を作成することを特徴とする車両用装置。
【請求項１３】
請求項１〜１１のいずれか１項において、
前記音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた前記画面の複数の区分で重複して存在するテキスト符号データであった場合に、いずれの区分に存在するテキスト符号データの操作を意図しているのかをユーザに問い合わせる問い合わせ手段と、
いずれの区分に存在するテキスト符号データの操作を意図しているのかを指定するユーザからの入力を受け付ける受け付け手段とを備え、
前記操作対象領域特定手段は、前記音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた前記画面の複数の区分で重複して存在するテキスト符号データであった場合に、前記受け付け手段で受け付けた入力において指定された区分についてのテキスト符号データを、前記音声認識手段で変換したテキストに対応するテキスト符号データと決定することを特徴とする車両用装置。
【請求項１４】
タッチパネルを用いて操作入力を行うとともに、生成した画像データが示す画面を前記タッチパネルに表示する携帯端末と、
請求項１〜１３のいずれか１項に記載の車両用装置とを含み、
前記携帯端末は、
前記車両用装置との通信に用いる携帯側通信手段を備え、
前記車両用装置から送信された前記操作対象領域として特定した領域を示す信号を前記携帯側通信手段で受信した場合に、前記携帯端末のタッチパネルの画面上の当該操作対象領域として特定した領域を操作した場合と同様の入力を行うことを特徴とする情報表示システム。
【請求項１５】
タッチパネルを用いて操作入力を行うとともに、生成した画像データが示す画面を前記タッチパネルに表示する携帯端末と、
前記携帯端末のタッチパネルに表示させるために前記携帯端末で生成された画像データを、車両側通信手段で前記携帯端末から受信し、受信した画像データが示す画面を表示する車両用装置と、
前記携帯端末を介して前記車両用装置と通信を行うとともに、音声コマンドの音声認識を行うことによって当該音声コマンドをテキストに変換する音声認識サーバーとを含む情報表示システムであって、
前記車両用装置は、
前記車両側通信手段で前記携帯端末から受信した画像データをもとに、当該画像データが示す画面中に含まれるテキストおよび符号の少なくともいずれかのデータであるテキスト符号データを抽出する抽出手段と、
前記テキスト符号データが当該画面上に位置する領域を特定する配置領域特定手段と、
前記抽出手段で抽出したテキスト符号データと当該テキスト符号データについて前記配置領域特定手段で特定した領域である配置領域の情報とをもとに、テキスト符号データとそのテキスト符号データについての配置領域との対応関係であるテキスト符号配置対応関係を作成する対応関係作成手段と、
ユーザが発話した音声コマンドを、前記携帯端末を介して前記音声認識サーバーに送信するとともに、前記音声認識サーバーでの音声認識で当該音声コマンドから変換されたテキストを、前記携帯端末を介して前記音声認識サーバーから受信する音声認識サーバー通信手段と、
音声コマンドから変換したテキストを前記音声認識サーバー通信手段で受信した場合に、当該テキストをもとに、前記対応関係作成手段で作成したテキスト符号配置対応関係を参照して、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する操作対象領域特定手段とを備え、
前記操作対象領域特定手段で操作対象領域として特定した領域を示す信号を前記車両側通信手段から前記携帯端末へ送信することを特徴とする情報表示システム。
【請求項１】
携帯端末のタッチパネルに表示させるために前記携帯端末で生成された画像データを、車両側通信手段で前記携帯端末から受信し、受信した画像データが示す画面を表示する車両用装置であって、
前記車両側通信手段で前記携帯端末から受信した画像データをもとに、当該画像データが示す画面中に含まれるテキストおよび符号の少なくともいずれかのデータであるテキスト符号データを抽出する抽出手段と、
前記テキスト符号データが当該画面上に位置する領域を特定する配置領域特定手段と、
ユーザが発話した音声コマンドを認識して、当該音声コマンドをテキストに変換する音声認識手段と、
前記音声認識手段で変換したテキストが得られた場合に、当該テキストと、前記テキスト符号データ及び当該テキスト符号データに対応する配置領域の情報とをもとに、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する操作対象領域特定手段とを備え、
前記操作対象領域特定手段で操作対象領域として特定した領域を示す信号を前記車両側通信手段から前記携帯端末へ送信することを特徴とする車両用装置。
【請求項２】
請求項１において、
前記抽出手段で抽出したテキスト符号データと当該テキスト符号データについて前記配置領域特定手段で特定した領域である配置領域の情報とをもとに、テキスト符号データとそのテキスト符号データについての配置領域との対応関係であるテキスト符号配置対応関係を作成する対応関係作成手段を備え、
前記操作対象領域特定手段は、前記音声認識手段で変換したテキストが得られた場合に、当該テキストをもとに、前記対応関係作成手段で作成したテキスト符号配置対応関係を参照して、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定することを特徴とする車両用装置。
【請求項３】
請求項１または２において、
車両に搭載される車両用タッチパネルを備え、
前記車両側通信手段で受信した画像データが示す画面を前記車両用タッチパネルに表示するとともに、当該車両用タッチパネルに対してユーザが操作を行った場合に、操作が行われた当該車両用タッチパネルの画面上の領域を求め、求めた領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定し、
操作対象領域として特定した領域を示す信号を前記車両側通信手段から前記携帯端末に送信することを特徴とする車両用装置。
【請求項４】
請求項１〜３のいずれか1項において、
符号とその符号の意味する内容を示すテキストとの対応関係である符号内容テキスト対応関係を予め格納している対応関係格納手段を備え、
前記対応関係作成手段は、前記抽出手段で抽出したテキスト符号データが符号であった場合、その符号については、前記対応関係格納手段に格納している前記符号内容テキスト対応関係をもとに、その符号の意味する内容を示すテキストを当該テキスト符号データとして用いて前記テキスト符号配置対応関係を作成することを特徴とする車両用装置。
【請求項５】
請求項１〜４のいずれか１項において、
前記抽出手段は、前記車両側通信手段で前記携帯端末から新たに画像データを受信してその画像データが示す画面を表示するごとに、当該画像データをもとにテキスト符号データを新たに抽出するとともに、
前記配置領域特定手段は、前記抽出手段でテキスト符号データを新たに抽出するごとに当該テキスト符号データが当該画面上に位置する領域を特定し、
前記対応関係作成手段は、前記抽出手段で新たに抽出したテキスト符号データと当該テキスト符号データについて前記配置領域特定手段で新たに得た配置領域の情報との対応関係を、既に作成していた前記テキスト符号配置対応関係に追加することを特徴とする車両用装置。
【請求項６】
請求項５において、
ユーザに情報を提示するための提示手段を備え、
前記操作対象領域特定手段は、
前記音声認識手段でテキストが得られたときに、前記テキスト符号配置対応関係を参照して当該テキストに対応するテキスト符号データを得るとともに、そのテキスト符号データが表示中の画面に含まれているか否かを判断し、
当該テキストに対応するテキスト符号データが表示中の画面に含まれていると判断した場合には、そのテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する一方、
当該テキストに相当するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を前記提示手段に行わせることを特徴とする車両用装置。
【請求項７】
請求項６において、
前記操作対象領域特定手段は、
前記音声認識手段で得られたテキストに対応するテキスト符号データが表示中の画面に含まれていると判断しなかった場合には、そのテキスト符号データが示す内容の処理を表示中の画面のままでは行うことが出来ないことを示す旨の提示を行うとともに、表示中の画面の切り替えを促す旨の提示も前記提示手段に行わせることを特徴とする車両用装置。
【請求項８】
請求項１〜７のいずれか１項において、
前記操作対象領域特定手段は、前記音声認識手段で得られたテキストと文字の並びが全て一致するテキスト符号データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象の領域として特定することを特徴とする車両用装置。
【請求項９】
請求項１〜７のいずれか１項において、
ユーザが入力を行うための入力手段を備え、
前記操作対象領域特定手段は、
前記テキスト符号配置対応関係を参照して、前記音声認識手段で得られたテキストとテキストの少なくとも一部の文字が一致するテキスト符号データを前記テキスト符号配置対応関係に含まれるテキスト符号データから選択し、選択したテキスト符号データを提示させてユーザに一つのテキスト符号データを選択させ、
ユーザの選択入力を前記入力手段で受け付けた場合に、ユーザに選択されたテキスト符号データと前記テキスト符号配置対応関係とから、そのテキスト符号データに対応する配置領域を得て、得られた配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定することを特徴とする車両用装置。
【請求項１０】
請求項１〜９のいずれか１項において、
前記車両側通信手段で受信した画像データが示す画面を表示する場合に、前記対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データについては、当該画面において強調表示することを特徴とする車両用装置。
【請求項１１】
請求項１〜１０のいずれか１項において、
前記対応関係作成手段で作成したテキスト符号配置対応関係に含まれているテキスト符号データのリストを作成するリスト作成手段を備え、
前記音声認識手段で得られたテキストに相当するテキスト符号データに対応する配置領域が前記操作対象領域特定手段で得られなかった場合に、前記リスト作成手段で作成したリストを表示することを特徴とする車両用装置。
【請求項１２】
請求項１〜１１のいずれか１項において、
前記対応関係作成手段は、前記画面が複数の区分に分かれており、複数の区分で同一のテキスト符号データが重複して存在する場合に、当該テキスト符号データについては、存在する区分を示すテキストを各々付け足した上でテキスト符号配置対応関係を作成することを特徴とする車両用装置。
【請求項１３】
請求項１〜１１のいずれか１項において、
前記音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた前記画面の複数の区分で重複して存在するテキスト符号データであった場合に、いずれの区分に存在するテキスト符号データの操作を意図しているのかをユーザに問い合わせる問い合わせ手段と、
いずれの区分に存在するテキスト符号データの操作を意図しているのかを指定するユーザからの入力を受け付ける受け付け手段とを備え、
前記操作対象領域特定手段は、前記音声認識手段で変換したテキストに対応するテキスト符号データが、複数の区分に分かれた前記画面の複数の区分で重複して存在するテキスト符号データであった場合に、前記受け付け手段で受け付けた入力において指定された区分についてのテキスト符号データを、前記音声認識手段で変換したテキストに対応するテキスト符号データと決定することを特徴とする車両用装置。
【請求項１４】
タッチパネルを用いて操作入力を行うとともに、生成した画像データが示す画面を前記タッチパネルに表示する携帯端末と、
請求項１〜１３のいずれか１項に記載の車両用装置とを含み、
前記携帯端末は、
前記車両用装置との通信に用いる携帯側通信手段を備え、
前記車両用装置から送信された前記操作対象領域として特定した領域を示す信号を前記携帯側通信手段で受信した場合に、前記携帯端末のタッチパネルの画面上の当該操作対象領域として特定した領域を操作した場合と同様の入力を行うことを特徴とする情報表示システム。
【請求項１５】
タッチパネルを用いて操作入力を行うとともに、生成した画像データが示す画面を前記タッチパネルに表示する携帯端末と、
前記携帯端末のタッチパネルに表示させるために前記携帯端末で生成された画像データを、車両側通信手段で前記携帯端末から受信し、受信した画像データが示す画面を表示する車両用装置と、
前記携帯端末を介して前記車両用装置と通信を行うとともに、音声コマンドの音声認識を行うことによって当該音声コマンドをテキストに変換する音声認識サーバーとを含む情報表示システムであって、
前記車両用装置は、
前記車両側通信手段で前記携帯端末から受信した画像データをもとに、当該画像データが示す画面中に含まれるテキストおよび符号の少なくともいずれかのデータであるテキスト符号データを抽出する抽出手段と、
前記テキスト符号データが当該画面上に位置する領域を特定する配置領域特定手段と、
前記抽出手段で抽出したテキスト符号データと当該テキスト符号データについて前記配置領域特定手段で特定した領域である配置領域の情報とをもとに、テキスト符号データとそのテキスト符号データについての配置領域との対応関係であるテキスト符号配置対応関係を作成する対応関係作成手段と、
ユーザが発話した音声コマンドを、前記携帯端末を介して前記音声認識サーバーに送信するとともに、前記音声認識サーバーでの音声認識で当該音声コマンドから変換されたテキストを、前記携帯端末を介して前記音声認識サーバーから受信する音声認識サーバー通信手段と、
音声コマンドから変換したテキストを前記音声認識サーバー通信手段で受信した場合に、当該テキストをもとに、前記対応関係作成手段で作成したテキスト符号配置対応関係を参照して、当該テキストに対応するテキスト符号データを決定し、決定したテキスト符合データに対応する配置領域を得て、得られた当該配置領域に対応する前記携帯端末のタッチパネルの画面上での領域を操作対象領域として特定する操作対象領域特定手段とを備え、
前記操作対象領域特定手段で操作対象領域として特定した領域を示す信号を前記車両側通信手段から前記携帯端末へ送信することを特徴とする情報表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２１３１３２（Ｐ２０１２−２１３１３２Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−２４４６９３（Ｐ２０１１−２４４６９３）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]