無線通信端末及び操作システム
【課題】通信遮断前のアプリケーションの操作を通信復帰後に継続するか否かをアプリケーションに応じて決定する無線通信端末及び操作システムを提供する。
【解決手段】無線通信端末20は、アプリケーションを操作するための操作内容を入力する入力手段25,27と、入力手段25,27から入力された操作内容をサーバ10に送信し、当該サーバ10による所定処理の結果であるサーバ処理結果を受信する通信手段28と、入力手段25,27から操作内容が入力された後、当該操作内容に対応するサーバ処理結果をサーバ10から受信するまでの間に、サーバ10との通信が遮断された場合、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバ10との通信復帰後に継続するか否かを決定する制御手段23と、を備える構成とする。
【解決手段】無線通信端末20は、アプリケーションを操作するための操作内容を入力する入力手段25,27と、入力手段25,27から入力された操作内容をサーバ10に送信し、当該サーバ10による所定処理の結果であるサーバ処理結果を受信する通信手段28と、入力手段25,27から操作内容が入力された後、当該操作内容に対応するサーバ処理結果をサーバ10から受信するまでの間に、サーバ10との通信が遮断された場合、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバ10との通信復帰後に継続するか否かを決定する制御手段23と、を備える構成とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アプリケーションを操作する無線通信端末及び操作システムに関する。
【背景技術】
【0002】
従来、携帯電話機等の無線通信端末において、通話中にトンネル等に入り通信が遮断した場合、その後通信可能な環境に移動した際に、先の通信相手に対して自動で発信し、通信の遮断から所定時間通信可能にならないときには発信を行わない端末が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−251662号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の構成では、通信復帰後に通話の継続(電話の発信)をするか否かを決定するに過ぎない。
例えば、アプリケーションを音声により操作する無線通信端末では、音声認識をサーバで行う場合、サーバとの通信遮断前のアプリケーションの操作をサーバとの通信復帰後に継続するか否かをアプリケーションに応じて決定したいという要望がある。
本発明は、上述した事情に鑑みてなされたものであり、通信遮断前のアプリケーションの操作を通信復帰後に継続するか否かをアプリケーションに応じて決定する無線通信端末及び操作システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明は、アプリケーションを操作するための操作内容を入力する入力手段と、前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備えたことを特徴とする。
【0006】
上記構成において、前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索してもよい。
【0007】
上記構成において、前記操作内容は音声であってもよい。
【0008】
上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。
【0009】
また、本発明は、所定処理を実行するサーバと、アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、前記無線通信端末は、前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定することを特徴とする。
【0010】
上記構成において、前記サーバは、前記無線通信端末への前記サーバ処理結果の送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除してもよい。
【0011】
上記構成において、前記操作内容は音声であってもよい。
【0012】
上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。
【0013】
上記構成において、前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であってもよい。
【発明の効果】
【0014】
本発明によれば、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバとの通信復帰後に継続するか否かを決定できる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施の形態に係る音声操作システムの機能的構成を示すブロック図である。
【図2】音声情報管理表を示す図であり、(A)はナビゲーション装置の音声情報管理表を示す図であり、(B)はサーバの音声情報管理表を示す図である。
【図3】サーバでの音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。
【図4】継続判断テーブルを示す図であり、(A)は継続条件を含むテーブルを示す図であり、(B)は施設検索操作アプリケーションの継続後の処理を含むテーブルを示す図である。
【図5】通信復帰処理を示すフローチャートである。
【図6】通信遮断前の施設検索画面を示す図である。
【図7】通信遮断後の施設検索画面を示す図である。
【図8】通信遮断後の施設検索画面を示す図である。
【図9】情報保持/削除確認処理を示すフローチャートである。
【図10】認識結果取得確認処理を示すフローチャートである。
【図11】サーバにて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施の形態について説明する。以下の説明では、無線通信端末として、自動車に搭載される車載型のナビゲーション装置(いわゆる、カーナビゲーション装置)について例示する。また、操作システムとして、音声によりアプリケーションを操作する音声操作システムについて例示する。
図1は、本実施の形態に係る音声操作システムの機能的構成を示すブロック図である。
音声操作システム1は、サーバ10と、自動車2に搭載されるナビゲーション装置20とを備えて構成され、サーバ10とナビゲーション装置20はインターネット等のネットワーク3を介して相互に通信可能である。
【0017】
サーバ10は、サーバ通信部11と、音声認識部12と、サーバ記憶部13と、サーバ制御部14とを備えている。サーバ通信部11は、サーバ制御部14の制御の下、ナビゲーション装置20から音声データを受信し、サーバ制御部14に出力する。音声認識部12は、サーバ制御部14の制御の下、サーバ通信部11により受信した音声データに対して音声認識処理(所定処理)を施し、認識結果(サーバ処理結果)をサーバ制御部14に出力する。サーバ記憶部13には、サーバ制御部14の制御の下、ナビゲーション装置20から受信した音声データ及び音声認識部12から出力された認識結果等が記憶される。上記サーバ通信部11は、サーバ制御部14の制御の下、認識結果をナビゲーション装置20に送信する。
【0018】
ナビゲーション装置20は、位置検出部21と、車速検出部22と、制御部(制御手段)23と、表示部24と、操作部(入力手段)25と、記憶部26と、音声入力部(入力手段)27と、通信部(通信手段)28と、音声再生部29と、スピーカ30とを備えている。
位置検出部21は、例えばGPS(Global Positioning System)を利用して現在位置の絶対位置(経度、緯度)を検出し、ジャイロセンサ等を使って現在位置の相対的な方位を検出する。車速検出部22は、自動車2より得られる車速パルスを処理して、自動車2の速度を制御部23に出力する。
【0019】
制御部23は、ナビゲーション装置20の各部の制御や、ナビゲーション機能のための処理、楽曲再生機能のための処理とった各種の処理を実行するものであり、例えばCPUやROM、RAM等を備えている。
表示部24は、制御部23の下、ナビゲーション装置20の操作画面、ナビゲーションのための地図や現在位置、経路等を示すナビゲーション画面、楽曲再生のための楽曲再生画面等の各種の情報を表示するものであり、例えばLCD(Liquid Crystal Display)やEL(Electro Luminescent)ディスプレイ等のディスプレイ装置を備えている。操作部25は、運転者等のユーザの指示操作を受け付け、ナビゲーション装置20に配設される複数の操作子や、表示部24が備えるディスプレイ装置に設けられたタッチパネル(不図示)を備えている。なお、操作部25は、ナビゲーション装置20をリモートコントローラ等により遠隔操作可能に構成されてもよい。
【0020】
記憶部26は、例えばCD−ROMドライブやDVD-ROMドライブ、ハードディスクドライブ、SDカード、SSD(Solid State Drive)といった記憶装置であり、制御部23の制御の下、ナビゲーションに使用される地図データや、施設の場所を含む施設データ、経路案内等のガイド音声データ、並びに楽曲再生時に再生される楽曲データ等の各種のデータを記憶する。
音声入力部27は、ユーザの音声を受音する例えばマイクを含んで構成され、ユーザの音声データを制御部23に出力する。本実施の形態では、操作部25が備えるトークスイッチ(発話ボタンとも言う)(不図示)が操作された場合に、制御部23への音声入力が許可される。通信部28は、制御部23の制御の下、ネットワーク3を介してサーバ10と通信し、音声データをサーバ10に送信するとともに、サーバ10から音声データの認識結果を受信する。音声再生部29は、ガイド音声データや楽曲データにデコード処理などの再生に必要な各種処理を施してデジタル音声信号を生成し、生成したデジタル信号をデジタルアナログ変換し、アンプにより増幅してスピーカ30から音声出力させる。
【0021】
以上の構成の下、音声入力部27にユーザの音声が入力されると、制御部23は、音声入力部27から入力された音声データにそれぞれ音声IDを振り、音声データとともに音声IDをサーバ10に送信する。サーバ10では、入力された音声データに対し音声認識部12により音声認識処理を施し、認識結果及びその音声IDをナビゲーション装置20に送信する。したがって、音声データ及びその認識結果は、ナビゲーション装置20とサーバ10で共通の音声IDで管理されることとなる。音声データを管理する音声情報管理表31,32(図2参照)は、ナビゲーション装置20の記憶部26、サーバ10のサーバ記憶部13にそれぞれ記憶されている。
【0022】
図2は音声情報管理表31,32を示す図であり、図2(A)はナビゲーション装置20の音声情報管理表31を示す図であり、図2(B)はサーバ10の音声情報管理表32を示す図である。
図2(A)に示すように、ナビゲーション装置20の音声情報管理表31には、音声IDと、音声入力部27から入力された音声データ(音声ファイル)と、サーバ10から受信した音声データの認識結果とがリスト化されて記憶される。
図2(B)に示すように、サーバ10の音声情報管理表32には、ナビゲーション装置20から受信した音声ID及び音声データ(音声ファイル)と、音声認識部12から入力された音声データの認識結果とがリスト化されて記憶される。
図2の例では、音声ID4,5の音声データについて、ナビゲーション装置20は認識結果未取得である。
【0023】
制御部23は、ナビゲーション装置20を楽曲再生モード或いはナビゲーションモードで動作させる。
楽曲再生モードの場合には、制御部23は、楽曲再生操作用の各種画面を表示させ、ユーザ指示に応じて記憶部26内の楽曲データを再生する。
ナビゲーションモードの場合には、制御部23は、位置検出部21により車両の現在地および進行方向を特定し、表示部24に現在地周辺の地図を表示させる。また、目的地が設定された場合には、目的地までの最適経路を計算し、地図中に表示して目的地まで経路を案内する。
【0024】
本実施の形態のナビゲーション装置20は、音声により操作するアプリケーションとして、例えば、楽曲再生モード時に楽曲を検索する楽曲検索操作アプリケーションと、周辺の施設を検索する、或いはナビゲーションモード時に目的地として施設を検索する施設検索(周辺検索)操作アプリケーションと、楽曲検索操作アプリケーション及び施設検索操作アプリケーション以外の場合にナビゲーション装置20を音声操作する装置操作アプリケーションとを備えている。
【0025】
本実施の形態のサーバ10とナビゲーション装置20との通信は、1回の操作に対して1回の通信で終わる場合に限られるものではなく、1回の操作に対して複数回の通信が発生する場合も想定される。
具体的な通信の流れを、施設検索操作アプリケーションの動作を例に説明する。
【0026】
図3は、施設名の決定に至るまで、サーバ10での音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。
最初に、ナビゲーション装置20では、制御部23は、ガイド音声の再生又は画面表示を行い、ユーザに発話を促す(ステップS301)。ユーザが発話した音声が音声入力部27から取り込まれると(ステップS302)、制御部23は、取り込まれた音声データをサーバ10へ送信する(ステップS303)。
【0027】
サーバ10では、まず、ナビゲーション装置20から送信された音声データを受信すると(ステップS401)、サーバ制御部14は、この音声データに対して音声認識を実行し、文字列へ変換する(ステップS402)。ここで、音声認識対象とする語彙は、施設名に限定することとする。また、音声認識では認識誤りが発生することがあるため、本実施の形態では、認識結果として複数の施設名候補を得て、その候補の中からユーザに選択させることとする。サーバ制御部14は、認識結果である施設名候補のリストをナビゲーション装置20へ送信する(ステップS403)。
【0028】
ナビゲーション装置20では、施設名候補のリストをサーバ10から受信すると(ステップS304)、制御部23は、施設名候補のリストを画面へ表示し(ステップS305)、ガイド音声を再生し、ユーザに施設名候補のリストから希望する施設名を選択するように促す(ステップS306)。この選択も、音声認識で行うこととするが、タッチパネル等を用いた手操作で行ってもよい。また、画面にキャンセルボタン等を表示し、ユーザに訂正させる手段を用意してもよい。ユーザが発話した音声が取り込まれると(ステップS307)、制御部23は、取り込まれた音声データをサーバ10へ送信する(ステップS308)。
【0029】
サーバ10では、音声データを受信すると(ステップS404)、サーバ制御部14は、この音声データに対して音声認識を実行する(ステップS405)。ここで、音声認識対象とする語彙は、ステップS403で送信した施設名候捕のリストに限定する。また、施設名リストの番号や、訂正のための言葉(「キャンセル」、「戻る」等)も認識対象としてよい。サーバ制御部14は、認識結果として得られた施設名をナビゲーション装置20へ送信する(ステップS406)。
【0030】
ナビゲーション装置20では、施設名を受信すると(ステップS309)、制御部23は、この施設名を目的地に設定するように、音声出力(ステップS310)、画面出力(ステップS311)、ルート検索(ステップS312)を実行する。
図3の例では、サーバ10において2回の音声認識を行っており、通信も2回発生している。本実施の形態では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、使い勝手の良さを高く保ったまま通信を復帰させることができる。
【0031】
制御部23は、アプリケーションの操作を完了するまでの間に、サーバ10との通信が遮断された場合、操作対象のアプリケーションに応じて、通信遮断前の操作をサーバ10との通信復帰後に継続するか否かを決定する通信復帰処理を実行する。制御部23は、通信復帰処理において、通信復帰後に継続するか否かをアプリケーション毎に記憶した継続判断テーブルTB(図4参照)を参照する。この継続判断テーブルTBは、記憶部26に記憶されている。
【0032】
図4は継続判断テーブルTBを示す図であり、図4(A)は継続条件を含むテーブルTB1を示す図であり、図4(B)は施設検索操作アプリケーションの継続後の処理を含むテーブルTB2を示す図である。
装置操作アプリケーションにおいて、制御部23は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部23は、通信遮断前の装置操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部23は、装置操作アプリケーションの操作を中止する。
楽曲検索操作アプリケーションにおいて、制御部23は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部23は、通信遮断前の楽曲検索操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部23は、楽曲検索操作アプリケーションの操作を中止する。
【0033】
施設検索操作アプリケーションにおいて、制御部23は、通信の遮断時間に係わらず、施設検索操作アプリケーションの操作を継続する。また、制御部23は、サーバ10から受信した認識結果から、検索語を分類する検索語分類手段として機能する。より詳細には、制御部23は、検索語がラーメン屋やコンビニ等の施設のジャンルを表す場合、検索語に例えば「近くの〜」や「ルート沿いの〜」等の近隣を意図する語が含まれる場合、及び/又は、施設のヒット件数が多い(所定件数以上の)場合に、検索が近隣施設検索であると分類する。
また、制御部23は、検索語が、例えば国、都道府県、州、市町村等の行政区分に設置される施設(例えば、裁判所や役所等)を表す場合に、その検索が地域限定施設検索であると分類する。
さらに、制御部23は、施設ヒット件数が少ない(所定件数未満の)場合、及び/又は、施設ヒット件数が特定の地域に集中している場合に、検索が特定施設検索であると分類する。
【0034】
施設検索の分類方法は、上記の方法に限られるものではない。例えば、施設検索操作アプリケーションにおいて、ユーザが操作できるメニュー画面を用意しておき、このメニュー画面に「施設名で探す」、「周辺の施設で探す」、「ジャンル名で探す」といった項目を用意しておく。そして、ユーザが「施設名で探す」を選んで検索した場合には特定施設検索であると分類し、ユーザが「周辺の施設で探す」を選んで検索した場合には近隣施設検索に分類する方法でもよい。また、ユーザが「ジャンル名で探す」を選択し、その後、ユーザが裁判所や役所等のジャンルを指定して検索したときには、地域限定施設検索であると分類してもよい。
【0035】
近隣施設検索の場合には、制御部23は、通信が遮断してからの移動距離が所定距離より長いか否か判別する。移動距離が所定距離より長い場合、制御部23は、通信復帰後の現在位置で施設を再検索する。移動距離が所定距離以下の場合、制御部23は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
地域限定施設検索の場合には、制御部23は、通信が遮断してから現在位置の行政区分が変化したか否か判別する。現在位置の行政区分が変化した場合、制御部23は、通信復帰後の現在位置の行政区分で施設を再検索する。現在位置の行政区分が同一の場合、制御部23は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
特定施設検索の場合には、制御部23は、現在位置に係わらず、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
【0036】
次いで、通信復帰処理の手順について説明する。図5は、通信復帰処理を示すフローチャートである。
上述したように、通信復帰処理は、サーバ10との通信が遮断した際に制御部23によって実行される。まず、制御部23は、サーバ10との通信が復帰したか否か判別する(ステップS1)。
通信が復帰していない場合(ステップS1:No)、制御部23は、所定時間待機し(ステップS2)、処理をステップS1に移行する。
通信が復帰すると(ステップS1:Yes)、制御部23は、通信遮断前の処理情報を読み込む(ステップS3)。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。
【0037】
次いで、制御部23は、継続判断テーブルTBを参照し、アプリケーションの操作を継続する条件を満たすか否か判別する(ステップS4)。本実施の形態では、制御部23は、アプリケーションが装置操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが楽曲検索操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが施設検索操作アプリケーションか否かを判別する。
アプリケーションの操作を継続する条件を満たさない場合(ステップS4:No)、制御部23は、アプリケーションの操作を中止するとともに通信復帰前の処理情報を破棄し(ステップS5)、処理を終了する。
【0038】
アプリケーションの操作を継続する条件を満たす場合(ステップS4:Yes)、制御部23は、通信復帰後に必要な処理があるか否か判別する(ステップS6)。本実施の形態では、通信復帰後に必要な処理がある場合とは、施設検索操作アプリケーションにおいて検索の分類が近隣施設検索であって移動距離が所定距離より長い場合、あるいは、検索の分類が地域限定施設検索であって現在位置の行政区分が変化した場合である。
【0039】
通信復帰後に必要な処理がある場合(ステップS6:Yes)、制御部23は、通信復帰後に必要な処理を実行する(ステップS7)。本実施の形態では、近隣施設検索であって通信遮断中の移動距離が所定距離より長い場合には、制御部23は、通信復帰後の現在位置の行政区分で施設を再検索する。地域限定施設検索であって通信遮断中に現在位置の行政区分が変化した場合には、制御部23は、通信復帰後の現在位置の行政区分で施設を再検索する。
通信復帰後に必要な処理がない場合(ステップS6:No)、制御部23は、アプリケーション操作の現在の状態を通信遮断前の状態に変更し(ステップS8)、処理を終了する。
このように、通信復帰処理により、操作対象のアプリケーションに応じて、通信遮断前に入力された操作をサーバ10との通信復帰後に継続するか否かを決定できる。
【0040】
次に、施設検索操作アプリケーションを例にアプリケーションの具体的な動作を説明する。
施設検索操作アプリケーションにおいて、例えば、ユーザから「コンビニ」と音声入力されると、制御部23は、入力された音声データをサーバ10に送信し、サーバ10で音声認識処理された認識結果「コンビニ」を受信する。制御部23は、当該コンビニを検索するとともに、「コンビニ」が近隣施設検索であると分類し、「近辺にコンビニは××件あります」等と音声出力及び/又は表示する。このときに表示部24に表示する施設検索画面40Aの一例を図6に示す。
【0041】
図6は、通信遮断前の施設検索画面40Aを示す図である。
施設検索画面40Aは、例えば2分割され、検索した施設をリストとして示す施設リスト領域50と、検索した施設を図示する施設図示領域60とを備えている。施設リスト領域50には、検索した施設の名称を示す施設名51が現在位置から近い順に表示される。施設名51に現在位置から近い順に番号を付してもよい。
施設図示領域60には地図61が表示され、この地図61上に、自動車2(図1)の現在位置62と、検索した施設の位置を示すアイコン63と、地図61の縮尺を示すスケール64とが表示される。施設名51に現在位置62から近い順に番号を付す場合には、アイコン63に施設名51の番号と一致する番号を付してもよい。
【0042】
ここで、例えば自動車2がトンネルに入って通信が遮断した場合には、制御部23は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び/又は表示する。自動車2がトンネルを出て通信が復帰すると、制御部23は、「現在地が移動したため、再度コンビニを検索します」等と音声出力及び/又は表示し、通信が復帰した時点での現在位置でコンビニの情報を再検索し、「近辺にコンビニは××件あります」等と音声出力及び/又は表示する。このように、コンビニ等のように近傍であることが優先される施設が入力された場合には、通信復帰後の新しい現在位置にて検索し直すことにより、より行きやすい施設を表示できる。このときの施設検索画面40Bの例を図7及び図8に示す。
【0043】
図7は、通信遮断後の施設検索画面40Bを示す図である。
施設検索画面40Bは、図6に示す施設検索画面40Aと同様に構成されるが、施設検索画面40Bには、通信遮断前の検索結果のアイコン63Aと、通信復帰後の検索結果のアイコン63Bは、異なる表示形態(例えば、色、形)で表示される。これにより、視認性を高めることができる。なお、アイコン63の番号は、通信復帰後の現在位置62から近い順に付される。
【0044】
図8は、図7の変形例を示す図である。
施設検索画面40Cも、図6に示す施設検索画面40Aと同様に構成されるが、施設検索画面40Cにおいては、通信遮断前の検索結果のアイコン63Aと、通信復帰後の検索結果のアイコン63Bのすべて、あるいは、検索結果が多い場合には所定件数のアイコン63A,63Bを表示できるように、地図61の縮尺が自動変更される。これにより、視認性を高めることができる。施設検索画面40Cは、検索結果が多く施設リスト領域50に施設名51のすべてを表示できない場合には、施設リスト領域50に表示しきれない施設名51を異なるページに表示するように構成されており、その場合、施設検索画面40Cには、ページを次のページに送るために操作されるボタン52が表示される。
【0045】
また、例えば、施設検索操作アプリケーションにおいて、ユーザから「ABC遊園地」と音声入力されると、制御部23は、入力された音声データをサーバ10に送信し、サーバ10で音声認識処理された認識結果「ABC遊園地」を受信する。制御部23は、当該ABC遊園地の情報を検索するとともに、「ABC遊園地」が特定施設検索であると分類し、「ABC遊園地の候補は××件あります」等と音声出力及び/又は表示する。
例えば、ここで、自動車2がトンネルに入って通信が遮断すると、制御部23は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び/又は表示する。自動車2がトンネルを出て通信が復帰すると、制御部23は施設検索操作アプリケーションの操作を継続する。例えば、制御部23は、「目的地に設定しますか?」等と音声出力及び/又は表示する。
【0046】
図5に示す通信復帰処理において、通信復帰後にアプリケーションの操作を継続する場合、ナビゲーション装置20は音声データに対する認識結果の取得が完了していない場合がある。そこで、サーバ制御部14は、通信復帰後に処理情報、すなわち、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果を保持又は削除するかを決定する情報保持/削除処理を実行する。
また、ナビゲーション装置20の制御部23は、通信復帰後に認識結果未取得の音声データがないか否かを調べ、認識結果を未取得の場合には認識結果を再取得する認識結果取得確認処理を実行する。
【0047】
図9は、情報保持/削除確認処理を示すフローチャートである。
情報保持/削除確認処理は、ナビゲーション装置20への音声データの認識結果の送信が完了する前に、ナビゲーション装置20との通信が遮断された際にサーバ制御部14によって実行される。なお、サーバ記憶部13には、少なくとも図4(A)に示すテーブルTB1が記憶されている。
まず、サーバ制御部14は、ナビゲーション装置20との通信が復帰したか否か判別する(ステップS11)。
通信が復帰していない場合(ステップS11:No)、サーバ制御部14は、所定時間待機し(ステップS12)、処理をステップS11に移行する。
通信が復帰すると(ステップS11:Yes)、サーバ制御部14は、通信遮断前の処理情報を読み込む(ステップS13)。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。なお、通信遮断前に操作対象であったアプリケーションの種類は、音声データとともにナビゲーション装置20から送信され、サーバ記憶部13に記憶される。
【0048】
次いで、サーバ制御部14は、テーブルTB1を参照し、アプリケーションの操作を継続する条件を満たすか否か、換言すれば、送信が中断した認識結果の音声データが、通信復帰後に継続されるアプリケーションを操作する音声データか否か判別する(ステップS14)。本実施の形態では、サーバ制御部14は、図5に示すステップ4と同様に判別する。
アプリケーションの操作を継続する条件を満たさない場合(ステップS14:No)、サーバ制御部14は、通信復帰前の処理情報を削除し(ステップS15)、処理を終了する。
アプリケーションの操作を継続する条件を満たす場合(ステップS14:Yes)、サーバ制御部14は、通信復帰前の処理情報をサーバ記憶部13に保持し(ステップS16)、処理を終了する。保持された処理情報は、ナビゲーション装置20から音声データに対する認識結果の取得が完了した旨の情報を受信した後に、サーバ制御部14により削除される。
【0049】
図10は、認識結果取得確認処理を示すフローチャートである。
認識結果取得確認処理は、通信が復帰した後(図5に示すステップS1:Yes)に制御部23によって実行される。まず、制御部23は、認識結果未取得の音声データがあるか否か判別し(ステップS21)、認識結果未取得の音声データがない場合(ステップS21:No)、処理を終了する。
認識結果未取得の音声データがある場合(ステップS21:Yes)、制御部23は、サーバ10に認識結果未取得の音声IDを送信する(ステップS22)。サーバ10では、サーバ制御部14が、ナビゲーション装置20から受信した音声IDが付された音声データがあるか否か判別し、当該音声データがない場合、ナビゲーション装置20に当該音声データの再送信を要求する。
【0050】
ナビゲーション装置20では、制御部23は、サーバ10から音声データの再送信を要求されたか否か判別する(ステップS23)。
サーバ10から音声データの再送信を要求されない場合(ステップS23:No)、制御部23は、サーバ10から音声データの認識結果を受信し(ステップS24)、処理を終了する。例えば、制御部23が図2に示す音声ID4をサーバ10に送信した場合、すでにサーバ10には音声ID4の認識結果ができているので、サーバ制御部14は音声ID4の認識結果をナビゲーション装置20に送信する。この場合、音声データを再送信する必要がないため、応答時間が早まり、通信量を低く抑えることができる。
【0051】
一方、サーバ10から音声データの再送信を要求された場合(ステップS23:Yes)、制御部23は、音声データをサーバ10に送信し(ステップS25)、サーバ10から音声データの認識結果を受信し(ステップS24)、処理を終了する。例えば、制御部23が図2に示す音声ID5をサーバ10に送信した場合、サーバ10には音声ID5の音声データがないので、サーバ制御部14はナビゲーション装置20に音声ID5の音声データの再送信を要求する。制御部23は音声ID5の音声データをサーバ10に送信する。サーバ10では、受信した音声ID5の音声データに対し音声認識部12により音声認識処理を行い、サーバ制御部14はその認識結果をナビゲーション装置20に送信する。
【0052】
以上説明したように、本実施の形態によれば、アプリケーションを操作するための操作内容を入力する音声入力部27と、音声入力部27から入力された操作内容をサーバ10に送信し、サーバ10による所定処理の結果であるサーバ処理結果を受信する通信部28と、音声入力部27から操作内容が入力された後、当該操作内容に対応するサーバ処理結果をサーバ10から受信するまでの間に、サーバ10との通信が遮断された場合、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバ10との通信復帰後に継続するか否かを決定する制御部23と、を備える構成とする。この構成により、通信遮断前に入力された操作内容による操作を通信復帰後に継続するか否かを、操作内容による操作対象のアプリケーションに応じて決定できる。
【0053】
また、本実施の形態によれば、アプリケーションが現在位置の周辺検索であり、操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する構成とする。この構成により、通信復帰後の新しい現在位置にて周辺検索できるので、より行きやすい施設を検索できる。
【0054】
また、本実施の形態によれば、操作内容は音声である構成とする。この構成により、通信遮断前に入力された音声による操作を通信復帰後に継続するか否かを、音声による操作対象のアプリケーションに応じて決定できる。
【0055】
また、本実施の形態によれば、所定処理は、音声を音声認識する音声認識処理である構成とする。この構成により、音声入力部27から音声が入力された後、当該音声の認識結果をサーバ10から受信するまでの間に、サーバ10との通信が遮断された場合、音声による操作対象のアプリケーションに応じて、通信遮断前に入力された音声による操作をサーバ10との通信復帰後に継続するか否かを決定できる。
【0056】
また、本実施の形態によれば、サーバ10は、ナビゲーション装置20へのサーバ処理結果の送信が完了する前に、ナビゲーション装置20との通信が遮断された場合、サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除する構成とする。この構成により、ナビゲーション装置20へのサーバ処理結果の送信が完了する前に、ナビゲーション装置20との通信が遮断された場合に、サーバ処理結果を削除してしまうことを防止できるとともに、サーバ10に必要以上のサーバ処理結果が保持されることを防止できる。
【0057】
但し、上記実施の形態は本発明の一態様であり、本発明の趣旨を逸脱しない範囲において適宜変更可能であるのは勿論である。
例えば、上記実施の形態では、施設検索画面が左右に2分割され、左側に施設リスト領域が、右側に施設図示領域が配置されているが、施設検索画面の分割方向や施設リスト領域及び施設図示領域の配置位置は任意である。また、施設検索画面を分割せずに、地図上に施設名を直接表示してもよい。
【0058】
上記実施の形態では、音声により操作するアプリケーションを、装置操作アプリケーション、楽曲検索操作アプリケーション、及び施設検索操作アプリケーションとして説明したが、これらに限定されない。図4の継続判断テーブルは一例に過ぎず、アプリケーションの継続条件や、通信復帰後に必要な処理は任意に設定可能である。
【0059】
また、上記実施の形態では、サーバは、所定処理として音声認識のみを行っていたが、例えば、サーバ記憶部に検索対象となる情報(例えば、楽曲データ、施設データ)をデータベース(例えば、楽曲データベース、施設データベース)として記憶しておき、検索操作アプリケーション(例えば、楽曲検索操作アプリケーション、施設検索操作アプリケーション)において、サーバは、音声認識及びデータベース検索の両方を行い、音声データの認識結果及び認識結果に対応する情報(例えば、楽曲データ、施設データ)をナビゲーション装置に送信してもよい。サーバに施設データを置く場合においては、サーバは、ナビゲーション装置から送信された音声データに対して音声認識処理を行った後、さらに、音声認識結果を検索クエリ(検索要求)として用いて施設検索も行う。そして、サーバは、音声認識結果と音声認識結果に対応する施設検索結果との両方をナビゲーション装置へ送信する。すなわち、サーバとナビゲーション装置との間で通信は、音声認識を目的とした通信に限られるものではなく、サーバにおいてデータベース検索を行い、その結果をナビゲーション装置で使用する場合にも想定される。
【0060】
図11は、施設名の決定に至るまで、サーバ10にて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。
最初に、ナビゲーション装置20では、制御部23がガイド音声の再生又は画面表示を行い、ユーザに発話を促す(ステップS501)。ユーザが発話した音声が音声入力部(マイク)から取り込まれると(ステップS502)、制御部23は、取り込まれた音声データをサーバ10へ送信する(ステップS503)。
【0061】
サーバ10では、ナビゲーション装置20から送信された音声データを受信すると(ステップS601)、サーバ制御部14は、この音声データに対して音声認識を実行し、文字列に変換する(ステップS602)。ここで、認識対象とする語彙は、施設名の正式名称だけでなく、施設名の部分名称、通称、施設ジャンル語等も含める。例えば、「東京都恩賜上野動物園」という施設に対して、部分名称である「上野動物園」や施設ジャンル語である「動物園」といった語彙も認識対象の語彙に用意しておく。音声認識では認識誤りが発生することがあるため、複数の認識結果候補を得ることとし、ユーザに所望のものを選択させることとする。サーバ制御部14は、認識結果候補のリストをナビゲーション装置20へ送信する(ステップS603)。
【0062】
ナビゲーション装置20では、認識結果候補のリストをサーバ10から受信した(ステップS504)のち、制御部23は、認識結果候補のリストを画面へ表示し(ステップS505)、ガイド音声を再生し、ユーザに認識結果候補のリストから希望するものを選択するように促す(ステップS506)。ユーザの選択は、音声認識で行ってもよいが、ここではタッチパネル操作により行うこととする。タッチパネル操作を取得すると(ステップS507)、制御部23は、選択された認職結果文字列をサーバ10へ送信する(ステップS508)。
【0063】
サーバ10では、ナビゲーション装置20から送られた認識結果文字列を受信すると(ステップS604)、サーバ制御部14は、その文字列にて、サーバ10にある施設データベースを検索する(ステップS605)。施設データベースをサーバ10に置く長所としては、ナビゲーション装置20に施設データベースを置くと更新頻度が限定されるのに対して、サーバ10に施設データベースを置けば、最新の状態を反映することが容易であるため、最新の地図や施設名を対象として検索できることである。ここでは、施設データベースの検索結果として、認識結果の文字列を含む複数の施設名と、その施設名の位置情報を取得する場合を説明する。サーバ制御部14は、施設データベースの検索結果をナビゲーション装置20に送信する(ステップS606)。
【0064】
ナビゲーション装置20では、サーバ10から送信された検索結果を受信すると(ステップ509)、制御部23は、検索結果である施設名と位置を地図に表示する(ステップS510)。これ以降の後続の操作は説明を省略するが、画面に表示された施設名候補からユーザに希望のものを選択させる動作、ルート検索する動作等が続く。これらの動作は、図3に示した通り、音声認識によってユーザに選択させてもよいし(ステップS307,S308,S404〜S406)、タッチパネルによって選択させてもよい。
図11の例では、サーバ10において、音声認識と施設検索という異なるタスクを実行している。また、施設検索の一連の操作の中で、複数回のサーバ10・ナビゲーション装置20間の通信が発生する。
【0065】
上記図11の例で示したとおり、ユーザがナビゲーションに関する操作を遂行するまでに、複数回の通信が発生することがある。また、サーバ10におけるタスクの種類が複数存在し、また、通信も複数の目的で行われる場合がある。上記図11の例では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、使い勝手の良さを高く保ったまま通信を復帰させることができる。
【0066】
上記図3及び図11の例は、施設検索操作アプリケーションを例にとって説明した。しかし、他のアプリケーションにおいても、アプリケーションの操作を遂行するまでの間に、複数回の通信が行われる場合、複数の処理がサーバ10で動作する場合がある。例えば、楽曲検索操作アプリケーションの場合、(1)ユーザが最初にアーティスト名を発話してサーバ10で音声認識し、音声認識結果をナビゲーション装置20へ送信する、(2)ユーザが選択したアーティスト名をサーバ10へ送信し、サーバ10において楽曲データベースを検索し、検索された楽曲データをナビゲーション装置20へ送信する、といった複数の通信が行われる。また例えば、装置操作アプリケーションの一例として、ナビゲーションモード時に目的地として住所を検索する住所検索操作アプリケーションの場合、ユーザが、国名、都道府県名(州名)、市名といった住所の各階層を発話するたびに、音声データのサーバ10への送信、認識結果のサーバ10からの受信が発生する。こういったあらゆるアプリケーションにおいても、本発明を適用することができる。
【0067】
また、上記実施の形態では、ナビゲーション装置からサーバに送信する操作内容は音声データであったが、ナビゲーション装置が音声認識部を備える場合には、ナビゲーション装置からサーバに音声データの認識結果を送信し、サーバでこの認識結果を検索クエリとしてデータベース検索を行ってもよい。
【0068】
また、上記実施の形態では、アプリケーションを操作するための操作内容は、音声入力部から入力される音声であったが、これに限定されるものではなく、例えば、操作部から入力される文字列等であってもよい。
【0069】
また、上記実施の形態では、図1に記載したナビゲーション装置の構成を前提にしていたが、図1の構成でなくてもよい。例えば、通信部は、ナビゲーション装置に備わっている必要は無く、携帯電話に備わっていてもよい。携帯電話に通信部を置く場合には、ナビゲーション装置と携帯電話の間の通信を、広く知られているUSBケーブルによる有線での通信や、Bluetooth(登録商標)による無線での通信によって実現し、ナビゲーション装置から携帯電話の通信機能を制御するようにすればよい。
また、携帯電話で実行する機能は、通信部だけではなく、他のナビゲーション装置の構成要素の機能も携帯電話上で実行する構成でもよい。とくに、近年市場に広まっている高機能携帯電話(スマートフォン)を用いる場合には、スマートフォンの高い計算処理性能を生かして、ナビゲーションの機能の一部をスマートフォン上で実行してもよい。
【0070】
また、上記実施の形態では、無線通信端末として車載型のナビゲーション装置を例示したが、これに限らず、携帯電話やPDA等の携帯型情報機器や、地図表示装置などの情報処理装置にも本発明を適用可能である。
【符号の説明】
【0071】
1 音声操作システム(操作システム)
10 サーバ
12 サーバ記憶部
13 音声認識部
14 サーバ制御部
20 ナビゲーション装置(無線通信端末)
23 制御部(制御手段)
25 操作部(入力手段)
27 音声入力部(入力手段)
28 通信部(通信手段)
【技術分野】
【0001】
本発明は、アプリケーションを操作する無線通信端末及び操作システムに関する。
【背景技術】
【0002】
従来、携帯電話機等の無線通信端末において、通話中にトンネル等に入り通信が遮断した場合、その後通信可能な環境に移動した際に、先の通信相手に対して自動で発信し、通信の遮断から所定時間通信可能にならないときには発信を行わない端末が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−251662号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の構成では、通信復帰後に通話の継続(電話の発信)をするか否かを決定するに過ぎない。
例えば、アプリケーションを音声により操作する無線通信端末では、音声認識をサーバで行う場合、サーバとの通信遮断前のアプリケーションの操作をサーバとの通信復帰後に継続するか否かをアプリケーションに応じて決定したいという要望がある。
本発明は、上述した事情に鑑みてなされたものであり、通信遮断前のアプリケーションの操作を通信復帰後に継続するか否かをアプリケーションに応じて決定する無線通信端末及び操作システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明は、アプリケーションを操作するための操作内容を入力する入力手段と、前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備えたことを特徴とする。
【0006】
上記構成において、前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索してもよい。
【0007】
上記構成において、前記操作内容は音声であってもよい。
【0008】
上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。
【0009】
また、本発明は、所定処理を実行するサーバと、アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、前記無線通信端末は、前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定することを特徴とする。
【0010】
上記構成において、前記サーバは、前記無線通信端末への前記サーバ処理結果の送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除してもよい。
【0011】
上記構成において、前記操作内容は音声であってもよい。
【0012】
上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。
【0013】
上記構成において、前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であってもよい。
【発明の効果】
【0014】
本発明によれば、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバとの通信復帰後に継続するか否かを決定できる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施の形態に係る音声操作システムの機能的構成を示すブロック図である。
【図2】音声情報管理表を示す図であり、(A)はナビゲーション装置の音声情報管理表を示す図であり、(B)はサーバの音声情報管理表を示す図である。
【図3】サーバでの音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。
【図4】継続判断テーブルを示す図であり、(A)は継続条件を含むテーブルを示す図であり、(B)は施設検索操作アプリケーションの継続後の処理を含むテーブルを示す図である。
【図5】通信復帰処理を示すフローチャートである。
【図6】通信遮断前の施設検索画面を示す図である。
【図7】通信遮断後の施設検索画面を示す図である。
【図8】通信遮断後の施設検索画面を示す図である。
【図9】情報保持/削除確認処理を示すフローチャートである。
【図10】認識結果取得確認処理を示すフローチャートである。
【図11】サーバにて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施の形態について説明する。以下の説明では、無線通信端末として、自動車に搭載される車載型のナビゲーション装置(いわゆる、カーナビゲーション装置)について例示する。また、操作システムとして、音声によりアプリケーションを操作する音声操作システムについて例示する。
図1は、本実施の形態に係る音声操作システムの機能的構成を示すブロック図である。
音声操作システム1は、サーバ10と、自動車2に搭載されるナビゲーション装置20とを備えて構成され、サーバ10とナビゲーション装置20はインターネット等のネットワーク3を介して相互に通信可能である。
【0017】
サーバ10は、サーバ通信部11と、音声認識部12と、サーバ記憶部13と、サーバ制御部14とを備えている。サーバ通信部11は、サーバ制御部14の制御の下、ナビゲーション装置20から音声データを受信し、サーバ制御部14に出力する。音声認識部12は、サーバ制御部14の制御の下、サーバ通信部11により受信した音声データに対して音声認識処理(所定処理)を施し、認識結果(サーバ処理結果)をサーバ制御部14に出力する。サーバ記憶部13には、サーバ制御部14の制御の下、ナビゲーション装置20から受信した音声データ及び音声認識部12から出力された認識結果等が記憶される。上記サーバ通信部11は、サーバ制御部14の制御の下、認識結果をナビゲーション装置20に送信する。
【0018】
ナビゲーション装置20は、位置検出部21と、車速検出部22と、制御部(制御手段)23と、表示部24と、操作部(入力手段)25と、記憶部26と、音声入力部(入力手段)27と、通信部(通信手段)28と、音声再生部29と、スピーカ30とを備えている。
位置検出部21は、例えばGPS(Global Positioning System)を利用して現在位置の絶対位置(経度、緯度)を検出し、ジャイロセンサ等を使って現在位置の相対的な方位を検出する。車速検出部22は、自動車2より得られる車速パルスを処理して、自動車2の速度を制御部23に出力する。
【0019】
制御部23は、ナビゲーション装置20の各部の制御や、ナビゲーション機能のための処理、楽曲再生機能のための処理とった各種の処理を実行するものであり、例えばCPUやROM、RAM等を備えている。
表示部24は、制御部23の下、ナビゲーション装置20の操作画面、ナビゲーションのための地図や現在位置、経路等を示すナビゲーション画面、楽曲再生のための楽曲再生画面等の各種の情報を表示するものであり、例えばLCD(Liquid Crystal Display)やEL(Electro Luminescent)ディスプレイ等のディスプレイ装置を備えている。操作部25は、運転者等のユーザの指示操作を受け付け、ナビゲーション装置20に配設される複数の操作子や、表示部24が備えるディスプレイ装置に設けられたタッチパネル(不図示)を備えている。なお、操作部25は、ナビゲーション装置20をリモートコントローラ等により遠隔操作可能に構成されてもよい。
【0020】
記憶部26は、例えばCD−ROMドライブやDVD-ROMドライブ、ハードディスクドライブ、SDカード、SSD(Solid State Drive)といった記憶装置であり、制御部23の制御の下、ナビゲーションに使用される地図データや、施設の場所を含む施設データ、経路案内等のガイド音声データ、並びに楽曲再生時に再生される楽曲データ等の各種のデータを記憶する。
音声入力部27は、ユーザの音声を受音する例えばマイクを含んで構成され、ユーザの音声データを制御部23に出力する。本実施の形態では、操作部25が備えるトークスイッチ(発話ボタンとも言う)(不図示)が操作された場合に、制御部23への音声入力が許可される。通信部28は、制御部23の制御の下、ネットワーク3を介してサーバ10と通信し、音声データをサーバ10に送信するとともに、サーバ10から音声データの認識結果を受信する。音声再生部29は、ガイド音声データや楽曲データにデコード処理などの再生に必要な各種処理を施してデジタル音声信号を生成し、生成したデジタル信号をデジタルアナログ変換し、アンプにより増幅してスピーカ30から音声出力させる。
【0021】
以上の構成の下、音声入力部27にユーザの音声が入力されると、制御部23は、音声入力部27から入力された音声データにそれぞれ音声IDを振り、音声データとともに音声IDをサーバ10に送信する。サーバ10では、入力された音声データに対し音声認識部12により音声認識処理を施し、認識結果及びその音声IDをナビゲーション装置20に送信する。したがって、音声データ及びその認識結果は、ナビゲーション装置20とサーバ10で共通の音声IDで管理されることとなる。音声データを管理する音声情報管理表31,32(図2参照)は、ナビゲーション装置20の記憶部26、サーバ10のサーバ記憶部13にそれぞれ記憶されている。
【0022】
図2は音声情報管理表31,32を示す図であり、図2(A)はナビゲーション装置20の音声情報管理表31を示す図であり、図2(B)はサーバ10の音声情報管理表32を示す図である。
図2(A)に示すように、ナビゲーション装置20の音声情報管理表31には、音声IDと、音声入力部27から入力された音声データ(音声ファイル)と、サーバ10から受信した音声データの認識結果とがリスト化されて記憶される。
図2(B)に示すように、サーバ10の音声情報管理表32には、ナビゲーション装置20から受信した音声ID及び音声データ(音声ファイル)と、音声認識部12から入力された音声データの認識結果とがリスト化されて記憶される。
図2の例では、音声ID4,5の音声データについて、ナビゲーション装置20は認識結果未取得である。
【0023】
制御部23は、ナビゲーション装置20を楽曲再生モード或いはナビゲーションモードで動作させる。
楽曲再生モードの場合には、制御部23は、楽曲再生操作用の各種画面を表示させ、ユーザ指示に応じて記憶部26内の楽曲データを再生する。
ナビゲーションモードの場合には、制御部23は、位置検出部21により車両の現在地および進行方向を特定し、表示部24に現在地周辺の地図を表示させる。また、目的地が設定された場合には、目的地までの最適経路を計算し、地図中に表示して目的地まで経路を案内する。
【0024】
本実施の形態のナビゲーション装置20は、音声により操作するアプリケーションとして、例えば、楽曲再生モード時に楽曲を検索する楽曲検索操作アプリケーションと、周辺の施設を検索する、或いはナビゲーションモード時に目的地として施設を検索する施設検索(周辺検索)操作アプリケーションと、楽曲検索操作アプリケーション及び施設検索操作アプリケーション以外の場合にナビゲーション装置20を音声操作する装置操作アプリケーションとを備えている。
【0025】
本実施の形態のサーバ10とナビゲーション装置20との通信は、1回の操作に対して1回の通信で終わる場合に限られるものではなく、1回の操作に対して複数回の通信が発生する場合も想定される。
具体的な通信の流れを、施設検索操作アプリケーションの動作を例に説明する。
【0026】
図3は、施設名の決定に至るまで、サーバ10での音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。
最初に、ナビゲーション装置20では、制御部23は、ガイド音声の再生又は画面表示を行い、ユーザに発話を促す(ステップS301)。ユーザが発話した音声が音声入力部27から取り込まれると(ステップS302)、制御部23は、取り込まれた音声データをサーバ10へ送信する(ステップS303)。
【0027】
サーバ10では、まず、ナビゲーション装置20から送信された音声データを受信すると(ステップS401)、サーバ制御部14は、この音声データに対して音声認識を実行し、文字列へ変換する(ステップS402)。ここで、音声認識対象とする語彙は、施設名に限定することとする。また、音声認識では認識誤りが発生することがあるため、本実施の形態では、認識結果として複数の施設名候補を得て、その候補の中からユーザに選択させることとする。サーバ制御部14は、認識結果である施設名候補のリストをナビゲーション装置20へ送信する(ステップS403)。
【0028】
ナビゲーション装置20では、施設名候補のリストをサーバ10から受信すると(ステップS304)、制御部23は、施設名候補のリストを画面へ表示し(ステップS305)、ガイド音声を再生し、ユーザに施設名候補のリストから希望する施設名を選択するように促す(ステップS306)。この選択も、音声認識で行うこととするが、タッチパネル等を用いた手操作で行ってもよい。また、画面にキャンセルボタン等を表示し、ユーザに訂正させる手段を用意してもよい。ユーザが発話した音声が取り込まれると(ステップS307)、制御部23は、取り込まれた音声データをサーバ10へ送信する(ステップS308)。
【0029】
サーバ10では、音声データを受信すると(ステップS404)、サーバ制御部14は、この音声データに対して音声認識を実行する(ステップS405)。ここで、音声認識対象とする語彙は、ステップS403で送信した施設名候捕のリストに限定する。また、施設名リストの番号や、訂正のための言葉(「キャンセル」、「戻る」等)も認識対象としてよい。サーバ制御部14は、認識結果として得られた施設名をナビゲーション装置20へ送信する(ステップS406)。
【0030】
ナビゲーション装置20では、施設名を受信すると(ステップS309)、制御部23は、この施設名を目的地に設定するように、音声出力(ステップS310)、画面出力(ステップS311)、ルート検索(ステップS312)を実行する。
図3の例では、サーバ10において2回の音声認識を行っており、通信も2回発生している。本実施の形態では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、使い勝手の良さを高く保ったまま通信を復帰させることができる。
【0031】
制御部23は、アプリケーションの操作を完了するまでの間に、サーバ10との通信が遮断された場合、操作対象のアプリケーションに応じて、通信遮断前の操作をサーバ10との通信復帰後に継続するか否かを決定する通信復帰処理を実行する。制御部23は、通信復帰処理において、通信復帰後に継続するか否かをアプリケーション毎に記憶した継続判断テーブルTB(図4参照)を参照する。この継続判断テーブルTBは、記憶部26に記憶されている。
【0032】
図4は継続判断テーブルTBを示す図であり、図4(A)は継続条件を含むテーブルTB1を示す図であり、図4(B)は施設検索操作アプリケーションの継続後の処理を含むテーブルTB2を示す図である。
装置操作アプリケーションにおいて、制御部23は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部23は、通信遮断前の装置操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部23は、装置操作アプリケーションの操作を中止する。
楽曲検索操作アプリケーションにおいて、制御部23は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部23は、通信遮断前の楽曲検索操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部23は、楽曲検索操作アプリケーションの操作を中止する。
【0033】
施設検索操作アプリケーションにおいて、制御部23は、通信の遮断時間に係わらず、施設検索操作アプリケーションの操作を継続する。また、制御部23は、サーバ10から受信した認識結果から、検索語を分類する検索語分類手段として機能する。より詳細には、制御部23は、検索語がラーメン屋やコンビニ等の施設のジャンルを表す場合、検索語に例えば「近くの〜」や「ルート沿いの〜」等の近隣を意図する語が含まれる場合、及び/又は、施設のヒット件数が多い(所定件数以上の)場合に、検索が近隣施設検索であると分類する。
また、制御部23は、検索語が、例えば国、都道府県、州、市町村等の行政区分に設置される施設(例えば、裁判所や役所等)を表す場合に、その検索が地域限定施設検索であると分類する。
さらに、制御部23は、施設ヒット件数が少ない(所定件数未満の)場合、及び/又は、施設ヒット件数が特定の地域に集中している場合に、検索が特定施設検索であると分類する。
【0034】
施設検索の分類方法は、上記の方法に限られるものではない。例えば、施設検索操作アプリケーションにおいて、ユーザが操作できるメニュー画面を用意しておき、このメニュー画面に「施設名で探す」、「周辺の施設で探す」、「ジャンル名で探す」といった項目を用意しておく。そして、ユーザが「施設名で探す」を選んで検索した場合には特定施設検索であると分類し、ユーザが「周辺の施設で探す」を選んで検索した場合には近隣施設検索に分類する方法でもよい。また、ユーザが「ジャンル名で探す」を選択し、その後、ユーザが裁判所や役所等のジャンルを指定して検索したときには、地域限定施設検索であると分類してもよい。
【0035】
近隣施設検索の場合には、制御部23は、通信が遮断してからの移動距離が所定距離より長いか否か判別する。移動距離が所定距離より長い場合、制御部23は、通信復帰後の現在位置で施設を再検索する。移動距離が所定距離以下の場合、制御部23は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
地域限定施設検索の場合には、制御部23は、通信が遮断してから現在位置の行政区分が変化したか否か判別する。現在位置の行政区分が変化した場合、制御部23は、通信復帰後の現在位置の行政区分で施設を再検索する。現在位置の行政区分が同一の場合、制御部23は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
特定施設検索の場合には、制御部23は、現在位置に係わらず、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
【0036】
次いで、通信復帰処理の手順について説明する。図5は、通信復帰処理を示すフローチャートである。
上述したように、通信復帰処理は、サーバ10との通信が遮断した際に制御部23によって実行される。まず、制御部23は、サーバ10との通信が復帰したか否か判別する(ステップS1)。
通信が復帰していない場合(ステップS1:No)、制御部23は、所定時間待機し(ステップS2)、処理をステップS1に移行する。
通信が復帰すると(ステップS1:Yes)、制御部23は、通信遮断前の処理情報を読み込む(ステップS3)。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。
【0037】
次いで、制御部23は、継続判断テーブルTBを参照し、アプリケーションの操作を継続する条件を満たすか否か判別する(ステップS4)。本実施の形態では、制御部23は、アプリケーションが装置操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが楽曲検索操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが施設検索操作アプリケーションか否かを判別する。
アプリケーションの操作を継続する条件を満たさない場合(ステップS4:No)、制御部23は、アプリケーションの操作を中止するとともに通信復帰前の処理情報を破棄し(ステップS5)、処理を終了する。
【0038】
アプリケーションの操作を継続する条件を満たす場合(ステップS4:Yes)、制御部23は、通信復帰後に必要な処理があるか否か判別する(ステップS6)。本実施の形態では、通信復帰後に必要な処理がある場合とは、施設検索操作アプリケーションにおいて検索の分類が近隣施設検索であって移動距離が所定距離より長い場合、あるいは、検索の分類が地域限定施設検索であって現在位置の行政区分が変化した場合である。
【0039】
通信復帰後に必要な処理がある場合(ステップS6:Yes)、制御部23は、通信復帰後に必要な処理を実行する(ステップS7)。本実施の形態では、近隣施設検索であって通信遮断中の移動距離が所定距離より長い場合には、制御部23は、通信復帰後の現在位置の行政区分で施設を再検索する。地域限定施設検索であって通信遮断中に現在位置の行政区分が変化した場合には、制御部23は、通信復帰後の現在位置の行政区分で施設を再検索する。
通信復帰後に必要な処理がない場合(ステップS6:No)、制御部23は、アプリケーション操作の現在の状態を通信遮断前の状態に変更し(ステップS8)、処理を終了する。
このように、通信復帰処理により、操作対象のアプリケーションに応じて、通信遮断前に入力された操作をサーバ10との通信復帰後に継続するか否かを決定できる。
【0040】
次に、施設検索操作アプリケーションを例にアプリケーションの具体的な動作を説明する。
施設検索操作アプリケーションにおいて、例えば、ユーザから「コンビニ」と音声入力されると、制御部23は、入力された音声データをサーバ10に送信し、サーバ10で音声認識処理された認識結果「コンビニ」を受信する。制御部23は、当該コンビニを検索するとともに、「コンビニ」が近隣施設検索であると分類し、「近辺にコンビニは××件あります」等と音声出力及び/又は表示する。このときに表示部24に表示する施設検索画面40Aの一例を図6に示す。
【0041】
図6は、通信遮断前の施設検索画面40Aを示す図である。
施設検索画面40Aは、例えば2分割され、検索した施設をリストとして示す施設リスト領域50と、検索した施設を図示する施設図示領域60とを備えている。施設リスト領域50には、検索した施設の名称を示す施設名51が現在位置から近い順に表示される。施設名51に現在位置から近い順に番号を付してもよい。
施設図示領域60には地図61が表示され、この地図61上に、自動車2(図1)の現在位置62と、検索した施設の位置を示すアイコン63と、地図61の縮尺を示すスケール64とが表示される。施設名51に現在位置62から近い順に番号を付す場合には、アイコン63に施設名51の番号と一致する番号を付してもよい。
【0042】
ここで、例えば自動車2がトンネルに入って通信が遮断した場合には、制御部23は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び/又は表示する。自動車2がトンネルを出て通信が復帰すると、制御部23は、「現在地が移動したため、再度コンビニを検索します」等と音声出力及び/又は表示し、通信が復帰した時点での現在位置でコンビニの情報を再検索し、「近辺にコンビニは××件あります」等と音声出力及び/又は表示する。このように、コンビニ等のように近傍であることが優先される施設が入力された場合には、通信復帰後の新しい現在位置にて検索し直すことにより、より行きやすい施設を表示できる。このときの施設検索画面40Bの例を図7及び図8に示す。
【0043】
図7は、通信遮断後の施設検索画面40Bを示す図である。
施設検索画面40Bは、図6に示す施設検索画面40Aと同様に構成されるが、施設検索画面40Bには、通信遮断前の検索結果のアイコン63Aと、通信復帰後の検索結果のアイコン63Bは、異なる表示形態(例えば、色、形)で表示される。これにより、視認性を高めることができる。なお、アイコン63の番号は、通信復帰後の現在位置62から近い順に付される。
【0044】
図8は、図7の変形例を示す図である。
施設検索画面40Cも、図6に示す施設検索画面40Aと同様に構成されるが、施設検索画面40Cにおいては、通信遮断前の検索結果のアイコン63Aと、通信復帰後の検索結果のアイコン63Bのすべて、あるいは、検索結果が多い場合には所定件数のアイコン63A,63Bを表示できるように、地図61の縮尺が自動変更される。これにより、視認性を高めることができる。施設検索画面40Cは、検索結果が多く施設リスト領域50に施設名51のすべてを表示できない場合には、施設リスト領域50に表示しきれない施設名51を異なるページに表示するように構成されており、その場合、施設検索画面40Cには、ページを次のページに送るために操作されるボタン52が表示される。
【0045】
また、例えば、施設検索操作アプリケーションにおいて、ユーザから「ABC遊園地」と音声入力されると、制御部23は、入力された音声データをサーバ10に送信し、サーバ10で音声認識処理された認識結果「ABC遊園地」を受信する。制御部23は、当該ABC遊園地の情報を検索するとともに、「ABC遊園地」が特定施設検索であると分類し、「ABC遊園地の候補は××件あります」等と音声出力及び/又は表示する。
例えば、ここで、自動車2がトンネルに入って通信が遮断すると、制御部23は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び/又は表示する。自動車2がトンネルを出て通信が復帰すると、制御部23は施設検索操作アプリケーションの操作を継続する。例えば、制御部23は、「目的地に設定しますか?」等と音声出力及び/又は表示する。
【0046】
図5に示す通信復帰処理において、通信復帰後にアプリケーションの操作を継続する場合、ナビゲーション装置20は音声データに対する認識結果の取得が完了していない場合がある。そこで、サーバ制御部14は、通信復帰後に処理情報、すなわち、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果を保持又は削除するかを決定する情報保持/削除処理を実行する。
また、ナビゲーション装置20の制御部23は、通信復帰後に認識結果未取得の音声データがないか否かを調べ、認識結果を未取得の場合には認識結果を再取得する認識結果取得確認処理を実行する。
【0047】
図9は、情報保持/削除確認処理を示すフローチャートである。
情報保持/削除確認処理は、ナビゲーション装置20への音声データの認識結果の送信が完了する前に、ナビゲーション装置20との通信が遮断された際にサーバ制御部14によって実行される。なお、サーバ記憶部13には、少なくとも図4(A)に示すテーブルTB1が記憶されている。
まず、サーバ制御部14は、ナビゲーション装置20との通信が復帰したか否か判別する(ステップS11)。
通信が復帰していない場合(ステップS11:No)、サーバ制御部14は、所定時間待機し(ステップS12)、処理をステップS11に移行する。
通信が復帰すると(ステップS11:Yes)、サーバ制御部14は、通信遮断前の処理情報を読み込む(ステップS13)。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。なお、通信遮断前に操作対象であったアプリケーションの種類は、音声データとともにナビゲーション装置20から送信され、サーバ記憶部13に記憶される。
【0048】
次いで、サーバ制御部14は、テーブルTB1を参照し、アプリケーションの操作を継続する条件を満たすか否か、換言すれば、送信が中断した認識結果の音声データが、通信復帰後に継続されるアプリケーションを操作する音声データか否か判別する(ステップS14)。本実施の形態では、サーバ制御部14は、図5に示すステップ4と同様に判別する。
アプリケーションの操作を継続する条件を満たさない場合(ステップS14:No)、サーバ制御部14は、通信復帰前の処理情報を削除し(ステップS15)、処理を終了する。
アプリケーションの操作を継続する条件を満たす場合(ステップS14:Yes)、サーバ制御部14は、通信復帰前の処理情報をサーバ記憶部13に保持し(ステップS16)、処理を終了する。保持された処理情報は、ナビゲーション装置20から音声データに対する認識結果の取得が完了した旨の情報を受信した後に、サーバ制御部14により削除される。
【0049】
図10は、認識結果取得確認処理を示すフローチャートである。
認識結果取得確認処理は、通信が復帰した後(図5に示すステップS1:Yes)に制御部23によって実行される。まず、制御部23は、認識結果未取得の音声データがあるか否か判別し(ステップS21)、認識結果未取得の音声データがない場合(ステップS21:No)、処理を終了する。
認識結果未取得の音声データがある場合(ステップS21:Yes)、制御部23は、サーバ10に認識結果未取得の音声IDを送信する(ステップS22)。サーバ10では、サーバ制御部14が、ナビゲーション装置20から受信した音声IDが付された音声データがあるか否か判別し、当該音声データがない場合、ナビゲーション装置20に当該音声データの再送信を要求する。
【0050】
ナビゲーション装置20では、制御部23は、サーバ10から音声データの再送信を要求されたか否か判別する(ステップS23)。
サーバ10から音声データの再送信を要求されない場合(ステップS23:No)、制御部23は、サーバ10から音声データの認識結果を受信し(ステップS24)、処理を終了する。例えば、制御部23が図2に示す音声ID4をサーバ10に送信した場合、すでにサーバ10には音声ID4の認識結果ができているので、サーバ制御部14は音声ID4の認識結果をナビゲーション装置20に送信する。この場合、音声データを再送信する必要がないため、応答時間が早まり、通信量を低く抑えることができる。
【0051】
一方、サーバ10から音声データの再送信を要求された場合(ステップS23:Yes)、制御部23は、音声データをサーバ10に送信し(ステップS25)、サーバ10から音声データの認識結果を受信し(ステップS24)、処理を終了する。例えば、制御部23が図2に示す音声ID5をサーバ10に送信した場合、サーバ10には音声ID5の音声データがないので、サーバ制御部14はナビゲーション装置20に音声ID5の音声データの再送信を要求する。制御部23は音声ID5の音声データをサーバ10に送信する。サーバ10では、受信した音声ID5の音声データに対し音声認識部12により音声認識処理を行い、サーバ制御部14はその認識結果をナビゲーション装置20に送信する。
【0052】
以上説明したように、本実施の形態によれば、アプリケーションを操作するための操作内容を入力する音声入力部27と、音声入力部27から入力された操作内容をサーバ10に送信し、サーバ10による所定処理の結果であるサーバ処理結果を受信する通信部28と、音声入力部27から操作内容が入力された後、当該操作内容に対応するサーバ処理結果をサーバ10から受信するまでの間に、サーバ10との通信が遮断された場合、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバ10との通信復帰後に継続するか否かを決定する制御部23と、を備える構成とする。この構成により、通信遮断前に入力された操作内容による操作を通信復帰後に継続するか否かを、操作内容による操作対象のアプリケーションに応じて決定できる。
【0053】
また、本実施の形態によれば、アプリケーションが現在位置の周辺検索であり、操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する構成とする。この構成により、通信復帰後の新しい現在位置にて周辺検索できるので、より行きやすい施設を検索できる。
【0054】
また、本実施の形態によれば、操作内容は音声である構成とする。この構成により、通信遮断前に入力された音声による操作を通信復帰後に継続するか否かを、音声による操作対象のアプリケーションに応じて決定できる。
【0055】
また、本実施の形態によれば、所定処理は、音声を音声認識する音声認識処理である構成とする。この構成により、音声入力部27から音声が入力された後、当該音声の認識結果をサーバ10から受信するまでの間に、サーバ10との通信が遮断された場合、音声による操作対象のアプリケーションに応じて、通信遮断前に入力された音声による操作をサーバ10との通信復帰後に継続するか否かを決定できる。
【0056】
また、本実施の形態によれば、サーバ10は、ナビゲーション装置20へのサーバ処理結果の送信が完了する前に、ナビゲーション装置20との通信が遮断された場合、サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除する構成とする。この構成により、ナビゲーション装置20へのサーバ処理結果の送信が完了する前に、ナビゲーション装置20との通信が遮断された場合に、サーバ処理結果を削除してしまうことを防止できるとともに、サーバ10に必要以上のサーバ処理結果が保持されることを防止できる。
【0057】
但し、上記実施の形態は本発明の一態様であり、本発明の趣旨を逸脱しない範囲において適宜変更可能であるのは勿論である。
例えば、上記実施の形態では、施設検索画面が左右に2分割され、左側に施設リスト領域が、右側に施設図示領域が配置されているが、施設検索画面の分割方向や施設リスト領域及び施設図示領域の配置位置は任意である。また、施設検索画面を分割せずに、地図上に施設名を直接表示してもよい。
【0058】
上記実施の形態では、音声により操作するアプリケーションを、装置操作アプリケーション、楽曲検索操作アプリケーション、及び施設検索操作アプリケーションとして説明したが、これらに限定されない。図4の継続判断テーブルは一例に過ぎず、アプリケーションの継続条件や、通信復帰後に必要な処理は任意に設定可能である。
【0059】
また、上記実施の形態では、サーバは、所定処理として音声認識のみを行っていたが、例えば、サーバ記憶部に検索対象となる情報(例えば、楽曲データ、施設データ)をデータベース(例えば、楽曲データベース、施設データベース)として記憶しておき、検索操作アプリケーション(例えば、楽曲検索操作アプリケーション、施設検索操作アプリケーション)において、サーバは、音声認識及びデータベース検索の両方を行い、音声データの認識結果及び認識結果に対応する情報(例えば、楽曲データ、施設データ)をナビゲーション装置に送信してもよい。サーバに施設データを置く場合においては、サーバは、ナビゲーション装置から送信された音声データに対して音声認識処理を行った後、さらに、音声認識結果を検索クエリ(検索要求)として用いて施設検索も行う。そして、サーバは、音声認識結果と音声認識結果に対応する施設検索結果との両方をナビゲーション装置へ送信する。すなわち、サーバとナビゲーション装置との間で通信は、音声認識を目的とした通信に限られるものではなく、サーバにおいてデータベース検索を行い、その結果をナビゲーション装置で使用する場合にも想定される。
【0060】
図11は、施設名の決定に至るまで、サーバ10にて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。
最初に、ナビゲーション装置20では、制御部23がガイド音声の再生又は画面表示を行い、ユーザに発話を促す(ステップS501)。ユーザが発話した音声が音声入力部(マイク)から取り込まれると(ステップS502)、制御部23は、取り込まれた音声データをサーバ10へ送信する(ステップS503)。
【0061】
サーバ10では、ナビゲーション装置20から送信された音声データを受信すると(ステップS601)、サーバ制御部14は、この音声データに対して音声認識を実行し、文字列に変換する(ステップS602)。ここで、認識対象とする語彙は、施設名の正式名称だけでなく、施設名の部分名称、通称、施設ジャンル語等も含める。例えば、「東京都恩賜上野動物園」という施設に対して、部分名称である「上野動物園」や施設ジャンル語である「動物園」といった語彙も認識対象の語彙に用意しておく。音声認識では認識誤りが発生することがあるため、複数の認識結果候補を得ることとし、ユーザに所望のものを選択させることとする。サーバ制御部14は、認識結果候補のリストをナビゲーション装置20へ送信する(ステップS603)。
【0062】
ナビゲーション装置20では、認識結果候補のリストをサーバ10から受信した(ステップS504)のち、制御部23は、認識結果候補のリストを画面へ表示し(ステップS505)、ガイド音声を再生し、ユーザに認識結果候補のリストから希望するものを選択するように促す(ステップS506)。ユーザの選択は、音声認識で行ってもよいが、ここではタッチパネル操作により行うこととする。タッチパネル操作を取得すると(ステップS507)、制御部23は、選択された認職結果文字列をサーバ10へ送信する(ステップS508)。
【0063】
サーバ10では、ナビゲーション装置20から送られた認識結果文字列を受信すると(ステップS604)、サーバ制御部14は、その文字列にて、サーバ10にある施設データベースを検索する(ステップS605)。施設データベースをサーバ10に置く長所としては、ナビゲーション装置20に施設データベースを置くと更新頻度が限定されるのに対して、サーバ10に施設データベースを置けば、最新の状態を反映することが容易であるため、最新の地図や施設名を対象として検索できることである。ここでは、施設データベースの検索結果として、認識結果の文字列を含む複数の施設名と、その施設名の位置情報を取得する場合を説明する。サーバ制御部14は、施設データベースの検索結果をナビゲーション装置20に送信する(ステップS606)。
【0064】
ナビゲーション装置20では、サーバ10から送信された検索結果を受信すると(ステップ509)、制御部23は、検索結果である施設名と位置を地図に表示する(ステップS510)。これ以降の後続の操作は説明を省略するが、画面に表示された施設名候補からユーザに希望のものを選択させる動作、ルート検索する動作等が続く。これらの動作は、図3に示した通り、音声認識によってユーザに選択させてもよいし(ステップS307,S308,S404〜S406)、タッチパネルによって選択させてもよい。
図11の例では、サーバ10において、音声認識と施設検索という異なるタスクを実行している。また、施設検索の一連の操作の中で、複数回のサーバ10・ナビゲーション装置20間の通信が発生する。
【0065】
上記図11の例で示したとおり、ユーザがナビゲーションに関する操作を遂行するまでに、複数回の通信が発生することがある。また、サーバ10におけるタスクの種類が複数存在し、また、通信も複数の目的で行われる場合がある。上記図11の例では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、使い勝手の良さを高く保ったまま通信を復帰させることができる。
【0066】
上記図3及び図11の例は、施設検索操作アプリケーションを例にとって説明した。しかし、他のアプリケーションにおいても、アプリケーションの操作を遂行するまでの間に、複数回の通信が行われる場合、複数の処理がサーバ10で動作する場合がある。例えば、楽曲検索操作アプリケーションの場合、(1)ユーザが最初にアーティスト名を発話してサーバ10で音声認識し、音声認識結果をナビゲーション装置20へ送信する、(2)ユーザが選択したアーティスト名をサーバ10へ送信し、サーバ10において楽曲データベースを検索し、検索された楽曲データをナビゲーション装置20へ送信する、といった複数の通信が行われる。また例えば、装置操作アプリケーションの一例として、ナビゲーションモード時に目的地として住所を検索する住所検索操作アプリケーションの場合、ユーザが、国名、都道府県名(州名)、市名といった住所の各階層を発話するたびに、音声データのサーバ10への送信、認識結果のサーバ10からの受信が発生する。こういったあらゆるアプリケーションにおいても、本発明を適用することができる。
【0067】
また、上記実施の形態では、ナビゲーション装置からサーバに送信する操作内容は音声データであったが、ナビゲーション装置が音声認識部を備える場合には、ナビゲーション装置からサーバに音声データの認識結果を送信し、サーバでこの認識結果を検索クエリとしてデータベース検索を行ってもよい。
【0068】
また、上記実施の形態では、アプリケーションを操作するための操作内容は、音声入力部から入力される音声であったが、これに限定されるものではなく、例えば、操作部から入力される文字列等であってもよい。
【0069】
また、上記実施の形態では、図1に記載したナビゲーション装置の構成を前提にしていたが、図1の構成でなくてもよい。例えば、通信部は、ナビゲーション装置に備わっている必要は無く、携帯電話に備わっていてもよい。携帯電話に通信部を置く場合には、ナビゲーション装置と携帯電話の間の通信を、広く知られているUSBケーブルによる有線での通信や、Bluetooth(登録商標)による無線での通信によって実現し、ナビゲーション装置から携帯電話の通信機能を制御するようにすればよい。
また、携帯電話で実行する機能は、通信部だけではなく、他のナビゲーション装置の構成要素の機能も携帯電話上で実行する構成でもよい。とくに、近年市場に広まっている高機能携帯電話(スマートフォン)を用いる場合には、スマートフォンの高い計算処理性能を生かして、ナビゲーションの機能の一部をスマートフォン上で実行してもよい。
【0070】
また、上記実施の形態では、無線通信端末として車載型のナビゲーション装置を例示したが、これに限らず、携帯電話やPDA等の携帯型情報機器や、地図表示装置などの情報処理装置にも本発明を適用可能である。
【符号の説明】
【0071】
1 音声操作システム(操作システム)
10 サーバ
12 サーバ記憶部
13 音声認識部
14 サーバ制御部
20 ナビゲーション装置(無線通信端末)
23 制御部(制御手段)
25 操作部(入力手段)
27 音声入力部(入力手段)
28 通信部(通信手段)
【特許請求の範囲】
【請求項1】
アプリケーションを操作するための操作内容を入力する入力手段と、
前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、
前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備えたことを特徴とする無線通信端末。
【請求項2】
前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する
ことを特徴とする請求項1に記載の無線通信端末。
【請求項3】
前記操作内容は音声であることを特徴とする請求項1又は2に記載の無線通信端末。
【請求項4】
前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項3に記載の無線通信端末。
【請求項5】
所定処理を実行するサーバと、
アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、
前記無線通信端末は、
前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する
ことを特徴とする操作システム。
【請求項6】
前記サーバは、
前記無線通信端末への前記音声の認識結果の送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除する
ことを特徴とする請求項5に記載の操作システム。
【請求項7】
前記操作内容は音声であることを特徴とする請求項5又は6に記載の操作システム。
【請求項8】
前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項7に記載の操作システム。
【請求項9】
前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であることを特徴とする請求項5乃至6のいずれかに記載の操作システム。
【請求項1】
アプリケーションを操作するための操作内容を入力する入力手段と、
前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、
前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備えたことを特徴とする無線通信端末。
【請求項2】
前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する
ことを特徴とする請求項1に記載の無線通信端末。
【請求項3】
前記操作内容は音声であることを特徴とする請求項1又は2に記載の無線通信端末。
【請求項4】
前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項3に記載の無線通信端末。
【請求項5】
所定処理を実行するサーバと、
アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、
前記無線通信端末は、
前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する
ことを特徴とする操作システム。
【請求項6】
前記サーバは、
前記無線通信端末への前記音声の認識結果の送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除する
ことを特徴とする請求項5に記載の操作システム。
【請求項7】
前記操作内容は音声であることを特徴とする請求項5又は6に記載の操作システム。
【請求項8】
前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項7に記載の操作システム。
【請求項9】
前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であることを特徴とする請求項5乃至6のいずれかに記載の操作システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−222552(P2012−222552A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−85359(P2011−85359)
【出願日】平成23年4月7日(2011.4.7)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願日】平成23年4月7日(2011.4.7)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】
[ Back to top ]