説明

音声入力装置

【課題】音声入力機能の使用に慣れたユーザーや慣れていないユーザーに対し、適切なタイミングでガイダンス機能を実行し、ユーザーの煩わしさを解消することができる音声入力装置を提供する。
【解決手段】音声入力モードとして、予め登録された登録済発話内容を前記ユーザーに提示するガイド有り入力モードと、登録済発話内容が非提示とされるガイド無し入力モードとを有する音声入力装置10において、制御部11は、ユーザーの、音声入力に係る習熟レベルを特定するとともに、音声入力の入力受け付けが開始されるに伴い設定するガイド無し入力モードを、特定された習熟レベルが高いほど、より遅いタイミングで、ガイド有り入力モードに切り替える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は音声入力装置に関する。
【背景技術】
【0002】
従来の音声入力装置は、初心者が使用する場合に、どのような言葉を発すればよいのかがわからないという状況に陥る可能性があり、これを解決するためのガイダンス機能を備えるものがある(例えば特許文献1)。中には、音声入力を受け付けている状態において、表示された発話内容から選択する形でユーザーが言葉を発することができるよう、音声入力可能な発話内容を画面に一覧表示するガイダンス機能を備えたものも存在している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−142486号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、上述したガイダンス機能は、音声入力機能を使い慣れていない初心者にとっては非常にありがたい機能であるが、音声入力機能の使用に慣れたユーザーにとっては、発話内容の一覧表示が繰り返し画面に出現するため煩わしいものとなる。このため、音声入力機能の使用に慣れたユーザーは、こうしたガイダンス機能をOFFにすることでその煩わしさを解消することができるが、こうすると今度は、実際に音声入力に困ったようなときに、マニュアルでガイダンス機能をONとしなければならないし、使用した後には再びOFFに戻さなければならない等、操作が煩わしい。
【0005】
本発明の課題は、音声入力機能の使用に慣れたユーザーや慣れていないユーザーに対し、適切なタイミングでガイダンス機能を実行し、ユーザーの煩わしさを解消することができる音声入力装置を提供することにある。
【課題を解決するための手段および発明の効果】
【0006】
上記課題を解決するために、本発明の音声入力装置は、
ユーザーが発する音声が入力され、入力された音声に基づいて操作コマンドを実行する音声入力装置であって、
前記ユーザーの、前記音声の入力に係る習熟レベルを特定する習熟レベル特定手段と、
音声の入力モードを、予め登録された登録済発話内容を前記ユーザーに提示するガイド有り入力モードと、前記登録済発話内容が非提示とされるガイド無し入力モードとを切り替える形で設定する入力モード設定手段と、
を備え、前記入力モード設定手段は、音声入力の入力受け付けが開始されるに伴い設定する前記ガイド無し入力モードを、前記習熟レベル特定手段によって特定される前記習熟レベルが高いほど、前記音声入力の開始時点からより遅いタイミングで前記ガイド有り入力モードに切り替えることを特徴とする。
【0007】
上記本発明の特徴は、音声入力装置に対するユーザーの操作の迷いを、音声入力の入力受け付けが開始されてからの経過時間によって特定する点にあり、迷いを生じていると予想される時間が経過した際には、自動的にガイド有り入力モードが設定されるから、ユーザーは煩わしさを感じることが無い。また、上記本発明によれば、迷いを生じているか否かを判断する基準となる経過時間は、習熟レベル(慣れの度合い)が高いほど長く設定され、習熟レベルの高いユーザーほどガイド有り入力モードに切り替わるタイミングが遅くなるから、習熟レベルの高いユーザーが煩わしさを感じるようなタイミングで、初心者向けのガイド有り入力モードに切り替わることは無い。また、初心者の場合は、比較的早いタイミングでガイド有り入力モードに切り替わるため、操作に迷う時間が短くて済むから、何を音声入力して迷うようなこともない。
【0008】
本発明における習熟レベル特定手段は、ユーザーが発する音声を入力する音声入力手段が音声入力を受け付けている音声入力受付時間の総時間が長いほど、前記習熟レベルを高く特定するよう構成できる。また、本発明における習熟レベル特定手段は、ユーザーが発する音声を入力する音声入力手段を搭載した装置又はシステムの駆動時間の総時間の長さが長いほど前記習熟レベルを高く特定するよう構成することもできる。これらの構成によれば、音声入力装置に対するユーザーの習熟レベル(慣れの度合い)を、それを含んで構成された装置やシステムを使用している時間の長さや、さらにいえば音声入力の受け付け状態の長さによって容易に取得することができる。
【0009】
また、本発明における習熟レベル特定手段は、ユーザーが発する音声を入力する音声入力手段が音声入力の受け付け状態となった総回数が多いほど前記習熟レベルを高く特定するよう構成できる。また、本発明における習熟レベル特定手段は、ユーザーが発する音声を入力する音声入力手段を搭載した装置又はシステムが駆動状態となった総回数が多いほど前記習熟レベルを高く特定するよう構成することもできる。これらの構成によれば、音声入力装置に対するユーザーの習熟レベル(慣れの度合い)を、それを含んで構成された装置やシステムを使用した回数や、さらにいえば音声入力の受け付け状態となった回数によって容易に取得することができる。
【0010】
本発明においては、前記音声入力の開始時点から前記ガイド有り入力モードに切り替えるまでの切替待ち時間と、前記習熟レベルとを対応付けた切替タイミング情報を記憶する切替タイミング記憶手段を備えて構成することができる。この場合、入力モード設定手段は、前記切替タイミング情報に基づいて、前記入力モードを切り替えるよう構成できる。これにより、習熟レベルと切替待ち時間との対応関係を参照するだけで、習熟レベルに応じたガイド有り入力モードの設定タイミングを容易に取得することができるから、入力モードの切り替えが容易となる。
【0011】
本発明における切替タイミング情報は、前記習熟レベルとして複数のレベルを離散的に有し、それら各レベルに対し前記切替待ち時間が対応付けておくことができる。この構成によれば、予め決められた数の限られた複数段階の習熟レベルに対し、それぞれガイド有り入力モードへの切替待ち時間が設定されているから、比較的簡易な構成で実現することができる。
【0012】
本発明における切替タイミング情報は、前記習熟レベルが高くなるほど前記切替待ち時間が長くなっていく連続的な対応関係を有して構成できる。この構成によれば、習熟レベルが連続的に高くなっていくに従い、ガイド有り入力モードへの切替待ち時間もそれに応じて連続的に高くなっていくため、より細かい切替待ち時間の設定が可能となるから、様々な習熟レベルのユーザーを満足させることができる。
【0013】
本発明における切替タイミング情報は、前記習熟レベルが一定以上となると、前記切替待ち時間が一定となるよう構成できる。また、前記切替待ち時間を無限大に相当する形とし、前記ガイド有り入力モードへの切り替えが発生しなくなるようにしてもよい。習熟レベルは音声入力装置を使用すればするほど増していくため、習熟レベルが高すぎると、ガイド有り入力モードへの切替待ち時間もどんどん長くなる。切替待ち時間については、長すぎることには意味が無いので、これに上限を設けることで、無駄な時間のカウント処理を省略できる等、無駄な構成を排除できる。
【0014】
本発明における切替タイミング情報は、前記習熟レベルの最も低いレベルに対し、前記切替待ち時間無しを対応付けることができる。つまり、音声入力の入力受け付けが開始されるに伴い、前記ガイド無し入力モードが設定されることなく、前記ガイド有り入力モードが直ちに設定されるよう構成できる。これにより、もっとも習熟レベルの低いユーザーに対し最初からガイド有り入力モードを提供することができるから、習熟レベルの低いユーザーにとって使い勝手が良い。
【0015】
本発明は、ユーザー情報を登録する形でユーザー登録を行うユーザー登録手段と、登録されたユーザーを特定(あるいは認識)する登録ユーザー特定手段と、登録されたユーザー毎に前記習熟レベルを記憶する習熟レベル記憶手段と、を備えて構成することができ、前記習熟レベル特定手段は、前記登録ユーザー特定手段によって特定されたユーザーの習熟レベルを特定し、前記入力モード設定手段は、特定されたユーザーの習熟レベルと前記切替タイミング情報とに基づいて、前記入力モードを切り替えるように構成できる。これにより、ユーザー毎に習熟レベルが記憶され、様々なユーザーに応じた、ガイド有り入力モードへの切替待ち時間の設定が可能になる。
【0016】
本発明においては、前記ガイド有り入力モードの設定時に前記音声入力により実行可能となる予め決められた1以上の前記操作コマンドを有する操作階層が複数設けられた階層構造を有するとともに、それら操作階層には、操作コマンドとして階層を上下いずれかに遷移させる階層遷移コマンドが設けられ、該階層遷移コマンドの実行を繰り返すことにより、最上位の操作階層から途中に1以上の分岐を経て任意の最下位の操作階層まで遷移可能とされており、さらに、前記階層遷移コマンドの実行に基づいて、対応する操作階層を設定する操作階層設定手段を備えて構成することができる。この構成により、関連する操作コマンドを階層構造により体系付けておくことができるので、ユーザーは、目的の操作コマンドまで辿り着きやすくなる。
【0017】
また、このような操作階層構造が形成されている場合、前記ガイド有り入力モードの設定時には、現在設定されている操作階層が有する前記操作コマンドに対応する登録済発話内容が提示されるとともに、それら操作コマンドのみが前記音声入力により実行可能となるよう構成することができる。この構成によれば、操作階層毎に音声入力可能な発話内容が絞られているので、ユーザーに提示しやすい。また、初心者のあいまいな音声入力による誤入力も防ぐことができる。
【0018】
また、このような操作階層構造を形成する場合には、操作階層のうち予め定められたメニュー階層よりも下位の操作階層が操作コマンドの種別毎に分類して形成することができる。この場合、当該メニュー階層において、分類されている種別を選択する形で、対応する種別の下位の操作階層へと遷移させる複数の階層遷移コマンドが設けられるよう構成し、前記ガイド無し入力モードの設定時には、当該メニュー階層よりも下位の操作階層において、その操作階層が有する操作コマンドと共に、その操作階層が属する種別の全操作コマンドもしくはその一部を、音声入力により実行可能とすることができる。これにより、習熟レベルの高いユーザーは、自身の目的とする操作コマンドが現在よりも下位の操作階層であったとしても、音声入力によってダイレクトに実行可能となるから、操作性に優れる。
【0019】
本発明における入力モード設定手段は、前記習熟レベルと前記切替タイミング情報とに基づいて特定される、前記ガイド無し入力モードから前記ガイド有り入力モードに切り替える切替タイミングを、予め定められた補正情報に基づいて補正し、補正された切替タイミングにて当該切り替えを実行するよう構成できる。この構成によれば、ユーザーの状況に応じて、ガイド有り入力モードへの切替タイミングを柔軟に変更することが可能となる。音声入力は、ユーザーの状況によってはその入力難易度が通常よりも増すことがあるから、そうした音声入力が難しくなる予め定められた状況が特定された時には、習熟レベルによって決定される切替タイミング(切替待ち時間T)がより遅くなるように、つまり、待ち受け時間を長くなるように、特定された状況に応じて補正されることにより、ユーザーの使い勝手が増す。
【0020】
例えば、上述した操作階層構造を形成する構成の場合、前記補正情報は前記操作階層毎に定めることができる。これにより、各操作階層毎に適した切替タイミング情報を設定できる。
【0021】
また、本発明において、ユーザーの音声入力実績を特定する音声入力実績特定手段を備える構成の場合、前記補正情報は、音声入力実績に応じて定めることができる。本発明における音声入力実績とは、音声入力の習熟レベル(慣れの度合い)よりもより現実的な音声入力の入力能力を示すパラメータであって、過去の音声入力の実績から特定される音声入力の実力・能力を示した値である。例えば過去の音声入力において、音声入力受付期間の開始から音声入力がなされるまでの平均時間や、音声入力受付期間内において音声入力を成功させた回数という具体的なパラメータとすることができる。上記構成によれば、例えば、音声入力実績の高いユーザーには、ガイド無し入力モードへの切替タイミングを、習熟度レベルに基づくタイミングよりも遅く設定したり、音声入力の低いユーザーには、ガイド無し入力モードへの切替タイミングを、習熟度レベルに基づくタイミングよりも早く設定したりすることができる。
【0022】
また、本発明において、ユーザーの予め定められた操作状況を特定する操作状況特定手段を備える構成の場合、前記補正情報は、操作状況毎に定めることができる。ユーザーの操作状況として、ユーザーが他の操作を実施しているような、他に集中力を割いている状況(例えば、ステアリング操作中、アクセル操作中、ブレーキ操作中等)が特定されれば、音声入力を直ちに行うことは難しい。上記した構成によれば、こうした場合に、ガイド無し入力モードへの切替タイミングを、習熟度レベルに基づいて算出されるタイミングよりも遅く設定することができる。
【0023】
また、本発明においては、前記ユーザーは車両のドライバーとすることができる。この場合、該ユーザーが運転する車両の車両状況を、予め定められた車両状況を特定する車両状況特定手段を備えて構成することができ、前記補正情報は、車両状況毎に定めることができる。車両状況として、ユーザであるドライバーが運転状況に集中力を割いている状況、もしくは割くべき状況(例えば交差点走行時や裏道走行時等)にあるときに、音声入力を並行して行うことは難しいため、こうした場合に、ガイド無し入力モードへの切替タイミングを、習熟度レベルに基づくタイミングよりも遅く設定することができる。
【図面の簡単な説明】
【0024】
【図1】本発明の音声入力装置を備える操作入力システムの第一実施形態の構成を簡略的に示すブロック図。
【図2】図1の記憶装置の記憶内容を示す図。
【図3】各操作用発話内容に対し操作コマンドが対応付けられたコマンドテーブル。
【図4】切替タイミング情報を示す図。
【図5】ガイド無し入力モードからガイド有り入力モードへの切り替えを説明する図。
【図6】ガイド無し入力モードの設定時において出力される出力音の出力タイミングを示す図。
【図7】ガイド有り入力モードの設定時において出力される出力音の出力タイミングを示す図。
【図8】操作階層を説明する図。
【図9】操作階層情報を説明する図。
【図10】ガイド無し入力モードにおける第一の画面表示例。
【図11】ガイド無し入力モードにおける第二の画面表示例。
【図12】ガイド有り入力モードにおける第一の画面表示例。
【図13】ガイド有り入力モードにおける第二の画面表示例。
【図14】ガイド有り入力モードにおける第三の画面表示例。
【図15】ガイド有り入力モードにおける第四の画面表示例。
【図16】音声入力モードの自動設定処理の流れを示すフローチャート。
【図17】習熟レベル情報の更新処理の流れを示すフローチャート。
【図18】音声入力処理の流れを示すフローチャート。
【図19】本発明の音声入力装置を備える操作入力システムの第二実施形態の構成を簡略的に示すブロック図。
【図20】図16とは異なる音声入力モードの自動設定処理の流れを示すフローチャート。
【図21】登録ユーザー情報を示す図。
【図22】ユーザー毎に登録された習熟レベル情報を示す図。
【図23】補正情報の第一例を示す図。
【図24】補正情報の第二例を示す図。
【図25】補正情報の第三例を示す図。
【図26】補正情報の第四例を示す図。
【図27】図4とは異なる切替タイミング情報を示す図。
【図28】図4及び図27とは異なる切替タイミング情報を示す図。
【図29】図4、図27及び図28とは異なる切替タイミング情報を示す図。
【図30】図17とは異なる習熟レベル情報の更新処理の流れを示すフローチャート。
【図31】図17及び図30とは異なる習熟レベル情報の更新処理の流れを示すフローチャート。
【図32】図17、図30及び図31とは異なる習熟レベル情報の更新処理の流れを示すフローチャート。
【発明を実施するための形態】
【0025】
以下、本発明の音声入力装置を含んで構成された装置の一実施形態を、図面を参照して説明する。
【0026】
図1は、本発明の音声入力装置10を操作入力手段として有する車両用操作入力システム100の構成を簡略的に示すブロック図である。本実施形態における車両用操作入力システム100は、車両に搭載される複数の車載機器を備えて構成されるシステムである。車両全体(車両そのもの)を、音声入力装置10、さらにはそれを含んで構成されたシステム100としてみることもできる。
【0027】
なお、本実施形態の音声入力装置10は、基本的にはナビゲーション装置21の操作入力装置の1つとして位置づけけられているが、車載LAN2等の通信手段を介して他の機器(装置)と接続することにより、それらの機器の操作入力装置としても使用可能に構成されている。ここでは、オーディオ装置22、空調装置(エアコン)23、パワーウィンドウ装置24等の車載機器の操作入力装置として機能する。即ち、これら各装置21,22,23,24等の既存の操作部(タッチスイッチやメカニカルスイッチ等)への直接的な操作だけでなく、音声入力によっても、ナビゲーション装置21の目的地設定操作や、オーディオ装置22の選曲操作、空調装置23の温度や風量の設定操作、パワーウィンドウ装置24におけるパワーウィンドウの開閉操作等といった操作が可能となっている。
【0028】
また、本実施形態の音声入力装置10は、車載LAN2等の通信手段を介して、持ち込み機器等の外部機器50に対し無線接続する通信部25と接続しており、外部機器50の操作入力装置としても機能する。ここでの通信部25は、例えば双方向近距離無線ネットワーク(例えばBluetooth(商標名))と接続するための通信装置とすることができ、当該ネットワークを介して、可搬型端末装置(例えばスマートフォンといった携帯電話機)と接続し、その操作が可能となる。
【0029】
また、本実施形態の音声入力装置10は、車外ネットワーク等の外部ネットワーク60に対し無線接続する通信部26と接続しており、外部ネットワーク60の操作入力装置としても機能する。ここでの通信部26は、例えばインターネットと接続するための通信装置とすることができ、インターネットを介して外部装置と接続し、インターネットアプリケーション(ネットアプリ)を実行する操作や、外部装置と各種データの送受信をする操作等が可能となる。
【0030】
ナビゲーション装置21は、車両用のものであって、図1に示すように、制御部11に、車両の現在位置を検出する位置検出器5や、地図データ等を記憶している記憶装置(Hard Disk Drive:以下、HDDとも略する)16が接続された周知の構造を有する。また、制御部11は、他にも、車両の現在位置マークと推奨ルートと地図データ等とを重ね合わせて表示するためのLCD(Liquid Crystal Display)等の表示装置(ディスプレイ)4や、使用者からの操作入力を受けるための操作部(操作入力装置)3、音声案内を行うための音声出力部15、音声入力を行うための音声入力部13、道路近傍に配置されたVICS(Vehicle Information and Communication System:道路交通情報システム,登録商標)サービス用の固定局から交通情報等を無線受信する無線通信機(図示なし)が接続される。また、制御部11は、他の車載機器22,23,24,…に対し、通信インターフェース(通信I/F)、さらには車載LAN2を介して通信可能に接続しており、これらとの間でデータや制御信号の授受が可能である。
【0031】
制御部11は、図示しないCPU,ROM,RAM等を有した周知のマイクロコンピュータを中心に構成されており、ROMには、CPUが実行するナビゲーションプログラム及びそれに必要なデータが記憶されている。また、記憶装置16には、地図データが記憶されている。地図データには、道路情報のみならず、それら道路情報が示す各道路に対する交通法規等の道路付随情報が対応して記憶されており、例えば各道路に定められている一方通行等の情報が記憶されている。
【0032】
また、制御部11は、ROMに記憶されたナビゲーションプログラムを実行することにより、位置検出器5からの各検出信号に基づき座標および進行方向の組として車両の現在位置を算出し、算出された現在位置付近の地図データを記憶装置16から読み出して、指示された範囲の地図等を算出された現在位置と共に表示装置4に表示する地図表示処理や、記憶装置16に格納された地点データに基づき、操作部3や音声入力部13への操作入力(音声入力を含む)に従って目的地となる施設を選択し、現在位置から目的地までの最適な経路を自動的に求める経路計算を行って経路案内を行う経路案内処理等を行う。このように自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。
【0033】
なお、位置検出器5は、GPS(Global Positioning System)用の人工衛星からの送信電波をGPSアンテナを介して受信し、車両の位置,方位,速度等を検出するGPS受信機と、車両に加えられる回転運動の大きさを検出するジャイロスコープと、車両の前後方向の加速度等から走行した距離を検出する距離センサと、地磁気から進行方位を検出する地磁気センサとを備えた周知のものである。
【0034】
音声入力装置10は、ユーザーが発する音声が入力され、入力された音声に基づいて操作コマンドを実行する装置である。図1の音声入力装置10は、ユーザーの音声を入力する音声入力部(音声入力手段)12と、入力された音声を認識する音声認識部(音声認識手段)13と、認識された音声に基づいて、対応する操作コマンド(制御内容)を特定し、特定した操作コマンドを実行する制御部(制御手段)11と、を備えて構成される。さらに制御部11は、音声合成部14において例えばTTS(Text to Speech)等の音声合成処理により生成された音声を、スピーカ等の音声出力部15から出力させる。
【0035】
音声入力部13は、ユーザーが発話した音声(発話内容)が入力され、これを音声データ(音声信号)に変換するマイクロフォンである。ここでは、車両13の運転者(ユーザー)の音声(発話内容)が入力される。
【0036】
音声認識部12は、音声入力部13から取得した音声データに対し、構文解析等の周知の音声認識処理を行う。具体的に言えば、記憶部12aに、音声入力により実行される各操作コマンドに対応付けられた操作用発話内容(登録済発話内容)が照合用音声データとして予め登録されており、音声認識部12は、音声入力部2から入力される音声データを、制御部11から指定される照合用音声データと比較・照合して、照合一致する操作用発話内容を特定する。そして、その特定結果を制御部11に出力する。
【0037】
制御部11は、音声認識部12にて認識された音声に基づいて操作コマンドを実行する。即ち、音声認識部12の認識結果および自身が管理する内部状態から、音声合成部14への応答音声の発声指示や、制御対象(操作対象)とされた機器21,22,23,24…への制御指示を与える処理を実行する。具体的に言えば、音声認識部12によって特定された操作用発話内容(つまり音声認識部12によって認識された入力音声)に対応する操作コマンドを特定し、これを実行する。ここでの記憶装置16には、図2に示すように、各操作用発話内容に対し操作コマンドが対応付けられたコマンドテーブル(図3参照)が記憶されており、音声認識部12によって特定された操作用発話内容に対し、当該テーブルを参照する形で、対応する操作コマンドが特定される。
【0038】
また、制御部11には、音声入力を開始・終了するときにユーザーが操作する音声入力開始/終了操作部(音声入力開始操作手段および音声入力終了操作手段)17が接続する。本実施形態における音声入力開始/終了操作部17は、車両のステアリングホイールに設けられ、ユーザーとなるドライバーにより容易に操作可能である。
【0039】
また、制御部11には、ユーザーの音声の入力に係る習熟レベル(慣れの度合い)が反映された予め定められた習熟レベル更新情報を取得する習熟レベル更新情報取得部(習熟レベル情報取得手段)18が接続する。制御部11は、習熟レベル更新情報取得部18が取得する習熟レベル更新情報に基づいて、ユーザーの音声の入力に係る習熟レベルを更新し(習熟レベル更新手段)、更新された習熟レベルを習熟レベル情報として記憶装置16に記憶する(習熟レベル記憶手段:図2参照)。
【0040】
本実施形態における習熟レベルは、ユーザーが発する音声を入力する音声入力部13が音声入力を受け付けている音声入力受付時間の総時間が長いほど高く特定されるよう構成されている。ここでは、後述するように、音声入力開始/終了操作部17がONとされるに伴い音声入力部13が音声入力の受け付けを開始するから、音声入力受付時間は、音声入力開始/終了操作部17のON操作がなされてから所定の期間が経過するまでの間であり、その総時間とは、様々なタイミングで実施される音声入力受付時間を合計した時間である。制御部11は、それら個々の音声入力受付時間の時間をカウントし、合計する。つまり、ここでは、この音声入力受付時間が習熟レベル更新情報であり、習熟レベル更新情報取得部18は、時間をカウントする計時手段とされている。
【0041】
さらに、制御部11は、自身の音声の入力モードを、予め登録された操作用発話内容(登録済発話内容)をユーザーに提示するガイド有り入力モードと、それら操作用発話内容(登録済発話内容)が非提示とされるガイド無し入力モードとを切り替える形で設定する(入力モード設定手段)。
【0042】
音声の入力モードは、基本的には、音声入力の入力受け付けが開始されるに伴いガイド無し入力モードが設定される。ただし、音声入力の開始時点からガイド有り入力モードに切り替えるまでの切替待ち時間Tは、習熟レベル更新情報取得部18が取得した習熟レベル更新情報に基づいて更新される習熟レベルに応じて決定される。
【0043】
本実施形態においては、上記の切替待ち時間Tと、上記の習熟レベルとを対応付けた切替タイミング情報を、記憶装置16が記憶している(切替タイミング記憶手段)。制御部11は、その切替タイミング情報に基づいて、音声の入力モードを切り替える。なお、本実施形態における切替タイミング情報は、図4に示すように、習熟レベルとして複数のレベルを離散的に有し、それら各レベルに対し切替待ち時間Tが対応付けられている。そして、図5に示すように、特定される習熟レベルが高いほど、音声入力の開始時点からより遅いタイミングでガイド有り入力モードへと切り替わるよう、上記の切替待ち時間Tと習熟レベルとが定められている。また、習熟レベルの最も低いレベルに対しては、切替待ち時間無しが対応付けられている。
【0044】
また、本実施形態においては、図8に示すように、操作階層が複数設けられた階層構造を有する。それら操作階層には、操作コマンドとして階層を上下いずれかの所定階層に遷移させる階層遷移コマンドが設けられており、制御部11は、それら階層遷移コマンドの実行に基づいて、対応する操作階層を設定する(操作階層設定手段)。そして、階層遷移コマンドの実行を繰り返すことにより、最上位の操作階層から途中に1以上の分岐を経て任意の最下位の操作階層まで遷移可能となっている。
【0045】
また、それら操作階層には、図9に示すように、ガイド有り入力モードの設定時に音声入力によって実行可能となる、予め決められた1以上の操作コマンドが対応付けられている。つまり、ガイド有り入力モードにおいては、現在の操作階層に対応する操作コマンドのみしか、音声入力によって実行できない。なお、各操作コマンドは、それぞれ1つの操作階層のみに対応付けられる必要は無く、複数の操作階層に対し対応付けられていてもよい。他方、ガイド無し入力モードにおいては、現在の操作階層に対応する操作コマンドだけでなく、それ以外の操作コマンドも、音声入力によって実行可能とされている。このように、ここでのガイド無し入力モードは、少なくともガイド有り入力モードよりも多い操作コマンドを音声入力により実行可能であるから、拡張入力モードともいえる。ここでは、操作階層が、複数の種別に分類されているため、現在の操作階層に対応する操作コマンドと、現在の操作階層と同じ種別の全操作コマンドまたはその一部とを、音声入力によって実行可能とされている。なお、ガイド無し入力モードにおいては、操作階層との対応関係とは無関係に操作コマンドを実行可能としてもよい。また、ガイド無し入力モードにおいて、操作階層と操作コマンドとの対応関係を利用するのであれば、例えば最上位の操作階層においては、各種別の最上位となる操作階層A00やB00等の全操作コマンドまたはその一部を、音声入力によって実行可能としてもよい。
【0046】
なお、本実施形態においては、操作入力装置10の操作対象として、各種の機器(ここでは車両用機器)が定められており、それら機器によって種別分類がなされている。つまり、ガイド無し入力モードにおいては、現在の操作階層に対応する種別(機器)の全操作コマンドもしくはその一部を、音声入力によって実行できる。ここでは、制御部11に対し、ナビゲーション装置21、オーディオ装置22、エアコン(空調装置)23、パワーウィンドウ装置24等が操作対象とされ、これら装置毎に操作階層が分類されている。
【0047】
また、各操作コマンドには、図9に示すように、ガイド有り入力モードにおいて表示されるガイド画面(音声入力を受け付ける発話内容の全てもしくはその一部を提示(画面表示)する画面)と、同じくガイド有り入力モードにおいて出力されるガイド音声(音声入力を受け付ける発話内容の全てもしくはその一部を提示(音声出力)する音声)のデータが対応付けられている。
【0048】
以下、ガイド無し入力モードとガイド有り入力モードにおける出力音について説明する。
【0049】
図6は、ガイド無し入力モードの設定時において出力される出力音の出力タイミングを示す図である。ガイド無し入力モードが設定されると、まずは直ちに、ガイド無し入力モードの開始音が音声出力部14から出力される。本実施形態においては、「ポーン」等のような電子音(開始音)であり、余計なガイダンス音声は一切出力されない。また、ガイド無し入力モードの開始後、所定の時間が経過してなお音声入力がされていないと、「音声を入力してください」等のような音声入力を促す指示音声が出力される。そして、ガイド無し入力モードの終了時には、「音声入力を終了します」との終了音声(終了音)が出力される。これらの出力音はいずれも必要最小限の音であり、ユーザーに耳障りになり難い。
【0050】
図7は、ガイド有り入力モードの設定時において出力される出力音の出力タイミングを示す図である。ガイド有り入力モードが設定されると、まずは直ちに、ガイド有り入力モードの開始音と共に、ガイド有り入力モードの使用ガイダンス音声が音声出力部14から出力される。本実施形態においては、「ポーン」等のような電子音(開始音)と共に、画面表示された発話内容を音声入力するよう促すガイダンス音声(ガイダンス音)が出力される。さらに、ガイダンス音声として、現操作階層において音声認識部12により認識される操作用発話内容を読み上げてもよい。また、ガイド有り入力モードの開始後、所定の時間が経過してなお音声入力がされていないと、「音声を入力してください」等のような音声入力を促す指示音声(入力指示音)が出力される。このとき再び、画面表示された発話内容を音声入力するよう促したり、現操作階層において音声認識部12により認識される操作用発話内容を読み上げるガイダンス音声(ガイダンス音)を出力してもよい。そして、ガイド有り入力モードの終了時には、「音声入力を終了します」との終了音声(終了音)が出力される。ガイド有り入力モードの設定時における出力音は、ガイド無し入力モード設定時よりも親切な音声案内(ガイド音声)が多い。
【0051】
以下、ガイド無し入力モードとガイド有り入力モードにおいて表示される画面について説明する。
【0052】
図10〜図11は、各操作階層におけるガイド無し入力モード時の操作画面を示すものである。
【0053】
図10は、最上位階層の時の画面表示例であり、ここではナビゲーション装置21の地図画面210が主として表示される一方で、その一部領域(ここでは下側端部)には、音声入力が可能であることを文字やマーク等で示す表示領域200が補助的に存在している。画面上には、音声入力だけでなくユーザーによる接触操作が可能となるよう、タッチ入力が可能な操作画像(アイコン)が表示されている。ここでは、ガイド有り入力モードに切り替える入力モード切替操作画像201と、音声入力を終了する音声入力終了操作画像202が表示されている。なお、これら操作画像201,202と同様の操作は音声入力でも可能である。
【0054】
図11は、図10の画面において「エアコン」という音声入力がなされた場合に遷移する画面の表示例であり、図10より1つ下の操作階層の画面である。ここでも、空調装置23の操作用画面230が主として表示され、音声入力だけでなくユーザーによる接触操作が可能となるよう、タッチ入力が可能な操作画像(アイコン)が画面上に表示されている。一方で、画面の一部領域(ここでは下側端部)には、には、音声入力が可能であることを文字やマーク等で示す表示領域200が補助的に存在している。また、画面上には、音声入力だけでなくユーザーによる接触操作が可能となるよう、タッチ入力が可能な操作画像(アイコン)が表示されている。ここでは、空調操作用画面230上に、エアコンの各種操作を実行するための複数の操作画像(これらは操作階層を下位へと遷移させる階層遷移画像も含まれている)231が表示される。また、画面上には、ガイド有り入力モードに切り替える入力モード切替操作画像201と、音声入力を終了する音声入力終了操作画像202と、さらに操作階層を上に戻る操作画像(階層遷移操作画像)203とが表示されている。なお、これら操作画像201〜203と同様の操作は音声入力でも可能である。
【0055】
図12〜図15は、各操作階層におけるガイド有り入力モード時の操作画面を示すものである。
【0056】
図12は、本実施形態における最上位の操作階層のときにナビゲーション装置21の表示装置4に表示される画面例である。ここでは、画面上に、音声入力が可能であることを文字やマーク等で示す表示領域300と、認識された音声が表示される認識音声表示領域310と、発話内容提示領域320が設けられるとともに、音声入力だけでなくユーザーによる接触操作が可能となるよう、タッチ入力が可能な操作画像(アイコン)301,302が表示されている。発話内容提示領域320には、ナビゲーション装置21、オーディオ装置22、エアコン(空調装置)23、パワーウィンドウ装置24の操作階層(操作画面)へと遷移させる発話内容と、それら機器(装置)の最上位となるA00やB00等の操作階層にて実行可能な操作コマンドに対応する発話内容が、一覧表示されている。また、操作画像として、ここでは、ガイド有り入力モードを中止してガイド無しモードに切り替える入力モード切替操作画像301と、音声入力を終了する音声入力終了操作画像302が表示されている。なお、これら操作画像301,302と同様の操作は音声入力でも可能である。
【0057】
図13は、図12の画面において「ナビ」という音声入力がなされた場合に遷移する画面の表示例であり、図12より1つ下の操作階層の画面である。ここでも、表示領域300,310,320が存在するとともに、操作画像301,302と、さらに操作階層を上に戻る操作画像(階層遷移操作画像)303とが画面上に表示されている。発話内容提示領域320には、現操作階層にて実行可能な操作コマンドに対応する発話内容が、一覧表示されている。そして、これらの発話内容が認識可能となる。また、操作画像として、入力モード切替操作画像301と、音声入力終了操作画像302と、操作階層を上に戻る操作画像(階層遷移操作画像)303とが表示されている。なお、これら操作画像301〜303と同様の操作は音声入力でも可能である。
【0058】
図14は、図13の画面において「目的地検索」という音声入力がなされた場合に遷移する画面の表示例であり、図13より1つ下の操作階層の画面である。ここでも、表示領域300,310,320が存在するとともに、操作画像301,302,303とが画面上に表示されている。発話内容提示領域320には、現操作階層にて実行可能な操作コマンドに対応する発話内容が、一覧表示され、これらの発話内容が認識可能となる。また、操作画像として、入力モード切替操作画像301と、音声入力終了操作画像302と、操作階層を上に戻る操作画像(階層遷移操作画像)303とが表示されており、これらと同様の操作は音声入力でも可能である。
【0059】
図15は、図14の画面において「住所」という音声入力がなされた場合に遷移する画面の表示例であり、図14より1つ下の操作階層の画面である。ここでも、表示領域300,310,320が存在するとともに、操作画像301,302,303とが画面上に表示されている。発話内容提示領域320には、現操作階層にて実行可能な操作コマンドに対応する発話内容が、一覧表示され、これらの発話内容が認識可能となる。また、操作画像として、入力モード切替操作画像301と、音声入力終了操作画像302と、操作階層を上に戻る操作画像(階層遷移操作画像)303とが表示されており、これらと同様の操作は音声入力でも可能である。なお、ここでは、目的地となる地点の住所の音声入力を受け付けており、認識音声表示領域310にはその認識結果が表示される。そして、認識された住所を、目的地としてセットしたり、これを修正したり、その地点を地図表示したりする音声入力が可能となっている。
【0060】
なお、ガイド有り入力モードの設定時において、各操作階層にて実行可能な操作コマンドは、そのときに画面に一覧表示されているもの以外にも存在しており、これらに対応する発話内容も認識可能である。
【0061】
ここで、制御部11が実行する、音声入力モード(ガイド有り入力モードとガイド無し入力モード)の自動設定処理(入力モード設定手段)について、図16を用いて説明する。
【0062】
まずS1にて、制御部11は、音声入力モードをON(音声入力の受け付け可能状態)とするか否かを判定する。ここでは、音声入力開始/終了操作部17に対しユーザーによる所定のON操作がなされたか否かに基づいて判断する。なお、当該操作部17へのON操作だけでなく、外部からの所定のON信号を受け付け、これに基づいて音声入力モードをONとするようにしてもよい。音声入力モードがONと判定された場合にはS2に進み、そうでなければ本処理を終了する。
【0063】
続くS2では、制御部111が、習熟レベルを特定する(習熟レベル特定手段)。ここでは、制御部111が、記憶装置16に記憶された習熟レベル情報(図2参照)を読み出すことにより、習熟レベルを特定する。
【0064】
S3では、制御部11が、特定された習熟レベルに基づいて、ガイド有り入力モードの設定タイミング、即ち、音声入力モードがONとされるに伴い設定されるガイド無し入力モードからガイド有り入力モードへの切替タイミングを特定する。ここでは、記憶装置16に記憶された切替タイミング情報(図2及び図4参照)を読み出すことにより、上記切替タイミングとして、音声入力の開始時点からガイド有り入力モードに切り替えるまでの切替待ち時間Tが決定される。
【0065】
そしてS4では、制御部11が時間カウントを開始する。つまり、音声入力モードをON(音声入力の開始)となってからの時間のカウントを始める。制御部11は、S3で特定された切替待ち時間Tが経過されたと判定されなければガイド無し入力モードを設定し(S5:No→S6)、切替待ち時間Tが経過されたと判定されればガイド有り入力モードを設定する(S5:Yes→S7)。
【0066】
S8では、制御部11が、ガイド無し入力モードあるいはガイド有り入力モードを設定するユーザー操作(ユーザーによるマニュアル操作:図中の入力モード設定操作)があったか否かを判定する。この判定は、図10〜図15等に示す入力モード切替操作画像201,301へのユーザー操作(タッチ入力や音声入力)がなされたか否かに基づいてなされる。当該ユーザー操作が無かったと判定された場合はS9に進む。
【0067】
S9では、制御部11が、音声入力モードをOFFとするか否かを判定する。ここでは、S4で時間カウントが開始されてから所定の時間(音声入力受付時間)を経過した場合、あるいは、音声入力開始/終了操作部17に対しユーザーによる所定のOFF操作がなされたか否かに基づいて判断する。なお、当該操作部17へのOFF操作だけでなく、外部からの所定のOFF信号を受け付け、これに基づいて音声入力モードをOFFとするようにしてもよい。S9にて、制御部11が、音声入力モードをOFFとすると判定した場合には本処理を終了し、OFFとしないと判定した場合にはS5に戻る。
【0068】
S8にて、ガイド無し入力モードあるいはガイド有り入力モードを設定するユーザー操作があったと判定された場合には、制御部11はS10に進んで、当該ユーザー操作に対応する入力モード(ガイド無し入力モード又はガイド有り入力モード)を設定する。そしてS11にて、S4で実行した時間カウントをキャンセルして、再度時間カウントを開始する。
【0069】
S12では、制御部11が、音声入力モードをOFFとするか否かを判定する。ここでは、S11で時間カウントが開始されてから所定の時間(音声入力受付時間)を経過した場合、あるいは、音声入力開始/終了操作部17に対しユーザーによる所定のOFF操作がなされたか否かに基づいて判断する。外部からの所定のOFF信号を受け付けて音声入力モードをOFFしてもよい。S12にて、制御部11が、音声入力モードをOFFとすると判定した場合には本処理を終了し、OFFとしないと判定した場合は、OFFすると判定されるまでS12を繰り返す。
【0070】
なお、本処理は、終了後も所定期間おきに繰り返し実行される。
【0071】
図16の処理によれば、音声入力モードの切り替えがユーザーによる操作(音声入力や操作部への操作)によって実行された場合については、S5〜S8のループから抜け、操作に対応する入力モードが設定される。そして、設定後、所定の音声入力受付時間の経過に伴い音声入力の受け付けが自動終了する。
【0072】
なお、音声入力モードの切り替えがユーザーによる操作(音声入力や操作部への操作)によって実行された場合については、ユーザーが音声入力をすることを表明している状態であるから、当該操作後から音声入力の受け付けが自動終了するまでの音声入力受付時間(S12にて判定基準となる音声入力受付時間)を、当該操作操作がなかった場合の音声入力受付時間(S9にて判定基準となる音声入力受付時間)よりも長くしてもよい。
【0073】
次に、制御部11が実行する、習熟レベル情報の更新処理について、図17を用いて説明する。
【0074】
まずS111にて、図16のS1の判定結果に基づいて、制御部11は、音声入力モードをON(音声入力の受け付け可能状態)とするか否かを判定する。音声入力モードがONと判定された場合にはS112に進み、そうでなければ本処理を終了する。
【0075】
S112では、制御部11が時間カウントを開始する。つまり、図16のS1において、音声入力モードをON(音声入力の開始)と判定されてからの時間のカウントを始める。
【0076】
S113では、図16のS9又はS12の判定結果に基づいて、制御部11が、音声入力モードをOFFとするか否かを判定する。音声入力モードをOFFとする場合にはS114に進み、OFFとしない場合にはS113に戻る。
【0077】
S114及びS115では、制御部11が、記憶装置16に記憶されている習熟レベル情報を更新する。ここでは、S112で時間カウントが開始されてから(即ち、音声入力モードがONとなってから)、図16のS9又はS12にて音声入力モードをOFFとなるまでの時間(習熟レベル更新情報)を算出・取得し、これまで合計してきた音声入力受付時間に加算し(S114)、これを記憶装置16に記憶する(S115)。これによって、習熟レベル情報が更新される。習熟レベル情報が更新されると本処理は終了となる。なお、本処理は、終了後も所定期間おきに繰り返し実行される。
【0078】
次に、制御部11と音声認識部12と主として実行する、音声入力処理について、図18を用いて説明する。
【0079】
まずS101にて、図16のS1と同様、制御部11は、音声入力モードをON(音声入力の受け付け可能状態)とするか否かを判定する。音声入力モードがONと判定された場合にはS2に進み、そうでなければ本処理を終了する。
【0080】
続くS102にて、制御部11は、音声入力可能な発話内容を設定する。ここでは、操作階層によって認識される発話内容が異なるので、制御部11は、記憶装置16に記憶されている、操作階層と操作用発話内容との対応関係を示す情報(操作階層情報(図9)及びコマンドテーブル(図3))に基づいて、現操作階層に対応する操作用発話内容を特定し、音声認識部12に対し、認識すべき操作用発話内容を指示する。一方で、音声認識部12は、制御部11から指示された操作用発話内容を、記憶部12aの照合用音声データから特定する。その上で、S103において、音声入力部13に駆動用電力を投入して、音声入力待ち状態とする。
【0081】
この状態で音声入力があると(S104:Yes)、音声認識部12は、制御部11から指示された操作用発話内容と一致する音声入力があったか否かを特定する(S105)。一致する音声入力があった場合には(S106:Yes)、その発話内容に制御部11に入力し、制御部11は、入力された発話内容に対応する操作コマンドを、記憶装置16に記憶されたコマンドテーブル(図3参照)に基づいて特定し、実行する(S107)。音声入力が無かったり、入力された音声が認識されなかった場合には、S108に進む。
【0082】
S108では、図16のS8と同様、制御部11が、音声入力モードをOFFとするか否かを判定する。音声入力モードをOFFとする場合には本処理を終了し、OFFとしない場合にはS102に戻る。なお、本処理は、終了後も所定期間おきに繰り返し実行される。
【0083】
このように、上記実施形態においては、習熟レベルの高いユーザーほど、ガイド無し入力モードから自動的にガイド有り入力モードに切り替わるタイミングが遅くなる。ガイド有り入力モードに切り替わると、表示装置4の画面は音声入力専用の画面に切り替わって音声入力のためのガイド表示がなされる一方で、ガイド無し入力モード時に表示される地図画面210(図10)や操作用画面230(図11)のような他機能の表示が排除されてしまう。また、ガイド有り入力モードに切り替わると、音声出力部15も、所定のタイミングになると、ガイド無し入力モードでは出力されない、音声入力のためのガイド音声の出力がなされる。つまり、習熟レベルの高いユーザーは、音声入力のためのガイド表示やガイド音声といったガイド出力のタイミングが遅くなるから、ガイド出力による煩わしさを感じ難くなる一方で、習熟レベルの低いユーザーは、そうしたガイド出力が素早く実施されるため、操作に迷ったりすることもない。
【0084】
以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下では、上記実施形態を第一実施形態とし、それとは異なる実施形態について説明する。
【0085】
図19は、本発明の第二実施形態のブロック図を示すものである。なお、共通部分については同じ符号を付することにより説明を略する。
【0086】
第二実施形態においては、上記第一実施形態において習熟レベル切替タイミング情報とに基づいて特定される、ガイド無し入力モードからガイド有り入力モードに切り替える切替タイミングを、予め定められた補正情報に基づいて補正し、補正された切替タイミングにて当該切り替えを実行するよう構成されている。即ち、ユーザーの状況によっては、音声入力の難易度が通常よりも増すこともあるから、そうした音声入力が難しくなる予め定められた状況が特定された時には、習熟レベルによって決定される切替タイミング(切替待ち時間T)が、特定された状況に応じて補正される。
【0087】
また、第二実施形態においては、習熟レベルをユーザー毎に登録している。具体的に言えば、ユーザーがユーザー情報を入力する形で自身の登録処理を行い(ユーザー登録手段)、その結果(ユーザー登録情報)を、図21に示すような形で、制御部11が記憶装置16に記憶している(登録ユーザー情報記憶手段)。さらに、図22に示すように、登録されたユーザー毎に習熟レベル更新情報を取得し、登録されたユーザ毎に習熟レベル情報を制御部11が記憶・更新している(習熟レベル記憶手段)。
【0088】
また、第二実施形態においては、ユーザーが車両のドライバーと定められており、当該ユーザーが運転する車両における予め定められた車両状況を特定するための車両状況情報を、制御部11が車載LAN(通信手段)2を介して外部のECU等の制御部から通信取得する(車両状況情報取得手段)。ここでの予め定められた車両状況とは、例えば車両の交差点接近時や、裏道走行時、通学時間帯走行時等であり、ユーザーである運転者の運転操作の操作負担が通常よりも高くなる状況を、車両が搭載する各種機器の検出部の検出結果である車両状況情報から特定可能とされている。例えば交差点接近時や裏道走行時等を特定する走行位置情報はナビゲーション装置21から取得できる情報であるし、通学時間帯を特定する走行時間帯情報もナビゲーション装置21が有する時刻情報から取得できる情報である。なお、車両状況情報は、上記した補正情報として利用される。ここでは、記憶装置16において、図23に示すように、車両状況情報に基づいて特定される予め定められた車両状況に対し、そのときの音声入力の難易度が反映された補正情報(補正パラメータA)が対応付けられた形で記憶されている。
【0089】
また、第二実施形態においては、ユーザーの予め定められた操作状況を特定するためのユーザー操作情報を、制御部11が車載LAN(通信手段)2を介して外部のECU等の制御部から通信取得する(操作情報取得手段)。ここでの予め定められた操作状況とは、例えば車両のハンドル操作中や、アクセル操作中、ブレーキ操作中等であり、さらには音声入力において住所の入力等の具体的名称の音声入力中等も含まれる。これらは、ユーザーである運転者にとって操作負担が他の操作よりも高い操作であり、車両が搭載する各種装置(アクセル装置、ブレーキ装置、ステアリング装置等)の操作部(アクセルペダル、ブレーキペダル、ハンドル)の操作検出部の検出結果をユーザー操作情報として取得し、取得したユーザー操作情報から制御部11が操作状況を特定する。例えばハンドル操作はハンドルの操舵角検出センサの検出結果から、アクセル操作やブレーキ操作はそれら各ペダルへの踏力を検出する踏力検出センサの検出結果から特定できるし、具体的名称の音声入力はその時の操作階層によって特定できる。なお、ユーザー操作情報は、上記した補正情報として利用される。ここでは、記憶装置16において、図24に示すように、ユーザー操作情報に基づいて特定される予め定められたユーザー操作状況に対し、そのときの音声入力の難易度が反映された補正情報(補正パラメータB)が対応付けられた形で記憶されている。
【0090】
なお、音声入力中に関しては、基本的には、操作階層毎に音声入力の難易度が異なる。入力候補が少なく、予め決められた中から入力するような場合は容易であるし、入力すべき内容を思い出して発しなければならないような場合は難易度が高くなる。このため、記憶装置16において、図25に示すように、各操作階層に対し、各々の階層での音声入力の難易度が反映された補正情報(補正パラメータC)が対応付けられて記憶されている。
【0091】
また、第二実施形態においては、ユーザーの音声入力実績を更新するための音声入力実績更新情報を取得する音声入力実績更新情報取得部19cを有し、これが制御部11に接続されている。ここでの音声入力実績とは、習熟レベル(慣れの度合い)よりもより現実的な音声入力能力を示すパラメータであって、過去の音声入力から特定される音声入力の実力・能力を示す値である。例えば音声入力受付期間の開始から音声入力がなされるまでの平均時間や、音声入力受付期間内において音声入力を成功させた回数という具体的なパラメータとすることができる。ここでは、音声入力実績更新情報取得部19cが取得する音声入力実績更新情報に基づいて、ユーザーの音声入力実績を更新し(音声入力実績更新手段)、更新された音声入力実績を音声入力実績情報として記憶装置16に記憶する(音声入力実績記憶手段)。なお、音声入力実績情報は、上記した補正情報として利用される。ここでは、記憶装置16において、図26に示すように、音声入力実績を反映した補正情報(補正パラメータD)が登録ユーザー毎に対応付けられた形で記憶されている。また、ここでの音声入力実績は、音声入力受付期間の開始から音声入力がなされるまでの平均時間であり、個々の音声入力受付期間の長さ(音声入力受付時間)が声入力実績更新情報であり、音声入力実績更新情報取得部19cは、時間をカウントする計時手段とされている。
【0092】
以下、これらの補正情報を用いた音声入力モード(ガイド有り入力モードとガイド無し入力モード)の自動設定処理(入力モード設定手段)について、図20を用いて説明する。
【0093】
まずT1では、図16のS1と同様、制御部11は、音声入力モードをON(音声入力の受け付け可能状態)とするか否かを判定する。
【0094】
T2では、制御部11が、音声入力装置10を使用するユーザーを特定する(登録ユーザー特定手段)。具体的にいえば、制御部11は、声紋や指紋等の周知のユーザー認識処理や、あるいはユーザー自らが、予め登録されているユーザー情報を指定する操作等を行うことにより、音声入力装置10を利用するユーザーを特定する。
【0095】
T3では、制御部11が、特定されたユーザーの習熟レベルを特定する(習熟レベル特定手段)。ここでは、制御部111が、記憶装置16に記憶された習熟レベル情報(図22参照)を読み出すことにより、T2で特定されたユーザーの習熟レベルを特定する。
【0096】
T4では、制御部11が、特定されたユーザーの習熟レベルに基づいて、ガイド有り入力モードの設定タイミングを特定する。ここでは、記憶装置16に記憶された切替タイミング情報(図4参照)を読み出し、読み出した切替タイミング情報とT3で特定されたユーザーの習熟レベルとに基づいて、切替待ち時間Tが決定される。
【0097】
T5では、制御部11が、切替待ち時間Tを予め定められた補正情報に基づいて補正する。ここでは、補正情報として、補正パラメータA,B,C,D(図23〜図26)が存在する。制御部11は、車両状況情報を取得し、取得した車両状況情報に基づいて、特定されたユーザーが運転する車両における予め定められた車両状況を特定する(車両情報特定手段)。また、制御部11は、ユーザー操作情報を取得し、取得したユーザー操作情報に基づいて、特定されたユーザーが運転する車両における予め定められた車両状況を特定するとともに(車両情報特定手段)、図23の補正情報を参照して、特定された車両状況に対応する補正パラメータAを特定する。また、制御部11は、ユーザー操作情報を取得し、取得したユーザー操作情報に基づいて、特定されたユーザーの操作状況を特定するとともに(操作状況特定手段)、図24の補正情報を参照して、特定された車両状況に対応する補正パラメータBを特定する。また、制御部11は、現在の操作階層を特定するとともに(現操作階層特定手段)、図25の補正情報を参照して、特定された車両状況に対応する補正パラメータCを特定する。また、制御部11は、記憶装置16から音声入力実績情報を読み出し、これに基づいて、特定されたユーザーの音声入力実績を特定するとともに(音声入力実績特定手段)、図26の補正情報を参照して、特定された車両状況に対応する補正パラメータDを特定する。そして、T4で得られた切替待ち時間Tに対し、これら補正パラメータA〜Dを乗じる形で、切替待ち時間Tを補正する。即ち、切替待ち時間T=A×B×C×D×Tとして切替待ち時間Tを算出する。
【0098】
続くT6〜T14は、図16のS4〜S12と同様である。なお、ここでの補正パラメータは、A〜Dのすべてを用いているが、一部のみでもよいし、これらに限られず他の補正パラメータを用いてもよい。
【0099】
以下、上記第一および第二実施形態の変形例について説明する。
【0100】
上記第一および第二実施形態において、切替タイミング情報は、図4に示すように、複数の習熟レベルを離散的に設け、それら各レベルに対し切替待ち時間Tが対応付けられているが、ガイド無し入力モードからガイド有り入力モードへの切替タイミングが、習熟レベルが高くなるほど切替待ち時間Tが長くなっていく連続的な対応関係を有するように定めることもできる。例えば、図27,図28,図29に示すように、習熟レベルが高くなるほど切替待ち時間Tが加速的に増していく(これらの図では二次関数的に増加している)ような対応関係を有するように定めることもできる。また、切替タイミング情報は、図28に示すように、習熟レベルが一定以上となると、切替待ち時間Tが一定となるよう構成できる。また、図29に示すように、習熟レベルが一定以上となると、ガイド有り入力モードへの切り替えを行わないようにしてもよい。
【0101】
上記第一および第二実施形態において、習熟レベルは、ユーザーが発する音声を入力する音声入力部13が音声入力を受け付けている音声入力受付時間の総時間が長いほど、制御部11によって高く特定されるよう構成されているが、習熟レベルは、音声入力受付時間に限らず、少なくとも音声入力受付時間を含んで定められる時間とすることもできる。
【0102】
例えばユーザーが発する音声を入力する音声入力部13を搭載した装置(例えば音声入力装置10)又はシステム(例えば音声入力装置10を備えるナビゲーション装置21やオーディオ装置22、空調装置(エアコン)23、パワーウィンドウ装置24、通信部25,26…、さらにはこれらを搭載した車両システム全体)の駆動時間の総時間の長さが長いほど高く特定されるよう構成することもできる。上記駆動時間は、例えば電源投入時間とすることができる。車両に搭載された装置や車両システム全体についていえば、車両のアクセサリー電源や、イグニッション電源がONとされている時間とすることができる。音声入力受付期間は、その電源ONとされた時間が経過するまでの間であり、その総時間とは、様々なタイミングで実施される音声入力受付期間の合計した時間である。
【0103】
また、習熟レベルは、ユーザーが発する音声を入力する音声入力部13が音声入力の受け付け状態となった総回数が多いほど,制御部11によって高く特定されるよう構成することもできる。また、上記第一および第二実施形態における習熟レベルは、ユーザーが発する音声を入力する音声入力部13を搭載した装置又はシステムが駆動状態となった総回数が多いほど前記習熟レベルを高く特定するよう構成することもできる。これらの構成によれば、音声入力装置に対するユーザーの習熟レベル(慣れの度合い)を、それを含んで構成された装置やシステムを使用した回数や、さらにいえば音声入力の受け付け状態となった回数によって容易に取得することができる。
【0104】
具体的に言えば、上記第一および第二実施形態における図17の習熟レベルの更新処理を、例えば図30,図31,図32のようにすることができる。
【0105】
図30では、まず制御部11が、図17のS111と同様、音声入力モードをON(音声入力の受け付け可能状態)とするか否かを判定し(S121)、音声入力モードがONと判定された場合には、音声入力モードがこれまでONとなった総回数に1を加算し(S122)、これを習熟レベル情報として記憶装置16に記憶する(S123)。
【0106】
図31では、まず制御部11が、音声入力装置10を備える車両システムの主となる駆動電源であるイグニッション電源(IG)がONとされたか否かを判定する(S131)。そして、イグニッション電源がONとされるに伴い、制御部11が時間カウントを開始する(S132)。その後、制御部11が(S131:Yes)、イグニッション電源がOFFとされたか否かを判定する(S133)。なお、イグニッション電源のON/OFFは、制御部11に対し車載LAN2等の通信手段を介して接続する所定のECU(例えばエンジンECU等)から、あるいはイグニッションスイッチ19IG(図27参照)から、イグニッションスイッチ19IGの操作に基づいて入力されるON/OFF信号を受信する形で認識する。その上で、S131で時間カウントが開始されてから(即ち、イグニッション電源がONとなってから)、S133にて時間カウントが終了するまで(イグニッション電源がOFFとなるまで)の時間を、これまで合計してきたイグニッション電源がONとなっていた総時間に加算し(S134)、これを習熟レベル情報として記憶装置16に記憶する(S135)。
【0107】
図32では、まず制御部11が、音声入力装置10に対し駆動電源が投入されたか否かを判定し(S141)、当該駆動電源が投入された場合には(S141:Yes)、音声入力装置10がこれまで起動した総回数に1を加算し(S142)、これを習熟レベル情報として記憶装置16に記憶する(S143)。
【0108】
上記第一および第二実施形態において、音声入力部13と音声認識部12との間に、前段処理部として雑音(騒音)除去回路や自動利得調整回路等を付加した構成としてもよい。
【0109】
上記第一および第二実施形態において、ガイド有り入力モードの設定時には、現在設定されている操作階層が有する操作コマンドに対応する登録済発話内容が提示されるとともに、それら操作コマンドのみが前記音声入力により実行可能となるよう構成してもよい。
【符号の説明】
【0110】
100 操作入力システム(車両用操作入力システム)
10 音声入力装置
11 制御部
12 音声認識部
13 音声入力部
14 音声合成部
15 音声出力部
16 記憶装置
17 音声入力開始/終了操作部
18 習熟レベル更新情報取得部
21 ナビゲーション装置
22 オーディオ装置
23 空調装置
24 パワーウィンドウ装置
25 通信部
26 通信部
4 表示装置
T 切替待ち時間

【特許請求の範囲】
【請求項1】
ユーザーが発する音声が入力され、入力された音声に基づいて操作コマンドを実行する音声入力装置であって、
前記ユーザーの、前記音声の入力に係る習熟レベルを特定する習熟レベル特定手段と、
音声の入力モードを、予め登録された登録済発話内容を前記ユーザーに提示するガイド有り入力モードと、前記登録済発話内容が非提示とされるガイド無し入力モードとを切り替える形で設定する入力モード設定手段と、
を備え、前記入力モード設定手段は、音声入力の入力受け付けが開始されるに伴い設定する前記ガイド無し入力モードを、前記習熟レベル特定手段によって特定される前記習熟レベルが高いほど、前記音声入力の開始時点からより遅いタイミングで前記ガイド有り入力モードに切り替えることを特徴とする音声入力装置。
【請求項2】
前記習熟レベル特定手段は、ユーザーが発する音声を入力する音声入力手段が音声入力を受け付けている音声入力受付時間の総時間が長いほど前記習熟レベルを高く特定するものである請求項1に記載の音声入力装置。
【請求項3】
前記習熟レベル特定手段は、ユーザーが発する音声を入力する音声入力手段が音声入力の受け付け状態となった総回数が多いほど前記習熟レベルを高く特定するものである請求項1に記載の音声入力装置。
【請求項4】
前記音声入力の開始時点から前記ガイド有り入力モードに切り替えるまでの切替待ち時間と、前記習熟レベルとを対応付けた切替タイミング情報を記憶する切替タイミング記憶手段と、
前記入力モード設定手段は、前記切替タイミング情報に基づいて、前記入力モードを切り替えるものである請求項1ないし請求項3のいずれか1項に記載の音声入力装置。
【請求項5】
前記切替タイミング情報は、前記習熟レベルとして複数のレベルを離散的に有し、それら各レベルに対し前記切替待ち時間が対応付けられている請求項4に記載の音声入力装置。
【請求項6】
前記切替タイミング情報は、前記習熟レベルが高くなるほど前記切替待ち時間が長くなっていく連続的な対応関係を有している請求項4に記載の音声入力装置。
【請求項7】
前記切替タイミング情報は、前記習熟レベルが一定レベル以上となると、前記切替待ち時間が一定となる請求項5又は請求項6に記載の音声入力装置。
【請求項8】
前記切替タイミング情報は、前記習熟レベルの最も低いレベルに対し、前記切替待ち時間無しが対応付けられている請求項5ないし請求項7のいずれか1項に記載の音声入力装置。
【請求項9】
ユーザー情報を登録する形でユーザー登録を行うユーザー登録手段と、登録されたユーザーを特定する登録ユーザー特定手段と、登録されたユーザー毎に前記習熟レベルを記憶する習熟レベル記憶手段と、を備え、前記習熟レベル特定手段は、前記登録ユーザー特定手段によって特定されたユーザーの習熟レベルを特定し、前記入力モード設定手段は、特定されたユーザーの習熟レベルと前記切替タイミング情報とに基づいて、前記入力モードを切り替えるものである請求項4ないし請求項8のいずれか1項に記載の音声入力装置。
【請求項10】
前記入力モード設定手段は、前記習熟レベルと前記切替タイミング情報とに基づいて特定される、前記ガイド無し入力モードから前記ガイド有り入力モードに切り替える切替タイミングを、予め定められた補正情報に基づいて補正し、補正された切替タイミングにて当該切り替えを実行するものである請求項4ないし請求項9のいずれか1項に記載の音声入力装置。
【請求項11】
前記ガイド有り入力モードの設定時に前記音声入力により実行可能となる予め決められた1以上の前記操作コマンドを有する操作階層が複数設けられた階層構造を有するとともに、それら操作階層には、操作コマンドとして階層を上下いずれかに遷移させる階層遷移コマンドが設けられ、該階層遷移コマンドの実行を繰り返すことにより、最上位の操作階層から途中に1以上の分岐を経て任意の最下位の操作階層まで遷移可能とされており、前記補正情報が前記操作階層毎に定められている請求項10に記載の音声入力装置。
【請求項12】
前記ユーザーの音声入力実績を特定する音声入力実績特定手段を備え、前記補正情報が前記音声入力実績に応じて定められている請求項10又は請求項11に記載の音声入力装置。
【請求項13】
前記ユーザーの予め定められた操作状況を特定する操作状況特定手段を備え、前記補正情報が前記操作状況毎に定められている請求項10ないし請求項12のいずれか1項に記載の音声入力装置。
【請求項14】
前記ユーザーは車両のドライバーであり、該ユーザーが運転する車両の予め定められた車両状況を特定する車両状況特定手段を備え、前記補正情報が前記車両状況毎に定められている請求項10ないし請求項13のいずれか1項に記載の音声入力装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate


【公開番号】特開2012−230191(P2012−230191A)
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願番号】特願2011−97408(P2011−97408)
【出願日】平成23年4月25日(2011.4.25)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】