車両用対話システム
【課題】 ユーザの感性や好みなどのキャラクタを反映した適切な対話制御が行われる車両用対話システムの提供。
【解決手段】 検出手段は、車両の乗員を検出する。判定手段は、検出された乗員の発話に基づいて該乗員の嗜好を判定する。決定手段は、判定手段により判定された乗員の嗜好に基づいて、対話内容を決定する。制御手段は、決定手段により決定された対話内容に基づき、乗員との対話を制御する。
【解決手段】 検出手段は、車両の乗員を検出する。判定手段は、検出された乗員の発話に基づいて該乗員の嗜好を判定する。決定手段は、判定手段により判定された乗員の嗜好に基づいて、対話内容を決定する。制御手段は、決定手段により決定された対話内容に基づき、乗員との対話を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両におけるカーナビゲーションなどをタスクとする、インタラクティブな対話システムに関する。
【背景技術】
【０００２】
近年、人間と機械が対話することでタスクを達成する対話システムの利用が進んでいる。特に音声による対話システムは、自動車のドライバーのように手が離せない者に対するカーナビゲーションなどのタスクへの応用が期待されている。
【０００３】
【特許文献１】特開２００６−１９５６３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
対話システムにおいては、タスクを効率的に達成するための対話戦略の選択あるいは対話制御が重要である。とりわけ、カーナビゲーションのように、ユーザによって、あるいは、時や場所によって、目的がさまざまに変化するアプリケーションでは、適切な対話戦略の選択あるいは対話制御は非常に難しい。画一的な対話戦略では、あるユーザには満足度は高くても別のユーザには満足度は低いものとなることも多い。
【０００５】
したがって、ユーザの感性や好みなどのキャラクタを反映した適切な対話制御が行われる対話システムが必要とされている。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、車両の乗員を検出する検出手段と、前記検出手段により検出された乗員の発話に基づいて該乗員の嗜好を判定する判定手段と、前記判定手段により判定された前記乗員の嗜好に基づいて、対話内容を決定する決定手段と、前記決定手段により決定された前記対話内容に基づき前記乗員との対話を制御する制御手段とを備えることを特徴とする車両用対話システムが提供される。
【０００７】
この構成によれば、乗員の嗜好を反映した対話処理を実現することができる。
【０００８】
本発明の好適な実施形態によれば、前記乗員の発話を認識する音声認識手段と、前記音声認識手段が認識した音声をテキストに変換し、該テキストを構成する形態素間の文法上の係り受け関係を解析する係り受け解析手段とを更に有し、前記判定手段は、前記係り受け解析手段が解析した前記係り受け関係に基づいて前記乗員の嗜好を判定することが好ましい。
【０００９】
この構成によれば、乗員の嗜好を高精度に判定することができる。
【００１０】
本発明の好適な実施形態によれば、前記乗員の顔画像を認識する顔画像認識手段を更に備え、前記判定手段は、前記顔画像認識手段が認識した前記乗員の顔画像に基づいて前記乗員の嗜好を判定することが好ましい。
【００１１】
この構成によれば、乗員の嗜好を高精度に判定することができる。
【００１２】
本発明の好適な実施形態によれば、前記判定手段で判定された上記乗員の嗜好に関する語彙を蓄積する嗜好データベースと、ネットワークを介して収集した話題データを蓄積する話題データベースとを更に有し、前記決定手段は、前記判定手段の判定結果に応じた語彙を前記嗜好データベースから抽出し、該抽出した語彙に関連する話題を前記話題データベースから抽出することで前記対話内容を決定することが好ましい。
【００１３】
この構成によれば、乗員に対して豊富な話題を提供することができる。
【００１４】
本発明の好適な実施形態によれば、前記嗜好データベースの自己組織化マップを生成し、該自己組織化マップに基づいて乗員の発話コンテンツクラスタを形成する形成手段を更に備え、前記決定手段は、前記発話コンテンツクラスタに基づき対話内容を決定することが好ましい。
【００１５】
この構成によれば、乗員に対して豊富な話題を提供することができる。
【００１６】
本発明の好適な実施形態によれば、前記嗜好データベース及び前記話題データベースは、ネットワークを介して外部機器から転送されるデータを蓄積するように構成されていることが好ましい。
【００１７】
この構成によれば、乗員に対して豊富な話題を提供することができる。
【００１８】
本発明の好適な実施形態によれば、対話内容を優先度に応じて階層的に分類して格納した階層型対話コンテンツデータベースを更に有することが好ましい。また、前記決定手段は、前記判定手段が判定した前記乗員の嗜好に基づいて前記優先度を決定することが好ましい。
【００１９】
この構成によれば、乗員の要望に合った対話を提供することができる。
【００２０】
本発明の好適な実施形態によれば、前記話題データベース及び前記嗜好データベースはそれぞれ、ナビゲーションシステムが提供する目的施設に関連付けられていることが好ましい。
【００２１】
この構成によれば、ナビゲーションシステムを介して、乗員の嗜好、話題に適合した目的施設を選定することができる。
【００２２】
さらには、前記話題データベースは、前記ナビゲーションシステムが提供する路側施設に関連付けられており、前記決定手段は、前記話題データベース及び前記嗜好データベースに基づいて、前記車両の位置に応じた路側施設に関する対話内容を決定することが好ましい。
【００２３】
この構成によれば、自車周辺の施設情報の対話を行うことができる。
【発明の効果】
【００２４】
本発明によれば、ユーザの感性や好みなどのキャラクタを反映した適切な対話制御が行われる対話システムが提供される。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００２６】
図１は、本実施形態における車両用対話システムの構成を示すブロック図である。
【００２７】
車両用対話システムは基本的に、車両にサービスを提供するサービスセンタ１００と、車両に搭載され、ネットワーク１０を介してサービスセンタ１００と通信を行う車載ユニット２００とで構成される。
【００２８】
サービスセンタ１００は、サーバ１０１、ユーザ判定データベース（ＤＢ）１０２、嗜好判定用ＤＢ１０３、ユーザ嗜好ＤＢ１０４、話題ＤＢ１０５、階層型対話コンテンツＤＢ１０６を含む。本実施形態では図示の如く、これらはネットワーク１０を介して相互に通信可能に接続されているが、各ＤＢはサーバ１０１と直接接続される形態やサーバ１０１に内蔵される形態でもよい。また、図示するように、携帯電話２０、パーソナルコンピュータ（ＰＣ）２１、家庭用ロボット２２なども、ネットワーク１０に接続することが可能となっている。
【００２９】
車載ユニット２００において、２０１は乗員（ユーザ）の音声を収集する車室内マイクロホン２０１、２０２は車室内マイクロホン２０１から入力される乗員（ユーザ）の音声を検出する音声検出部２０２である。２０３は、ユーザの顔を含む画像を撮影する車室内カメラ２０３、２０４は車室内カメラ２０３により撮影された画像からユーザの顔画像を検出する画像検出部である。２０５は音声検出部２０２で検出された音声及び画像検出部２０４で検出された顔画像の分析を行うマルチモーダル情報処理部である。
【００３０】
２０６は、マルチモーダル情報処理部２０５での分析結果及びユーザ判定ＤＢ１０２を用いてユーザの判定を行うユーザ判定部である。２０７は嗜好判定用ＤＢ１０３を用いてユーザの嗜好判定処理を行いユーザ嗜好ＤＢ１０４の更新を行うユーザ嗜好判定部、２０８はユーザ嗜好判定部２０７で判定されたユーザの嗜好を分類するユーザ嗜好データ分類部である。
【００３１】
２０９は、ユーザ嗜好ＤＢ１０４に基づいてユーザの発話の対象ワードについて要求度を判定する要求度判定部である。２１０は、要求度判定部２０９の判定結果に基づいてユーザに対する対話プランを生成する対話プランニング部である。２１１は、ＧＰＳを利用するナビゲーション装置２１２で特定される車両の現在位置及び地図データ２１３に基づいて割り込みによる音声出力を行うかどうかを判定する発話割り込み判定部である。
【００３２】
２１４は、対話プランニング部２１０及び発話割り込み判定部２１１の処理結果に従い対話出力を制御する対話出力制御部である。音声合成部２１５は、対話出力制御部２１４からの制御指令に従い音声合成を行いスピーカ２１６を通じて合成音声を出力する。また、画像表示部２１７は、対話出力制御部２１４からの制御指令に従いディスプレイ２１８に画像を表示させる。
【００３３】
図２は、本実施形態における車両用対話システムの処理内容を示すフローチャートである。
【００３４】
まず、サービスセンタ１００におけるサーバ１０１により行われる処理を説明する。
【００３５】
ステップＳ１において、ユーザデータ保存処理が行われる。ここでは、声紋分析に用いられる音声の周波数パターンのデータ及び、顔画像認識に用いられる顔画像の特徴量を、ユーザデータとして、携帯電話２０、ＰＣ２１、家庭用ロボット２２などを通じて、ユーザ別に収集し、ユーザ判定ＤＢ１０２に登録する。
【００３６】
次に、ステップＳ２において、嗜好判定用データ登録処理が行われる。ここでは、嗜好を判定するための感情を表す語彙を、携帯電話２０、ＰＣ２１、家庭用ロボット２２などを通じて、嗜好判定用ＤＢ１０３に登録する。本実施形態では、図６に示すように、嗜好判定用ＤＢ１０３には、嗜好を判定するための感情を表す語彙が、「ポジティブ」と「ネガティブ」に分類されて登録されるものとする。
【００３７】
次に、ステップＳ３において、話題データ分類処理が行われる。この話題データ分類処理の詳細を、図３のフローチャートに示す。
【００３８】
まず、ユーザ嗜好ＤＢ１０４から、「ポジティブ」に分類されている対象ワードを全て読み出す（ステップＳ３１）。「ポジティブ」に分類されている対象ワード（ポジティブワード）がある場合（ステップＳ３２，ＹＥＳ）は、各対象ワードに関連する情報を、例えば公知の検索エンジンを用いてインターネットから抽出し（ステップＳ３３）、抽出された情報の全文を、その対象ワード及び予め定められた大分類に関連付けて話題ＤＢ１０５に記憶する（ステップＳ３４）。
【００３９】
その後、全てのポジティブワードについて処理を行ったかどうかを判定し（ステップＳ３５）、否であれば別のポジティブワードについてステップＳ３３，Ｓ３４の処理を繰り返す。こうして全てのポジティブワードについて処理を終えるとステップＳ３６に進む。また、ステップＳ３２でポジティブワードがなかった場合もそのままステップＳ３６に進む。
【００４０】
ステップＳ３６では、ユーザ嗜好ＤＢ１０４にノーリアクションワードがあるかどうかを判定する。「ノーリアクション」ワードとは、「ポジティブ」にも「ネガティブ」にも分類されていないワードをいう。ノーリアクションワードがユーザ嗜好ＤＢ１０４に含まれていない場合は、そのままこの話題データ分類処理を抜ける。一方、ノーリアクションワードがユーザ嗜好ＤＢ１０４に含まれている場合には、各ノーリアクションワードに関連する情報を、例えば公知の検索エンジンを用いてインターネットから抽出し（ステップＳ３７）、抽出された情報の要約文を、そのノーリアクションワード及び上記大分類に関連付けて話題ＤＢ１０５に記憶する（ステップＳ３８）。
【００４１】
その後、全てのノーリアクションワードについて処理を行ったかどうかを判定し（ステップＳ３９）、否であれば別のノーリアクションワードについて上記のステップＳ３７，Ｓ３８の処理を繰り返す。こうして全てのノーリアクションワードについて処理を終えると、この話題データ分類処理を抜ける。
【００４２】
このステップＳ３の話題データ分類処理で生成された話題ＤＢ１０５の一例を図４に示す。各話題は、「スポーツ」、「施設」、「食事」といった大分類に分類されている。なお、そして、「サッカー」がポジティブワードである場合には、サッカー関連の情報が全文で登録されている。一方、「野球」がノーリアクションワードである場合には、野球関連の情報が要約で登録されている。
【００４３】
次に、説明を図２のフローチャートに戻して、車載ユニット２００により行われる処理を説明する。
【００４４】
まず、音声検出部２０２が、車室内マイクロホン２０１に入力されたユーザの発話を検出する（ステップＳ４）とともに、画像検出部２０４が、車室内カメラ２０３で撮像された画像からユーザの顔画像を検出する（ステップＳ５）。その後、マルチモーダル情報処理部２０５が、ステップＳ４で検出された音声から、声紋分析に用いられる音声の周波数パターンのデータを算出するとともに、ステップＳ５で検出された顔画像データから、顔画像認識に用いられる顔画像の特徴量を算出する（ステップＳ６）。そして、ユーザ判定部２０６が、ステップＳ５で算出された音声の周波数パターンのデータ及び顔画像の特徴量を、ユーザ判定ＤＢ１０２に記憶されているデータと比較照合することでユーザを判定する（ステップＳ７）。すなわち、ステップＳ６及びＳ７では音声認識及び顔画像認識を行っている。
【００４５】
次に、ユーザ嗜好判定部２０７が、ステップＳ７で判定されたユーザの嗜好判定処理を行う（ステップＳ８）。ユーザ嗜好判定処理の一例に係るフローチャートを、図５に示す。
【００４６】
まず、音声認識によって得られたユーザ発話のテキストに対し形態素解析を行い、その結果から嗜好判定用ＤＢ１０３に登録されているワードをキーワード（対象ワード）として抽出する（ステップＳ８１）。次に、係り受け解析を行って、抽出されたキーワードとその評価表現語との組である係り受け組を抽出する（ステップＳ８２）。なお、上記の形態素解析及び係り受け解析は自然言語処理の分野で公知の技術を利用すればよい。
【００４７】
次に、ステップＳ８２で得られた評価表現語が嗜好判定用ＤＢ１０３において何に分類されているのかを判定する（ステップＳ８３〜Ｓ８８）。ここでは、後の処理のために、評価表現語が「ポジティブ」の場合はその対象ワードに要求度ポイント（評価値）として２が与えられる。他方、評価表現語が「ノーリアクション」の場合はその対象ワードに要求度ポイントとして１が与えられ、「ネガティブ」の場合はその対象ワードに要求度ポイントとして０が与えられる。
【００４８】
そして、対象ワードと上記判定結果を、ユーザ嗜好ＤＢ１０４に登録する（ステップＳ８９）。例えば、図６に示すように、ユーザの発話が「昨夜、食事をしながら、野球の試合を見たけど、サッカーが面白い」であった場合、ユーザ嗜好ＤＢ１０４には、対象ワードとその評価表現語との組である係り受け組として抽出される、
「食事」→「する」、
「野球」→「見た」、
「サッカー」→「面白い」
が、その評価値（ポジティブ、ネガティブ、ノーリアクション）と共に登録される。具体的には、この場合の評価値として、対象ワード「食事」及び「野球」には１が、「サッカー」には２が与えられる。
【００４９】
このとき、図６に示すように、各係り受け組の属性情報として、対象ワードが発話された際の会話の中で使用される関連語も併せて登録するとよい。
【００５０】
図７及び図８は、ユーザ嗜好判定処理の別の例を示す図である。
【００５１】
この別の例では、嗜好判定用ＤＢ１０３には、嗜好を判定するための感情を表す語彙ではなく、図８に示すように、嗜好を判定するための感情を表す顔の表情のデータが登録される。
【００５２】
まず、音声認識によって得られたユーザ発話のテキストに対し形態素解析を行い、その結果から嗜好判定用ＤＢ１０３に登録されているワードをキーワード（対象ワード）として抽出する（ステップＳ８１１）。次に、その発話時におけるユーザの顔の表情を検出する（ステップＳ８１２）。
【００５３】
そして、ステップＳ８１２で得られた表情が、嗜好判定用ＤＢ１０３において何に分類されているのかを判定する（ステップＳ８１３〜Ｓ８１８）。ここでは、上記の例と同様に、後の処理のために、その評価表現語が「ポジティブ」の場合は要求度ポイントとして２が与えられる。他方、その評価表現語が「ノーリアクション」の場合は要求度ポイントとして１が、「ネガティブ」の場合は要求度ポイントとして０が与えられる。
【００５４】
そして、対象ワードと上記判定結果を、ユーザ嗜好ＤＢ１０４に登録する（ステップＳ８１９）。
【００５５】
以上が、ステップＳ８におけるユーザ嗜好判定処理の例である。
【００５６】
次に、ユーザ嗜好データ分類部２０８がユーザ嗜好データ分類処理を行う（ステップＳ９）。このユーザ嗜好データ分類処理では、例えば、図９に示すように、ユーザ嗜好ＤＢに追加されるワード対象抽出が行われ（ステップＳ９１）、自己組織化マップ学習用データに変換される（ステップＳ９２）。ステップＳ９２で得られた自己組織化マップ学習用データを用いて、後述する自己組織化マップ学習によるワード分類処理を行い（ステップＳ９３）、さらに、大分類＆中分類クラスの抽出処理が行われる（ステップＳ９４）。
【００５７】
図１０、図１１に、ステップＳ９３の自己組織化マップ学習によるワード分類処理の内容を示す。
【００５８】
まず、対象ワードの属性情報の関連度を入力ベクトルＸｊとする（ステップＳ９３１）。次に、入力ベクトルＸｊと最も良く一致する参照ベクトルｍｃ（ｔ）を持つ勝利ノードｃを、式１に従って探索する（ステップＳ９３２）。
【００５９】
【００６０】
この勝利ノードｃとその近傍ノードｉを式２に従って更新する。これをすべての入力信号ｘ１，…，ｘｍに対して行う。学習（更新回数）を進めるに従い、学習の範囲と大きさを減らし、収束させる。
【００６１】
【００６２】
この式は、１層のニューラルネットワークを意味している。学習（更新回数）を進めるに従い、近傍サイズσと学習率係数αの値を減らしていくが、その代表的なものを式３、式４、式５に示す。
【００６３】
【００６４】
そして、対象ワードが、この勝利ノードｃの分類に属すると判定する（ステップＳ９３３）。
【００６５】
図１２の（ａ）に、ステップＳ９３の自己組織化マップによるワード分類処理結果を、近傍ノードを六角（Hexagon）に設定した場合の例で示す。この例によれば、スポーツ、食事、情報、エンターテインメントの４つの大分類と、スポーツの大分類下にサッカー日本代表、サッカーＪリーグ、野球メジャーリーグ、野球国内リーグの４つの中分類に処理されていることがわかる。
【００６６】
次に、この学習後の自己組織化マップに未知データｘｐが入力された場合について説明する。入力データに対する学習が終了すると、各ノードの出力状態（参照ベクトル）ｍｉ（Ｔ）は一定となる。すなわち、各ノードの特性は参照ベクトルｍｉ（Ｔ）で表現される。この学習後の自己組織化マップに未知データｘｐが入力された場合は、式６に従い、自己組織化マップ上の未知データが属するノードｑが算出される。
【００６７】
【００６８】
例えば、図１２の（ｂ）に示すように、「走る」ワードに関する未知データが入力されれば、関連する大分類・中分類クラスが関連度の度合いで判定されることとなる。さらに、ユーザ嗜好の特徴においても、この学習後の自己組織化マップ上で、判定可能である。例えば、図１２の（ｃ）に示すように、Ａさんは、スポーツに対してポジティブ、エンターテインメントに対してネガティブであり、Ｂさんは観光に対してポジティブ、スポーツに対してネガティブなユーザ嗜好の特徴の判定結果を示している。
【００６９】
次にステップＳ９４における大分類＆中分類抽出処理を図１３に示す。まず、大分類＆中分類クラスの抽出を行い（ステップＳ９４１）、大分類＆中分類クラスをユーザ嗜好ＤＢに追加する（ステップＳ９４２）。その例を図１４に示す。
【００７０】
次に、要求度判定部２０９が要求度判定処理を行う（ステップＳ１０）。この要求度判定処理のフローチャートを、図１５に示す。
【００７１】
はじめに、ユーザの発話の対象ワードについて、ステップＳ８のユーザ嗜好判定処理の結果を抽出する（ステップＳ１０１）。図６に示した例の場合、ユーザの発話が「昨夜、食事をしながら、野球の試合を見たけど、サッカーが面白い」に対して、評価値として、対象ワード「食事」及び「野球」には１が、「サッカー」には２が与えられており、これらが抽出される。
【００７２】
次に、そのユーザ発話の対象ワードの大分類ごとの要求度ポイントの合計値を算出する（ステップＳ１０２）。具体的には、上記の例において、大分類「スポーツ」は、「野球」１＋「サッカー」２＝３、大分類「食事」は１、大分類「施設」は０となる。
【００７３】
そして、ステップＳ１０２で求められた要求度ポイントに応じて、大分類の要求優先度を算出する。上記の例の場合、要求優先度は高い順に「スポーツ」、「食事」、「施設」となる。
【００７４】
次に、対話プランニング部２１０が対話プランニング処理を行う。図１６に、この対話プランニング処理の一例を示す。
【００７５】
はじめに、最上位の要求優先度の大分類を選択し（ステップＳ１１１）、選択された大分類に対応するユーザ嗜好ＤＢ１０４の語彙を抽出する（ステップＳ１１２）。
【００７６】
ステップＳ１１２で抽出された語彙にポジティブワードが含まれるかどうかを判定し（ステップＳ１１３）、ポジティブワードが含まれる場合には、そのポジティブワードに関係付けられる話題ＤＢ１０５に蓄積された話題の全文を抽出する（ステップＳ１１４）。一方、ステップＳ１１２で抽出された語彙にポジティブワードが含まれない場合は、ステップＳ１１２で抽出された語彙にノーリアクションワードが含まれるか否かを判定し（ステップＳ１１５）、ノーリアクションワードが含まれる場合にはそのノーリアクションワードに関係付けられる話題ＤＢ１０５に蓄積された話題の要約を抽出する（ステップＳ１１６）。
【００７７】
ステップＳ１１４又はステップＳ１１６で抽出された話題の全文又は要約は、階層型対話コンテンツＤＢ１０６に格納される（ステップＳ１１７）。
【００７８】
そして、全ての大分類の処理が終了したかを判断し（ステップＳ１１８）、まだ全ての大分類の処理が終了していなければ、次に高い優先度の大分類を選択して（ステップＳ１１９）、ステップＳ１１２に戻って処理を繰り返す。
【００７９】
このようにして作成された階層型対話コンテンツＤＢ１０６の一例を図１７に示す。
【００８０】
次に、発話割り込み判定部２１１が、発話割り込み判定処理を行う。この発話割り込み判定処理の内容を、図１８に示す。
【００８１】
まず、ナビゲーション装置２１２から供給されるデータに基づいて車両の走行位置を検出する（ステップＳ１２１）。次いで、地図データ２１３を用いて、ステップＳ１２１で検出された車両の走行位置から所定距離内の路側施設を抽出する（ステップＳ１２２）。次に、ステップＳ１２２で抽出された路側施設から更に、ユーザ嗜好ＤＢ１０４にポジティブ又はノーリアクションとして登録されている路側施設を抽出する（ステップＳ１２３）。
【００８２】
そして、ステップＳ１２３で抽出された路側施設がある場合には（ステップＳ１２４，ＹＥＳ）、対話出力制御部２１４を通じて、その路側施設の情報を、ユーザの興味ある情報として、割り込みにより音声又は画像にて出力する（ステップＳ１２５）。
【００８３】
一方、ステップＳ１２３で抽出された路側施設がなければ（ステップＳ１２４，ＮＯ）、対話出力制御部２１４を通じて、階層型対話コンテンツＤＢ１０６により、優先度に基づく音声又は画像の出力を行う（ステップＳ１２６）。具体的には、ここでは、優先度が最上位のポジティブワードについては全文による情報提示がされ、ノーリアクションワードについては要約による情報提示がされることになる。
【図面の簡単な説明】
【００８４】
【図１】実施形態における車両用対話システムの構成を示すブロック図である。
【図２】実施形態における車両用対話システムの処理内容を示すフローチャートである。
【図３】実施形態におけるサービスセンタのサーバによる話題データ分類処理を示すフローチャートである。
【図４】実施形態における話題ＤＢの一例を模式的に示す図である。
【図５】実施形態におけるユーザ嗜好判定処理の一例を示すフローチャートである。
【図６】実施形態におけるユーザ嗜好判定処理の一例を説明する図である。
【図７】実施形態におけるユーザ嗜好判定処理の別の例を示すフローチャートである。
【図８】実施形態におけるユーザ嗜好判定処理の別の例を説明する図である。
【図９】実施形態におけるユーザ嗜好判定処理の一例を示すフローチャートである。
【図１０】実施形態における自己組織化マップによるワード分類処理の一例を示すフローチャートである。
【図１１】実施形態における自己組織化マップによるワード分類処理の一例を説明する図である。
【図１２】実施形態における自己組織化マップによるワード分類処理結果の一例を説明する図である。
【図１３】実施形態における大分類＆中分類クラスの抽出処理の一例を示すフローチャートである。
【図１４】実施形態における自己組織化マップによるワード分類処理後のユーザ嗜好ＤＢの一例を説明する図である。
【図１５】実施形態における要求度判定処理の一例を示すフローチャートである。
【図１６】実施形態における対話プランニング処理の一例を示すフローチャートである。
【図１７】実施形態における階層型対話コンテンツＤＢの一例を示す図である。
【図１８】実施形態における発話割り込み判定処理の一例を示すフローチャートである。
【符号の説明】
【００８５】
１０：ネットワーク
２０：携帯電話
２１：パーソナルコンピュータ
２２：家庭用ロボット
１００：サービスセンタ
１０１：サーバ
１０２：ユーザ判定ＤＢ
１０３：嗜好判定用ＤＢ
１０４：ユーザ嗜好ＤＢ
１０５：話題ＤＢ
１０６：階層型対話コンテンツＤＢ
２００：車載ユニット
２０１：車室内マイクロホン
２０２：音声検出部
２０３：車室内カメラ
２０４：画像検出部
２０５：マルチモーダル情報処理部
２０６：ユーザ判定部
２０７：ユーザ嗜好判定部
２０８：ユーザ嗜好データ分類部
２０９：要求度判定部
２１０：対話プランニング部
２１１：発話割り込み判定部
２１２：ナビゲーション装置
２１３：地図データ
２１４：対話出力制御部
２１５：音声合成部
２１６：スピーカ
２１７：画像表示部
２１８：ディスプレイ
【技術分野】
【０００１】
本発明は、車両におけるカーナビゲーションなどをタスクとする、インタラクティブな対話システムに関する。
【背景技術】
【０００２】
近年、人間と機械が対話することでタスクを達成する対話システムの利用が進んでいる。特に音声による対話システムは、自動車のドライバーのように手が離せない者に対するカーナビゲーションなどのタスクへの応用が期待されている。
【０００３】
【特許文献１】特開２００６−１９５６３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
対話システムにおいては、タスクを効率的に達成するための対話戦略の選択あるいは対話制御が重要である。とりわけ、カーナビゲーションのように、ユーザによって、あるいは、時や場所によって、目的がさまざまに変化するアプリケーションでは、適切な対話戦略の選択あるいは対話制御は非常に難しい。画一的な対話戦略では、あるユーザには満足度は高くても別のユーザには満足度は低いものとなることも多い。
【０００５】
したがって、ユーザの感性や好みなどのキャラクタを反映した適切な対話制御が行われる対話システムが必要とされている。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、車両の乗員を検出する検出手段と、前記検出手段により検出された乗員の発話に基づいて該乗員の嗜好を判定する判定手段と、前記判定手段により判定された前記乗員の嗜好に基づいて、対話内容を決定する決定手段と、前記決定手段により決定された前記対話内容に基づき前記乗員との対話を制御する制御手段とを備えることを特徴とする車両用対話システムが提供される。
【０００７】
この構成によれば、乗員の嗜好を反映した対話処理を実現することができる。
【０００８】
本発明の好適な実施形態によれば、前記乗員の発話を認識する音声認識手段と、前記音声認識手段が認識した音声をテキストに変換し、該テキストを構成する形態素間の文法上の係り受け関係を解析する係り受け解析手段とを更に有し、前記判定手段は、前記係り受け解析手段が解析した前記係り受け関係に基づいて前記乗員の嗜好を判定することが好ましい。
【０００９】
この構成によれば、乗員の嗜好を高精度に判定することができる。
【００１０】
本発明の好適な実施形態によれば、前記乗員の顔画像を認識する顔画像認識手段を更に備え、前記判定手段は、前記顔画像認識手段が認識した前記乗員の顔画像に基づいて前記乗員の嗜好を判定することが好ましい。
【００１１】
この構成によれば、乗員の嗜好を高精度に判定することができる。
【００１２】
本発明の好適な実施形態によれば、前記判定手段で判定された上記乗員の嗜好に関する語彙を蓄積する嗜好データベースと、ネットワークを介して収集した話題データを蓄積する話題データベースとを更に有し、前記決定手段は、前記判定手段の判定結果に応じた語彙を前記嗜好データベースから抽出し、該抽出した語彙に関連する話題を前記話題データベースから抽出することで前記対話内容を決定することが好ましい。
【００１３】
この構成によれば、乗員に対して豊富な話題を提供することができる。
【００１４】
本発明の好適な実施形態によれば、前記嗜好データベースの自己組織化マップを生成し、該自己組織化マップに基づいて乗員の発話コンテンツクラスタを形成する形成手段を更に備え、前記決定手段は、前記発話コンテンツクラスタに基づき対話内容を決定することが好ましい。
【００１５】
この構成によれば、乗員に対して豊富な話題を提供することができる。
【００１６】
本発明の好適な実施形態によれば、前記嗜好データベース及び前記話題データベースは、ネットワークを介して外部機器から転送されるデータを蓄積するように構成されていることが好ましい。
【００１７】
この構成によれば、乗員に対して豊富な話題を提供することができる。
【００１８】
本発明の好適な実施形態によれば、対話内容を優先度に応じて階層的に分類して格納した階層型対話コンテンツデータベースを更に有することが好ましい。また、前記決定手段は、前記判定手段が判定した前記乗員の嗜好に基づいて前記優先度を決定することが好ましい。
【００１９】
この構成によれば、乗員の要望に合った対話を提供することができる。
【００２０】
本発明の好適な実施形態によれば、前記話題データベース及び前記嗜好データベースはそれぞれ、ナビゲーションシステムが提供する目的施設に関連付けられていることが好ましい。
【００２１】
この構成によれば、ナビゲーションシステムを介して、乗員の嗜好、話題に適合した目的施設を選定することができる。
【００２２】
さらには、前記話題データベースは、前記ナビゲーションシステムが提供する路側施設に関連付けられており、前記決定手段は、前記話題データベース及び前記嗜好データベースに基づいて、前記車両の位置に応じた路側施設に関する対話内容を決定することが好ましい。
【００２３】
この構成によれば、自車周辺の施設情報の対話を行うことができる。
【発明の効果】
【００２４】
本発明によれば、ユーザの感性や好みなどのキャラクタを反映した適切な対話制御が行われる対話システムが提供される。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００２６】
図１は、本実施形態における車両用対話システムの構成を示すブロック図である。
【００２７】
車両用対話システムは基本的に、車両にサービスを提供するサービスセンタ１００と、車両に搭載され、ネットワーク１０を介してサービスセンタ１００と通信を行う車載ユニット２００とで構成される。
【００２８】
サービスセンタ１００は、サーバ１０１、ユーザ判定データベース（ＤＢ）１０２、嗜好判定用ＤＢ１０３、ユーザ嗜好ＤＢ１０４、話題ＤＢ１０５、階層型対話コンテンツＤＢ１０６を含む。本実施形態では図示の如く、これらはネットワーク１０を介して相互に通信可能に接続されているが、各ＤＢはサーバ１０１と直接接続される形態やサーバ１０１に内蔵される形態でもよい。また、図示するように、携帯電話２０、パーソナルコンピュータ（ＰＣ）２１、家庭用ロボット２２なども、ネットワーク１０に接続することが可能となっている。
【００２９】
車載ユニット２００において、２０１は乗員（ユーザ）の音声を収集する車室内マイクロホン２０１、２０２は車室内マイクロホン２０１から入力される乗員（ユーザ）の音声を検出する音声検出部２０２である。２０３は、ユーザの顔を含む画像を撮影する車室内カメラ２０３、２０４は車室内カメラ２０３により撮影された画像からユーザの顔画像を検出する画像検出部である。２０５は音声検出部２０２で検出された音声及び画像検出部２０４で検出された顔画像の分析を行うマルチモーダル情報処理部である。
【００３０】
２０６は、マルチモーダル情報処理部２０５での分析結果及びユーザ判定ＤＢ１０２を用いてユーザの判定を行うユーザ判定部である。２０７は嗜好判定用ＤＢ１０３を用いてユーザの嗜好判定処理を行いユーザ嗜好ＤＢ１０４の更新を行うユーザ嗜好判定部、２０８はユーザ嗜好判定部２０７で判定されたユーザの嗜好を分類するユーザ嗜好データ分類部である。
【００３１】
２０９は、ユーザ嗜好ＤＢ１０４に基づいてユーザの発話の対象ワードについて要求度を判定する要求度判定部である。２１０は、要求度判定部２０９の判定結果に基づいてユーザに対する対話プランを生成する対話プランニング部である。２１１は、ＧＰＳを利用するナビゲーション装置２１２で特定される車両の現在位置及び地図データ２１３に基づいて割り込みによる音声出力を行うかどうかを判定する発話割り込み判定部である。
【００３２】
２１４は、対話プランニング部２１０及び発話割り込み判定部２１１の処理結果に従い対話出力を制御する対話出力制御部である。音声合成部２１５は、対話出力制御部２１４からの制御指令に従い音声合成を行いスピーカ２１６を通じて合成音声を出力する。また、画像表示部２１７は、対話出力制御部２１４からの制御指令に従いディスプレイ２１８に画像を表示させる。
【００３３】
図２は、本実施形態における車両用対話システムの処理内容を示すフローチャートである。
【００３４】
まず、サービスセンタ１００におけるサーバ１０１により行われる処理を説明する。
【００３５】
ステップＳ１において、ユーザデータ保存処理が行われる。ここでは、声紋分析に用いられる音声の周波数パターンのデータ及び、顔画像認識に用いられる顔画像の特徴量を、ユーザデータとして、携帯電話２０、ＰＣ２１、家庭用ロボット２２などを通じて、ユーザ別に収集し、ユーザ判定ＤＢ１０２に登録する。
【００３６】
次に、ステップＳ２において、嗜好判定用データ登録処理が行われる。ここでは、嗜好を判定するための感情を表す語彙を、携帯電話２０、ＰＣ２１、家庭用ロボット２２などを通じて、嗜好判定用ＤＢ１０３に登録する。本実施形態では、図６に示すように、嗜好判定用ＤＢ１０３には、嗜好を判定するための感情を表す語彙が、「ポジティブ」と「ネガティブ」に分類されて登録されるものとする。
【００３７】
次に、ステップＳ３において、話題データ分類処理が行われる。この話題データ分類処理の詳細を、図３のフローチャートに示す。
【００３８】
まず、ユーザ嗜好ＤＢ１０４から、「ポジティブ」に分類されている対象ワードを全て読み出す（ステップＳ３１）。「ポジティブ」に分類されている対象ワード（ポジティブワード）がある場合（ステップＳ３２，ＹＥＳ）は、各対象ワードに関連する情報を、例えば公知の検索エンジンを用いてインターネットから抽出し（ステップＳ３３）、抽出された情報の全文を、その対象ワード及び予め定められた大分類に関連付けて話題ＤＢ１０５に記憶する（ステップＳ３４）。
【００３９】
その後、全てのポジティブワードについて処理を行ったかどうかを判定し（ステップＳ３５）、否であれば別のポジティブワードについてステップＳ３３，Ｓ３４の処理を繰り返す。こうして全てのポジティブワードについて処理を終えるとステップＳ３６に進む。また、ステップＳ３２でポジティブワードがなかった場合もそのままステップＳ３６に進む。
【００４０】
ステップＳ３６では、ユーザ嗜好ＤＢ１０４にノーリアクションワードがあるかどうかを判定する。「ノーリアクション」ワードとは、「ポジティブ」にも「ネガティブ」にも分類されていないワードをいう。ノーリアクションワードがユーザ嗜好ＤＢ１０４に含まれていない場合は、そのままこの話題データ分類処理を抜ける。一方、ノーリアクションワードがユーザ嗜好ＤＢ１０４に含まれている場合には、各ノーリアクションワードに関連する情報を、例えば公知の検索エンジンを用いてインターネットから抽出し（ステップＳ３７）、抽出された情報の要約文を、そのノーリアクションワード及び上記大分類に関連付けて話題ＤＢ１０５に記憶する（ステップＳ３８）。
【００４１】
その後、全てのノーリアクションワードについて処理を行ったかどうかを判定し（ステップＳ３９）、否であれば別のノーリアクションワードについて上記のステップＳ３７，Ｓ３８の処理を繰り返す。こうして全てのノーリアクションワードについて処理を終えると、この話題データ分類処理を抜ける。
【００４２】
このステップＳ３の話題データ分類処理で生成された話題ＤＢ１０５の一例を図４に示す。各話題は、「スポーツ」、「施設」、「食事」といった大分類に分類されている。なお、そして、「サッカー」がポジティブワードである場合には、サッカー関連の情報が全文で登録されている。一方、「野球」がノーリアクションワードである場合には、野球関連の情報が要約で登録されている。
【００４３】
次に、説明を図２のフローチャートに戻して、車載ユニット２００により行われる処理を説明する。
【００４４】
まず、音声検出部２０２が、車室内マイクロホン２０１に入力されたユーザの発話を検出する（ステップＳ４）とともに、画像検出部２０４が、車室内カメラ２０３で撮像された画像からユーザの顔画像を検出する（ステップＳ５）。その後、マルチモーダル情報処理部２０５が、ステップＳ４で検出された音声から、声紋分析に用いられる音声の周波数パターンのデータを算出するとともに、ステップＳ５で検出された顔画像データから、顔画像認識に用いられる顔画像の特徴量を算出する（ステップＳ６）。そして、ユーザ判定部２０６が、ステップＳ５で算出された音声の周波数パターンのデータ及び顔画像の特徴量を、ユーザ判定ＤＢ１０２に記憶されているデータと比較照合することでユーザを判定する（ステップＳ７）。すなわち、ステップＳ６及びＳ７では音声認識及び顔画像認識を行っている。
【００４５】
次に、ユーザ嗜好判定部２０７が、ステップＳ７で判定されたユーザの嗜好判定処理を行う（ステップＳ８）。ユーザ嗜好判定処理の一例に係るフローチャートを、図５に示す。
【００４６】
まず、音声認識によって得られたユーザ発話のテキストに対し形態素解析を行い、その結果から嗜好判定用ＤＢ１０３に登録されているワードをキーワード（対象ワード）として抽出する（ステップＳ８１）。次に、係り受け解析を行って、抽出されたキーワードとその評価表現語との組である係り受け組を抽出する（ステップＳ８２）。なお、上記の形態素解析及び係り受け解析は自然言語処理の分野で公知の技術を利用すればよい。
【００４７】
次に、ステップＳ８２で得られた評価表現語が嗜好判定用ＤＢ１０３において何に分類されているのかを判定する（ステップＳ８３〜Ｓ８８）。ここでは、後の処理のために、評価表現語が「ポジティブ」の場合はその対象ワードに要求度ポイント（評価値）として２が与えられる。他方、評価表現語が「ノーリアクション」の場合はその対象ワードに要求度ポイントとして１が与えられ、「ネガティブ」の場合はその対象ワードに要求度ポイントとして０が与えられる。
【００４８】
そして、対象ワードと上記判定結果を、ユーザ嗜好ＤＢ１０４に登録する（ステップＳ８９）。例えば、図６に示すように、ユーザの発話が「昨夜、食事をしながら、野球の試合を見たけど、サッカーが面白い」であった場合、ユーザ嗜好ＤＢ１０４には、対象ワードとその評価表現語との組である係り受け組として抽出される、
「食事」→「する」、
「野球」→「見た」、
「サッカー」→「面白い」
が、その評価値（ポジティブ、ネガティブ、ノーリアクション）と共に登録される。具体的には、この場合の評価値として、対象ワード「食事」及び「野球」には１が、「サッカー」には２が与えられる。
【００４９】
このとき、図６に示すように、各係り受け組の属性情報として、対象ワードが発話された際の会話の中で使用される関連語も併せて登録するとよい。
【００５０】
図７及び図８は、ユーザ嗜好判定処理の別の例を示す図である。
【００５１】
この別の例では、嗜好判定用ＤＢ１０３には、嗜好を判定するための感情を表す語彙ではなく、図８に示すように、嗜好を判定するための感情を表す顔の表情のデータが登録される。
【００５２】
まず、音声認識によって得られたユーザ発話のテキストに対し形態素解析を行い、その結果から嗜好判定用ＤＢ１０３に登録されているワードをキーワード（対象ワード）として抽出する（ステップＳ８１１）。次に、その発話時におけるユーザの顔の表情を検出する（ステップＳ８１２）。
【００５３】
そして、ステップＳ８１２で得られた表情が、嗜好判定用ＤＢ１０３において何に分類されているのかを判定する（ステップＳ８１３〜Ｓ８１８）。ここでは、上記の例と同様に、後の処理のために、その評価表現語が「ポジティブ」の場合は要求度ポイントとして２が与えられる。他方、その評価表現語が「ノーリアクション」の場合は要求度ポイントとして１が、「ネガティブ」の場合は要求度ポイントとして０が与えられる。
【００５４】
そして、対象ワードと上記判定結果を、ユーザ嗜好ＤＢ１０４に登録する（ステップＳ８１９）。
【００５５】
以上が、ステップＳ８におけるユーザ嗜好判定処理の例である。
【００５６】
次に、ユーザ嗜好データ分類部２０８がユーザ嗜好データ分類処理を行う（ステップＳ９）。このユーザ嗜好データ分類処理では、例えば、図９に示すように、ユーザ嗜好ＤＢに追加されるワード対象抽出が行われ（ステップＳ９１）、自己組織化マップ学習用データに変換される（ステップＳ９２）。ステップＳ９２で得られた自己組織化マップ学習用データを用いて、後述する自己組織化マップ学習によるワード分類処理を行い（ステップＳ９３）、さらに、大分類＆中分類クラスの抽出処理が行われる（ステップＳ９４）。
【００５７】
図１０、図１１に、ステップＳ９３の自己組織化マップ学習によるワード分類処理の内容を示す。
【００５８】
まず、対象ワードの属性情報の関連度を入力ベクトルＸｊとする（ステップＳ９３１）。次に、入力ベクトルＸｊと最も良く一致する参照ベクトルｍｃ（ｔ）を持つ勝利ノードｃを、式１に従って探索する（ステップＳ９３２）。
【００５９】
【００６０】
この勝利ノードｃとその近傍ノードｉを式２に従って更新する。これをすべての入力信号ｘ１，…，ｘｍに対して行う。学習（更新回数）を進めるに従い、学習の範囲と大きさを減らし、収束させる。
【００６１】
【００６２】
この式は、１層のニューラルネットワークを意味している。学習（更新回数）を進めるに従い、近傍サイズσと学習率係数αの値を減らしていくが、その代表的なものを式３、式４、式５に示す。
【００６３】
【００６４】
そして、対象ワードが、この勝利ノードｃの分類に属すると判定する（ステップＳ９３３）。
【００６５】
図１２の（ａ）に、ステップＳ９３の自己組織化マップによるワード分類処理結果を、近傍ノードを六角（Hexagon）に設定した場合の例で示す。この例によれば、スポーツ、食事、情報、エンターテインメントの４つの大分類と、スポーツの大分類下にサッカー日本代表、サッカーＪリーグ、野球メジャーリーグ、野球国内リーグの４つの中分類に処理されていることがわかる。
【００６６】
次に、この学習後の自己組織化マップに未知データｘｐが入力された場合について説明する。入力データに対する学習が終了すると、各ノードの出力状態（参照ベクトル）ｍｉ（Ｔ）は一定となる。すなわち、各ノードの特性は参照ベクトルｍｉ（Ｔ）で表現される。この学習後の自己組織化マップに未知データｘｐが入力された場合は、式６に従い、自己組織化マップ上の未知データが属するノードｑが算出される。
【００６７】
【００６８】
例えば、図１２の（ｂ）に示すように、「走る」ワードに関する未知データが入力されれば、関連する大分類・中分類クラスが関連度の度合いで判定されることとなる。さらに、ユーザ嗜好の特徴においても、この学習後の自己組織化マップ上で、判定可能である。例えば、図１２の（ｃ）に示すように、Ａさんは、スポーツに対してポジティブ、エンターテインメントに対してネガティブであり、Ｂさんは観光に対してポジティブ、スポーツに対してネガティブなユーザ嗜好の特徴の判定結果を示している。
【００６９】
次にステップＳ９４における大分類＆中分類抽出処理を図１３に示す。まず、大分類＆中分類クラスの抽出を行い（ステップＳ９４１）、大分類＆中分類クラスをユーザ嗜好ＤＢに追加する（ステップＳ９４２）。その例を図１４に示す。
【００７０】
次に、要求度判定部２０９が要求度判定処理を行う（ステップＳ１０）。この要求度判定処理のフローチャートを、図１５に示す。
【００７１】
はじめに、ユーザの発話の対象ワードについて、ステップＳ８のユーザ嗜好判定処理の結果を抽出する（ステップＳ１０１）。図６に示した例の場合、ユーザの発話が「昨夜、食事をしながら、野球の試合を見たけど、サッカーが面白い」に対して、評価値として、対象ワード「食事」及び「野球」には１が、「サッカー」には２が与えられており、これらが抽出される。
【００７２】
次に、そのユーザ発話の対象ワードの大分類ごとの要求度ポイントの合計値を算出する（ステップＳ１０２）。具体的には、上記の例において、大分類「スポーツ」は、「野球」１＋「サッカー」２＝３、大分類「食事」は１、大分類「施設」は０となる。
【００７３】
そして、ステップＳ１０２で求められた要求度ポイントに応じて、大分類の要求優先度を算出する。上記の例の場合、要求優先度は高い順に「スポーツ」、「食事」、「施設」となる。
【００７４】
次に、対話プランニング部２１０が対話プランニング処理を行う。図１６に、この対話プランニング処理の一例を示す。
【００７５】
はじめに、最上位の要求優先度の大分類を選択し（ステップＳ１１１）、選択された大分類に対応するユーザ嗜好ＤＢ１０４の語彙を抽出する（ステップＳ１１２）。
【００７６】
ステップＳ１１２で抽出された語彙にポジティブワードが含まれるかどうかを判定し（ステップＳ１１３）、ポジティブワードが含まれる場合には、そのポジティブワードに関係付けられる話題ＤＢ１０５に蓄積された話題の全文を抽出する（ステップＳ１１４）。一方、ステップＳ１１２で抽出された語彙にポジティブワードが含まれない場合は、ステップＳ１１２で抽出された語彙にノーリアクションワードが含まれるか否かを判定し（ステップＳ１１５）、ノーリアクションワードが含まれる場合にはそのノーリアクションワードに関係付けられる話題ＤＢ１０５に蓄積された話題の要約を抽出する（ステップＳ１１６）。
【００７７】
ステップＳ１１４又はステップＳ１１６で抽出された話題の全文又は要約は、階層型対話コンテンツＤＢ１０６に格納される（ステップＳ１１７）。
【００７８】
そして、全ての大分類の処理が終了したかを判断し（ステップＳ１１８）、まだ全ての大分類の処理が終了していなければ、次に高い優先度の大分類を選択して（ステップＳ１１９）、ステップＳ１１２に戻って処理を繰り返す。
【００７９】
このようにして作成された階層型対話コンテンツＤＢ１０６の一例を図１７に示す。
【００８０】
次に、発話割り込み判定部２１１が、発話割り込み判定処理を行う。この発話割り込み判定処理の内容を、図１８に示す。
【００８１】
まず、ナビゲーション装置２１２から供給されるデータに基づいて車両の走行位置を検出する（ステップＳ１２１）。次いで、地図データ２１３を用いて、ステップＳ１２１で検出された車両の走行位置から所定距離内の路側施設を抽出する（ステップＳ１２２）。次に、ステップＳ１２２で抽出された路側施設から更に、ユーザ嗜好ＤＢ１０４にポジティブ又はノーリアクションとして登録されている路側施設を抽出する（ステップＳ１２３）。
【００８２】
そして、ステップＳ１２３で抽出された路側施設がある場合には（ステップＳ１２４，ＹＥＳ）、対話出力制御部２１４を通じて、その路側施設の情報を、ユーザの興味ある情報として、割り込みにより音声又は画像にて出力する（ステップＳ１２５）。
【００８３】
一方、ステップＳ１２３で抽出された路側施設がなければ（ステップＳ１２４，ＮＯ）、対話出力制御部２１４を通じて、階層型対話コンテンツＤＢ１０６により、優先度に基づく音声又は画像の出力を行う（ステップＳ１２６）。具体的には、ここでは、優先度が最上位のポジティブワードについては全文による情報提示がされ、ノーリアクションワードについては要約による情報提示がされることになる。
【図面の簡単な説明】
【００８４】
【図１】実施形態における車両用対話システムの構成を示すブロック図である。
【図２】実施形態における車両用対話システムの処理内容を示すフローチャートである。
【図３】実施形態におけるサービスセンタのサーバによる話題データ分類処理を示すフローチャートである。
【図４】実施形態における話題ＤＢの一例を模式的に示す図である。
【図５】実施形態におけるユーザ嗜好判定処理の一例を示すフローチャートである。
【図６】実施形態におけるユーザ嗜好判定処理の一例を説明する図である。
【図７】実施形態におけるユーザ嗜好判定処理の別の例を示すフローチャートである。
【図８】実施形態におけるユーザ嗜好判定処理の別の例を説明する図である。
【図９】実施形態におけるユーザ嗜好判定処理の一例を示すフローチャートである。
【図１０】実施形態における自己組織化マップによるワード分類処理の一例を示すフローチャートである。
【図１１】実施形態における自己組織化マップによるワード分類処理の一例を説明する図である。
【図１２】実施形態における自己組織化マップによるワード分類処理結果の一例を説明する図である。
【図１３】実施形態における大分類＆中分類クラスの抽出処理の一例を示すフローチャートである。
【図１４】実施形態における自己組織化マップによるワード分類処理後のユーザ嗜好ＤＢの一例を説明する図である。
【図１５】実施形態における要求度判定処理の一例を示すフローチャートである。
【図１６】実施形態における対話プランニング処理の一例を示すフローチャートである。
【図１７】実施形態における階層型対話コンテンツＤＢの一例を示す図である。
【図１８】実施形態における発話割り込み判定処理の一例を示すフローチャートである。
【符号の説明】
【００８５】
１０：ネットワーク
２０：携帯電話
２１：パーソナルコンピュータ
２２：家庭用ロボット
１００：サービスセンタ
１０１：サーバ
１０２：ユーザ判定ＤＢ
１０３：嗜好判定用ＤＢ
１０４：ユーザ嗜好ＤＢ
１０５：話題ＤＢ
１０６：階層型対話コンテンツＤＢ
２００：車載ユニット
２０１：車室内マイクロホン
２０２：音声検出部
２０３：車室内カメラ
２０４：画像検出部
２０５：マルチモーダル情報処理部
２０６：ユーザ判定部
２０７：ユーザ嗜好判定部
２０８：ユーザ嗜好データ分類部
２０９：要求度判定部
２１０：対話プランニング部
２１１：発話割り込み判定部
２１２：ナビゲーション装置
２１３：地図データ
２１４：対話出力制御部
２１５：音声合成部
２１６：スピーカ
２１７：画像表示部
２１８：ディスプレイ
【特許請求の範囲】
【請求項１】
車両の乗員を検出する検出手段と、
前記検出手段により検出された乗員の発話に基づいて該乗員の嗜好を判定する判定手段と、
前記判定手段により判定された前記乗員の嗜好に基づいて、対話内容を決定する決定手段と、
前記決定手段により決定された前記対話内容に基づき前記乗員との対話を制御する制御手段と、
を備えることを特徴とする車両用対話システム。
【請求項２】
前記乗員の発話を認識する音声認識手段と、
前記音声認識手段が認識した音声をテキストに変換し、該テキストを構成する形態素間の文法上の係り受け関係を解析する係り受け解析手段と、
を更に有し、
前記判定手段は、前記係り受け解析手段が解析した前記係り受け関係に基づいて前記乗員の嗜好を判定することを特徴とする請求項１に記載の車両用対話システム。
【請求項３】
前記乗員の顔画像を認識する顔画像認識手段を更に備え、
前記判定手段は、前記顔画像認識手段が認識した前記乗員の顔画像に基づいて前記乗員の嗜好を判定することを特徴とする請求項１に記載の車両用対話システム。
【請求項４】
前記判定手段で判定された上記乗員の嗜好に関する語彙を蓄積する嗜好データベースと、
ネットワークを介して収集した話題データを蓄積する話題データベースと、
を更に有し、
前記決定手段は、前記判定手段の判定結果に応じた語彙を前記嗜好データベースから抽出し、該抽出した語彙に関連する話題を前記話題データベースから抽出することで前記対話内容を決定することを特徴とする請求項１から３までのいずれか1項に記載の車両用対話システム。
【請求項５】
前記嗜好データベースの自己組織化マップを生成し、該自己組織化マップに基づいて乗員の発話コンテンツクラスタを形成する形成手段を更に備え、
前記決定手段は、前記発話コンテンツクラスタに基づき対話内容を決定することを特徴とする請求項４に記載の車両用対話システム。
【請求項６】
前記嗜好データベース及び前記話題データベースは、ネットワークを介して外部機器から転送されるデータを蓄積するように構成されていることを特徴とする請求項４に記載の車両用対話システム。
【請求項７】
対話内容を優先度に応じて階層的に分類して格納した階層型対話コンテンツデータベースを更に有することを特徴とする請求項１に記載の車両用対話システム。
【請求項８】
前記決定手段は、前記判定手段が判定した前記乗員の嗜好に基づいて前記優先度を決定することを特徴とする請求項７に記載の車両用対話システム。
【請求項９】
前記話題データベース及び前記嗜好データベースはそれぞれ、ナビゲーションシステムが提供する目的施設に関連付けられていることを特徴とする請求項４に記載の車両用対話システム。
【請求項１０】
前記話題データベースは、前記ナビゲーションシステムが提供する路側施設に関連付けられており、
前記決定手段は、前記話題データベース及び前記嗜好データベースに基づいて、前記車両の位置に応じた路側施設に関する対話内容を決定することを特徴とする請求項９に記載の車両用対話システム。
【請求項１】
車両の乗員を検出する検出手段と、
前記検出手段により検出された乗員の発話に基づいて該乗員の嗜好を判定する判定手段と、
前記判定手段により判定された前記乗員の嗜好に基づいて、対話内容を決定する決定手段と、
前記決定手段により決定された前記対話内容に基づき前記乗員との対話を制御する制御手段と、
を備えることを特徴とする車両用対話システム。
【請求項２】
前記乗員の発話を認識する音声認識手段と、
前記音声認識手段が認識した音声をテキストに変換し、該テキストを構成する形態素間の文法上の係り受け関係を解析する係り受け解析手段と、
を更に有し、
前記判定手段は、前記係り受け解析手段が解析した前記係り受け関係に基づいて前記乗員の嗜好を判定することを特徴とする請求項１に記載の車両用対話システム。
【請求項３】
前記乗員の顔画像を認識する顔画像認識手段を更に備え、
前記判定手段は、前記顔画像認識手段が認識した前記乗員の顔画像に基づいて前記乗員の嗜好を判定することを特徴とする請求項１に記載の車両用対話システム。
【請求項４】
前記判定手段で判定された上記乗員の嗜好に関する語彙を蓄積する嗜好データベースと、
ネットワークを介して収集した話題データを蓄積する話題データベースと、
を更に有し、
前記決定手段は、前記判定手段の判定結果に応じた語彙を前記嗜好データベースから抽出し、該抽出した語彙に関連する話題を前記話題データベースから抽出することで前記対話内容を決定することを特徴とする請求項１から３までのいずれか1項に記載の車両用対話システム。
【請求項５】
前記嗜好データベースの自己組織化マップを生成し、該自己組織化マップに基づいて乗員の発話コンテンツクラスタを形成する形成手段を更に備え、
前記決定手段は、前記発話コンテンツクラスタに基づき対話内容を決定することを特徴とする請求項４に記載の車両用対話システム。
【請求項６】
前記嗜好データベース及び前記話題データベースは、ネットワークを介して外部機器から転送されるデータを蓄積するように構成されていることを特徴とする請求項４に記載の車両用対話システム。
【請求項７】
対話内容を優先度に応じて階層的に分類して格納した階層型対話コンテンツデータベースを更に有することを特徴とする請求項１に記載の車両用対話システム。
【請求項８】
前記決定手段は、前記判定手段が判定した前記乗員の嗜好に基づいて前記優先度を決定することを特徴とする請求項７に記載の車両用対話システム。
【請求項９】
前記話題データベース及び前記嗜好データベースはそれぞれ、ナビゲーションシステムが提供する目的施設に関連付けられていることを特徴とする請求項４に記載の車両用対話システム。
【請求項１０】
前記話題データベースは、前記ナビゲーションシステムが提供する路側施設に関連付けられており、
前記決定手段は、前記話題データベース及び前記嗜好データベースに基づいて、前記車両の位置に応じた路側施設に関する対話内容を決定することを特徴とする請求項９に記載の車両用対話システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１１】
【図１２】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１１】
【図１２】
【図１４】
【公開番号】特開２００９−６４１８６（Ｐ２００９−６４１８６Ａ）
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願番号】特願２００７−２３０６０２（Ｐ２００７−２３０６０２）
【出願日】平成１９年９月５日（２００７．９．５）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願日】平成１９年９月５日（２００７．９．５）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]