説明

自動車用情報提供システム

【課題】 ユーザーの車内での会話から、興味や趣味を反映した情報をより的確に吸い上げることができ、千差万別なユーザー嗜好に縦横に対応できる自動車用情報提供システムを提供する。
【解決手段】 会話内容が入力されたときのユーザーの精神状態を検出し、会話から抽出されたキーワードと、検出された精神状態とに基づいて被提供情報を収集する。すなわち、抽出されたキーワードを興味反映情報として一律に採用するものではなく、そのキーワードを含む会話がなされたときの精神状態(感情)も考慮して興味特定するので、興味や趣味を反映した情報をより的確に吸い上げることができ、ひいては感情に応じて刻々変化するユーザー嗜好にも縦横に対応することができる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、自動車用情報提供システムに関する。
【背景技術】
【0002】
【特許文献1】特開2003− 30234号公報
【特許文献2】特開2008− 5175号公報
【0003】
特許文献1には、職場における社内電子メールや内線電話の利用者が入力ないし発話した自然言語文を形態素解析し、当該言語文に含まれるキーワードの出現頻度に基づいて利用者の個人興味を特定する技術が提案されている。また、特許文献2には、会議出席者の発話情報を音声変換して形態素解析し、含まれるキーワードの出現頻度に基づいて会議情報に対する興味度を特定する技術が提案されている。利用者の発話内容を解析して、その単語頻度に基づき興味情報を特定する上記技術は、自動車内の情報提供システムにも応用できる。すなわち、自動車の乗員の車内発話内容を音声認識し、そのキーワード出現頻度に基づいて乗員の興味対象を特定することにより、適合する情報(例えば、カーナビゲーションシステムの案内対象となる目的地や、情報コンテンツなど)を検索・出力することが可能となる。
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、上記特許文献1,2の技術が対象とする職場や会議での会話は、社内事情が優先された紋切り型のものであることが多く、個人の感情を考慮した興味情報抽出がなされることはほとんどない。しかし、自動車内でなされる会話は、商用での自動車利用を別とすれば、親近者間でのプライヴェートな会話となるのが通常であり、個人の感情ひいては喜怒哀楽が会話内容に色濃く反映されやすい傾向にある。この場合、その会話におけるキーワードの出現頻度だけで発話者の興味対象を特定しようとすると、ネガティブな感情(例えば、「嫌い」あるいは「避けたい」等)と結び付いたキーワードも一律に計数ないし評価されてしまうことになり、興味特定上の誤差を生じやすい問題がある。
【0005】
本発明の課題は、ユーザーの車内での会話から、興味や趣味を反映した情報をより的確に吸い上げることができ、千差万別なユーザー嗜好に縦横に対応できる自動車用情報提供システムを提供することにある。
【課題を解決するための手段及び作用・効果】
【0006】
上記の課題を解決するために、本発明の自動車用情報提供システムは、
ユーザーによる自動車内での会話内容が音声入力される会話音声入力手段と、
会話内容を音声認識する音声認識手段と、
該音声認識された会話入力内容からユーザーの興味特定に使用するキーワードを抽出するキーワード抽出手段と、
会話内容が入力されたときのユーザーの精神状態を検出する精神状態検出手段と、
抽出されたキーワードと検出された精神状態とに基づいて被提供情報を収集する被提供情報収集手段と、
収集した被提供情報を画像、音声もしくはそれらの組合せにより出力する被提供情報出力手段と、を備えたことを特徴とする。
【0007】
上記の構成によると、会話内容が入力されたときのユーザーの精神状態を検出し、会話から抽出されたキーワードと、検出された精神状態とに基づいて被提供情報を収集するようにした。すなわち、抽出されたキーワードを興味反映情報として一律に採用するものではなく、そのキーワードを含む会話がなされたときの精神状態(感情)も考慮して興味特定するので、興味や趣味を反映した情報をより的確に吸い上げることができ、ひいては感情に応じて刻々変化するユーザー嗜好にも縦横に対応することができる。
【0008】
被提供情報出力手段は、予め定められた提供トリガ情報を取得するに伴い被提供情報を出力するように構成できる。提供トリガ情報は種々の形態で発生させることができ、例えば、被提供情報の提供トリガ情報をユーザーが入力するための提供トリガ情報入力手段を設けておくことができる。被提供情報出力手段は、当該入力された提供トリガ情報を取得することにより被提供情報を出力する。これにより、その意図に従った提供トリガ情報入力を随時行なうことで、ユーザーが情報を欲する場合にいつでも被提供情報を享受することができる。提供トリガ情報の入力は手動操作入力とすることもできるし、音声入力とすることもできる。
【0009】
他方、検出された精神状態が予め定められた条件を充足した場合に、被提供情報の提供トリガ情報を出力する提供トリガ情報出力手段を設けることもできる。被提供情報出力手段は、当該入力された提供トリガ情報を取得することにより被提供情報を出力する。このように構成すると、ユーザーが特に提供トリガ情報を入力せずとも、車内のユーザーの精神状態に応じて被提供情報が自動的に出力され、よりタイムリーな情報提供が可能となる。
【0010】
次に、検出された精神状態情報は、(抽出された)キーワードと対応付けて興味抽出用母データとして興味抽出用母データ蓄積手段に蓄積することができる。また、蓄積されている興味抽出用母データからユーザーの現在の興味を反映したユーザー興味情報を抽出するユーザー興味情報抽出手段を設けることができる。被提供情報収集手段は、抽出されたユーザー興味情報に適合する被提供情報を収集するように構成できる。キーワード毎に、そのキーワードを含む会話がなされたときの精神状態情報と対応付けて興味抽出用母データとして蓄積し、その蓄積されている興味抽出用母データからユーザーの現在の興味を反映したユーザー興味情報を抽出することで、一つ一つのキーワード毎にユーザーの精神状態をきめ細かく考慮することが可能となり、ユーザーの興味をさらに的確に特定することが可能となる。
【0011】
また、興味抽出用母データ蓄積手段は、直近所定期間内に抽出されたキーワードのみを蓄積し、当該所定期間経過後の蓄積済キーワードを順次削除するように構成できる。これにより、最新所定期間内のキーワードを精神状態とともに優先的に考慮した形で興味特定することが可能となり、刻々移り変わるユーザーの興味対象及び精神状態にも的確に追従した情報提供が可能となる。なお、興味抽出用母データの蓄積を行なう上記所定期間は、計時手段が計時する現在時刻に至る一定期間として定めることができる。また、先入れ/先出し方式による興味抽出用母データ蓄積メモリの容量を一定とし、データ蓄積が進んで残メモリ容量がなくなったとき、最も古い興味抽出用母データから順に排出・消去するように定めてもよい。この場合、上記「直近所定期間」とは、興味抽出用母データの蓄積メモリないの滞在時間として規定される(ただし、データ抽出状況に応じて変化する)。
【0012】
次に、本発明の自動車用情報提供システムには、検出された精神状態の良否を判定する精神状態良否判定手段を設けることができる。興味抽出用母データ蓄積手段は、精神状態の良否判定結果を精神状態情報としてキーワードと対応付けるとともに、該精神状態良否判定結果と対応するキーワードとの組を興味抽出用母データとして蓄積するものとする。被提供情報収集手段には、キーワード抽出手段が抽出したキーワードに基づいて、収集すべき被提供情報の検索を行なわせる。興味対象としての関心が高いキーワードを発話する場合は、ユーザーは多かれ少なかれうれしさを感じ、発話時の精神状態もこれと連動して良好となる側にシフトする。逆に、関心が低いか、あるいは積極的に排除したいと感じている対象に関連したキーワードを発話する場合は、発話時の精神状態もこれと連動して不良となる側にシフトする。そこで、前述のユーザー興味情報抽出手段は、興味抽出用母データにおいて精神状態良否判定結果が良好なキーワードほど、被提供情報収集手段における被提供情報の検索に際しての採用優先度を高く設定するように構成する。これにより、精神状態良否判定結果が不良なキーワードは、被提供情報収集手段における被提供情報の検索に際しての採用優先度が低く設定されることになり、精神状態良否判定結果が不良なキーワード(つまり、発話時の精神状態がよくないキーワード)は、被提供情報の検索時に除外されか、あるいは除外されなくとも検索への寄与が縮小される。
【0013】
ユーザー興味情報抽出手段は、興味抽出用母データ蓄積手段に蓄積されているキーワードの出現頻度を解析するとともに、精神状態良否判定結果が良好かつ出現頻度の高いキーワードほど被提供情報収集手段における被提供情報の検索に際しての採用優先度を高く設定するように構成できる。会話中での出現頻度の高いキーワードを用いることで、現在のユーザーの興味をより的確に特定することができる。
【0014】
ユーザー興味情報抽出手段には、興味抽出用に予め選定されたキーワード群を網羅したキーワード辞書を記憶するキーワード辞書記憶部を設けておくことができる。キーワード抽出手段は、音声認識された入力内容を単語分解し、その分解結果をキーワード辞書と照合するもとにより、該キーワード辞書に網羅されているキーワードを選択的に抽出するものとして構成することができる。ユーザーが行なう会話において、ユーザーの興味推定の手がかりとして有用なキーワード群は比較的限られているので、キーワード辞書を搭載しておき、そのキーワード辞書に網羅されているキーワードを選択的に抽出すれば、ユーザーの興味をより的確に特定することができる。この場合、ユーザー興味情報抽出手段は、外部ネットワークを介して季節、流行ないし最新トピックに関係する新キーワード群を含んだキーワード更新情報を定期的に受信取得するキーワード更新情報取得手段と、取得した更新情報に基づいてキーワード辞書を更新するキーワード辞書更新手段とを備えるものとして構成できる。このようにすると、季節、流行ないし最新トピックの移り変わりに応じてキーワード辞書の内容を常に適正化でき、タイムリーな興味抽出を行なうことができる。
【0015】
一方、ユーザー興味情報抽出手段は、興味抽出用母データにおいて精神状態良否判定結果が予め定められた水準よりも不良となっているキーワードを、被提供情報収集手段における被提供情報の検索に採用しないように構成することもできる。精神状態が所定水準以下の状態で発せられたキーワードを検索に採用しないことにより、キーワードによる興味特定精度を一層向上することができる。
【0016】
また、精神状態良否判定手段は、精神状態検出手段が検出する精神状態を、該精神状態が良好なほど数値が大きくなる精神ポイントに変換する精神ポイント変換手段を有し、興味抽出用母データ蓄積手段は該精神ポイントを精神状態良否判定結果としてキーワードと対応付け、興味抽出用母データとして蓄積するように構成することができる。抽出された個々のキーワード毎の精神状態を精神ポイントの形で数値変換することにより、興味特定に際して個々のキーワードの寄与を精神ポイントにより重み付けすることができ、ひいては精神状態をより的確に考慮した興味特定が可能となる。例えば、ユーザー興味情報抽出手段は、興味抽出用母データ蓄積手段に蓄積されているキーワードの種別毎に精神ポイントを加算し、該精神ポイントの総和が大きいキーワードほど被提供情報収集手段における被提供情報の検索に際しての採用優先度を高く設定するように構成できる。このようにすると、良好な精神状態で発せられたキーワードは不良な精神状態で発せられたキーワードよりも高ポイントで加算され、そのキーワード自体の出現頻度が多少低くとも被提供情報の検索上は優位に取り扱われるので、キーワードによる興味特定精度をより向上することができる。
【0017】
他方、精神ポイント変換手段は、対応するキーワードを含む会話がなされたときの精神状態が所定レベルよりも悪い場合に、当該キーワードに対応付けて付与する精神ポイントをゼロ又は負値に設定するように構成できる。精神状態が所定レベルよりも悪い場合に精神ポイントをゼロに設定することで、会話上出現したキーワードであるにも拘わらず、精神状態で重み付けした形では出現していないのと同じ取り扱いとなり、否定的な興味対象を反映したキーワードを検索上合理的に除外することが可能となる。また、精神ポイントを負値に設定した場合は、上記の効果に加え、例えば一連の会話の中で、同じユーザーが複数回同一のキーワードを発話したり複数ユーザーが同一のキーワードを発話したりしたときに、当該のキーワードが良好な精神状態で発話される場合と同じく不良な精神状態で発話される場合とが混在していても、それらが頻度上一律に加算されるのではなく、良好な精神状態で発話されたキーワードの精神ポイント上の寄与と、不良な精神状態で発話されたキーワードの精神ポイント上の寄与とを相殺することができる。その結果、さらに的確な興味特定が可能となる。この場合、ユーザー興味情報抽出手段は、被提供情報収集手段における被提供情報の検索に際し、精神ポイントの総和がゼロ又は負値となるキーワードは採用から除外するように構成できる。
【0018】
提供トリガ情報出力手段は、抽出されたキーワードについて精神ポイントの総和が予め定められた閾値を超えた場合に被提供情報の提供トリガ情報を出力するものとして構成することもできる。被提供情報出力手段は、当該入力された提供トリガ情報を取得することにより被提供情報を出力するように構成できる。この場合、ユーザー入力により提供トリガ情報を出力する場合と異なり、キーワードについて精神ポイントの総和が予め定められた閾値を超えた場合に提供トリガ情報が自動的に出力される。その結果、特定のキーワードが反映する興味対象にて会話参加者の精神状態が一斉に高揚した場合に被提供情報がタイムリーに出力され、車内の雰囲気を一層盛り上げることができる。
【0019】
精神状態検出手段は、自動車の座席に着座するユーザーの心臓又は肺のエコー測定を行なうエコー測定ユニットを含み、該エコー測定結果に基づいて精神状態を検出するものとして構成することができる。心臓及び肺は鼓動ないし呼吸に伴なう動きが顕著であり、超音波を検出プローブとして入射することにより、その動きによりドップラー効果を生じた形で反射波を生ずる。そして、心臓及び肺は精神状態を反映して挙動を明瞭かつ速やかに変化させるので、上記反射波を解析することにより精神状態をリアルタイムにて精度よく検出することができる。該エコー測定ユニットは、座席の背もたれ部に埋設される測定用超音波送信部と反射超音波受信部とを有し、ユーザーのエコー測定を行なうように構成できる。ユーザーの背中に直接当たる背もたれ部において、心臓ないし肺に臨む位置に測定用超音波送信部と反射超音波受信部とを設けることでエコー測定を高精度に実施することができる。
【0020】
心臓ないし肺のエコー測定により、ユーザーの心拍数、呼吸数及び血流速度の少なくともいずれかを特定することが可能であり、精神状態検出手段は、その特定結果に基づいてユーザーの精神状態を検出することができる。心鼓動に伴い、心臓エコー波形には周波数ドップラーシフトが生ずる。心筋の膨張ないし収縮方向の変位が最大となるとき心筋の移動速度は最小となってドップラーシフトは最小となり、心筋が中立位置を通過するときドップラーシフトは最大となるから、心臓エコー波形を周波数時間変化波形に変換すれば、例えば、その周期から心拍数を、振幅から鼓動の強さを読み取ることができる。同様に、肺エコー波形を周波数時間変化波形に変換することにより、その周期から呼吸数を、振幅から呼吸の深さを読み取ることができる。また、心臓内を運動する血流も心臓エコー波形に対するドップラーシフト要因となり、入力する超音波ビームの波長を調整することにより、心臓エコー波形から血流速度を算出することも可能である。
【0021】
精神状態検出手段は、心臓又は肺を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第一エコー測定部と、該測定対象以外の人体部分を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第二エコー測定部と、第一エコー測定部の反射超音波受信部出力波形と、第二エコー測定部の反射超音波受信部出力波形との差分波形を演算・出力する差分演算部とを有し、該差分波形に基づいて心拍数、呼吸数及び血流速度の少なくともいずれかを特定するものとして構成することができる。人体外から超音波を入射して心臓ないし肺に到達させ、その反射波から心臓ないし肺の運動を反映したドップラーシフトを観測することができるが、ユーザーの姿勢変化、ユーザー人体に作用する車両振動や、上記臓器以外の人体組織内の血流など、心臓ないし肺の運動以外にもドップラーシフト要因は存在し誤差要因となりうる。そこで、心臓や肺を測定対象とした第一エコー測定部の反射超音波受信部出力波形から、測定対象以外の人体部分(つまり、心臓や肺から外れた位置にある人体部分)を測定対象とした第二エコー測定部の反射超音波受信部出力波形を減算することで、上記心臓ないし肺の運動以外のドップラーシフト要因を効果的に排除することができる。
【0022】
なお、エコー測定結果が示す心拍数や呼吸数は、精神活性度の特定は容易であるが、同じ活性な状態でも愉快側に傾いているのか(つまり、機嫌がよいのか)、あるいは不愉快側に傾いているの(つまり、不機嫌なのか)を正確に判定するのは困難である。そこで、愉精神状態検出手段は、エコー測定ユニットの測定結果に基づいて精神活性度を特定する一方、該エコー測定ユニットとは別に設けられた精神愉快度検出手段により精神愉快度を特定し、精神状態を精神活性度と精神愉快度との組合せに基づいて特定するように構成できる。精神愉快度検出手段は、例えば、ユーザーの表情、視線及び姿勢のいずれかに基づいて精神愉快度を検出するものとできる。
【0023】
次に、自動車に乗車中のユーザーの関心は、そのときの興味に応じて、これからどこに行きたいか、あるいは行き先が決まっている場合でもどこに寄りたいか、という点に集中するものである。従って、被提供情報出力手段は、カーナビゲーションシステムを含むものとして構成することができる。そして、被提供情報収集手段は、被提供情報としてユーザー興味情報に適合する目的地情報をカーナビゲーションシステム上で検索・収集するものとして構成すれば、抽出された興味に適合する目的地へユーザーを的確に案内することができる。
【0024】
一方、被提供情報出力手段がインターネットウェブサイトへの無線アクセス手段を有する場合は、該被提供情報収集手段は、被提供情報としてユーザー興味情報に適合するウェブサイ情報をインターネット上で検索・収集するように構成することができる。これにより、抽出された興味に応じて、これに適合するインターネットウェブサイトにタイムリーにアクセスがなされ、ユーザーを満足させることができる。この他にも、映像や音楽のデータを、車載被提供情報記憶部内のライブラリーから読み出して再生したり、あるいは外部ネットワークから無線によりダウンロードして再生したりすることが可能である。
【0025】
なお、同じユーザーが何度も自動車に乗るうちに、同じ被提供情報の出力が繰り返しなされる結果、被提供情報が陳腐化する場合がある。この場合、被提供情報出力手段に、被提供情報出力手段による被提供情報の出力履歴情報を記録する出力履歴情報記録手段を設け、被提供情報収集手段は、該出力履歴情報にて最新一定期間内の出力実績が閾回数未満の被提供情報を優先的に収集するよう構成することができる。これにより、同じユーザーに対していつも新鮮な提供情報が可能となる。なお、被提供情報収集手段は、抽出されたユーザー興味情報を用いた第一の検索を行ったとき、その結果において出力履歴情報にて最新一定期間内の出力実績が閾回数未満の被提供情報に係る検索ヒット件数が所定値未満となることもありえる。この場合、第一の検索よりも絞込条件を緩和した第二の検索を実施することで、被提供情報の候補を拡張することができる。
【発明を実施するための最良の形態】
【0026】
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図1は、本発明の自動車用情報提供システムの概念説明図である。該自動車用情報提供システム534は自動車側に固定搭載されるものであり、図2に示すように、自動車Aの各座席(運転席1FR、助手席1FL、後部座席1RR,1RL)には着座センサ520が配置され、また、各座席に着座したユーザー(乗員)の顔を撮影する顔カメラ521が個別に設けられている。さらに、各座席に着座したユーザー(乗員)による自動車内での会話内容が音声入力されるマイク131(会話音声入力手段)が設けられている。
【0027】
自動車の使用に先立って、各座席のユーザーは認証により特定される。本実施形態では、顔画像の照合による認証が行なわれる。すなわち、顔カメラ521は、各シート100FR,FL,RR,RLを正面から撮影するものであり、各乗員の上半身が包含されるように撮影視野が定められている。着座センサ520は各シート100FR,FL,RR,RLの座部に埋設された荷重センサ等で構成され、乗員の着座の有無を補助的に検出する。例えば、着座センサ520が荷重検知し、かつ、顔カメラ521の撮影視野に乗員の顔画像が検出された場合に着座ありと検出する方式を採用することにより、シートへの荷物載置や外乱光等による誤検出防止を図ることができる。また、着座センサ520の併用により、顔画像の特定精度を多少低くしても着座検知の精度を確保することができ、アルゴリズムの軽量化に寄与する。自動車用情報提供システム534のメモリ(例えば図3のフラッシュメモリ109)に形成されたユーザー登録部には、個々のユーザーのマスター顔画像から抽出した顔特徴量がユーザーIDと対応付けて記憶されており、各シートの顔カメラ521が撮影した顔画像から抽出した顔特徴量と照合することにより、どのシートにどのユーザーが乗車しているかが特定できるようになっている。
【0028】
次に、図3は、自動車用情報提供システム534の構成例を示すブロック図である。この自動車用情報提供システム534は、本本実施形態ではカーナビゲーションシステムとして構成されている。具体的には、位置検出器101、地図データ入力器106、操作スイッチ群107、リモートコントロール(以下リモコンと称する)センサ111、音声案内等のための音声合成回路124、音声出力用のスピーカ115、不揮発メモリであるフラッシュメモリ109、LCD等からなるモニター110、これらの接続された主制御部をなす情報系ECU51及び主記憶装置をなすHDD(ハードディスク装置)121等を備えるものである。
【0029】
位置検出器101は、周知の地磁気センサ102、ジャイロスコープ103、距離センサ104、および衛星からの電波に基づいて車両の位置を検出するGPSのためのGPS受信機105を有している。これらのセンサ等102,103,104,105は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
【0030】
操作スイッチ群107は、メカニカルなスイッチ等を使用できるが、本実施形態では、モニター110と一体になったタッチパネル122を併用しており、モニター110上に表示されるボタン画像に対応するタッチパネル領域を指で触れることにより、操作状態を認識できるようにしている(いわゆるソフトボタン)。これら操作スイッチ群107によって、種々の指示を入力することが可能である。
【0031】
操作スイッチ群107の他に、音声認識ユニット130を用いて種々の指示を入力することも可能である。これは、音声認識ユニット130に接続される前述のマイク131(図2参照)から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
【0032】
情報系ECU51は、CPU181、ROM182、RAM183、前述のフラッシュメモリ109、入出力部184がバス515により接続されたマイコンハードウェアを主体とするものである。HDD121はインターフェース129fを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニター110に画像出力する機能を担う描画LSI187と、描画処理用のグラフィックメモリ187Mとが同様にバス接続され、前述のモニター110がこれに接続されている。CPU181は、フラッシュメモリ109に記憶されたナビソフトウェア109a(被提供情報収集手段)およびデータにより、目的地検索や経路案内に係る制御を行なう。また、HDD121へのデータの読み書きの制御はCPU181によって行なわれる。
【0033】
HDD121には、道路データを含む地図データ21mと、目的地データや目的地の案内情報からなるナビデータ21pとが記憶されている。また、出力履歴データ21dとコンテンツデータ21uも記憶されている。これらのデータは、操作スイッチ群107の操作あるいは音声入力によって内容の書き換えが可能である。また、外部情報入出力装置(地図データ入力器)106を用いて記憶媒体120からデータを読み込んでHDD121の内容を更新することも可能である。なお、本実施形態では、通信インターフェース126を介して、情報系ECU51が車内ネットワークをなすシリアル通信バス127に接続され、ボデー系ECUやエンジン制御ECU(図示せず)などの、車内の他の制御装置との間でデータの遣り取りを行なうようになっている。
【0034】
また、シリアル通信バス127にはインターネット1170に接続するための無線送受信部を有した通信ECU190(無線アクセス手段)が接続されている。フラッシュメモリ109にはブラウザソフトウェア109dが搭載されており、URLの指定により、通信ECU190を介して対応するウェブサイトをなすコンテンツ提供サーバー(情報提供サーバー)500(図1)にアクセスし、コンテンツファイルの閲覧を行なうことができる。ファイル内容(つまり、ホームページの内容)は、画像(動画及び静止画)についてはモニター110から、音声については、アンプ125を介してスピーカ115から出力される(被提供情報出力手段)。また、フラッシュメモリ109には、興味分析ソフトウェア109b(キーワード抽出手段、ユーザー興味情報抽出手段)、キーワード辞書109c、ブラウザソフトウェア109d(被提供情報収集手段)及び精神状態分析ソフトウェア109e(精神状態良否判定手段、精神ポイント変換手段)が格納されている。詳細については後述する。
【0035】
モニター110(被提供情報出力手段)はカラー液晶表示器により構成されており、その画面には位置検出器101から入力された車両の現在位置マークと、HDD121から入力された地図データ21mと、さらに地図上に表示する誘導経路等付加データとを重ね合わせて表示する。また、前述のごとくタッチパネル122が重ね合わされており、必要に応じて、目的地設定、表示設定、種々の機能呼び出し、画面切替操作等のための機能ボタンも表示する。
【0036】
自動車用情報提供システム534は、情報系ECU51のCPU181によりナビプログラム21pが起動される。運転者は、操作スイッチ群107の操作あるいはマイク131からの音声入力によって、目的地データベース21dから所望の目的地を選択する。例えば、モニター110上に表示されるメニューから目的地経路をモニター110に表示させるための経路案内処理を選択した場合、次のような処理を実施する。即ち、運転者がモニター110上の地図あるいは目的地選択画面に基づいて目的地を入力すると、GPS受信機105から得られる衛星のデータに基づき車両の現在位置が求められ、該現在位置から目的地までの最適な経路を求める処理が行われる。そして、モニター110上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、モニター110およびスピーカ115の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。
【0037】
図5は、目的地データベース21dの内容を示すもので、各目的地の所在地情報に、個々の目的地を特定するためのIDとともに、分類情報及びキーワード群が付与されている。キーワードは、ユーザーの興味特定に使用するキーワード群、すなわち、キーワード辞書109c(図3)に登録されているキーワード群から、個々の目的地との関連性の深いものが複数個別に選定されている。
【0038】
一方、分類情報は、ジャンルコードとサブ分類コードとを含む。ジャンルコードは、目的地をなす施設を、その種別により分類するもので、「飲食店」、「娯楽施設」、「公園」、宿泊施設、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などに分かれている。このうち、「飲食店」、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などが、飲食可能施設として位置付けられる。
【0039】
また、各ジャンルコードには、それぞれのジャンルコードに適合したサブ分類コードが付与されている。「飲食店」の場合、「もてなし」効果を考慮して、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で食欲もあり(特に、青年/壮年など)、空腹が進んだ場合に選択すべき飲食店には、満腹感を優先したサブ分類コード(「がっつり・こってり系」)が付与されており、体調がそれほどでもなく食欲についても淡白な状態(特に、女性など)、少々小腹が空いた程度の状況で選択すべき飲食店には、軽めの食事を優先したサブ分類コード(「かるーく・あっさり系」)が付与されている。また、倦怠感が進み、気分転換が望ましい状況や、カップルなどでムードを盛り上げたい場合に選択すべき飲食店には、雰囲気重視の食事を優先したサブ分類コード(「シック・おしゃれ系」)が付与されている。また、一般的な料理種別(「和食・寿司」「中華・ラーメン」「洋食・カレー」)に基づくサブ分類コードも別途付与され、適宜選択できるようになっている。
【0040】
一方、娯楽施設(あるいは観光スポット)や公園などの、レクリエーションないしエンターテインメント系のサービス提供施設についても、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で、陽気で活動的なサービスを欲している場合(特に、青年/壮年など)に選択すべき施設には、体力的あるいは精神的な発散を優先したサブ分類コード(「元気一杯スポット」)が付与されており、体調がそれほどでもないか疲れている場合(特に、女性など)には、体力消耗抑制を優先したサブ分類コード(「リラックス・いやし系」)が付与されている。また、カップルなどでムードを盛り上げたい場合に選択すべき施設には、雰囲気重視のサブ分類コード(「ラブラブスポット」)が付与されている。
【0041】
他方、「道路関連サービス施設」は、「サービスエリア」、「パーキングエリア」、「道の駅」及び「ドライブイン」のサブ分類コードが付与されている。
【0042】
また、目的地データベース21dには、各施設(目的地)の内容説明情報(施設内容情報)が対応付けて記憶されており、図20に示すように、選んだ目的地に対応する内容説明情報を画面上に出力(あるいは音声出力)することで、目的地確定前にその内容確認ができ、選択の一助とすることができる。
【0043】
次に、HDD121内の出力履歴データ21dは、現在に至る過去一定期間(例えば、1〜5年間)内、あるいは一定数(例えば30〜300)の目的地訪問(行先)履歴を、図6に示すように、訪問日、ユーザー名、分類、及び訪問頻度と対応付けて記録・蓄積するものである。出力履歴データ21dの更新タイミング(例えば、目的地訪問(行先)履歴を出力履歴データ21d内に書き込み、あるいは既存の目的地の場合訪問頻度をインクリメントするタイミング)は、カーナビゲーションシステムによる当該目的地までの案内が終了した時点で行なうとよい。また、ユーザーの特定は、車室内座席別に設けられたカメラにより、各座席のユーザーの顔を撮影し、その撮影画像を用いた周知の顔認証技術により実施することができる。
【0044】
また、HDD121内のコンテンツデータ21uには、訪問済みの目的地と関連を有するウェブサイトの閲覧済(つまり、ダウンロード済)のコンテンツファイルが蓄積されており、随時閲覧できるようになっている。また、図示はしていないが、ウェブサイトのコンテンツファイルとは別の映像データや音楽再生データなども、ユーザーの興味を反映したキーワード群や目的地名と対応付けて被提供情報としてコンテンツデータ21u内に用意されている。
【0045】
次に、入出力部184にはエコー測定ユニット112が接続されている。エコー測定ユニット112は精神状態検出手段の要部をなすものであり、自動車の座席に着座するユーザーの心臓Hのエコー測定を行なう。エコー測定波形(測定結果)は、フラッシュメモリ109内に搭載された精神状態分析ソフトウェアの実行によりCPU181により解析され、その解析結果に基づいて精神状態が検出される。心臓は鼓動に伴なう動きが顕著であり、超音波を検出プローブとして入射することにより、その動きによりドップラー効果を生じた形で反射波を生ずる。そして、心臓は精神状態を反映して挙動を明瞭かつ速やかに変化させるので、上記反射波を解析することにより精神状態をリアルタイムにて精度よく検出することができる。
【0046】
エコー測定ユニット112は、座席の背もたれ部150に埋設される測定用超音波送信部1070,1080と反射超音波受信部1090,1100とを有する。超音波送信部は周知の超音波トランスジューサで構成される。また、反射超音波受信部は一般的なマイクを使用することも可能であるが、音響特性の整合を考慮すれば、測定用超音波送信部と同種の超音波トランスジューサを使用することが望ましい。
【0047】
具体的には、心臓Hを測定対象とした測定用超音波送信部1070と反射超音波受信部1090とからなる第一エコー測定部と、心臓H(及び肺)から外れた人体部分(この実施形態では横隔膜よりも下側の脊椎付近)を測定対象とした測定用超音波送信部1080と反射超音波受信部1100とからなる第二エコー測定部と、第一エコー測定部の反射超音波受信部1090の出力波形と、第二エコー測定部の反射超音波受信部1100の出力波形との差分波形を演算・出力する差分演算部と1040,1050,1060とを有する。
【0048】
人体外から超音波を入射して心臓H(あるいは肺)に到達させれば、その反射波から心臓H(あるいは肺)の運動を反映したドップラーシフトを観測することができる。しかし、ユーザーの姿勢変化、ユーザー人体に作用する車両振動や、上記臓器以外の人体組織内の血流など、心臓ないし肺の運動以外にもドップラーシフト要因は存在し誤差要因となりうる。そこで、心臓H(あるいは肺)を測定対象とした第一エコー測定部の反射超音波受信部1090の出力波形から、心臓H(あるいは肺)から外れた位置にある人体部分を測定対象とした第二エコー測定部の反射超音波受信部1100の出力波形を減算することで、上記心臓H(あるいは肺)の運動以外のドップラーシフト要因を効果的に排除することができる。具体的には、差分演算部において、第一エコー測定部の反射超音波受信部1090の出力波形と第二エコー測定部の反射超音波受信部1100の出力波形とのどちらかが反転増幅部1040で反転され、また、両出力波形のどちらかが位相器1050で位相調整され(この実施形態では、第一エコー測定部の反射超音波受信部1090の出力が反転増幅部1040に入力され、第二エコー測定部の反射超音波受信部1100の出力が位相器1050に入力され、加算器1060にて合成される。なお、加算器1060を差動増幅器にて置き換えれば反転増幅部1040は不要である。また、位相器1050の位相シフト量は、例えば、加算器1060の出力波形の積分振幅が最小化されるようにフィードバック制御される。
【0049】
なお、図4では、第一エコー測定部をなす測定用超音波送信部1070と反射超音波受信部1090との組を、心臓を見込む位置に設けられたものを1つのみ描いているが、例えば、肺を見込む位置に別の第一エコー測定部を設けてもよい。この肺を見込む第一エコー測定部は呼吸に伴なう肺の動きを検出するものとなる。また、ユーザー毎に心臓や肺の位置は異なるので、心臓や肺の動きを検出するためのエコー測定位置を最適化するために、各々、心臓ないし肺に対応した複数箇所に第一エコー測定部を分散して設けてもよい。これら複数の第一エコー測定部は、測定用超音波送信部の駆動源となるアンプ102を共用する形で制御ユニット1010からの指令に従い、スイッチ1030により適宜切り替えて使用される。
【0050】
心臓ないし肺のエコー測定により、ユーザーの心拍数、呼吸数及び血流速度の少なくともいずれかを特定することが可能であり、CPU181は、精神状態分析ソフトウェア109eは、その特定結果に基づいてユーザーの精神状態を特定する。例えば、心鼓動の場合、反射超音波波形である心臓エコー波形には該心鼓動に由来した周波数ドップラーシフトが生ずる。心筋の膨張ないし収縮方向の変位が最大となるとき心筋の移動速度は最小となってドップラーシフトは最小となり、心筋が中立位置を通過するときドップラーシフトは最大となるから、心臓エコー波形を周波数時間変化波形に変換すれば、その周期から心拍数を、振幅から鼓動の強さを読み取ることができる。同様に、肺エコー波形を周波数時間変化波形に変換することにより、その周期から呼吸数を、振幅から呼吸の深さが演算される。図4の構成では、制御ユニット1010内のDSP等を主体に構成された波形演算部が、加算器1060からの入力波形を周波数時間変化波形にリアルタイム変換するとともに、該周波数時間変化波形のピーク解析により心拍数と鼓動の強さ、ないし呼吸数と呼吸の深さを演算し、CPU181側に演算結果を送信するようになっている。
【0051】
なお、心臓内を運動する血流も心臓エコー波形に対するドップラーシフト要因となる。入力する超音波ビームの波長を調整することにより、心臓エコー波形から血流速度を算出することも可能である。例えば、心鼓動の検出を行なう場合は、心臓の外表面とこれに接する人体組織との音響インピーダンス差にて反射が最大化されるように超音波ビームの波長を調整し、血流速度を算出する場合は、心室内壁面とこれに接する血液との音響インピーダンス差にて反射が最大化されるように超音波ビームの波長を調整すればよい。
【0052】
本実施形態において精神状態分析ソフトウェアは、精神活性度(覚醒度)Jを縦軸に、横軸に愉快度Iを定めた、いわゆるラッセル・メーラビアンの感情平面の概念に基づいて、個々の精神状態を分類・特定するようにしている。具体的には、感情平面の個々の象限が規定する4つの精神状態、すなわち、盛り上がり状態(精神活性度大/愉快)、癒し・リラックス状態(精神活性度小/愉快)、怒り・興奮状態(精神活性度大/不愉快)、落胆・倦怠状態(精神活性度小/不愉快)を基本とし、これを、感情平面の原点からの距離に応じてそれぞれ複数段階(本実施形態では2段階)に区分したものとして規定してある。この感情平面の原点近傍のエリアは、各象限の感情状態のどれかに強く偏るのではない中庸の精神状態、すなわちニュートラル状態を表わすものであり、各象限にてこのニュートラル状態から遠ざかるにつれ、個々の象限に特徴的な感情ひいては欲求により強く支配された状態へと推移する。また、精神ポイント値が、盛り上がり状態強(C)については+2、盛り上がり状態弱(C’)、癒し・リラックス状態強/弱(D,D’)及びニュートラル状態(N)については+1、落胆・倦怠状態弱(D’)及び怒り・興奮状態弱(A’)については0、落胆・倦怠状態強(D)及び怒り・興奮状態強(A)については−1に定められ、検出される精神状態毎に対応する精神ポイント値が取得されるようになっている。
【0053】
精神活性度Jについては、心臓エコー測定により得られるユーザーの心拍数H(あるいは血流速度)、あるいは肺エコー測定により得られるユーザーの呼吸数Bに基づいて特定することができる。怒った(不愉快方向)り、逆に陽気に盛り上がたり(愉快方向)して活性度が高ければ、心拍数Hと呼吸数Bとはいずれも上昇する傾向にあり、逆に疲れ・倦怠や落胆状態(不愉快方向)となっていたり、のんびり癒されてリラックスしている状態(愉快方向)では、心拍数Hと呼吸数Bとはいずれも低下傾向となる。
【0054】
本実施形態では、平常時に0となり、平常時よりも高い場合に正の値、同じく低い場合に負の値となるように活性度Jを定めている。例えば、平常時の心拍数及び呼吸数を予め測定しておき、その値をそれぞれHm及びBmとすれば、J=(H−Hm)/Hm、あるいはB=(B−Bm)/Bmとして算出できる。本実施形態では、図12に示すように、心拍数及び呼吸数の双方を用いて、具体的には心拍数と呼吸数との積の平方根を用いて活性度Jを算出している。
【0055】
一方、愉快度Iについては、心拍数や呼吸数のみでは、愉快側に傾いているのかあるいは不愉快側に傾いているのかが必ずしも正確に判定できない場合が多い。そこで、愉快度Iを、エコー測定以外の生体パラメータにより別途特定するようにしている。例えば、同じ活性度の高い状態でも、イライラしたり怒ったりしているときは運転者の姿勢が頻繁に変化するようになる一方、視線方向の変化は逆に減少し、いわゆる「目が据わった」状態になる。また、顔の表情には怒りの表情が顕著に表れる。視線と表情については顔カメラ521が撮影する顔画像から特定でき、姿勢については、姿勢測定ユニット600(図3)により特定できる。
【0056】
図32は、表情変化解析処理のフローチャートの一例を示すものであり、SS151で変化カウンタNをリセットし、SS152でサンプリングタイミングが到来すればSS153に進み、顔画像を撮影する。顔画像は表情特定が可能な正面画像が得られるまで繰り返す(SS154→SS153)。正面画像が得られたら、マスター画像(記憶装置535内)と順次比較することにより、表情種別を特定する(SS155)。特定された表情種別が「不愉快」なら、愉快度Iを「−1」にセットする(SS156→SS157)。特定された表情種別が「安定」なら、愉快度Iに「0」をセットする(SS158→SS159)。特定された表情種別が「不愉快」なら、愉快度Iに「+1」をセットする(SS160→SS161)。以上の処理を、定められたサンプリング期間が満了するまで繰り返す(SS164→SS152)。サンプリング期間が満了すればSS165へ進み、愉快度Iの平均値I(整数化する)を算出する。
【0057】
図33は、視線角度波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS252で顔画像を撮影し、その画像中にて瞳孔位置と、顔中心位置とを特定し、SS253で、該顔中心位置に対する瞳孔の正面方向からのぶれを演算して、視線角度θを求める。そして、波形解析ルーチンでは、SS254にて直近の一定期間にサンプリングされた視線角度値を波形として取得し、SS255で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS256で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS257では、波形を一定数の区間に分割し、SS258で区間別の視線角度平均値を演算する。そして、SS259では、区間毎に、平均視線角度値を波形中心線として積分振幅を演算し、その平均値を波形振幅の代表値Aとして決定する。
【0058】
感情が不愉快側に傾いていれば視線変化の振幅Aは比較的小さくなり、変動(つまり周波数f)は緩やかとなる。逆に愉快側に傾いていれば視線変化の振幅Aは大きくなり、変動(つまり周波数f)も活発となる。本実施形態では、平常時に0となり、平常時よりも高い場合に正の値、同じく低い場合に負の値となるように愉快度Iを定める。例えば、平常時の視線変化の振幅A及び周波数fを予め測定しておき、その値をそれぞれAm及びfmとすれば、J=(A−Am)/Am、あるいはJ=(f−fm)/fmとして算出できる。本実施形態では、振幅A及び周波数fの愉快度Iを算出している(SS260)。
【0059】
さらに、本実施形態では、図34に示すように姿勢測定ユニット600を、シートの座部及び背もたれ部に複数分散埋設された着座センサ520A,520B,520Cの検知出力に基づいて、着座したユーザー(運転者)の姿勢変化を波形検出するように構成している。着座センサは、いずれも着座圧力を検出する圧力センサで構成され、具体的には、正面を向いて着座したユーザーの背中の中心に基準センサ520Aが配置される。残部のセンサは、それよりもシート左側に偏って配置された左側センサ520Bと、シート右側に偏って配置された右側センサ520Cとからなる。基準センサ520Aの出力は、差動アンプ603及び604にて、それぞれ右側センサ520Cの出力及び左側センサ520Bの出力との差分が演算され、さらにそれらの差分出力同士が、姿勢信号出力用の差動アンプ605に入力される。その、姿勢信号出力Vout(第二種生体状態パラメータ)は、ユーザーが正面を向いて着座しているときほぼ基準値(ここではゼロV)となり、姿勢が右に偏ると右側センサ520Cの出力が増加し、左側センサ520Cの出力が減少するので負側にシフトし、姿勢が左に偏るとその逆となって正側にシフトする。なお、右側センサ520C及び左側センサ520Bは、いずれも加算器601,602により、座部側のセンサ出力と背もたれ側のセンサ出力との加算値として出力されているが、残部センサ出力と背もたれセンサ出力の差分値を出力するようにしてもよい(このようにすると、運転者が前のめりになったとき背もたれセンサ側の出力が減少し、その差分値が増大するので、より大きな姿勢の崩れとして検出することができる)。
【0060】
次に、図35は、姿勢信号波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、図34を用いて説明した姿勢信号値(Vout)をサンプリングし、波形記録するSS201,SS202)。そして、波形解析ルーチンでは、SS203にて直近の一定期間にサンプリングされた姿勢信号値を波形として取得し、SS204で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS205で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS206では、波形を一定数の区間に分割し、SS207で区間別の姿勢信号平均値を演算する。そして、SS259では、区間毎に、平均姿勢信号値を波形中心線として、積分振幅を演算し、その平均値を波形振幅の代表値Aとして決定する。
【0061】
視線の場合とは逆に、感情が不愉快側に傾いていれば姿勢変化の振幅Aは比較的大きくなり、変動(つまり周波数f)が激しくなる。逆に愉快側に傾いていれば姿勢変化の振幅Aは小さくなり、変動(つまり周波数f)は緩やかとなる。前述のごとく、平常時に0となり、平常時よりも高い場合に正の値、同じく低い場合に負の値となるように愉快度Iを定める。例えば、平常時の姿勢変化の振幅A及び周波数fを予め測定しておき、その値をそれぞれAm及びfmとすれば、J=−(A−Am)/Am、あるいはJ=−(f−fm)/fmとして算出できる。本実施形態では、振幅A及び周波数fの愉快度Iを算出している(SS209)。
【0062】
上記3通りの方法による愉快度Iはそれぞれ単独で用いてもよいが、本実施形態では、愉快度特定の精度を高めるため、複数の異なる方法で愉快特定された愉快度の平均値(例えば相乗平均)を使用する。また、愉快度特定に際しては、上記以外にも、感情に応じて身体に生ずるノンバーバルな身振りや手振りなどを参照することができる。
【0063】
次に、音声認識ユニット(音声認識手段)130は、ユーザーがマイク131から入力する音声言語を、隠れマルコフモデルを適用した周知のアルゴリズムにより文字変換する処理を行なうものである。具体的には、図1に示すように、音声認識の結果として得られた文字列は周知の形態素解析手法に従い単語分解された形で認識される。
【0064】
フラッシュメモリ109内の興味分析ソフトウェア109bは、音声認識された入力内容からユーザーの興味特定に使用するキーワードを抽出するものである。フラッシュメモリ109(キーワード辞書記憶部)には、興味抽出用に予め選定されたキーワード群を網羅したキーワード辞書109cが記憶されており、単語分解された音声認識結果は、単語毎にキーワード辞書109cに登録されているキーワード群と照合され、該キーワード辞書109cに網羅されているキーワードのみが選択的に抽出される(図1にて「」にて囲んだ単語がその例である)。
【0065】
辞書登録されているのは、被提供情報ンテンツ内容を絞り込むのに有効なキーワード、例えば、情報のジャンル(カー用品、娯楽、食事など)、商品やサービスの種別(タイヤ、スキーなど)、季節、固有名詞(地名、人名、店名など)等を直接反映したキーワード(上記会話内であれば「」にて囲んだキーワード)のみがキーワード辞書109cに登録されている。従って、上記会話を単語分解してキーワード辞書109cと照合すれば「」にて囲んだキーワードのみが抽出されることになる。
【0066】
なお、キーワード辞書109cにはキーワード辞書更新手段として機能する辞書ツールが付随している。該辞書ツールは定期的に実行され、インターネット1170あるいはその他の通信網を介して辞書配信サーバーに、季節、流行ないし最新トピックに関係する新キーワード群を含んだキーワード更新情報の配信を要請するとともに、受信取得したキーワード更新情報によりキーワード辞書109cを更新する。具体的には、キーワード更新情報に新しいキーワードが含まれていればこれを追加し、逆に特定のキーワードの削除指示情報が含まれていればこれを削除する。例えば、季節固有のキーワード(例えば、「雪」、「スキー」、「スタッドレス」などの冬期特有のキーワード)は、その季節に対応付けられた特定期間(例えば、11月〜4月)に期間限定して辞書登録し、該特定期間が過ぎれば辞書から削除する。
【0067】
キーワードの抽出と並列に、当該キーワードが発話されたときの精神状態が前述のエコー測定により随時モニタリングされている。精神状態分析ソフトウェア109eの実行により、その精神状態に対応する精神ポイントが特定され(図12下参照)、さらに、抽出されたキーワード及び発話したユーザーの特定情報(ユーザー名)と対応付けた形で、フラッシュメモリ109内のキーワードメモリ(興味抽出用母データ蓄積メモリ:興味抽出用母データ蓄積手段)に記憶・蓄積される。なお、車内での話題は刻々移り変わるものなので、ユーザー間で現在注目されている興味対象を的確に特定するために、上記のキーワードメモリは、直近所定期間内に抽出されたキーワードのみを蓄積し、当該所定期間経過後の蓄積済キーワードが順次削除されるようになっている。当該期間は、カレンダークロック153(計時手段)が計時する現在時刻に至る一定期間(例えば5分〜60分)として定めることができる。なお、キーワードメモリを一定容量のFIFOメモリと(先入れ/先出しメモリ)として構成し、データ蓄積が進んで残メモリ容量がなくなったとき、最も古い興味抽出用母データから順に排出・消去するようにしてもよい。
【0068】
以下、上記自動車用情報提供システム534の動作について説明する。図8は主処理の流れを示すものであり、まず、S205にてキーワード抽出処理が実行される。図9は、S205の流れの詳細を示すものである。車内でユーザーが会話すると、その内容が座席毎のマイク131(図2)により取り込まれ(S301)、会話内容が音声認識により文字列化され単語分解された後、キーワード辞書109c(図1)との照合によりキーワード抽出がなされる(S302)。次に、S303ではエコー測定ユニット112を用いた前述の方法により、そのキーワードを発したユーザーの精神状態を特定する。
【0069】
図10及び図11は、精神状態特定処理の流れを示すものである。図10は、前述のごとく、複数用意された第一エコー測定部のうち最適位置のものがどれであるかを特定する処理を示すものである。まず、S501では、着座センサ520により、人(ユーザー)がシートに座ったことを確認するとともに、S502では、その座った人(ユーザー)を顔カメラ521による撮影・照合により特定する。この後、特定されたユーザーの第一エコー測定部の最適位置に係る設定データがあるかどうかをS503で判定し、なければS504に進み、最適位置を特定する処理となる(設定データがあればS504をスキップする)。
【0070】
S504では、第二エコー測定部の測定用超音波送信部1090の位置は固定とし、スイッチ1030の切替により複数の第一エコー測定部の測定用超音波送信部1070を順次駆動するとともに、加算器1060の出力を差分波形として取得し、さらに周波数時間変化波形に変換する。そして、その周波数時間変化波形の振幅が最大となる測定用超音波送信部1070を特定し、ユーザー名とともにメモリに保存する。
【0071】
S505では、特定されたユーザー名に対応する第一エコー測定部の位置を測定条件として設定し、S506ではその測定条件を保存する。その後、図11に示す測定フローが起動される。S601では、超音波の照射時間を設定する。照射時間は、例えば測定する心拍数または呼吸数の一周期分以上の時間が確保されていればよい(例えば、2〜5秒)。その後、S602で特定した測定用超音波送信部1070が動作するようにスイッチ1030(図4)を切り替えた後、超音波を発射する。そして、S603でエコー波形を測定する。S604では経過時間を判断し、S601で設定済の測定時間が経過したかを判断し、経過していればS605で次に図9の主処理が次に起動されるタイミング(例えば1〜60秒)を設定して終了する。
【0072】
図9に戻り、S304、S306及びS310で、特定された精神状態に対応する精神ポイント値を取得する。S307では、当該のキーワードを、ユーザー名及び精神ポイントと対応付けて、興味抽出用母データとしてキーワードメモリに記憶・蓄積する。図13は第一会話例を、そのキーワード抽出と精神ポイント付与形態とともに示すものである。抽出されたキーワードは「」で囲んで示しており、取得された精神ポイントをその右側に上付き文字で示している。図14は対応するキーワードメモリの蓄積内容を示すものである。興味分析ソフトウェア109aの実行により、該キーワードメモリの蓄積内容は、図15に示すように、キーワード毎に精神ポイントの合計値(総ポイント)が計算され、統計データ化される。
【0073】
次に、図8ではS200に進み、精神ポイントの合計値が最も高いキーワード(以下、第一キーワードという)を含む目的地を目的地データベース21d上で検索する。図15からも明らかな通り、該当するキーワードは「雪」及び「タイヤ」である。また、検索サイトを経由したインターネット上での情報検索も行なう。なお、検索開始のトリガは、検索開始用に予め定められたキーワードをユーザーの誰かが発話したとき、これを音声認識することにより与えられる。図13においては、具体的に、TAKASHIが発話した当該キーワードである「検索」を検出して検索が開始されている。
【0074】
図13において、単にキーワードの出現頻度にのみ着目してみれば、話題の中心になっている「雪」や「タイヤ」あるいは「スタッドレス」等のキーワードに加え、「バス」の出現頻度もそれらに次いで高い。しかし、会話の流からも明らかなように、「バス」を最初に発話したHITOMIは、おととしの辛いバス旅行の思い出を不愉快に語っており、図12のBないしAの不愉快度の高い精神状態が検出されたことを受けて、該HITOMIの発した「バス」については、精神ポイントが負値である−1が付与されている。これを受けたTAKASHIの発言においても、二度現れる「バス」について精神ポイントは0及び−1となっている。その結果、「バス」については出現頻度は比較的高い3でありながら、精神ポイントの合計値は−2となり、目的地検索には採用されない。
【0075】
図8に戻り、S220では、検索された目的地につき、HDD121内の出力履歴データ21d(図9)上の目的地訪問(行先)履歴を参照して、その訪問頻度を調べる。訪問頻度が第一閾値X未満(例えばX=2)のときはであれば直ちにS240に進み、該当する目的地をモニター110上にリスト表示し、ユーザーへの選択を促す(S235)。一方、S220で訪問頻度が第一閾値X以上のときはS225に進み、該訪問頻度が第一閾値Y未満(例えばY=4)であればS250に進む。ここでは、ヒットした目的地が属する分類(サブ分類コード、あるいはジャンルコード)にて、当該のキーワードを含まない目的地も対象とする形で拡張検索を行い、その結果をモニター110上にリスト表示し、ユーザーへの選択を促す。
【0076】
また、S225で訪問頻度が第一閾値Y以上になるときは、目的地が陳腐化していると判断し、S230に進む。ここでは、前述の第一キーワードと、精神ポイントの合計値が二番目に高いキーワード(以下、第二キーワードという)の論理和により目的地を拡張して検索を行い、その結果をモニター110上にリスト表示し、ユーザーへの選択を促す。図16は、そのリスト表示例を示すものであり、過去の訪問頻度が識別可能な形で個々の目的地の選択ボタン110Bを表示している(具体的には、目的地の選択ボタン110Bを訪問頻度に応じて色分けしてある)。ユーザーは、タッチパネル112から該当するボタンにタッチすることで、図17に示すように目的地設定画面122に切り替わり、確定ボタン122Fにタッチすることにより目的地設定が確定され、案内を開始させることができる。
【0077】
なお、過去のアクセスにて取得した該ウェブサイトのコンテンツファイルがHDD121内のコンテンツデータ21u内に記憶されている場合は、コンテンツ提供サーバー500にはアクセスせず、該HDD121から当該のコンテンツファイルを読み出してモニター110に出力すればよい。ただし、前回のアクセスが予め定められた日時以前にさかのぼる場合には、コンテンツ提供サーバー500へのアクセスによりモニター110への出力を行なう。なお、古いコンテンツファイルは、このとき再ダウンロードしたコンテンツファイルにて上書き更新する。
【0078】
ここで、図16に示すように、第一キーワードだけでは閾値以上に多数の目的地が検索され、適切な目的地選択が実行できない場合がある。この場合は、第二キーワードとの論理積により目的地候補の絞込みが可能である。図16では、第二キーワードを「雪」とし、第二キーワードがそれぞれ、「タイヤ」、「温泉」、「スキー」だった場合の、目的地リスト(選択ボタン110B)の表示例を示している。
【0079】
図17は、第二キーワードを「タイヤ」として絞り込んだ場合において、タイヤショップの1つを目的地として選んだ場合の目的地設定画面122の表示例を示す。このタイヤショップのウェブサイトにはショッピングページが併設されており、アクセスボタン122sとして、該ショッピングページへのリンクボタンが設けられている。図18は、当該のショッピングページの表示画像122sを示している。
【0080】
なお、当該の絞込みの過程で、外部の検索ウェブサイトにおける関連情報のアクセス実績に係る情報提供を第三者から受けることができる場合には、図16に示すように、その関連情報を取得できるウェブサイトへのリンクボタンを補助アクセスボタン110Eとして、合わせて設定・表示することも可能である。例えば、「雪」「タイヤ」のキーワードを検索ウェブサイトに送信し、検索ウェブサイトでは、これに関連付けられる商品(例えばスタッドレスタイヤ)のウェブサイト検索を行なうとともに、その検索されたウェブサイトのアクセス頻度が反映された統計データを作成する。そして、関連付けられる商品のうち最もアクセス頻度の高いもののウェブサイトのURLを自動車側情報出力システム534へ返送する。自動車側情報出力システム534では、これを受けて前述の補助アクセスボタン110Eを作成する。図19は、その補助アクセスボタン110Eを実行したときのモニター110の表示画像122Uを示すものである。
【0081】
図20は、第二キーワードを「スキー」として絞り込んだ場合において、スキー場の1つを目的地として選んだ場合の目的地設定画面122の表示例を示す。アクセスボタン122sとして、該スキー場のウェブサイトへのリンクボタンが設けられている。図21は、該アクセスボタン122sを実行したときのモニター110の表示画像122Uを示すものである。
【0082】
図22は、第二キーワードを「温泉」として絞り込んだ場合において、温泉地の1つを目的地として選んだ場合の目的地設定画面122の表示例を示す。ここでは、HDD121のコンテンツデータ21u内に記憶されている温泉関連の映像情報へのアクセスボタン122Bが設けられている。図23は、アクセスボタン122Bの実行による映像122Mの表示例を示すものである。
【0083】
次に、図24は第二会話例を示すものであり、図25は対応するキーワードメモリの蓄積内容を、図26は、キーワード毎の精神ポイント合計値の統計データである。ここでも、キーワードの出現頻度に着目した場合、図25に示すように、「伊東」が6回と多く、これに次いで「下道」が3回、「富士山」が3回である。情報検索上、「伊東」は必須キーワードとして一見採用されそうである。ところが、図24の会話の流れを見ると、「下道」にそれほどネガティブな感情を抱いていないSHOUGOの5行目以下の発言内容に激怒したERIKAが、「下道」を含む会話文を、相当怒りを込めて発言している。SHOUGOが発言した「下道」の精神ポイントは+1であるのに対し、ERIKAが発言した「下道」の精神ポイントは−1であり、2回発言された「下道」について精神ポイントへの寄与は互いに相殺し、0となる。また、ERIKAの発言にひるんだSHOUGOは、2度目の「下道」についてはさすがにためらいつつ発言することになり、そのストレスの影響で精神ポイントは0になっている。その結果、「下道」の出現頻度は比較的高い3でありながら、精神ポイントの合計値は0となり、目的地検索には採用されない。
【0084】
また、会話コンテクスト上、この「下道」と密接に結びついている「伊東」の精神ポイントについても、YUKIOの最初の発言においては出発時の和みから+1になっている以外は、沼津で高速を降りる主旨のSHOUGOの発言を受けた後のYUKIOの2度目の発言では疲れを警戒して0となり、激怒した問題のERIKAの発言では−1など、以降の5回については0又は−1となっている。その結果、精神ポイントの合計値は−1となり、目的地検索には採用されない。他方、「富士山」については、早く着けそうだというSHOUGOの発言に一転して気をよくしたERIKAの、喜びに舞い上がって最後に発言した「富士山」の精神ポイントが+2と高く、出現頻度は3度ながら、図26に示す通り精神ポイントの合計値は+4と最大になっている。SHOUGOの「検索」発言をトリガとして、実際には第一キーワードとして富士山、第二キーワードとして富士五湖が採用され、図27に示す案内情報がインターネット上で検索され、出力されている。
【0085】
図28は第三会話例を示すものであり、図29は、キーワード毎の精神ポイント合計値の統計データである。ここでは、ちょうど食事時に重なったタイミングで、テレビで話題のラーメン屋に話題が及び、特に話題の中心である「チャーシュー」をめぐって会話が一挙に盛り上がった状況を示す。具体的には、盛り上がった複数のメンバーが口々に「チャーシュー」を連呼した結果、図29に示すように、「チャーシュー」だけで精神ポイントの合計値が閾値として定められた+10に到達している。システム側はこれを受けて自動的に検索エンジンにトリガ指令を与え、第一キーワードを「チャーシュー」、第二キーワードを店名である「てんこもり」として検索を実行している
【0086】
図30は目的地の検索出力結果を示している。目的地に関連する他の被提供情報も存在する場合は、その被提供情報へのアクセスボタン122sも合わせて表示されている。当該アクセスボタン122sの実行により被提供情報を出力することができる。例えば被提供情報がインターネットウェブサイトのコンテンツである場合は、アクセスボタン122sは当該ウェブサイトへのリンクボタンとして形成される。ここでの目的地は飲食店であり、例えばその店のメニューが見たい場合は、アクセスボタン122sに対し該コンテンツの一部をなすメニュー紹介ページのURLリンクを張っておく。該アクセスボタン122sの実行により、自動車側情報出力システム534から当該ウェブサイトのコンテンツ提供サーバー(情報提供サーバー)500に無線アクセスがなされ、図31に示すように、メニューページがモニター110に表示される。
【図面の簡単な説明】
【0087】
【図1】本発明の自動車用情報提供システムの概念図。
【図2】音声認識用のマイクの座席別配置例を示すレイアウト図。
【図3】自動車側情報出力システムの電気的構成の一例を示すブロック図。
【図4】エコー測定ユニットの構成例を示す簡易ブロック図。
【図5】ナビデータの一例を示す模式図。
【図6】出力履歴データの一例を示す模式図。
【図7】検索結果の第一出力例を示す模式図。
【図8】主処理の流れを示すフローチャート。
【図9】キーワード抽出処理の流れを示すフローチャート。
【図10】エコー測定ユニットの設定処理の流れを示す第一のフローチャート。
【図11】同じく第一のフローチャート。
【図12】心拍、呼吸及び血流速度と特定対象となる精神状態、及び精神ポイントとの関係を示す説明図。
【図13】第一会話例に係るキーワード抽出及び精神ポイント付与例を示す図。
【図14】図13に対応するキーワードメモリの蓄積状態を示す図。
【図15】図14に対応するキーワード別の精神ポイント統計データを示す図
【図16】絞込みを行なう場合の検索結果の出力例を示す模式図。
【図17】図16の検索結果を受けた目的地設定画面の第一表示例を示す図。
【図18】同じくウェブサイトのコンテンツ表示画面の第一例を示す図。
【図19】同じく第二例を示す図。
【図20】図16の検索結果を受けた目的地設定画面の第二表示例を示す図。
【図21】同じくウェブサイトのコンテンツ表示画面の第一例を示す図。
【図22】図16の検索結果を受けた目的地設定画面の第三表示例を示す図。
【図23】同じくウェブサイトのコンテンツ表示画面の第一例を示す図。
【図24】第二会話例に係るキーワード抽出及び精神ポイント付与例を示す図。
【図25】図24に対応するキーワードメモリの蓄積状態を示す図。
【図26】図25に対応するキーワード別の精神ポイント統計データを示す図。
【図27】図26のキーワード抽出結果を受けて検索された被提供情報の出力例を示す図。
【図28】第三会話例に係るキーワード抽出及び精神ポイント付与例を示す図。
【図29】図28に対応するキーワード別の精神ポイント統計データを示す図。
【図30】図29のキーワード抽出結果を受けて検索された被提供情報の第一出力例を示す図。
【図31】同じく第二出力例を示す図。
【図32】精神愉快度を特定するための表情変化解析処理一例を示すフローチャート。
【図33】同じく視線変化解析処理一例を示すフローチャート。
【図34】姿勢測定ユニットの一例を示す回路図。
【図35】精神愉快度を特定するための姿勢変化解析処理一例を示すフローチャート。
【符号の説明】
【0088】
534 自動車用情報出力システム
109 フラッシュメモリ(興味抽出用母データ蓄積手段)
109e 興味分析ソフトウェア(キーワード抽出手段、ユーザー興味情報抽出手段)
109g 参照キーワード辞書
109j キーワード統計データ(興味抽出用母データ)
109a ナビソフトウェア(被提供情報収集手段)
109d ブラウザソフトウェア(被提供情報収集手段)
109e 精神状態分析ソフトウェア(精神状態良否判定手段、精神ポイント変換手段)
110 モニター(被提供情報出力手段)
112 エコー測定ユニット(精神状態検出手段、エコー測定装置)
115 スピーカ(被提供情報出力手段)
130 音声認識ユニット(音声認識手段)
131 マイク(会話音声入力手段)
181 CPU
190 通信ECU(無線アクセス手段)
500 コンテンツ提供サーバー(情報提供サーバー)

【特許請求の範囲】
【請求項1】
ユーザーによる自動車内での会話内容が音声入力される会話音声入力手段と、
前記会話内容を音声認識する音声認識手段と、
該音声認識された会話入力内容からユーザーの興味特定に使用するキーワードを抽出するキーワード抽出手段と、
前記会話内容が入力されたときの前記ユーザーの精神状態を検出する精神状態検出手段と、
抽出された前記キーワードと検出された前記精神状態とに基づいて被提供情報を収集する被提供情報収集手段と、
収集した被提供情報を画像、音声もしくはそれらの組合せにより出力する被提供情報出力手段と、
を備えたことを特徴とする自動車用情報提供システム。
【請求項2】
前記被提供情報出力手段は、予め定められた提供トリガ情報を取得するに伴い前記被提供情報を出力するものである請求項1記載の自動車用情報提供システム。
【請求項3】
検出された前記精神状態情報と前記キーワードとを対応付けて興味抽出用母データとして蓄積する興味抽出用母データ蓄積手段と、
蓄積されている前記興味抽出用母データから前記ユーザーの現在の興味を反映したユーザー興味情報を抽出するユーザー興味情報抽出手段とを備え、
前記被提供情報収集手段は、抽出された前記ユーザー興味情報に適合する被提供情報を収集するものである請求項1又は請求項2に記載の自動車用情報提供システム。
【請求項4】
前記興味抽出用母データ蓄積手段は、直近所定期間内に抽出されたキーワードのみを蓄積し、当該所定期間経過後の蓄積済キーワードを順次削除するものである請求項3記載の自動車用情報提供システム。
【請求項5】
検出された前記精神状態の良否を判定する精神状態良否判定手段を備え、
前記興味抽出用母データ蓄積手段は、前記精神状態の良否判定結果を前記精神状態情報として前記キーワードと対応付けるとともに、該精神状態良否判定結果と対応する前記キーワードとの組を興味抽出用母データとして蓄積するものであり、
前記被提供情報収集手段は、前記キーワード抽出手段が抽出した前記キーワードに基づいて、収集すべき被提供情報の検索を行なうものであり、
前記ユーザー興味情報抽出手段は、前記興味抽出用母データにおいて前記精神状態良否判定結果が良好なキーワードほど、前記被提供情報収集手段における前記被提供情報の検索に際しての採用優先度を高く設定するものである請求項3又は請求項4に記載の自動車用情報提供システム。
【請求項6】
前記ユーザー興味情報抽出手段は、前記興味抽出用母データ蓄積手段に蓄積されている前記キーワードの出現頻度を解析するとともに、前記精神状態良否判定結果が良好かつ出現頻度の高いキーワードほど前記被提供情報収集手段における前記被提供情報の検索に際しての採用優先度を高く設定するものである請求項5記載の自動車用情報提供システム。
【請求項7】
前記ユーザー興味情報抽出手段は、前記興味抽出用母データにおいて前記精神状態良否判定結果が予め定められた水準よりも不良となっているキーワードを、前記被提供情報収集手段における前記被提供情報の検索に採用しない請求項5又は請求項6に記載の自動車用情報提供システム。
【請求項8】
前記精神状態良否判定手段は、前記精神状態検出手段が検出する精神状態を、該精神状態が良好なほど数値が大きくなる精神ポイントに変換する精神ポイント変換手段を有し、前記興味抽出用母データ蓄積手段は該精神ポイントを前記精神状態良否判定結果として前記キーワードと対応付け、前記興味抽出用母データとして蓄積する請求項3ないし請求項7のいずれか1項に記載の自動車用情報提供システム。
【請求項9】
前記ユーザー興味情報抽出手段は、前記興味抽出用母データ蓄積手段に蓄積されている前記キーワードの種別毎に前記精神ポイントを加算し、該精神ポイントの総和が大きいキーワードほど前記被提供情報収集手段における前記被提供情報の検索に際しての採用優先度を高く設定するものである請求項8記載の自動車用情報提供システム。
【請求項10】
前記精神ポイント変換手段は、対応するキーワードを含む会話がなされたときの精神状態が所定レベルよりも悪い場合に、当該キーワードに対応付けて付与する前記精神ポイントをゼロ又は負値に設定する請求項9記載の自動車用情報提供システム。
【請求項11】
前記ユーザー興味情報抽出手段は、前記被提供情報収集手段における前記被提供情報の検索に際し、前記精神ポイントの総和がゼロ又は負値となるキーワードを採用から除外する請求項10記載の自動車用情報提供システム。
【請求項12】
抽出された前記キーワードについて前記精神ポイントの総和が予め定められた閾値を超えた場合に前記被提供情報の提供トリガ情報を出力する提供トリガ情報出力手段が設けられ、前記被提供情報出力手段は、当該入力された提供トリガ情報を取得することにより前記被提供情報を出力するものである請求項9ないし請求項11のいずれか1項に記載の自動車用情報提供システム。
【請求項13】
前記精神状態検出手段は、前記自動車の座席に着座する前記ユーザーの心臓又は肺のエコー測定を行なうエコー測定ユニットを含み、該エコー測定結果に基づいて前記精神状態を検出するものである請求項1ないし請求項12のいずれか1項に記載の自動車用情報提供システム。
【請求項14】
前記エコー測定ユニットは前記座席の背もたれ部に埋設される測定用超音波送信部と反射超音波受信部とを有し、前記ユーザーのエコー測定を行なうものである請求項13記載の自動車用情報提供システム。
【請求項15】
前記精神状態検出手段は、前記エコー測定により前記ユーザーの心拍数、呼吸数及び血流速度の少なくともいずれかを特定し、その特定結果に基づいて前記ユーザーの精神状態を検出するものである請求項14記載の自動車用情報提供システム。
【請求項16】
前記精神状態検出手段は、心臓又は肺を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第一エコー測定部と、該測定対象以外の人体部分を測定対象とした測定用超音波送信部と反射超音波受信部とからなる第二エコー測定部と、前記第一エコー測定部の反射超音波受信部出力波形と、前記第二エコー測定部の反射超音波受信部出力波形との差分波形を演算・出力する差分演算部とを有し、該差分波形に基づいて前記心拍数、呼吸数及び血流速度の少なくともいずれかを特定するものである請求項15に記載の自動車用情報提供システム。
【請求項17】
前記精神状態検出手段は、前記エコー測定ユニットの測定結果に基づいて前記精神活性度を特定する一方、該エコー測定ユニットとは別に設けられた精神愉快度検出手段により精神愉快度を特定し、前記精神状態を前記精神活性度と前記精神愉快度との組合せに基づいて特定する請求項13ないし請求項16のいずれか1項に記載の自動車用情報提供システム。
【請求項18】
前記精神愉快度検出手段は、前記ユーザーの表情、視線及び姿勢のいずれかに基づいて精神愉快度を検出するものである請求項17記載の自動車用情報提供システム。
【請求項19】
前記被提供情報出力手段はカーナビゲーションシステムを含んで構成され、前記被提供情報収集手段は前記被提供情報として前記ユーザー興味情報に適合する目的地情報を前記カーナビゲーションシステム上で検索・収集するものである請求項1ないし請求項18のいずれか1項に記載の自動車用情報提供システム。
【請求項20】
前記被提供情報出力手段はインターネットウェブサイトへの無線アクセス手段を有し、前記被提供情報収集手段は前記被提供情報として前記ユーザー興味情報に適合するウェブサイ情報をインターネット上で検索・収集するものである請求項1ないし請求項19のいずれか1項に記載の自動車用情報提供システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate


【公開番号】特開2009−294790(P2009−294790A)
【公開日】平成21年12月17日(2009.12.17)
【国際特許分類】
【出願番号】特願2008−146123(P2008−146123)
【出願日】平成20年6月3日(2008.6.3)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】