説明

車両用エージェント装置

【課題】 本発明は、乗員とエージェントとの間で適切且つ快適なコミュニケーションを実現することができる車両用エージェント装置の提供を目的とする。また、エージェントを用いて車両空間のアミューズメント性を向上させることができる車両用エージェント装置の提供を目的とする。
【解決手段】 乗員とのコミュニケーションを行うエージェント像を表示制御する車両用エージェント装置において、乗員の顔の向きまたは視線30を検出する視線検出部12と乗員の音声を検出する音声認識部15の検出結果に基づいて、乗員が前記エージェント像に対して話しかけているか否かを判断する車両用エージェント装置。また、乗員同士が会話していると判断された場合、前記エージェント像同士も会話をしているように表示制御する車両用エージェント装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、乗員とのコミュニケーションを行う擬人化されたエージェント像を表示制御する車両用エージェント装置に関する。
【背景技術】
【0002】
従来、車両におけるエージェント装置についての開発が行われ、それに関する技術が開示されている(例えば、特許文献1及び2)。特許文献1では、車両センサで検知された車両状況等に応じてエージェントが動作することが開示されている。特許文献2では、複数のエージェントを準備し、ドライバーの呼び出しに応じたエージェントを登場させることが開示されている。
【特許文献1】特開平11−37766号公報
【特許文献2】特開2000−20888号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上述の特許文献1及び2では、乗員がエージェントに話しかけているかどうかを適切に判断することができない。また、特許文献1及び2では、ドライバーとエージェントとのコミュニケーションに関する技術が開示されており、車両に複数の人がいる場合に適切且つ快適なコミュニケーションを図る技術について何ら開示されていない。例えば、車両に複数の人がいる場合に、ある乗員が他の乗員に話しかけているのか、それともエージェントに話しかけているのかをどのように判断するのかについて何ら開示及び示唆されていない。
【0004】
そこで、本発明は、乗員とエージェントとの間で適切且つ快適なコミュニケーションを実現することができる車両用エージェント装置の提供を目的とする。また、エージェントを用いて車両空間のアミューズメント性を向上させることができる車両用エージェント装置の提供を目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明の一局面によれば、
乗員とのコミュニケーションを行うエージェント像を表示制御する制御手段を備える車両用エージェント装置において、
乗員の顔の向きまたは視線を検出する視線検出手段を有し、
前記制御手段は、前記視線検出手段の検出結果に基づいて、前記エージェント像を表示制御することを特徴とする車両用エージェント装置が提供される。本局面によれば、乗員の顔の向きまたは視線を検出することによって、乗員がエージェントを見ているのか否かを判断することができ、その判断結果に基づいてエージェントのコミュニケーション行為を変えることができるように制御することができる。
【0006】
また、乗員の音声を検出する音声検出手段を有し、前記制御手段は、前記視線検出手段と前記音声検出手段の検出結果に基づいて、乗員が前記エージェント像に対して話しかけているか否かを判断する判断手段を備えてもよい。これにより、乗員がジェージェントに話しかけているか否かの判断結果に基づいて、車両に複数の人がいる場合であっても、適切且つ快適なコミュニケーションを実現することができる。
【0007】
また、前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記エージェント像同士も会話をしているように表示制御してもよい。これにより、乗員の動作をエージェントが真似をすることによって、車両空間のアミューズメント性を向上させることができる。
【発明の効果】
【0008】
本発明によれば、乗員とエージェントとの間で適切且つ快適なコミュニケーションを実現することができる。また、エージェントを用いて車両空間のアミューズメント性を向上させることができる。
【発明を実施するための最良の形態】
【0009】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図1は本発明の車両用エージェント装置と乗員との関係の一例を示した図である。
【0010】
車外画像解析部11は、カメラAまたはカメラA及びBによって撮影された車外の撮影画像(例えば、建物、道路、人、他車等の撮影画像)を解析する装置である。車外画像解析部11は、レーダーやマイクロ波によって車外の対象物に関する検出結果を画像解析に利用するようにしてもよい。カメラの数は乗員の数や検出精度等に応じて決められる。
【0011】
視線検出部12は、車内にあるカメラCまたはカメラC及びDによって撮影された乗員の撮影画像から乗員の視線30や顔の向きを検出する装置である。また、乗員が一人なのか複数いるのかも判断可能である。乗員が複数いる場合は、それぞれの乗員の視線30を検出する。カメラの数は乗員の数や検出精度等に応じて決められる。
【0012】
ナビゲーション部14は、経路検索機能や場所検索機能等を有するものである。ナビゲーション部14は、GPS(Global Positioning System)受信機19によるGPS衛星からの受信情報と地図データベース内の地図データと車速情報等に基づいて、自車の地図上での位置を認識することができる。これによって、自車の位置から所望の目的地までの経路を検索することができる。また、ナビゲーション部14は、レストランや公園等の施設に関するデータが保存された施設データベースに基づいて、行きたい場所を検索することができる。なお、ナビゲーション部14が利用するこれらのデータベースは、車内にあってもよいし、通信回線を介して接続可能な車外の集中管理センター内にあってもよい。
【0013】
車外風景/地図照合部13は、ナビゲーション部14からの情報(GPSからの車両の位置、地図データ、建物データ、道路データ等)と車外画像解析部11からの情報と視線検出部12からの情報を照合する装置である。車外画像解析部11からの情報と視線検出部12からの情報を照合することによって、実際の車外の風景の中でどこを乗員が見ているのかを特定することができる。さらに、ナビゲーション部14からの情報を照合することによって、地図データ上で、どこを乗員が見ているのか、どの建物を見ているのか等を特定することができる。
【0014】
音声認識部15は、乗員の声を拾うマイク20によって拾われた乗員の声を認識する。例えば、乗員が話している中で所定のキーワードが出てきた場合に、それを認識して取得し、エージェントが発する言葉に利用する。また、マイクで拾った声は、声紋認証等でだれが話しているのかを特定するために使用される。
【0015】
対話管理部17は、音声認識部15の検出結果や、視線検出部12の検出結果や、車外風景/地図照合部13の照合結果に基づいて、エージェントのコミュニケーション行為を決定し、エージェント像を制御する装置である。例えば、どういう言葉をエージェントにしゃべらせるか、どういう動きや仕草をエージェントにさせるかを決定する。対話管理部17は、その決定された行為を像として表示されたエージェントが振舞うようエージェント画像データを表示制御する。例えば、乗員が「おはよう!」といえば、「おはよう」というキーワードに基づいて、エージェントは「おはようございます。今日は天気がいいですね!」と歯を磨く動作をしながら返事をしてくる。また、乗員が「近くのレストランを探して!」といえば、エージェントが「イタリアンか中華のどちらがいいですか?」と問いかける仕草をしながら応答してくる。また、車内にドライバーが一人しかいないときにはエージェントは話し相手となったり、乗員が複数いるときにはエージェントは後述するように各乗員の動作の真似をしたりして、退屈な車内空間は楽しくなる。
【0016】
対話管理部17には、学習機能を備えてもよい。車載の各種センサが検出したセンサ情報とともにエージェントが行ったコミュニケーション行為を記憶させていくことによって、エージェントのコミュニケーション内容が学習されていく。車を運転している状況では、場所変化、時間変化、交通状況変化、乗員変化、感情変化、心理変化等があり、これらを各種センサで読み取り、そのときにエージェントがリコメンドした内容に対する乗員の返答を学習していくことによって、リコメンドする内容を変えていくことができる。各種センサには、車両状態やユーザの生体情報を検出するものがある。車両状態を検出するセンサには、例えば、アクセルセンサ、ブレーキセンサ、乗員検出センサ、シフトポジションセンサ、シートベルト検出センサ、車間距離センサ等があり、それ以外にも目的に応じて車両状態を検出するセンサが存在する。生体情報を検出するセンサには、例えば、体温センサ、脳波センサ、心拍数センサ、指紋検出センサ等があり、それ以外にも目的に応じて生体情報を検出するセンサが存在する。
【0017】
また、対話管理部17は、音声認識部15の検出結果(音声認識部15により検出された乗員の音声強弱、エージェントの名前の呼び出し等)や、視線検出部12の検出結果に基づいて、乗員がエージェント像に対して話しかけているか否かを判断し、エージェント像を制御する装置である。
【0018】
なお、エージェントの容姿は、人間をはじめとして、動物、ロボット、漫画のキャラクター等、様々存在し、ユーザの好みによって選択可能なものである。エージェントは、ディスプレイ等の表示部18上を動くものであってもよいし、ホログラフィのようなものであってもよい。エージェント画像データは、あらかじめ車両内に記憶されていたり、車外からのダウンロードによって追加されたりする。
【0019】
音声合成部16は、対話管理部17で決定されたエージェントが話すテキスト文をスピーカ21から出力される実際の音声に変換する装置である。例えば、あらかじめメモリ等に記憶された「おはようございます」「今日は」「天気がいいですね」という単語や文節等が、対話管理部17からの情報に基づいて、「おはようございます。今日は天気がいいですね!」という音声メッセージに合成される。この合成された音声信号は、スピーカ21によってエージェントの声として出力される。
【0020】
表示部18は、像としてのエージェントや、ナビゲーション部14のナビゲーション機能に関する地図データや目的地リスト等や、カメラによって撮影された社外の建物や道路の実映像を表示する装置である。例えば、フロントコンソールに配置されたディスプレイや、乗員が見やすいように座席毎に配置されたディスプレイや、ヘッドアップディスプレイである。
【0021】
それでは、本発明の車両用エージェント装置の動作例について説明する。図2は、本発明の車両用エージェント装置の動作例を示したフロー図である。ドライバーによりACC電源がONされると(ステップ100)、表示部18であるところのディスプレイにそれらの乗員に対応したエージェントがそれぞれ表示される(ステップ110)。エージェントの表示は、ACC電源ON、音声によるエージェントの呼び出し、生体認証(視線検出、虹彩・網膜認証、顔面認証、声紋認証、指紋認証、静脈認証等、による成立)、所定のボタン操作等によって行われる。
【0022】
そして、ステップ120において、視線検出部12がドライバー席(D席)、パッセンジャー席(P席)に座る乗員の顔の向きもしくは視線30を検出する。さらに、ステップ130において、所定のスイッチ(SW)や所定の音声の認識等をトリガーに、音声認識部15はエージェントがコミュニケーションするための音声認識を行う。対話管理部17は、音声認識部15の検出結果や、視線検出部2の検出結果や、車外風景/地図照合部13の照合結果に基づいて、エージェントのコミュニケーション行為を決定し、エージェント像を表示制御する。ステップ140において、対話管理部17は、エージェントのコミュニケーションや振る舞いを走行状態に応じて変えるため、車速センサやシフトポジションセンサ等の検出結果から、走行中であるか否かを判断する。
【0023】
走行中でないと判断されれば、D席・P席の視線検出結果、音声認識結果(音声を認識しない場合を含む)及び車両情報(ナビゲーション14部の地図データ等の情報と視線検出結果と車外風景情報との照合結果)に合わせて、エージェントの振る舞い(表示、音声)が決定され、実行される(ステップ150)。
【0024】
ステップ150において、エージェントは、例えば、以下のように振る舞う。図3(a)(b)のように、ドライバーの視線30が前向きであれば、エージェントも前を向いてドライバーの真似をする。ドライバーの視線30が横向きになると、同じくエージェントも横を向いて真似する。ドライバーの視線30が前方上方になれば、同じくエージェントも前方上方を向いて真似をする。図3(c)のように、ドライバーの視線30とパッセンジャーの視線30が前方にある対象物に一致したとき、エージェントはその位置を指さす。さらに、その位置に関する情報をナビゲーション部14から取得して音声案内をする。図3(d)のように、ドライバーの視線30とパッセンジャーの視線30が向き合って対話していると認識された場合、エージェントが聞き耳を立てる動作をする。また、ドライバーとパッセンジャーの対話音量が小さくなったらエージェントの耳の大きさが大きくなる。図3(e)のように、ドライバーとパッセンジャーがお互いを見て話していると認識された場合、ドライバー対応エージェントとパッセンジャー対応エージェントも同様にお互いを見て話し始めたり、聞き耳をたてたりする。また、ドライバーの視線30と同じ視線になるようにドライバー対応エージェントが真似をし、パッセンジャーの視線30と同じ視線になるようにパッセンジャー対応エージェントが真似をする。
【0025】
一方、走行中であると判断されれば、その走行状態に合わせて、エージェントの振る舞い(表示、音声)が決定され、実行される(ステップ160)。ステップ160において、エージェントは、例えば、以下のように振る舞う。図3(f)のように、加速度センサにより急加速したと判断されると、エージェントが転ぶ動作をする。そして、ドライバーに対し「あぶないよ!」と音声により警告をする。それ以外にも、ドライバーとパッセンジャーがともに前方を見ておらず、同じ方向を見ている場合、「前を見ていないと危ないよ!」と警告をする。ドライバーとパッセンジャーのどちらかが前を向いていると認識した場合には、過度にエージェントが反応して自然な車内の雰囲気を壊さないよう、特に警告をしないようにしてもよい。なお、ドライバーが運転に集中できるように、エージェント自体の表示を消したり、動きを停止したりしてもよい。
【0026】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【0027】
視線検出部12によって、乗員の座席から目までの高さを認識することができることを利用して、大人が座っているのか子供が座っているのかを検出することができる。体重検知センサやカメラ等による検出結果を組み合わせて、より正確な判定を行うことも可能である。子供が喜ぶようなエージェントデータ(漫画のキャラクターや動物等)を用意しておき、子供が座っていると判定された場合、それらの子供用エージェントを表示させる。したがって、子供でも楽しめるアミューズメント性をもった車両空間にすることができる。
【図面の簡単な説明】
【0028】
【図1】本発明の車両用エージェント装置と乗員との関係の一例を示した図である。
【図2】本発明の車両用エージェント装置の動作例を示したフロー図である。
【図3】エージェント像の振る舞いの例を示した図である。
【符号の説明】
【0029】
11 車外画像解析部
12 視線検出部
13 車外風景/地図照合部
15 音声認識部
17 対話管理部
20 マイク
21 スピーカ
30 視線

【特許請求の範囲】
【請求項1】
乗員とのコミュニケーションを行うエージェント像を表示制御する制御手段を備える車両用エージェント装置において、
乗員の顔の向きまたは視線を検出する視線検出手段を有し、
前記制御手段は、前記視線検出手段の検出結果に基づいて、前記エージェント像を表示制御することを特徴とする車両用エージェント装置。
【請求項2】
前記制御手段は、複数の乗員の視線が前方で一致した場合には、前記エージェント像をその一致した位置を指さすように表示制御する請求項1記載の車両用エージェント装置。
【請求項3】
前記制御手段は、複数の乗員の視線が前方で一致した場合には、その一致した位置に関する情報を案内するよう前記エージェント像を表示制御する請求項1記載の車両用エージェント装置。
【請求項4】
前記制御手段は、前記エージェント像に対してのドライバーの視線が所定時間継続した場合、前記ドライバーに対し注意をするよう前記エージェント像を表示制御する請求項1記載の車両用エージェント装置。
【請求項5】
前記制御手段は、前記エージェント像を乗員と同一の視線または顔の向きになるように表示制御する請求項1記載の車両用エージェント装置。
【請求項6】
更に、乗員の音声を検出する音声検出手段を有し、
前記制御手段は、前記視線検出手段と前記音声検出手段の検出結果に基づいて、前記エージェント像を表示制御する請求項1記載の車両用エージェント装置。
【請求項7】
前記制御手段は、前記視線検出手段と前記音声検出手段の検出結果に基づいて、乗員が前記エージェント像に対して話しかけているか否かを判断する判断手段を備える請求項6記載の車両用エージェント装置。
【請求項8】
前記音声検出手段の検出結果は、乗員の音声の強弱である請求項7記載の車両用エージェント装置。
【請求項9】
前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記エージェント像同士も会話をしているように表示制御する請求項7記載の車両用エージェント装置。
【請求項10】
前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記乗員同士に対して聞き耳をたてるよう前記エージェント像を表示制御する請求項7記載の車両用エージェント装置。
【請求項11】
前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記乗員同士の会話の音量に応じて前記エージェント像の耳の大きさが変化するように表示制御する請求項8記載の車両用エージェント装置。
【請求項12】
前記制御手段は、車内に複数の乗員が検出された場合、乗員に対して話しかけるタイミングが乗員一人の場合の該タイミングよりも長くなるよう前記エージェント像を表示制御する請求項7記載の車両用エージェント装置。
【請求項13】
前記制御手段は、前記視線検出部によって検出された視線の位置に基づいて、乗員が大人か子供かを判断する判断手段を備え、
前記判断手段によって子供であると判断された場合、予め登録された複数のエージェント像の中から選択された子供用エージェント像を表示制御する請求項1記載の車両用エージェント装置。
【請求項14】
前記エージェント像は、ドライバー一人のときはドライバーの話し相手となり、複数の乗員がいるときは各乗員の動作の真似をする請求項6記載の車両用エージェント装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2006−189394(P2006−189394A)
【公開日】平成18年7月20日(2006.7.20)
【国際特許分類】
【出願番号】特願2005−2968(P2005−2968)
【出願日】平成17年1月7日(2005.1.7)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】