車載装置
【課題】擬人化したエージェントが状況に合わせた行為(行動と音声)をし、運転者とのコミュニケーションをはかる。
【解決手段】「ラジオの電源を入れましょうか?」といったように、エージェントが処理可能な行為の提案をする場合のコミュニケーションプログラム等が制御対象プログラムとして規定され実行される。そして、制御対象プログラムである場合(ステップ18;Y)、ステップ17で取得した運転者の応答に応じた制御を行う(ステップ19)。例えば、上記ラジオの電源を入れる提案コミュニケーションに対して、「入れて」「OK」「はい」等の提案を受容する応答が認識された場合であれば、エージェント処理部11は応答に応じた制御として、エージェントに返事をする行為(行為と音声)をさせると共にラジオの電源をONにする。
【解決手段】「ラジオの電源を入れましょうか?」といったように、エージェントが処理可能な行為の提案をする場合のコミュニケーションプログラム等が制御対象プログラムとして規定され実行される。そして、制御対象プログラムである場合(ステップ18;Y)、ステップ17で取得した運転者の応答に応じた制御を行う(ステップ19)。例えば、上記ラジオの電源を入れる提案コミュニケーションに対して、「入れて」「OK」「はい」等の提案を受容する応答が認識された場合であれば、エージェント処理部11は応答に応じた制御として、エージェントに返事をする行為(行為と音声)をさせると共にラジオの電源をONにする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エージェント装置に係り、例えば、擬人化されたエージェントを相手に車両内での会話等が可能なコミュニケーション機能を備えたエージェント装置に関する。
【背景技術】
【0002】
従来車両内において、運転者による走行環境を向上させるようにしたものとして、ラジオやカセットテーププレーヤが搭載されている。
また、車両に搭載したアマチュア無線機や携帯電話等の無線通信機器を使用して、車両外の知人等との会話を楽しむことで、走行環境を向上させるようにした車両もある。
【0003】
なお、運転者に対する情報の伝達を、人間の表情や動作などにより行うようにした技術が特許文献1において提示されている。
【0004】
【特許文献1】特開平9−102098号
【発明の開示】
【発明が解決しようとする課題】
【0005】
従来の車両におけるラジオ等では運転者に対して一方向の情報提示にすぎず、双方向の会話等をすることができなかった。
一方、携帯電話等による場合には会話をすることができるが、コール待ち、ダイヤル等によって通話相手を捜さなければならなかった。たとえ、通話相手が見つかったとしても、車両の状況といった運転者の一方的な都合にあわせた、適切な会話をしてくれるわけではなかった。
このように、従来の車両には、車両の過去の状態などの履歴・運転者の状態に応じて、擬人化されたエージェントが存在しないため、車両が愛着のわかないただの乗り物としての道具でしか役割を持たない場合もあった。
【0006】
また、特許文献1に記載された技術は、過去の運転者の応答等の履歴によって表示が変わるわけではなく、同一の状況が生じた場合には常に同一の表示がされるものである。すなわち、限られたセンサ出力に対して常に同一の表示を行うものであり、視認性が向上された従来の計器類の範疇に入るべきものである。
【0007】
本発明は、擬人化したエージェントが状況に合わせた行為(行動と音声)をし、運転者とのコミュニケーションをはかることができる車両を提供することを目的とする。
【課題を解決するための手段】
【0008】
(1)車両の状況に応じた行動をする擬人化されたエージェントの画像を画像表示装置に表示するエージェント装置であって、エージェントの行動に対応する画像が複数記憶された画像記憶手段と、前記エージェントの画像が表示される表示装置と、前記エージェントの音声を出力する音声出力手段と、前記エージェントによるラジオの電源を入れる提案に対応して、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記提案をする音声を前記音声出力手段から出力する画像音声制御手段と、を具備することを特徴とする。
(2)請求項2に記載した発明では、請求項1に記載のエージェント装置において、前記提案に対する運転者の応答を取得する応答取得手段と、前記取得した応答が受容する応答である場合に、ラジオの電源をオンにするラジオ制御手段と、を具備することを特徴とする。
(3)請求項3に記載した発明では、請求項2に記載のエージェント装置において、前記画像音声制御手段は、前記取得した応答に対するエージェントの返事として、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記返事をする音声を前記音声出力手段から出力することを特徴とする。
【発明の効果】
【0009】
本発明によれば、エージェントによるラジオの電源を入れる提案に対応したコミュニケーションをとることができる。
【発明を実施するための最良の形態】
【0010】
以下、本発明のエージェント装置における好適な実施の形態について、図1から図11を参照して詳細に説明する。
(1)実施形態の概要
本実施形態のエージェント装置では、擬人化されたエージェントを画像(平面的画像、ホログラフィ等の立体的画像等)により車両内に出現させる。そして、車両自体、運転者、同乗者、対向車等を含む車両の状況の判断と学習(状況の学習だけでなく運転者の応答や反応等も含む)をし、各時点での車両状況とそれまでの学習結果に基づいて、エージェントが運転者や車両に対して様々なバリエーションをもった対応(行為=行動と音声)をする。
これにより運転者は、自分固有のエージェントを車両内でつき合う(コミュニケーションする)ことが可能になり、車両内での環境を快適にすることができる。
ここで、車両内に出現させるエージェントは、人間と同様に判断し学習する疑似人格化(仮想人格化)された主体である。従って、同一の車両状況であっても過去の学習内容等に応じてエージェントのコミュニケーションの内容は異なる。ときには、車両の走行には関係ない範囲での判断ミスも有り、この判断ミスによる不要な(ドジな)応答をすることもある。そして運転者の応答により、判断ミスか否かを判定し、学習する。
エージェントとして画像表示される容姿としては、人間的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。
エージェントの容姿や音声については、複数の容姿、複数の音声の中から選択することが可能である。
【0011】
(2)実施形態の詳細
図1は、本実施形態におけるエージェント装置の構成を示すブロック図である。
本実施形態では、コミュニケーション機能全体を制御する全体処理部1を備えている。この全体処理部は、設定した目的地までの経路を探索して音声や画像表示により案内するナビゲーション処理部10、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を行うエージェント処理部11、ナビゲーション処理部10とエージェント処理部11に対するI/F部12、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部13、エージェント音声や経路案内音声等の音声出力や入力される音声を制御する音声制御部14、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部15を有している。
【0012】
ナビゲーション処理部10とエージェント処理部11は、データ処理及び各部の動作の制御を行うCPU(中央処理装置)と、このCPUにデータバスや制御バス等のバスラインで接続されたROM、RAM、タイマ等を備えている。両処理部10、11はネットワーク接続されており、互いの処理データを取得することができるようになっている。
ROMはCPUで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、RAMはCPUがワーキングメモリとして使用するランダムアクセスメモリである。
【0013】
本実施形態のナビゲーション処理部10とエージェント処理部11は、CPUがROMに格納された各種プログラムを読み込んで各種処理を実行するようになっている。なお、CPUは、記録媒体駆動装置23にセットされた外部の記録媒体からコンピュータプログラムを読み込んで、エージェント記憶装置29やナビゲーションデータ記憶装置、図示しないハードディスク等のその他の記憶装置に格納(インストール)し、この記憶装置から必要なプログラム等をRAMに読み込んで(ロードして)実行するようにしてもよい。また、必要なプログラム等を記録媒体駆動装置23からRAMに直接読み込んで実行するようにしてもよい。
【0014】
ナビゲーション処理部10には、現在位置検出装置21とナビゲーションデータ記憶装置30が接続され、エージェント処理部11にはエージェントデータ記憶装置29が接続され、I/F部12には入力装置22と記憶媒体駆動装置23と通信制御装置24が接続され、画像処理部13には表示装置27と撮像装置28が接続され、音声制御部14には音声処理装置25とマイク26が接続され、状況情報処理部15には状況センサ部40が接続されている。
【0015】
現在位置検出装置21は、車両の絶対位置(緯度、経度による)を検出するためのものであり、人工衛星を利用して車両の位置を測定するGPS(Global Positioning System)受信装置211と、方位センサ212と、舵角センサ213と、距離センサ214と、路上に配置されたビーコンからの位置情報を受信するビーコン受信装置215等が使用される。
GPS受信装置211とビーコン受信装置215は単独で位置測定が可能であるが、GPS受信装置211やビーコン受信装置215による受信が不可能な場所では、方位センサ212と距離センサ214の双方を用いた推測航法によって現在位置を検出するようになっている。
方位センサ212は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差(移動距離の差)により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ213は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ214は、例えば、車輪の回転数を検出して計数し、または加速度を検出して2回積分するもの等の各種の方法が使用される。
【0016】
入力装置22は、ナビゲーション処理における走行開始時の現在地(出発地点)や目的地(到達地点)、情報提供局へ渋滞情報等の情報の請求を発信したい車両の所定の走行環境(発信条件)、携帯電話6のタイプ(型式)などを入力するためのものである。また、入力装置22は、本実施形態によるエージェントの問い合わせ等に対して運転者が応答するための1つの手段でもある。
入力装置22には、タッチパネル(スイッチとして機能)、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、音声認識装置などの各種の装置が使用可能である。また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。リモコンには、画面上に表示されたカーソルの移動操作等を行うジョイスティックの他、メニュー指定キー(ボタン)、テンキー等の各種キーが配置される。
【0017】
記録媒体駆動装置23は、ナビゲーション処理部10やエージェント処理部11が各種処理を行うためのコンピュータプログラムを外部の記録媒体から読み込むのに使用される駆動装置である。記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。
ここで、記録媒体とは、コンピュータプログラムが記録される記録媒体をいい、具体的には、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやICカード等の半導体記録媒体、CD−ROMやMO、PD(相変化書換型光ディスク)等の光学的に情報が読み取られる記録媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙(および、紙に相当する機能を持った媒体)を用いた記録媒体、その他各種方法でコンピュータプログラムが記録される記録媒体が含まれる。
【0018】
記録媒体駆動装置23は、これらの各種記録媒体からコンピュータプログラムを読み込む他に、記録媒体がフレキシブルディスクやICカード等のように書き込み可能な記録媒体である場合には、ナビゲーション処理部10やエージェント処理部11のRAMや記憶装置29、30のデータ等をその記録媒体に書き込むことが可能である。
例えば、ICカードにエージェント機能に関する学習内容(学習項目データ、応答データ)を記憶させる、他の車両を運転する場合でもこの記憶させたICカードを使用することで、自分の好みに合わせて(過去の応対の状況に応じて)学習されたエージェントとコミュニケーションすることが可能になる。これにより、車両毎のエージェントではなく、運転者に固有のエージェントを車両内に出現させることが可能になる。
【0019】
通信制御装置24は、各種無線通信機器からなる携帯電話が接続されるようになっている。通信制御部24は、電話回線による通話の他、道路の混雑状況や交通規制等の交通情報に関するデータなどを提供する情報提供局との通信や、車内での通信カラオケのために使用するカラオケデータを提供する情報提供局との通信を行うことができるようになっている。
また、通信制御装置24を介して、エージェント機能に関する学習データを送受信することも可能である。
【0020】
音声出力装置25は、車内に配置された複数のスピーカで構成され、音声制御部14で制御された音声、例えば、音声による経路案内を行う場合の案内音声や、エージェントの行動にあわせた音声や音が出力されるようになっている。この音声出力装置25は、オーディオ用のスピーカと兼用するようにしてもよい。なお、音声制御装置14は、運転者のチューニング指示の入力に応じて、出力装置25から出力する音声の音色やアクセント等を制御することが可能である。
マイク26は、音声制御部14における音声認識の対象となる音声、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話(応答等)等を入出力する音声入力手段として機能する。このマイク26は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。
音声出力装置25とマイク26とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。
【0021】
表示装置27には、ナビゲーション処理部10の処理による経路案内用の道路地図や各種画像情報が表示されたり、エージェント処理部11によるエージェントの各種行動(動画)が表示されたりするようになっている。また、撮像装置28で撮像された車両内外の画像も画像処理部13で処理された後に表示されるようになっている。
表示装置27は、液晶表示装置、CRT等の各種表示装置が使用される。
なお、この表示装置5は、例えばタッチパネル等の、前記入力装置2としての機能を兼ね備えたものとすることができる。
【0022】
撮像装置28は、画像を撮像するためのCCD(電荷結合素子)を備えたカメラで構成されており、運転者を撮像する車内カメラの他、車両前方、後方、右側方、左側方を撮像する各車外カメラが配置されている。撮像装置28の各カメラにより撮像された画像は、画像処理部13に供給され、画像認識等の処理が行われ、各認識結果をエージェント処理部11によるプログラム番号の決定に使用するようになっている。
【0023】
エージェントデータ記憶装置29は、本実施形態によるエージェント機能を実現するために必要な各種データ(プログラムを含む)が格納される記憶装置である。このエージェントデータ記憶装置29には、例えば、フレキシブルディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
この場合、例えば、学習項目データ292と応答データを持ち運びが容易なICカードやフレキシブルディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記録媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。
【0024】
エージェントデータ記憶装置29には、エージェントプログラム290、プログラム選択テーブル291、学習項目データ292、応答データ、図4に例示したエージェントの容姿や行動を画像表示するための画像データ294、その他のデータが格納されている。
学習項目データ292及び応答データ293は、運転者の運転操作や応答によってエージェントが学習した結果を格納するデータである。従って、学習項目データ292と応答データ293は、各運転者毎にそのデータが格納・更新(学習)されるようになっている。
画像データ294に格納される容姿としては、人間(男性、女性)的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。画像データ294には、これらの各種エージェントの容姿の画像が格納されており、運転者の好みによって入力装置22等から選択することができるようになっている。
【0025】
エージェントプログラム290には、エージェント機能を実現するためのエージェント処理プログラムや、エージェントと運転者とがコミュニケーションする場合の細かな行動を表示装置27に画像表示すると共にその行動に対応した会話を音声出力装置25から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。
このエージェントプログラム290には、各プログラム番号の音声に対して複数種類の音声データが格納されており、運転者は前記エージェントの容姿の選択と併せて音声を入力装置22等から選択することができるようになっている。エージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。なお、この音声と前記容姿の選択は、適時変更することが可能である。
【0026】
プログラム選択テーブル291は、エージェントプログラム290に格納されているコミュニケーションプログラムを選択するためのテーブルである。
図2はプログラム選択テーブル291を表したものであり、図3はプログラム選択テーブル291で選択される各プログラム番号に対応した、エージェントの行為(行動と発声)内容を表したものである。
この図2、図3で示されているプログラム番号は、エージェントプログラム290に格納されている各コミュニケーションプログラムの番号と一致している。
【0027】
図4は、図2、図3のプログラム番号00001〜00002により表示装置27に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表したものである。
この図4に示されるように、エージェントEは、口元を引き締めると共に手を膝に当てながら、お辞儀をすることでかしこまったお辞儀であることが表現されている。この行動と共にエージェントEが話す言葉(発声)は、車両状況や学習状況等によって変えられる。
【0028】
エンジンの冷却水温度が低い場合には、エンジンの調子に合わせて行動「眠そうに…」が選択される。眠そうな表現として、瞼が下がった表情にしたり、あくびや伸びをした後に所定の行動(お辞儀等)をしたり、最初に目をこすったり、動きや発声を通常よりもゆっくりさせたりすることで表すことができる。これらの眠そうな表現は、常に同一にするのではなく、行動回数等を学習することで適宜表現を変更する。
例えば、3回に1回は目をこすり(A行動)、10回に1回はあくびをするようにし(B行動)、それ以外では瞼を下がった表情(C行動)にする。これらの変化は、行動Bや行動Cの付加プログラムを行動Aの基本プログラムに組み合わせることで実現される。そして、どの行動を組み合わせるかについては、基本となる行動Aのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。
また、行動「元気よく」を表現する場合には、音声の抑揚を大きくしたり、エージェントEを走りながら画面に登場させたりすることで表現する。
【0029】
図2に表示された各項目は各、プログラム番号を選択するための選択条件を表したもので、状態センサ40により検出される車両や運転者の各種状況から決定される項目(時間、起動場所、冷却水温等)と、学習項目データ292や応答データ293に格納されている学習内容から決定される項目(今日のIG ON回数、前回終了時からの経過時間、通算起動回数等)がある。
プログラム選択テーブル中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。なお、テーブル中で「○」印は、そのプログラム番号が選択されるために満たす必要がある項目を示し、「ー」印はそのプログラムの選択には考慮されない項目を示している。
【0030】
図2、図3では、イグニッションをONにした場合のコミュニケーション(挨拶)に関連する行為と選択条件について記載しているが、その他各種行為(行動と発声)を規定するプログラムを選択するためのプログラム番号と選択条件も種々規定されている。
例えば、急ブレーキが踏まれたことを条件として、エージェントが「しりもち」をついたり、「たたら」を踏んだりする行動をとったり、驚き声をだすようなプログラムも規定されている。エージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから3回目までは「しりもち」をつき、4回目から10回目までは「たたら」を踏み、10回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、エージェントが急ブレーキに対して段階的に慣れるようにする。そして、最後の急ブレーキから1週間の間隔があいた場合には、1段階後退するようにする。
【0031】
図1における、学習項目データ292と応答データ293は共にエージェントの学習により格納、更新されるデータであり、その内容がそれぞれ図5、図6に概念的に示されている。
学習項目データ292には、図5に示されるように、プログラム選択テーブル291(図2)の選択条件を決定する通算起動回数、前回終了日時、今日のイグニッションON回数、前5回の給油時残量等が格納され、選択条件により選択されたプログラムを起動するか否か(お休みするか否か)を決定するためのお休み回数/日時、デフォルト値、その他のデータが格納される。
【0032】
通算起動回数には、イグニッションを起動した通算回数が格納され、イグニッションがONされる毎にカウントアップされる。
前回終了日時には、イグニッションをOFFにする毎にその日時が格納される。
今日のイグニッションON回数には、その日におけるイグニッションONの回数と、1日の終了時間が格納される。イグニッションがONされる毎にカウントアップされるが、1日が終了するとデータが”0”に初期化される。1日の終了時間はデフォルト値として24:00が格納されている、この時間はユーザ(運転者)の生活パターンによって変更することが可能である。時間が変更された場合には、変更後の時間が格納される。
【0033】
前5回の給油残量には、燃料(ガソリン)を給油する直前に検出された燃料の残量が格納され、新たに給油される毎に各データが左側にシフトされ(最も古い最左のデータが削除される)今回給油直前の残量が一番右側に格納される。
このデータは、後述する燃料検出センサ415の検出値G1が、全5回分の給油残量の平均値G2以下(G1≦G2)になった場合に、エージェントEが表示装置27に現れて給油を促す行動が表示装置27に表示され、「おなかが減ったなあ!ガソリンがほしいな!」等の音声が音声出力装置25から出力される。
【0034】
お休み回数/日時には、該当するコミュニケーションプログラムが選択されたとしても実行せずにお休みした回数等が各プログラム番号毎に格納される。このお休み回数/日時は、例えば後述するエアコンの停止を提案するエージェントの行為(プログラム番号00123)のように、学習項目としてお休み項目が設定されているエージェント行為について格納される。
エージェントの提案や会話に対する運転者の応答が、拒否(拒絶)であった場合や無視(又は無応答)であった場合、コミュニケーションプログラムに応じて選択的に「お休み」が設定される。
【0035】
デフォルト値には、時間、回数、温度、車速、日時等の各項目に対する初期設定値が格納されており、前記した1日の終了時間のように学習項目の中で変更された値を初期値に戻す場合に使用される。
学習項目データ292に格納されるその他のデータとしては、例えば、運転者やその関係者の誕生日(これはユーザ入力項目である)、祭日とその言われ、クリスマス、バレンタインデー、ホワイトデー等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、クリスマスイブにはサンタクロースに変装したエージェントが現れる。
【0036】
図6の応答データ293には、エージェントの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各コミュニケーションプログラム番号毎に格納される。ユーザ応答データは、図6(A)のコミュニケーションプログラム番号00123、125のように最新の応答日時と応答内容が所定回分(プログラム番号00123は2回分)格納されるものと、プログラム番号00124のように最新の応答内容のみが1回分格納される(従って応答がある毎に更新される。)ものと、最新の応答内容のみが所定回分格納されるものと、最新の日時と応答内容が一回分格納されるものと、最新の日時だけが1回分または所定回分格納されるもの等がある。
図6(A)中に表示された記号A、B、Cは応答内容を表すもので、同図(B)に示すように、記号Aが無視された場合、記号Bが拒絶された場合、記号Cが受容された場合を表す。運転者の応答内容については、マイク26から入力される運転者の音声に対する音声認識の結果や、入力装置による入力結果から判断される。
なお、本実施形態では運転者の応答を無視、拒絶、受容の3パターに分類しているが、「強く拒絶」、「怒られた」、「喜ばれてた」を新たに加えるようにしてもよい。この場合、新たに加えた応答により、学習項目データ292(例えば、お休み回数等)や応答データ293のを追加変更する。
【0037】
図7は、ナビゲーションデータ記憶装置30(図1)に格納されるデータファイルの内容を表したものである。
図7に示されるように、ナビゲーションデータ記憶装置30には経路案内等で使用される各種データファイルとして、通信地域データファイル301、描画地図データファイル302、交差点データファイル303、ノードデータファイル304、道路データファイル305、探索データファイル306、写真データファイル307が格納されるようになっている。
このナビゲーションデータ記憶装置4は、例えば、フレキシブルディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
なお、ナビゲーションデータ記憶装置4は、複数種類の異なる記録媒体と駆動装置で構成するようにしてもよい。例えば、検索データファイル46を読み書き可能な記録媒体(例えば、フラッシュメモリ等)で、その他のファイルをCD−ROMで構成し、駆動装置としてそれらの駆動装置を用いるようにする。
【0038】
通信地域データファイル301には、通信制御装置24に接続され又は無接続で車内において使用される携帯電話が、車内から通信できる地域を表示装置5に表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが、携帯電話のタイプ別に格納されている。この携帯電話のタイプ別の各通信地域データには、検索しやすいように番号が付されて管理され、その通信可能な地域は、閉曲線で囲まれる内側により表現できるので、その閉曲線を短い線分に分割してその屈曲点の位置データによって特定する。なお、通信地域データは、通信可能地を大小各種の四角形エリアに分割し、対角関係にある2点の座標データによりデータ化するようにしてもよい。
通信地域データファイル301に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置24を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル301の内容を最新のデータと更新できるように構成されている。なお、通信地域データファイル301をフレキシブルディスク、ICカード等で構成し、最新のデータと書換えを行うようにしても良い。
描画地図データファイル302には、表示装置27に描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
【0039】
交差点データファイル303には、各交差点を特定する交差点番号、交差点名、交差点の座標(緯度と経度)、その交差点が始点や終点になっている道路の番号、および信号の有無などが交差点データとして格納されている。
ノードデータファイル304には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。すなわち、このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、複数のノード列のそれぞれの間をアークで接続することによって表現される。
道路データファイル305には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。
交差点データファイル303、ノードデータファイル304、道路データファイル305にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。
【0040】
探索データファイル306には、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がる角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。
写真データファイル307には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。
【0041】
図8は、状況センサ部40を構成する各種センサを表したものである。
図8に示すように状況センサ部40は、イグニッションセンサ401、車速センサ402、アクセルセンサ403、ブレーキセンサ404、サイドブレーキ検出センサ405、シフト位置検出センサ406、ウィンカー検出センサ407、ワイパー検出センサ408、ライト検出センサ409、シートベルト検出センサ410、ドア開閉検出センサ411、同乗者検出センサ412、室内温度検出センサ413、室外温度検出センサ414、燃料検出センサ415、水温検出センサ416、ABS検出センサ417、エアコンセンサ418、体重センサ419、前車間距離センサ420、後車間距離センサ421、体温センサ422、心拍数センサ423、発汗センサ424、脳波センサ425、アイトレーサー426、赤外線センサ427、その他のセンサ(タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ等)428等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。
これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。
なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。例えば、タイヤの空気圧低下検出センサは、車輪速センサの信号の変動により間接的に空気圧の低下を検出する。
【0042】
イグニッションセンサ401は、イグニッションのONとOFFを検出する。
車速センサ402は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。
アクセルセンサ403は、アクセルペダルの踏み込み量を検出する。
ブレーキセンサ404は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。
サイドブレーキ検出センサ405は、サイドブレーキがかけられているか否かを検出する。
シフト位置検出センサ406は、シフトレバー位置を検出する。
ウィンカー検出センサ407は、ウィンカの点滅させている方向を検出する。
ワイパー検出センサ408は、ワイパーの駆動状態(速度等)を検出する。
ライト検出センサ409は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。
シートベルト検出センサ410は、運転者、及び同乗者(補助席、後部座席)がシートベルトを着用しているか否かを検出する。着用していない場合には適宜(嫌われない程度に)エージェントが現れ、警告、注意、コメント等(学習により程度を変更する)を行う。
【0043】
ドア開閉検出センサ411は、ドアの開閉状態を検出し、いわゆる半ドアの場合には、エージェントがその旨を知らせる。ドア開閉検出センサ411は、運転席ドア、助手席ドア、後部運転席側ドア、後部助手席側ドア等の、車種に応じた各ドア毎の開閉を検出できるようになっている。
同乗者検出センサ412は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置28で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。
室内温度検出センサ413は室内の気温を検出し、室外温度検出センサ414は車両外の気温を検出する。
燃料検出センサ415は、ガソリン、軽油等の燃料の残量を検出する。給油時直前における過去5回分の検出値が学習項目データ292に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。
【0044】
水温検出センサ416は、冷却水の温度を検出する。イグニッションON直後において、この検出温度が低い場合には、エージェントが眠そうな行為をする場合が多い。逆に水温が高すぎる場合にはオーバーヒートする前に、エージェントが「だるそう」な行動と共にその旨を知らせる。
ABS検出センサ417は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するABSが作動したか否かを検出する。
エアコンセンサ418は、エアコンの操作状態を検出する。例えば、エアコンのON・OFF、設定温度、風量等が検出される。
体重センサ419は、運転者の体重を検出するセンサである。この体重から、または、体重と撮像装置28の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。すなわち、特定した運転者に対してエージェントが学習した、学習項目データ292と応答データ293を使用することで、その運転者専用のエージェントを出現させるようにする。
前車間距離センサ420は車両前方の他車両や障害物との距離を検出し、後車間距離センサ421は後方の他車両や障害物との距離を検出する。
【0045】
体温センサ422は、心拍数センサ423、発汗センサ424は、それぞれ運転者の体温、心拍数、発汗状態を検出するセンサで、例えば、ハンドル表面に各センサを配置し運転者の手の状態から検出する。または、体温センサ422として、赤外線検出素子を使用したサーモグラフィーにより運転者の各部の温度分布を検出するようにしても良い。
脳波センサ425は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。
アイトレーサー426は、ユーザの視線の動きを検出し、通常運転中、車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。
赤外線センサ427は、ユーザの手の動きや顔の動きを検出する。
【0046】
次に、以上のように構成された本実施形態の動作について説明する。
図9は本実施形態によるエージェント処理のメイン動作を表したフローチャートである。
エージェント処理部11は、イグニッションがONされたことがイグニッションセンサ401で検出されると、まず最初に初期設定を行う(ステップ11)。初期設定としては、RAMのクリア、各処理用のワークエリアをRAMに設定、プログラム選択テーブル291(図2)のRAMへのロード、フラグの0設定、等の処理が行われる。なお、本実施形態のエージェント処理では、その処理の開始をイグニッションONとしたが、例えばドア開閉検出センサ411によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。
【0047】
次にエージェント処理部11は、状況情報処理部15に状況センサ部40の各センサから供給される検出値や、撮像装置28で撮像した画像の処理結果や、現在位置検出装置21で検出した車両の現在位置等のデータを取得して、RAMの所定エリアに格納し、格納したデータから現在状況の把握を行う(ステップ12)。例えば、水温検出センサ416で検出された冷却水の温度がt1である場合、エージェント処理部11は、この温度t1をRAMに格納すると共に、t1が所定の閾値t2以下であれば、車両の現在の状態として冷却水温(図2参照)は低い状態であると把握する。
現在の状況としては、他にマイク26からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ」や「CDをかけてくれ」等の要求も現在の状況として把握される。この場合、認識した音声に含まれるワード「CD」「かけて」等がプログラム選択テーブル291(図2)の選択条件(横軸項目)になる。
【0048】
さらにエージェント処理部11は、エージェントデータ記憶装置29の学習項目データ292と応答データ293をチェックすることで、エージェントがこれまでに学習してきた状態(学習データ)を把握する(ステップ13)。
【0049】
エージェント処理部11は、把握した現在状態とチェックした学習データとから、図2に示したプログラム選択テーブル291から、現在の状態で起動可能なコミュニケーションプログラム(の番号)があるか否かを判断し、該当プログラムが無ければ(ステップ14;N)、ステップ12に戻って新たな状態を把握する。
一方、起動可能なコミュニケーションプログラムがある場合(ステップ14;Y)、そのプログラム番号を決定する。そして、決定したプログラム番号に対する運転者の応答履歴を応答データ293から確認し、当該プログラム番号のコミュニケーションプログラムの起動を、お休みすべき状態か否かを確認する(ステップ15)。
【0050】
お休み状態ではない場合(ステップ15;N)、エージェント処理部11は、決定したプログラム番号に対応するコミュニケーションプログラムを起動することで、図4に示された各エージェントの行為(行動と音声)に従った画像を表示装置27に表示すると共に、音声出力装置25から音声出力する(ステップ16)。これによって、現在の車両や運転者等の状況からだけでなく、過去の状況や応答にたいする学習結果を反映させたエージェントとのコミュニケーションが可能になる。
【0051】
そしてエージェント処理部11は、コミュニケーションプログラムの起動によるエージェント行為に対する運転者の応答を、マイク26からの入力に基づく音声認識結果や、入力装置22からの入力結果から取得する(ステップ17)。
次にエージェント処理部11は、ステップ16で起動したコミュニケーションプログラムが制御対象プログラムか否かを判断する(ステップ18)。ここで制御対象プログラムか否かは各プログラム毎に規定されており、例として、「ラジオの電源を入れましょうか?」や、お昼時にお腹が鳴る音を検出した場合に「食堂の案内をしましょうか?」といったように、エージェントが処理可能な行為の提案をする場合のコミュニケーションプログラム等が制御対象プログラムとして規定されている。
【0052】
制御対象プログラムでない場合(ステップ18;N)にはステップ20に移行し、制御対象プログラムである場合(ステップ18;Y)、ステップ17で取得した運転者の応答に応じた制御を行う(ステップ19)。例えば、上記ラジオの電源を入れる提案コミュニケーションに対して、「入れて」「OK」「はい」等の提案を受容する応答が認識された場合であれば、エージェント処理部11は応答に応じた制御として、エージェントに返事をする行為(行為と音声)をさせると共にラジオの電源をONにする。
【0053】
そして、エージェント処理部11は、今回のコミュニケーションプログラムに関するデータを蓄積することで、エージェントに学習をさせる(ステップ20)。
データの蓄積としては、例えば、コミュニケーションプログラムの起動がお休みである場合には(ステップ15;Y)、学習項目データ292の該当プログラム番号の回数欄をカウントアップさせる。ただし、学習項目データ292のお休み回数/日時欄に格納されている回数をKa回とし、当該プログラム番号に対する前回までの応答データ293の履歴から決まるお休み回数をKb回とした場合、Ka=Kb−1であれば、今回のお休みで規定回数休んだことになるの。そこで、学習項目データ292及び応答データ293の当該プログラム番号欄の(該当する位置に格納されている)データをクリアする。
その他の場合(ステップ18;Nの場合、ステップ19の後)には、ステップ12で把握した現在状況の中に学習項目があれば学習項目データ292の値を更新し、応答内容を履歴として格納すべきプログラム番号であればステップ17で取得した応答内容を応答データ293(図7)に格納する。この応答の履歴も各プログラム番号毎に規定された所定回数分のデータが既に格納されている場合には、最も古いデータを廃棄して新しいデータを格納する。
【0054】
以上のプログラム決定・コミュニケーション・学習の各処理が終了すると、エージェント処理部11は、ステップ11でRAMに初期設定したフラグ領域にフラグ1が立っているか否かを確認する(ステップ21)。
フラグが立っていない場合には(ステップ21;N)、イグニッションセンサ401によりイグニッションOFFが検出されたか否かを判断し(ステップ22)、検出されていない場合(ステップ22;N)にはステップ12に戻って新たな状態を把握する。
一方、イグニッションOFFが検出された場合(ステップ22;Y)、RAMのフラグ領域にフラグ1を立て(ステップ23)た後にステップ12に戻り、後処理を行う。すなわち、フラグ1を現在状況や学習データに応じたお別れの行為(行動と音声)をエージェントにさせると共に、消し忘れのライト類の消灯等の制御、及び当該後処理に対する学習(ステップ20)の後、フラグが1なので(ステップ21;Y)、エージェント処理を終了する。
【0055】
次に、以上説明したエージェント処理による、具体的な行為例について説明する。
図10は、イグニッションON後における具体的なエージェント処理の内容を概念的に表したものである。
この図10(A)に示すように、エージェント処理部11は、現在状況として、イグニッションセンサ401で検出された状態が「ON」、現在位置検出装置21で検出された現在位置(緯度、経度)から求めた現在位置が「その他」(自宅、休憩場所以外)、等の状況を把握(ステップ12)したものとする。
また、学習項目データ292と応答データ293についてチェックした学習データとしては、今日のイグニッションON回数が「2日目」前回終了日時が「1997.7.12 10:05」、通算起動回数が「30回」であるとチェック(ステップ13)したものとする。
【0056】
以上の処理から、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00004のコミュニケーションプログラムを選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。
プログラム番号00004のコミュニケーションプログラムの起動により、図3に示すエージェント行為(行動と発声)が、図10(B)に示すように、行われる。すなわち、表示装置27にはエージェントが図4に示すように「かしこまってお辞儀」をする連続行動の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「また私、リサが御供いたします。よろしくお願いします。」といった音声が出力される。
【0057】
プログラム番号00004は制御対象プログラムではないので(ステップ18;N)、ステップ19をとばし、エージェントの学習として図10(C)に示すように、学習項目データ292の今日のイグニッションON回数を2回から3回に変更すると共に、通算起動回数を30回から31回に変更する(ステップ20)。その後フラグ=1でなく(イグニッションONしたのちなので通常はフラグ=0)、イグニッションOFFでもなければ(ステップ21;N、22;N)、ステップ12に戻りその後のコミュニケーションを継続する。
【0058】
以上の学習により、学習項目データ292に格納されている通算起動回数が31回以上になる。従ってそれ以後は、全学習データ(学習項目データ292と応答データ293)を初期化しない限り、コミュニケーションプログラム00001〜00006が選択されることはない。以後イグニッションONの通算回数が300回になるまで、プログラム番号00007〜00019のいずれかのコミュニケーションプログラムが選択される。すなわち、エージェントは「かしこまってお辞儀」を行わず、冷却水温が高ければ通常の「お辞儀」、低ければ「眠そうにお辞儀」をする。その際の音声は、起動場所やその日のIGON回数等により選択されるプログラム番号によって変化する。
【0059】
図11は、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
この図11(A)に示すように、エージェント処理部11は、現在状況として、エアコンセンサ418で検出された状態が「ON」、室内温度検出センサ413と室外温度検出センサ414で検出された室温T1と室外温T2を取得する。また、各プログラム番号の応答データ293をチェックすることで、プログラム番号0123に対する前2回の運転者応答がC(受容)なので、閾値T3、T4の値としてデフォルト値(T3=2度、T4=24度)が学習項目データ292から読み出される。
この閾値T3とT4とから、室温と室外温の関係、(T1−T2)≦T3が「Yes」、室外温T2と閾値T4との関係T2≦T4が「Yes」、等の状況が最終的に把握される(図11(A))。
【0060】
以上の処理から、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00123のコミュニケーションプログラムを最終的に選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。
プログラム番号00123のコミュニケーションプログラムの起動により、図11(B)に示すような行為をエージェントがする。すなわち、表示装置27にはエージェントが現れてほほえむ連続動作の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「外は涼しくなりましたよ。外気を入れてみませんか?」といった音声が出力される。
【0061】
このエージェントのコミュニケーションに対する運転者の応答を取得する(ステップ17)。
そして、プログラム番号00123は制御対象プログラムなので(ステップ18;Y)、受容であれば応答に応じた制御としてエアコンの電源をOFFにすると共に、運転席側と助手席側の窓を1/2だけ開ける制御を行う(ステップ19)。
応答に応じた制御の後、エージェント処理部11は、エージェントの学習として、図11(C)に示すように、運転者の応答が無視であればA、拒絶であればB、受容であればCを、応答日時と共にプログラム番号0123に対応する応答データ293に格納する。この場合、前々回の応答データが削除され、前回の応答と今回の応答が応答データ293の格納内容になる。
そして、格納した応答内容が無視Aであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、1回休むことになる。格納した応答内容が拒絶Bであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、5回休むことになる。なお、1回休む場合の閾値としては下げた後の温度T3=T3−1、T4=T4−1が使用される。
格納した応答内容が受容Cであれば、前回使用した閾値T3、T4と同一の値が使用される。
【0062】
なお、エージェントの提案コミュニケーションに対する受容応答により、運転席側と助手席側の窓を1/2だけ開ける制御について説明したが、この窓を開ける位置と量についてもエージェントの学習対象とし、次回の窓開閉制御に対する学習とするようにしてもよい。例えば、運転者の「開けすぎだよ」、「もう少し締めて」、「後ろも開けてよ」等の応答を、図11(A)の状況に対する固有のデータではなく、窓開閉に関して運転者の好みを表す一般的なデータとして応答データ293に格納しておく。この場合のデフォルト値としては、例えば、開対象窓と開放量;運転席側窓1/2、助手席側窓1/2とする。なお、運転者の応答が「後ろも開けてよ」であった場合、この応答(音声認識結果)が現在の状況として把握(ステップ12)され、コミュニケーションプログラムの起動(ステップ16)によりエージェントの行為と共に、後ろの窓も開放する。
【0063】
以上説明したように本実施形態によれば、過去の種々の状況を学習し、この学習内容に応じて現在の車両や運転者に関する状況に適したコミュニケーション行為をエージェントが行うので、運転者は車内で飽きることなく運転することができる。
また運転者は、エージェントに対して怒ったり、笑ったり、相談したりでき、またエージェントから積極的になされる提案に対してもその時々の気分で応答することができる。そして、これらの運転者の行為を適切に判断、学習してエージェントがコミュニケーションをとるので、エージェントに対して親しみを感じ、その車両に対する愛着を増すことができる。
【0064】
また本実施形態のコミュニケーション機能を備えた車両によれば、学習手段による学習結果と状況判断手段により判断された現在の状況とから擬人化されたエージェントの行為を決定し、エージェント出現手段により出現されるエージェントに行わせるようにしたので、擬人化されたエージェントが状況に合わせて適切に行為し、運転者とのコミュニケーションをはかることができる。
すなわち、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をし、運転者とのコミュニケーションをはかることができる。
従って、運転者はエージェントとの会話をしたり、エージェントに窓の開閉、CDやラジオの制御、走行道路や施設の詳細な案内といった各種の制御をしてもらうことができ、車内での運転環境を快適にすることができる。
【0065】
なお、本実施形態のエージェント装置を以下のように構成することもできる。
(1)擬人化されたエージェントを車両内に出現させるエージェント出現手段と、
車両の状況を判断する状況判断手段と、
この状況判断手段による所定状況を記憶することで学習する学習手段と、
この学習手段による学習結果と前記状況判断手段により判断された状況とから、エージェントの行為を決定する行為決定手段と、
この行為決定手段で決定された行為を前記エージェント出現手段により出現されるエージェントに行わせるエージェント制御手段と、を具備することを特徴とするエージェント装置。
(2) 前記状況判断手段は、現在または過去の状況を判断する手段であることを特徴とする上記(1)記載のエージェント装置。
(3) 前記状況判断手段は、車両の現在位置を検出する現在位置現在検出手段であることを特徴とする上記(1)記載のエージェント装置。
(4) 前記状況判断手段は、車両各部の状況を検出する車載センサであることを特徴とする上記(1)記載のエージェント装置。
(5) 前記状況判断手段は、車両外部の環境を検出するセンサであることを特徴とする上記(1)記載のエージェント装置。
(6) 前記学習手段は、前記状況手段が同一の状況を検出する回数により予め定められた学習結果を出力することを特徴とする上記(1)記載のエージェント装置。
(7) 前記エージェント出現手段は、画像表示手段と、画像表示手段に対し、特定のエージェントを画像表示するエージェント表示手段を含むことを特徴とする上記(1)記載のエージェント装置。
(8) 前記特定のエージェントは、複数のエージェントの中から選択されることを特徴とする上記(7)記載のエージェント装置。
(9) 前記エージェント出現手段は、音声出力装置と、該音声出力装置に対し、特定のエージェントの音声を出力するエージェント音声出力手段を含むことを特徴とする上記(1)記載のエージェント装置。
(10) 前記音声出力手段は、複数のエージェント音声の中から選択された音声を出力することを特徴とする上記(9)記載のエージェント装置。
(11) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、エージェントの行動を画像表示手段に画像表示する上記(1)記載のエージェント装置。
(12) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、音声出力手段から出力される音声の音色を制御する上記(1)記載のエージェント装置。
(13) 前記学習手段は、さらに、運転者の指示内容及び応答内容の少なくとも一方を学習対象として記憶する記憶手段を備えたことを特徴とする上記(1)記載のエージェント装置。
(14) さらに運転者の操作を入力するスイッチを備え、前記記憶手段は該スイッチ入力の時間及び場所を記憶することを特徴とする上記(13)記載のエージェント装置。
(15) 前記学習手段は、前記エージェント制御手段により実行された行為に対応した運転者の操作があったか否かを判別する判別手段を備えることを特徴とする上記(1)記載のエージェント装置。
【図面の簡単な説明】
【0066】
【図1】本発明の1実施形態におけるコミュニケーション機能を実現するための構成を示すブロック図である。
【図2】同上、実施形態におるプログラム選択テーブルの内容を概念的にあらわした説明図である。
【図3】同上、実施形態において、各プログラム番号に対応するエージェントの行為(行動と音声)を表した説明図である。
【図4】同上、実施形態におけるプログラム番号00001〜00002の起動により表示装置に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表した説明図である。
【図5】同上、実施形態における学習項目データの内容を概念的に表した説明図である。
【図6】同上、実施形態における応答データの内容を概念的に表した説明図である。
【図7】同上、実施形態におけるナビゲーションデータ記憶装置に格納されるデータファイルの内容を概念的に表した説明図である。
【図8】同上、実施形態における状況センサ部を構成する各種センサを表した説明図である。
【図9】同上、実施形態によるエージェント処理のメイン動作を表したフローチャートである。
【図10】同上、実施形態において、イグニッションON後における具体的なエージェント処理の内容を概念的に表した説明図である。
【図11】同上、実施形態において、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
【符号の説明】
【0067】
1 全体処理部
10 ナビゲーション処理部
11 エージェント処理部
12 I/F部
13 画像処理部
14 音声制御部
15 状況情報処理部
21 現在位置検出装置
22 入力装置
23 記憶媒体駆動装置
24 通信制御装置
25 音声出力装置
26 マイク
27 表示装置
28 撮像装置
29 エージェントデータ記憶装置
30 ナビゲーションデータ記憶装置
40 状況センサ部
【技術分野】
【0001】
本発明は、エージェント装置に係り、例えば、擬人化されたエージェントを相手に車両内での会話等が可能なコミュニケーション機能を備えたエージェント装置に関する。
【背景技術】
【0002】
従来車両内において、運転者による走行環境を向上させるようにしたものとして、ラジオやカセットテーププレーヤが搭載されている。
また、車両に搭載したアマチュア無線機や携帯電話等の無線通信機器を使用して、車両外の知人等との会話を楽しむことで、走行環境を向上させるようにした車両もある。
【0003】
なお、運転者に対する情報の伝達を、人間の表情や動作などにより行うようにした技術が特許文献1において提示されている。
【0004】
【特許文献1】特開平9−102098号
【発明の開示】
【発明が解決しようとする課題】
【0005】
従来の車両におけるラジオ等では運転者に対して一方向の情報提示にすぎず、双方向の会話等をすることができなかった。
一方、携帯電話等による場合には会話をすることができるが、コール待ち、ダイヤル等によって通話相手を捜さなければならなかった。たとえ、通話相手が見つかったとしても、車両の状況といった運転者の一方的な都合にあわせた、適切な会話をしてくれるわけではなかった。
このように、従来の車両には、車両の過去の状態などの履歴・運転者の状態に応じて、擬人化されたエージェントが存在しないため、車両が愛着のわかないただの乗り物としての道具でしか役割を持たない場合もあった。
【0006】
また、特許文献1に記載された技術は、過去の運転者の応答等の履歴によって表示が変わるわけではなく、同一の状況が生じた場合には常に同一の表示がされるものである。すなわち、限られたセンサ出力に対して常に同一の表示を行うものであり、視認性が向上された従来の計器類の範疇に入るべきものである。
【0007】
本発明は、擬人化したエージェントが状況に合わせた行為(行動と音声)をし、運転者とのコミュニケーションをはかることができる車両を提供することを目的とする。
【課題を解決するための手段】
【0008】
(1)車両の状況に応じた行動をする擬人化されたエージェントの画像を画像表示装置に表示するエージェント装置であって、エージェントの行動に対応する画像が複数記憶された画像記憶手段と、前記エージェントの画像が表示される表示装置と、前記エージェントの音声を出力する音声出力手段と、前記エージェントによるラジオの電源を入れる提案に対応して、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記提案をする音声を前記音声出力手段から出力する画像音声制御手段と、を具備することを特徴とする。
(2)請求項2に記載した発明では、請求項1に記載のエージェント装置において、前記提案に対する運転者の応答を取得する応答取得手段と、前記取得した応答が受容する応答である場合に、ラジオの電源をオンにするラジオ制御手段と、を具備することを特徴とする。
(3)請求項3に記載した発明では、請求項2に記載のエージェント装置において、前記画像音声制御手段は、前記取得した応答に対するエージェントの返事として、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記返事をする音声を前記音声出力手段から出力することを特徴とする。
【発明の効果】
【0009】
本発明によれば、エージェントによるラジオの電源を入れる提案に対応したコミュニケーションをとることができる。
【発明を実施するための最良の形態】
【0010】
以下、本発明のエージェント装置における好適な実施の形態について、図1から図11を参照して詳細に説明する。
(1)実施形態の概要
本実施形態のエージェント装置では、擬人化されたエージェントを画像(平面的画像、ホログラフィ等の立体的画像等)により車両内に出現させる。そして、車両自体、運転者、同乗者、対向車等を含む車両の状況の判断と学習(状況の学習だけでなく運転者の応答や反応等も含む)をし、各時点での車両状況とそれまでの学習結果に基づいて、エージェントが運転者や車両に対して様々なバリエーションをもった対応(行為=行動と音声)をする。
これにより運転者は、自分固有のエージェントを車両内でつき合う(コミュニケーションする)ことが可能になり、車両内での環境を快適にすることができる。
ここで、車両内に出現させるエージェントは、人間と同様に判断し学習する疑似人格化(仮想人格化)された主体である。従って、同一の車両状況であっても過去の学習内容等に応じてエージェントのコミュニケーションの内容は異なる。ときには、車両の走行には関係ない範囲での判断ミスも有り、この判断ミスによる不要な(ドジな)応答をすることもある。そして運転者の応答により、判断ミスか否かを判定し、学習する。
エージェントとして画像表示される容姿としては、人間的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。
エージェントの容姿や音声については、複数の容姿、複数の音声の中から選択することが可能である。
【0011】
(2)実施形態の詳細
図1は、本実施形態におけるエージェント装置の構成を示すブロック図である。
本実施形態では、コミュニケーション機能全体を制御する全体処理部1を備えている。この全体処理部は、設定した目的地までの経路を探索して音声や画像表示により案内するナビゲーション処理部10、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を行うエージェント処理部11、ナビゲーション処理部10とエージェント処理部11に対するI/F部12、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部13、エージェント音声や経路案内音声等の音声出力や入力される音声を制御する音声制御部14、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部15を有している。
【0012】
ナビゲーション処理部10とエージェント処理部11は、データ処理及び各部の動作の制御を行うCPU(中央処理装置)と、このCPUにデータバスや制御バス等のバスラインで接続されたROM、RAM、タイマ等を備えている。両処理部10、11はネットワーク接続されており、互いの処理データを取得することができるようになっている。
ROMはCPUで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、RAMはCPUがワーキングメモリとして使用するランダムアクセスメモリである。
【0013】
本実施形態のナビゲーション処理部10とエージェント処理部11は、CPUがROMに格納された各種プログラムを読み込んで各種処理を実行するようになっている。なお、CPUは、記録媒体駆動装置23にセットされた外部の記録媒体からコンピュータプログラムを読み込んで、エージェント記憶装置29やナビゲーションデータ記憶装置、図示しないハードディスク等のその他の記憶装置に格納(インストール)し、この記憶装置から必要なプログラム等をRAMに読み込んで(ロードして)実行するようにしてもよい。また、必要なプログラム等を記録媒体駆動装置23からRAMに直接読み込んで実行するようにしてもよい。
【0014】
ナビゲーション処理部10には、現在位置検出装置21とナビゲーションデータ記憶装置30が接続され、エージェント処理部11にはエージェントデータ記憶装置29が接続され、I/F部12には入力装置22と記憶媒体駆動装置23と通信制御装置24が接続され、画像処理部13には表示装置27と撮像装置28が接続され、音声制御部14には音声処理装置25とマイク26が接続され、状況情報処理部15には状況センサ部40が接続されている。
【0015】
現在位置検出装置21は、車両の絶対位置(緯度、経度による)を検出するためのものであり、人工衛星を利用して車両の位置を測定するGPS(Global Positioning System)受信装置211と、方位センサ212と、舵角センサ213と、距離センサ214と、路上に配置されたビーコンからの位置情報を受信するビーコン受信装置215等が使用される。
GPS受信装置211とビーコン受信装置215は単独で位置測定が可能であるが、GPS受信装置211やビーコン受信装置215による受信が不可能な場所では、方位センサ212と距離センサ214の双方を用いた推測航法によって現在位置を検出するようになっている。
方位センサ212は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差(移動距離の差)により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ213は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ214は、例えば、車輪の回転数を検出して計数し、または加速度を検出して2回積分するもの等の各種の方法が使用される。
【0016】
入力装置22は、ナビゲーション処理における走行開始時の現在地(出発地点)や目的地(到達地点)、情報提供局へ渋滞情報等の情報の請求を発信したい車両の所定の走行環境(発信条件)、携帯電話6のタイプ(型式)などを入力するためのものである。また、入力装置22は、本実施形態によるエージェントの問い合わせ等に対して運転者が応答するための1つの手段でもある。
入力装置22には、タッチパネル(スイッチとして機能)、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、音声認識装置などの各種の装置が使用可能である。また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。リモコンには、画面上に表示されたカーソルの移動操作等を行うジョイスティックの他、メニュー指定キー(ボタン)、テンキー等の各種キーが配置される。
【0017】
記録媒体駆動装置23は、ナビゲーション処理部10やエージェント処理部11が各種処理を行うためのコンピュータプログラムを外部の記録媒体から読み込むのに使用される駆動装置である。記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。
ここで、記録媒体とは、コンピュータプログラムが記録される記録媒体をいい、具体的には、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやICカード等の半導体記録媒体、CD−ROMやMO、PD(相変化書換型光ディスク)等の光学的に情報が読み取られる記録媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙(および、紙に相当する機能を持った媒体)を用いた記録媒体、その他各種方法でコンピュータプログラムが記録される記録媒体が含まれる。
【0018】
記録媒体駆動装置23は、これらの各種記録媒体からコンピュータプログラムを読み込む他に、記録媒体がフレキシブルディスクやICカード等のように書き込み可能な記録媒体である場合には、ナビゲーション処理部10やエージェント処理部11のRAMや記憶装置29、30のデータ等をその記録媒体に書き込むことが可能である。
例えば、ICカードにエージェント機能に関する学習内容(学習項目データ、応答データ)を記憶させる、他の車両を運転する場合でもこの記憶させたICカードを使用することで、自分の好みに合わせて(過去の応対の状況に応じて)学習されたエージェントとコミュニケーションすることが可能になる。これにより、車両毎のエージェントではなく、運転者に固有のエージェントを車両内に出現させることが可能になる。
【0019】
通信制御装置24は、各種無線通信機器からなる携帯電話が接続されるようになっている。通信制御部24は、電話回線による通話の他、道路の混雑状況や交通規制等の交通情報に関するデータなどを提供する情報提供局との通信や、車内での通信カラオケのために使用するカラオケデータを提供する情報提供局との通信を行うことができるようになっている。
また、通信制御装置24を介して、エージェント機能に関する学習データを送受信することも可能である。
【0020】
音声出力装置25は、車内に配置された複数のスピーカで構成され、音声制御部14で制御された音声、例えば、音声による経路案内を行う場合の案内音声や、エージェントの行動にあわせた音声や音が出力されるようになっている。この音声出力装置25は、オーディオ用のスピーカと兼用するようにしてもよい。なお、音声制御装置14は、運転者のチューニング指示の入力に応じて、出力装置25から出力する音声の音色やアクセント等を制御することが可能である。
マイク26は、音声制御部14における音声認識の対象となる音声、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話(応答等)等を入出力する音声入力手段として機能する。このマイク26は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。
音声出力装置25とマイク26とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。
【0021】
表示装置27には、ナビゲーション処理部10の処理による経路案内用の道路地図や各種画像情報が表示されたり、エージェント処理部11によるエージェントの各種行動(動画)が表示されたりするようになっている。また、撮像装置28で撮像された車両内外の画像も画像処理部13で処理された後に表示されるようになっている。
表示装置27は、液晶表示装置、CRT等の各種表示装置が使用される。
なお、この表示装置5は、例えばタッチパネル等の、前記入力装置2としての機能を兼ね備えたものとすることができる。
【0022】
撮像装置28は、画像を撮像するためのCCD(電荷結合素子)を備えたカメラで構成されており、運転者を撮像する車内カメラの他、車両前方、後方、右側方、左側方を撮像する各車外カメラが配置されている。撮像装置28の各カメラにより撮像された画像は、画像処理部13に供給され、画像認識等の処理が行われ、各認識結果をエージェント処理部11によるプログラム番号の決定に使用するようになっている。
【0023】
エージェントデータ記憶装置29は、本実施形態によるエージェント機能を実現するために必要な各種データ(プログラムを含む)が格納される記憶装置である。このエージェントデータ記憶装置29には、例えば、フレキシブルディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
この場合、例えば、学習項目データ292と応答データを持ち運びが容易なICカードやフレキシブルディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記録媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。
【0024】
エージェントデータ記憶装置29には、エージェントプログラム290、プログラム選択テーブル291、学習項目データ292、応答データ、図4に例示したエージェントの容姿や行動を画像表示するための画像データ294、その他のデータが格納されている。
学習項目データ292及び応答データ293は、運転者の運転操作や応答によってエージェントが学習した結果を格納するデータである。従って、学習項目データ292と応答データ293は、各運転者毎にそのデータが格納・更新(学習)されるようになっている。
画像データ294に格納される容姿としては、人間(男性、女性)的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。画像データ294には、これらの各種エージェントの容姿の画像が格納されており、運転者の好みによって入力装置22等から選択することができるようになっている。
【0025】
エージェントプログラム290には、エージェント機能を実現するためのエージェント処理プログラムや、エージェントと運転者とがコミュニケーションする場合の細かな行動を表示装置27に画像表示すると共にその行動に対応した会話を音声出力装置25から出力するためのコミュニケーションプログラムがプログラム番号順に格納されている。
このエージェントプログラム290には、各プログラム番号の音声に対して複数種類の音声データが格納されており、運転者は前記エージェントの容姿の選択と併せて音声を入力装置22等から選択することができるようになっている。エージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。なお、この音声と前記容姿の選択は、適時変更することが可能である。
【0026】
プログラム選択テーブル291は、エージェントプログラム290に格納されているコミュニケーションプログラムを選択するためのテーブルである。
図2はプログラム選択テーブル291を表したものであり、図3はプログラム選択テーブル291で選択される各プログラム番号に対応した、エージェントの行為(行動と発声)内容を表したものである。
この図2、図3で示されているプログラム番号は、エージェントプログラム290に格納されている各コミュニケーションプログラムの番号と一致している。
【0027】
図4は、図2、図3のプログラム番号00001〜00002により表示装置27に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表したものである。
この図4に示されるように、エージェントEは、口元を引き締めると共に手を膝に当てながら、お辞儀をすることでかしこまったお辞儀であることが表現されている。この行動と共にエージェントEが話す言葉(発声)は、車両状況や学習状況等によって変えられる。
【0028】
エンジンの冷却水温度が低い場合には、エンジンの調子に合わせて行動「眠そうに…」が選択される。眠そうな表現として、瞼が下がった表情にしたり、あくびや伸びをした後に所定の行動(お辞儀等)をしたり、最初に目をこすったり、動きや発声を通常よりもゆっくりさせたりすることで表すことができる。これらの眠そうな表現は、常に同一にするのではなく、行動回数等を学習することで適宜表現を変更する。
例えば、3回に1回は目をこすり(A行動)、10回に1回はあくびをするようにし(B行動)、それ以外では瞼を下がった表情(C行動)にする。これらの変化は、行動Bや行動Cの付加プログラムを行動Aの基本プログラムに組み合わせることで実現される。そして、どの行動を組み合わせるかについては、基本となる行動Aのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。
また、行動「元気よく」を表現する場合には、音声の抑揚を大きくしたり、エージェントEを走りながら画面に登場させたりすることで表現する。
【0029】
図2に表示された各項目は各、プログラム番号を選択するための選択条件を表したもので、状態センサ40により検出される車両や運転者の各種状況から決定される項目(時間、起動場所、冷却水温等)と、学習項目データ292や応答データ293に格納されている学習内容から決定される項目(今日のIG ON回数、前回終了時からの経過時間、通算起動回数等)がある。
プログラム選択テーブル中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。なお、テーブル中で「○」印は、そのプログラム番号が選択されるために満たす必要がある項目を示し、「ー」印はそのプログラムの選択には考慮されない項目を示している。
【0030】
図2、図3では、イグニッションをONにした場合のコミュニケーション(挨拶)に関連する行為と選択条件について記載しているが、その他各種行為(行動と発声)を規定するプログラムを選択するためのプログラム番号と選択条件も種々規定されている。
例えば、急ブレーキが踏まれたことを条件として、エージェントが「しりもち」をついたり、「たたら」を踏んだりする行動をとったり、驚き声をだすようなプログラムも規定されている。エージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから3回目までは「しりもち」をつき、4回目から10回目までは「たたら」を踏み、10回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、エージェントが急ブレーキに対して段階的に慣れるようにする。そして、最後の急ブレーキから1週間の間隔があいた場合には、1段階後退するようにする。
【0031】
図1における、学習項目データ292と応答データ293は共にエージェントの学習により格納、更新されるデータであり、その内容がそれぞれ図5、図6に概念的に示されている。
学習項目データ292には、図5に示されるように、プログラム選択テーブル291(図2)の選択条件を決定する通算起動回数、前回終了日時、今日のイグニッションON回数、前5回の給油時残量等が格納され、選択条件により選択されたプログラムを起動するか否か(お休みするか否か)を決定するためのお休み回数/日時、デフォルト値、その他のデータが格納される。
【0032】
通算起動回数には、イグニッションを起動した通算回数が格納され、イグニッションがONされる毎にカウントアップされる。
前回終了日時には、イグニッションをOFFにする毎にその日時が格納される。
今日のイグニッションON回数には、その日におけるイグニッションONの回数と、1日の終了時間が格納される。イグニッションがONされる毎にカウントアップされるが、1日が終了するとデータが”0”に初期化される。1日の終了時間はデフォルト値として24:00が格納されている、この時間はユーザ(運転者)の生活パターンによって変更することが可能である。時間が変更された場合には、変更後の時間が格納される。
【0033】
前5回の給油残量には、燃料(ガソリン)を給油する直前に検出された燃料の残量が格納され、新たに給油される毎に各データが左側にシフトされ(最も古い最左のデータが削除される)今回給油直前の残量が一番右側に格納される。
このデータは、後述する燃料検出センサ415の検出値G1が、全5回分の給油残量の平均値G2以下(G1≦G2)になった場合に、エージェントEが表示装置27に現れて給油を促す行動が表示装置27に表示され、「おなかが減ったなあ!ガソリンがほしいな!」等の音声が音声出力装置25から出力される。
【0034】
お休み回数/日時には、該当するコミュニケーションプログラムが選択されたとしても実行せずにお休みした回数等が各プログラム番号毎に格納される。このお休み回数/日時は、例えば後述するエアコンの停止を提案するエージェントの行為(プログラム番号00123)のように、学習項目としてお休み項目が設定されているエージェント行為について格納される。
エージェントの提案や会話に対する運転者の応答が、拒否(拒絶)であった場合や無視(又は無応答)であった場合、コミュニケーションプログラムに応じて選択的に「お休み」が設定される。
【0035】
デフォルト値には、時間、回数、温度、車速、日時等の各項目に対する初期設定値が格納されており、前記した1日の終了時間のように学習項目の中で変更された値を初期値に戻す場合に使用される。
学習項目データ292に格納されるその他のデータとしては、例えば、運転者やその関係者の誕生日(これはユーザ入力項目である)、祭日とその言われ、クリスマス、バレンタインデー、ホワイトデー等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、クリスマスイブにはサンタクロースに変装したエージェントが現れる。
【0036】
図6の応答データ293には、エージェントの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各コミュニケーションプログラム番号毎に格納される。ユーザ応答データは、図6(A)のコミュニケーションプログラム番号00123、125のように最新の応答日時と応答内容が所定回分(プログラム番号00123は2回分)格納されるものと、プログラム番号00124のように最新の応答内容のみが1回分格納される(従って応答がある毎に更新される。)ものと、最新の応答内容のみが所定回分格納されるものと、最新の日時と応答内容が一回分格納されるものと、最新の日時だけが1回分または所定回分格納されるもの等がある。
図6(A)中に表示された記号A、B、Cは応答内容を表すもので、同図(B)に示すように、記号Aが無視された場合、記号Bが拒絶された場合、記号Cが受容された場合を表す。運転者の応答内容については、マイク26から入力される運転者の音声に対する音声認識の結果や、入力装置による入力結果から判断される。
なお、本実施形態では運転者の応答を無視、拒絶、受容の3パターに分類しているが、「強く拒絶」、「怒られた」、「喜ばれてた」を新たに加えるようにしてもよい。この場合、新たに加えた応答により、学習項目データ292(例えば、お休み回数等)や応答データ293のを追加変更する。
【0037】
図7は、ナビゲーションデータ記憶装置30(図1)に格納されるデータファイルの内容を表したものである。
図7に示されるように、ナビゲーションデータ記憶装置30には経路案内等で使用される各種データファイルとして、通信地域データファイル301、描画地図データファイル302、交差点データファイル303、ノードデータファイル304、道路データファイル305、探索データファイル306、写真データファイル307が格納されるようになっている。
このナビゲーションデータ記憶装置4は、例えば、フレキシブルディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
なお、ナビゲーションデータ記憶装置4は、複数種類の異なる記録媒体と駆動装置で構成するようにしてもよい。例えば、検索データファイル46を読み書き可能な記録媒体(例えば、フラッシュメモリ等)で、その他のファイルをCD−ROMで構成し、駆動装置としてそれらの駆動装置を用いるようにする。
【0038】
通信地域データファイル301には、通信制御装置24に接続され又は無接続で車内において使用される携帯電話が、車内から通信できる地域を表示装置5に表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが、携帯電話のタイプ別に格納されている。この携帯電話のタイプ別の各通信地域データには、検索しやすいように番号が付されて管理され、その通信可能な地域は、閉曲線で囲まれる内側により表現できるので、その閉曲線を短い線分に分割してその屈曲点の位置データによって特定する。なお、通信地域データは、通信可能地を大小各種の四角形エリアに分割し、対角関係にある2点の座標データによりデータ化するようにしてもよい。
通信地域データファイル301に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置24を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル301の内容を最新のデータと更新できるように構成されている。なお、通信地域データファイル301をフレキシブルディスク、ICカード等で構成し、最新のデータと書換えを行うようにしても良い。
描画地図データファイル302には、表示装置27に描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
【0039】
交差点データファイル303には、各交差点を特定する交差点番号、交差点名、交差点の座標(緯度と経度)、その交差点が始点や終点になっている道路の番号、および信号の有無などが交差点データとして格納されている。
ノードデータファイル304には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。すなわち、このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、複数のノード列のそれぞれの間をアークで接続することによって表現される。
道路データファイル305には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。
交差点データファイル303、ノードデータファイル304、道路データファイル305にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。
【0040】
探索データファイル306には、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がる角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。
写真データファイル307には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。
【0041】
図8は、状況センサ部40を構成する各種センサを表したものである。
図8に示すように状況センサ部40は、イグニッションセンサ401、車速センサ402、アクセルセンサ403、ブレーキセンサ404、サイドブレーキ検出センサ405、シフト位置検出センサ406、ウィンカー検出センサ407、ワイパー検出センサ408、ライト検出センサ409、シートベルト検出センサ410、ドア開閉検出センサ411、同乗者検出センサ412、室内温度検出センサ413、室外温度検出センサ414、燃料検出センサ415、水温検出センサ416、ABS検出センサ417、エアコンセンサ418、体重センサ419、前車間距離センサ420、後車間距離センサ421、体温センサ422、心拍数センサ423、発汗センサ424、脳波センサ425、アイトレーサー426、赤外線センサ427、その他のセンサ(タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ等)428等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。
これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。
なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。例えば、タイヤの空気圧低下検出センサは、車輪速センサの信号の変動により間接的に空気圧の低下を検出する。
【0042】
イグニッションセンサ401は、イグニッションのONとOFFを検出する。
車速センサ402は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。
アクセルセンサ403は、アクセルペダルの踏み込み量を検出する。
ブレーキセンサ404は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。
サイドブレーキ検出センサ405は、サイドブレーキがかけられているか否かを検出する。
シフト位置検出センサ406は、シフトレバー位置を検出する。
ウィンカー検出センサ407は、ウィンカの点滅させている方向を検出する。
ワイパー検出センサ408は、ワイパーの駆動状態(速度等)を検出する。
ライト検出センサ409は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。
シートベルト検出センサ410は、運転者、及び同乗者(補助席、後部座席)がシートベルトを着用しているか否かを検出する。着用していない場合には適宜(嫌われない程度に)エージェントが現れ、警告、注意、コメント等(学習により程度を変更する)を行う。
【0043】
ドア開閉検出センサ411は、ドアの開閉状態を検出し、いわゆる半ドアの場合には、エージェントがその旨を知らせる。ドア開閉検出センサ411は、運転席ドア、助手席ドア、後部運転席側ドア、後部助手席側ドア等の、車種に応じた各ドア毎の開閉を検出できるようになっている。
同乗者検出センサ412は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置28で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。
室内温度検出センサ413は室内の気温を検出し、室外温度検出センサ414は車両外の気温を検出する。
燃料検出センサ415は、ガソリン、軽油等の燃料の残量を検出する。給油時直前における過去5回分の検出値が学習項目データ292に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。
【0044】
水温検出センサ416は、冷却水の温度を検出する。イグニッションON直後において、この検出温度が低い場合には、エージェントが眠そうな行為をする場合が多い。逆に水温が高すぎる場合にはオーバーヒートする前に、エージェントが「だるそう」な行動と共にその旨を知らせる。
ABS検出センサ417は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するABSが作動したか否かを検出する。
エアコンセンサ418は、エアコンの操作状態を検出する。例えば、エアコンのON・OFF、設定温度、風量等が検出される。
体重センサ419は、運転者の体重を検出するセンサである。この体重から、または、体重と撮像装置28の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。すなわち、特定した運転者に対してエージェントが学習した、学習項目データ292と応答データ293を使用することで、その運転者専用のエージェントを出現させるようにする。
前車間距離センサ420は車両前方の他車両や障害物との距離を検出し、後車間距離センサ421は後方の他車両や障害物との距離を検出する。
【0045】
体温センサ422は、心拍数センサ423、発汗センサ424は、それぞれ運転者の体温、心拍数、発汗状態を検出するセンサで、例えば、ハンドル表面に各センサを配置し運転者の手の状態から検出する。または、体温センサ422として、赤外線検出素子を使用したサーモグラフィーにより運転者の各部の温度分布を検出するようにしても良い。
脳波センサ425は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。
アイトレーサー426は、ユーザの視線の動きを検出し、通常運転中、車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。
赤外線センサ427は、ユーザの手の動きや顔の動きを検出する。
【0046】
次に、以上のように構成された本実施形態の動作について説明する。
図9は本実施形態によるエージェント処理のメイン動作を表したフローチャートである。
エージェント処理部11は、イグニッションがONされたことがイグニッションセンサ401で検出されると、まず最初に初期設定を行う(ステップ11)。初期設定としては、RAMのクリア、各処理用のワークエリアをRAMに設定、プログラム選択テーブル291(図2)のRAMへのロード、フラグの0設定、等の処理が行われる。なお、本実施形態のエージェント処理では、その処理の開始をイグニッションONとしたが、例えばドア開閉検出センサ411によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。
【0047】
次にエージェント処理部11は、状況情報処理部15に状況センサ部40の各センサから供給される検出値や、撮像装置28で撮像した画像の処理結果や、現在位置検出装置21で検出した車両の現在位置等のデータを取得して、RAMの所定エリアに格納し、格納したデータから現在状況の把握を行う(ステップ12)。例えば、水温検出センサ416で検出された冷却水の温度がt1である場合、エージェント処理部11は、この温度t1をRAMに格納すると共に、t1が所定の閾値t2以下であれば、車両の現在の状態として冷却水温(図2参照)は低い状態であると把握する。
現在の状況としては、他にマイク26からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ」や「CDをかけてくれ」等の要求も現在の状況として把握される。この場合、認識した音声に含まれるワード「CD」「かけて」等がプログラム選択テーブル291(図2)の選択条件(横軸項目)になる。
【0048】
さらにエージェント処理部11は、エージェントデータ記憶装置29の学習項目データ292と応答データ293をチェックすることで、エージェントがこれまでに学習してきた状態(学習データ)を把握する(ステップ13)。
【0049】
エージェント処理部11は、把握した現在状態とチェックした学習データとから、図2に示したプログラム選択テーブル291から、現在の状態で起動可能なコミュニケーションプログラム(の番号)があるか否かを判断し、該当プログラムが無ければ(ステップ14;N)、ステップ12に戻って新たな状態を把握する。
一方、起動可能なコミュニケーションプログラムがある場合(ステップ14;Y)、そのプログラム番号を決定する。そして、決定したプログラム番号に対する運転者の応答履歴を応答データ293から確認し、当該プログラム番号のコミュニケーションプログラムの起動を、お休みすべき状態か否かを確認する(ステップ15)。
【0050】
お休み状態ではない場合(ステップ15;N)、エージェント処理部11は、決定したプログラム番号に対応するコミュニケーションプログラムを起動することで、図4に示された各エージェントの行為(行動と音声)に従った画像を表示装置27に表示すると共に、音声出力装置25から音声出力する(ステップ16)。これによって、現在の車両や運転者等の状況からだけでなく、過去の状況や応答にたいする学習結果を反映させたエージェントとのコミュニケーションが可能になる。
【0051】
そしてエージェント処理部11は、コミュニケーションプログラムの起動によるエージェント行為に対する運転者の応答を、マイク26からの入力に基づく音声認識結果や、入力装置22からの入力結果から取得する(ステップ17)。
次にエージェント処理部11は、ステップ16で起動したコミュニケーションプログラムが制御対象プログラムか否かを判断する(ステップ18)。ここで制御対象プログラムか否かは各プログラム毎に規定されており、例として、「ラジオの電源を入れましょうか?」や、お昼時にお腹が鳴る音を検出した場合に「食堂の案内をしましょうか?」といったように、エージェントが処理可能な行為の提案をする場合のコミュニケーションプログラム等が制御対象プログラムとして規定されている。
【0052】
制御対象プログラムでない場合(ステップ18;N)にはステップ20に移行し、制御対象プログラムである場合(ステップ18;Y)、ステップ17で取得した運転者の応答に応じた制御を行う(ステップ19)。例えば、上記ラジオの電源を入れる提案コミュニケーションに対して、「入れて」「OK」「はい」等の提案を受容する応答が認識された場合であれば、エージェント処理部11は応答に応じた制御として、エージェントに返事をする行為(行為と音声)をさせると共にラジオの電源をONにする。
【0053】
そして、エージェント処理部11は、今回のコミュニケーションプログラムに関するデータを蓄積することで、エージェントに学習をさせる(ステップ20)。
データの蓄積としては、例えば、コミュニケーションプログラムの起動がお休みである場合には(ステップ15;Y)、学習項目データ292の該当プログラム番号の回数欄をカウントアップさせる。ただし、学習項目データ292のお休み回数/日時欄に格納されている回数をKa回とし、当該プログラム番号に対する前回までの応答データ293の履歴から決まるお休み回数をKb回とした場合、Ka=Kb−1であれば、今回のお休みで規定回数休んだことになるの。そこで、学習項目データ292及び応答データ293の当該プログラム番号欄の(該当する位置に格納されている)データをクリアする。
その他の場合(ステップ18;Nの場合、ステップ19の後)には、ステップ12で把握した現在状況の中に学習項目があれば学習項目データ292の値を更新し、応答内容を履歴として格納すべきプログラム番号であればステップ17で取得した応答内容を応答データ293(図7)に格納する。この応答の履歴も各プログラム番号毎に規定された所定回数分のデータが既に格納されている場合には、最も古いデータを廃棄して新しいデータを格納する。
【0054】
以上のプログラム決定・コミュニケーション・学習の各処理が終了すると、エージェント処理部11は、ステップ11でRAMに初期設定したフラグ領域にフラグ1が立っているか否かを確認する(ステップ21)。
フラグが立っていない場合には(ステップ21;N)、イグニッションセンサ401によりイグニッションOFFが検出されたか否かを判断し(ステップ22)、検出されていない場合(ステップ22;N)にはステップ12に戻って新たな状態を把握する。
一方、イグニッションOFFが検出された場合(ステップ22;Y)、RAMのフラグ領域にフラグ1を立て(ステップ23)た後にステップ12に戻り、後処理を行う。すなわち、フラグ1を現在状況や学習データに応じたお別れの行為(行動と音声)をエージェントにさせると共に、消し忘れのライト類の消灯等の制御、及び当該後処理に対する学習(ステップ20)の後、フラグが1なので(ステップ21;Y)、エージェント処理を終了する。
【0055】
次に、以上説明したエージェント処理による、具体的な行為例について説明する。
図10は、イグニッションON後における具体的なエージェント処理の内容を概念的に表したものである。
この図10(A)に示すように、エージェント処理部11は、現在状況として、イグニッションセンサ401で検出された状態が「ON」、現在位置検出装置21で検出された現在位置(緯度、経度)から求めた現在位置が「その他」(自宅、休憩場所以外)、等の状況を把握(ステップ12)したものとする。
また、学習項目データ292と応答データ293についてチェックした学習データとしては、今日のイグニッションON回数が「2日目」前回終了日時が「1997.7.12 10:05」、通算起動回数が「30回」であるとチェック(ステップ13)したものとする。
【0056】
以上の処理から、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00004のコミュニケーションプログラムを選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。
プログラム番号00004のコミュニケーションプログラムの起動により、図3に示すエージェント行為(行動と発声)が、図10(B)に示すように、行われる。すなわち、表示装置27にはエージェントが図4に示すように「かしこまってお辞儀」をする連続行動の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「また私、リサが御供いたします。よろしくお願いします。」といった音声が出力される。
【0057】
プログラム番号00004は制御対象プログラムではないので(ステップ18;N)、ステップ19をとばし、エージェントの学習として図10(C)に示すように、学習項目データ292の今日のイグニッションON回数を2回から3回に変更すると共に、通算起動回数を30回から31回に変更する(ステップ20)。その後フラグ=1でなく(イグニッションONしたのちなので通常はフラグ=0)、イグニッションOFFでもなければ(ステップ21;N、22;N)、ステップ12に戻りその後のコミュニケーションを継続する。
【0058】
以上の学習により、学習項目データ292に格納されている通算起動回数が31回以上になる。従ってそれ以後は、全学習データ(学習項目データ292と応答データ293)を初期化しない限り、コミュニケーションプログラム00001〜00006が選択されることはない。以後イグニッションONの通算回数が300回になるまで、プログラム番号00007〜00019のいずれかのコミュニケーションプログラムが選択される。すなわち、エージェントは「かしこまってお辞儀」を行わず、冷却水温が高ければ通常の「お辞儀」、低ければ「眠そうにお辞儀」をする。その際の音声は、起動場所やその日のIGON回数等により選択されるプログラム番号によって変化する。
【0059】
図11は、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
この図11(A)に示すように、エージェント処理部11は、現在状況として、エアコンセンサ418で検出された状態が「ON」、室内温度検出センサ413と室外温度検出センサ414で検出された室温T1と室外温T2を取得する。また、各プログラム番号の応答データ293をチェックすることで、プログラム番号0123に対する前2回の運転者応答がC(受容)なので、閾値T3、T4の値としてデフォルト値(T3=2度、T4=24度)が学習項目データ292から読み出される。
この閾値T3とT4とから、室温と室外温の関係、(T1−T2)≦T3が「Yes」、室外温T2と閾値T4との関係T2≦T4が「Yes」、等の状況が最終的に把握される(図11(A))。
【0060】
以上の処理から、エージェント処理部11は、プログラム選択テーブル291からプログラム番号00123のコミュニケーションプログラムを最終的に選択し(ステップ14)、お休み対象で無いことを確認(ステップ15;N)したうえで、当該番号のコミュニケーションプログラムを起動する(ステップ16)。
プログラム番号00123のコミュニケーションプログラムの起動により、図11(B)に示すような行為をエージェントがする。すなわち、表示装置27にはエージェントが現れてほほえむ連続動作の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「外は涼しくなりましたよ。外気を入れてみませんか?」といった音声が出力される。
【0061】
このエージェントのコミュニケーションに対する運転者の応答を取得する(ステップ17)。
そして、プログラム番号00123は制御対象プログラムなので(ステップ18;Y)、受容であれば応答に応じた制御としてエアコンの電源をOFFにすると共に、運転席側と助手席側の窓を1/2だけ開ける制御を行う(ステップ19)。
応答に応じた制御の後、エージェント処理部11は、エージェントの学習として、図11(C)に示すように、運転者の応答が無視であればA、拒絶であればB、受容であればCを、応答日時と共にプログラム番号0123に対応する応答データ293に格納する。この場合、前々回の応答データが削除され、前回の応答と今回の応答が応答データ293の格納内容になる。
そして、格納した応答内容が無視Aであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、1回休むことになる。格納した応答内容が拒絶Bであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、5回休むことになる。なお、1回休む場合の閾値としては下げた後の温度T3=T3−1、T4=T4−1が使用される。
格納した応答内容が受容Cであれば、前回使用した閾値T3、T4と同一の値が使用される。
【0062】
なお、エージェントの提案コミュニケーションに対する受容応答により、運転席側と助手席側の窓を1/2だけ開ける制御について説明したが、この窓を開ける位置と量についてもエージェントの学習対象とし、次回の窓開閉制御に対する学習とするようにしてもよい。例えば、運転者の「開けすぎだよ」、「もう少し締めて」、「後ろも開けてよ」等の応答を、図11(A)の状況に対する固有のデータではなく、窓開閉に関して運転者の好みを表す一般的なデータとして応答データ293に格納しておく。この場合のデフォルト値としては、例えば、開対象窓と開放量;運転席側窓1/2、助手席側窓1/2とする。なお、運転者の応答が「後ろも開けてよ」であった場合、この応答(音声認識結果)が現在の状況として把握(ステップ12)され、コミュニケーションプログラムの起動(ステップ16)によりエージェントの行為と共に、後ろの窓も開放する。
【0063】
以上説明したように本実施形態によれば、過去の種々の状況を学習し、この学習内容に応じて現在の車両や運転者に関する状況に適したコミュニケーション行為をエージェントが行うので、運転者は車内で飽きることなく運転することができる。
また運転者は、エージェントに対して怒ったり、笑ったり、相談したりでき、またエージェントから積極的になされる提案に対してもその時々の気分で応答することができる。そして、これらの運転者の行為を適切に判断、学習してエージェントがコミュニケーションをとるので、エージェントに対して親しみを感じ、その車両に対する愛着を増すことができる。
【0064】
また本実施形態のコミュニケーション機能を備えた車両によれば、学習手段による学習結果と状況判断手段により判断された現在の状況とから擬人化されたエージェントの行為を決定し、エージェント出現手段により出現されるエージェントに行わせるようにしたので、擬人化されたエージェントが状況に合わせて適切に行為し、運転者とのコミュニケーションをはかることができる。
すなわち、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をし、運転者とのコミュニケーションをはかることができる。
従って、運転者はエージェントとの会話をしたり、エージェントに窓の開閉、CDやラジオの制御、走行道路や施設の詳細な案内といった各種の制御をしてもらうことができ、車内での運転環境を快適にすることができる。
【0065】
なお、本実施形態のエージェント装置を以下のように構成することもできる。
(1)擬人化されたエージェントを車両内に出現させるエージェント出現手段と、
車両の状況を判断する状況判断手段と、
この状況判断手段による所定状況を記憶することで学習する学習手段と、
この学習手段による学習結果と前記状況判断手段により判断された状況とから、エージェントの行為を決定する行為決定手段と、
この行為決定手段で決定された行為を前記エージェント出現手段により出現されるエージェントに行わせるエージェント制御手段と、を具備することを特徴とするエージェント装置。
(2) 前記状況判断手段は、現在または過去の状況を判断する手段であることを特徴とする上記(1)記載のエージェント装置。
(3) 前記状況判断手段は、車両の現在位置を検出する現在位置現在検出手段であることを特徴とする上記(1)記載のエージェント装置。
(4) 前記状況判断手段は、車両各部の状況を検出する車載センサであることを特徴とする上記(1)記載のエージェント装置。
(5) 前記状況判断手段は、車両外部の環境を検出するセンサであることを特徴とする上記(1)記載のエージェント装置。
(6) 前記学習手段は、前記状況手段が同一の状況を検出する回数により予め定められた学習結果を出力することを特徴とする上記(1)記載のエージェント装置。
(7) 前記エージェント出現手段は、画像表示手段と、画像表示手段に対し、特定のエージェントを画像表示するエージェント表示手段を含むことを特徴とする上記(1)記載のエージェント装置。
(8) 前記特定のエージェントは、複数のエージェントの中から選択されることを特徴とする上記(7)記載のエージェント装置。
(9) 前記エージェント出現手段は、音声出力装置と、該音声出力装置に対し、特定のエージェントの音声を出力するエージェント音声出力手段を含むことを特徴とする上記(1)記載のエージェント装置。
(10) 前記音声出力手段は、複数のエージェント音声の中から選択された音声を出力することを特徴とする上記(9)記載のエージェント装置。
(11) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、エージェントの行動を画像表示手段に画像表示する上記(1)記載のエージェント装置。
(12) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、音声出力手段から出力される音声の音色を制御する上記(1)記載のエージェント装置。
(13) 前記学習手段は、さらに、運転者の指示内容及び応答内容の少なくとも一方を学習対象として記憶する記憶手段を備えたことを特徴とする上記(1)記載のエージェント装置。
(14) さらに運転者の操作を入力するスイッチを備え、前記記憶手段は該スイッチ入力の時間及び場所を記憶することを特徴とする上記(13)記載のエージェント装置。
(15) 前記学習手段は、前記エージェント制御手段により実行された行為に対応した運転者の操作があったか否かを判別する判別手段を備えることを特徴とする上記(1)記載のエージェント装置。
【図面の簡単な説明】
【0066】
【図1】本発明の1実施形態におけるコミュニケーション機能を実現するための構成を示すブロック図である。
【図2】同上、実施形態におるプログラム選択テーブルの内容を概念的にあらわした説明図である。
【図3】同上、実施形態において、各プログラム番号に対応するエージェントの行為(行動と音声)を表した説明図である。
【図4】同上、実施形態におけるプログラム番号00001〜00002の起動により表示装置に表示されるエージェントの「かしこまってお辞儀」行動についての数画面を表した説明図である。
【図5】同上、実施形態における学習項目データの内容を概念的に表した説明図である。
【図6】同上、実施形態における応答データの内容を概念的に表した説明図である。
【図7】同上、実施形態におけるナビゲーションデータ記憶装置に格納されるデータファイルの内容を概念的に表した説明図である。
【図8】同上、実施形態における状況センサ部を構成する各種センサを表した説明図である。
【図9】同上、実施形態によるエージェント処理のメイン動作を表したフローチャートである。
【図10】同上、実施形態において、イグニッションON後における具体的なエージェント処理の内容を概念的に表した説明図である。
【図11】同上、実施形態において、車両走行中における具体的なエージェント処理の内容を概念的に表したものである。
【符号の説明】
【0067】
1 全体処理部
10 ナビゲーション処理部
11 エージェント処理部
12 I/F部
13 画像処理部
14 音声制御部
15 状況情報処理部
21 現在位置検出装置
22 入力装置
23 記憶媒体駆動装置
24 通信制御装置
25 音声出力装置
26 マイク
27 表示装置
28 撮像装置
29 エージェントデータ記憶装置
30 ナビゲーションデータ記憶装置
40 状況センサ部
【特許請求の範囲】
【請求項1】
車両の状況に応じた行動をする擬人化されたエージェントの画像を画像表示装置に表示するエージェント装置であって、
エージェントの行動に対応する画像が複数記憶された画像記憶手段と、
前記エージェントの画像が表示される表示装置と、
前記エージェントの音声を出力する音声出力手段と、
前記エージェントによるラジオの電源を入れる提案に対応して、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記提案をする音声を前記音声出力手段から出力する画像音声制御手段と、を具備することを特徴とするエージェント装置。
【請求項2】
前記提案に対する運転者の応答を取得する応答取得手段と、
前記取得した応答が受容する応答である場合に、ラジオの電源をオンにするラジオ制御手段と、を具備することを特徴とする請求項1に記載のエージェント装置。
【請求項3】
前記画像音声制御手段は、前記取得した応答に対するエージェントの返事として、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記返事をする音声を前記音声出力手段から出力することを特徴とする請求項2に記載のエージェント装置。
【請求項1】
車両の状況に応じた行動をする擬人化されたエージェントの画像を画像表示装置に表示するエージェント装置であって、
エージェントの行動に対応する画像が複数記憶された画像記憶手段と、
前記エージェントの画像が表示される表示装置と、
前記エージェントの音声を出力する音声出力手段と、
前記エージェントによるラジオの電源を入れる提案に対応して、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記提案をする音声を前記音声出力手段から出力する画像音声制御手段と、を具備することを特徴とするエージェント装置。
【請求項2】
前記提案に対する運転者の応答を取得する応答取得手段と、
前記取得した応答が受容する応答である場合に、ラジオの電源をオンにするラジオ制御手段と、を具備することを特徴とする請求項1に記載のエージェント装置。
【請求項3】
前記画像音声制御手段は、前記取得した応答に対するエージェントの返事として、該当するエージェントの画像を前記画像記憶手段から読み出して前記表示装置に表示すると共に、前記返事をする音声を前記音声出力手段から出力することを特徴とする請求項2に記載のエージェント装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2008−290714(P2008−290714A)
【公開日】平成20年12月4日(2008.12.4)
【国際特許分類】
【出願番号】特願2008−156559(P2008−156559)
【出願日】平成20年6月16日(2008.6.16)
【分割の表示】特願2005−98226(P2005−98226)の分割
【原出願日】平成9年7月22日(1997.7.22)
【出願人】(591261509)株式会社エクォス・リサーチ (1,360)
【Fターム(参考)】
【公開日】平成20年12月4日(2008.12.4)
【国際特許分類】
【出願日】平成20年6月16日(2008.6.16)
【分割の表示】特願2005−98226(P2005−98226)の分割
【原出願日】平成9年7月22日(1997.7.22)
【出願人】(591261509)株式会社エクォス・リサーチ (1,360)
【Fターム(参考)】
[ Back to top ]