感情生成装置およびその方法
【課題】 ニューラルネットを用いて、自然かつ生物的な変化をする感情の生成を可能にする感情生成装置およびその方法を実現する。
【解決手段】 人間と電気機器との間の情報仲介のためのインタフェース装置において、ニューラルネット８はユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，Ｉ7 および現在の感情状態Ｏ0 〜Ｏ3 を入力して次の感情状態Ｏ0 〜Ｏ3 を出力し、行動決定エンジン１０はニューラルネット８の感情状態Ｏ0 〜Ｏ3 およびユーザ情報Ｉ0 〜Ｉ5 を入力してインタフェースの行動を決定し、様相決定エンジン１１はニューラルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェースの様相を決定する。
【解決手段】 人間と電気機器との間の情報仲介のためのインタフェース装置において、ニューラルネット８はユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，Ｉ7 および現在の感情状態Ｏ0 〜Ｏ3 を入力して次の感情状態Ｏ0 〜Ｏ3 を出力し、行動決定エンジン１０はニューラルネット８の感情状態Ｏ0 〜Ｏ3 およびユーザ情報Ｉ0 〜Ｉ5 を入力してインタフェースの行動を決定し、様相決定エンジン１１はニューラルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェースの様相を決定する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は感情生成装置およびその方法に関し、特に人工生命，人工エージェント等（以下、インタフェースと総称する）を含む電気機器における感情生成装置およびその方法に関する。
【０００２】
【従来の技術】近年、家庭用電化製品，オフィスオートメーション機器などの電気機器（以下、単に機器という）の多機能化および複雑化が進んでいる。また、多機能になるにつれて使い易さを強調したインタフェースが実現されている。バーコード入力，音声入出力などが、その例である。従来、複雑なマニュアル操作で行っていた機器への命令操作が簡単なボタン操作になり、簡単なボタン操作の組合せがバーコード入力による一括入力になり、そしてなじみの深い自然言語での音声命令が可能になってきた。また、機器からの反応も進化を遂げており、以前は命令された結果を実行するのみであったものが、命令を受理したことを示すために反応をするようになった。たとえば、ビデオの録画予約を例に考えると、録画予約が済むとビデオ前面の時計表示部分に録画予約マークがつくようになり、予約終了時に予約をした旨をつげる記号列や自然言語がテレビ画面に表示されるようになり、自然言語が音声化され「予約しました」と告げるようになった。
【０００３】現在、前記のような簡単化されたインタフェースが徐々に実用化され、その動作を擬人化したエージェントが行っているように見せる方法が注目されはじめている。しかし、擬人化することにより、ユーザのインタフェースに対する期待は増し、結果としてインタフェースに不満を感じる可能性がある。これを解消するため、特開平６−１２４０１号公報では、擬人化エージェントに感情を持たせる試みが行われている。
【０００４】
【発明が解決しようとする課題】上述した従来の擬人化エジェーントでは、感情の実現方法が、ある単一の状況に対して１つもしくは複数のパラメータを個別に変更することにより実現されているため、外部からの影響が同じであれば、現在の感情状態にかかわらず、感情の変化量も一意に決定するので、実際の生物的な感情の変化と比較すると不自然な点がみられるという問題点があった。
【０００５】また、外部から受け入れるあらかじめ定義したものに限定しているため、定義されていない状況に対しては感情が変化せず、多様性がないという問題点があった。
【０００６】さらに、感情の変化量に乱数を使用する方法もあるが、不自然さが生じる可能性があるという問題点があった。
【０００７】本発明の目的は、ニューラルネットワーク（以下、ニューラルネットと略記する），行動決定エンジンおよび様相決定エンジンを備えることにより、自然かつ生物的な変化をする感情の生成を可能にする感情生成装置を提供することにある。
【０００８】また、本発明の他の目的は、ニューラルネットを用いて、自然かつ生物的な変化をする感情の生成を可能にした感情生成方法を提供することにある。
【０００９】
【課題を解決するための手段】本発明の感情生成装置は、人間と電気機器との間の情報仲介のためのインタフェース装置において、ユーザ情報，機器情報および現在の感情状態を入力して次の感情状態を出力するニューラルネットと、このニューラルネットの感情状態およびユーザ情報を入力してインタフェースの行動を決定する行動決定エンジンと、前記ニューラルネットの感情状態を入力してインタフェースの様相を決定する様相決定エンジンとを備えることを特徴とする。
【００１０】また、本発明の感情生成方法は、人間と電気機器との間の情報仲介のための感情生成方法において、ニューラルネットを用いることにより、前記電気機器のインタフェースが生物的要素としての感情を備えていることを特徴とする。
【００１１】
【発明の実施の形態】次に、本発明の実施の形態について図面を参照して説明する。
【００１２】図１は、本発明の第１の実施の形態に係る感情生成装置の構成を示すブロック図である。本実施の形態に係る感情生成装置は、ニューラルネット８と、行動決定エンジン１０と、様相決定エンジン１１とから、その主要部が構成されている。
【００１３】第１の実施の形態に係る感情生成装置では、パーソナルコンピュータへの実装を想定している。ユーザから感情生成装置へのデータの入力手段としては、カメラ１，マイク２，センサ３，キーボード４，マウス５などがある。ここで、ユーザのアナログ変動する情報（以下、アナログ変動情報という）を獲得する手段としては、カメラ１，マイク２，センサ３があり、カメラ１による視線，顔つきなど、センサ３による皮膚温度，脈拍数など、またマイク２からの音声入力で得られた声質，その他の音などがアナログ変動情報となる。プログラム中で定義された流れをもって変動する情報（以下、流れを持つ情報という）として考えられるものには、インタフェースのミスに対するユーザの怒鳴り声や舌打ちなど、機器の出力に対する反応、およびその履歴があげられる。これらの情報は、カメラ１，マイク２，キーボード４，マウス５のいずれかを用いて伝達される。以下、アナログ変動情報および流れを持つ情報を総称して、ユーザ情報という。機器内で変動する時系列的な情報（以下、機器情報という）には、内部センサ６により得られる機器の温度Ｉ6 ，タイマ７により測定されたパーソナルコンピュータの使用時間Ｉ7 などが対応する。
【００１４】図２を参照すると、ニューラルネット８は、入力層，中間層，出力層の３層からなる。ニューラルネット８に入力として与えられるユーザ情報としては、カメラ１から得られる「瞬きの回数」Ｉ0 ，マイク２から得られる「声の大きさ」Ｉ1 および「発声間隔」Ｉ2 ，センサ３から得られる「脈拍数」Ｉ3 ，キーボード４から得られる「打鍵の強さ」Ｉ4 ，およびマウス５から得られる１回当たりの「使用時間」Ｉ5 がある。また、機器情報としては、内部センサ６から得られる「内部温度」Ｉ6 ，およびタイマ７から得られる「使用時間」Ｉ7 がある。また、ニューラルネット８の出力層に得られる出力Ｏ0 〜Ｏ3 は、感情状態を表すデータであり、「喜」，「怒」，「悲」，および「驚」に対応した４出力である。以下、出力Ｏ0 〜Ｏ3 を感情状態という。さらに、ニューラルネット８には、前回出力された感情状態Ｏ0 〜Ｏ3 が、現在の感情状態Ｓ0 〜Ｓ3 として入力されている。
【００１５】図３は、ニューラルネット８の学習に必要な学習データ（ユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，Ｉ7 および教師信号Ｔ0 〜Ｔ3 ）を例示する図である。ニューラルネット８は、例えば、バックプロパゲーション法等を用いて学習させて使用する。バックプロパゲーション法は、教師付き学習の一種であり、入力とそれに対する適切な解答（教師）のデータとのセットを用意し、その対になったデータを用いて学習を行う方法である。例えば、機器を長時間使用し、ユーザおよび機器ともに疲労が感じられる場合を例示すると、そのような状況を表す入力が入ったときに、最初のうちはニューラルネット８は不適切である可能性が高い感情状態Ｏ0 〜Ｏ3 を出力する。このとき、理想の感情状態Ｏ0 〜Ｏ3 、つまり機器の感情は「激怒」であることを学習させるために、教師信号として「激怒」を表す信号Ｔ0 〜Ｔ3 を与える。このようにして、いくつかの入力に対して、信号Ｔ0 〜Ｔ3 を与える処理を繰り返して学習を行う。学習が済むと、入力セットとして直接与えていない情報に関しても、与えられた入力セットを補完する形で感情状態Ｏ0 〜Ｏ3 が得られるようになる。ここで、もし「怒る」ことを教えなければ、決して怒らない感情を作り上げることも可能である。一方、実際の感情は、連続性および方向性があり、強く反応する部分とそうでない部分とがある（怒りやすく、喜びにくいなど）。つまり、ニューラルネット８の特性を使うことにより、生物らしい感情を表現できる。なお、ニューラルネット８の学習についてのより詳しい解説については、「ニューロコンピュータ」（技術評論社）などに記載されている。
【００１６】ニューラルネット８の感情状態Ｏ0 〜Ｏ3 は、行動決定エンジン１０および様相決定エンジン１１に渡され、ユーザからの問い合わせに対する機器からの返答等の行動を決定する際の１つの決定要素として用いられたり、擬人化インタフェースの表情や色といった様相の生成に使用されたりする。
【００１７】図４は、感情状態Ｏ0 〜Ｏ3 によって形成される仮想的な４次元空間（以下、感情マップという）を例示する図である。感情マップは、（喜，怒，悲，驚）の４次元の感情状態Ｏ0 〜Ｏ3 からなるマップであり、各感情状態Ｏ0 〜Ｏ3 は（０，０，０，０）から（１，１，１，１）の範囲で変動する。それぞれの感情状態Ｏ0 〜Ｏ3 の特性は値が大きくなる程強くなり、（０，０，０，０）から（１，１，１，１）を結ぶ線上、すなわちすべての感情状態Ｏ0 〜Ｏ3 の値が等しい時には感情は中立安定な状態である。
【００１８】図５は、行動決定エンジン１０の内部構造の一例を示すブロック図である。行動決定エンジン１０は、入力検出・情報加工部５１と、行動決定データベース５２と、行動決定部５３とから、その主要部が構成されている。
【００１９】入力検出・情報加工部５１は、外部から得られたユーザ情報Ｉ0 〜Ｉ5 がどのような情報であるかを検出し、画像は画像認識手段を用いて、音声は音声認識手段を用いてというように、ユーザ情報に応じた手段を用いてその加工を行う（以下、加工された結果の情報を加工情報という）。
【００２０】図６を参照すると、入力検出・情報加工部５１の処理は、入力タイプ判別ステップＳ１０１と、入力文字列判断ステップＳ１０２と、入力ボタン判断・入力位置判断ステップＳ１０３と、入力文字列判断・音質判断ステップＳ１０４と、画像特徴判断ステップＳ１０５と、脈拍数判断ステップＳ１０６とからなる。
【００２１】図７は、行動決定データベース５２の内容の一部を例示する図である。この行動決定データベース５２では、入力される加工情報およびニューラルネット８の感情状態Ｏ0 〜Ｏ3 に対応して、インタフェースの行動が記述されている。
【００２２】行動決定部５３は、入力検出・情報加工部５１からの加工情報とニューラルネット８の感情状態Ｏ0 〜Ｏ3 とを用いて、行動決定データベース５２を検索することにより、インタフェースの行動を決定する。
【００２３】図８を参照すると、行動決定部５３の処理は、加工情報入力ステップＳ２０１と、ニューラルネット感情状態入力ステップＳ２０２と、行動決定データベース検索ステップＳ２０３と、行動出力ステップＳ２０４とからなる。
【００２４】図９は、様相決定エンジン１１の概要を示すブロック図である。様相決定エンジン１１は、目データ導出部９１と、目データデータベース９２と、鼻データ導出部９３と、鼻データデータベース９４と、口データ導出部９５と、口データデータベース９６と、色データ導出部９７と、色データデータベース９８と、様相データ導出部９９とから構成されている。
【００２５】様相は、目，鼻，口，色などの部品に分けてデータの作成を行う。各部品は、部品ごとのデータベースを持ち、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 と目データデータベース９２，鼻データデータベース９４，口データデータベース９６，および色データデータベース９８とから、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 に合った目データ，鼻データ，口データおよび色データを導出し、これら導出データを基に画像データなどの様相を形成するデータを導出する。
【００２６】図１０は、目データデータベース９２，鼻データデータベース９４，口データデータベース９６および色データデータベース９８におけるデータ格納形式を例示する図である。感情値Ｄi （ｉ＝０〜３）は、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 と同様に、「喜」，「怒」，「悲」，および「驚」に対応するが、感情値Ｄi の取り得る値は、［０，０．５，１］の３値のいずれかである。感情値Ｄi が決定すると、それぞれの部品を形成するデータが決定する。この形成データは、ビットマップデータやポリゴンデータなどの画像データである。すべての部品のデータが得られたならば、様相データ導出部９９は、それらを統合した画像データを様相として作成する。
【００２７】図１１は、目データ導出部９１，鼻データ導出部９３，口データ導出部９５，および色データ導出部９７によるニューラルネット８の感情状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）を求める方法を示すフローチャートである。ニューラルネット８の感情状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）を求める方法は、ニューラルネット８の出力Ｏi （ｉ＝０〜３）と目データデータベース９２，鼻データデータベース９４，口データデータベース９６および色データデータベース９８に記録されている感情Ｄi （ｉ＝０〜３）を比較して一番近いものを選択するという方法である。
【００２８】図１１を参照すると、感情値Ｄi （ｉ＝０〜３）を求める方法は、カウンタｉ＝４判定ステップＳ３０１と、感情状態Ｏi ０．２５未満判定ステップＳ３０２と、感情状態Ｏi ０．２５以上０．７５未満判定ステップＳ３０３と、感情値Ｄi ＝０設定ステップＳ３０４と、感情値Ｄi ＝０．５設定ステップＳ３０５と、と、感情値Ｄi ＝１設定ステップＳ３０６と、カウンタｉ増加ステップＳ３０７とからなる。
【００２９】次に、このように構成された第１の実施の形態に係る感情生成装置の動作について、その感情生成方法とともに説明する。
【００３０】カメラ１，マイク２およびセンサ３からアナログ変動情報が、キーボード４およびマウス５から流れを持った情報がユーザ情報Ｉ0 〜Ｉ5 として入力されるとともに、機器の内部センサ６およびタイマ７から機器情報Ｉ6 およびＩ7 が入力されると、ニューラルネット８は、前回の感情状態Ｓ0 〜Ｓ3 も一緒に入力して、今回の感情状態Ｏ0 〜Ｏ3 を出力する。
【００３１】次に、行動決定エンジン１０は、ユーザ情報Ｉ0 〜Ｉ5 およびニューラルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェースの行動を決定する。
【００３２】詳しくは、行動決定エンジン１０では、入力検出・情報加工部５１が、ユーザ情報Ｉ0 〜Ｉ5 を入力して入力タイプを判別し（ステップＳ１０１）、キー入力であれば入力文字列を判断し（ステップＳ１０２）、マウス入力であれば入力ボタンおよび入力位置を判断し（ステップＳ１０３）、音声入力であれば入力文字列および音質を判断し（ステップＳ１０４）、画像入力であれば画像特徴を判断し（ステップＳ１０５）、センサ入力であれば脈拍数を判断して（ステップＳ１０６）、加工情報として出力する。
【００３３】次に、行動決定部５２は、入力検出・情報加工部５１からの加工情報と、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 とを入力して行動決定データベース５３を検索することにより、インタフェースの行動を決定する。
【００３４】例えば、図７の行動決定データベース５２を参照すると、マウス５のクリックを示すユーザ情報Ｉ4 が入力されたとすると、行動決定部５３は、ニューラルネット８の感情状態Ｏ1 が０．５以上の場合には何もせず、その他の場合には（ｘ，ｙ）の位置のイベントを判定し、イベントを処理する。また、マイク２からの音声入力を示すユーザ情報Ｉ1 が入力されたとすると、行動決定部５３は、ニューラルネット８の感情状態Ｏ2 が０．５以上の場合にはトーンを下げて音声「お・は・よ・う」を出力し、感情状態Ｏ1 が０．８より大きいか、または感情状態Ｏ3 が０．５より大きい場合には何もせず、その他の場合には音声「う・る・さ・い」を出力する。
【００３５】一方、様相決定エンジン１１は、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェースの様相を決定する。
【００３６】詳しくは、様相決定エンジン１１では、目データ導出部９１が目データデータベース９２を検索して目データを決定し、鼻データ導出部９３が鼻データデータベース９４を検索して鼻データを決定し、口データ導出部９５が口データデータベース９６を検索して口データを決定し、色データ導出部９７が色データデータベース９８を検索して色データを決定して、これらデータを様相データ導出部９９が、重畳してインタフェースの様相として出力する。
【００３７】このとき、目データ導出部９１，鼻データ導出部９３，口データ導出部９５，および色データ導出部９７では、ニューラルネット８の感情状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）を求める。すなわち、感情状態Ｏi （ｉ＝０〜３）が０．２５より小さければ（ステップＳ３０２）、感情値Ｄi （ｉ＝０〜３）を０とし、感情状態Ｏi （ｉ＝０〜３）が０．２５から０．７５の間であれば（ステップＳ３０３）、感情値Ｄi （ｉ＝０〜３）を０．５とし、感情状態Ｏi （ｉ＝０〜３）が０．７５より大きければ、感情値Ｄi （ｉ＝０〜３）を１として正規化する。つまり、ニューラルネット８の感情状態Ｏi （ｉ＝０〜３）と目データデータベース９２，鼻データデータベース９４，口データデータベース９６および色データデータベース９８に記録されている感情値Ｄi （ｉ＝０〜３）とを比較して一番近いものを選択する。
【００３８】図１２は、様相決定の方法として、顔の表情の決定方法の一例を示す図である。感情値Ｄi （ｉ＝０〜３）は感情マップ上のいずれかの点であるので、あらかじめ感情マップ上の主要な点、ユーザから見て常識的な感情の変化を学習させる。その主要な点に関して、あらかじめ顔の様相データを用意して、主要な点以外の点の様相に対しては、その主要な点を補完するような中間的な様相を出力するようにする。目の例を挙げれば、主要な点として、「普通」（０，０，０，０），「怒」（０，０．５，０，０），「激怒」（０，１，０，０）を用意しておき、その中間の点があったときに、「ちょっと怒」（０，０．３，０，０）に適するようなデータを合成して作り出す。
【００３９】図１３は、本発明の第２の実施の形態に係る感情生成装置を示すブロック図である。本実施の形態に係る感情生成装置は、図１に示した第１の実施の形態に係る感情生成装置に対して、感情生成方法を実現する感情生成プログラム（データを含む）を記録した記録媒体２０を備えるようにしたものである。この記録媒体２０は、磁気ディスク，半導体メモリその他の記録媒体であってよい。感情生成プログラムは、記録媒体２０からコンピュータ（図示せず）に読み込まれ、コンピュータの動作を感情生成装置として制御する。感情生成装置の動作は、第１の実施の形態に係る感情生成装置の場合と全く同様なので、その詳しい説明は割愛する。
【００４０】上記実施の形態に係る感情生成装置およびその方法は、ニューラルネット８にユーザ情報ユーザ情報Ｉ0 〜Ｉ5 および機器情報Ｉ6 ，Ｉ7 の組合せとそれに対する理想的な感情状態Ｏ0 〜Ｏ3 を有限パタン学習させることにより、あらゆる状況に対して感情状態Ｏ0 〜Ｏ3 を出力することを可能とし、インタフェースの行動および様相をより擬人化することが可能となる。
【００４１】
【発明の効果】以上説明したように、本発明の感情生成装置およびその方法によれば、ニューラルネットを用いて常にユーザの動作をとらえているので、それによって変動するインタフェースの行動およびインタフェースの様相も常に変化するという効果がある。
【００４２】また、同じ入力をした場合でも、感情状態の変動に応じてインタフェースの行動および様相に違いが生じ、より自然で生物的な対応を可能にして擬人化を高めることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る感情生成装置の構成を示すブロック図である。
【図２】図１中のニューラルネットの入力層，中間層および出力層を示す図である。
【図３】図１中のニューラルネットの学習に必要な学習データを例示する図である。
【図４】図１中のニューラルネットの感情状態によって形成される感情マップの一例を説明する図である。
【図５】図１中の行動決定エンジンの内部構造を示すブロック図である。
【図６】図５中の入力検出・情報加工部の処理を示すフローチャートである。
【図７】図５中の行動決定データベースの内容の一部を例示する図である。
【図８】図５中の行動決定部の処理を示すフローチャートである。
【図９】図１中の様相決定エンジンの概略を示すブロック図である。
【図１０】図９中の目データデータベース，鼻データデータベース，口データデータベースおよび色データデータベースのデータ格納形式を例示する図である。
【図１１】図９中の目データ導出部，鼻データ導出部，口データ導出部および色データ導出部によるニューラルネットの感情状態から感情値を求める方法を示すフローチャートである。
【図１２】図１中の様相決定エンジンにおける様相決定の方法として顔の表情の決定方法の一例を示す図である。
【図１３】本発明の第２の実施の形態に係る感情生成装置の構成を示すブロック図である。
【符号の説明】
１ カメラ
２ マイク
３ センサ
４ キーボード
５ マウス
６ 内部センサ
７ タイマ
８ ニューラルネット
１０ 行動決定エンジン
１１ 様相決定エンジン
５１ 入力検出・情報加工部
５２ 行動決定データベース
５３ 行動決定部
９１ 目データ導出部
９２ 目データデータベース
９３ 鼻データ導出部
９４ 鼻データデータベース
９５ 口データ導出部
９６ 口データデータベース
９７ 色データ導出部
９８ 色データデータベース
９９ 様相データ導出部
Ｏ0 〜Ｏ3 感情状態
Ｓ１０１ 入力タイプ判別ステップ
Ｓ１０２ 入力文字列判断ステップ
Ｓ１０３ 入力ボタン判断・入力位置判断ステップ
Ｓ１０４ 入力文字列判断・音質判断ステップ
Ｓ１０５ 画像特徴判断ステップ
Ｓ１０６ 脈拍数判断ステップ
Ｓ２０１ 加工情報入力ステップ
Ｓ２０２ ニューラルネット感情状態入力ステップ
Ｓ２０３ 行動決定データベース検索ステップ
Ｓ２０４ 行動出力ステップ
Ｓ３０１ カウンタｉ＝４判定ステップ
Ｓ３０２ 感情状態Ｏi ０．２５未満判定ステップ
Ｓ３０３ 感情状態Ｏi ０．２５以上０．７５未満判定ステップ
Ｓ３０４ 感情値Ｄi ＝０設定ステップ
Ｓ３０５ 感情値Ｄi ＝０．５設定ステップ
Ｓ３０６ 感情値Ｄi ＝１設定ステップ
Ｓ３０７ カウンタｉ増加ステップ
Ｓ0 〜Ｓ3 前回の感情状態
Ｔ0 〜Ｔ3 教師信号
【０００１】
【発明の属する技術分野】本発明は感情生成装置およびその方法に関し、特に人工生命，人工エージェント等（以下、インタフェースと総称する）を含む電気機器における感情生成装置およびその方法に関する。
【０００２】
【従来の技術】近年、家庭用電化製品，オフィスオートメーション機器などの電気機器（以下、単に機器という）の多機能化および複雑化が進んでいる。また、多機能になるにつれて使い易さを強調したインタフェースが実現されている。バーコード入力，音声入出力などが、その例である。従来、複雑なマニュアル操作で行っていた機器への命令操作が簡単なボタン操作になり、簡単なボタン操作の組合せがバーコード入力による一括入力になり、そしてなじみの深い自然言語での音声命令が可能になってきた。また、機器からの反応も進化を遂げており、以前は命令された結果を実行するのみであったものが、命令を受理したことを示すために反応をするようになった。たとえば、ビデオの録画予約を例に考えると、録画予約が済むとビデオ前面の時計表示部分に録画予約マークがつくようになり、予約終了時に予約をした旨をつげる記号列や自然言語がテレビ画面に表示されるようになり、自然言語が音声化され「予約しました」と告げるようになった。
【０００３】現在、前記のような簡単化されたインタフェースが徐々に実用化され、その動作を擬人化したエージェントが行っているように見せる方法が注目されはじめている。しかし、擬人化することにより、ユーザのインタフェースに対する期待は増し、結果としてインタフェースに不満を感じる可能性がある。これを解消するため、特開平６−１２４０１号公報では、擬人化エージェントに感情を持たせる試みが行われている。
【０００４】
【発明が解決しようとする課題】上述した従来の擬人化エジェーントでは、感情の実現方法が、ある単一の状況に対して１つもしくは複数のパラメータを個別に変更することにより実現されているため、外部からの影響が同じであれば、現在の感情状態にかかわらず、感情の変化量も一意に決定するので、実際の生物的な感情の変化と比較すると不自然な点がみられるという問題点があった。
【０００５】また、外部から受け入れるあらかじめ定義したものに限定しているため、定義されていない状況に対しては感情が変化せず、多様性がないという問題点があった。
【０００６】さらに、感情の変化量に乱数を使用する方法もあるが、不自然さが生じる可能性があるという問題点があった。
【０００７】本発明の目的は、ニューラルネットワーク（以下、ニューラルネットと略記する），行動決定エンジンおよび様相決定エンジンを備えることにより、自然かつ生物的な変化をする感情の生成を可能にする感情生成装置を提供することにある。
【０００８】また、本発明の他の目的は、ニューラルネットを用いて、自然かつ生物的な変化をする感情の生成を可能にした感情生成方法を提供することにある。
【０００９】
【課題を解決するための手段】本発明の感情生成装置は、人間と電気機器との間の情報仲介のためのインタフェース装置において、ユーザ情報，機器情報および現在の感情状態を入力して次の感情状態を出力するニューラルネットと、このニューラルネットの感情状態およびユーザ情報を入力してインタフェースの行動を決定する行動決定エンジンと、前記ニューラルネットの感情状態を入力してインタフェースの様相を決定する様相決定エンジンとを備えることを特徴とする。
【００１０】また、本発明の感情生成方法は、人間と電気機器との間の情報仲介のための感情生成方法において、ニューラルネットを用いることにより、前記電気機器のインタフェースが生物的要素としての感情を備えていることを特徴とする。
【００１１】
【発明の実施の形態】次に、本発明の実施の形態について図面を参照して説明する。
【００１２】図１は、本発明の第１の実施の形態に係る感情生成装置の構成を示すブロック図である。本実施の形態に係る感情生成装置は、ニューラルネット８と、行動決定エンジン１０と、様相決定エンジン１１とから、その主要部が構成されている。
【００１３】第１の実施の形態に係る感情生成装置では、パーソナルコンピュータへの実装を想定している。ユーザから感情生成装置へのデータの入力手段としては、カメラ１，マイク２，センサ３，キーボード４，マウス５などがある。ここで、ユーザのアナログ変動する情報（以下、アナログ変動情報という）を獲得する手段としては、カメラ１，マイク２，センサ３があり、カメラ１による視線，顔つきなど、センサ３による皮膚温度，脈拍数など、またマイク２からの音声入力で得られた声質，その他の音などがアナログ変動情報となる。プログラム中で定義された流れをもって変動する情報（以下、流れを持つ情報という）として考えられるものには、インタフェースのミスに対するユーザの怒鳴り声や舌打ちなど、機器の出力に対する反応、およびその履歴があげられる。これらの情報は、カメラ１，マイク２，キーボード４，マウス５のいずれかを用いて伝達される。以下、アナログ変動情報および流れを持つ情報を総称して、ユーザ情報という。機器内で変動する時系列的な情報（以下、機器情報という）には、内部センサ６により得られる機器の温度Ｉ6 ，タイマ７により測定されたパーソナルコンピュータの使用時間Ｉ7 などが対応する。
【００１４】図２を参照すると、ニューラルネット８は、入力層，中間層，出力層の３層からなる。ニューラルネット８に入力として与えられるユーザ情報としては、カメラ１から得られる「瞬きの回数」Ｉ0 ，マイク２から得られる「声の大きさ」Ｉ1 および「発声間隔」Ｉ2 ，センサ３から得られる「脈拍数」Ｉ3 ，キーボード４から得られる「打鍵の強さ」Ｉ4 ，およびマウス５から得られる１回当たりの「使用時間」Ｉ5 がある。また、機器情報としては、内部センサ６から得られる「内部温度」Ｉ6 ，およびタイマ７から得られる「使用時間」Ｉ7 がある。また、ニューラルネット８の出力層に得られる出力Ｏ0 〜Ｏ3 は、感情状態を表すデータであり、「喜」，「怒」，「悲」，および「驚」に対応した４出力である。以下、出力Ｏ0 〜Ｏ3 を感情状態という。さらに、ニューラルネット８には、前回出力された感情状態Ｏ0 〜Ｏ3 が、現在の感情状態Ｓ0 〜Ｓ3 として入力されている。
【００１５】図３は、ニューラルネット８の学習に必要な学習データ（ユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，Ｉ7 および教師信号Ｔ0 〜Ｔ3 ）を例示する図である。ニューラルネット８は、例えば、バックプロパゲーション法等を用いて学習させて使用する。バックプロパゲーション法は、教師付き学習の一種であり、入力とそれに対する適切な解答（教師）のデータとのセットを用意し、その対になったデータを用いて学習を行う方法である。例えば、機器を長時間使用し、ユーザおよび機器ともに疲労が感じられる場合を例示すると、そのような状況を表す入力が入ったときに、最初のうちはニューラルネット８は不適切である可能性が高い感情状態Ｏ0 〜Ｏ3 を出力する。このとき、理想の感情状態Ｏ0 〜Ｏ3 、つまり機器の感情は「激怒」であることを学習させるために、教師信号として「激怒」を表す信号Ｔ0 〜Ｔ3 を与える。このようにして、いくつかの入力に対して、信号Ｔ0 〜Ｔ3 を与える処理を繰り返して学習を行う。学習が済むと、入力セットとして直接与えていない情報に関しても、与えられた入力セットを補完する形で感情状態Ｏ0 〜Ｏ3 が得られるようになる。ここで、もし「怒る」ことを教えなければ、決して怒らない感情を作り上げることも可能である。一方、実際の感情は、連続性および方向性があり、強く反応する部分とそうでない部分とがある（怒りやすく、喜びにくいなど）。つまり、ニューラルネット８の特性を使うことにより、生物らしい感情を表現できる。なお、ニューラルネット８の学習についてのより詳しい解説については、「ニューロコンピュータ」（技術評論社）などに記載されている。
【００１６】ニューラルネット８の感情状態Ｏ0 〜Ｏ3 は、行動決定エンジン１０および様相決定エンジン１１に渡され、ユーザからの問い合わせに対する機器からの返答等の行動を決定する際の１つの決定要素として用いられたり、擬人化インタフェースの表情や色といった様相の生成に使用されたりする。
【００１７】図４は、感情状態Ｏ0 〜Ｏ3 によって形成される仮想的な４次元空間（以下、感情マップという）を例示する図である。感情マップは、（喜，怒，悲，驚）の４次元の感情状態Ｏ0 〜Ｏ3 からなるマップであり、各感情状態Ｏ0 〜Ｏ3 は（０，０，０，０）から（１，１，１，１）の範囲で変動する。それぞれの感情状態Ｏ0 〜Ｏ3 の特性は値が大きくなる程強くなり、（０，０，０，０）から（１，１，１，１）を結ぶ線上、すなわちすべての感情状態Ｏ0 〜Ｏ3 の値が等しい時には感情は中立安定な状態である。
【００１８】図５は、行動決定エンジン１０の内部構造の一例を示すブロック図である。行動決定エンジン１０は、入力検出・情報加工部５１と、行動決定データベース５２と、行動決定部５３とから、その主要部が構成されている。
【００１９】入力検出・情報加工部５１は、外部から得られたユーザ情報Ｉ0 〜Ｉ5 がどのような情報であるかを検出し、画像は画像認識手段を用いて、音声は音声認識手段を用いてというように、ユーザ情報に応じた手段を用いてその加工を行う（以下、加工された結果の情報を加工情報という）。
【００２０】図６を参照すると、入力検出・情報加工部５１の処理は、入力タイプ判別ステップＳ１０１と、入力文字列判断ステップＳ１０２と、入力ボタン判断・入力位置判断ステップＳ１０３と、入力文字列判断・音質判断ステップＳ１０４と、画像特徴判断ステップＳ１０５と、脈拍数判断ステップＳ１０６とからなる。
【００２１】図７は、行動決定データベース５２の内容の一部を例示する図である。この行動決定データベース５２では、入力される加工情報およびニューラルネット８の感情状態Ｏ0 〜Ｏ3 に対応して、インタフェースの行動が記述されている。
【００２２】行動決定部５３は、入力検出・情報加工部５１からの加工情報とニューラルネット８の感情状態Ｏ0 〜Ｏ3 とを用いて、行動決定データベース５２を検索することにより、インタフェースの行動を決定する。
【００２３】図８を参照すると、行動決定部５３の処理は、加工情報入力ステップＳ２０１と、ニューラルネット感情状態入力ステップＳ２０２と、行動決定データベース検索ステップＳ２０３と、行動出力ステップＳ２０４とからなる。
【００２４】図９は、様相決定エンジン１１の概要を示すブロック図である。様相決定エンジン１１は、目データ導出部９１と、目データデータベース９２と、鼻データ導出部９３と、鼻データデータベース９４と、口データ導出部９５と、口データデータベース９６と、色データ導出部９７と、色データデータベース９８と、様相データ導出部９９とから構成されている。
【００２５】様相は、目，鼻，口，色などの部品に分けてデータの作成を行う。各部品は、部品ごとのデータベースを持ち、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 と目データデータベース９２，鼻データデータベース９４，口データデータベース９６，および色データデータベース９８とから、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 に合った目データ，鼻データ，口データおよび色データを導出し、これら導出データを基に画像データなどの様相を形成するデータを導出する。
【００２６】図１０は、目データデータベース９２，鼻データデータベース９４，口データデータベース９６および色データデータベース９８におけるデータ格納形式を例示する図である。感情値Ｄi （ｉ＝０〜３）は、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 と同様に、「喜」，「怒」，「悲」，および「驚」に対応するが、感情値Ｄi の取り得る値は、［０，０．５，１］の３値のいずれかである。感情値Ｄi が決定すると、それぞれの部品を形成するデータが決定する。この形成データは、ビットマップデータやポリゴンデータなどの画像データである。すべての部品のデータが得られたならば、様相データ導出部９９は、それらを統合した画像データを様相として作成する。
【００２７】図１１は、目データ導出部９１，鼻データ導出部９３，口データ導出部９５，および色データ導出部９７によるニューラルネット８の感情状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）を求める方法を示すフローチャートである。ニューラルネット８の感情状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）を求める方法は、ニューラルネット８の出力Ｏi （ｉ＝０〜３）と目データデータベース９２，鼻データデータベース９４，口データデータベース９６および色データデータベース９８に記録されている感情Ｄi （ｉ＝０〜３）を比較して一番近いものを選択するという方法である。
【００２８】図１１を参照すると、感情値Ｄi （ｉ＝０〜３）を求める方法は、カウンタｉ＝４判定ステップＳ３０１と、感情状態Ｏi ０．２５未満判定ステップＳ３０２と、感情状態Ｏi ０．２５以上０．７５未満判定ステップＳ３０３と、感情値Ｄi ＝０設定ステップＳ３０４と、感情値Ｄi ＝０．５設定ステップＳ３０５と、と、感情値Ｄi ＝１設定ステップＳ３０６と、カウンタｉ増加ステップＳ３０７とからなる。
【００２９】次に、このように構成された第１の実施の形態に係る感情生成装置の動作について、その感情生成方法とともに説明する。
【００３０】カメラ１，マイク２およびセンサ３からアナログ変動情報が、キーボード４およびマウス５から流れを持った情報がユーザ情報Ｉ0 〜Ｉ5 として入力されるとともに、機器の内部センサ６およびタイマ７から機器情報Ｉ6 およびＩ7 が入力されると、ニューラルネット８は、前回の感情状態Ｓ0 〜Ｓ3 も一緒に入力して、今回の感情状態Ｏ0 〜Ｏ3 を出力する。
【００３１】次に、行動決定エンジン１０は、ユーザ情報Ｉ0 〜Ｉ5 およびニューラルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェースの行動を決定する。
【００３２】詳しくは、行動決定エンジン１０では、入力検出・情報加工部５１が、ユーザ情報Ｉ0 〜Ｉ5 を入力して入力タイプを判別し（ステップＳ１０１）、キー入力であれば入力文字列を判断し（ステップＳ１０２）、マウス入力であれば入力ボタンおよび入力位置を判断し（ステップＳ１０３）、音声入力であれば入力文字列および音質を判断し（ステップＳ１０４）、画像入力であれば画像特徴を判断し（ステップＳ１０５）、センサ入力であれば脈拍数を判断して（ステップＳ１０６）、加工情報として出力する。
【００３３】次に、行動決定部５２は、入力検出・情報加工部５１からの加工情報と、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 とを入力して行動決定データベース５３を検索することにより、インタフェースの行動を決定する。
【００３４】例えば、図７の行動決定データベース５２を参照すると、マウス５のクリックを示すユーザ情報Ｉ4 が入力されたとすると、行動決定部５３は、ニューラルネット８の感情状態Ｏ1 が０．５以上の場合には何もせず、その他の場合には（ｘ，ｙ）の位置のイベントを判定し、イベントを処理する。また、マイク２からの音声入力を示すユーザ情報Ｉ1 が入力されたとすると、行動決定部５３は、ニューラルネット８の感情状態Ｏ2 が０．５以上の場合にはトーンを下げて音声「お・は・よ・う」を出力し、感情状態Ｏ1 が０．８より大きいか、または感情状態Ｏ3 が０．５より大きい場合には何もせず、その他の場合には音声「う・る・さ・い」を出力する。
【００３５】一方、様相決定エンジン１１は、ニューラルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェースの様相を決定する。
【００３６】詳しくは、様相決定エンジン１１では、目データ導出部９１が目データデータベース９２を検索して目データを決定し、鼻データ導出部９３が鼻データデータベース９４を検索して鼻データを決定し、口データ導出部９５が口データデータベース９６を検索して口データを決定し、色データ導出部９７が色データデータベース９８を検索して色データを決定して、これらデータを様相データ導出部９９が、重畳してインタフェースの様相として出力する。
【００３７】このとき、目データ導出部９１，鼻データ導出部９３，口データ導出部９５，および色データ導出部９７では、ニューラルネット８の感情状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）を求める。すなわち、感情状態Ｏi （ｉ＝０〜３）が０．２５より小さければ（ステップＳ３０２）、感情値Ｄi （ｉ＝０〜３）を０とし、感情状態Ｏi （ｉ＝０〜３）が０．２５から０．７５の間であれば（ステップＳ３０３）、感情値Ｄi （ｉ＝０〜３）を０．５とし、感情状態Ｏi （ｉ＝０〜３）が０．７５より大きければ、感情値Ｄi （ｉ＝０〜３）を１として正規化する。つまり、ニューラルネット８の感情状態Ｏi （ｉ＝０〜３）と目データデータベース９２，鼻データデータベース９４，口データデータベース９６および色データデータベース９８に記録されている感情値Ｄi （ｉ＝０〜３）とを比較して一番近いものを選択する。
【００３８】図１２は、様相決定の方法として、顔の表情の決定方法の一例を示す図である。感情値Ｄi （ｉ＝０〜３）は感情マップ上のいずれかの点であるので、あらかじめ感情マップ上の主要な点、ユーザから見て常識的な感情の変化を学習させる。その主要な点に関して、あらかじめ顔の様相データを用意して、主要な点以外の点の様相に対しては、その主要な点を補完するような中間的な様相を出力するようにする。目の例を挙げれば、主要な点として、「普通」（０，０，０，０），「怒」（０，０．５，０，０），「激怒」（０，１，０，０）を用意しておき、その中間の点があったときに、「ちょっと怒」（０，０．３，０，０）に適するようなデータを合成して作り出す。
【００３９】図１３は、本発明の第２の実施の形態に係る感情生成装置を示すブロック図である。本実施の形態に係る感情生成装置は、図１に示した第１の実施の形態に係る感情生成装置に対して、感情生成方法を実現する感情生成プログラム（データを含む）を記録した記録媒体２０を備えるようにしたものである。この記録媒体２０は、磁気ディスク，半導体メモリその他の記録媒体であってよい。感情生成プログラムは、記録媒体２０からコンピュータ（図示せず）に読み込まれ、コンピュータの動作を感情生成装置として制御する。感情生成装置の動作は、第１の実施の形態に係る感情生成装置の場合と全く同様なので、その詳しい説明は割愛する。
【００４０】上記実施の形態に係る感情生成装置およびその方法は、ニューラルネット８にユーザ情報ユーザ情報Ｉ0 〜Ｉ5 および機器情報Ｉ6 ，Ｉ7 の組合せとそれに対する理想的な感情状態Ｏ0 〜Ｏ3 を有限パタン学習させることにより、あらゆる状況に対して感情状態Ｏ0 〜Ｏ3 を出力することを可能とし、インタフェースの行動および様相をより擬人化することが可能となる。
【００４１】
【発明の効果】以上説明したように、本発明の感情生成装置およびその方法によれば、ニューラルネットを用いて常にユーザの動作をとらえているので、それによって変動するインタフェースの行動およびインタフェースの様相も常に変化するという効果がある。
【００４２】また、同じ入力をした場合でも、感情状態の変動に応じてインタフェースの行動および様相に違いが生じ、より自然で生物的な対応を可能にして擬人化を高めることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る感情生成装置の構成を示すブロック図である。
【図２】図１中のニューラルネットの入力層，中間層および出力層を示す図である。
【図３】図１中のニューラルネットの学習に必要な学習データを例示する図である。
【図４】図１中のニューラルネットの感情状態によって形成される感情マップの一例を説明する図である。
【図５】図１中の行動決定エンジンの内部構造を示すブロック図である。
【図６】図５中の入力検出・情報加工部の処理を示すフローチャートである。
【図７】図５中の行動決定データベースの内容の一部を例示する図である。
【図８】図５中の行動決定部の処理を示すフローチャートである。
【図９】図１中の様相決定エンジンの概略を示すブロック図である。
【図１０】図９中の目データデータベース，鼻データデータベース，口データデータベースおよび色データデータベースのデータ格納形式を例示する図である。
【図１１】図９中の目データ導出部，鼻データ導出部，口データ導出部および色データ導出部によるニューラルネットの感情状態から感情値を求める方法を示すフローチャートである。
【図１２】図１中の様相決定エンジンにおける様相決定の方法として顔の表情の決定方法の一例を示す図である。
【図１３】本発明の第２の実施の形態に係る感情生成装置の構成を示すブロック図である。
【符号の説明】
１ カメラ
２ マイク
３ センサ
４ キーボード
５ マウス
６ 内部センサ
７ タイマ
８ ニューラルネット
１０ 行動決定エンジン
１１ 様相決定エンジン
５１ 入力検出・情報加工部
５２ 行動決定データベース
５３ 行動決定部
９１ 目データ導出部
９２ 目データデータベース
９３ 鼻データ導出部
９４ 鼻データデータベース
９５ 口データ導出部
９６ 口データデータベース
９７ 色データ導出部
９８ 色データデータベース
９９ 様相データ導出部
Ｏ0 〜Ｏ3 感情状態
Ｓ１０１ 入力タイプ判別ステップ
Ｓ１０２ 入力文字列判断ステップ
Ｓ１０３ 入力ボタン判断・入力位置判断ステップ
Ｓ１０４ 入力文字列判断・音質判断ステップ
Ｓ１０５ 画像特徴判断ステップ
Ｓ１０６ 脈拍数判断ステップ
Ｓ２０１ 加工情報入力ステップ
Ｓ２０２ ニューラルネット感情状態入力ステップ
Ｓ２０３ 行動決定データベース検索ステップ
Ｓ２０４ 行動出力ステップ
Ｓ３０１ カウンタｉ＝４判定ステップ
Ｓ３０２ 感情状態Ｏi ０．２５未満判定ステップ
Ｓ３０３ 感情状態Ｏi ０．２５以上０．７５未満判定ステップ
Ｓ３０４ 感情値Ｄi ＝０設定ステップ
Ｓ３０５ 感情値Ｄi ＝０．５設定ステップ
Ｓ３０６ 感情値Ｄi ＝１設定ステップ
Ｓ３０７ カウンタｉ増加ステップ
Ｓ0 〜Ｓ3 前回の感情状態
Ｔ0 〜Ｔ3 教師信号
【特許請求の範囲】
【請求項１】 人間と電気機器との間の情報仲介のためのインタフェース装置において、ユーザ情報，機器情報および自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネットと、このニューラルネットの感情状態およびユーザ情報を入力してインタフェースの行動を決定する行動決定エンジンと、前記ニューラルネットの感情状態を入力してインタフェースの様相を決定する様相決定エンジンとを備えることを特徴とする感情生成装置。
【請求項２】 前記ニューラルネットが、カメラから瞬きの回数、マイクから声の大きさおよび発声間隔、センサから脈拍数、キーボードから打鍵の強さ、マウスから使用時間をユーザ情報として入力し、センサから内部温度、タイマから使用時間を機器情報として入力し、感情状態として喜，怒，悲および驚を出力する請求項１記載の感情生成装置。
【請求項３】 前記行動決定エンジンが、加工情報，感情状態および行動の対応テーブルを有する行動決定データベースと、カメラから瞬きの回数、マイクから声の大きさおよび発声間隔、センサから脈拍数、キーボードから打鍵の強さ、マウスから使用時間をユーザ情報として検出して加工情報を出力する入力検出・情報加工部と、この入力検出・情報加工部からの加工情報および前記ニューラルネットからの喜，怒，悲および驚の感情状態を入力して前記行動決定データベースを検索することによりインタフェースの行動を決定する行動決定部とを含む請求項１記載の感情生成装置。
【請求項４】 前記様相決定エンジンが、目データを格納する目データデータベースと、この目データデータベースから前記ニューラルネットの感情状態に対応する目データを導出する目データ導出部と、鼻データを格納する鼻データデータベースと、この鼻データデータベースから前記ニューラルネットの感情状態に対応する鼻データを導出する鼻データ導出部と、口データを格納する口データデータベースと、この口データベースから前記ニューラルネットの感情状態に対応する口データを導出する口データ導出部と、色データを格納する色データデータベースと、この色データデータベースから前記ニューラルネットの感情状態に対応する色データを導出する色データ導出部と、前記目データ導出部，前記鼻データ導出部，前記口データ導出部および前記色データ導出部により導出された目データ，鼻データ，口データおよび色データに基づいてインタフェースの様相を導出する様相データ導出部とからなる請求項１記載の感情生成装置。
【請求項５】 コンピュータを、ユーザ情報，機器情報および自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネット，このニューラルネットの感情状態およびユーザ情報を入力してインタフェースの行動を決定する行動決定エンジン，および前記ニューラルネットの感情状態を入力してインタフェースの様相を決定する様相決定エンジンとして機能させるためのプログラムを記録した機械読み取り可能な記録媒体。
【請求項６】 人間と電気機器との間の情報仲介のための感情生成方法において、ニューラルネットを用いることにより、前記電気機器のインタフェースが生物的要素としての感情を備えていることを特徴とする感情生成方法。
【請求項１】 人間と電気機器との間の情報仲介のためのインタフェース装置において、ユーザ情報，機器情報および自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネットと、このニューラルネットの感情状態およびユーザ情報を入力してインタフェースの行動を決定する行動決定エンジンと、前記ニューラルネットの感情状態を入力してインタフェースの様相を決定する様相決定エンジンとを備えることを特徴とする感情生成装置。
【請求項２】 前記ニューラルネットが、カメラから瞬きの回数、マイクから声の大きさおよび発声間隔、センサから脈拍数、キーボードから打鍵の強さ、マウスから使用時間をユーザ情報として入力し、センサから内部温度、タイマから使用時間を機器情報として入力し、感情状態として喜，怒，悲および驚を出力する請求項１記載の感情生成装置。
【請求項３】 前記行動決定エンジンが、加工情報，感情状態および行動の対応テーブルを有する行動決定データベースと、カメラから瞬きの回数、マイクから声の大きさおよび発声間隔、センサから脈拍数、キーボードから打鍵の強さ、マウスから使用時間をユーザ情報として検出して加工情報を出力する入力検出・情報加工部と、この入力検出・情報加工部からの加工情報および前記ニューラルネットからの喜，怒，悲および驚の感情状態を入力して前記行動決定データベースを検索することによりインタフェースの行動を決定する行動決定部とを含む請求項１記載の感情生成装置。
【請求項４】 前記様相決定エンジンが、目データを格納する目データデータベースと、この目データデータベースから前記ニューラルネットの感情状態に対応する目データを導出する目データ導出部と、鼻データを格納する鼻データデータベースと、この鼻データデータベースから前記ニューラルネットの感情状態に対応する鼻データを導出する鼻データ導出部と、口データを格納する口データデータベースと、この口データベースから前記ニューラルネットの感情状態に対応する口データを導出する口データ導出部と、色データを格納する色データデータベースと、この色データデータベースから前記ニューラルネットの感情状態に対応する色データを導出する色データ導出部と、前記目データ導出部，前記鼻データ導出部，前記口データ導出部および前記色データ導出部により導出された目データ，鼻データ，口データおよび色データに基づいてインタフェースの様相を導出する様相データ導出部とからなる請求項１記載の感情生成装置。
【請求項５】 コンピュータを、ユーザ情報，機器情報および自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネット，このニューラルネットの感情状態およびユーザ情報を入力してインタフェースの行動を決定する行動決定エンジン，および前記ニューラルネットの感情状態を入力してインタフェースの様相を決定する様相決定エンジンとして機能させるためのプログラムを記録した機械読み取り可能な記録媒体。
【請求項６】 人間と電気機器との間の情報仲介のための感情生成方法において、ニューラルネットを用いることにより、前記電気機器のインタフェースが生物的要素としての感情を備えていることを特徴とする感情生成方法。
【図１】
【図２】
【図３】
【図４】
【図１０】
【図５】
【図６】
【図７】
【図９】
【図１２】
【図８】
【図１１】
【図１３】
【図２】
【図３】
【図４】
【図１０】
【図５】
【図６】
【図７】
【図９】
【図１２】
【図８】
【図１１】
【図１３】
【公開番号】特開平１０−２５４５９２
【公開日】平成１０年（１９９８）９月２５日
【国際特許分類】
【出願番号】特願平９−７８９１８
【出願日】平成９年（１９９７）３月１３日
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【公開日】平成１０年（１９９８）９月２５日
【国際特許分類】
【出願日】平成９年（１９９７）３月１３日
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
[ Back to top ]