情報処理端末
【課題】 本発明は、音声を発した人の感情を直接的にリアルタイムに見せることで表出したくない表情も直接相手に伝わることを別の表現手段によって表現することが出来、また、後で振り返って通話状況の全体像を把握できる情報処理端末を提供することを目的とする。
【解決手段】 音声を入力する音声信号出力部１０２と、前記入力した音声から、感情のパラメータを生成する感情推定部２０１と、各種情報を通知する通知部３０、４０、５０とを備える情報処理端末１であって、前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定部２０３を備え、前記通知部３０、４０、５０は、前記特定した感情を通知する情報処理端末１。
【解決手段】 音声を入力する音声信号出力部１０２と、前記入力した音声から、感情のパラメータを生成する感情推定部２０１と、各種情報を通知する通知部３０、４０、５０とを備える情報処理端末１であって、前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定部２０３を備え、前記通知部３０、４０、５０は、前記特定した感情を通知する情報処理端末１。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、声から推定したその声を発した人の感情を通知する情報処理端末に関する。
【背景技術】
【０００２】
人が発する声から、具体的には声の音量、声の波形、声のピッチ、または、音韻などから、その人の感情を推定する技術が開示されている（特許文献１）。また、特許文献１の技術等を用いて推定した感情に基づいて、３Ｄコンピュータグラフィック上に形成した、人間の顔を模擬した顔モデルの表情を３次元的に変化させて表示し、その感情を表現する技術が開示されている（特許文献２）。これらの技術により、音声のみからその音声を発した人の感情を視覚的に読み取ることができる。
【特許文献１】国際公開番号ＷＯ００／６２２７９
【特許文献２】特許公開番号２００２−２９８１５５
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ある音声に複数の感情が含まれると推定された場合、例えば、感情情報の主要因子としては、喜び、悲しみ、驚き、嫌悪、怒り、恐れとした６因子を用いることが多いが、この感情結果をそのままリアルタイムにみせることはコミュニケーションをおこなう上で相手に見せたくない感情も直接的に伝わってしまう課題をもっている。
【０００４】
また、従来、電話による音声通話は、メールのようにその時の対話状況が残ることなく通話時刻の記録が残るだけで、後で振り返ってその時の通話状況を振り返るすべがないという課題を持っていた。
【０００５】
本発明は、上記事情に鑑みてなされたもので、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することが出来る情報処理端末を提供することを目的とする。
【０００６】
また、本発明は、後で振り返って通話状況の全体像を把握することができる情報処理端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理端末は、前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、各種情報を通知する通知手段とを備える情報処理端末であって、前記通知手段が、前記パラメータ生成手段により生成したパラメータに対応する感情についての情報を通知するものである。
【０００８】
また、本発明の情報処理端末は、データを記憶する記憶手段を備え、前記記憶手段が、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【０００９】
この構成によれば、入力した音声からその音声を発した人の感情を通知することにより、音声を発した人の感情を誤って別の感情として読み取ることを防ぐことができる。
【００１０】
また、本発明の情報処理端末は、前記記憶手段が、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【００１１】
この構成によれば、音声を発した人の感情を時系列的に読み取ることができるため、より音声を発した人の感情を把握しやすくなる。
【００１２】
また、本発明の情報処理端末は、通話を行う通話手段を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力するものを含む。
【００１３】
この構成によれば、通話時の音声を入力することにより、当該情報処理端末に簡易に音声を入力することができる。
【００１４】
また、本発明の情報処理端末は、データを記憶する記憶手段と、通話を行う通話手段と、を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力し、前記記憶手段が、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【００１５】
この構成によれば、通話相手の感情を時系列的に読み取ることができるため、通話相手の感情を把握しやすくなり、その結果、円滑なコミュニケーションを実現できる。
【００１６】
また、本発明の情報処理端末は、前記通知手段が、前記通話手段による通話終了後、前記感情についての情報を通知するものを含む。
【００１７】
この構成によれば、通話終了毎に、その通話における通話相手あるいは本人の感情を確認することができるため、円滑なコミュニケーションを実現できる。
【００１８】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、前記表示手段が、通話履歴を表示する場合に、前記通話履歴中の各通話項目毎に、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【００１９】
この構成によれば、通話履歴の項目に、各通話における通話相手あるいは本人の感情を表示することができるため、各通話においてなされた会話内容を容易に想起することができる。
【００２０】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、前記表示手段が、前記記憶手段に記憶したパラメータに対応する感情のうちの特定のパラメータに対応する感情についての情報を、時系列に沿って表示するものを含む。
【００２１】
この構成によれば、通話履歴の項目に、各通話における通話相手あるいは本人の感情を時系列的に表示することができるため、各通話においてなされた会話内容をより容易に想起することができる。
【００２２】
また、本発明の情報処理端末は、前記通知手段が、前記記憶手段に記憶したパラメータに対応する、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を通知するものを含む。
【００２３】
この構成によれば、自分の着信中の感情の時間的変化、相手の着信中の感情の時間的変化、さらに、会話全体としての感情の時間的変化を視覚的に認識することができる。また、時系列に配置された感情についての情報から通話後に会話全体の内容を想起することができる。
【００２４】
また、本発明の情報処理端末は、前記記憶手段が、顔画像情報を当該顔画像を撮像された者と対応付けて記憶し、前記通知手段が、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を、前記記憶手段から読み出した当該通話者の顔画像を画像処理して通知するものを含む。
【００２５】
この構成によれば、携帯電話機の使用者は、着信相手の氏名の表示確認しなくても着信相手が誰であるかが視覚的に容易に認識できることに加え、自分に対応付けた画像の時系列順の顔画像と相手に対応付けた画像の時系列順の顔画像との区別を容易にすることができる。
【００２６】
また、本発明の情報処理端末は、音声を入力する音声入力手段と、前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、各種情報を通知する通知手段とを備える情報処理端末であって、前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定手段を備え、前記通知手段が、前記特定した感情についての情報を通知するものを含む。
【００２７】
この構成によれば、入力した音声から特徴的な感情を特定することにより、音声を発した人の感情を誤って別の感情として読み取ることを防ぐことができる。
【００２８】
また、本発明の情報処理端末は、データを記憶する記憶手段を備え、前記記憶手段が、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記感情特定手段が、前記記憶したパラメータの内の、特徴的なパラメータで表された感情を特定するものを含む。
【００２９】
この構成によれば、入力した音声から生成される感情のパラメータを記憶してことにより、記憶した感情のパラメータを読み出していつでも特徴的なパラメータを特定することができる。
【００３０】
また、本発明の情報処理端末は、通話を行う通話手段を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力するものを含む。
【００３１】
この構成によれば、通話時の音声を入力することにより、当該情報処理端末に簡易に音声を入力することができる。
【００３２】
また、本発明の情報処理端末は、前記通話手段による通話時の音声を録音する音声録音手段を備え、前記音声入力手段が、前記音声録音手段により録音した音声を入力するものを含む。
【００３３】
この構成によれば、携帯電話機利用者は、録音された音声があるという事実だけでなく、その録音された音声の内容、緊急度を同時に判別することが出来るようになり、その結果、円滑なコミュニケーションをとることが可能になる。
【００３４】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段は、前記特定した感情を各通話毎に記憶し、前記表示手段が、通話履歴を表示する場合に、前記通話履歴に合わせて前記特定した感情についての情報を表示するものを含む。
【００３５】
また、本発明の情報処理端末は、前記記憶手段が、前記特定した感情を反映している一部の音声を記憶し、前記表示手段が、前記通話履歴に合わせて前記特定した感情と同一時刻の前記一部の音声を表示するものを含む。
【００３６】
この構成によれば、通話履歴確認した時に、通話履歴の各通話毎にその通話時の特徴的な感情を表示することにより、その通話で通話者がどのような感情であったかを確認することができる。
【００３７】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記特定した感情を通話者毎に記憶し、前記表示手段が、前記記憶手段に記憶した通話者の個人情報を表示する場合に、前記個人情報に合わせて前記特定した感情についての情報を表示するものを含む。
【００３８】
この構成によれば、個人情報を確認した時に、当該個人との通話時の特徴的な感情を表示することにより、当該個人が当該情報処理端末使用者との通話でどのような感情であったかを確認することができる。
【００３９】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記特定した感情を通話した日付に対応させて記憶し、前記表示手段が、カレンダを表示する場合に、前記カレンダの日付に合わせて前記特定した感情についての情報を表示するものを含む。
【００４０】
この構成によれば、通話から特定した感情を日付ごとに表示することにより、該当日付に通話した通話内容を容易に振り返ることが可能になる
【００４１】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、感情に対応する画像を記憶し、前記表示手段が、前記記憶手段から読み出された、前記特定した感情に対応する画像を表示するものを含む。
【００４２】
この構成によれば、特徴的な感情を画像により通知することにより、この画像を見た当該情報処理端末使用者は容易に感情を確認することができる。
【００４３】
また、本発明の情報処理端末は、前記記憶手段が、前記感情特定手段により特定される感情の出現頻度を記憶し、前記表示手段が、前記感情の出現頻度に応じて前記記憶手段から読み出された、前記特定した感情に対応する画像を表示するものを含む。
【００４４】
この構成によれば、感情の出現頻度に応じて特徴的な感情に対応する画像を変化させて表示することにより、感情通知を実行させるときの娯楽性を高めることができ、長期にわたって感情通知を楽しむことができる。
【００４５】
また、本発明の情報処理端末は、前記通知手段が、各種情報を点灯により通知する点灯手段を含み、前記記憶手段が、感情に対応する色を記憶し、前記点灯手段が、前記記憶手段から読み出された、前記特定した感情に対応する色で点灯するものを含む。
【００４６】
この構成によれば、特徴的な感情を色により通知することにより、当該情報処理端末使用者は視覚的に容易に感情を確認することができる。
【００４７】
また、本発明の情報処理端末は、前記通知手段が、各種情報を振動により通知するバイブレーション手段を含み、前記記憶手段が、感情に対応する振動数または振動の強さを記憶し、前記バイブレーション手段が、前記記憶手段から読み出された、前記特定した感情に対応する振動数または振動の強さで振動するものを含む。
【００４８】
この構成によれば、特徴的な感情をバイブレーションにより通知することにより、当該情報処理端末使用者は触覚的に容易に感情を確認することができる。
【００４９】
また、本発明の情報処理端末は、感情に対応する画像を記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する画像を記憶するものを含む。
【００５０】
また、本発明の情報処理端末は、感情に対応する色を記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する色を記憶するものを含む。
【００５１】
また、本発明の情報処理端末は、感情に対応する振動数または振動の強さを記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する振動数または振動の強さを記憶するものを含む。
【００５２】
この構成によれば、情報処理端末外部に設けたサーバから表示手段、点灯手段、またはバイブレーション手段による感情通知動作を受信することにより、感情通知動作を容易に新しいものを追加することができ、長期にわたって感情通知を楽しむことができる。
【００５３】
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、パラメータの数値が最も高い感情を特定するものを含む。
【００５４】
この構成によれば、入力された音声の最初から最後までの間で数値が最も大きかった感情を特徴的な感情とすることにより、会話中の強く印象に残った内容を重視して感情を特定することができる。
【００５５】
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、前記音声の開始から終了にかけて生成したパラメータの数値の合計が最も高い感情を特定するものを含む。
【００５６】
この構成によれば、音声の最初から最後にかけて合計した数値が最も大きかった感情を特徴的な感情とすることにより、会話全体の内容を重視して感情を特定することができる。
【００５７】
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、前記音声の終了前に生成したパラメータの数値が最も高い感情を特定するものを含む。
【００５８】
この構成によれば、音声の最後間際に数値が最も大きかった感情を特徴的な感情とすることにより、会話の余韻を重視して感情を特定することができる。
【００５９】
また、本発明の情報処理端末は、他情報処理端末に前記特定した感情を送信する送信手段を備えるものを含む。
【００６０】
この構成によれば、音声信号からその音声を発した人物の感情を推定することができない他情報処理端末に、特徴的な感情の情報を送信することにより、他情報処理端末使用者も当該情報処理端末使用者と同様に容易に音声を発した人物の感情を判断することができる。
【発明の効果】
【００６１】
本発明の情報処理端末によれば、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することができる。
【００６２】
また、本発明の情報処理端末によれば、後で振り返って通話状況の全体像を把握することができる。
【発明を実施するための最良の形態】
【００６３】
以下、本発明を実施する情報処理端末の形態を、携帯電話機を例に挙げて、詳細に説明する。
【００６４】
（第１実施形態）
本発明の第１実施形態の携帯電話機について図面を参照して詳細に説明する。図１に、本発明の第１実施形態の携帯電話機の構成図を示す。本発明の第１実施形態の携帯電話機は、音声通話を制御する通話装置１０と、通話装置１０から入力された通話中の音声に基づいて当該携帯電話機使用者の感情、通話相手の感情あるいはその両方の感情を特定する感情通知装置２０と、当該携帯端末使用者に感情通知装置２０により特定した感情を通知するデバイス、例えば表示部３０、ＬＥＤ４０、バイブレーション５０、スピーカ８０、または香り発生装置９０等、とを含んで構成される。
【００６５】
通話装置１０において、音声信号出力部１０２は、音声信号の送受信を行う通信部１０１を介して通話相手から受信した音声信号、または、マイク１０４により収音した当該携帯電話機使用者の音声信号を感情通知装置２０に出力する。また、音声信号出力部１０２は、通話相手から受信した音声をスピーカ１０３に出力し、マイク１０４により収音した当該携帯電話機使用者の通話音声を通信部１０１に出力する。
【００６６】
感情通知装置２０において、感情推定部２０１は、通話装置１０の通信部１０１から通話が開始したことを通知されると、通話装置１０から入力された音声信号からその音声を発した人物の感情を推定する。このとき、感情推定部２０１には、通話相手から受信した音声信号または当該携帯電話機使用者の音声信号、あるいはその両方の音声信号が入力される。当該携帯電話機使用者が通話装置１０から入力される音声信号を選択するようにしても良いし、一定時間毎に通話装置１０から入力される音声信号を切り替えるように設定しても良い。
【００６７】
感情推定部２０１は、通話装置１０から入力される音声信号からその音声を発した人物の感情を推定する。図２に、本発明の第１実施形態の携帯電話機による感情推定例を示す。感情推定部２０１は、例えば、図２に示す愛情、喜び、怒り、哀しみ、ニュートラルから構成される感情情報の因子毎に、０、１、２の値により表現したその感情の度合い（０：感情なし、１：感情弱、２：感情強）を通話開始から通話終了にかけて継続的に推定し、その推定した各々の数値を感情蓄積部２０２に逐次出力する。
【００６８】
感情蓄積部２０２は、感情推定部２０１から入力された各々の因子毎の数値を、入力された時刻または順番に対応させて蓄積する。
【００６９】
感情特定部２０３は、感情蓄積部２０２からある通話における通話開始から通話終了までに蓄積した各々の因子毎の数値を読み出し、その読み出した数値から特徴的な感情を特定し、その特徴的な感情を感情通知動作指示部２０５に出力する。特定の際、通話開始から通話終了までの間で数値が最も大きかった感情を特徴的な感情とすることにより、通話中の強く印象に残った内容を重視して感情を特定することができ、また、通話開始から通話終了にかけて合計した数値が最も大きかった感情を特徴的な感情とすることにより、通話全体の内容を重視して感情を特定することができ、また、通話終了間際に数値が最も大きかった感情を特徴的な感情とすることにより、会話の余韻を重視して感情を特定することができる。
【００７０】
また、感情特定部２０３は、特定した特徴的な感情を反映しているある一定期間（例えば２秒）の音声をクリッピングし、のちに通話履歴を振り返る時に通話履歴にクリッピングした音声を記載するように、特徴的な音声情報として感情蓄積部２０２に記憶する。
【００７１】
なお、感情特定部２０３は、感情推定部２０１が逐次出力する因子毎の数値を、感情蓄積部２０２を介さずに、直接入力するようにして、継続的に特徴的な感情を特定するようにしても良い。これにより、通話と同期して特徴的な感情を特定することができる。
【００７２】
感情通知動作指示部２０５は、特徴的な感情が入力されると、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶部２０４から、特徴的な感情に対応する感情通知動作を読み出し、これらのデバイスに動作指示を出力する。携帯電話機使用者によって予め設定されたデバイスに感情通知動作を実行させるようにしても良いし、複数のデバイスに同時に感情通知動作を実行させるようにして感情通知の表現力を高めるようにしても良い。以下、表示部３０、ＬＥＤ４０の感情通知動作の動作例を図面を参照して説明する。
【００７３】
図３に、本発明の第１実施形態の携帯電話機の表示部の画像表示例を示す。表示部３０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する画像を読み出し、読み出した画像を出力するよう表示部３０に指示する。表示部３０が、特徴的な感情に対応させた図３に示す画像を表示することにより、携帯電話機使用者は視覚的に容易に音声を発した人物の感情を判断することができる。なお、表示部３０は、近年の携帯電話機が備えるサブ液晶表示部（メイン液晶表示部よりも表示領域が小さい。携帯電話機のメイン液晶表示部の背面に設けられることが多く、背面液晶とも称される）も含まれる。この表示部３０による別の表示例としては、感情に対応させて、表示部３０に表示する情報の背景の色を変えたり、一連の絵文字、画像、ピクトなどを連続的に表示したり（モーショングラフィック）、予め撮像しておいた画像や保存してある映像を表示させたりする。
【００７４】
図４に、本発明の第１実施形態の携帯電話機のＬＥＤの点灯例を示す。ＬＥＤ４０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する色情報を読み出し、読み出した色で発光するようＬＥＤ４０に指示する。ＬＥＤ４０が、特徴的な感情に対応させた図４に示す色で発光することにより、携帯電話機使用者は視覚的に容易に音声を発した人物の感情を判断することができる。なお、これらのＬＥＤには当該携帯電話機が備える操作キーのバックライトも含まれ、このＬＥＤの点灯方法としては、感情に応じて、点灯光の色または強度、点灯範囲、点滅リズム（感情に応じて点滅間隔を代えたり、後述するスピーカ８０が出力する音あるいは後述するバイブレーションの振動に合せて点滅させたり）を変えても良い。また、ＬＥＤが複数個ある場合には、それぞれのＬＥＤを異なる色で点灯させても良いし、また、複数個のＬＥＤをドットと見なしてそのドットにより感情を表す文字、マークを表現するようにしても良い。
【００７５】
バイブレーション５０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応するバイブレーションの振動情報を読み出し、読み出した振動情報に含まれる振動数および振動の強さで振動するようバイブレーション５０に指示する。バイブレーション５０が、特徴的な感情に対応させた振動数および振動の強さで振動することにより（例えば、感情の変動が小さければ振動の強さを弱くし、大きければ振動の強さを大きくする）、携帯電話機使用者は触覚的に容易に音声を発した人物の感情を判断することができる。なお、バイブレーション５０は、後述するスピーカ８０が出力する音に合せて振動するようにしても良い。バイブレーション５０による振動とスピーカ８０による音出力との組み合わせ方としては、例えば、感情の変動が小さければバイブレーション５０のみを振動の強さを弱くして振動させ、変動が大きければ音の周波数に対応した振動数で、かつ振動の強さを強くして振動するなどが挙げられる。
【００７６】
スピーカ８０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する音情報を読み出し、読み出した音情報を出力するようスピーカ８０に指示する。スピーカ８０が、特徴的な感情に対応させた音情報を出力することにより（例えば、各感情毎に異なる音楽、メロディを設定するようにしたりする。このメロディとして携帯電話機が着信時に鳴らす着信メロディを選択するようにしても良い）、携帯電話機使用者は聴覚的に容易に音声を発した人物の感情を判断することができる。なお、各感情毎に異なる音楽、メロディを設定する構成について述べたが、複数の感情に共通の音楽、メロディを設定して、感情毎にその音楽、メロディの音調を変えるように設定しても良い。
【００７７】
香り発生装置９０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する香り情報を読み出し、読み出した香り情報に対応する芳香を出すよう香り発生装置９０に指示する。香り発生装置９０が、特徴的な感情に対応させた芳香を出すことにより、携帯電話機使用者は嗅覚的に容易に音声を発した人物の感情を判断することができる。なお、各感情ごとに異なる芳香を出させるようにする構成でも構わないが、複数の感情に共通の芳香を設定して、感情毎にその芳香の濃度を変えるように設定しても良い。
【００７８】
なお、本発明の携帯電話機は、表示部３０、ＬＥＤ４０、バイブレーション５０、スピーカ８０、または香り発生装置９０等のデバイスのうちのいずれか１つを利用する構成でも良いし、組み合わせて動作させる構成であっても良い。
【００７９】
また、感情通知動作指示部２０５は、図１のメール送信部６０に感情コンテンツ記憶部２０４から読み出した特徴的な感情に対応する感情通知動作を他携帯電話機に送信するように指示する。感情通知装置２０が備わっておらず、音声信号からその音声を発した人物の感情を推定することができない他携帯電話機に、特徴的な感情に対応する感情通知動作情報をメールにより送信することにより、他携帯電話機使用者も当該携帯端末使用者と同様に容易に音声を発した人物の感情を判断することができる。当該携帯端末使用者が感情通知動作を確認した後にメールを送信するようにしても良いし、また、自動で通話相手の携帯電話機に送信するようにしても良い。
【００８０】
また、感情通知動作指示部２０５は、図１の記憶部７０に記録された、過去の通話における通話相手、通話時刻、通話時間などの通話状態を示す通話履歴７０１に、感情特定部２０３で特定した特徴的な感情とその感情を特定した通話における通話状態とを記録するよう記録部７０に指示する。通話履歴７０１を記録した後、携帯電話機使用者が通話履歴７０１を表示部３０に表示させ、通話履歴に記録されている感情を確認した場合、感情コンテンツ記憶部２０４から通話履歴に記録されている感情に対応する感情通知動作を読み出し、これらのデバイスに動作指示を出力する。
【００８１】
従来、通話履歴を記録しても、メールの送受信履歴のように、その送受信履歴を確認して過去の対話状況を確認することができず、通話履歴から過去の通話内容を振り返ることは困難であったが、本発明の第１実施形態の携帯電話機によれば、通話履歴に、ある通話から特定した感情とその通話における通話状態と記録するため、通話履歴を確認したときにその通話で当該携帯電話機使用者または通話相手がどのような感情であったのかを確認することができ、その通話における通話内容を容易に振り返ることが可能になる。
【００８２】
なお、感情通知動作指示部２０５は、感情コンテンツ記憶部２０４から特徴的な感情に対応する感情通知動作を読み出す際、当該携帯電話機により通知される感情の通知頻度などの感情通知装置２０による内的要因、或いは、感情通知動作を読み出す際の日時、当該携帯電話機による通話時間、または、当該携帯電話機に備えられた位置情報取得機能により特定される現在位置などの感情通知装置２０以外の装置による外的要因が特定の条件を満たしたときに通常読み出す感情通知動作とは異なる感情通知動作を読み出すようにしても良い。このとき、特定の条件には、感情の通知頻度の場合は、感情特定部２０３がある感情を一定回数以上特定したとき、日時の場合はその日時が正月、クリスマスなどの日付、若しくは昼、夜、深夜などの時間帯に一致、若しくは含まれるとき、現在位置の場合はその現在位置が遊園地や海などの場所に含まれる、若しくは近いとき、などが含まれる。
【００８３】
図５に、本発明の第１実施形態の携帯電話機の表示部に表示する画像のカテゴリを示す。カテゴリ１は条件無しで表示部３０に表示される画像であり、カテゴリ２はある感情が一定回数以上特定されたときに表示される画像であり、カテゴリ３はある感情が特定されたときに非常に低い確率で偶発的に表示される画像であって、カテゴリ１、２、３は内的要因毎に、カテゴリ１からカテゴリ３にかけて表示頻度が小さくなるように分類されている。また、カテゴリ４は当該携帯端末の現在位置が所定の場所に含まれるときに表示される画像であり、カテゴリ５は当該携帯端末の現在位置が所定の場所に含まれ、かつ、当該携帯電話機による通話時間が所定の時間を越えているときに表示される画像であって、カテゴリ４、５は主に外的要因毎に分類されている。このように画像毎に表示頻度を設定することで、携帯電話機使用者は、携帯電話機に感情通知を実行させるときの娯楽性を高めることができ、長期にわたって感情通知を楽しむことができる。
【００８４】
また、記憶部７０の通話履歴７０１に、感情特定部２０３で特定した特徴的な感情とその感情を特定した通話における通話状態とを記録するようにしたが、感情コンテンツ記憶部２０４から読み出した、特徴的な感情に対応する感情通知動作とその感情を特定した通話における通話状態とを記録するようにしてもよい。この構成により、感情通知動作指示部２０５は、携帯電話機使用者が通話履歴７０１に記録されている感情を確認した場合に、感情コンテンツ記録部２０４から通話履歴に記録されている感情に対応する感情通知動作を検索する時間を省いて直接通信履歴からその感情通知動作を読み出すことができるため、通話履歴に記録されている感情の確認からデバイスの動作までにかかる時間を短縮することができる。
【００８５】
次に、本発明の第１実施形態の携帯電話機における、音声の入力から感情の通知および記録までの処理の流れを説明する。図６に、本発明の第１実施形態の携帯電話機による処理の流れを示すフローチャートを示す。
【００８６】
感情推定部２０１は、通信部１０１から通話が開始したことを通知されると（Ｓ６００）、音声信号出力部１０２から音声信号が入力される（Ｓ６０１ａ〜Ｓ６０１ｃ）。このとき、通話相手から受信した音声信号または当該携帯電話機使用者の音声信号、あるいはその両方の音声信号が入力される。感情推定部２０１は、入力された音声信号からその音声を発した人物の感情を推定し（Ｓ６０２）、推定した感情情報の主要因子毎の数値を感情蓄積部２０２に逐次出力する。通信部１０１から通話が終了したことが感情推定部２０１に通知されると（Ｓ６０３）、感情特定部２０３は、ある通話における通話開始から通話終了までの各々の因子毎の数値から、特徴的な感情を特定し（Ｓ６０４）、その特徴的な感情を感情通知動作指示部２０５に出力する。感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する感情通知動作を読み出し、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスに動作指示を出力する（Ｓ６０５）。
【００８７】
携帯電話機使用者が、特徴的な感情または特徴的な感情に対応する感情通知動作と通話状態とを通話履歴７０１に記録するように指示すれば（Ｓ６０７、ＹＥＳ）、記録し（Ｓ６０８）、特徴的な感情に対応する感情通知動作を他携帯電話機に送信するように指示すれば（Ｓ６０９）、他携帯電話機にその感情通知動作情報を送信する（Ｓ６１０）。
【００８８】
図６のフローチャートでは、図１に示す構成の本発明の第１実施形態の携帯電話機により、通話時に入力される音声信号からその音声を発した人物の感情を推定する処理を行ったが、別の手段により入力される音声信号からその音声を発した人物の感情を推定する処理も考えられる。ここでは、別の手段の１例として、近年の携帯電話機が有する留守番電話機能（携帯電話機利用者が音声通話着信に応答できない場合に、携帯電話機が自動でその音声通話着信に応答し、通話相手の音声を録音する機能。以下の説明では、通話相手の音声を携帯電話機が備える記憶装置に記憶する場合を想定している）を利用し、その留守番電話機能により録音した音声信号から感情を推定する処理について説明する。図１４に、本発明の第１実施形態の携帯電話機の別例の構成図を、図１５に、本発明の第１実施形態の携帯電話機による処理の流れの別例を示すフローチャートを、それぞれ示す。なお、図１４、１５において、図１、６と同一の参照符号を割り当てた各部の機能、各処理は、上述した通りであるため、説明を省略する。
【００８９】
図１４の携帯電話機の構成図は、図１の構成にさらに、ガイダンス音記憶部１０５、音声記憶部１０６を追加したものである。ガイダンス音記憶部１０５は、携帯電話機利用者が音声通話着信に応答できない場合に通話装置１０が自動でその音声通話着信に応答した際、携帯電話機利用者が音声通話着信に応答できない旨を通話相手に音声出力するための音声信号を記憶している。音声記憶部１０６は、通話装置１０が自動でその音声通話着信に応答した後、通話相手から受信した音声信号を記憶する。
【００９０】
次に、本発明の第１実施形態の携帯電話機における、留守番電話機能を利用して録音した音声から感情の通知をする処理の流れを、図１５を参照して説明する。
【００９１】
通信部１０１は、音声通話着信を受け付けたとき（ステップＳ１４０１）、留守番電話機能を利用するよう携帯電話機が設定されているかを判定する（ステップＳ１４０２）。通信部１０１は、留守番電話機能を利用するよう設定されていると判定すると（着信の受け付け開始から所定の時間その着信に応答しない場合に留守番電話機能を利用するようにした携帯電話機の場合には、ステップＳ１４０２の判定基準に、着信の受け付け開始から計時した時間が所定の時間を越えるか否かという判定基準が追加される。この場合のように、留守番電話機能を利用するよう設定されているかを判定する判定基準は適宜追加、組み合わされる）、音声通話着信に応答し、音声信号出力部１０２がガイダンス音記憶部１０５から読み出した音声信号を、送話音声として出力する（Ｓ１４０３）。音声信号出力部１０２は、ステップＳ１４０３の後、通信部１０１が通話相手からの受話音声を入力すると、その受話音声を音声記憶部１０６に記憶させる。感情推定部２０１は、音声信号出力部１０２を介して入力した、音声記憶部１０６に記憶した音声信号から、その音声を発した人物の感情を推定する。以降、ステップＳ６０３の処理で通話が終了すれば、音声信号出力部１０２は、受話音声を音声記憶部１０６に記憶させる処理を終了し、感情推定部２０１が推定した感情に基づく感情通知動作を各種デバイスに実行させることになる。
【００９２】
従来の留守番電話機能では、留守番電話に録音があったという情報のみが通知手段(表示部、ＬＥＤ、バイブレーションなど)により通知されていた為、録音された音声自体の内容や緊急度は、録音された音声を再生するまで分からなかった。このため、携帯電話機利用者は録音された音声があるという事実を知っていたが、緊急度の高い内容だとは判別できず、その結果、録音された音声を再生せずにいたために、音声を録音してくれていた通話相手とのコミュニケーションが途切れてしまっていた。本発明の第１実施形態の携帯電話機のように、留守番電話機能を利用して通話相手の音声を録音すると共に、その留守番電話機能により録音した音声信号から感情を推定し、その感情についての情報を通知する構成により、携帯電話機利用者は、録音された音声があるという事実だけでなく、その録音された音声の内容、緊急度を同時に判別することが出来るようになり、その結果、円滑なコミュニケーションをとることが可能になる。このような構成は、特に、何らかの事情で着信には応答できないが、録音中の音声、あるいは録音が終了した音声があることを比較的短時間で知ることができる状況（例えば、電車内にいる場合であったり、会議中であったりするなど）に、より効果的に円滑なコミュニケーションを実現することができる。
【００９３】
次に、本発明の第１実施形態の携帯電話機における、通話履歴の確認の処理の流れを説明する。図７に、本発明の第１実施形態の携帯電話機における通話履歴確認のフローチャートを、図８に、本発明の第１実施形態の携帯電話機における表示部の通話履歴表示例を、それぞれ示す。
【００９４】
携帯電話機使用者が、図８（ａ）の通話履歴確認ボタンを押して表示部３０に図８（ｂ）に示す通話履歴を表示させ、通話履歴中の１件を選択し（Ｓ７００）、その１件の通話時における感情を確認しようとすると（Ｓ７０１、ＹＥＳ）、感情通知動作指示部２０５は、通話履歴７０１に記録された特徴的な感情を読み出し、感情コンテンツ記憶部２０４からその特徴的な感情に対応する画像を読み出して表示部３０にその画像を表示するよう指示し（Ｓ７０２）、表示部３０は、図８（ｄ）に示す画像を出力する（Ｓ７０３）。
【００９５】
このように、通話から特定した感情とその通話における通話状態とを通話履歴に記録することにより、通話履歴を確認したときにその通話で当該携帯電話機使用者または通話相手がどのような感情であったのかを確認することができ、その通話における通話内容を容易に振り返ることが可能になる。
【００９６】
なお、本発明の第１実施形態の携帯電話機において、特定した特徴的な感情を通話履歴を利用して確認するように述べたが、通話履歴に限らず、携帯電話機の機能として利用される電話帳またはスケジューラを利用して確認するようにしても良い。以下、本発明の第１実施形態の携帯電話機における、電話帳の確認の処理の流れ及びスケジューラの確認の処理の流れを説明する。
【００９７】
本発明の第１実施形態の携帯電話機における、電話帳の確認の処理の流れを説明する。図９に、本発明の第１実施形態の携帯電話機における電話帳確認のフローチャートを、図１０に、本発明の第１実施形態の携帯電話機における表示部の電話帳表示例を、それぞれ示す。
【００９８】
図６に示すステップ６０８において、特徴的な感情または特徴的な感情に対応する感情通知動作を電話帳に登録された通話相手の個人情報として通話時刻とともに電話帳７０２に記録した後、携帯電話機使用者が、図１０（ａ）の電話帳選択ボタンを押して表示部３０に電話帳を表示させて、図１０（ｃ）に示すように電話帳中の１名を選択し（Ｓ９００）、該当人物の通話時における感情を確認しようとすると（Ｓ９０１、ＹＥＳ）、感情通知動作指示部２０５は、電話帳７０２に記録された特徴的な感情を読み出し（Ｓ９０２）、感情コンテンツ記憶部２０４からその特徴的な感情に対応する画像を読み出して表示部３０にその画像を通話時刻に基づいて時系列的に表示するよう指示し（Ｓ９０３）、表示部３０は、図１０（ｅ）に示す画像を出力する（Ｓ９０４）。
【００９９】
このように、通話から特定した感情を電話帳に登録された通話相手の個人情報として電話帳に記録することにより、電話帳を確認した際に、電話帳に登録された人物の感情が携帯端末使用者との通話によってどのように推移したかを容易に確認することができる。
【０１００】
また、本発明の第１実施形態の携帯電話機における、スケジューラの確認の処理の流れを説明する。図１１に、本発明の第１実施形態の携帯電話機におけるスケジューラ確認のフローチャートを、図１２に、本発明の第１実施形態の携帯電話機における表示部のスケジューラ表示例を、それぞれ示す。
【０１０１】
携帯電話機使用者が、図１２（ａ）のスケジューラ選択ボタンを押して表示部３０にスケジューラを表示させて、図１２（ｂ）に示すようにカレンダ上の１つの日付を選択し（Ｓ１１００）、該当日付の通話時における感情を確認しようとすると（Ｓ１１０１、ＹＥＳ）、感情通知動作指示部２０５は、該当日時における通話履歴７０１に記録された特徴的な感情を読み出し（Ｓ１１０２）、感情コンテンツ記憶部２０４からその特徴的な感情に対応する画像を読み出して表示部３０にその画像を通話相手毎に表示するよう指示し（Ｓ１１０３）、表示部３０は、図１２（ｄ）に示す画像を出力する（Ｓ１１０４）。
【０１０２】
このように、通話から特定した感情を日付ごとに読み出すことにより、該当日付に通話した通話内容を容易に振り返ることが可能になる。
【０１０３】
なお、本発明の第１実施形態の携帯電話機において、通話履歴、電話帳またはスケジューラを利用して読み出した感情を表示部に画像を表示させて確認するようにしたが、ＬＥＤまたはバイブレーションなどを作動させて確認するようにしても良い。
【０１０４】
（第２実施形態）
本発明の第２実施形態の携帯電話機について図面を参照して詳細に説明する。図１３に、本発明の第２実施形態の携帯電話機を含むシステムの構成図を示す。本発明の第２実施形態の携帯電話機は、第１実施形態の携帯電話機の構成に加えて、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶サーバ２から、感情コンテンツを取得する感情コンテンツ取得部２０６を含んで構成されている。なお、図１と同一符号のものは、同一の構成を示しており、説明は省略する。
【０１０５】
感情コンテンツ取得部２０６は、感情コンテンツ記憶サーバ２から取得した感情通知動作を感情コンテンツ記憶部２０４に出力する。感情コンテンツ記憶部２０４は、感情コンテンツ取得部２０６から入力された感情通知動作を新たに追加して記憶する。
【０１０６】
携帯電話機外部に設けられたサーバから感情通知動作を取得することにより、携帯電話機使用者は、表示部、ＬＥＤ、またはバイブレーション等による感情通知動作を容易に新しいものを追加することができ、長期にわたって感情通知を楽しむことができる。
【０１０７】
（第３実施形態）
図２１は、本発明の第３実施形態の携帯電話機の構成を図的に示したものである。携帯電話１１の構成の多くの部分は第１の実施携帯記載の携帯電話機１の構成と同一であり、以下に構成が相違している箇所を中心に述べる。
【０１０８】
携帯電話機１１の感情通知装置２０において、音声入力切換制御部２００は、感情推定部２０１に入力する音声入力を選択的に制御する。携帯電話機使用者の入力操作部９５の操作によって、受話音声、送話音声のいずれか、又は両方の音声を入力とするかの設定が行われ、その設定は制御設定記憶部２０６に記憶される。音声入力切換制御部２００は、入力された通話装置１０の通信部１０１から通話が開始したことを通知されると、前記音声入力設定に基づいて、通話装置１０から入力された音声信号を選択的に出力する。出力された音声信号は感情推定部２０１に入力され、その音声を発した人物の感情を推定する。
【０１０９】
感情蓄積部２０２は、推定された感情を一時的に蓄積する。
【０１１０】
感情推定部２０３は、前記蓄積された推定された感情から特徴的な感情が出力されると、前記特徴的な感情通話のあった時刻に関連付けて記憶部７０に感情データ７０３として記憶する。
【０１１１】
感情コンテンツ記憶部２０４は、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶部２０４から、特徴的な感情に対応する感情通知動作の出力制御データ７０４や画像データ７０５を記憶する。
【０１１２】
感情通知動作指示部２０５は、記憶部７０に記憶された通話履歴データ７０１が参照されると、感情データ７０３を参照して、出力制御データ７０４や画像データ７０５を読み出し、出力制御部８０にデバイスへの感情通知動作の出力指示を行う。
【０１１３】
出力制御部８０はこれらのデバイスへの動作制御を行う。
【０１１４】
なお、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスへの感情通知動作の出力について、携帯電話機使用者が入力操作部９５によって設定したひとつのデバイスに感情通知動作を実行させるようにしても良いし、複数のデバイスに同時に感情通知動作を実行させるようにしてもよい。複数のデバイスの動作実行を行うと、たとえば、感情通知の表現力が高まり、携帯電話機使用者にはより効果的に通話の際の感情が伝えられる効果が生じる。また、表示部３０、ＬＥＤ４０は互いに出力の方法は異なるが、ともに視覚的な出力を行うデバイスであるので、ＬＥＤ４０は表示部３０の近くに位置しているのが良い。近くに位置すると表示部３０とＬＥＤ４０とが同時に視野に入るので、表示部３０とＬＥＤ４０とに同時に出力すると、それぞれ単独で出力するよりも視覚的刺激が大きくなるという効果を有する。
【０１１５】
出力制御データ７０４としては、表示部３０の発光色制御データや、ＬＥＤ４０の点滅パターン制御データ、バイブレーション５０の振動パターン制御データ等がある。出力制御データはこれらに限るものではなく、例えばデバイスとして音声出力デバイスを備える場合は、対応する音声パターン制御データを持っていれば音声出力デバイスを制御できる。
【０１１６】
感情コンテンツ記憶部２０４には、出力制御データ７０４と併せて、画像データ７０５が記憶されている。画像データ７０５は、とくに表示部３０に画像表示するためのデータである。画像データ７０５として、ビットマップ形式、ＧＩＦ形式やＪＰＥＧ形式等の静止画形式画像データ、Ｆｌａｓｈ形式やＭｏｔｉｏｎ ＪＰＥＧ形式等の動画形式画像データを含む。
【０１１７】
ここで、記憶部７０および感情コンテンツ記憶部２０４に記憶されるデータの構成、および前記各データの相互関連付けおよび通話履歴表示における各データの表示について説明する。
【０１１８】
通話履歴データ７０１は、少なくとも（たとえば図示しない計時部２０８によって計時される）通話のあった時刻、通話時間等の時間情報、電話番号等の通話相手の特定する番号情報から構成される。電話帳データ７０３は、少なくとも電話番号等の通話相手を特定する番号情報、該番号情報と関連付られる氏名、ニックネーム等の通話相手情報から構成されるが、さらに通話相手関連情報（通話相手に関連付けた文字、画像や音声等）を付加してもよい。通話履歴表示の際、電話番号等の通話相手の特定する番号情報によって、通話履歴データ７０１と電話帳データとが関連付られ、通話のあった時刻と通信者相手情報が表示される。なお、電話帳データのない通話相手との通話履歴表示においては、通話履歴データ７０１と電話帳データ７０３との関連付けを行うことができないので、通話のあった時刻と電話番号等の通話相手の特定する番号情報とが表示される。
【０１１９】
感情データ７０３は、少なくとも通話のあった時刻、入力音声の種別（通話相手の音声か、自分の音声か）、および特徴的な感情から構成される。また、感情データ７０３はさらに、ある通話時刻の通話における通話時間内のどの時間帯のデータであるか識別可能なインデックスを有してもよい。画像データ７０５は、少なくとも特徴的な感情と、特徴的な感情に対応づけられた画像のデータから構成される。通話履歴表示の際、通話のあった時刻によって、通話履歴データ７０１と感情データ７０３と画像データ７０５とは互いに関連付けられ、少なくとも通話のあった時刻と特徴的な感情に対応づけられた画像のデータとが表示される。
【０１２０】
また、上記の説明によって、感情データ７０５と電話帳データ７０３とも関連付けられるので、通話履歴表示の際、たとえば通話のあった時刻と通信相手情報と特徴的な感情とを併せて表示させることができる。これ以外の情報の組み合わせも、上記のデータ間の関連付けによって、可能な組み合わせを表示することができる。
【０１２１】
制御設定記憶部２０６に感情表示を行う設定が記憶されている場合、通話終了後もしくは入力操作部９５による携帯電話機使用者の通話履歴閲覧指示によって、以下のように感情表示される。感情通知動作制御部２０５は、記憶された感情データ７０３に基づき、通話履歴データ７０１と出力制御データ７０４とを関連付け、出力制御部８０に出力指示し、出力制御部２０７はデバイスに感情表示制御を行う。
【０１２２】
次に、携帯電話機使用者による感情推定およびその推定結果表示の初期設定について図１７を用いて説明する。
携帯電話機使用者は入力操作部９５による入力動作によって、感情推定を行う入力を行う（Ｓ１７１、Ｙｅｓ）。感情推定を行わない場合（Ｓ１７１、Ｎｏ）、初期設定を終了する。続いて、感情推定の対象とする入力音声について、送話音声入力のみ、受話音声入力のみ、送話と受話との音声を混合して入力、送話と受話の音声入力を個別に入力のいずれかから選択する（Ｓ１７２）、さらに続いて感情推定結果の表示形態について、アイコン画像を時系列に表示する、代表のアイコン画像を表示する、動画画像を大画面で表示する、動画画像を小画面で追加するのいずれかから選択する（Ｓ１７３）。以上を行うことによって初期設定を終了する。
【０１２３】
次に、通話中の感情特定の手順について図１８のフローチャートを用いて説明する。
通話が開始されると、計時部２０８が動作する（Ｓ１８１）。音声入力切替部２００によって感情推定部２０１への音声入力が切り替えられる（Ｓ１８２）。計時部２０８が単位時間の計時を開始する（Ｓ１８３）。単位時間を経過したら（Ｓ１８４、Ｙｅｓ）、感情推定部２０１は当該単位時間における各感情の感情のパラメータを出力する（Ｓ１８５）。感情蓄積部２０２は出力された当該単位時間の感情のパラメータを蓄積する（Ｓ１８６）。感情特定部２０３は当該単位時間の感情パラメータから当該単位時間における特徴的感情を特定する（Ｓ１８７）。感情蓄積部２０２は特定された当該単位時間における特徴的感情を蓄積する（Ｓ１８８）。ここで、通話が終了していなければ（Ｓ１８９、Ｎｏ）、Ｓ１８３に戻り次の単位時間の通話の感情推定を開始する。通話が終了していれば（Ｓ１８９、Ｙｅｓ）感情推定を終了する。この手順で感情特定することによって、感情蓄積部２０３には通話を単位時間に分割した時系列で感情パラメータおよび特徴的感情が蓄積される。
【０１２４】
以下に、上記の感情決定の手順を図面を用いて具体的に説明する。
図２０は感情特定部２０３が出力する感情種類毎の感情の強弱を単位時間の時系列で連続的に表したグラフである。図２５の横軸は時間、縦軸は各感情種類の強度を表す。感情特定部２０３は特定の感情をひとつ抽出するのでなく、愛情、喜び、怒り、悲しみおよびニュートラル、以上すべての感情種類毎に強度（強い感情表現が行われた程度の指標値）を出力する。図２１は図２０で示したグラフを数値化したものである。単位時間毎に、当該単位時間における感情種類ごとの強度を数値で示している。当該単位時間の感情種類のうち、最大値を示す感情を抽出し、その最大値が予め定めた閾値以上であるならば、その感情を当該単位時間の感情として決定する。たとえば、１番目の単位時間において、愛情の強度が８０、喜びが３０、怒りが２０、悲しみが１０、ニュートラルが５０であるので、１番目の単位時間において最大値の感情を示すものは愛情となる。また、愛情の強度は８０であり、強度閾値の５０を超えているので、１番目の単位時間における感情は愛情であると決定される。また、８番目の単位時間において、愛情の強度が３０、喜びが２０、怒りが１０、悲しみが１０、ニュートラルが１０であるので、８の単位時間において最大値の感情を示すものは愛情となる。しかしながら、愛情の強度は３０であり、強度閾値の５０を超えないので、８番目の単位時間における感情は判定なしであると決定される。図２１の最下部に、単位時間において最大値をとった感情種類をその単位時間の最も特徴的であった感情種類を示す。
【０１２５】
次に、通話終了後の感情決定の手順について図１９のフローチャートを用いて説明する。
通話が終了すると、通話時間を予め定めた分割数で区間分割する。ここで通話時間の区間分割数をＮ（Ｎは自然数）として説明する。通話時間を区間分割数Ｎと単位時間とで除して、１区間あたり（１区間分割帯）の単位時間の個数を算出する（Ｓ１９１）。感情蓄積部２０３に蓄積されている単位時間あたりの感情パラメータは各時間分割帯に属するようにくくり直される。各時間分割帯にくくられた単位時間あたりの感情パラメータは、各時間分割帯で感情毎に累積値が再計算され、各時間分割帯での特徴的感情が決定される。以上のようにして決定された区間の推定感情は通話時刻と関連付けられて、記憶部７０に記憶される。
【０１２６】
ここで、上記の感情決定の手順を図面を用いて具体的に説明する。図２２は図２１で示した単位時間の感情パラメータを、時間分割帯にくくり直して再計算する例を示したものである。通話時間を区間分割数Ｎと単位時間とで除した数を超えない整数値に１を加えた数を単位時間の個数とする。図２１の例では通話時間における単位時間の個数は１１であり、区間分割数は４であるので、１区間の単位時間数は３である。よって、１番目の区間に１〜３番目の単位時間の感情パラメータをくくる。同様に、２番目の区間に単位時間のパラメータをくくり、そして３番目の区間に７〜９番目の単位時間の感情パラメータをくくる。４番目の単位区間についてはたとえば１０、１１番目の単位時間のパラメータをくくってもよいし、９〜１１番目の感情をくくってもよい。続いて、各区間における各感情パラメータの値を加え合わせ累積する。累積した各感情パラメータの値からの感情の決定は、単位時間における感情の決定と同様の方法によって行われる。
【０１２７】
感情が決定されると、出力制御データに基づいてデバイスに出力が行われる。
【０１２８】
続いて、通話履歴における感情の出力について説明する。図２３は、記憶部７０に記憶された特徴的感情データ７０３を表示部３０に図的に表示する際のアイコンの例を示したものである。図２３の左列は感情の種類、右列は感情の種類に対応するアイコンである。各アイコンは感情コンテンツ記憶部２０４に画像データ７０５として記憶されている。喜びの感情をたとえば喜びの表情を表すアイコンで置き換えて図的に表示することで、感情を視覚によって直感的に認識することができる。図２３においては、感情として、ニュートラル、喜び、怒り、驚き、悲しみ、を例示しているが、感情抽出特定部が抽出可能な感情であれば、他の感情をアイコンに対応づけてもよい。また、対応づけるアイコンは図示されたものに限らず、感情コンテンツ記憶部２０４に記憶されている他の画像データでもよい。
【０１２９】
図２４と図２５は、記憶部７０に記憶された特徴的感情データ７０３をＬＥＤ４０に出力する際の発光色、感情の強度に対応するＬＥＤ発光（点滅）パターンの例を示したものである。図２４の左列は感情の種類、右列は感情の種類に対応する発光色設定であり、図２５の左列は感情の強度、右列はＬＥＤのＯＮ−ＯＦＦの時間制御設定である。各ＬＥＤ発光色、ＬＥＤ発光パターンは感情コンテンツ記憶部２０４に出力制御データ７０４として記憶されている。例えば怒りの感情を怒りを表す赤のＬＥＤ発光色で置き換えて出力することで、携帯電話機の使用者は赤の色彩の有する感情イメージから直感的に怒りの感情を認識することができる。図２４においては、ニュートラル、喜び、怒り、驚き、悲しみの感情を、それぞれ水色、ピンク、赤、黄、青に対応付けて例示しているが、感情抽出特定部２０３が抽出可能な感情であれば、他の感情をＬＥＤ発光色に対応づけてもよい。対応づけるＬＥＤ発光色は図２４に示されたものに限らず、感情コンテンツ記憶部２０４に記憶されている他の出力制御データによるＬＥＤ発光色でもよい。また、ある感情が強いこと（例えば感情が怒りの場合、激しく怒っていること）をＬＥＤの高速な点滅によって出力することで、携帯電話機の使用者はある感情が強いことを視覚的刺激によって直感的に認識することができ、ある感情が弱いこと（例えば感情が怒りの場合、少々の怒り加減であること）をＬＥＤの常時点灯によって出力することで、携帯電話機の使用者はある感情が弱いことを視覚的刺激によって直感的に認識することができる。対応づけるＬＥＤ発光パターンは図２５に示されたものに限らず、感情コンテンツ記憶部２０４に記憶されている他の出力制御データによるＬＥＤ発光パターンでもよい。また、本実施形態ではＬＥＤ４０はＯＮ−ＯＦＦの２値の状態を出力するものとして例示しているが、ＯＮの状態を複数指定できる３値以上の状態を出力するものを用いればさらに感情の強さを多岐に出力でき、ＬＥＤの発光パターンによる感情の表現力の幅を広げることができる。さらにまた、発光パターンによる感情の強度出力は、ＬＥＤ４０の発光色による感情出力と組み合わせて用いることによって、より感情の表現力の幅を広げることができ、携帯電話機の使用者は感情を細やかに認識することができる。
【０１３０】
［着信履歴の出力形態１］
着信履歴の第１の出力形態を図面を用いて説明する。
図２６は、携帯電話機１１の表示部３０に着信履歴一覧を表示した例である。図２６における１件の着信履歴表示３０１は、受話音声（相手）から抽出された感情に対応する画像を表したアイコン３０２、着信時刻３０３、通話時間３０４、着信相手の氏名３０５からなる。
【０１３１】
これらの表示を１件の着信履歴として、図２６では表示部３０の画面で２件分表示を行っている。着信履歴の蓄積が３件以上あるときは入力操作部９５を操作することによって別の着信履歴を表示することができる。画面あたりの表示件数は３件以上であってもよく、画面上で着信履歴の視認性を損なわない表示の程度であれば、表示件数は問わない。
【０１３２】
アイコン３０２は、通話が開始されてから通話が終了するまで時系列順に左から右に配置される。アイコン３０２が時系列的に配置されて表示されることによって、携帯電話機の使用者は着信中の相手の感情の時間的変化を視覚的に認識することができる。また、視覚による刺激によって通話後に会話の内容を想起することができる。また、着信時刻３０３、着信相手の氏名３０５を併せて表示することによって、携帯電話の使用者は、より確実に会話の内容、会話の流れ、会話時の相手の印象を想起できるという効果がある。
【０１３３】
着信相手の氏名３０５は、着信時の着信電話番号から電話帳データを参照し、電話番号に対応付けて電話帳データ７０２に登録されている氏名が表示されている。着信電話番号が登録されていない場合、氏名表示ではなく、着信電話番号をそのまま表示（図２６の表示部３３における相手の電話番号３０６の表示を参照）したり、未登録である旨の表示をしてもよい。
【０１３４】
アイコン３０２や相手の氏名３０５は個人情報であるので、携帯電話機の使用者はアイコン３０２や相手の氏名３０５を秘匿したい場合がある。この場合、持ち主としての携帯電話機の使用者が、特定の相手についてはアイコン３０２や相手の氏名３０５の表示を行わない設定を行い、かつその設定を解除することができるようにしてもよい。アイコン３０２の表示や相手の氏名３０５を行わない設定として、例えばアイコン３０２や相手の氏名３０５を空白として表示、別の画像や文字列に置換して表示等がある。また、特定の相手からの着信履歴表示を予め定めた文字表示色、背景色等で行ってもよい。このように表示することによって、携帯電話機の使用者は特定の相手の着信履歴を他の者からの着信履歴とは明確に区別することができる。また、持ち主としての携帯電話機の使用者以外の者には特定の相手が誰であるかを不明とすることができるので、携帯電話機を紛失した際などに個人情報の漏洩を防ぐことができるという効果を有する。また、着信の相手によらず特定の着信履歴表示の表示を行わない設定ができるようにしても上記効果を得ることができる。
【０１３５】
着信履歴は、通話相手ごとに抽出を行い画面表示するようにしてもよい。さらに抽出した履歴を着信時刻順また通話時間の長さ順に並べ変えを行い画面表示するようにできてもよい。通話相手ごとに抽出して画面表示することによって、特定の相手との会話について、いつどのような会話であったかを容易に想起することができる。また、着信履歴を時刻順や通話時間の長さ順に並べ変えて画面表示することによって、携帯電話機の使用者は多くの着信履歴のなかから所望の着信履歴を抽出することが容易となる。
【０１３６】
また、本出力形態では表示部３０への出力について述べたが、ＬＥＤ４０の発光による出力も同期して行ってもよい。表示部３０への出力とＬＥＤ４０への出力とを併せることによって、表示部３０へのみ出力する場合に比べて、携帯電話機の使用者はさらに感情を細やかに認識することができる。
【０１３７】
［着信履歴の出力形態２］
着信履歴の第２の出力形態を図面を用いて説明する。
第１の出力形態の着信履歴の画面表示において、画面表示上の複数の着信履歴のうち任意の１件についてさらに詳細な通話結果を表示することができる。図２６では、１件の着信履歴表示３０１は他の着信履歴表示と区別されて反転色で表示されており、この表示状態からさらに入力操作部９５によって通話結果表示指示キー３０７を選択操作すると、通話結果が表示される。
【０１３８】
図２７は、通話結果を表示部３０に表示した例である。第１の出力形態との相違は、１件の通話結果表示３２１において、発話音声（自分）、受話音声（相手）から抽出された感情を、自分と相手のアイコン３０２を時系列順に画面左から右に配置して併せて表示している点と、自分と相手のアイコン３０２を区別して認識できるように履歴タイトル（自分の表示）３０８と履歴タイトル（相手の表示）３０９とを画面表示している点であり、他の画面表示は同じである。
【０１３９】
第２の出力形態では、通話相手の感情の時間的変化と併せて自分の感情の変化を時系列的に表示するので、携帯電話機の使用者は、アイコン３０２の横の並びによって通話中の相手および自分のそれぞれの感情の時間的変化を視覚的に認識できるだけでなく、アイコン３０２の縦の並びによって会話のある時点での感情を視覚的に認識できるので、ある時点での会話の内容、会話の流れ、相手の印象や自分の心理をより確実に想起することができるという効果を有する。
【０１４０】
［着信履歴の出力形態３］
着信履歴の第３の出力形態を図面を用いて説明する。
図２８は、通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３３１において、発話音声（自分）から抽出された感情のみを、アイコン３０２を時系列順に画面左から右に配置して画面表示している点である。
【０１４１】
自分のアイコン３０２のみを時系列に表示することによって、特に自分の着信中の感情の時間的変化を視覚的に明確に認識することができる。また、時系列順に配置されたアイコン３０２から通話後に会話の内容を視覚的に想起することができる。
【０１４２】
図２９は、通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３４１において、受話音声（相手）から抽出された感情のみを、アイコン３０２を時系列順に画面左から右に配置して画面表示している点である。
【０１４３】
相手のアイコン３０２のみを時系列順に画面表示することによって、特に相手の着信中の感情の時間的変化を視覚的に明確に認識することができる。また、時系列順に配置されたアイコンから通話後に会話の内容を想起することができる。
【０１４４】
また、上記の自分のみもしくは相手のみの通話結果の表示は相互に切り替えを行えるようにしてもよい。このようにすると、切り替えによって同一着信履歴におけるアイコン３０２の時系列表示を相互に参照することができる、という効果を有する。
【０１４５】
［着信履歴の出力形態４］
着信表示の第４の出力形態を図面を用いて説明する。
図３０は通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３５１において、発話音声（自分）と受話音声（相手）全体から抽出した感情を、アイコン３０２を時系列順に画面左から右に配置して画面表示している点である。
【０１４６】
自分と相手とのアイコン３０２を時系列順に画面表示することによって、会話全体としての感情の時間的変化を視覚的に認識することができる。また、時系列に配置されたアイコンから通話後に会話全体の内容を想起することができる。
【０１４７】
［着信履歴の出力形態５］
着信表示の第５の出力形態を図面を用いて説明する。
図３１は通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３６１において、受話音声（相手）から抽出された感情を、感情に対応する動画として表すアニメーション３１０用いて画面表示している点である。
【０１４８】
会話全体としての相手の感情が動画として画面表示されることによって、アイコンのような静止画像を用いて画面表示した場合に対して会話全体の感情をより視覚的に認識することができる。加えて、動画によって通話後に会話の内容をより明確に想起することができる。
【０１４９】
なお、本出力形態では相手の会話全体から抽出される感情に対応付けた動画を画面表示しているが、自分の会話全体から抽出される感情に対応付けた動画、また自分と相手との会話全体から抽出される感情に対応付けた動画を表示してもよい。それぞれの動画の表示によって、アイコンを用いた表示に対して、会話全体の感情をより視覚的に認識することができる。加えて、動画によって通話後に会話の内容をより明確に想起することができる。
【０１５０】
［着信履歴の出力形態６］
着信表示の第６の出力形態を図面を用いて説明する。
図３２は、通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３７１において、発話音声（自分）と受話音声（相手）とから抽出された感情を、アイコン３０２の代わりにそれぞれ自分に対応付けた画像の時系列順の表示３１１と相手に対応付けた画像の時系列順の表示３１２に配置して、それぞれ画面表示している点である。
【０１５１】
ここで相手に対応付けた画像の時系列順の表示３１２について見ると、相手に対応付けた異なる画像が配置されている。具体的には画像３１３と画像３１４の２種類の画像が配置されている。本出力形態において、図３３（Ａ）の着信相手「野村」に対応付けられた画像は、感情がニュートラルであるときの画像（画像３１３）であり、記憶部７０に保存されており、携帯電話機１１の電話帳表示においても用いられる。画像３１３に対しては画像処理は行っていない。一方、図３３（Ｂ）の着信相手「野村」に対応付けられた画像は、感情が悲しみであるときの画像（画像３１４）であり、画像３１３に対して画像処理部２０７が画像処理を行うことによって生成されている。本出力形態では画像３１４の経た画像処理は、画像３１３に対して、涙の滴を表す補助画像３１５の重畳である。ここで補助画像３１５は感情特定部２０３で特定される悲しみの感情に関連付けられた画像であり、感情コンテンツ記憶部２０４に記憶されている。したがって、本出力形態では感情を表示する際に、基本となる画像と補助画像とを用いて画像処理を行い表示画像を生成するので、多数の感情を表現する自分や相手に対応付けた画像を予め個別に記憶部に保存しておく必要がなく、記憶部を有効に利用することができる。一方、画像処理を行った画像を記憶部に記憶しておいてもよく、この場合は画面表示する際に画像処理を行う必要がないので、画面表示を高速に行えるという効果がある。画像処理としては上記の補助画像の重畳以外にも、相手に対応付けた画像自体を変形させてもよい。たとえば怒りの感情を表現するために、相手に対応付けた画像が顔画像であれば、眉と目をつり上げるデフォルメや、顔の色を赤らめる色調補正などの画像処理がある。画像処理後の画像が感情を想起させる効果があるものであれば、画像処理の種類は問わない。
【０１５２】
感情の画面表示として、自分や相手に対応付けた画像を配列することによって、携帯電話機の使用者は、着信相手の氏名３０５の表示確認しなくても着信相手が誰であるかが視覚的に容易に認識できることに加え、履歴タイトル３０８、３０９を確認しなくても自分に対応付けた画像の時系列順の表示３１１と相手に対応付けた画像の時系列順の表示３１２との区別をすることができる。
【０１５３】
特に着信相手や自分に対応づける画像として、着信相手や自分の顔画像を用いると、感情をより明確に認識できる効果がある。また、会話を行う自分や相手の顔画像を用いると、通話後に会話の内容をより明確に想起することができる。
【０１５４】
上記のように着信相手に応じて対応付けた画像を着信表示に用いることで、着信相手毎に異なる画像を用いるので着信相手を視覚的に容易に識別することができる効果を有する。さらに、着信履歴から視覚的に通話内容を明確に想起することができる。また、着信相手により親しみを持つことが出来る。
【０１５５】
なお、第３および第４の出力形態と同様に画像表示を、自分だけの表示、相手だけの表示、自分と相手を合わせた会話全体の表示としてもよい。このとき得られる効果は上記の第６の実施形態の効果に加え、第３および第４の出力形態で記した効果である。
【０１５６】
（第４実施形態）
本発明の第４実施形態の携帯電話機では、携帯電話機１１における通話終了後の感情データ７０５と電話帳データ７０３との関連付けによる電話帳更新に関して説明する。
【０１５７】
電話帳データ７０３の登録者について、登録者に関連付けられた画像が記憶部７０に登録されているならば、感情通知動作指示部２０５は登録者に関連付けられた画像に対して、画像処理を行うよう画像処理部２０７に指示する。画像処理は、感情データ７０３に基づいて、登録者に関連付けられた元の画像に感情を関連付ける処理である。画像処理の種類としては、第３の実施形態の第６の出力形態と同様に、電話帳の登録者に関連付けられた画像に感情コンテンツ記憶部２０４に記憶されている補助画像を重畳するもの、登録画像をデフォルメするもの等があるが、画像処理後の画像が感情を想起させる効果があるものであれば、画像処理の種類は問わない。
【０１５８】
なお、電話帳に登録した画像の更新は、画面表示する都度行っても、通話後に更新を行い更新した画像データを記憶部に保存してもよい。通話後に更新を行うと、電話帳を画面表示する際に画像処理を行う必要がないので、画面表示を高速に行えるという効果がある。
【０１５９】
電話帳の登録者に関連付けられた画像には、記憶部に予め記憶されている画像や、撮像装置やデータ通信機能、外部記憶媒体によって取り込んだ画像を用いる。画像の種類としては、画像から登録者を想起しやすいものがよく、例えば登録者の顔画像が好適である。
【０１６０】
図３４は、登録者に関連付けられた画像として登録者の顔画像を登録した電話帳について、通常の電話帳の画面表示（Ａ）と、本実施形態の電話帳の画面表示（Ｂ）とを示したものである。図３４（Ａ）と図３４（Ｂ）との相違は、図３４（Ｂ）では登録者に関連付けられた画像が最新の通話で決定された感情に基づいて画像処理されて画面表示されている点である。例えば図３４（Ｂ）の登録者「野村」に対応する登録画像には、最後に通話を行った際の登録者の感情が悲しみとして決定されたので、悲しみに対応する画像処理が行われて、画面表示されている。
【０１６１】
このように電話帳登録者と通話を行った後、電話帳に電話番号や登録者の名前と併せて登録者に対応付けられている画像に対して最新の通話で決定された感情に基づいて画像処理を行い、更新することによって、携帯電話機の使用者が通話後に電話帳を画面表示して参照すると、電話帳登録者と感情とが視覚的に関連付けられて記憶が刺激され、電話帳登録者との前回の通話内容を容易に想起することができるという効果を有する。この効果は、通話履歴を画面表示して通話内容を想起できるのと同様である。また、携帯電話機の使用者が次回の発信前に電話帳を参照すると前回の通話内容が想起されるので、発信前に予め会話の内容を考えることができ、発信後効率よく会話を進めたり、スムーズに会話を行えるという効果も有する。
【産業上の利用可能性】
【０１６２】
本発明の情報処理端末は、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することができ、また、後で振り返って通話状況の全体像を把握することができるという効果を奏し、声から推定したその声を発した人の感情を通知する情報処理端末に関して有用である。
【図面の簡単な説明】
【０１６３】
【図１】本発明の第１実施形態の携帯電話機の構成図
【図２】本発明の第１実施形態の携帯電話機による感情推定例
【図３】本発明の第１実施形態の携帯電話機の表示部の画像表示例
【図４】本発明の第１実施形態の携帯電話機のＬＥＤの点灯例
【図５】本発明の第１実施形態の携帯電話機の表示部に表示する画像のカテゴリ
【図６】本発明の第１実施形態の携帯電話機による処理の流れを示すフローチャート
【図７】本発明の第１実施形態の携帯電話機における通話履歴確認のフローチャート
【図８】本発明の第１実施形態の携帯電話機における表示部の通話履歴表示例
【図９】本発明の第１実施形態の携帯電話機における電話帳確認のフローチャート
【図１０】本発明の第１実施形態の携帯電話機における表示部の電話帳表示例
【図１１】本発明の第１実施形態の携帯電話機におけるスケジューラ確認のフローチャート
【図１２】本発明の第１実施形態の携帯電話機における表示部のスケジューラ表示例
【図１３】本発明の第２実施形態の携帯電話機を含むシステムの構成図
【図１４】本発明の第１実施形態の携帯電話機の別例の構成図
【図１５】本発明の第１実施形態の携帯電話機による処理の流れの別例を示すフローチャート
【図１６】本発明の第３実施形態の携帯電話機の構成図
【図１７】本発明の第３実施形態の携帯電話機による、携帯電話機使用者による感情推定およびその推定結果表示の初期設定のためのフローチャート
【図１８】本発明の第３実施形態の携帯電話機による通話中の感情特定の手順を示すフローチャート
【図１９】本発明の第３実施形態の携帯電話機による通話終了後の感情決定の手順を示すフローチャート
【図２０】感情特定部が出力する感情種類毎の感情の強弱を、単位時間の時系列で連続的に表したグラフ
【図２１】図２５のグラフを数値化した表
【図２２】図２６で示した単位時間の感情パラメータを、時間分割帯にくくり直して再計算する例
【図２３】特徴的感情データを表示部に図的に表示する際のアイコンの表示例
【図２４】特徴的感情データをＬＥＤに出力する際の発光色の例
【図２５】感情の強度に対応するＬＥＤ発光（点滅）パターンの例
【図２６】本発明の第３実施形態の携帯電話機の表示部３０に着信履歴一覧を表示した例
【図２７】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した例
【図２８】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図２９】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３０】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３１】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３２】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３３】着信相手に対応付けられた画像 （Ａ）は画像処理前の画像、（Ｂ）は画像処理後の画像
【図３４】登録者に関連付けられた画像として登録者の顔画像を登録した電話帳による画面表示例 （Ａ）通常の電話帳の画面表示（Ａ）、（Ｂ）第３実施形態の携帯電話機による電話帳の画面表示（Ｂ）
【符号の説明】
【０１６４】
１、１１ 携帯電話機
１０ 通話装置
１０１ 通信部
１０２ 音声信号出力部
１０３ スピーカ
１０４ マイク
１０５ ガイダンス音記憶部
１０６音声記憶部
２ 感情コンテンツ記憶サーバ
２０ 感情通知装置
２０１ 感情推定部
２０２ 感情蓄積部
２０３ 感情特定部
２０４ 感情コンテンツ記憶部
２０５ 感情通知動作指示部
２０６ 感情コンテンツ取得部
３０ 表示部
４０ ＬＥＤ
５０ バイブレーション
６０ メール送信部
７０ 記憶部
８０ スピーカ
９０ 香り発生装置
９５ 入力操作部
【技術分野】
【０００１】
本発明は、声から推定したその声を発した人の感情を通知する情報処理端末に関する。
【背景技術】
【０００２】
人が発する声から、具体的には声の音量、声の波形、声のピッチ、または、音韻などから、その人の感情を推定する技術が開示されている（特許文献１）。また、特許文献１の技術等を用いて推定した感情に基づいて、３Ｄコンピュータグラフィック上に形成した、人間の顔を模擬した顔モデルの表情を３次元的に変化させて表示し、その感情を表現する技術が開示されている（特許文献２）。これらの技術により、音声のみからその音声を発した人の感情を視覚的に読み取ることができる。
【特許文献１】国際公開番号ＷＯ００／６２２７９
【特許文献２】特許公開番号２００２−２９８１５５
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ある音声に複数の感情が含まれると推定された場合、例えば、感情情報の主要因子としては、喜び、悲しみ、驚き、嫌悪、怒り、恐れとした６因子を用いることが多いが、この感情結果をそのままリアルタイムにみせることはコミュニケーションをおこなう上で相手に見せたくない感情も直接的に伝わってしまう課題をもっている。
【０００４】
また、従来、電話による音声通話は、メールのようにその時の対話状況が残ることなく通話時刻の記録が残るだけで、後で振り返ってその時の通話状況を振り返るすべがないという課題を持っていた。
【０００５】
本発明は、上記事情に鑑みてなされたもので、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することが出来る情報処理端末を提供することを目的とする。
【０００６】
また、本発明は、後で振り返って通話状況の全体像を把握することができる情報処理端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理端末は、前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、各種情報を通知する通知手段とを備える情報処理端末であって、前記通知手段が、前記パラメータ生成手段により生成したパラメータに対応する感情についての情報を通知するものである。
【０００８】
また、本発明の情報処理端末は、データを記憶する記憶手段を備え、前記記憶手段が、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【０００９】
この構成によれば、入力した音声からその音声を発した人の感情を通知することにより、音声を発した人の感情を誤って別の感情として読み取ることを防ぐことができる。
【００１０】
また、本発明の情報処理端末は、前記記憶手段が、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【００１１】
この構成によれば、音声を発した人の感情を時系列的に読み取ることができるため、より音声を発した人の感情を把握しやすくなる。
【００１２】
また、本発明の情報処理端末は、通話を行う通話手段を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力するものを含む。
【００１３】
この構成によれば、通話時の音声を入力することにより、当該情報処理端末に簡易に音声を入力することができる。
【００１４】
また、本発明の情報処理端末は、データを記憶する記憶手段と、通話を行う通話手段と、を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力し、前記記憶手段が、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記通知手段が、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【００１５】
この構成によれば、通話相手の感情を時系列的に読み取ることができるため、通話相手の感情を把握しやすくなり、その結果、円滑なコミュニケーションを実現できる。
【００１６】
また、本発明の情報処理端末は、前記通知手段が、前記通話手段による通話終了後、前記感情についての情報を通知するものを含む。
【００１７】
この構成によれば、通話終了毎に、その通話における通話相手あるいは本人の感情を確認することができるため、円滑なコミュニケーションを実現できる。
【００１８】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、前記表示手段が、通話履歴を表示する場合に、前記通話履歴中の各通話項目毎に、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知するものを含む。
【００１９】
この構成によれば、通話履歴の項目に、各通話における通話相手あるいは本人の感情を表示することができるため、各通話においてなされた会話内容を容易に想起することができる。
【００２０】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、前記表示手段が、前記記憶手段に記憶したパラメータに対応する感情のうちの特定のパラメータに対応する感情についての情報を、時系列に沿って表示するものを含む。
【００２１】
この構成によれば、通話履歴の項目に、各通話における通話相手あるいは本人の感情を時系列的に表示することができるため、各通話においてなされた会話内容をより容易に想起することができる。
【００２２】
また、本発明の情報処理端末は、前記通知手段が、前記記憶手段に記憶したパラメータに対応する、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を通知するものを含む。
【００２３】
この構成によれば、自分の着信中の感情の時間的変化、相手の着信中の感情の時間的変化、さらに、会話全体としての感情の時間的変化を視覚的に認識することができる。また、時系列に配置された感情についての情報から通話後に会話全体の内容を想起することができる。
【００２４】
また、本発明の情報処理端末は、前記記憶手段が、顔画像情報を当該顔画像を撮像された者と対応付けて記憶し、前記通知手段が、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を、前記記憶手段から読み出した当該通話者の顔画像を画像処理して通知するものを含む。
【００２５】
この構成によれば、携帯電話機の使用者は、着信相手の氏名の表示確認しなくても着信相手が誰であるかが視覚的に容易に認識できることに加え、自分に対応付けた画像の時系列順の顔画像と相手に対応付けた画像の時系列順の顔画像との区別を容易にすることができる。
【００２６】
また、本発明の情報処理端末は、音声を入力する音声入力手段と、前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、各種情報を通知する通知手段とを備える情報処理端末であって、前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定手段を備え、前記通知手段が、前記特定した感情についての情報を通知するものを含む。
【００２７】
この構成によれば、入力した音声から特徴的な感情を特定することにより、音声を発した人の感情を誤って別の感情として読み取ることを防ぐことができる。
【００２８】
また、本発明の情報処理端末は、データを記憶する記憶手段を備え、前記記憶手段が、前記パラメータ生成手段により生成した感情のパラメータを記憶し、前記感情特定手段が、前記記憶したパラメータの内の、特徴的なパラメータで表された感情を特定するものを含む。
【００２９】
この構成によれば、入力した音声から生成される感情のパラメータを記憶してことにより、記憶した感情のパラメータを読み出していつでも特徴的なパラメータを特定することができる。
【００３０】
また、本発明の情報処理端末は、通話を行う通話手段を備え、前記音声入力手段が、前記通話手段による通話時の音声を入力するものを含む。
【００３１】
この構成によれば、通話時の音声を入力することにより、当該情報処理端末に簡易に音声を入力することができる。
【００３２】
また、本発明の情報処理端末は、前記通話手段による通話時の音声を録音する音声録音手段を備え、前記音声入力手段が、前記音声録音手段により録音した音声を入力するものを含む。
【００３３】
この構成によれば、携帯電話機利用者は、録音された音声があるという事実だけでなく、その録音された音声の内容、緊急度を同時に判別することが出来るようになり、その結果、円滑なコミュニケーションをとることが可能になる。
【００３４】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段は、前記特定した感情を各通話毎に記憶し、前記表示手段が、通話履歴を表示する場合に、前記通話履歴に合わせて前記特定した感情についての情報を表示するものを含む。
【００３５】
また、本発明の情報処理端末は、前記記憶手段が、前記特定した感情を反映している一部の音声を記憶し、前記表示手段が、前記通話履歴に合わせて前記特定した感情と同一時刻の前記一部の音声を表示するものを含む。
【００３６】
この構成によれば、通話履歴確認した時に、通話履歴の各通話毎にその通話時の特徴的な感情を表示することにより、その通話で通話者がどのような感情であったかを確認することができる。
【００３７】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記特定した感情を通話者毎に記憶し、前記表示手段が、前記記憶手段に記憶した通話者の個人情報を表示する場合に、前記個人情報に合わせて前記特定した感情についての情報を表示するものを含む。
【００３８】
この構成によれば、個人情報を確認した時に、当該個人との通話時の特徴的な感情を表示することにより、当該個人が当該情報処理端末使用者との通話でどのような感情であったかを確認することができる。
【００３９】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、前記特定した感情を通話した日付に対応させて記憶し、前記表示手段が、カレンダを表示する場合に、前記カレンダの日付に合わせて前記特定した感情についての情報を表示するものを含む。
【００４０】
この構成によれば、通話から特定した感情を日付ごとに表示することにより、該当日付に通話した通話内容を容易に振り返ることが可能になる
【００４１】
また、本発明の情報処理端末は、前記通知手段が、各種情報を表示する表示手段を含み、前記記憶手段が、感情に対応する画像を記憶し、前記表示手段が、前記記憶手段から読み出された、前記特定した感情に対応する画像を表示するものを含む。
【００４２】
この構成によれば、特徴的な感情を画像により通知することにより、この画像を見た当該情報処理端末使用者は容易に感情を確認することができる。
【００４３】
また、本発明の情報処理端末は、前記記憶手段が、前記感情特定手段により特定される感情の出現頻度を記憶し、前記表示手段が、前記感情の出現頻度に応じて前記記憶手段から読み出された、前記特定した感情に対応する画像を表示するものを含む。
【００４４】
この構成によれば、感情の出現頻度に応じて特徴的な感情に対応する画像を変化させて表示することにより、感情通知を実行させるときの娯楽性を高めることができ、長期にわたって感情通知を楽しむことができる。
【００４５】
また、本発明の情報処理端末は、前記通知手段が、各種情報を点灯により通知する点灯手段を含み、前記記憶手段が、感情に対応する色を記憶し、前記点灯手段が、前記記憶手段から読み出された、前記特定した感情に対応する色で点灯するものを含む。
【００４６】
この構成によれば、特徴的な感情を色により通知することにより、当該情報処理端末使用者は視覚的に容易に感情を確認することができる。
【００４７】
また、本発明の情報処理端末は、前記通知手段が、各種情報を振動により通知するバイブレーション手段を含み、前記記憶手段が、感情に対応する振動数または振動の強さを記憶し、前記バイブレーション手段が、前記記憶手段から読み出された、前記特定した感情に対応する振動数または振動の強さで振動するものを含む。
【００４８】
この構成によれば、特徴的な感情をバイブレーションにより通知することにより、当該情報処理端末使用者は触覚的に容易に感情を確認することができる。
【００４９】
また、本発明の情報処理端末は、感情に対応する画像を記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する画像を記憶するものを含む。
【００５０】
また、本発明の情報処理端末は、感情に対応する色を記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する色を記憶するものを含む。
【００５１】
また、本発明の情報処理端末は、感情に対応する振動数または振動の強さを記録したサーバからデータを受信する受信手段を備え、前記記憶手段が、前記受信した感情に対応する振動数または振動の強さを記憶するものを含む。
【００５２】
この構成によれば、情報処理端末外部に設けたサーバから表示手段、点灯手段、またはバイブレーション手段による感情通知動作を受信することにより、感情通知動作を容易に新しいものを追加することができ、長期にわたって感情通知を楽しむことができる。
【００５３】
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、パラメータの数値が最も高い感情を特定するものを含む。
【００５４】
この構成によれば、入力された音声の最初から最後までの間で数値が最も大きかった感情を特徴的な感情とすることにより、会話中の強く印象に残った内容を重視して感情を特定することができる。
【００５５】
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、前記音声の開始から終了にかけて生成したパラメータの数値の合計が最も高い感情を特定するものを含む。
【００５６】
この構成によれば、音声の最初から最後にかけて合計した数値が最も大きかった感情を特徴的な感情とすることにより、会話全体の内容を重視して感情を特定することができる。
【００５７】
また、本発明の情報処理端末は、前記感情特定手段が、前記記憶手段により記憶した感情のパラメータの内、前記音声の終了前に生成したパラメータの数値が最も高い感情を特定するものを含む。
【００５８】
この構成によれば、音声の最後間際に数値が最も大きかった感情を特徴的な感情とすることにより、会話の余韻を重視して感情を特定することができる。
【００５９】
また、本発明の情報処理端末は、他情報処理端末に前記特定した感情を送信する送信手段を備えるものを含む。
【００６０】
この構成によれば、音声信号からその音声を発した人物の感情を推定することができない他情報処理端末に、特徴的な感情の情報を送信することにより、他情報処理端末使用者も当該情報処理端末使用者と同様に容易に音声を発した人物の感情を判断することができる。
【発明の効果】
【００６１】
本発明の情報処理端末によれば、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することができる。
【００６２】
また、本発明の情報処理端末によれば、後で振り返って通話状況の全体像を把握することができる。
【発明を実施するための最良の形態】
【００６３】
以下、本発明を実施する情報処理端末の形態を、携帯電話機を例に挙げて、詳細に説明する。
【００６４】
（第１実施形態）
本発明の第１実施形態の携帯電話機について図面を参照して詳細に説明する。図１に、本発明の第１実施形態の携帯電話機の構成図を示す。本発明の第１実施形態の携帯電話機は、音声通話を制御する通話装置１０と、通話装置１０から入力された通話中の音声に基づいて当該携帯電話機使用者の感情、通話相手の感情あるいはその両方の感情を特定する感情通知装置２０と、当該携帯端末使用者に感情通知装置２０により特定した感情を通知するデバイス、例えば表示部３０、ＬＥＤ４０、バイブレーション５０、スピーカ８０、または香り発生装置９０等、とを含んで構成される。
【００６５】
通話装置１０において、音声信号出力部１０２は、音声信号の送受信を行う通信部１０１を介して通話相手から受信した音声信号、または、マイク１０４により収音した当該携帯電話機使用者の音声信号を感情通知装置２０に出力する。また、音声信号出力部１０２は、通話相手から受信した音声をスピーカ１０３に出力し、マイク１０４により収音した当該携帯電話機使用者の通話音声を通信部１０１に出力する。
【００６６】
感情通知装置２０において、感情推定部２０１は、通話装置１０の通信部１０１から通話が開始したことを通知されると、通話装置１０から入力された音声信号からその音声を発した人物の感情を推定する。このとき、感情推定部２０１には、通話相手から受信した音声信号または当該携帯電話機使用者の音声信号、あるいはその両方の音声信号が入力される。当該携帯電話機使用者が通話装置１０から入力される音声信号を選択するようにしても良いし、一定時間毎に通話装置１０から入力される音声信号を切り替えるように設定しても良い。
【００６７】
感情推定部２０１は、通話装置１０から入力される音声信号からその音声を発した人物の感情を推定する。図２に、本発明の第１実施形態の携帯電話機による感情推定例を示す。感情推定部２０１は、例えば、図２に示す愛情、喜び、怒り、哀しみ、ニュートラルから構成される感情情報の因子毎に、０、１、２の値により表現したその感情の度合い（０：感情なし、１：感情弱、２：感情強）を通話開始から通話終了にかけて継続的に推定し、その推定した各々の数値を感情蓄積部２０２に逐次出力する。
【００６８】
感情蓄積部２０２は、感情推定部２０１から入力された各々の因子毎の数値を、入力された時刻または順番に対応させて蓄積する。
【００６９】
感情特定部２０３は、感情蓄積部２０２からある通話における通話開始から通話終了までに蓄積した各々の因子毎の数値を読み出し、その読み出した数値から特徴的な感情を特定し、その特徴的な感情を感情通知動作指示部２０５に出力する。特定の際、通話開始から通話終了までの間で数値が最も大きかった感情を特徴的な感情とすることにより、通話中の強く印象に残った内容を重視して感情を特定することができ、また、通話開始から通話終了にかけて合計した数値が最も大きかった感情を特徴的な感情とすることにより、通話全体の内容を重視して感情を特定することができ、また、通話終了間際に数値が最も大きかった感情を特徴的な感情とすることにより、会話の余韻を重視して感情を特定することができる。
【００７０】
また、感情特定部２０３は、特定した特徴的な感情を反映しているある一定期間（例えば２秒）の音声をクリッピングし、のちに通話履歴を振り返る時に通話履歴にクリッピングした音声を記載するように、特徴的な音声情報として感情蓄積部２０２に記憶する。
【００７１】
なお、感情特定部２０３は、感情推定部２０１が逐次出力する因子毎の数値を、感情蓄積部２０２を介さずに、直接入力するようにして、継続的に特徴的な感情を特定するようにしても良い。これにより、通話と同期して特徴的な感情を特定することができる。
【００７２】
感情通知動作指示部２０５は、特徴的な感情が入力されると、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶部２０４から、特徴的な感情に対応する感情通知動作を読み出し、これらのデバイスに動作指示を出力する。携帯電話機使用者によって予め設定されたデバイスに感情通知動作を実行させるようにしても良いし、複数のデバイスに同時に感情通知動作を実行させるようにして感情通知の表現力を高めるようにしても良い。以下、表示部３０、ＬＥＤ４０の感情通知動作の動作例を図面を参照して説明する。
【００７３】
図３に、本発明の第１実施形態の携帯電話機の表示部の画像表示例を示す。表示部３０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する画像を読み出し、読み出した画像を出力するよう表示部３０に指示する。表示部３０が、特徴的な感情に対応させた図３に示す画像を表示することにより、携帯電話機使用者は視覚的に容易に音声を発した人物の感情を判断することができる。なお、表示部３０は、近年の携帯電話機が備えるサブ液晶表示部（メイン液晶表示部よりも表示領域が小さい。携帯電話機のメイン液晶表示部の背面に設けられることが多く、背面液晶とも称される）も含まれる。この表示部３０による別の表示例としては、感情に対応させて、表示部３０に表示する情報の背景の色を変えたり、一連の絵文字、画像、ピクトなどを連続的に表示したり（モーショングラフィック）、予め撮像しておいた画像や保存してある映像を表示させたりする。
【００７４】
図４に、本発明の第１実施形態の携帯電話機のＬＥＤの点灯例を示す。ＬＥＤ４０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する色情報を読み出し、読み出した色で発光するようＬＥＤ４０に指示する。ＬＥＤ４０が、特徴的な感情に対応させた図４に示す色で発光することにより、携帯電話機使用者は視覚的に容易に音声を発した人物の感情を判断することができる。なお、これらのＬＥＤには当該携帯電話機が備える操作キーのバックライトも含まれ、このＬＥＤの点灯方法としては、感情に応じて、点灯光の色または強度、点灯範囲、点滅リズム（感情に応じて点滅間隔を代えたり、後述するスピーカ８０が出力する音あるいは後述するバイブレーションの振動に合せて点滅させたり）を変えても良い。また、ＬＥＤが複数個ある場合には、それぞれのＬＥＤを異なる色で点灯させても良いし、また、複数個のＬＥＤをドットと見なしてそのドットにより感情を表す文字、マークを表現するようにしても良い。
【００７５】
バイブレーション５０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応するバイブレーションの振動情報を読み出し、読み出した振動情報に含まれる振動数および振動の強さで振動するようバイブレーション５０に指示する。バイブレーション５０が、特徴的な感情に対応させた振動数および振動の強さで振動することにより（例えば、感情の変動が小さければ振動の強さを弱くし、大きければ振動の強さを大きくする）、携帯電話機使用者は触覚的に容易に音声を発した人物の感情を判断することができる。なお、バイブレーション５０は、後述するスピーカ８０が出力する音に合せて振動するようにしても良い。バイブレーション５０による振動とスピーカ８０による音出力との組み合わせ方としては、例えば、感情の変動が小さければバイブレーション５０のみを振動の強さを弱くして振動させ、変動が大きければ音の周波数に対応した振動数で、かつ振動の強さを強くして振動するなどが挙げられる。
【００７６】
スピーカ８０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する音情報を読み出し、読み出した音情報を出力するようスピーカ８０に指示する。スピーカ８０が、特徴的な感情に対応させた音情報を出力することにより（例えば、各感情毎に異なる音楽、メロディを設定するようにしたりする。このメロディとして携帯電話機が着信時に鳴らす着信メロディを選択するようにしても良い）、携帯電話機使用者は聴覚的に容易に音声を発した人物の感情を判断することができる。なお、各感情毎に異なる音楽、メロディを設定する構成について述べたが、複数の感情に共通の音楽、メロディを設定して、感情毎にその音楽、メロディの音調を変えるように設定しても良い。
【００７７】
香り発生装置９０により感情通知動作を実行する場合、感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する香り情報を読み出し、読み出した香り情報に対応する芳香を出すよう香り発生装置９０に指示する。香り発生装置９０が、特徴的な感情に対応させた芳香を出すことにより、携帯電話機使用者は嗅覚的に容易に音声を発した人物の感情を判断することができる。なお、各感情ごとに異なる芳香を出させるようにする構成でも構わないが、複数の感情に共通の芳香を設定して、感情毎にその芳香の濃度を変えるように設定しても良い。
【００７８】
なお、本発明の携帯電話機は、表示部３０、ＬＥＤ４０、バイブレーション５０、スピーカ８０、または香り発生装置９０等のデバイスのうちのいずれか１つを利用する構成でも良いし、組み合わせて動作させる構成であっても良い。
【００７９】
また、感情通知動作指示部２０５は、図１のメール送信部６０に感情コンテンツ記憶部２０４から読み出した特徴的な感情に対応する感情通知動作を他携帯電話機に送信するように指示する。感情通知装置２０が備わっておらず、音声信号からその音声を発した人物の感情を推定することができない他携帯電話機に、特徴的な感情に対応する感情通知動作情報をメールにより送信することにより、他携帯電話機使用者も当該携帯端末使用者と同様に容易に音声を発した人物の感情を判断することができる。当該携帯端末使用者が感情通知動作を確認した後にメールを送信するようにしても良いし、また、自動で通話相手の携帯電話機に送信するようにしても良い。
【００８０】
また、感情通知動作指示部２０５は、図１の記憶部７０に記録された、過去の通話における通話相手、通話時刻、通話時間などの通話状態を示す通話履歴７０１に、感情特定部２０３で特定した特徴的な感情とその感情を特定した通話における通話状態とを記録するよう記録部７０に指示する。通話履歴７０１を記録した後、携帯電話機使用者が通話履歴７０１を表示部３０に表示させ、通話履歴に記録されている感情を確認した場合、感情コンテンツ記憶部２０４から通話履歴に記録されている感情に対応する感情通知動作を読み出し、これらのデバイスに動作指示を出力する。
【００８１】
従来、通話履歴を記録しても、メールの送受信履歴のように、その送受信履歴を確認して過去の対話状況を確認することができず、通話履歴から過去の通話内容を振り返ることは困難であったが、本発明の第１実施形態の携帯電話機によれば、通話履歴に、ある通話から特定した感情とその通話における通話状態と記録するため、通話履歴を確認したときにその通話で当該携帯電話機使用者または通話相手がどのような感情であったのかを確認することができ、その通話における通話内容を容易に振り返ることが可能になる。
【００８２】
なお、感情通知動作指示部２０５は、感情コンテンツ記憶部２０４から特徴的な感情に対応する感情通知動作を読み出す際、当該携帯電話機により通知される感情の通知頻度などの感情通知装置２０による内的要因、或いは、感情通知動作を読み出す際の日時、当該携帯電話機による通話時間、または、当該携帯電話機に備えられた位置情報取得機能により特定される現在位置などの感情通知装置２０以外の装置による外的要因が特定の条件を満たしたときに通常読み出す感情通知動作とは異なる感情通知動作を読み出すようにしても良い。このとき、特定の条件には、感情の通知頻度の場合は、感情特定部２０３がある感情を一定回数以上特定したとき、日時の場合はその日時が正月、クリスマスなどの日付、若しくは昼、夜、深夜などの時間帯に一致、若しくは含まれるとき、現在位置の場合はその現在位置が遊園地や海などの場所に含まれる、若しくは近いとき、などが含まれる。
【００８３】
図５に、本発明の第１実施形態の携帯電話機の表示部に表示する画像のカテゴリを示す。カテゴリ１は条件無しで表示部３０に表示される画像であり、カテゴリ２はある感情が一定回数以上特定されたときに表示される画像であり、カテゴリ３はある感情が特定されたときに非常に低い確率で偶発的に表示される画像であって、カテゴリ１、２、３は内的要因毎に、カテゴリ１からカテゴリ３にかけて表示頻度が小さくなるように分類されている。また、カテゴリ４は当該携帯端末の現在位置が所定の場所に含まれるときに表示される画像であり、カテゴリ５は当該携帯端末の現在位置が所定の場所に含まれ、かつ、当該携帯電話機による通話時間が所定の時間を越えているときに表示される画像であって、カテゴリ４、５は主に外的要因毎に分類されている。このように画像毎に表示頻度を設定することで、携帯電話機使用者は、携帯電話機に感情通知を実行させるときの娯楽性を高めることができ、長期にわたって感情通知を楽しむことができる。
【００８４】
また、記憶部７０の通話履歴７０１に、感情特定部２０３で特定した特徴的な感情とその感情を特定した通話における通話状態とを記録するようにしたが、感情コンテンツ記憶部２０４から読み出した、特徴的な感情に対応する感情通知動作とその感情を特定した通話における通話状態とを記録するようにしてもよい。この構成により、感情通知動作指示部２０５は、携帯電話機使用者が通話履歴７０１に記録されている感情を確認した場合に、感情コンテンツ記録部２０４から通話履歴に記録されている感情に対応する感情通知動作を検索する時間を省いて直接通信履歴からその感情通知動作を読み出すことができるため、通話履歴に記録されている感情の確認からデバイスの動作までにかかる時間を短縮することができる。
【００８５】
次に、本発明の第１実施形態の携帯電話機における、音声の入力から感情の通知および記録までの処理の流れを説明する。図６に、本発明の第１実施形態の携帯電話機による処理の流れを示すフローチャートを示す。
【００８６】
感情推定部２０１は、通信部１０１から通話が開始したことを通知されると（Ｓ６００）、音声信号出力部１０２から音声信号が入力される（Ｓ６０１ａ〜Ｓ６０１ｃ）。このとき、通話相手から受信した音声信号または当該携帯電話機使用者の音声信号、あるいはその両方の音声信号が入力される。感情推定部２０１は、入力された音声信号からその音声を発した人物の感情を推定し（Ｓ６０２）、推定した感情情報の主要因子毎の数値を感情蓄積部２０２に逐次出力する。通信部１０１から通話が終了したことが感情推定部２０１に通知されると（Ｓ６０３）、感情特定部２０３は、ある通話における通話開始から通話終了までの各々の因子毎の数値から、特徴的な感情を特定し（Ｓ６０４）、その特徴的な感情を感情通知動作指示部２０５に出力する。感情通知動作指示部２０５は、特徴的な感情が入力されると、感情コンテンツ記憶部２０４から特徴的な感情に対応する感情通知動作を読み出し、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスに動作指示を出力する（Ｓ６０５）。
【００８７】
携帯電話機使用者が、特徴的な感情または特徴的な感情に対応する感情通知動作と通話状態とを通話履歴７０１に記録するように指示すれば（Ｓ６０７、ＹＥＳ）、記録し（Ｓ６０８）、特徴的な感情に対応する感情通知動作を他携帯電話機に送信するように指示すれば（Ｓ６０９）、他携帯電話機にその感情通知動作情報を送信する（Ｓ６１０）。
【００８８】
図６のフローチャートでは、図１に示す構成の本発明の第１実施形態の携帯電話機により、通話時に入力される音声信号からその音声を発した人物の感情を推定する処理を行ったが、別の手段により入力される音声信号からその音声を発した人物の感情を推定する処理も考えられる。ここでは、別の手段の１例として、近年の携帯電話機が有する留守番電話機能（携帯電話機利用者が音声通話着信に応答できない場合に、携帯電話機が自動でその音声通話着信に応答し、通話相手の音声を録音する機能。以下の説明では、通話相手の音声を携帯電話機が備える記憶装置に記憶する場合を想定している）を利用し、その留守番電話機能により録音した音声信号から感情を推定する処理について説明する。図１４に、本発明の第１実施形態の携帯電話機の別例の構成図を、図１５に、本発明の第１実施形態の携帯電話機による処理の流れの別例を示すフローチャートを、それぞれ示す。なお、図１４、１５において、図１、６と同一の参照符号を割り当てた各部の機能、各処理は、上述した通りであるため、説明を省略する。
【００８９】
図１４の携帯電話機の構成図は、図１の構成にさらに、ガイダンス音記憶部１０５、音声記憶部１０６を追加したものである。ガイダンス音記憶部１０５は、携帯電話機利用者が音声通話着信に応答できない場合に通話装置１０が自動でその音声通話着信に応答した際、携帯電話機利用者が音声通話着信に応答できない旨を通話相手に音声出力するための音声信号を記憶している。音声記憶部１０６は、通話装置１０が自動でその音声通話着信に応答した後、通話相手から受信した音声信号を記憶する。
【００９０】
次に、本発明の第１実施形態の携帯電話機における、留守番電話機能を利用して録音した音声から感情の通知をする処理の流れを、図１５を参照して説明する。
【００９１】
通信部１０１は、音声通話着信を受け付けたとき（ステップＳ１４０１）、留守番電話機能を利用するよう携帯電話機が設定されているかを判定する（ステップＳ１４０２）。通信部１０１は、留守番電話機能を利用するよう設定されていると判定すると（着信の受け付け開始から所定の時間その着信に応答しない場合に留守番電話機能を利用するようにした携帯電話機の場合には、ステップＳ１４０２の判定基準に、着信の受け付け開始から計時した時間が所定の時間を越えるか否かという判定基準が追加される。この場合のように、留守番電話機能を利用するよう設定されているかを判定する判定基準は適宜追加、組み合わされる）、音声通話着信に応答し、音声信号出力部１０２がガイダンス音記憶部１０５から読み出した音声信号を、送話音声として出力する（Ｓ１４０３）。音声信号出力部１０２は、ステップＳ１４０３の後、通信部１０１が通話相手からの受話音声を入力すると、その受話音声を音声記憶部１０６に記憶させる。感情推定部２０１は、音声信号出力部１０２を介して入力した、音声記憶部１０６に記憶した音声信号から、その音声を発した人物の感情を推定する。以降、ステップＳ６０３の処理で通話が終了すれば、音声信号出力部１０２は、受話音声を音声記憶部１０６に記憶させる処理を終了し、感情推定部２０１が推定した感情に基づく感情通知動作を各種デバイスに実行させることになる。
【００９２】
従来の留守番電話機能では、留守番電話に録音があったという情報のみが通知手段(表示部、ＬＥＤ、バイブレーションなど)により通知されていた為、録音された音声自体の内容や緊急度は、録音された音声を再生するまで分からなかった。このため、携帯電話機利用者は録音された音声があるという事実を知っていたが、緊急度の高い内容だとは判別できず、その結果、録音された音声を再生せずにいたために、音声を録音してくれていた通話相手とのコミュニケーションが途切れてしまっていた。本発明の第１実施形態の携帯電話機のように、留守番電話機能を利用して通話相手の音声を録音すると共に、その留守番電話機能により録音した音声信号から感情を推定し、その感情についての情報を通知する構成により、携帯電話機利用者は、録音された音声があるという事実だけでなく、その録音された音声の内容、緊急度を同時に判別することが出来るようになり、その結果、円滑なコミュニケーションをとることが可能になる。このような構成は、特に、何らかの事情で着信には応答できないが、録音中の音声、あるいは録音が終了した音声があることを比較的短時間で知ることができる状況（例えば、電車内にいる場合であったり、会議中であったりするなど）に、より効果的に円滑なコミュニケーションを実現することができる。
【００９３】
次に、本発明の第１実施形態の携帯電話機における、通話履歴の確認の処理の流れを説明する。図７に、本発明の第１実施形態の携帯電話機における通話履歴確認のフローチャートを、図８に、本発明の第１実施形態の携帯電話機における表示部の通話履歴表示例を、それぞれ示す。
【００９４】
携帯電話機使用者が、図８（ａ）の通話履歴確認ボタンを押して表示部３０に図８（ｂ）に示す通話履歴を表示させ、通話履歴中の１件を選択し（Ｓ７００）、その１件の通話時における感情を確認しようとすると（Ｓ７０１、ＹＥＳ）、感情通知動作指示部２０５は、通話履歴７０１に記録された特徴的な感情を読み出し、感情コンテンツ記憶部２０４からその特徴的な感情に対応する画像を読み出して表示部３０にその画像を表示するよう指示し（Ｓ７０２）、表示部３０は、図８（ｄ）に示す画像を出力する（Ｓ７０３）。
【００９５】
このように、通話から特定した感情とその通話における通話状態とを通話履歴に記録することにより、通話履歴を確認したときにその通話で当該携帯電話機使用者または通話相手がどのような感情であったのかを確認することができ、その通話における通話内容を容易に振り返ることが可能になる。
【００９６】
なお、本発明の第１実施形態の携帯電話機において、特定した特徴的な感情を通話履歴を利用して確認するように述べたが、通話履歴に限らず、携帯電話機の機能として利用される電話帳またはスケジューラを利用して確認するようにしても良い。以下、本発明の第１実施形態の携帯電話機における、電話帳の確認の処理の流れ及びスケジューラの確認の処理の流れを説明する。
【００９７】
本発明の第１実施形態の携帯電話機における、電話帳の確認の処理の流れを説明する。図９に、本発明の第１実施形態の携帯電話機における電話帳確認のフローチャートを、図１０に、本発明の第１実施形態の携帯電話機における表示部の電話帳表示例を、それぞれ示す。
【００９８】
図６に示すステップ６０８において、特徴的な感情または特徴的な感情に対応する感情通知動作を電話帳に登録された通話相手の個人情報として通話時刻とともに電話帳７０２に記録した後、携帯電話機使用者が、図１０（ａ）の電話帳選択ボタンを押して表示部３０に電話帳を表示させて、図１０（ｃ）に示すように電話帳中の１名を選択し（Ｓ９００）、該当人物の通話時における感情を確認しようとすると（Ｓ９０１、ＹＥＳ）、感情通知動作指示部２０５は、電話帳７０２に記録された特徴的な感情を読み出し（Ｓ９０２）、感情コンテンツ記憶部２０４からその特徴的な感情に対応する画像を読み出して表示部３０にその画像を通話時刻に基づいて時系列的に表示するよう指示し（Ｓ９０３）、表示部３０は、図１０（ｅ）に示す画像を出力する（Ｓ９０４）。
【００９９】
このように、通話から特定した感情を電話帳に登録された通話相手の個人情報として電話帳に記録することにより、電話帳を確認した際に、電話帳に登録された人物の感情が携帯端末使用者との通話によってどのように推移したかを容易に確認することができる。
【０１００】
また、本発明の第１実施形態の携帯電話機における、スケジューラの確認の処理の流れを説明する。図１１に、本発明の第１実施形態の携帯電話機におけるスケジューラ確認のフローチャートを、図１２に、本発明の第１実施形態の携帯電話機における表示部のスケジューラ表示例を、それぞれ示す。
【０１０１】
携帯電話機使用者が、図１２（ａ）のスケジューラ選択ボタンを押して表示部３０にスケジューラを表示させて、図１２（ｂ）に示すようにカレンダ上の１つの日付を選択し（Ｓ１１００）、該当日付の通話時における感情を確認しようとすると（Ｓ１１０１、ＹＥＳ）、感情通知動作指示部２０５は、該当日時における通話履歴７０１に記録された特徴的な感情を読み出し（Ｓ１１０２）、感情コンテンツ記憶部２０４からその特徴的な感情に対応する画像を読み出して表示部３０にその画像を通話相手毎に表示するよう指示し（Ｓ１１０３）、表示部３０は、図１２（ｄ）に示す画像を出力する（Ｓ１１０４）。
【０１０２】
このように、通話から特定した感情を日付ごとに読み出すことにより、該当日付に通話した通話内容を容易に振り返ることが可能になる。
【０１０３】
なお、本発明の第１実施形態の携帯電話機において、通話履歴、電話帳またはスケジューラを利用して読み出した感情を表示部に画像を表示させて確認するようにしたが、ＬＥＤまたはバイブレーションなどを作動させて確認するようにしても良い。
【０１０４】
（第２実施形態）
本発明の第２実施形態の携帯電話機について図面を参照して詳細に説明する。図１３に、本発明の第２実施形態の携帯電話機を含むシステムの構成図を示す。本発明の第２実施形態の携帯電話機は、第１実施形態の携帯電話機の構成に加えて、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶サーバ２から、感情コンテンツを取得する感情コンテンツ取得部２０６を含んで構成されている。なお、図１と同一符号のものは、同一の構成を示しており、説明は省略する。
【０１０５】
感情コンテンツ取得部２０６は、感情コンテンツ記憶サーバ２から取得した感情通知動作を感情コンテンツ記憶部２０４に出力する。感情コンテンツ記憶部２０４は、感情コンテンツ取得部２０６から入力された感情通知動作を新たに追加して記憶する。
【０１０６】
携帯電話機外部に設けられたサーバから感情通知動作を取得することにより、携帯電話機使用者は、表示部、ＬＥＤ、またはバイブレーション等による感情通知動作を容易に新しいものを追加することができ、長期にわたって感情通知を楽しむことができる。
【０１０７】
（第３実施形態）
図２１は、本発明の第３実施形態の携帯電話機の構成を図的に示したものである。携帯電話１１の構成の多くの部分は第１の実施携帯記載の携帯電話機１の構成と同一であり、以下に構成が相違している箇所を中心に述べる。
【０１０８】
携帯電話機１１の感情通知装置２０において、音声入力切換制御部２００は、感情推定部２０１に入力する音声入力を選択的に制御する。携帯電話機使用者の入力操作部９５の操作によって、受話音声、送話音声のいずれか、又は両方の音声を入力とするかの設定が行われ、その設定は制御設定記憶部２０６に記憶される。音声入力切換制御部２００は、入力された通話装置１０の通信部１０１から通話が開始したことを通知されると、前記音声入力設定に基づいて、通話装置１０から入力された音声信号を選択的に出力する。出力された音声信号は感情推定部２０１に入力され、その音声を発した人物の感情を推定する。
【０１０９】
感情蓄積部２０２は、推定された感情を一時的に蓄積する。
【０１１０】
感情推定部２０３は、前記蓄積された推定された感情から特徴的な感情が出力されると、前記特徴的な感情通話のあった時刻に関連付けて記憶部７０に感情データ７０３として記憶する。
【０１１１】
感情コンテンツ記憶部２０４は、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスによる感情通知動作を記憶した感情コンテンツ記憶部２０４から、特徴的な感情に対応する感情通知動作の出力制御データ７０４や画像データ７０５を記憶する。
【０１１２】
感情通知動作指示部２０５は、記憶部７０に記憶された通話履歴データ７０１が参照されると、感情データ７０３を参照して、出力制御データ７０４や画像データ７０５を読み出し、出力制御部８０にデバイスへの感情通知動作の出力指示を行う。
【０１１３】
出力制御部８０はこれらのデバイスへの動作制御を行う。
【０１１４】
なお、表示部３０、ＬＥＤ４０またはバイブレーション５０などのデバイスへの感情通知動作の出力について、携帯電話機使用者が入力操作部９５によって設定したひとつのデバイスに感情通知動作を実行させるようにしても良いし、複数のデバイスに同時に感情通知動作を実行させるようにしてもよい。複数のデバイスの動作実行を行うと、たとえば、感情通知の表現力が高まり、携帯電話機使用者にはより効果的に通話の際の感情が伝えられる効果が生じる。また、表示部３０、ＬＥＤ４０は互いに出力の方法は異なるが、ともに視覚的な出力を行うデバイスであるので、ＬＥＤ４０は表示部３０の近くに位置しているのが良い。近くに位置すると表示部３０とＬＥＤ４０とが同時に視野に入るので、表示部３０とＬＥＤ４０とに同時に出力すると、それぞれ単独で出力するよりも視覚的刺激が大きくなるという効果を有する。
【０１１５】
出力制御データ７０４としては、表示部３０の発光色制御データや、ＬＥＤ４０の点滅パターン制御データ、バイブレーション５０の振動パターン制御データ等がある。出力制御データはこれらに限るものではなく、例えばデバイスとして音声出力デバイスを備える場合は、対応する音声パターン制御データを持っていれば音声出力デバイスを制御できる。
【０１１６】
感情コンテンツ記憶部２０４には、出力制御データ７０４と併せて、画像データ７０５が記憶されている。画像データ７０５は、とくに表示部３０に画像表示するためのデータである。画像データ７０５として、ビットマップ形式、ＧＩＦ形式やＪＰＥＧ形式等の静止画形式画像データ、Ｆｌａｓｈ形式やＭｏｔｉｏｎ ＪＰＥＧ形式等の動画形式画像データを含む。
【０１１７】
ここで、記憶部７０および感情コンテンツ記憶部２０４に記憶されるデータの構成、および前記各データの相互関連付けおよび通話履歴表示における各データの表示について説明する。
【０１１８】
通話履歴データ７０１は、少なくとも（たとえば図示しない計時部２０８によって計時される）通話のあった時刻、通話時間等の時間情報、電話番号等の通話相手の特定する番号情報から構成される。電話帳データ７０３は、少なくとも電話番号等の通話相手を特定する番号情報、該番号情報と関連付られる氏名、ニックネーム等の通話相手情報から構成されるが、さらに通話相手関連情報（通話相手に関連付けた文字、画像や音声等）を付加してもよい。通話履歴表示の際、電話番号等の通話相手の特定する番号情報によって、通話履歴データ７０１と電話帳データとが関連付られ、通話のあった時刻と通信者相手情報が表示される。なお、電話帳データのない通話相手との通話履歴表示においては、通話履歴データ７０１と電話帳データ７０３との関連付けを行うことができないので、通話のあった時刻と電話番号等の通話相手の特定する番号情報とが表示される。
【０１１９】
感情データ７０３は、少なくとも通話のあった時刻、入力音声の種別（通話相手の音声か、自分の音声か）、および特徴的な感情から構成される。また、感情データ７０３はさらに、ある通話時刻の通話における通話時間内のどの時間帯のデータであるか識別可能なインデックスを有してもよい。画像データ７０５は、少なくとも特徴的な感情と、特徴的な感情に対応づけられた画像のデータから構成される。通話履歴表示の際、通話のあった時刻によって、通話履歴データ７０１と感情データ７０３と画像データ７０５とは互いに関連付けられ、少なくとも通話のあった時刻と特徴的な感情に対応づけられた画像のデータとが表示される。
【０１２０】
また、上記の説明によって、感情データ７０５と電話帳データ７０３とも関連付けられるので、通話履歴表示の際、たとえば通話のあった時刻と通信相手情報と特徴的な感情とを併せて表示させることができる。これ以外の情報の組み合わせも、上記のデータ間の関連付けによって、可能な組み合わせを表示することができる。
【０１２１】
制御設定記憶部２０６に感情表示を行う設定が記憶されている場合、通話終了後もしくは入力操作部９５による携帯電話機使用者の通話履歴閲覧指示によって、以下のように感情表示される。感情通知動作制御部２０５は、記憶された感情データ７０３に基づき、通話履歴データ７０１と出力制御データ７０４とを関連付け、出力制御部８０に出力指示し、出力制御部２０７はデバイスに感情表示制御を行う。
【０１２２】
次に、携帯電話機使用者による感情推定およびその推定結果表示の初期設定について図１７を用いて説明する。
携帯電話機使用者は入力操作部９５による入力動作によって、感情推定を行う入力を行う（Ｓ１７１、Ｙｅｓ）。感情推定を行わない場合（Ｓ１７１、Ｎｏ）、初期設定を終了する。続いて、感情推定の対象とする入力音声について、送話音声入力のみ、受話音声入力のみ、送話と受話との音声を混合して入力、送話と受話の音声入力を個別に入力のいずれかから選択する（Ｓ１７２）、さらに続いて感情推定結果の表示形態について、アイコン画像を時系列に表示する、代表のアイコン画像を表示する、動画画像を大画面で表示する、動画画像を小画面で追加するのいずれかから選択する（Ｓ１７３）。以上を行うことによって初期設定を終了する。
【０１２３】
次に、通話中の感情特定の手順について図１８のフローチャートを用いて説明する。
通話が開始されると、計時部２０８が動作する（Ｓ１８１）。音声入力切替部２００によって感情推定部２０１への音声入力が切り替えられる（Ｓ１８２）。計時部２０８が単位時間の計時を開始する（Ｓ１８３）。単位時間を経過したら（Ｓ１８４、Ｙｅｓ）、感情推定部２０１は当該単位時間における各感情の感情のパラメータを出力する（Ｓ１８５）。感情蓄積部２０２は出力された当該単位時間の感情のパラメータを蓄積する（Ｓ１８６）。感情特定部２０３は当該単位時間の感情パラメータから当該単位時間における特徴的感情を特定する（Ｓ１８７）。感情蓄積部２０２は特定された当該単位時間における特徴的感情を蓄積する（Ｓ１８８）。ここで、通話が終了していなければ（Ｓ１８９、Ｎｏ）、Ｓ１８３に戻り次の単位時間の通話の感情推定を開始する。通話が終了していれば（Ｓ１８９、Ｙｅｓ）感情推定を終了する。この手順で感情特定することによって、感情蓄積部２０３には通話を単位時間に分割した時系列で感情パラメータおよび特徴的感情が蓄積される。
【０１２４】
以下に、上記の感情決定の手順を図面を用いて具体的に説明する。
図２０は感情特定部２０３が出力する感情種類毎の感情の強弱を単位時間の時系列で連続的に表したグラフである。図２５の横軸は時間、縦軸は各感情種類の強度を表す。感情特定部２０３は特定の感情をひとつ抽出するのでなく、愛情、喜び、怒り、悲しみおよびニュートラル、以上すべての感情種類毎に強度（強い感情表現が行われた程度の指標値）を出力する。図２１は図２０で示したグラフを数値化したものである。単位時間毎に、当該単位時間における感情種類ごとの強度を数値で示している。当該単位時間の感情種類のうち、最大値を示す感情を抽出し、その最大値が予め定めた閾値以上であるならば、その感情を当該単位時間の感情として決定する。たとえば、１番目の単位時間において、愛情の強度が８０、喜びが３０、怒りが２０、悲しみが１０、ニュートラルが５０であるので、１番目の単位時間において最大値の感情を示すものは愛情となる。また、愛情の強度は８０であり、強度閾値の５０を超えているので、１番目の単位時間における感情は愛情であると決定される。また、８番目の単位時間において、愛情の強度が３０、喜びが２０、怒りが１０、悲しみが１０、ニュートラルが１０であるので、８の単位時間において最大値の感情を示すものは愛情となる。しかしながら、愛情の強度は３０であり、強度閾値の５０を超えないので、８番目の単位時間における感情は判定なしであると決定される。図２１の最下部に、単位時間において最大値をとった感情種類をその単位時間の最も特徴的であった感情種類を示す。
【０１２５】
次に、通話終了後の感情決定の手順について図１９のフローチャートを用いて説明する。
通話が終了すると、通話時間を予め定めた分割数で区間分割する。ここで通話時間の区間分割数をＮ（Ｎは自然数）として説明する。通話時間を区間分割数Ｎと単位時間とで除して、１区間あたり（１区間分割帯）の単位時間の個数を算出する（Ｓ１９１）。感情蓄積部２０３に蓄積されている単位時間あたりの感情パラメータは各時間分割帯に属するようにくくり直される。各時間分割帯にくくられた単位時間あたりの感情パラメータは、各時間分割帯で感情毎に累積値が再計算され、各時間分割帯での特徴的感情が決定される。以上のようにして決定された区間の推定感情は通話時刻と関連付けられて、記憶部７０に記憶される。
【０１２６】
ここで、上記の感情決定の手順を図面を用いて具体的に説明する。図２２は図２１で示した単位時間の感情パラメータを、時間分割帯にくくり直して再計算する例を示したものである。通話時間を区間分割数Ｎと単位時間とで除した数を超えない整数値に１を加えた数を単位時間の個数とする。図２１の例では通話時間における単位時間の個数は１１であり、区間分割数は４であるので、１区間の単位時間数は３である。よって、１番目の区間に１〜３番目の単位時間の感情パラメータをくくる。同様に、２番目の区間に単位時間のパラメータをくくり、そして３番目の区間に７〜９番目の単位時間の感情パラメータをくくる。４番目の単位区間についてはたとえば１０、１１番目の単位時間のパラメータをくくってもよいし、９〜１１番目の感情をくくってもよい。続いて、各区間における各感情パラメータの値を加え合わせ累積する。累積した各感情パラメータの値からの感情の決定は、単位時間における感情の決定と同様の方法によって行われる。
【０１２７】
感情が決定されると、出力制御データに基づいてデバイスに出力が行われる。
【０１２８】
続いて、通話履歴における感情の出力について説明する。図２３は、記憶部７０に記憶された特徴的感情データ７０３を表示部３０に図的に表示する際のアイコンの例を示したものである。図２３の左列は感情の種類、右列は感情の種類に対応するアイコンである。各アイコンは感情コンテンツ記憶部２０４に画像データ７０５として記憶されている。喜びの感情をたとえば喜びの表情を表すアイコンで置き換えて図的に表示することで、感情を視覚によって直感的に認識することができる。図２３においては、感情として、ニュートラル、喜び、怒り、驚き、悲しみ、を例示しているが、感情抽出特定部が抽出可能な感情であれば、他の感情をアイコンに対応づけてもよい。また、対応づけるアイコンは図示されたものに限らず、感情コンテンツ記憶部２０４に記憶されている他の画像データでもよい。
【０１２９】
図２４と図２５は、記憶部７０に記憶された特徴的感情データ７０３をＬＥＤ４０に出力する際の発光色、感情の強度に対応するＬＥＤ発光（点滅）パターンの例を示したものである。図２４の左列は感情の種類、右列は感情の種類に対応する発光色設定であり、図２５の左列は感情の強度、右列はＬＥＤのＯＮ−ＯＦＦの時間制御設定である。各ＬＥＤ発光色、ＬＥＤ発光パターンは感情コンテンツ記憶部２０４に出力制御データ７０４として記憶されている。例えば怒りの感情を怒りを表す赤のＬＥＤ発光色で置き換えて出力することで、携帯電話機の使用者は赤の色彩の有する感情イメージから直感的に怒りの感情を認識することができる。図２４においては、ニュートラル、喜び、怒り、驚き、悲しみの感情を、それぞれ水色、ピンク、赤、黄、青に対応付けて例示しているが、感情抽出特定部２０３が抽出可能な感情であれば、他の感情をＬＥＤ発光色に対応づけてもよい。対応づけるＬＥＤ発光色は図２４に示されたものに限らず、感情コンテンツ記憶部２０４に記憶されている他の出力制御データによるＬＥＤ発光色でもよい。また、ある感情が強いこと（例えば感情が怒りの場合、激しく怒っていること）をＬＥＤの高速な点滅によって出力することで、携帯電話機の使用者はある感情が強いことを視覚的刺激によって直感的に認識することができ、ある感情が弱いこと（例えば感情が怒りの場合、少々の怒り加減であること）をＬＥＤの常時点灯によって出力することで、携帯電話機の使用者はある感情が弱いことを視覚的刺激によって直感的に認識することができる。対応づけるＬＥＤ発光パターンは図２５に示されたものに限らず、感情コンテンツ記憶部２０４に記憶されている他の出力制御データによるＬＥＤ発光パターンでもよい。また、本実施形態ではＬＥＤ４０はＯＮ−ＯＦＦの２値の状態を出力するものとして例示しているが、ＯＮの状態を複数指定できる３値以上の状態を出力するものを用いればさらに感情の強さを多岐に出力でき、ＬＥＤの発光パターンによる感情の表現力の幅を広げることができる。さらにまた、発光パターンによる感情の強度出力は、ＬＥＤ４０の発光色による感情出力と組み合わせて用いることによって、より感情の表現力の幅を広げることができ、携帯電話機の使用者は感情を細やかに認識することができる。
【０１３０】
［着信履歴の出力形態１］
着信履歴の第１の出力形態を図面を用いて説明する。
図２６は、携帯電話機１１の表示部３０に着信履歴一覧を表示した例である。図２６における１件の着信履歴表示３０１は、受話音声（相手）から抽出された感情に対応する画像を表したアイコン３０２、着信時刻３０３、通話時間３０４、着信相手の氏名３０５からなる。
【０１３１】
これらの表示を１件の着信履歴として、図２６では表示部３０の画面で２件分表示を行っている。着信履歴の蓄積が３件以上あるときは入力操作部９５を操作することによって別の着信履歴を表示することができる。画面あたりの表示件数は３件以上であってもよく、画面上で着信履歴の視認性を損なわない表示の程度であれば、表示件数は問わない。
【０１３２】
アイコン３０２は、通話が開始されてから通話が終了するまで時系列順に左から右に配置される。アイコン３０２が時系列的に配置されて表示されることによって、携帯電話機の使用者は着信中の相手の感情の時間的変化を視覚的に認識することができる。また、視覚による刺激によって通話後に会話の内容を想起することができる。また、着信時刻３０３、着信相手の氏名３０５を併せて表示することによって、携帯電話の使用者は、より確実に会話の内容、会話の流れ、会話時の相手の印象を想起できるという効果がある。
【０１３３】
着信相手の氏名３０５は、着信時の着信電話番号から電話帳データを参照し、電話番号に対応付けて電話帳データ７０２に登録されている氏名が表示されている。着信電話番号が登録されていない場合、氏名表示ではなく、着信電話番号をそのまま表示（図２６の表示部３３における相手の電話番号３０６の表示を参照）したり、未登録である旨の表示をしてもよい。
【０１３４】
アイコン３０２や相手の氏名３０５は個人情報であるので、携帯電話機の使用者はアイコン３０２や相手の氏名３０５を秘匿したい場合がある。この場合、持ち主としての携帯電話機の使用者が、特定の相手についてはアイコン３０２や相手の氏名３０５の表示を行わない設定を行い、かつその設定を解除することができるようにしてもよい。アイコン３０２の表示や相手の氏名３０５を行わない設定として、例えばアイコン３０２や相手の氏名３０５を空白として表示、別の画像や文字列に置換して表示等がある。また、特定の相手からの着信履歴表示を予め定めた文字表示色、背景色等で行ってもよい。このように表示することによって、携帯電話機の使用者は特定の相手の着信履歴を他の者からの着信履歴とは明確に区別することができる。また、持ち主としての携帯電話機の使用者以外の者には特定の相手が誰であるかを不明とすることができるので、携帯電話機を紛失した際などに個人情報の漏洩を防ぐことができるという効果を有する。また、着信の相手によらず特定の着信履歴表示の表示を行わない設定ができるようにしても上記効果を得ることができる。
【０１３５】
着信履歴は、通話相手ごとに抽出を行い画面表示するようにしてもよい。さらに抽出した履歴を着信時刻順また通話時間の長さ順に並べ変えを行い画面表示するようにできてもよい。通話相手ごとに抽出して画面表示することによって、特定の相手との会話について、いつどのような会話であったかを容易に想起することができる。また、着信履歴を時刻順や通話時間の長さ順に並べ変えて画面表示することによって、携帯電話機の使用者は多くの着信履歴のなかから所望の着信履歴を抽出することが容易となる。
【０１３６】
また、本出力形態では表示部３０への出力について述べたが、ＬＥＤ４０の発光による出力も同期して行ってもよい。表示部３０への出力とＬＥＤ４０への出力とを併せることによって、表示部３０へのみ出力する場合に比べて、携帯電話機の使用者はさらに感情を細やかに認識することができる。
【０１３７】
［着信履歴の出力形態２］
着信履歴の第２の出力形態を図面を用いて説明する。
第１の出力形態の着信履歴の画面表示において、画面表示上の複数の着信履歴のうち任意の１件についてさらに詳細な通話結果を表示することができる。図２６では、１件の着信履歴表示３０１は他の着信履歴表示と区別されて反転色で表示されており、この表示状態からさらに入力操作部９５によって通話結果表示指示キー３０７を選択操作すると、通話結果が表示される。
【０１３８】
図２７は、通話結果を表示部３０に表示した例である。第１の出力形態との相違は、１件の通話結果表示３２１において、発話音声（自分）、受話音声（相手）から抽出された感情を、自分と相手のアイコン３０２を時系列順に画面左から右に配置して併せて表示している点と、自分と相手のアイコン３０２を区別して認識できるように履歴タイトル（自分の表示）３０８と履歴タイトル（相手の表示）３０９とを画面表示している点であり、他の画面表示は同じである。
【０１３９】
第２の出力形態では、通話相手の感情の時間的変化と併せて自分の感情の変化を時系列的に表示するので、携帯電話機の使用者は、アイコン３０２の横の並びによって通話中の相手および自分のそれぞれの感情の時間的変化を視覚的に認識できるだけでなく、アイコン３０２の縦の並びによって会話のある時点での感情を視覚的に認識できるので、ある時点での会話の内容、会話の流れ、相手の印象や自分の心理をより確実に想起することができるという効果を有する。
【０１４０】
［着信履歴の出力形態３］
着信履歴の第３の出力形態を図面を用いて説明する。
図２８は、通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３３１において、発話音声（自分）から抽出された感情のみを、アイコン３０２を時系列順に画面左から右に配置して画面表示している点である。
【０１４１】
自分のアイコン３０２のみを時系列に表示することによって、特に自分の着信中の感情の時間的変化を視覚的に明確に認識することができる。また、時系列順に配置されたアイコン３０２から通話後に会話の内容を視覚的に想起することができる。
【０１４２】
図２９は、通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３４１において、受話音声（相手）から抽出された感情のみを、アイコン３０２を時系列順に画面左から右に配置して画面表示している点である。
【０１４３】
相手のアイコン３０２のみを時系列順に画面表示することによって、特に相手の着信中の感情の時間的変化を視覚的に明確に認識することができる。また、時系列順に配置されたアイコンから通話後に会話の内容を想起することができる。
【０１４４】
また、上記の自分のみもしくは相手のみの通話結果の表示は相互に切り替えを行えるようにしてもよい。このようにすると、切り替えによって同一着信履歴におけるアイコン３０２の時系列表示を相互に参照することができる、という効果を有する。
【０１４５】
［着信履歴の出力形態４］
着信表示の第４の出力形態を図面を用いて説明する。
図３０は通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３５１において、発話音声（自分）と受話音声（相手）全体から抽出した感情を、アイコン３０２を時系列順に画面左から右に配置して画面表示している点である。
【０１４６】
自分と相手とのアイコン３０２を時系列順に画面表示することによって、会話全体としての感情の時間的変化を視覚的に認識することができる。また、時系列に配置されたアイコンから通話後に会話全体の内容を想起することができる。
【０１４７】
［着信履歴の出力形態５］
着信表示の第５の出力形態を図面を用いて説明する。
図３１は通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３６１において、受話音声（相手）から抽出された感情を、感情に対応する動画として表すアニメーション３１０用いて画面表示している点である。
【０１４８】
会話全体としての相手の感情が動画として画面表示されることによって、アイコンのような静止画像を用いて画面表示した場合に対して会話全体の感情をより視覚的に認識することができる。加えて、動画によって通話後に会話の内容をより明確に想起することができる。
【０１４９】
なお、本出力形態では相手の会話全体から抽出される感情に対応付けた動画を画面表示しているが、自分の会話全体から抽出される感情に対応付けた動画、また自分と相手との会話全体から抽出される感情に対応付けた動画を表示してもよい。それぞれの動画の表示によって、アイコンを用いた表示に対して、会話全体の感情をより視覚的に認識することができる。加えて、動画によって通話後に会話の内容をより明確に想起することができる。
【０１５０】
［着信履歴の出力形態６］
着信表示の第６の出力形態を図面を用いて説明する。
図３２は、通話結果を表示部３０に表示した第２の出力形態の別の例である。第２の出力形態との相違は、１件の通話結果表示３７１において、発話音声（自分）と受話音声（相手）とから抽出された感情を、アイコン３０２の代わりにそれぞれ自分に対応付けた画像の時系列順の表示３１１と相手に対応付けた画像の時系列順の表示３１２に配置して、それぞれ画面表示している点である。
【０１５１】
ここで相手に対応付けた画像の時系列順の表示３１２について見ると、相手に対応付けた異なる画像が配置されている。具体的には画像３１３と画像３１４の２種類の画像が配置されている。本出力形態において、図３３（Ａ）の着信相手「野村」に対応付けられた画像は、感情がニュートラルであるときの画像（画像３１３）であり、記憶部７０に保存されており、携帯電話機１１の電話帳表示においても用いられる。画像３１３に対しては画像処理は行っていない。一方、図３３（Ｂ）の着信相手「野村」に対応付けられた画像は、感情が悲しみであるときの画像（画像３１４）であり、画像３１３に対して画像処理部２０７が画像処理を行うことによって生成されている。本出力形態では画像３１４の経た画像処理は、画像３１３に対して、涙の滴を表す補助画像３１５の重畳である。ここで補助画像３１５は感情特定部２０３で特定される悲しみの感情に関連付けられた画像であり、感情コンテンツ記憶部２０４に記憶されている。したがって、本出力形態では感情を表示する際に、基本となる画像と補助画像とを用いて画像処理を行い表示画像を生成するので、多数の感情を表現する自分や相手に対応付けた画像を予め個別に記憶部に保存しておく必要がなく、記憶部を有効に利用することができる。一方、画像処理を行った画像を記憶部に記憶しておいてもよく、この場合は画面表示する際に画像処理を行う必要がないので、画面表示を高速に行えるという効果がある。画像処理としては上記の補助画像の重畳以外にも、相手に対応付けた画像自体を変形させてもよい。たとえば怒りの感情を表現するために、相手に対応付けた画像が顔画像であれば、眉と目をつり上げるデフォルメや、顔の色を赤らめる色調補正などの画像処理がある。画像処理後の画像が感情を想起させる効果があるものであれば、画像処理の種類は問わない。
【０１５２】
感情の画面表示として、自分や相手に対応付けた画像を配列することによって、携帯電話機の使用者は、着信相手の氏名３０５の表示確認しなくても着信相手が誰であるかが視覚的に容易に認識できることに加え、履歴タイトル３０８、３０９を確認しなくても自分に対応付けた画像の時系列順の表示３１１と相手に対応付けた画像の時系列順の表示３１２との区別をすることができる。
【０１５３】
特に着信相手や自分に対応づける画像として、着信相手や自分の顔画像を用いると、感情をより明確に認識できる効果がある。また、会話を行う自分や相手の顔画像を用いると、通話後に会話の内容をより明確に想起することができる。
【０１５４】
上記のように着信相手に応じて対応付けた画像を着信表示に用いることで、着信相手毎に異なる画像を用いるので着信相手を視覚的に容易に識別することができる効果を有する。さらに、着信履歴から視覚的に通話内容を明確に想起することができる。また、着信相手により親しみを持つことが出来る。
【０１５５】
なお、第３および第４の出力形態と同様に画像表示を、自分だけの表示、相手だけの表示、自分と相手を合わせた会話全体の表示としてもよい。このとき得られる効果は上記の第６の実施形態の効果に加え、第３および第４の出力形態で記した効果である。
【０１５６】
（第４実施形態）
本発明の第４実施形態の携帯電話機では、携帯電話機１１における通話終了後の感情データ７０５と電話帳データ７０３との関連付けによる電話帳更新に関して説明する。
【０１５７】
電話帳データ７０３の登録者について、登録者に関連付けられた画像が記憶部７０に登録されているならば、感情通知動作指示部２０５は登録者に関連付けられた画像に対して、画像処理を行うよう画像処理部２０７に指示する。画像処理は、感情データ７０３に基づいて、登録者に関連付けられた元の画像に感情を関連付ける処理である。画像処理の種類としては、第３の実施形態の第６の出力形態と同様に、電話帳の登録者に関連付けられた画像に感情コンテンツ記憶部２０４に記憶されている補助画像を重畳するもの、登録画像をデフォルメするもの等があるが、画像処理後の画像が感情を想起させる効果があるものであれば、画像処理の種類は問わない。
【０１５８】
なお、電話帳に登録した画像の更新は、画面表示する都度行っても、通話後に更新を行い更新した画像データを記憶部に保存してもよい。通話後に更新を行うと、電話帳を画面表示する際に画像処理を行う必要がないので、画面表示を高速に行えるという効果がある。
【０１５９】
電話帳の登録者に関連付けられた画像には、記憶部に予め記憶されている画像や、撮像装置やデータ通信機能、外部記憶媒体によって取り込んだ画像を用いる。画像の種類としては、画像から登録者を想起しやすいものがよく、例えば登録者の顔画像が好適である。
【０１６０】
図３４は、登録者に関連付けられた画像として登録者の顔画像を登録した電話帳について、通常の電話帳の画面表示（Ａ）と、本実施形態の電話帳の画面表示（Ｂ）とを示したものである。図３４（Ａ）と図３４（Ｂ）との相違は、図３４（Ｂ）では登録者に関連付けられた画像が最新の通話で決定された感情に基づいて画像処理されて画面表示されている点である。例えば図３４（Ｂ）の登録者「野村」に対応する登録画像には、最後に通話を行った際の登録者の感情が悲しみとして決定されたので、悲しみに対応する画像処理が行われて、画面表示されている。
【０１６１】
このように電話帳登録者と通話を行った後、電話帳に電話番号や登録者の名前と併せて登録者に対応付けられている画像に対して最新の通話で決定された感情に基づいて画像処理を行い、更新することによって、携帯電話機の使用者が通話後に電話帳を画面表示して参照すると、電話帳登録者と感情とが視覚的に関連付けられて記憶が刺激され、電話帳登録者との前回の通話内容を容易に想起することができるという効果を有する。この効果は、通話履歴を画面表示して通話内容を想起できるのと同様である。また、携帯電話機の使用者が次回の発信前に電話帳を参照すると前回の通話内容が想起されるので、発信前に予め会話の内容を考えることができ、発信後効率よく会話を進めたり、スムーズに会話を行えるという効果も有する。
【産業上の利用可能性】
【０１６２】
本発明の情報処理端末は、音声を発した人の感情を直接的にリアルタイムに見せることで、表出したくない表情も直接相手に伝わることを別の表現手段によって表現することができ、また、後で振り返って通話状況の全体像を把握することができるという効果を奏し、声から推定したその声を発した人の感情を通知する情報処理端末に関して有用である。
【図面の簡単な説明】
【０１６３】
【図１】本発明の第１実施形態の携帯電話機の構成図
【図２】本発明の第１実施形態の携帯電話機による感情推定例
【図３】本発明の第１実施形態の携帯電話機の表示部の画像表示例
【図４】本発明の第１実施形態の携帯電話機のＬＥＤの点灯例
【図５】本発明の第１実施形態の携帯電話機の表示部に表示する画像のカテゴリ
【図６】本発明の第１実施形態の携帯電話機による処理の流れを示すフローチャート
【図７】本発明の第１実施形態の携帯電話機における通話履歴確認のフローチャート
【図８】本発明の第１実施形態の携帯電話機における表示部の通話履歴表示例
【図９】本発明の第１実施形態の携帯電話機における電話帳確認のフローチャート
【図１０】本発明の第１実施形態の携帯電話機における表示部の電話帳表示例
【図１１】本発明の第１実施形態の携帯電話機におけるスケジューラ確認のフローチャート
【図１２】本発明の第１実施形態の携帯電話機における表示部のスケジューラ表示例
【図１３】本発明の第２実施形態の携帯電話機を含むシステムの構成図
【図１４】本発明の第１実施形態の携帯電話機の別例の構成図
【図１５】本発明の第１実施形態の携帯電話機による処理の流れの別例を示すフローチャート
【図１６】本発明の第３実施形態の携帯電話機の構成図
【図１７】本発明の第３実施形態の携帯電話機による、携帯電話機使用者による感情推定およびその推定結果表示の初期設定のためのフローチャート
【図１８】本発明の第３実施形態の携帯電話機による通話中の感情特定の手順を示すフローチャート
【図１９】本発明の第３実施形態の携帯電話機による通話終了後の感情決定の手順を示すフローチャート
【図２０】感情特定部が出力する感情種類毎の感情の強弱を、単位時間の時系列で連続的に表したグラフ
【図２１】図２５のグラフを数値化した表
【図２２】図２６で示した単位時間の感情パラメータを、時間分割帯にくくり直して再計算する例
【図２３】特徴的感情データを表示部に図的に表示する際のアイコンの表示例
【図２４】特徴的感情データをＬＥＤに出力する際の発光色の例
【図２５】感情の強度に対応するＬＥＤ発光（点滅）パターンの例
【図２６】本発明の第３実施形態の携帯電話機の表示部３０に着信履歴一覧を表示した例
【図２７】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した例
【図２８】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図２９】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３０】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３１】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３２】本発明の第３実施形態の携帯電話機の表示部３０に通話結果を表示した第２の出力形態の別の例
【図３３】着信相手に対応付けられた画像 （Ａ）は画像処理前の画像、（Ｂ）は画像処理後の画像
【図３４】登録者に関連付けられた画像として登録者の顔画像を登録した電話帳による画面表示例 （Ａ）通常の電話帳の画面表示（Ａ）、（Ｂ）第３実施形態の携帯電話機による電話帳の画面表示（Ｂ）
【符号の説明】
【０１６４】
１、１１ 携帯電話機
１０ 通話装置
１０１ 通信部
１０２ 音声信号出力部
１０３ スピーカ
１０４ マイク
１０５ ガイダンス音記憶部
１０６音声記憶部
２ 感情コンテンツ記憶サーバ
２０ 感情通知装置
２０１ 感情推定部
２０２ 感情蓄積部
２０３ 感情特定部
２０４ 感情コンテンツ記憶部
２０５ 感情通知動作指示部
２０６ 感情コンテンツ取得部
３０ 表示部
４０ ＬＥＤ
５０ バイブレーション
６０ メール送信部
７０ 記憶部
８０ スピーカ
９０ 香り発生装置
９５ 入力操作部
【特許請求の範囲】
【請求項１】
音声を入力する音声入力手段と、
前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、
各種情報を通知する通知手段とを備える情報処理端末であって、
前記通知手段は、前記パラメータ生成手段により生成したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項２】
請求項１記載の情報処理端末であって、
データを記憶する記憶手段を備え、
前記記憶手段は、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項３】
請求項２記載の情報処理端末であって、
前記記憶手段は、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項４】
請求項１〜３のいずれか１項に記載の情報処理端末であって、
通話を行う通話手段を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力する情報処理端末。
【請求項５】
請求項１記載の情報処理端末であって、
データを記憶する記憶手段と、
通話を行う通話手段と、を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力し、
前記記憶手段は、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項６】
請求項５記載の情報処理端末であって、
前記通知手段は、前記通話手段による通話終了後、前記感情についての情報を通知する情報処理端末。
【請求項７】
請求項５または６記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、
前記表示手段は、通話履歴を表示する場合に、前記通話履歴中の各通話項目毎に、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項８】
請求項５または６記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、
前記表示手段は、前記記憶手段に記憶したパラメータに対応する感情のうちの特定のパラメータに対応する感情についての情報を、時系列に沿って表示する情報処理端末。
【請求項９】
請求項５から８のいずれか１項に記載の情報処理端末であって、
前記通知手段は、前記記憶手段に記憶したパラメータに対応する、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を通知する情報処理端末。
【請求項１０】
請求項９記載の情報処理端末であって、
前記記憶手段は、顔画像情報を当該顔画像を撮像された者と対応付けて記憶し、
前記通知手段は、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を、前記記憶手段から読み出した当該通話者の顔画像を画像処理して通知する情報処理端末。
【請求項１１】
請求項１記載の情報処理端末であって、
前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定手段を備え、
前記通知手段は、前記特定した感情についての情報を通知する情報処理端末。
【請求項１２】
請求項１１記載の情報処理端末であって、
データを記憶する記憶手段を備え、
前記記憶手段は、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記感情特定手段は、前記記憶したパラメータの内の、特徴的なパラメータで表された感情を特定する情報処理端末。
【請求項１３】
請求項１１または１２記載の情報処理端末であって、
通話を行う通話手段を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力する情報処理端末。
【請求項１４】
請求項１３記載の情報処理端末であって、
前記通話手段による通話時の音声を録音する音声録音手段を備え、
前記音声入力手段は、前記音声録音手段により録音した音声を入力する情報処理端末。
【請求項１５】
請求項１３または１４記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を各通話毎に記憶し、
前記表示手段は、通話履歴を表示する場合に、前記通話履歴に合わせて前記特定した感情についての情報を表示する情報処理端末。
【請求項１６】
請求項１５記載の情報処理端末であって、
前記記憶手段は、前記特定した感情を反映している一部の音声を記憶し、
前記表示手段は、前記通話履歴に合わせて前記特定した感情と同一時刻の前記一部の音声の有無を表示する情報処理端末。
【請求項１７】
請求項１３または１４記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を通話者毎に記憶し、
前記表示手段は、前記記憶手段に記憶した通話者の個人情報を表示する場合に、前記個人情報に合わせて前記特定した感情についての情報を表示する情報処理端末。
【請求項１８】
請求項１３または１４記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を通話した日付に対応させて記憶し、
前記表示手段は、カレンダを表示する場合に、前記カレンダの日付に合わせて前記特定した感情についての情報を表示する情報処理端末。
【請求項１９】
請求項１１から１８いずれかに記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、感情に対応する画像を記憶し、
前記表示手段は、前記記憶手段から読み出された、前記特定した感情に対応する画像を表示する情報処理端末。
【請求項２０】
請求項１９記載の情報処理端末であって、
前記記憶手段は、前記感情特定手段により特定される感情の出現頻度を記憶し、
前記表示手段は、前記感情の出現頻度に応じて前記記憶手段から読み出された、前記特定した感情に対応する画像を表示する情報処理端末。
【請求項２１】
請求項１１から１８いずれかに記載の情報処理端末であって、
前記通知手段は、各種情報を点灯により通知する点灯手段を含み、
前記記憶手段は、感情に対応する色を記憶し、
前記点灯手段は、前記記憶手段から読み出された、前記特定した感情に対応する色で点灯する情報処理端末。
【請求項２２】
請求項１１から１８いずれかに記載の情報処理端末であって、
前記通知手段は、各種情報を振動により通知するバイブレーション手段を含み、
前記記憶手段は、感情に対応する振動数または振動の強さを記憶し、
前記バイブレーション手段は、前記記憶手段から読み出された、前記特定した感情に対応する振動数または振動の強さで振動する情報処理端末。
【請求項２３】
請求項１９または２０記載の情報処理端末であって、
感情に対応する画像を記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する画像を記憶する情報処理端末。
【請求項２４】
請求項２１記載の情報処理端末であって、
感情に対応する色を記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する色を記憶する情報処理端末。
【請求項２５】
請求項２２記載の情報処理端末であって、
感情に対応する振動数または振動の強さを記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する振動数または振動の強さを記憶する情報処理端末。
【請求項２６】
請求項１２から２５いずれかに記載の情報処理端末であって、
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、パラメータの数値が最も高い感情を特定する情報処理端末。
【請求項２７】
請求項１２から２５いずれかに記載の情報処理端末であって、
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、前記音声の開始から終了にかけて生成したパラメータの数値の合計が最も高い感情を特定する情報処理端末。
【請求項２８】
請求項１２から２５いずれかに記載の情報処理端末であって、
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、前記音声の終了前に生成したパラメータの数値が最も高い感情を特定する情報処理端末。
【請求項２９】
請求項１１から２８いずれかに記載の情報処理端末であって、
他情報処理端末に前記特定した感情を送信する送信手段を備える情報処理装置。
【請求項１】
音声を入力する音声入力手段と、
前記入力した音声から、感情のパラメータを生成するパラメータ生成手段と、
各種情報を通知する通知手段とを備える情報処理端末であって、
前記通知手段は、前記パラメータ生成手段により生成したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項２】
請求項１記載の情報処理端末であって、
データを記憶する記憶手段を備え、
前記記憶手段は、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項３】
請求項２記載の情報処理端末であって、
前記記憶手段は、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項４】
請求項１〜３のいずれか１項に記載の情報処理端末であって、
通話を行う通話手段を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力する情報処理端末。
【請求項５】
請求項１記載の情報処理端末であって、
データを記憶する記憶手段と、
通話を行う通話手段と、を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力し、
前記記憶手段は、前記パラメータ生成手段が感情のパラメータを生成する順序に対応させて、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記通知手段は、前記順序に基づいて、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項６】
請求項５記載の情報処理端末であって、
前記通知手段は、前記通話手段による通話終了後、前記感情についての情報を通知する情報処理端末。
【請求項７】
請求項５または６記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、
前記表示手段は、通話履歴を表示する場合に、前記通話履歴中の各通話項目毎に、前記記憶手段に記憶したパラメータに対応する感情についての情報を通知する情報処理端末。
【請求項８】
請求項５または６記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記通話手段による各通話毎に、前記感情のパラメータを記憶し、
前記表示手段は、前記記憶手段に記憶したパラメータに対応する感情のうちの特定のパラメータに対応する感情についての情報を、時系列に沿って表示する情報処理端末。
【請求項９】
請求項５から８のいずれか１項に記載の情報処理端末であって、
前記通知手段は、前記記憶手段に記憶したパラメータに対応する、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を通知する情報処理端末。
【請求項１０】
請求項９記載の情報処理端末であって、
前記記憶手段は、顔画像情報を当該顔画像を撮像された者と対応付けて記憶し、
前記通知手段は、各通話者毎、前記通話者のうちの一方、または両通話者全体の感情についての情報を、前記記憶手段から読み出した当該通話者の顔画像を画像処理して通知する情報処理端末。
【請求項１１】
請求項１記載の情報処理端末であって、
前記生成したパラメータの内の、特徴的なパラメータで表された感情を特定する感情特定手段を備え、
前記通知手段は、前記特定した感情についての情報を通知する情報処理端末。
【請求項１２】
請求項１１記載の情報処理端末であって、
データを記憶する記憶手段を備え、
前記記憶手段は、前記パラメータ生成手段により生成した感情のパラメータを記憶し、
前記感情特定手段は、前記記憶したパラメータの内の、特徴的なパラメータで表された感情を特定する情報処理端末。
【請求項１３】
請求項１１または１２記載の情報処理端末であって、
通話を行う通話手段を備え、
前記音声入力手段は、前記通話手段による通話時の音声を入力する情報処理端末。
【請求項１４】
請求項１３記載の情報処理端末であって、
前記通話手段による通話時の音声を録音する音声録音手段を備え、
前記音声入力手段は、前記音声録音手段により録音した音声を入力する情報処理端末。
【請求項１５】
請求項１３または１４記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を各通話毎に記憶し、
前記表示手段は、通話履歴を表示する場合に、前記通話履歴に合わせて前記特定した感情についての情報を表示する情報処理端末。
【請求項１６】
請求項１５記載の情報処理端末であって、
前記記憶手段は、前記特定した感情を反映している一部の音声を記憶し、
前記表示手段は、前記通話履歴に合わせて前記特定した感情と同一時刻の前記一部の音声の有無を表示する情報処理端末。
【請求項１７】
請求項１３または１４記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を通話者毎に記憶し、
前記表示手段は、前記記憶手段に記憶した通話者の個人情報を表示する場合に、前記個人情報に合わせて前記特定した感情についての情報を表示する情報処理端末。
【請求項１８】
請求項１３または１４記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、前記特定した感情を通話した日付に対応させて記憶し、
前記表示手段は、カレンダを表示する場合に、前記カレンダの日付に合わせて前記特定した感情についての情報を表示する情報処理端末。
【請求項１９】
請求項１１から１８いずれかに記載の情報処理端末であって、
前記通知手段は、各種情報を表示する表示手段を含み、
前記記憶手段は、感情に対応する画像を記憶し、
前記表示手段は、前記記憶手段から読み出された、前記特定した感情に対応する画像を表示する情報処理端末。
【請求項２０】
請求項１９記載の情報処理端末であって、
前記記憶手段は、前記感情特定手段により特定される感情の出現頻度を記憶し、
前記表示手段は、前記感情の出現頻度に応じて前記記憶手段から読み出された、前記特定した感情に対応する画像を表示する情報処理端末。
【請求項２１】
請求項１１から１８いずれかに記載の情報処理端末であって、
前記通知手段は、各種情報を点灯により通知する点灯手段を含み、
前記記憶手段は、感情に対応する色を記憶し、
前記点灯手段は、前記記憶手段から読み出された、前記特定した感情に対応する色で点灯する情報処理端末。
【請求項２２】
請求項１１から１８いずれかに記載の情報処理端末であって、
前記通知手段は、各種情報を振動により通知するバイブレーション手段を含み、
前記記憶手段は、感情に対応する振動数または振動の強さを記憶し、
前記バイブレーション手段は、前記記憶手段から読み出された、前記特定した感情に対応する振動数または振動の強さで振動する情報処理端末。
【請求項２３】
請求項１９または２０記載の情報処理端末であって、
感情に対応する画像を記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する画像を記憶する情報処理端末。
【請求項２４】
請求項２１記載の情報処理端末であって、
感情に対応する色を記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する色を記憶する情報処理端末。
【請求項２５】
請求項２２記載の情報処理端末であって、
感情に対応する振動数または振動の強さを記録したサーバからデータを受信する受信手段を備え、
前記記憶手段は、前記受信した感情に対応する振動数または振動の強さを記憶する情報処理端末。
【請求項２６】
請求項１２から２５いずれかに記載の情報処理端末であって、
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、パラメータの数値が最も高い感情を特定する情報処理端末。
【請求項２７】
請求項１２から２５いずれかに記載の情報処理端末であって、
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、前記音声の開始から終了にかけて生成したパラメータの数値の合計が最も高い感情を特定する情報処理端末。
【請求項２８】
請求項１２から２５いずれかに記載の情報処理端末であって、
前記感情特定手段は、前記記憶手段により記憶した感情のパラメータの内、前記音声の終了前に生成したパラメータの数値が最も高い感情を特定する情報処理端末。
【請求項２９】
請求項１１から２８いずれかに記載の情報処理端末であって、
他情報処理端末に前記特定した感情を送信する送信手段を備える情報処理装置。
【図１５】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２００６−１０６７１１（Ｐ２００６−１０６７１１Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００５−２５７１１７（Ｐ２００５−２５７１１７）
【出願日】平成１７年９月５日（２００５．９．５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１７年９月５日（２００５．９．５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]