携帯端末装置
【課題】通話中にユーザーが予め定めた効果を出力する携帯端末装置を提供することを目的としている。
【解決手段】効果パターン管理部にあらかじめキーワード、音声パワーの変動やピッチの揺れなどの各パラメータに対応した効果を定義し、効果パターンデータベースに保存しておく。通話データについて、音声認識や感情推定などを用いた解析手段にて分析を行い、特定のキーワードや音声パワー変動やピッチの揺れなどを検出する。そして、検出した特定のキーワード等を効果パターンと照合して一致した場合、あらかじめ設定された効果が発せられ、データ音声化部において音声化してスピーカへ送出して、効果を付けた音声データの鳴動を行う。
【解決手段】効果パターン管理部にあらかじめキーワード、音声パワーの変動やピッチの揺れなどの各パラメータに対応した効果を定義し、効果パターンデータベースに保存しておく。通話データについて、音声認識や感情推定などを用いた解析手段にて分析を行い、特定のキーワードや音声パワー変動やピッチの揺れなどを検出する。そして、検出した特定のキーワード等を効果パターンと照合して一致した場合、あらかじめ設定された効果が発せられ、データ音声化部において音声化してスピーカへ送出して、効果を付けた音声データの鳴動を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通話中にユーザーの希望する効果を付加して出力する機能を持たせた携帯端末装置、特に通話中にユーザーの希望する効果音、背景音または効果画像などの効果を、自端末に出力する音声または画像の少なくともどちらかに付加して出力する機能を持たせた携帯端末装置、および、通話中にユーザーの希望する効果音、背景音または効果画像などの効果を、相手側端末に送信する音声または画像の少なくともどちらかに付加して送信する機能を持たせた携帯端末装置に関する。
【背景技術】
【０００２】
携帯端末装置である携帯電話が広範囲に普及し、既に人々の生活に欠かせないものとなっている。そして、携帯端末装置の高性能化、多機能化が着々と進んでいる。とりわけ、着信音メロディ等の、ユーザーが任意に着信音を設定できる機能は多くの支持を得ており、近年では着信音の出力のために高性能な音源チップを実装した携帯端末装置が実用化されている。そればかりでなく、通話の娯楽性をより高めるために任意のサウンドエフェクト機能を発揮することを目的として、通話中にキーボタンを利用した効果音または背景音の出力機能を持つ携帯端末装置も提案されている（例えば、特許文献１参照）。
【０００３】
図１３に従来の携帯端末装置を示す。図１３には、複数のキーボタンを有するキーボタン部１８０と、複数のキーボタン情報と通話中に相手側端末に送信する効果音または背景音が貯蔵されている貯蔵部１１０と、上記キーボタンに対応する効果音または背景音を出力するキートーン出力部１４２と、信号処理を行う送信側信号処理部１６０と、上記キーボタン部１８０から入力されるキーボタン選択信号に応じて効果音または背景音を上記貯蔵部１１０から読み込んで上記キートーン出力部１４２に出力し、更に上記送信側信号処理部１６０を通して出力される効果音または背景音を所定のチャンネルを通して転送するメインコントローラ１７０を含む構成が示されている。上記従来の携帯端末装置では、通話中にキーボタン部１８０のいずれかのキーボタンを押すと、キーボタンに対応する効果音または背景音を通話音声に付加して無線通信部１３０により、サーバー３００を経由して相手側端末に送信することができる。
【特許文献１】特開２００４−３１２６６２号公報（第１ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記従来の携帯端末装置では、効果音を発するためのキーボタンの操作が煩わしい。通話時は操作部が見えないので、タイミングよく適切なキーボタンを選んで希望する効果音を付与することが困難である。操作を間違うこともあり、その場にそぐわない効果音が付与されることもあるという問題点があった。本発明は、通話中にユーザーが希望する効果をキーボタン操作をすることなく自動的に付加して、自端末に出力する、あるいは相手側端末に送信するようにした携帯端末装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
以上の課題を解決すべく、本発明では、通話データを解析する解析手段と、解析した解析結果と照合する効果パターンと効果パターンに関連付けた効果を蓄積した効果パターンデータベースと、効果パターンの出力を管理する効果パターン管理手段と、解析した解析結果と効果パターンとを照合する解析照合手段と、音声または画像の少なくともどちらかに効果を付加する合成手段とを設け、解析手段で解析した解析結果と効果パターン管理手段で出力を管理している効果パターンを解析照合手段で照合し、適合した効果パターンに関連付けた効果を音声または画像の少なくともどちらかに付加して自端末に出力、または相手側端末に送信するよう携帯端末装置を構成している。
【発明の効果】
【０００６】
この構成により、効果パターンデータベースにユーザーの好みの効果を予め割り付けておくことができ、通話中に通話音声から特定のパラメータを検出して、検出したパラメータのパターンに応じた効果を付加して自端末に出力する、あるいは相手側端末に送信することで効果を自分または相手方に聞かせることを可能としている。
【０００７】
また、本発明は、適合した効果パターンに関連付けてある効果、または適合した効果パターンに関連付けてある効果を識別する識別情報を記憶する記憶手段をさらに設け、解析手段が通話データから一定時間の無音区間を検出したとき、前記記憶手段に記憶されている前記効果、または前記識別情報が示す効果を、前記音声または前記画像の少なくともどちらかに付加する合成手段を備えた構成を有する。
【０００８】
この構成により、無音区間を有効的に活用することができ、会話中に効果が音声または画像に頻繁に付加されることを防止し、ユーザーの会話に対する集中を阻害せずに効果を出力することを可能としている。
【０００９】
また、通話中に、携帯端末装置の表示手段に表示する画像に効果画像を合成する画像合成手段を更に設けたことにより、視覚的な効果を出力することを可能としている。
【００１０】
さらに本発明は、解析手段を音声認識手段を有する解析手段としたことにより、通話音声から特定のキーワードを検出して、検出したキーワードに対応する効果を出力することを可能としている。
【００１１】
さらに本発明は、解析手段を感情推定手段を有する解析手段としたことにより、音声パワー変動やピッチの揺れなどを抽出し、感情パターンを検出して、検出した感情パターンに対応する効果を出力することもできる。
【発明を実施するための最良の形態】
【００１２】
（実施の形態１）
以下、本発明の第１の実施の形態を、図面を参照して説明する。本実施形態に係る携帯端末装置１００は、携帯電話端末やＰＨＳ端末等の通信機能に加えて、通話中に効果音を付加して自端末に出力することができるように構成してある。効果音の例としては、種々のＢＧＭ（Ｂａｃｋ Ｇｒｏｕｎｄ Ｍｕｓｉｃ）や駅や道路や公園などの環境音、掛け声や合いの手等の人の声、拍手や歓声、動物の鳴き声、著名人の声やユーザーが予め録音した音声、若しくは声以外の音である電子音、機械音、その他を挙げることができる。それ以外に通話音声に対して、繰り返しや、テンポやトーンなどを変調した音などがあげられる。
【００１３】
図１は、本発明における携帯端末装置１００の構成を表すブロック図である。携帯端末装置１００は、相手側端末から音声データを受信する無線部４と、受信した音声データのパターンを解析する解析手段としての音声解析部８と、あらかじめ効果パターンと効果パターンに関連付けた効果を貯蔵しておいた効果パターンデータベース１０と、効果パターンの出力を管理する効果パターン管理部９と、解析結果と効果パターンを照合する解析照合部７と、効果パターンに対応する効果を音声化するデータ音声化部６と、相手側端末から受信した通話音声と効果パターンに対応する効果を音声化したデータを合成する音声合成部５と、合成した音声データをスピーカに送出する制御部１、ユーザーからの操作を受け付ける操作部２、音声データの鳴動を行うスピーカ３等からなる。
【００１４】
ここで、通話中とは、ユーザーが使用する携帯端末装置１００と相手方の携帯端末装置（以下、相手側端末という）とが電気通信回線を介して通話可能に接続している状態を言う。効果音とは、通話中にマイクを介してリアルタイムに入力される音声信号以外の音声全般を意味する。よって、肉声を録音したものであることもある。携帯端末装置１００とは、複数の人の間で会話を可能とするべく電気通信回線を介して通信を行い得る機器をおしなべて包含する概念である。
【００１５】
携帯端末装置１００では、あらかじめ、音声認識したキーワード、音声パワーの変動やピッチの揺れなどの各パラメータのパターンに対応した効果を定義し、定義した対応関係を効果パターンデータベース１０に保存してある。図２に効果パターンデータベース１０の記憶領域に記憶されているデータ構成の一例を示す。図２に示すように、効果パターンデータベース１０の記憶領域には、効果パターン９０と、効果パターン９０に関連付けた効果９１が一組のデータとして複数組記憶されている。効果パターンデータベース１０の効果パターン９０と効果９１は、効果パターン管理部９によって出力を管理されており、携帯端末装置１００の動作に応じて解析照合部７にそれぞれ出力される。すなわち、効果パターン９０は、解析結果と効果パターンを照合する際に解析照合部７に順次出力される。そして効果９１は、解析結果と効果パターンが適合したときに、適合した効果パターンに関連付けてある効果が特定され、解析照合部７に出力される。
【００１６】
なお、効果パターンデータベース１０には多数の効果パターンが保存され、定義された一つの効果パターンが、複数の組み合わせであることも考えられる。効果パターンは、例えば、電気通信回線を介してダウンロードしたり、図示しないマイクを介して予め録音しておいたりすることで、効果パターンデータベース１０に格納される。
【００１７】
図３に本発明の携帯端末装置１００の通話音声を解析し効果を付加する時の動作を説明するフローチャートを示す。図３において、携帯端末装置１００が音声通話の発信側である相手側端末と音声通話を開始すると（ステップ２０１）、相手の声とまわりの音の音声データを受信する（ステップ２０２）。そして、音声解析部８が音声データに含まれる各種のパラメータを解析する（ステップ２０３）。解析結果がでると、効果パターン管理部９が効果パターン９０を順次出力し、解析照合部７が解析結果であるパラメータのパターンを効果パターンと照合する（ステップ２０４）。解析照合部７において、効果パターンと照合して一致した場合、一致した効果パターンの効果９１が出力されるべき効果として特定される（ステップ２０６）。効果パターン管理部９は、特定された効果９１を解析照合部７を経由してデータ音声化部６へ出力し、データ音声化部６は効果９１を音声化する（ステップ２０７）。その後、音声合成部５において、相手側端末から受信した音声データと、効果９１を音声化したデータを合成する（ステップ２０８）。そして、制御部１により、スピーカ３へ送出し、効果を付加した音声データの鳴動を行う（ステップ２０９）。もしステップ２０４で、効果パターンデータベースにある効果パターンと音声データのパラメータのパターンを照合しても一致しない場合、特別な処理なしで（ステップ２０５）、通常の音声データをそのまま発する（ステップ２０９）。
【００１８】
（実施の形態２）
次に、本発明の第２の実施の形態にかかる携帯端末装置について説明する。本発明の第２の実施の形態にかかる携帯端末装置２００は、既に実施の形態１で説明した図１の音声解析部８に音声認識部８２を追加して、解析手段である音声解析部８１を音声認識手段を有する解析手段として構成している。図４に本発明の第２の実施の形態にかかる携帯端末装置２００のブロック図を示す。
【００１９】
以下、音声認識手段を有する解析手段を用いた本発明の第２の実施の形態にかかる携帯端末装置の動作について説明する。図５はすでに説明した図３のフローチャート中のステップ２０３とステップ２０４に関して、音声データ解析の際に音声認識手段による解析動作を加えた場合のフローチャートである。以下、図面を参照して、本実施の形態における通話音声解析時の音声認識手段による解析動作を説明する。
【００２０】
図５において、相手側端末より受信した音声データから、音声認識部８２を有する音声解析部８１により、キーワードといったようなパラメータのパターンを抽出する（ステップ３０３）。例えば、「へー」というキーワードについて、効果パターンデータベース１０にキーワード「へー」と対応して効果「へーへーへーへーへー」があらかじめ保存されているときには（ステップ２０４）、音声認識部８２を有する音声解析部８１により、「へー」というキーワードが検出されたら、解析照合部７で「照合あり」とされ、キーワード「へー」に対応した効果「へーへーへーへーへー」が特定される（ステップ２０６）。同じように、効果パターン管理部９が出力を管理している効果パターンデータベース１０において、キーワード「あっ」と対応して効果「あっあっあっ…」が保存されていれば、音声データにキーワード「あっ」があって、解析照合部７で効果パターンデータベース１０と照合できれば、キーワード「あっ」に対応する効果が特定され（ステップ２０６）、効果パターンに対応する効果「あっあっあっ…」を音声化する（ステップ２０７）。その後、効果「あっあっあっ…」を音声化したデータを合成する（ステップ２０８）。そして、音声データの鳴動を行う（ステップ２０９）。もしステップ２０４で、効果パターンデータベース１０にある効果パターン９０と音声データのキーワードが一致しない場合、特別な処理なしで（ステップ２０５）、通常の音声データをそのまま発する（ステップ２０９）。
【００２１】
（実施の形態３）
次に、本発明の第３の実施の形態にかかる携帯端末装置について説明する。本発明の第３の実施の形態にかかる携帯端末装置は、すでに実施の形態２にて説明した図４の音声認識部８２を感情推定手段と置き換えたものであり、音声解析部を感情推定手段を有する解析手段として構成している。なお、他の構成は図４と同じなので、ブロック図は省略する。
【００２２】
以下、感情推定手段を有する解析手段を用いた本発明の第３の実施の形態にかかる携帯端末装置の動作について説明する。図６は、すでに説明した図３のフローチャートの中のステップ２０３とステップ２０４に関して、音声データ解析の際に感情推定手段による解析動作を加えた場合のフローチャートである。以下、図面を参照して、本実施の形態にお
ける通話音声解析時の感情推定手段による解析動作を説明する。
【００２３】
図６において、感情推定手段が相手側端末より受信した音声データから声の大きさと長さを表す音声パワー変動というパラメータや、周波数の変動を表すピッチのゆれというパラメータなどを抽出して感情パターンを検出する（ステップ４０３）。例えば、音声データには「わははは」という感情パターンがある場合、しかも効果パターンデータベース１０に「わははは」と対応して会場がどっとわくような効果があらかじめ保存されているときには、音声解析部の感情推定手段により、「わははは」という感情パターンが検出されたら、処理を続行し、それに応じた会場がどっとわくような効果が発せられる。もし感情パターンがない場合、または感情パターンに対応する効果パターンがない場合、特別な処理がなく、音声データをそのまま発せられる。
【００２４】
同じように、効果パターンデータベース１０において、一定時間以上の無音区間と対応して効果「ざわざわざわ」が保存されれば、効果「ざわざわざわ」が音声化される。一定時間以上の無音区間がないときは、通常の処理が行われる。また、「そうそう」「だよね」あるいは「Ｙｅ ａ ｈ 」「Ｈ ｅ ｙ 」その他の合いの手、ラップの掛け合い等の人声など、ユーザーにより創作されたデータも効果として採用し、より多くのパラメータ及び大量の効果パターンを有することもできる。そして、複数の効果パターン管理部９及びその中にある効果パターンデータベース１０を設けてもよい。
【００２５】
（実施の形態４）
次に、本発明の第４の実施の形態にかかる携帯端末装置について説明する。本発明の第４の実施の形態は、携帯端末装置をテレビ電話として、音声データの効果を出力するのみならず、通話中に画像の効果が見られるようにしている。図７に通話中に音声と画像が同時に送られる携帯端末装置３００のブロック図を示す。携帯端末装置３００では、音声合成部５とは別に画像合成部１１が設置されており、効果パターンデータベース２０には画像に対応する効果パターンも貯蔵されている。画像合成部１１には、無線部４で受信した画像データが画像処理部９３で処理されて出力される。また、カメラ９２で撮影した画像も画像処理部９３で処理されて画像合成部１１に出力される。
【００２６】
携帯端末装置３００の解析照合部７で音声データのパターンと効果パターンが一致すると、効果パターンに対応する画像が効果パターンデータベース２０から読み出され、効果パターン管理部９、解析照合部７を経由して、画像合成部１１に出力される。画像合成部１１は受信した画像データあるいはカメラ９２で撮影した画像と、一致した効果パターンに対応する画像とを合成する。制御部１には表示部１２を接続しているので、合成した画像は表示部１２に表示される。
【００２７】
例えば、テレビ電話の表示部に受信した通話相手の画像を表示している際、受信した音声データを解析し、「だめじゃん」というキーワードが検出され、しかも効果パターンデータベース２０において、「だめじゃん」と対応して「すいません」という文字が表示画面の上から降りてくるという効果が効果パターンとして保存されていたとする。照合により音声データの解析結果と効果パターンが一致した場合は、画像合成部１１において、この効果パターンに対応する効果を画像に合成する。このことにより、表示部１２において、通話している相手本人の映像が表示されると同時に、画面の上端から「すいません」という文字が降りてくる。「だめじゃん」と怒っている通話相手の顔の上方から、返事すべき台詞として「すいません」の文字が降りてくれば、その文字を読むことで「すいません。」と素直に答えることができる。なお、一致しない場合は、効果が出力されない通常の処理が行われる。
【００２８】
なお、図７のテレビ電話ではテレビ電話で話している自分の顔をカメラ９２で撮影して、表示部１２の画面を分割して表示することにより、通話相手の顔を表示すると同時に自分の顔も表示することができるようにしている。そのため、受信した通話相手の音声データを解析して付加する効果画像を通話相手の画像に合成して表示し、送信する自分の音声データを解析して付加する効果画像を自分の画像に合成して表示するようにすると、それぞれが話した音声内容をそれぞれの画像の上に文字画像として強調して示すことができる。例えば「わははは」と相手が笑えば、笑った通話相手の画像に「わははは」という文字が表示され、「ホホホホ」と自分が笑えば「ホホホホ」という文字が自分の画像に表示される。
【００２９】
（実施の形態５）
以上、受信した相手の音声に効果を付加して、自端末に出力する実施の形態を説明したが、本発明の第５の実施の形態として、自分の音声に効果を付加して相手側端末に送信するようにした携帯端末装置について説明する。図８に自端末から発した音声に対して効果を出す場合の本発明の第５の実施の形態にかかる携帯端末装置４００のブロック図を示す。
【００３０】
本実施の形態によれば、自端末のマイク１５０に発せられた通話音声である音声データ
を解析手段である音声解析部８で解析してパラメータを抽出し、抽出したパラメータのパターンを解析し、解析したパターンと効果パターンを解析照合部７で照合して、一致した場合、効果パターンに対応する効果をデータ音声化部６で音声化し、音声合成部５で通話音声と合成することにより、自分の音声に効果を付加して、制御部１の制御のもと、無線部４より出力する。このことにより、自分の音声に自動的に効果を付加して送信し、相手側端末に出力することができる。
【００３１】
（実施の形態６）
次に、本発明の第６の実施の形態における携帯端末装置について説明する。本発明の第６の実施の形態では、上記第１〜第５の実施の形態で述べた解析照合部７で照合して一致する度に効果を付加するものではなく、会話が途切れたときに効果を付加する動作を特徴とする携帯端末装置について説明する。
【００３２】
図９は、本発明の第６の実施の形態における携帯端末装置５００のブロック図を示す。
【００３３】
図９はすでに第２の実施の形態にて説明した図４の構成に加えて、記憶部１３を備えた構成を有する。記憶部１３は、携帯端末装置が標準的に備えている汎用的なメモリであって、解析照合部７で解析結果と効果パターンとが一致したときに、効果パターン管理部９から出力される効果を識別する識別情報（例として、識別番号とする）を記憶する。
【００３４】
図１０は、本発明の第６の実施の形態における携帯端末装置５００を構成する効果パターンデータベース３０の記憶領域に記憶されているデータ構成の一例を示す図である。
【００３５】
図示したように、効果パターンデータベース３０は、識別番号３１、効果パターン９０および効果９１が一組のデータとして複数組記憶されている。ここで、効果パターン９０が一定時間以上の無音区間の場合、効果９１として、記憶部１３に記憶されている効果を読み出すよう示している。
【００３６】
図１１は、本発明の第６の実施の形態における携帯端末装置５００の処理フローを示すフローチャートである。なお、本処理フローは、すでに第２の実施の形態にて説明した図５の処理フローに、適合した効果パターンに関連付けてある効果を識別する識別番号３１を保存するステップ（ステップ５０１）と、会話が途切れたことを判定するステップ（ステップ５０２）とを加えたものである。
【００３７】
図１１のステップ２０２において、相手側端末より受信した音声データが「へー、そうなんだ、わははは、（一定時間の無音区間）」である場合を例として、以下に携帯端末装置５００の処理フローを説明する。
【００３８】
まず、携帯端末装置５００は、音声通話の発信側である相手側端末と音声通話を開始し（ステップ２０１）、通話中に相手側端末より発信された音声データ「へー、そうなんだ、わははは、（一定時間の無音区間）」を受信する（ステップ２０２）。
【００３９】
次に、音声認識部８２を有する音声解析部８１により、音声データからキーワードといったようなパラメータのパターンを抽出する（ステップ２０３）。ここでは、音声解析部８１は、「へー」、「そうなんだ」、「わははは」および「（一定時間の無音区間）」の４つのパターンを抽出し（ステップ３０３）、順次、解析照合部７に出力する。
【００４０】
次に、解析照合部７は、解析結果であるパターンと、効果パターンデータベース３０の効果パターン９０とを照合する（ステップ２０４）。
【００４１】
解析照合部７において、解析結果であるパターンと効果パターン９０とを照合して一致した場合、一致した効果パターンが一定時間の無音区間であるか否かを判定する（ステップ５０２）。なお、無音区間であるか否かの判定は、ステップ２０３における音声データの解析時に、無音部分の継続時間を計測するタイマー（図示せず）を設定し、その経過時間に基づいて判定させてもよいし、第３の実施の形態で説明した、効果パターンデータベース１０による無音区間選択の処理を用いてもよい。
【００４２】
一方、解析照合部７において、解析結果であるパターンと効果パターン９０とが一致しない場合、特別な処理なしで（ステップ２０５）、通常の音声データをそのまま発する（ステップ２０９）。
【００４３】
次に、解析照合部７は、一致した効果パターン９０が一定時間の無音区間でないと判定した場合、一致した効果９１を出力すべき効果として特定し（ステップ２０６）、効果パターンデータベース３０から、一致した効果パターンに対応する識別番号３１と順番を対応させて順次、記憶部１３に保存する（ステップ５０１）。そして、一致した効果パターンが一定時間の無音区間であるまで、ステップ２０２、ステップ２０３、ステップ３０３、ステップ２０４、ステップ５０２、ステップ２０６およびステップ５０１の処理を繰り返し行う。
【００４４】
ここで、図１２に記憶部１３に記憶されるデータ構成の一例を示す。記憶部１３は、図１２に示すように、左の列に記憶する順番１２１が、順に「１」、「２」というように並び、右の列に順番１２１に対応する識別番号が順次記憶される。図１２では、相手側端末より受信した音声データが「へー、そうなんだ、わははは、（一定時間の無音区間）」である場合のデータ構成の一例を示している。
【００４５】
記憶部１３は、解析照合部７で一致すると判定された効果パターン「へー」に対応する識別番号「０００３」、および効果パターン「わははは」に対応する識別番号「０００５」を解析照合部７で一致するとの判定がなされた順に記憶している。
【００４６】
次に、解析照合部７は、一致した効果パターンが一定時間の無音区間であると判定した場合、記憶部１３に記憶されている識別番号９２「０００３」および「０００５」を順番１２１に従って読み出し、効果パターン管理部９から効果９１「ヘーヘーヘーヘーヘー」および効果９１「会場がどっとわくような効果」を音声化する（ステップ２０７）。そして、音声合成部５は、相手側端末から受信した音声データ（無音部分）と、効果９１とを音声化したデータを合成し（ステップ２０８）、スピーカ３は合成した音声データの鳴動を行う（ステップ２０９）。
【００４７】
なお、本実施の形態では、相手側端末より受信した音声データに基づいて無音区間に効果９１を出力する場合について説明を行ったが、図８の構成に記憶部１３を設けることにより、自端末から送信する音声データに基づいて無音区間に効果９１を送信する場合についても同様に行うことができる。
【００４８】
なお、また、本実施の形態では、音声認識部８２により、相手側端末より受信した音声データからキーワードを抽出し（ステップ３０３）、効果を付加する処理を説明したが、ステップ３０３の処理を、図６のステップ４０３に置き換えることにより、感情パターンにより効果を付加することもできる。
【００４９】
なお、また、本実施の形態では、音声データの効果を出力するのみであったが、通話中に音声と画像が同時に送受信できるテレビ電話の構成（図７）に記憶部１３を設けることにより、無音区間に効果９１を付加した画像を出力または送信することができる。
【００５０】
なお、また、本実施の形態では、記憶部１３に、解析照合部７で一致した効果９１を示す識別番号３１を記憶するよう説明したが、効果パターンデータベース３０を記憶部１３として用い、効果パターンデータベース３０に、一致した効果９１を識別するフラグや順番１２１等を設けるようにしてもよい。
【００５１】
なお、また、本実施の形態では、記憶部１３に、解析照合部７で一致した効果９１を示す識別番号３１を順次記憶するよう説明したが、解析照合部７で一致するとの判定がなされた最新の効果を示す識別番号のみを記憶させるようにしてもよい。これにより、効果９１の出力または送信の頻度を抑えることができ、通話中に効果パターンデータベース３０のキーワードが連呼された場合であっても、過度な効果の付加を防止することができる。
【００５２】
なお、また、記憶部１３に、１つの文章中に使用されたキーワードと効果パターン９０との一致する回数を、識別番号３１と対応付けて記憶しておき、最も使用頻度の高かった効果パターン９０に対応する効果９１を出力または送信するようにしてもよい。
【００５３】
以上のように、本発明の第６の実施の形態の携帯端末装置によれば、無音区間を有効的に活用することができ、会話中に効果が音声または画像に頻繁に付加されることを防止し、ユーザーの会話に対する集中を阻害せずに効果を出力することができる。
【００５４】
そのほか、各部の具体的構成に関しては、上記実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
【産業上の利用可能性】
【００５５】
以上に詳述した本発明によれば、音声データを解析して、ユーザーの思うように予め定めた任意の効果を自端末に出力し、あるいは相手側端末に送信することができるので、通話中にエンターテインメント性を高め、高度なサウンドエフェクト機能を発揮する携帯端末装置に適用することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１の実施の形態における携帯端末装置のブロック図
【図２】本発明の第１の実施の形態における携帯端末装置の効果パターンデータベー スのデータ構成を示す図
【図３】本発明の第１の実施の形態における解析時の動作を示すフローチャート
【図４】本発明の第２の実施の形態における携帯端末装置のブロック図
【図５】本発明の第２の実施の形態における解析時の動作を示すフローチャート
【図６】本発明の第３の実施の形態における解析時の動作を示すフローチャート
【図７】本発明の第４の実施の形態における携帯端末装置のブロック図
【図８】本発明の第５の実施の形態における携帯端末装置のブロック図
【図９】本発明の第６の実施の形態における携帯端末装置のブロック図
【図１０】本発明の第６の実施の形態における携帯端末装置の効果パターンデータベ ースのデータ構成を示す図
【図１１】本発明の第６の実施の形態における解析時の動作を示すフローチャート
【図１２】本発明の第６の実施の形態における記憶部のデータ構成を示す図
【図１３】従来の携帯端末装置のブロック図
【符号の説明】
【００５７】
１ 制御部
２ 操作部
３ スピーカ
４ 無線部
５ 音声合成部
６ データ音声化部
７ 解析照合部
８ 音声解析部
９ 効果パターン管理部
１０ 効果パターンデータベース
１１ 画像合成部
１２ 表示部
１３ 記憶部
１００ 携帯端末装置
【技術分野】
【０００１】
本発明は、通話中にユーザーの希望する効果を付加して出力する機能を持たせた携帯端末装置、特に通話中にユーザーの希望する効果音、背景音または効果画像などの効果を、自端末に出力する音声または画像の少なくともどちらかに付加して出力する機能を持たせた携帯端末装置、および、通話中にユーザーの希望する効果音、背景音または効果画像などの効果を、相手側端末に送信する音声または画像の少なくともどちらかに付加して送信する機能を持たせた携帯端末装置に関する。
【背景技術】
【０００２】
携帯端末装置である携帯電話が広範囲に普及し、既に人々の生活に欠かせないものとなっている。そして、携帯端末装置の高性能化、多機能化が着々と進んでいる。とりわけ、着信音メロディ等の、ユーザーが任意に着信音を設定できる機能は多くの支持を得ており、近年では着信音の出力のために高性能な音源チップを実装した携帯端末装置が実用化されている。そればかりでなく、通話の娯楽性をより高めるために任意のサウンドエフェクト機能を発揮することを目的として、通話中にキーボタンを利用した効果音または背景音の出力機能を持つ携帯端末装置も提案されている（例えば、特許文献１参照）。
【０００３】
図１３に従来の携帯端末装置を示す。図１３には、複数のキーボタンを有するキーボタン部１８０と、複数のキーボタン情報と通話中に相手側端末に送信する効果音または背景音が貯蔵されている貯蔵部１１０と、上記キーボタンに対応する効果音または背景音を出力するキートーン出力部１４２と、信号処理を行う送信側信号処理部１６０と、上記キーボタン部１８０から入力されるキーボタン選択信号に応じて効果音または背景音を上記貯蔵部１１０から読み込んで上記キートーン出力部１４２に出力し、更に上記送信側信号処理部１６０を通して出力される効果音または背景音を所定のチャンネルを通して転送するメインコントローラ１７０を含む構成が示されている。上記従来の携帯端末装置では、通話中にキーボタン部１８０のいずれかのキーボタンを押すと、キーボタンに対応する効果音または背景音を通話音声に付加して無線通信部１３０により、サーバー３００を経由して相手側端末に送信することができる。
【特許文献１】特開２００４−３１２６６２号公報（第１ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上記従来の携帯端末装置では、効果音を発するためのキーボタンの操作が煩わしい。通話時は操作部が見えないので、タイミングよく適切なキーボタンを選んで希望する効果音を付与することが困難である。操作を間違うこともあり、その場にそぐわない効果音が付与されることもあるという問題点があった。本発明は、通話中にユーザーが希望する効果をキーボタン操作をすることなく自動的に付加して、自端末に出力する、あるいは相手側端末に送信するようにした携帯端末装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
以上の課題を解決すべく、本発明では、通話データを解析する解析手段と、解析した解析結果と照合する効果パターンと効果パターンに関連付けた効果を蓄積した効果パターンデータベースと、効果パターンの出力を管理する効果パターン管理手段と、解析した解析結果と効果パターンとを照合する解析照合手段と、音声または画像の少なくともどちらかに効果を付加する合成手段とを設け、解析手段で解析した解析結果と効果パターン管理手段で出力を管理している効果パターンを解析照合手段で照合し、適合した効果パターンに関連付けた効果を音声または画像の少なくともどちらかに付加して自端末に出力、または相手側端末に送信するよう携帯端末装置を構成している。
【発明の効果】
【０００６】
この構成により、効果パターンデータベースにユーザーの好みの効果を予め割り付けておくことができ、通話中に通話音声から特定のパラメータを検出して、検出したパラメータのパターンに応じた効果を付加して自端末に出力する、あるいは相手側端末に送信することで効果を自分または相手方に聞かせることを可能としている。
【０００７】
また、本発明は、適合した効果パターンに関連付けてある効果、または適合した効果パターンに関連付けてある効果を識別する識別情報を記憶する記憶手段をさらに設け、解析手段が通話データから一定時間の無音区間を検出したとき、前記記憶手段に記憶されている前記効果、または前記識別情報が示す効果を、前記音声または前記画像の少なくともどちらかに付加する合成手段を備えた構成を有する。
【０００８】
この構成により、無音区間を有効的に活用することができ、会話中に効果が音声または画像に頻繁に付加されることを防止し、ユーザーの会話に対する集中を阻害せずに効果を出力することを可能としている。
【０００９】
また、通話中に、携帯端末装置の表示手段に表示する画像に効果画像を合成する画像合成手段を更に設けたことにより、視覚的な効果を出力することを可能としている。
【００１０】
さらに本発明は、解析手段を音声認識手段を有する解析手段としたことにより、通話音声から特定のキーワードを検出して、検出したキーワードに対応する効果を出力することを可能としている。
【００１１】
さらに本発明は、解析手段を感情推定手段を有する解析手段としたことにより、音声パワー変動やピッチの揺れなどを抽出し、感情パターンを検出して、検出した感情パターンに対応する効果を出力することもできる。
【発明を実施するための最良の形態】
【００１２】
（実施の形態１）
以下、本発明の第１の実施の形態を、図面を参照して説明する。本実施形態に係る携帯端末装置１００は、携帯電話端末やＰＨＳ端末等の通信機能に加えて、通話中に効果音を付加して自端末に出力することができるように構成してある。効果音の例としては、種々のＢＧＭ（Ｂａｃｋ Ｇｒｏｕｎｄ Ｍｕｓｉｃ）や駅や道路や公園などの環境音、掛け声や合いの手等の人の声、拍手や歓声、動物の鳴き声、著名人の声やユーザーが予め録音した音声、若しくは声以外の音である電子音、機械音、その他を挙げることができる。それ以外に通話音声に対して、繰り返しや、テンポやトーンなどを変調した音などがあげられる。
【００１３】
図１は、本発明における携帯端末装置１００の構成を表すブロック図である。携帯端末装置１００は、相手側端末から音声データを受信する無線部４と、受信した音声データのパターンを解析する解析手段としての音声解析部８と、あらかじめ効果パターンと効果パターンに関連付けた効果を貯蔵しておいた効果パターンデータベース１０と、効果パターンの出力を管理する効果パターン管理部９と、解析結果と効果パターンを照合する解析照合部７と、効果パターンに対応する効果を音声化するデータ音声化部６と、相手側端末から受信した通話音声と効果パターンに対応する効果を音声化したデータを合成する音声合成部５と、合成した音声データをスピーカに送出する制御部１、ユーザーからの操作を受け付ける操作部２、音声データの鳴動を行うスピーカ３等からなる。
【００１４】
ここで、通話中とは、ユーザーが使用する携帯端末装置１００と相手方の携帯端末装置（以下、相手側端末という）とが電気通信回線を介して通話可能に接続している状態を言う。効果音とは、通話中にマイクを介してリアルタイムに入力される音声信号以外の音声全般を意味する。よって、肉声を録音したものであることもある。携帯端末装置１００とは、複数の人の間で会話を可能とするべく電気通信回線を介して通信を行い得る機器をおしなべて包含する概念である。
【００１５】
携帯端末装置１００では、あらかじめ、音声認識したキーワード、音声パワーの変動やピッチの揺れなどの各パラメータのパターンに対応した効果を定義し、定義した対応関係を効果パターンデータベース１０に保存してある。図２に効果パターンデータベース１０の記憶領域に記憶されているデータ構成の一例を示す。図２に示すように、効果パターンデータベース１０の記憶領域には、効果パターン９０と、効果パターン９０に関連付けた効果９１が一組のデータとして複数組記憶されている。効果パターンデータベース１０の効果パターン９０と効果９１は、効果パターン管理部９によって出力を管理されており、携帯端末装置１００の動作に応じて解析照合部７にそれぞれ出力される。すなわち、効果パターン９０は、解析結果と効果パターンを照合する際に解析照合部７に順次出力される。そして効果９１は、解析結果と効果パターンが適合したときに、適合した効果パターンに関連付けてある効果が特定され、解析照合部７に出力される。
【００１６】
なお、効果パターンデータベース１０には多数の効果パターンが保存され、定義された一つの効果パターンが、複数の組み合わせであることも考えられる。効果パターンは、例えば、電気通信回線を介してダウンロードしたり、図示しないマイクを介して予め録音しておいたりすることで、効果パターンデータベース１０に格納される。
【００１７】
図３に本発明の携帯端末装置１００の通話音声を解析し効果を付加する時の動作を説明するフローチャートを示す。図３において、携帯端末装置１００が音声通話の発信側である相手側端末と音声通話を開始すると（ステップ２０１）、相手の声とまわりの音の音声データを受信する（ステップ２０２）。そして、音声解析部８が音声データに含まれる各種のパラメータを解析する（ステップ２０３）。解析結果がでると、効果パターン管理部９が効果パターン９０を順次出力し、解析照合部７が解析結果であるパラメータのパターンを効果パターンと照合する（ステップ２０４）。解析照合部７において、効果パターンと照合して一致した場合、一致した効果パターンの効果９１が出力されるべき効果として特定される（ステップ２０６）。効果パターン管理部９は、特定された効果９１を解析照合部７を経由してデータ音声化部６へ出力し、データ音声化部６は効果９１を音声化する（ステップ２０７）。その後、音声合成部５において、相手側端末から受信した音声データと、効果９１を音声化したデータを合成する（ステップ２０８）。そして、制御部１により、スピーカ３へ送出し、効果を付加した音声データの鳴動を行う（ステップ２０９）。もしステップ２０４で、効果パターンデータベースにある効果パターンと音声データのパラメータのパターンを照合しても一致しない場合、特別な処理なしで（ステップ２０５）、通常の音声データをそのまま発する（ステップ２０９）。
【００１８】
（実施の形態２）
次に、本発明の第２の実施の形態にかかる携帯端末装置について説明する。本発明の第２の実施の形態にかかる携帯端末装置２００は、既に実施の形態１で説明した図１の音声解析部８に音声認識部８２を追加して、解析手段である音声解析部８１を音声認識手段を有する解析手段として構成している。図４に本発明の第２の実施の形態にかかる携帯端末装置２００のブロック図を示す。
【００１９】
以下、音声認識手段を有する解析手段を用いた本発明の第２の実施の形態にかかる携帯端末装置の動作について説明する。図５はすでに説明した図３のフローチャート中のステップ２０３とステップ２０４に関して、音声データ解析の際に音声認識手段による解析動作を加えた場合のフローチャートである。以下、図面を参照して、本実施の形態における通話音声解析時の音声認識手段による解析動作を説明する。
【００２０】
図５において、相手側端末より受信した音声データから、音声認識部８２を有する音声解析部８１により、キーワードといったようなパラメータのパターンを抽出する（ステップ３０３）。例えば、「へー」というキーワードについて、効果パターンデータベース１０にキーワード「へー」と対応して効果「へーへーへーへーへー」があらかじめ保存されているときには（ステップ２０４）、音声認識部８２を有する音声解析部８１により、「へー」というキーワードが検出されたら、解析照合部７で「照合あり」とされ、キーワード「へー」に対応した効果「へーへーへーへーへー」が特定される（ステップ２０６）。同じように、効果パターン管理部９が出力を管理している効果パターンデータベース１０において、キーワード「あっ」と対応して効果「あっあっあっ…」が保存されていれば、音声データにキーワード「あっ」があって、解析照合部７で効果パターンデータベース１０と照合できれば、キーワード「あっ」に対応する効果が特定され（ステップ２０６）、効果パターンに対応する効果「あっあっあっ…」を音声化する（ステップ２０７）。その後、効果「あっあっあっ…」を音声化したデータを合成する（ステップ２０８）。そして、音声データの鳴動を行う（ステップ２０９）。もしステップ２０４で、効果パターンデータベース１０にある効果パターン９０と音声データのキーワードが一致しない場合、特別な処理なしで（ステップ２０５）、通常の音声データをそのまま発する（ステップ２０９）。
【００２１】
（実施の形態３）
次に、本発明の第３の実施の形態にかかる携帯端末装置について説明する。本発明の第３の実施の形態にかかる携帯端末装置は、すでに実施の形態２にて説明した図４の音声認識部８２を感情推定手段と置き換えたものであり、音声解析部を感情推定手段を有する解析手段として構成している。なお、他の構成は図４と同じなので、ブロック図は省略する。
【００２２】
以下、感情推定手段を有する解析手段を用いた本発明の第３の実施の形態にかかる携帯端末装置の動作について説明する。図６は、すでに説明した図３のフローチャートの中のステップ２０３とステップ２０４に関して、音声データ解析の際に感情推定手段による解析動作を加えた場合のフローチャートである。以下、図面を参照して、本実施の形態にお
ける通話音声解析時の感情推定手段による解析動作を説明する。
【００２３】
図６において、感情推定手段が相手側端末より受信した音声データから声の大きさと長さを表す音声パワー変動というパラメータや、周波数の変動を表すピッチのゆれというパラメータなどを抽出して感情パターンを検出する（ステップ４０３）。例えば、音声データには「わははは」という感情パターンがある場合、しかも効果パターンデータベース１０に「わははは」と対応して会場がどっとわくような効果があらかじめ保存されているときには、音声解析部の感情推定手段により、「わははは」という感情パターンが検出されたら、処理を続行し、それに応じた会場がどっとわくような効果が発せられる。もし感情パターンがない場合、または感情パターンに対応する効果パターンがない場合、特別な処理がなく、音声データをそのまま発せられる。
【００２４】
同じように、効果パターンデータベース１０において、一定時間以上の無音区間と対応して効果「ざわざわざわ」が保存されれば、効果「ざわざわざわ」が音声化される。一定時間以上の無音区間がないときは、通常の処理が行われる。また、「そうそう」「だよね」あるいは「Ｙｅ ａ ｈ 」「Ｈ ｅ ｙ 」その他の合いの手、ラップの掛け合い等の人声など、ユーザーにより創作されたデータも効果として採用し、より多くのパラメータ及び大量の効果パターンを有することもできる。そして、複数の効果パターン管理部９及びその中にある効果パターンデータベース１０を設けてもよい。
【００２５】
（実施の形態４）
次に、本発明の第４の実施の形態にかかる携帯端末装置について説明する。本発明の第４の実施の形態は、携帯端末装置をテレビ電話として、音声データの効果を出力するのみならず、通話中に画像の効果が見られるようにしている。図７に通話中に音声と画像が同時に送られる携帯端末装置３００のブロック図を示す。携帯端末装置３００では、音声合成部５とは別に画像合成部１１が設置されており、効果パターンデータベース２０には画像に対応する効果パターンも貯蔵されている。画像合成部１１には、無線部４で受信した画像データが画像処理部９３で処理されて出力される。また、カメラ９２で撮影した画像も画像処理部９３で処理されて画像合成部１１に出力される。
【００２６】
携帯端末装置３００の解析照合部７で音声データのパターンと効果パターンが一致すると、効果パターンに対応する画像が効果パターンデータベース２０から読み出され、効果パターン管理部９、解析照合部７を経由して、画像合成部１１に出力される。画像合成部１１は受信した画像データあるいはカメラ９２で撮影した画像と、一致した効果パターンに対応する画像とを合成する。制御部１には表示部１２を接続しているので、合成した画像は表示部１２に表示される。
【００２７】
例えば、テレビ電話の表示部に受信した通話相手の画像を表示している際、受信した音声データを解析し、「だめじゃん」というキーワードが検出され、しかも効果パターンデータベース２０において、「だめじゃん」と対応して「すいません」という文字が表示画面の上から降りてくるという効果が効果パターンとして保存されていたとする。照合により音声データの解析結果と効果パターンが一致した場合は、画像合成部１１において、この効果パターンに対応する効果を画像に合成する。このことにより、表示部１２において、通話している相手本人の映像が表示されると同時に、画面の上端から「すいません」という文字が降りてくる。「だめじゃん」と怒っている通話相手の顔の上方から、返事すべき台詞として「すいません」の文字が降りてくれば、その文字を読むことで「すいません。」と素直に答えることができる。なお、一致しない場合は、効果が出力されない通常の処理が行われる。
【００２８】
なお、図７のテレビ電話ではテレビ電話で話している自分の顔をカメラ９２で撮影して、表示部１２の画面を分割して表示することにより、通話相手の顔を表示すると同時に自分の顔も表示することができるようにしている。そのため、受信した通話相手の音声データを解析して付加する効果画像を通話相手の画像に合成して表示し、送信する自分の音声データを解析して付加する効果画像を自分の画像に合成して表示するようにすると、それぞれが話した音声内容をそれぞれの画像の上に文字画像として強調して示すことができる。例えば「わははは」と相手が笑えば、笑った通話相手の画像に「わははは」という文字が表示され、「ホホホホ」と自分が笑えば「ホホホホ」という文字が自分の画像に表示される。
【００２９】
（実施の形態５）
以上、受信した相手の音声に効果を付加して、自端末に出力する実施の形態を説明したが、本発明の第５の実施の形態として、自分の音声に効果を付加して相手側端末に送信するようにした携帯端末装置について説明する。図８に自端末から発した音声に対して効果を出す場合の本発明の第５の実施の形態にかかる携帯端末装置４００のブロック図を示す。
【００３０】
本実施の形態によれば、自端末のマイク１５０に発せられた通話音声である音声データ
を解析手段である音声解析部８で解析してパラメータを抽出し、抽出したパラメータのパターンを解析し、解析したパターンと効果パターンを解析照合部７で照合して、一致した場合、効果パターンに対応する効果をデータ音声化部６で音声化し、音声合成部５で通話音声と合成することにより、自分の音声に効果を付加して、制御部１の制御のもと、無線部４より出力する。このことにより、自分の音声に自動的に効果を付加して送信し、相手側端末に出力することができる。
【００３１】
（実施の形態６）
次に、本発明の第６の実施の形態における携帯端末装置について説明する。本発明の第６の実施の形態では、上記第１〜第５の実施の形態で述べた解析照合部７で照合して一致する度に効果を付加するものではなく、会話が途切れたときに効果を付加する動作を特徴とする携帯端末装置について説明する。
【００３２】
図９は、本発明の第６の実施の形態における携帯端末装置５００のブロック図を示す。
【００３３】
図９はすでに第２の実施の形態にて説明した図４の構成に加えて、記憶部１３を備えた構成を有する。記憶部１３は、携帯端末装置が標準的に備えている汎用的なメモリであって、解析照合部７で解析結果と効果パターンとが一致したときに、効果パターン管理部９から出力される効果を識別する識別情報（例として、識別番号とする）を記憶する。
【００３４】
図１０は、本発明の第６の実施の形態における携帯端末装置５００を構成する効果パターンデータベース３０の記憶領域に記憶されているデータ構成の一例を示す図である。
【００３５】
図示したように、効果パターンデータベース３０は、識別番号３１、効果パターン９０および効果９１が一組のデータとして複数組記憶されている。ここで、効果パターン９０が一定時間以上の無音区間の場合、効果９１として、記憶部１３に記憶されている効果を読み出すよう示している。
【００３６】
図１１は、本発明の第６の実施の形態における携帯端末装置５００の処理フローを示すフローチャートである。なお、本処理フローは、すでに第２の実施の形態にて説明した図５の処理フローに、適合した効果パターンに関連付けてある効果を識別する識別番号３１を保存するステップ（ステップ５０１）と、会話が途切れたことを判定するステップ（ステップ５０２）とを加えたものである。
【００３７】
図１１のステップ２０２において、相手側端末より受信した音声データが「へー、そうなんだ、わははは、（一定時間の無音区間）」である場合を例として、以下に携帯端末装置５００の処理フローを説明する。
【００３８】
まず、携帯端末装置５００は、音声通話の発信側である相手側端末と音声通話を開始し（ステップ２０１）、通話中に相手側端末より発信された音声データ「へー、そうなんだ、わははは、（一定時間の無音区間）」を受信する（ステップ２０２）。
【００３９】
次に、音声認識部８２を有する音声解析部８１により、音声データからキーワードといったようなパラメータのパターンを抽出する（ステップ２０３）。ここでは、音声解析部８１は、「へー」、「そうなんだ」、「わははは」および「（一定時間の無音区間）」の４つのパターンを抽出し（ステップ３０３）、順次、解析照合部７に出力する。
【００４０】
次に、解析照合部７は、解析結果であるパターンと、効果パターンデータベース３０の効果パターン９０とを照合する（ステップ２０４）。
【００４１】
解析照合部７において、解析結果であるパターンと効果パターン９０とを照合して一致した場合、一致した効果パターンが一定時間の無音区間であるか否かを判定する（ステップ５０２）。なお、無音区間であるか否かの判定は、ステップ２０３における音声データの解析時に、無音部分の継続時間を計測するタイマー（図示せず）を設定し、その経過時間に基づいて判定させてもよいし、第３の実施の形態で説明した、効果パターンデータベース１０による無音区間選択の処理を用いてもよい。
【００４２】
一方、解析照合部７において、解析結果であるパターンと効果パターン９０とが一致しない場合、特別な処理なしで（ステップ２０５）、通常の音声データをそのまま発する（ステップ２０９）。
【００４３】
次に、解析照合部７は、一致した効果パターン９０が一定時間の無音区間でないと判定した場合、一致した効果９１を出力すべき効果として特定し（ステップ２０６）、効果パターンデータベース３０から、一致した効果パターンに対応する識別番号３１と順番を対応させて順次、記憶部１３に保存する（ステップ５０１）。そして、一致した効果パターンが一定時間の無音区間であるまで、ステップ２０２、ステップ２０３、ステップ３０３、ステップ２０４、ステップ５０２、ステップ２０６およびステップ５０１の処理を繰り返し行う。
【００４４】
ここで、図１２に記憶部１３に記憶されるデータ構成の一例を示す。記憶部１３は、図１２に示すように、左の列に記憶する順番１２１が、順に「１」、「２」というように並び、右の列に順番１２１に対応する識別番号が順次記憶される。図１２では、相手側端末より受信した音声データが「へー、そうなんだ、わははは、（一定時間の無音区間）」である場合のデータ構成の一例を示している。
【００４５】
記憶部１３は、解析照合部７で一致すると判定された効果パターン「へー」に対応する識別番号「０００３」、および効果パターン「わははは」に対応する識別番号「０００５」を解析照合部７で一致するとの判定がなされた順に記憶している。
【００４６】
次に、解析照合部７は、一致した効果パターンが一定時間の無音区間であると判定した場合、記憶部１３に記憶されている識別番号９２「０００３」および「０００５」を順番１２１に従って読み出し、効果パターン管理部９から効果９１「ヘーヘーヘーヘーヘー」および効果９１「会場がどっとわくような効果」を音声化する（ステップ２０７）。そして、音声合成部５は、相手側端末から受信した音声データ（無音部分）と、効果９１とを音声化したデータを合成し（ステップ２０８）、スピーカ３は合成した音声データの鳴動を行う（ステップ２０９）。
【００４７】
なお、本実施の形態では、相手側端末より受信した音声データに基づいて無音区間に効果９１を出力する場合について説明を行ったが、図８の構成に記憶部１３を設けることにより、自端末から送信する音声データに基づいて無音区間に効果９１を送信する場合についても同様に行うことができる。
【００４８】
なお、また、本実施の形態では、音声認識部８２により、相手側端末より受信した音声データからキーワードを抽出し（ステップ３０３）、効果を付加する処理を説明したが、ステップ３０３の処理を、図６のステップ４０３に置き換えることにより、感情パターンにより効果を付加することもできる。
【００４９】
なお、また、本実施の形態では、音声データの効果を出力するのみであったが、通話中に音声と画像が同時に送受信できるテレビ電話の構成（図７）に記憶部１３を設けることにより、無音区間に効果９１を付加した画像を出力または送信することができる。
【００５０】
なお、また、本実施の形態では、記憶部１３に、解析照合部７で一致した効果９１を示す識別番号３１を記憶するよう説明したが、効果パターンデータベース３０を記憶部１３として用い、効果パターンデータベース３０に、一致した効果９１を識別するフラグや順番１２１等を設けるようにしてもよい。
【００５１】
なお、また、本実施の形態では、記憶部１３に、解析照合部７で一致した効果９１を示す識別番号３１を順次記憶するよう説明したが、解析照合部７で一致するとの判定がなされた最新の効果を示す識別番号のみを記憶させるようにしてもよい。これにより、効果９１の出力または送信の頻度を抑えることができ、通話中に効果パターンデータベース３０のキーワードが連呼された場合であっても、過度な効果の付加を防止することができる。
【００５２】
なお、また、記憶部１３に、１つの文章中に使用されたキーワードと効果パターン９０との一致する回数を、識別番号３１と対応付けて記憶しておき、最も使用頻度の高かった効果パターン９０に対応する効果９１を出力または送信するようにしてもよい。
【００５３】
以上のように、本発明の第６の実施の形態の携帯端末装置によれば、無音区間を有効的に活用することができ、会話中に効果が音声または画像に頻繁に付加されることを防止し、ユーザーの会話に対する集中を阻害せずに効果を出力することができる。
【００５４】
そのほか、各部の具体的構成に関しては、上記実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
【産業上の利用可能性】
【００５５】
以上に詳述した本発明によれば、音声データを解析して、ユーザーの思うように予め定めた任意の効果を自端末に出力し、あるいは相手側端末に送信することができるので、通話中にエンターテインメント性を高め、高度なサウンドエフェクト機能を発揮する携帯端末装置に適用することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１の実施の形態における携帯端末装置のブロック図
【図２】本発明の第１の実施の形態における携帯端末装置の効果パターンデータベー スのデータ構成を示す図
【図３】本発明の第１の実施の形態における解析時の動作を示すフローチャート
【図４】本発明の第２の実施の形態における携帯端末装置のブロック図
【図５】本発明の第２の実施の形態における解析時の動作を示すフローチャート
【図６】本発明の第３の実施の形態における解析時の動作を示すフローチャート
【図７】本発明の第４の実施の形態における携帯端末装置のブロック図
【図８】本発明の第５の実施の形態における携帯端末装置のブロック図
【図９】本発明の第６の実施の形態における携帯端末装置のブロック図
【図１０】本発明の第６の実施の形態における携帯端末装置の効果パターンデータベ ースのデータ構成を示す図
【図１１】本発明の第６の実施の形態における解析時の動作を示すフローチャート
【図１２】本発明の第６の実施の形態における記憶部のデータ構成を示す図
【図１３】従来の携帯端末装置のブロック図
【符号の説明】
【００５７】
１ 制御部
２ 操作部
３ スピーカ
４ 無線部
５ 音声合成部
６ データ音声化部
７ 解析照合部
８ 音声解析部
９ 効果パターン管理部
１０ 効果パターンデータベース
１１ 画像合成部
１２ 表示部
１３ 記憶部
１００ 携帯端末装置
【特許請求の範囲】
【請求項１】
受信した通話データを解析する解析手段と、
通話データの解析結果と照合するための効果パターンと効果パターンに関連付けた効果を蓄積した効果パターンデータベースと、
前記効果パターンの出力を管理する効果パターン管理手段と、
前記解析結果と効果パターンとを照合する解析照合手段と
通話中に自端末に出力する音声または画像の少なくともどちらかに前記効果を付加して出力する合成手段とを設け、
前記解析手段で解析した解析結果と前記効果パターン管理手段で出力を管理している効果パターンを前記解析照合手段で照合し、適合した効果パターンに関連付けてある効果を、自端末に出力する音声または画像の少なくともどちらかに付加して出力するよう構成した携帯端末装置。
【請求項２】
送信する通話データを解析する解析手段と、
通話データの解析結果と照合するための効果パターンと効果パターンに関連付けた効果を蓄積した効果パターンデータベースと、
前記効果パターンの出力を管理する効果パターン管理手段と、
前記解析結果と効果パターンとを照合する解析照合手段と
通話中に相手側端末に送信する音声または画像の少なくともどちらかに前記効果を付加する合成手段とを設け、
前記解析手段で解析した解析結果と前記効果パターン管理手段で出力を管理している効果パターンを前記解析照合手段で照合し、適合した効果パターンに関連付けてある効果を、相手側端末に送信する音声または画像の少なくともどちらかに付加して送信するよう構成した携帯端末装置。
【請求項３】
前記合成手段は、前記解析結果と、前記効果パターンとが前記解析照合手段で照合され、一致するとの判定がなされる度に、適合した効果パターンに関連付けてある効果を前記音声または前記画像の少なくともどちらかに付加することを特徴とする請求項１または請求項２記載の携帯端末装置。
【請求項４】
前記適合した効果パターンに関連付けてある効果、または前記適合した効果パターンに関連付けてある効果を識別する識別情報を記憶する記憶手段をさらに設け、
前記合成手段は、前記解析手段が前記通話データから一定時間の無音区間を検出したとき、前記記憶手段に記憶されている前記効果、または前記識別情報が示す効果を、前記音声または前記画像の少なくともどちらかに付加することを特徴とする請求項１または請求項２記載の携帯端末装置。
【請求項５】
通話中に、表示する画像に効果を合成する画像合成手段を更に設けた請求項１から請求項４のいずれかに記載の携帯端末装置。
【請求項６】
前記解析手段は、音声認識手段を有する解析手段とした請求項１から請求項４のいずれかに記載の携帯端末装置。
【請求項７】
前記解析手段は、感情推定手段を有する解析手段とした請求項１から請求項４のいずれかに記載の携帯端末装置。
【請求項１】
受信した通話データを解析する解析手段と、
通話データの解析結果と照合するための効果パターンと効果パターンに関連付けた効果を蓄積した効果パターンデータベースと、
前記効果パターンの出力を管理する効果パターン管理手段と、
前記解析結果と効果パターンとを照合する解析照合手段と
通話中に自端末に出力する音声または画像の少なくともどちらかに前記効果を付加して出力する合成手段とを設け、
前記解析手段で解析した解析結果と前記効果パターン管理手段で出力を管理している効果パターンを前記解析照合手段で照合し、適合した効果パターンに関連付けてある効果を、自端末に出力する音声または画像の少なくともどちらかに付加して出力するよう構成した携帯端末装置。
【請求項２】
送信する通話データを解析する解析手段と、
通話データの解析結果と照合するための効果パターンと効果パターンに関連付けた効果を蓄積した効果パターンデータベースと、
前記効果パターンの出力を管理する効果パターン管理手段と、
前記解析結果と効果パターンとを照合する解析照合手段と
通話中に相手側端末に送信する音声または画像の少なくともどちらかに前記効果を付加する合成手段とを設け、
前記解析手段で解析した解析結果と前記効果パターン管理手段で出力を管理している効果パターンを前記解析照合手段で照合し、適合した効果パターンに関連付けてある効果を、相手側端末に送信する音声または画像の少なくともどちらかに付加して送信するよう構成した携帯端末装置。
【請求項３】
前記合成手段は、前記解析結果と、前記効果パターンとが前記解析照合手段で照合され、一致するとの判定がなされる度に、適合した効果パターンに関連付けてある効果を前記音声または前記画像の少なくともどちらかに付加することを特徴とする請求項１または請求項２記載の携帯端末装置。
【請求項４】
前記適合した効果パターンに関連付けてある効果、または前記適合した効果パターンに関連付けてある効果を識別する識別情報を記憶する記憶手段をさらに設け、
前記合成手段は、前記解析手段が前記通話データから一定時間の無音区間を検出したとき、前記記憶手段に記憶されている前記効果、または前記識別情報が示す効果を、前記音声または前記画像の少なくともどちらかに付加することを特徴とする請求項１または請求項２記載の携帯端末装置。
【請求項５】
通話中に、表示する画像に効果を合成する画像合成手段を更に設けた請求項１から請求項４のいずれかに記載の携帯端末装置。
【請求項６】
前記解析手段は、音声認識手段を有する解析手段とした請求項１から請求項４のいずれかに記載の携帯端末装置。
【請求項７】
前記解析手段は、感情推定手段を有する解析手段とした請求項１から請求項４のいずれかに記載の携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−２５９４２７（Ｐ２００７−２５９４２７Ａ）
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００７−３９００６（Ｐ２００７−３９００６）
【出願日】平成１９年２月２０日（２００７．２．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１９年２月２０日（２００７．２．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]