音声合成用音声データベース構築のための通信システム、中継装置および中継方法
【課題】個人の音声の特徴を再現する本人性を重視した音声合成用音声データベースを容易に構築のための通信システム、中継装置および中継方法を提供すること。
【解決手段】中継装置２０は、通話中の通信端末間で送受信される音声データを複製する。複製された音声データは、メディア処理装置４０に送信され蓄積される。メディア処理装置４０は、蓄積された音声データを基に音声合成用データベースを構築する。
【解決手段】中継装置２０は、通話中の通信端末間で送受信される音声データを複製する。複製された音声データは、メディア処理装置４０に送信され蓄積される。メディア処理装置４０は、蓄積された音声データを基に音声合成用データベースを構築する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成用音声データベース構築のための通信システム、中継装置および中継方法に関し、より詳細には、本人性の再現を重視する音声合成システムにおいて、音声合成のための音声データベースを電話やＴＶ電話の通話内容に基づき構築する通信システム、中継装置および中継方法に関する。
【背景技術】
【０００２】
音声合成技術には、合成された音声が滑らかに再現されていることを重視する完全性と、あたかも本人が発声しているような音声を再現する本人性が重視されながら研究開発が行われている。
【０００３】
これら音声合成技術では、予め様々な原稿を人に読ませることにより被験者の様々な音声データをデータベースに録音しておき、入力されたテキストに最もマッチした音声データを組み合わせることにより、合成された音声を生成することにより実現されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２９５８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の音声合成技術では、音声合成用の音声データが蓄積されたデータベースを構築するためには、専用のスタジオを用意して、長時間（数時間から十数時間）の録音時間を要する。そのため、従来の音声合成技術は、カーナビゲーションシステムやＩＶＲ（Interactive Voice Response）など、限定的な音声パターンだけを必要とするシステムには適用可能であったが、移動通信システムなどにおいて個人の音声を再現することは困難であった。
【０００６】
本発明は、以上の問題点を解決するためになされたものであり、個人の音声の特徴を再現する本人性を重視した音声合成用音声データベースを容易に構築のための通信システム、中継装置および中継方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、通信網に接続する中継装置と、前記中継装置を介して前記通信網に接続し、前記中継装置を介して他の通信端末と音声データの送受信を行う複数の通信端末と、前記中継装置に接続するメディア処理装置とを備えた通信システムであって、前記中継装置は、第１の通信端末から送信された第１の音声データを受信し、受信した前記第１の音声データを第２の通信端末へ送信する送受信部と、音声データを複製するデータ複製部と、前記第１の通信端末からデータ送受信部を介して受信した前記第１の音声データを前記データ複製部によって複製し、当該複製された音声データを前記送受信部によって前記メディア処理装置へ送信するように制御する通信制御部とを備え、前記メディア処理装置は、前記第１の通信端末の複製された音声データを、前記中継装置から受信する受信部と、前記受信部により受信した音声データを音声データ蓄積部に蓄積する音声データ処理部と、前記音声データ蓄積部に蓄積された前記音声データに基づいて、前記第１の通信端末用の音声合成用データベースを作成する音声合成用データベース作成部と、前記音声合成用データベース作成部によって作成された音声合成用データベースが記憶される音声合成用データベース記憶部と、前記第１の通信端末から音声合成の依頼を受信した場合、前記音声合成用データベースに基づいて音声合成を行う音声合成部とを備えることを特徴とする通信システムを提供する。本発明の通信システムによれば、本人性の再現を重視した音声合成用データベースを容易に作成することができる。
【０００８】
上記通信システムの別の好適な態様において、前記通信制御部は、前記複製の指示を前記第１の通信端末から受信した場合に、前記送受信部を介して前記第１の通信端末から受信した音声データを前記データ複製部に複製させる。この態様によれば、第１の通信端末は、音声データを送信するたびに録音する音声データを指定することができる。また、この場合、第１の通信端末は、音声通信が終了した後に音声データを録音するか否かを指定しても良い。この形態によれば、メディア処理装置において録音する音声データを、通信端末で自由に指定することができる。
【０００９】
上記通信システムの別の好適な態様において、前記音声データ処理部は、前記受信部により受信した前記音声データが前記蓄積された音声データのいずれかと一致するか否かを判定する判定部と、受信した前記音声データの雑音量と、当該音声データと一致する蓄積済み音声データの雑音量とを測定する雑音測定部とを更に備え、前記音声データ処理部は、受信した前記音声データの雑音量が、前記蓄積済みの音声データの雑音量より少ない場合には、前記蓄積済みの音声データを受信した前記音声データで上書きするようにしてもよいし、前記音声データ処理部は、前記音声データ内の背景雑音を除去する雑音フィルターを更に備え、前記音声データ処理部は、前記雑音フィルターによって前記背景雑音を除去した前記音声データを蓄積するようにしてもよい。このような形態においては、音声合成用データベースはより質の高い音声データを提供することができる。
【００１０】
また、本発明は、通信網に接続する中継装置と当該中継装置を介して前記通信網に接続する複数の通信端末とを備える通信システムにおいて、ある通信端末から他の通信端末へデータ中継を行う中継装置であって、第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する送受信部と、音声データを複製するデータ複製部と、前記第１の通信端末から前記送受信部を介して受信した前記音声データを前記データ複製部によって複製するよう制御するとともに、当該複製された音声データを蓄積して音声合成用データベースを作成するメディア処理装置に対して、前記複製した音声データを前記送受信部によって送信するように制御する通信制御部とを備える中継装置を提供する。本発明の中継装置によれば、個人の音声を再現する本人性を重視した音声合成用データベースを容易に作成することができる。
【００１１】
加えて、本発明は、通信網に接続する中継装置と、前記中継装置を介して前記通信網に接続する複数の通信端末とを備え、ある通信端末より他の通信端末へデータの中継を前記中継装置が行う通信システムにおける中継方法であって、第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する受信ステップと、前記受信ステップで受信した前記音声データを複製する複製ステップと、前記複製した音声データを、当該音声データを蓄積して音声合成用データベースを作成するメディア処理装置へ送信する送信ステップとを備える中継方法を提供する。本発明の中継方法によれば、個人の音声を再現する本人性を重視した音声合成用データベースを容易に作成することができる。
【発明の効果】
【００１２】
本発明によれば、個人の音声の特徴を再現する本人性を重視した音声合成用音声データベースを容易に構築可能な通信システム、中継装置および中継方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明にかかる全体構成図である。
【図２】本発明にかかる通信端末の機能構成図である。
【図３】本発明にかかる中継装置の機能構成図である。
【図４】本発明にかかる通信情報蓄積部で管理する情報である。
【図５】本発明にかかる契約情報ＤＢで管理する情報である。
【図６】本発明にかかるメディア処理装置の機能構成図である。
【図７】本発明にかかる通信システムで交換される情報の流れを示すシーケンス図である。
【図８】中継装置が実行する通信制御処理の流れを示すフローチャートである。
【図９】中継装置が実行するレジストレーション処理の流れを示すフローチャートである。
【図１０】中継装置が実行する発信側処理の流れを示すフローチャートである。
【図１１】中継装置が実行する着信側処理の流れを示すフローチャートである。
【図１２】中継装置が実行するユーザデータ転送複製処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面とともに本発明の好適な一実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１５】
図１に、本実施形態に係る音声合成用音声データベース構築のための通信システム（以下通信システム）の一例を示す。通信システムは、ネットワークＮからサービスを受ける複数の通信端末１０（通信端末１０ａと通信端末１０ｂの総称）、ネットワークＮに各通信端末を接続する中継装置２０（中継装置２０ａと中継装置２０ｂの総称）、通信端末１０の契約情報を管理する契約情報ＤＢ（データベース）３０、通信端末に関わるメディア情報を蓄積・加工するメディア処理装置４０を備え、およびこれらの各装置はネットワークＮを介してそれぞれ接続されている。２つの通信端末１０および中継装置２０が図示されているが、これに限定されず、それぞれ３以上の通信端末１０および中継装置２０を備えることとしてもよい。
【００１６】
音声データとは、具体的には例えば音声通話、ＴＶ電話、留守番電話などが該当する。また、メディア情報とは、例えば留守電により蓄積された音声・映像メッセージ、音楽ファイル、動画像などである。
【００１７】
通信端末１０は、中継装置２０を介してネットワークＮに接続されている。ネットワークＮは、通信端末１０に対して通信サービスを提供する。ネットワークＮは、具体的には例えば、携帯電話網である。通信端末１０は、無線または有線により中継装置２０に接続されている。
【００１８】
通信端末１０は、中継装置２０を介して、同じく中継装置２０を介してネットワークＮに接続する他の通信端末１０と通信することができる。図には示さないが、通信端末１０は、ＣＰＵ（Central Processing Unit）、主記憶装置であるＲＡＭ（Random Access Memory）およびＲＯＭ(Read Only Memory)、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置、更に通信端末１０のユーザが操作する操作部等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述する通信端末１０の機能が発揮される。
【００１９】
図２は、通信端末１０の機能構成図である。図２に示すように、通信端末１０は、音声入出力部１０１、符号／復号化部１０２、パケット処理部１０３、通信制御部１０４、およびデータ送受信部１０５を備える。
【００２０】
音声入出力部１０１は、マイク１０１ａおよびスピーカー１０１ｂなどで構成され、ユーザから入力された音声をマイク１０１ａで取得し、音声データとして符号／復号化部１０２へ出力する。また、音声入出力部１０１は、符号／復号化部１０２で復号された音声データを受け取り、スピーカー１０１ｂより出力する。
【００２１】
符号／復号化部１０２は、マイク１０１ａより入力された音声データを、データ送受信部１０５から送信可能とするために符号化する。また、符号／復号化部１０２は、入力した音声データを音声入出力部１０１のスピーカー１０１ｂから出力可能とするために復号化する。符号／復号化部１０２は、移動通信においては例えば、ＡＭＲ−ｎａｒｒｏｗ ｂａｎｄ、ＡＭＲ−ｗｉｄｅ ｂａｎｄなどの各種コーデックがこれに該当する。
【００２２】
パケット処理部１０３は、符号／復号化部１０２により符号化された音声データを複数のパケットに分割して、これをデータ送受信部１０５に出力する。また、パケット処理部１０３は、データ送受信部１０５より受信したパケットを組みたてて、符号／復号化部１０２において復号化したあとに音声データを再現できるようにする。パケット処理部１０３で行われる処理は、具体的に例えば、ＶｏＩＰなどのＩＰシステムでの音声通話における、ＲＴＰ（Real time Transfer Protocol）などのプロトコルに基づいて行われる。
【００２３】
通信制御部１０４は、通信端末１０がネットワークＮから通信サービスを受けることができるように、レジストレーションメッセージを作成し、これをデータ送受信部１０５に出力する。また、通信制御部１０４は、データ送受信部１０５を介して通信相手からの応答メッセージを受信すると、これにより、通信が可能になったことを判断する。通信制御部１０４による制御処理は、具体的には、例えば、ＳＩＰ（Session Initiation Protocol）などのプロトコルに基づいて行われる。ユーザにより操作部が操作されて通信を終了させる指示が入力されると、通信端末１０は、通信制御部１０４による制御処理に基づいて、通信相手の端末へ終了メッセージを送信し、通信相手より応答メッセージが返送されると通信を終了する。
【００２４】
データ送受信部１０５は、他の端末とのデータやメッセージの送受信を行う。データ送受信部１０５は、パケット処理部１０３からの音声データ、および通信制御部１０４からの制御メッセージをネットワークＮへ転送する。また、データ送受信部１０５は、ネットワークＮから受信した音声データをパケット処理部１０３へ、ネットワークＮから受信した制御メッセージを通信制御部１０４へ出力する。
【００２５】
通信端末１０は、移動通信端末がその代表例であるが、これに限るものではなく、例えば音声通話可能なパソコンや、ＳＩＰ電話などにも適用可能である。本実施形態においては、通信端末１０は移動通信端末であるとして説明する。
【００２６】
中継装置２０は、ネットワークＮに接続されており、他の中継装置２０を介して通信端末１０間を接続することにより、通信機能を提供する。図には示さないが、中継装置２０は、ＣＰＵ、主記憶装置であるＲＡＭおよびＲＯＭ、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述する中継装置２０の機能が発揮される。
【００２７】
図３は、通信装置２０の機能構成図である。図３に示すように、中継装置２０は、データ送受信部２０１、データ複製部２０２、通信制御部２０３、および通信情報蓄積部２０４、およびプロファイル情報管理ＤＢ（データベース）２０５を備える。本実施形態においては、通信端末１０は移動通信端末であるので、中継装置２０は、通信端末１０が無線で接続する基地局、あるいは他のネットワーク要素と通信するルーターおよび交換局である。以下では、説明の便宜のため、中継装置２０は中継装置２０ａであるとする。
【００２８】
データ送受信部２０１は、通信端末１０、他の中継装置２０（本実施形態では中継装置２０ｂ）、契約情報ＤＢ３０、又はメディア処理装置４０から制御メッセージを受信すると、これを通信制御部２０３へ出力する。また、データ送受信部２０１は、通信制御部２０３から入力された制御メッセージを通信端末１０、中継装置２０ｂ、契約情報ＤＢ３０、又はメディア処理装置４０へ送信する。
【００２９】
ここで、中継装置２０ａで送受信される制御メッセージの例としては、通信端末１０がネットワークＮよりサービスを受けるためのレジストレーションメッセージ、契約情報ＤＢ３０より通信端末１０の契約情報をダウンロードするプロファイルダウンロードメッセージ、通信開始を通知する発信メッセージ、発信メッセージに応答する応答メッセージがある。また、制御メッセージの他の例としては、通信相手の接続先（すなわち中継装置２０）を問い合わせる着信者接続先問い合わせメッセージ、着信者接続先問い合わせメッセージに対する応答として、通信相手の接続先を応答する着信者接続先応答メッセージ、通信端末１０が通信相手の通信端末との通信を終了する終了メッセージ、およびメディア処理装置４０との通信を終了する終了メッセージ、これら終了メッセージへの返答としての通信端末１０やメディア処理装置４０からの応答メッセージ等が該当する。
【００３０】
また、通信制御部２０３により指定されたパケットを受信すると、これをデータ複製部２０２へ転送する。さらに、データ複製部２０２により複製されたパケットをメディア処理装置４０へ送信する。
【００３１】
データ複製部２０２は、データ送受信部２０１から入力されたパケットを複製する。データ複製部２０２は、複製されたパケットが有する送信元のアドレスはそのままにして、宛先アドレスをメディア処理装置４０のＩＰアドレスに変更して、このパケットをデータ送受信部２０１へ出力する。
【００３２】
図４に、通信情報蓄積部２０４に蓄積される情報の一例を示す。図に示されるように、通信情報蓄積部２０４は、複数のレコードを有している。各レコードは、現在お互いに通信している発着信両通信端末１０の通信端末識別情報およびＩＰアドレスを含むとともに、通信中の各通信端末１０が音声合成サービスに加入しているか否かを示す情報（サービス加入情報）も含んでいる。この音声合成サービスは、例えば、携帯通信ネットワークの事業者によって提供され、加入者が指示したテキストに対応する音声合成メッセージを生成して、所望の送り先に送るサービスである。
【００３３】
各レコードは、中継装置２０に接続している通信端末１０のプロファイル情報に基づいて、音声通信セッションの各々に対して生成される。プロファイル情報は、契約情報ＤＢ３０よりダウンロードしたものである。なお、契約情報ＤＢ３０の詳細は後段で説明する。各レコードは、通信セッションが終了した後（すなわち、通信を終了するための終了メッセージへ応答する応答メッセージを受信した後）に削除される。
本実施形態では、通信端末識別情報には通信端末ごとに一意に識別可能な電話番号を利用する。
【００３４】
プロファイル情報管理ＤＢ２０５は、契約情報ＤＢ３０よりダウンロードしたプロファイル情報を記憶する。契約情報ＤＢ３０よりダウンロードしたプロファイル情報は、少なくとも、レジストレーションメッセージの送信元通信端末１０の電話番号（すなわち、通信端末識別情報）と、当該通信端末１０が音声合成サービスに加入しているか否かを示すサービス加入情報とを含む。プロファイル情報は、各通信端末１０のＩＰアドレスと関連付けて記憶され、同一の通信端末識別情報を持つプロファイル情報がダウンロードされるたびに、最新のＩＰアドレスで書き換えられる。
【００３５】
通信制御部２０３は、データ送受信部２０１より制御メッセージを受信すると、この制御メッセージに対応した処理を行う。制御メッセージの例は上述したとおりである。
通信制御部２０３は、データ送受信部２０１を介して通信端末１０よりレジストレーションメッセージを受信すると、データ送受信部２０１を介してこのメッセージを契約情報ＤＢ３０に送信する。このメッセージに対する応答として、該当する通信端末２０のプロファイル情報が、プロファイルダウンロードメッセージによって通知される。受信したプロファイル情報は、プロファイル情報管理ＤＢ２０５に蓄積される。
【００３６】
また、通信制御部２０３は、データ送受信部２０１を介して通信端末１０から発信メッセージを受信すると、通信相手である他の通信端末１０の接続先であり、この発信メッセージの転送先として最適な中継装置２０を特定するために、着信者接続先問い合わせメッセージを作成する。通信制御部２０３は、作成した着信者接続先問い合わせメッセージをデータ送受信部２０１へ出力して契約情報ＤＢ３０へ送信する。通信制御部２０３は、データ送受信部２０１より着信者接続先応答メッセージを受信すると、通信相手の通信端末１０が接続する中継装置２０を確認し、その中継装置２０に向けてデータ送受信部２０１を介して発信メッセージを送信する。通信制御部２０３は、通信相手の通信端末１０から応答メッセージを受信すると、通信情報蓄積部２０４に新たなレコードを作成する。
【００３７】
また、通信制御部２０３は、データ送受信部２０１を介して通信相手の中継装置２０から発信メッセージを受信すると、データ送受信部２０１を介して、該当する通信端末１０に受信した発信メッセージを送信する。通信制御部２０３は、データ送受信部２０１を介して通信端末１０から上記発信メッセージに対する応答メッセージを受信すると、プロファイル情報管理ＤＢ２０５から応答メッセージの送信者に対応するプロファイル情報を読み出す。そして、この応答メッセージに、読み出したプロファイル情報と応答メッセージの送信元通信端末１０のＩＰアドレスとを付加した後、データ送受信部２０１を介してこの応答メッセージを通信相手の中継装置２０へ送信する。
【００３８】
また、通信制御部２０３は、データ送受信部２０１を介して通信端末１０より終了メッセージを受信すると、データ送受信部２０１を介して通信相手の中継装置２０とメディア処理装置４０に向けて終了メッセージを送信する。また、通信制御部２０３は、通信相手の中継装置２０とメディア処理装置４０からの応答メッセージの受信が確認された後に、通信端末１０に応答メッセージを送信する。
【００３９】
ここで、例えば、プロファイルダウンロードメッセージによって通知されたプロファイル情報に、ある通信端末１０が音声合成サービスに加入していることが示されているとする。この場合、この通信端末１０からの音声通話又はＴＶ電話による発信、又は当該通信端末への着信があったときに、その通信内容である音声データなどのデータが、データ送受信部２０１からデータ複製部２０２へパケットとして出力され、データ複製部２０２で複製される。複製されたパケットは、データ送受信部２０１を介してメディア処理装置４０へ送信される。
【００４０】
このように、通信端末１０ａが音声合成サービスに加入している場合、通信制御部２０３は、通信端末１０より受信した音声データをデータ複製部２０２に複製させ、複製した音声データをメディア処理装置４０へデータ送受信部２０１に送信させる。メディア処理装置４０に送信された音声データは蓄積されて音声合成データベースの基礎として使われるので、音声合成用のデータベースを、音声合成サービスに加入しているユーザ本人の音声データに基づいて作ることができる。したがって、このようにして作成されたデータベースに基づいて生成された音声合成メッセージは、ユーザ本人の音声の特性を反映した（すなわち、ユーザ本人の声と類似性が非常に高い）音声メッセージになる。
【００４１】
さらに、通信端末１０ａと通信している通信端末１０ｂが音声合成サービスに加入している場合、通信端末１０ａと接続している中継装置２０ａの通信制御部２０３は、通信端末１０ｂから受信した音声データを、中継装置２０ａのデータ複製部２０２に複製させる。通信端末１０ａと通信相手の通信端末１０ｂの両方が音声合成サービスに加入している場合には、中継装置２０ａの通信制御部２０３は、通信端末１０ａから受信した音声データと、通信端末１０ｂから受信した音声データの両方を、中継装置２０ａのデータ複製部２０２に複製させる。このようにして、本実施形態の通信システムによると、通信相手の通信端末のユーザの音声合成データベースも作成することができる。
【００４２】
発信メッセージへの応答として送信された上記応答メッセージは、着信に対する応答であるばかりでなく、着信側の通信端末１０のＩＰアドレスも通知している。これにより発信側の通信端末１０の接続する中継装置２０は、発着信両側の通信端末１０の通信端末識別情報とＩＰアドレスを知ることができ、これらの情報を通信情報蓄積部２０４内に蓄積することができる。上述のように、発着信両側の通信端末１０の通信端末識別情報とＩＰアドレスは、通信情報蓄積部２０４に保持される。
【００４３】
通信制御部２０３は、相手方の通信端末１０から応答メッセージを受信すると、メディア処理装置４０との間に通信経路を設定するために発信メッセージを作成し、メディア処理装置４０へ送信する。このメッセージ送信に対する応答として、メディア処理装置４０から応答メッセージを受信した後、データ複製部２０２でパケットの複製を開始する。
【００４４】
契約情報ＤＢ３０は、ネットワークＮに接続されており、ネットワークＮの事業者と契約している全通信端末１０の契約情報、接続先情報（位置情報）などを管理しているＤＢサーバ装置である。移動通信システムにおいては、契約情報ＤＢ３０は、例えばＨＬＲ（Home Location Register）である。図には示さないが、契約情報ＤＢ３０は、ＣＰＵ、主記憶装置であるＲＡＭおよびＲＯＭ、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述する契約情報ＤＢ３０の機能が発揮される。
【００４５】
図５に契約情報ＤＢ３０に登録されている情報の一例を示す。図に示されるように、契約情報ＤＢ３０には、契約情報３０１として、通信端末１０ごとに、ユーザＩＤ、電話番号、音声合成サービス加入の有無、およびレジストレーション状態が登録されている。本実施形態においては、契約情報ＤＢ３０に記憶されている電話番号は、通信端末１０の通信端末識別情報として機能する。レジストレーション状態は、通信端末１０が登録されている（すなわち、電源が入っている）場合に、通信端末１０がどの中継装置２０に接続しているかを中継装置２０のＩＰアドレスで示す。中継装置２０のＩＰアドレスは、当該中継装置２０からレジストレーションメッセージとともに送信される。この意味で、レジストレーションメッセージは位置登録要求メッセージに相当する。
【００４６】
契約情報ＤＢ３０は、中継装置２０からレジストレーションメッセージを受信すると、レジストレーション状態として、レジストレーションメッセージを送信した通信端末１０が接続する中継装置２０を特定する情報を登録する。さらに、契約情報ＤＢ３０は、通信端末１０のプロファイル情報として、電話番号と、音声合成サービスへ加入しているか否かを「ＹＥＳ」又は「ＮＯ」で示すサービス加入情報とを、プロファイルダウンロードメッセージの中に入れて中継装置２０へ転送する。さらに、契約情報ＤＢ３０は、着信側通信端末１０の接続先（すなわち、通信端末１０が接続している中継装置２０）を問い合わせる着信者接続先問い合わせメッセージを受信すると、該当する着信側通信端末１０の接続先の情報を着信者接続先応答メッセージにのせて、問い合わせメッセージの送信元である中継装置２０に送信する。
【００４７】
メディア処理装置４０は、ネットワークＮに接続されており、通信端末１０のマルチメディア情報の蓄積・加工機能を提供する。図には示さないが、メディア処理装置４０は、ＣＰＵ、主記憶装置であるＲＡＭおよびＲＯＭ、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述するメディア処理装置４０の機能が発揮される。
【００４８】
図６は、メディア処理装置４０の機能構成図である。図に示すように、メディア処理装置４０は、データ送受信部４０１、メディア処理アプリケーション４０２、音声データ蓄積部４０３、音声合成用ＤＢ作成エンジン４０４、音声合成ＤＢ４０５、および音声合成部４０６を備えて構成される。
【００４９】
データ送受信部４０１は、制御メッセージを中継装置２０より受信すると、これをメディア処理アプリケーション４０２へ転送する。データ送受信部４０１は、メディア処理アプリケーション４０２から受信した制御メッセージを、中継装置２０へ転送する。また、データ送受信部４０１は、中継装置２０より受信したパケットをメディア処理アプリケーション４０２へ転送する。データ送受信部４０１は、音声合成を依頼する音声合成依頼メッセージを通信端末１０から受信すると、これを音声合成部４０６へ出力する。この音声合成依頼メッセージには、インスタントメッセージ（Instant messaging）やメールのテキストデータなどが添付されて送信される。
【００５０】
メディア処理アプリケーション４０２は、中継装置２０から発信メッセージを受信すると、応答メッセージを送信する。この発信メッセージには、発信側通信端末１０の通信端末識別情報とＩＰアドレスが含まれている。その後、中継装置２０よりパケットを受信すると、メディア処理アプリケーション４０２は、この各パケットを送信元のＩＰアドレスごとに分類し、分類したパケットを、音声データ蓄積部４０３の該当するＩＰアドレスの通信端末の蓄積スペースに蓄積していく。この蓄積処理は、中継装置２０よりパケットを受信する度に行われる。メディア処理アプリケーション４０２は、終了メッセージを中継装置より受信すると、終了メッセージを確認する応答メッセージを送信する。さらに、メディア処理アプリケーション４０２は、それまで蓄積していたパケットを１つのファイルとして蓄積するように、音声データ蓄積部４０３に指示する。
【００５１】
音声合成用ＤＢエンジン４０４は、音声データ蓄積部４０３に音声合成用のデータが登録されたことを契機に、このデータを音声データ蓄積部４０３から取り出し、音声合成用のＤＢを作成する。作成されたＤＢは、音声合成用ＤＢ４０５に蓄積される。
【００５２】
音声合成部４０６は、通信端末１０から音声合成依頼メッセージを受信すると、その送信元である通信端末１０の音声合成用データを音声合成用ＤＢ４０５より取り出し、音声合成処理をする。音声合成されたメッセージは、着信側通信端末１０に向けて転送される。
【００５３】
図８は、中継装置２０の通信制御部２０３が実行する通信制御処理の流れを簡略化して示すフローチャートである。図に示されるように、通信制御処理においては、まず、通信制御部２０３は、通信端末１０よりレジストレーションメッセージを受信すると、レジストレーション処理（ＳＡ１）を実行する。このレジストレーションメッセージは、例えば移動通信端末１０の電源が入れられた場合に送信される。レジストレーション処理が終了すると、通信制御部２０３は、次の制御メッセージを待つ。
【００５４】
受信した制御メッセージが、当該中継装置２０に接続する通信端末１０からの発信メッセージである場合、通信制御部２０３は、発信側処理（ＳＡ２）を行う。次に、通信制御部２０３は、通信情報蓄積部２０４に蓄積されている情報に基づいて、当該中継装置２０に接続している発信側通信端末１０および他の中継装置２０に接続している着信側通信端末１０の少なくとも１つが音声合成サービスに加入しているか否かを判定する判定処理（ＳＡ４）を行う。判定結果がＹＥＳの場合、通信制御部２０３は、メディア処理装置４０との通信接続を確立するメディア処理装置接続処理（ＳＡ５）へ進み、続いて、ユーザデータ転送複製処理（ＳＡ６）を行う。通信制御部２０３は、その後、通信セッションを終了する終了処理（ＳＡ７）を行う。一方、ステップＳＡ４の判定結果がＮＯの場合、通信制御部２０３は、ユーザデータ転送処理（ＳＡ８）へと進む。ユーザデータ転送処理はユーザデータが受信される度に実行され、終了メッセージを受信すると、終了処理が行われる（ＳＡ７）。
【００５５】
一方、制御メッセージを受信し、その制御メッセージが、他の中継装置２０からの発信メッセージである場合、通信制御部２０３は、まず着信側処理（ＳＡ３）を行う。この着信側処理により、当該中継装置２０に接続する通信端末１０と他の中継装置２０に接続する他の通信端末１０との間に通信接続が確立すると、通信制御部２０３は、当該中継装置２０に接続する通信端末１０から受信したユーザデータを他の中継装置２０に転送するとともに、他の中継装置２０から受信したユーザデータを、当該中継装置２０に接続する通信端末１０へ転送するユーザデータ転送処理を開始する（ＳＡ８）。ユーザデータ転送処理は、ユーザデータを受信する度に行われる。そして、終了メッセージを受信すると、処理は終了処理（ＳＡ７）に進む。終了処理においては、通信制御部２０３は、通信端末１０から終了メッセージを受信すると、他の中継装置２０との通信を終了するとともに、メディア処理装置と接続している場合には、メディア処理装置４０との通信も終了する。
【００５６】
図７は、本通信システムで送受信されるデータの流れを示すシーケンス図である。図９〜１２は、レジストレーション処理（図８のＳＡ１）、発信側処理（図８のＳＡ２）、着信側処理（図８のＳＡ３）、ユーザデータ転送複製処理（図８のＳＡ６）の詳細な流れをそれぞれ示している。
【００５７】
次に、図７および図９〜１２を参照して、通信システムにおいて行われる処理の一例を説明する。この処理は、２台の通信端末１０ａと通信端末１０ｂにより音声通話が行われ、その通話中にパケットをメディア処理装置４０に蓄積し、通話完了後に、通信端末１０ａと１０ｂの各々が音声合成メッセージを送信するまでの処理である。
【００５８】
まず、図７のステップＳ１において、各通信端末１０ａ、１０ｂは、電源が入力された時などに、ネットワークＮからサービスを受けられるようにレジストレーションメッセージを各中継装置２０ａ、２０ｂに送信する。各中継装置２０ａ、２０ｂは、このレジストレーションメッセージを契約情報ＤＢ３０へ送信する。このとき、通信端末１０ａ、１０ｂがどの中継装置に接続しているかがわかるように、中継装置２０ａ、２０ｂは、契約情報ＤＢ３０に対して自己のＩＰアドレスをそれぞれ通知する。契約情報ＤＢ３０はその後、通信端末１０ａ、１０ｂが接続する中継装置２０ａ、２０ｂの各ＩＰアドレスをレジストレーション状態として登録する。
【００５９】
次に、ステップＳ２において、レジストレーションメッセージを受信した契約情報ＤＢ３０は、各通信端末１０ａ、１０ｂのプロファイル情報を抽出し、ステップＳ１においてレジストレーションメッセージによって通知された中継装置２０ａ、２０ｂの各ＩＰアドレスに対して、このプロファイル情報をそれぞれ送信する（図７のＳ２：プロファイルダウンロード）。各中継装置２０ａ、２０ｂは、自装置内のプロファイル情報管理ＤＢ２０５に、受信したプロファイル情報を登録する。
【００６０】
図９は、中継装置２０の通信制御部２０３で行われるレジストレーション処理の流れを示すフローチャートである。レジストレーション処理において、通信制御部２０３は、まず通信端末１０からレジストレーションメッセージを受信する（ＳＡ１１）。通信制御部２０３は、次に、受信したレジストレーションメッセージを契約情報ＤＢ３０へ送信する（ＳＡ１２）。このとき、通信制御部２０３は、中継装置２０のＩＰアドレスをレジストレーションメッセージに付加して送信する。
【００６１】
次に、通信制御部２０３は、プロファイル情報が契約情報ＤＢ３０から受信されたか否かを判定する（ＳＡ１３）。この判定はプロファイル情報が受信されるまで繰り返される（ＳＡ１３：ＮＯ）。この判定結果がＹＥＳになると、通信制御部２０３は、受信したプロファイル情報をプロファイル情報管理ＤＢ２０５へ登録し（ＳＡ１４）、当該レジストレーション処理を終了する。
図７に示されるように、このレジストレーション処理は、中継装置２０ａと２０ｂの各装置において行われる。
【００６２】
次に、図７のステップＳ３において、通信端末１０ａは、通信端末１０ｂに対して発信メッセージを送信する。
【００６３】
次に、図７のステップＳ４において、中継装置２０ａは、着信者接続先問い合わせメッセージを送信し、通信端末１０ｂがどの中継装置に接続しているかについて契約情報ＤＢ３０に問い合わせる。
【００６４】
次に、図７のステップＳ５において、通信端末１０ｂのレジストレーションが完了している場合、契約情報ＤＢ３０は、通信端末１０ｂが中継装置２０ｂに接続していることを確認して、中継装置２０ｂを示す情報を中継装置２０ａに送信する（図７のＳ５：着信者接続先応答）。
【００６５】
次に、図７のステップＳ６において、中継装置２０ａは、契約情報ＤＢ３０より通知された、通信端末１０ｂの接続先である中継装置２０ｂに対して、発信メッセージを送信する。中継装置２０ｂは、この発信メッセージを受信すると、通信端末１０ｂに対して、同発信メッセージを送信するとともに、受信した発信メッセージの送信元アドレスを記録する。
【００６６】
次に、図７のステップＳ７において、通信端末１０ｂは、応答が可能な場合は、中継装置２０ｂに対して応答メッセージを送信する。中継装置２０ｂは、受信した応答メッセージに通信端末１０ｂのＩＰアドレスとプロファイル情報とを付加した後、中継装置２０ａへ送信する。さらに、中継装置２０ａはこの応答メッセージを通信端末１０ａへ送信する。本実施形態において、中継装置２０ｂは中継装置２０ａへメッセージを送信できることとしたが、これは、中継装置２０ｂは、ステップＳ６において受信した発信メッセージの送信元アドレスを記憶しているためである。
【００６７】
図１０は、中継装置２０（図７の例では中継装置２０ａ）の通信制御部２０３（これ以降、「通信制御部２０３ａ」とする）が実行する発信側処理の流れを示すフローチャートである。この発信側処理においては、通信制御部２０３ａは、まず発信側である通信端末１０ａから発信メッセージを受信する（ＳＡ２１）。通信制御部２０３ａは、着信者接続先問い合わせメッセージを契約情報ＤＢ３０に送信することによって、発信メッセージで特定される通信端末１０ｂがどの中継装置に接続しているかを問い合わせる（ＳＡ２２）。
【００６８】
通信制御部２０３は、次に、契約情報ＤＢ３０から着信者の接続先に関する情報を受信したか否かを判定する。この判定は、着信者の接続先に関する情報が受信されるまで繰り返される（ＳＡ２３：ＮＯ）。判定結果がＹＥＳの場合、通信制御部２０３は、着信者の接続先に関する情報に示される中継装置２０（図７の例では中継装置２０ｂ）に上記発信メッセージを送信する（ＳＡ２４）。図７のステップＳ６に示されるように、この発信メッセージは、中継装置２０ｂから通信端末１０ｂへ転送される。
【００６９】
図１１は、中継装置２０（図７の例では、中継装置２０ｂ）の通信制御部２０３（これ以降、「通信制御部２０３ｂ」とする）により実行される着信側処理の流れを示すフローチャートである。着信側処理においては、通信制御部２０３ｂはまず、中継装置２０ａより発信メッセージを受信する（ＳＡ３１）。次に、通信制御部２０３ｂは、着信側通信端末１０ｂにこの発信メッセージを送信し（ＳＡ３２）、送信した発信メッセージに対する応答メッセージを待つ（ＳＡ３３：ＮＯ）。
【００７０】
通信端末１０ｂから応答メッセージを受信すると（ＳＡ３３：ＹＥＳ）、通信制御部２０３ｂは、プロファイル情報管理ＤＢ２０５から通信端末１０ｂのプロファイル情報を読み出し（ＳＡ３４）、この応答メッセージに、ＩＰアドレスと読み出したプロファイル情報とを付加して（ＳＡ３５）中継装置２０ａへ送信し（ＳＡ３６）、着信側処理を終了する。
【００７１】
一方、図１０のステップＳＡ２５において、中継装置２０ａの通信制御部２０３ａは、中継装置２０ｂを介して通信端末１０ｂより応答メッセージが受信されたか否かを判定する（ＳＡ２５）。この判定は、応答メッセージが受信されるまで繰り返される（ＳＡ２５：ＮＯ）。
【００７２】
判定結果がＹＥＳになると、通信制御部２０３ａは、通信情報蓄積部２０４にレコードを新規作成する。具体的には、通信制御部２０３ａは、受信したプロファイル情報に基づいて、通信端末識別情報と、通信端末１０ｂが音声合成サービスに加入しているか否かを示すサービス加入情報とを取得し、新規作成したレコードに、通信端末識別情報と、サービス加入情報と、受信した通信端末１０ｂのＩＰアドレスとを記憶する。また、通信制御部２０３ａは、プロファイル情報管理ＤＢ２０５から、ＳＡ２１で受信した発信メッセージに含まれるＩＰアドレス(通信端末１０ａのＩＰアドレス)に対応するプロファイル情報を読み出し、読み出したプロファイル情報から通信端末１０ａの通信端末識別情報と、通信端末１０ａが音声合成サービスに加入しているか否かを示すサービス加入情報とを取得して、通信端末１０ａのＩＰアドレスとともに同レコードに記憶する（ＳＡ２６）。
【００７３】
この例では、ステップＳＡ２６における処理の結果、図４における通信情報蓄積部２０４の最上段に示すようなレコードが生成されたとする。図示のように、このレコードでは、通信端末１０ａの通信端末識別子は「０９０ＡＡＡＡＡＡＡＡ」であり、通信端末１０ｂの通信端末識別子は「０９０ＢＢＢＢＢＢＢＢ」である。また、通信端末１０ａと１０ｂの両方が、音声合成サービスに加入している。
通信制御部２０３ａはその後、発信側処理を終了して、図８のステップＳＡ４の判定処理へ進む。
【００７４】
判定処理において、中継装置２０ａは、通信情報蓄積部２０４に蓄積した情報に基づいて、発信側と着信側の通信端末の少なくとも１つが音声合成サービスに加入しているか否かを判定する。この例では、通信情報蓄積部２０４に蓄積した情報に基づいて、肯定的であると判定されるので（図８のＳＡ４：ＹＥＳ）、中継装置２０ａは、通信経路を確立するための発信メッセージを生成し、メディア処理装置４０へ送信する（図７のＳ８：発信、図８のＳＡ５）。一方、発信側と着信側がいずれも音声合成サービスに加入していないと判定された場合（図８のＳＡ４：ＮＯ）には、通信制御部２０３は、メディア処理装置４０へ発信メッセージを送信せず、代わりに、通信制御部２０３は、ユーザデータ転送処理へ進む（図８のＳＡ８）。
【００７５】
次に、図７のステップＳ９において、メディア処理装置４０は、発信メッセージを受信した後、応答メッセージを中継装置２０ａへ送信し、中継装置２０ａとの通信経路を設定する。
【００７６】
次に、図７のステップＳ１０において、通信端末１０ａから中継装置２０ａに対してユーザデータ（音声データ）を含むパケットが送信された場合、中継装置２０ａは、そのパケットを通信相手の通信端末１０ｂが接続している中継装置２０ｂへと送信する。この例では、通信端末１０ａは音声合成サービスに加入しているので、中継装置２０ａは、パケットを複製して、メディア処理装置４０へ送信する。逆に、通信端末１０ｂから中継装置２０ｂを介して中継装置２０ａにパケットが送信された場合、この例では、通信端末１０ｂも音声合成サービスに加入しているので、中継装置２０ａは、このパケットも複製してメディア処理装置４０へ送信する（図７のＳ１０ａ：複製パケット）。メディア処理装置４０は、受信したパケットを送信元アドレス（すなわち、通信端末１０ａまたは１０ｂのＩＰアドレス）ごとに分類し、音声データ蓄積部４０３の、送信元アドレスに該当する通信端末識別情報に該当する蓄積スペースに各パケットのデータを蓄積していく。
【００７７】
図１２は、通信制御部２０３ａが実行するユーザデータ転送複製処理の流れを示すフローチャートである。この処理では、通信制御部２０３ａは、まずユーザデータを受信する（ＳＡ６１）。次に、通信制御部２０３ａは受信したデータが、ステップＳＡ２１で受信された発信メッセージの送信元である発信側通信端末（すなわち、通信端末１０ａ）から送信されたものであるか否かを判定する（ＳＡ６２）。判定結果がＹＥＳになった場合、通信制御部２０３ａは、着信側通信端末（すなわち、通信端末１０ｂ）へユーザデータを送信する（ＳＡ６３）。続いて、通信制御部２０３ａは、通信情報蓄積部２０４に蓄積されている情報に基づいて、通信端末１０ａが音声合成サービスに加入しているか否かを判定する（ＳＡ６４）。この動作例では、通信端末１０ａは音声合成サービスに加入しているので、判定結果はＹＥＳになる。よって、通信制御部２０３ａは、データ複製部２０２にユーザデータを複製させ（ＳＡ６５）、データ送受信部２０１を介してメディア処理装置４０へ送信し（ＳＡ６６）、ユーザデータ転送複製処理を終了する。ステップＳＡ６４の判定結果がＮＯになると、処理は図８のメインプロセスへ戻る。
【００７８】
一方、ステップＳＡ６２の判定結果がＮＯの場合、すなわち、受信したユーザデータが通信端末１０ｂから送信されたものである場合、通信制御部２０３ａは、このユーザデータを、その受信者である通信端末（すなわち通信端末１０ａ）へ送信する（ＳＡ６７）。続いて、通信制御部２０３ａは、通信情報蓄積部２０４内の情報に基づいて、通信端末１０ｂが音声合成サービスに加入しているか否かを判定する（ＳＡ６８）。この動作例では、通信端末１０ｂは音声合成サービスに加入しているので、その判定結果はＹＥＳとなる。よって、通信制御部２０３ａは、データ複製部２０２にユーザデータを複製させ（ＳＡ６５）、複製したデータをデータ送受信部２０１を介してメディア処理装置４０に送信し（ＳＡ６６）、ユーザデータ転送複製処理を終了する。ステップＳＡ６８の判定結果がＮＯの場合、処理は図８のメインプロセスに戻る。このユーザデータ転送複製処理は、ユーザデータを受信する度に行われる。
【００７９】
次に、図７のステップＳ１１において、ユーザにより通信を終了させる指示が入力されると、通信端末１０ａは、終了メッセージを送信する。これを受信した中継装置２０ａは、この終了メッセージを中継装置２０ｂへ転送する。引き続き、中継装置２０ｂは同メッセージを通信端末１０ｂへ転送する。
【００８０】
次に、図７のステップＳ１２において、通信端末１０ｂは、終了メッセージを受信して、通話を終了すると応答メッセージを返送する。中継装置２０ｂはこれを受信すると中継装置２０ａへ転送する。中継装置２０ｂが中継装置２０ａへメッセージを転送できるのは、ステップＳ７で説明した理由と同様である。
【００８１】
次に、図７のステップＳ１３において、中継装置２０ａは、通信端末１０ａからの終了メッセージを受信すると、自装置内でのパケットの複製機能を停止し、メディア処理装置４０へ終了メッセージを送信する。
【００８２】
次に、図７のステップＳ１４において、メディア処理装置４０は、終了メッセージを受信すると応答メッセージを返送し、中継装置２０ａとの通信を終了する。メディア処理装置４０は、１回の音声通話が完了したことを検出し、音声データ蓄積部４０３に蓄積していた複製パケット内のデータを１つのファイルとして結合する。
【００８３】
次に、図７のステップＳ１５において、中継装置２０ａは、中継装置２０ｂとメディア処理装置４０の両方から応答メッセージを受信すると、通信が終了したことを通信端末１０ａに通知するために、応答メッセージを送信する（ステップＳ１１からＳ１５は図８のＳＡ７に対応）。通信端末１０ａと１０ｂとの間の通信セッションはこのようにして終了する。
【００８４】
次に、図７のステップＳ１６において、メディア処理装置４０は、音声データ蓄積部４０３に登録された音声通信のデータファイルに基づいて、音声合成に利用するデータベースを構築する。
【００８５】
Ｓ１６で作成された音声合成用ＤＢは、メールまたはインスタントメッセージなどのメッセージングアプリケーションにより、通信端末１０ａ又は１０ｂからメッセージデータが送信され、これに音声合成依頼が示されている時に利用される。
【００８６】
ステップＳ１７において、通信端末１０ａは、宛先を通信端末１０ｂとする音声合成依頼付きのメッセージを中継装置２０ａへ送信する。中継装置２０ａは、受信したメッセージをメディア処理装置４０へ送信する（図７のＳ１７：音声合成依頼メッセージ）。
【００８７】
ステップＳ１８において、メディア処理装置４０は、構築されている音声合成用ＤＢを利用して、通信端末１０ａのユーザの本人性を反映した音声合成メッセージを作成し、中継装置２０ｂを介してこれを通信端末１０ｂへ送信する（図７のＳ１８：音声合成メッセージ）。
【００８８】
ステップＳ１９において、通信端末１０ｂは、宛先を通信端末１０ａとする音声合成依頼付きのメッセージを中継装置２０ｂへ送信する。中継装置２０ｂは、受信したメッセージをメディア処理装置４０へ送信する（図７のＳ１９：音声合成依頼メッセージ）。
【００８９】
ステップＳ２０において、メディア処理装置４０は、構築されている音声合成用ＤＢを利用して、通信端末１０ｂのユーザの本人性を反映した音声合成メッセージを作成し、中継装置２０ａを介してこれを通信端末１０ａへ送信する（図７のＳ２０：音声合成メッセージ）。
【００９０】
変形例：
続いて、本実施形態にかかる通信システムの変形例について説明する。上記実施形態は、以下のような変形が可能である。
上記実施形態においては、通信端末１０ａが通信端末１０ｂに対して発信した場合、通信端末１０ａの接続先中継装置２０ａが、通信端末１０ａと通信端末１０ｂ双方の音声データを複製して、この複製した音声データをメディア処理装置４０へ送信していたが、上記実施形態においては、中継装置２０ｂも中継装置２０ａと同様の構成を有するので、中継装置２０ｂが、通信端末１０ａと通信端末１０ｂ双方の音声データを複製してもよい。もしくは、中継装置２０ａと中継装置２０ｂのそれぞれが、通信端末１０ａと通信端末１０ｂ双方の音声データを複製するように本システムを構成してもよいし、中継装置２０ａが通信端末１０ａの音声データを複製し、中継装置２０ｂが通信端末１０ｂの音声データを複製するように本システムを構成してもよい。
【００９１】
さらに、上述の実施形態においては、通信端末１０ａが中継装置２０ａに接続し、通信端末１０ｂが中継装置２０ｂに接続している場合の説明をした。しかしながら、通信端末１０ａと１０ｂが、同じ中継装置２０に接続していてもよい。また、通信端末１０のうち少なくとも１つが、中継装置２０に接続していてもよい。換言すれば、通信端末のうち１つが、中継装置２０の機能を持たない従来型の中継装置に接続していてもよい。
【００９２】
上記実施形態では、メディア処理装置４０に転送された音声通信中のデータを全て蓄積することとしていたが、転送されたデータの中で選択されたもののみを蓄積しても良い。この選択は、既に蓄積されているデータと受信したデータとの比較に基づいて行ってもよい。つまり、この選択では、発音や意味がすでに蓄積されているデータと同一か類似している場合には、データが破棄される。具体的には、メディア処理装置４０のメディア処理アプリケーション４０２は、データ送受信部４０１（受信部）により受信された音声データが蓄積済みの音声データのいずれかに一致するか否かを判定する判定部を有し、判定部により、両者が一致していることが検知された場合には、蓄積済みの音声データを受信した音声データで上書きするようにしてもよい。
【００９３】
好適には、類似度もしくは同一度の高いデータであっても、蓄積されているデータが背景雑音などを含んでおり、新しく受信されたデータの方がよりクリアな音質を有するデータであった場合には、蓄積されたデータを新たに受信したデータで置換し、クリアなデータを優先的に蓄積することが望ましい。この場合、メディア処理アプリケーション４０２は、受信した音声データの雑音量と、このデータに対応する蓄積された音声データの雑音量をそれぞれ測定する雑音測定部を有するのが望ましく、受信した音声データの雑音量が、蓄積済みの対応する音声データの雑音量より少ない場合には、音声データ蓄積部４０３は、蓄積済みの音声データを受信した音声データで上書きするのが望ましい。この構成により、データベースのサイズを最適化しながら、より質の高い音声合成用データベースを提供することができる。
【００９４】
好適には、音声合成されたメッセージを送信する際によく利用されるデータを優先的に蓄積しておき、頻繁に使用されるデータが後から入力されたデータで置換されないようにすることが望ましい。
【００９５】
上記実施形態では、メディア処理装置４０に転送された通話中のデータを全て蓄積することとしていたが、蓄積する前に不要な音声を除去しても良い。この場合、メディア処理アプリケーション４０２は、音声データに含まれる背景雑音を除去する雑音フィルターを有し、音声データ蓄積部４０３は、この雑音フィルターにより雑音が除去された後に、音声データを蓄積するのが望ましい。この構成により、必要なデータのみを蓄積することができる。
好適には、背景雑音に加えて、無音部のデータを除去して蓄積することが望ましい。
【００９６】
上記実施形態では、中継装置において送信元ＩＰアドレスによりデータ複製し、メディア処理装置において送信元ＩＰアドレスにより蓄積することとしていたが、別の識別子によりデータ複製、データ蓄積しても良い。つまり、Ｅｔｈｅｒｎｅｔ（登録商標）のＭＡＣアドレスや、ＡＴＭのＶＣＩ（Virtual Channel Identifier）、またはＩＭＳＩ（International Mobile Subscriber Identity）などを使用してもよい。さらに、通信端末の通信端末識別情報を使用してもよい。この構成により、本実施形態における通信システムは、ＩＰを用いたネットワーク（例えばインターネット）以外のネットワークにおいても提供できる。
【００９７】
上記実施形態では、契約情報を基にして、中継装置でデータを複製し、複製したデータをメディア処理装置で蓄積するか否かを判定していた。しかし、発信側の通信端末から音声データの録音（すなわち、データの複製と蓄積）の指示を送出し、通信端末から指定された音声データのみメディア処理装置に蓄積されるようにしても良い。この場合、データ送受信部２０１が通信端末１０より複製の指示を受信した場合、中継装置２０の通信制御部２０３は、データ複製部２０２に、通信端末１０よりデータ送受信部２０１を介して受信した音声データを複製させる。この構成により、録音するデータを通信端末から柔軟に指定することができる。
【００９８】
好適には、通話が終了した後に、録音する／しないをユーザが指定できるようにしてもよい。この場合、音声合成用ＤＢ作成エンジン４０４は、データファイルをデータベースに追加する指示を得た時のみ、音声データ蓄積部４０３よりデータファイルを取得し音声合成用のデータベースを作成する。
【００９９】
上記実施形態では、音声合成サービスに加入している通信端末の音声データをメディア処理装置において蓄積することとしていたが、音声合成サービスに加入している音声端末が頻繁に音声通信を行う相手の音声データを蓄積するようにしても良い。つまり、通話回数の上位数名の音声データを蓄積しておき、その上位数名から自分宛にメッセージが送信された時に、音声合成されたメッセージが送信されるようにするものである。この場合、通信端末１０ａが音声合成サービスに加入しており、通信端末１０ｂが加入していない場合でも、所定の期間中に通信端末１０ａと１０ｂとの間で行われた電話の回数が閾値を越えている場合には、通信端末１０ａの接続先である中継装置２０の通信制御部２０３が、データ複製部２０２に、通信端末１０ｂから受信した音声データを複製させるようにしてもよい。この構成により、相手の通信端末が音声合成サービスに加入していなくても、相手の通信端末からのメッセージは音声合成されたメッセージが送信されるようにできる。
【０１００】
上記実施形態では、音声合成の依頼メッセージを送信すると、自動的にメディア処理装置で音声合成してメッセージを送信することとしていたが、音声合成されたメッセージが相手方通信端末に送信される前に、音声合成されたメッセージを発信側通信端末にて確認できるようにしても良い。つまり、音声合成されたメッセージを、発信側通信端末で再生するようにしても良い。この構成により、発信側通信端末は、音声合成されたメッセージが十分本人性のある合成メッセージとなっているかどうかを確認し、音声合成されたメッセージを送信する/しないを判断できる。
【０１０１】
上記実施形態では、メディア処理装置において音声データファイルごとに蓄積することとしていたが、蓄積された音声データに対して、音声認識処理を行い、認識されたテキストと音声データファイルをリンクして管理するようにしても良い。
【０１０２】
以上、本発明に係る通話中の音声データによる音声合成向けデータベース構築用通信システムでは、通信端末を利用した会話内容を基にして、音声合成向けデータベースが構築される。即ち、このシステムでは、専用の録音環境を必要とせず、録音のためにユーザを長時間拘束する必要もない。従って、本発明に係る通話中の音声データによる音声合成向けデータベース構築用通信システムによれば、ユーザに音声合成用の録音をしていることに気づかせることなく、容易に音声合成用データベースを構築することができる。
【０１０３】
また、通信端末を利用した本人の会話内容を基にして、音声合成向けデータベースが構築される。従って、本発明によれば、容易に本人の特徴を再現する本人性を重視した音声合成データベース構築方法を提供することができる。
【０１０４】
また、データベース作成のために特別な原稿を用意していないため、より普段の会話に近い合成データを提供することが可能となる。
通信端末１０がパーソナルコンピュータのような固定端末である場合、中継装置２０は固定通信網の交換機である。この場合、位置登録や着信者接続先問い合わせが不要なので、契約情報ＤＢ３０は無くても良い。
【符号の説明】
【０１０５】
１０ａ、１０ｂ…通信端末、２０ａ、２０ｂ…中継装置、３０…契約情報ＤＢ（契約情報データベース装置）、４０…メディア処理装置、１０１…音声入出力部、１０１ａ…マイク、１０１ｂ、１０２…符号／複合化部、１０３…パケット処理部、１０４…通信制御部、１０５…データ送受信部、２０１…データ送受信部（送受信部）、２０２…データ複製部、２０３…通信制御部、２０４…通信情報蓄積部、２０５…プロファイル情報管理ＤＢ、４０１…データ送受信部（受信部）、４０２…メディア処理アプリケーション（音声データ処理部）、４０３…音声データ蓄積部、４０４…音声合成用ＤＢ作成エンジン（音声合成用データベース作成部）、４０５…音声合成用ＤＢ（音声合成用データベース記憶部）、４０６…音声合成部、Ｎ…ネットワーク。
【技術分野】
【０００１】
本発明は、音声合成用音声データベース構築のための通信システム、中継装置および中継方法に関し、より詳細には、本人性の再現を重視する音声合成システムにおいて、音声合成のための音声データベースを電話やＴＶ電話の通話内容に基づき構築する通信システム、中継装置および中継方法に関する。
【背景技術】
【０００２】
音声合成技術には、合成された音声が滑らかに再現されていることを重視する完全性と、あたかも本人が発声しているような音声を再現する本人性が重視されながら研究開発が行われている。
【０００３】
これら音声合成技術では、予め様々な原稿を人に読ませることにより被験者の様々な音声データをデータベースに録音しておき、入力されたテキストに最もマッチした音声データを組み合わせることにより、合成された音声を生成することにより実現されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２９５８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の音声合成技術では、音声合成用の音声データが蓄積されたデータベースを構築するためには、専用のスタジオを用意して、長時間（数時間から十数時間）の録音時間を要する。そのため、従来の音声合成技術は、カーナビゲーションシステムやＩＶＲ（Interactive Voice Response）など、限定的な音声パターンだけを必要とするシステムには適用可能であったが、移動通信システムなどにおいて個人の音声を再現することは困難であった。
【０００６】
本発明は、以上の問題点を解決するためになされたものであり、個人の音声の特徴を再現する本人性を重視した音声合成用音声データベースを容易に構築のための通信システム、中継装置および中継方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、通信網に接続する中継装置と、前記中継装置を介して前記通信網に接続し、前記中継装置を介して他の通信端末と音声データの送受信を行う複数の通信端末と、前記中継装置に接続するメディア処理装置とを備えた通信システムであって、前記中継装置は、第１の通信端末から送信された第１の音声データを受信し、受信した前記第１の音声データを第２の通信端末へ送信する送受信部と、音声データを複製するデータ複製部と、前記第１の通信端末からデータ送受信部を介して受信した前記第１の音声データを前記データ複製部によって複製し、当該複製された音声データを前記送受信部によって前記メディア処理装置へ送信するように制御する通信制御部とを備え、前記メディア処理装置は、前記第１の通信端末の複製された音声データを、前記中継装置から受信する受信部と、前記受信部により受信した音声データを音声データ蓄積部に蓄積する音声データ処理部と、前記音声データ蓄積部に蓄積された前記音声データに基づいて、前記第１の通信端末用の音声合成用データベースを作成する音声合成用データベース作成部と、前記音声合成用データベース作成部によって作成された音声合成用データベースが記憶される音声合成用データベース記憶部と、前記第１の通信端末から音声合成の依頼を受信した場合、前記音声合成用データベースに基づいて音声合成を行う音声合成部とを備えることを特徴とする通信システムを提供する。本発明の通信システムによれば、本人性の再現を重視した音声合成用データベースを容易に作成することができる。
【０００８】
上記通信システムの別の好適な態様において、前記通信制御部は、前記複製の指示を前記第１の通信端末から受信した場合に、前記送受信部を介して前記第１の通信端末から受信した音声データを前記データ複製部に複製させる。この態様によれば、第１の通信端末は、音声データを送信するたびに録音する音声データを指定することができる。また、この場合、第１の通信端末は、音声通信が終了した後に音声データを録音するか否かを指定しても良い。この形態によれば、メディア処理装置において録音する音声データを、通信端末で自由に指定することができる。
【０００９】
上記通信システムの別の好適な態様において、前記音声データ処理部は、前記受信部により受信した前記音声データが前記蓄積された音声データのいずれかと一致するか否かを判定する判定部と、受信した前記音声データの雑音量と、当該音声データと一致する蓄積済み音声データの雑音量とを測定する雑音測定部とを更に備え、前記音声データ処理部は、受信した前記音声データの雑音量が、前記蓄積済みの音声データの雑音量より少ない場合には、前記蓄積済みの音声データを受信した前記音声データで上書きするようにしてもよいし、前記音声データ処理部は、前記音声データ内の背景雑音を除去する雑音フィルターを更に備え、前記音声データ処理部は、前記雑音フィルターによって前記背景雑音を除去した前記音声データを蓄積するようにしてもよい。このような形態においては、音声合成用データベースはより質の高い音声データを提供することができる。
【００１０】
また、本発明は、通信網に接続する中継装置と当該中継装置を介して前記通信網に接続する複数の通信端末とを備える通信システムにおいて、ある通信端末から他の通信端末へデータ中継を行う中継装置であって、第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する送受信部と、音声データを複製するデータ複製部と、前記第１の通信端末から前記送受信部を介して受信した前記音声データを前記データ複製部によって複製するよう制御するとともに、当該複製された音声データを蓄積して音声合成用データベースを作成するメディア処理装置に対して、前記複製した音声データを前記送受信部によって送信するように制御する通信制御部とを備える中継装置を提供する。本発明の中継装置によれば、個人の音声を再現する本人性を重視した音声合成用データベースを容易に作成することができる。
【００１１】
加えて、本発明は、通信網に接続する中継装置と、前記中継装置を介して前記通信網に接続する複数の通信端末とを備え、ある通信端末より他の通信端末へデータの中継を前記中継装置が行う通信システムにおける中継方法であって、第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する受信ステップと、前記受信ステップで受信した前記音声データを複製する複製ステップと、前記複製した音声データを、当該音声データを蓄積して音声合成用データベースを作成するメディア処理装置へ送信する送信ステップとを備える中継方法を提供する。本発明の中継方法によれば、個人の音声を再現する本人性を重視した音声合成用データベースを容易に作成することができる。
【発明の効果】
【００１２】
本発明によれば、個人の音声の特徴を再現する本人性を重視した音声合成用音声データベースを容易に構築可能な通信システム、中継装置および中継方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明にかかる全体構成図である。
【図２】本発明にかかる通信端末の機能構成図である。
【図３】本発明にかかる中継装置の機能構成図である。
【図４】本発明にかかる通信情報蓄積部で管理する情報である。
【図５】本発明にかかる契約情報ＤＢで管理する情報である。
【図６】本発明にかかるメディア処理装置の機能構成図である。
【図７】本発明にかかる通信システムで交換される情報の流れを示すシーケンス図である。
【図８】中継装置が実行する通信制御処理の流れを示すフローチャートである。
【図９】中継装置が実行するレジストレーション処理の流れを示すフローチャートである。
【図１０】中継装置が実行する発信側処理の流れを示すフローチャートである。
【図１１】中継装置が実行する着信側処理の流れを示すフローチャートである。
【図１２】中継装置が実行するユーザデータ転送複製処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面とともに本発明の好適な一実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１５】
図１に、本実施形態に係る音声合成用音声データベース構築のための通信システム（以下通信システム）の一例を示す。通信システムは、ネットワークＮからサービスを受ける複数の通信端末１０（通信端末１０ａと通信端末１０ｂの総称）、ネットワークＮに各通信端末を接続する中継装置２０（中継装置２０ａと中継装置２０ｂの総称）、通信端末１０の契約情報を管理する契約情報ＤＢ（データベース）３０、通信端末に関わるメディア情報を蓄積・加工するメディア処理装置４０を備え、およびこれらの各装置はネットワークＮを介してそれぞれ接続されている。２つの通信端末１０および中継装置２０が図示されているが、これに限定されず、それぞれ３以上の通信端末１０および中継装置２０を備えることとしてもよい。
【００１６】
音声データとは、具体的には例えば音声通話、ＴＶ電話、留守番電話などが該当する。また、メディア情報とは、例えば留守電により蓄積された音声・映像メッセージ、音楽ファイル、動画像などである。
【００１７】
通信端末１０は、中継装置２０を介してネットワークＮに接続されている。ネットワークＮは、通信端末１０に対して通信サービスを提供する。ネットワークＮは、具体的には例えば、携帯電話網である。通信端末１０は、無線または有線により中継装置２０に接続されている。
【００１８】
通信端末１０は、中継装置２０を介して、同じく中継装置２０を介してネットワークＮに接続する他の通信端末１０と通信することができる。図には示さないが、通信端末１０は、ＣＰＵ（Central Processing Unit）、主記憶装置であるＲＡＭ（Random Access Memory）およびＲＯＭ(Read Only Memory)、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置、更に通信端末１０のユーザが操作する操作部等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述する通信端末１０の機能が発揮される。
【００１９】
図２は、通信端末１０の機能構成図である。図２に示すように、通信端末１０は、音声入出力部１０１、符号／復号化部１０２、パケット処理部１０３、通信制御部１０４、およびデータ送受信部１０５を備える。
【００２０】
音声入出力部１０１は、マイク１０１ａおよびスピーカー１０１ｂなどで構成され、ユーザから入力された音声をマイク１０１ａで取得し、音声データとして符号／復号化部１０２へ出力する。また、音声入出力部１０１は、符号／復号化部１０２で復号された音声データを受け取り、スピーカー１０１ｂより出力する。
【００２１】
符号／復号化部１０２は、マイク１０１ａより入力された音声データを、データ送受信部１０５から送信可能とするために符号化する。また、符号／復号化部１０２は、入力した音声データを音声入出力部１０１のスピーカー１０１ｂから出力可能とするために復号化する。符号／復号化部１０２は、移動通信においては例えば、ＡＭＲ−ｎａｒｒｏｗ ｂａｎｄ、ＡＭＲ−ｗｉｄｅ ｂａｎｄなどの各種コーデックがこれに該当する。
【００２２】
パケット処理部１０３は、符号／復号化部１０２により符号化された音声データを複数のパケットに分割して、これをデータ送受信部１０５に出力する。また、パケット処理部１０３は、データ送受信部１０５より受信したパケットを組みたてて、符号／復号化部１０２において復号化したあとに音声データを再現できるようにする。パケット処理部１０３で行われる処理は、具体的に例えば、ＶｏＩＰなどのＩＰシステムでの音声通話における、ＲＴＰ（Real time Transfer Protocol）などのプロトコルに基づいて行われる。
【００２３】
通信制御部１０４は、通信端末１０がネットワークＮから通信サービスを受けることができるように、レジストレーションメッセージを作成し、これをデータ送受信部１０５に出力する。また、通信制御部１０４は、データ送受信部１０５を介して通信相手からの応答メッセージを受信すると、これにより、通信が可能になったことを判断する。通信制御部１０４による制御処理は、具体的には、例えば、ＳＩＰ（Session Initiation Protocol）などのプロトコルに基づいて行われる。ユーザにより操作部が操作されて通信を終了させる指示が入力されると、通信端末１０は、通信制御部１０４による制御処理に基づいて、通信相手の端末へ終了メッセージを送信し、通信相手より応答メッセージが返送されると通信を終了する。
【００２４】
データ送受信部１０５は、他の端末とのデータやメッセージの送受信を行う。データ送受信部１０５は、パケット処理部１０３からの音声データ、および通信制御部１０４からの制御メッセージをネットワークＮへ転送する。また、データ送受信部１０５は、ネットワークＮから受信した音声データをパケット処理部１０３へ、ネットワークＮから受信した制御メッセージを通信制御部１０４へ出力する。
【００２５】
通信端末１０は、移動通信端末がその代表例であるが、これに限るものではなく、例えば音声通話可能なパソコンや、ＳＩＰ電話などにも適用可能である。本実施形態においては、通信端末１０は移動通信端末であるとして説明する。
【００２６】
中継装置２０は、ネットワークＮに接続されており、他の中継装置２０を介して通信端末１０間を接続することにより、通信機能を提供する。図には示さないが、中継装置２０は、ＣＰＵ、主記憶装置であるＲＡＭおよびＲＯＭ、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述する中継装置２０の機能が発揮される。
【００２７】
図３は、通信装置２０の機能構成図である。図３に示すように、中継装置２０は、データ送受信部２０１、データ複製部２０２、通信制御部２０３、および通信情報蓄積部２０４、およびプロファイル情報管理ＤＢ（データベース）２０５を備える。本実施形態においては、通信端末１０は移動通信端末であるので、中継装置２０は、通信端末１０が無線で接続する基地局、あるいは他のネットワーク要素と通信するルーターおよび交換局である。以下では、説明の便宜のため、中継装置２０は中継装置２０ａであるとする。
【００２８】
データ送受信部２０１は、通信端末１０、他の中継装置２０（本実施形態では中継装置２０ｂ）、契約情報ＤＢ３０、又はメディア処理装置４０から制御メッセージを受信すると、これを通信制御部２０３へ出力する。また、データ送受信部２０１は、通信制御部２０３から入力された制御メッセージを通信端末１０、中継装置２０ｂ、契約情報ＤＢ３０、又はメディア処理装置４０へ送信する。
【００２９】
ここで、中継装置２０ａで送受信される制御メッセージの例としては、通信端末１０がネットワークＮよりサービスを受けるためのレジストレーションメッセージ、契約情報ＤＢ３０より通信端末１０の契約情報をダウンロードするプロファイルダウンロードメッセージ、通信開始を通知する発信メッセージ、発信メッセージに応答する応答メッセージがある。また、制御メッセージの他の例としては、通信相手の接続先（すなわち中継装置２０）を問い合わせる着信者接続先問い合わせメッセージ、着信者接続先問い合わせメッセージに対する応答として、通信相手の接続先を応答する着信者接続先応答メッセージ、通信端末１０が通信相手の通信端末との通信を終了する終了メッセージ、およびメディア処理装置４０との通信を終了する終了メッセージ、これら終了メッセージへの返答としての通信端末１０やメディア処理装置４０からの応答メッセージ等が該当する。
【００３０】
また、通信制御部２０３により指定されたパケットを受信すると、これをデータ複製部２０２へ転送する。さらに、データ複製部２０２により複製されたパケットをメディア処理装置４０へ送信する。
【００３１】
データ複製部２０２は、データ送受信部２０１から入力されたパケットを複製する。データ複製部２０２は、複製されたパケットが有する送信元のアドレスはそのままにして、宛先アドレスをメディア処理装置４０のＩＰアドレスに変更して、このパケットをデータ送受信部２０１へ出力する。
【００３２】
図４に、通信情報蓄積部２０４に蓄積される情報の一例を示す。図に示されるように、通信情報蓄積部２０４は、複数のレコードを有している。各レコードは、現在お互いに通信している発着信両通信端末１０の通信端末識別情報およびＩＰアドレスを含むとともに、通信中の各通信端末１０が音声合成サービスに加入しているか否かを示す情報（サービス加入情報）も含んでいる。この音声合成サービスは、例えば、携帯通信ネットワークの事業者によって提供され、加入者が指示したテキストに対応する音声合成メッセージを生成して、所望の送り先に送るサービスである。
【００３３】
各レコードは、中継装置２０に接続している通信端末１０のプロファイル情報に基づいて、音声通信セッションの各々に対して生成される。プロファイル情報は、契約情報ＤＢ３０よりダウンロードしたものである。なお、契約情報ＤＢ３０の詳細は後段で説明する。各レコードは、通信セッションが終了した後（すなわち、通信を終了するための終了メッセージへ応答する応答メッセージを受信した後）に削除される。
本実施形態では、通信端末識別情報には通信端末ごとに一意に識別可能な電話番号を利用する。
【００３４】
プロファイル情報管理ＤＢ２０５は、契約情報ＤＢ３０よりダウンロードしたプロファイル情報を記憶する。契約情報ＤＢ３０よりダウンロードしたプロファイル情報は、少なくとも、レジストレーションメッセージの送信元通信端末１０の電話番号（すなわち、通信端末識別情報）と、当該通信端末１０が音声合成サービスに加入しているか否かを示すサービス加入情報とを含む。プロファイル情報は、各通信端末１０のＩＰアドレスと関連付けて記憶され、同一の通信端末識別情報を持つプロファイル情報がダウンロードされるたびに、最新のＩＰアドレスで書き換えられる。
【００３５】
通信制御部２０３は、データ送受信部２０１より制御メッセージを受信すると、この制御メッセージに対応した処理を行う。制御メッセージの例は上述したとおりである。
通信制御部２０３は、データ送受信部２０１を介して通信端末１０よりレジストレーションメッセージを受信すると、データ送受信部２０１を介してこのメッセージを契約情報ＤＢ３０に送信する。このメッセージに対する応答として、該当する通信端末２０のプロファイル情報が、プロファイルダウンロードメッセージによって通知される。受信したプロファイル情報は、プロファイル情報管理ＤＢ２０５に蓄積される。
【００３６】
また、通信制御部２０３は、データ送受信部２０１を介して通信端末１０から発信メッセージを受信すると、通信相手である他の通信端末１０の接続先であり、この発信メッセージの転送先として最適な中継装置２０を特定するために、着信者接続先問い合わせメッセージを作成する。通信制御部２０３は、作成した着信者接続先問い合わせメッセージをデータ送受信部２０１へ出力して契約情報ＤＢ３０へ送信する。通信制御部２０３は、データ送受信部２０１より着信者接続先応答メッセージを受信すると、通信相手の通信端末１０が接続する中継装置２０を確認し、その中継装置２０に向けてデータ送受信部２０１を介して発信メッセージを送信する。通信制御部２０３は、通信相手の通信端末１０から応答メッセージを受信すると、通信情報蓄積部２０４に新たなレコードを作成する。
【００３７】
また、通信制御部２０３は、データ送受信部２０１を介して通信相手の中継装置２０から発信メッセージを受信すると、データ送受信部２０１を介して、該当する通信端末１０に受信した発信メッセージを送信する。通信制御部２０３は、データ送受信部２０１を介して通信端末１０から上記発信メッセージに対する応答メッセージを受信すると、プロファイル情報管理ＤＢ２０５から応答メッセージの送信者に対応するプロファイル情報を読み出す。そして、この応答メッセージに、読み出したプロファイル情報と応答メッセージの送信元通信端末１０のＩＰアドレスとを付加した後、データ送受信部２０１を介してこの応答メッセージを通信相手の中継装置２０へ送信する。
【００３８】
また、通信制御部２０３は、データ送受信部２０１を介して通信端末１０より終了メッセージを受信すると、データ送受信部２０１を介して通信相手の中継装置２０とメディア処理装置４０に向けて終了メッセージを送信する。また、通信制御部２０３は、通信相手の中継装置２０とメディア処理装置４０からの応答メッセージの受信が確認された後に、通信端末１０に応答メッセージを送信する。
【００３９】
ここで、例えば、プロファイルダウンロードメッセージによって通知されたプロファイル情報に、ある通信端末１０が音声合成サービスに加入していることが示されているとする。この場合、この通信端末１０からの音声通話又はＴＶ電話による発信、又は当該通信端末への着信があったときに、その通信内容である音声データなどのデータが、データ送受信部２０１からデータ複製部２０２へパケットとして出力され、データ複製部２０２で複製される。複製されたパケットは、データ送受信部２０１を介してメディア処理装置４０へ送信される。
【００４０】
このように、通信端末１０ａが音声合成サービスに加入している場合、通信制御部２０３は、通信端末１０より受信した音声データをデータ複製部２０２に複製させ、複製した音声データをメディア処理装置４０へデータ送受信部２０１に送信させる。メディア処理装置４０に送信された音声データは蓄積されて音声合成データベースの基礎として使われるので、音声合成用のデータベースを、音声合成サービスに加入しているユーザ本人の音声データに基づいて作ることができる。したがって、このようにして作成されたデータベースに基づいて生成された音声合成メッセージは、ユーザ本人の音声の特性を反映した（すなわち、ユーザ本人の声と類似性が非常に高い）音声メッセージになる。
【００４１】
さらに、通信端末１０ａと通信している通信端末１０ｂが音声合成サービスに加入している場合、通信端末１０ａと接続している中継装置２０ａの通信制御部２０３は、通信端末１０ｂから受信した音声データを、中継装置２０ａのデータ複製部２０２に複製させる。通信端末１０ａと通信相手の通信端末１０ｂの両方が音声合成サービスに加入している場合には、中継装置２０ａの通信制御部２０３は、通信端末１０ａから受信した音声データと、通信端末１０ｂから受信した音声データの両方を、中継装置２０ａのデータ複製部２０２に複製させる。このようにして、本実施形態の通信システムによると、通信相手の通信端末のユーザの音声合成データベースも作成することができる。
【００４２】
発信メッセージへの応答として送信された上記応答メッセージは、着信に対する応答であるばかりでなく、着信側の通信端末１０のＩＰアドレスも通知している。これにより発信側の通信端末１０の接続する中継装置２０は、発着信両側の通信端末１０の通信端末識別情報とＩＰアドレスを知ることができ、これらの情報を通信情報蓄積部２０４内に蓄積することができる。上述のように、発着信両側の通信端末１０の通信端末識別情報とＩＰアドレスは、通信情報蓄積部２０４に保持される。
【００４３】
通信制御部２０３は、相手方の通信端末１０から応答メッセージを受信すると、メディア処理装置４０との間に通信経路を設定するために発信メッセージを作成し、メディア処理装置４０へ送信する。このメッセージ送信に対する応答として、メディア処理装置４０から応答メッセージを受信した後、データ複製部２０２でパケットの複製を開始する。
【００４４】
契約情報ＤＢ３０は、ネットワークＮに接続されており、ネットワークＮの事業者と契約している全通信端末１０の契約情報、接続先情報（位置情報）などを管理しているＤＢサーバ装置である。移動通信システムにおいては、契約情報ＤＢ３０は、例えばＨＬＲ（Home Location Register）である。図には示さないが、契約情報ＤＢ３０は、ＣＰＵ、主記憶装置であるＲＡＭおよびＲＯＭ、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述する契約情報ＤＢ３０の機能が発揮される。
【００４５】
図５に契約情報ＤＢ３０に登録されている情報の一例を示す。図に示されるように、契約情報ＤＢ３０には、契約情報３０１として、通信端末１０ごとに、ユーザＩＤ、電話番号、音声合成サービス加入の有無、およびレジストレーション状態が登録されている。本実施形態においては、契約情報ＤＢ３０に記憶されている電話番号は、通信端末１０の通信端末識別情報として機能する。レジストレーション状態は、通信端末１０が登録されている（すなわち、電源が入っている）場合に、通信端末１０がどの中継装置２０に接続しているかを中継装置２０のＩＰアドレスで示す。中継装置２０のＩＰアドレスは、当該中継装置２０からレジストレーションメッセージとともに送信される。この意味で、レジストレーションメッセージは位置登録要求メッセージに相当する。
【００４６】
契約情報ＤＢ３０は、中継装置２０からレジストレーションメッセージを受信すると、レジストレーション状態として、レジストレーションメッセージを送信した通信端末１０が接続する中継装置２０を特定する情報を登録する。さらに、契約情報ＤＢ３０は、通信端末１０のプロファイル情報として、電話番号と、音声合成サービスへ加入しているか否かを「ＹＥＳ」又は「ＮＯ」で示すサービス加入情報とを、プロファイルダウンロードメッセージの中に入れて中継装置２０へ転送する。さらに、契約情報ＤＢ３０は、着信側通信端末１０の接続先（すなわち、通信端末１０が接続している中継装置２０）を問い合わせる着信者接続先問い合わせメッセージを受信すると、該当する着信側通信端末１０の接続先の情報を着信者接続先応答メッセージにのせて、問い合わせメッセージの送信元である中継装置２０に送信する。
【００４７】
メディア処理装置４０は、ネットワークＮに接続されており、通信端末１０のマルチメディア情報の蓄積・加工機能を提供する。図には示さないが、メディア処理装置４０は、ＣＰＵ、主記憶装置であるＲＡＭおよびＲＯＭ、通信を行うための通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。これらの構成要素が協働することにより、後述するメディア処理装置４０の機能が発揮される。
【００４８】
図６は、メディア処理装置４０の機能構成図である。図に示すように、メディア処理装置４０は、データ送受信部４０１、メディア処理アプリケーション４０２、音声データ蓄積部４０３、音声合成用ＤＢ作成エンジン４０４、音声合成ＤＢ４０５、および音声合成部４０６を備えて構成される。
【００４９】
データ送受信部４０１は、制御メッセージを中継装置２０より受信すると、これをメディア処理アプリケーション４０２へ転送する。データ送受信部４０１は、メディア処理アプリケーション４０２から受信した制御メッセージを、中継装置２０へ転送する。また、データ送受信部４０１は、中継装置２０より受信したパケットをメディア処理アプリケーション４０２へ転送する。データ送受信部４０１は、音声合成を依頼する音声合成依頼メッセージを通信端末１０から受信すると、これを音声合成部４０６へ出力する。この音声合成依頼メッセージには、インスタントメッセージ（Instant messaging）やメールのテキストデータなどが添付されて送信される。
【００５０】
メディア処理アプリケーション４０２は、中継装置２０から発信メッセージを受信すると、応答メッセージを送信する。この発信メッセージには、発信側通信端末１０の通信端末識別情報とＩＰアドレスが含まれている。その後、中継装置２０よりパケットを受信すると、メディア処理アプリケーション４０２は、この各パケットを送信元のＩＰアドレスごとに分類し、分類したパケットを、音声データ蓄積部４０３の該当するＩＰアドレスの通信端末の蓄積スペースに蓄積していく。この蓄積処理は、中継装置２０よりパケットを受信する度に行われる。メディア処理アプリケーション４０２は、終了メッセージを中継装置より受信すると、終了メッセージを確認する応答メッセージを送信する。さらに、メディア処理アプリケーション４０２は、それまで蓄積していたパケットを１つのファイルとして蓄積するように、音声データ蓄積部４０３に指示する。
【００５１】
音声合成用ＤＢエンジン４０４は、音声データ蓄積部４０３に音声合成用のデータが登録されたことを契機に、このデータを音声データ蓄積部４０３から取り出し、音声合成用のＤＢを作成する。作成されたＤＢは、音声合成用ＤＢ４０５に蓄積される。
【００５２】
音声合成部４０６は、通信端末１０から音声合成依頼メッセージを受信すると、その送信元である通信端末１０の音声合成用データを音声合成用ＤＢ４０５より取り出し、音声合成処理をする。音声合成されたメッセージは、着信側通信端末１０に向けて転送される。
【００５３】
図８は、中継装置２０の通信制御部２０３が実行する通信制御処理の流れを簡略化して示すフローチャートである。図に示されるように、通信制御処理においては、まず、通信制御部２０３は、通信端末１０よりレジストレーションメッセージを受信すると、レジストレーション処理（ＳＡ１）を実行する。このレジストレーションメッセージは、例えば移動通信端末１０の電源が入れられた場合に送信される。レジストレーション処理が終了すると、通信制御部２０３は、次の制御メッセージを待つ。
【００５４】
受信した制御メッセージが、当該中継装置２０に接続する通信端末１０からの発信メッセージである場合、通信制御部２０３は、発信側処理（ＳＡ２）を行う。次に、通信制御部２０３は、通信情報蓄積部２０４に蓄積されている情報に基づいて、当該中継装置２０に接続している発信側通信端末１０および他の中継装置２０に接続している着信側通信端末１０の少なくとも１つが音声合成サービスに加入しているか否かを判定する判定処理（ＳＡ４）を行う。判定結果がＹＥＳの場合、通信制御部２０３は、メディア処理装置４０との通信接続を確立するメディア処理装置接続処理（ＳＡ５）へ進み、続いて、ユーザデータ転送複製処理（ＳＡ６）を行う。通信制御部２０３は、その後、通信セッションを終了する終了処理（ＳＡ７）を行う。一方、ステップＳＡ４の判定結果がＮＯの場合、通信制御部２０３は、ユーザデータ転送処理（ＳＡ８）へと進む。ユーザデータ転送処理はユーザデータが受信される度に実行され、終了メッセージを受信すると、終了処理が行われる（ＳＡ７）。
【００５５】
一方、制御メッセージを受信し、その制御メッセージが、他の中継装置２０からの発信メッセージである場合、通信制御部２０３は、まず着信側処理（ＳＡ３）を行う。この着信側処理により、当該中継装置２０に接続する通信端末１０と他の中継装置２０に接続する他の通信端末１０との間に通信接続が確立すると、通信制御部２０３は、当該中継装置２０に接続する通信端末１０から受信したユーザデータを他の中継装置２０に転送するとともに、他の中継装置２０から受信したユーザデータを、当該中継装置２０に接続する通信端末１０へ転送するユーザデータ転送処理を開始する（ＳＡ８）。ユーザデータ転送処理は、ユーザデータを受信する度に行われる。そして、終了メッセージを受信すると、処理は終了処理（ＳＡ７）に進む。終了処理においては、通信制御部２０３は、通信端末１０から終了メッセージを受信すると、他の中継装置２０との通信を終了するとともに、メディア処理装置と接続している場合には、メディア処理装置４０との通信も終了する。
【００５６】
図７は、本通信システムで送受信されるデータの流れを示すシーケンス図である。図９〜１２は、レジストレーション処理（図８のＳＡ１）、発信側処理（図８のＳＡ２）、着信側処理（図８のＳＡ３）、ユーザデータ転送複製処理（図８のＳＡ６）の詳細な流れをそれぞれ示している。
【００５７】
次に、図７および図９〜１２を参照して、通信システムにおいて行われる処理の一例を説明する。この処理は、２台の通信端末１０ａと通信端末１０ｂにより音声通話が行われ、その通話中にパケットをメディア処理装置４０に蓄積し、通話完了後に、通信端末１０ａと１０ｂの各々が音声合成メッセージを送信するまでの処理である。
【００５８】
まず、図７のステップＳ１において、各通信端末１０ａ、１０ｂは、電源が入力された時などに、ネットワークＮからサービスを受けられるようにレジストレーションメッセージを各中継装置２０ａ、２０ｂに送信する。各中継装置２０ａ、２０ｂは、このレジストレーションメッセージを契約情報ＤＢ３０へ送信する。このとき、通信端末１０ａ、１０ｂがどの中継装置に接続しているかがわかるように、中継装置２０ａ、２０ｂは、契約情報ＤＢ３０に対して自己のＩＰアドレスをそれぞれ通知する。契約情報ＤＢ３０はその後、通信端末１０ａ、１０ｂが接続する中継装置２０ａ、２０ｂの各ＩＰアドレスをレジストレーション状態として登録する。
【００５９】
次に、ステップＳ２において、レジストレーションメッセージを受信した契約情報ＤＢ３０は、各通信端末１０ａ、１０ｂのプロファイル情報を抽出し、ステップＳ１においてレジストレーションメッセージによって通知された中継装置２０ａ、２０ｂの各ＩＰアドレスに対して、このプロファイル情報をそれぞれ送信する（図７のＳ２：プロファイルダウンロード）。各中継装置２０ａ、２０ｂは、自装置内のプロファイル情報管理ＤＢ２０５に、受信したプロファイル情報を登録する。
【００６０】
図９は、中継装置２０の通信制御部２０３で行われるレジストレーション処理の流れを示すフローチャートである。レジストレーション処理において、通信制御部２０３は、まず通信端末１０からレジストレーションメッセージを受信する（ＳＡ１１）。通信制御部２０３は、次に、受信したレジストレーションメッセージを契約情報ＤＢ３０へ送信する（ＳＡ１２）。このとき、通信制御部２０３は、中継装置２０のＩＰアドレスをレジストレーションメッセージに付加して送信する。
【００６１】
次に、通信制御部２０３は、プロファイル情報が契約情報ＤＢ３０から受信されたか否かを判定する（ＳＡ１３）。この判定はプロファイル情報が受信されるまで繰り返される（ＳＡ１３：ＮＯ）。この判定結果がＹＥＳになると、通信制御部２０３は、受信したプロファイル情報をプロファイル情報管理ＤＢ２０５へ登録し（ＳＡ１４）、当該レジストレーション処理を終了する。
図７に示されるように、このレジストレーション処理は、中継装置２０ａと２０ｂの各装置において行われる。
【００６２】
次に、図７のステップＳ３において、通信端末１０ａは、通信端末１０ｂに対して発信メッセージを送信する。
【００６３】
次に、図７のステップＳ４において、中継装置２０ａは、着信者接続先問い合わせメッセージを送信し、通信端末１０ｂがどの中継装置に接続しているかについて契約情報ＤＢ３０に問い合わせる。
【００６４】
次に、図７のステップＳ５において、通信端末１０ｂのレジストレーションが完了している場合、契約情報ＤＢ３０は、通信端末１０ｂが中継装置２０ｂに接続していることを確認して、中継装置２０ｂを示す情報を中継装置２０ａに送信する（図７のＳ５：着信者接続先応答）。
【００６５】
次に、図７のステップＳ６において、中継装置２０ａは、契約情報ＤＢ３０より通知された、通信端末１０ｂの接続先である中継装置２０ｂに対して、発信メッセージを送信する。中継装置２０ｂは、この発信メッセージを受信すると、通信端末１０ｂに対して、同発信メッセージを送信するとともに、受信した発信メッセージの送信元アドレスを記録する。
【００６６】
次に、図７のステップＳ７において、通信端末１０ｂは、応答が可能な場合は、中継装置２０ｂに対して応答メッセージを送信する。中継装置２０ｂは、受信した応答メッセージに通信端末１０ｂのＩＰアドレスとプロファイル情報とを付加した後、中継装置２０ａへ送信する。さらに、中継装置２０ａはこの応答メッセージを通信端末１０ａへ送信する。本実施形態において、中継装置２０ｂは中継装置２０ａへメッセージを送信できることとしたが、これは、中継装置２０ｂは、ステップＳ６において受信した発信メッセージの送信元アドレスを記憶しているためである。
【００６７】
図１０は、中継装置２０（図７の例では中継装置２０ａ）の通信制御部２０３（これ以降、「通信制御部２０３ａ」とする）が実行する発信側処理の流れを示すフローチャートである。この発信側処理においては、通信制御部２０３ａは、まず発信側である通信端末１０ａから発信メッセージを受信する（ＳＡ２１）。通信制御部２０３ａは、着信者接続先問い合わせメッセージを契約情報ＤＢ３０に送信することによって、発信メッセージで特定される通信端末１０ｂがどの中継装置に接続しているかを問い合わせる（ＳＡ２２）。
【００６８】
通信制御部２０３は、次に、契約情報ＤＢ３０から着信者の接続先に関する情報を受信したか否かを判定する。この判定は、着信者の接続先に関する情報が受信されるまで繰り返される（ＳＡ２３：ＮＯ）。判定結果がＹＥＳの場合、通信制御部２０３は、着信者の接続先に関する情報に示される中継装置２０（図７の例では中継装置２０ｂ）に上記発信メッセージを送信する（ＳＡ２４）。図７のステップＳ６に示されるように、この発信メッセージは、中継装置２０ｂから通信端末１０ｂへ転送される。
【００６９】
図１１は、中継装置２０（図７の例では、中継装置２０ｂ）の通信制御部２０３（これ以降、「通信制御部２０３ｂ」とする）により実行される着信側処理の流れを示すフローチャートである。着信側処理においては、通信制御部２０３ｂはまず、中継装置２０ａより発信メッセージを受信する（ＳＡ３１）。次に、通信制御部２０３ｂは、着信側通信端末１０ｂにこの発信メッセージを送信し（ＳＡ３２）、送信した発信メッセージに対する応答メッセージを待つ（ＳＡ３３：ＮＯ）。
【００７０】
通信端末１０ｂから応答メッセージを受信すると（ＳＡ３３：ＹＥＳ）、通信制御部２０３ｂは、プロファイル情報管理ＤＢ２０５から通信端末１０ｂのプロファイル情報を読み出し（ＳＡ３４）、この応答メッセージに、ＩＰアドレスと読み出したプロファイル情報とを付加して（ＳＡ３５）中継装置２０ａへ送信し（ＳＡ３６）、着信側処理を終了する。
【００７１】
一方、図１０のステップＳＡ２５において、中継装置２０ａの通信制御部２０３ａは、中継装置２０ｂを介して通信端末１０ｂより応答メッセージが受信されたか否かを判定する（ＳＡ２５）。この判定は、応答メッセージが受信されるまで繰り返される（ＳＡ２５：ＮＯ）。
【００７２】
判定結果がＹＥＳになると、通信制御部２０３ａは、通信情報蓄積部２０４にレコードを新規作成する。具体的には、通信制御部２０３ａは、受信したプロファイル情報に基づいて、通信端末識別情報と、通信端末１０ｂが音声合成サービスに加入しているか否かを示すサービス加入情報とを取得し、新規作成したレコードに、通信端末識別情報と、サービス加入情報と、受信した通信端末１０ｂのＩＰアドレスとを記憶する。また、通信制御部２０３ａは、プロファイル情報管理ＤＢ２０５から、ＳＡ２１で受信した発信メッセージに含まれるＩＰアドレス(通信端末１０ａのＩＰアドレス)に対応するプロファイル情報を読み出し、読み出したプロファイル情報から通信端末１０ａの通信端末識別情報と、通信端末１０ａが音声合成サービスに加入しているか否かを示すサービス加入情報とを取得して、通信端末１０ａのＩＰアドレスとともに同レコードに記憶する（ＳＡ２６）。
【００７３】
この例では、ステップＳＡ２６における処理の結果、図４における通信情報蓄積部２０４の最上段に示すようなレコードが生成されたとする。図示のように、このレコードでは、通信端末１０ａの通信端末識別子は「０９０ＡＡＡＡＡＡＡＡ」であり、通信端末１０ｂの通信端末識別子は「０９０ＢＢＢＢＢＢＢＢ」である。また、通信端末１０ａと１０ｂの両方が、音声合成サービスに加入している。
通信制御部２０３ａはその後、発信側処理を終了して、図８のステップＳＡ４の判定処理へ進む。
【００７４】
判定処理において、中継装置２０ａは、通信情報蓄積部２０４に蓄積した情報に基づいて、発信側と着信側の通信端末の少なくとも１つが音声合成サービスに加入しているか否かを判定する。この例では、通信情報蓄積部２０４に蓄積した情報に基づいて、肯定的であると判定されるので（図８のＳＡ４：ＹＥＳ）、中継装置２０ａは、通信経路を確立するための発信メッセージを生成し、メディア処理装置４０へ送信する（図７のＳ８：発信、図８のＳＡ５）。一方、発信側と着信側がいずれも音声合成サービスに加入していないと判定された場合（図８のＳＡ４：ＮＯ）には、通信制御部２０３は、メディア処理装置４０へ発信メッセージを送信せず、代わりに、通信制御部２０３は、ユーザデータ転送処理へ進む（図８のＳＡ８）。
【００７５】
次に、図７のステップＳ９において、メディア処理装置４０は、発信メッセージを受信した後、応答メッセージを中継装置２０ａへ送信し、中継装置２０ａとの通信経路を設定する。
【００７６】
次に、図７のステップＳ１０において、通信端末１０ａから中継装置２０ａに対してユーザデータ（音声データ）を含むパケットが送信された場合、中継装置２０ａは、そのパケットを通信相手の通信端末１０ｂが接続している中継装置２０ｂへと送信する。この例では、通信端末１０ａは音声合成サービスに加入しているので、中継装置２０ａは、パケットを複製して、メディア処理装置４０へ送信する。逆に、通信端末１０ｂから中継装置２０ｂを介して中継装置２０ａにパケットが送信された場合、この例では、通信端末１０ｂも音声合成サービスに加入しているので、中継装置２０ａは、このパケットも複製してメディア処理装置４０へ送信する（図７のＳ１０ａ：複製パケット）。メディア処理装置４０は、受信したパケットを送信元アドレス（すなわち、通信端末１０ａまたは１０ｂのＩＰアドレス）ごとに分類し、音声データ蓄積部４０３の、送信元アドレスに該当する通信端末識別情報に該当する蓄積スペースに各パケットのデータを蓄積していく。
【００７７】
図１２は、通信制御部２０３ａが実行するユーザデータ転送複製処理の流れを示すフローチャートである。この処理では、通信制御部２０３ａは、まずユーザデータを受信する（ＳＡ６１）。次に、通信制御部２０３ａは受信したデータが、ステップＳＡ２１で受信された発信メッセージの送信元である発信側通信端末（すなわち、通信端末１０ａ）から送信されたものであるか否かを判定する（ＳＡ６２）。判定結果がＹＥＳになった場合、通信制御部２０３ａは、着信側通信端末（すなわち、通信端末１０ｂ）へユーザデータを送信する（ＳＡ６３）。続いて、通信制御部２０３ａは、通信情報蓄積部２０４に蓄積されている情報に基づいて、通信端末１０ａが音声合成サービスに加入しているか否かを判定する（ＳＡ６４）。この動作例では、通信端末１０ａは音声合成サービスに加入しているので、判定結果はＹＥＳになる。よって、通信制御部２０３ａは、データ複製部２０２にユーザデータを複製させ（ＳＡ６５）、データ送受信部２０１を介してメディア処理装置４０へ送信し（ＳＡ６６）、ユーザデータ転送複製処理を終了する。ステップＳＡ６４の判定結果がＮＯになると、処理は図８のメインプロセスへ戻る。
【００７８】
一方、ステップＳＡ６２の判定結果がＮＯの場合、すなわち、受信したユーザデータが通信端末１０ｂから送信されたものである場合、通信制御部２０３ａは、このユーザデータを、その受信者である通信端末（すなわち通信端末１０ａ）へ送信する（ＳＡ６７）。続いて、通信制御部２０３ａは、通信情報蓄積部２０４内の情報に基づいて、通信端末１０ｂが音声合成サービスに加入しているか否かを判定する（ＳＡ６８）。この動作例では、通信端末１０ｂは音声合成サービスに加入しているので、その判定結果はＹＥＳとなる。よって、通信制御部２０３ａは、データ複製部２０２にユーザデータを複製させ（ＳＡ６５）、複製したデータをデータ送受信部２０１を介してメディア処理装置４０に送信し（ＳＡ６６）、ユーザデータ転送複製処理を終了する。ステップＳＡ６８の判定結果がＮＯの場合、処理は図８のメインプロセスに戻る。このユーザデータ転送複製処理は、ユーザデータを受信する度に行われる。
【００７９】
次に、図７のステップＳ１１において、ユーザにより通信を終了させる指示が入力されると、通信端末１０ａは、終了メッセージを送信する。これを受信した中継装置２０ａは、この終了メッセージを中継装置２０ｂへ転送する。引き続き、中継装置２０ｂは同メッセージを通信端末１０ｂへ転送する。
【００８０】
次に、図７のステップＳ１２において、通信端末１０ｂは、終了メッセージを受信して、通話を終了すると応答メッセージを返送する。中継装置２０ｂはこれを受信すると中継装置２０ａへ転送する。中継装置２０ｂが中継装置２０ａへメッセージを転送できるのは、ステップＳ７で説明した理由と同様である。
【００８１】
次に、図７のステップＳ１３において、中継装置２０ａは、通信端末１０ａからの終了メッセージを受信すると、自装置内でのパケットの複製機能を停止し、メディア処理装置４０へ終了メッセージを送信する。
【００８２】
次に、図７のステップＳ１４において、メディア処理装置４０は、終了メッセージを受信すると応答メッセージを返送し、中継装置２０ａとの通信を終了する。メディア処理装置４０は、１回の音声通話が完了したことを検出し、音声データ蓄積部４０３に蓄積していた複製パケット内のデータを１つのファイルとして結合する。
【００８３】
次に、図７のステップＳ１５において、中継装置２０ａは、中継装置２０ｂとメディア処理装置４０の両方から応答メッセージを受信すると、通信が終了したことを通信端末１０ａに通知するために、応答メッセージを送信する（ステップＳ１１からＳ１５は図８のＳＡ７に対応）。通信端末１０ａと１０ｂとの間の通信セッションはこのようにして終了する。
【００８４】
次に、図７のステップＳ１６において、メディア処理装置４０は、音声データ蓄積部４０３に登録された音声通信のデータファイルに基づいて、音声合成に利用するデータベースを構築する。
【００８５】
Ｓ１６で作成された音声合成用ＤＢは、メールまたはインスタントメッセージなどのメッセージングアプリケーションにより、通信端末１０ａ又は１０ｂからメッセージデータが送信され、これに音声合成依頼が示されている時に利用される。
【００８６】
ステップＳ１７において、通信端末１０ａは、宛先を通信端末１０ｂとする音声合成依頼付きのメッセージを中継装置２０ａへ送信する。中継装置２０ａは、受信したメッセージをメディア処理装置４０へ送信する（図７のＳ１７：音声合成依頼メッセージ）。
【００８７】
ステップＳ１８において、メディア処理装置４０は、構築されている音声合成用ＤＢを利用して、通信端末１０ａのユーザの本人性を反映した音声合成メッセージを作成し、中継装置２０ｂを介してこれを通信端末１０ｂへ送信する（図７のＳ１８：音声合成メッセージ）。
【００８８】
ステップＳ１９において、通信端末１０ｂは、宛先を通信端末１０ａとする音声合成依頼付きのメッセージを中継装置２０ｂへ送信する。中継装置２０ｂは、受信したメッセージをメディア処理装置４０へ送信する（図７のＳ１９：音声合成依頼メッセージ）。
【００８９】
ステップＳ２０において、メディア処理装置４０は、構築されている音声合成用ＤＢを利用して、通信端末１０ｂのユーザの本人性を反映した音声合成メッセージを作成し、中継装置２０ａを介してこれを通信端末１０ａへ送信する（図７のＳ２０：音声合成メッセージ）。
【００９０】
変形例：
続いて、本実施形態にかかる通信システムの変形例について説明する。上記実施形態は、以下のような変形が可能である。
上記実施形態においては、通信端末１０ａが通信端末１０ｂに対して発信した場合、通信端末１０ａの接続先中継装置２０ａが、通信端末１０ａと通信端末１０ｂ双方の音声データを複製して、この複製した音声データをメディア処理装置４０へ送信していたが、上記実施形態においては、中継装置２０ｂも中継装置２０ａと同様の構成を有するので、中継装置２０ｂが、通信端末１０ａと通信端末１０ｂ双方の音声データを複製してもよい。もしくは、中継装置２０ａと中継装置２０ｂのそれぞれが、通信端末１０ａと通信端末１０ｂ双方の音声データを複製するように本システムを構成してもよいし、中継装置２０ａが通信端末１０ａの音声データを複製し、中継装置２０ｂが通信端末１０ｂの音声データを複製するように本システムを構成してもよい。
【００９１】
さらに、上述の実施形態においては、通信端末１０ａが中継装置２０ａに接続し、通信端末１０ｂが中継装置２０ｂに接続している場合の説明をした。しかしながら、通信端末１０ａと１０ｂが、同じ中継装置２０に接続していてもよい。また、通信端末１０のうち少なくとも１つが、中継装置２０に接続していてもよい。換言すれば、通信端末のうち１つが、中継装置２０の機能を持たない従来型の中継装置に接続していてもよい。
【００９２】
上記実施形態では、メディア処理装置４０に転送された音声通信中のデータを全て蓄積することとしていたが、転送されたデータの中で選択されたもののみを蓄積しても良い。この選択は、既に蓄積されているデータと受信したデータとの比較に基づいて行ってもよい。つまり、この選択では、発音や意味がすでに蓄積されているデータと同一か類似している場合には、データが破棄される。具体的には、メディア処理装置４０のメディア処理アプリケーション４０２は、データ送受信部４０１（受信部）により受信された音声データが蓄積済みの音声データのいずれかに一致するか否かを判定する判定部を有し、判定部により、両者が一致していることが検知された場合には、蓄積済みの音声データを受信した音声データで上書きするようにしてもよい。
【００９３】
好適には、類似度もしくは同一度の高いデータであっても、蓄積されているデータが背景雑音などを含んでおり、新しく受信されたデータの方がよりクリアな音質を有するデータであった場合には、蓄積されたデータを新たに受信したデータで置換し、クリアなデータを優先的に蓄積することが望ましい。この場合、メディア処理アプリケーション４０２は、受信した音声データの雑音量と、このデータに対応する蓄積された音声データの雑音量をそれぞれ測定する雑音測定部を有するのが望ましく、受信した音声データの雑音量が、蓄積済みの対応する音声データの雑音量より少ない場合には、音声データ蓄積部４０３は、蓄積済みの音声データを受信した音声データで上書きするのが望ましい。この構成により、データベースのサイズを最適化しながら、より質の高い音声合成用データベースを提供することができる。
【００９４】
好適には、音声合成されたメッセージを送信する際によく利用されるデータを優先的に蓄積しておき、頻繁に使用されるデータが後から入力されたデータで置換されないようにすることが望ましい。
【００９５】
上記実施形態では、メディア処理装置４０に転送された通話中のデータを全て蓄積することとしていたが、蓄積する前に不要な音声を除去しても良い。この場合、メディア処理アプリケーション４０２は、音声データに含まれる背景雑音を除去する雑音フィルターを有し、音声データ蓄積部４０３は、この雑音フィルターにより雑音が除去された後に、音声データを蓄積するのが望ましい。この構成により、必要なデータのみを蓄積することができる。
好適には、背景雑音に加えて、無音部のデータを除去して蓄積することが望ましい。
【００９６】
上記実施形態では、中継装置において送信元ＩＰアドレスによりデータ複製し、メディア処理装置において送信元ＩＰアドレスにより蓄積することとしていたが、別の識別子によりデータ複製、データ蓄積しても良い。つまり、Ｅｔｈｅｒｎｅｔ（登録商標）のＭＡＣアドレスや、ＡＴＭのＶＣＩ（Virtual Channel Identifier）、またはＩＭＳＩ（International Mobile Subscriber Identity）などを使用してもよい。さらに、通信端末の通信端末識別情報を使用してもよい。この構成により、本実施形態における通信システムは、ＩＰを用いたネットワーク（例えばインターネット）以外のネットワークにおいても提供できる。
【００９７】
上記実施形態では、契約情報を基にして、中継装置でデータを複製し、複製したデータをメディア処理装置で蓄積するか否かを判定していた。しかし、発信側の通信端末から音声データの録音（すなわち、データの複製と蓄積）の指示を送出し、通信端末から指定された音声データのみメディア処理装置に蓄積されるようにしても良い。この場合、データ送受信部２０１が通信端末１０より複製の指示を受信した場合、中継装置２０の通信制御部２０３は、データ複製部２０２に、通信端末１０よりデータ送受信部２０１を介して受信した音声データを複製させる。この構成により、録音するデータを通信端末から柔軟に指定することができる。
【００９８】
好適には、通話が終了した後に、録音する／しないをユーザが指定できるようにしてもよい。この場合、音声合成用ＤＢ作成エンジン４０４は、データファイルをデータベースに追加する指示を得た時のみ、音声データ蓄積部４０３よりデータファイルを取得し音声合成用のデータベースを作成する。
【００９９】
上記実施形態では、音声合成サービスに加入している通信端末の音声データをメディア処理装置において蓄積することとしていたが、音声合成サービスに加入している音声端末が頻繁に音声通信を行う相手の音声データを蓄積するようにしても良い。つまり、通話回数の上位数名の音声データを蓄積しておき、その上位数名から自分宛にメッセージが送信された時に、音声合成されたメッセージが送信されるようにするものである。この場合、通信端末１０ａが音声合成サービスに加入しており、通信端末１０ｂが加入していない場合でも、所定の期間中に通信端末１０ａと１０ｂとの間で行われた電話の回数が閾値を越えている場合には、通信端末１０ａの接続先である中継装置２０の通信制御部２０３が、データ複製部２０２に、通信端末１０ｂから受信した音声データを複製させるようにしてもよい。この構成により、相手の通信端末が音声合成サービスに加入していなくても、相手の通信端末からのメッセージは音声合成されたメッセージが送信されるようにできる。
【０１００】
上記実施形態では、音声合成の依頼メッセージを送信すると、自動的にメディア処理装置で音声合成してメッセージを送信することとしていたが、音声合成されたメッセージが相手方通信端末に送信される前に、音声合成されたメッセージを発信側通信端末にて確認できるようにしても良い。つまり、音声合成されたメッセージを、発信側通信端末で再生するようにしても良い。この構成により、発信側通信端末は、音声合成されたメッセージが十分本人性のある合成メッセージとなっているかどうかを確認し、音声合成されたメッセージを送信する/しないを判断できる。
【０１０１】
上記実施形態では、メディア処理装置において音声データファイルごとに蓄積することとしていたが、蓄積された音声データに対して、音声認識処理を行い、認識されたテキストと音声データファイルをリンクして管理するようにしても良い。
【０１０２】
以上、本発明に係る通話中の音声データによる音声合成向けデータベース構築用通信システムでは、通信端末を利用した会話内容を基にして、音声合成向けデータベースが構築される。即ち、このシステムでは、専用の録音環境を必要とせず、録音のためにユーザを長時間拘束する必要もない。従って、本発明に係る通話中の音声データによる音声合成向けデータベース構築用通信システムによれば、ユーザに音声合成用の録音をしていることに気づかせることなく、容易に音声合成用データベースを構築することができる。
【０１０３】
また、通信端末を利用した本人の会話内容を基にして、音声合成向けデータベースが構築される。従って、本発明によれば、容易に本人の特徴を再現する本人性を重視した音声合成データベース構築方法を提供することができる。
【０１０４】
また、データベース作成のために特別な原稿を用意していないため、より普段の会話に近い合成データを提供することが可能となる。
通信端末１０がパーソナルコンピュータのような固定端末である場合、中継装置２０は固定通信網の交換機である。この場合、位置登録や着信者接続先問い合わせが不要なので、契約情報ＤＢ３０は無くても良い。
【符号の説明】
【０１０５】
１０ａ、１０ｂ…通信端末、２０ａ、２０ｂ…中継装置、３０…契約情報ＤＢ（契約情報データベース装置）、４０…メディア処理装置、１０１…音声入出力部、１０１ａ…マイク、１０１ｂ、１０２…符号／複合化部、１０３…パケット処理部、１０４…通信制御部、１０５…データ送受信部、２０１…データ送受信部（送受信部）、２０２…データ複製部、２０３…通信制御部、２０４…通信情報蓄積部、２０５…プロファイル情報管理ＤＢ、４０１…データ送受信部（受信部）、４０２…メディア処理アプリケーション（音声データ処理部）、４０３…音声データ蓄積部、４０４…音声合成用ＤＢ作成エンジン（音声合成用データベース作成部）、４０５…音声合成用ＤＢ（音声合成用データベース記憶部）、４０６…音声合成部、Ｎ…ネットワーク。
【特許請求の範囲】
【請求項１】
通信網に接続する中継装置と、
前記中継装置を介して前記通信網に接続し、前記中継装置を介して、他の通信端末と音声データの送受信を行う複数の通信端末と、
前記中継装置に接続するメディア処理装置と
を備えた通信システムであって、
前記中継装置は、
第１の通信端末から送信された第１の音声データを受信し、受信した前記第１の音声データを第２の通信端末へ送信する送受信部と、
音声データを複製するデータ複製部と、
前記第１通信端末からデータ送受信部を介して受信した前記第１の音声データを前記データ複製部によって複製し、当該複製された音声データを前記送受信部によって前記メディア処理装置へ送信するように制御する通信制御部と
を備え、
前記メディア処理装置は、
前記第１の通信端末の複製された音声データを、前記中継装置から受信する受信部と、
前記受信部により受信した音声データを音声データ蓄積部に蓄積する音声データ処理部と、
前記音声データ蓄積部に蓄積された前記音声データに基づいて、前記第１の通信端末用の音声合成用データベースを作成する音声合成用データベース作成部と、
前記音声合成用データベース作成部によって作成された音声合成用データベースが記憶される音声合成用データベース記憶部と、
前記第１の通信端末から音声合成の依頼を受信した場合、前記音声合成用データベースに基づいて音声合成を行う音声合成部と
を備える、
ことを特徴とする通信システム。
【請求項２】
前記通信制御部は、前記複製の指示を前記第１の通信端末から受信した場合に、前記送受信部を介して前記第１の通信端末から受信した音声データを前記データ複製部に複製させる、
ことを特徴とする請求項１に記載の通信システム。
【請求項３】
前記音声データ処理部は、
前記受信部により受信した前記音声データが前記蓄積された音声データのいずれかと一致するか否かを判定する判定部と、
受信した前記音声データの雑音量と、当該音声データと一致する蓄積済み音声データの雑音量とを測定する雑音測定部と、
を更に備え、
前記音声データ処理部は、受信した前記音声データの雑音量が、前記蓄積済みの音声データの雑音量より少ない場合には、前記蓄積済みの音声データを受信した前記音声データで上書きする、
ことを特徴とする請求項１又は２に記載の通信システム。
【請求項４】
前記音声データ処理部は、前記音声データ内の背景雑音を除去する雑音フィルターを更に備え、
前記音声データ処理部は、前記雑音フィルターによって前記背景雑音が除去された前記音声データを蓄積する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の通信システム。
【請求項５】
通信網に接続する中継装置と当該中継装置を介して前記通信網に接続する複数の通信端末とを備える通信システムにおいて、ある通信端末から他の通信端末へデータ中継を行う中継装置であって、
第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する送受信部と、
音声データを複製するデータ複製部と、
前記第１の通信端末から前記送受信部を介して受信した前記音声データを前記データ複製部によって複製するよう制御するとともに、当該複製した音声データを蓄積して音声合成用データベースを作成するメディア処理装置に対して、前記複製された音声データを前記送受信部によって送信するように制御する通信制御部と、
を備えることを特徴とする中継装置。
【請求項６】
通信網に接続する中継装置と、前記中継装置を介して前記通信網に接続する複数の通信端末とを備え、ある通信端末より他の通信端末へデータの中継を前記中継装置が行う通信システムにおける中継方法であって、
第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する受信ステップと、
前記受信ステップで受信した前記音声データを複製する複製ステップと、
前記複製した音声データを、当該音声データを蓄積して音声合成用データベースを作成するメディア処理装置へ送信する送信ステップと、
を備えることを特徴とする中継方法。
【請求項１】
通信網に接続する中継装置と、
前記中継装置を介して前記通信網に接続し、前記中継装置を介して、他の通信端末と音声データの送受信を行う複数の通信端末と、
前記中継装置に接続するメディア処理装置と
を備えた通信システムであって、
前記中継装置は、
第１の通信端末から送信された第１の音声データを受信し、受信した前記第１の音声データを第２の通信端末へ送信する送受信部と、
音声データを複製するデータ複製部と、
前記第１通信端末からデータ送受信部を介して受信した前記第１の音声データを前記データ複製部によって複製し、当該複製された音声データを前記送受信部によって前記メディア処理装置へ送信するように制御する通信制御部と
を備え、
前記メディア処理装置は、
前記第１の通信端末の複製された音声データを、前記中継装置から受信する受信部と、
前記受信部により受信した音声データを音声データ蓄積部に蓄積する音声データ処理部と、
前記音声データ蓄積部に蓄積された前記音声データに基づいて、前記第１の通信端末用の音声合成用データベースを作成する音声合成用データベース作成部と、
前記音声合成用データベース作成部によって作成された音声合成用データベースが記憶される音声合成用データベース記憶部と、
前記第１の通信端末から音声合成の依頼を受信した場合、前記音声合成用データベースに基づいて音声合成を行う音声合成部と
を備える、
ことを特徴とする通信システム。
【請求項２】
前記通信制御部は、前記複製の指示を前記第１の通信端末から受信した場合に、前記送受信部を介して前記第１の通信端末から受信した音声データを前記データ複製部に複製させる、
ことを特徴とする請求項１に記載の通信システム。
【請求項３】
前記音声データ処理部は、
前記受信部により受信した前記音声データが前記蓄積された音声データのいずれかと一致するか否かを判定する判定部と、
受信した前記音声データの雑音量と、当該音声データと一致する蓄積済み音声データの雑音量とを測定する雑音測定部と、
を更に備え、
前記音声データ処理部は、受信した前記音声データの雑音量が、前記蓄積済みの音声データの雑音量より少ない場合には、前記蓄積済みの音声データを受信した前記音声データで上書きする、
ことを特徴とする請求項１又は２に記載の通信システム。
【請求項４】
前記音声データ処理部は、前記音声データ内の背景雑音を除去する雑音フィルターを更に備え、
前記音声データ処理部は、前記雑音フィルターによって前記背景雑音が除去された前記音声データを蓄積する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の通信システム。
【請求項５】
通信網に接続する中継装置と当該中継装置を介して前記通信網に接続する複数の通信端末とを備える通信システムにおいて、ある通信端末から他の通信端末へデータ中継を行う中継装置であって、
第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する送受信部と、
音声データを複製するデータ複製部と、
前記第１の通信端末から前記送受信部を介して受信した前記音声データを前記データ複製部によって複製するよう制御するとともに、当該複製した音声データを蓄積して音声合成用データベースを作成するメディア処理装置に対して、前記複製された音声データを前記送受信部によって送信するように制御する通信制御部と、
を備えることを特徴とする中継装置。
【請求項６】
通信網に接続する中継装置と、前記中継装置を介して前記通信網に接続する複数の通信端末とを備え、ある通信端末より他の通信端末へデータの中継を前記中継装置が行う通信システムにおける中継方法であって、
第１の通信端末から音声データを受信し、受信した前記音声データを第２の通信端末へ送信する受信ステップと、
前記受信ステップで受信した前記音声データを複製する複製ステップと、
前記複製した音声データを、当該音声データを蓄積して音声合成用データベースを作成するメディア処理装置へ送信する送信ステップと、
を備えることを特徴とする中継方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−４７８５１（Ｐ２０１３−４７８５１Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−２５４９７３（Ｐ２０１２−２５４９７３）
【出願日】平成２４年１１月２１日（２０１２．１１．２１）
【分割の表示】特願２００９−３６７１２（Ｐ２００９−３６７１２）の分割
【原出願日】平成２１年２月１９日（２００９．２．１９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２４年１１月２１日（２０１２．１１．２１）
【分割の表示】特願２００９−３６７１２（Ｐ２００９−３６７１２）の分割
【原出願日】平成２１年２月１９日（２００９．２．１９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]