音声データ通信システム
【課題】サーバとの間の音声データの送受信によるネットワーク負荷を低減するための技術を提供すること。
【解決手段】音声データ通信システム1を、音声合成サーバ10と、メールサーバ20と、第1〜第nの情報処理装置30_1〜30_nとを含む構成とし、情報処理装置30において、テキストメールを音声変換対象情報と共に音声合成サーバ10に送信し、音声合成サーバ10において、受信したメールの文章を複数の文に分割し、各分割文データを音声合成処理によって音声データに変換し、これを圧縮等した分割音声ファイルを情報処理装置30に送信する。情報処理装置30は、最初の分割音声ファイルを受信すると、予め設定した送信タイミングで送信依頼情報を音声合成サーバ10に送信し、音声合成サーバ10は、送信依頼情報を受信するごとに、未処理の分割文データを1つずつ音声合成処理によって分割音声ファイルに変換し情報処理装置30に送信する。
【解決手段】音声データ通信システム1を、音声合成サーバ10と、メールサーバ20と、第1〜第nの情報処理装置30_1〜30_nとを含む構成とし、情報処理装置30において、テキストメールを音声変換対象情報と共に音声合成サーバ10に送信し、音声合成サーバ10において、受信したメールの文章を複数の文に分割し、各分割文データを音声合成処理によって音声データに変換し、これを圧縮等した分割音声ファイルを情報処理装置30に送信する。情報処理装置30は、最初の分割音声ファイルを受信すると、予め設定した送信タイミングで送信依頼情報を音声合成サーバ10に送信し、音声合成サーバ10は、送信依頼情報を受信するごとに、未処理の分割文データを1つずつ音声合成処理によって分割音声ファイルに変換し情報処理装置30に送信する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置からの音声変換対象の文章データを音声データに変換し、該音声データを依頼元の情報処理装置に提供する音声合成装置、プログラム及び音声データ通信システムに関する。
【背景技術】
【0002】
従来から、データを中継するサーバにおいて、受信した文章データを音声データへと変換して、該変換した音声データを送信先へと送信する技術がある(例えば、特許文献1)。
特許文献1の音声メールシステムにおいては、サーバは、負荷を軽減することを目的として、受信したメールが音声ファイルの添付されたメールであれば、送信するメールに、電話番号、音声ファイルへのリンク、音声ファイルを音声認識により文章に変換して得た文章を記載して格納する。また、受信したメールが文章のみのメールであれば、電話番号と、音声合成によって、文字情報を音声情報に変換した音声ファイルへのリンク、文章を記載して格納する。これにより、受信者側の端末は、受信者の便宜に添った形式のメッセージをサーバから受け取れる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−306462号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記特許文献1の技術においては、文章のみのメールを受信した場合に、その都度、サーバにおいて、音声合成により音声データへと変換して保持する。そのため、サーバにおいて、比較的データ容量の大きい音声データを保持しておくための大容量の記憶装置を用意する必要がある。
一方、受信者側からの要請があったときに、その都度、文章データを音声データへと変換して受信者側の端末に送信する構成とした場合は、特に文章量が多い場合などに、変換後の音声データのデータ容量も大きくなるため大容量データの送受信によるネットワーク負荷が増大する恐れがある。
【0005】
本発明は、このような課題を解決するためになされたものであり、その目的は、音声合成に必要なサーバの記憶容量を低減する技術を提供することである。
また、別の目的は、サーバとの間の音声データの送受信によるネットワーク負荷を軽減するための技術を提供することである。
【課題を解決するための手段】
【0006】
〔第1の構成〕
上記課題を解決するために、本発明に係る第1の構成の音声合成装置は、外部の情報処理装置から通信回線を介して送信された文章データを受信し、該受信した文章データを音声データに変換して、該音声データを前記情報処理装置に送信する音声合成装置であって、前記情報処理装置から送信された音声変換対象の文章データを受信する文章データ受信部と、前記文章データ受信部で受信した前記文章データの示す文章全体を複数の文に分割する文章分割部と、前記文章分割部で分割した各文のデータである各分割文データに対して音声合成処理を実行して、前記各分割文データを音声データへと変換する音声合成部と、前記各分割文の音声データを、送信先の情報処理装置に送信する音声データ送信部と、を備えている。
【0007】
そして、前記音声合成部における前記分割文データを前記音声データへと変換する処理と、前記音声データ送信部における前記分割文データの音声データを送信する処理とを分割文データごとに繰り返し実施する。
このような構成であれば、文章データ受信部によって、音声変換対象の文章データを受信し、文章分割部によって、文章データの文章を複数の文に分割することができる。更に、音声合成部によって、各分割文データに対して音声合成処理を実行して各分割文データを音声データに変換することができる。更に、音声データ送信部によって、各分割文の音声データを、送信先の情報処理装置に送信することができる。このとき、音声合成部における分割文データを音声データに変換する処理と、音声データ送信部における分割文データの音声データを送信する処理とを分割文データごとに繰り返し実施することができる。
【0008】
このように、音声変換対象の文章データを複数の分割文データに分割し、分割文データを音声合成処理によって音声データに変換し、分割文データが音声データに変換されるごとに分割文の音声データを、順次情報処理装置に送信することで、文章全体を一括で音声合成処理により音声データに変換し、該文章全体の音声データを情報処理装置に送信することと比較して、音声合成処理の処理負荷を分散でき且つ音声データを送信時のネットワーク負荷を軽減することができる。
【0009】
〔第2の構成〕
更に、第2の構成の音声合成装置は、上記第1の構成において、前記音声合成部は、前記情報処理装置からの送信依頼情報の受信に応じて、前記音声合成処理によって変換後の音声データの送信処理を実行する。
このような構成であれば、音声合成部は、情報処理装置からの送信依頼情報の受信に応じて、音声データの送信処理を実行することができる。
このように、情報処理装置からの送信依頼情報によって、音声データの送信タイミングを制御できるようにすることで、音声データの送信によるネットワーク負荷を適切に軽減することができる。
【0010】
〔第3の構成〕
更に、第2の構成の音声合成装置は、上記第2の構成において、前記音声合成部は、前記情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって変換後の音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行する。
【0011】
このような構成であれば、音声合成部は、最初の分割文データを音声データに変換して情報処理装置に送信後は、情報処理装置からの送信依頼情報を受信するごとに、次の未処理の分割文データに対して音声合成処理及び音声データの送信処理を順次実行することができる。
このように、情報処理装置からの送信依頼情報によって、音声合成処理の処理タイミング及び音声データの送信タイミングを制御できるようにすることで、分割文データのデータ長やネットワーク負荷等に応じて変化する処理負荷を適切に軽減することができる。
【0012】
〔第4の構成〕
更に、第4の構成の音声合成装置は、上記第1から第3のいずれか1の構成において、前記文章分割部は、句点記号を含む一文の終了位置に付される特定記号を分割位置として、前記文章全体を複数の文に分割する。
このような構成であれば、文章を複数の文に容易に分割することができると共に、一文の終わりで文章を区切る形で複数の分割文に分割することができる。これにより、ネットワーク負荷等で次の分割文に対応する音声データの受信に時間がかかっても、文の途中で音声の再生が途切れる等の事態を回避することができる。
ここで、特定記号としては、平叙文の終了位置に付される句点「。」、感嘆文の終了位置に付される感嘆符「!」、疑問文の終了位置に付される疑問符「?」、他にも、二重感嘆符「!!」、ダブルだれ「!?」などがある。また、ワープロ文においては、改行記号(改行コード)も一文の終了を示す場合があり、これも特定記号として含む。
【0013】
〔第5の構成〕
一方、上記課題を解決するための第5の構成としては、上記第1から第4のいずれか1の構成における全ての構成部として機能させるための各種処理手順を、コンピュータシステムに実行させるためのプログラムとしてもよい。
このようなプログラムにより制御されるコンピュータシステムは、上記各構成部に係る音声合成装置の一部を構成することができる。
なお、上述した各プログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して音声合成装置や、これを利用するユーザに提供されるものである。
【0014】
〔第6の構成〕
また、上記課題を解決するために、第6の構成の音声データ通信システムは、メール送信者の第1の情報処理装置と、メールサーバと、上記第1の構成の音声合成装置と、メール受信者の第2の情報処理装置とを通信回線を介してそれぞれ通信可能に備える。
更に、前記第1の情報処理装置は、電子メールを作成するメール作成部と、前記メール作成部で作成した前記メール受信者宛の電子メールを前記メールサーバに送信する第1のメール送信部と、を備える。
更に、前記メールサーバは、前記第1の情報処理装置から送信された前記メール受信者宛の電子メールを受信する第1のメール受信部と、前記第1のメール受信部で受信した電子メールを該電子メールの宛先情報が設定された前記第2の情報処理装置からの受信要求に応じて、該受信要求元の第2の情報処理装置に送信する第2のメール送信部と、を備える。
【0015】
更に、前記第2の情報処理装置は、設定された宛先情報に対応するメール受信者宛の電子メールの受信要求を前記メールサーバに送信する受信要求送信部と、前記受信要求に応じて前記メールサーバから送信された電子メールを受信する第2のメール受信部と、入力指示に応じて、前記第2のメール受信部で受信した電子メールについて、該電子メールを構成する文章データを音声変換対象の文章データとして前記音声合成サーバに送信する文章データ送信部と、前記音声合成装置から送信された前記各分割文データに対応する音声データを受信する音声データ受信部と、前記音声データ受信部で受信した前記音声データの音声を再生する音声再生部とを備える。
【0016】
このような構成であれば、第1の情報処理装置において、メール作成部によって、電子メールを作成することができ、第1のメール送信部によって、作成した電子メールをメールサーバに送信することができる。
また、メールサーバにおいて、第1のメール受信部によって、第1の情報処理装置から送信された電子メールを受信することができ、第2のメール送信部によって、第2の情報処理装置からの受信要求に応じて、受信した電子メールをその宛先に対応する第2の情報処理装置に送信することができる。
【0017】
また、第2の情報処理装置において、受信要求送信部によって、電子メールの受信要求をメールサーバに送信することができ、第2のメール受信部によって、メールサーバから送信された電子メールを受信することができ、文章データ送信部によって、受信した電子メールを構成する文章データを音声変換対象の文章データとして音声合成装置に送信することができる。
【0018】
また、第2の情報処理装置において、音声データ受信部によって、音声合成装置から送信された分割文データの音声データを受信することができ、音声再生部によって、受信した音声データの音声を再生することができる。
これにより、音声合成装置と第2の情報処理装置との間において、上記第1の構成の音声合成装置と同等の作用及び効果を得ることができる。
【0019】
〔第7の構成〕
更に、第7の構成の音声データ通信システムは、上記第6の構成において、前記第2の情報処理装置は、設定した送信依頼タイミングで前記分割文の音声データの送信依頼情報を前記音声合成サーバに送信する送信依頼情報送信部を備える。
また、前記音声合成部は、前記第2の情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって得られる音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行する。
このような構成であれば、第2の情報処理装置において、送信依頼情報送信部によって、設定した送信依頼タイミングで分割文の音声データの送信依頼情報を音声合成サーバに送信することができる。
【0020】
また、音声合成サーバにおいて、音声合成部は、第2の情報処理装置からの音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの分割文データへの分割処理を実行し、次に、最初の分割文データに対して音声合成処理及び該音声合成処理によって得られる音声データの送信処理を実行し、以降は、情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、音声合成処理及び前記送信処理を順次実行することができる。
このように、第2の情報処理装置からの送信依頼情報によって、音声合成装置の音声合成処理の処理タイミング及び音声データの送信タイミングを制御できるようにすることで、分割文データのデータ長やネットワーク負荷等に応じて変化する第2の情報処理装置側の処理負荷を、適切に軽減することができる。
【0021】
ここで、送信依頼タイミングとは、第2の情報処理装置において行われる分割文の音声データの再生処理にかかる時間及び負荷と、音声合成装置における音声合成処理にかかる時間及び負荷と、通信回線を介した各種データの送受信にかかる時間及び負荷等に基づき決定されるタイミングである。望ましくは、第2の情報処理装置側で再生遅延が発生せず、かつ音声合成装置、第2の情報処理装置及び通信回線において発生する負荷が最低となるタイミング又は許容範囲内で安定するタイミングとなる。
【0022】
〔第8の構成〕
更に、第8の構成の音声データ通信システムは、上記第7の構成において、前記送信依頼情報送信部は、先に受信した前記分割文の音声データの総再生時間が設定時間以上と判定したときは、前記総再生時間の所定割合以上の時間分が再生された時点を前記送信依頼タイミングとし、前記総再生時間が前記設定時間未満であると判定したときは、再生開始時点を前記送信依頼タイミングとする。
このような構成であれば、第2の情報処理装置は、送信依頼情報送信部において、分割文データのデータ長(音声の総再生時間)に応じた適切なタイミングで送信依頼情報を音声合成装置に送信することができる。
【0023】
〔第9の構成〕
更に、第9の構成の音声データ通信システムは、上記第6〜第8の構成のいずれか1において、前記メールサーバは、前記第1のメール受信部で受信した電子メールが音声ファイルの添付された音声添付メールであるときに、該音声添付メールから音声ファイルを分離する音声ファイル分離部と、前記音声ファイル分離部で分離した音声ファイルを記憶する音声ファイル記憶部と、前記音声ファイル記憶部に記憶された前記音声ファイルのアクセス先情報を付加した第2の電子メールを作成する第2のメール作成部と、前記第2の情報処理装置からの前記アクセス先情報に基づくアクセスに応じて、前記音声ファイル記憶部に記憶された音声ファイルを、アクセス元の前記第2の情報処理装置に送信する音声ファイル送信部と、を備える。
【0024】
更に、前記第2の情報処理装置は、前記第2の電子メールに付加されたアクセス先情報に基づき、前記音声ファイル記憶部によって記憶された前記アクセス先情報の示すアクセス先の音声ファイルにアクセスするファイルアクセス部と、前記ファイルアクセス部のアクセスに応じて前記メールサーバから送信された音声ファイルを受信する音声ファイル受信部と、を備える。
【0025】
そして、前記第2のメール送信部は、前記第2のメール作成部で作成した電子メールを、前記受信した音声添付メールに代えて前記宛先のメール受信者に対応する第2の情報処理装置に送信する。
また、前記音声再生部は、前記音声ファイル受信部で受信した音声ファイルの音声を再生する。
このような構成であれば、メールサーバにおいて、音声ファイルの添付された音声添付メールを受信したときに、音声ファイル分離部によって、音声添付メールから音声ファイルを分離し、音声ファイル記憶部によって、分離した音声ファイルを記憶することができる。
【0026】
更に、第2のメール作成部によって、音声ファイル記憶部に記憶された音声ファイルのアクセス先情報を付加した第2の電子メールを作成することができ、音声ファイル送信部によって、アクセス先情報に基づく第2の情報処理装置からのアクセスに応じて、音声ファイル記憶部に記憶された音声ファイルを第2の情報処理装置に送信することができる。
これによって、第2の情報処理装置において、必要なときに第2の電子メールに付加されたアクセス先情報に基づきメールサーバにアクセスすることで、音声ファイルを取得し、その音声を再生することができるので、第2の情報処理装置のメモリ容量の負荷や、音声ファイルの受信によって生じるネットワーク負荷を軽減することができる。
【0027】
〔第10の構成〕
更に、第10の構成の音声データ通信システムは、上記第9の構成において、前記第1の情報処理装置は、音声を入力する音声入力部と、音声添付メールの作成指示に応じて、前記音声入力部を介して入力された音声メッセージを記録する音声メッセージ記録部と、を備える。
そして、前記メール作成部は、前記音声メッセージの記録が終了すると、設定されたメール受信者宛の、前記記録した音声メッセージの音声ファイルを添付した音声添付メールを作成する。
【0028】
また、前記第1のメール送信部は、前記メール作成部で作成した音声添付メールを前記メールサーバに送信する。
このような構成であれば、第1の情報処理装置において、音声入力部によって、音声を入力し、音声メッセージ記録部によって、音声入力部を介して入力された音声メッセージを記録し、メール作成部によって、音声メッセージの音声ファイルが添付された音声添付メールを作成することができる。更に、第1のメール送信部によって、音声添付メールをメールサーバに送信することができる。
これによって、第1の情報処理装置において、簡易に音声ファイルの添付された電子メールを作成することができる。
【図面の簡単な説明】
【0029】
【図1】音声データ通信システム1の概略構成を示すブロック図である。
【図2】音声合成サーバ10及びメールサーバ20のハードウェア構成の一例を示すブロック図である。
【図3】音声合成サーバ10のCPU100においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
【図4】メールサーバ20のCPU200においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
【図5】情報処理装置30のハードウェア構成の一例を示すブロック図である。
【図6】情報処理装置30のCPU300においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
【図7】メール作成処理の処理手順の一例を示すフローチャートである。
【図8】メール配信処理の処理手順の一例を示すフローチャートである。
【図9】メール受信処理の処理手順の一例を示すフローチャートである。
【図10】音声合成処理の処理手順の一例を示すフローチャートである。
【図11】音声添付メールの具体的な作成例を示す図である。
【図12】(a)は、音声添付メールの一例を示す図であり、(b)は、(a)の音声添付メールに対する添付分離メールの具体的な作成例を示す図である。
【図13】添付分離メールに記載されたURLをクリックして音声を再生する一例を示す図である。
【図14】情報処理装置30_2と音声合成サーバ10との間における、音声合成処理を実行時のデータ送受信の一例を示すシーケンス図である。
【図15】テキストメールの文章に対する各分割音声ファイルの音声再生手順の具体例を示す図である。
【発明を実施するための形態】
【0030】
以下に本発明の実施形態を図面に基づき説明する。
(1)構成
(1−1)音声データ通信システム1の構成
まず、図1に基づき、音声データ通信システム1の構成を説明する。図1は、音声データ通信システム1の概略構成を示すブロック図である。
音声データ通信システム1は、図1に示すように、音声合成サーバ10と、メールサーバ20と、第1〜第nの情報処理装置30_1〜30_nと、ネットワーク40とを含んで構成される。そして、ネットワーク40を介して、音声合成サーバ10と、メールサーバ20と、第1〜第nの情報処理装置30_1〜30_nとは、それぞれ互いにデータ通信可能に接続されている。
【0031】
音声合成サーバ10は、第1〜第nの情報処理装置30_1〜30_nからのネットワーク40を介した音声変換対象の文章データの受信に応じて、該文章データの文章を音声合成によって音声データへと変換する機能を有したサーバである。
メールサーバ20は、第1〜第nの情報処理装置30_1〜30_nのいずれかからのネットワーク40を介した電子メールを受信し、受信した電子メールを第1〜第nの情報処理装置30_1〜30_nのうち送信先の情報処理装置に配信する機能を有したサーバである。更に、メールサーバ20は、音声ファイルの添付された電子メールを受信した場合に、受信した電子メールから音声ファイルを分離して該音声ファイルを記憶し、この記憶位置を示す情報を付加した電子メールを元の電子メールの代わりに送信先(宛先)の情報処理装置に送信する機能を有している。
【0032】
第1〜第nの情報処理装置30_1〜30_n(以下、区別する必要が無いときは単に情報処理装置30ともいう)は、電子メールを作成する機能と、送信者の音声メッセージを記録して、該音声メッセージの音声ファイルを添付した電子メール(以下、音声添付メールと称す)を作成する機能とを有した装置である。
更に、情報処理装置30は、受信した電子メールに基づき音声変換対象の文章データを音声合成サーバ10に送信する機能と、音声合成サーバ10からの音声ファイルを受信して該音声ファイルの音声を再生する機能とを有した装置である。
ネットワーク40は、LAN、WAN、インターネットなどの公知のネットワークである。
【0033】
(1−2)音声合成サーバ10の構成
次に、図2及び図3に基づき、音声合成サーバ10の構成を説明する。
図2は、音声合成サーバ10及びメールサーバ20のハードウェア構成の一例を示すブロック図である。また、図3は、音声合成サーバ10のCPU100においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
まず、図2に基づき、音声合成サーバ10のハードウェア構成を説明する。
音声合成サーバ10は、各機能をソフトウェアを用いて実現するため、及び各機能の実現に必要なハードウェアを制御するソフトウェアを実行するためのコンピュータシステムを備えている。
【0034】
音声合成サーバ10のコンピュータシステムは、図2に示すように、CPU(Central Processing Unit)100と、RAM(Random Access Memory)102と、ROM(Read Only Memory)104と、入出力インターフェース(I/F)106と、バス108とを含んで構成される。CPU100、RAM102、ROM104および入出力I/F106は、バス108に接続されており、バス108を介してこれら接続デバイス間のデータの送受信を可能としている。
【0035】
音声合成サーバ10のコンピュータシステムは、更に、入出力I/F106を介して、記憶装置110と、表示装置112と、入力装置114と、NIC(Network Interface Card)116とに接続されている。
CPU100は、ROM104または記憶装置110に予め記憶された各種専用のコンピュータプログラムをRAM102に読み込み、RAM102に読み込まれたプログラムに記述された命令に従って、各種リソースを駆使して、後述する音声合成処理を実行する。
【0036】
記憶装置110は、各種専用のコンピュータプログラム、プログラムの実行において用いられる各種データ等の、上記音声合成処理に必要なデータを記憶する。
記憶装置110は、例えば、公知の音声合成処理を行うためのプログラムや、音声合成処理に必要な、音素ごとのピッチ周波数情報や音声スペクトラム情報等を記憶する。
ここで、記憶装置110は、FDドライブ、HDドライブ等の磁気記憶型記憶装置、CDドライブ、DVDドライブ、BRDドライブ等の光学的読取/書込方式記憶装置、MOドライブ等の磁気記憶型/光学的読取方式記憶装置等の、コンピュータでデータを読み取り及び書き込み可能な記憶装置であれば何でもよい。
【0037】
表示装置112は、CRTディスプレイ、液晶ディスプレイなどの周知の表示装置であり、CPU100からの指令に応じて、各種情報の表示を行う。
入力装置114は、キーボード、マウス、操作ボタン、タッチ式の入力デバイス(タッチパネル等)などのヒューマンインターフェースデバイスであり、ユーザの操作に応じた入力を受け付ける。
【0038】
NIC116は、LAN、WAN、インターネット等のネットワーク上の外部装置と通信するためのデバイスであり、一般にLANカード等と呼ばれる周知のネットワークアダプタである。NIC116は、ネットワークケーブルLを介してルータやハブ等に接続され、これらを介して、音声合成サーバ10をネットワークに接続する。
なお、この音声合成サーバ10は、例えば、周知のパーソナルコンピュータなどに実装されるものとして構成される。
【0039】
次に、図3に基づき、音声合成サーバ10の機能構成を説明する。
音声合成サーバ10は、CPU100において、専用のプログラムを実行することで本実施形態の音声合成処理に必要な各種機能を実現する機能構成部として音声合成処理部を備えている。
音声合成処理部は、図3に示すように、データ通信部100aと、文章データ受信処理部100bと、文章分割部100cと、音声合成部100dと、音声データ送信処理部100eと、タイミング制御部100fとを含んで構成される。
【0040】
データ通信部100aは、ネットワーク40及びNIC116を介した、各種データの外部装置への送信と外部装置からの各種データの受信とを制御する機能を有している。具体的に、各機能構成部からのデータ送信依頼に応じて、ネットワーク40及びNIC116を介して、データを送信先の外部装置に送信する。更に、ネットワーク40及びNIC116を介して外部装置から受信したデータを対応する各構成部に出力(又はRAM102等のメモリに記憶)したりする機能を有している。
【0041】
文章データ受信処理部100bは、データ通信部100aを介して受信された文章データを受け取って、それが音声変換対象の文章データであるか否かを判定し、音声変換対象の文章データであると判定した場合に、該文章データを文章分割部100cに出力する機能を有している。また、文章データ受信処理部100bは、新規の文章データを受信したことをタイミング制御部100fに通知する機能も有している。
【0042】
文章分割部100cは、文章データ受信処理部100bから受け取った文章データの示す文章全体を文章中に含まれる特定記号に基づき複数の文に分割して、複数の分割文データを生成する機能を有している。
音声合成部100dは、文章分割部100cにおいて生成された分割文データを、タイミング制御部100fからの実行指示に応じて、公知の音声合成処理によって音声データに変換する機能を有している。具体的に、タイミング制御部100fからの実行指示を受けるごとに、文章中における各分割文の並び順に1つずつ、分割文データを音声合成処理によって音声データに変換する。また、音声合成部100dは、1つの分割文データを音声データに変換するごとに、該音声データ(以下、分割音声ファイルと称す)を音声データ送信処理部100eに出力するようになっている。
【0043】
音声データ送信処理部100eは、音声合成部100dにおいて、音声合成部100dから分割音声ファイルを受け取るごとに、該分割音声ファイルを、データ通信部100aを介して、該分割音声ファイルに対応する文章データの送信元の情報処理装置30に送信する機能を有している。
タイミング制御部100fは、音声変換対象の文章データの送信元である情報処理装置30から送信された送信依頼情報をデータ通信部100aを介して受信し、該受信に応じて音声合成部100dに音声合成処理の実行指示を与える機能を有している。
【0044】
(1−3)メールサーバ20の構成
次に、図2及び図4に基づき、メールサーバ20の構成を説明する。
図4は、メールサーバ20のCPU200においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
まず、図2に基づき、メールサーバ20のハードウェア構成を説明する。なお、図2において、音声合成サーバ10とメールサーバ20とはハードウェア構成が同様となるので、本実施形態においては、両者のハードウェア構成を一図にまとめて示している。そのため括弧内の符号がメールサーバ20に対応する。
【0045】
メールサーバ20は、各機能をソフトウェアを用いて実現するため、及び各機能の実現に必要なハードウェアを制御するソフトウェアを実行するためのコンピュータシステムを備えている。
メールサーバ20のコンピュータシステムは、図2に示すように、CPU200と、RAM202と、ROM204と、入出力I/F206と、バス208とを含んで構成される。CPU200、RAM202、ROM204および入出力I/F206は、バス208に接続されており、バス208を介してこれら接続デバイス間のデータの送受信を可能としている。
【0046】
メールサーバ20のコンピュータシステムは、更に、入出力I/F206を介して、記憶装置210と、表示装置212と、入力装置214と、NIC216とに接続されている。
CPU200は、ROM204または記憶装置210に予め記憶された各種専用のコンピュータプログラムをRAM202に読み込み、RAM202に読み込まれたプログラムに記述された命令に従って、各種リソースを駆使して、後述する音声合成処理を実行する。
【0047】
記憶装置210は、各種専用のコンピュータプログラム、プログラムの実行において用いられるデータ等の、上記メール配信処理、上記音声ファイルの分離処理等に必要なデータを記憶する。
記憶装置210は、例えば、公知のSMTPサーバ、POPサーバ等でメールの配信処理を行うのに用いられる各種プログラムや、メール配信処理において、情報処理装置30から受信した電子メール、電子メールから分離した音声ファイルなどを記憶する。
【0048】
ここで、記憶装置210は、FDドライブ、HDドライブ等の磁気記憶型記憶装置、CDドライブ、DVDドライブ、BRDドライブ等の光学的読取/書込方式記憶装置、MOドライブ等の磁気記憶型/光学的読取方式記憶装置等の、コンピュータでデータを読み取り及び書き込み可能な記憶装置であれば何でもよい。
表示装置212は、CRTディスプレイ、液晶ディスプレイなどの周知の表示装置であり、CPU200からの指令に応じて、各種情報の表示を行う。
【0049】
入力装置214は、キーボード、マウス、操作ボタン、タッチ式の入力デバイス(タッチパネル等)などのヒューマンインターフェースデバイスであり、ユーザの操作に応じた入力を受け付ける。
NIC216は、LAN、WAN、インターネット等のネットワーク上の外部装置と通信するためのデバイスであり、一般にLANカード等と呼ばれる周知のネットワークアダプタである。NIC216は、ネットワークケーブルLを介してルータやハブ等に接続され、これらを介して、メールサーバ20をネットワークに接続する。
なお、このメールサーバ20は、例えば、周知のパーソナルコンピュータなどに実装されるものとして構成される。
【0050】
次に、図4に基づき、メールサーバ20の機能構成を説明する。
メールサーバ20の機能構成は、図4に示すように、データ通信部200aと、メール送受信処理部200bと、メール配信処理部200cと、データ制御部200dと、添付ファイル分離部200eと、添付分離メール作成部200fと、ファイルアクセス処理部200gとを含んで構成される。
【0051】
データ通信部200aは、ネットワーク40及びNIC216を介した、各種データの外部装置への送信と外部装置からの各種データの受信とを制御する機能を有している。具体的に、各機能構成部からのデータ送信依頼に応じて、ネットワーク40及びNIC216を介して、データを送信先の外部装置に送信する。更に、ネットワーク40及びNIC216を介して外部装置から受信したデータを対応する各構成部に出力(又はRAM202等のメモリに記憶)したりする機能を有している。
【0052】
メール送受信処理部200bは、情報処理装置30からの電子メールをデータ通信部200aを介して受信し、受信した電子メールに音声ファイルが添付されているか否かを判定する。そして、音声ファイルが添付されていると判定した場合は、該当電子メール(以下、音声添付メールと称す)を、添付ファイル分離部200eに出力する機能を有している。一方、音声ファイルが添付されていないと判定した場合は、受信した電子メールを、記憶装置210に構成された、該当電子メールの宛先に対応するメールボックスに格納する機能を有している。
【0053】
更に、メール送受信処理部200bは、メール配信処理部200cから送信依頼に応じて、送信依頼に対応する電子メールを、データ通信部200aを介して電子メールの有する宛先情報に対応する情報処理装置30に送信する機能を有している。
メール配信処理部200cは、データ通信部200aを介して受信した、情報処理装置30からの電子メールの受信要求に応じて、情報処理装置30に設定されたメール受信者に対応するメールボックスに送信すべき電子メールがあるか否かを判定する。そして、送信すべき電子メールがあると判定した場合に、該電子メールの送信依頼をメール送受信処理部200bに出力する機能を有している。
【0054】
データ制御部200dは、各機能構成部からのデータ読み出し要求に応じて、記憶装置210に記憶された該当データを読み出して各構成部に出力(又はRAM202に記憶)する機能と、各構成部からのデータ書き込み要求に応じて、該当データを記憶装置210に記憶する機能とを有している。
添付ファイル分離部200eは、メール送受信処理部200bからの音声添付メールを受け取ると、音声添付メールから音声ファイルを分離し、分離した音声ファイルを、データ制御部200dを介して記憶装置210に記憶する。そして、音声ファイルの記憶位置を示すURL(Uniform Resource Locator)を生成し、生成したURLの情報をアクセス先情報として、添付分離メール作成部200fに出力する。なお、本実施形態においては、音声ファイルを分離後の電子メールも添付分離メール作成部200fに出力する。
【0055】
添付分離メール作成部200fは、添付ファイル分離部200eからの電子メールとURL情報とを受け取ると、受け取った電子メールの本文にURL情報を記載してなる添付分離メールを作成する機能を有している。更に、作成した添付分離メールを、メール送受信処理部200bを介して、該添付分離メールの送信先の情報処理装置30に送信する機能を有している。
【0056】
ファイルアクセス処理部200gは、情報処理装置30からのアクセス情報(パス情報、音声ファイル名等)をデータ通信部200aを介して受信し、受信したアクセス情報に基づき、データ制御部200dを介して、記憶装置210から該当の音声ファイルを読み出す機能を有している。更に、ファイルアクセス処理部200gは、読み出した音声ファイルを、データ通信部200aを介してアクセス元の情報処理装置30に送信する機能を有している。
【0057】
(1−4)情報処理装置30の構成
次に、図5及び図6に基づき、情報処理装置30の構成を説明する。
図5は、情報処理装置30のハードウェア構成の一例を示すブロック図である。また、図6は、情報処理装置30のCPU300においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
まず、図5に基づき、情報処理装置30のハードウェア構成を説明する。
情報処理装置30は、各機能をソフトウェアを用いて実現するため、及び各機能の実現に必要なハードウェアを制御するソフトウェアを実行するためのコンピュータシステムを備えている。
【0058】
情報処理装置30のコンピュータシステムは、図5に示すように、CPU300と、RAM302と、ROM304と、入出力I/F306と、バス308とを含んで構成される。CPU300、RAM302、ROM304および入出力I/F306は、バス308に接続されており、バス308を介してこれら接続デバイス間のデータの送受信を可能としている。
情報処理装置30のコンピュータシステムは、更に、入出力I/F306を介して、記憶装置310と、表示装置312と、入力装置314と、サウンドカード315と、NIC318とに接続されている。更に、サウンドカード315には、スピーカ316と、マイク317とが接続されている。
【0059】
CPU300は、ROM304または記憶装置310に予め記憶された各種専用のコンピュータプログラムをRAM302に読み込み、RAM302に読み込まれたプログラムに記述された命令に従って、各種リソースを駆使して、後述する音声合成処理を実行する。
記憶装置310は、各種専用のコンピュータプログラム、プログラムの実行において用いられるデータ等の、上記メールの作成処理、送受信処理、音声再生処理等に必要なデータを記憶する。
【0060】
具体的に、記憶装置310は、各種メールの作成処理、各種データの送受信処理、音声ファイルの再生処理等に必要なプログラム(ソフトウェア)や、受信した電子メール、音声ファイル等のデータを記憶する。
ここで、記憶装置310は、FDドライブ、HDドライブ等の磁気記憶型記憶装置、CDドライブ、DVDドライブ、BRDドライブ等の光学的読取/書込方式記憶装置、MOドライブ等の磁気記憶型/光学的読取方式記憶装置等の、コンピュータでデータを読み取り及び書き込み可能な記憶装置であれば何でもよい。
【0061】
表示装置312は、CRTディスプレイ、液晶ディスプレイなどの周知の表示装置であり、CPU300からの指令に応じて、各種情報の表示を行う。
入力装置314は、キーボード、マウス、操作ボタン、タッチ式の入力デバイス(タッチパネル等)などのヒューマンインターフェースデバイスであり、ユーザの操作に応じた入力を受け付ける。
サウンドカード315は、公知のサウンドカード、サウンドボード、オーディオインターフェースカード等と呼ばれるデバイスと同等のものであり、音響信号の入出力を行う機能を有したデバイスである。
【0062】
スピーカ316は、音声再生ソフトの実行時において、サウンドカード315からの音響信号の供給に応じて、該音響信号を物理振動に変換して音を発生するデバイスである。
マイク317は、ユーザの音声をサウンドカード315を介して入力するデバイスである。本実施形態では、サウンドカード315の備えるA/D変換器によって、入力音声(アナログデータ)をデジタルデータに変換してRAM302等のメモリに記憶する。
【0063】
NIC318は、LAN、WAN、インターネット等のネットワーク上の外部装置と通信するためのデバイスであり、一般にLANカード等と呼ばれる周知のネットワークアダプタである。NIC318は、ネットワークケーブルLを介してルータやハブ等に接続され、これらを介して、情報処理装置30をネットワークに接続する。なお、周知の無線LAN等の、無線によって無線LAN用のアクセスポイントを介してネットワークに接続する構成であってもよい。
なお、この情報処理装置30は、例えば、周知のパーソナルコンピュータなどに実装されるものとして構成される。
【0064】
次に、図6に基づき、情報処理装置30の機能構成を説明する。
情報処理装置30の機能構成は、図6に示すように、入力受付部300aと、データ制御部300bと、メール作成部300cと、音声メッセージ記録部300dと、メール送受信処理部300eと、データ通信部300fと、音声再生部300gと、文章データ送信部300hと、メール情報表示処理部300jと、送信依頼情報送信部300kとを含んで構成される。
【0065】
入力受付部300aは、入力装置314を介してユーザから入力される各種入力情報を受け付けて、受け付けた入力情報を、該入力情報に対応する機能構成部にデータ制御部300bを介して出力する機能を有している。
更に、入力受付部300aは、マイク317を介して入力される音声指示を音声認識によって判定し、判定した情報を入力情報として、該入力情報に対応する機能構成部にデータ制御部300bを介して出力する機能を有している。
【0066】
データ制御部300bは、入力受付部300aで受け付けた入力情報を、該入力情報に対応する機能構成部に出力する機能を有している。更に、データ制御部300bは、各機能構成部からのデータ書き込み要求に応じて記憶装置310に該当データを記憶し、データ読み出し要求に応じて記憶装置310から該当データを読み出して、読み出したデータを要求元の機能構成部に出力する(又はRAM302に記憶する)機能を有している。
【0067】
メール作成部300cは、入力受付部300aを介して入力された入力情報であるテキストメールの作成指示に応じて、音声ファイルの添付の無いテキスト文のみの電子メール(以下、テキストメールと称す)を作成する機能を有している。更に、メール作成部300cは、入力受付部300aを介して入力された入力情報である新規音声添付メールの作成指示に応じて、音声メッセージ記録部300dに音声メッセージの記録指示を与えると共に、音声メッセージ記録部300dにおいて作成された音声ファイルを電子メールに添付してなる音声添付メールを作成する機能を有している。
【0068】
また、メール作成部300cは、作成したテキストメール及び音声添付メールをメール送受信処理部300eに出力する。
音声メッセージ記録部300dは、メール作成部300cからの記録要求に応じて、データ制御部300bを介してメール情報表示処理部300jに、マウス等の入力デバイスによって押下可能な記録開始ボタンの表示指示を与える。そして、記録開始ボタンが押下されることに応じて、入力受付部300aを介して入力される入力情報である記録開始指示に応じて、マイク317を介して入力される音声メッセージの記録を開始する機能を有している。更に、記録開始ボタンが押下されることに応じて、データ制御部300bを介してメール情報表示処理部300jに、マウス等の入力デバイスによって押下可能な記録終了ボタンの表示指示を与える。そして、入力受付部300aを介して入力された入力情報である記録終了指示に応じて、音声メッセージの記録を終了する機能を有している。
【0069】
更に、音声メッセージ記録部300dは、記録開始から終了までの期間において記録された音声メッセージのデータから音声ファイルを作成する機能を有している。ここで、音声ファイルは、音声メッセージの生データを無圧縮で用いる形式で作成してもよいが、ネットワーク40を介して送信する必要があるため、本実施形態では、所定の圧縮形式で圧縮した圧縮ファイルとして作成する。
【0070】
メール送受信処理部300eは、メール作成部300cからの送信依頼に応じて、送信依頼に対応する電子メール(テキストメール又は音声添付メール)を、データ通信部300fを介してメールサーバ20に送信する機能を有している。
更に、メール送受信処理部300eは、入力受付部300aを介して入力された入力情報である電子メールの受信指示に応じて、設定されたメール受信者宛の電子メールの受信要求(以下、メール受信要求と称す)を、データ通信部300fを介してメールサーバ20に送信する機能を有している。
【0071】
更に、メール送受信処理部300eは、データ通信部300fを介して電子メールを受信すると、受信した電子メールをデータ制御部300bを介して記憶装置310に記憶すると共に、受信した電子メールがテキストメールか否か、及び添付分離メールか否かを判定する機能を有している。そして、受信した電子メールがテキストメールであると判定した場合は、その受信通知の表示指示をデータ制御部300bを介してメール情報表示処理部300jに通知する。また、受信した添付メールが添付分離メールであると判定した場合は、添付分離メールの表示指示をデータ制御部300bを介してメール情報表示処理部300jに通知する。
【0072】
データ通信部300fは、ネットワーク40及びNIC318を介した、電子メール等の各種データの外部装置への送信と外部装置からの各種データの受信とを制御する機能を有している。具体的に、各機能構成部からのデータ送信依頼に応じて、ネットワーク40及びNIC318を介して、データを送信先の外部装置に送信する。更に、ネットワーク40及びNIC318を介して外部装置から受信したデータを対応する各構成部に出力(又はRAM302等のメモリに記憶)したりする機能を有している。
【0073】
音声再生部300gは、文章データ送信部300hからの分割音声ファイル及びその再生指示に応じて該分割音声ファイルの音声を再生して、該再生音声をサウンドカード315を介してスピーカ316から出力する機能を有している。更に、音声再生部300gは、ファイルアクセス部300mからの音声ファイル及びその再生指示に応じて該音声ファイルの音声を再生して、該再生音声をサウンドカード315を介してスピーカ316から出力する機能を有している。
【0074】
文章データ送信部300hは、入力受付部300aからの入力情報である読み上げ指示情報をデータ制御部300bを介して受け取ると、該読み上げ指示情報に応じて、指示情報に対応する音声変換対象の文章データを、音声変換指示情報と共にデータ通信部300fを介して、音声合成サーバ10に送信する機能を有している。
ここで、音声合成サーバ10に送信する音声変換対象の文章データは、電子メールそのものでもよいし、該電子メールから抽出した文章データ(例えば、タイトル、受信者名及びメール本文のデータ)でもよい。
【0075】
また、文章データ送信部300hは、データ通信部300fを介して分割音声ファイルを受信すると、受信した分割音声ファイルを音声再生指示と共に音声再生部300gに出力する機能を有している。このとき、本実施形態では、1つ前の音声ファイルが再生中の場合に、再生終了を待ってから出力する。
更に、文章データ送信部300hは、データ通信部300fを介して分割音声ファイルを受信するごとに、受信したことを送信依頼情報送信部300kに通知する機能を有している。
【0076】
メール情報表示処理部300jは、メール送受信処理部300eからのテキストメールの受信通知の表示指示に応じて、テキストメールを受信したことをユーザに通知するグラフィックスを表示装置312の表示画面に表示する機能を有している。更に、メール情報表示処理部300jは、メール送受信処理部300eからの添付分離メールの表示指示に応じて、添付分離メールの本文を表示装置312の表示画面に表示する機能を有している。更に、音声メッセージ記録部300dからの記録開始ボタン又は記録終了ボタンの表示指示に応じて、記録開始ボタン又は記録終了ボタンを表示装置312の表示画面に表示する機能を有している。他にも、データ制御部300bを介して入力される、入力受付部300aからの表示指示に係る入力情報に応じて、各種情報を表示装置312の表示画面に表示する機能を有している。例えば、受信した電子メールの表示指示に応じて、電子メール本文を表示装置312の表示画面に表示する。
【0077】
送信依頼情報送信部300kは、文章データ送信部300hからの分割音声ファイルの受信通知に応じて、予め設定された送信タイミングで、次の分割音声ファイルの送信依頼情報をデータ通信部300fを介して音声合成サーバ10に送信する機能を有している。
具体的に、音声再生部300gからの分割音声ファイルの総再生時間、現時点の再生時間等の再生情報に基づき、例えば、総再生時間の時間長に対して予め設定された所定再生時間の経過タイミングで送信依頼情報を音声合成サーバ10に送信する。
【0078】
ファイルアクセス部300mは、入力受付部300aからの入力情報であるアクセス先情報(URL)をデータ制御部300bを介して受け取ると、受け取ったアクセス先情報の示す記憶位置に記憶された音声ファイルへのアクセス要求(取得要求)であるアクセス情報を、データ通信部300fを介してメールサーバ20に送信する機能を有している。
更に、ファイルアクセス部300mは、メールサーバ20に送信したアクセス情報に対応する音声ファイルをデータ通信部300fを介して受け取ると、受け取った音声ファイルを、再生指示と共にデータ制御部300bを介して音声再生部300gに出力する機能を有している。
【0079】
(2)CPUにおいて行われる各処理の処理手順
(2−1)情報処理装置30のCPU300によるメール作成処理
次に、図7に基づき、情報処理装置30のCPU300がROM304または記憶装置310に記憶された専用のコンピュータプログラムに従って実行するメール作成処理の処理手順について説明する。
ここで、図7は、メール作成処理の処理手順の一例を示すフローチャートである。
CPU300によって、メール作成処理が実行されると、図7に示すように、まず、ステップS100へと移行する。
【0080】
ステップS100では、メール作成部300cにおいて、入力受付部300aを介したユーザからの新規音声添付メールの作成指示があったか否かを判定する。そして、新規音声添付メールの作成指示があったと判定した場合(Yes)は、音声メッセージの記録要求を音声メッセージ記録部300dに出力して、ステップS101に移行する。一方、新規音声添付メールの作成指示がなかった場合(No)は、ステップS118に移行する。
なお、本実施形態では、メール情報表示処理部300jにおいて、メールの作成指示等の各指示を行う各種ボタンを表示装置312の画面上に表示し、表示した各ボタンをユーザが入力装置314を介して押下することで各ボタンに対応した指示の処理を実行する構成とすることができる。
【0081】
また、本実施形態では、メール情報表示処理部300jにおいて表示された、各ボタン又はウィンドウに表示した指示の内容を示す文言をマイク317を介して音声によって入力することで、各文言に対応した処理を実行する構成とすることができる。
ステップS101に移行した場合は、メール作成部300cにおいて、入力受付部300aを介したユーザからの入力情報(送信先(宛先)の指定情報など)に基づき、音声添付メールの送信先である宛先を設定して、ステップS102に移行する。
【0082】
ステップS102では、音声メッセージ記録部300dにおいて、入力受付部300aを介したユーザからの音声メッセージの記録開始指示があったか否かを判定し、記録開始指示があったと判定した場合(Yes)は、ステップS104に移行し、そうでないと判定した場合(No)は、記録開始指示があるまで判定処理を繰り返す。
ステップS104に移行した場合は、音声メッセージ記録部300dにおいて、音声メッセージの記録を開始して、マイク317及びサウンドカード315を介して入力される音声メッセージのデジタルデータをRAM302に記録して、ステップS106に移行する。
【0083】
ステップS106では、音声メッセージ記録部300dにおいて、音声メッセージの記録終了指示があったか否かを判定し、記録終了指示があったと判定した場合(Yes)は、ステップS108に移行し、そうでないと判定した場合(No)は、記録終了指示があるまで音声メッセージの記録処理を継続する。
ステップS108に移行した場合は、音声メッセージ記録部300dにおいて、音声メッセージの記録を終了して、ステップS110に移行する。
ステップS110では、音声メッセージ記録部300dにおいて、RAM302又は記憶装置310に記録された音声メッセージデータから音声ファイルを作成して、ステップS112に移行する。
ここで、音声ファイルは、データ容量や音質を考慮して、例えば、所定圧縮形式のファイルとして作成する。本実施形態では、作成した音声ファイルをRAM302又は記憶装置310に記憶する。
【0084】
ステップS112では、メール作成部300cにおいて、ステップS101で設定された宛先のメールアドレス、予め設定された情報(送信者のメールアドレス、メールサーバ20のメールアドレスなど)、RTC(Real Time Clock)からの時刻情報などに基づき、メール本文データの無いヘッダ情報のみの空電子メールを作成する。
空電子メールは、例えば、メールのタイトル(Subject)、メール作成日(Date)、送信元のメールアドレス、送信先のメールアドレス、メールサーバ20の情報等のヘッダ情報を有し、メール本文データの無い電子メールとなる。
更に、メール作成部300cにおいて、作成した空電子メールにステップS110で作成された音声ファイルを添付して、音声添付メールを作成し、ステップS114に移行する。
【0085】
ステップS114では、メール作成部300cにおいて、入力受付部300aを介したユーザからのメール送信指示があったか否かを判定する。そして、メール送信指示があったと判定した場合(Yes)は、メール送受信処理部300eに送信依頼を出力して、ステップS116に移行し、そうでないと判定した場合(No)は、送信指示又は送信キャンセル指示があるまで判定処理を繰り返す。なお、送信キャンセル指示があった場合は、例えば、音声添付メールを破棄又は送信保留ボックスに格納して、ステップS100に移行する。
ステップS116に移行した場合は、メール送受信処理部300eにおいて、送信依頼のあった音声添付メールを、データ通信部300fを介して、メールサーバ20に送信して、ステップS100に移行する。
【0086】
一方、ステップS100において、新規音声添付メールの作成指示が無いと判定されてステップS118に移行した場合は、メール作成部300cにおいて、入力受付部300aを介したユーザからの新規テキストメールの作成指示があったか否かを判定する。そして、作成指示があったと判定した場合(Yes)は、ステップS120に移行し、そうでないと判定した場合(No)は、ステップS100に移行する。
【0087】
ステップS120に移行した場合は、入力受付部300aを介したユーザからの入力情報、予め設定された情報、RTCからの時刻情報などに基づき、メール本文のテキストデータを有するテキストメールを作成して、ステップS122に移行する。
テキストメールは、例えば、メールのタイトル、メール作成日(Date)、送信元のメールアドレス、送信先のメールアドレス、メールサーバの情報、メール本文のテキストデータを含む電子メールである。
【0088】
ステップS122では、メール作成部300cにおいて、入力受付部300aを介したユーザからのメール送信指示があったか否かを判定する。そして、メール送信指示があったと判定した場合(Yes)は、メール送受信処理部300eにテキストメールの送信依頼を出力して、ステップS124に移行する。一方、テキストメールの送信指示がないと判定した場合(No)は、送信指示又は送信キャンセル指示があるまで判定処理を繰り返す。なお、送信キャンセル指示があった場合は、例えば、テキストメールを破棄又は保留ボックスに格納して、ステップS100に移行する。
【0089】
(2−2)メールサーバ20のCPU200によるメール配信処理
次に、図8に基づき、メールサーバ20のCPU200がROM204または記憶装置210に記憶された専用のコンピュータプログラムに従って実行するメール配信処理の処理手順について説明する。
ここで、図8は、メール配信処理の処理手順の一例を示すフローチャートである。
CPU200によって、メール配信処理が実行されると、図8に示すように、まず、ステップS200へと移行する。
ステップS200では、メール送受信処理部200bにおいて、データ通信部200aを介して情報処理装置30からの電子メールを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS202に移行し、そうでないと判定した場合(No)は、ステップS218に移行する。
【0090】
ステップS202に移行した場合は、メール送受信処理部200bにおいて、ステップS200で受信した電子メールが、音声添付メールか否かを判定する。そして、音声添付メールであると判定した場合(Yes)は、音声添付メールを受信した旨を添付ファイル分離部200eに通知してステップS204に移行し、そうでないと判定した場合(No)は、ステップS214に移行する。
ステップS204に移行した場合は、添付ファイル分離部200eにおいて、音声添付メールから音声ファイルを分離して、ステップS206に移行する。
ステップS206では、添付ファイル分離部200eにおいて、ステップS204で分離した音声ファイルを、データ制御部200dを介して記憶装置210に記憶して、ステップS208に移行する。
【0091】
ステップS208では、添付ファイル分離部200eにおいて、音声ファイルのアクセス先のパス情報であるアクセス先情報を生成して、生成したアクセス先情報及び音声ファイルの分離された電子メールである分離メールを添付分離メール作成部200fに出力して、ステップS210に移行する。
ここで、アクセス先情報は、情報処理装置30が、メールサーバ20の記憶装置210に記憶された音声ファイルにアクセスして、該当の音声ファイルをダウンロードするための情報であり、例えば、URLなどが該当する。
【0092】
ステップS210では、添付分離メール作成部200fにおいて、添付分離メールのメール本文として、アクセス先情報をリンク情報として付加した電子メールである添付分離メールを作成して、ステップS212に移行する。
ステップS212では、添付分離メール作成部200fにおいて、ステップS210で作成した添付分離メールを、データ制御部200dを介して、記憶装置210における該添付分離メールの宛先ユーザのメールボックスに格納して、ステップS200に移行する。
【0093】
一方、ステップS202において、ステップS200で受信した電子メールが、音声添付メールでは無いと判定され、ステップS214に移行した場合は、メール送受信処理部200bにおいて、受信した電子メールをテキストメールと判定する。そして、そのテキストメールを、データ制御部200dを介して記憶装置210における該テキストメールの宛先ユーザのメールボックスに格納して、ステップS200に移行する。
【0094】
また、ステップS200において、電子メールを受信していないと判定され、ステップS216に移行した場合は、メール配信処理部200cにおいて、メール受信要求を受信したか否かを判定する。そして、メール受信要求を受信したと判定した場合(Yes)は、ステップS218に移行し、そうでないと判定した場合(No)は、ステップS224に移行する。
【0095】
ステップS218に移行した場合は、メール配信処理部200cにおいて、ステップS216で受信したメール受信要求に対応する宛先ユーザのメールボックスに、送信可能な電子メールがあるか否かを判定して、ステップS220に移行する。
ステップS220では、メール配信処理部200cにおいて、メール受信要求に対応する宛先ユーザのメールボックスに、送信可能な電子メールがあると判定した場合(Yes)は、該当電子メールの送信依頼をメール送受信処理部200bに出力してステップS222に移行する。一方、メール受信要求に対応する宛先ユーザのメールボックスに、送信可能な電子メールが無いと判定した場合(No)は、送信可能な電子メールが無いことを示す応答を情報処理装置30に送信する送信依頼をメール送受信処理部200bに出力してステップS200に移行する。
【0096】
ステップS222では、メール送受信処理部200bにおいて、メール配信処理部200cから送信依頼のあった電子メールを、データ通信部200aを介してメール受信要求の送信元の情報処理装置30に送信する。一方、送信可能な電子メールが無いと判定した場合(No)は、メール送受信処理部200bにおいて、メール配信処理部200cから送信依頼のあった、送信可能な電子メールが無い旨を示す応答を、データ通信部200aを介してメール受信要求の送信元の情報処理装置30に送信して、ステップS200に移行する。
【0097】
また、ステップS216において、メール受信要求を受信していないと判定され、ステップS224に移行した場合は、ファイルアクセス処理部200gにおいて、情報処理装置30からの音声ファイルのアクセス情報を受信したか否かを判定する。そして、アクセス情報を受信したと判定した場合(Yes)は、ステップS226に移行し、そうでない場合(No)は、ステップS200に移行する。
【0098】
ステップS226に移行した場合は、ファイルアクセス処理部200gにおいて、受信したアクセス情報に対応する音声ファイルを記憶装置210から取得して、ステップS228に移行する。
ステップS228では、ファイルアクセス処理部200gにおいて、ステップS226で取得した音声ファイルを、データ通信部200aを介して、アクセス情報の送信元の情報処理装置30に送信して、ステップS200に移行する。
【0099】
(2−3)情報処理装置30のCPU300によるメール受信処理
次に、図9に基づき、情報処理装置30のCPU300がROM304または記憶装置310に記憶された専用のコンピュータプログラムに従って実行するメール受信処理の処理手順について説明する。
ここで、図9は、メール受信処理の処理手順の一例を示すフローチャートである。
CPU300によって、メール受信処理が実行されると、図9に示すように、まず、ステップS300へと移行する。
【0100】
ステップS300では、メール送受信処理部300eにおいて、入力受付部300aを介したユーザからのメール受信指示又は自動受信設定によるメール受信指示があったか否かを判定する。そして、メール受信指示があったと判定した場合(Yes)は、ステップS302に移行し、そうでないと判定した場合(No)は、メール受信指示があるまで判定処理を繰り返す。
ステップS302に移行した場合は、メール送受信処理部300eにおいて、メール受信要求をデータ通信部300fを介してメールサーバ20に送信して、ステップS304に移行する。
【0101】
ステップS304では、メール送受信処理部300eにおいて、メールサーバ20からのメール受信要求に対する受信メールがあったか否かを判定し、受信メールがあったと判定した場合(Yes)は、ステップS306に移行し、そうでないと判定した場合(No)は、ステップS300に移行する。
ステップS306に移行した場合は、メール送受信処理部300eにおいて、ステップS304で受信した電子メールがテキストメールか否かを判定する。そして、テキストメールであると判定した場合(Yes)は、テキストメールの受信通知表示指示をメール情報表示処理部300jに出力して、ステップS308に移行する。一方、テキストメールでは無いと判定した場合(No)は、ステップS328に移行する。
【0102】
ステップS308に移行した場合は、メール情報表示処理部300jにおいて、メール送受信処理部300eからの表示指示に応じて、テキストメールを受信したことをユーザに視覚的に通知するメッセージを表示装置312の表示画面に表示して、ステップS310に移行する。
ステップS310では、文章データ送信部300hにおいて、入力受付部300aを介したユーザからのテキストメールの読み上げ指示があったか否かを判定し、読み上げ指示があったと判定した場合(Yes)は、ステップS312に移行し、そうでないと判定した場合(No)は、ステップS326に移行する。
【0103】
ステップS312に移行した場合は、文章データ送信部300hにおいて、読み上げ指示に対応するテキストメールを音声変換指示情報と共に、データ通信部300fを介して音声合成サーバ10に送信して、ステップS314に移行する。音声変換指示情報は、例えば、別途コマンドとして、又はテキストメールのヘッダ情報に付加して送信される。以下、音声変換指示情報を伴うテキストデータを音声変換対象文章データと称す。
【0104】
ステップS314では、文章データ送信部300hにおいて、ステップS312で送信した音声変換対象文章データに対する、音声合成サーバ10からの分割音声ファイルを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、受信した分割音声ファイルとその再生指示とを音声再生部300gに出力すると共に、分割音声ファイルの受信通知を送信依頼情報送信部300kに出力して、ステップS316に移行する。一方、分割音声ファイルを受信していないと判定した場合(No)は、受信するまで判定処理を繰り返す。
【0105】
ステップS316に移行した場合は、音声再生部300gにおいて、分割音声ファイルの再生音声をサウンドカード315を介してスピーカ316から出力して、ステップS318に移行する。本実施形態では、音声再生部300gは、送信依頼情報送信部300kからの取得要求に応じて、分割音声ファイルの総再生時間及び再生経過時間の情報などの再生情報を、送信依頼情報送信部300kに出力する。
【0106】
ステップS318では、送信依頼情報送信部300kにおいて、ステップS316で再生される分割音声ファイルが最後の分割音声ファイルか否かを判定し、最後であると判定した場合(Yes)は、ステップS320に移行し、そうでないと判定した場合(No)は、ステップS322に移行する。ここで、最後か否かの判定は、例えば、音声合成サーバ10において、最後の分割音声ファイルに対して付加した最後を示す情報に基づいて行う。
ステップS320に移行した場合は、送信依頼情報送信部300kにおいて、音声再生部300gからの再生情報に基づき、最後の分割音声ファイルの再生が終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、再生が終了するまで判定処理を繰り返す。
【0107】
一方、ステップS322に移行した場合は、送信依頼情報送信部300kにおいて、音声再生部300gからの再生情報と、予め設定された送信依頼タイミングの情報とに基づき、送信タイミングとなったか否かを判定する。そして、送信タイミングになったと判定した場合(Yes)は、ステップS324に移行し、そうでない場合は、送信タイミングになるまで判定処理を繰り返す。
ステップS324に移行した場合は、送信依頼情報送信部300kにおいて、送信依頼情報をデータ通信部300fを介して音声合成サーバ10に送信して、ステップS314に移行する。
【0108】
また、ステップS310において、読み上げ指示が無いと判定され、ステップS326に移行した場合は、通知メッセージの表示ウィンドウが閉じられる等の情報に基づき、テキストメールの受信通知が無視されたか否かを判定し、無視されたと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、ステップS310に移行する。
また、ステップS306において、テキストメールを受信していないと判定され、ステップS328に移行した場合は、メール送受信処理部300eにおいて、添付分離メールを受信したか否かを判定する。そして、添付分離メールを受信したと判定した場合(Yes)は、ステップS330に移行する。一方、添付分離メールを受信していないと判定した場合(No)は、ステップS346に移行する。
【0109】
ステップS330に移行した場合は、メール送受信処理部300eにおいて、添付分離メールの表示指示をメール情報表示処理部300jに出力して、ステップS332に移行する。
ステップS332では、メール情報表示処理部300jにおいて、添付分離メールの本文を表示装置312の表示画面に表示して、ステップS334に移行する。
ステップS334では、ファイルアクセス部300mにおいて、入力受付部300aを介したユーザからの入力情報に基づき、添付分離メールの本文に記載されたURLがクリックされたか否かを判定する。そして、URLがクリックされたと判定した場合(Yes)は、ステップS336に移行し、そうでないと判定した場合(No)は、ステップS344に移行する。
【0110】
ステップS336に移行した場合は、ファイルアクセス部300mにおいて、クリックしたURLに対応する音声ファイルのアクセス情報をデータ通信部300fを介して、メールサーバ20に送信して、ステップS338に移行する。
ステップS338では、ファイルアクセス部300mにおいて、ステップS336で送信したアクセス情報に対する、メールサーバ20からの音声ファイルを受信したか否かを判定する。そして、音声ファイルを受信したと判定した場合(Yes)は、データ制御部300bを介して受信した音声ファイル及びその再生指示を音声再生部300gに出力して、ステップS340に移行し、そうでないと判定した場合(No)は、音声ファイルを受信するまで判定処理を繰り返す。
【0111】
ステップS340に移行した場合は、音声再生部300gにおいて、ファイルアクセス部300mからの音声ファイル及び再生指示を受け取ると、受け取った音声ファイルの再生音声をサウンドカード315を介してスピーカ316から出力して、ステップS342に移行する。
ステップS342では、音声再生部300gにおいて、音声の再生が終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、再生が終了するまで判定処理を繰り返す。
【0112】
また、ステップS334において、URLがクリックされなかったと判定され、ステップS344に移行した場合は、メール本文の表示ウィンドウが閉じられる等、添付分離メールの本文の表示が終了したか否かを判定する。そして、終了したと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、ステップS334に移行する。
また、ステップS328において、添付分離メールの受信がないと判定され、ステップS346に移行した場合は、メール送受信処理部300eにおいて、音声ファイル以外の添付ファイルが添付されたメール本文の無い電子メールなどその他のメールの受信処理が実行されて、ステップS300に移行する。
【0113】
(2−4)音声合成サーバ10のCPU100による音声合成処理
次に、図10に基づき、音声合成サーバ10のCPU100がROM104または記憶装置110に記憶された専用のコンピュータプログラムに従って実行する音声合成処理の処理手順について説明する。
ここで、図10は、音声合成処理の処理手順の一例を示すフローチャートである。
CPU100によって、音声合成処理が実行されると、図10に示すように、まず、ステップS400へと移行する。
【0114】
ステップS400では、文章データ受信処理部100bにおいて、情報処理装置30からの音声変換対象文章データを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS402に移行する。一方、音声変換対象文章データを受信していないと判定した場合(No)は、音声変換対象文章データを受信するまで判定処理を繰り返す。
ステップS402に移行した場合は、文章分割部100cにおいて、ステップS400で受信した音声変換対象文章データの示す文章全体を、文章中に含まれる特定記号を分割位置として複数の文に分割し、ステップS404に移行する。
【0115】
ここで、特定記号としては、句点「。」、読点「、」、感嘆符「!」、二重感嘆符「!!」、ダブルだれ「!?」、疑問符「?」、中点「・」、改行記号(改行コード)などの記号があり、本実施形態では、一文の終了位置に付される「。」、「!」、「?」、「!!」、「!?」、改行記号を分割位置として、音声変換対象文章データの示す文章全体を複数の文に分割する。
なお、このときに、電子メールの差出人の情報、文章の項目などを、音声変換対象の文として文章中に加えることもできる。電子メールであれば、例えば、「〜さんからのメールです」などの差出人の情報や、「タイトル」、「本文」などの項目名などを加えることが可能である。
【0116】
ステップS404では、音声合成部100dにおいて、ステップS402で音声変換対象文章データを分割してなる複数の分割文データについて、文章全体における各分割文の並び順に基づき、最初の分割文データを選択して、ステップS406に移行する。
ステップS406では、音声合成部100dにおいて、ステップS404又はステップS414において選択した分割文データについて音声合成処理を実行し、選択した分割文データを分割音声ファイルに変換する。そして、該変換してなる分割音声ファイルを音声データ送信処理部100eに出力して、ステップS408に移行する。
ステップS408では、音声データ送信処理部100eにおいて、ステップS406で音声合成処理を実行してなる分割音声ファイルを受け取り、該受け取った分割音声ファイルを、データ通信部100aを介して、文章データの送信元の情報処理装置30に送信して、ステップS410に移行する。
【0117】
ステップS410では、音声データ送信処理部100eにおいて、音声合成部100dからの通知に基づき、全ての分割音声ファイルを送信したか否かを判定し、送信したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS412に移行する。
ステップS412に移行した場合は、タイミング制御部100fにおいて、データ通信部100aを介して、文章データの送信元の情報処理装置30からの送信依頼情報を受信したか否かを判定する。そして、送信依頼情報を受信したと判定した場合(Yes)は、受信したことを音声合成部100dに通知してステップS414に移行し、そうでないと判定した場合(No)は、受信するまで判定処理を繰り返す。
【0118】
ステップS414に移行した場合は、音声合成部100dにおいて、複数の分割文データのなかから、次の未処理の分割文データを並び順に選択して、ステップS406に移行する。
つまり、送信依頼情報を受信するごとに、次の未処理の分割文データを選択し、選択した分割文データに対して音声合成処理を実行して該分割文データを分割音声ファイルに変換し、該分割音声ファイルを情報処理装置30に送信する。
【0119】
(3)音声データ通信システム1の動作
次に、図11〜図15に基づき、本実施形態の音声データ通信システム1の動作を説明する。
ここで、図11は、音声添付メールの具体的な作成例を示す図である。また、図12(a)は、音声添付メールの一例を示す図であり、(b)は、(a)の音声添付メールに対する添付分離メールの具体的な作成例を示す図である。また、図13は、添付分離メールに記載されたURLをクリックして音声を再生する一例を示す図である。また、図14は、情報処理装置30_2と音声合成サーバ10との間における、音声合成処理を実行時のデータ送受信の一例を示すシーケンス図である。また、図15は、テキストメールの文章に対する各分割音声ファイルの音声再生手順の具体例を示す図である。
【0120】
まず、図11に基づき、情報処理装置30_1における音声添付メールを作成時の動作について説明する。
いま、情報処理装置30_1において、ユーザが入力装置314を操作して表示画面上のボタンを押下するか、又は、マイク317を介して音声による指示「音声メールの作成」等の文言を発声入力することで、入力受付部300aを介してユーザからの新規音声添付メールの作成指示が入力されたとする(ステップS100の「Yes」)。
これにより、メール作成部300cにおいて、例えば、図11の(1)に示すように、メールヘッダ部に、メールタイトルである「Subject:音声メール」が設定される。
【0121】
次に、ユーザが入力装置314の操作、または音声指示を行うことによって、入力受付部300aを介したユーザからの宛先選択指示が入力され、例えば、図11の(2)に示すように、メールヘッダ部に、音声添付メールの宛先のメールアドレス「××○○_Mail:”山田結衣”<yamada_yui@××○○.co.jp>」が追加設定される(ステップS101)。
宛先のメールアドレスが設定されると、次に、入力受付部300aを介したユーザからの記録開始指示の入力によって(ステップS102の「Yes」)、音声メッセージ記録部300dにおいて、音声メッセージの記録が開始される(ステップS104)。
音声メッセージ記録部300dにおいて、音声メッセージの記録が開始されると、マイク317及びサウンドカード315を介して入力されるユーザ(山田花子)の音声メッセージがRAM302又は記憶装置310に記録される。
【0122】
次に、入力受付部300aを介したユーザからの記録終了指示の入力によって(ステップS106の「Yes」)、音声メッセージ記録部300dにおいて、音声メッセージの記録が終了される(ステップS108)。
音声メッセージの記録が終了すると、音声メッセージ記録部300dは、RAM302又は記憶装置310に記録された、音声メッセージデータに基づき、音声ファイルを作成する(ステップS110)。作成された音声ファイルは、RAM302又は記憶装置310に格納される。
【0123】
RAM302又は記憶装置310に音声ファイルが格納されると、メール作成部300cにおいて、図11の(3)に示すように、RTCからの時刻情報に基づき、音声添付メールを作成した年月日、曜日及び時刻である「Date:Wed,06 Oct 2010 19:19:57 +0900」が設定される。加えて、図11の(4)に示すように、音声添付メールの差出人であるユーザ名(山田花子)とそのメールアドレス「From:”山田花子”<yamada_hanako@××○○.co.jp>」が設定される。加えて、図11の(5)に示すように、メールサーバ20のサーバ名及び宛先のメールアドレス「To:”Voice_Mail_System”<vms@××○○.co.jp>」が設定される。これにより、メールヘッダ部のみの空電子メールが作成される。
メール作成部300cは、空電子メールを作成すると、更に、該空電子メールに、上記作成した音声ファイル「test.wav」を添付して、図11の(6)に示すような、音声添付メールを作成する(ステップS112)。
【0124】
そして、メール作成部300cは、入力受付部300aを介したユーザからの送信指示の入力に応じて(ステップS114の「Yes」)、音声添付メールの送信依頼を、メール送受信処理部300eに出力する。これにより、メール送受信処理部300eにおいて、音声添付メールが、メールヘッダ部に設定されたメールサーバ20に送信される(ステップS116)。
【0125】
次に、図12に基づき、メールサーバ20における添付削除メールを作成時の動作を説明する。
メールサーバ20は、メール送受信処理部200bにおいて、情報処理装置30_1からの、図12(a)に示す音声添付メールを受信すると(ステップS200,S202の「Yes」)、まず、受信した音声添付メール及びその受信通知を添付ファイル分離部200eに出力する。
【0126】
添付ファイル分離部200eは、受信通知及び音声添付メールを受け取ると、受け取った音声添付メールから、音声ファイル「test.wav」を分離して(ステップS204)、分離した音声ファイルを記憶装置210に格納する(ステップS206)。そして、格納先のフォルダの情報等から、音声ファイルのアクセス先情報であるURL「http://××○○.co.jp./voice_mail/test.wav」を生成する。更に、このURLの情報と、音声ファイルを分離後の分離メールとを添付分離メール作成部200fに出力する(ステップS208)。
【0127】
添付分離メール作成部200fは、添付ファイル分離部200eからのURL情報と分離メールとを受け取ると、まず、図12(b)の(1)に示すように、分離メールから「Subject:音声メール」を抽出して、メールヘッダ部に設定する。
更に、図12(b)の(2)に示すように、受け取ったURL情報に基づき、メール本文に、音声ファイルの格納されたURLのリンク情報である格納URLを設定する。
【0128】
次に、図12(b)の(3)〜(5)に示すように、分離メールから、音声添付メールの作成年月日、曜日及び時刻と、差出人のメールアドレスと、宛先のメールアドレスとを抽出し、それぞれメールヘッド部に設定する。
加えて、分離メールのメールヘッダ部における差出人及び宛先のユーザの名前の情報を抽出し、図12(b)の(6)に示すように、メール本文を追加して、添付分離メールを作成する(ステップS210)。
更に、添付分離メール作成部200fは、作成した添付分離メールを、データ制御部200dを介して、記憶装置210における宛先のユーザ(山田結衣)のメールボックスに格納する(ステップS212)。
【0129】
一方、宛先のユーザ(山田結衣)のメールアドレス等のメール情報が設定された情報処理装置30_2において、入力受付部300aを介したユーザからのメール受信指示の入力によって(ステップS300の「Yes」)、メールサーバ20に、メール受信要求が送信される(ステップS302)。
これにより、メールサーバ20は、メール配信処理部200cにおいて、情報処理装置30_2からのメール受信要求を受信すると(ステップS216の「Yes」)、メール受信要求に対応するメールボックスにおける送信対象の電子メールの有無を確認する(ステップS218)。
【0130】
現在、宛先のユーザ(山田結衣)のメールボックスには、上記作成した添付分離メールが格納されているので、メール配信処理部200cは、送信対象の電子メールがあると判定する(ステップS220の「Yes」)。そして、メールボックスに格納された添付分離メールの送信依頼をメール送受信処理部200bに出力する。これにより、メール送受信処理部200bにおいて、添付分離メールがデータ通信部200aを介して、情報処理装置30_2に送信される(ステップS222)。
【0131】
情報処理装置30_2は、メール送受信処理部300eにおいて、メールサーバ20から送信された添付分離メールを受信すると(ステップS304,S328の「Yes」)、添付分離メールの表示指示をメール情報表示処理部300jに出力する(ステップS330)。
これにより、メール情報表示処理部300jにおいて、図13に示すように、添付分離メールの本文及び本文に付加されたURLが表示される。
その後、入力受付部300aを介した、URLがクリックされたことを示す情報の入力によって(ステップS334の「Yes」)、ファイルアクセス部300mによって、URLに対応するアクセス情報が、データ通信部300fを介して、メールサーバ20に送信される(ステップS336)。
【0132】
なお、URLはリンク情報としてメール本文に付加されており、そのURLをクリックすることで、公知のハイパーリンク設定と同様の原理で、そのURLの示すネットワーク上のメールサーバ20の記憶装置210に記憶された音声ファイルへとアクセスを行うことができる。
メールサーバ20は、ファイルアクセス処理部200gにおいて、データ通信部200aを介して、情報処理装置30_2からのアクセス情報を受信すると(ステップS224の「Yes」)、記憶装置210から、アクセス情報に対応する音声ファイルを取得する(ステップS226)。
【0133】
そして、ファイルアクセス処理部200gは、取得した音声ファイルを、データ通信部200aを介して、アクセス情報の送信元である情報処理装置30_2に送信する(ステップS228)。
情報処理装置30_2は、メールサーバ20から送信されたアクセス情報に対応する音声ファイルを、データ通信部300fを介してファイルアクセス部300mにおいて受信すると(ステップS338の「Yes」)、受信した音声ファイルとその再生指示とを音声再生部300gに出力する。
【0134】
これにより、音声再生部300gにおいて、サウンドカード315を介して音声ファイルの音声が再生され、図13に示すように、スピーカ316から再生音声が出力される(ステップS340)。
このようにして、メール受信者であるユーザ(山田結衣)は、添付分離メールを受信した情報処理装置30_2において、音声添付メールに添付された音声ファイルの音声メッセージを聴くことができる。
【0135】
次に、図14及び図15に基づき、音声合成サーバ10及び情報処理装置30_2における、音声合成処理を実行時の動作を説明する。
前提として、例えば、情報処理装置30_2は、メール送受信処理部300eにおいて、データ通信部300fを介して、情報処理装置30_1からのテキストメールを受信したとする(ステップS306の「Yes」)。これにより、メール送受信処理部300eは、テキストメールの受信通知表示指示をメール情報表示処理部300jに出力する。
メール情報表示処理部300jは、メールの受信通知表示指示に応じて、テキストメールを受信したことを視覚的に通知するグラフィックスを表示装置312の表示画面に表示する(ステップS308)。
【0136】
情報処理装置30_2のユーザは、メールの受信通知を確認すると、テキストメールの文章を読み上げさせるために、入力装置314の操作による読み上げ指示ボタンの押下、又はマイク317による「読み上げて」等の音声入力によって、読み上げ指示を入力する(ステップS310の「Yes」)。この読み上げ指示の入力は、入力受付部300aを介して、文章データ送信部300hに出力される。これにより、図14に示すように、データ通信部300fを介して、文章データ送信部300hにおいて、受信したテキストメールが音声変換指示情報と共に音声変換対象文章データとして音声合成サーバ10に送信される(ステップS312)。
【0137】
これにより、音声合成サーバ10は、文章データ受信処理部100bにおいて、図14に示すように、音声変換対象文章データが受信され(ステップS400の「Yes」)、受信された音声変換対象文章データの文章が複数の文に分割される(ステップS402)。
ここで、音声変換対象文章データとして、図15(a)に示す文章を含むテキストメールを含むものが受信されたとする。
本実施形態において、文章分割部100cは、一文の終端を示す特定記号である「。」、「!」、「?」、「改行コード」などを分割位置として、文章を複数の文に分割する。また、その際に、差出人の情報、タイトルなどの文を適宜挿入する。
【0138】
例えば、図15(a)に示すテキストメールであれば、送信者の名前から「山田結衣さんからのメールです。」という差出人情報の文を挿入し、更に、「タイトル。」という項目を示す文を挿入する。また、Subjectの「プレゼントありがとう!」を、タイトル文として挿入する。次に、メール本文については、まず、「本文。」という項目を示す文を挿入する。次に、メール本文について、文末が改行コードとなる「おばあちゃんへ」、文末が「。」となる「プレゼントありがとう。」、文末が「。」となる「大きなぬいぐるみが届いたよ。」、文末が「!」となる「夏休みになったら遊びに行くね!」がそれぞれ、各特定記号を分割位置として分割される。
【0139】
このようにして、メールの文章全体が複数の分割文へと分割されると、図14に示すように、音声合成サーバ10は、音声合成部100dにおいて、複数の分割文のうち、最初の分割文である差出人の情報を示す文「山田結衣さんからのメールです。」に対応する分割文データを選択する(ステップS404)。そして、選択した分割文データを音声合成して分割音声ファイルに変換する(ステップS406)。以下、この分割音声ファイルを、分割音声ファイル(1)と称す。
音声合成サーバ10は、音声合成部100dにおいて、選択した分割文データを分割音声ファイル(1)に変換すると、音声データ送信処理部100eにおいて、図14に示すように、分割音声ファイル(1)を、データ通信部100aを介して情報処理装置30_2に送信する。
【0140】
一方、情報処理装置30_2は、文章データ送信部300hにおいて、音声合成サーバ10からの分割音声ファイル(1)を受信すると(ステップS314の「Yes」)、受信したことを送信依頼情報送信部300kに通知する。更に、受信した分割音声ファイル(1)を音声再生部300gに再生指示と共に出力する。
音声再生部300gは、分割音声ファイル(1)を受け取ると、その音声をサウンドカード315を介して再生し、スピーカ316から再生音声を出力する(ステップS316)。これにより、図15(b)の(1)(分割音声ファイルの番号に対応)に示すように、「山田結衣さんからのメールです。」という音声メッセージがスピーカ316から出力される。
【0141】
また、送信依頼情報送信部300kは、音声再生部300gからの再生情報と、予め設定された送信タイミングの情報とに基づき、送信依頼情報の送信タイミングを判定する(ステップS322)。そして、送信依頼情報送信部300kは、送信タイミングになったと判定すると(ステップS322の「Yes」)、図14に示すように、次の分割音声ファイル(2)の送信依頼である送信依頼情報を、データ通信部300fを介して音声合成サーバ10に送信する(ステップS324)。
【0142】
送信依頼情報送信部300kは、例えば、分割音声ファイルの総再生時間が6秒未満の場合は、再生開始時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する。一方、総再生時間が6秒以上の場合は、その50%を再生した時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する。例えば、総再生時間が10秒の場合は、再生時間が5秒となった時点を送信タイミングとする。
【0143】
音声合成サーバ10は、タイミング制御部100fにおいて、情報処理装置30_2からの送信依頼情報をデータ通信部100aを介して受信すると(ステップS412の「Yes」)、次の未処理の分割文を選択する(ステップS414)。
本実施形態では、項目を示す文が挿入されている場合は、次の分割文として、項目の文とその項目の次に続く最初の文とを選択する。つまり、図15(a)に示す例では、分割文データとして、項目を示す文「タイトル」のデータとSubjectの「プレゼントありがとう」の分割文データとを選択する。
【0144】
そして、音声合成部100dにおいて、図14に示すように、選択した分割文データを音声合成部100dにおいて、分割音声ファイルへと変換する(ステップS406)。以下、この分割音声ファイルを、分割音声ファイル(2)と称す。
音声合成サーバ10は、音声データ送信処理部100eにおいて、図14に示すように、分割音声ファイル(2)を、データ通信部100aを介して情報処理装置30_2に送信する。
【0145】
情報処理装置30_2は、文章データ送信部300hにおいて、図14に示すように、音声合成サーバ10からの分割音声ファイル(2)を受信すると(ステップS314の「Yes」)、受信したことを送信依頼情報送信部300kに通知する。更に、受信した分割音声ファイル(2)を音声再生部300gに再生指示と共に出力する。
音声再生部300gは、分割音声ファイル(2)を受け取ると、その音声をサウンドカード315を介して再生し、スピーカ316から再生音声を出力する(ステップS316)。これにより、図15(b)の(2)に示すように、「タイトル。プレゼントありがとう。」という音声メッセージがスピーカ316から出力される。
【0146】
また、送信依頼情報送信部300kは、音声再生部300gからの再生情報と、予め設定された送信タイミングの情報とに基づき、音声ファイル(2)の総再生時間が6秒未満か否かを判定する。総再生時間が6秒以上の場合は、更に、再生時間が50%になったか否かを判定する。
そして、分割音声ファイル(2)の総再生時間が6秒未満のときは、再生時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する。また、分割音声ファイル(2)の総再生時間が6秒以上のときは、再生時間が総再生時間の50%となった時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する(ステップS324)。
【0147】
音声合成サーバ10は、タイミング制御部100fにおいて、情報処理装置30_2からの送信依頼情報をデータ通信部100aを介して受信すると(ステップS412の「Yes」)、次の未処理の分割文データを選択する(ステップS414)。そして、上記分割音声ファイル(2)のときと同様に、音声合成処理を実行して、分割音声ファイル(3)を作成し、作成した分割音声ファイル(3)を、情報処理装置30_2に送信する。
このように、音声合成サーバ10では、最初の分割文に対する音声合成処理及び分割音声ファイル(1)の送信処理を行った以降は、情報処理装置30_2からの送信依頼情報を受信するごとに、次の未処理の分割文データの音声合成処理、分割音声ファイルの送信処理を順次行う。
【0148】
一方、情報処理装置30_2では、分割音声ファイルを受信するごとに、分割音声ファイルの再生、送信依頼情報の送信タイミングの判定を行い、送信タイミングになったと判定すると送信依頼情報を音声合成サーバ10に送信する。
つまり、音声合成サーバ10において、情報処理装置30_2からの送信依頼情報の受信タイミングに応じて、分割文データの単位で一文ずつ音声合成処理を実行すると共に、この音声合成処理によってを実行すると共に、分割音声ファイルが作成されるごとに、該分割音声ファイルを情報処理装置30_2に送信する。
【0149】
情報処理装置30_2では、分割音声ファイルを受信するごとに、受信した分割音声ファイルを再生し、分割音声ファイルの総再生時間に合わせた送信タイミングで、送信依頼情報を音声合成サーバ10に送信する。
これにより、音声合成サーバ10において、「本文。おばあちゃんへ。」に対応する分割音声ファイル(3)が作成され、図15(b)の(3)に示すように、情報処理装置30_2において、「本文。おばあちゃんへ。」の音声メッセージが再生される。
なお、項目を示す文と、それに続く一文とをそれぞれ別々の分割文として取り扱う構成としてもよい。
【0150】
引き続き、情報処理装置30_2からの次の送信依頼情報の受信に応じて、音声合成サーバ10において、「プレゼントありがとう。」に対応する分割音声ファイル(4)が作成され、情報処理装置30_2に送信される。これにより、情報処理装置30_2において、図15(b)の(4)に示すように、「プレゼントありがとう。」の音声メッセージが再生される。
引き続き、情報処理装置30_2からの次の送信依頼情報の受信に応じて、音声合成サーバ10において、「大きなぬいぐるみが届いたよ。」に対応する分割音声ファイル(5)が作成され、情報処理装置30_2に送信される。これにより、情報処理装置30_2において、図15(b)の(5)に示すように、「大きなぬいぐるみが届いたよ。」の音声メッセージが再生される。
【0151】
最後に、情報処理装置30_2からの次の送信依頼情報の受信に応じて、音声合成サーバ10において、最後の分割文データである「夏休みになったら遊びに行くね。」に対応する分割音声ファイル(6)が作成され、情報処理装置30_2に送信される。これにより、情報処理装置30_2において、図15(b)の(6)に示すように、「夏休みになったら遊びに行くね。」の音声メッセージが再生される。
【0152】
ここで、音声合成サーバ10は、最後の分割文データに対する分割音声ファイル(6)を情報処理装置30_2に送信するときに、最後の分割文であることを示す情報を付加して送信する。そして、情報処理装置30_2では、最後の分割文を示す情報に基づき、受信した分割音声ファイル(6)が最後のファイルであると判定する(ステップS318の「Yes」)。そして、最後の分割音声ファイルの再生が終了したと判定すると(ステップS320の「Yes」)、一連の処理を終了して、最初の判定ステップであるステップS300へと移行する。
【0153】
(4)作用及び効果
上記実施形態における音声データ通信システム1であれば、音声合成サーバ10において、音声変換対象の文章データを、複数の分割文データに分割して、各分割文データについて、1つずつ音声合成処理を実行することができる。加えて、情報処理装置30において、予め設定された送信タイミングで、次の分割音声ファイルの送信依頼である送信依頼情報を音声合成サーバ10に送信することができる。そして、音声合成サーバ10は、情報処理装置30からの送信依頼情報の受信に応じて、次の未処理の分割文データを音声合成処理によって分割音声ファイルに変換し、この分割音声ファイルを情報処理装置30に送信することができる。
これにより、音声合成サーバ10における音声合成処理の負荷と、分割音声ファイルの送信時のネットワーク負荷とを、テキストメールの全文を一括で処理する場合と比較して軽減することができる。
【0154】
また、上記実施形態では、情報処理装置30において、音声メッセージを記録して音声ファイルを作成し、該音声ファイルを添付した音声添付メールを作成することができる。加えて、メールサーバ20において、情報処理装置30からの音声添付メールを受信すると、受信した音声添付メールから音声ファイルを分離して記憶装置210に格納し、この格納場所にアクセスするためのアクセス先情報としてURLを作成することができる。更に、メールサーバ20は、受信した音声添付メールに代えて、この音声添付メールから音声ファイルを分離した分離メールに、作成したURLをリンク情報として本文に付加した構成の添付分離メールを作成し、作成した添付分離メールをその宛先に対応する情報処理装置30に送信することができる。また、情報処理装置30は、メールサーバ20からの添付分離メールを受信すると、添付分離メールの本文に付加されたURLをクリックすることで、URLの示すメールサーバ20の記憶装置210に記憶された音声ファイルへとアクセスして、該音声ファイルをダウンロードすることができる。そして、ダウンロードした音声ファイルの音声を再生することができる。
【0155】
これにより、情報処理装置30において、比較的容量の大きい音声ファイルの添付された音声添付メールを受信することなく、受信者の音声ファイルを再生したいタイミングで、代わりに受信した添付分離メールのURLをクリックすることで音声ファイルをダウンロードし、その音声を再生することができる。従って、情報処理装置30のメモリ容量の負荷や、音声ファイルの受信によるネットワーク負荷を軽減することができる。
【0156】
(5)変形例
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば、上記実施形態においては、音声合成サーバ10と、メールサーバ20とを別々のサーバに分ける構成としたが、両者の機能を1つのサーバで構成してもよい。
【0157】
また、上記実施形態において、音声合成サーバ10は、専用のプログラムをCPU100によって実行することで、音声合成処理に必要な各機能を実現する構成としたが、この構成に限らない。例えば、処理の一部を半導体集積回路等のハードウェアに置き換えて、ハードウェアとソフトウェアとの双方によって各機能を実現する構成としてもよいし、可能であれば、処理の全てまたは略全てをハードウェアに置き換えて、ハードウェア主体で各機能を実現する構成としてもよい。
【0158】
(6)本発明との対応関係
以上説明した実施形態において、文章データ受信処理部100bが文章データ受信部に対応し、文章分割部100cが文章分割部に対応し、音声合成部100dが音声合成部に対応し、音声データ送信処理部100e及びタイミング制御部100fが音声データ送信部に対応する。
【0159】
また、上記実施形態において、メール作成部300cがメール作成部に対応し、メール送受信処理部300eが第1のメール送信部、及び第2のメール受信部に対応する。
また、上記実施形態において、文章データ送信部300hが文章データ送信部及び音声データ受信部に対応し、音声再生部300gは、音声再生部に対応し、上記実施形態において、送信依頼情報送信部300kが送信依頼情報送信部に対応する。
【0160】
また、上記実施形態において、メール送受信処理部200bが、受信要求送信部及び第1のメール受信部に対応し、メール送受信処理部200b及びメール配信処理部200cが第2のメール送信部に対応する。
また、上記実施形態において、添付ファイル分離部200eが音声ファイル分離部に対応し、記憶装置210が音声ファイル記憶部に対応し、添付分離メール作成部200fが第2のメール作成部に対応し、ファイルアクセス処理部200gが音声ファイル送信部に対応する。
【0161】
また、上記実施形態において、ファイルアクセス部300mがファイルアクセス部及び音声ファイル受信部に対応し、マイク317、サウンドカード315及び入力受付部300aが音声入力部に対応し、音声メッセージ記録部300dが音声メッセージ記録部に対応する。
また、上記実施形態において、分割音声ファイルが分割文の音声データに対応し、添付分離メールが第2の電子メールに対応し、音声合成サーバ10が音声合成装置に対応し、情報処理装置30が、情報処理装置、第1の情報処理装置及び第2の情報処理装置に対応する。
【符号の説明】
【0162】
1…音声データ通信システム、100,200,300…CPU、102,202,302…RAM、104,204,304…ROM、106,206,206…入出力I/F、108,208,308…バス、110,210,310…記憶装置、112,212,312…表示装置、114,214,314…入力装置、315…サウンドカード、116,216,318…NIC、316…スピーカ、317…マイク、100b…文章データ受信処理部、100c…文章分割部、100d…音声合成部、100e…音声データ送信処理部、100f…タイミング制御部、200b…メール送受信処理部、200c…メール配信処理部、200e…添付ファイル分離部、200f…添付分離メール作成部、200g…ファイルアクセス処理部、300c…メール作成部、300d…音声メッセージ記録部、300e…メール送受信処理部、300g…音声再生部、300h…文章データ送信部、300k…送信依頼情報送信部、300m…ファイルアクセス部
【技術分野】
【0001】
本発明は、情報処理装置からの音声変換対象の文章データを音声データに変換し、該音声データを依頼元の情報処理装置に提供する音声合成装置、プログラム及び音声データ通信システムに関する。
【背景技術】
【0002】
従来から、データを中継するサーバにおいて、受信した文章データを音声データへと変換して、該変換した音声データを送信先へと送信する技術がある(例えば、特許文献1)。
特許文献1の音声メールシステムにおいては、サーバは、負荷を軽減することを目的として、受信したメールが音声ファイルの添付されたメールであれば、送信するメールに、電話番号、音声ファイルへのリンク、音声ファイルを音声認識により文章に変換して得た文章を記載して格納する。また、受信したメールが文章のみのメールであれば、電話番号と、音声合成によって、文字情報を音声情報に変換した音声ファイルへのリンク、文章を記載して格納する。これにより、受信者側の端末は、受信者の便宜に添った形式のメッセージをサーバから受け取れる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−306462号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記特許文献1の技術においては、文章のみのメールを受信した場合に、その都度、サーバにおいて、音声合成により音声データへと変換して保持する。そのため、サーバにおいて、比較的データ容量の大きい音声データを保持しておくための大容量の記憶装置を用意する必要がある。
一方、受信者側からの要請があったときに、その都度、文章データを音声データへと変換して受信者側の端末に送信する構成とした場合は、特に文章量が多い場合などに、変換後の音声データのデータ容量も大きくなるため大容量データの送受信によるネットワーク負荷が増大する恐れがある。
【0005】
本発明は、このような課題を解決するためになされたものであり、その目的は、音声合成に必要なサーバの記憶容量を低減する技術を提供することである。
また、別の目的は、サーバとの間の音声データの送受信によるネットワーク負荷を軽減するための技術を提供することである。
【課題を解決するための手段】
【0006】
〔第1の構成〕
上記課題を解決するために、本発明に係る第1の構成の音声合成装置は、外部の情報処理装置から通信回線を介して送信された文章データを受信し、該受信した文章データを音声データに変換して、該音声データを前記情報処理装置に送信する音声合成装置であって、前記情報処理装置から送信された音声変換対象の文章データを受信する文章データ受信部と、前記文章データ受信部で受信した前記文章データの示す文章全体を複数の文に分割する文章分割部と、前記文章分割部で分割した各文のデータである各分割文データに対して音声合成処理を実行して、前記各分割文データを音声データへと変換する音声合成部と、前記各分割文の音声データを、送信先の情報処理装置に送信する音声データ送信部と、を備えている。
【0007】
そして、前記音声合成部における前記分割文データを前記音声データへと変換する処理と、前記音声データ送信部における前記分割文データの音声データを送信する処理とを分割文データごとに繰り返し実施する。
このような構成であれば、文章データ受信部によって、音声変換対象の文章データを受信し、文章分割部によって、文章データの文章を複数の文に分割することができる。更に、音声合成部によって、各分割文データに対して音声合成処理を実行して各分割文データを音声データに変換することができる。更に、音声データ送信部によって、各分割文の音声データを、送信先の情報処理装置に送信することができる。このとき、音声合成部における分割文データを音声データに変換する処理と、音声データ送信部における分割文データの音声データを送信する処理とを分割文データごとに繰り返し実施することができる。
【0008】
このように、音声変換対象の文章データを複数の分割文データに分割し、分割文データを音声合成処理によって音声データに変換し、分割文データが音声データに変換されるごとに分割文の音声データを、順次情報処理装置に送信することで、文章全体を一括で音声合成処理により音声データに変換し、該文章全体の音声データを情報処理装置に送信することと比較して、音声合成処理の処理負荷を分散でき且つ音声データを送信時のネットワーク負荷を軽減することができる。
【0009】
〔第2の構成〕
更に、第2の構成の音声合成装置は、上記第1の構成において、前記音声合成部は、前記情報処理装置からの送信依頼情報の受信に応じて、前記音声合成処理によって変換後の音声データの送信処理を実行する。
このような構成であれば、音声合成部は、情報処理装置からの送信依頼情報の受信に応じて、音声データの送信処理を実行することができる。
このように、情報処理装置からの送信依頼情報によって、音声データの送信タイミングを制御できるようにすることで、音声データの送信によるネットワーク負荷を適切に軽減することができる。
【0010】
〔第3の構成〕
更に、第2の構成の音声合成装置は、上記第2の構成において、前記音声合成部は、前記情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって変換後の音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行する。
【0011】
このような構成であれば、音声合成部は、最初の分割文データを音声データに変換して情報処理装置に送信後は、情報処理装置からの送信依頼情報を受信するごとに、次の未処理の分割文データに対して音声合成処理及び音声データの送信処理を順次実行することができる。
このように、情報処理装置からの送信依頼情報によって、音声合成処理の処理タイミング及び音声データの送信タイミングを制御できるようにすることで、分割文データのデータ長やネットワーク負荷等に応じて変化する処理負荷を適切に軽減することができる。
【0012】
〔第4の構成〕
更に、第4の構成の音声合成装置は、上記第1から第3のいずれか1の構成において、前記文章分割部は、句点記号を含む一文の終了位置に付される特定記号を分割位置として、前記文章全体を複数の文に分割する。
このような構成であれば、文章を複数の文に容易に分割することができると共に、一文の終わりで文章を区切る形で複数の分割文に分割することができる。これにより、ネットワーク負荷等で次の分割文に対応する音声データの受信に時間がかかっても、文の途中で音声の再生が途切れる等の事態を回避することができる。
ここで、特定記号としては、平叙文の終了位置に付される句点「。」、感嘆文の終了位置に付される感嘆符「!」、疑問文の終了位置に付される疑問符「?」、他にも、二重感嘆符「!!」、ダブルだれ「!?」などがある。また、ワープロ文においては、改行記号(改行コード)も一文の終了を示す場合があり、これも特定記号として含む。
【0013】
〔第5の構成〕
一方、上記課題を解決するための第5の構成としては、上記第1から第4のいずれか1の構成における全ての構成部として機能させるための各種処理手順を、コンピュータシステムに実行させるためのプログラムとしてもよい。
このようなプログラムにより制御されるコンピュータシステムは、上記各構成部に係る音声合成装置の一部を構成することができる。
なお、上述した各プログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して音声合成装置や、これを利用するユーザに提供されるものである。
【0014】
〔第6の構成〕
また、上記課題を解決するために、第6の構成の音声データ通信システムは、メール送信者の第1の情報処理装置と、メールサーバと、上記第1の構成の音声合成装置と、メール受信者の第2の情報処理装置とを通信回線を介してそれぞれ通信可能に備える。
更に、前記第1の情報処理装置は、電子メールを作成するメール作成部と、前記メール作成部で作成した前記メール受信者宛の電子メールを前記メールサーバに送信する第1のメール送信部と、を備える。
更に、前記メールサーバは、前記第1の情報処理装置から送信された前記メール受信者宛の電子メールを受信する第1のメール受信部と、前記第1のメール受信部で受信した電子メールを該電子メールの宛先情報が設定された前記第2の情報処理装置からの受信要求に応じて、該受信要求元の第2の情報処理装置に送信する第2のメール送信部と、を備える。
【0015】
更に、前記第2の情報処理装置は、設定された宛先情報に対応するメール受信者宛の電子メールの受信要求を前記メールサーバに送信する受信要求送信部と、前記受信要求に応じて前記メールサーバから送信された電子メールを受信する第2のメール受信部と、入力指示に応じて、前記第2のメール受信部で受信した電子メールについて、該電子メールを構成する文章データを音声変換対象の文章データとして前記音声合成サーバに送信する文章データ送信部と、前記音声合成装置から送信された前記各分割文データに対応する音声データを受信する音声データ受信部と、前記音声データ受信部で受信した前記音声データの音声を再生する音声再生部とを備える。
【0016】
このような構成であれば、第1の情報処理装置において、メール作成部によって、電子メールを作成することができ、第1のメール送信部によって、作成した電子メールをメールサーバに送信することができる。
また、メールサーバにおいて、第1のメール受信部によって、第1の情報処理装置から送信された電子メールを受信することができ、第2のメール送信部によって、第2の情報処理装置からの受信要求に応じて、受信した電子メールをその宛先に対応する第2の情報処理装置に送信することができる。
【0017】
また、第2の情報処理装置において、受信要求送信部によって、電子メールの受信要求をメールサーバに送信することができ、第2のメール受信部によって、メールサーバから送信された電子メールを受信することができ、文章データ送信部によって、受信した電子メールを構成する文章データを音声変換対象の文章データとして音声合成装置に送信することができる。
【0018】
また、第2の情報処理装置において、音声データ受信部によって、音声合成装置から送信された分割文データの音声データを受信することができ、音声再生部によって、受信した音声データの音声を再生することができる。
これにより、音声合成装置と第2の情報処理装置との間において、上記第1の構成の音声合成装置と同等の作用及び効果を得ることができる。
【0019】
〔第7の構成〕
更に、第7の構成の音声データ通信システムは、上記第6の構成において、前記第2の情報処理装置は、設定した送信依頼タイミングで前記分割文の音声データの送信依頼情報を前記音声合成サーバに送信する送信依頼情報送信部を備える。
また、前記音声合成部は、前記第2の情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって得られる音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行する。
このような構成であれば、第2の情報処理装置において、送信依頼情報送信部によって、設定した送信依頼タイミングで分割文の音声データの送信依頼情報を音声合成サーバに送信することができる。
【0020】
また、音声合成サーバにおいて、音声合成部は、第2の情報処理装置からの音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの分割文データへの分割処理を実行し、次に、最初の分割文データに対して音声合成処理及び該音声合成処理によって得られる音声データの送信処理を実行し、以降は、情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、音声合成処理及び前記送信処理を順次実行することができる。
このように、第2の情報処理装置からの送信依頼情報によって、音声合成装置の音声合成処理の処理タイミング及び音声データの送信タイミングを制御できるようにすることで、分割文データのデータ長やネットワーク負荷等に応じて変化する第2の情報処理装置側の処理負荷を、適切に軽減することができる。
【0021】
ここで、送信依頼タイミングとは、第2の情報処理装置において行われる分割文の音声データの再生処理にかかる時間及び負荷と、音声合成装置における音声合成処理にかかる時間及び負荷と、通信回線を介した各種データの送受信にかかる時間及び負荷等に基づき決定されるタイミングである。望ましくは、第2の情報処理装置側で再生遅延が発生せず、かつ音声合成装置、第2の情報処理装置及び通信回線において発生する負荷が最低となるタイミング又は許容範囲内で安定するタイミングとなる。
【0022】
〔第8の構成〕
更に、第8の構成の音声データ通信システムは、上記第7の構成において、前記送信依頼情報送信部は、先に受信した前記分割文の音声データの総再生時間が設定時間以上と判定したときは、前記総再生時間の所定割合以上の時間分が再生された時点を前記送信依頼タイミングとし、前記総再生時間が前記設定時間未満であると判定したときは、再生開始時点を前記送信依頼タイミングとする。
このような構成であれば、第2の情報処理装置は、送信依頼情報送信部において、分割文データのデータ長(音声の総再生時間)に応じた適切なタイミングで送信依頼情報を音声合成装置に送信することができる。
【0023】
〔第9の構成〕
更に、第9の構成の音声データ通信システムは、上記第6〜第8の構成のいずれか1において、前記メールサーバは、前記第1のメール受信部で受信した電子メールが音声ファイルの添付された音声添付メールであるときに、該音声添付メールから音声ファイルを分離する音声ファイル分離部と、前記音声ファイル分離部で分離した音声ファイルを記憶する音声ファイル記憶部と、前記音声ファイル記憶部に記憶された前記音声ファイルのアクセス先情報を付加した第2の電子メールを作成する第2のメール作成部と、前記第2の情報処理装置からの前記アクセス先情報に基づくアクセスに応じて、前記音声ファイル記憶部に記憶された音声ファイルを、アクセス元の前記第2の情報処理装置に送信する音声ファイル送信部と、を備える。
【0024】
更に、前記第2の情報処理装置は、前記第2の電子メールに付加されたアクセス先情報に基づき、前記音声ファイル記憶部によって記憶された前記アクセス先情報の示すアクセス先の音声ファイルにアクセスするファイルアクセス部と、前記ファイルアクセス部のアクセスに応じて前記メールサーバから送信された音声ファイルを受信する音声ファイル受信部と、を備える。
【0025】
そして、前記第2のメール送信部は、前記第2のメール作成部で作成した電子メールを、前記受信した音声添付メールに代えて前記宛先のメール受信者に対応する第2の情報処理装置に送信する。
また、前記音声再生部は、前記音声ファイル受信部で受信した音声ファイルの音声を再生する。
このような構成であれば、メールサーバにおいて、音声ファイルの添付された音声添付メールを受信したときに、音声ファイル分離部によって、音声添付メールから音声ファイルを分離し、音声ファイル記憶部によって、分離した音声ファイルを記憶することができる。
【0026】
更に、第2のメール作成部によって、音声ファイル記憶部に記憶された音声ファイルのアクセス先情報を付加した第2の電子メールを作成することができ、音声ファイル送信部によって、アクセス先情報に基づく第2の情報処理装置からのアクセスに応じて、音声ファイル記憶部に記憶された音声ファイルを第2の情報処理装置に送信することができる。
これによって、第2の情報処理装置において、必要なときに第2の電子メールに付加されたアクセス先情報に基づきメールサーバにアクセスすることで、音声ファイルを取得し、その音声を再生することができるので、第2の情報処理装置のメモリ容量の負荷や、音声ファイルの受信によって生じるネットワーク負荷を軽減することができる。
【0027】
〔第10の構成〕
更に、第10の構成の音声データ通信システムは、上記第9の構成において、前記第1の情報処理装置は、音声を入力する音声入力部と、音声添付メールの作成指示に応じて、前記音声入力部を介して入力された音声メッセージを記録する音声メッセージ記録部と、を備える。
そして、前記メール作成部は、前記音声メッセージの記録が終了すると、設定されたメール受信者宛の、前記記録した音声メッセージの音声ファイルを添付した音声添付メールを作成する。
【0028】
また、前記第1のメール送信部は、前記メール作成部で作成した音声添付メールを前記メールサーバに送信する。
このような構成であれば、第1の情報処理装置において、音声入力部によって、音声を入力し、音声メッセージ記録部によって、音声入力部を介して入力された音声メッセージを記録し、メール作成部によって、音声メッセージの音声ファイルが添付された音声添付メールを作成することができる。更に、第1のメール送信部によって、音声添付メールをメールサーバに送信することができる。
これによって、第1の情報処理装置において、簡易に音声ファイルの添付された電子メールを作成することができる。
【図面の簡単な説明】
【0029】
【図1】音声データ通信システム1の概略構成を示すブロック図である。
【図2】音声合成サーバ10及びメールサーバ20のハードウェア構成の一例を示すブロック図である。
【図3】音声合成サーバ10のCPU100においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
【図4】メールサーバ20のCPU200においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
【図5】情報処理装置30のハードウェア構成の一例を示すブロック図である。
【図6】情報処理装置30のCPU300においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
【図7】メール作成処理の処理手順の一例を示すフローチャートである。
【図8】メール配信処理の処理手順の一例を示すフローチャートである。
【図9】メール受信処理の処理手順の一例を示すフローチャートである。
【図10】音声合成処理の処理手順の一例を示すフローチャートである。
【図11】音声添付メールの具体的な作成例を示す図である。
【図12】(a)は、音声添付メールの一例を示す図であり、(b)は、(a)の音声添付メールに対する添付分離メールの具体的な作成例を示す図である。
【図13】添付分離メールに記載されたURLをクリックして音声を再生する一例を示す図である。
【図14】情報処理装置30_2と音声合成サーバ10との間における、音声合成処理を実行時のデータ送受信の一例を示すシーケンス図である。
【図15】テキストメールの文章に対する各分割音声ファイルの音声再生手順の具体例を示す図である。
【発明を実施するための形態】
【0030】
以下に本発明の実施形態を図面に基づき説明する。
(1)構成
(1−1)音声データ通信システム1の構成
まず、図1に基づき、音声データ通信システム1の構成を説明する。図1は、音声データ通信システム1の概略構成を示すブロック図である。
音声データ通信システム1は、図1に示すように、音声合成サーバ10と、メールサーバ20と、第1〜第nの情報処理装置30_1〜30_nと、ネットワーク40とを含んで構成される。そして、ネットワーク40を介して、音声合成サーバ10と、メールサーバ20と、第1〜第nの情報処理装置30_1〜30_nとは、それぞれ互いにデータ通信可能に接続されている。
【0031】
音声合成サーバ10は、第1〜第nの情報処理装置30_1〜30_nからのネットワーク40を介した音声変換対象の文章データの受信に応じて、該文章データの文章を音声合成によって音声データへと変換する機能を有したサーバである。
メールサーバ20は、第1〜第nの情報処理装置30_1〜30_nのいずれかからのネットワーク40を介した電子メールを受信し、受信した電子メールを第1〜第nの情報処理装置30_1〜30_nのうち送信先の情報処理装置に配信する機能を有したサーバである。更に、メールサーバ20は、音声ファイルの添付された電子メールを受信した場合に、受信した電子メールから音声ファイルを分離して該音声ファイルを記憶し、この記憶位置を示す情報を付加した電子メールを元の電子メールの代わりに送信先(宛先)の情報処理装置に送信する機能を有している。
【0032】
第1〜第nの情報処理装置30_1〜30_n(以下、区別する必要が無いときは単に情報処理装置30ともいう)は、電子メールを作成する機能と、送信者の音声メッセージを記録して、該音声メッセージの音声ファイルを添付した電子メール(以下、音声添付メールと称す)を作成する機能とを有した装置である。
更に、情報処理装置30は、受信した電子メールに基づき音声変換対象の文章データを音声合成サーバ10に送信する機能と、音声合成サーバ10からの音声ファイルを受信して該音声ファイルの音声を再生する機能とを有した装置である。
ネットワーク40は、LAN、WAN、インターネットなどの公知のネットワークである。
【0033】
(1−2)音声合成サーバ10の構成
次に、図2及び図3に基づき、音声合成サーバ10の構成を説明する。
図2は、音声合成サーバ10及びメールサーバ20のハードウェア構成の一例を示すブロック図である。また、図3は、音声合成サーバ10のCPU100においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
まず、図2に基づき、音声合成サーバ10のハードウェア構成を説明する。
音声合成サーバ10は、各機能をソフトウェアを用いて実現するため、及び各機能の実現に必要なハードウェアを制御するソフトウェアを実行するためのコンピュータシステムを備えている。
【0034】
音声合成サーバ10のコンピュータシステムは、図2に示すように、CPU(Central Processing Unit)100と、RAM(Random Access Memory)102と、ROM(Read Only Memory)104と、入出力インターフェース(I/F)106と、バス108とを含んで構成される。CPU100、RAM102、ROM104および入出力I/F106は、バス108に接続されており、バス108を介してこれら接続デバイス間のデータの送受信を可能としている。
【0035】
音声合成サーバ10のコンピュータシステムは、更に、入出力I/F106を介して、記憶装置110と、表示装置112と、入力装置114と、NIC(Network Interface Card)116とに接続されている。
CPU100は、ROM104または記憶装置110に予め記憶された各種専用のコンピュータプログラムをRAM102に読み込み、RAM102に読み込まれたプログラムに記述された命令に従って、各種リソースを駆使して、後述する音声合成処理を実行する。
【0036】
記憶装置110は、各種専用のコンピュータプログラム、プログラムの実行において用いられる各種データ等の、上記音声合成処理に必要なデータを記憶する。
記憶装置110は、例えば、公知の音声合成処理を行うためのプログラムや、音声合成処理に必要な、音素ごとのピッチ周波数情報や音声スペクトラム情報等を記憶する。
ここで、記憶装置110は、FDドライブ、HDドライブ等の磁気記憶型記憶装置、CDドライブ、DVDドライブ、BRDドライブ等の光学的読取/書込方式記憶装置、MOドライブ等の磁気記憶型/光学的読取方式記憶装置等の、コンピュータでデータを読み取り及び書き込み可能な記憶装置であれば何でもよい。
【0037】
表示装置112は、CRTディスプレイ、液晶ディスプレイなどの周知の表示装置であり、CPU100からの指令に応じて、各種情報の表示を行う。
入力装置114は、キーボード、マウス、操作ボタン、タッチ式の入力デバイス(タッチパネル等)などのヒューマンインターフェースデバイスであり、ユーザの操作に応じた入力を受け付ける。
【0038】
NIC116は、LAN、WAN、インターネット等のネットワーク上の外部装置と通信するためのデバイスであり、一般にLANカード等と呼ばれる周知のネットワークアダプタである。NIC116は、ネットワークケーブルLを介してルータやハブ等に接続され、これらを介して、音声合成サーバ10をネットワークに接続する。
なお、この音声合成サーバ10は、例えば、周知のパーソナルコンピュータなどに実装されるものとして構成される。
【0039】
次に、図3に基づき、音声合成サーバ10の機能構成を説明する。
音声合成サーバ10は、CPU100において、専用のプログラムを実行することで本実施形態の音声合成処理に必要な各種機能を実現する機能構成部として音声合成処理部を備えている。
音声合成処理部は、図3に示すように、データ通信部100aと、文章データ受信処理部100bと、文章分割部100cと、音声合成部100dと、音声データ送信処理部100eと、タイミング制御部100fとを含んで構成される。
【0040】
データ通信部100aは、ネットワーク40及びNIC116を介した、各種データの外部装置への送信と外部装置からの各種データの受信とを制御する機能を有している。具体的に、各機能構成部からのデータ送信依頼に応じて、ネットワーク40及びNIC116を介して、データを送信先の外部装置に送信する。更に、ネットワーク40及びNIC116を介して外部装置から受信したデータを対応する各構成部に出力(又はRAM102等のメモリに記憶)したりする機能を有している。
【0041】
文章データ受信処理部100bは、データ通信部100aを介して受信された文章データを受け取って、それが音声変換対象の文章データであるか否かを判定し、音声変換対象の文章データであると判定した場合に、該文章データを文章分割部100cに出力する機能を有している。また、文章データ受信処理部100bは、新規の文章データを受信したことをタイミング制御部100fに通知する機能も有している。
【0042】
文章分割部100cは、文章データ受信処理部100bから受け取った文章データの示す文章全体を文章中に含まれる特定記号に基づき複数の文に分割して、複数の分割文データを生成する機能を有している。
音声合成部100dは、文章分割部100cにおいて生成された分割文データを、タイミング制御部100fからの実行指示に応じて、公知の音声合成処理によって音声データに変換する機能を有している。具体的に、タイミング制御部100fからの実行指示を受けるごとに、文章中における各分割文の並び順に1つずつ、分割文データを音声合成処理によって音声データに変換する。また、音声合成部100dは、1つの分割文データを音声データに変換するごとに、該音声データ(以下、分割音声ファイルと称す)を音声データ送信処理部100eに出力するようになっている。
【0043】
音声データ送信処理部100eは、音声合成部100dにおいて、音声合成部100dから分割音声ファイルを受け取るごとに、該分割音声ファイルを、データ通信部100aを介して、該分割音声ファイルに対応する文章データの送信元の情報処理装置30に送信する機能を有している。
タイミング制御部100fは、音声変換対象の文章データの送信元である情報処理装置30から送信された送信依頼情報をデータ通信部100aを介して受信し、該受信に応じて音声合成部100dに音声合成処理の実行指示を与える機能を有している。
【0044】
(1−3)メールサーバ20の構成
次に、図2及び図4に基づき、メールサーバ20の構成を説明する。
図4は、メールサーバ20のCPU200においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
まず、図2に基づき、メールサーバ20のハードウェア構成を説明する。なお、図2において、音声合成サーバ10とメールサーバ20とはハードウェア構成が同様となるので、本実施形態においては、両者のハードウェア構成を一図にまとめて示している。そのため括弧内の符号がメールサーバ20に対応する。
【0045】
メールサーバ20は、各機能をソフトウェアを用いて実現するため、及び各機能の実現に必要なハードウェアを制御するソフトウェアを実行するためのコンピュータシステムを備えている。
メールサーバ20のコンピュータシステムは、図2に示すように、CPU200と、RAM202と、ROM204と、入出力I/F206と、バス208とを含んで構成される。CPU200、RAM202、ROM204および入出力I/F206は、バス208に接続されており、バス208を介してこれら接続デバイス間のデータの送受信を可能としている。
【0046】
メールサーバ20のコンピュータシステムは、更に、入出力I/F206を介して、記憶装置210と、表示装置212と、入力装置214と、NIC216とに接続されている。
CPU200は、ROM204または記憶装置210に予め記憶された各種専用のコンピュータプログラムをRAM202に読み込み、RAM202に読み込まれたプログラムに記述された命令に従って、各種リソースを駆使して、後述する音声合成処理を実行する。
【0047】
記憶装置210は、各種専用のコンピュータプログラム、プログラムの実行において用いられるデータ等の、上記メール配信処理、上記音声ファイルの分離処理等に必要なデータを記憶する。
記憶装置210は、例えば、公知のSMTPサーバ、POPサーバ等でメールの配信処理を行うのに用いられる各種プログラムや、メール配信処理において、情報処理装置30から受信した電子メール、電子メールから分離した音声ファイルなどを記憶する。
【0048】
ここで、記憶装置210は、FDドライブ、HDドライブ等の磁気記憶型記憶装置、CDドライブ、DVDドライブ、BRDドライブ等の光学的読取/書込方式記憶装置、MOドライブ等の磁気記憶型/光学的読取方式記憶装置等の、コンピュータでデータを読み取り及び書き込み可能な記憶装置であれば何でもよい。
表示装置212は、CRTディスプレイ、液晶ディスプレイなどの周知の表示装置であり、CPU200からの指令に応じて、各種情報の表示を行う。
【0049】
入力装置214は、キーボード、マウス、操作ボタン、タッチ式の入力デバイス(タッチパネル等)などのヒューマンインターフェースデバイスであり、ユーザの操作に応じた入力を受け付ける。
NIC216は、LAN、WAN、インターネット等のネットワーク上の外部装置と通信するためのデバイスであり、一般にLANカード等と呼ばれる周知のネットワークアダプタである。NIC216は、ネットワークケーブルLを介してルータやハブ等に接続され、これらを介して、メールサーバ20をネットワークに接続する。
なお、このメールサーバ20は、例えば、周知のパーソナルコンピュータなどに実装されるものとして構成される。
【0050】
次に、図4に基づき、メールサーバ20の機能構成を説明する。
メールサーバ20の機能構成は、図4に示すように、データ通信部200aと、メール送受信処理部200bと、メール配信処理部200cと、データ制御部200dと、添付ファイル分離部200eと、添付分離メール作成部200fと、ファイルアクセス処理部200gとを含んで構成される。
【0051】
データ通信部200aは、ネットワーク40及びNIC216を介した、各種データの外部装置への送信と外部装置からの各種データの受信とを制御する機能を有している。具体的に、各機能構成部からのデータ送信依頼に応じて、ネットワーク40及びNIC216を介して、データを送信先の外部装置に送信する。更に、ネットワーク40及びNIC216を介して外部装置から受信したデータを対応する各構成部に出力(又はRAM202等のメモリに記憶)したりする機能を有している。
【0052】
メール送受信処理部200bは、情報処理装置30からの電子メールをデータ通信部200aを介して受信し、受信した電子メールに音声ファイルが添付されているか否かを判定する。そして、音声ファイルが添付されていると判定した場合は、該当電子メール(以下、音声添付メールと称す)を、添付ファイル分離部200eに出力する機能を有している。一方、音声ファイルが添付されていないと判定した場合は、受信した電子メールを、記憶装置210に構成された、該当電子メールの宛先に対応するメールボックスに格納する機能を有している。
【0053】
更に、メール送受信処理部200bは、メール配信処理部200cから送信依頼に応じて、送信依頼に対応する電子メールを、データ通信部200aを介して電子メールの有する宛先情報に対応する情報処理装置30に送信する機能を有している。
メール配信処理部200cは、データ通信部200aを介して受信した、情報処理装置30からの電子メールの受信要求に応じて、情報処理装置30に設定されたメール受信者に対応するメールボックスに送信すべき電子メールがあるか否かを判定する。そして、送信すべき電子メールがあると判定した場合に、該電子メールの送信依頼をメール送受信処理部200bに出力する機能を有している。
【0054】
データ制御部200dは、各機能構成部からのデータ読み出し要求に応じて、記憶装置210に記憶された該当データを読み出して各構成部に出力(又はRAM202に記憶)する機能と、各構成部からのデータ書き込み要求に応じて、該当データを記憶装置210に記憶する機能とを有している。
添付ファイル分離部200eは、メール送受信処理部200bからの音声添付メールを受け取ると、音声添付メールから音声ファイルを分離し、分離した音声ファイルを、データ制御部200dを介して記憶装置210に記憶する。そして、音声ファイルの記憶位置を示すURL(Uniform Resource Locator)を生成し、生成したURLの情報をアクセス先情報として、添付分離メール作成部200fに出力する。なお、本実施形態においては、音声ファイルを分離後の電子メールも添付分離メール作成部200fに出力する。
【0055】
添付分離メール作成部200fは、添付ファイル分離部200eからの電子メールとURL情報とを受け取ると、受け取った電子メールの本文にURL情報を記載してなる添付分離メールを作成する機能を有している。更に、作成した添付分離メールを、メール送受信処理部200bを介して、該添付分離メールの送信先の情報処理装置30に送信する機能を有している。
【0056】
ファイルアクセス処理部200gは、情報処理装置30からのアクセス情報(パス情報、音声ファイル名等)をデータ通信部200aを介して受信し、受信したアクセス情報に基づき、データ制御部200dを介して、記憶装置210から該当の音声ファイルを読み出す機能を有している。更に、ファイルアクセス処理部200gは、読み出した音声ファイルを、データ通信部200aを介してアクセス元の情報処理装置30に送信する機能を有している。
【0057】
(1−4)情報処理装置30の構成
次に、図5及び図6に基づき、情報処理装置30の構成を説明する。
図5は、情報処理装置30のハードウェア構成の一例を示すブロック図である。また、図6は、情報処理装置30のCPU300においてプログラムを実行して実現される機能構成の一例を示す機能構成ブロック図である。
まず、図5に基づき、情報処理装置30のハードウェア構成を説明する。
情報処理装置30は、各機能をソフトウェアを用いて実現するため、及び各機能の実現に必要なハードウェアを制御するソフトウェアを実行するためのコンピュータシステムを備えている。
【0058】
情報処理装置30のコンピュータシステムは、図5に示すように、CPU300と、RAM302と、ROM304と、入出力I/F306と、バス308とを含んで構成される。CPU300、RAM302、ROM304および入出力I/F306は、バス308に接続されており、バス308を介してこれら接続デバイス間のデータの送受信を可能としている。
情報処理装置30のコンピュータシステムは、更に、入出力I/F306を介して、記憶装置310と、表示装置312と、入力装置314と、サウンドカード315と、NIC318とに接続されている。更に、サウンドカード315には、スピーカ316と、マイク317とが接続されている。
【0059】
CPU300は、ROM304または記憶装置310に予め記憶された各種専用のコンピュータプログラムをRAM302に読み込み、RAM302に読み込まれたプログラムに記述された命令に従って、各種リソースを駆使して、後述する音声合成処理を実行する。
記憶装置310は、各種専用のコンピュータプログラム、プログラムの実行において用いられるデータ等の、上記メールの作成処理、送受信処理、音声再生処理等に必要なデータを記憶する。
【0060】
具体的に、記憶装置310は、各種メールの作成処理、各種データの送受信処理、音声ファイルの再生処理等に必要なプログラム(ソフトウェア)や、受信した電子メール、音声ファイル等のデータを記憶する。
ここで、記憶装置310は、FDドライブ、HDドライブ等の磁気記憶型記憶装置、CDドライブ、DVDドライブ、BRDドライブ等の光学的読取/書込方式記憶装置、MOドライブ等の磁気記憶型/光学的読取方式記憶装置等の、コンピュータでデータを読み取り及び書き込み可能な記憶装置であれば何でもよい。
【0061】
表示装置312は、CRTディスプレイ、液晶ディスプレイなどの周知の表示装置であり、CPU300からの指令に応じて、各種情報の表示を行う。
入力装置314は、キーボード、マウス、操作ボタン、タッチ式の入力デバイス(タッチパネル等)などのヒューマンインターフェースデバイスであり、ユーザの操作に応じた入力を受け付ける。
サウンドカード315は、公知のサウンドカード、サウンドボード、オーディオインターフェースカード等と呼ばれるデバイスと同等のものであり、音響信号の入出力を行う機能を有したデバイスである。
【0062】
スピーカ316は、音声再生ソフトの実行時において、サウンドカード315からの音響信号の供給に応じて、該音響信号を物理振動に変換して音を発生するデバイスである。
マイク317は、ユーザの音声をサウンドカード315を介して入力するデバイスである。本実施形態では、サウンドカード315の備えるA/D変換器によって、入力音声(アナログデータ)をデジタルデータに変換してRAM302等のメモリに記憶する。
【0063】
NIC318は、LAN、WAN、インターネット等のネットワーク上の外部装置と通信するためのデバイスであり、一般にLANカード等と呼ばれる周知のネットワークアダプタである。NIC318は、ネットワークケーブルLを介してルータやハブ等に接続され、これらを介して、情報処理装置30をネットワークに接続する。なお、周知の無線LAN等の、無線によって無線LAN用のアクセスポイントを介してネットワークに接続する構成であってもよい。
なお、この情報処理装置30は、例えば、周知のパーソナルコンピュータなどに実装されるものとして構成される。
【0064】
次に、図6に基づき、情報処理装置30の機能構成を説明する。
情報処理装置30の機能構成は、図6に示すように、入力受付部300aと、データ制御部300bと、メール作成部300cと、音声メッセージ記録部300dと、メール送受信処理部300eと、データ通信部300fと、音声再生部300gと、文章データ送信部300hと、メール情報表示処理部300jと、送信依頼情報送信部300kとを含んで構成される。
【0065】
入力受付部300aは、入力装置314を介してユーザから入力される各種入力情報を受け付けて、受け付けた入力情報を、該入力情報に対応する機能構成部にデータ制御部300bを介して出力する機能を有している。
更に、入力受付部300aは、マイク317を介して入力される音声指示を音声認識によって判定し、判定した情報を入力情報として、該入力情報に対応する機能構成部にデータ制御部300bを介して出力する機能を有している。
【0066】
データ制御部300bは、入力受付部300aで受け付けた入力情報を、該入力情報に対応する機能構成部に出力する機能を有している。更に、データ制御部300bは、各機能構成部からのデータ書き込み要求に応じて記憶装置310に該当データを記憶し、データ読み出し要求に応じて記憶装置310から該当データを読み出して、読み出したデータを要求元の機能構成部に出力する(又はRAM302に記憶する)機能を有している。
【0067】
メール作成部300cは、入力受付部300aを介して入力された入力情報であるテキストメールの作成指示に応じて、音声ファイルの添付の無いテキスト文のみの電子メール(以下、テキストメールと称す)を作成する機能を有している。更に、メール作成部300cは、入力受付部300aを介して入力された入力情報である新規音声添付メールの作成指示に応じて、音声メッセージ記録部300dに音声メッセージの記録指示を与えると共に、音声メッセージ記録部300dにおいて作成された音声ファイルを電子メールに添付してなる音声添付メールを作成する機能を有している。
【0068】
また、メール作成部300cは、作成したテキストメール及び音声添付メールをメール送受信処理部300eに出力する。
音声メッセージ記録部300dは、メール作成部300cからの記録要求に応じて、データ制御部300bを介してメール情報表示処理部300jに、マウス等の入力デバイスによって押下可能な記録開始ボタンの表示指示を与える。そして、記録開始ボタンが押下されることに応じて、入力受付部300aを介して入力される入力情報である記録開始指示に応じて、マイク317を介して入力される音声メッセージの記録を開始する機能を有している。更に、記録開始ボタンが押下されることに応じて、データ制御部300bを介してメール情報表示処理部300jに、マウス等の入力デバイスによって押下可能な記録終了ボタンの表示指示を与える。そして、入力受付部300aを介して入力された入力情報である記録終了指示に応じて、音声メッセージの記録を終了する機能を有している。
【0069】
更に、音声メッセージ記録部300dは、記録開始から終了までの期間において記録された音声メッセージのデータから音声ファイルを作成する機能を有している。ここで、音声ファイルは、音声メッセージの生データを無圧縮で用いる形式で作成してもよいが、ネットワーク40を介して送信する必要があるため、本実施形態では、所定の圧縮形式で圧縮した圧縮ファイルとして作成する。
【0070】
メール送受信処理部300eは、メール作成部300cからの送信依頼に応じて、送信依頼に対応する電子メール(テキストメール又は音声添付メール)を、データ通信部300fを介してメールサーバ20に送信する機能を有している。
更に、メール送受信処理部300eは、入力受付部300aを介して入力された入力情報である電子メールの受信指示に応じて、設定されたメール受信者宛の電子メールの受信要求(以下、メール受信要求と称す)を、データ通信部300fを介してメールサーバ20に送信する機能を有している。
【0071】
更に、メール送受信処理部300eは、データ通信部300fを介して電子メールを受信すると、受信した電子メールをデータ制御部300bを介して記憶装置310に記憶すると共に、受信した電子メールがテキストメールか否か、及び添付分離メールか否かを判定する機能を有している。そして、受信した電子メールがテキストメールであると判定した場合は、その受信通知の表示指示をデータ制御部300bを介してメール情報表示処理部300jに通知する。また、受信した添付メールが添付分離メールであると判定した場合は、添付分離メールの表示指示をデータ制御部300bを介してメール情報表示処理部300jに通知する。
【0072】
データ通信部300fは、ネットワーク40及びNIC318を介した、電子メール等の各種データの外部装置への送信と外部装置からの各種データの受信とを制御する機能を有している。具体的に、各機能構成部からのデータ送信依頼に応じて、ネットワーク40及びNIC318を介して、データを送信先の外部装置に送信する。更に、ネットワーク40及びNIC318を介して外部装置から受信したデータを対応する各構成部に出力(又はRAM302等のメモリに記憶)したりする機能を有している。
【0073】
音声再生部300gは、文章データ送信部300hからの分割音声ファイル及びその再生指示に応じて該分割音声ファイルの音声を再生して、該再生音声をサウンドカード315を介してスピーカ316から出力する機能を有している。更に、音声再生部300gは、ファイルアクセス部300mからの音声ファイル及びその再生指示に応じて該音声ファイルの音声を再生して、該再生音声をサウンドカード315を介してスピーカ316から出力する機能を有している。
【0074】
文章データ送信部300hは、入力受付部300aからの入力情報である読み上げ指示情報をデータ制御部300bを介して受け取ると、該読み上げ指示情報に応じて、指示情報に対応する音声変換対象の文章データを、音声変換指示情報と共にデータ通信部300fを介して、音声合成サーバ10に送信する機能を有している。
ここで、音声合成サーバ10に送信する音声変換対象の文章データは、電子メールそのものでもよいし、該電子メールから抽出した文章データ(例えば、タイトル、受信者名及びメール本文のデータ)でもよい。
【0075】
また、文章データ送信部300hは、データ通信部300fを介して分割音声ファイルを受信すると、受信した分割音声ファイルを音声再生指示と共に音声再生部300gに出力する機能を有している。このとき、本実施形態では、1つ前の音声ファイルが再生中の場合に、再生終了を待ってから出力する。
更に、文章データ送信部300hは、データ通信部300fを介して分割音声ファイルを受信するごとに、受信したことを送信依頼情報送信部300kに通知する機能を有している。
【0076】
メール情報表示処理部300jは、メール送受信処理部300eからのテキストメールの受信通知の表示指示に応じて、テキストメールを受信したことをユーザに通知するグラフィックスを表示装置312の表示画面に表示する機能を有している。更に、メール情報表示処理部300jは、メール送受信処理部300eからの添付分離メールの表示指示に応じて、添付分離メールの本文を表示装置312の表示画面に表示する機能を有している。更に、音声メッセージ記録部300dからの記録開始ボタン又は記録終了ボタンの表示指示に応じて、記録開始ボタン又は記録終了ボタンを表示装置312の表示画面に表示する機能を有している。他にも、データ制御部300bを介して入力される、入力受付部300aからの表示指示に係る入力情報に応じて、各種情報を表示装置312の表示画面に表示する機能を有している。例えば、受信した電子メールの表示指示に応じて、電子メール本文を表示装置312の表示画面に表示する。
【0077】
送信依頼情報送信部300kは、文章データ送信部300hからの分割音声ファイルの受信通知に応じて、予め設定された送信タイミングで、次の分割音声ファイルの送信依頼情報をデータ通信部300fを介して音声合成サーバ10に送信する機能を有している。
具体的に、音声再生部300gからの分割音声ファイルの総再生時間、現時点の再生時間等の再生情報に基づき、例えば、総再生時間の時間長に対して予め設定された所定再生時間の経過タイミングで送信依頼情報を音声合成サーバ10に送信する。
【0078】
ファイルアクセス部300mは、入力受付部300aからの入力情報であるアクセス先情報(URL)をデータ制御部300bを介して受け取ると、受け取ったアクセス先情報の示す記憶位置に記憶された音声ファイルへのアクセス要求(取得要求)であるアクセス情報を、データ通信部300fを介してメールサーバ20に送信する機能を有している。
更に、ファイルアクセス部300mは、メールサーバ20に送信したアクセス情報に対応する音声ファイルをデータ通信部300fを介して受け取ると、受け取った音声ファイルを、再生指示と共にデータ制御部300bを介して音声再生部300gに出力する機能を有している。
【0079】
(2)CPUにおいて行われる各処理の処理手順
(2−1)情報処理装置30のCPU300によるメール作成処理
次に、図7に基づき、情報処理装置30のCPU300がROM304または記憶装置310に記憶された専用のコンピュータプログラムに従って実行するメール作成処理の処理手順について説明する。
ここで、図7は、メール作成処理の処理手順の一例を示すフローチャートである。
CPU300によって、メール作成処理が実行されると、図7に示すように、まず、ステップS100へと移行する。
【0080】
ステップS100では、メール作成部300cにおいて、入力受付部300aを介したユーザからの新規音声添付メールの作成指示があったか否かを判定する。そして、新規音声添付メールの作成指示があったと判定した場合(Yes)は、音声メッセージの記録要求を音声メッセージ記録部300dに出力して、ステップS101に移行する。一方、新規音声添付メールの作成指示がなかった場合(No)は、ステップS118に移行する。
なお、本実施形態では、メール情報表示処理部300jにおいて、メールの作成指示等の各指示を行う各種ボタンを表示装置312の画面上に表示し、表示した各ボタンをユーザが入力装置314を介して押下することで各ボタンに対応した指示の処理を実行する構成とすることができる。
【0081】
また、本実施形態では、メール情報表示処理部300jにおいて表示された、各ボタン又はウィンドウに表示した指示の内容を示す文言をマイク317を介して音声によって入力することで、各文言に対応した処理を実行する構成とすることができる。
ステップS101に移行した場合は、メール作成部300cにおいて、入力受付部300aを介したユーザからの入力情報(送信先(宛先)の指定情報など)に基づき、音声添付メールの送信先である宛先を設定して、ステップS102に移行する。
【0082】
ステップS102では、音声メッセージ記録部300dにおいて、入力受付部300aを介したユーザからの音声メッセージの記録開始指示があったか否かを判定し、記録開始指示があったと判定した場合(Yes)は、ステップS104に移行し、そうでないと判定した場合(No)は、記録開始指示があるまで判定処理を繰り返す。
ステップS104に移行した場合は、音声メッセージ記録部300dにおいて、音声メッセージの記録を開始して、マイク317及びサウンドカード315を介して入力される音声メッセージのデジタルデータをRAM302に記録して、ステップS106に移行する。
【0083】
ステップS106では、音声メッセージ記録部300dにおいて、音声メッセージの記録終了指示があったか否かを判定し、記録終了指示があったと判定した場合(Yes)は、ステップS108に移行し、そうでないと判定した場合(No)は、記録終了指示があるまで音声メッセージの記録処理を継続する。
ステップS108に移行した場合は、音声メッセージ記録部300dにおいて、音声メッセージの記録を終了して、ステップS110に移行する。
ステップS110では、音声メッセージ記録部300dにおいて、RAM302又は記憶装置310に記録された音声メッセージデータから音声ファイルを作成して、ステップS112に移行する。
ここで、音声ファイルは、データ容量や音質を考慮して、例えば、所定圧縮形式のファイルとして作成する。本実施形態では、作成した音声ファイルをRAM302又は記憶装置310に記憶する。
【0084】
ステップS112では、メール作成部300cにおいて、ステップS101で設定された宛先のメールアドレス、予め設定された情報(送信者のメールアドレス、メールサーバ20のメールアドレスなど)、RTC(Real Time Clock)からの時刻情報などに基づき、メール本文データの無いヘッダ情報のみの空電子メールを作成する。
空電子メールは、例えば、メールのタイトル(Subject)、メール作成日(Date)、送信元のメールアドレス、送信先のメールアドレス、メールサーバ20の情報等のヘッダ情報を有し、メール本文データの無い電子メールとなる。
更に、メール作成部300cにおいて、作成した空電子メールにステップS110で作成された音声ファイルを添付して、音声添付メールを作成し、ステップS114に移行する。
【0085】
ステップS114では、メール作成部300cにおいて、入力受付部300aを介したユーザからのメール送信指示があったか否かを判定する。そして、メール送信指示があったと判定した場合(Yes)は、メール送受信処理部300eに送信依頼を出力して、ステップS116に移行し、そうでないと判定した場合(No)は、送信指示又は送信キャンセル指示があるまで判定処理を繰り返す。なお、送信キャンセル指示があった場合は、例えば、音声添付メールを破棄又は送信保留ボックスに格納して、ステップS100に移行する。
ステップS116に移行した場合は、メール送受信処理部300eにおいて、送信依頼のあった音声添付メールを、データ通信部300fを介して、メールサーバ20に送信して、ステップS100に移行する。
【0086】
一方、ステップS100において、新規音声添付メールの作成指示が無いと判定されてステップS118に移行した場合は、メール作成部300cにおいて、入力受付部300aを介したユーザからの新規テキストメールの作成指示があったか否かを判定する。そして、作成指示があったと判定した場合(Yes)は、ステップS120に移行し、そうでないと判定した場合(No)は、ステップS100に移行する。
【0087】
ステップS120に移行した場合は、入力受付部300aを介したユーザからの入力情報、予め設定された情報、RTCからの時刻情報などに基づき、メール本文のテキストデータを有するテキストメールを作成して、ステップS122に移行する。
テキストメールは、例えば、メールのタイトル、メール作成日(Date)、送信元のメールアドレス、送信先のメールアドレス、メールサーバの情報、メール本文のテキストデータを含む電子メールである。
【0088】
ステップS122では、メール作成部300cにおいて、入力受付部300aを介したユーザからのメール送信指示があったか否かを判定する。そして、メール送信指示があったと判定した場合(Yes)は、メール送受信処理部300eにテキストメールの送信依頼を出力して、ステップS124に移行する。一方、テキストメールの送信指示がないと判定した場合(No)は、送信指示又は送信キャンセル指示があるまで判定処理を繰り返す。なお、送信キャンセル指示があった場合は、例えば、テキストメールを破棄又は保留ボックスに格納して、ステップS100に移行する。
【0089】
(2−2)メールサーバ20のCPU200によるメール配信処理
次に、図8に基づき、メールサーバ20のCPU200がROM204または記憶装置210に記憶された専用のコンピュータプログラムに従って実行するメール配信処理の処理手順について説明する。
ここで、図8は、メール配信処理の処理手順の一例を示すフローチャートである。
CPU200によって、メール配信処理が実行されると、図8に示すように、まず、ステップS200へと移行する。
ステップS200では、メール送受信処理部200bにおいて、データ通信部200aを介して情報処理装置30からの電子メールを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS202に移行し、そうでないと判定した場合(No)は、ステップS218に移行する。
【0090】
ステップS202に移行した場合は、メール送受信処理部200bにおいて、ステップS200で受信した電子メールが、音声添付メールか否かを判定する。そして、音声添付メールであると判定した場合(Yes)は、音声添付メールを受信した旨を添付ファイル分離部200eに通知してステップS204に移行し、そうでないと判定した場合(No)は、ステップS214に移行する。
ステップS204に移行した場合は、添付ファイル分離部200eにおいて、音声添付メールから音声ファイルを分離して、ステップS206に移行する。
ステップS206では、添付ファイル分離部200eにおいて、ステップS204で分離した音声ファイルを、データ制御部200dを介して記憶装置210に記憶して、ステップS208に移行する。
【0091】
ステップS208では、添付ファイル分離部200eにおいて、音声ファイルのアクセス先のパス情報であるアクセス先情報を生成して、生成したアクセス先情報及び音声ファイルの分離された電子メールである分離メールを添付分離メール作成部200fに出力して、ステップS210に移行する。
ここで、アクセス先情報は、情報処理装置30が、メールサーバ20の記憶装置210に記憶された音声ファイルにアクセスして、該当の音声ファイルをダウンロードするための情報であり、例えば、URLなどが該当する。
【0092】
ステップS210では、添付分離メール作成部200fにおいて、添付分離メールのメール本文として、アクセス先情報をリンク情報として付加した電子メールである添付分離メールを作成して、ステップS212に移行する。
ステップS212では、添付分離メール作成部200fにおいて、ステップS210で作成した添付分離メールを、データ制御部200dを介して、記憶装置210における該添付分離メールの宛先ユーザのメールボックスに格納して、ステップS200に移行する。
【0093】
一方、ステップS202において、ステップS200で受信した電子メールが、音声添付メールでは無いと判定され、ステップS214に移行した場合は、メール送受信処理部200bにおいて、受信した電子メールをテキストメールと判定する。そして、そのテキストメールを、データ制御部200dを介して記憶装置210における該テキストメールの宛先ユーザのメールボックスに格納して、ステップS200に移行する。
【0094】
また、ステップS200において、電子メールを受信していないと判定され、ステップS216に移行した場合は、メール配信処理部200cにおいて、メール受信要求を受信したか否かを判定する。そして、メール受信要求を受信したと判定した場合(Yes)は、ステップS218に移行し、そうでないと判定した場合(No)は、ステップS224に移行する。
【0095】
ステップS218に移行した場合は、メール配信処理部200cにおいて、ステップS216で受信したメール受信要求に対応する宛先ユーザのメールボックスに、送信可能な電子メールがあるか否かを判定して、ステップS220に移行する。
ステップS220では、メール配信処理部200cにおいて、メール受信要求に対応する宛先ユーザのメールボックスに、送信可能な電子メールがあると判定した場合(Yes)は、該当電子メールの送信依頼をメール送受信処理部200bに出力してステップS222に移行する。一方、メール受信要求に対応する宛先ユーザのメールボックスに、送信可能な電子メールが無いと判定した場合(No)は、送信可能な電子メールが無いことを示す応答を情報処理装置30に送信する送信依頼をメール送受信処理部200bに出力してステップS200に移行する。
【0096】
ステップS222では、メール送受信処理部200bにおいて、メール配信処理部200cから送信依頼のあった電子メールを、データ通信部200aを介してメール受信要求の送信元の情報処理装置30に送信する。一方、送信可能な電子メールが無いと判定した場合(No)は、メール送受信処理部200bにおいて、メール配信処理部200cから送信依頼のあった、送信可能な電子メールが無い旨を示す応答を、データ通信部200aを介してメール受信要求の送信元の情報処理装置30に送信して、ステップS200に移行する。
【0097】
また、ステップS216において、メール受信要求を受信していないと判定され、ステップS224に移行した場合は、ファイルアクセス処理部200gにおいて、情報処理装置30からの音声ファイルのアクセス情報を受信したか否かを判定する。そして、アクセス情報を受信したと判定した場合(Yes)は、ステップS226に移行し、そうでない場合(No)は、ステップS200に移行する。
【0098】
ステップS226に移行した場合は、ファイルアクセス処理部200gにおいて、受信したアクセス情報に対応する音声ファイルを記憶装置210から取得して、ステップS228に移行する。
ステップS228では、ファイルアクセス処理部200gにおいて、ステップS226で取得した音声ファイルを、データ通信部200aを介して、アクセス情報の送信元の情報処理装置30に送信して、ステップS200に移行する。
【0099】
(2−3)情報処理装置30のCPU300によるメール受信処理
次に、図9に基づき、情報処理装置30のCPU300がROM304または記憶装置310に記憶された専用のコンピュータプログラムに従って実行するメール受信処理の処理手順について説明する。
ここで、図9は、メール受信処理の処理手順の一例を示すフローチャートである。
CPU300によって、メール受信処理が実行されると、図9に示すように、まず、ステップS300へと移行する。
【0100】
ステップS300では、メール送受信処理部300eにおいて、入力受付部300aを介したユーザからのメール受信指示又は自動受信設定によるメール受信指示があったか否かを判定する。そして、メール受信指示があったと判定した場合(Yes)は、ステップS302に移行し、そうでないと判定した場合(No)は、メール受信指示があるまで判定処理を繰り返す。
ステップS302に移行した場合は、メール送受信処理部300eにおいて、メール受信要求をデータ通信部300fを介してメールサーバ20に送信して、ステップS304に移行する。
【0101】
ステップS304では、メール送受信処理部300eにおいて、メールサーバ20からのメール受信要求に対する受信メールがあったか否かを判定し、受信メールがあったと判定した場合(Yes)は、ステップS306に移行し、そうでないと判定した場合(No)は、ステップS300に移行する。
ステップS306に移行した場合は、メール送受信処理部300eにおいて、ステップS304で受信した電子メールがテキストメールか否かを判定する。そして、テキストメールであると判定した場合(Yes)は、テキストメールの受信通知表示指示をメール情報表示処理部300jに出力して、ステップS308に移行する。一方、テキストメールでは無いと判定した場合(No)は、ステップS328に移行する。
【0102】
ステップS308に移行した場合は、メール情報表示処理部300jにおいて、メール送受信処理部300eからの表示指示に応じて、テキストメールを受信したことをユーザに視覚的に通知するメッセージを表示装置312の表示画面に表示して、ステップS310に移行する。
ステップS310では、文章データ送信部300hにおいて、入力受付部300aを介したユーザからのテキストメールの読み上げ指示があったか否かを判定し、読み上げ指示があったと判定した場合(Yes)は、ステップS312に移行し、そうでないと判定した場合(No)は、ステップS326に移行する。
【0103】
ステップS312に移行した場合は、文章データ送信部300hにおいて、読み上げ指示に対応するテキストメールを音声変換指示情報と共に、データ通信部300fを介して音声合成サーバ10に送信して、ステップS314に移行する。音声変換指示情報は、例えば、別途コマンドとして、又はテキストメールのヘッダ情報に付加して送信される。以下、音声変換指示情報を伴うテキストデータを音声変換対象文章データと称す。
【0104】
ステップS314では、文章データ送信部300hにおいて、ステップS312で送信した音声変換対象文章データに対する、音声合成サーバ10からの分割音声ファイルを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、受信した分割音声ファイルとその再生指示とを音声再生部300gに出力すると共に、分割音声ファイルの受信通知を送信依頼情報送信部300kに出力して、ステップS316に移行する。一方、分割音声ファイルを受信していないと判定した場合(No)は、受信するまで判定処理を繰り返す。
【0105】
ステップS316に移行した場合は、音声再生部300gにおいて、分割音声ファイルの再生音声をサウンドカード315を介してスピーカ316から出力して、ステップS318に移行する。本実施形態では、音声再生部300gは、送信依頼情報送信部300kからの取得要求に応じて、分割音声ファイルの総再生時間及び再生経過時間の情報などの再生情報を、送信依頼情報送信部300kに出力する。
【0106】
ステップS318では、送信依頼情報送信部300kにおいて、ステップS316で再生される分割音声ファイルが最後の分割音声ファイルか否かを判定し、最後であると判定した場合(Yes)は、ステップS320に移行し、そうでないと判定した場合(No)は、ステップS322に移行する。ここで、最後か否かの判定は、例えば、音声合成サーバ10において、最後の分割音声ファイルに対して付加した最後を示す情報に基づいて行う。
ステップS320に移行した場合は、送信依頼情報送信部300kにおいて、音声再生部300gからの再生情報に基づき、最後の分割音声ファイルの再生が終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、再生が終了するまで判定処理を繰り返す。
【0107】
一方、ステップS322に移行した場合は、送信依頼情報送信部300kにおいて、音声再生部300gからの再生情報と、予め設定された送信依頼タイミングの情報とに基づき、送信タイミングとなったか否かを判定する。そして、送信タイミングになったと判定した場合(Yes)は、ステップS324に移行し、そうでない場合は、送信タイミングになるまで判定処理を繰り返す。
ステップS324に移行した場合は、送信依頼情報送信部300kにおいて、送信依頼情報をデータ通信部300fを介して音声合成サーバ10に送信して、ステップS314に移行する。
【0108】
また、ステップS310において、読み上げ指示が無いと判定され、ステップS326に移行した場合は、通知メッセージの表示ウィンドウが閉じられる等の情報に基づき、テキストメールの受信通知が無視されたか否かを判定し、無視されたと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、ステップS310に移行する。
また、ステップS306において、テキストメールを受信していないと判定され、ステップS328に移行した場合は、メール送受信処理部300eにおいて、添付分離メールを受信したか否かを判定する。そして、添付分離メールを受信したと判定した場合(Yes)は、ステップS330に移行する。一方、添付分離メールを受信していないと判定した場合(No)は、ステップS346に移行する。
【0109】
ステップS330に移行した場合は、メール送受信処理部300eにおいて、添付分離メールの表示指示をメール情報表示処理部300jに出力して、ステップS332に移行する。
ステップS332では、メール情報表示処理部300jにおいて、添付分離メールの本文を表示装置312の表示画面に表示して、ステップS334に移行する。
ステップS334では、ファイルアクセス部300mにおいて、入力受付部300aを介したユーザからの入力情報に基づき、添付分離メールの本文に記載されたURLがクリックされたか否かを判定する。そして、URLがクリックされたと判定した場合(Yes)は、ステップS336に移行し、そうでないと判定した場合(No)は、ステップS344に移行する。
【0110】
ステップS336に移行した場合は、ファイルアクセス部300mにおいて、クリックしたURLに対応する音声ファイルのアクセス情報をデータ通信部300fを介して、メールサーバ20に送信して、ステップS338に移行する。
ステップS338では、ファイルアクセス部300mにおいて、ステップS336で送信したアクセス情報に対する、メールサーバ20からの音声ファイルを受信したか否かを判定する。そして、音声ファイルを受信したと判定した場合(Yes)は、データ制御部300bを介して受信した音声ファイル及びその再生指示を音声再生部300gに出力して、ステップS340に移行し、そうでないと判定した場合(No)は、音声ファイルを受信するまで判定処理を繰り返す。
【0111】
ステップS340に移行した場合は、音声再生部300gにおいて、ファイルアクセス部300mからの音声ファイル及び再生指示を受け取ると、受け取った音声ファイルの再生音声をサウンドカード315を介してスピーカ316から出力して、ステップS342に移行する。
ステップS342では、音声再生部300gにおいて、音声の再生が終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、再生が終了するまで判定処理を繰り返す。
【0112】
また、ステップS334において、URLがクリックされなかったと判定され、ステップS344に移行した場合は、メール本文の表示ウィンドウが閉じられる等、添付分離メールの本文の表示が終了したか否かを判定する。そして、終了したと判定した場合(Yes)は、ステップS300に移行し、そうでないと判定した場合(No)は、ステップS334に移行する。
また、ステップS328において、添付分離メールの受信がないと判定され、ステップS346に移行した場合は、メール送受信処理部300eにおいて、音声ファイル以外の添付ファイルが添付されたメール本文の無い電子メールなどその他のメールの受信処理が実行されて、ステップS300に移行する。
【0113】
(2−4)音声合成サーバ10のCPU100による音声合成処理
次に、図10に基づき、音声合成サーバ10のCPU100がROM104または記憶装置110に記憶された専用のコンピュータプログラムに従って実行する音声合成処理の処理手順について説明する。
ここで、図10は、音声合成処理の処理手順の一例を示すフローチャートである。
CPU100によって、音声合成処理が実行されると、図10に示すように、まず、ステップS400へと移行する。
【0114】
ステップS400では、文章データ受信処理部100bにおいて、情報処理装置30からの音声変換対象文章データを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS402に移行する。一方、音声変換対象文章データを受信していないと判定した場合(No)は、音声変換対象文章データを受信するまで判定処理を繰り返す。
ステップS402に移行した場合は、文章分割部100cにおいて、ステップS400で受信した音声変換対象文章データの示す文章全体を、文章中に含まれる特定記号を分割位置として複数の文に分割し、ステップS404に移行する。
【0115】
ここで、特定記号としては、句点「。」、読点「、」、感嘆符「!」、二重感嘆符「!!」、ダブルだれ「!?」、疑問符「?」、中点「・」、改行記号(改行コード)などの記号があり、本実施形態では、一文の終了位置に付される「。」、「!」、「?」、「!!」、「!?」、改行記号を分割位置として、音声変換対象文章データの示す文章全体を複数の文に分割する。
なお、このときに、電子メールの差出人の情報、文章の項目などを、音声変換対象の文として文章中に加えることもできる。電子メールであれば、例えば、「〜さんからのメールです」などの差出人の情報や、「タイトル」、「本文」などの項目名などを加えることが可能である。
【0116】
ステップS404では、音声合成部100dにおいて、ステップS402で音声変換対象文章データを分割してなる複数の分割文データについて、文章全体における各分割文の並び順に基づき、最初の分割文データを選択して、ステップS406に移行する。
ステップS406では、音声合成部100dにおいて、ステップS404又はステップS414において選択した分割文データについて音声合成処理を実行し、選択した分割文データを分割音声ファイルに変換する。そして、該変換してなる分割音声ファイルを音声データ送信処理部100eに出力して、ステップS408に移行する。
ステップS408では、音声データ送信処理部100eにおいて、ステップS406で音声合成処理を実行してなる分割音声ファイルを受け取り、該受け取った分割音声ファイルを、データ通信部100aを介して、文章データの送信元の情報処理装置30に送信して、ステップS410に移行する。
【0117】
ステップS410では、音声データ送信処理部100eにおいて、音声合成部100dからの通知に基づき、全ての分割音声ファイルを送信したか否かを判定し、送信したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS412に移行する。
ステップS412に移行した場合は、タイミング制御部100fにおいて、データ通信部100aを介して、文章データの送信元の情報処理装置30からの送信依頼情報を受信したか否かを判定する。そして、送信依頼情報を受信したと判定した場合(Yes)は、受信したことを音声合成部100dに通知してステップS414に移行し、そうでないと判定した場合(No)は、受信するまで判定処理を繰り返す。
【0118】
ステップS414に移行した場合は、音声合成部100dにおいて、複数の分割文データのなかから、次の未処理の分割文データを並び順に選択して、ステップS406に移行する。
つまり、送信依頼情報を受信するごとに、次の未処理の分割文データを選択し、選択した分割文データに対して音声合成処理を実行して該分割文データを分割音声ファイルに変換し、該分割音声ファイルを情報処理装置30に送信する。
【0119】
(3)音声データ通信システム1の動作
次に、図11〜図15に基づき、本実施形態の音声データ通信システム1の動作を説明する。
ここで、図11は、音声添付メールの具体的な作成例を示す図である。また、図12(a)は、音声添付メールの一例を示す図であり、(b)は、(a)の音声添付メールに対する添付分離メールの具体的な作成例を示す図である。また、図13は、添付分離メールに記載されたURLをクリックして音声を再生する一例を示す図である。また、図14は、情報処理装置30_2と音声合成サーバ10との間における、音声合成処理を実行時のデータ送受信の一例を示すシーケンス図である。また、図15は、テキストメールの文章に対する各分割音声ファイルの音声再生手順の具体例を示す図である。
【0120】
まず、図11に基づき、情報処理装置30_1における音声添付メールを作成時の動作について説明する。
いま、情報処理装置30_1において、ユーザが入力装置314を操作して表示画面上のボタンを押下するか、又は、マイク317を介して音声による指示「音声メールの作成」等の文言を発声入力することで、入力受付部300aを介してユーザからの新規音声添付メールの作成指示が入力されたとする(ステップS100の「Yes」)。
これにより、メール作成部300cにおいて、例えば、図11の(1)に示すように、メールヘッダ部に、メールタイトルである「Subject:音声メール」が設定される。
【0121】
次に、ユーザが入力装置314の操作、または音声指示を行うことによって、入力受付部300aを介したユーザからの宛先選択指示が入力され、例えば、図11の(2)に示すように、メールヘッダ部に、音声添付メールの宛先のメールアドレス「××○○_Mail:”山田結衣”<yamada_yui@××○○.co.jp>」が追加設定される(ステップS101)。
宛先のメールアドレスが設定されると、次に、入力受付部300aを介したユーザからの記録開始指示の入力によって(ステップS102の「Yes」)、音声メッセージ記録部300dにおいて、音声メッセージの記録が開始される(ステップS104)。
音声メッセージ記録部300dにおいて、音声メッセージの記録が開始されると、マイク317及びサウンドカード315を介して入力されるユーザ(山田花子)の音声メッセージがRAM302又は記憶装置310に記録される。
【0122】
次に、入力受付部300aを介したユーザからの記録終了指示の入力によって(ステップS106の「Yes」)、音声メッセージ記録部300dにおいて、音声メッセージの記録が終了される(ステップS108)。
音声メッセージの記録が終了すると、音声メッセージ記録部300dは、RAM302又は記憶装置310に記録された、音声メッセージデータに基づき、音声ファイルを作成する(ステップS110)。作成された音声ファイルは、RAM302又は記憶装置310に格納される。
【0123】
RAM302又は記憶装置310に音声ファイルが格納されると、メール作成部300cにおいて、図11の(3)に示すように、RTCからの時刻情報に基づき、音声添付メールを作成した年月日、曜日及び時刻である「Date:Wed,06 Oct 2010 19:19:57 +0900」が設定される。加えて、図11の(4)に示すように、音声添付メールの差出人であるユーザ名(山田花子)とそのメールアドレス「From:”山田花子”<yamada_hanako@××○○.co.jp>」が設定される。加えて、図11の(5)に示すように、メールサーバ20のサーバ名及び宛先のメールアドレス「To:”Voice_Mail_System”<vms@××○○.co.jp>」が設定される。これにより、メールヘッダ部のみの空電子メールが作成される。
メール作成部300cは、空電子メールを作成すると、更に、該空電子メールに、上記作成した音声ファイル「test.wav」を添付して、図11の(6)に示すような、音声添付メールを作成する(ステップS112)。
【0124】
そして、メール作成部300cは、入力受付部300aを介したユーザからの送信指示の入力に応じて(ステップS114の「Yes」)、音声添付メールの送信依頼を、メール送受信処理部300eに出力する。これにより、メール送受信処理部300eにおいて、音声添付メールが、メールヘッダ部に設定されたメールサーバ20に送信される(ステップS116)。
【0125】
次に、図12に基づき、メールサーバ20における添付削除メールを作成時の動作を説明する。
メールサーバ20は、メール送受信処理部200bにおいて、情報処理装置30_1からの、図12(a)に示す音声添付メールを受信すると(ステップS200,S202の「Yes」)、まず、受信した音声添付メール及びその受信通知を添付ファイル分離部200eに出力する。
【0126】
添付ファイル分離部200eは、受信通知及び音声添付メールを受け取ると、受け取った音声添付メールから、音声ファイル「test.wav」を分離して(ステップS204)、分離した音声ファイルを記憶装置210に格納する(ステップS206)。そして、格納先のフォルダの情報等から、音声ファイルのアクセス先情報であるURL「http://××○○.co.jp./voice_mail/test.wav」を生成する。更に、このURLの情報と、音声ファイルを分離後の分離メールとを添付分離メール作成部200fに出力する(ステップS208)。
【0127】
添付分離メール作成部200fは、添付ファイル分離部200eからのURL情報と分離メールとを受け取ると、まず、図12(b)の(1)に示すように、分離メールから「Subject:音声メール」を抽出して、メールヘッダ部に設定する。
更に、図12(b)の(2)に示すように、受け取ったURL情報に基づき、メール本文に、音声ファイルの格納されたURLのリンク情報である格納URLを設定する。
【0128】
次に、図12(b)の(3)〜(5)に示すように、分離メールから、音声添付メールの作成年月日、曜日及び時刻と、差出人のメールアドレスと、宛先のメールアドレスとを抽出し、それぞれメールヘッド部に設定する。
加えて、分離メールのメールヘッダ部における差出人及び宛先のユーザの名前の情報を抽出し、図12(b)の(6)に示すように、メール本文を追加して、添付分離メールを作成する(ステップS210)。
更に、添付分離メール作成部200fは、作成した添付分離メールを、データ制御部200dを介して、記憶装置210における宛先のユーザ(山田結衣)のメールボックスに格納する(ステップS212)。
【0129】
一方、宛先のユーザ(山田結衣)のメールアドレス等のメール情報が設定された情報処理装置30_2において、入力受付部300aを介したユーザからのメール受信指示の入力によって(ステップS300の「Yes」)、メールサーバ20に、メール受信要求が送信される(ステップS302)。
これにより、メールサーバ20は、メール配信処理部200cにおいて、情報処理装置30_2からのメール受信要求を受信すると(ステップS216の「Yes」)、メール受信要求に対応するメールボックスにおける送信対象の電子メールの有無を確認する(ステップS218)。
【0130】
現在、宛先のユーザ(山田結衣)のメールボックスには、上記作成した添付分離メールが格納されているので、メール配信処理部200cは、送信対象の電子メールがあると判定する(ステップS220の「Yes」)。そして、メールボックスに格納された添付分離メールの送信依頼をメール送受信処理部200bに出力する。これにより、メール送受信処理部200bにおいて、添付分離メールがデータ通信部200aを介して、情報処理装置30_2に送信される(ステップS222)。
【0131】
情報処理装置30_2は、メール送受信処理部300eにおいて、メールサーバ20から送信された添付分離メールを受信すると(ステップS304,S328の「Yes」)、添付分離メールの表示指示をメール情報表示処理部300jに出力する(ステップS330)。
これにより、メール情報表示処理部300jにおいて、図13に示すように、添付分離メールの本文及び本文に付加されたURLが表示される。
その後、入力受付部300aを介した、URLがクリックされたことを示す情報の入力によって(ステップS334の「Yes」)、ファイルアクセス部300mによって、URLに対応するアクセス情報が、データ通信部300fを介して、メールサーバ20に送信される(ステップS336)。
【0132】
なお、URLはリンク情報としてメール本文に付加されており、そのURLをクリックすることで、公知のハイパーリンク設定と同様の原理で、そのURLの示すネットワーク上のメールサーバ20の記憶装置210に記憶された音声ファイルへとアクセスを行うことができる。
メールサーバ20は、ファイルアクセス処理部200gにおいて、データ通信部200aを介して、情報処理装置30_2からのアクセス情報を受信すると(ステップS224の「Yes」)、記憶装置210から、アクセス情報に対応する音声ファイルを取得する(ステップS226)。
【0133】
そして、ファイルアクセス処理部200gは、取得した音声ファイルを、データ通信部200aを介して、アクセス情報の送信元である情報処理装置30_2に送信する(ステップS228)。
情報処理装置30_2は、メールサーバ20から送信されたアクセス情報に対応する音声ファイルを、データ通信部300fを介してファイルアクセス部300mにおいて受信すると(ステップS338の「Yes」)、受信した音声ファイルとその再生指示とを音声再生部300gに出力する。
【0134】
これにより、音声再生部300gにおいて、サウンドカード315を介して音声ファイルの音声が再生され、図13に示すように、スピーカ316から再生音声が出力される(ステップS340)。
このようにして、メール受信者であるユーザ(山田結衣)は、添付分離メールを受信した情報処理装置30_2において、音声添付メールに添付された音声ファイルの音声メッセージを聴くことができる。
【0135】
次に、図14及び図15に基づき、音声合成サーバ10及び情報処理装置30_2における、音声合成処理を実行時の動作を説明する。
前提として、例えば、情報処理装置30_2は、メール送受信処理部300eにおいて、データ通信部300fを介して、情報処理装置30_1からのテキストメールを受信したとする(ステップS306の「Yes」)。これにより、メール送受信処理部300eは、テキストメールの受信通知表示指示をメール情報表示処理部300jに出力する。
メール情報表示処理部300jは、メールの受信通知表示指示に応じて、テキストメールを受信したことを視覚的に通知するグラフィックスを表示装置312の表示画面に表示する(ステップS308)。
【0136】
情報処理装置30_2のユーザは、メールの受信通知を確認すると、テキストメールの文章を読み上げさせるために、入力装置314の操作による読み上げ指示ボタンの押下、又はマイク317による「読み上げて」等の音声入力によって、読み上げ指示を入力する(ステップS310の「Yes」)。この読み上げ指示の入力は、入力受付部300aを介して、文章データ送信部300hに出力される。これにより、図14に示すように、データ通信部300fを介して、文章データ送信部300hにおいて、受信したテキストメールが音声変換指示情報と共に音声変換対象文章データとして音声合成サーバ10に送信される(ステップS312)。
【0137】
これにより、音声合成サーバ10は、文章データ受信処理部100bにおいて、図14に示すように、音声変換対象文章データが受信され(ステップS400の「Yes」)、受信された音声変換対象文章データの文章が複数の文に分割される(ステップS402)。
ここで、音声変換対象文章データとして、図15(a)に示す文章を含むテキストメールを含むものが受信されたとする。
本実施形態において、文章分割部100cは、一文の終端を示す特定記号である「。」、「!」、「?」、「改行コード」などを分割位置として、文章を複数の文に分割する。また、その際に、差出人の情報、タイトルなどの文を適宜挿入する。
【0138】
例えば、図15(a)に示すテキストメールであれば、送信者の名前から「山田結衣さんからのメールです。」という差出人情報の文を挿入し、更に、「タイトル。」という項目を示す文を挿入する。また、Subjectの「プレゼントありがとう!」を、タイトル文として挿入する。次に、メール本文については、まず、「本文。」という項目を示す文を挿入する。次に、メール本文について、文末が改行コードとなる「おばあちゃんへ」、文末が「。」となる「プレゼントありがとう。」、文末が「。」となる「大きなぬいぐるみが届いたよ。」、文末が「!」となる「夏休みになったら遊びに行くね!」がそれぞれ、各特定記号を分割位置として分割される。
【0139】
このようにして、メールの文章全体が複数の分割文へと分割されると、図14に示すように、音声合成サーバ10は、音声合成部100dにおいて、複数の分割文のうち、最初の分割文である差出人の情報を示す文「山田結衣さんからのメールです。」に対応する分割文データを選択する(ステップS404)。そして、選択した分割文データを音声合成して分割音声ファイルに変換する(ステップS406)。以下、この分割音声ファイルを、分割音声ファイル(1)と称す。
音声合成サーバ10は、音声合成部100dにおいて、選択した分割文データを分割音声ファイル(1)に変換すると、音声データ送信処理部100eにおいて、図14に示すように、分割音声ファイル(1)を、データ通信部100aを介して情報処理装置30_2に送信する。
【0140】
一方、情報処理装置30_2は、文章データ送信部300hにおいて、音声合成サーバ10からの分割音声ファイル(1)を受信すると(ステップS314の「Yes」)、受信したことを送信依頼情報送信部300kに通知する。更に、受信した分割音声ファイル(1)を音声再生部300gに再生指示と共に出力する。
音声再生部300gは、分割音声ファイル(1)を受け取ると、その音声をサウンドカード315を介して再生し、スピーカ316から再生音声を出力する(ステップS316)。これにより、図15(b)の(1)(分割音声ファイルの番号に対応)に示すように、「山田結衣さんからのメールです。」という音声メッセージがスピーカ316から出力される。
【0141】
また、送信依頼情報送信部300kは、音声再生部300gからの再生情報と、予め設定された送信タイミングの情報とに基づき、送信依頼情報の送信タイミングを判定する(ステップS322)。そして、送信依頼情報送信部300kは、送信タイミングになったと判定すると(ステップS322の「Yes」)、図14に示すように、次の分割音声ファイル(2)の送信依頼である送信依頼情報を、データ通信部300fを介して音声合成サーバ10に送信する(ステップS324)。
【0142】
送信依頼情報送信部300kは、例えば、分割音声ファイルの総再生時間が6秒未満の場合は、再生開始時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する。一方、総再生時間が6秒以上の場合は、その50%を再生した時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する。例えば、総再生時間が10秒の場合は、再生時間が5秒となった時点を送信タイミングとする。
【0143】
音声合成サーバ10は、タイミング制御部100fにおいて、情報処理装置30_2からの送信依頼情報をデータ通信部100aを介して受信すると(ステップS412の「Yes」)、次の未処理の分割文を選択する(ステップS414)。
本実施形態では、項目を示す文が挿入されている場合は、次の分割文として、項目の文とその項目の次に続く最初の文とを選択する。つまり、図15(a)に示す例では、分割文データとして、項目を示す文「タイトル」のデータとSubjectの「プレゼントありがとう」の分割文データとを選択する。
【0144】
そして、音声合成部100dにおいて、図14に示すように、選択した分割文データを音声合成部100dにおいて、分割音声ファイルへと変換する(ステップS406)。以下、この分割音声ファイルを、分割音声ファイル(2)と称す。
音声合成サーバ10は、音声データ送信処理部100eにおいて、図14に示すように、分割音声ファイル(2)を、データ通信部100aを介して情報処理装置30_2に送信する。
【0145】
情報処理装置30_2は、文章データ送信部300hにおいて、図14に示すように、音声合成サーバ10からの分割音声ファイル(2)を受信すると(ステップS314の「Yes」)、受信したことを送信依頼情報送信部300kに通知する。更に、受信した分割音声ファイル(2)を音声再生部300gに再生指示と共に出力する。
音声再生部300gは、分割音声ファイル(2)を受け取ると、その音声をサウンドカード315を介して再生し、スピーカ316から再生音声を出力する(ステップS316)。これにより、図15(b)の(2)に示すように、「タイトル。プレゼントありがとう。」という音声メッセージがスピーカ316から出力される。
【0146】
また、送信依頼情報送信部300kは、音声再生部300gからの再生情報と、予め設定された送信タイミングの情報とに基づき、音声ファイル(2)の総再生時間が6秒未満か否かを判定する。総再生時間が6秒以上の場合は、更に、再生時間が50%になったか否かを判定する。
そして、分割音声ファイル(2)の総再生時間が6秒未満のときは、再生時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する。また、分割音声ファイル(2)の総再生時間が6秒以上のときは、再生時間が総再生時間の50%となった時点を送信タイミングとして送信依頼情報を音声合成サーバ10に送信する(ステップS324)。
【0147】
音声合成サーバ10は、タイミング制御部100fにおいて、情報処理装置30_2からの送信依頼情報をデータ通信部100aを介して受信すると(ステップS412の「Yes」)、次の未処理の分割文データを選択する(ステップS414)。そして、上記分割音声ファイル(2)のときと同様に、音声合成処理を実行して、分割音声ファイル(3)を作成し、作成した分割音声ファイル(3)を、情報処理装置30_2に送信する。
このように、音声合成サーバ10では、最初の分割文に対する音声合成処理及び分割音声ファイル(1)の送信処理を行った以降は、情報処理装置30_2からの送信依頼情報を受信するごとに、次の未処理の分割文データの音声合成処理、分割音声ファイルの送信処理を順次行う。
【0148】
一方、情報処理装置30_2では、分割音声ファイルを受信するごとに、分割音声ファイルの再生、送信依頼情報の送信タイミングの判定を行い、送信タイミングになったと判定すると送信依頼情報を音声合成サーバ10に送信する。
つまり、音声合成サーバ10において、情報処理装置30_2からの送信依頼情報の受信タイミングに応じて、分割文データの単位で一文ずつ音声合成処理を実行すると共に、この音声合成処理によってを実行すると共に、分割音声ファイルが作成されるごとに、該分割音声ファイルを情報処理装置30_2に送信する。
【0149】
情報処理装置30_2では、分割音声ファイルを受信するごとに、受信した分割音声ファイルを再生し、分割音声ファイルの総再生時間に合わせた送信タイミングで、送信依頼情報を音声合成サーバ10に送信する。
これにより、音声合成サーバ10において、「本文。おばあちゃんへ。」に対応する分割音声ファイル(3)が作成され、図15(b)の(3)に示すように、情報処理装置30_2において、「本文。おばあちゃんへ。」の音声メッセージが再生される。
なお、項目を示す文と、それに続く一文とをそれぞれ別々の分割文として取り扱う構成としてもよい。
【0150】
引き続き、情報処理装置30_2からの次の送信依頼情報の受信に応じて、音声合成サーバ10において、「プレゼントありがとう。」に対応する分割音声ファイル(4)が作成され、情報処理装置30_2に送信される。これにより、情報処理装置30_2において、図15(b)の(4)に示すように、「プレゼントありがとう。」の音声メッセージが再生される。
引き続き、情報処理装置30_2からの次の送信依頼情報の受信に応じて、音声合成サーバ10において、「大きなぬいぐるみが届いたよ。」に対応する分割音声ファイル(5)が作成され、情報処理装置30_2に送信される。これにより、情報処理装置30_2において、図15(b)の(5)に示すように、「大きなぬいぐるみが届いたよ。」の音声メッセージが再生される。
【0151】
最後に、情報処理装置30_2からの次の送信依頼情報の受信に応じて、音声合成サーバ10において、最後の分割文データである「夏休みになったら遊びに行くね。」に対応する分割音声ファイル(6)が作成され、情報処理装置30_2に送信される。これにより、情報処理装置30_2において、図15(b)の(6)に示すように、「夏休みになったら遊びに行くね。」の音声メッセージが再生される。
【0152】
ここで、音声合成サーバ10は、最後の分割文データに対する分割音声ファイル(6)を情報処理装置30_2に送信するときに、最後の分割文であることを示す情報を付加して送信する。そして、情報処理装置30_2では、最後の分割文を示す情報に基づき、受信した分割音声ファイル(6)が最後のファイルであると判定する(ステップS318の「Yes」)。そして、最後の分割音声ファイルの再生が終了したと判定すると(ステップS320の「Yes」)、一連の処理を終了して、最初の判定ステップであるステップS300へと移行する。
【0153】
(4)作用及び効果
上記実施形態における音声データ通信システム1であれば、音声合成サーバ10において、音声変換対象の文章データを、複数の分割文データに分割して、各分割文データについて、1つずつ音声合成処理を実行することができる。加えて、情報処理装置30において、予め設定された送信タイミングで、次の分割音声ファイルの送信依頼である送信依頼情報を音声合成サーバ10に送信することができる。そして、音声合成サーバ10は、情報処理装置30からの送信依頼情報の受信に応じて、次の未処理の分割文データを音声合成処理によって分割音声ファイルに変換し、この分割音声ファイルを情報処理装置30に送信することができる。
これにより、音声合成サーバ10における音声合成処理の負荷と、分割音声ファイルの送信時のネットワーク負荷とを、テキストメールの全文を一括で処理する場合と比較して軽減することができる。
【0154】
また、上記実施形態では、情報処理装置30において、音声メッセージを記録して音声ファイルを作成し、該音声ファイルを添付した音声添付メールを作成することができる。加えて、メールサーバ20において、情報処理装置30からの音声添付メールを受信すると、受信した音声添付メールから音声ファイルを分離して記憶装置210に格納し、この格納場所にアクセスするためのアクセス先情報としてURLを作成することができる。更に、メールサーバ20は、受信した音声添付メールに代えて、この音声添付メールから音声ファイルを分離した分離メールに、作成したURLをリンク情報として本文に付加した構成の添付分離メールを作成し、作成した添付分離メールをその宛先に対応する情報処理装置30に送信することができる。また、情報処理装置30は、メールサーバ20からの添付分離メールを受信すると、添付分離メールの本文に付加されたURLをクリックすることで、URLの示すメールサーバ20の記憶装置210に記憶された音声ファイルへとアクセスして、該音声ファイルをダウンロードすることができる。そして、ダウンロードした音声ファイルの音声を再生することができる。
【0155】
これにより、情報処理装置30において、比較的容量の大きい音声ファイルの添付された音声添付メールを受信することなく、受信者の音声ファイルを再生したいタイミングで、代わりに受信した添付分離メールのURLをクリックすることで音声ファイルをダウンロードし、その音声を再生することができる。従って、情報処理装置30のメモリ容量の負荷や、音声ファイルの受信によるネットワーク負荷を軽減することができる。
【0156】
(5)変形例
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば、上記実施形態においては、音声合成サーバ10と、メールサーバ20とを別々のサーバに分ける構成としたが、両者の機能を1つのサーバで構成してもよい。
【0157】
また、上記実施形態において、音声合成サーバ10は、専用のプログラムをCPU100によって実行することで、音声合成処理に必要な各機能を実現する構成としたが、この構成に限らない。例えば、処理の一部を半導体集積回路等のハードウェアに置き換えて、ハードウェアとソフトウェアとの双方によって各機能を実現する構成としてもよいし、可能であれば、処理の全てまたは略全てをハードウェアに置き換えて、ハードウェア主体で各機能を実現する構成としてもよい。
【0158】
(6)本発明との対応関係
以上説明した実施形態において、文章データ受信処理部100bが文章データ受信部に対応し、文章分割部100cが文章分割部に対応し、音声合成部100dが音声合成部に対応し、音声データ送信処理部100e及びタイミング制御部100fが音声データ送信部に対応する。
【0159】
また、上記実施形態において、メール作成部300cがメール作成部に対応し、メール送受信処理部300eが第1のメール送信部、及び第2のメール受信部に対応する。
また、上記実施形態において、文章データ送信部300hが文章データ送信部及び音声データ受信部に対応し、音声再生部300gは、音声再生部に対応し、上記実施形態において、送信依頼情報送信部300kが送信依頼情報送信部に対応する。
【0160】
また、上記実施形態において、メール送受信処理部200bが、受信要求送信部及び第1のメール受信部に対応し、メール送受信処理部200b及びメール配信処理部200cが第2のメール送信部に対応する。
また、上記実施形態において、添付ファイル分離部200eが音声ファイル分離部に対応し、記憶装置210が音声ファイル記憶部に対応し、添付分離メール作成部200fが第2のメール作成部に対応し、ファイルアクセス処理部200gが音声ファイル送信部に対応する。
【0161】
また、上記実施形態において、ファイルアクセス部300mがファイルアクセス部及び音声ファイル受信部に対応し、マイク317、サウンドカード315及び入力受付部300aが音声入力部に対応し、音声メッセージ記録部300dが音声メッセージ記録部に対応する。
また、上記実施形態において、分割音声ファイルが分割文の音声データに対応し、添付分離メールが第2の電子メールに対応し、音声合成サーバ10が音声合成装置に対応し、情報処理装置30が、情報処理装置、第1の情報処理装置及び第2の情報処理装置に対応する。
【符号の説明】
【0162】
1…音声データ通信システム、100,200,300…CPU、102,202,302…RAM、104,204,304…ROM、106,206,206…入出力I/F、108,208,308…バス、110,210,310…記憶装置、112,212,312…表示装置、114,214,314…入力装置、315…サウンドカード、116,216,318…NIC、316…スピーカ、317…マイク、100b…文章データ受信処理部、100c…文章分割部、100d…音声合成部、100e…音声データ送信処理部、100f…タイミング制御部、200b…メール送受信処理部、200c…メール配信処理部、200e…添付ファイル分離部、200f…添付分離メール作成部、200g…ファイルアクセス処理部、300c…メール作成部、300d…音声メッセージ記録部、300e…メール送受信処理部、300g…音声再生部、300h…文章データ送信部、300k…送信依頼情報送信部、300m…ファイルアクセス部
【特許請求の範囲】
【請求項1】
外部の情報処理装置から通信回線を介して送信された文章データを受信し、該受信した文章データを音声データに変換して、該音声データを前記情報処理装置に送信する音声合成装置であって、
前記情報処理装置から送信された音声変換対象の文章データを受信する文章データ受信部と、
前記文章データ受信部で受信した前記文章データの示す文章全体を複数の文に分割する文章分割部と、
前記文章分割部で分割した各文のデータである各分割文データに対して音声合成処理を実行して、前記各分割文データを音声データへと変換する音声合成部と、
前記各分割文の音声データを、送信先の情報処理装置に送信する音声データ送信部と、を備え、
前記音声合成部における前記分割文データを前記音声データへと変換する処理と、前記音声データ送信部における前記分割文データの音声データを送信する処理とを分割文データごとに繰り返し実施することを特徴とする音声合成装置。
【請求項2】
前記音声合成部は、前記情報処理装置からの送信依頼情報の受信に応じて、前記音声合成処理によって変換後の音声データの送信処理を実行することを特徴とする請求項1に記載の音声合成装置。
【請求項3】
前記音声合成部は、前記情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって変換後の音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行することを特徴とする請求項2に記載の音声合成装置。
【請求項4】
前記文章分割部は、句点記号を含む一文の終了位置に付される特定記号を分割位置として、前記文章全体を複数の文に分割することを特徴とする請求項1乃至請求項3のいずれか1項に記載の音声合成装置。
【請求項5】
請求項1乃至請求項4のいずれか1項に記載の全ての構成部として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。
【請求項6】
メール送信者の第1の情報処理装置と、メールサーバと、請求項1に記載の音声合成装置と、メール受信者の第2の情報処理装置とを通信回線を介してそれぞれ通信可能に備え、
前記第1の情報処理装置は、
電子メールを作成するメール作成部と、
前記メール作成部で作成した前記メール受信者宛の電子メールを前記メールサーバに送信する第1のメール送信部と、を備え、
前記メールサーバは、
前記第1の情報処理装置から送信された前記メール受信者宛の電子メールを受信する第1のメール受信部と、
前記第1のメール受信部で受信した電子メールを該電子メールの宛先情報が設定された前記第2の情報処理装置からの受信要求に応じて、該受信要求元の第2の情報処理装置に送信する第2のメール送信部と、を備え、
前記第2の情報処理装置は、
設定された宛先情報に対応するメール受信者宛の電子メールの受信要求を前記メールサーバに送信する受信要求送信部と、
前記受信要求に応じて前記メールサーバから送信された電子メールを受信する第2のメール受信部と、
入力指示に応じて、前記第2のメール受信部で受信した電子メールについて、該電子メールを構成する文章データを音声変換対象の文章データとして前記音声合成サーバに送信する文章データ送信部と、
前記音声合成装置から送信された前記各分割文データに対応する音声データを受信する音声データ受信部と、
前記音声データ受信部で受信した前記音声データの音声を再生する音声再生部と、を備えることを特徴とする音声データ通信システム。
【請求項7】
前記第2の情報処理装置は、設定した送信依頼タイミングで前記分割文の音声データの送信依頼情報を前記音声合成サーバに送信する送信依頼情報送信部を備え、
前記音声合成部は、前記第2の情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって得られる音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行することを特徴とする請求項6に記載の音声データ通信システム。
【請求項8】
前記送信依頼情報送信部は、先に受信した前記分割文の音声データの総再生時間が設定時間以上と判定したときは、前記総再生時間の所定割合以上の時間分が再生された時点を前記送信依頼タイミングとし、前記総再生時間が前記設定時間未満であると判定したときは、再生開始時点を前記送信依頼タイミングとすることを特徴とする請求項7に記載の音声データ通信システム。
【請求項9】
前記メールサーバは、
前記第1のメール受信部で受信した電子メールが音声ファイルの添付された音声添付メールであるときに、該音声添付メールから音声ファイルを分離する音声ファイル分離部と、
前記音声ファイル分離部で分離した音声ファイルを記憶する音声ファイル記憶部と、
前記音声ファイル記憶部に記憶された前記音声ファイルのアクセス先情報を付加した第2の電子メールを作成する第2のメール作成部と、
前記第2の情報処理装置からの前記アクセス先情報に基づくアクセスに応じて、前記音声ファイル記憶部に記憶された音声ファイルを、アクセス元の前記第2の情報処理装置に送信する音声ファイル送信部と、を備え、
前記第2の情報処理装置は、
前記第2の電子メールに付加されたアクセス先情報に基づき、前記音声ファイル記憶部によって記憶された前記アクセス先情報の示すアクセス先の音声ファイルにアクセスするファイルアクセス部と、
前記ファイルアクセス部のアクセスに応じて前記メールサーバから送信された音声ファイルを受信する音声ファイル受信部と、を備え、
前記第2のメール送信部は、前記第2のメール作成部で作成した電子メールを、前記受信した音声添付メールに代えて前記宛先のメール受信者に対応する第2の情報処理装置に送信し、
前記音声再生部は、前記音声ファイル受信部で受信した音声ファイルの音声を再生することを特徴とする請求項6乃至請求項8のいずれか1項に記載の音声データ通信システム。
【請求項10】
前記第1の情報処理装置は、
音声を入力する音声入力部と、
音声添付メールの作成指示に応じて、前記音声入力部を介して入力された音声メッセージを記録する音声メッセージ記録部と、を備え、
前記メール作成部は、前記音声メッセージの記録が終了すると、設定されたメール受信者宛の、前記記録した音声メッセージの音声ファイルを添付した音声添付メールを作成し、
前記第1のメール送信部は、前記メール作成部で作成した音声添付メールを前記メールサーバに送信することを特徴とする請求項9に記載の音声データ通信システム。
【請求項1】
外部の情報処理装置から通信回線を介して送信された文章データを受信し、該受信した文章データを音声データに変換して、該音声データを前記情報処理装置に送信する音声合成装置であって、
前記情報処理装置から送信された音声変換対象の文章データを受信する文章データ受信部と、
前記文章データ受信部で受信した前記文章データの示す文章全体を複数の文に分割する文章分割部と、
前記文章分割部で分割した各文のデータである各分割文データに対して音声合成処理を実行して、前記各分割文データを音声データへと変換する音声合成部と、
前記各分割文の音声データを、送信先の情報処理装置に送信する音声データ送信部と、を備え、
前記音声合成部における前記分割文データを前記音声データへと変換する処理と、前記音声データ送信部における前記分割文データの音声データを送信する処理とを分割文データごとに繰り返し実施することを特徴とする音声合成装置。
【請求項2】
前記音声合成部は、前記情報処理装置からの送信依頼情報の受信に応じて、前記音声合成処理によって変換後の音声データの送信処理を実行することを特徴とする請求項1に記載の音声合成装置。
【請求項3】
前記音声合成部は、前記情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって変換後の音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行することを特徴とする請求項2に記載の音声合成装置。
【請求項4】
前記文章分割部は、句点記号を含む一文の終了位置に付される特定記号を分割位置として、前記文章全体を複数の文に分割することを特徴とする請求項1乃至請求項3のいずれか1項に記載の音声合成装置。
【請求項5】
請求項1乃至請求項4のいずれか1項に記載の全ての構成部として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。
【請求項6】
メール送信者の第1の情報処理装置と、メールサーバと、請求項1に記載の音声合成装置と、メール受信者の第2の情報処理装置とを通信回線を介してそれぞれ通信可能に備え、
前記第1の情報処理装置は、
電子メールを作成するメール作成部と、
前記メール作成部で作成した前記メール受信者宛の電子メールを前記メールサーバに送信する第1のメール送信部と、を備え、
前記メールサーバは、
前記第1の情報処理装置から送信された前記メール受信者宛の電子メールを受信する第1のメール受信部と、
前記第1のメール受信部で受信した電子メールを該電子メールの宛先情報が設定された前記第2の情報処理装置からの受信要求に応じて、該受信要求元の第2の情報処理装置に送信する第2のメール送信部と、を備え、
前記第2の情報処理装置は、
設定された宛先情報に対応するメール受信者宛の電子メールの受信要求を前記メールサーバに送信する受信要求送信部と、
前記受信要求に応じて前記メールサーバから送信された電子メールを受信する第2のメール受信部と、
入力指示に応じて、前記第2のメール受信部で受信した電子メールについて、該電子メールを構成する文章データを音声変換対象の文章データとして前記音声合成サーバに送信する文章データ送信部と、
前記音声合成装置から送信された前記各分割文データに対応する音声データを受信する音声データ受信部と、
前記音声データ受信部で受信した前記音声データの音声を再生する音声再生部と、を備えることを特徴とする音声データ通信システム。
【請求項7】
前記第2の情報処理装置は、設定した送信依頼タイミングで前記分割文の音声データの送信依頼情報を前記音声合成サーバに送信する送信依頼情報送信部を備え、
前記音声合成部は、前記第2の情報処理装置からの前記音声変換対象の文章データの受信に応じて、まず、受信した前記文章データの前記分割文データへの分割処理を実行し、次に、最初の分割文データに対して前記音声合成処理及び該音声合成処理によって得られる音声データの送信処理を実行し、以降は、前記情報処理装置からの送信依頼情報の受信に応じて、次の未処理の分割文データに対して、前記音声合成処理及び前記送信処理を順次実行することを特徴とする請求項6に記載の音声データ通信システム。
【請求項8】
前記送信依頼情報送信部は、先に受信した前記分割文の音声データの総再生時間が設定時間以上と判定したときは、前記総再生時間の所定割合以上の時間分が再生された時点を前記送信依頼タイミングとし、前記総再生時間が前記設定時間未満であると判定したときは、再生開始時点を前記送信依頼タイミングとすることを特徴とする請求項7に記載の音声データ通信システム。
【請求項9】
前記メールサーバは、
前記第1のメール受信部で受信した電子メールが音声ファイルの添付された音声添付メールであるときに、該音声添付メールから音声ファイルを分離する音声ファイル分離部と、
前記音声ファイル分離部で分離した音声ファイルを記憶する音声ファイル記憶部と、
前記音声ファイル記憶部に記憶された前記音声ファイルのアクセス先情報を付加した第2の電子メールを作成する第2のメール作成部と、
前記第2の情報処理装置からの前記アクセス先情報に基づくアクセスに応じて、前記音声ファイル記憶部に記憶された音声ファイルを、アクセス元の前記第2の情報処理装置に送信する音声ファイル送信部と、を備え、
前記第2の情報処理装置は、
前記第2の電子メールに付加されたアクセス先情報に基づき、前記音声ファイル記憶部によって記憶された前記アクセス先情報の示すアクセス先の音声ファイルにアクセスするファイルアクセス部と、
前記ファイルアクセス部のアクセスに応じて前記メールサーバから送信された音声ファイルを受信する音声ファイル受信部と、を備え、
前記第2のメール送信部は、前記第2のメール作成部で作成した電子メールを、前記受信した音声添付メールに代えて前記宛先のメール受信者に対応する第2の情報処理装置に送信し、
前記音声再生部は、前記音声ファイル受信部で受信した音声ファイルの音声を再生することを特徴とする請求項6乃至請求項8のいずれか1項に記載の音声データ通信システム。
【請求項10】
前記第1の情報処理装置は、
音声を入力する音声入力部と、
音声添付メールの作成指示に応じて、前記音声入力部を介して入力された音声メッセージを記録する音声メッセージ記録部と、を備え、
前記メール作成部は、前記音声メッセージの記録が終了すると、設定されたメール受信者宛の、前記記録した音声メッセージの音声ファイルを添付した音声添付メールを作成し、
前記第1のメール送信部は、前記メール作成部で作成した音声添付メールを前記メールサーバに送信することを特徴とする請求項9に記載の音声データ通信システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2012−123228(P2012−123228A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−274378(P2010−274378)
【出願日】平成22年12月9日(2010.12.9)
【特許番号】特許第4875766号(P4875766)
【特許公報発行日】平成24年2月15日(2012.2.15)
【出願人】(510324883)株式会社eVOICE (1)
【Fターム(参考)】
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願日】平成22年12月9日(2010.12.9)
【特許番号】特許第4875766号(P4875766)
【特許公報発行日】平成24年2月15日(2012.2.15)
【出願人】(510324883)株式会社eVOICE (1)
【Fターム(参考)】
[ Back to top ]